리뷰배경
저는 가짜연구소 추천스터디를 24년 9월부터 참여하고 있습니다. 이 스터디에서 빅콘테스트라는 공모전에 참여해 LLM(구글 제미나이) 기반 제주도 맛집 추천 서비스를 구현했고, 운좋게도 대상이라는 결과를 얻게 되었습니다. 저희 추천스터디는 공모전 수상에서 끝나지 않고, 해외 학회에 논문을 게재하는 것을 목표로 공모전 결과물을 디밸롭시키고 있는데요. 디밸롭 중에 읽은 논문을 간략하게 리뷰해보려고 합니다. (나중에 시간이 난다면, 공모전 결과물도 전체적으로 정리해보면 좋겠다는 생각이 드네요)
MACRec
•
MACRec: A Multi-Agent Collaboration Framework for Recommendation
(Demonstration Papers, SIGIR 2024)
https://dl.acm.org/doi/10.1145/3626772.3657669
MACRec은 최근 화두인 LLM agent를 활용해서, 추천시스템에 적용한 프레임워크입니다. (2024년도에 정말 많은 agent 기반 추천시스템 논문이 쏟아져나온 것 같습니다.) 논문의 핵심은 제목에서 유추하실 수 있는 것처럼, 여러 역할을 가진 에이전트들이 협업하는 추천 프레임워크를 만들었다는 점입니다. 기존 연구에서는 하나의 agent를 사용하거나, 여러 agent가 있다고 해도 협업 방식이 단조로웠다고 주장합니다.
참고로 위 표에서 Objectives 구분은 Simulation 또는 Recommender로 나눠집니다, 이는 Agent의 목적에 따라 구분되며 Simulation는 (최종 추천 이전 단계에서) 유저의 선호나 아이템 속성을 모사(simulation)하거나 포착하는데 Agent를 사용한 것이고, Recommender는 최종 추천 Task를 위해 Agent를 사용한 것입니다.
방법론
위 그림은 시퀀셜 추천 Task 예시입니다.
1.
먼저, Task Interpreter가 Task 분석을 수행합니다.
2.
이후, (시스템의 중심이 되는) Manager가 분석에 따라 다른 Agent를 호출합니다.
3.
User/Item Analyst는 유저 프로필 및 아이템 속성을 데이터베이스에서 가지고 오며,
Searcher는 DB에서 검색엔진(예를 들면 위키피디아)에서 아이템 정보를 검색합니다.
4.
3번에서 정보를 토대로, Manager는 예측을 시도합니다.
5.
(4번에서 끝나지 않고) Reflector는 예측을 분석하여 새로운 제안(Task 요구에 맞춰 포맷을 변경 등)을 하고, Manager는 제안에 기반하여 새로운 예측을 합니다.
•
참고로, 설명 예시와 달리 실제 시퀀셜 추천 구현에서는 Task Interpreter가 안쓰인다고 합니다. (이해를 돕는 차원이었던 것 같네요)
예시에서 살펴본 것처럼 총 6가지의 Agent가 존재합니다.
•
Manager
•
Reflector
•
User/Item Analyst
•
Searcher
•
Task Interpreter
그리고 시나리오별로 Agent 선택이 달라집니다. (* Manager는 항상 활용됩니다)
•
Rating Prediction (RP)
•
Sequential Recommendation (SR)
•
Explanation Generation (EG)
•
Conversational Recommendation (CR)
해당 논문은 Demonstration Papers 여서, 관련 시연에 대해서도 보여주고 있습니다.
논문 깃허브(https://github.com/wzf2000/MACRec)에 시연 영상이 있으니 참고해보셔도 좋습니다.
논문 리뷰는 여기까지 입니다.
2024년부터 Agent가 정말 핫하지 않습니까? 좋은 타이밍에 나온 괜찮은 연구라고 생각합니다.
물론 Demo Paper라 성능 실험은 없습니다만,
여러 역할을 가진 Agent를 구분하고 Agent끼리 협업프로세스를 잘 구성했다고 생각합니다.
특히 Reflector가 신선했습니다. (LLM을 교정해주는 LLM이라…)
연구 아이디어를 잘 벤치마킹해서 좋은 아이디어를 한번 만들어보겠습니다.