'천우진 - Next Item Recommendation with Self-Attentive Metric Learning - YouTube'를 보고 작성한 글입니다. 😀
Introduction
많은 historical interaction data(클릭 로그, 구매 이력 등)를 통해 개인화 추천시스템은 user's next interaction을 예상한다.
기존 연구들은 stuctural co-occurrence와 sequential patterns을 활용한다.
본 논문에서는 (self-attention을 통한)auto-regressive tendencies을 활용하여 효과적인 sequential 추천시스템을 구축한다.
본 논문의 모델은 'local-global approach' 방법으로
- Self-Attention으로 최근 행동으로 부터 item-item interaction을 파악한다. -> short-term representation (local approach)
- Metric Learning으로 과거의 모든 활동에서 user-item interaction을 파악한다. -> long-term representation (global approach)
Metric Learning
- 두 정보가 주어졌을 때, 두 정보를 벡터화하는 embedding function과 두 정보의 유사도를 측정하는 metric을 정의하여 학습한다.
- Self-Attention으로 얻은 preference representation과 item embedding간의 distance를 기반으로, 이를 최소화하도록 학습하는 프레임워크 (3:30)
Contributions
- Sequential recommendation task에서 새로운 프레임워크를 제안한다.
- Self-Attention과 Metric Embedding을 결합하여 유저의 temporary(short) & long-lasting intent를 고려한다.
- 시퀀스 모델링 중에 explicit item-item relationship의 유용성을 보여준다. (12개의 벤치마크 데이터셋에 대해 기존의 sota 모델들보다 큰 차이로 좋은 성능을 보임)
- 다양한 hyper-parameter and ablation 연구를 수행한다.
Related Work
Sequence-aware Recommender Systems
- RNN은 시간의 흐름에 따른 아이템에 대한 rating 변화를 파악한다. (rating prediction task에 특화됨)
- MF와 Markov chain을 결합한 모델에서 Markov chain은 sequential behavior를 모델링하는 데 사용된다.
- Metric Embedding은 sequence-aware recommendation을 수행한다.
- Trans 계열의 연구(TransE, TransR)는 아이템간의 관계를 다른 공간에 embedding하여, 그 공간에서 거리를 통해 학습한다.
Neural Attention Models
- Attention Mechanism : RNN이 long-range dependency를 잘 기억하고, CNN이 input의 중요한 부분에 집중하도록 도와준다.
- Self-Attention : input sequence의 attention weight들이 다른 input sequence에 끼치는 영향을 파악하여 계산 복잡도는 낮추고 정확도는 향샹시킨다.
The Proposed Model: AttRec
References
- 천우진 - Next Item Recommendation with Self-Attentive Metric Learning - YouTube
- Next Item Recommendation with Self-Attentive Metric Learning - 러닝머신의 Train Data Set
- KG#3 ) Translation Model for KC (TransE, TransR 리뷰) :: AnyThing
🏋🏻 개인적으로 공부한 내용을 기록하고 있습니다.
잘못된 부분이 있다면 과감하게 지적해주세요!! 🏋
댓글