추천 시스템/Paper6 [논문 리뷰] Wide & Deep Learning for Recommender Systems Abstract linear 모델은 대규모 sparse inputs에 대한 regression 혹은 classification 문제를 풀 때 사용한다. 장점으로는 feature간의 cross-product는 feature interactions을 기억(memorization)하는데 효과적이고, 단점으로는 일반화에 많은 feature engineering이 필요하다는 것이다. deep neural networks은 저차원의 embedding을 통해 더 잘 일반화(generalization)할 수 있다. 하지만 user-item interactions이 sparse할 때 지나치게 일반화되고 관련성이 낮은 항목을 추천할 수 있다는 단점이 있다. 본 논문은 linear 모델의 memorization(기억)과 d.. 2021. 12. 6. [논문 리뷰] Neural Collaborative Filtering (2017) Abstract 본 논문은 implicit feedback을 기반으로 하는 collaborative filtering이라는 추천 알고리즘을 신경망(neural networks) 을 기반으로 하는 기술을 개발하기 위해 노력한다. 2017년 일부 연구는 추천을 위해 딥러닝을 사용했지만 주로 항목에 대한 텍스트 설명 및 음악의 음향적 특징과 같은 보조 정보를 모델링하는 데 사용했습니다. collaborative filtering의 핵심 요소인 user–item interaction을 모델링할 때 그들은 여전히 matrix factoriziation에 의존하고 user-item latent features의 내적을 적용했습니다. Network-based Collaborative Filtering (NCF) : .. 2021. 11. 25. [논문 리뷰] Transformer : Attention Is All You Need (NIPS 2017) '[딥러닝 기계 번역] Transformer: Attention Is All You Need (꼼꼼한 딥러닝 논문 리뷰와 코드 실습)'를 보고 작성한 글입니다. 😀 Transformer : Attention Is All You Need (NIPS 2017) Transformer 논문에서는 RNN을 사용하지 않고 오직 Attention 기법만으로 아키텍쳐를 설계하여 성능을 개선한다. 인코더 단어가 입력될 때 마다 단어들의 정보를 저장하는 hidden state 값을 갱신한다. hidden state 값은 이전까지 입력되었던 단어들의 정보를 저장하기 때문에 마지막 단어가 입력되었을 때 hidden state 값은 source 문장 전체를 대표하는 하나의 context vector로 사용할 수 있다. 즉, c.. 2021. 11. 24. [논문 리뷰] Factorization Machines Abstract 본 논문에서는 SVM(Support Vector Machines)의 장점과 Factorization 모델을 결합한 새로운 모델 클래스인 Factorization Machines(FM) 를 소개한다. SVM과 마찬가지로 FM은 모든 실수 값 feature vector를 통해 예측을 하는 모델이다. SVM과 달리 FM은 factorized parameters(인수분해 매개변수) 를 사용하여 변수 간의 모든 상호 작용을 모델링합니다. 따라서 SVM이 작동하지 못하는 sparsity가 큰 데이터에서 FM은 상관관계를 추정할 수 있다. 본 논문은 FM의 모델 방정식이 선형 시간으로 계산되어 FM이 바로 최적화될 수 있음을 보여준다. 따라서 비선형 SVM과 달리 dual form의 변환이 필요하지 .. 2021. 11. 24. [논문 리뷰] Next Item Recommendation with Self-Attentive Metric Learning '천우진 - Next Item Recommendation with Self-Attentive Metric Learning - YouTube'를 보고 작성한 글입니다. 😀 Introduction 많은 historical interaction data(클릭 로그, 구매 이력 등)를 통해 개인화 추천시스템은 user's next interaction을 예상한다. 기존 연구들은 stuctural co-occurrence와 sequential patterns을 활용한다. 본 논문에서는 (self-attention을 통한)auto-regressive tendencies을 활용하여 효과적인 sequential 추천시스템을 구축한다. 본 논문의 모델은 'local-global approach' 방법으로 Self-Att.. 2021. 11. 24. [논문 리뷰] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer 'PR-242: BERT4Rec -Sequential Recommendation with BERT - YouTube'를 보고 작성한 글입니다. 😀 Research Trends Interaction-only setting Use user-item interaction(feedback) matrix only feedback 데이터는 Implicit Data (조회 및 클릭 여부)와 Explicit Data (평점 데이터)로 나뉜다. [출처] 보통 Implicit Data와 Explicit Data 모두 고차원의 Sparse한 user-item matrix이기 때문에 이를 저차원의 user matrix와 item matrix로 분해하여 두 matrix의 곱으로 원래의 user-item matrix와 가장 유사.. 2021. 11. 24. 이전 1 다음
