Eomiso's Dev Life

[Byeongchang Kim, Jaewoo Ahn, Gunhee kim, Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue. In ICLR, 2020] published as a conference paper at ICLR 2020 Had hard time understanding the equations. But the paper shall be reviewed as much as I can. Hope this would work as another milestone for future studies. : ) [Abstract] The paper introduces a better model for a NLP subproblem called knowledge selection . To briefly address the knowledge selection , it is a generation of answers in a dialogue composed of an inquirer and answerer. Yet, it is not a simple dialogue generation but a generation of answers (not the inquiries) based on knowledge selection. A baseline dataset is Wizard of Wikipedia (Dinan et al., 2019) from facebook parlAI [Introduction] The paper introduces the pros of its new model called Sequential Knowledge Transformer (SKT) in three aspects. Dealing the diversity in knowledge selection of conversation (one-to-many relations) Better leverag...

A Persona-Based Neural Conversation Model 요약 Jiwei Li, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Jianfeng Gao, and Bill Dolan. 2016. A Persona-Beased Neural Conversation Model. In ACL, 2016. 세 줄 요약 대화형 에이전트(conversational agents)를 유저 인터페이스로 사용하기 위해서는 일관성(consistent) 있는 인물 정보(persona)가 필요하다. 기존에 있던 vanila LSTM은 가장 확률이 높은 문장만 생성하다 보니 인물정보(persona)의 일관성이 떨어진다. 그래서 유저의 정보를 임베딩 한 후, 이를 input senquence와 함께 seq2seq 모델에 학습시켜서 일관성 있는 대화형 에이전트(conversational agents) [Abstract] 발화자의 일관성 문제를 해결하고자 2개의 persona-based model을 제시하고자 한다. Speaker model 은 인물정보를 엠베딩해서 response를 generating 하며, dyadic speaker-addressee model 은 두 화자간의 대화에서 특징(property)들을 뽑아낸다 [1. Introduction] 기존의 baseline LSTM(Li et al., 2015) 으로는 대화 모델에서 인물 정보의 일관성이 부족한 현상이 나타났다. PERSONA 의 정의 : 논의의 편의를 위해 “composite of elements of identity(background facts or user profile), language behavior, interaction style” 로 정의한다. [1] Speaker model은 speaker-level vector representation을 seq2seq 모델의 t...