Eomiso's Dev Life

[Byeongchang Kim, Jaewoo Ahn, Gunhee kim, Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue. In ICLR, 2020] published as a conference paper at ICLR 2020 Had hard time understanding the equations. But the paper shall be reviewed as much as I can. Hope this would work as another milestone for future studies. : ) [Abstract] The paper introduces a better model for a NLP subproblem called knowledge selection . To briefly address the knowledge selection , it is a generation of answers in a dialogue composed of an inquirer and answerer. Yet, it is not a simple dialogue generation but a generation of answers (not the inquiries) based on knowledge selection. A baseline dataset is Wizard of Wikipedia (Dinan et al., 2019) from facebook parlAI [Introduction] The paper introduces the pros of its new model called Sequential Knowledge Transformer (SKT) in three aspects. Dealing the diversity in knowledge selection of conversation (one-to-many relations) Better leverag...

[2020 Paper Queries to Read : including the former queries] [읽고 요약할 논문 리스트] Long Short-Term Memory-Networks for Machine Reading (2016 년 페이퍼이긴 하지만 attention을 사용하기 때문에 Transformer 이전에 attention 이 어떻게 적용됐는지 확인하기 좋을 듯 하다). Sequential latent knowledge selection for knowledge-grounded dialogue

A Persona-Based Neural Conversation Model 요약 Jiwei Li, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Jianfeng Gao, and Bill Dolan. 2016. A Persona-Beased Neural Conversation Model. In ACL, 2016. 세 줄 요약 대화형 에이전트(conversational agents)를 유저 인터페이스로 사용하기 위해서는 일관성(consistent) 있는 인물 정보(persona)가 필요하다. 기존에 있던 vanila LSTM은 가장 확률이 높은 문장만 생성하다 보니 인물정보(persona)의 일관성이 떨어진다. 그래서 유저의 정보를 임베딩 한 후, 이를 input senquence와 함께 seq2seq 모델에 학습시켜서 일관성 있는 대화형 에이전트(conversational agents) [Abstract] 발화자의 일관성 문제를 해결하고자 2개의 persona-based model을 제시하고자 한다. Speaker model 은 인물정보를 엠베딩해서 response를 generating 하며, dyadic speaker-addressee model 은 두 화자간의 대화에서 특징(property)들을 뽑아낸다 [1. Introduction] 기존의 baseline LSTM(Li et al., 2015) 으로는 대화 모델에서 인물 정보의 일관성이 부족한 현상이 나타났다. PERSONA 의 정의 : 논의의 편의를 위해 “composite of elements of identity(background facts or user profile), language behavior, interaction style” 로 정의한다. [1] Speaker model은 speaker-level vector representation을 seq2seq 모델의 t...

StackEdit과 Blogger 가 연동되는 아주 좋은 기능이 있다. 이를 사용하는데 2가지 오류를 마주쳤는데 아무리 찾아도 해결방법이 나오지 않았다. 결국 해결책을 찾아냈는데 이에 대한 간단한 메모를 남기고자 한다. 1. Latex이 안뜨는 문제 - 그 전에는 MathJax 자바스크립트를 이용해서 렌더링을 하고 있었는데, StackEdit은 katex 을 사용하기 때문에 html로 변환 해서 blogger로 가져오더라도 Katex 관련 css 가 없으면 이를 렌더링 하지 못한다. 해결 방법 : StackEdit에서 publish하지 말고 html export를 하면 파일 안의 헤더에 css stylesheet link가 있다. 이 부분을 template htm에서 </head> 바로 윗줄에 추가해 주자. 2. Image 사이즈가 내맘대로 조정이 안되는 문제 Markdown을 좀 더 잘 활용하는 방법 중에 <img> 태그를 이용해서 align, size 등을 조절하는 방법이 있다. 그런데 이상하게 <img> 태그에 inline으로 적용한 css 가 먹히지 않는 현상이 있었다. 해결 방법 : Template html 파일을 열고 css가 적혀있는 곳으로 가서  .post-body img  selector을 찾는다. 그중에 max-width:100% 라고 설정되어 있는게 있는데 해당 selector을 통채로 지워주고 나니 inline CSS가 적용되기 시작했다. 3. 끝으로 Featured Thumnail 사진이 너무 크게 나오는 문제점이 있었는데, 이는 CSS 중에 .FeaturedPost1 img selector (max-width = 100% 라고 설정되어 있는 것)을 아예 삭제해주고 나니 포스트에 있는 사진의 크기만큼 나오게 되었다.

PC 남중, 남고를 나오고 한국 근현대사를 산업화의 역사로만 인식하는 가족에서 자라난 내 주변에는 잠재적 인종차별주의자(Racist), 성차별주의자(Sexist)들이 생각보다 많다. 최근 이런 분들이 보는 유튜브에서 정치적 올바름이 빨갱이, 좌파적사고 고리타분한 이상론이라고 일갈하는 주장들이 올라오고 있는 듯 해서 이런 주장이 얼마나 시대착오적인지 보이는 글을 적어 봤다. 정치적 올바름은 떠오르는 현존하는 주요 소비 트렌드이다. 우선 이런 주장을 하시는 분들이 경제를 다른 어떤 사회적 가치보다 우선하시니 이런 정치적 올바름이 어떻게 한국 사회의 먹고사니즘적 니즈에 있어 중요한 사안인지 살펴보자. 정치적 올바름은 이미 하나의 소비트렌드로 자리잡아가고 있다. 실버산업에서 소비자로 활동하시는 분들은 잘 못느끼실 수 있겠지만, 아이다스•나이키와 같은 글로벌 리테일러들은 이미 정치적 올바름이 자신들의 주요 소비자들에게 얼마나 중요한 가치인지 알고 있다. 상당수 글로벌 기업들은 사회적 가치를 중시하는 마케팅에 열을 올리고 있다(이 기업들이 운영하는 트위터만 들어가 봐도 충분히 확인 가능하다 ). Don’t do it for once 한국 사회의 떠오르는 기대주 문화컨텐츠산업만 보더라도 한국사회가 정치적 올바름을 추구하는 것이 이익이 된다는 것을 알 수 있다. K-pop, K-drama를 소비하는 이들이 정치적 올바름을 굉장히 중시한는 이들이기 때문이다. 최근 BTS 가 UN에서 연설한 내용을 보면 대체적인 내용이 정치적 올바름과 맞다아 있다. 이들이 한국 문화에 각광하는 이유는 그 자체의 매력도 있겠지만 이런 아티스트들이 예술활동을 통해 추구하는 가치가, 팬들의 성향과 잘 맞는다는 이유도 있을 것이다. 최근 George Floyed 관련 상황에서 아주 흥미로운 현상이 트위터 상에서 일어났다. 인종차별주의자들과 봇들이 #WhiteLivesMatter 같은 말도 안되는 해시태그을 붙여가며 어그로를 끌었는데, 이를 K...