2020.07.13 更新 Generate, Delete and Rewrite: A Three-Stage Framework for Improving Persona Consistency of Dialogue Generation

Generate, Delete and Rewrite: A Three-Stage Framework for Improving Persona Consistency of Dialogue Generation

ACL 2020

总结

这篇论文的motivation是如何生成与给定persona相一致的回复，如果我们改变生成句子中的一个词（persona相关词），就可能将这个句子从consistent变成inconsistent，以往的基于Seq2Seq的个性化模型尝试去最小化总体Loss，但没有对句子中关键的persona信息给予关注，也就会产生inconsistent的回复。其实我觉得这个motivation有点怪怪的，而且它并没有对其它的persona模型进行具体的探讨和研究。

作者设计了一个三阶段的框架来实现个性化对话系统，刚开始先生成一个原型回复，再对这个原型回复进行delete(mask)，最后再对mask过的句子重新生成。在这三阶段中，第一步generate就是将query/response/persona用attention进行编码，第二步delete是对原型回复中的inconsistent词语进行mask，先用natural language inference进行判断是否应该进行mask(回复是否entailment)，然后用attention计算回复中每个词的权重，取权重前10%的词进行mask，第三步在原先mask的地方，再decode生成最后的新回复。

文章有一个值得学习的地方是，在attention的时候有进行解释，即为什么query/response/persona互相attention，如果是我来做这个工作肯定是没有这个内容的。