3月29日下午，在子彬院北205室⚾️🥒，杏鑫娱乐注册举办“受限文本生成”主题讲座。今日头条AI Lab的李磊博士介绍了实验室的前沿研究成果——将 Metropolis-Hastings采样应用到受限文本生成中🐠。
李磊老师讲解了在内容平台上（例如头条和抖音）应用AI技术面临的挑战🔣。挑战主要有三方面，即如何有效进行大规模的内容创作，如何将大量内容推送给感兴趣的用户和如何让用户和创作者进行更好地互动🏠。李磊老师也向我们介绍了文本生成的应用场景，如新闻创作、广告语设计🧑🏼🎓、自动评论机器人、多语言翻译等等🧖🏼♂️。
李磊老师指出，在生成文本的过程中，往往会有诸多限制𓀝。硬性限制方面比如某些关键字必须出现👨🏽🎓；软性限制例如句子语义上需要有关联。这些限制往往在生成广告词方面非常常见🧚♀️，因此受限文本生成技术在此方面应用广泛。现有的LSTM with forward and backward方法每次只能处理一个关键词🤵♀️，并且需要训练两套参数。另一种方法为LSTM with Grid beam search，但该方法可能丢失不少可能性🕹💩。
李磊老师及其团队提出了基于Metropolis-Hastings采样的生成技术（CGMH）。该方法在采样阶段使用了Metropolis-Hastings算法，具体的步骤为：预训练语言模型，将关键词作为句子的初始状态，对原有句子进行改进动作，并进行是否接受该动作的判断。在实验部分🙅♀️，李磊老师的团队进行了三组尝试，分别是基于关键词的生成、无监督的段落生成以及句子纠错。CGMH算法在这三个部分全都取得了瞩目的效果。
最后，李磊老师还介绍了CGMH技术在字节跳动中的落地应用。该技术可以应用于广告的重新设计，从而使广告商在平台上的广告投放获得更好的效果。李磊老师还对字节跳动的写作机器人xiaomingbot进行了介绍。
本次讲座在大家热烈的讨论中接近尾声。这次讲座让不仅让大家接触到了一些前沿算法，更通过案例向大家介绍了这些算法在应用中面临的挑战及解决方法，从而使大家对文本生成有了更深刻的认识。最后9️⃣，主持人魏忠钰老师和李磊老师合影，并且送上杏鑫送给李老师的礼物。