<跨风格="颜色:# 000000 ">微软宣布开源其大型的预训练对话语言模型接地公开对话语言模型(哥德尔),根据介绍,哥德尔引入了一类新的预训练语言模型,可以实现面向任务的对话和社交对话,并通过其响应的有用性进行评估。
哥德尔的前身DialogGPT是微软于2019年发布的首个专门为对话设计的大规模预训练语言模型,有助于使对话式人工智能更易于访问和使用。与DialoGPT相比,哥德尔利用了新阶段的基础预训练,旨在更好地支持需要当前对话外部信息(如数据库或文件)来产生良好反应的微调阶段。
哥德尔的主要特点之一是它为用户提供了定义其模型基础的灵活性,这种灵活性主要体现在哥德尔在不同对话环境中的通用性,例如,如果有人询问当地的一家餐馆,哥德尔将能够提供具体而准确的回答,即使这个地方可能不包括在用于训练它的数据中。
另一个主要特点是其广泛的对话应用程序.GODEL可以应用于各种对话,包括面向任务,问答和基础聊天的对话。在同一次对话中,哥德尔可以针对各种查询类型产生合理的响应,包括一般性问题或对特定操作的请求。微软方面称,其论文结果表明,哥德尔的回答也被评估为是有帮助的。“我们将我们的模型与几个强大的基线和最先进的方法进行了比较,并表明哥德尔在人工和自动评估方面都具有优势。”
目前,微软已经将哥德尔完全开源提供;包含三个不同的版本:基地,大型和超大型。并提供了重新训练所有预训练模型和为特定任务微调模型所需的代码:用于对话式问答的CoQA数据集;维基百科和向导的向导互联网的数据集, <跨风格=" background - color: # ffffff;颜色:# 2 f2f2f ">用于寻求信息的聊天 ;MultiWOZ用于任务完成对话。
“我们希望哥德尔能够帮助众多学术研究团队通过创新的对话模型推进对话式人工智能领域,同时消除对大量GPU资源的需求。我们计划不断改进哥德尔,并向研究界提供更多的模型。”
0 留言