天才一秒记住【三味小说网】地址:www.ourshanwei.com
罗晟让人打开了会议室里的大屏幕,然后连接自己的工作电脑,一番迅速操作便示意与会的所有人看向大屏幕。
“这是一个端到端的神经对话模型,可以学习如何对给定的对话上下文做出响应,训练小蓝的目标是最大程度的减少困惑度。以及预测下一个标记的不确定性。其核心为evolvedtransformerseq2seq架构,也就是通过进化神经架构搜索发现一种transformer体系结构,可以改善困惑度。”
罗晟调出一组新的信息面板,补充道:“小蓝由et编码器和13个et解码器组成,编码器用于处理对话语境,帮助小蓝理解对话中已经说过的内容,解码器则是利用这些信息生成实际的回复。”
与会的一位ai技术研究员凝视着大屏幕里的面板信息自言自语的说道:“通过超参数调整后,性能更强的解码器是实现高质量对话的关键。”
罗晟看向那位研究员干脆利落的点名:“很好,这一块你来搞定。”
“好的老大,但我需要权限。”
罗晟点点头,在自己的电脑上敲打了几下:“授权了。另外这是一个有着52亿参数的端到端神经对话模型,值得注意的是,困惑度,这是一个很容易在各种神经对话模型中实现的计算指标,这里有一份数据。”
众人一听再次看向会议室里的大屏幕。
罗晟说道:“困惑度指标。由于人类评价存在的问题,一个能够自动计算的评价指标很重要,这个指标需要能够和人类评价精确对应。这里有8个不同的模型版本,分别有着超参数和架构上的区别,如层数、注意力head数量、训练步数。用的还是et,还是一般的transformer,从这份数据来看,越低的困惑度模型有着更高的得分,两者的相关系数很强。”
研讨会议并没有持续太长的时间,坐在这里的都是一群高智商的开发者,罗晟也不是一个拖泥带水的人,迅速敲定各大环节,技术团队也就进入下一个开发进程当中。
按照既定的计划,罗晟带领团队继续通过改进算法、架构、数据和
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!