EN

学院新闻

超大规模预训练模型的优势、局限与未来趋势—CCF第八期启智会召开
日期:2021-01-10访问量:

2021年1月1日至3日,中国计算机学会(CCF)第八期启智会在北京举行。会议由中国人民大学教授文继荣、清华大学教授唐杰发起,来自清华大学、复旦大学、中国人民大学、中国科学院计算所等单位的11名相关领域学者出席了会议。

image001.jpg

会议合影,后排从左至右:刘潇、顾煜贤、韩旭、刘洋、袁进辉、邱锡鹏、刘知远、赵鑫、霍宇琦

前排从左至右:黄民烈、兰艳艳、文继荣、唐杰、宋睿华、朱军

会议围绕“超大规模预训练模型的优势、局限与未来趋势”的话题展开讨论。近几年来,预训练模型在自然语言处理领域蓬勃发展,在多个子方向取得了颠覆性的成果。作为一项最近几年被人们大规模应用的技术,预训练模型尽管取得了极大成功,仍然有许多还未被发掘的有效方法,也还有很多亟待解决的重要问题。例如,预训练模型的理论基础是什么?如何分析与理解预训练模型中存储的 “知识” ?如何设计神经网络的底层架构,实现更高效的大规模预训练?下一代的预训练模型是什么样的,是更大参数的模型,还是多个小模型的融合,抑或是多模态、融合外部知识,面向认知的模型?预训练模型又会有那些新的应用场景?如何推动中国预训练模型技术的研究进展?

image003.jpg

本期启智会会议采取主题报告、辩论、自由讨论相结合的形式,从不同的角度对超大规模预训练模型的优势、局限和未来方向进行了探讨。与会专家围绕会议主题,结合自己的研究方向阐述了观点,并对其中一些较有争议的话题展开了激烈的辩论,就预训练模型的成功之处、当前不足、未来研究方向开展了深入讨论,并就预训练模型、尤其是中文预训练模型的相关研究达成了若干共识。会议从模型结构、优化算法、知识融合、符号推理、语言理解等多个角度进行了思辨,尤其就中文预训练模型的研究现状、规划、生态进行了探讨。

image005.jpg

北京智谱华章科技有限公司对本次启智会提供了部分赞助支持。


检测到您当前使用浏览器版本过于老旧,会导致无法正常浏览网站;请您使用电脑里的其他浏览器如:360、QQ、搜狗浏览器的速模式浏览,或者使用谷歌、火狐等浏览器。

下载Firefox