2024年9月27日下午，中国人民大学87周年校庆学术周活动-“大模型前沿研究进展”报告会在中国人民大学立德楼1826成功举办。本次学术会议由中国人民大学高瓴人工智能学院主办，由准聘副教授刘勇担任主持。高瓴人工智能学院执行院长文继荣教授出席会议并致辞，赵鑫教授、许洪腾长聘副教授、刘勇准聘副教授、陈旭准聘副教授和林衍凯准聘助理教授作主旨报告，共同分享大模型前沿研究进展，会议吸引了多位校内外人员参会。

文继荣教授发表致辞。他指出，以大模型为代表的新一代人工智能技术掀起了全球人工智能发展的新浪潮，未来已来，新的超级工具即将出现，新的研究方式已在眼前。希望各位师生积极拥抱大模型、学习人工智能知识，将挑战转变为机遇。

赵鑫教授分享了题为“面向大模型训练的数据工程方法”的主旨报告。他聚焦于预训练与继续预训练过程的基本技术路线，首先针对其中涉及的数据工程方法展开讨论。除了介绍如何高效利用已有数据外，还介绍了大规模合成数据在继续预训练中的应用方法。最后，以Llama 3为例，完整介绍了继续预训练所涉及的数据工程方法。

许洪腾长聘副教授分享了题为“算法驱动的高效模型架构设计与适配技术”的报告。他首先介绍了研究的初衷，希望挖掘传统算法在人工智能时代的作用，证明其在模型架构设计和适配方面的重要性。然后，他介绍了过去两年在这一方面的两个代表性工作，包括基于排序算法的新型注意力机制Sliceformer和基于Householder反射变换的模型轻量化适配技术，分别代表了离散算法和数值计算在人工智能领域的应用。这些工作不仅在理论上具有创新性，并且展示出在实际应用中的优良性能。其中，Householder反射适配的相关论文已经被NeurIPS2024录用为Spotlight paper。未来，他将同研究团队继续深挖算法驱动的模型架构设计这一方向。

刘勇准聘副教授分享了题为“大模型基础理论最新进展”的报告。他首先介绍了研究大模型基础理论的动机和重要性。然后介绍了其所在课题组在大模型基础理论方向上的几个最新研究成果，包括情境学习（In-context learning）机理分析、大模型检索增强（Retrieval augmented generation）是否有益于推理和大模型数据合成解释三个工作，这些工作从机理上给出大模型的能力边界的初步结果，并展示出指导大模型设计的潜力和适用性。

陈旭准聘副教授分享了题为“基于大语言模型智能体的通用社会模拟平台”的报告。他首先着眼于社会科学和自然科学的区别和联系，并指出社会科学在研究过程中“以真人为基础”的实验范式的局限性。其次，他介绍了大语言模型智能体对缓解这些局限性可能提供的机遇，并介绍了其课题组构建的通用社会模拟平台，该模拟平台的特点是具有通用性，智能体规模较大，并能自主演化。最后他展示了该平台的操作方法和未来潜力。

林衍凯准聘助理教授分享了题为“大模型自主智能体”的报告。他首先面向大模型智能体的工具使用问题，介绍了基于模仿学习和工具学习的两种典型工具学习方法。此外，他还介绍了大模型自主的后面安全性与工具对齐技术。最后，他从实际应用的角度探讨了大模型自主智能体的模糊意图理解技术、主动式智能体以及自动化流程技术等前沿性技术。

自由讨论环节，现场参会人员与讲者就大模型研究领域的多个问题进行了深入交流探讨，现场气氛热烈。