学院新闻

近日，中国计算机学会（CCF）推荐的A类国际学术会议 AAAI 论文接收结果公布。中国人民大学高瓴人工智能学院师生有18篇论文被录用。AAAI (AAAI Conference on Artificial Intelligence) 由国际先进人工智能协会主办，是人工智能领域的顶级国际学术会议之一。第 38 届 AAAI 人工智能年度会议将于2024 年 2 月在加拿大温哥华举行。

论文介绍

论文题目：UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models

作者：李晓熙，周雨佳，窦志成

通讯作者：窦志成

论文概述：生成式信息检索（Generative Information Retrieval）在信息检索和自然语言处理领域引起了广泛关注，涵盖了生成式文档检索（Generative Document Retrieval，GDR）和基于语境的答案生成（Grounded Answer Generation，GAR）这两个主要任务。现有的GDR和GAR方法依赖于独立的检索和阅读器模块，这限制了同时进行的优化。为了克服这个问题，我们提出了UniGen，一种统一的生成框架，用于检索和问答，将这两个任务整合到单个生成模型中，利用大型语言模型的能力。UniGen采用共享编码器和两个不同的解码器，用于生成式检索和问答。为了促进两个任务的学习，我们引入了由大型语言模型生成的连接器，用于连接查询输入和生成目标，以及文档标识符和答案之间的差距。此外，我们提出了一种迭代增强策略，利用生成的答案和检索的文档循环改进两个任务。通过在MS MARCO和NQ数据集上的一系列实验，我们验证了UniGen的在检索和问答任务中的有效性。

论文介绍

论文题目：Competition among Pairwise Lottery Contests

作者: 邓小铁，甘航鑫，李宁远，李维安，祁琦

通讯作者: 祁琦

论文概述：竞赛理论是经济学中一个重要分支，旨在研究从竞赛者角度设计比赛规则，激励参赛者达到预期目标。在本文中，我们研究了一个涉及多场比赛的两阶段竞争模型。在这个模型中，每个竞赛设计者从候选参赛者中选出两名参赛者，并赋予偏好系数。同时，参赛者策略性地分配努力程度到其参加的各个竞赛中。我们首先证明参赛者存在唯一的纯策略纳什均衡，并设计算法在多项式时间内求出(1+ε)-近似均衡。其后，我们分析设计者之间的博弈。在每个设计者仅可以举办一场竞赛，并且同时决定参赛者和偏好系数的情况下，我们发现子博弈完美均衡可能不存在。然而，我们证明当设计者决策拆分为两个阶段时，一定存在子博弈完美均衡。我们还研究每个设计者可举办多场比赛的情况，并证明了在合理假设下子博弈完美均衡的存在性。

论文介绍

论文题目：Collaborative Synthesis of Patient Records through Multi-Visit Health State Inference

作者：孙宏达*，林宏展*，严睿

通讯作者：严睿

论文概述：电子健康记录（EHR）在医疗保健中的应用广泛，但由于隐私和安全问题，真实记录的利用受到限制。合成EHR数据可以作为替代，但现有方法未考虑不同类型事件之间的关联，缺乏合成数据各类事件的一致性。同时，现有方法专注于对医疗事件标签的合成，使得合成数据的应用范围受限。为解决这些限制，我们提出了一种基于多轮健康状态推断的EHR协作合成模型MSIC。首先，我们将EHR合成过程建模为概率图模型，以捕捉医疗事件之间的关联。针对多轮合成场景，我们引入潜在健康状态的推断方法，实现跨类别合成与纵向合成两种目标。在事件标签合成基础上，我们拓展到医疗报告生成任务，为每个医疗事件合成文本描述，拓宽了合成EHR数据的潜在应用范围。针对每轮记录中的不同段落，我们提出了多生成器推敲框架，以协作多个生成器间的消息传递，并采用两阶段解码策略来提升合成报告的质量。在广泛使用的benchmarks MIMIC-III 和 MIMIC-IV的实验表明，MSIC在合成数据质量方面取得了最先进的结果，同时保持了较低的隐私风险。

论文介绍

论文题目：What Makes Quantization for Large Language Model Hard? An Empirical Study from the Lens of Perturbation

作者：龚卓成，刘家豪，王金刚，蔡勋梁，赵东岩，严睿

通讯作者：赵东岩，严睿

论文概述：量化技术作为一种提升大型语言模型（LLMs）内存和计算效率的有力手段，其潜力日益受到重视。众所周知，性能与效率之间需要权衡，然而量化对LLMs性能影响的深层关系仍有待深入探究。为了解开这一关系的神秘面纱，我们提出了一个全新的量化视角，将其比作是对LLMs权重和激活函数施加的微小扰动。我们将这种方法称之为“扰动透镜”。透过这一透镜，我们对多种人为设定的扰动进行了实验，旨在探讨它们对LLMs性能的具体影响。研究成果揭示了扰动特性与LLMs性能之间诸多的联系，并提供了对均匀量化失败情形的新见解，同时也指明了提升量化鲁棒性的潜在途径。为了展示我们研究成果的意义，我们基于这些新见解，实施了一种简单的非均匀量化方案。实验显示，该方案在4比特权重量化和8比特权重和激活量化时，都能实现极小的性能下降。这些实验结果不仅证实了我们方法的有效性，而且突显了其在优化LLMs的效率的同时，确保不牺牲性能的巨大潜力。

论文介绍

论文题目：Your Career Path Matters in Person-Job Fit

作者：龚卓成，宋洋，张涛，文继荣，赵东岩，严睿

通讯作者：赵东岩，严睿

论文概述：自动化和人工智能技术的快速发展让我们再次遭遇到新技术进步所带来的一个棘手问题：人工劳动价值降低，继而引发失业。鉴于此，自动化的人岗适配系统显现出促进就业率的巨大潜力。人岗适配的核心目标在于，通过计算求职者简历与职位描述之间的匹配得分，判定求职者是否适宜该职位。本文提出了一种创新的人岗适配方法，该方法能够识别出求职者职业生涯路径中潜在的偏好。我们识别并应用了职业路径中的三种偏好类型：一致性、相似性和连续性。我们的研究证实，深入理解职业路径可以帮助我们为求职者提供更精准的职业建议。为了验证我们模型的实际应用价值，我们从一家在线招聘平台提取了真实数据进行了深入的实验，并通过详尽的案例分析，阐释了职业路径在人岗适配中的重要作用。

论文介绍

论文题目：A Plug-and-Play Quaternion Message-Passing Module for Molecular Conformation Representation

作者：岳昂枭，罗迪新，许洪腾

通讯作者：许洪腾

论文概述：图神经网络通过消息传递机制有效捕捉分子的属性和几何信息，已广泛应用于3D分子的表征。本文介绍了一种即插即用的四元数消息传递（QMP）模块，它能够集成到多种现有的3D分子表征模型中，从而提升模型在识别分子构象方面的能力。具体来说，我们的QMP模块将化学键与其相邻键之间的3D旋转表达为一系列四元数，并通过四元数的链式哈密尔顿乘积聚合这些旋转。所得四元数的实部对分子的全局3D旋转保持不变，同时对由化学键旋转引发的局部旋转表现出敏感性，这为训练分子构象表征模型提供了有效的信息。理论上，我们证明了考虑这些信息的不变图神经网络可以区分由键扭转引起的不同构象。此外，我们实现了QMP模块的高效封装和加速，将其与现有模型结合只需一行代码，且计算成本很低。在多个分子数据集上的实验结果表明，将我们的QMP模块集成到现有的不变图神经网络中，能显著增强对分子构象的表征，并在下游任务中取得一致且显著的性能提升。

论文介绍

论文题目：WaveNet: Tackling Non-Stationary Graph Signals via Graph Spectral Wavelets

作者：杨智睿，胡羽蓝，欧阳晟，刘敬宇，王书强，马喜波，Wenhan Wang，Hanjing Su，刘勇

通讯作者：刘勇

论文概述：在谱图神经网络的研究中，多项式方法在基于拉普拉斯矩阵的滤波器设计上占据主导地位。然而，由拉普拉斯矩阵析取的多项式组合在信息传递中存在一定的限制（如过度平滑），并且多数谱图神经网络采用的多项式基也会导致图谱信号高频信号的丢失。此外，本研究发现，即使增加多项式阶数也无法改变这种情况，这意味着基于多项式的模型在面对高频信号时存在一定的缺陷。为解决这些问题，本研究打破了多项式方法在谱图神经网络设计中的主导地位，并为研究人员引入了一种新的视角。首先，本研究在谱图信号上采用多分辨率分析，证明了小波对高频信号的强大拟合能力。然后，本研究利用尺度函数在图中重构谱信号。进一步，本研究还采用图像图表实验、节点分类实验以及合成玩具实验证明了所提方法在学习复杂滤波器方面的有效性、性能优越性以及细小成分捕捉能力的高效性。最后，本研究还对学习到的滤波器进行了可视化，验证了真实世界数据集的真实滤波器的复杂性。

论文介绍

论文题目：High-dimensional analysis for Generalized Nonlinear Regression: From Asymptotics to Algorithm

作者：李健，刘勇，王伟平

通讯作者：刘勇

论文概述：深度神经网络的过度参数化常导致良性过拟合（benign overfitting），即在训练数据上过拟合，但在未见数据上的泛化效果仍然很好。然而，这一现象在非线性回归上缺乏渐进分析理论框架，同时缺乏与传统假设空间复杂度之间的关联。本文提出了一种广义的非线性回归高维分析框，证明了隐式正则化参数与经典假设空间复杂度（有效维）的等价关系。理论结果表明，随着有效维的减小，极限风险会随之降低。基于这些理论发现，本文提出了一种名为RFRed的算法。最后，通过多个实验证实了理论发现和算法的有效性。

论文介绍

论文题目：FedNS: A Fast Sketching Newton-type Algorithm for Federated Learning

作者：李健，刘勇，王巍，王伟平

通讯作者：刘勇

论文概述：最近基于二阶优化的联邦学习算法在通信轮次方面表现出线性收敛。然而，由于海森矩阵的二次通信复杂性，传输海森矩阵通常是不可行的。在本文中，我们介绍了联邦牛顿草图方法（FedNS）来解决这个问题，同时仍然实现快速收敛速率。通过传输基于草图（sketching）的平方根海森矩阵，代替原始海森矩阵，从而提升通讯效率。基于统计学习理论，本文提供了联邦牛顿草图方法的收敛分析，实现了相对于通信轮次的超线性收敛速率。通过多种实验证实了算法的有效性，实验结果与本文的理论发现相一致。

论文介绍

论文题目：ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network

作者：刘茹悦，殷荣，刘勇，王伟平

论文概述：图对比学习（GCL）结合了图卷积网络（GCN）和对比学习的优点，使其在学习节点表征方面大有可为。然而，这些方法中使用的 GCN 编码器依赖于傅立叶变换来学习固定的图表示，这在本质上受到不确定性原理的限制。为了克服现有方法不够灵活且由于特征分解和稠密矩阵乘法带来的昂贵计算成本的问题，本文提出了一种基于自适应谱小波变换的自监督图神经网络（ASWT-SGNN）。该方法采用频谱自适应多项式来近似滤波函数，并利用对比损失来优化图小波。这种设计可以在谱域和空间域创建局部滤波器，从而灵活地聚合各种尺度的邻域信息，并促进局部信息和全局信息之间的可控转换。与现有方法相比，所提出的方法降低了计算复杂度，并解决了图卷积神经网络受图大小限制、缺乏对邻域方面灵活控制的局限性。在八个基准数据集上进行的广泛实验表明，ASWT-SGNN 在高密度频谱区域精确地近似了滤波函数，避免了代价高昂的特征分解。此外， ASWT-SGNN在节点分类任务中实现了与最先进的模型相当的性能。

论文介绍

论文题目：Would You Like Your Data to Be Trained? A User Controllable Recommendation Framework

作者：王磊，陈旭，董振华，戴全宇

通讯作者：陈旭

论文概述：传统的推荐模型旨在收集广泛的用户信息以准确估计用户偏好。然而，在实际场景中，用户可能不希望所有行为都被纳入模型训练过程。本文介绍了一种新的推荐范式，允许用户主动表明他们对使用个人数据用于模型训练的“意愿”。我们将这个推荐场景建模为一个多人博弈，每个用户作为一个参与者，模型通过平衡推荐质量和用户意愿最大化整体效用。为了高效的寻找纳什均衡，我们提出了一种基于影响函数的模型，用以近似不同决策下的推荐性能，而无需重新优化模型。此外，引入了一种利用多个锚点决策来提高影响函数近似准确性的方法。我们在模拟和真实世界数据集上进行了大量的实验验证了所提出模型在平衡推荐质量和用户意愿方面的有效性，并对算法的收敛性给出了理论证明。

论文介绍

论文题目: Cost Minimization for Equilibrium Transition

作者：黄浩强，王子贺，魏智德，张捷

通讯作者：王子贺

论文概述：在本文中，我们深入探讨了使用货币激励来鼓励玩家从初始的纳什均衡转移到更有利的均衡状态这一问题。我们的主要焦点是计算促进这种均衡转换所需的最小奖励。游戏涉及一个拥有m种策略的行玩家和k个各拥有n种策略的列玩家。我们的发现表明，确定最小奖励是否为零是NP-完全的，而计算最小奖励变成了APX-难。尽管如此，我们还是带来了一些积极的消息，即如果k或n是一个固定的常数，这个问题可以有效处理。此外，我们设计了一个具有加法误差的近似算法，它在多项式时间内运行。最后，我们探讨了一个特定情况，即效用函数表现出单峰特性，我们成功地证明了最优奖励可以在多项式时间内计算出来。

论文介绍

论文题目：Prompting Segmentation with Sound is Generalizable Audio-Visual Source Localizer

作者：王耀霆*，刘卫松*，李光耀，丁健, 胡迪，李玺

通讯作者：胡迪

论文概述：从未同时看到物体和听到其对应声音的情况下，模型是否仍然可以根据物体发出的声音准确确定其视觉位置？在这项工作中，我们专注于在零样本和少样本的场景下研究视听定位和分割任务。为了实现这一目标，与现有的采用编码器-融合-解码器（Encoder-Fusion-Decoder）范式从融合的视听特征中解码定位信息的主流方法不同，我们引入了编码器-提示-解码器（Encoder-Prompt-Decoder）范式，旨在借助来自预训练模型的丰富先验知识，更好地适应数据稀缺和数据分布多变等困境。具体而言，我们首先提出构建语义感知的音频提示（Semantic-aware Audio Prompt），以帮助视觉基础模型关注发声物体，同时也通过对比学习缩小视觉和音频模态之间的语义差距。我们还开发了一个相关性适配器（Correlation Adapter），以最小的训练工作量对视觉基础模型进行微调并尽可能地维持先验知识。大量实验表明，我们基于提示的范式在测试类别未知和跨数据集测试两个设置中都优于其他基于融合的方法。我们希望我们的工作能够进一步推动视听定位和分割在实际应用场景中的泛化研究。

论文介绍

论文题目：SphereDiffusion: Spherical Geometry-aware Distortion Resilient Diffusion Model

作者：吴涛，励雪巍，祁仲昂，胡迪，王鑫涛，单瀛，李玺

通讯作者：李玺，祁仲昂

论文概述：可控球面全景图像生成在许多领域具有极大的应用价值。然而，由于球面全景图像固有的球面畸变和几何特性会导致现有方法生成的内容质量低下，这仍然是一项具有挑战性的任务。在本文中，我们引入了一个新颖的SphereDiffusion框架来解决这些独特的挑战，从而更好地生成高质量且精确可控的球面全景图像。对于球面畸变特性，我们将畸变对象的语义嵌入到文本编码中，显示地构建文本-畸变物品的对应关系，以更好地利用平面图像的预训练知识。同时，我们采用一种可变形技术来减轻球面畸变在隐空间中引起的语义偏差。对于球面几何特性，我们利用球面全景图像的旋转不变性，在训练过程中改进数据多样性和优化目标，使模型能够更好地学习球面几何特性。此外，我们改进了扩散模型的去噪过程，使其能够有效地利用学习到的几何特性，确保生成图像的边界连续性。在Structured3D据集上的实验显示，我们的SphereDiffusion显著提升了可控球面图像生成的质量。

论文介绍

论文题目：Ada-Retrieval: An Adaptive Multi-Round Retrieval Paradigm for Sequential Recommendations

作者：李磊，练建勋，周骁，谢幸

通讯作者：周骁

论文概述：推荐系统的检索阶段旨在选择与给定用户偏好相匹配的物品候选集，在大规模推荐系统中扮演关键角色，因为随后的排序模型高度依赖于物品候选集的质量。然而，大多数现有的检索模型采用单轮推理的范式，无法充分捕捉用户偏好的动态性且容易使得匹配的物品陷入一个固定区域。在本文中，我们提出了Ada-Retrieval，一种用于推荐系统的自适应多轮检索范式，它迭代地优化用户表示，以更好地捕捉全物品空间中的潜在候选集。Ada-Retrieval包括两个关键模块：物品表征调整器和用户表征调整器，旨在将上下文信息注入到物品和用户表征中。该框架是模型无关的方法，可以集成到多种基础的序列化推荐模型（如RNN或Transformer）。我们以五个经典的序列化推荐模型作为基座，在三个公开数据集上进行实验，结果表明，Ada-Retrieval显著增强了经典的序列化推荐模型，并且优于其他基线方法。

论文介绍

论文题目：Causally Aware Generative Adversarial Networks for Light Pollution Control

作者：张宇尧，郭可，周骁

通讯作者：周骁

论文概述：当托马斯·爱迪生的电灯第一次照亮纽约市的街道时，它标志着与人工照明交织在一起的现代照明时代的黎明到来。从那一刻起，我们生活在一个充满人造光的世界。人造光在现代城市中发挥着不可或缺的作用，显著提高了人类的生产力和文明效率。然而，过度照明会导致光污染，对经济生活、生态系统和人类健康构成不可忽视的威胁。尽管其至关重要，但对其原因的探索在人工智能领域仍然相对有限，使人们对促成光污染的因素和可持续照明规划的理解并不完全。为缩小这一差距，本文提出一种名为因果感知生成对抗网络(CAGAN)的新框架。这一创新方法旨在揭示城市光污染的根本驱动因素，为城市可持续发展背景下的照明资源优化配置提供智能解决方案。我们首先调查了全球七个大都市的33,593个居民区的光污染水平。研究结果表明，不同的建筑类型对光污染水平有显著的影响，尤其是草原、商业中心和居住建筑本身。这些因果关系被无缝地集成到生成模型框架中，指导生成不同居住区的光污染地图的过程。大量的实验展示了CAGAN在揭示和指导实施有效策略以减轻光污染方面的潜力。

论文介绍

论文题目：Tail-STEAK: Improve Friend Recommendation for Tail Users via Self-Training Enhanced Knowledge Distillation

作者：马逸君，李朝卓，周骁

通讯作者：周骁

论文概述：图神经网络（GNN）近年来被广泛用于朋友推荐系统。然而，最近的研究表明，与社交链接丰富的用户（简称为头部用户）相比，只有有限社交链接的用户（简称为尾部用户）的性能有显著的差距。统一对待头部和尾部用户将给尾部用户偏好学习带来两个挑战：（1）标签稀疏性，即尾部用户通常只有有限的标签；和（2）邻域稀疏性，即尾部用户稀疏的可观测社交链接导致其与头部用户有明显的社交偏好分布差异，从而进一步导致性能下降。为了应对这些挑战，我们提出了Tail-STEAK，一种用于尾部用户表示学习的新型自训练增强知识蒸馏框架。为了解决标签稀疏问题，我们引入了一个称为Tail-STEAK-base的两阶段自训练框架，其中只有头部用户及其丰富的链接知识被用于第一阶段的训练，而在第二阶段会为尾部用户生成伪链接。为了解决邻域稀疏问题，我们提出了两个基于数据增强的自知识蒸馏辅助任务，使模型能够同时理解头部和尾部用户偏好。这些任务被纳入Tail STEAK-base的不同阶段，形成完整的Tail STEAK框架。在最先进的基于GNN的朋友推荐模型上进行的大量实验表明，Tail STEAK显著提高了尾部用户的性能。

论文介绍

论文题目：Simultaneous Optimization of Bid Shading and Internal Auction for Demand-Side Platforms

作者：Yadong Xu, Bonan Ni, 沈蔚然, Zichen Wang, Yinsong Xue, Pingzhong Tang

论文概述：在线广告已成为互联网平台重要的增长来源之一，需求侧平台（DSP）在此系统中代表广告主向广告交易平台出价。目前，越来越多的广告交易平台将其拍卖机制从第二价格拍卖转向第一价格拍卖，需求侧平台在此不稳定环境中调整其出价策略是困难的。最近有关在第一价格拍卖中下调出价的研究可能因为关于获胜概率分布的强假设而限制其表现。此外，这些研究并不考虑广告主的激励问题，而保证激励是广告平台能可靠稳定的重要保证。在本文中，我们同时考虑降低出价和激励兼容的内部拍卖机制。我们首先证明，该联合设计能规约为一个为每个广告主进行单调出价函数的选择而不损失其最优性。然后我们提出使用一个参数化的神经网络模型来实现该单调出价函数，在使用精心设计的替代函数后，我们的目标函数可以使用端到端的方式进行优化。最后，我们的实验结果表明，我们的算法是有效的。