学院新闻

2024年5月2日，中国计算机学会（CCF）推荐的A类国际学术会议ICML 2024论文接收结果公布。中国人民大学高瓴人工智能学院师生有14篇论文被录用。国际机器学习大会（The International Conference on Machine Learning ，简称ICML）在人工智能和机器学习领域享有很高的学术声誉， 第41届会议将于7月21-27日在奥地利维也纳举办。

论文题目：EquiPocket: an E(3)-Equivariant Geometric Graph Neural Network for Ligand Binding Site Prediction

作者：张阳, 魏哲巍, 黄文炳, 袁野, 李崇轩

通讯作者：魏哲巍, 黄文炳

论文概述：准确预测蛋白质表面的可结合位点在药物发现中起着基础性的作用。当前大多数深度学习方法将蛋白质视为3D图像并进行体素化处理，再使用卷积神经网络进行预测。这些方法面临着多种先天不足：对旋转敏感、难以学习复杂的蛋白质结构信息、只能处理特定大小的蛋白质等等。因此, 我们在E(3)-等变图神经网络(GNN)基础上提出了 EquiPocket 方法, 该方法将蛋白质视为图结构, 通过分析蛋白质的内部结构信息和整体几何信息, 实现了对结合位点的高效预测。

论文题目：Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training

作者：杨锦霞，苏冰，赵鑫，文继荣

通讯作者：苏冰，赵鑫

论文概述：医学视觉语言预训练方法主要利用配对的医学图像和放射报告之间的对应关系。尽管在现有的多模态医学数据集中可以获得多视角的空间图像以及图像-报告对的时间序列，但大多数现有方法尚未利用如此广泛的监督信号。在本文中，我们提出了Med-ST框架，以利用来自不同空间视角的图像和历史记录。对于空间建模，Med-ST采用Mixture of View Expert来集成来自正面和侧面视图的视觉特征。除了图像和文本之间的全局对齐外，Med-ST 还在文本token和图像的空间区域之间建立了模态加权的局部对齐。对于时间建模，我们提出了一种通过正向映射分类和反向映射回归的新颖的跨模态双向循环一致性目标。通过从简单到复杂的时间信息感知，Med-ST可以学习时间语义。四种不同任务的实验结果证明了Med-ST的有效性，特别是在时间相关的分类任务中。

论文题目：Perfect Alignment May be Poisonous to Graph Contrastive Learning

作者：刘敬宇，唐华镱，刘勇

通讯作者：刘勇

论文概述：由于数据规模的增大以及标签信息的缺失，自监督方法在图机器学习中的使用逐渐广泛。图对比学习在数据增强后，得到两个视图，两视图中的对应节点作为正样本，其余节点作为负样本。过去的研究者一般认为最优的对比学习需要进行完美的正样本对齐（正样本的表征一致），以及负样本表征在特征空间的均匀分布。同类节点在经过较强的数据增强后的特征空间可能存在交集（augmentation overlap），因此，通过一个较强的数据增强，正样本对齐可以一定程度上拉近同类样本距离。然而，在图对比学习中，发现一个更强的数据增强并不能帮助同类样本的对齐，但会增加不同类样本之间的距离，随后利用信息论以及图谱方法进行分析，并针对性设计了算法以提升图对比学习性能。

论文题目：Algorithmic Stability Unleashed: Generalization Bounds with Unbounded Losses

作者：李少杰，朱博炜，刘勇

通讯作者：刘勇

论文概述：在统计学习理论中，一个核心问题是在概率框架内量化学习算法的泛化能力。算法稳定性是推导泛化界限的强大工具，然而，它通常建立在一个关键假设上，即损失是有界的。在本文中，我们放宽了这个条件到带有次威布尔直径（subweibull diameter）的无界损失函数。这为算法稳定性提供了新的泛化界限，并将次高斯和次指数直径的现有结果作为特例包含在内。此外，我们提供了更精细的稳定性分析，其开发的泛化界限的速度可以比之前的结果快根号n倍，其中n是样本大小。

论文题目：Concentration Inequalities for General Functions of Heavy-Tailed Random Variables

作者：李少杰，刘勇

通讯作者：刘勇

论文概述：集中不等式在机器学习和高维统计学研究中起着至关重要的作用。本文得到了独立随机变量函数的有界差分不等式的无界类比，将有界差分条件推广到具有有限方差的重尾分布。为了说明我们结果的有效性，我们将其应用于次指数尾部、次威布尔尾部和更重的多项式衰减尾部，展示了如何将现有结果推广到有限方差分布。这些不等式具有广泛的应用空间。

论文题目：Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization

作者：李锐，李朝卓，申彦明，张泽宇，陈旭

通讯作者：陈旭

论文概述：知识图谱表示的最新进展依赖于欧式或双曲几何下的正交关系变换来建模重要的逻辑模式和拓扑结构。然而，现有方法局限于刚性（维度受限且几何同质）的关系正交变换，导致建模能力不足。为了突破现有方法在维度和几何方面的限制，本文设计了一种以广义Householder反射作为基本变换的通用正交参数化方法，进而提出了一种新颖且强大的知识表示框架。这种参数化方法可以自然地实现维度扩展和几何统一，并具有理论保证，使我们的框架能够同时捕获知识图谱中关键的逻辑模式和固有的拓扑异质性。在实验方面，本文所提出的框架在三个基准数据集上取得了最先进的性能。

论文题目：Relaxing the Accurate Imputation Assumption in Doubly Robust Learning for Debiased Recommendation

作者：李昊轩，郑淳元，王舒逸，吴昆翰，王浩，吴鹏，耿直，陈旭，周晓华

通讯作者：陈旭，周晓华

论文概述：推荐系统旨在根据用户的行为和偏好推荐他们可能感兴趣的物品或信息。然而，现有的推荐系统在训练数据收集过程中可能会存在选择偏差，即收集到的数据不能有效代表目标总体。以前的研究提出了许多基于伪标签的去偏方法来消除选择偏差。然而，这些方法的有效性在很大程度上依赖于准确的伪标签估计，而这在现实场景中很难满足。本文从理论上提出了几种新型的双稳健估计器，它们在以下两种情况下无偏：(a) 伪标签与真实标签之间存在任意的用户特定归纳偏置、物品特定归纳偏置或二者的加性组合；或 (b) 学习到的倾向得分是准确的。此外，我们进一步提出了一种利用注意力机制自适应地更新约束权重的倾向重构学习方法，并且该学习方法可以有效控制方差。在一个半合成数据集和三个真实世界数据集上的大量实验表明所提出的方法表现优于最先进的去偏方法。

论文题目：MMPareto: Innocent Uni-modal Assistance for Enhanced Multi-modal Learning

作者：卫雅珂，胡迪

通讯作者：胡迪

论文概述：具有针对性单模态学习目标的多模态学习方法在缓解不平衡的多模态学习问题方面表现出了卓越的效果。然而，我们发现，之前被忽视的多模态和单模态学习目标之间的梯度冲突，这可能会误导单模态编码器的优化。我们首先观察发现多模态损失和单模态损失之间的差异，即较易学习的多模态损失的梯度幅度和协方差都小于单模态损失。利用这一特性，我们进一步分析了多模态情况下的帕累托梯度整合，并提出了 MMPareto 算法，该算法可以确保最终梯度的方向与所有学习目标一致，并增强梯度的幅度以提高泛化能力，从而提供无害的单模态帮助。最后，覆盖了多种模态类型和多模态框架的实验表明，我们的方法性能优越且可扩展，并且还有望在任务难度差异明显的多任务情况下具有有效性，体现了了其理想的可扩展性。

论文题目：Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations

作者：薛凯文*、周聿浩*、聂燊、闵旭、张晓露、周军、李崇轩

通讯作者：李崇轩

论文概述：贝叶斯流网络（BFN）通过贝叶斯推断，在各种噪声水平下迭代地细化分布的参数，而不是扩散模型中的样本。由于其可微性质，BFN在同时保持快速采样能力的情况下，对连续和离散数据的建模都显示出了前景。本文旨在通过随机微分方程（SDE）将BFN与扩散模型联系起来，以理解和改进BFN。

我们确定了与BFN中噪声添加过程相对应的线性SDE，证明了BFN的回归损失与去噪得分匹配损失相一致，并验证了BFN中的采样器作为相应反向SDE的一阶求解器的有效性。基于这些发现以及扩散模型中快速采样的现有方案，我们为BFN提出了专门的求解器，这些求解器在样本质量方面显著超过了原始BFN采样器，且在有限的函数评估次数下（例如，10次），对图像和文本数据集均有效。值得注意的是，我们的最佳采样器实现了5至20倍的速度提升，且无需额外成本。

论文链接：https://arxiv.org/abs/2404.15766

代码链接：https://github.com/ML-GSAI/BFN-Solver

论文题目：Improving Equivariant Graph Neural Networks on Large Geometric Graphs via Virtual Nodes Learning

作者：张岳霖*，岑嘉诚*，韩家琦*，张志强，周俊，黄文炳

通讯作者：黄文炳

论文概述：等变图神经网络在各种科学应用中取得了显着的成功。然而在面对大型几何图时，现有的等变图神经网络的效率会成为一大问题，并且如果将输入简化后的稀疏局部图以加速速度，则等变图神经网络性能会很差。在本文中，我们提出了FastEGNN，这是针对大型几何图设计的等变图神经网络增强模型。其核心思想是利用一小部分有序的虚拟节点来近似真实节点的无序大图——具体地说，我们通过区分不同虚拟节点的消息传递和聚合，以增强彼此的独特性，并最小化虚拟坐标和真实坐标之间的最大平均差异（MMD），以实现全局分布对齐。FastEGNN 满足所有必要的 E(3) 对称性，并具有充分的表达能力。我们在多体系统（100 个节点）、蛋白质动力学（800 个节点）和3D水分子（8000 个节点）上进行的实验表明，FastEGNN 在准确性和效率之间实现了良好的平衡，甚至在删除所有真实节点间连边后，其在蛋白质动力学与3D水分子的任务上取得准确性也优于原先的EGNN模型。

论文题目：Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning

作者：孔祥哲，黄文炳，刘洋

通讯作者：黄文炳，刘洋

论文概述：生物学和药物发现中的许多过程涉及分子之间的各种3D相互作用，例如蛋白质与蛋白质、蛋白质与小分子等。由于不同的分子通常以不同的粒度进行表示，现有方法通常使用不同的模型独立编码每种类型的分子，从而无法有效学习普遍的相互作用物理原理。在本文中，我们首先提出将任意3D复合物通用地表示为一个集合的几何图，揭示了用一种模型编码所有类型分子的方法。然后，我们提出了一种通用等变Transformer（Generalist Equivariant Transformer，GET），以有效捕捉特定领域的层次结构和通用领域的相互作用物理特性。具体来说，GET由双层注意力模块、前馈模块和层归一化模块组成，每个模块都是E(3)等变的，并且可以用于处理大小动态改变的集合。值得注意的是，与传统的基于池化的分层模型不同，我们的GET能够保留所有层次的细粒度信息。我们在蛋白质、小分子和RNA/DNA之间的相互作用上进行了广泛的实验，验证了我们所提出的方法在不同领域中的有效性和通用性。

论文题目：Subequivariant Reinforcement Learning in 3D Multi-Entity Physical Environments

作者：陈润发，汪羚，杜雨，薛天瑞，孙富春，张建伟，黄文炳

通讯作者：孙富春，黄文炳

论文概述：多实体系统在三维环境中的策略学习比单实体场景复杂得多，这是由于随着实体数量的增加，全局状态空间呈指数增长。一种缓解指数复杂性的方法是将全局空间划分为独立的局部视图，这些视图对包括平移和旋转在内的变换是不变的。为此，本文提出了子等变分层神经网络（SHNN）来进行多实体策略学习。具体而言，SHNN首先通过任务分配将全局空间动态解耦为局部实体级子图。然后，它在局部实体级子图上利用子等变图神经网络来获取独立的局部参考坐标系。这种方法专门针对受重力影响的环境进行设计，从而可以显著减少状态空间的冗余。此外，为了克服现有基准测试在多实体系统中对欧几里得对称约束进行检验的局限性，我们提出了多实体基准测试（MeBen），这是一套新环境，旨在探索多实体强化学习的广泛领域。大量实验表明，在所提出的基准测试中，SHNN相比现有方法取得了显著进步。我们还进行了全面的消融实验，以验证任务分配和子等变性的必要性。

论文题目：Equivariant Diffusion for Crystal Structure Prediction

作者：林沛佳，陈品，矫瑞，莫晴，岑鉴焕，黄文炳，刘洋，黄聃，卢宇彤

论文概述：为了解决晶体结构预测（Crystal Structure Prediction, CSP）任务的执行效率和精度挑战，几何对称性可感知的深度学习模型已经被广泛研究。其中，基于扩散模型的方法通过把CSP转化为基于条件生成的任务，取得了良好的进展。然而，如何在扩散过程中保证置换、旋转和周期平移的等变性问题，仍然没有被完全解决。在这项工作中，我们提出了EDCSP，一种新颖的等变扩散生成模型。我们首先关注已有工作忽略的晶格置换等变性问题，并提出了一种考虑训练约束的解决方法；此外，我们还提出了一种独特的加噪方法，确保扩散模型在推理和训练过程中严格遵循周期平移等变性。我们的实验表明，EDCSP在生成精确结构方面显著优于现有模型，并且在训练过程中表现出更快的收敛速度。

论文题目：Contamination-Resilient Anomaly Detection via Adversarial Learning on Partially-Observed Normal and Anomalous Data

作者：Wenxi Lv, Qinliang Su, Hai Wan, 许洪腾, Wenchao Xu

论文概述：许多现有的异常检测方法都依赖大规模的正常数据集进行训练。但对于许多实际应用来说，受资源限制，从大规模未标记的数据集中删除所有异常样本是不现实的，进而导致我们难以获得理想的正常数据集。为了在这种情况下实现准确的检测异常，从概率论的角度来看，关键问题是如何从受污染的数据集中学习正常数据的分布。为此，我们提出了一种新的方法，通过收集两个额外的由正常和异常样本组成的小数据集进行对抗性学习，进而对正常数据分布进行估计。我们证明，在一些温和的条件下，我们所提出的方法能够学习正确的正常数据分布。此外，我们考虑了由于两个附加数据集较小而导致的过拟合问题，并进一步开发了保证模型正确性的翻转机制来缓解该问题。大量的实验结果表明，在检测受污染数据集条件下的异常情况时，我们的方法优于基准方法。