学院新闻

5月15日，中国计算机学会（CCF）推荐的A类国际学术会议ICML 2022论文接收结果公布。中国人民大学高瓴人工智能学院师生有8篇论文（均为长文）被录用。 国际机器学习大会(International Conference on Machine Learning，简称ICML ) 是由国际机器学习学会（IMLS）主办的机器学习国际顶级会议，也是中国人民大学A类学术会议。ICML 2022 共收到5630 投稿，接收1117 篇 short oral，118篇 long oral，录用率为21.94%。

论文介绍

论文题目：High Probability Guarantees for Nonconvex Stochastic Gradient Descent with Heavy Tails

作者：李少杰，刘勇

通讯作者：刘勇

论文概述：随机梯度下降（SGD）是现代机器学习和数据驱动优化的主要工具。尽管SGD很受欢迎，但现有的SGD理论保证（guarantees）主要关注于期望保证和凸学习问题。非凸SGD的高概率保证很少，通常依赖于“轻尾”(light-tailed)噪声假设，或者单独研究优化(optimization)和泛化(generalization)性能。在本文中，我们从优化和泛化性能的联合角度，给出了非凸SGD的高概率保证。我们不考虑轻尾假设，而是考虑梯度噪声服从重尾的次威布尔分布（sub-Weibull distribution），这是一类将次高斯（sub-Gaussian）分布和次指数(sub-Exponential)分布推广到潜在重尾分布的新型分布。在这些复杂的条件下，我们首先给出了一般非凸学习中优化和泛化的高概率界限（bound）。我们然后转移到具有梯度主导曲率条件的非凸学习，提高了优化和泛化的收敛速度。再有，通过考虑轻微（weak）的伯恩斯坦（Bernstein）型噪声条件，我们进一步获得了更紧的学习保证。我们的分析揭示了在不同条件下优化和泛化性能之间的权衡效应（trade-off）。最后，我们证明了梯度裁剪(clipping)可以用来消除有界梯度类型的假设。

论文介绍

论文题目：Deep Safe Incomplete Multi-view Clustering: Theorem and Algorithm

作者：唐华镱，刘勇

通讯作者：刘勇

论文概述：非完整多视图聚类是多视图学习中重要且极具挑战的任务。我们观察到从完整和非完整数据中学习可能比仅从完整数据中学习更差，尤其是当填补视图与缺失视图之间存在语义不一致的时候。为了解决这个问题，我们提出了一个新的框架来减少语义不一致的填补视图导致的聚类性能下降风险。具体地，所提出的双层优化框架基于特征动态挖掘语义邻居并由此填补缺失视图，同时自动选择填补样本进行训练。在理论上，所提出模型在完整数据上的经验风险不高于仅在完整样本中学习模型的经验风险，同时，该模型的期望风险以高概率不低于仅在完整样本中学习模型的期望风险。在基准数据集上的综合实验证明了该框架在实现安全非完整多视图聚类方面的有效性和优越性。

论文介绍

论文题目：Interventional Contrastive Learning with Meta Semantic Regularizer

作者：强文文*，李江梦*，郑昌文，苏冰，熊辉

通讯作者：苏冰

论文概述：基于对比学习的自监督学习模型以成对的方式学习视觉表示。虽然目前主流的对比学习模型取得了长足的进步，但在本文中，我们发现了一个一直被忽视的现象：当对比学习模型用全图训练时，全图测试的性能优于前景区域；当用前景区域训练对比学习模型时，在全图像中测试的性能比在前景区域中要差。这一观察表明，图像中的背景可能会干扰模型学习语义信息，并且它们的影响尚未完全消除。为了解决这个问题，我们建立了一个结构因果模型来将背景建模为混杂因素。我们提出了一种基于后门调整的正则化方法，即带有元语义正则化器的介入对比学习（ICL-MSR），以对所提出的结构因果模型进行因果干预。ICL-MSR 可以合并到任何现有的对比学习方法中，以减轻表示学习的背景干扰。理论上，我们证明 ICL-MSR 实现了更严格的误差界限。实验上，我们在多个基准数据集上的实验表明，ICL-MSR 能够提高不同最先进的对比学习方法的性能。

论文介绍

论文题目：MetAug: Contrastive Learning via Meta Feature Augmentation

作者：李江梦*，强文文*，郑昌文，苏冰，熊辉

通讯作者：苏冰

论文概述：什么对对比学习很重要？我们认为对比学习在很大程度上依赖于有信息量的特征，或“困难的”（正例或负例）特征。早期的方法通过应用复杂的数据增强和大批量或内存库来包含更多有信息量的特征，最近的工作设计了精细的采样方法来探索有信息量的特征。探索这些特征的关键挑战是源多视图数据是通过应用随机数据增强生成的，这使得始终在增强数据中添加有用信息是不可行的。因此，从这种增强数据中学习到的特征的信息量是有限的。在本文中，我们建议直接增强潜在空间中的特征，从而在没有大量输入数据的情况下学习判别表示。我们执行元学习技术来构建增强生成器，通过考虑编码器的性能来更新其网络参数。然而，输入数据不足可能会导致编码器学习坍塌的特征，从而导致增强生成器出现退化的情况。我们在目标函数中进一步添加了一个新的边缘注入正则化，以避免编码器学习退化映射。为了在一个梯度反向传播步骤中对比所有特征，我们采用了优化驱动的统一对比损失，而不是传统的对比损失。根据实验验证，我们的方法在几个基准数据集上获得了最先进的结果。

论文介绍

论文题目：Fast-Rate PAC-Bayesian Generalization Bounds for Meta-Learning

作者：管界超，卢志武

通讯作者：卢志武

论文概述：PAC-Bayesian 泛化误差上界为元学习模型在未知任务上的泛化性能提供了理论保证。然而，到目前为止我们还不清楚我们究竟可以得到多紧的关于元学习模型的PAC-Bayesian泛化误差上界。在这篇论文中，我们提供了一个可以同时处理单任务学习和元学习的证明框架。该证明框架的关键步骤应用了Berend和Tassa在2010年证明的一个简洁而深刻的定理：K个相互独立的[0,1]-值随机变量和的凸函数的期望能够被K个独立同分布（i.i.d.）的{0，1}-值随机变量和的凸函数的期望给控制住。基于这个定理，我们能将单任务学习中最紧的PAC-Bayesian-kl 界和PAC-Bayesian-Catoni界从独立同分布设置推广到独立设置，从而得到了目前为止最紧的关于元学习的PAC-Bayesian 泛化误差上界（仍记为PAC-Bayesian-kl界和PAC-Bayesian-Catoni界）。通过最小化这两个PAC-Bayesian元学习泛化误差上界，我们得到了两个基于深度神经网络的元学习分类算法。对于回归问题，通过给每一个训练任务设置最优的Gibbs后验概率，我们可以得到最小化元学习PAC-Bayesian-Catoni上界的闭式解，进而得到一个高效的元学习回归算法。虽然最小化我们的元学习PAC-Bayesian-kl上界无法得到一个闭式解，我们证明了PAC-Bayesian-kl上界可以被推广到“任务之间和任务当中的样本之间都不独立”的元学习设置。在分类和回归问题上的实验进一步说明了我们所提出的元学习算法能够和最近的工作取得相似的结果。

论文介绍

论文题目： Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models

作者：鲍凡，李崇轩，孙嘉城，朱军，张钹

通讯作者：李崇轩，朱军

论文概述：扩散概率模型是最近提出的一类重要的概率模型。为了提高扩散概率模型的推断效率，提出了其反向过程协方差矩阵的最优估计（最大似然意义下），并且进一步对该估计中数据的评分函数学习不准时做了最优修正（最大似然意义下），在多个扩散概率模型中取得了明显地加速效果。

论文介绍

论文题目： Maximum Likelihood Training for Score-based Diffusion ODEs by High Order Denoising Score Matching

作者：路橙，郑凯文，鲍凡，李崇轩，陈键飞，朱军

论文概述：本文从理论上指出过去的一阶评分匹配方法并非对测试时使用的概率常微分方程做最大似然估计。基于该发现，本文提出了负对数似然的一个新上界，该上界包含高阶评分函数的估计误差，从而自然地导出高阶降噪评分匹配算法。在保证样本质量的前提下，所提算法在多个模型和数据中取得了比过去的一阶方法更好的似然结果。

论文介绍

论文题目： Fast Lossless Neural Compression with Integer-Only Discrete Flows

作者：王思宇，陈键飞，李崇轩，朱军，张钹

论文概述：相较于传统压缩方法，基于深度生成模型的无损压缩技术的压缩率已有明显优势，但是压缩计算效率低下。这类技术的主要计算瓶颈在于深度生成模型的实时推断速度。基于经典的量化和剪枝加速技术，我们提出完全整数化的流模型，在保证压缩率基本不变的情况下，可以将流模型的推断速度提高10倍以上，一定程度上促进了基于深度生成模型的无损压缩技术的落地应用。