学院新闻

2021年1月，中国人民大学高瓴人工智能学院师生有3篇论文被国际学术会议ICLR（2021）录用。ICLR全称为“International Conference on Learning Representations”（国际学习表征会议）。ICLR被认为是“深度学习的顶级会议”。会议由位列深度学习三大巨头之二的Yoshua Bengio和Yann LeCun牵头创办。本次ICLR 2021共有2997篇有效论文投稿，其中860篇被接受，录用论文193篇，录用率达28.7%。

论文介绍

论文题目：MELR: Meta-Learning via Modeling Episode-Level Relationships for Few-Shot Learning

作者：费楠益,卢志武,向滔,黄松芳

通讯作者：卢志武

论文概述：最近的小样本学习方法几乎都是基于场景式（元任务式）训练，即为了模仿测试时的情况，每个元任务中对于每个类只采样少量训练样本（支撑样本）。然而，这种严格仿照测试情况的训练方式有个副作用，即训练得到的模型容易受到少量支撑样本的坏采样的影响。在本工作中，我们第一次以探索场景之间关系的方式来尝试解决该问题。特别地，我们提出了一个新颖的建模场景级别关系的元学习（MELR）框架：通过采样两个拥有相同类别集合的场景用于元训练，MELR用来保证训练得到的模型在元测试阶段对于质量不高的支撑样本的存在是鲁棒的。这可以通过设计两个关键部件来实现：（1）一个跨场景注意力模块（CEAM）来提高模型减少坏采样支撑样本带来的反作用的能力；（2）一个跨场景一致性正则（CECR）来保证分别在两个场景下独立得到的两个分类器有一致的表现。在两个基准数据集上，大量标准小样本学习实验显示我们的MELR相比于我们使用的基准方法（原型网络）取得了1.0%- 5.0%的性能提升，而且在相同设置下打败了最新的方法。

论文介绍

论文题目：IEPT: Instance-Level and Episode-Level Pretext Tasks for Few-Shot Learning

作者：张曼黎,章剑鸿,卢志武,向滔,丁明宇,黄松芳

通讯作者：卢志武

论文概述：目前的深度神经网络需要为每个新任务收集大量带标签的训练数据，在一定程度上限制了其实用性。给定来自一组源任务的数据，可以使用两种迁移学习方法来克服此限制：小样本学习（FSL）和自监督学习（SSL）。前者旨在通过使用源任务设计学习场景来学习“如何学习”，以模拟用很少的带标签样本来解决目标新任务的挑战。相反，后者利用所有源任务中的无注释预定义任务来学习可泛化的特征表示。本文提出了一个创新的实例级和场景级的预定义任务（IEPT）框架，该框架无缝地将SSL集成到FSL中。具体来说，给定FSL场景，我们首先将几何变换应用于每个实例以生成扩展场景。在实例级别，按照标准的SSL执行转换识别。重要的是，在场景级别中我们设计了两个SSL-FSL混合学习目标：（1）场景级别的预定义任务，会最大限度地提高来自不同扩展场景的FSL分类预测结果之间的一致性；（2）将从每个实例中跨不同场景提取的特征进行集成，以构建用于元学习的单个FSL分类器。大量实验表明，我们提出的模型（即带有IEPT的FSL）达到了最新的技术水平。

论文介绍

论文题目：Effective Distributed Learning with Random Features: Improved Bounds and Algorithms

作者：刘勇，刘建坤，王书强

通讯作者：刘勇

论文概述：核岭回归（kernel ridge regression，KRR）是一类重要的统计学习方法，但其 O (n³)时间和 O (n²)空间复杂度限制其在大规模问题上的应用。分布式是一种常用的改进KRR学习效率的方法，但已有的分布式KRR统计学习理论表明，如果想保证与原始KRR相同的统计精度，分块数必须为常数，这大大限制了分布式KRR的推广。本文中，我们提出了一种高效的分布式随机特征方法，该方法在保证与原始KRR相同的统计精度下，时间和空间复杂度降为 O (n^1.5)和 O (n)。为了进一步保证与原始KRR得到相同的概率误差界，在原有分布式随机特征方法的基础上提出了一种全新的通讯策略，能降低对分块数的要求。在仿真和实际数据集中验证了理论的有效性。