(一)
计算机科学与技术学院管仁初教授、丰小月副教授和黄岚教授共同指导的2023级博士生刘永皓和2021级硕士生李梦宇的论文“Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference”被IJCAI2024收录。论文的其他作者包括来自意大利特伦托大学的Fausto Giunchiglia教授和吉林大学的李熙铭教授,通讯作者是管仁初教授和丰小月副教授。
自然语言推理是自然语言处理中的一项重要任务。然而,传统的自然语言推理模型仅依赖于句子中固有的语义信息,缺乏相关的情景视觉信息,这可能会妨碍对句子的完整理解。为了应对这一挑战,论文提出了一种创新的 ScenaFuse 适配器,它能同时整合大规模预训练语言知识和相关视觉信息。具体来说,首先设计了一个图像—句子交互模块,将视觉信息纳入预训练模型的注意机制,使两种模式能够全面交互。此外,我们还引入了图像—句子融合模块,该模块可以自适应地整合来自图像的视觉信息和来自句子的语义信息。通过整合相关的视觉信息和语言知识,在语言和视觉之间架起了一座桥梁,提高了算法的任务理解和推理能力。基准实验证明,我们提出的 ScenaFuse能持续提升自然语言推理性能。
(二)
计算机科学与技术学院吕帅副教授等的论文“Alleviating imbalanced pseudo-label distribution: Self-supervised multi-source domain adaptation with label-specific confidence(缓解不平衡的伪标签分布:基于特定标签置信度的自监督多源领域自适应)”被IJCAI 2024录用。论文的第一作者为吕帅副教授,第二作者为2020级硕士生康勐,通讯作者为李熙铭教授。
现有的基于自监督的多源领域自适应(Multi-Source Domain Adaptation,MSDA)方法往往存在伪标签分布不平衡的特性。这种不平衡特性导致在目标域上存在许多类别含有过多或过少的伪标签样本,分别对应了易学习标签和难学习标签。这两类标签的存在极大地损害了目标域上的泛化性能。针对上述问题,本文提出了一种多源领域自适应方法,即:基于特定标签置信度的自监督多源领域自适应(Self-Supervised multi-Source Domain Adaptation with Label-specific Confidence,S3DA-LC)。本文估计了特定标签的置信度,即:标签的学习难度,并将其用于生成目标样本的伪标签,从而能够同时约束易学习标签、丰富难学习标签。在多个基准数据集上的大量实验结果验证了S3DA-LC与现有MSDA基线相比具有优越的性能。
(三)
计算机科学与技术学院吕帅副教授等的论文“Reconfigurability-aware selection for contrastive active domain adaptation(基于可重构性感知样本选择的对比主动领域自适应)”被IJCAI 2024录用。论文的第一作者2022级硕士生张泽宇,第二作者为申春副教授,通讯作者为吕帅副教授,第四作者为2022级硕士生张少杰。
主动领域自适应(Active Domain Adaptation,ADA)旨在标记一小部分目标样本以显著提高自适应性能。现有的ADA方法大多依赖于域鉴别器的输出或原始预测概率来设计样本选择策略,没有充分挖掘源域和目标域特征的语义信息,可能导致选择无用的目标样本。此外,大多数ADA方法都需要复杂的网络结构(例如:引入额外的域鉴别器、多个分类器或损失预测模块)和多个查询函数。针对上述问题,本文提出了一种简明但有效的ADA方法,称为基于可重构性感知样本选择的对比主动领域自适应(Reconfigurability-Aware Selection for Contrastive active domain adaptation,RASC)。利用基于可重构性感知的样本选择策略,RASC可以在存在域偏移的情况下选择最有价值的目标样本进行标注。为了更好地利用所选的目标样本,本文进一步设计了一个基于对比学习的渐进主动领域自适应框架。此外,本文还提出了一种RASC的变体RASC-Ob,它使用了一种更简单的样本标注方法,还添加了对于误分类样本的学习。在多个基准数据集上的大量实验结果验证了RASC的优越性。
(四)
计算机科学与技术学院李熙铭教授和李长春老师指导的2022级硕士研究生代渊超的论文“WPML3CP: Wasserstein Partial Multi-Label Learning with Dual Label Correlation Perspectives(具有双标签相关性视角的Wasserstein偏多标记学习)”被IJCAI 2024录用。论文的第一作者为李熙铭教授,第二作者为代渊超,通讯作者为李长春老师。其他作者包括2023级博士研究生王兵,管仁初教授,谷方明老师,以及欧阳继红教授。
偏多标记学习(PMLL)指的是从不精确标记的训练数据集中诱导多标签预测器,其中每个实例都与一组候选标签相关联,这些标签涵盖了真实标签,但也包含一些不相关的标签。现有的PMLL方法大多都是通过利用标签之间的相关性来估计更加精确的候选标签的真实置信度,再通过置信度诱导多标签预测器。但是标签相关性的不准确估计可能导致真实置信度的不准确估计。针对上述问题,本文提出了一种新的PMLL方法,称为双标签相关性视角的Wasserstein偏多标记学习(Wasserstein Partial Multi-Label Learning with Dual Label Correlation Perspectives,WPML3CP),着力于估计精确的标签相关性,以提升真实置信度的准确性。具体来说,本文从两个角度捕获标签相关性:1)利用有关标签相关性的Wasserstein距离来测量真实置信度和预测之间的损失;2)利用一个标签相关性的流形正则化项来约束预测模型的参数,并在增广Lagrange乘子方法框架内对参数进行优化。最后,在真实和合成数据集上的大量实验结果表明,本文提出的方法相较于其他PMLL基线具有优越性和有效性。
(五)
计算机科学与技术学院杨博教授指导的2021级博士生刘佳奇的论文“Stochastic Neural Simulator for Generalizing Dynamical Systems Across Environments(一种实现复杂动态系统跨环境泛化的随机神经模拟器)”被IJCAI 2024接收。论文的第一作者为2021级博士生刘佳奇,通信作者是崔佳旭副教授,其他作者还包括第一作者的导师杨博教授。
用于建模复杂系统的神经模拟器已被广泛应用于如天气预报、洋流预测和计算流体动力学模拟等现实场景。尽管相关研究已经证实了它们具有强大的拟合和预测能力,但目前方法仅针对单个系统动力学进行学习。最新的神经模拟器开始尝试复杂系统的跨环境学习,以达到利用跨环境动力学之间的潜在共性快速适应新环境的目的。然而这些方法仍面临数据稀疏性问题,该工作有针对性的提出了一种新型跨环境复杂系统学习方法,即CoNDP(Context-Informed NeuralODE Processes),以实现从跨环境的稀疏观测中学习系统动力学。该方法能够充分利用各环境的上下文信息,更好地捕捉环境之间的内在共性和环境间的可区分差异,同时可对系统演化过程的不确定性进行建模,从而产生更精准的预测。论文对来自不同领域的五种复杂系统进行了深入的实验。结果表明,与常见的神经模拟器和最先进的跨环境模型相比,所提出的CoNDP能够获得最佳结果。
(六)
计算机科学与技术学院杨博教授指导的2019级博士生张春旭的论文“Federated Adaptation for Foundation Model-based Recommendations”被IJCAI 2024录用。论文的第一作者为杨博教授指导的2019级博士生张春旭,通讯作者为杨博教授,合作者包括悉尼科技大学龙国栋教授,清华大学刘洋教授和快手科技公司。
大语言模型最近在多个领域取得了显著的成功,尤其是具备较强泛化能力的基础模型,将其应用于推荐系统已经成为了一种新的推荐范式。然而,如何能够在保护隐私的前提下,使基础模型能够及时捕捉用户偏好的变化,同时保持合理的通信和计算成本,成为了一个全新的挑战。为此,论文提出了一种新的联邦自适应机制,以保护隐私的方式增强基于基础模型的推荐系统。具体来说,每个客户端首先利用其私有数据学习一个轻量级的个性化适配器,然后,通过协调适配器和预训练的基础模型,以一种细粒度的方式高效地提供推荐服务。该模型可以促进将共享知识融入到所有适配器中,同时有效建模用户的个人偏好。论文在四个实际场景中的基准数据集上对提出的模型进行了验证,实验结果表明,论文提出的方法相比于当前最先进的联邦推荐模型具有显著的性能提升。
IJCAI全称为国际人工智能联合会议(International Joint Conference on Artificial Intelligence),是人工智能领域顶级国际会议,CCF推荐A类会议。