(一)
计算机科学与技术学院吕帅副教授等的论文“Low Category Uncertainty and High Training Potential Instance Learning for Unsupervised Domain Adaptation(通过关注低类别不确定性和高训练潜力的实例学习的无监督领域自适应)被AAAI 2024录用。论文的第一作者为2022级硕士生张鑫宇,通讯作者为吕帅副教授,其他作者为2020级硕士生康勐。
近年来,实例对比学习在无监督领域自适应中取得了良好的效果。通过减少正样本与锚间的距离,增加负样本与锚间的距离,学习目标样本的判别特征表示。识别正样本和负样本通常基于样本伪标签和锚点伪标签是否一致。由于缺乏目标标签,许多不确定的数据在训练过程中被错误地标记。此外,许多低训练潜力的数据也会被利用。
针对上述问题,本文提出了用于无监督领域自适应的低类别不确定性和高训练潜力实例学习LUHP(Low Category Uncertainty and High Training Potential Instance Learning)。提出了类别不确定性权重,通过不同类别的类别不确定性阈值,过滤分布在决策边界周围的数据和噪声数据。对于不确定性较低的样本,设计了一种重用策略来提高模型的稳健性。设计了基于权重的多样本三重损失,优化目标为减少锚与具有高训练潜力的正样本之间的距离,同时增加锚与具有较高训练潜力的负样本之间的间距。LUHP在4个数据集上达到了最优性能,尤其对于Office-Home实现了巨大的性能提升。
(二)
计算机科学与技术学院吕帅副教授等的论文“Reviewing the Forgotten Classes for Domain Adaptation of Black-box Predictors(重新认识黑盒领域自适应中的遗忘类)”被AAAI 2024录用。论文的第一作者为2022级硕士生张少杰,第二作者为申春副教授,通讯作者为吕帅副教授,其他作者为2022级硕士生张泽宇。
为了解决领域自适应的数据隐私性和可移植性问题,黑盒领域自适应旨在不访问源域数据和源域模型细节的情况下,将黑盒源域模型适应到未标记的目标域。我们通过大量的实验发现:目前表现最优的基于知识蒸馏的黑盒领域自适应方法虽然取得了很好的效果,但都存在少数类遗忘问题,即训练好的目标模型完全遗忘了部分少数类。
针对上述问题,本文提出了一种重新认识遗忘类的RFC(Reviewing the Forgotten Classes)方法,主要包含两个模块:第一个模块为选择训练,根据模型的学习状态选择模型容易遗忘的类,并利用小损失准则获取所选类的干净样本进行增强训练。该模块与现有的方法正交,可以有效地缓解少数类遗忘问题。第二个模块为邻域聚类,可以使模型学习比知识蒸馏更均衡,进一步缓解少数类遗忘问题。本文方法继承了上述模块的优点,在3个基准上达到了最优性能。
(三)
计算机科学与技术学院吕帅副教授等的论文“Double buffers CEM-TD3: More efficient evolution and richer exploration(带有双缓冲区的CEM-TD3:更高效的进化和更充分的探索)”被AAAI 2024录用。论文的第一作者为2020级硕士生朱盛,第二作者为申春副教授,通讯作者为吕帅副教授,其他作者为2022级硕士生吴珺泓、2022级硕士生安道龙。
CEM-TD3作为一种进化强化学习方法,将交叉熵方法CEM(Cross Entropy Method)和双延时深度确定策略梯度TD3(Twin Delayed Deep Deterministic policy gradient)方法相结合,在采样效率和性能之间取得了令人满意的权衡。然而我们发现:在CEM-TD3中,CEM策略搜索效率过低,基于TD3的策略梯度学习也会削弱种群的多样性导致探索能力下降。
针对上述问题,本文提出了带有双缓冲区的CEM-TD3(Double Buffers CEM-TD3,DBCEM-TD3)。首先,构建了行动者缓冲区以存放种群进化所需要的策略。在每次迭代中,使用少量新采样的策略替换行动者缓冲区中适应度低的策略,基于替换后的行动者缓冲区进行策略搜索,可以实现更高效的进化。其次,构建了评论家缓冲区以存放用于指导新采样的策略学习的评论家。在每次迭代中,每个评论家从经验回放缓冲区中独立地采样学习。该学习方式保证新采样的策略具备更多样性的行为,提供更充分的探索。最后,本文在MuJoCo的若干连续控制任务上进行了系统评估,实验表明DBCEM-TD3的性能优于CEM-TD3、SAC、TD3以及其它进化强化学习算法。
(四)
计算机科学与技术学院欧阳继红教授等的论文“Aspect-Based Sentiment Analysis with Explicit Sentiment Augmentations”被AAAI 2024录用。论文的第一作者为欧阳继红教授,第二作者为欧阳继红教授指导的2020级博士研究生杨智尧,通讯作者为李熙铭教授。其他作者包括2023级硕士研究生梁思龙,2023级博士研究生王兵和2023级博士研究生王艺蒙。
方面情感分析旨在识别句子中关于某个方面的情感表达,是一种细粒度的情感分析任务。判断方面级情感的重要手段就是寻找到与方面词相关的意见词,如“好”、“坏”等。但是现实生活中,许多句子缺少意见词,但是仍然可以表达情感,这样的表达也可以被称作“隐含情感”。为了解决上述问题,作者提出了一个整合了显式情感增强的方面情感分析方法(ABSA-ESA)。具体来说,作者使用基于规则统计的显式情感数据来对语言模型进行后训练,以让模型生成显式的情感表达。在训练过程中,作者设计了语法距离加权和非期望生成约束来引导模型正确的生成显式情感。同时,作者利用约束集束搜索来确保生成的句子中包含方面词。作者在方面情感分析最常用数据集上对模型进行了测试,实验结果表明ABSA-ESA在显式和隐式情感分类准确率上都优于最新的模型。
(五)
计算机科学与技术学院教师迟晋进等的论文“Generalized Variational Inference via Optimal Transport”被AAAI2024录用。论文的第一作者为迟晋进,其他作者包括硕士生张智超,博士生杨智尧,欧阳继红教授和西安交通大学裴红斌副教授。
传统变分推理 (VI)方法使用 Kullback-Leibler (KL) 散度作为度量工具。 KL 散度具有趋零行为,并且忽略了底层数据分布的几何结构,导致近似效果较差。为了解决这个问题,论文使用最优传输(OT)距离来度量近似后验分布和先验分布之间的差异程度,从而提出一个新的变分目标。基于OT 距离的变分目标不仅能够学习到更准确的近似值,同时对先验分布的错误指定具有一定的鲁棒性。为了解决过度参数化模型,我们在变分目标中引入参数 λ进一步强化目标函数。从而,论文提出一种基于OT的变分推理方法,该方法使用一种基于梯度的黑盒框架来求解贝叶斯模型。论文提供了近似后验分布的一致性分析证明,并给出了所提方法在贝叶斯神经网络和变分自动编码器模型下的实际有效性。
(六)
计算机科学与技术学院周柚教授指导的学生2021级博士生肖钰彬的论文“Distilling Autoregressive Models to Obtain High-Performance Non-Autoregressive Solvers for Vehicle Routing Problems with Faster Inference Speed”被AAAI 2024录用。论文的其他作者为南洋理工大学的王迪高级研究员、李博洋副教授,以及计算机学院的2022级硕士生汪明曌、2022级博士生吴翾等。通讯作者为周柚教授。
采用自回归(AR)或非自回归(NAR)学习方法的神经构建模型在车辆路径问题(VRPs)中表现出了良好的性能。虽然AR模型产生高质量的解决方案,但由于其顺序生成的性质,它们通常具有很高的推理延迟。相反,NAR模型以较低的推理延迟并行生成解决方案,但通常表现出较差的性能。我们提出了一种通用的引导式非自回归知识蒸馏(GNARKD)方法来将AR模型转换成其相应的NAR模型使其同时具备高效推理速度和良好性能。我们通过将GNARKD应用于三种经典的AR模型,并在VRP的合成实例和现实世界实例中验证该方法性能。实验结果表明,GNARKD显著缩短推理时间(平均单个实例提升4倍以上,多个实例提升50倍以上),解质量近乎持平(平均下降2%),甚至要超过其教师AR模型(在全监督下)。据我们所知,GNARKD是第一个通过知识蒸馏将AR求解器转换成NAR VRP求解器。
(七)
计算机科学与技术学院管仁初教授、丰小月副教授和黄岚教授共同指导的2023级博士生刘永皓的论文“Improved Graph Contrastive Learning for Short Text Classification”被AAAI2024收录。论文的其它作者包括Fausto Giunchiglia教授。通讯作者是管仁初教授和丰小月副教授。
文本分类在自然语言处理中占有重要地位,短文分类作为其中的子课题,因其语义稀疏和标注数据不足而更具挑战性。论文提出了一种改进的图对比学习模型来解决该问题。首先,论文通过挖掘内部语料库并引入外部知识图谱,构建了一个包含多个组件图的异构图。然后,使用奇异值分解生成用于图对比学习的增强视图。此外,论文还在标注文本上使用受限 k 均值来学习聚类友好特征,从而促进面向聚类的对比学习,并帮助获得更好的类别边界。广泛的实验结果表明,所提出的模型明显优于以前的方法。
(八)
计算机科学与技术学院王刚教授团队的论文“Multi-constellation-inspired Single-shot Global LiDAR Localization”被CCF-A类会议AAAI 2024接收。论文的第一作者为王刚教授的博士研究生张同舟,通讯作者为王刚教授,第三作者为2021级硕士生陈雨,作者还包括哈尔滨工业大学的张海教授和胡珏副教授。
全局定位对于智能机器人来说是一项具有挑战性的任务,其准确性将直接影响下游导航任务和规划任务的性能。然而,现有文献更注重于地点检索以及定位的成功率,对于定位精度度量的关注相对有限。本文受到多星定位系统的启发,提出了一种基于单帧激光点云的全局定位方法,旨在实现高精度的位置估计。首先,我们使用全局描述符进行粗定位,并根据粗定位结果来获取观测点以及该点对应的坐标信息。随后,设计了一种轻量级激光雷达里程计,用于估计检索点云数据与观测点数据之间的距离。最终,全局定位问题被转化为解决多球体共点的优化问题。在KITTI数据集和自采集数据集上的实验结果表明,所提出方法的平均定位误差为0.89米(含z轴误差)。此外,该方法在KITTI数据集上的定位效率为0.357秒每帧,在自采集数据集上为0.214秒每帧。
(九)
计算机科学与技术学院秦贵和教授和陈海鹏教授共同指导的2022级博士生刘宇的论文“Causality-Inspired Invariant Representation Learning for Text-Based Person Retrieval”被AAAI 2024录用。论文的其他作者包括中国科学技术大学的杨勋教授以及山东省人工智能研究院的程志勇研究员。
基于文本的行人检索(TPR)旨在基于给定的文本查询来检索特定行人的相关图像。现有方法主要关注跨模态数据的虚假相关性,而忽略了数据内在的因果相关性。我们创新性地观察TPR任务中数据的因果相关性,提出了面向TPR任务的不变表示学习方法(IRLT),使学习到的表示具有以下两个特性:1)独立性:独立于非因果因素(检索无关,例如背景);2)充分性:在不同环境中对TPR具有因果充分性,从而获得了更加稳定可靠的检索结果。在三个公开数据集上进行的大量实验表明,IRLT在准确性和泛化方面均优于现有领先的方法。
AAAI全称为AAAI人工智能年会( Annual AAAI Conference on Artificial Intelligence),是人工智能领域顶级国际会议(CCF推荐A类国际会议)。AAAI 2024将于2024年2月20日到27日在加拿大温哥华举办。