（一）

杨博教授指导的2021级博士研究生黄思理的论文“Decision Mamba: Reinforcement Learning via Hybrid Selective Sequence Modeling”被NeurIPS 2024录用。论文的第一作者为黄思理，通讯作者为杨博教授。

最近的研究表明，Transformer模型将强化学习(RL)任务建模顺序任务表展现出了很大的潜力。其中，基于Transformer的智能体可以通过提供任务上下文(例如称为上下文强化学习的多条轨迹)，于在线环境中实现自我完善。然而，由于Transformer中注意力的二次计算复杂度，当前的上下文强化学习方法随着任务视界的增加而产生了巨大的计算成本。相比之下，Mamba模型以其处理长期依赖关系的高效性而闻名，这为上下文强化学习解决需要长期记忆的任务提供了机会。为此，我们首先通过替换Decision Transformer (DT)的主干部分实现了Decision Mamba (DM)。然后，我们提出了Decision Mamba-Hybrid（DM-H)，它同时继承了Transformer和Mamba在高质量预测和长期记忆两方面的优点。具体而言，DM-H首先通过Mamba模型从长期记忆中产生高价值子目标。然后，我们使用子目标来提示Transformer，建立高质量的预测。实验结果表明，DM-H在长期和短期任务中都达到了最先进的水平。在效率方面，长期任务中DM-H的在线测试比基于Transformer的基线快28倍。

（二）

王英教授团队论文“Instance-adaptive Zero-shot Chain-of-Thought Prompting”被NeurIPS 2024录用。论文第一作者是王英教授和管仁初教授指导的2021级博士研究生苑小松，王英教授为通讯作者，其他合作者来自阿里巴巴集团和浙江大学。

零样本思维链（CoT）prompting作为一种简单有效的策略，可以在推理任务大幅提升语言模型（LLMs）的表现。然而，将单一任务级prompts应用于所有实例（instance）的效果有限的，因为单一prompt无法适用于所有instance，应仔细考虑prompt与每个instance之间的交互。本文首先通过信息流分析LLMs揭示零样本CoT推理中的机制，发现信息从question到prompt和从question到rationale的流动共同影响推理结果：即更好的零样本CoT推理需要prompt从问题中获取语义信息，然后推理通过prompt汇聚信息。基于上述分析，本文提出了一种instance-adaptive prompting（IAP）策略来实现零样本CoT推理。在数学、逻辑和常识推理任务上使用LLaMA-3等多种LLMs进行的实验结果展示出推理准确率的一致提升，证明本文所提prompting策略优于其他任务级prompting方法，验证了本研究对零样本CoT推理机制分析的正确性和重要性。

（三）

2023级硕士研究生梁思龙的论文“Semi-supervised Multi-label Learning with Balanced Binary Angular Margin Loss（基于平衡二元角度损失的半监督多标记学习）”被NeurIPS 2024录用（Spotlight）。论文的其他作者包括李熙铭教授，李长春，谷方明以及中科院文献情报中心的王鹏飞老师。

半监督多标记学习（SSMLL）是指使用少量多标记样本和大量无标记样本学习多标记分类器。SSMLL的主流方法是为无标记样本构建伪标签，并基于自训练思想使用标记和伪标记样本学习多标记分类器。本工作通过实验发现已有半监督多标记学习存在方差偏斜问题，即每个类别的正负样本特征分布的角度方差的差别较大，并通过理论分析指出方差偏斜问题可导致学习的多标记分类器在各类别性能不均衡问题。为此，本工作从平衡各类别的特征角度分布的角度出发，提出了一种新颖的平衡二元角度损失，并设计了一种高效的基于原型的负采样方法以获取高质量的负样本，以此为基础构建了一种新的基于平衡二进制角度损失的半监督多标记学习（SSMLL-BBAM）方法。实验结果表明提出的SSMLL-BBAM方法可有效提升半监督多标记学习性能。

（四）

2022级博士生杨雨欣为第一作者的论文” FedGMark: Certifiably Robust Watermarking for Federated Graph Learning”被NeurIPS 2024录用。作者还有杨雨欣的指导教师李强教授、美国康涅狄格大学Yuan Hong教授，通讯作者是美国伊利诺伊理工大学Binghui Wang教授。

联邦图学习（FedGL）是一种新兴的学习范式，用于协同训练来自不同客户端的图数据。然而，在FedGL模型的开发和部署过程中，它们容易受到非法复制和模型窃取的攻击。基于后门的水印是一种广泛的缓解这些攻击的方法，因为它可以为模型所有者提供所有权验证。我们通过基于后门的水印技术迈出了保护 FedGL模型所有权的第一步。现有技术在实现该目标时面临挑战：1）它们要么无法直接应用，要么表现不佳；2）它们容易受到水印移除攻击的影响；3）它们缺乏形式上的保证。为了解决这些问题，我们提出了FedGMark，这是第一个经过认证的鲁棒的基于后门的FedGL水印方法。FedGMark利用FedGL中的独特图结构和客户端信息来学习定制化和多样化的水印。它还设计了一种新的GL架构，能够有效抵御经验和理论上最坏情况下的水印移除攻击。大量实验验证了FedGMark在经验和理论层面上有前景的水印性能。

NeurIPS全称为神经信息处理系统大会(Annual Conference on Neural Information Processing Systems)，是人工智能和机器学习领域顶级国际会议（CCF推荐A类国际会议）。NeurIPS 2024将于2024年12月9日到15日在加拿大温哥华举办。