奈何让大模子感知学问图谱学问？

蚂蚁连合实验室：欺诈多词元并行瞻望给它"上课"。

大谈话模子的马上发展突破了很多天然谈话处理任务间的壁垒。常常情况下，大谈话模子以瞻望下一个词元（Token）为查验标的，这与很多天然谈话处理任务相等契合。

但关于学问图谱而言，实体算作最基本的数据单位，经常需要多个天然谈话词元才能准确描画，这导致学问图谱与天然谈话之间存在彰着的粒度不匹配。

为了管制这一问题，蚂蚁团队建议了一种基于大谈话模子的多词元并行瞻望行动 K-ON，其欺诈多词元并行瞻望机制概况一次生成对系数实体的评估断绝，进费力毕谈话模子实体层级的对比学习。

其断绝收录于 AAAI 2025 Oral。论文一作现在在浙江大学攻读博士。

实验断绝标明，本文行动在多个数据集上的学问图谱补全任务中均优于现存行动。

基于多词元并行瞻望的实体对比学习

词元是谈话模子所能处理的最基本元素，常常需要数个词元组成的文本标签才能准确描画和辩认学问图谱中的实体。天然为每个实体创建一个新的词元并在微调过程中学习这些词元的暗意不失为一种替代决策，但这种形势查验调优资本较高，且可能会对大模子的性能产生负面影响，通用性也受到铁心。

本文探讨了奈何高效欺诈多个词元描画学问图谱中的实体以管制学问图谱有关问题的行动。率先，班师优化经典的序列瞻望赔本可能会导致大模子短缺对学问图谱实体的坚定，从而出现生成学问图谱中不存在的实体的问题；且商酌到学问图谱中实体的数目，将系数实体以文本凹凸文的形势输入给大模子明显亦然不实际的。

以上图为例，假定任务是给定不齐备三元组以瞻望标的实体 Matt Damon。左图中使用惯例连气儿单词元瞻望形势生成断绝需要多个子要领，且无法班师处理多个实体。因此，现存大大都学问图谱有关行动仅将大模子应用于浅易任务上，如考据三元组的正确性或从有限数目的候选实体中遴荐正确谜底。

比较之下，本文建议的 K-ON 行动使用 K 个输出层并行瞻望多个实体不同位置词元的概率，这与现在 DeepSeek 等大模子中使用的多词元瞻望时代有着一定的相似性，且本文行动进一步借助了实体层级的对比学习在模子输出层上累加学问图谱学问。

K-ON 完成学问图谱补全任务的行动论

如下图所示，K-ON 并行评估学问图谱候选实体分数的过程可分为五步：

( 1 ) 与现存微调大模子的行动相似，K-ON 将学问图谱补全问题以文本教唆的形势输入大模子；

( 2 ) 经大模子 Transformer 模块处理后的输出状况被输入至 K-ON 模块中，该模块由多个原大模子输出层 MLP 组成，对应为要瞻望实体的不同位置的词元；

( 3 ) 接着，K-ON 使用 Conditional Transformer 混杂不同位置的信息，并商酌到词元前后的规章依赖性；

( 4 ) 然后，使用低秩相宜时代（LoRA）将原大模子评分层构造为 K 个新的评分层，从而把上一步的输出断绝更正为对实体 K 个连气儿词元的概率瞻望散布；

( 5 ) 终末便不错从不同位置的概率瞻望散布中抽取各实体词元对应的概率值，进而一次评估系数候选实体的分数。

在赢得候选实体分数后，便可使用学问图谱暗意学习限度中最为常用的对比学习赔本使大模子掌合手学问图谱中实体的散布：

此处 pe、 pej 分辩代表正样本和负样本的分数，均由 K-ON 模块并行生成。除了实体层级的对比学习外，本文还进一步商酌使用词元序列对皆使多词元并行瞻望的断绝与蓝本大模子单步连气儿瞻望的断毫不竭近。为已毕这一标的，本文率先引入常用的单步瞻望赔本以在查验语料上微调原输出层参数：

这里的下标 k 指代组成实体的词元的序号。

接着便可令 K-ON 模块中一次评估的 K 个词元的概率散布与惯例连气儿单词元瞻望得到的 K 个概率散布对皆：

此处上标 k-on、llm 分辩指代 K-ON 和惯例连气儿瞻望所得到的分数。

终末，查验 K-ON 完成学问图谱补全任务的基本经由可归来如下：

实验断绝：效用更高、资本更低、断绝更好

下表展示 K-ON 在学问图谱补全任务上的实验断绝，除传统行动外，本文还与相通基于大模子的行动以及多模态行动进行了比较。不丢丑出，K-ON 在所特等据集及规划上均取得了优于现存行动的断绝，且与一些使用异常图像数据的行动比较，仍具有一定上风。

下图中进一步分析了 K-ON 中跟着 K 值的增多，模子各方面性能的变化，这里 K 的取值班师决定了单个实体最多不错由些许词元抒发。如图所示，当 K 取值过小时，由于抒发才智不及，K-ON 取得的实验断绝很差，但增多至 8 以后带来的性能普及已不彰着，而模子可查验参数目却稳步高潮。

值得瞩成见是，推理所用单步时刻及总查验时刻受 K 值影响不大，这施展了 K-ON 多词元并行瞻望的高效性。

不仅如斯，本文还对 K-ON 所已毕的实体层级的对比学习进行了分析，如下图所示。不错看出，在险些不合查验效用形成影响的前提下，K-ON 可减轻已毕波及上千个负样本实体的对比学习，但负样本数目并不是越多越好，将其设为 128 个傍边便可取得最优断绝。

本文建议了一种多词元并行瞻望行动，通过实体层级的对比学习使大模子概况感知学问图谱学问。充分的实验断绝标明，本文行动在学问图谱有关任务上具有权贵性能上风，况兼较惯例大模子决策具有更高的查验与推理效用。

论文地址：

https://arxiv.org/pdf/2502.06257

蚂蚁有 18 篇时代论文被收录

当地时刻 2 月 25 日，AAAI 2025 将在好意思国宾夕法尼亚州费城举办，会议为期 11 天，于 3 月 4 日断绝。AAAI 由海外东谈主工智能促进协会垄断，为东谈主工智能限度的顶级海外学术会议之一，每年举办一届。AAAI 2025 共有 12957 篇有用投稿，委派 3032 篇，考中率为 23.4%。

蚂蚁有 18 篇时代 Paper 收录，其中 3 篇 Oral，15 篇 Poster，野心限度波及增渊博模子阴私保护、提高推理速率与推理才智、普及大模子查验效用、缩短模子幻觉等。

—  完  —

投稿请责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本色‍

附上论文 / 神色主页通顺，以及关系形势哦

咱们会（尽量）实时回应你

一键热心 � � 点亮星标

科技前沿阐扬逐日见

一键三连「点赞」「转发」「留神心」

接待在挑剔区留住你的念念法！全站APP注册、手机网页版、在线登录、客户端以及发布平台优惠活动信息、招商代理加盟等