Page 49 - 2024年第55卷第8期

４．２ 实验与分析 基于优化前后的标签标注后产生的数据集设置了两组实验。第一组实验对比了经过
原始标签数据集以及优化标签数据集训练得到的模型的识别效果，用于检验标签优化对于微调模型识
别能力的影响；第二组实验根据关系分组训练了多个专门抽取一组关系的 ＩＥ模型，用于探究将整体
的调度方案细分后，针对每一分组训练的模型的抽取效果。
４．２．１ 非完美标签优化的实验 信息抽取模型采用了基于 ＥＲＮＩＥ３．０ ［２３］ 的 ＵＩＥ（ＵｎｉｖｅｒｓａｌＩｎｆｏｒｍａｔｉｏｎＥｘ
ｔｒａｃｔｉｏｎ ），分别利用初始标签设计下得到的标注数据集以及优化标签设计下得到的数据集进行了模型
微调，最终计算得到的评估指标如表 ３所示。
表 ３ 微调模型评估指标 单位：％

标签集 评估对象 准确率 召回率 Ｆ １ 值 实体和关系完整度
实体 ８９．６６ ７８．９３ ８３．９５
初始标签 ６５．４２
关系 ８５．２５ ７３．５０ ７８．９４
实体 ９８．８９ ８４．７６ ９１．２８
优化标签 ７１．７２
关系 ９０．８０ ７９．８０ ８４．９５

通过实验结果可以看出，经过优化后的标签设计使得微调模型的识别效果在各指标上都有所提
升。对比两个实验的实体和关系完整度，可以看到标签优化使得完整度从 ６５．４５％提升到了 ７１．７２％，
证明了标签优化的良好效果。需要注意的是，成功的信息抽取结果致力于抽取出完整的实体和关系，
而不是一些知识碎片，因此可用实体和关系的完整度来评判模型的识别效果。
然而，在以下几个方面，该模型的抽取性能还有待提升。首先是相对于准确率来说，召回率略
低，这对于抽取出完整的调度方案是至关重要的；另外关系抽取的效果不如实体抽取，这一定程度上
是因为关系抽取受到实体抽取的影响，实体抽取的抽取误差会传递给后续的关系抽取；最后，实体和
关系完整率达到 ７０％以上，虽然相比于初始的标签设计已经有了大幅提升，但若要用于实际的工作中
仍然有待提升。
４．２．２ 分组关系抽取的实验 在所有的关系中，筛选数据量丰富、代表性较强的一些关系参与分组，
并对每一组关系单独训练了 ＩＥ模型。所有的微调模型都是基于 ＵＩＥ － ｂａｓｅ进行微调的。实验结果如表
４所示。
表 ４ 分组训练模型评估指标 单位：％

关系分组 是否分组 准确率 召回率 Ｆ １ 值
未分组 ９０．９１ ８３．３３ ８６．９６
触发、关联
已分组 ８７．５０ ↓ ８７．５０ ↑ ８７．５０ ↑
未分组 ８３．３３ ７８．９５ ８１．０８
调度、限制、保护
已分组 ６６．６７ ↓ ９４．７４ ↑ ７８．２６ ↓
未分组 ８１．２５ ６８．４２ ７４．２９
控制要素（触发）
已分组 ８８．２４ ↑ ７８．９５ ↑ ８３．３３ ↑
未分组 ９１．６７ ７３．３３ ８１．４８
采用
已分组 １００．００ ↑ ９３．３３ ↑ ９６．５５ ↑
未分组 ６４．７１ ５７．８９ ６１．１１
最大值、最小值
已分组 ６２．９６ ↓ ８９．４７ ↑ ７３．９１ ↑

可以看出，分别为 ５组关系进行单独的模型训练后，抽取效果在一定程度上都得到了提升。具体
来看，除了 “调度、限制、保护” 关系组的 Ｆ 值略微下降，其他 ４组的 Ｆ 值都得到了提升。以 “控
１ １
制要素（触发）” “采用” “最大值、最小值” 三个关系组最为明显，他们的 Ｆ 值都得到了较大的提
１
升。这意味着他们使用单独训练的模型进行抽取的效果相对于整体调度方案抽取模型的抽取效果更

— ９ ２ ７ —