Page 46 - 2025年第56卷第9期

训练集和测试集的损失值 Loss 及准确率 Acc 如 表 2 模型参数设置
图 6 所示。 参数 值
模 型 的 训 练 曲 线 表 明 ， 训 练 过 程 中 ， 学习率 0.001
Epochs 在 0~30 之间时，模型性能提升较快，之 优化器 Adam
后基本保持在小区间内上下波动。随着学习率 Batchsize 32
lr 的自动变化，在 Epochs 约为 80 处，lr 降至预 跨模态注意力隐向量维度 256
设的最低值，使模型性能保持在较为稳定的状 跨模态注意力层数 2
态 。 模 型 在 训 练 集 上 的 最 终 训 练 精 度 为 跨模态注意力头数 4
98.14%， 在 测 试 集 上 的 训 练 精 度 为 95.83%。 跨模态注意力 dropout 0.1
单模态注意力层数 3
模型整体的精度较高，且训练过程中训练集与
单模态注意力头数 4
测试集的学习曲线趋势接近，Loss 值最终都收
单模态注意力 dropout 0.1
敛于一个较低的值，证明模型具有较好的泛化
损失函数 CrossEntropy
能力。
激活函数 ReLU
为全面评估模型的性能，选取准确率 Acc、
精确率 P、召回率 R、F1 分数作为模型的评价

图 6 模型训练曲线

指标。模型在测试集上的性能效果如图 7 所示，模
型对于空载运输、挖掘土料、重载运输、倾倒土
料 、 静 止 5 种 标 签 的 分 类 准 确 率 分 别 为 0.979、
0.986、 0.985、 0.970、 0.997。 F1 分 数 是 精 确 率 和
召回率的调和平均数，用于综合考虑精确率和召回
率，模型的加权平均 F1 值为 0.968。综合考虑各项
评 价 指 标 ， 模 型 对 于 5 类 标 签 均 具 有 较 好 的 分 类
效果。
图 7 模型各标签分类性能效果
5.3 对比分析
5.3.1 不同模态数据对活动识别结果的影响 为深入分析不同模态数据在分类任务中的贡献，将单模
态数据、双模态数据和三模态数据，分别作为独立数据源输入模型进行试验，并对其最终性能进行比较。
不同模态数据的对比研究结果如表 3所示。
由以上结果可以得知，视觉数据对模型的贡献最大，声学数据次之，运动学数据贡献最少。为进
一步探究不同模态数据对模型分类结果的影响及其内在原因，下面针对不同模态数据在不同标签上的
效果进一步进行分析，试验结果如表 4 所示。

— 1150 —