Page 48 - 2025年第56卷第9期

和倾倒状态较易混淆，而对于轻载运输和重载运输状态识别较好；声学对于重载运输和轻载运输状态
较易混淆，而对于挖掘和倾倒状态识别较好。这说明运动学数据在识别施工机械整体的前进、后退或
转向方面具有优势，而声学在识别铲斗的工作状态方面具有优势。视觉模态对于 5 种标签的识别效果
均优于运动学和声学模态，但运动学和声学模态可以补充和加强视觉模态，三者经多层次特征融合
后，对装载机活动状态的识别能够达到较为理想的效果（准确率达到 98% 左右）。

图 8 不同模态数据建模下的准确率

5.3.2 不同融合层次对模型精度的影响 本文所提出的多模态地下洞室施工机械活动识别方法，其核
心为三个层次的特征融合策略。为探究各融合层次的有效性及其对模型识别效果的影响，以包含三个
特征融合层次的完整模型为基准，进行以下对比分析试验。不采用基于注意力的特征融合策略：分别
采用三种单模态数据的特征进行活动识别试验，将三个单模态数据的识别结果进行平均，作为最终结
果。层次 1 基于跨模态注意力的模态间特征融合，层次 2 基于自注意力机制的模态内特征融合，层次 3
基于多头注意力机制的混合模态特征融合。
表 5 给出了各融合层次在测试集上表现的对比结果。以 Acc 指标作为评估标准，在不采用任何基
于注意力的特征融合策略时，机械活动识别的准确率为 70.66%；采用基于跨模态注意力的模态间特征
融合策略时，识别准确率提升了 15.31%；采用基于跨模态注意力的模态间特征融合+基于自注意力机

制的模态内特征融合策略时，识别准确率提升了 5.74%；而采用基于跨模态注意力的模态间特征融合+
基于自注意力机制的模态内特征融合+基于多头注意力机制的完整模型时，其识别准确率又提升了
6.43%，达到 98.14%。试验结果揭示了，在多模态施工机械活动识别任务中，随着数据融合层次的增
加，模型的识别效果也逐步提升，缺失任一融合层次都会对模型性能产生不同程度的负面影响，其
中，基于跨模态注意力的模态间特征融合策略对于识别准确率的增益最明显。

表 5 不同融合层次对分类效果的影响
融合层次 Acc P R F1
不采用基于注意力的特征融合策略 0.7066 0.7525 0.7256 0.7388
层次 1 0.8597 0.8556 0.8649 0.8602
层次 1+层次 2 0.9171 0.9243 0.9296 0.9270
层次 1+层次 2+层次 3 0.9814 0.9882 0.9876 0.9647

6 结论

施工机械活动状态的有效识别能够为机械生产效率分析和安全状态判断提供有力的支撑。针对现
有施工机械活动识别研究中数据模态单一、未考虑多模态数据模态间内在关联的现状，提出了一种基
于实时多模态数据的地下洞室施工机械活动识别深度学习模型，并依托实际工程对模型进行验证，取
得了如下成果：
（1）多模态数据采集及预处理：采用移动集成传感器采集了机械施工过程中产生的视觉、声学、

— 1152 —