Page 39 - 2025年第56卷第9期

水 利 学 报

2025 年 9 月 SHUILI XUEBAO 第 56 卷 第 9 期

文章编号：0559-9350（2025）09-1143-12

基于实时多模态数据的地下洞室施工机械

活动识别深度学习模型

佟大威，冯凯悦，余 佳，王晓玲

（天津大学 水利工程智能建设与运维全国重点实验室，天津 300072）

摘要：施工机械活动识别是生产效率分析和生产安全保障的有效途径。当前机械活动识别主要关注运动学、视
觉、听觉等各模态自身的特征，缺乏考虑多模态数据间的内在联系，在光线昏暗、环境狭窄、声音嘈杂的地下洞
室内效果不佳。本文基于 Transformer 模型，利用注意力机制能够捕获不同模态数据间长时依赖联系的优势，提出
了基于实时多模态数据的地下洞室施工机械活动识别深度学习模型。首先，实时采集机械施工过程中的视频、音
频与运动学数据，并分别采用 S3D、VGGish、Conformer 模型提取三种模态数据的初级特征。在此基础上，采用跨
模态注意力、自注意力机制对初级特征进行整合提取，以获得多模态混合特征。最后基于多头注意力机制对初级
特征和混合特征进一步融合，基于该融合特征进行活动识别分类。案例分析表明，本文所提模型的识别精度和 F1
值分别达到 98.14% 和 96.47%，相比表现最优的单一模态分别提升了 6.38% 和 9.13%，为地下洞室施工机械活动识
别提供了新的途径。
关键词：地下洞室；施工机械活动识别；多模态数据；注意力机制；特征融合

中图分类号：TU94 文献标识码：A doi：10.13243/j.cnki.slxb.20240350

1 研究背景

在建筑工程施工中，施工机械的合理安排是确保施工过程按计划进行的关键，而准确监控施工设
备的活动状况是确保施工进度和安全生产、提高资源利用率的重要手段 ［1-3］ 。当前施工机械活动识别
大多基于单一模态数据进行研究，少量研究考虑了两种模态的数据，但也仅关注各模态自身的信息，
缺乏对多模态数据间相互关联的考虑。在地下施工场景中，由于施工环境复杂、光照、粉尘等众多不
利因素的影响导致传统活动识别方法准确率不高、鲁棒性不足，亟待提出一种能够考虑多模态数据间
复杂联系的地下工程施工机械活动识别方法，提升地下工程施工管理水平。
［4］
当前施工机械活动状态识别主要依赖视觉技术和运动学捕捉技术 ，前者利用摄像头拍摄机械活
动中的视频或照片进行分析，后者利用高精度 GNSS、惯性姿态传感单元等感知机械的运动，如碾压
机、推土机的施工活动监控 ［5-6］ 。然而，在地下施工环境中，不良光照和爆破导致的烟雾导致视觉捕
［7］
［8］
捉的效果不佳 ，GNSS 设备信号不稳定难以实现精确定位 ，惯性传感单元受误差累积影响难以长时
［9］
间使用 ，主流识别方法在地下施工场景中均存在局限性。由于机械设备在执行不同任务时会产生特
定的声音模式，因此音频信号近年来也成为了一种分析施工活动的重要数据来源。Cheng 等 ［10］ 将音频
信号转换为时频表示，采用支持向量机对重型施工设备不同的活动模式进行分类。Zhang 等 ［11］ 采用含
隐马尔可夫模型（Hidden Markov Model）的监督机器学习算法来对建筑施工现场的机械活动声音进行分

收稿日期：2024-06-07；网络首发日期：2025-09-18
网络首发地址：https：/link.cnki.net/urlid/11.1882.TV.20250918.1401.001
/
基金项目：国家自然科学基金项目（U24B20111，52279137，52379132）
作者简介：佟大威（1982—），副教授，主要从事水利工程智能建设研究。E-mail：tongdw@tju.edu.cn
通信作者：余佳（1992—），副教授，主要从事水电地下工程施工智能仿真与风险分析研究。E-mail：yujia@tju.edu.cn
— 1143 —