Page 49 - 2025年第56卷第9期

运动学数据等不同模态数据，分别进行清洗及归一化、梅尔频谱提取、去除重力等预处理，获得了地
下工程施工机械活动多模态数据集。
（2）构建了基于实时多模态数据的地下洞室施工机械活动识别深度学习模型。将注意力机制和三模
态数据引入到机械活动识别任务当中，使用 S3D、VGGish、Conformer 深度学习模型提取多模态数据内
部的特征，并基于跨模态注意力、自注意力和多头注意力机制对多模态数据进行三个层次的特征融合，
实现多模态数据的深层次整合。该模型充分利用了注意力机制能够充分捕捉模态间复杂和动态的相互依
赖的优势，能够更深入、更灵活地理解和处理复杂数据关系，显著提高了施工机械活动识别的准确度。
（3）依托某水电站地下洞室群工程验证了所提模型的应用效果。试验结果表明，本文所提出的模
型在测试集上达到了较为优秀的效果，准确率和 F1 分数分别达到 98.14% 和 96.47%。消融研究进一步
验证了模型的有效性，在相同的数据集上，使用三种模态数据进行建模的模型明显优于单模态或双模
态数据建模的模型；同时，缺少任一融合层级都会对模型的识别效果带来负面影响。

参 考 文 献：

［ 1 ］ 曾拓程，王佳俊，钟登华，等 . 基于大场景视频监控的坝面施工机械潜在碰撞风险预警方法［J］ 水利学报，
.
2024，55（7）：780-790，801.
［ 2 ］ 时梦楠，崔博，王佳俊，等 . 复杂施工条件下无人碾压机群协同全覆盖路径规划研究［J］ 水利学报，2020，
.
51（12）：1544-1557.
［ 3 ］ 高星蓉． 施工现场工人和移动机械的碰撞风险动态评估研究［D］ 重庆：重庆大学，2020.
.
［ 4 ］ 曾拓程，王佳俊，王晓玲，等 . 大场景视频监控下大坝运输车改进多目标多视觉卸料识别模型研究［J］ 水利
.
学报，2023，54（5）：519-529，540.
［ 5 ］ 王佳俊，祁宁春，钟登华，等 . 高心墙堆石坝原生集成式智能无人碾压系统研发及应用［J］ 水利学报，
.
2022，53（12）：1424-1432.
.
［ 6 ］ 钟登华，时梦楠，崔博，等 . 大坝智能建设研究进展［J］ 水利学报，2019，50（1）：38-52，61.
［ 7 ］ KIM J， CHI S， SEO J. Interaction analysis for vision-based activity identification of earthmoving excavators and
.
dump trucks［J］ Automation in Construction，2018，87：297-308.
［ 8 ］ SEO J O，HAN S U，LEE S H，et al. Computer vision techniques for construction safety and health monitoring［J］
.
Advanced Engineering Informatics，2015，29（2）：239-251.
［ 9 ］ KHOURY M H， KAMAT R V. Evaluation of position tracking technologies for user localization in indoor construc⁃
.
tion environments［J］ Automation in construction，2009，18（4）：444-457.
［ 10］ CHENG C，RASHIDI A，DAVENPORT A M，et al. Activity analysis of construction equipment using audio signals
and support vector machines［J］ Automation in Construction，2017，81：240-253.
.
［ 11］ ZHANG T， LEE Y C， SCARPINITI M， et al. A supervised machine learning-based sound identification for con⁃
struction activity monitoring and performance evaluation［C］/Construction Research Congress 2018. New Orleans：
/
American Society of Civil Engineers（ASCE），2018.
［ 12］ SABILLON C，RASHIDI A，SAMANTA B， et al. Audio-based bayesian model for productivity estimation of cyclic
.
construction activities［J］ Journal of Computing in Civil Engineering，2020，34（1）：04019048.
［ 13］ SHERAFAT B，RASHIDI A，ASGARI S. Sound-based multiple-equipment activity recognition using convolutional
neural networks［J］ Automation in Construction，2022，135：104104.
.
［ 14］ 张君，王金国，余佳，等 . 多模态感知驱动下高堆石坝施工仿真参数集成深度学习模型［J］ 水利学报，
.
2022，53（9）：1049-1063，1072.
.
［ 15］ 张新钰，邹镇洪，李志伟，等 . 面向自动驾驶目标检测的深度多模态融合技术［J］ 智能系统学报，2020，15
（4）：758-771.
［ 16］ SHERAFAT B，RASHIDI A，LEE Y，et al. A hybrid kinematic-acoustic system for automated activity detection of
.
construction equipment［J］ Sensors，2019，19（19）：4286.
［ 17］ KIM J，CHI S，AHN C R. Hybrid kinematic-visual sensing approach for activity recognition of construction equip⁃
.
ment［J］ Journal of Building Engineering，2021，44：102709.
［ 18］ JUNG S， JEOUNG J， LEE D， et al. Visual-auditory learning network for construction equipment action detection
.
［J］ Computer⁃Aided Civil and Infrastructure Engineering，2023，38（14）：1916-1934.
— 1153 —