Page 18 - 2023年第54卷第5期

展，使用计算机视觉方法分析坝面施工机械活动逐渐成为一种有效的手段 ［５，８ － ９］ ，如施工材料或机械的
图像分类方法 ［１０ － １２］ ，机械种类、数量和位置的目标检测算法 ［５，１３ － １５］ ，施工机械、工人轨迹的目标跟踪
算法 ［１６ － １８］ ，挖掘机姿态的关键点姿态识别算法 ［１９ － ２０］ 等。较少研究综合运用多种视觉方法分析施工机
械或人员活动，如 Ｄｏｍｉｎｉｃ等 ［１８］ 综合运用 ＲｅｔｉｎａＮｅｔ、Ｔ － ＣＮＮ和隐马尔可夫模型对近景视频中挖机和
运输车进行目标检测与跟踪，来分析其不同活动状态；Ｄｏｍｉｎｉｃ等 ［２１］ 综合应用 ＹＯＬＯｖ３、ＡｌｐｈａＰｏｓｅ、
ｉ３Ｄ和 ＭＳ － ＴＣＮ网络对近景视频中的工人进行目标检测与姿态估计来确定活动状态；Ｊｉｎｗｏｏ等 ［２２］ 综合
应用 ＦａｓｔｅｒＲＣＮＮ、ＴＬＤ和 ＣＮＮ － ＬＳＴＭ 对 近景视 频 中挖 机 进 行 目 标 检 测、跟 踪 与 动 作 识 别；Ｊｉｎｗｏｏ
等 ［２３］ 使用 ＴＬＤ与 ＣＮＮ － ＬＳＴＭ网络对近景视频中的运输车和挖机进行目标跟踪与动作识别。现有研究
多对近景视频进行目标检测、跟踪、姿态估计和活动推理等，这些近景视频中机械或人员目标较大、
数量较少，较易识别。而大坝施工视频监控通常采用远距离高清摄像头进行大范围监控，导致监控场
景大、目标数量多且目标较小；且坝面运输车缺乏标准化的卸料活动规范，卸料形式呈现复杂性，如
许多运输车通常在料斗尚未降下时就离开卸料区域，仅通过判断料斗抬升和降下的动作很难准确判断
卸料结束状态，还需要进行运输车种类识别、轨迹跟踪和姿态识别等多个视觉任务并进行合理的上下
文推理，才能准确地识别运输车卸料活动，这给卸料活动的实时精准分析带来挑战。
针对上述难题，提出融合多目标跟踪、关键点检测和细粒度分类的大场景监控视频运输车卸料识
别方法。多目标跟踪是指在给定的视频帧序列上对多个目标边界框进行持续定位 ［１８，２４］ 的方法，相比传
统的光流法、卡尔曼滤波和粒子滤波等目标跟踪方法，融合深度学习的目标跟踪算法性能更优 ［２５］ 。其
中 ＢｙｔｅＴｒａｃｋ在 ＭＯＴ１７、ＭＯＴ２０和 ＢＤＤ１００Ｋ等数据集上表现出色，已被证明是当前多目标跟踪最优越
的算法 ［２４］ 。但 ＢｙｔｅＴｒａｃｋ多应用于城市车辆或人员跟踪，尚缺乏针对大场景监控视频中施工机械的多
目标跟踪研究。关键点检测是物体姿态估计的核心 ［２６］ ，主要分为自上而下和自下而上的算法两类 ［２７］ ，
前者首先采用目标检测算法将物体检测出来，再对每个物体的关键点进行检测 ［２７］ ，而后者则是先识别
出所有物体的关键点，再通过匹配算法将其分配到所属物体上 ［２７］ 。考虑到运输车车头和车尾关键点检
测是在多目标跟踪的基础上进行的，因此本研究适合采用自上而下的算法，其中 ＨＲＮｅｔ已被证明是当
前最先进特征点检测算法 ［２６］ ，但缺乏针对大场景监控视频中运输车头部和尾部关键点检测的研究。准
确识别料斗从未抬升到抬升的类别转变是识别运输车卸料的关键，它是对运输车进行细粒度分类的过
程。现有的细粒度分类多基于深度学习实现，主要分为具有定位分类子网络、端到端特征编码和使用
外部信息等算法 ［２８］ 。端到端特征编码的算法可保证在视频中实时分类的计算效率 ［２８ － ２９］ ，更适用于运
输车料斗抬升的细粒度分类任务。其中，ＤＣＬ细粒度分类网络在综合精度和效率方面表现最优 ［２８ － ２９］ ，
使用 ＤＣＬ来实现运输车料斗是否抬升的分类判断。
综上，本研究框架如图 １所示，首先采用 ＢｙｔｅＴｒａｃｋ算法 ［２４］ 对大场景中运输车进行多目标跟踪，
［２６］
其次为了确定运输车前进或后退的行进状态，通过关键点检测网络 ＨＲＮｅｔ 确定车头和车尾，然后利
用细粒度分类网络 ＤＣＬ ［２９］ 判断运输车料斗抬升状态，最后通过上下文推理来确定运输车卸料开始和结
束时间，进而完成坝面监控视频中的运输车卸料识别。

２ 融合 ＢｙｔｅＴｒａｃｋ、ＨＲＮｅｔ与 ＤＣＬ的大场景监控视频运输车卸料识别方法

２．１ 基于 ＢｙｔｅＴｒａｃｋ的大场景监控视频运输车多目标实时跟踪 ＢｙｔｅＴｒａｃｋ使用 ＹＯＬＯＸ ［３０］ 作为检测器，
并通过 Ｂｙｔｅ算法对相邻时刻的跟踪对象进行数据关联，更高效地实现了对多目标的持续稳定跟踪 ［２４］ 。本研
究使用 ＣＳＰＤａｒｋｎｅｔ作为 ＹＯＬＯＸ特征提取骨干网络 ［３０］ 。为了兼顾大场景视频监控 １９２０ × １０８０的图像分
辨率及多种视觉识别算法的计算速度，采用 ９６０ × ５４４图像大小作为网络输入，并在网络输出端设置 ３
个尺度的解耦头输出锚框信息。Ｂｙｔｅ算法根据检测框置信度得分，首先对高分检测框和所有轨迹进行
匹配；其次对低分检测框和未匹配成功的剩余轨迹进行匹配 ［２４］ 。对两次匹配都未成功的轨迹保留 ３０帧
参与后续匹配。对高分检测框中未匹配成功且存在超过两帧的目标初始化为新的轨迹 ［２４］ 。ＢｙｔｅＴｒａｃｋ实现
了监控视频中运输车多目标实时跟踪与行驶轨迹记录，为卸料判断提供实时的位置和行驶速度等信息。

０
— ５ ２ —