Page 23 - 2023年第54卷第5期
P. 23
3.2 HRNet运输车头部尾部关键点检测结果
(1)数据集准备。采集了 2404张大场景监控视频图片制作运输车头部尾部关键点检测数据集,共
包含 17581个运输车样本,合计 35162个关键点。其中训练数据集 1684张图片,共计 12268个运输
车训练样本,合计 24536个关键点;验证集 240张图片,共计 1744个运输车验证样本,合计 3488个
关键点;测试集 480张图像,共计 3569个运输车测试样本,合计 7138个关键点。使用 Labelme图像
注释工具对运输车目标框及车头车尾关键点进行标注,制作数据集标签。
(2)实验结 果 分 析。使 用 迁 移 学 习 对 HRNet网 络 进 行 训 练,加 载 ImageNet数 据 集 上 预 训 练 的
HRNet模型权重,设置最大训练次数为 230个 epoch,学习率初始 为 0.001,在 170个 epoch后变成
0.0001,使用随机裁剪、旋转和翻转进行数据增强,Batch为 32,使用 Adam优化器。PCK是衡量关键
点检测的主要评价指标 [26] ,表示正确估计出的关键点比例,如式(7)所示。
P d(p)
∑ δ def ( i ≤ T k )
k
PCK = p =1 d (p) (7)
i
P
式中 d(p)为第 p辆车中第 i个关键点预测
i
def
值和真实标注值的欧氏距离;d (p)为第 p辆
车目标框的尺度因子;P为总目标数。T 为设
k
定的第 k个阈值,在本研究中设为 0.5;δ ( )
为条件成立取 1,不成立取 0的函数。在本
研究中只有运输车头部和尾部两个关键点,平
k
均精度即 为 两 个 关 键 点 PCK 的 算 术 平 均 值。
i
在测试集 上 车 头 关 键 点 的 平 均 精 度 为 0.862,
车尾关键点的平均精度为 0.821,总平均 精度
为 0.842,图 4可视化了运输车样本输出的关
键点高斯热图,验证了 HRNet在大场景监控视
频中运输车车头和车尾关键点检测任务上的可
行性、有效性和较高的准确性。
3.3 DCL运输车料斗抬升细粒度分类结果
(1)数据集准备。从 HRNet运输车头部尾
部关键点检测数据集中 筛选 了 8815张 运 输车
图 4 运输车头部尾部关键点检测结果图
样本图片,分 别包 含 4800张料斗 未抬 升 的样
本和 4015张料斗抬升的样本,组成运输车料斗抬升细粒度分类数据集。在训练集中分别包括了 4250
张料斗未抬升样本和 3575张料斗抬升样本,验证集分别包括了 50张未抬升样本和 40张抬升样本,测
试集分别包括了 500张未抬升样本和 400张抬升样本。
( 2)实 验 结 果 分 析。使 用 迁 移 学 习 对 DCL网 络 进 行 训 练,加 载 ImageNet数 据 集 上 预 训 练 的
ResNet18模型权重,设置最大训练次数为 100个 epoch,针对特征提取的骨干网络学习率初始为 0.0008,
另外 3个分支网络学习率初始都为 0.008,在 60个 epoch后所有学习率都缩小 10倍,使用随机裁剪、
旋转和水平翻转进行数据增强,Batch为 32,使用 SGD优化器。
在细粒度分类中,主要的评价指标是分类精度和计算时间 [28] 。分类精度衡量了模型的准确性,如
式( 8)所示。在测试集上的料斗抬升分类精度为 0.973,料斗未抬升的分类精度为 0.968,平均精度为
0.97,一个 Batch的平均计算时间为 0.0085s。
正确分类样本数
分类精度 = (8)
总样本数
3.4 运输车卸料判断结果 在运输车卸料判断实验中,本研究另外采集了 4个总时长 140min11s的
视频片段,人工统计了视频中卸料运输车次和卸料时间,累计完整卸料运输车次 150次。为了保证融
— 5 2 5 —