T/CCTAS 80-2023 公路面病害自动化识别技术指南
1 范围
本文件规定了公路路面病害自动化识别的技术要求,包括一般规定、采集设备、数据采集与预处理、自动化识别和附录等内容。
本文件适用于二级以上等级公路,其他等级公路可参照执行。
2 规范性引用文件 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,标注日期的引用文件,仅该日期对应的版本适用于本文件;标注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 26764 多功能路况快速检测设备
JTG 5142 公路沥青路面养护技术规范
JTG/T 5142-01 公路沥青路面预防养护技术规范
JTG 5210 公路技术状况评定标准
JTG 3450 公路路基路面现场测试规程
JTG B01 公路工程技术标准
JTG/T E61 公路路面技术状况自动化检测规程
JTG/T F30 公路水泥混凝土路面施工技术细则
JTG F40 公路沥青路面施工技术规范
JTG H10 公路养护技术规范
3 术语和定义
下列术语和定义适用于本文件。
3.1 3.1
路面病害 路面病害 pavement distress pavement distress pavement distress pavement distresspavement distresspavement distresspavement distress pavement distresspavement distress
公路在使用一段时间之后出现的路面损坏、变形及其它缺陷。
3.2 3.2
路面病害自动化识别 路面病害自动化识别 路面病害自动化识别 路面病害自动化识别 automatic recognition of pavement distress automatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distress automatic recognition of pavement distressautomatic recognition of pavement distress automatic recognition of pavement distress
通过安装在检测车上的路面信息扫描设备采集公路路面状况信息,采用自动化识别技术对公路路面病害进行检测、分割和分类。
3.3 3.3
路面二维图像 路面二维图像 路面二维图像 two -dimensional image of pavement dimensional image of pavementdimensional image of pavementdimensional image of pavementdimensional image of pavement dimensional image of pavement dimensional image of pavement dimensional image of pavementdimensional image of pavementdimensional image of pavementdimensional image of pavement dimensional image of pavement dimensional image of pavement dimensional image of pavementdimensional image of pavementdimensional image of pavement dimensional image of pavement
通过安装在检测车上的二维线阵相机对公路路面进行连续拍摄,采集到的公路路面二维线阵图像。
T/CCTAS 80—2023
2
3.4 3.4
路面深度图像 路面深度图像 路面深度图像 depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement depth image of pavement
采用3D线阵相机采集的公路路面各点的深度值作为像素值的图像,深度图像每个像素点的灰度映射为3D线阵相机到地面之间的距离数据。
3.5 3.5
路面三维点云数据 路面三维点云数据 路面三维点云数据 路面三维点云数据 threethree -dimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavementdimensional point cloud data of pavement dimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavementdimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavement dimensional point cloud data of pavement dimensional point cloud data of pavement dimensional point cloud data of pavement dimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavement dimensional point cloud data of pavementdimensional point cloud data of pavementdimensional point cloud data of pavementdimensional point cloud data of pavement
通过安装在检测车上的3D线阵相机对公路路面进行连续拍摄,采集到的公路路面深度图像通过矩阵变换映射为空间三维图像数据。
3.6 3.6
检测正确率 检测正确率 detection precision detection precision detection precisiondetection precisiondetection precision detection precision detection precision detection precisiondetection precisiondetection precisiondetection precision
自动化检测正确的公路路面病害比率。
3.7 3.7
分类正确率 分类正确率 classification precision classification precision classification precision classification precisionclassification precisionclassification precision classification precisionclassification precision classification precisionclassification precision classification precisionclassification precisionclassification precision
自动化分类正确的公路路面病害比率。
3.8 3.8
识别正确率 识别正确率 recognition precisionrecognition precision recognition precisionrecognition precisionrecognition precisionrecognition precision recognition precision recognition precision recognition precisionrecognition precision
检测正确率乘以分类正确率。
4 缩略语
GNSS 全球导航卫星系统;
BDS 北斗卫星导航系统;
JPG 面向连续色调静止图像的一种压缩标准;
TIF 标签图像文件格式;
XML 可扩展标记语言;
CNN 卷积神经网络;
RCNN 区域卷积神经网络;
Faster-RCNN 快速目标检测神经网络;
YOLO 一种单级目标检测网络;
SSD 一种多尺度目标检测网络;
FCN 全卷积网络;
U-Net 一种语义分割神经网络;
SegNet 一种深度全卷积神经网络;
Deeplabv3+ 一种空洞卷积图像语义分割网络;
ResNet50 一种图像分类深度残差神经网络;
Inception V3 一种多尺度深度卷积神经网络;
Xception 一种图像分类深度可分离卷积神经网络。
T/CCTAS 80—2023
3
5 一般规定
5.1 一般要求
5.1.1 公路路面图像数据宜采用公路路况检测车采集方式。
5.1.2 公路路面图像数据宜采用图像拼接、图像标注等处理与分析技术。
5.1.3 公路路面病害图像宜采用目标检测、自动分割、自动化分类等自动化识别方法。
5.2 公路路面病害自动化识别流程
公路路面病害自动化识别包括公路路面数据采集设备设置、数据采集与预处理、公路路面病害识别,
流程图如图1所示。
公路路面深度图像
采集设备
采集公路路面二维线阵图像
采集公路路面深度图像
路面二维线阵图像拼接
采用变换矩阵变换成三维点
云图像
路面三维点云图像拼接
转换为二维线阵图像
图像标注
公路路面病害自动分割
公路路面病害自动化分类
公路路面二维线阵
图像采集设备
公路路面病害目标检测
公路
路面
数据
采集
设备
数据
采集
与预
处理
公路
路面
病害
自动
化识
别
图1 公路路面病害自动化识别流程图
T/CCTAS 80—2023
4
6 采集设备
公路路面图像数据采集采用公路路况检测车进行,要求在不影响正常交通情况下能够采集路面病害自动化识别所需要的公路路面图像数据。
6.1 6.1 公路面图像数据采集 公路面图像数据采集 公路面图像数据采集 公路面图像数据采集
6.1.1 6.1.1 6.1.1 二维线阵图像数据采集设备 二维线阵图像数据采集设备 二维线阵图像数据采集设备 二维线阵图像数据采集设备 二维线阵图像数据采集设备
公路路面二维图像采集设备包括:二维线阵相机组件、LED照明设备、路权相机(视频相机)、GNSS接收机、距离测量仪和工业控制计算机。公路路面二维图像采集设备在检测车上的布设位置如图2所示。
图 2 公路面二维 公路面二维 线阵 图 像采集设备组成及位置示意图 像采集设备组成及位置示意图 像采集设备组成及位置示意图 像采集设备组成及位置示意图 像采集设备组成及位置示意图
像采集设备组成及位置示意6.1.2 6.1.2 6.1.2 深度图像数据采集设备 深度图像数据采集设备 深度图像数据采集设备 深度图像数据采集设备
公路路面深度图像数据采集设备包括:激光器-3D线阵相机组件、路权相机(视频相机)、GNSS接收机、距离测量仪和工业控制计算机。公路路面深度图像数据采集设备在检测车上的布设位置如图3所示。
图 3 公路面 深度图像 深度图像 数据采集设备组成及位置示意图 数据采集设备组成及位置示意图 数据采集设备组成及位置示意图 数据采集设备组成及位置示意图 数据采集设备组成及位置示意图 数据采集设备组成及位置示意图
T/CCTAS 80—2023
5
6.2 6.2 二维线阵相机组件、激光器 二维线阵相机组件、激光器 二维线阵相机组件、激光器 二维线阵相机组件、激光器 +3D+3D+3D线阵相机组件的安装设计 线阵相机组件的安装设计 线阵相机组件的安装设计 线阵相机组件的安装设计 线阵相机组件的安装设计 线阵相机组件的安装设计
6.2.1 6.2.1 6.2.1 计算设备安装高度 计算设备安装高度 计算设备安装高度
采用公式(1)计算设备安装高度H。
?=??∙? ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… ……………………………………………… (1)
其中, ?是相机的焦距; 是相机的焦距; 是相机的焦距; 是相机的焦距;
?是相机芯片的单个像元大小; 是相机芯片的单个像元大小; 是相机芯片的单个像元大小; 是相机芯片的单个像元大小; 是相机芯片的单个像元大小; 是相机芯片的单个像元大小;
?是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 是公路面图像分辨率,这里取 1mm 1mm。
6.2.2 6.2.2 6.2.2 计算相机之间的隔 计算相机之间的隔 计算相机之间的隔 计算相机之间的隔
根据公路车道宽度D=3.75m计算相机之间的安装间隔。如图4,各参数之间存在公式(2)之间的关系。
{?=2?−3??=?−? …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… (2)
式中,W是图像宽度;
D是公路车道宽度;
e是相邻图像重叠范围与图像外侧剩余宽度;
d是相邻相机之间的距离。
图 4 车载采集设备的计示意图 车载采集设备的计示意图 车载采集设备的计示意图 车载采集设备的计示意图 车载采集设备的计示意图
6.2.3 6.2.3 6.2.3 激光器 +3D+3D+3D线阵相机组件中 线阵相机组件中 线阵相机组件中 线阵相机组件中 3D 线阵相机的位置 线阵相机的位置 线阵相机的位置 线阵相机的位置 要求
激光器套件由发射激光的激光器和接受反射激光的3D线阵相机构成,3D线阵相机与激光器的几何关系如图5所示。
T/CCTAS 80—2023
6
图 5 激光器 -3D 线阵相机组件安装示意图 线阵相机组件安装示意图 线阵相机组件安装示意图 线阵相机组件安装示意图 线阵相机组件安装示意图
3D线阵相机与激光器的各参数之间的几何关系见公式(3)。
?=?∙???? …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… …………………………………………… (3)
其中,H 是设备安装的高度;
θ是相机安装的倾斜角度;
B是工业相机与激光器之间的安装距离。
6.3 6.3 设备技术指标 设备技术指标
6.3.1.3.1 .3.1 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。 采集设备技术指标应满足公路面图像数据的完整性、定位准确显示精等要求。
6.3.2 6.3.2 6.3.2 二维线阵相机组件技术指标 二维线阵相机组件技术指标 二维线阵相机组件技术指标 二维线阵相机组件技术指标 二维线阵相机组件技术指标
二维线阵相机组件安置在检测车尾部,在LED照明设备的配合下,垂直向下拍摄获取公路路面二维线阵图像。二维线阵相机的参数指标如表1所示。
表 1 二维线阵相机参数指标要求 二维线阵相机参数指标要求 二维线阵相机参数指标要求 二维线阵相机参数指标要求 二维线阵相机参数指标要求
参数名称
参数值
采集方式
行图像
单个二维线阵相机行扫描宽度
4.096m4.096m4.096m4.096m4.096m4.096m(使用一个二维线阵相机)或 2.048m2.048m2.048m2.048m2.048m2.048m(使用二个线阵相机拼接)
2.00 m2.00 m2.00 m2.00 m2.00 m2.00 m(使用两个相机拼接)
图像分辨率
≤1mm ≤1mm ≤1mm
环境温度
0° C~+45° C0° C~+45° C0° C~+45° C0° C~+45° C 0° C~+45° C0° C~+45° C0° C~+45° C0° C~+45° C0° C~+45° C0° C~+45° C
环境湿度
10%~80%10%~80%10%~80%10%~80%10%~80%10%~80%10%~80%
存储温度
20° C~+70° C20° C~+70° C20° C~+70° C20° C~+70° C20° C~+70° C 20° C~+70° C20° C~+70° C20° C~+70° C20° C~+70° C20° C~+70° C20° C~+70° C
千兆以太网接口
有
工作方式
连续采集
、软触发脉冲
T/CCTAS 80—2023
7
6.3.3 6.3.3 6.3.3 激光器 +3D+3D+3D线阵相机组件技术指标 线阵相机组件技术指标 线阵相机组件技术指标 线阵相机组件技术指标 线阵相机组件技术指标
激光器+3D线阵相机组件安置在车尾,激光器垂直向下发射激光,经路面反射后被3D线阵相机接收,并存储为公路路面深度图像。激光器+3D线阵相机组件的具体参数要求如表2所示。
表 2 激光器 +3D+3D+3D线阵相机组件参数指标要求 线阵相机组件参数指标要求 线阵相机组件参数指标要求 线阵相机组件参数指标要求 线阵相机组件参数指标要求 线阵相机组件参数指标要求
参数名称
参数值
3D 线阵相机扫描方式
行扫描
3D 线阵相机扫描宽度
1.45m1.45m1.45m1.45m1.45m(使用三个 3D 线阵相机拼接)或 2.048m2.048m2.048m2.048m2.048m2.048m(使用二个 3D 线阵相机拼接)
2.00 m2.00 m2.00 m2.00 m2.00 m2.00 m(使用两个相机拼接)
3D 线阵相机工作方式
连续采集
、软触发脉冲3D 线阵相机深度图像分辨率
≤1mm1mm1mm
激光器宽度
1.45m1.45m1.45m1.45m1.45m(使用三个激光器拼接)或 (使用三个激光器拼接)或 2.048m2.048m2.048m2.048m2.048m2.048m(使用二个激光器拼接)
激光器的波长
670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm670nm~808nm
工作电压
12VDC12VDC12VDC12VDC
环境温度
-10~+5010~+5010~+5010~+5010~+5010~+50℃
千兆以太网接口
有
防护(内置)
静电保护,过压( 30VDC30VDC30VDC30VDC ),过热保护(> 50 ℃)
静电保护
Level 4Level 4Level 4Level 4Level 4 Level 4
6.3.4 6.3.4 6.3.4 GNSSGNSSGNSSGNSS接收机技术指标 接收机技术指标 接收机技术指标 接收机技术指标
GNSS接收器布设在检测车顶部以利于更好的接受GNSS信号,GNSS定位器通过RS232串口与工业控制计算机相连。GNSS接收器的参数指标要求如表3所示。
表 3 GNSSGNSSGNSSGNSS设备参数要求 设备参数要求 设备参数要求 设备参数要求
参数名称
参数值
信号跟踪 采用多星系统内核 BDS :B1 、B2 、B3 GPSGPSGPS:L1C/AL1C/AL1C/A 、L1CL1CL1C、L2CL2CL2C、L2EL2EL2E、L5 GLONASS GLONASS GLONASSGLONASSGLONASS:L1C/AL1C/AL1C/A 、L1PL1PL1P、L2C/AL2C/AL2C/A 、L2PL2PL2P、L3 GALILEO:GIOVE GALILEO:GIOVEGALILEO:GIOVEGALILEO:GIOVEGALILEO:GIOVE GALILEO:GIOVEGALILEO:GIOVE GALILEO:GIOVE-A和 GIOVEGIOVE GIOVE-B、E1 、E5A E5A、E5B E5B
定位输出频率 1Hz~50Hz1Hz~50Hz 1Hz~50Hz1Hz~50Hz1Hz~50Hz1Hz~50Hz
差分支持 CMR CMR、RTCM2.XRTCM2.XRTCM2.X RTCM2.XRTCM2.XRTCM2.X、RTCM3.0RTCM3.0RTCM3.0 RTCM3.0RTCM3.0RTCM3.0、RTCM3.2RTCM3.2RTCM3.2 RTCM3.2RTCM3.2RTCM3.2
初始化时间
<10 秒
初始化可靠性
>99.9%>99.9%>99.9%>99.9%>99.9%>99.9%
RTKRTKRTK定位精度 平面: ±(10+10ppm10+10ppm10+10ppm10+10ppm10+10ppm10+10ppm10+10ppm10+10ppm)mm 高程: ±(20+10ppm20+10ppm20+10ppm20+10ppm20+10ppm20+10ppm20+10ppm20+10ppm)mm
功率
1W/2W/5W1W/2W/5W1W/2W/5W 1W/2W/5W1W/2W/5W 1W/2W/5W可调
传输速率
19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps 19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps19.2kbps/9.6kbps可调
环境温度
-40 ℃~+55~+55~+55~+55℃
防护等级
IP68 IP68IP68
T/CCTAS 80—2023
8
6.3.5 6.3.5 6.3.5 距离测量仪技术指标 距离测量仪技术指标 距离测量仪技术指标 距离测量仪技术指标
采用脉冲数为2048的增量式光电编码器作为距离测量仪,通过RS232串口与工业控制计算机相连。光电编码器通过产生与位移增量相同的脉冲信号来对车轮的位移进行离散化的表示。车轮每位移单位距离,光电编码器即输出一个脉冲信号,将输出的脉冲信号传入到二维线阵相机或激光器-3D线阵相机组件中即可控制二维线阵相机或激光器-3D线阵相机组件采集公路路面图像的频率。增量式光电编码器的参数指标要求如表4所示。
表 4 增量式光电编码器参数要求 增量式光电编码器参数要求 增量式光电编码器参数要求 增量式光电编码器参数要求 增量式光电编码器参数要求
参数名称
参数值
每转脉冲数
2048204820482048个
测量原理
光电
最大转速
6000600060006000rps
启动力矩
1.0Ncm1.0Ncm1.0Ncm1.0Ncm 1.0Ncm
力矩
0.75 Ncm0.75 Ncm0.75 Ncm0.75 Ncm0.75 Ncm0.75 Ncm 0.75 Ncm
工作电压
DC 10V~30V DC 10V~30VDC 10V~30VDC 10V~30VDC 10V~30VDC 10V~30VDC 10V~30V
输出电流
100mA100mA100mA100mA100mA带短路保护
环境温度
-25°~+55°25°~+55°25°~+55°25°~+55°25°~+55°25°~+55°25°~+55°25°~+55°
防护等级
IP50 IP50IP50
7 数据采集与预处理 数据采集与预处理 数据采集与预处理
7.1 7.1 公路面二维图像数据采集内容 公路面二维图像数据采集内容 公路面二维图像数据采集内容 公路面二维图像数据采集内容 公路面二维图像数据采集内容
公路路面二维图像数据采集主要包括里程信息数据、二维图像数据和设备状态数据。
7.1.1 7.1.1 7.1.1 里程信息数据 里程信息数据
包括道路基础设施信息数据以及道路采集信息数据,例如:道路信息、总里程、车道信息、定位信息、桩号、日期、车速等。
7.1.2 7.1.2 7.1.2 图像数据
包括路权图像信息、公路路面二维图像信息。
7.1.3 7.1.3 7.1.3 设备状态信息 设备状态信息
包括设备状态信息和设备异常状态预警信息两部分。
7.2 7.2 公路面深度图像数据采集内容 公路面深度图像数据采集内容 公路面深度图像数据采集内容 公路面深度图像数据采集内容 公路面深度图像数据采集内容
公路路面深度图像数据采集主要包括里程信息数据、公路路面深度图像和设备状态数据。
7.2.1 7.2.1 7.2.1 里程信息数据 里程信息数据
包括道路基础设施信息数据以及道路采集信息数据,例如:道路信息、总里程、车道信息、定位信
T/CCTAS 80—2023
9
息、桩号、日期、车速等。
7.2.2 7.2.2 7.2.2 图像信息数据 图像信息数据
包括路权图像信息、公路路面深度图像信息。
7.2.3 7.2.3 7.2.3 设备采集状态信息 设备采集状态信息 设备采集状态信息
包括设备状态信息和设备异常状态预警信息两部分。
7.3 7.3 数据采集与存储 数据采集与存储
应采用公路路面信息采集软件系统实施采集与存储。
7.3.1 7.3.1 7.3.1 二维图像数据 二维图像数据
公路路面二维图像数据保存在根文件夹下的路面信息文件夹,将多路二维线阵相机输出的线阵图像数据分开保存,应以“时间戳-GNSS定位信息-相机编号-文件夹编号-序号”命名,宜以JPG等图像格式保存。
7.3.2 7.3.2 7.3.2 深度图像数据 深度图像数据
公路路面深度图像数据保存在根文件夹下的路面信息文件夹,将多路3D线阵相机输出的路面深度图像数据分开保存,应以“时间戳-GNSS定位信息-激光器编号-文件夹编号-序号”命名,宜以TIF格式保存。
7.3.3 7.3.3 7.3.3 地理数据
GNSS系统定位数据保存在根文件夹下的地理位置信息根文件夹,以GNSS系统格式进行保存,应优选北斗卫星导航系统。
7.3.4 7.3.4 7.3.4 路权相机数据 路权相机数据
路权相机数据保存在根文件夹下的路面信息根文件夹,宜以AVI等视频格式进行保存。
7.3.5 7.3.5 7.3.5 预设数据
预设数据保存在根文件夹下的路面信息根文件夹,宜以TXT格式对数据进行保存,预设数据应包括路段数据采集任务开始之前新建工程所要设置的工程信息,主要包括工程目录、工程名、路线名称、检测天气、车道、公路等级、检测方向、匝道、路面类型、起始位置桩号、检测员、工程路径等。
7.3.6 7.3.6 7.3.6 设备异常状态预警数据 设备异常状态预警数据 设备异常状态预警数据 设备异常状态预警数据
根据采集到的状态信息对传感器异常状态进行预警。传感器状态信息应包括心跳信号状态信息、设备温度信息、数据缓冲区状态信息,其中,心跳信号状态信息表征传感器与工业控制计算机之间的连接状态,设备温度信息表征传感器环境温度是否正常,数据缓冲区状态信息表征传感器数据缓冲区数据存储是否存在数据溢出现象,传感器状态信息宜以TXT格式进行保存。
7.3.7 7.3.7 7.3.7 车辆位置实时桩号校正数据 车辆位置实时桩号校正数据 车辆位置实时桩号校正数据 车辆位置实时桩号校正数据 车辆位置实时桩号校正数据
针对距离测量仪测量过程中产生的误差会导致桩号不准确的现象,在检测车行驶到整公里处或误差值大于5m时,车辆定位应依据四舍五入原则自动修正桩号至米,消除因为距离测量仪的误差导致检测过程中桩号误差的累积,宜以TXT格式进行保存。
T/CCTAS 80—2023
10
7.4 7.4 数据精度指标 数据精度指标
为满足公路路面病害自动化识别的要求,路面图像数据准备应满足以下指标:
a)相邻二维线阵相机采集的公路路面二维图像重叠范围应大于0.1m;
b)相邻3D线阵相机采集的公路路面深度图像的重叠范围应大于0.1m;
c)路面图像丢失率小于0.01%,图像丢失率为:未能正确采集到的路面图像数量与公路路段应采集到的路面图像数量的比值;
d)GNSS后差分定位误差不大于20cm。
7.5 7.5 图像拼接
7.5.1 7.5.1 7.5.1 路面二维线阵图像拼接 路面二维线阵图像拼接 路面二维线阵图像拼接 路面二维线阵图像拼接
为了实现多幅公路路面二维线阵图像的拼接,采用在重叠范围内提取和匹配特征点的方法来实现。
公路路面二维线阵图像的拼接按照以下流程进行:
1)关键点检测及特征提取;
2)特征匹配,确定对应关系;
3)实现相邻两幅二维线阵图像配准。
7.5.2 7.5.2 7.5.2 路面深度图像拼接 路面深度图像拼接 路面深度图像拼接
为了实现多幅深度数据的拼接,采用在重叠范围内安置拼接板的方法计算拼接矩阵来实现。
1)拼接板的设计
拼接板应为长条状,拼接板应以大范围平面为主,板内设计具有明显的起伏特征,起伏地区的坡度方向应呈多变特征。拼接板样例如图6所示。
图 6 深度图像 拼接板实物图 拼接板实物图 拼接板实物图
2)深度图像拼接流程
根据拼接板在相邻两幅深度图像的位置计算路面深度图像拼接矩阵。
a)关键点检测并特征提取;
b)特征匹配,确定对应关系;
c)估计变换矩阵,完成相邻两幅深度图像拼接。
3)深度图像数据格式转换
将拼接完成的公路路面深度图像TIF格式转换成三维点云图像PCD格式与二维图像JPG格式。
T/CCTAS 80—2023
11
7.6 图像标注
二维图像标注宜采用附录A所示的labelimg标注或labelme标注。
8 自动化识别
8.1 公路路面病害图像目标检测
8.1.1 目标检测模型选择
采用Faster-RCNN、YOLO、SSD等目标检测卷积神经网络对公路路面病害进行检测。宜采用基于
Faster-RCNN网络的公路路面病害检测模型,其网络模型如图7所示。
输入公路路面图像
公路路面图像规格化处理
Faster-RCNN网络卷积层
Faster-RCNN网络池化层
激活函数选择ReLU
输出路面图像特征图
尺寸3×3卷积层
尺寸1×1卷积层
尺寸1×1卷积层
Resahpe层
softmax分类层
Resahpe层
路面病害目标
预测区域
路面病害区域池化
Softmax层输出路面病害
目标类别
输出路面病害目标边框
预测结果
特
征
提
取
生
成
候
选
区
域
j
检
测
分
类
图7 基于Faster-RCNN 网络的公路路面病害检测模型结构
T/CCTAS 80—2023
12
8.1.2 目标检测Faster-RCNN 模型结构
该网络模型分为特征提取、生成候选区域、检测分类三个部分。
8.1.3 公路路面病害图像检测要求
公路路面病害图像检测正确率大于等于95%。检测正确率计算方法为:自动化检测正确的公路路面
病害数量除以公路路面实际病害总数量,用百分比(%)表示。
8.2 公路路面病害图像自动分割
8.2.1 分割模型选择
采用FCN、U-Net、SegNet、Deeplabv3+等语义分割卷积神经网络对检测到的公路路面病害图像进
行分割。宜采用基于Deeplabv3+的公路路面病害图像分割模型,其网络模型主要包括编码部分与解码部
分,如图8所示。
堆叠不同尺
度特征层
输入检测到的公路路
面病害图像
带有空洞卷积的
Deeplabv3+骨干网络
尺寸1×1卷积层
上采样
特征融合
尺寸1×1卷积层
调整通道数
尺寸3×3卷积层
特征提取
上采样
尺寸1×1卷积层
尺寸3×3卷积层
Rate=6
尺寸3×3卷积层
Rate=12
尺寸3×3卷积层
Rate=18
池化层
输出路面病害图
像分割结果
编
码
部
分
解
码
部
分
图8 基于Deeplabv3+的公路路面病害分割网络模型结构
8.2.2 公路路面病害图像分割流程
a)采用深度可分离卷积进行特征提取得到公路路面病害图像特征图;
b)进行全局池化,得到2048维的公路路面病害图像特征向量;
c)经过全连接层和逻辑回归层输出公路路面病害图像分割结果。
T/CCTAS 80—2023
13
8.3 公路路面病害图像自动化分类
8.3.1 分类模型选择
采用支持向量机、卷积神经网络、深度学习融合网络等对分割后的公路路面病害图像进行自动化分
类。宜采用基于深度学习融合网络的公路路面病害分类模型。
8.3.2 深度学习融合网络
基于深度学习融合网络的公路路面病害分类模型如图9所示。
a)分割后的公路路面病害图像分别采用由ResNet50、Inception V3、Xception三个网络提取路面病
害图像特征,得到三组1×N维的特征向量;
b)采用并联融合规则,获得一组3×N维的公路路面病害图像特征向量;
c)深度学习融合网络采用丢弃率为0.5的Dropout层;
d)深度学习融合网络全连接层采用Softmax函数与输出节点相连,输出公路路面病害图像分类结果。
分割后的公路路面病害图像
InceptionV3网络
特征提取
Xception网络
特征提取
ResNet50网络
特征提取
输出1×N维
特征向量
输出1×N维
特征向量
输出1×N维
特征向量
采用并联融合规则,得到3×N维特征向量
采用丢弃率为0.5的Dropout层
全连接层采用softmax函数与输出节点连接
输出公路路面病害图像分类结果
图9 基于深度学习融合网络的公路路面病害分类模型结构
8.4 自动化识别要求
8.4.1 公路路面病害检测正确率要求
公路路面病害图像检测正确率大于等于95%。检测正确率计算方法为:自动化检测正确的公路路面
病害数量除以公路路面实际病害总数量,用百分比(%)表示。
T/CCTAS 80—2023
14
8.4.2 8.4.2 8.4.2 公路 路面病害 路面病害 图像 分类要求 分类要求
公路路面病害图像分类正确率大于等于95%。分类正确率的计算方法为:自动化分类正确的公路路面病害数量除以公路路面实际病害总数量,用百分比(%)表示。
8.4.3 8.4.3 8.4.3 公路 路面病害 路面病害 图像 识别正确率要求 识别正确率要求 识别正确率要求
公路路面病害图像识别正确率大于等于90%。识别正确率的计算方法为:检测正确率乘以分类正确率,用百分比(%)表示。
T/CCTAS 80—2023
15
附 录 A
(资料性)
图像标注类型
A.1 标注软件类型
二维图像标注宜采用以下两种软件系统:一种是labelimg标注,生成适用于PASCAL VOC数据集的
XML格式标签文件或适用于YOLO数据集的TXT格式标签文件,另一种是labelme标注,生成JSON格式
的标签文件;
A.2 YOLO 数据集格式
YOLO数据集格式的文件夹格式为:
——Data
——train
——images
——labels
——val
——images
——labels
——test
——images
——labels
其中:
images文件夹内存放未标注原始公路路面图像,分别将对应训练集、验证集、测试集图像放入对应
的train、val、test文件夹内的images文件夹内;
labels文件夹存放TXT格式的YOLO数据集的标签。YOLO数据集的TXT标签格式仅包括标注的基本
信息,第一列为标签种类信息,通常用0、1、2、3……表示类别。
A.3 PASCAL VOC 数据集格式
PASCAL VOC数据集的文件夹格式为:
——VOCdevkit
——VOC2012
——Annotations
——ImageSets
——Main
——JPEGImages
T/CCTAS 80—2023
16
其中:
Annotations文件夹内存放XML格式的PASCAL VOC数据集的标签,标签文件名与图像文件名对应;
Annotations文件夹下XML文件中size字段包括了公路路面图像分辨率信息;
Annotations文件夹下XML文件中object字段为标注信息,包括标签名字与标注框的位置坐标。
Main文件夹内存放数据集划分信息,包含公路路面图像文件名信息的train.txt、val.txt、test.txt等文件;
JPEGImages文件夹内则存放未标注的原始公路路面图像。