T/CES 208-2023 电力视觉检测算法评价方法

根据T/CES 208-2023《电力视觉检测算法评价方法》团体标准，以下是核心内容的详细总结：

​​1. 范围与适用场景​​

• ​​范围​​：规范电力视觉检测算法的指标计算、数据集质量要求、测试流程及质量评价方法。
• ​​适用场景​​：
  • ​​设备缺陷检测​​：输电、变电、配电等场景的可见光/红外/紫外图像。
  • ​​违章识别​​：电力作业现场的行为、装置、管理违章视觉检测。
  • ​​任务类型​​：目标检测、图像分割、图像分类模型。

​​2. 关键术语定义​​

• ​​视觉检测​​：基于可见光、红外、紫外图像的分类、检测、分割模型预测。
• ​​目标尺寸分类​​：
  • ​​大目标​​：尺寸 > 96×96像素
  • ​​中目标​​：32×32像素 ≤ 尺寸 ≤ 96×96像素
  • ​​小目标​​：尺寸 ≤ 32×32像素
• ​​数据集类型​​：训练集（模型构建）、测试集（模型评估）。

​​3. 核心评价指标与计算​​

​​性能指标​​

​​效率性​​

• ​​推理时间​​：V_{\text{inf}} = \frac{T}{N}（单张图片平均处理时间）。

​​稳定性​​

• ​​干扰稳定性​​：噪声/亮度/平移扰动后指标变化率（V_{\text{int}}）。
• ​​有损稳定性​​：压缩/损坏后指标变化率（V_{\text{los}}）。

​​可信性​​

• ​​方差评估​​：交叉验证多次测试的精确率方差（S^2），方差越小可信性越高。

​​4. 评价数据集质量要求​​

​​可见光图像​​

• 分辨率 ≥ 1280×720像素
• 色差 ≤ 0.08，信噪比 ≥ 50dB
• 照度均匀度 ≥ 90%

​​红外图像​​

• 分辨率 ≥ 640×480像素
• 热灵敏度 ≤ 50mK
• 波长范围：7500–14000nm

​​紫外图像​​

• 分辨率 ≥ 320×240像素
• 波长范围：185–260nm

​​通用要求​​：

• 测试集需独立于训练集；
• 多目标场景中，每类样本占比 ≥ 20%；
• 数据格式为Pascal VOC（符合Q/GDW 12118.3）。

​​5. 评价流程与方法​​

​​评价流程​​

1. ​​提交申请​​：提供模型基础信息（场景、框架、样本规模等）。
2. ​​确定任务​​：明确检测/分割/分类任务及光线场景（可见光/红外/紫外）。
3. ​​提交模型​​：以Docker镜像提供，API接口需支持JSON格式（详见表1、表2规范）。
4. ​​选择指标​​：根据任务类型选取对应性能指标（如检测模型需计算AP、F1等）。
5. ​​制作数据集​​：按第6章要求构建测试集。
6. ​​模型测试​​：分任务执行测试（流程图见下文）。
7. ​​质量评价​​：综合指标判定等级（A-E级）。

​​模型测试方法​​

• ​​目标检测模型流程​​：

  

   

  逐帧对比标注与预测结果，统计TP/FP/FN/TN，计算AP、F1等指标。

• ​​图像分割模型流程​​：

  

   

  逐像素比对预测与标注区域，计算MIOU。

• ​​图像分类模型流程​​：

  校验预测类别与标注一致性，统计准确率、召回率（多分类需计算均值）。

​​交叉验证​​

• 测试集充足时，分割为多份进行多次测试，取指标平均值以降低随机误差。

​​6. 模型质量等级判定​​

​​通用规则​​

• ​​等级定义​​：
  • ​​A级​​：优秀（直接使用）
  • ​​B级​​：良好（微调后使用）
  • ​​C级​​：一般（需优化）
  • ​​D级​​：较差（大幅修改）
  • ​​E级​​：不合格（重建模型）
• ​​判定逻辑​​：所有指标需同时满足等级阈值，单指标不达标则降级（如"B+"或"A-"）。

​​关键场景阈值​​

​​注​​：中目标/小目标的检测模型阈值比大目标降低5–10%。

​​7. 附录参考​​

• ​​附录A​​：提供模型等级判定的详细阈值表（如可见光检测模型A级需满足精确率≥90%等）。
• ​​测试报告​​：需包含指标计算结果、稳定性分析及等级判定依据。

此标准为电力视觉检测算法提供了系统化的量化评价框架，覆盖模型开发、测试到落地的全生命周期质量控制。