煤矿电子封条解决方案 AI智能视频盒子
煤矿电子封条解决方案
V1.0
一、 总体要求和建设对象
根据2021年9月17日国家矿山安全监察局综合司关于《全面开展煤矿“电子封条”推广建设的通知》矿安综〔2021〕55号文件通信，在全国所有在册煤矿建设“电子封条”，通过在煤矿关键地点安装摄像机、图像分析终端等设备，利用智能化视频识别等技术，实时监测分析矿井出入井人员、人数变化及煤矿生产作业状态等情况，及时发现煤矿异常动态，自动生成、推送报警信息，实现全天候远程监测。
煤矿“电子封条”建设对象为全国所有在册煤矿，既包括生产建设煤矿，也包括停产停建、正在实施关闭等各类型的煤矿。“电子封条”矿端安装位置为煤矿主副井口、风井口、车辆出入口和调度室等关键地点。
结合目前现代化高产高效矿井都安装了视频监控系统，在地面设置了调度指挥中心，采取安全管理值班人员实时盯着各重点位置，及时消除隐患。但井下点多面广环节多，难以长时间保持警觉，调度人员不可能 24 小时实时监控，无法及时获取相关隐患信息，所以需要研制一套视频AI智能识别系统替代监控人员，实时发现各种事故隐患，立即进行预警和发出控制信息，避免重大事故的发生。
通过本项目的实施，将人工智能技术和计算机视觉技术有机融入煤矿安全生产各个环节，能够减少井下作业员工违章行为数量，及时发现设备和环境事故隐患，提高煤矿安全生产的智能化管理水平，适应国家安监总局对提高煤矿自动化应用程度的要求和我国煤矿安全高效生产的发展趋势。因此视频AI智能识别系统的应用具有重要意义。
二、 实现原理与技术蓝图
1、实现原理
（1）建立煤矿安全隐患危险源数据集，任何基于视频的智能识别分析系统，离不开大量数据集的建立，针对每个需要监控识别的重要工作场所，采集大量含有安全隐患的视频和图像数据，进行标注，为通用模型建立提供数据基础，并能为国内外同类研究提供相应的支撑；
（2）基于深度学习算法，研究适合煤矿安全生产实际的违章行为、设备故障检测识别和环境危险因素识别算法；提出适应于煤矿监控视频的安全隐患识别算法，满足煤矿安全生产实际需求。
（3）利用煤矿安全隐患危险源数据集和煤矿安全违章行为、设备环境隐患识别算法，在矿井训练能够满足需求的识别模型；
（4）研制煤矿视频识别统一平台设备，集成煤矿已有海量数据，进行识别、报警和设备联动。
2、技术蓝图
（1）、对接调度管理实现方案
可以将智能摄像头或边缘网关上的视频和数据上云(公有云或私有云)，再由云端推送至调度室可视化大屏、国家矿山安全监察局“电子封条”监管平台，实现下列五中心监管调度。
（2）、对接员工行为方案
（3）、智能化场景
三、 主要功能和安装部署方案
1、主要功能
（1）隐患识别
对各种人和物的不安全状态、设备的异常情况进行实时识别，比如可实现皮带跑偏、堆煤、撕裂、皮带上的大煤块、锚杆的识别及报警，必要时紧急停车，可避免由于大块煤、锚杆造成的设备损坏、堆煤等事故。可识别工作面支架护帮不到位、风窗风门没有关闭、岔道红绿灯不亮等安全隐患，并进行广播告警。
（2）人员违章违规行为识别
实现井下人员各种常见违章违规行为的视频自动识别、图像抓拍、声音预警、实时自动统计分析，防止各类人员伤亡事故发生。比如违章乘坐皮带、矿车、在轨道上行走、工作期间疲劳操作、打瞌睡、乘车时工具伸出车外，进入危险地点、在危险地点、场所行走、乘车站点拥挤等。
（3）环境的不安全因素
2、安设位置方案
3.2.1副井位置（人员下井出入口）
1) 设备到通道出入口之间需要无遮挡，要能覆盖整个井口区域，能看到人员出入井口情况；
2) 摄像机俯角建议为40-70度，保证前后人头肩无遮挡的同时头肩特征完整，摄像头应位于通道出入口斜侧上方；
3) 具备自动和手动电调整焦距功能，查看人头肩大小是否满足要求；
4) 人员站在出入口边缘前后1米时，摄像机画面还能完全看到人员头肩；
5) 摄像头分辨率至少达到1280*720。
3.2.2主井位置（运输设备）
1) 设备到皮带之间无遮挡，能看到物料传送情况。
2) 摄像机俯角建议为40-70度。
3) 具备自动和手动电调整焦距功能。
4) 摄像头画面水平，皮带处于整个画面的垂直居中位置且皮带左右两侧对称。
5) 摄像头分辨率至少达到1280*720。
3.2.3车辆出入口（货运车）
1) 货运车辆出入口到摄像头之间尽量无遮挡，保证货运车辆完整图像信息。
2) 视频监控范围覆盖货运车辆出入口，能够监控货运车辆出入情况。
3) 摄像机俯角建议为40-70度，货运车辆的图像画面占比在[1/128，1/32]范围内。
4) 摄像头分辨率至少达到1280*720。
3.2.4调度室（人员空岗）
1) 调度室工位到摄像头之间无遮挡，尽量覆盖整个调度室区域，能看到值班人员情况。
2) 具备自动和手动电调整焦距功能，确保人员形态清晰；
3) 摄像头分辨率至少达到1280*720。
3.2.5调度室（可视化调度通信）
正常生产建设的煤矿要在调度室安装可视化调度通信系统，实现煤矿统一应急会商调度管理，实现各级煤矿安全监管监察部门对煤矿进行视频调度和指导，加快应急处置响应，提升煤矿数字化、智能化安全管理水平和应急处置能力。煤矿应急处置视频智能通讯系统终端参数如下要求：
表4-1视频智能通讯系统硬件设备参数要求
序号 | 参数 | 说明 |
1 | 系统控制终端 | Windows 7及以上操作系统，内存4G以上，硬盘100G以上； |
2 | 摄像头 | 1.支持不低于4K30fps,1080P60 fps活动图像采集和输出。 2.支持至少6倍光学变焦，水平视角不小于70°，水平转动范围±170°，垂直转动范围±30°，支持倒装。支持自动/手动聚焦和自动/手动校对光圈。 |
3 | 麦克风 | 支持360°全向拾音，高保真智能降噪，不低于8米有效拾音距离。 |
3、应用场景说明
当煤炭皮带运输机运送物料时出现锚杆，则立即锚杆检测预警
风门长时间敞开或关闭不严，立即预警
警戒区域有人越位闯入，或有人越位乘车
人数达到系统设定人数，且在较短的时间内人数达到上限立即报警
值班睡岗提醒
值班缺岗，达到一定时间预警
四、 应用场景明细
国家规定必要应用场景
测试指标 | 测试方法 | 测试标准 |
【人员入井识别信息】人员入井证据视频 | 单人入井，多人顺序入井，多人并行入井，人员井口徘徊等典型场景发生后5分钟，从国家局平台上核对证据视频、分析结果与实际是否相符，并记录测试过程和提供截图证明 | 【人员入井识别场景】在监控环境照度为400-1000勒克斯，被检测目标分辨率不低于150*300，不高于500*500，目标之间遮挡堆叠面积不超过目标15%时，模型准确率不低于95%，召回率不低于95%；识别模型MAP值不低于98%，AUC值不低于0.95 |
【货运车辆出矿识别信息】货运车辆出矿证据视频 | 单货运车辆出矿，多货运车辆顺序出矿，多货运车辆并行出矿，货运车辆徘徊等典型场景发生后5分钟，从国家局平台上核对证据视频、分析结果与实际是否相符，并记录测试过程和提供截图证明 | 【货运车辆出矿场景】在监控环境照度为400-1000勒克斯，被检测目标分辨率不低于150*300，不高于500*450，目标之间遮挡堆叠面积不超过目标20%时，模型准确率不低于95%，召回率不低于95%；识别模型MAP值不低于95%，AUC值不低于0.9 |
【运输设备运行状态识别信息】运输设备(皮带/矿车)运行状态的证据视频 | 运输设备启动，运输设备运行工作状态下有煤、无煤，等典型场景发生后5分钟，从国家局平台上核对证据视频、分析结果与实际是否相符，并记录测试过程和提供截图证明 | 【运输设备运行状态场景】在监控环境照度为400-1000勒克斯，有煤无煤目标分辨率不低于400*500，模型准确率不低于95%，召回率不低于95%；识别模型MAP值不低于95%，AUC值不低于0.9 |
【调度室空岗识别信息】上传调度室人员空岗证据视频 | 在调度室空岗场景发生后5分钟，从国家局平台上核对证据视频、分析结果与实际是否相符，并记录测试过程和提供截图证明 | 【调度室空岗场景】在监控环境照度为400-1000勒克斯，被检测目标分辨率不低于150*300，不高于400*500，目标之间遮挡堆叠面积不超过目标20%时，模型准确率不低于95%，召回率不低于95%；识别模型MAP值不低于95%，AUC值不低于0.9 |
公司产品支持扩展应用场景
序号 | 场景 | 应用场景模型 |
1 | 煤矿探放水 | 煤矿探放水AI识别模型，实时识别探放水作业的孔数量，每一个孔打钻的杆数量、长度、角度，作业人员数量和头盔佩是否佩戴等。 |
2 | 煤矿瓦斯抽放 | 煤矿瓦斯抽放AI识别模型，实时识别瓦斯抽放作业孔深、角度及环境情况，作业人员数量和头盔佩是否佩戴等。 |
3 | 煤矿皮带运输 | 皮带运输AI识别模型，AI识别煤流转载点堆煤、皮带跑偏、撕裂、异物、煤量大小、撒煤的智能感知。 |
4 | 煤矿猴车运输 | 煤矿猴车运输AI识别模型，实时识别乘坐猴车时两人的安全距离，作业人员数量和头盔佩是否佩戴等。 |
5 | 煤矿固定场所巡检 | 煤矿固定场所巡检AI识别模型，实时识别作业人数和是否按时巡检。 |
6 | 工作人员离岗 | 工作人员离岗AI识别模型，实时识别是否在岗，作业人员睡觉等。 |
7 | 煤矿人员跨越皮带 | 煤矿人员跨越皮带AI识别模型，AI识别人员是否违规跨越皮带 |
8 | 煤矿人员轨道逗留 | 煤矿人员轨道逗留AI识别模型，实时识别作业人员是否横穿轨道和在轨道出长时间停留。 |
9 | 煤矿人员未戴安全帽 | 煤矿人员未戴安全帽AI识别模型，实时识别作业人员数量和头盔佩是否佩戴等。 |
10 | 煤矿巷道行人不行车 | 煤矿巷道行人不行车AI识别模型，实时识别人员和煤车数量和煤车和作业人员是否同时出现。 |
11 | 车牌识别 | 车牌识别AI识别模型，实时识别车牌信息 |
12 | 车厢识别 | 车厢识别AI识别模型，实时识别车辆空载满载情况。 |
13 | 防火门状态识别 | 防火门状态识别AI识别模型，实时监测防火门是否保持常开或长闭状态 |
14 | 消防通道遮挡识别 | 消防通道遮挡识别AI识别模型，实时监测消防通道是否出现占用堵塞。 |
15 | 破碎机 | 破碎机识别AI识别模型，实时监测破碎机进料口是否出现堆煤，破碎机运行中是否有人员出现在进料口处。 |
16 | 人员聚集 | 人员聚集AI识别模型，实时监测在一定范围内人员出现大量聚集。 |
17 | 未戴口罩 | 实时监测室内人员人数和人员戴口罩的实际情况。 |
18 | 姿态识别 | 1.关键物体识别；2.人体骨骼关键点检测，定位人在图像中的位置以及人体各个关键点在图像中的位置；3.步态识别，以人的身体轮廓识别出人的身份，无需高分辨率。 |
19 | 景深估计 | 人员，机器，障碍物等在三维距离上的深度图，关键物体距离摄像头的距离估计。 |
20 | 语义分割 | 语义分割算法将实时地对皮带上的大煤块进行识别，得到其对应的位置坐标和像素信息，通过对特定煤块在一段时间内的持续跟踪，可计算其速度，从而得到皮带的运行速度。 |
21 | 人脸识别 | 人员身份认证信息 |
22 | 语音转写 | 基于深度卷积神经网络和长短时记忆神经网络，将音频数据转换成文本数据，输出文字。 |
23 | 声音识别 | 输出音频识别的多分类结果的a-hot矩阵 |
24 | 缺陷检测 | 基于深度学习和语义分割的物体表面缺陷检测 |
五、 主要设备
1、KJU127矿用隔爆型视频服务器(边缘计算网关)
KJU127矿用隔爆型视频服务器适用于井下爆炸性气体和煤尘的煤矿井下环境中，该边缘计算网关可以实现计算机或边缘计算网关功能，内置GPU或NPU、支持多路视频采集和AI分析、数据处理、就地显示、数据上传等功能。
功能参数：
★防爆型式：ExdⅠMb
★供电电压：AC80-900V
★工作功率：≤150W
★外形尺寸：780(长)x420(宽)x260(高) mm
★支持4核及以上CPU，支持内置GPU或NPU，内存1G以上，硬盘1T以上
★支持2路百兆光口（单纤双纤可选）， 3路电口，可级联通讯
★网络管理：通过工业以太网，可远程管理,进行设置
★传输速率：10/100M/1000Mbps;
★支持协议：TCP/IP
★传输介质：阻燃双绞线或单模光纤
★采用冷压接技术，井下无需熔纤机热熔，方便快捷，光纤通信距离可以达2KM以上
★传输方式：可点对点、可级联。
★采用矿用尾缆使用冷压接头，无需使用熔纤机热熔，方便快捷
2、矿用隔爆型摄像仪KBA127
KBA127矿用隔爆型网络摄像仪适用于井下爆炸性气体和煤尘的煤矿井下环境中，该摄像仪通过摄像头采集视频信号，视频信号采用H.265压缩技术并转换成光信号传输至网络，实现对井下图像的监控；对外提供2路视频光纤口，实现视频信号的光纤传输。
功能参数：
★防爆型式：ExdⅠMb
★供电电压：AC100-240V
★工作电流：≤300mA
★摄像头：海康400W像素高性能低照度全彩摄像机，配备自动光圈镜头
★支持格式：多种图像显示优化调节方式,支持CIF、D1、720P、1080P
★外形尺寸：422(长)x157(宽)x170(高) mm
★支持2路百兆光口（单纤双纤可选）， 3路电口，可级联通讯
★网络管理：通过工业以太网，可远程管理,进行设置
★传输速率：10/100M/1000Mbps;
★支持协议：TCP/IP
★传输介质：阻燃双绞线或单模光纤
★采用冷压接技术，井下无需熔纤机热熔，方便快捷，光纤通信距离可以达2KM以上
★传输方式：可点对点、可级联。
★红外距离：本款无红外补光。(需外置)
★采用矿用尾缆使用冷压接头，无需使用熔纤机热熔，方便快捷。
3、地面边缘计算网关
序号 | 参数 | 说明 |
1 | AI芯片 | 内置国产NPU芯片，2个DaVinci AI Core，8个A55 Arm Core（最大主频1.6GHz）。 |
2 | AI算力 | 22 TOPS INT8 峰值计算能力。 |
3 | 编解码能力 | 支持H.264、H.265硬件解码。 |
4 | 接口能力 | 网络：1个GERJ45；USB：1个USB2.0/USB3.0。 |
5 | 存储参数 | 支持64GB存储。 |
6 | 功耗参数 | 功耗不超过20W。 |
7 | 操作系统 | 基于国产的面向AI计算特征的ARM计算架构，满足支持卷积神经网络、目标检测、目标跟踪等算法的AI模型运行。 |
8 | 运输设备状态识别 | 支持矿车、皮带等设备工作状态自动识别功能。 |
9 | 支持人员统计 | 支持对监控画面中入井人员进行统计 |
10 | 支持车辆统计 | 支持对货运车辆出矿进行统计。 |
11 | 支持空岗识别 | 支持对调度室空岗进行识别 |
12 | 摄像头遮挡识别 | 支持摄像头被遮挡状态的自动识别。 |
13 | 摄像头扭转角度识别 | 支持摄像头角度扭转的自动识别。 |
14 | 模型自动更新 | 支持分析模型远程自动更新。 |
4、地面视频智能摄像头
序号 | 参数 | 说明 |
1 | 摄像头参数 | 不小于400万像素 CMOS传感器，不小于1/2.7"靶面尺寸。 |
2 | 图像及视频参数 | 低照度彩色不大于0.005 lux，黑白不大于0.0025 lux，具备可见光或红外补光功能。 |
3 | 编解码 | 视频压缩格式支持H.265/ H.264，最大分辨率2560×1440。具有智能编码功能，码率节约不低于80%。 |
4 | 存储参数 | 支持256GB存储。 |
5 | 网络参数 | 支持RJ45；支持4G网络传输，兼容3G网络。 |
6 | AI算力 | 内置GPU处理模块，8 TOPS INT8 峰值计算能力。。 |
7 | 核心识别模型 | 根据识别场景，以下四个模型，至少满足一种。 运输设备状态识别：支持矿车、皮带等设备工作状态自动识别功能; 支持人员统计: 支持对监控画面中入井人员进行统计; 支持车辆统计: 支持对货运车辆出矿进行统计； 支持空岗识别：支持对调度室空岗进行识别。 |
8 | 摄像头遮挡识别 | 支持摄像头被遮挡状态的自动识别。 |
9 | 摄像头扭转角度识别 | 支持摄像头角度扭转的自动识别。 |
10 | 模型自动更新 | 支持分析模型远程自动更新。 |
11 | 防护能力 | IP54防护能力，工作温度范围满足零下30℃-零上55℃。 |
12 | 其他 | 主井口、副井口按距离要求，配置相应条件的矿用摄像机。 |
