世界5G大会组委会-AI城市巡兵-基于5G+云网融合的城市公交感知系统

产品功能及原型设计理念和框架

1.    主要功能

根据公交智慧感知项目专题会议精神和县委县政府主要领导提出的工作指示要求，以《浙江省数字化改革总体方案》为指引，在充分调研、征询各相关单位业务需求和企业的建设意见基础上，依托国家十三五重大专项课题《城市多尺度综合感知关键技术与体系》 的科研成果，结合实际情况进行落地转化应用，项目总体规划分三期进行建设：

第一期工程，组建5G专网，在用户边缘部署搭建公交感知微网车载部标机平台、试验建立城市感知时空大数据服务平台系统，开发重点应用，实现公交驾驶、城市部件、重点人员、街面管理、市容环卫等运行数据的采集、分析与管理应用。

第二期工程，开展城市运行动态感知体系的顶层规划方案设计；运用5G切片技术实现业务独立保障，结合苍南本地公共网络环境，优化公交感知网络构建技术；在灵溪城区及部分城乡公交车辆、城区主要公交站点工程化部署感知设备，开发城市感知时空大数据云服务平台，构建公交微网系统的基本网络骨架；深化系统应用功能，初步实现对市政管理、城市执法、公交运营、社会治安、道路交通、民政教育环保等行业的数字化监管与智能化服务。

第三期工程，进一步扩展构建和完善城市运行动态感知体系，推广进行公交车辆、公交站点上的感知设备部署，增加社区微网、校园微网、医院微网、室内微网....等等城市基础功能建筑的微网系统的加密覆盖，最终组合形成城市运行综合立体感知网络基础设施。充分应用网络技术、时空大数据智能融合分析技术、人工智能技术等先进技术手段，在智慧城市领域开展范围更深远，层次更丰富，时空更完善、对象更广泛、服务更智慧的数字化深度应用，形成一个对象数字化、管理网络化、数据动态化、决策科学化的现代化城市治理与运营系统。

2.    设计理念

1.1. 设计理念

依托国家十三五重大专项课题《城市多尺度综合感知关键技术与体系》 的研究成果，以公交车辆作为移动传感器搭载平台，公交站点为固定的感知节点，搭建城市公交感知微网系统，结合补充社区、学校、医院、商业综合体等公共场所部署的点面感知设施，形成城市综合感知的基础网络设施。建设城市运行动态感知时空大数据云服务平台，汇聚城市动态感知时空信息，在此基础上对城市时空大数据进行清洗、存储、分析、挖掘以及共享服务，实现城市事件的智能化发现与快速判别，提供城市事件处置的准实时数据源。

如果把城市比作生命体，道路就是它的脉络，5G是它的神经我们项目创新地将公交车作为感知触点，再结合公共点面感知能力。5G网络的移动性天然适合车辆高速移动环境；5G大联接性保障了城市海量数据的高效有序统筹；5G高带宽支持超清摄像头视频实时传输，5G边缘计算降低时延、提升可靠性。

我们用流动公交车来采集，用无所不在的5G网络来传输，用高性能时空智能底座来处理，汇聚鲜活的城市数据，把事后告警变成主动修复。

通过车载传感、微基站等软硬件系统设备，实时采集城市部件、道路街景、人车物事等城市运行的动静态信息，实现对城市部件维护、道路交通状况、违法违章、社会治安、卫生环境、城市微气象环境等各类城市事件的实时感知发现。实现街面管理、市容环卫、社会服务、市政养护、地下管线管理、公用设施运维、综合业务管理以及市政公用与市容环卫企业运行监管等城市管理业务的数字化、网络化和空间可视化，建成具有特色的数字化城市管理信息系统，创新城市管理模式，再造城市管理流程，提高城市综合治理水平。

1.2. 项目设计框架

城市运行动态感知系统业务流程图

城市运行动态感知系统数据流程图

城市运行动态感知系统业务架构图

3.    项目方案

通过建设城市运行动态感知一期实验项目，实验建立城市公交感知微网，实现对公交驾驶员、重点人员、城市部件、街面信息的准实时动态采集与分析，初步验证城市运行动态感知的技术架构，打通城市数字化管理的各个环节，再造城市网络化、智能化管理流程，为国家十三五重大专项课题《城市多尺度综合感知关键技术与体系》研究成果的落地转化应用奠定工程化基础。

本期项目拟建设内容如下：

（1）     挑选105、106路两条公交线路的4辆公交车搭建公交微网实验平台，安装部署微网基站、街景视频采集、防疲劳防碰撞等系统设备；

（2）     选择汽车西站和北站两个公交场站部署公交回场数据高速上传的网络设施；

（3）     组建5G边缘计算平台，部署城市感知平台组件，通过切片网络ID区分物联网设备和视频流，实现业务独立保障。

（4）     沿105、106路两条公交线路街道选点部署窨井盖传感器；并试验配置少量老幼人员标签；

（5）     试验建立城市物联感知时空大数据平台；开发公路病害、人员聚集、路面积水道路内涝、桥头跳车、窨井盖丢失等城市事件发现以及道路交通设施维护、城市综合执法、老人小孩安全出行、防疲劳驾驶等专题应用（详见公交感知微网项目应用场景1.0）。

（6）     结合城市三维实景模型开发领导驾驶舱，可视化展现公交感知微网的应用场景。

公交感知微网项目应用场景1.0

网络拓扑图

前端感知系统总体设计

基于城市公交感知微网技术，打造一套综合感知、高度集成、智能分析的公私网结合的低功耗即时动态感知微网；立足于苍南公交系统现有设备，对原有基础设施进行升级改造，满足多部门对城市环境要素感知的基本需求。

前端感知系统是由车载集成感知终端、公交站点感知微网固定基站以及各类传感器组成。通过4G/5G/NB-IoT/LoRa/Zigbee/wifi等公私结合的多模式网络架构实现后台与终端、基站和传感器的按需交互通讯，从而保证数据通讯的及时完整性。公交站点感知微网固定基站在本期试验项目中暂时不作部署。

公交车整体画像

                         总体画像示意图

公交感知微网车载设备安装示意图

软件功能设计

物联网时空大数据云服务平台

物联网时空大数据平台在技术架构上采用微服务设计，服务模块采用容器部署， 服务能力可以根据业务负载进行动态扩容。同时，平台支持云原生架构，采用容器部署到5G边缘计算节点，具备低时延、安全和灵活。

平台在层次划分上采用分层模式，总体分为感知层、网络层、适配层、设备管理层、数据层、服务层、应用层七层进行规划建设。对下实现各业务城市采集终端、传感器、智能终端的数据统一采集、共享使用。对上向应用提供标准化数据与服务。

平台总体架构如下：

（一） 感知层：通过部署在公交车及公交站点周边的各类传感设备，获取目标对象的信息数据，形成对路面破损、生态环境、城市部件、公共安全与服务等各领域监测信息的采集。

（二）网络层：作为连接感知层和上层平台的纽带，通过5G网络，将感知层获取的数据信息传输汇聚至上层平台，然后进行相应的数据处理。

（三）平台层：平台提供统一数据系统、设备管理系统、数据管理系统、统一服务和统一门户五个子系统，支持多种协议接入方式和从静态信息到动态连接的设备管理、数据管理，为用户提供统一开放服务和统一门户，方便用户进行上层应用开发。

平台层直接部署到MEC，采用容器托管的形式和客户的云计算机房实现云边联动。

（四）应用层：根据实际业务需求建立各自适用的应用系统满足各委办局的工作需求。

（五）运维保障体系：构建物联网平台的运维保障体系，提供状态管理、告警管理、工单管理、日志管理、资产管理、统计分析等功能，实现对物联网时空大数据平台的运维监控。

（六）标准规范：围绕着平台的统一和开放，制定设备接入标准、感知元数据标准、信息资源目录规范、开放数据接口标准。

数据流程

微型基站通过无线/有线网络发送到大数据服务平台，经过一系列的处理后存入到各种存储容器中，业务可以通过数据交换接口来访问处理后的数据，如下图所示：

功能视图

平台共分为统一接入系统、设备管理系统、数据管理系统、统一服务系统、统一门户系统、运维保障系统 6 部分，并提供统一的用户权限管理模块，如下图所示：

统一数据接入

通过内置标准协议，以及提供 SDK 等方式适配各种通信协议，实现多源异构传感器的统一接入；通过设备管理系统的物模型管理功能定义设备数据模型，统一各个行业终端的数据标准，实现对设备数据的统一管理。数据统一采集后通过5G车规级CPE回传。

设备管理系统

设备管理系统主要实现对接入平台的所有感知设备进行统一管理，主要提供设备信息管理、设备调试、设备通信、设备群组管理、生命周期管理、物模型管理、适配服务管理等功能。其中设备信息管理模块包括设备档案、设备位置、设备拓扑和设备状态等功能；设备调试模块包括在线监控、在线调试、远程升级、设备日志等功能。

数据管理系统

数据管理系统为感知数据的统一管控提供基础，对设备上传的感知数据进行接入、解析、汇聚、存储、转发，系统支持多种数据的存储方式。包括元数据管理、数据处理、数据分区管理、数据转发等功能模块。

功能视图：

统一服务系统

统一服务系统主要封装物联网平台的基础能力，对外提供统一服务能力， 包含能力开放服务和数据开放服务两部分。

统一门户系统

统一门户基于感知数据，为不同角色的用户提供相应的服务，包括面向普通用户的用户控制台、面向管理者的管理控制台，以及面向决策者的领导者视图。

运维保障系统

运维保障系统通过搭建物联设备、运维中心、运维人员之间的桥梁，通过实时监控反映接入平台的设备资源、网络资源以及服务进程的运行情况，对告警、事件、配置等运维服务进行集中处理，实现平台信息资产可知、运行状态可视、服务流程可管、运维操作可控，支撑平台稳定运行。运维保障功能主要包括状态监控、巡检管理、告警管理、工单管理、日志管理、资产管理、统计分析等。

功能架构如下图所示:

应用系统设计

应用平台架构图

应用功能设计

（1）公路病害感知发现与处置

当前公路病害主要依赖人工发现、记录，病害位置查找描述不准确，记录方式不完整，预防措施欠缺，巡查人员压力大，养护成本高。根据苍南县交通运输局、综合行政执法局需求，通过公交车辆感知公路病害，通过摄像头、GPS和城市部件精确定位故障地点，视频流经过5G车规级CPE传到边缘计算平台，识别道路病害，系统结合城市管理数据库划分的管理清单，系统下派工单对应网格管理员，完成养护作业，形成闭环。闭环后，公家车再次经过自动确认。提高养护作业效率，节约成本。

（2）道路交通设施感知与维护

通过探头感知发现公路设施损毁，实现对路面交通设施损坏程度进行判别，并把识别分析后的结果通知给道路养护单位进行修复。算法在GPS时间同步基础上，将单一传感器标定后的数据作为改进联合标定算法输入，求解多源传感器最优空间变换矩阵。使用SVM分割点云及欧式聚类提取点云信息的几何特征，获取障碍物的位置信息；利用空间变换矩阵将障碍物点云信息变换到图像坐标系，并将3D点云映射为2D点云信息。获得精确的道路交通设施。闭环过程和公路病害感知发现与处置一样。由于多源解算工作量的较大，使用5G边缘云在苍南大数据局进行解算后回传，提高了巡检的自动化程度。

（3）窨井盖监测管理

用公交车在通勤过程中对市政道路周边范围的井盖信息的采集，实现窨井盖有效运维管理，保障城市道路环境安全与基础设施的正常实效。通过RFID接收器读取窨井盖信息，实时识别井盖状态，经过5G网络传输到边缘平台直接推送告警，结合车载警示灯提醒周边人群注意。

（4）城市综合执法管理

通过车载街景采集器同时结合AI分析、时空大数据智能融合等技术，在5G边缘服务器上实现图像分割，对象识别，实现快速巡查发现违法占道、市容、绿化、违规开挖等市政设施破坏等情况，并及时推送给相关部门进行处置。

（7）     人员聚集识别管理

基于公交车前端摄像头采集的道路边视频，实时分析，智能识别城市人群集聚现象，从而触发提醒相关执法单位，第一时间跟进治安处理，前端视频通过5G网络回传后，中心云平台读取视频存储，进行数据机构化，方便执法部门通过文本查询人员信息，保障城市公共安全。

（6）老人小孩安全出行服务

利用RFID与三维人脸识别技术，通过公交车与公交站点微基站对带有RFID标签的老人、小孩进行身份识读，同时将读取到的标签ID、时间、公交所在位置等信息上传平台。一旦老人或者小孩走失，通过平台可快速搜索被老人小孩的活动轨迹，实现老人小孩的日常跟踪定位。

（7）道路垃圾识别管理

基于公交车外摄像头采集的道路街景视频，实时分析，智能识别道路边的垃圾，从而触发提醒到城市执法局或工业园区等相关责任单位，第一时间跟进道路垃圾处理，解决目前人工巡查效率低的问题。

 （8）交通标志标线损坏缺失采集与推送

通过探头感知发现公路标识标线的缺失，并把识别分析后的结果推送给道路养护单位进行修复。

（9）道路内涝、路面积水、桥头跳车

对城市积水点进行水位监测、降水量及桥梁状况监测，通过无线物联网传输给远程管理平台、预警信息，实现实时预警、及时处理、远程管理的一体化建设。

（10）防疲劳、防碰撞

   防疲劳监测

通过装在驾驶员斜上方或正前方的红外相机识别驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示

   防碰撞

通过人工智能视觉技术，前向ADAS摄像头可识别前方车辆、行人，结合车速，测算相对碰撞时间（TTC），提供防碰撞预警

数据驾驶舱

依托城市三维实景模型，对事件场景进行时空展示与信息推送，并接入周边固定摄像头实时查看事件周边资源要素，能够对城市事件的周边资源进行关联分析与展现。同时可嵌套第三方平台，实现道路事件处置过程的展示与分析。

创意特色及技术性能

创新点一、统一的时空智能操作系统

时空智能是交通数字化的重要基础,是数字孪生的连接点。以公交车载摄像头为例,其记录的每一帧画面,实际上描述的是某一个瞬间在某个三维空间里发生的事件。没有统一基准的时间和空间信息,监控摄像头只能各自为阵,如同信息孤岛,它们所拍摄的画面因此也难以被正确排序,串联起来的数据信息也就失去了还原真相的能力。

时空智能操作系统实现事件管控数据的全息感知,人、车、路、云的协同互信提供车辆高精度定位;通过边缘时间同步服务器,突破性的纳秒级精准授时,为区域各类基础设备提供精准时间同步。将所有公交车采集的时空信息进行统一的处理。

全球首个商用级时空智能操作系统在2020年发布，本项目首次将5G+人工智能应用于时空智能操作系统上，具备领先性。在机器视觉应用中首次使用5G+CPHD智能滤波算法，提高了人员计数精准性。

创新点二、 基于5G+公交流动城市管理的新模式

通过5G边缘计算的新型模式，以城市公交为传感器搭载平台，实时采集城市部件、道路街景、人车物事等城市运行的动静态信息，实现对城市部件维护、道路交通状况、违法违章、社会治安、卫生环境、城市微气象环境等各类城市事件的实时感知发现。实现街面管理、市容环卫、社会服务、市政养护、地下管线管理、公用设施运维、综合业务管理以及市政公用与市容环卫企业运行监管等城市管理业务的数字化、网络化和空间可视化。

创新点三、基于5G+边缘云能力开放的新方案

基于5G+边缘云开放机器视觉算法市场，公开开放市面优秀算法、解决方案入驻到边缘云平台，通过读取公交车回传的视频和照片开发更多有用的算法。打开5G能力开放的新商业模式。

创新点四、基于5G边缘计算的多源识别新技术

在GPS时间同步基础上，将单一传感器标定后的数据作为改进联合标定算法输入，求解多源传感器最优空间变换矩阵。使用SVM分割点云及欧式聚类提取点云信息的几何特征，获取城市部件信息。结合前期采集的城市街景、城市部件实现高精度识别。

项目使用国家物联网与智慧城市关键技术及示范项目成果，产出30篇论文、27项专利，还有4项国际标准审批中。通过本项目实现国家十三五重大专项课题《城市多尺度综合感知关键技术与体系》 的研究成果落地，并在实际生产环境中不断优化成果。

项目还获得绽放杯全国大赛优秀奖和浙江赛道二等奖。

与5G结合性及强相关性及产业联动效应

从产业联动上，项目打造了5G+城市感知管理的新模式，重塑了城市治理流程，节约了城市治理费用，提高了城市治理效率。

5G技术发展方面，直接促进了5G边缘云、机器视觉等、算力智能调度、网络智能感知等多项先进技术创新；同时，我们基于项目大数据资源深化算法自主研发，陆续开放优秀应用、解决方案入驻边缘云平台，以5G能力开放助推数字化改革。

产业链方面，我们直接促进了城市感知设备、城市微网的加密覆盖，加速新型城市感知网络的整体构建，并基于5G实现“一网统管”。

5G与AI、大数据、先进计算、区块链等技术的融合度

5G网络的移动性天然适合车辆高速移动环境；5G大联接性保障了城市海量物联网数据的高效有序统筹；5G高带宽支持超清摄像头视频实时传输，5G边缘云降低时延、提升可靠性。

项目采用云原生架构支持云边联动，随着项目量的增加AI从在云端持续训练更新提高判断的准确性。

项目的价值以及市场需求、分析市场容量和

随着城市建设不断扩大，市民对城市交通、环境、居住等质量要求日趋增强，社会基层治理、网格化管理和动态调控需求也越来越高，这就迫切要求城市管理必须从静态变为动态、单一变为综合，滞后变为实时，人工变为智能，定性管理逐渐过渡为定性与定量相结合管理，以增强管理的科学性，进一步提高城市的运行效率。如何在巩固中提高，这也迫切需要有效的后续管理手段和长效机制。

通过城市运行动态感知体系的建设，实时、综合、立体感知发现城市运行的状态信息，及时高效进行处置，促进城市管理手段创新、以此为催化剂，进而建立起与生产力相适应的生产关系，实现管理模式的创新，形成以数字化为标志的体制协调、运作高效、方式先进的现代化城市管理体系。建成城市管理对象、管理过程和管理评价数字化的城市管理决策支持、执行支持、监控支持新模式。

商务模式方面，项目单车改造费用2万元，性价比极高。智慧公交市场预计2023年高达829亿元，项目全国推广后，将服务全国2862个县。

商业模式

苍南县城市公交动态感知项目合同额1000万，通过5G边缘计算、物联网卡、云服务平台。项目包含软硬件和网络及对车辆和平台的运维服务。2022年预计合同会在4085万。

产品原型、logo等设计图片，产品评估验证的图片、评测报告等