WO2020211593A1 - 交通道路的数字化重建方法、装置和系统 - Google Patents

交通道路的数字化重建方法、装置和系统 Download PDF

Info

Publication number
WO2020211593A1
WO2020211593A1 PCT/CN2020/080277 CN2020080277W WO2020211593A1 WO 2020211593 A1 WO2020211593 A1 WO 2020211593A1 CN 2020080277 W CN2020080277 W CN 2020080277W WO 2020211593 A1 WO2020211593 A1 WO 2020211593A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
traffic road
digital
digital view
traffic
Prior art date
Application number
PCT/CN2020/080277
Other languages
English (en)
French (fr)
Inventor
李晋波
沈建惠
花文健
李阳
冷继南
常胜
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP20791246.0A priority Critical patent/EP3940666A4/en
Priority to KR1020217034958A priority patent/KR20210140766A/ko
Priority to CN202080028800.8A priority patent/CN115004273A/zh
Priority to JP2021561008A priority patent/JP7278414B2/ja
Publication of WO2020211593A1 publication Critical patent/WO2020211593A1/zh
Priority to US17/500,878 priority patent/US20220044558A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

一种交通道路的数字化重建方法，涉及智慧交通领域。该方法包括获取由设置于交通道路的摄像头拍摄的视频数据，该视频数据记录了交通道路上的多个目标；根据视频数据确定每个目标在该交通道路上的运行轨迹；建立交通道路的数字化视图，其中，数字化视图包括多个模型，每个模型表征所述交通道路上的每个目标，该数字化视图中的每个模型根据其对应的目标在交通道路上的运行轨迹运行。所建立的交通道路的数字化视图可方便、真实地反映交通道路的运行状况，交通道路的数字化视图还无需消耗大量的内存资源和通信资源。

Description

交通道路的数字化重建方法、装置和系统 技术领域
本申请涉及智慧交通领域，尤其涉及一种交通道路的数字化重建方法、装置和系统。
背景技术
智慧交通作为智慧城市的重要组成部分，对提升城市交通的运营效率、服务水平、安全保障等都有重大的意义。交通道路是交通事故和交通异常事件多发的区域，交通道路的交通数据获取、交通状态监控等对城市交通管理具有重要意义。数据是智慧交通的基础，对于各种交通信息的自动化分析与研判都是基于海量数据的基础之上的，目前道路交通道路部署了大量的例如监控摄像头、雷达、磁感线圈等原始数据采集设备，为道路交通收集了海量的数据资源。对交通道路的观测和研究能够更加深入地了解道路中车辆、行人以及非机动车的速度、轨迹、流向等，对流量监测、缓解拥堵以及违法监测等有着重要的意义。
在现有技术中，对交通道路的监测主要通过对各个摄像头拍摄的视频数据进行观测，视频数据占用内存大，传输效率低，可观测性差。
发明内容
本申请提供了一种交通道路的数字化重建的方法和系统，通过该方法可实现对物理世界中的交通道路进行数字化呈现，通过本申请提供的方法可实现对交通道路的运行状况进行高效监控。
第一方面，本申请提供一种交通道路的数字化重建方法，该包括：获取由设置于交通道路的摄像头拍摄的视频数据，该视频数据记录了所述交通道路上的多个目标；根据视频数据确定每个目标在交通道路上的运行轨迹；建立该交通道路的数字化视图，其中，该数字化视图包括多个模型，每个模型表征交通道路上的每个目标，数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行。
上述方法通过构建交通道路的数字化视图便于用户(例如：车主、交管部门工作人员)方便、真实地获知交通道路上的运行状况，进一步地，由于构建的数字化视图相比较于原始的视频数据占用的内存小、传输的效率高，使得数字化视图可便于存储和传输。
应理解，上述交通道路上的目标可以是车辆、行人、动物等运动的物体或者暂时静止的可运动的物体。
在第一方面的一种可能的实现中，该方法还包括：根据视频数据确定每个目标的类型信息，相应地，所述数字化视图中的不同的模型对应不同类型的目标。通过用不同的模型表示不同的类型的目标可更加形象地反映交通道路的实际状况，便于用户根据数字化视图中展现的不同的模型进行判断和决策。
在第一方面的一种可能的实现中，设置于交通道路的摄像头包括多个，多个摄像头中的不同摄像头采集的视频数据的视角不同。上述方法通过结合多个摄像头拍摄的不同 视角的交通道路的视频数据，可以更全面、准确地展示交通道路，避免了用户因为遮挡、视角偏差等原因作出错误的判断。
在第一方面的一种可能的实现中，该方法还包括：显示数字化视图或发送数字化视图至显示装置，其中，被显示的所述数字化视图的视角与视频数据的视角相同或不同。通过将数字化视图显示出来，使得用户可以更方便地根据数字化视图获得交通道路的信息。
在第一方面的一种可能的实现中，该方法还包括：获取每个目标的属性信息，所述数字化视图中还包括所述每个目标的属性信息。属性信息可以进一步的描述和解释交通道路的目标，使用户更详细地了解目标，增加了数字化视图中包含的信息量，使数字化视图可应用于更多场景。
在第一方面的一种可能的实现中，交通道路上的目标包括车辆，目标的属性信息包括以下信息中的一种或多种：车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度、车主身份信息、车辆的登记维护信息。
在第一方面的一种可能的实现中，视频数据包括第一时刻的视频数据；根据所述视频数据确定每个目标在交通道路上的运行轨迹包括：根据第一时刻的视频数据确定每个目标在所述第一时刻在所述交通道路上的地理坐标；根据每个目标在第一时刻在所述交通道路上的地理坐标和每个目标在第一时刻以前在所述交通道路上的地理坐标，确定每个目标在交通道路上的运行轨迹。
在第一方面的一种可能的实现中，该方法还包括：根据每个目标在所述交通道路上的运行轨迹确定每个目标的姿态；数字化视图中的每个模型根据其对应的目标在交通道路上的运行轨迹和姿态运行。
上述方法使数字化视图更真实地展现了交通道路中每个目标的运行。使用户可以从某一时刻的数字化视图中直观地获得目标的姿态。
在第一方面的一种可能的实现中，该方法还包括：根据视频数据识别所述交通道路上的背景物体；数字化视图还包括表征所述交通道路上的背景物体的模型。通过对交通道路的背景物体进行建模和呈现，使得用户可以通过数字化视图更清楚地了解交通道路的周边环境和背景状况，便于用户做出判断和决策。
在第一方面的一种可能的实现中，该方法还包括：获取所述交通道路的地图；建立交通道路的数字化视图包括：获取每个目标对应的模型，根据每个目标在所述交通道路上的运行轨迹，将所述每个目标对应的模型映射至所述交通道路的地图，获得所述交通道路的数字化视图。
应理解，在一些可能的实现中，上述地图可以是包括所述交通道路的背景的实景地图。
在第一方面的一种可能的实现中，该方法还包括：获取雷达数据，雷达数据记录了交通道路的目标的行驶信息；根据雷达数据和所述视频数据确定每个目标在所述交通道路上的运行轨迹。通过雷达数据和视频数据结合确定交通道路的目标的运行轨迹，可以增加确定的目标的运行轨迹的准确性。
第二方面，本申请还提供一种提供交通道路的数字化视图的方法，包括：向用户呈现第一视角下的所述交通道路的数字化视图，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，每个模型根据其对应的目标在所述交通道路上的运行轨迹运行，所述交通道路上的每个目标的运行轨迹根据所述交通道路上的摄像头拍摄的视频数据计算得到；接收所述用户发送的视角调节信息，其中，所述视角调节信息用于请求从第二视角观察所述数字化视图；根据所述视角调节信息向所述用户呈现所述第二视角下的所述数字化视图。
数字化视图可以根据用户的视角调节信息向用户呈现不同视角下的交通道路的运行情况，增加了灵活性，可以向用户提供更多的信息。
在第二方面的一种可能的实现中，数字化视图中的不同的模型对应不同类型的目标。
在第二方面的一种可能的实现中，所述方法还包括：向用户呈现目标的属性信息，其中，所述目标的属性信息与所述数字化视图中的所述目标对应的模型相关联。
在第二方面的一种可能的实现中，向所述用户呈现目标的属性信息具体包括：接收所述用户的指令信息；根据所述用户的指令信息，在所述第一视角下的所述交通道路的数字化视图中显示所述目标的属性信息。
在第二方面的一种可能的实现中，所述方法还包括：向所述用户呈现所述多个模型在所述数字化视图中的运行轨迹。
在第二方面的一种可能的实现中，所述数字化视图中还包括所述交通道路上的背景，所述背景包括所述交通道路上的标记标线和所述交通道路周边的物体。
在第二方面的一种可能的实现中，所述交通道路包括多个路口，所述交通道路的数字化视图连贯地呈现每个路口及运行于每个路口上的目标对应的模型。
第三方面，本申请还提供一种一种图形用户界面系统，包括：数字化视图窗口，用于显示所述交通道路的数字化视图，其中，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行；管理窗口，包括用户可选择的按钮，所述用户可选择的按钮包括视角调节按钮，所述视角调节按钮被用户选定后，所述数字化视图窗口显示所述视角调节按钮对应的视角下的所述交通道路的数字化视图。
在第三方面的一种可能的实现中，数字化视图中的不同的模型对应不同类型的目标。
在第三方面的一种可能的实现中，数字化视图还包括目标的属性信息，其中，所述目标的属性信息与所述目标对应的模型相关联。
在第三方面的一种可能的实现中，数字化视图还包括每个模型的运行轨迹，每个模型的运行轨迹根据每个目标在所述交通道路上的运行轨迹获得。
在第三方面的一种可能的实现中，用户可选择的按钮还包括轨迹显示按钮，轨迹显示按钮被用户选定后，数字化视图窗口显示每个模型的运行轨迹。
在第三方面的一种可能的实现中，每个模型的运行轨迹包括每个模型在未来时刻运行的路径。
在第三方面的一种可能的实现中，数字化视图中还包括交通道路上的背景，所述背景包括所述交通道路上的标记标线和所述交通道路周边的物体。
在第三方面的一种可能的实现中，交通道路包括多个路口，所述交通道路的数字化视图连贯地呈现每个路口及运行于每个路口上的目标对应的模型。
第四方面，本申请还提供一种装置，该装置包括：数据处理模块，用于获取视频数据，所述视频数据由设置于交通道路的摄像头拍摄，所述视频数据记录了所述交通道路上的多个目标；数据分析模块，用于根据所述视频数据确定每个目标在所述交通道路上的运行轨迹；数字化建模模块，用于建立所述交通道路的数字化视图，其中，所述数字化视图包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行。
在第四方面的一种可能的实现中，数据处理模块还用于根据所述视频数据确定每个目标的类型信息，相应地，所述数字化视图中的不同的模型对应不同类型的目标。
在第四方面的一种可能的实现中，所述设置于交通道路的摄像头包括多个，多个摄像头中的不同摄像头采集的视频数据的视角不同。
在第四方面的一种可能的实现中，所述数字化建模模块还用于显示所述数字化视图或发送所述数字化视图至显示装置，其中，被显示的所述数字化视图的视角与所述视频数据的视角相同或不同。
在第四方面的一种可能的实现中，所述数据处理模块还用于获取所述每个目标的属性信息；所述数字化视图中还包括所述每个目标的属性信息。
在第四方面的一种可能的实现中，所述交通道路上的目标包括车辆，所述目标的属性信息包括以下信息中的一种或多种：车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度、车主身份信息、车辆的登记维护信息。
在第四方面的一种可能的实现中，所述视频数据包括第一时刻的视频数据；所述数据分析模块具体用于：根据所述第一时刻的视频数据，确定每个目标在所述第一时刻在所述交通道路上的地理坐标；根据每个目标在所述第一时刻在所述交通道路上的地理坐标和每个目标在所述第一时刻以前在所述交通道路上的地理坐标，确定每个目标在所述交通道路上的运行轨迹。
在第四方面的一种可能的实现中，所述数据处理模块还用于根据每个目标在所述交通道路上的运行轨迹确定每个目标的姿态；所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹和姿态运行。
在第四方面的一种可能的实现中，所述数据处理模块还用于根据所述视频数据识别所述交通道路上的背景物体；所述数字化视图还包括表征所述交通道路上的背景物体的模型。
在第四方面的一种可能的实现中，所述数字化建模模块具体用于获取所述交通道路的地图；获取每个目标对应的模型，根据每个目标在所述交通道路上的运行轨迹，将所述每个目标对应的模型映射至所述交通道路的地图，获得所述交通道路的数字化视图。
第五方面，本申请还提供一种显示设备，该显示设备包括接收模块和显示模块，显示模块，用于向用户呈现第一视角下的所述交通道路的数字化视图，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，每个模型根据其对应的目标 在所述交通道路上的运行轨迹运行，所述交通道路上的每个目标的运行轨迹根据所述交通道路上的摄像头拍摄的视频数据计算得到；接收模块，用于接收所述用户发送的视角调节信息，其中，所述视角调节信息用于请求从第二视角观察所述数字化视图；所述显示模块，还用于根据所述视角调节信息向所述用户呈现所述第二视角下的所述数字化视图。
应理解，显示设备可以是终端设备，例如手机、平板电脑、车载电脑、便携式计算机等，也可以是位于边缘侧或数据中心的可视化设备。
第六方面，本申请还提供一种计算设备，该计算设备包括处理器和存储器，所述存储器存储计算机指令，所述处理器执行所述计算机指令，以使所述计算设备执行前述第一方面或第一方面的任意可能的实现中的方法。应理解，该计算设备可以是服务器、车载计算设备、车辆等
第七方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述前述第一方面或第一方面的任意可能的实现中的方法，或者执行前述第二方面或第二方面的任意可能的实现中的方法。该计算机可读存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：HDD)、固态硬盘(英文：solid state drive，缩写：SSD)。
第八方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现中提供的方法，或执行前述第二方面或第二方面的任意可能的实现中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现中提供的方法，或者需要使用前述第二方面或第二方面的任意可能的实现中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
第九方面，本申请还提供一种系统，该系统包括如前述第五方面所述的显示设备和前述第六方面所述的计算设备。
附图说明
为了更清楚地说明本申请实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。
图1为本申请实施例提供的一种系统架构示意图；
图2为本申请实施例提供的另一种系统架构示意图；
图3为本申请实施例提供的一种数字化重建系统100的结构示意图；
图4为本申请实施例提供的一种数字化重建系统100的部署示意图；
图5为本申请实施例提供的一种交通道路的数字化重建方法的流程示意图；
图6为本申请实施例提供的一种目标检测和属性检测的流程示意图；
图7为本申请实施例提供的一种目标定位的流程示意图；
图8为本申请实施例提供的一种目标跟踪的流程示意图；
图9为本申请实施例提供的一种数字化建模的流程示意图；
图10为本申请实施例提供的不同视角数字化视图的图形化用户界面；
图11为本申请实施例提供的另一种数字化视图的图形化用户界面；
图12为本申请实施例提供的一种装置800的结构示意图。
图13为本申请实施例提供的一种计算设备900的结构示意图；
图14为本申请实施例提供的一种计算设备系统的结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请提供的实施例中的方案进行详细描述。
交通道路是物理世界中行人、车辆通行的区域，交通道路包括多个交通路口和交通路径。本申请提供一种交通道路的数字化重建方法，该方法由数字化重建系统执行，通过该数字化重建方法可构建交通道路的数字化视图，该数字化视图可实时地展现交通道路的运行状况。
如图1所示，数字化重建系统可部署在云环境，具体为云环境上的一个或多个计算设备上(例如：中心服务器)。该系统也可以部署在边缘环境中，具体为边缘环境中的一个或多个计算设备(边缘计算设备)上，边缘计算设备可以为服务器。所述云环境指示云服务提供商拥有的，用于提供计算、存储、通信资源的中心计算设备集群；所述边缘环境指示在地理位置上距离原始数据采集设备较近的，用于提供计算、存储、通信资源的边缘计算设备集群。原始数据采集设备为用于采集数字化重建系统所需的原始数据的设备，原始数据采集设备包括但不限于摄像头、雷达、红外相机、磁感线圈等。原始数据采集设备包括置于交通道路的固定位置，且用于以自身视角采集交通道路上的实时原始数据(例如：视频数据、雷达数据，红外数据等)的设备(即静态设备)，还包括动态采集交通道路上的数据的无人机、巡回采读车、人工采集数据的动态设备(例如：读数杆)等。
如图2所示，数字化重建系统包括多个部分(例如包括多个子系统，每个子系统包括多个单元)，因此数字化重建系统的各个部分也可以分布式地部署在不同环境中。例如，可以在云环境、边缘环境、原始数据采集设备中的三个环境，或其中任意两个环境上分别部署数字化重建系统的一部分。
数字化重建系统用于根据原始数据采集设备采集到的原始数据对物理世界的交通道路进行数字化建模，数字化重建系统内部的子系统和单元可有多种划分方式，本申请不对其进行限制，图3为一种示例性的划分方式，如图3所示，数字化重建系统100包括数据处理子系统120、数据分析子系统140、数字化建模子系统160。下面分别简述每个子系统及其包括的功能单元的功能。
所述数据处理子系统120用于接收至少一个原始数据采集设备采集到的原始数据，主要包括由设置于交通道路的摄像头拍摄的视频数据，在一种实施例中，接收到的视频数据为记录了交通道路的交通状态的实时视频流。数据处理子系统120还对接收到的原始数据进行处理，获得更有语义的数据。数据处理子系统中包括多个功能单元，其中，数据对齐单元121用于接收多个设置于交通道路固定位置的摄像头采集的视频数据，对多个视频数据进行时间上的对齐，即将记录同一时刻的交通状况的视频帧进行提取，输出至目标检测单元122；所述目标检测单元122用于检测视频帧中存在的目标的位置和类 型，获得目标的位置信息和类型信息，目标属性检测单元123用于根据每个目标的类型检测每一类型的目标的属性，获得目标的属性信息；数据存储单元124用于存储目标检测单元和目标属性检测单元获得的数据，这些数据可被数据分析子系统和数字化建模子系统中的功能单元读取和使用。
可选的，数据处理子系统还包括背景检测单元125，所述背景检测单元125用于接收原始数据采集设备采集到的有关交通道路背景的原始数据，这些原始数据可以是设置于交通道路固定位置的设备采集到的视频数据及其他数据(例如：雷达数据、红外数据)，也可以是动态采集数据的无人机、巡回采读车采集到的视频数据及其他数据，背景检测单元125用于根据接收到的原始数据对交通道路的背景物体进行检测和识别，获得背景物体的类型信息和位置信息。
值得注意的是，本申请中，目标指在交通道路上运动的物体或交通道路上在一段时间内静止的可运动的物体，例如：机动车、行人、非机动车、动物等。目标的属性信息指与该目标相关的信息，所述目标的属性信息包括直接属性信息和间接属性信息。直接属性信息，即根据该目标直接计算、识别、获得的属性信息(例如：车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度等)；间接属性信息，即需要根据该目标的直接属性进一步分析或查询相关数据库获得的属性信息(如：车辆的车主身份信息、车辆的登记维护信息等)。每个目标都有属性信息，目标的类型信息可以为目标的属性信息中的一种，即，目标的类型信息为目标的用于分类的一种属性信息。根据目标的类型信息进行分类获得的不同类型的目标对应要观测的其他属性信息可以不同。本申请中，背景物体指在交通道路上或交通道路周边的静态的物体，包括：道路标记线、警示牌、交通信号杆、站岗亭、周边建筑、行道树、花坛等。
数据分析子系统140用于读取数据处理子系统120中处理完成的数据，进行数据的进一步处理和分析。数据分析子系统140包括多个功能单元，其中，定位单元141用于根据预先采集的控制点在物理世界的地理坐标和控制点在视频帧中的像素坐标确定每个摄像头拍摄的视频中的点的像素坐标与该点的地理坐标的映射关系，根据映射关系获得目标检测单元检测到的目标在物理世界的地理坐标值；目标跟踪单元142用于确定同一目标在两个相邻或相近的视频帧中的位置信息，记录目标在每一时刻的像素坐标，获得目标在视频数据中的运动轨迹；数据分析单元143用于将从多个不同视角的视频数据中获得的多组处理后的数据进行分析，获得目标在多个不同视角结合形成的全景视角的数据。
可选的，前述定位单元141还可用于根据前述方式获得的映射关系，获得背景检测单元检测到的背景物体在物理世界的地理坐标值。
可选的，数据分析子系统140还包括目标属性信息分析单元144，所述目标属性信息分析单元144用于利用数据处理子系统120和数据分析子系统140中获得的目标的属性或位置等信息获得目标的间接属性信息。
数字化建模子系统160用于根据数据处理子系统120和数据分析子系统140获得的数据对物理世界的交通道路及道路中的目标进行数字化重建，获得数字化视图。数字化建模子系统160包括背景建模单元161，用于对交通道路及其周边的背景物体进行建模，获得交通道路的背景物体对应的模型，在另一种实施例中，数字化重建系统100中也可 不包括背景建模单元161，数字化重建系统100可以从其他设备或系统中获取已进行建模后的背景物体对应的模型；目标建模单元162用于根据数据处理子系统120和数据分析子系统140中获取的目标的类型和属性信息对目标进行建模，获得每个目标对应的模型；目标映射单元163用于将每个目标对应的模型映射到地图中，获得交通道路的数字化视图；目标属性信息关联单元164用于将目标的属性信息与数字化视图中的对应的目标的模型相关联；数字化视图输出单元165用于将重建的交通道路的数字化视图输出至显示设备或其他系统，使得显示设备显示数字化视图或者使其他系统利用数字化视图进行进一步操作。
本申请中，数字化重建系统100可以为软件系统，其内部包含的各子系统及功能单元部署在硬件设备上的部署形式较为灵活，如图1和图2所示，整个系统可部署在一个环境中的一台或多台计算设备中，也可分布式地部署在两个或三个环境中的一台或多台计算设备中。图4为本申请的数字化重建系统100的一种示例性的部署示意图，数字化重建系统100中的数据处理子系统120部署在边缘计算设备220上，所述边缘计算设备220可以是位于原始数据采集设备201和202附近的具有计算能力的交通盒子，数据分析子系统140和数字化建模子系统160部署在中心服务器240中，所述中心服务器可以位于云数据中心。如图4所述的部署形式，原始数据采集设备201和原始数据采集设备202实时采集交通道路的原始数据(包括视频数据和其他数据)，原始数据采集设备201和202将采集到的原始数据发送至边缘计算设备220，边缘计算设备220执行数据处理子系统120包括的软件代码对原始数据进行处理，获得处理后的数据，所述处理后的数据由边缘计算设备220发送至中心服务器240，中心服务器240接收处理后的数据，执行数据分析子系统140包含的软件代码和数字化建模子系统160包含的软件代码产生交通道路的数字化视图数据。进一步地，中心服务器240可以将数字化视图数据发送至显示设备，由显示设备显示交通道路的数字化视图，且用户可通过显示设备调整和操作数字化视图的显示，获得不同视角的数字化视图和指定目标的属性信息等，显示设备可以是终端设备，例如手机、平板电脑、车载电脑、便携式计算机等，也可以是位于边缘侧或数据中心的可视化设备。
交通道路的数字化重建
图5为本申请一种实施例提供的一种交通道路的数字化重建的方法的流程示意图。下面结合图5具体介绍交通道路的数字化重建的方法的步骤：
S301，获取原始数据。具体地，数字化重建系统获取原始数据采集设备实时采集的交通道路的原始数据，所述原始数据包括视频数据，视频数据是设置于交通道路中固定位置的摄像头拍摄的体现交通道路的实时交通状况的视频流，通常，交通道路中的每个路口、路段设置有多个分别拍摄不同视角的多个摄像头，每个摄像头拍摄一个视角下的交通道路的交通状态。
可选的，步骤S301还可以获取原始数据采集设备(例如：毫米波雷达、微波雷达、光电雷达等)采集的雷达数据，通过分析雷达数据可以获得交通道路上的目标的位置和运行速度等信息，雷达数据对于体现目标的位置和运行速度等信息具有精度高的特点，雷达数据可作为视频数据的补充。
值得注意的是，前述步骤S301可以持续实时地获取视频流，从某一时间开始对获取的每一时刻的视频帧执行后续步骤S302-S306(如图5所示，对设置于交通道路的东、西、南、北四个方向的摄像头采集的每一时刻的视频帧执行步骤S302-S306)。应理解，一段视频数据由不同时刻的视频帧组成、其中视频数据中的视频帧按照时间顺序排列，每个视频帧是一个图像、用于反映某一时刻被拍摄的交通道路的交通状况。
S302，目标检测和属性检测。具体地，对每个视频数据中的同一时刻的视频帧进行目标检测，获得目标的位置信息和类型信息(其中，目标的位置信息即为目标在视频帧中的像素坐标)，进一步对检测到的目标进行目标属性检测，获得目标的属性信息。由于目标检测获得了视频帧中的目标的类型，根据目标属于的不同类型，目标属性检测所检测的属性类型可以不相同，例如：对于检测到的目标的类型为机动车，要检测的机动车的属性类型包括：车型、车身颜色、车牌等，对于检测到的目标的类型为行人，要检测的人的属性类型包括：性别、衣着颜色、身形等。
值得注意的是，当获取的是多个视频数据时，在进行目标检测时，首先对多个视频数据进行时间对齐，即获得多个视频数据中表示同一时刻的交通状况的视频帧，然后对同一时刻的每个视频帧进行目标检测和目标属性检测。
可选的，步骤S302还可以执行背景检测，对视频帧中交通道路的背景物体进行检测，获得背景物体的位置信息和类型信息。
S303，目标定位。目标定位主要是将在视频帧中检测到的目标对应的像素坐标变换为目标在物理世界中的地理坐标，所述目标的像素坐标是视频帧中目标所在位置的像素点的坐标，像素坐标是二维坐标；目标的地理坐标是目标在物理世界中的任意一种坐标系下的坐标，例如：本申请中的地理坐标采用由目标在交通道路中的位置对应的经度、纬度和海拔组成的三维坐标。进行目标定位的具体方法在后续步骤中具体描述。
可选的，步骤S303还可以执行背景定位，将视频帧中交通道路的背景物体的像素坐标转换为地理坐标。
S304，目标跟踪。目标跟踪指对一段视频数据中记录的目标在不同视频帧中的位置进行跟踪，具体为：确定视频数据中当前时刻的视频帧中和前一时刻的视频帧中记录的同一目标，使两个目标对应同一个目标ID，且在目标轨迹表上记录该目标ID在当前时刻的视频帧中的像素坐标，所述目标轨迹表为记录存在在摄像头拍摄的区域中的每个目标的当前时刻的像素坐标和历史时刻的像素坐标(由目标的当前时刻的像素坐标和历史时刻的像素坐标可拟合出目标的运动轨迹)。进行目标跟踪时，可以根据前述步骤S302获得的当前处理的视频帧中的目标的类型、位置和属性与缓存的已处理的前一时刻视频帧中的目标的类型、位置和属性进行比较，确定相邻两个视频帧中目标之间的关联，即对相邻两个视频帧中判断为的同一个目标的目标标记为同一个目标ID，且记录每个目标对应的目标ID及其在视频帧中的像素坐标。目标跟踪的方法多种多样，本申请在后续S601-S606中示例性地描述一种目标跟踪的方法。
S305，数据分析。当前述步骤从同一时刻的多个视频帧中获得了多组处理后的数据(包括目标的类型信息、地理坐标、属性信息等数据)，该步骤对多组处理后的数据进行分析，获得分析后的数据。具体地，例如，对于多组数据中目标的类型、属性信息相同且目标的地理坐标相近的情况，将多组数据中该目标的地理坐标进行加权平均获得目标 的分析后的地理坐标，将多组数据中的一组目标的类型、属性信息及分析后的目标的地理坐标组合形成一组该目标的分析后的数据。对于仅在同一时刻的一个视角的视频帧中存在，但在同一时刻的其他视频帧中无法观测的目标，该视频帧对应的一组数据中的地理坐标、类型、属性等数据即为获得的分析后的地理坐标、类型、属性等数据。经过多方向数据的分析，可以使得每个目标的数据更加准确(例如目标对应的地理坐标)，且可以获得同一时刻下多个摄像机拍摄到的交通道路下的全部目标的数据。目标的分析后的数据可以更准确地展现该时刻的交通道路上的目标，避免单个摄像机视角下由于车辆遮挡、视角限制、光照阴影等原因导致的目标数据的不全面。
可选的，步骤S305还可以将从不同原始数据采集设备采集的原始数据中获得的处理后的数据进行分析。例如：将雷达数据进行处理后获得的处理后的数据和从摄像机采集到的原始数据中获得的处理后的数据进行分析，使数据更精确，例如，对于目标的地理位置，对视频数据进行目标检测、目标定位和目标地理坐标分析后获得的分析后的地理坐标可以与由雷达数据计算获得的该目标的地理坐标进一步进行分析(例如加权平均)，使获得的目标的最终地理坐标更加精确。
S306，数字化重建。根据每个目标的类型和属性信息对每个目标进行建模，获得每个目标对应的模型，其中，不同类型的目标对应的模型不同，目标对应的模型可以是三维模型。根据前述步骤S305获得的每个目标的对应的分析后的地理坐标，将每个目标对应的模型映射至预先获得的地图，获得交通道路的数字化视图(如图5所示)，交通道路的数字化视图可展现各个视角的摄像头所拍摄的区域的并集。所述地图是三维地图，地图可通过放大、缩小、旋转等操作显示不同的区域，地图上的每个点对应物理世界的地理坐标，地理坐标为(m，n，h)，其中m表示经度，n表示纬度，h表示海拔，其中m、n、h均为实数。
所述地图可以由地图提供厂商提供或者预先进行构建获得，地图中包括交通道路的背景物体(例如：交通道路周边的建筑、花坛、交通道路上的交通标记线、交通标志等)。
在另一种实施例中，所述地图可以由地图提供厂商提供，地图中不包括交通道路的部分或全部的背景物体，则前述步骤S306还包括根据前述可选的背景检测过程中检测到的交通道路的背景物体的类型对背景物体进行建模，获得每个背景物体对应的模型，且根据获得的每个背景物体的地理坐标，将每个背景物体对应的模型也映射到地图。
可选的，地图可以是根据预先由无人机或地图采集车等设备采集到的交通道路的背景数据对背景物体进行数字化建模获得的，这种类型的地图是模型地图，模型地图具有占用内存小，构建速度快的优点。
可选的，预先构建地图时，可以利用卫星或激光点云技术扫描交通道路周边建筑物及交通道路获得实景图像，基于实景图像处理、三维渲染技术对交通道路及其周边环境构建实景地图，所述实景地图可形象真实地展现物理世界的交通道路的背景状况。
可选的，在前述步骤S302之后的任意时刻，还可执行对目标的属性的分析操作，具体的，对前述步骤S302中获取的目标的直接属性信息(或步骤S303获得的目标或背景物体的地理坐标、步骤S304获得的目标的运动轨迹、步骤S305获得的目标的分析后的数据等)进行计算分析或根据这些数据中的一种或多种数据在关联数据库中进行查询获得目标的间接属性信息，例如：根据目标的分析后的地理坐标及该目标在前序时间的视 频帧的分析后的地理坐标计算目标的运行速度、根据目标的运动轨迹分析目标的姿态、当目标的类型为机动车或非机动车时，根据目标的车牌信息查询关联数据库获得目标对应的车主的身份信息、车辆的维修保养信息等。
可选的，前述步骤S306还执行将目标对应的三维模型与获取的该目标的全部或部分属性信息(包括目标的直接属性信息或目标的间接属性信息)进行关联，将目标的属性信息发送至显示设备，使得显示设备中显示的数字化地图上的每个目标的位置附近显示有目标的属性信息(或在接收显示设备发送的指令后，将目标的属性信息发送至显示设备，使显示设备显示该目标对应的属性信息)。
值得注意的是，前述步骤S304与步骤S305的执行顺序可互换，即：可以先进行目标跟踪，即对获取的视频帧中的目标与已处理的前一时刻的视频帧中的目标进行比较，标记两个视频帧中相同的目标为同一个目标ID，获得每个目标ID在一段时间的运行轨迹。再对同一时刻的多个视频帧中的同一目标对应的数据进行分析，获得分析后的目标ID及其对应的分析后的数据。也可以对同一时刻的多个视频帧中的同一目标对应的数据进行分析，获得分析后的目标ID及其对应的分析后的数据，再对每个视频帧中的目标与已处理的前一时刻的视频帧中的目标进行比较，标记两个视频帧中相同的目标为同一个分析后的目标ID。经过步骤S304的目标跟踪，可以使得在一段时间内的每个时刻中交通道路上的同一个目标在数字化视图中也为同一个分析后的目标ID，且采用的三维模型、目标的属性信息都相同。
值得注意的是，前述步骤S301持续执行，获取各个摄像头实时拍摄的视频流。前述步骤S302-S306对步骤S301获得的视频数据中的每个视频帧执行，由此获得的数字化视图中的目标可以随着物理世界的交通道路上的目标的运行而运行，数字化视图可以实时地反映交通道路的交通状况。
下面结合图6对前述步骤S302对视频帧进行目标检测和属性检测进行详细的描述。
S401，获取待处理的视频帧。具体地，当在步骤S301中仅获得一个视频数据，则将获得的该视频数据中的某一视频帧(例如：时间最新的视频帧)作为待处理的视频帧。当在步骤S301中获得了多个视频数据时，需要在获得的多个视频数据中寻找同一时刻的多个视频帧，获得同一时刻的多个视频帧有多种方法，例如：方法一：利用网络时间协议(network time protocol，NTP)服务器对多个摄像机中的时钟系统进行时钟同步或者在摄像头内置晶振对时硬件，使每个摄像机拍摄的视频数据中每一帧对应的时间戳的时间更精确，通过该方法，获取同一时刻的多个视频帧即获取多个视频数据中为同一时间戳的视频帧。方法二：对获得的多个视频数据的视频帧进行单应变换，使多个视频数据的视频帧映射到同一平面，在同一平面中寻找多个重合的视频帧，多个重合的视频帧即为同一时刻的视频帧，可预选择某一摄像机的某一时刻的视频帧，对该视频帧进行单应变换，以单应变换后的图像作为基准，对其他摄像头拍摄的视频帧进行单应变换，匹配重合的图像，重合的图像对应的视频帧即为与预选择的视频帧为同一时刻，其中，单应变换即从一个平面到另一个平面的映射，每个摄像头视角下的视频数据中视频帧的平面到同一平面的映射关系需预先计算获得。
S402，对获取的视频帧中的目标进行检测。该步骤主要利用已训练好的神经网络模型对视频帧中的目标进行检测，例如可利用YoLo、SSD、循环卷积神经网络(recurrent  convolutional neural network，RCNN)等神经网络模型。值得注意的是，神经网络模型需预先进行训练，所使用的训练集中的训练图片的标注应包括要识别的多个目标的类型(例如：机动车、非机动车、行人、动物等)，使得神经网络模型学习训练集中每种类型的目标的特征。经过目标检测可获得视频帧中的目标的位置信息和类型信息，其中位置信息为目标在视频帧中的像素坐标，即目标对应的回归框在视频帧中的像素坐标，例如回归框的的斜线的两个端点在视频帧中的像素坐标或回归框的框轮廓的在视频帧的像素坐标，目标检测获得的数据可以是结构化的数据，例如：每个目标对应有一个目标ID，一个目标ID与其位置信息和类型信息构成一条结构化数据。当在S401中获取的是同一时刻的多个视频帧时，对每个视频帧执行步骤S402。
S403，根据检测到的目标的类型对目标进行属性检测。目标属性检测主要利用多个神经网络模型或图像处理算法协同进行，例如：resnet分类模型、直方图颜色统计算法等。不同类型的目标要检测的属性可以不同，所使用的目标属性检测的方法也可以不同，例如，对于目标类型为机动车的目标进行属性检测，主要要检测的属性包括：机动车车型、机动车颜色、车牌等，可利用多个预先训练好的神经网络模型分别对目标的车型、颜色、车牌进行检测，也可利用一个复合神经网络模型。本申请对目标属性检测的方法不作限定，现有技术中可用于属性检测的方法或未来研究产生的可用于属性检测的方法均适用于本申请。
可选的，步骤S403的目标属性检测检测的是目标的直接属性信息，根据所检测到的目标的直接属性信息和目标的位置和类型信息可进一步地分析和查询获得目标的间接属性信息，例如，根据机动车的车牌可对应查询机动车的车主身份信息、机动车的登记维护信息等，根据机动车的位置信息可与背景物体的位置进行比较，获得机动车距交通标记线的距离、机动车距交通信号灯的距离等。
值得注意的是，当在S401中获取的是同一时刻的多个视频帧时，对每个视频帧执行步骤S402、S403。
S404，对获得的处理后的数据进行整理输出，由前述步骤S402、S403获得的视频帧的处理后的数据可以结构化数据的形式进行输出，输出至其他处理单元或存储单元。
下面结合图7对前述步骤S303对检测到的目标的定位方法进行详细的描述。
由前述步骤S302及其详细描述步骤S401-S404可获得多个视频帧中的目标的位置信息的数据，该位置信息的数据为目标在视频帧中的像素坐标。步骤S303即将目标的像素坐标转换为目标在物理世界的地理坐标，将目标的像素坐标转换为目标在物理世界的地理坐标可采用多种方法，示例性的方法如下：
S501，预先获取交通道路中的控制点的地理坐标。
为获取目标的像素坐标与目标在物理世界的地理坐标之间的映射关系，需预先选择一些交通道路上的控制点，获取并记录控制点的地理坐标。交通道路的控制点通常选择交通道路中背景物体的尖点，以便于直观地找到该控制点在视频帧中的像素点的位置。例如：以交通道路中的交通标志线的直角点、箭头的尖点、绿化带拐角点等作为控制点，控制点的地理坐标(经度、纬度、海拔)可通过人工采集，也可通过无人驾驶汽车采集，选取的交通道路的控制点需均匀地分布在交通道路上，以保证各个摄像头视角下都可观测到至少三个控制点，控制点的选取数目需参考实际情况。
S502，获取采集的控制点在各摄像头视角的视频帧中的像素坐标。
读取每个固定设置于交通道路上的摄像头拍摄的交通道路的视频，在每个摄像头拍摄的任意视频帧中获取可观测到的控制点对应的像素坐标值，可通过人工获取也可通过程序获取，例如利用角点检测、短时傅里叶变换边缘提取算法和亚像素坐标拟合的方法获取交通道路的控制点在视频帧中相应的像素坐标。每个摄像头拍摄的视频应至少可见三个控制点，即每个摄像头拍摄的任意视频帧中控制点对应的像素坐标值应至少包括三个。由步骤S501和步骤S502可采集到每个摄像机的拍摄视角下的视频中控制点的像素坐标和地理坐标。
S503，根据控制点的地理坐标和像素坐标建立每个摄像头视角下的视频帧到物理世界的映射关系。例如，可根据单应变换原理计算由像素坐标转换为地理坐标的单应变换矩阵H，单应变换公式为(m,n,h)＝H*(x,y),由前述步骤S501和S502获得的每个摄像机的拍摄视角下的视频中至少三个控制点的像素坐标(x，y)和地理坐标(m，n，h)可计算得到每个摄像机拍摄的视频数据对应的H矩阵。每个摄像机拍摄的视频数据对应的H矩阵不同。
S504，根据目标的像素坐标获得目标的地理坐标。经过步骤S501-S503获得了每个摄像机拍摄的视频数据对应的H矩阵后，可根据H矩阵对前述步骤S302获得的目标的像素坐标进行转换，获得目标的地理坐标。值得注意的是，不同视频帧利用各自摄像头对应的H矩阵分别进行转换，获得目标的多个对应的地理坐标。
值得注意的是，前述步骤S501-S503的执行时间应不晚于步骤S504，其具体执行时间不限定，例如，可以在数字化系统初始化时即执行完成。
可选的，建立每个摄像头视角下的视频帧到物理世界的映射关系的方法还可以采用将视频帧映射到三维高清地图上，计算每个摄像头拍摄视角的视频帧到地图的映射关系，根据映射关系和目标的像素坐标获得目标的地理坐标。具体地，预先获取三维高清地图，以摄像头拍摄的视频数据中的某一时刻的视频帧为基准，通过对三维高清地图进行形变(放大、缩小、角度移动等)，使该视频帧的内容与三维高清地图呈现的部分相匹配，计算匹配时的视频帧到三维高清地图的映射关系，该方法通过自动匹配算法和透视变换原理实现自动获取每个摄像头视角下的视频帧到物理世界的映射关系。
下面结合图8示例性地描述步骤S304中的一种目标跟踪的方法。
S601，目标匹配。根据当前视频帧中被检测到的目标的位置(即目标在视频帧中的像素坐标)、类型、属性信息等数据中的一个或多个将当前视频帧中被检测到的目标与前一时刻的视频帧中的目标进行匹配，例如：根据当前视频帧中的目标的回归框与前一时刻的视频帧中的目标的回归框的重叠率确定当前视频帧中的目标的目标ID，当当前视频帧中的目标的回归框与前一时刻的视频帧中的某一个目标的回归框的重叠率大于预设定的阈值，则确定当前时刻的目标与前一时刻的目标为同一个，在目标轨迹表中找到该目标对应的目标ID，记录对应的像素坐标。应理解，对当前视频帧中检测到的每个目标均执行步骤S601及后续步骤。
S602，当在前述步骤S601中当前视频帧中一个或多个目标未与前一时刻的视频帧中的目标匹配上(即未在前一时刻的视频帧中找到该一个或多个目标，例如：机动车在当前时刻刚驶入该摄像头拍摄的交通路口的区域)，则确定该一个或多个目标为交通道路上 当前时刻新增的目标，为该目标设立新的目标ID，其中，目标ID唯一地标识该目标，在目标轨迹表中记录该目标ID及其在当前时刻的像素坐标。
S603，当在前述步骤S601中前一时刻的一个或多个目标未与当前时刻的视频帧中的目标匹配上(即前一时刻存在目标，在当前时刻未找到了，例如：当前时刻该目标被另一目标部分或完全遮挡的情况或当前时刻该目标已离开摄像头拍摄的交通道路的区域)，则根据目标轨迹表中记录的该目标在历史时刻的像素坐标预测该目标在当前时刻的视频帧中的像素坐标(例如使用三点外推法、轨迹拟合算法等)。
S604，根据步骤S603预测的目标的像素坐标确定目标的存在状态。当预测的目标的像素坐标在当前视频帧的外部或者边缘位置，可确定该预测的目标在当前时刻已离开摄像头拍摄的视角的画面；当预测的目标的像素坐标在当前视频帧的内部且非边缘位置，确定该目标还在当前时刻的视频帧中。
S605，当步骤S604中确定预测的目标在当前时刻已离开摄像头拍摄的视角的画面，在目标轨迹表中删除该目标ID及其对应的数据。
S606，当步骤S604中确定该预测的目标还在当前时刻的视频帧中，记录预测的目标的像素坐标至目标轨迹表中。
上述步骤S601-S605对于每个摄像头拍摄的视频数据中的每一时刻的视频帧中的每个目标执行。
下面结合图9对前述步骤S306中数字化建模的方法进行具体的描述。
S701，目标建模。具体地，根据前述步骤S302-S305获得的目标的类型信息(以及部分或全部属性信息)，在预置数据库中搜索获得该目标对应的三维模型。所述预置数据库中包括许多三维模型，在该数据库中每个三维模型与其对应的类型(和属性)相关联，在搜索数据库时，通过输入要搜索的三维模型对应的类型(和属性)，则可获得与该类型(和属性)对应的三维模型。例如：对于要进行建模的一个目标，经步骤S305获得了该目标的分析后的目标ID为001，该分析后的目标ID对应的目标类型为机动车，属性信息数据中颜色为红色，则对于该目标要在预置数据库中搜索类型为机动车，颜色为红色的三维模型，输入或选择机动车和红色，则可获得与之相关联的三维模型。将获得的目标对应的三维模型设置为与前述步骤S305中设置的该目标的分析后的目标ID进行关联，使分析后的目标ID唯一地对应一个三维模型。
可选的，步骤S701也可进行背景物体建模，根据已检测到的背景物体的类型，在预置背景数据库中搜索获得该背景物体的类型对应的模型，该预置背景数据库与前述数据库可以为同一个数据库也可为不同的数据库。
S702，目标映射。根据每个目标的分析后的地理坐标将每个目标对应的分析后的目标ID对应的三维模型映射到地图中的该地理坐标上。具体地，每个目标的分析后的地理坐标可以是一个坐标值(例如该目标的中心点对应的分析后的地理坐标)，也可以是多个坐标值(例如该目标的回归框对应的分析后的地理坐标)。目标对应的三维模型在映射到地图中时，根据目标的分析后的地理坐标确定对应的三维模型在地图中的位置，进而将三维模型映射至地图中的对应位置。例如：对于目标分析后的地理坐标是该目标的回归框的位置，在地图上确定该目标的回归框位置后，将对应的三维模型映射至确定的回归框的内部。
可选的，步骤S702在目标映射时还可以考虑目标的姿态，其中，目标的姿态表示目标的行进方向，将三维模型按照目标的姿态进行映射，目标的姿态即目标的朝向，例如机动车的车头对应的方向，行人的人脸朝向等。目标的姿态估计的方法很多，本申请不对此作限定，例如：可将前述步骤S304获得的同一时刻的多个视频帧中目标的运动轨迹进行数据分析，获得目标在物理世界的分析后的运动轨迹，以分析后的运动轨迹的切线方向作为该目标的姿态，也可通过多视角图像检测技术来判断目标的姿态。在进行目标映射时，将目标对应的三维模型根据获得的目标的姿态进行映射，例如：对于正在进行转弯的机动车，根据获得的机动车的轨迹的切线方向将机动车对应的三维模型的车身按照轨迹的切线方向映射，使被映射的三维模型能够展现机动车的行驶方向。
可选的，步骤S702还可进行背景物体映射，对于预获取的地图中不包含部分或全部的背景物体的内容时，可根据检测到的背景物体的地理坐标将背景物体对应的模型映射至地图相应的位置上。
S703，数字化视图输出。经过前述目标建模和目标映射后，交通道路上某一时刻的目标与预获取的地图结合共同构成了交通道路的数字化视图(如图9所示)，将获取的数字化视图数据发送至显示设备，由显示设备显示交通道路的数字化视图。
可选的，步骤S702或S703还执行将目标对应的三维模型与获取的该目标的全部或部分属性信息(包括目标的直接属性信息和目标的间接属性信息)关联起来，将目标的属性信息发送至显示设备，使得数字化地图上的每个目标的位置附近显示目标的属性信息(或在接收显示设备发送的指令后，将目标的属性信息发送至显示设备，使显示设备显示该目标对应的属性信息)。
值得注意的是，由于前述步骤S301是对设置于交通道路的各个摄像头拍摄的视频数据持续实时执行的，步骤S302-S306针对步骤S301获取的不同时刻的视频帧循环执行，使得显示设备显示的交通道路的数字化视图中目标的位置和姿态随着物理世界的交通道路的目标的变化而变化，使得数字化视图可实时地反映当前交通道路的交通状况(例如：每个目标运行的情况、每个交通路口中各路口方向的车辆拥堵情况等)。
交通道路的数字化视图的应用
通过交通道路的数字化重建方法获得的数字化视图可实时、连续地展现整个交通道路的交通状况。数字化视图可由显示设备显示，用户通过在显示设备上对显示界面进行操作可改变数字化视图的显示角度，即用户可观察到不同视角下该交通道路的交通状况，这些视角可以与设置在交通道路的摄像头拍摄的的视角不同。例如：对于根据东西南北路口视角的视频数据建立的数字化视图可以提供俯瞰视角，某一车后视角，斜视视角等视角的交通状况。
图10是显示设备上显示的交通道路的西南方向俯视数字化视图的图形用户界面和西南方向侧视数字化视图的图形用户界面。如图10所示，用户点击图形用户界面中的管理窗口的视角调节按钮(例如：视角调节按钮包括：俯视图、东卡口、西卡口、南卡口、北卡口)，数字化重建系统接收视角调节信息，向显示设备提供视角调节按钮对应的视角的数字化视图。显示设备则显示视角调节按钮对应的视角的数字化视图，或者，显示设备可以接收用户在显示屏上的触摸操作，根据触摸操作显示任一视角的数字化视图。如 图11所示，显示设备的数字化视图的图形用户界面中还可包括轨迹显示按钮，用户可通过点击轨迹显示按钮查看交通道路上部分或全部目标的实时运行轨迹。图11中图形用户界面的右侧四个小图中还显示交通路口的四个方向上的每辆车的实时运行状态，其中每辆车的运行状态用不同颜色的线表示，每个小图的横坐标为时间，纵坐标为车辆行驶的距离，通过实时观测每辆车对应的线的走势可观测该车的行驶速度。
如图10所示，显示设备上显示的交通道路的数字化视图中还可以显示与目标的三维模型关联的目标的属性信息，例如机动车的车牌、机动车的车主信息、车辆的当前行驶速度等，这些目标属性信息是否显示可由用户在图形用户界面上操作控制(例如点击数字化视图中想要查看其属性信息的目标对应的三维模型)，也可由数字化重建系统自动显示。
应理解，图10和图11仅是示例性地展现包含一个交通路口的交通道路在不同视角的数字化视图，通过本申请获得的数字化视图可包含多个交通路口和交通路径(例如：数字化视图可展现设置于一个城市的所有的摄像头拍摄的区域的交通状况)，本申请提供的交通道路的数字化重建方法获得的数字化视图占用内存小、实时性高，可方便地被用于各种应用场合。
显示设备可以是运行在交通道路上的汽车车载显示设备，车主可通过数字化视图全局地观察到正在行驶的交通道路的交通状况(包括拥堵、路况、车道标记标线等)，且车主可通过数字化视图观察到自身视角观察不到情况，例如：驾驶车身高大的泥头车的司机在行驶时对于车身周围存在视角盲区，易发生危险，司机通过数字化视图可观测到自身视角观测不到的盲区，对盲区存在危险的情况及时应对，避免发生事故。
显示设备也可以是管理部门的台式电脑、平板电脑、手持智能显示设备等，管理部门人员通过对数字化视图的观测即可及时对交通状况进行管理控制。通过数字化视图上显示的目标的属性信息，管理人员可对交通道路上的目标进行管理，例如：对于在数字化视图上显示车辆速度大于该路段最高限速的，管理人员根据车辆的车牌信息对该车辆车主给予扣分和罚款处罚。
交通道路的数字化重建系统与数字化视图的图形用户界面可与其他模块或系统结合，用于提供其他功能，例如：数字化重建系统和数字化视图的图形用户界面与交通信号灯管理系统结合，当数字化重建系统检测到某一交通路口的一个方向上停留了超过一定阈值的机动车时，数字化重建系统向交通信号灯管理系统发送请求消息，交通信号灯管理系统接收所述请求消息，对请求消息中指示的所述交通道路上的信号灯进行调整(例如：将发生拥堵方向的信号灯颜色设置为较长时段的绿色)，且交通信号灯管理系统向数字化重建系统发送信号灯变化消息，数字化重建系统根据信号灯变化消息和视频数据中交通信号灯的变化重建该时刻的交通道路的数字化视图，使得图形用户界面显示的数字化视图中的交通信号灯也发生变化。
参见图2，本申请提供一种数字化重建系统100，该系统用于执行前述方法实施例中步骤S301-S306(及步骤S302的具体实施步骤S401-S404、步骤S304的具体实施步骤S601-S606、步骤S306的具体实施步骤S701-S703)，且该系统可选的执行前述各步骤中可选的方法，该系统包括数据处理子系统120、数据分析子系统140、数字化建模子系统 160。
如图12所示，本申请提供一种装置800，该装置用于执行前述交通道路的数字化重建方法。本申请对该装置中的功能模块的划分不做限定，下面示例性地提供一种功能模块的划分：
装置800包括数据处理模块801、数据分析模块802、数字化建模模块803。
数据处理模块，用于获取视频数据，所述视频数据由设置于交通道路的摄像头拍摄，所述视频数据记录了所述交通道路上的多个目标；数据分析模块，用于根据所述视频数据确定每个目标在所述交通道路上的运行轨迹；数字化建模模块，用于建立所述交通道路的数字化视图，其中，所述数字化视图包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行。
具体地，在一些实施例中，所述数据处理模块801用于执行前述步骤S301-S302(及步骤S302的具体实施步骤S401-S404)，且可选的执行前述步骤中可选的方法。
所述数据分析模块802用于执行前述步骤S303-S305(及步骤S304的具体实施步骤S601-S606)，且可选的执行前述步骤中可选的方法。
所述数字化建模模块803用于执行前述步骤S306(及步骤S306的具体实施步骤S701-S703)，且可选的执行前述步骤中可选的方法。
上述三个模块之间互相可通过通信通路进行数据传输，应理解，装置800包括的各模块可以为软件模块、也可以为硬件模块、或部分为软件模块部分为硬件模块。
如图13所示，本申请还提供一种计算设备900，计算设备900包括总线901、处理器902、通信接口903和存储器904。处理器902、存储器904和通信接903之间通过总线901通信。
其中，处理器可以为中央处理器(英文：central processing unit，缩写：CPU)。存储器可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random access memory，缩写：RAM)。存储器还可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器，HDD或SSD。存储器中存储有可执行代码，处理器执行该可执行代码以执行前述交通道路的数字化重建方法。存储器中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUX TM,UNIX TM,WINDOWS TM等。
计算设备900的存储器中存储了装置800的各个模块对应的代码，处理器902执行这些代码实现了装置800的各个模块的功能，即执行了S301-S306的方法。计算设备900可以为云环境中的计算设备，或边缘环境中的计算设备。
如图4所示，由于数字化全景重建系统的各个部分可能在不同环境上的多台计算设备上运行。因此，本申请还提出了一种包括多个计算设备的计算设备系统。如图14所示，该计算设备系统包括多个计算设备1000。每个计算设备1000包括总线1001、处理器1002、通信接口1003和存储器1004。处理器1002、存储器1004和通信接1003之间通过总线1001通信。计算设备1000之间通过通信网络建立通信通路。其中，处理器1002可以 为CPU。存储器1004可以包括易失性存储器(英文：volatile memory)，例如RAM。存储器1004还可以包括非易失性存储器，例如ROM，快闪存储器，HDD或SSD。存储器1004中存储有可执行代码，处理器1002执行该可执行代码以执行交通道路的数字化重建的部分方法。存储器1004中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUX TM,UNIX TM,WINDOWS TM等。
任一计算设备1000可以为云环境中的计算设备，或边缘环境中的计算设备，或终端环境中的计算设备，例如计算设备1000可以是前述图4中的边缘计算设备220或中心服务器240。
在一些实施例中，用于显示如图10、11的显示设备和前述计算设备900或者包括多个计算设备的计算设备系统可以构成一个系统，该系统可以实现计算、构建和显示数字化视图的一体化功能，可用于多中应用环境中。
上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

Claims (39)

  1. 一种交通道路的数字化重建方法，其特征在于，包括：
    获取视频数据，所述视频数据由设置于交通道路的摄像头拍摄，所述视频数据记录了所述交通道路上的多个目标；
    根据所述视频数据确定每个目标在所述交通道路上的运行轨迹；
    建立所述交通道路的数字化视图，其中，所述数字化视图包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述视频数据确定每个目标的类型信息，相应地，所述数字化视图中的不同的模型对应不同类型的目标。
  3. 如权利要求1或2所述的方法，其特征在于，所述设置于交通道路的摄像头包括多个，多个摄像头中的不同摄像头采集的视频数据的视角不同。
  4. 如权利要求1或3所述的方法，其特征在于，所述方法还包括：
    显示所述数字化视图或发送所述数字化视图至显示装置，其中，被显示的所述数字化视图的视角与所述视频数据的视角相同或不同。
  5. 如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
    获取所述每个目标的属性信息；
    所述数字化视图中还包括所述每个目标的属性信息。
  6. 如权利要求5所述的方法，其特征在于，所述交通道路上的目标包括车辆，所述目标的属性信息包括以下信息中的一种或多种：车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度、车主身份信息、车辆的登记维护信息。
  7. 如权利要求1-6任一项所述的方法，其特征在于，所述视频数据包括第一时刻的视频数据；
    所述根据所述视频数据确定每个目标在所述交通道路上的运行轨迹包括：
    根据所述第一时刻的视频数据，确定每个目标在所述第一时刻在所述交通道路上的地理坐标；
    根据每个目标在所述第一时刻在所述交通道路上的地理坐标和每个目标在所述第一时刻以前在所述交通道路上的地理坐标，确定每个目标在所述交通道路上的运行轨迹。
  8. 如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：根据每个目标在所述交通道路上的运行轨迹确定每个目标的姿态；
    所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹和姿态运行。
  9. 如权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：
    根据所述视频数据识别所述交通道路上的背景物体；
    所述数字化视图还包括表征所述交通道路上的背景物体的模型。
  10. 如权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
    获取所述交通道路的地图；
    所述建立所述交通道路的数字化视图包括：
    获取每个目标对应的模型，根据每个目标在所述交通道路上的运行轨迹，将所述每个目标对应的模型映射至所述交通道路的地图，获得所述交通道路的数字化视图。
  11. 一种提供交通道路的数字化视图的方法，其特征在于，包括：
    向用户呈现第一视角下的所述交通道路的数字化视图，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，每个模型根据其对应的目标在所述交通道路上的运行轨迹运行，所述交通道路上的每个目标的运行轨迹根据所述交通道路上的摄像头拍摄的视频数据计算得到；
    接收所述用户发送的视角调节信息，其中，所述视角调节信息用于请求从第二视角观察所述数字化视图；
    根据所述视角调节信息向所述用户呈现所述第二视角下的所述数字化视图。
  12. 如权利要求11所述的方法，其特征在于，所述数字化视图中的不同的模型对应不同类型的目标。
  13. 如权利要求11或12所述的方法，其特征在于，所述方法还包括：
    向所述用户呈现目标的属性信息，其中，所述目标的属性信息与所述数字化视图中的所述目标对应的模型相关联。
  14. 如权利要求13所述的方法，其特征在于，所述向所述用户呈现目标的属性信息具体包括：
    接收所述用户的指令信息；
    根据所述用户的指令信息，在所述第一视角下的所述交通道路的数字化视图中显示所述目标的属性信息。
  15. 如权利要求11-14任一项所述的方法，其特征在于，所述方法还包括：向所述用户呈现所述多个模型在所述数字化视图中的运行轨迹。
  16. 如权利要求11-15任一项所述的方法，其特征在于，所述数字化视图中还包括所述交通道路上的背景，所述背景包括所述交通道路上的标记标线和所述交通道路周边的物体。
  17. 如权利要求11-16任一项所述的方法，其特征在于，所述交通道路包括多个路口，所述交通道路的数字化视图连贯地呈现每个路口及运行于每个路口上的目标对应的模型。
  18. 一种图形用户界面系统，其特征在于，包括：
    数字化视图窗口，用于显示所述交通道路的数字化视图，其中，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行；
    管理窗口，包括用户可选择的按钮，所述用户可选择的按钮包括视角调节按钮，所述视角调节按钮被用户选定后，所述数字化视图窗口显示所述视角调节按钮对应的视角下的所述交通道路的数字化视图。
  19. 如权利要求18所述的图形用户界面系统，其特征在于，所述数字化视图中的不同的模型对应不同类型的目标。
  20. 如权利要求18或19所述的图形用户界面系统，其特征在于，所述数字化视图还包括目标的属性信息，其中，所述目标的属性信息与所述目标对应的模型相关联。
  21. 如权利要求18-20所述的图形用户界面系统，其特征在于，所述数字化视图还包括每个模型的运行轨迹，每个模型的运行轨迹根据每个目标在所述交通道路上的运行轨迹获得。
  22. 如权利要求18-21任一项所述的图形用户界面系统，其特征在于，所述用户可选择的按钮还包括轨迹显示按钮，所述轨迹显示按钮被所述用户选定后，所述数字化视图窗口显示每个模型的运行轨迹。
  23. 如权利要求21或22所述的图形用户界面系统，其特征在于，所述每个模型的运行轨迹包括所述每个模型在未来时刻运行的路径。
  24. 如权利要求18-23任一项所述的图形用户界面系统，其特征在于，所述数字化视图中还包括所述交通道路上的背景，所述背景包括所述交通道路上的标记标线和所述交通道路周边的物体。
  25. 如权利要求18-24任一项所述的图形用户界面系统，所述交通道路包括多个路口，所述交通道路的数字化视图连贯地呈现每个路口及运行于每个路口上的目标对应的模型。
  26. 一种装置，其特征在于，所述装置包括：
    数据处理模块，用于获取视频数据，所述视频数据由设置于交通道路的摄像头拍摄，所述视频数据记录了所述交通道路上的多个目标；
    数据分析模块，用于根据所述视频数据确定每个目标在所述交通道路上的运行轨迹；
    数字化建模模块，用于建立所述交通道路的数字化视图，其中，所述数字化视图包括多个模型，每个模型表征所述交通道路上的每个目标，所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹运行。
  27. 如权利要求26所述的装置，其特征在于，所述数据处理模块还用于根据所述视频数据确定每个目标的类型信息，相应地，所述数字化视图中的不同的模型对应不同类型的目标。
  28. 如权利要求26或27所述的装置，其特征在于，所述设置于交通道路的摄像头包括多个，多个摄像头中的不同摄像头采集的视频数据的视角不同。
  29. 如权利要求26-28任一项所述的装置，其特征在于，所述数字化建模模块还用于显示所述数字化视图或发送所述数字化视图至显示装置，其中，被显示的所述数字化视图的视角与所述视频数据的视角相同或不同。
  30. 如权利要求26-29任一项所述的装置，其特征在于，所述数据处理模块还用于获取所述每个目标的属性信息；所述数字化视图中还包括所述每个目标的属性信息。
  31. 如权利要求30所述的装置，其特征在于，所述交通道路上的目标包括车辆，所述目标的属性信息包括以下信息中的一种或多种：车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度、车主身份信息、车辆的登记维护信息。
  32. 如权利要求26-31任一项所述的装置，其特征在于，所述视频数据包括第一时刻的视频数据；
    所述数据分析模块具体用于：根据所述第一时刻的视频数据，确定每个目标在所述第一时刻在所述交通道路上的地理坐标；根据每个目标在所述第一时刻在所述交通道路上的地理坐标和每个目标在所述第一时刻以前在所述交通道路上的地理坐标，确定每个目标在所述交通道路上的运行轨迹。
  33. 如权利要求26-32任一项所述的装置，其特征在于，所述数据处理模块还用于根据每个目标在所述交通道路上的运行轨迹确定每个目标的姿态；所述数字化视图中的每个模型根据其对应的目标在所述交通道路上的运行轨迹和姿态运行。
  34. 如权利要求26-33任一项所述的装置，其特征在于，
    所述数据处理模块还用于根据所述视频数据识别所述交通道路上的背景物体；所述数字化视图还包括表征所述交通道路上的背景物体的模型。
  35. 如权利要求26-34任一项所述的装置，其特征在于，所述数字化建模模块具体用于获取所述交通道路的地图；获取每个目标对应的模型，根据每个目标在所述交通道路上的运行轨迹，将所述每个目标对应的模型映射至所述交通道路的地图，获得所述交通道路的数字化视图。
  36. 一种显示设备，其特征在于，所述显示设备包括接收模块和显示模块，
    所述显示模块，用于向用户呈现第一视角下的所述交通道路的数字化视图，所述数字化视图中包括多个模型，每个模型表征所述交通道路上的每个目标，每个模型根据其对应的目标在所述交通道路上的运行轨迹运行，所述交通道路上的每个目标的运行轨迹根据所述交通道路上的摄像头拍摄的视频数据计算得到；
    所述接收模块，用于接收所述用户发送的视角调节信息，其中，所述视角调节信息用于请求从第二视角观察所述数字化视图；
    所述显示模块，还用于根据所述视角调节信息向所述用户呈现所述第二视角下的所述数字化视图。
  37. 一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器存储计算机指令，所述处理器执行所述计算机指令，以使所述计算设备执行前述权利要求1-10任一项权利要求的方法。
  38. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述权利要求1至17中任一项所述的方法。
  39. 一种系统，其特征在于，包括如前述权利要求36所述的显示设备和前述权利要求37所述的计算设备。
PCT/CN2020/080277 2019-04-15 2020-03-19 交通道路的数字化重建方法、装置和系统 WO2020211593A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20791246.0A EP3940666A4 (en) 2019-04-15 2020-03-19 METHOD, DEVICE AND SYSTEM FOR DIGITAL RECONSTRUCTION FOR TRAFFIC ROUTES
KR1020217034958A KR20210140766A (ko) 2019-04-15 2020-03-19 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템
CN202080028800.8A CN115004273A (zh) 2019-04-15 2020-03-19 交通道路的数字化重建方法、装置和系统
JP2021561008A JP7278414B2 (ja) 2019-04-15 2020-03-19 交通道路用のデジタル復元方法、装置及びシステム
US17/500,878 US20220044558A1 (en) 2019-04-15 2021-10-13 Method and device for generating a digital representation of traffic on a road

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/082768 2019-04-15
PCT/CN2019/082768 WO2020210960A1 (zh) 2019-04-15 2019-04-15 交通道路的数字化全景重建的方法和系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/500,878 Continuation US20220044558A1 (en) 2019-04-15 2021-10-13 Method and device for generating a digital representation of traffic on a road

Publications (1)

Publication Number Publication Date
WO2020211593A1 true WO2020211593A1 (zh) 2020-10-22

Family

ID=72837653

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/CN2019/082768 WO2020210960A1 (zh) 2019-04-15 2019-04-15 交通道路的数字化全景重建的方法和系统
PCT/CN2020/080277 WO2020211593A1 (zh) 2019-04-15 2020-03-19 交通道路的数字化重建方法、装置和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/082768 WO2020210960A1 (zh) 2019-04-15 2019-04-15 交通道路的数字化全景重建的方法和系统

Country Status (5)

Country Link
EP (1) EP3940666A4 (zh)
JP (1) JP7278414B2 (zh)
KR (1) KR20210140766A (zh)
CN (1) CN115004273A (zh)
WO (2) WO2020210960A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554871B (zh) * 2021-07-19 2023-03-21 联想(北京)有限公司 一种车联网数据的处理方法及电子设备
CN114743382B (zh) * 2022-06-13 2022-10-28 浙江大云物联科技有限公司 基于智慧灯杆系统的车辆违章行为识别方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004052691A1 (de) * 2002-12-12 2004-06-24 Daimlerchrysler Ag Verfahren und vorrichtung zur bestimmung der 3d-position von pkw-insassen
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN102903238A (zh) * 2012-06-21 2013-01-30 北京中电华远科技有限公司 一种道路交通状况展现系统及其方法
CN103236160A (zh) * 2013-04-07 2013-08-07 水木路拓科技(北京)有限公司 基于视频图像处理技术的路网交通状态监测系统
CN104301673A (zh) * 2014-09-28 2015-01-21 北京正安融翰技术有限公司 一种基于视频分析的实时车流分析与全景可视方法
CN105513391A (zh) * 2016-01-19 2016-04-20 吉林大学 一种基于车路协同技术的车载虚拟道路状态显示系统
CN205334746U (zh) * 2016-01-19 2016-06-22 吉林大学 一种基于车路协同技术的车载虚拟道路状态显示系统
CN107731005A (zh) * 2017-10-17 2018-02-23 汤庆佳 一种基于云计算的利用幻影成像的车载警示系统
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215294A (ja) * 1993-01-13 1994-08-05 Mitsubishi Electric Corp 交差点情報伝達装置
JP2000306192A (ja) 1999-04-20 2000-11-02 Matsushita Electric Ind Co Ltd 交通情報提供システム
JP2008040667A (ja) 2006-08-03 2008-02-21 Denso Corp 画像処理装置およびプログラム
CN1995917B (zh) * 2006-12-21 2011-05-18 深圳市凯立德科技股份有限公司 一种电子地图俯视角度显示控制方法、装置及设备
JP4893945B2 (ja) 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP5022135B2 (ja) 2007-07-31 2012-09-12 三菱重工業株式会社 交通状態表示装置
JP5890294B2 (ja) 2012-10-29 2016-03-22 日立マクセル株式会社 映像処理システム
WO2015098442A1 (ja) 2013-12-26 2015-07-02 株式会社日立国際電気 映像検索システム及び映像検索方法
CN104243578B (zh) * 2014-09-12 2018-08-14 北京诺亚星云科技有限责任公司 基于数字全景的本地化信息呈现与交互系统及设备
EP3104357A1 (en) * 2015-06-09 2016-12-14 Kapsch TrafficCom AG A device for detecting vehicles on a traffic area
CN105407278A (zh) * 2015-11-10 2016-03-16 北京天睿空间科技股份有限公司 一种全景视频交通态势监控系统及方法
CN105679043A (zh) * 2016-04-14 2016-06-15 中国电子科技集团公司第三十八研究所 一种3d雷达智能卡口系统及其处理方法
CN106652448A (zh) * 2016-12-13 2017-05-10 山姆帮你（天津）信息科技有限公司 基于视频处理技术的公路交通状态监测系统
CN106710240B (zh) * 2017-03-02 2019-09-27 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN107133559B (zh) * 2017-03-14 2019-11-08 湖北工业大学 基于360度全景的运动物体检测方法
CN109459750B (zh) * 2018-10-19 2023-05-23 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004052691A1 (de) * 2002-12-12 2004-06-24 Daimlerchrysler Ag Verfahren und vorrichtung zur bestimmung der 3d-position von pkw-insassen
CN102903238A (zh) * 2012-06-21 2013-01-30 北京中电华远科技有限公司 一种道路交通状况展现系统及其方法
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN103236160A (zh) * 2013-04-07 2013-08-07 水木路拓科技(北京)有限公司 基于视频图像处理技术的路网交通状态监测系统
CN104301673A (zh) * 2014-09-28 2015-01-21 北京正安融翰技术有限公司 一种基于视频分析的实时车流分析与全景可视方法
CN105513391A (zh) * 2016-01-19 2016-04-20 吉林大学 一种基于车路协同技术的车载虚拟道路状态显示系统
CN205334746U (zh) * 2016-01-19 2016-06-22 吉林大学 一种基于车路协同技术的车载虚拟道路状态显示系统
CN107731005A (zh) * 2017-10-17 2018-02-23 汤庆佳 一种基于云计算的利用幻影成像的车载警示系统
CN108922188A (zh) * 2018-07-24 2018-11-30 河北德冠隆电子科技有限公司 雷达跟踪定位的四维实景交通路况感知预警监控管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3940666A4 *

Also Published As

Publication number Publication date
KR20210140766A (ko) 2021-11-23
EP3940666A4 (en) 2022-05-04
JP2022529337A (ja) 2022-06-21
CN115004273A (zh) 2022-09-02
EP3940666A1 (en) 2022-01-19
WO2020210960A1 (zh) 2020-10-22
JP7278414B2 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
US11443555B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
US20220044558A1 (en) Method and device for generating a digital representation of traffic on a road
TW202001786A (zh) 用於更新高度自動化駕駛地圖的系統和方法
US20190325230A1 (en) System for tracking and visualizing objects and a method therefor
US11025865B1 (en) Contextual visual dataspaces
JP2023508705A (ja) データ伝送方法および装置
US20190311209A1 (en) Feature Recognition Assisted Super-resolution Method
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
WO2020183345A1 (en) A monitoring and recording system
CA3133537A1 (en) Homography through satellite image matching
CN112950717A (zh) 一种空间标定方法和系统
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
Busch et al. Lumpi: The leibniz university multi-perspective intersection dataset
WO2019161663A1 (zh) 一种港区监控方法及系统、中控系统
Bai et al. Cyber mobility mirror: Deep learning-based real-time 3d object perception and reconstruction using roadside lidar
CN107607939B (zh) 一种基于真实地图及影像的光学目标跟踪定位雷达装置
US20200135035A1 (en) Intelligent on-demand capturing of a physical environment using airborne agents
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
Wu et al. A method of information fusion for the civil aviation ASTERIX data and airport surface video surveillance
CN110930507A (zh) 一种基于三维地理信息的大场景跨境头目标追踪方法和系统
KR102367782B1 (ko) 객체추적장치 및 그 장치의 구동방법
CN114092916B (zh) 图像处理方法、装置、电子设备、自动驾驶车辆及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20791246

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021561008

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020791246

Country of ref document: EP

Effective date: 20211013

ENP Entry into the national phase

Ref document number: 20217034958

Country of ref document: KR

Kind code of ref document: A