KR20210140766A - 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템 - Google Patents
교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템 Download PDFInfo
- Publication number
- KR20210140766A KR20210140766A KR1020217034958A KR20217034958A KR20210140766A KR 20210140766 A KR20210140766 A KR 20210140766A KR 1020217034958 A KR1020217034958 A KR 1020217034958A KR 20217034958 A KR20217034958 A KR 20217034958A KR 20210140766 A KR20210140766 A KR 20210140766A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- traffic road
- digital
- digital view
- traffic
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000012545 processing Methods 0.000 claims description 30
- 238000007405 data analysis Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 37
- 238000013507 mapping Methods 0.000 description 20
- 238000013480 data collection Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G06K9/00711—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
본 출원은 교통 도로를 위한 디지털 재구성 방법을 개시하며, 스마트 교통의 분야에 관한 것이다. 본 방법은, 교통 도로 상에 배치된 카메라에 의해 촬영된 비디오 데이터를 획득하는 단계로서, 여기서, 비디오 데이터는 교통 도로 상의 복수의 타깃들을 기록하는, 비디오 데이터를 획득하는 단계, 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계, 및 교통 도로의 디지털 보기를 확립하는 단계를 포함한다. 디지털 보기는 복수의 모델을 포함한다. 각각의 모델은 교통 도로 상의 각각의 타깃을 나타낸다. 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙을 기초하여 주행한다. 교통 도로의 확립된 디지털 보기는 교통 도로의 주행 상태를 편리하고 정확하게 반영할 수 있으며, 교통 도로의 디지털 보기는 많은 메모리 자원들과 통신 자원들을 소비할 필요가 없다.
Description
본 출원은 스마트 교통(smart transportation)의 분야에 관한 것으로, 특히 교통 도로(traffic road)를 위한 디지털 재구성 방법, 장치 및 시스템에 관한 것이다.
스마트 도시(smart city)의 중요한 부분으로서, 스마트 교통은 도시 교통의 운영 효율성, 서비스 수준, 및 보안 보장을 개선하는데 중요한 역할을 한다. 교통 도로는 교통 사고들 및 교통 예외들(traffic exceptions)이 빈번한 지역이다. 교통 도로의 교통 데이터 획득 및 교통 상황 모니터링은 도시 교통 관리(urban transportation management.)를 위해 중요하다. 데이터는 스마트 교통의 기반이다. 다양한 교통 정보들의 자동 분석, 조사, 및 판단은 방대한 데이터를 기반으로 한다. 현재, 도로 교통을 위한 방대한 데이터 자원들을 수집하기 위해, 감시 카메라, 레이더, 자기 유도 코일과 같은 많은 원시 데이터 수집 디바이스들이 교통 도로에 배치되어 있다. 교통 도로 관찰 및 연구는 도로 위의 차량, 보행자, 및 비-모터 차량(non-motor vehicle)의 속도, 트랙, 및 흐름 방향들에 대한 더 나은 이해를 제공할 수 있으며, 교통 흐름 모니터링, 혼잡 완화, 및 교통 위반 모니터링에 매우 중요하다.
종래 기술에서, 교통 도로는 주로 카메라에 의해 촬영된 비디오 데이터를 관찰함으로써 모니터링된다. 비디오 데이터는 많은 양의 메모리를 차지하며 전송 효율이 낮고 관찰성이 좋지 않다.
본 출원은 교통 도로를 위한 디지털 재구성 방법 및 시스템을 제공한다. 물리적 세계의 교통 도로는 본 방법을 통해 디지털 방식으로 제시될 수 있다. 교통 도로의 주행 상태는 본 출원에서 제공하는 방법을 통해 효율적으로 모니터링될 수 있다.
제1 양태에 따르면, 본 출원은 교통 도로를 위한 디지털 재구성 방법을 제공한다. 본 방법은, 교통 도로 상에 배치된 카메라에 의해 촬영된 비디오 데이터를 획득하는 단계로서, 여기서, 비디오 데이터는 교통 도로 상의 복수의 타깃들을 기록하는, 비디오 데이터를 획득하는 단계, 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계, 및 교통 도로의 디지털 보기(digital view)를 확립하는 단계를 포함한다. 디지털 보기는 복수의 모델들을 포함한다. 각각의 모델은 교통 도로 상의 각각의 타깃을 나타낸다. 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙을 기초하여 주행한다.
전술한 방법에서, 교통 도로의 디지털 보기는 사용자(예를 들어, 차량 소유자 또는 교통 관리 부서의 직원)가 교통 도로의 주행 상태를 편리하고 진실되게 학습하는데 도움이 될 수 있도록 구성된다. 또한, 원시 비디오 데이터(raw video data)에 비해, 구성된 디지털 영상은 메모리를 덜 차지하고 더욱 높은 전송 효율을 가지므로, 디지털 보기는 용이하게 저장 및 전송될 수 있다.
교통 도로 상의 타깃은 차량, 보행자, 또는 동물과 같은 움직이는 객체일 수 있거나, 일시적으로 정지된 움직이는 객체일 수도 있음을 이해해야 한다.
제1 양태의 가능한 구현에서, 본 방법은, 비디오 데이터에 기초하여 각각의 타깃의 유형 정보를 결정하는 단계를 더 포함한다. 이에 따라, 디지털 보기의 상이한 모델들은 상이한 유형의 타깃들에 대응한다. 서로 다른 모델은 서로 다른 유형의 타깃들을 나타내기 위해 사용되므로, 교통 도로의 실제 상태는 더욱 생생하게 반영할 수 있어, 사용자가 디지털 보기에 디스플레이된 다양한 모델들에 기초하여 판단과 결정을 내릴 수 있도록 도움을 준다.
제1 양태의 가능한 구현에서, 교통 도로 상에 배치된 복수의 카메라들이 있고, 복수의 카메라들 중 서로 다른 카메라들에 의해 수집되는 비디오 데이터의 시야각들(view angles)은 서로 다르다. 전술한 방법에서, 교통 도로의 비디오 데이터이고 다수의 카메라에 의해 서로 다른 시야각들로부터 촬영한 비디오 데이터를 결합함으로써, 교통 도로는 보다 종합적이고 정확하게 디스플레이될 수 있으므로, 차단, 시야각 편차 등으로 인한 사용자의 잘못된 판단을 피할 수 있다.
제1 양태의 가능한 구현에서, 본 방법은 디지털 보기를 디스플레이하거나 디지털 보기를 디스플레이 장치로 송신하는 단계를 더 포함한다. 디스플레이된 디지털 보기의 시야각은 비디오 데이터의 시야각과 동일하거나 서로 다르다. 디지털 보기가 디스플레이되기 때문에, 사용자는 디지털 보기에 기초하여 교통 도로의 정보를 보다 편리하게 획득할 수 있다.
제1 양태의 가능한 구현에서, 본 방법은 각각의 타깃의 속성 정보를 획득하는 단계를 더 포함한다. 디지털 보기는 각각의 타깃의 속성 정보가 더 포함한다. 속성 정보는 사용자가 타깃을 더 자세히 이해할 수 있도록 교통 도로의 타깃을 추가로 기재 및 설명할 수 있고, 디지털 보기에 포함되는 정보의 양이 증가하기 때문에, 디지털 보기는 더 많은 시나리오들에 적용될 수 있다.
제1 양태의 가능한 구현에서, 교통 도로 상의 타깃은 차량일 수 있고, 타깃의 속성 정보는, 차량의 색상, 차량의 번호판 번호, 차량의 모델, 차량의 주행 속도, 차량 소유자 식별 정보, 및 차량 등록 및 유지 보수 정보(maintenance information) 중 하나 이상의 정보들을 포함한다.
제1 양태의 가능한 구현에서, 비디오 데이터는 최초 순간(first moment)에 비디오 데이터를 포함한다. 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계는, 최초 순간에 비디오 데이터에 기초하여, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들을 결정하는 단계와, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들과 최초 순간 이전의 교통 도로 상의 각각의 타깃의 지리적 좌표들에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계를 포함한다.
제1 양태의 가능한 구현에서, 방법은, 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 각각의 타깃의 자세(posture)를 결정하는 단계를 더 포함한다. 디지털 보기의 각각의 모델은, 해당 모델에 대응하는 교통 도로 상의 타깃의 주행 트랙 및 자세에 기초하여 주행한다.
전술한 방법에서, 디지털 보기는 교통 도로 상의 각각의 타깃의 주행을 더욱 실감나게 보여주기 때문에, 사용자는 특정 순간에 디지털 보기로부터 타깃의 자세를 직관적으로 파악할 수 있다.
제1 양태의 가능한 구현에서, 본 방법은 비디오 데이터에 기초하여 교통 도로 상의 배경 객체를 인식하는 단계를 더 포함한다. 디지털 보기는 교통 도로 상의 배경 객체를 나타내는 모델을 더 포함한다. 교통 도로 상의 배경 객체는 모델링 및 제시되기 때문에, 사용자는 디지털 보기를 통해 교통 도로의 주변 환경과 배경 상태를 보다 명확하게 이해할 수 있다. 이는 사용자가 판단과 결정을 내리는 데 도움이 된다.
제1 양태의 가능한 구현에서, 본 방법은 교통 도로의 지도(map)를 획득하는 단계를 더 포함한다. 교통 도로의 디지털 보기를 확립하는 단계는 각각의 타깃에 대응하는 모델을 획득하는 단계와, 교통 도로의 디지털 보기를 획득하기 위해, 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 교통 도로의 지도에 각각의 타깃에 대응하는 모델을 매핑하는 단계를 포함한다.
일부 가능한 구현들에서, 지도는 교통 도로의 배경을 포함하는 실제-보기 지도(real-view map)일 수 있음을 이해해야 한다.
제1 양태의 가능한 구현에서, 본 방법은 레이더 데이터를 획득하는 단계로서, 여기서, 레이더 데이터는 교통 도로 상의 타깃의 운전 정보를 기록하는, 레이더 데이터를 획득하는 단계와, 레이더 데이터 및 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계를 더 포함한다. 교통 도로 상의 타깃의 주행 트랙은 레이더 데이터와 비디오 데이터를 조합함으로써 결정되기 때문에, 타깃의 결정된 주행 트랙의 정확도는 개선될 수 있다.
제2 양태에 따르면, 본 출원은 교통 도로의 디지털 보기를 제공하기 위한 방법을 더 제공한다. 본 방법은, 제1 시야각으로부터 교통 도로의 디지털 보기를 사용자에게 제시하는 단계로서, 여기서, 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행하고, 교통 도로 상의 각각의 타깃의 주행 트랙은 교통 도로 상의 카메라에 의해 촬영된 비디오 데이터에 기초하여 계산을 통해 획득되는, 디지털 보기를 사용자에게 제시하는 단계와, 사용자에 의해 송신된 시야각 조정 정보를 수신하는 단계로서, 여기서, 시야각 조정 정보는 제2 시야각으로부터 디지털 보기를 관찰하도록 요청하기 위해 사용되는, 시야각 조정 정보를 수신하는 단계와, 시야각 조정 정보에 기초하여 제2 시야각으로부터 디지털 보기를 사용자에게 제시하는 단계를 포함한다.
디지털 보기는 사용자의 시야각 조정 정보에 기초하여 상이한 시야각들로부터 교통 도로의 주행 상태를 사용자에게 제시할 수 있다. 이는 유연성을 향상시키고 사용자에게 더 많은 정보를 제공할 수 있다.
제2 양태의 가능한 구현에서, 디지털 보기의 서로 다른 모델들은 서로 다른 유형의 타깃들에 대응한다.
제2 양태의 가능한 구현에서, 본 방법은 타깃의 속성 정보를 사용자에게 제시하는 단계를 더 포함한다. 타깃의 속성 정보는 디지털 보기에서 타깃에 대응하는 모델과 연관된다.
제2 양태의 가능한 구현에서, 타깃의 속성 정보를 사용자에게 제시하는 단계는, 구체적으로, 사용자의 명령어 정보를 수신하는 단계와, 사용자의 명령어 정보에 기초하여, 제1 시야각으로부터 교통 도로의 디지털 보기에서 타깃의 속성 정보를 디스플레이하는 단계를 포함한다.
제2 양태의 가능한 구현에서, 본 방법은 디지털 보기에서 복수의 모델들의 주행 트랙들을 사용자에게 제시하는 단계를 더 포함한다.
제2 양태의 가능한 구현에서, 디지털 보기는 교통 도로 상의 배경을 더 포함하고, 배경은 교통 도로 상의 마킹 라인 및 교통 도로 주변의 객체를 포함한다.
제2 양태의 가능한 구현에서, 교통 도로는 복수의 교차로들을 포함하고, 교통 도로의 디지털 보기는 각각의 교차로 및 각각의 교차로에서 주행하는 타깃에 대응하는 모델을 일관성 있게 제시한다.
제3 양태에 따르면, 본 출원은 그래픽 사용자 인터페이스 시스템을 더 제공한다. 본 시스템은, 교통 도로의 디지털 보기를 디스플레이하도록 구성된 디지털 보기 창(digital view window)으로서, 여기서, 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행하는, 디지털 보기 창과, 사용자에 의해 선택 가능한 버튼을 포함하는 관리 창(management window)으로서, 여기서, 사용자에 의해 선택 가능한 버튼은 시야각 조정 버튼을 포함하는, 관리 창을 포함한다. 시야각 조정 버튼이 사용자에 의해 선택된 후, 디지털 보기 창은 시야각 조정 버튼에 대응하는 시야각으로부터 교통 도로의 디지털 보기를 디스플레이한다.
제3 양태의 가능한 구현에서, 디지털 보기에서 상이한 모델들은 상이한 유형의 타깃들에 대응한다.
제3 양태의 가능한 구현에서, 디지털 보기는 타깃의 속성 정보를 더 포함한다. 타깃의 속성 정보는 디지털 보기에서 타깃에 대응하는 모델과 연관된다.
제3 양태의 가능한 구현에서, 디지털 보기는 각각의 모델의 주행 트랙을 더 포함하고, 각각의 모델의 주행 트랙은 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 획득된다.
제3 양태의 가능한 구현에서, 사용자에 의해 선택 가능한 버튼은 트랙 디스플레이 버튼을 더 포함한다. 트랙 디스플레이 버튼이 사용자에 의해 선택된 후, 디지털 보기 창은 각각의 모델의 주행 트랙을 디스플레이한다.
제3 양태의 가능한 구현에서, 각각의 모델의 주행 트랙은 미래 순간(future moment)에 각각의 모델의 주행 경로를 포함한다.
제3 양태의 가능한 구현에서, 디지털 보기는 교통 도로 상의 배경을 더 포함하고, 배경은 교통 도로 상의 마킹 라인 및 교통 도로 주변의 객체를 포함한다.
제3 양태의 가능한 구현에서, 교통 도로는 복수의 교차로들을 포함하고, 교통 도로의 디지털 보기는 각각의 교차로 및 각각의 교차로에서 주행하는 타깃에 대응하는 모델을 일관성 있게 제시한다.
제4 양태에 따르면, 본 출원은 장치를 더 제공한다. 본 장치는, 비디오 데이터를 획득하도록 구성된 데이터 처리 모듈로서, 여기서, 비디오 데이터는 교통 도로에 배치된 카메라에 의해 촬영되고, 비디오 데이터는 교통 도로 상의 복수의 타깃들을 기록하는, 데이터 처리 모듈과, 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하도록 구성된 데이터 분석 모듈과, 교통 도로의 디지털 보기를 확립하도록 구성된 디지털 모델링 모듈을 포함한다. 디지털 보기는 복수의 모델들을 포함한다. 각각의 모델은 교통 도로 상의 각각의 타깃을 나타낸다. 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행한다.
제4 양태의 가능한 구현에서, 데이터 처리 모듈은 비디오 데이터에 기초하여 각각의 타깃의 유형 정보를 결정하도록 더 구성된다. 이에 따라, 디지털 보기의 상이한 모델들은 상이한 유형의 타깃들에 대응한다.
제4 양태의 가능한 구현에서, 교통 도로 상에 배치된 복수의 카메라들이 있고, 상기 복수의 카메라들 중 서로 다른 카메라들에 의해 수집되는 비디오 데이터의 시야각들은 상이하다.
제4 양태의 가능한 구현에서, 디지털 모델링 모듈은 디지털 보기를 디스플레이하거나 디지털 보기를 디스플레이 장치로 송신하도록 더 구성된다. 디스플레이된 디지털 보기의 시야각은 비디오 데이터의 시야각과 동일하거나 상이하다.
제4 양태의 가능한 구현에서, 디지털 처리 모듈은 각각의 타깃의 속성 정보를 획득하도록 더 구성된다. 디지털 보기는 각각의 타깃의 속성 정보를 더 포함한다.
제4 양태의 가능한 구현에서, 교통 도로 상의 타깃은 차량일 수 있고, 타깃의 속성 정보는, 차량의 색상, 차량의 번호판 번호, 차량의 모델, 차량의 주행 속도, 차량 소유자 식별 정보, 및 차량 등록 및 유지 보수 정보 중 하나 이상의 정보들을 포함한다.
제4 양태의 가능한 구현에서, 비디오 데이터는 최초 순간에 비디오 데이터를 포함한다. 데이터 분석 모듈은 구체적으로, 최초 순간에 비디오 데이터에 기초하여, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들을 결정하고, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들과 최초 순간 이전의 교통 도로 상의 각각의 타깃의 지리적 좌표들에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하도록 구성된다.
제4 양태의 가능한 구현에서, 데이터 처리 모듈은 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 각각의 타깃의 자세를 결정하도록 더 구성된다. 디지털 보기에서 각각의 모델은, 해당 모델에 대응하는 교통 도로 상의 타깃의 주행 트랙 및 자세에 기초하여 주행한다.
제4 양태의 가능한 구현에서, 데이터 처리 모듈은 비디오 데이터에 기초하여 교통 도로 상의 배경 객체를 인식하도록 더 구성되고, 디지털 보기는 교통 도로 상의 배경 객체를 나타내는 모델을 더 포함한다.
제4 양태의 가능한 구현에서, 디지털 모델링 모듈은 구체적으로, 교통 도로의 지도를 획득하고, 각각의 타깃에 대응하는 모델을 획득하며, 교통 도로의 디지털 보기를 획득하기 위해, 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 상기 교통 도로의 지도에 각각의 타깃에 대응하는 모델을 매핑하도록 구성된다.
제5 양태에 따르면, 본 출원은 디스플레이 디바이스를 더 제공한다. 디스플레이 디바이스는 수신 모듈 및 디스플레이 모듈을 포함한다. 디스플레이 모듈은 제1 시야각으로부터 교통 도로의 디지털 보기를 사용자에게 제시하도록 구성된다. 디지털 보기는 복수의 모델들을 포함한다. 각각의 모델은 교통 도로 상의 각각의 타깃을 나타낸다. 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행한다. 교통 도로 상의 각각의 타깃의 주행 트랙은 교통 도로 상의 카메라에 의해 촬영된 비디오 데이터에 기초하여 계산을 통해 획득된다. 수신 모듈은 사용자에 의해 송신된 시야각 조정 정보를 수신하도록 구성된다. 시야각 조정 정보는 제2 시야각으로부터 디지털 보기를 관찰하도록 요청하기 위해 사용된다. 디스플레이 모듈은 시야각 조정 정보에 기초하여 제2 시야각으로부터 디지털 보기를 사용자에게 제시하도록 구성된다.
디스플레이 디바이스는 단말 디바이스, 예를 들어 모바일 폰, 태블릿 컴퓨터, 차량에 장착된 컴퓨터, 또는 휴대용 컴퓨터일 수 있거나, 가장자리 면 또는 데이터 센터에 위치한 시각화 디바이스일 수 있음을 이해해야 한다.
제6 양태에 따르면, 본 출원은 컴퓨팅 디바이스를 더 제공한다. 컴퓨팅 디바이스는 프로세서 및 메모리를 포함한다. 메모리는 컴퓨터 명령어를 저장한다. 프로세서는 컴퓨터 명령을 실행하여, 컴퓨팅 디바이스가 제1 양태의 방법 또는 제1 양태의 임의의 가능한 구현을 수행할 수 있게 한다. 컴퓨팅 디바이스는 서버, 차량 탑재 컴퓨팅 디바이스, 차량 등일 수 있다는 것을 이해해야 한다.
제7 양태에 따르면, 본 출원은 컴퓨터-판독 가능한 저장 매체를 더 제공한다. 컴퓨터-판독 가능한 저장 매체는 컴퓨터 프로그램 코드를 저장한다. 컴퓨터 프로그램 코드가 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제1 양태의 방법 또는 제1 양태의 임의의 가능한 구현을 수행하거나, 제2 양태의 방법 또는 제2 양태의 임의의 가능한 구현들을 수행한다. 컴퓨터-판독 가능한 저장 매체는 랜덤 액세스 메모리와 같은 휘발성 메모리 또는 플래시 메모리, 하드 디스크 드라이브(hard disk drive, HDD), 또는 솔리드-스테이트 드라이브(solid state drive, SSD)와 같은 와 같은 비휘발성 메모리를 포함할 수 있지만, 이에 제한되지 않는다.
제8 양태에 따르면, 본 출원은 컴퓨터 프로그램 제품을 더 제공한다. 컴퓨터 프로그램 제품에는 컴퓨터 프로그램 코드가 포함된다. 컴퓨터 프로그램 코드가 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스는 제1 양태에서 제공된 방법 또는 제1 양태의 임의의 가능한 구현을 수행하거나, 제2 양태 또는 제2 양태의 임의의 가능한 구현에서 제공된 방법을 수행한다. 컴퓨터 프로그램 제품은 소프트웨어 설치 패키지일 수 있다. 제1 양태에 제공된 방법 또는 제1 양태의 임의의 가능한 구현이 사용될 필요가 있거나, 제2 양태에 제공된 방법 또는 제2 양태의 임의의 가능한 구현이 사용될 필요가 있을 때, 컴퓨터 프로그램 제품은 컴퓨팅 디바이스에 다운로드 및 실행될 수 있다.
제9 양태에 따르면, 본 출원은 시스템을 추가로 제공한다. 본 시스템은 제5 양태에 따른 디스플레이 디바이스 및 제6 양태에 따른 컴퓨팅 디바이스를 포함한다.
본 출원의 실시예들에서 기술적인 솔루션들을 보다 명확하게 설명하기 위해, 이하에서 실시예들에 대한 첨부된 도면들을 간략하게 설명한다.
도 1은 본 출원의 실시예에 따른 시스템 아키텍처의 개략적인 다이어그램이다.
도 2는 본 출원의 실시예에 따른 다른 시스템 아키텍처의 개략적인 다이어그램이다.
도 3은 본 출원의 실시예에 따른 디지털 재구성 시스템(100)의 개략적인 구조 다이어그램이다.
도 4는 본 출원의 실시예에 따른 디지털 재구성 시스템(100)의 전개의 개략적인 다이어그램이다.
도 5는 본 출원의 실시예에 따른 교통 도로를 위한 디지털 재구성 방법의 개략적인 흐름도이다.
도 6은 본 출원의 실시예에 따른 타깃 검출 및 속성 검출의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 타깃 위치의 개략적인 흐름도이다.
도 8은 본 출원의 실시예에 따른 타깃 추적의 개략적인 흐름도이다.
도 9는 본 출원의 실시예에 따른 디지털 모델링의 개략적인 흐름도이다.
도 10은 본 출원의 실시예에 따른 상이한 시야각들로부터의 디지털 보기들의 그래픽 사용자 인터페이스를 도시한다.
도 11은 본 출원의 실시예에 따른 다른 디지털 보기의 그래픽 사용자 인터페이스를 도시한다.
도 12는 본 출원의 실시예에 따른 장치(800)의 개략적인 구조적 다이어그램이다.
도 13은 본 출원의 실시예에 따른 컴퓨팅 디바이스(900)의 개략적인 구조 다이어그램이다.
도 14는 본 출원의 실시예에 따른 컴퓨팅 디바이스 시스템의 개략적인 구조 다이어그램이다.
도 1은 본 출원의 실시예에 따른 시스템 아키텍처의 개략적인 다이어그램이다.
도 2는 본 출원의 실시예에 따른 다른 시스템 아키텍처의 개략적인 다이어그램이다.
도 3은 본 출원의 실시예에 따른 디지털 재구성 시스템(100)의 개략적인 구조 다이어그램이다.
도 4는 본 출원의 실시예에 따른 디지털 재구성 시스템(100)의 전개의 개략적인 다이어그램이다.
도 5는 본 출원의 실시예에 따른 교통 도로를 위한 디지털 재구성 방법의 개략적인 흐름도이다.
도 6은 본 출원의 실시예에 따른 타깃 검출 및 속성 검출의 개략적인 흐름도이다.
도 7은 본 출원의 실시예에 따른 타깃 위치의 개략적인 흐름도이다.
도 8은 본 출원의 실시예에 따른 타깃 추적의 개략적인 흐름도이다.
도 9는 본 출원의 실시예에 따른 디지털 모델링의 개략적인 흐름도이다.
도 10은 본 출원의 실시예에 따른 상이한 시야각들로부터의 디지털 보기들의 그래픽 사용자 인터페이스를 도시한다.
도 11은 본 출원의 실시예에 따른 다른 디지털 보기의 그래픽 사용자 인터페이스를 도시한다.
도 12는 본 출원의 실시예에 따른 장치(800)의 개략적인 구조적 다이어그램이다.
도 13은 본 출원의 실시예에 따른 컴퓨팅 디바이스(900)의 개략적인 구조 다이어그램이다.
도 14는 본 출원의 실시예에 따른 컴퓨팅 디바이스 시스템의 개략적인 구조 다이어그램이다.
다음은 본 출원의 첨부 도면들을 참조하여 본 출원에 제공된 실시예들의 솔루션들을 상세히 설명한다.
교통 도로는 물리적 세계에서 보행자와 차량이 통과하는 영역이다. 교통 도로는 복수의 교통 교차로들 및 교통 경로들을 포함한다. 본 출원은 교통 도로를 위한 디지털 재구성 방법을 제공한다. 본 방법은 디지털 재구성 시스템에 의해 수행된다. 교통 도로의 디지털 보기는 디지털 재구성 방식을 통해 구축될 수 있으며, 디지털 보기는 실시간으로 교통 도로의 주행 상태를 디스플레이할 수 있다.
도 1에 도시된 바와 같이, 디지털 재구성 시스템은 클라우드 환경(cloud environment)에 배치될 수 있고, 구체적으로 클라우드 환경에서 하나 이상의 컴퓨팅 디바이스들(예를 들어, 중앙 서버들)에 배치된다. 본 시스템은, 대안적으로 에지 환경(edge environment)에 배치될 수 있으며, 구체적으로, 에지 환경에서 하나 이상의 컴퓨팅 디바이스들(에지 컴퓨팅 디바이스들)에 배치된다. 에지 컴퓨팅 디바이스들은 서버들일 수 있다. 클라우드 환경은 클라우드 서비스 제공자가 소유하고 컴퓨팅, 저장, 및 통신 자원들을 제공하도록 구성된 중앙 컴퓨팅 디바이스 클러스터를 나타낸다. 에지 환경은 컴퓨팅, 저장, 및 통신 자원들을 제공하도록 구성된 원시 데이터 수집 디바이스(raw data collection device)에 지리적으로 가까운 에지 컴퓨팅 디바이스 클러스터를 나타낸다. 원시 데이터 수집 디바이스는 디지털 재구성 시스템에 의해 요구되는 원시 데이터(raw data)를 수집하도록 구성된 디바이스이다. 원시 데이터 수집 디바이스는 카메라, 레이더, 적외선 카메라, 자기 유도 코일 등을 포함하지만, 이에 제한되지 않는다. 원시 데이터 수집 디바이스는 교통 도로의 고정된 위치에 배치되어 실시간 원시 데이터(비디오 데이터, 레이더 데이터, 적외선 데이터 등)를 수집하도록 구성된 디바이스(즉, 정적인 디바이스)를 포함하고, 매뉴얼 데이터 수집을 위한 드론, 순회 독서 차량, 및 동적 디바이스(예를 들어, 리딩 폴(reading pole))와 같은 교통 도로 상의 데이터를 동적으로 수집하는 디바이스들을 더 포함한다.
도 2에 도시된 바와 같이, 디지털 재구성 시스템은 복수의 파트들(parts)을 포함한다(예를 들어, 복수의 서브시스템들을 포함하고, 각각의 서브시스템은 복수의 유닛들을 포함한다). 따라서, 디지털 재구성 시스템의 파트들은 분산된 방식으로 서로 다른 환경들에 배치될 수도 있다. 예를 들어, 디지털 재구성 시스템의 파트는, 클라우드 환경, 에지 환경, 원시 데이터 수집 디바이스의 3개의 환경들에 별도로 배치될 수 있거나, 또는 3개의 환경들 중 임의의 2개의 환경들에 배치될 수 있다.
디지털 재구성 시스템은 원시 데이터 수집 디바이스에 의해 수집된 원시 데이터에 기초하여 물리적 세계의 교통 도로에 대한 디지털 모델링을 수행하도록 구성된다. 디지털 재구성 시스템의 서브시스템들 및 유닛들에 대해 복수의 분할 방식들이 있을 수 있다. 이는 본 출원에서 제한되지 않는다. 도 3은 예시적인 분할 방식을 도시한다. 도 3에 도시된 바와 같이, 디지털 재구성 시스템(100)은 데이터 처리 서브시스템(120), 데이터 분석 서브시스템(140), 및 디지털 모델링 서브시스템(160)을 포함한다. 이하에서는 각각의 서브시스템의 기능과 각각의 시스템에 포함된 기능 유닛의 기능을 별도로 간략하게 설명한다.
데이터 처리 서브시스템(120)은 적어도 하나의 원시 데이터 수집 디바이스에 의해 수집된 원시 데이터를 수신하도록 구성되며, 원시 데이터는 주로 교통 도로에 배치된 카메라에 의해 촬영된 비디오 데이터를 포함한다. 실시예에서, 수신된 비디오 데이터는 교통 도로의 교통 상황을 기록하는 실시간 비디오 스트림이다. 데이터 처리 서브시스템(120)은 수신된 원시 데이터를 추가로 처리하여 더 많은 의미(semantics)를 갖는 데이터를 획득한다. 데이터 처리 서브시스템은 복수의 기능 유닛들을 포함한다. 데이터 정렬 유닛(121)은 교통 도로 상의 고정된 위치들에 배치된 복수의 카메라들에 의해 수집된 비디오 데이터를 수신하고, 복수의 비디오 데이터들에 대해 시간 정렬을 수행하도록 구성되는데, 즉, 동일 순간에 교통 상태를 기록하는 비디오 프레임을 추출하고 이 비디오 프레임을 타깃 검출 유닛(122)에 출력한다. 타깃 검출 유닛(122)은 타깃의 위치 정보 및 유형 정보를 획득하기 위해 비디오 프레임에 존재하는 타깃의 위치 및 유형을 검출하도록 구성된다. 타깃 속성 검출 유닛(123)은 타깃의 속성 정보를 획득하기 위해 각각의 타깃의 유형에 기초하여 타깃의 각각의 유형의 속성을 검출하도록 구성된다. 데이터 저장 유닛(124)은 타깃 검출 유닛 및 타깃 속성 검출 유닛에 의해 획득된 데이터를 저장하도록 구성된다. 데이터는 데이터 분석 서브시스템 및 디지털 모델링 서브시스템의 기능 유닛들에 의해 판독 및 사용될 수 있다.
선택적으로, 데이터 처리 서브시스템은 배경 검출 유닛(125)을 더 포함한다. 배경 검출 유닛(125)은 원시 데이터 수집 디바이스에 의해 수집되고 교통 도로 배경과 관련된 원시 데이터를 수신하도록 구성된다. 원시 데이터는 교통 도로 상의 고정된 위치에 배치된 디바이스에 의해 수집되는 비디오 데이터 및 다른 데이터(예를 들어, 레이더 데이터, 적외선 데이터)일 수 있다. 대안적으로, 원시 데이터는 데이터를 동적으로 수집하는 드론 및 순회 독서 차량에 의해 수집된 비디오 데이터 또는 다른 데이터일 수 있다. 배경 검출 유닛(125)은 배경 객체의 유형 정보 및 위치 정보를 획득하기 위해 수신된 원시 데이터에 기초하여 교통 도로 상의 배경 객체를 검출 및 인식하도록 구성된다.
본 출원에서, 타깃은 교통 도로에서 움직이는 객체 또는 교통 도로 상에 있고 여전히 일정 기간 내에 있는 움직일 수 있는 객체, 예를 들어, 모터 차량, 보행자, 비-모터 차량, 또는 동물을 지칭한다는 것을 유의해야 한다. 타깃의 속성 정보는 타깃과 관련된 정보를 지칭하며, 타깃의 속성 정보는 직접 속성 정보와 간접 속성 정보를 포함한다. 직접 속성 정보는 타깃에 기초하여 직접 계산, 인식 및 획득되는 속성 정보(예를 들어: 차량의 색상, 차량 번호판 번호, 차량의 모델, 차량의 주행 속도)이다. 간접 속성 정보는 타깃의 직접 속성을 더 분석하거나 타깃의 직접 속성에 기초하여 관련된 데이터베이스를 질의하여 획득되는 속성 정보(예를 들어, 차량 소유자 식별 정보, 차량 등록 및 유지 보수 정보)이다. 각각의 타깃은 속성 정보를 갖는다. 타깃의 유형 정보는 타깃의 속성 정보 중 하나의 유형일 수 있다. 구체적으로, 타깃의 유형 정보는 분류를 위해 사용되는 타깃의 속성 정보 중 하나의 유형이다. 타깃의 유형 정보에 기초하여 분류를 통해 획득한 타깃들의 서로 다른 유형들에 대응하는 다른 관찰될 속성 정보(other to-be-observed attribute information,)는 다를 수 있다. 본 출원에서, 배경 객체는, 도로 마킹 라인, 경고 표지판, 교통 신호 기둥(traffic signal pole), 부스(booth), 주변 건물, 가로수, 화단 등을 포함하여 교통 도로 또는 교통 도로 주변의 정적인 객체를 지칭한다.
데이터 분석 서브시스템(140)은 데이터 처리 서브시스템(120)에 의해 처리된 데이터를 판독하고, 또한, 데이터를 처리 및 분석하도록 구성된다. 데이터 분석 서브시스템(140)은 복수의 기능 유닛들을 포함한다. 위치 지정 유닛(141)은, 물리적 세계에서 제어 포인트의 미리 수집된 지리적 좌표들과 비디오 프레임에서 제어 포인트의 미리 수집된 픽셀 좌표들에 기초하여, 각각의 카메라에 의해 촬영된 비디오에서 포인트의 픽셀 좌표들과 포인트의 지리적 좌표들 사이의 매핑 관계를 결정하고, 매핑 관계에 기초하여, 물리적 세계에 있고 타깃 검출 유닛에 의해 검출되는 타깃의 지리적 좌표들을 획득하도록 구성된다. 타깃 트랙킹 유닛(142)은 인접한 2개의 비디오 프레임에서 동일한 타깃의 위치 정보를 결정하고, 각각의 순간에 타깃의 픽셀 좌표들을 기록하며, 비디오 데이터에서 타깃의 이동 트랙을 획득하도록 구성된다. 데이터 분석 유닛(143)은, 복수의 상이한 시야각들에 의해 형성된 파노라마 시야각에서 타깃의 데이터를 획득하기 위해, 복수의 상이한 시야각들에서 비디오 데이터로부터 획득된 복수의 처리된 데이터 그룹들을 분석하도록 구성된다.
선택적으로, 위치 지정 유닛(141)은, 전술한 방식으로 획득된 매핑 관계에 기초하여, 물리적 세계에 있고 배경 검출 유닛에 의해 검출되는 배경 객체의 지리적 좌표들을 획득하도록 더 구성될 수 있다.
선택적으로, 데이터 분석 서브시스템(140)은 타깃 속성 정보 분석 유닛(144)을 더 포함한다. 타깃 속성 정보 분석 유닛(144)은, 데이터 처리 서브시스템(120) 및 데이터 분석 서브시스템(140)에 의해 획득되는, 타깃의 속성 또는 위치와 같은 정보에 기초하여, 타깃의 간접 속성 정보를 획득하도록 구성된다.
디지털 모델링 서브시스템(160)은, 디지털 보기를 획득하기 위해, 데이터 처리 서브시스템(120) 및 데이터 분석 서브시스템(140)에 의해 획득된 데이터에 기초하여 물리적 세계의 도로 상의 타깃 및 교통 도로를 위한 디지털 재구성을 수행하도록 구성된다. 디지털 모델링 서브시스템(160)은, 교통 도로 상의 배경 객체에 대응하는 모델을 획득하기 위해, 교통 도로 주변의 배경 객체 및 교통 도로에 대한 모델링을 수행하도록 구성된 배경 모델링 유닛(161)을 포함한다. 다른 실시예에서, 디지털 재구성 시스템(100)은 배경 모델링 유닛(161)을 포함하지 않을 수 있고, 디지털 재구성 시스템(100)은, 다른 디바이스 또는 시스템으로부터, 모델링된 배경 객체에 대응하는 모델을 획득할 수 있다. 타깃 모델링 유닛(162)은 각각의 타깃에 대응하는 모델을 획득하기 위해, 데이터 처리 서브시스템(120) 및 데이터 분석 서브시스템(140)에 의해 획득되는 타깃의 유형 정보 및 속성 정보에 기초하여 타깃에 대한 모델링을 수행하도록 구성된다. 타깃 매핑 유닛(163)은, 교통 도로의 디지털 보기를 획득하기 위해 각각의 타깃에 대응하는 모델을 지도에 매핑하도록 구성된다. 타깃 속성 정보 연관 유닛(164)은 타깃의 속성 정보를 디지털 보기에서 타깃의 대응하는 모델과 연관시키도록 구성된다. 디지털 보기 출력 유닛(165)은 교통 도로의 재구성된 디지털 보기를 디스플레이 디바이스 또는 다른 시스템에 출력하도록 구성되어 있기 때문에, 디스플레이 디바이스는 디지털 보기를 디스플레이하거나 다른 시스템은 디지털 보기에 기초한 추가의 동작을 수행한다.
본 출원에서, 디지털 재구성 시스템(100)은 소프트웨어 시스템일 수 있고, 디지털 재구성 시스템(100)에 포함된 서브시스템들 및 기능 유닛들은 비교적 유연한 방식으로 하드웨어 디바이스에 배치된다. 도 1 및 도 2에 도시된 것처럼, 전체 시스템은 하나의 환경에서 하나 이상의 컴퓨팅 디바이스들에 배치될 수 있거나, 2개 또는 3개의 환경들에서 하나 이상의 컴퓨팅 디바이스들에 분산 방식으로 배치될 수 있다. 예를 들어, 도 4는 본 출원에 따른 디지털 재구성 시스템(100)의 배치의 개략적인 다이어그램이다. 디지털 재구성 시스템(100)의 데이터 처리 서브시스템(120)은 에지 컴퓨팅 디바이스(220)에 배치된다. 에지 컴퓨팅 디바이스(220)는 원시 데이터 수집 디바이스(201) 및 원시 데이터 수집 디바이스(202) 근처에 위치하고, 컴퓨팅 능력을 갖는 트래픽 박스일 수 있다. 데이터 분석 서브시스템(140) 및 디지털 모델링 서브시스템(160)은 중앙 서버(240)에 배치된다. 중앙 서버는 클라우드 데이터 센터에 위치될 수 있다. 도 4에 도시된 배치 형태에서, 원시 데이터 수집 디바이스(201) 및 원시 데이터 수집 디바이스(202)는 실시간으로 교통 도로의 원시 데이터(비디오 데이터 및 다른 데이터를 포함)를 수집한다. 원시 데이터 수집 디바이스(201) 및 원시 데이터 수집 디바이스(202)는 수집된 원시 데이터를 에지 컴퓨팅 디바이스(220)로 송신한다. 에지 컴퓨팅 디바이스(220)는, 원시 데이터를 처리하고 처리된 데이터를 획득하기 위해, 데이터 처리 서브시스템(120)에 포함된 소프트웨어 코드를 실행한다. 처리된 데이터는 에지 컴퓨팅 디바이스(220)에 의해 중앙 서버(240)로 송신된다. 중앙 서버(240)는 처리된 데이터를 수신하고, 데이터 분석 서브시스템(140)에 포함된 소프트웨어 코드 및 디지털 모델링 서브시스템(160)에 포함된 소프트웨어 코드를 실행하여 교통 도로의 디지털 보기 데이터를 발생한다. 또한, 중앙 서버(240)는 디지털 보기 데이터를 디스플레이 디바이스로 송신할 수 있고, 디스플레이 디바이스는 교통 도로의 디지털 보기를 디스플레이한다. 또한, 사용자는, 서로 다른 시야각들에서의 디지털 보기, 지정된 타깃의 속성 정보 등을 획득하기 위해, 디스플레이 디바이스를 통해 디지털 보기의 디스플레이를 조정 및 조작할 수 있다. 디스플레이 디바이스는 단말 디바이스, 예를 들어, 모바일 폰, 태블릿 컴퓨터, 차량에 탑재된 컴퓨터, 또는 휴대용 컴퓨터일 수 있거나, 에지 측면 또는 데이터 센터에 위치하는 시각화 디바이스일 수 있다.
교통 도로의 디지털 재구성
도 5는 본 출원의 실시예에 따른 교통 도로를 위한 디지털 재구성 방법의 개략적인 흐름도이다. 다음은 도 5를 참조하여 교통 도로를 위한 디지털 재구성 방법의 단계들을 구체적으로 설명한다.
S301: 원시 데이터를 획득한다. 구체적으로, 디지털 재구성 시스템은 원시 데이터 수집 디바이스에 의해 실시간으로 수집되는 교통 도로의 원시 데이터를 획득한다. 원시 데이터는 비디오 데이터를 포함한다. 비디오 데이터는, 교통 도로 상의 고정된 위치에 배치된 카메라로 촬영되고, 교통 도로의 실시간 교통 상황을 반영하는 비디오 스트림이다. 일반적으로, 교통 도로 상의 각각의 교차로 또는 도로 구간에는 서로 다른 시야각들로부터 촬영되는 복수의 카메라들이 배치되며, 각각의 카메라는 하나의 시야각으로부터 교통 도로의 교통 상황을 촬영한다.
선택적으로, 단계(S301)에서, 원시 데이터 수집 디바이스(예를 들어, 밀리미터파 레이더(millimeter-wave radar), 마이크로파 레이더, 광전자 레이더)에 의해 수집되는 레이더 데이터가 더 획득되고, 교통 도로 상의 타깃의 위치 및 주행 속도와 같은 정보는 레이더 데이터를 분석함으로써 획득될 수 있다. 레이더 데이터는 타깃의 위치와 주행 속도를 반영하는데 있어 레이더 데이터의 정확도가 높기 때문에 비디오 데이터의 보충으로 사용될 수 있다.
단계(S301)에서, 비디오 스트림은 실시간으로 연속적으로 획득될 수 있고, 이후 단계(S302 내지 S306)는, 한 순간으로부터, 각각의 순간에 획득된 비디오 프레임에 대해 수행된다는 것을 유의해야 한다(도 5에 도시된 바와 같이, 단계(S302 내지 S306)는 교통 도로의 동서남북의 4방향에 배치된 카메라에 의해 각각의 순간에 수집된 비디오 프레임들에 대해 수행된다). 비디오 데이터의 세그먼트는 서로 다른 순간들에 비디오 프레임들을 포함하고, 비디오 데이터의 비디오 프레임들은 시간 순서로 배열된다는 것을 이해해야 한다. 각각의 비디오 프레임은 이미지이고, 한 순간에 촬영된 교통 도로의 교통 상황을 반영하기 위해 사용된다.
S302: 타깃 검출 및 속성 검출을 수행한다. 구체적으로, 타깃 검출은, 타깃의 위치 정보 및 유형 정보(여기서, 타깃의 위치 정보는 비디오 프레임에서 타깃의 픽셀 좌표임)를 획득하기 위해, 동일 순간에 있는 비디오 데이터들의 각각에서, 비디오 프레임에 대해 수행된다. 또한, 타깃 속성 검출은 타깃의 속성 정보를 획득하기 위해 검출된 타깃에 대해 수행된다. 비디오 프레임에서 타깃의 유형은 타깃 검출에서 획득되기 때문에, 타깃 속성 검출에서 검출되는 속성 유형은 타깃의 서로 다른 유형에 따라 상이할 수 있다. 예를 들어, 타깃의 검출된 유형이 모터 차량인 경우, 모터 차량의 검출될 속성 유형(to-be-detected attribute type)은 차량 모델, 차량 몸체 색상, 번호판 등을 포함한다. 타깃의 검출된 유형이 보행자인 경우, 사람의 검출될 속성 유형은 성별, 의복 색, 체형 등을 포함한다.
복수의 비디오 데이터들이 획득될 때, 시간 정렬은 타깃 검출 동안 복수의 비디오 데이터들에 대해 먼저 수행되는데, 즉 복수의 비디오 데이터들에서 동일 순간에 교통 상태를 나타내는 비디오 프레임들이 획득되고; 그런 다음에, 타깃 검출 및 타깃 속성 검출이 동일 순간에 각각의 비디오 프레임에 대해 수행된다는 것을 유의해야 한다.
선택적으로, 단계(S302)에서, 배경 검출은 배경 객체의 위치 정보 및 유형 정보를 획득하기 위해 비디오 프레임에서 교통 도로 상의 배경 객체를 검출하도록 더 수행된다.
S303: 타깃 위치 지정을 수행한다. 타깃 위치 지정은 주로 비디오 프레임에서 검출된 타깃에 대응하는 픽셀 좌표들을 물리적 세계에서 타깃의 지리적 좌표들 변환하는 것이다. 타깃의 픽셀 좌표들은 비디오 프레임에서 타깃의 위치에 있는 픽셀의 좌표들이고, 픽셀 좌표들은 2-차원 좌표들이다. 타깃의 지리적 좌표들은 물리적 세계의 모든 좌표계에서 타깃의 좌표들이다. 예를 들어, 본 출원에서, 교통 도로 상의 타깃의 위치에 대응하는 경도, 위도, 고도를 포함하는 3-차원 좌표들이 지리적 좌표들로 사용한다. 타깃 위치 지정을 수행하기 위한 구체적인 방법은 다음 단계에서 자세히 설명한다.
선택적으로, 단계(S303)에서, 배경 위치 지정이 비디오 프레임의 교통 도로 상의 배경 객체의 픽셀 좌표들을 지리적 좌표들로 변환하기 위해 더 수행될 수 있다.
S304: 타깃 트래킹을 수행한다. 타깃 트래킹은 비디오 데이터의 세그먼트에 기록된 타깃의 위치들을 서로 다른 비디오 프레임들에서 트래킹하는 것을 지칭한다. 구체적으로, 비디오 데이터에서, 현재 순간에 비디오 프레임에 기록된 타깃과 이전 순간에 비디오 프레임에 기록된 타깃이 동일한 타깃으로 결정된다. 2개의 타깃들은 동일한 타깃 ID에 대응하며, 현재 순간에 비디오 프레임에서 타깃 ID의 픽셀 좌표들은 타깃 트랙 테이블에 기록된다. 타깃 트랙 테이블은, 현재 순간과 과거 순간(historical moment)에, 카메라에 의해 촬영된 영역에서 각각의 타깃의 픽셀 좌표들을 기록한다(타깃의 이동 트랙은 현재 순간에 타깃의 픽셀 좌표들과 과거 순간에 타깃의 픽셀 좌표들에 기초하여 피팅을 통해 획득될 수 있다). 타깃 트래킹이 수행될 때, 단계(S302)에서 획득된 현재 처리된 비디오 프레임에서 타깃의 유형, 위치, 및 속성은 2개의 인접한 비디오 프레임들에서 타깃들 간의 연관성을 결정하기 위해 이전 순간에 캐싱 처리된 비디오 프레임에서 타깃의 유형, 위치, 및 속성과 비교될 수 있다. 다시말해, 인접한 2개의 비디오 프레임에서 동일한 타깃으로 판단되는 타깃들은 동일한 타깃 ID로 마킹되고, 각각의 타깃에 대응하는 타깃 ID와 비디오 프레임들에서 타깃 ID의 픽셀 좌표들이 기록된다. 다양한 타깃 트랙킹 방법이 있다. 본 출원에서, 후속하는 S601 내지 S606에서 타깃 추적 방법이 예로 설명된다.
S305: 데이터 분석을 수행한다. 처리된 데이터의 복수의 그룹들(타깃의 유형 정보, 지리적 좌표들, 및 속성 정보와 같은 데이터를 포함)이 전술한 단계에서 동일 순간에 복수의 비디오 프레임들로부터 획득될 때, 처리된 데이터의 복수의 그룹들은 분석된 데이터를 획득하기 위해 본 단계에서 분석된다. 구체적으로, 예를 들어, 데이터의 복수의 그룹들에서 타깃들의 유형 및 속성 정보가 동일하고 타깃들의 지리적 좌표들이 유사할 때, 타깃들의 분석된 지리적 좌표들을 획득하기 위해 데이터의 복수의 그룹에서 타깃들의 지리적 좌표들에 대해 가중 평균이 수행되고, 타깃들의 분석된 데이터의 그룹을 형성하기 위해 데이터의 복수의 그룹에서 타깃들의 유형 및 속성 정보의 그룹과 타깃들의 분석된 타깃 지리적 좌표들이 결합된다. 동일 순간에 하나의 시야각으로부터 비디오 프레임에만 존재하지만 동일 순간에 다른 비디오 프레임에서 관찰될 수 없는 타깃에 대해서, 비디오 프레임에 대응하는 데이터의 그룹에서 지리적 좌표들, 유형들 및 속성들과 같은 데이터는 지리적 좌표들, 유형들, 및 속성들과 같은 획득되고 분석된 데이터이다. 다방향성 데이터 분석(multi-directional data analysis)을 통해, 각각의 타깃의 데이터(예를 들어, 타깃에 대응하는 지리적 좌표들)는 보다 정확하게 될 수 있으며, 복수의 카메라들에 의해 동일 순간에 촬영되는 교통 도로 상의 모든 타깃들의 데이터가 획득될 수 있다. 타깃들의 분석 데이터는 순간에 교통 도로 상의 타깃들을 보다 정확하게 제시할 수 있으며, 단일 카메라의 시야각에서, 차량 차단, 시야각 제한, 빛 그림자 등에 의해 야기되는 불완전한 타깃 데이터를 피할 수 있다.
선택적으로, 단계(S305)에서, 서로 다른 원시 데이터 수집 디바이스들에 의해 수집된 원시 데이터로부터 획득되는 처리된 데이터는 또한 분석될 수 있다. 예를 들어, 레이더 데이터가 처리된 후 획득되는 처리된 데이터와 카메라에 의해 수집한 원시 데이터에서 획득되는 처리된 데이터는 분석되기 때문에, 데이터는 보다 정확하다. 예를 들어, 타깃의 지리적 위치에 대해서, 타깃 검출, 타깃 위치 지정 및 타깃 지리적 좌표 분석이 비디오 데이터 상에서 수행된 이후에 획득되는 분석된 지리적 좌표들과 레이더 데이터에 기초하여 계산을 통해 획득되는 타깃의 지리적 좌표들은 더 분석될 수 있으므로(예를 들어, 가중 평균이 수행됨), 타깃의 획득된 최종 지리적 좌표들은 더 정확하다.
S306: 디지털 재구성을 수행한다. 모델링은 각각의 타깃에 대응하는 모델을 획득하기 위해 각각의 타깃의 유형 정보 및 속성 정보에 기초하여 각각의 타깃에 대해 수행된다. 서로 다른 유형의 타깃들은 서로 다른 모델들에 대응하며, 타깃에 대응하는 모델은 3-차원 모델일 수 있다. 각각의 타깃에 대응하는 모델은 교통 도로의 디지털 보기를 획득하기 위해 단계(S305)에서 획득되는 분석된 각각의 타깃에 대응하는 지리적 좌표를 기초하여 미리 획득한 지도에 매핑된다(도 5에 도시된 것처럼). 교통 도로의 디지털 보기는 다양한 시야각들로부터 카메라에 의해 촬영된 영역들의 조합 세트(union set)를 디스플레이할 수 있다. 지도는 3-차원 지도이다. 서로 다른 영역들은 줌-인(zooming out), 줌-아웃(zooming out), 및 회전과 같은 동작들을 수행함으로써 지도에 디스플레이될 수 있다. 지도의 각각의 포인트는 물리적인 세계에서 지리적 좌표들에 대응한다. 지리적 좌표들은 (m, n, h)이며, 여기서, m은 경도를 나타내고, n은 위도를 나타내며, h는 고도를 나타내는데, m, n, h는 모두 실수들이다.
지도는 지도 제공자에 의해 제공될 수 있거나 미리 구축될 수 있다. 지도는 교통 도로의 배경 객체(예를 들어, 교통 도로 주변의 건물, 화단, 교통 도로의 교통 마킹 라인 또는 교통 표지)를 포함한다.
다른 실시예에서, 지도는 지도 제공자에 의해 제공될 수 있고, 지도는 교통 도로 상의 배경 객체들의 일부 또는 전체 배경을 포함하지 않는다. 이 경우, 단계(S306)는 각각의 배경 객체에 대응하는 모델을 획득하기 위해 전술한 선택적 배경 검출 과정에서 검출되는 교통 도로 상의 배경 객체의 유형에 기초하여 배경 객체에 대한 모델링을 수행하는 단계와, 각각의 배경 객체의 획득된 지리적 좌표들에 기초하여 각각의 배경 객체에 대응하는 모델을 지도에 매핑하는 단계를 더 포함한다.
선택적으로, 지도는 교통 도로이고 드론 또는 지도 수집 차량과 같은 디바이스에 의해 미리 수집되는 배경 데이터에 기초하여 배경 객체에 대해 디지털 모델링을 수행함으로써 획득된다. 이러한 유형의 지도는 모델 지도이며, 모델 지도는 메모리 점유가 적고 구축 속도가 빠른 장점들이 있다.
선택적으로, 지도가 사전에 구축될 때, 교통 도로 주변의 건물들과 교통 도로는 실제-보기 이미지(real-view image)를 획득하기 위해 위성 또는 레이저 포인트 클라우드 기술을 통해 스캔될 수 있고, 실제-보기 이미지는 실제-보기 이미지 처리 기술과 3-차원 렌더링 기술을 기반으로 교통 도로 및 교통 도로 주변 환경을 위해 구성된다. 실제-보기 지도는 물리적인 세계에서 교통 도로의 배경 상태를 생생하고 사실적으로 제시할 수 있다.
선택적으로, 단계(S302) 이후 어느 순간에, 타깃의 속성을 분석하는 동작이 더 수행될 수 있다. 구체적으로, 계산 및 분석은 단계(S302)에서 획득한 타깃의 직접적인 속성 정보에 대해 실행되거나(또는 단계(S303)에서 획득한 타깃 또는 배경 객체의 지리적 좌표, 단계(S304)에서 획득한 타깃의 이동 트랙, 단계(S305)에서 획득한 타깃의 분석된 데이터 등), 또는 연관된 데이터베이스가 타깃의 간접 속성 정보를 획득하기 위해 데이터의 하나 이상의 유형들의 데이터에 기초하여 조회된다. 예를 들어, 타깃의 주행 속도는 타깃의 분석된 지리적 좌표와 이전 순간에 비디오 프레임에서 타깃의 분석된 지리적 좌표에 기초하여 계산되고, 타깃의 자세는 타깃의 이동 트랙에 기초하여 분석되고, 타깃의 유형이 모터 차량 또는 비-모터 차량일 때 관련 데이터베이스는 타깃에 대응하는 차량 소유자 식별 정보 및 차량 유지 보수 정보를 획득하기 위해 타깃의 차량 번호판 정보에 기초하여 질의된다.
선택적으로, 단계(S306)에서, 타깃에 대응하는 3-차원 모델은 타깃의 획득된 속성 정보의 전부 또는 일부(타깃의 직접 속성 정보 또는 타깃의 간접 속성 정보 포함)와 추가로 연관되고, 타깃의 속성 정보는 디스플레이 디바이스로 전송되어, 타깃의 속성 정보는 디스플레이 디바이스에 디스플레이되는 디지털 지도의 각각의 타깃의 위치 근처에 디스플레이된다(또는, 디스플레이 디바이스에 의해 전송된 명령어가 수신된 후에, 타깃의 속성 정보가 디스플레이 디바이스로 전송되어, 디스플레이 디바이스는 타깃에 대응하는 속성 정보를 디스플레이한다).
단계(S304) 및 단계(S305)의 실행 순서는 상호 교환 가능하다는 것을 유의해야 한다. 다시말해, 타깃 트래킹이 먼저 수행될 수 있다. 구체적으로, 획득한 비디오 프레임의 타깃은 이전 순간에 처리된 비디오 프레임의 타깃과 비교되고, 2개의 비디오 프레임들에서 동일한 타깃은 동일한 타깃 ID로 마킹되고, 일정 기간 동안 각각의 타깃 ID의 주행 트랙은 획득된다. 그 다음에, 동일 순간에 복수의 비디오 프레임들에서 동일한 타깃에 대응하는 데이터는 분석되어, 분석된 타깃 ID 및 분석된 타깃 ID에 대응하는 분석된 데이터를 획득한다. 대안적으로, 동일 순간에 복수의 비디오 프레임들에서 동일한 타깃에 대응하는 데이터는 먼저 분석되어, 분석된 타깃 ID 및 분석된 타깃 ID에 대응하는 분석된 데이터를 획득할 수 있다. 그 다음에, 각각의 비디오 프레임에서 타깃은 이전 순간에 처리된 비디오 프레임에서 타깃과 비교되고, 2개의 비디오 프레임들에서 동일한 타깃은 동일한 분석 타깃 ID로 마킹된다. 단계(S304)에서 타깃 트랙킹이 수행된 이후에, 일정 시간 동안 각각의 순간에 교통 도로 상의 동일한 타깃은 또한 디지털 보기에서 동일한 분석된 타깃 ID일 수 있고, 타깃의 사용된 3-차원 모델 및 속성 정보는 동일하다.
단계(S301)는 실시간으로 각각의 카메라에 의해 촬영된 비디오 스트림을 획득하기 위해 연속적으로 수행된다는 것을 유의해야 한다. 단계(S302 내지 S306)는 단계(S301)에서 획득된 비디오 데이터의 각각의 비디오 프레임에 대해 수행된다. 이에 의해 획득된 디지털 보기의 타깃은 물리적 세계의 교통 도로 상의 타깃과 함께 실행할 수 있고, 디지털 보기는 교통 도로의 교통 상황을 실시간으로 반영할 수 있다.
도 6을 참조하여, 비디오 프레임에 대한 타깃 검출 및 속성 검출을 수행하는 단계(S302)를 상세히 설명한다.
S401: 처리될 비디오 프레임(to-be-processed video frame)을 획득한다. 구체적으로, 비디오 데이터들 중 하나의 데이터만이 단계(S301)에서 획득될 때, 획득된 비디오 데이터에서 비디오 프레임(예를 들어, 최신 비디오 프레임)이 처리될 비디오 프레임으로 사용된다. 복수의 비디오 데이터들이 단계(S301)에서 획득될 때, 동일 순간에 복수의 비디오 프레임들은 획득된 복수의 비디오 데이터들은 획득된 복수의 비디오 데이터들에서 검색될 필요가 있다. 동일 순간에 복수의 비디오 프레임들을 획득하기 위한 복수의 방법들이 있다. 예를 들어, 방법 1에서, 복수의 카메라들에서 클럭 시스템들에 대한 클럭 동기화를 수행하기 위해 네트워크 시간 프로토콜(network time protocol, NTP) 서버가 사용되거나, 시간 동기화를 위한 수정 발진기 하드웨어가 카메라에 내장된다. 이러한 방식으로, 각각의 카메라에 의해 촬영된 비디오 데이터에서 각각의 프레임에 대응하는 타임스탬프의 시간은 더 정확해진다. 동일 순간에 복수의 비디오 프레임들은 본 방법을 통해 획득된다. 구체적으로, 복수의 비디오 데이터에서 동일한 타임스탬프를 갖는 비디오 프레임들이 획득된다. 방법 2에서, 호모그래피 변환(homography transformation)이 복수의 비디오 데이터들의 획득된 비디오 프레임들에 대해 수행되어, 복수의 비디오 데이터들의 비디오 프레임들을 동일한 평면에 매핑하고, 복수의 오버랩핑되는 비디오 프레임들이 동일한 평면에서 검색된다. 복수의 오버랩핑된 비디오 프레임들은 동일 순간에 비디오 프레임들이다. 카메라의 순간에 비디오 프레임이 미리 선택될 수 있고, 호모그래피 변환이 비디오 프레임에 대해 수행된다. 호모그래피 변환 후 획득된 이미지는 다른 카메라에 의해 촬영된 비디오 프레임에 대해 호모그래피 변환을 참조로서 수행하여, 오버랩핑된 이미지를 매칭한다. 오버랩핑 이미지에 대응하는 비디오 프레임과 미리 선택된 비디오 프레임은 동일 순간에 있다. 호모그래피 변환은 하나의 평면에서 다른 평면으로 매핑된다. 각각의 카메라의 시야각에서의 비디오 데이터의 비디오 프레임의 평면과 동일한 평면 사이의 매핑 관계는 사전 계산을 통해 획득될 필요가 있다.
S402: 획득된 비디오 프레임에서 타깃을 검출한다. 본 단계에서, 훈련된 신경망 모델은 비디오 프레임에서 타깃을 검출하기 위해 주로 사용된다. 예를 들어, 요로(YoLo), SSD와 같은 신경망 모델이나 순환 컨볼루션 신경망(recurrent convolutional neural network, RCNN)이 사용될 수 있다. 신경망 모델은 사전에 훈련되어야 하며, 사용된 트레이닝 세트에서 트레이닝 이미지의 주석(annotation)은 복수의 인식될 타깃들의 유형들(예를 들어, 모터 차량, 비-모터 차량, 보행자, 및 동물)을 포함해야 하므로, 신경망 모델은 트레이닝 세트의 각각의 유형의 타깃 특징을 학습한다는 것을 유의해야 한다. 비디오 프레임에서 타깃의 위치 정보 및 유형 정보는 타깃 검출을 통해 획득될 수 있다. 위치 정보는 비디오 프레임에서 타깃의 픽셀 좌표들, 즉 비디오 프레임에서 타깃에 대응하는 회귀 박스(regression box)의 픽셀 좌표들, 예를 들어, 비디오에서 회귀 박스의 사선의 2개의 끝점들의 픽셀 좌표들, 또는 비디오 프레임에서 회귀 박스의 박스 윤곽(box contour)의 픽셀 좌표들이다. 타깃 검출을 통해 획득된 데이터는 구조화된 데이터일 수 있다. 예를 들어, 각각의 타깃은 타깃 ID에 대응한다. 타깃 ID와 타깃 ID의 위치 정보 및 유형 정보는 하나의 구조화된 데이터들 중 하나의 데이터를 구성한다. 동일 순간에 복수의 비디오 프레임들이 S401에서 획득될 때, 단계(S402)는 각각의 비디오 프레임에 대해 수행된다.
S403: 타깃의 검출된 유형에 기초하여 타깃에 대한 속성 검출을 수행한다. 타깃 속성 검출은 주로 복수의 신경망 모델들 또는 이미지 처리 알고리즘들, 예를 들어 레스넷 분류 모델(resnet classification model) 및 히스토그램 컬러 통계 알고리즘(histogram color statistics algorithm)의 협업을 기반으로 수행된다. 서로 다른 유형의 타깃들의 검출될 타깃 속성들은 서로 다를 수 있고, 사용되는 타깃 속성 검출 방법들은 또한 서로 다를 수 있다. 예를 들어, 타깃 유형이 모터 차량인 타깃에 대해 속성 검출이 수행된다. 주요 검출될 속성들은 모터 차량 모델, 모터 차량 색상, 번호판 등을 포함한다. 복수의 미리 훈련된 신경망 모델들이 이용되어 차량 모델, 색상, 타깃의 차량 번호판을 검출할 수 있거나, 복합 신경망 모델이 사용될 수 있다. 본 출원에서 타깃 속성 검출 방법은 제한되지 않는다. 종래의 기술에서 속성 검출에 사용될 수 있는 방법, 또는 속성 검출에 사용될 수 있고 미래의 연구를 통해 생성되는 방법이 본 출원에 적용될 수 있다.
선택적으로, 단계(S403)에서, 타깃의 직접적인 속성 정보는 타깃 속성 검출을 통해 검출된다. 타깃의 간접 속성 정보는 타깃의 검출된 직접적인 속성 정보와 타깃의 위치 및 유형 정보에 기초하여 분석 및 질의를 통해 더 획득될 수 있다. 예를 들어, 소유자 신원 정보 및 모터 차량의 등록 및 유지 보수 정보는 모터 차량의 번호판에 기초하여 획득될 수 있다. 모터 차량의 위치 정보와 배경 객체의 위치를 비교함으로써, 모터 차량과 교통 마킹 라인 사이의 거리와 모터 차량과 교통 신호등 사이의 거리가 획득된다.
동일 순간에 복수의 비디오 프레임들이 S401에서 획득될 때, 단계들(S402 및 S403)은 각각의 비디오 프레임에 대해 수행된다는 것을 유의해야 한다.
S404: 획득한 처리된 데이터를 정렬 및 출력한다. 여기서, 단계들(S402 및 S403)에서 획득되는 비디오 프레임의 처리 데이터는 구조화된 데이터의 형태로 다른 처리 유닛 또는 저장 유닛에 출력될 수 있다.
이하에서, 도 7을 참조하여 단계(S303)에서 검출된 타깃을 위치 지정하기 위한 방법을 구체적으로 설명한다.
복수의 비디오 프레임에서 타깃의 위치 정보의 데이터는 단계(S302) 및 단계(S302)의 상세 설명 단계들(S401 내지 S404)에서 획득될 수 있다. 위치 정보의 데이터는 비디오 프레임들에서 타깃의 픽셀 좌표들이다. 단계(S303)에서, 타깃의 픽셀 좌표들은 물리적 세계에서 타깃의 지리적 좌표들로 변환된다. 복수의 방법들이 타깃의 픽셀 좌표들을 물리적 세계에서 타깃의 지리적 좌표들로 변환하기 위해 사용될 수 있다. 이들 방법들의 예는 다음과 같이 설명된다.
S501: 교통 도로 상의 제어 포인트의 지리적 좌표들을 미리 획득한다.
물리적 세계에서 타깃의 픽셀 좌표들과 타깃의 지리적 좌표들 사이의 매핑 관계를 획득하기 위해, 교통 도로의 일부 제어 포인트들은 미리 선택할 필요가 있고, 제어 포인트들의 지리적 좌표들은 획득 및 기록될 필요가 있다. 교통 도로 상의 제어 포인트들은 일반적으로 교통 도로 상의 배경 객체의 샤프한 포인트이므로, 비디오 프레임에서 제어 포인트의 픽셀 위치는 직관적으로 획득될 수 있다. 예를 들어, 교통 마킹 라인의 직각 포인트, 화살표의 샤프한 포인트, 교통 도로 상의 그린벨트의 코너 포인트가 제어 포인트들로 사용된다. 제어 포인트들의 지리적 좌표들(경도, 위도, 및 고도)은 수동으로 수집될 수 있거나, 드론에 의해 수집될 수 있다. 교통 도로의 선택된 제어 포인트들은 적어도 3개의 제어 포인트들이 각각의 카메라의 시야각으로부터 관찰될 수 있도록 보장하기 위해 교통 도로에 고르게 분포될 필요가 있다. 선택될 제어 포인트들의 수량은 실제 상황에 따라 다르다.
S502: 각각의 카메라의 시야각에서의 비디오 프레임에서 수집된 제어포인트의 픽셀 좌표들을 획득한다.
교통 도로 상에 고정 배치된 각각의 카메라에 의해 촬영된 교통 도로의 비디오가 판독되고, 관찰 가능한 제어 포인트의 해당 픽셀 좌표들은 각각의 카메라에 의해 촬영된 임의의 비디오 프레임으로부터 획득된다. 픽셀 좌표들은 수동으로 획득될 수 있거나, 프로그램을 통해 획득될 수 있다. 예를 들어, 비디오 프레임에서 교통 도로 상의 제어 포인트의 해당 픽셀 좌표들은 코너 포인트 검출(corner point detection), 단시간 푸리에 변환 에지 추출 알고리즘(short-time Fourier transform edge extraction algorithm) 및 서브 픽셀 좌표 피팅 방법(sub-pixel coordinate fitting method)을 통해 획득된다. 적어도 3개의 제어 포인트들은 각각의 카메라로 촬영한 비디오에서 가시화되어야 한다. 구체적으로, 각각의 카메라로 촬영된 모든 비디오 프레임은 적어도 3개의 제어 포인트들에 대응하는 픽셀 좌표들을 포함해야 한다. 각각의 카메라의 촬영 각도에서의 비디오에서 제어 포인트의 픽셀 좌표들 및 지리적 좌표들은 단계(S501) 및 단계(S502)에서 수집될 수 있다.
S503: 제어 포인트의 지리적 좌표들 및 픽셀 좌표들에 기초하여 각각의 카메라의 시야각에서의 비디오 프레임과 물리적 세계 사이의 매핑 관계를 확립한다. 예를 들어, 픽셀 좌표들을 지리적 좌표들로 변환하기 위한 호모그래피 변환 매트릭스(homography transformation matrix)(H)는 호모그래피 변환 원리에 따라 계산될 수 있고, 호모그래피 변환 공식은 (m,n,h)=H*(x,y)이다. 각각의 카메라에 의해 촬영된 비디오 데이터에 대응하는 H 매트릭스는 단계들(S501 및 S502)에서 획득된 각각의 카메라의 촬영 각도에서의 비디오에서 적어도 3개의 제어 포인트들의 픽셀 좌표들(x, y)과 지리적 좌표들(m, n, h)에 기초한 계산을 통해 획득될 수 있다. 각각의 카메라에 의해 촬영한 비디오 데이터에 대응하는 H 매트릭스는 상이하다.
S504: 타깃의 픽셀 좌표들에 기초하여 타깃의 지리적 좌표들을 획득한다. 각각의 카메라에 의해 촬영된 비디오 데이터에 대응하는 H 행렬이 단계들(S501 내지 단계 S503)에서 획득된 후, 단계(S302)에서 획득된 타깃의 픽셀 좌표들은 타깃의 지리적 좌표들을 획득하기 위해 H 행렬에 기초하여 변환될 수 있다. 서로 다른 비디오 프레임들은 타깃의 복수의 해당 지리적 좌표들을 획득하기 위해 각각의 카메라에 대응하는 H 매트릭스에 기초하여 개별적으로 변환되는 것을 유의해야 한다.
단계들(S501 내지 S503)의 실행 시간은 단계(S504)의 실행 시간보다 늦지 않아야 하며, 특정 실행 시간은 제한되지 않는다는 것을 유의해야 한다. 예를 들어, 단계들(S501 내지 S503)은 디지털 시스템이 초기화될 때 수행될 수 있다.
선택적으로, 각각의 카메라의 시야각에서의 비디오 프레임과 물리적 세계 사이의 매핑 관계를 확립하는 방법은 추가로 비디오 프레임을 3차원 고화질 지도에 매핑하는 것, 각각의 카메라의 시야각에서의 비디오 프레임과 지도 사이의 매핑 관계를 계산하는 것과, 맵핑 관계에 기초하여 타깃의 지리적 좌표들과 타깃의 픽셀 좌표들을 획득하는 것일 수 있다. 구체적으로, 3차원 고화질 지도는 미리 획득되고, 카메라에 의해 촬영한 비디오 데이터에서 순간에 비디오 프레임이 기준으로 사용된다. 3차원 고화질 지도는 비디오 프레임의 내용과 3차원 고화질 지도 상에 제시된 부분이 일치하도록 변형(줌-인, 줌-아웃, 각도 이동 등)된다. 매칭 동안 비디오 프레임과 3차원 고화질 지도 사이의 매핑 관계가 계산된다. 본 방법에서, 각각의 카메라의 시야각에서의 비디오 프레임과 물리적 세계 사이의 매핑 관계는 자동 매칭 알고리즘과 투시 변환 원리(perspective transformation principle)를 통해 자동으로 획득된다.
다음은 도 8을 참조하여 단계(S304)에서 타깃 트랙킹 방법들의 예를 설명한다.
S601: 타깃 매칭을 수행한다. 현재 비디오 프레임에서 검출된 타깃은 위치 정보(즉, 비디오 프레임에서 타깃의 픽셀 좌표들), 유형 정보, 및 현재 비디오 프레임에서 검출된 타깃의 속성 정보와 같은 하나 이상의 데이터들에 기초하여 이전 순간에 비디오 프레임에서 타깃과 매칭된다. 예를 들어, 현재 비디오 프레임에서 타깃의 타깃 ID는 현재 비디오 프레임에서 타깃의 회귀 박스와 이전 순간에 비디오 프레임에서 타깃의 회귀 박스 사이의 오버랩 레이트(overlap rate)에 기초하여 결정된다. 현재 비디오 프레임에서 타깃의 회귀 박스와 이전 순간에 비디오 프레임에서 타깃의 회귀 박스 사이의 오버랩 레이트가 미리 설정된 문턱치(preset threshold)보다 클 때, 현재 순간에 타깃과 이전 순간에 타깃은 동일한 것으로 결정된다. 타깃에 대응하는 타깃 ID는 타깃 트랙 테이블(target track table)에서 발견되고, 해당 픽셀 좌표들이 기록된다. 단계(S601) 및 후속 단계는 현재 비디오 프레임에서 검출된 각각의 타깃에 대해 수행되는 것을 이해해야 한다.
S602: 현재 비디오 프레임에서 하나 이상의 타깃들이 단계(S601)에서 이전 순간에 비디오 프레임의 타깃과 일치하지 않을 때(다시 말해, 하나 이상의 타깃들이 이전 순간에 비디오 프레임에서 찾을 수 없음, 예를 들어, 모터 차량은 현재 순간에 카메라에 의해 촬영된 교통 교차로 영역에 바로 입력함), 하나 이상의 타깃들이 현재 순간에 교통 도로 상에 새롭게 추가된 타깃들인 것으로 결정되고, 새로운 타깃 ID는 타깃들에 대해 설정되며, 여기서, 타깃 ID는 타깃을 고유하게 식별하고, 타깃 ID와 현재 순간에 타깃 ID의 픽셀 좌표들은 타깃 트랙 테이블(target track table)에 기록된다.
S603: 이전 순간에 하나 이상의 타깃들이 단계(S601)에서 현재 순간에 비디오 프레임에서 타깃과 일치하지 않을 때(다시 말해, 이전 순간에 존재하는 타깃이 현재 순간에 찾을 수 없음, 예를 들어, 타깃은 현재 순간에 다른 타깃에 의해 부분적으로 또는 완전히 차단되거나, 타깃이 현재 순간에 카메라에 의해 촬영된 교통 도로 영역을 벗어남), 현재 순간에 비디오 프레임에서 타깃의 픽셀 좌표들은 타깃 트랙 테이블에 기록된 과거 순간에 타깃의 픽셀 좌표들에 기초하여 예측된다(예를 들어, 3-포인트 외삽 방법(three-point extrapolation method) 또는 트랙 피팅 알고리즘(track fitting algorithm)이 사용됨).
S604: 단계(S603)에서 예측된 타깃의 픽셀 좌표들에 기초하여 타깃의 존재 상태를 결정한다. 타깃의 예측된 픽셀 좌표들이 현재 비디오 프레임의 외부 또는 에지에 있을 때, 예측된 타깃은 현재 순간에 카메라의 촬영 각도에서 이미지를 벗어난 것으로 결정될 수 있다. 타깃의 예측된 픽셀 좌표들이 현재 비디오 프레임의 에지가 아닌 내부에 있을 때, 타깃은 현재 순간에 비디오 프레임에서 여전히 있는 것으로 결정된다.
S605: 단계(S604)에서, 예측된 타깃이 현재 순간에 카메라의 촬영 각도에서 이미지를 벗어난 것으로 결정될 때, 타깃 ID 및 타깃 ID에 대응하는 데이터를 타깃 트랙 테이블에서 삭제한다.
S606: 단계(S604)에서, 예측된 타깃이 현재 순간에 비디오 프레임에 여전히 있는 것으로 결정될 때, 타깃의 예측된 픽셀 좌표들을 타깃 트랙 테이블에 기록한다.
단계들(S601 내지 S605)은 각각의 카메라에 의해 촬영된 비디오 데이터에서 각각의 순간에 비디오 프레임에서 각각의 타깃에 대해 수행된다.
다음은 도 9를 참조하여 단계(S306)에서 디지털 모델링 방법을 구체적으로 설명한다.
S701: 타깃 모델링을 수행한다. 구체적으로, 타깃에 대응하는 3차원 모델은 단계들(S302 내지 S305)에서 획득된 타깃의 유형 정보(및 속성 정보의 일부 또는 전부)에 기초하여 프리셋 데이터베이스(preset database)를 검색함으로써 획득된다. 프리셋 데이터베이스는 많은 3차원 모델들을 포함하고, 데이터베이스의 각각의 3차원 모델은 3차원 모델에 대응하는 유형(및 속성)과 연관된다. 데이터베이스가 검색될 때 검색될 3차원 모델에 대응하는 유형(및 속성)은 유형(및 속성)에 대응하는 3차원 모델을 획득하기 위해 입력될 수 있다. 예를 들어, 모델링될 타깃의 경우, 단계(S305)에서 획득한 타깃의 분석된 타깃 ID는 001이고, 분석된 타깃 ID에 대응하는 타깃 유형은 모터 차량이고, 속성 정보 데이터의 색상은 빨간색이다. 따라서, 타깃에 대해서, 유형이 모터 차량이고 색상이 빨간색인 3차원 모델이 프리셋 데이터베이스에서 검색되고, 타깃과 연관된 3차원 모델은 모터 차량 및 빨간색을 입력 또는 선택함으로써 획득될 수 있다. 타깃에 대응하는 획득된 3차원 모델은, 단계(S305)에서 설정된, 분석된 타깃 ID와 연관되도록 설정되므로, 분석된 타깃 ID는 하나의 3차원 모델에 고유하게 대응된다.
선택적으로, 단계(S701)에서, 배경 객체 모델링은 또한 수행될 수 있다. 배경 객체의 유형에 대응하는 모델은 배경 객체의 검출된 유형에 기초하여 프리셋 배경 데이터베이스(preset background database)를 검색함으로써 획득된다. 프리셋 배경 데이터베이스와 전술한 데이터베이스는 동일한 데이터베이스일 수 있거나, 다른 데이터베이스일 수도 있다.
S702: 타깃 매핑을 수행한다. 각각의 타깃에 대응하는 분석된 타깃 ID에 대응하는 3차원 모델은 각각의 타깃의 분석된 지리적 좌표들에 기초하여 지도 상의 지리적 좌표들에 매핑된다. 구체적으로, 각각의 타깃의 분석된 지리적 좌표들은 하나의 좌표값(예를 들어, 타깃의 중심 포인트에 대응하는 분석된 지리적 좌표들)일 수도 있거나, 복수의 좌표값들(예를 들어, 타깃의 회귀 박스에 대응하는 분석된 지리적 좌표들)일 수 있다. 타깃에 대응하는 3차원 모델이 지도에 매핑될 때, 지도 상의 해당하는 3차원 모델의 위치는 타깃의 분석된 지리적 좌표들에 기초하여 결정되고, 이후에, 3차원 모델은 지도 상에 대응하는 위치에 매핑된다. 예를 들어, 타깃의 분석된 지리적 좌표들이 타깃의 회귀 박스의 위치인 경우, 타깃의 회귀 박스의 위치가 지도 상에 결정된 후, 해당하는 3차원 모델이 결정된 회귀 박스에 매핑된다.
선택적으로, 단계(S702)에서, 타깃의 자세가 타깃 매핑 동안 더 고려될 수 있다. 타깃의 자세는 타깃의 이동 방향을 나타낸다. 3차원 모델은 타깃의 자세에 기초하여 매핑되고, 타깃의 자세는 타깃의 방향, 예를 들어, 모터 차량의 헤드에 대응하는 방향 또는 보행자의 얼굴 방향이 된다. 타깃의 자세를 추정하는 많은 방법들이 있다. 이는 본 출원에서 제한되지 않는다. 예를 들어, 데이터 분석은, 물리적 세계에서 타깃의 분석된 이동 트랙을 획득하기 위해 단계(S304)에서 획득되고 복수의 비디오 프레임에서 타깃의 이동 트랙에 대해 동시에 수행될 수 있고, 분석된 이동 트랙의 접선 방향(tangential direction)은 타깃의 자세로 사용된다. 대안적으로, 다중-각도 이미지 검출 기술(multi-angle image detection technology)이 타깃의 자세를 결정하기 위해 사용될 수 있다. 타깃 매핑이 수행될 때, 타깃에 대응하는 3차원 모델은 타깃의 획득된 자세에 기초하여 매핑된다. 예를 들어, 회전하는 모터 차량의 경우, 모터 차량에 대응하는 3차원 모델의 몸체가 모터 차량의 획득된 트랙의 접선 방향에 기초하여 매핑되므로, 매핑된 3차원 모델은 모터 차량의 구동 방향을 디스플레이할 수 있다.
선택적으로, 단계(S702)에서, 배경 객체 매핑이 더 수행될 수 있다. 미리 획득된 지도가 배경 객체의 내용을 일부 또는 전부 포함하지 않을 때, 배경 객체에 대응하는 모델은 배경 객체의 검출된 지리적 좌표들에 기초하여 지도 상의 해당 위치에 매핑될 수 있다.
S703: 디지털 보기를 출력한다. 타깃 모델링 및 타깃 매핑 후에, 교통 도로 상의 순간에 타깃과 미리 획득된 지도는 교통 도로의 디지털 보기(도 9에 도시된 것처럼)를 형성하도록 결합된다. 획득된 디지털 보기 데이터는 디스플레이 디바이스에 송신되고, 디스플레이 디바이스는 교통 도로의 디지털 보기를 디스플레이한다.
선택적으로, 단계(S702 또는 S703)에서, 타깃에 대응하는 3차원 모델은 타깃의 획득된 속성 정보의 전부 또는 일부와 더 연관(타깃의 직접적인 속성 정보 또는 타깃의 간접적인 속성 정보를 포함)되고. 타깃의 속성 정보는 디스플레이 디바이스로 송신되므로, 타깃의 속성 정보는 디지털 지도 상의 각각의 타깃의 위치 근처에 디스플레이된다(또는 디스플레이 디바이스에 의해 송신된 명령어를 수신한 후에, 타깃의 속성 정보는 디스플레이 디바이스로 송신되므로, 디스플레이 디바이스는 타깃에 대응하는 속성 정보를 디스플레이한다.
단계(S301)는 교통 도로 상에 배치된 각각의 카메라에 의해 촬영된 비디오 데이터에 대해 실시간으로 연속적으로 수행되기 때문에, 단계들(S302 내지 S306)은 단계(S301)에서 서로 다른 순간들에서 획득된 비디오 프레임들에 대해 주기적으로 수행되므로, 디스플레이 디바이스에 의해 디스플레이되는 교통 도로의 디지털 보기에서 타깃의 위치 및 자세는 물리적 세계에서 교통 도로 상의 타깃의 변화와 함께 변경된다는 것을 유의해야 한다. 이러한 방식으로, 디지털 보기는 교통 도로의 현재 교통 상태(예를 들어, 각각의 교차로 방향의 각각의 교통 교차로에서의 교통 혼잡 및 각각의 타깃의 주행 상태)을 실시간으로 반영할 수 있다.
교통 도로의 디지털 보기의 애플리케이션
교통 도로에 대한 디지털 재구성 방법을 통해 획득된 디지털 보기는 전체 교통 도로의 교통 상황을 실시간으로 지속적으로 디스플레이할 수 있다. 디지털 보기는 디스플레이 디바이스에 의해 디스플레이될 수 있다. 사용자는 디스플레이 디바이스의 디스플레이 인터페이스에 대한 동작을 수행함으로써 디지털 보기의 디스플레이 각도를 변경할 수 있다. 구체적으로, 사용자는 서로 다른 시야각들로부터 교통 도로의 교통 상황을 관찰할 수 있다. 이러한 시야각들은 교통 도로에 배치된 카메라의 촬영 각도들과 서로 다를 수 있다. 예를 들어, 동쪽 시야각(East view angle), 서쪽 시야각(West view angle), 남쪽 시야각(South view angle), 북쪽 시야각(North view angle)에서 교차로의 비디오 데이터에 기초하여 확립된 디지털 보기는 위에서 보는 각도(overlook angle), 차량의 후방 각도, 경사 각도와 같은 시야각에서 교통 상황을 제공할 수 있다.
도 10은 교통 도로의 남서 방향으로 있고 디스플레이 디바이스에 디스플레이되는 위에서 보는 디지털 보기(overlooking digital view)의 그래픽 사용자 인터페이스 및 측면에서 보는 디지털 보기(side-looking digital view)의 그래픽 사용자 인터페이스를 도시한다. 도 10에 도시된 바와 같이, 사용자는 그래픽 사용자 인터페이스의 관리 창에서 시야각 조정 버튼(예를 들어, 시야각 조정 버튼은 평면도(Top view), 동쪽 체크포인트(East checkpoint), 서쪽 체크포인트(West checkpoint), 남쪽 체크포인트(South checkpoint) 및 북쪽 체크포인트(North checkpoint)를 포함함)을 클릭한다. 디지털 재구성 시스템은 시야각 조정 정보를 수신하여 디스플레이 디바이스에 시야각 조정 버튼에 대응하는 시야각에서 디지털 보기를 제공한다. 디스플레이 디바이스는 시야각 조정 버튼에 대응하는 시야각에서 디지털 보기를 디스플레이한다. 대안적으로, 디스플레이 디바이스는 디스플레이 스크린에 대한 사용자의 터치 조작을 수신하고, 터치 조작에 기초하여 임의의 시야각의 디지털 보기를 디스플레이할 수 있다. 도 11에 도시된 바와 같이, 디스플레이 디바이스 상의 디지털 보기의 그래픽 사용자 인터페이스는 트랙 디스플레이 버튼(Track display button)을 더 포함할 수 있다. 사용자는 트랙 디스플레이 버튼을 클릭하여 교통 도로의 일부 또는 모든 타깃들의 실시간 주행 트랙을 볼 수 있다. 도 11에서, 그래픽 사용자 인터페이스의 오른쪽에 있는 4개의 작은 그래프들은 교통 교차로의 4방향들에서 차량들의 실시간 주행 상태들을 추가로 디스플레이한다. 차량들의 주행 상태들은 서로 다른 색상들의 라인들에 의해 표현된다. 각각의 작은 그래프의 수평 좌표는 시간이고 수직 좌표는 차량의 구동 거리이다. 각각의 차량의 구동 속도는 각각의 차량에 대응하는 라인의 추세를 실시간으로 관찰함으로써 관찰될 수 있다.
도 10에 도시된 바와 같이, 디스플레이 디바이스에 디스플레이되는 교통 도로의 디지털 보기는 타깃의 3차원 모델과 관련된 타깃 속성 정보, 예를 들어, 모터 차량의 번호판, 모터 차량의 소유자 정보, 및 차량의 현재 구동 속도를 더 디스플레이할 수 있다. 타깃 속성 정보가 디스플레이되는지의 여부는 그래픽 사용자 인터페이스에서 사용자의 조작(예를 들어, 속성 정보가 디지털 보기에서 보여지는 타깃에 대응하는 3차원 모델을 클릭)에 의해 제어될 수 있거나, 디지털 재구성 시스템에 의해 자동으로 디스플레이될 수 있다.
도 10 및 도 11은 서로 다른 시야각들로부터 하나의 교통 교차로를 포함하는 교통 도로의 디지털 보기들의 예들을 단지 도시한다는 것을 이해해야 한다. 본 출원에 따라 획득된 디지털 보기는 복수의 교차로들 및 교통 경로들을 포함할 수 있다(예를 들어, 디지털 보기는 도시에 배치된 모든 카메라들에 의해 촬영된 영역의 교통 상태를 제시할 수 있음). 본 출원에서 제공되는 교통 도로에 대한 디지털 재구성 방법을 통해 획득된 디지털 보기는 작은 메모리를 차지하며 실시간 성능이 높으며, 다양한 애플리케이션 시나리오들에서 쉽게 사용될 수 있다.
디스플레이 디바이스는 교통 도로를 주행하는 차량의 차량-탑재형 디스플레이 디바이스일 수 있다. 차량 소유자는 디지털 보기를 통해, 차량이 구동 중인 교통 도로의 교통 상황(혼잡, 도로 조건, 랜 마킹 라인(lane marking line) 등을 포함)을 전역적으로 관찰할 수 있으며, 차량 소유자는 차량 소유자의 시야각으로부터 관찰할 수 없는 상황을 디지털 보기를 통해 관찰할 수 있다. 예를 들어, 큰 차량 몸체를 갖는 덤프트럭을 운전할 때, 운전자는 차량 몸체 주변에 사각 지대(blind area)를 갖게 된다. 이는 위험하기 쉽다. 운전자는, 디지털 보기를 통해, 운전자에 의해 관찰할 수 없는 사각 지대를 관찰하고 사각 지대의 위험한 상황을 적시에 처리하여 사고를 피할 수 있다.
디스플레이 디바이스는 대안적으로 관리 부서의 데스크탑 컴퓨터, 태블릿 컴퓨터, 휴대용 지능형 디스플레이 디바이스 등일 수 있다. 관리 부서 직원은 디지털 보기를 관찰함으로써 적시에 교통 상황을 관리 및 제어할 수 있다. 관리 직원은 디지털 보기에 디스플레이된 타깃 속성 정보에 기초하여 교통 도로 상의 타깃을 관리할 수 있다. 예를 들어, 디지털 보기에 디스플레이되는 차량의 속도가 도로의 최고 제한 속도보다 높은 경우, 관리 직원은 차량의 번호판 정보에 기초하여 차량의 소유자에게 포인트들을 차감하고 패널티들을 부과할 수 있다.
교통 도로의 디지털 재구성 시스템 및 디지털 보기의 그래픽 사용자 인터페이스는 다른 기능을 제공하기 위해 다른 모듈 또는 시스템과 결합될 수 있다. 예를 들어, 디지털 재구성 시스템과 디지털 보기의 그래픽 사용자 인터페이스는 신호등 관리 시스템과 결합된다. 디지털 재구성 시스템이 교통 교차로의 방향에서 체류 시간이 문턱치를 초과하는 모터 차량을 검출할 때, 디지털 재구성 시스템은 교통 신호등 관리 시스템에 요청 메시지를 보낸다. 교통 신호등 관리 시스템은 요청 메시지를 수신하고, 요청 메시지에 표시되는 교통 도로 상의 신호등을 조정(예들 들어, 혼잡 방향으로 신호등의 색상을 비교적 오랜 시간 동안 녹색으로 설정)하고, 교통 신호등 관리 시스템은 신호등 변경 메시지를 디지털 재구성 시스템에 송신한다. 디지털 재구성 시스템은 신호등 변경 메시지와 비디오 데이터의 교통 신호등의 변경에 기초하여 순간에 교통 도로의 디지털 보기를 재구성하므로, 그래픽 사용자 인터페이스에 디스플레이되는 디지털 보기의 교통 신호등은 또한 변경된다.
도 2를 참조한다. 본 출원은 디지털 재구성 시스템(100)을 제공한다. 시스템은 전술한 방법 실시예들에서 단계들(S301 내지 S306)(및 단계(S302)의 특정 구현 단계들(S401 내지 S404), 단계(S304)의 특정 구현 단계들(S601 내지 S606), 및 단계(S306)의 특정 구현 단계들(S701 내지 S703)을 수행하도록 구성된다. 또한, 시스템은 전술한 단계들에서 선택적 방법들을 선택적으로 수행한다. 시스템은 데이터 처리 서브시스템(120), 데이터 분석 서브시스템(140), 및 디지털 모델링 서브시스템(160)을 포함한다.
도 12에 도시된 바와 같이, 본 출원은 장치(800)를 제공한다. 장치는 교통 도로를 위한 디지털 재구성 방법을 수행하도록 구성된다. 장치에서 기능적 모듈들의 분할은 본 출원에서 제한되지 않는다. 다음은 기능 모듈들의 분할의 예를 제공한다.
장치(800)는 데이터 처리 모듈(801), 데이터 분석 모듈(802), 및 디지털 모델링 모듈(803)을 포함한다.
데이터 처리 모듈은 비디오 데이터를 획득하도록 구성된다. 비디오 데이터는 교통 도로에 배치된 카메라에 의해 촬영되고, 비디오 데이터는 교통 도로 상의 복수의 타깃들을 기록한다. 데이터 분석 모듈은 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하도록 구성된다. 디지털 모델링 모듈은 교통 도로의 디지털 보기를 확립하도록 구성된다. 디지털 보기는 복수의 모델들을 포함한다. 각각의 모델은 교통 도로 상의 각각의 타깃을 나타낸다. 디지털 보기의 각각의 모델은, 해당 모델에 해당하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행한다.
구체적으로, 일부 실시예들에서, 데이터 처리 모듈(801)은 단계들(S301 및 S302)(및 단계 S302의 특정 구현 단계들(S401 내지 S404))을 수행하고, 선택적으로 단계들에서 선택적 방법들을 수행하도록 구성된다.
데이터 분석 모듈(802)은 단계들(S303 내지 S305)(및 단계(S304)의 특정 구현 단계들(S601 내지 S606))을 수행하고, 선택적으로 단계들의 선택적 방법들을 수행하도록 구성된다.
디지털 모델링 모듈(803)은 단계 S306(및 단계(S306)의 특정 구현 단계들(S701 내지 S703))을 수행하고, 선택적으로 단계들에서 선택적 방법들을 수행하도록 구성된다.
3개의 모듈들은 통신 채널을 통해 서로 데이터를 통신할 수 있다. 장치(800)에 포함된 모듈들은 소프트웨어 모듈들일 수 있거나, 하드웨어 모듈들일 수 있거나, 모듈들 중 일부는 소프트웨어 모듈들이고 모듈들 중 일부는 하드웨어 모듈일 수 있다는 것을 이해해야 한다.
도 13에 도시된 바와 같이, 본 출원은 컴퓨팅 디바이스(900)를 더 제공한다. 컴퓨팅 디바이스(900)는 버스(901), 프로세서(902), 통신 인터페이스(903), 및 메모리(904)를 포함한다. 프로세서(902), 메모리(904), 및 통신 인터페이스(903)는 버스(901)을 통해 서로 통신한다.
프로세서는 중앙 처리 유닛(central processing unit, CPU)일 수 있다. 메모리는 휘발성 메모리(volatile memory), 예를 들어 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다. 메모리는 비휘발성 메모리(non-volatile memory), 예를 들어, 읽기 전용 메모리(read-only memory, ROM), 플래시 메모리, HDD 또는 SSD를 더 포함할 수 있다. 메모리는 실행 코드를 저장하고 프로세서는 실행 코드를 실행하여 교통 도로를 위한 디지털 재구성 방법을 수행한다. 메모리는 프로세스를 실행하는 데 필요한 운영 체제와 같은 다른 소프트웨어 모듈을 더 포함할 수 있다. 운영 체제는 LINUX™, UNIX™, WINDOWS™ 등일 수 있다.
컴퓨팅 디바이스(900)의 메모리는 장치(800)의 각각의 모듈에 대응하는 코드를 저장하고, 프로세서(902)는 장치(800)의 각각의 모듈의 기능을 구현하기 위해 코드를 실행하는데, 즉 S301 내지 S306의 방법을 수행한다. 컴퓨팅 디바이스(900)는 클라우드 환경에서의 컴퓨팅 디바이스 또는 에지 환경에서의 컴퓨팅 디바이스일 수 있다.
도 4에 도시된 바와 같이, 디지털 파노라마 재구성 시스템의 다양한 부분들은 서로 다른 환경에서 복수의 컴퓨팅 디바이스들 상에서 실행될 수 있다. 따라서, 본 출원은 복수의 컴퓨팅 디바이스들을 포함하는 컴퓨팅 디바이스 시스템을 더 제공한다. 도 14에 도시된 바와 같이, 컴퓨팅 디바이스 시스템은 복수의 컴퓨팅 디바이스들(1000)을 포함한다. 각각의 컴퓨팅 디바이스(1000)는 버스(1001), 프로세서(1002), 통신 인터페이스(1003), 및 메모리(1004)를 포함한다. 프로세서(1002), 메모리(1004), 및 통신 인터페이스(1003)는 버스(1001)를 통해 서로 통신한다. 통신 채널은 통신 네트워크를 통해 컴퓨팅 디바이스들(1000) 사이에 확립된다. 프로세서(1002)는 CPU일 수 있다. 메모리(1004)는 휘발성 메모리(volatile memory), 예를 들어, RAM을 포함할 수 있다. 메모리(1004)는 ROM, 플래시 메모리, HDD 또는 SSD와 같은 비휘발성 메모리를 더 포함할 수 있다. 메모리(1004)는 실행 코드를 저장하고, 프로세서(1002)는 실행 코드를 실행하여 교통 도로를 위한 디지털 재구성 방법의 일부를 수행한다. 메모리(1004)는 프로세스를 실행하는데 필요한 운영 체제와 같은 다른 소프트웨어 모듈을 더 포함할 수 있다. 운영 체제는 LINUX™, UNIX™, WINDOWS™ 등일 수 있다.
임의의 컴퓨팅 디바이스(1000)는 클라우드 환경에서의 컴퓨팅 디바이스, 에지 환경에서의 컴퓨팅 디바이스, 또는 터미널 환경에서의 컴퓨팅 디바이스일 수 있다. 예를 들어, 컴퓨팅 디바이스(1000)는 도 4에서 에지 컴퓨팅 디바이스(220) 또는 중앙 서버(240)일 수 있다.
일부 실시예들에서, 도 10 및 도 11을 디스플레이하도록 구성된 디스플레이 디바이스, 컴퓨팅 디바이스(900) 또는 복수의 컴퓨팅 디바이스들을 포함하는 컴퓨팅 디바이스 시스템은 하나의 시스템을 구성할 수 있다. 시스템은 디지털 보기를 컴퓨팅, 구성 및 디스플레이하는 통합 기능을 구현할 수 있으며, 복수의 애플리케이션 환경들에서 사용될 수 있다.
첨부된 도면들의 각각에 대응하는 절차에 대해 설명이 중점을 두고 있다. 절차에서 자세히 설명하지 않은 부분은 다른 절차에 대해 관련 설명을 참조한다.
전술한 실시예들의 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합을 통해 구현될 수 있다. 소프트웨어가 실시예들을 구현하는데 사용될 때, 실시예들의 전부 또는 일부는 컴퓨터 프로그램 제품의 형태로 구현될 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령어들을 포함한다. 컴퓨터 프로그램 명령어들이 컴퓨터에 로딩 및 실행될 때, 본 발명의 실시예들에 따른 절차 또는 기능들은 전부 또는 부분적으로 생성된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크, 또는 다른 프로그램 가능한 장치일 수 있다. 컴퓨터 명령어들은 컴퓨터-판독 가능한 저장 매체에 저장될 수 있거나, 컴퓨터-판독 가능한 저장 매체에서 다른 컴퓨터-판독 가능한 저장 매체로 전송될 수 있다. 예를 들어, 컴퓨터 명령어들은 웹사이트, 컴퓨터, 서버, 또는 데이터 센터로부터 유선(예를 들어, 동축 케이블, 광섬유, 또는 디지털 가입자 라인) 또는 무선(예를 들어, 적외선, 라디오(radio) 또는 마이크로파) 방식으로 다른 웹사이트, 컴퓨터, 서버, 또는 데이터 센터로 전송될 수 있다. 컴퓨터-판독 가능한 저장 매체는 컴퓨터가 액세스할 수 있는 모든 사용 가능한 매체이거나, 하나 이상의 사용 가능한 매체를 통합한 서버 또는 데이터 센터와 같은 데이터 저장 디바이스일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프), 광 매체(예를 들어, DVD), 또는 반도체 매체(예를 들어, SSD)일 수 있다.
Claims (39)
- 교통 도로를 위한 디지털 재구성 방법으로서,
비디오 데이터를 획득하는 단계 - 상기 비디오 데이터는 교통 도로 상에 배치된 카메라에 의해 촬영되고, 상기 비디오 데이터는 교통 도로 상의 복수의 타깃들을 기록함 -;
상기 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙(running track)을 결정하는 단계; 및
상기 교통 도로의 디지털 보기(digital view)를 확립하는 단계 - 상기 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 상기 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행함 -
을 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항에 있어서,
상기 방법은,
상기 비디오 데이터에 기초하여 각각의 타깃의 유형 정보를 결정하는 단계 - 이에 따라, 상기 디지털 보기의 상이한 모델들은 상이한 유형의 타깃들에 대응함 -
를 더 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항 또는 제2항에 있어서,
상기 교통 도로 상에 배치된 복수의 카메라들이 있고, 상기 복수의 카메라들 중 서로 다른 카메라들에 의해 수집되는 비디오 데이터의 시야각들(view angles)은 상이한,
교통 도로를 위한 디지털 재구성 방법. - 제1항 또는 제3항에 있어서,
상기 방법은,
상기 디지털 보기를 디스플레이하거나 상기 디지털 보기를 디스플레이 장치로 송신하는 단계 - 디스플레이된 디지털 보기의 시야각은 비디오 데이터의 시야각과 동일하거나 상이함 -
을 더 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 방법은,
각각의 타깃의 속성 정보를 획득하는 단계 - 상기 디지털 보기는 각각의 타깃의 속성 정보를 더 포함함 -
을 더 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제5항에 있어서,
상기 교통 도로 상의 타깃은 차량일 수 있고, 상기 타깃의 속성 정보는, 차량의 색상, 차량의 번호판 번호, 차량의 모델, 차량의 주행 속도, 차량 소유자 식별 정보, 및 차량 등록 및 유지 보수 정보 중 하나 이상의 정보들을 포함하는,
교통 도로를 위한 디지털 재구성 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 비디오 데이터는 최초 순간(first moment)에서의 비디오 데이터를 포함하고;
상기 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계는,
최초 순간에 비디오 데이터에 기초하여, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들을 결정하는 단계; 및
상기 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들과 최초 순간 이전의 교통 도로 상의 각각의 타깃의 지리적 좌표들에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하는 단계
를 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 방법은 상기 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 각각의 타깃의 자세를 결정하는 단계 - 상기 디지털 보기의 각각의 모델은, 해당 모델에 대응하는 교통 도로 상의 타깃의 주행 트랙 및 자세에 기초하여 주행함 -
을 더 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 방법은,
상기 비디오 데이터에 기초하여 교통 도로 상의 배경 객체를 인식하는 단계 - 상기 디지털 보기는 상기 교통 도로 상의 배경 객체를 나타내는 모델을 더 포함함 -
을 더 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 방법은,
교통 도로의 지도를 획득하는 단계를 더 포함하고,
상기 교통 도로의 디지털 보기를 확립하는 단계는,
각각의 타깃에 대응하는 모델을 획득하는 단계와, 상기 교통 도로의 디지털 보기를 획득하기 위해, 상기 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 상기 교통 도로의 지도에 각각의 타깃에 대응하는 모델을 매핑하는 단계
를 포함하는, 교통 도로를 위한 디지털 재구성 방법. - 교통 도로의 디지털 보기를 제공하는 방법으로서,
제1 시야각으로부터 교통 도로의 디지털 보기를 사용자에게 제시하는 단계 - 상기 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행하고, 상기 교통 도로 상의 각각의 타깃의 주행 트랙은 교통 도로 상의 카메라에 의해 촬영된 비디오 데이터에 기초하여 계산을 통해 획득됨 -;
사용자에 의해 송신된 시야각 조정 정보를 수신하는 단계 - 상기 시야각 조정 정보는 제2 시야각으로부터 디지털 보기를 관찰하도록 요청하기 위해 사용됨 -; 및
시야각 조정 정보에 기초하여 제2 시야각으로부터 디지털 보기를 사용자에게 제시하는 단계
를 포함하는, 교통 도로의 디지털 보기를 제공하는 방법. - 제11항에 있어서,
상기 디지털 보기의 상이한 모델들은 상이한 유형의 타깃들에 대응하는,
교통 도로의 디지털 보기를 제공하는 방법. - 제11항 또는 제12항에 있어서,
상기 방법은,
타깃의 속성 정보를 사용자에게 제시하는 단계 - 상기 타깃의 속성 정보는 디지털 보기에서 타깃에 대응하는 모델과 연관됨 -
을 더 포함하는 교통 도로의 디지털 보기를 제공하는 방법. - 제13항에 있어서,
상기 타깃의 속성 정보를 사용자에게 제시하는 단계는, 구체적으로,
상기 사용자의 명령어 정보를 수신하는 단계; 및
상기 사용자의 명령어 정보에 기초하여, 제1 시야각으로부터 교통 도로의 디지털 보기에서 타깃의 속성 정보를 디스플레이하는 단계
를 포함하는, 교통 도로의 디지털 보기를 제공하는 방법. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 방법은 상기 디지털 보기에서 상기 복수의 모델들의 주행 트랙들을 상기 사용자에게 제시하는 단계
를 더 포함하는, 교통 도로의 디지털 보기를 제공하는 방법. - 제11항 내지 제15항 중 어느 한 항에 있어서,
상기 디지털 보기는 교통 도로 상의 배경을 더 포함하고, 상기 배경은 교통 도로 상의 마킹 라인 및 교통 도로 주변의 객체를 포함하는,
교통 도로의 디지털 보기를 제공하는 방법. - 제11항 내지 제16항 중 어느 한 항에 있어서,
상기 교통 도로는 복수의 교차로들을 포함하고, 상기 교통 도로의 디지털 보기는 각각의 교차로 및 각각의 교차로에서 주행하는 타깃에 대응하는 모델을 일관성 있게 제시하는,
교통 도로의 디지털 보기를 제공하는 방법. - 그래픽 사용자 인터페이스 시스템으로서,
교통 도로의 디지털 보기를 디스플레이하도록 구성된 디지털 보기 창(digital view window)- 상기 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 상기 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행함 -;
사용자에 의해 선택 가능한 버튼을 포함하는 관리 창(management window) - 상기 사용자에 의해 선택 가능한 버튼은 시야각 조정 버튼을 포함하고, 상기 시야각 조정 버튼이 사용자에 의해 선택된 후, 디지털 보기 창은 시야각 조정 버튼에 대응하는 시야각으로부터 교통 도로의 디지털 보기를 디스플레이함 -
을 포함하는, 그래픽 사용자 인터페이스 시스템. - 제18항에 있어서,
상기 디지털 보기에서 상이한 모델들은 상이한 유형의 타깃들에 대응하는,
그래픽 사용자 인터페이스 시스템. - 제18항 또는 제19항에 있어서,
상기 디지털 보기는 타깃의 속성 정보를 더 포함하고, 상기 타깃의 속성 정보는 상기 타깃에 대응하는 모델과 연관되는,
그래픽 사용자 인터페이스 시스템. - 제18항 내지 제20항 중 어느 한 항에 있어서,
상기 디지털 보기는 각각의 모델의 주행 트랙을 더 포함하고, 각각의 모델의 주행 트랙은 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 획득되는,
그래픽 사용자 인터페이스 시스템. - 제18항 내지 제21항 중 어느 한 항에 있어서,
상기 사용자에 의해 선택 가능한 버튼은 트랙 디스플레이 버튼을 더 포함하고, 상기 트랙 디스플레이 버튼이 사용자에 의해 선택된 후, 상기 디지털 보기 창은 각각의 모델의 주행 트랙을 디스플레이하는,
그래픽 사용자 인터페이스 시스템. - 제21항 또는 제22항에 있어서,
상기 각각의 모델의 주행 트랙은 미래 순간(future moment)에 각각의 모델의 주행 경로를 포함하는,
그래픽 사용자 인터페이스 시스템. - 제18항 내지 제23항 중 어느 한 항에 있어서,
상기 디지털 보기는 교통 도로 상의 배경을 더 포함하고, 상기 배경은 교통 도로 상의 마킹 라인 및 교통 도로 주변의 객체를 포함하는,
그래픽 사용자 인터페이스 시스템. - 제18항 내지 제24항 중 어느 한 항에 있어서,
상기 교통 도로는 복수의 교차로들을 포함하고, 상기 교통 도로의 디지털 보기는 각각의 교차로 및 각각의 교차로에서 주행하는 타깃에 대응하는 모델을 일관성 있게 제시하는,
그래픽 사용자 인터페이스 시스템. - 장치로서,
비디오 데이터를 획득하도록 구성된 데이터 처리 모듈 - 상기 비디오 데이터는 교통 도로에 배치된 카메라에 의해 촬영되고, 상기 비디오 데이터는 교통 도로 상의 복수의 타깃을 기록함 -;
상기 비디오 데이터에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하도록 구성된 데이터 분석 모듈; 및
상기 교통 도로의 디지털 보기를 확립하도록 구성된 디지털 모델링 모듈로서, 상기 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 상기 디지털 보기의 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행함 -
을 포함하는 장치. - 제26항에 있어서,
상기 데이터 처리 모듈은 상기 비디오 데이터에 기초하여 각각의 타깃의 유형 정보를 결정하도록 더 구성되고, 이에 따라, 상기 디지털 보기의 상이한 모델들은 상이한 유형의 타깃들에 대응하는,
장치. - 제26항 또는 제27항에 있어서,
상기 교통 도로 상에 배치된 복수의 카메라들이 있고, 상기 복수의 카메라들 중 서로 다른 카메라들에 의해 수집되는 비디오 데이터의 시야각들은 상이한,
장치. - 제26항 내지 제28항 중 어느 한 항에 있어서,
상기 디지털 모델링 모듈은 상기 디지털 보기를 디스플레이하거나 상기 디지털 보기를 디스플레이 장치로 송신하도록 더 구성되고, 디스플레이된 디지털 보기의 시야각은 비디오 데이터의 시야각과 동일하거나 상이한,
장치. - 제26항 내지 제29항 중 어느 한 항에 있어서,
상기 데이터 처리 모듈은 각각의 타깃의 속성 정보를 획득하도록 더 구성되고, 상기 디지털 보기는 각각의 타깃의 속성 정보를 더 포함하는,
장치. - 제30항에 있어서,
상기 교통 도로 상의 타깃은 차량일 수 있고, 상기 타깃의 속성 정보는, 차량의 색상, 차량의 번호판 번호, 차량의 모델, 차량의 주행 속도, 차량 소유자 식별 정보, 및 차량 등록 및 유지 보수 정보 중 하나 이상의 정보들을 포함하는,
장치. - 제26항 내지 제31항 중 어느 한 항에 있어서,
상기 비디오 데이터는 최초 순간에 비디오 데이터를 포함하고;
상기 데이터 분석 모듈은 구체적으로, 최초 순간에 비디오 데이터에 기초하여, 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들을 결정하고, 상기 최초 순간에 교통 도로 상의 각각의 타깃의 지리적 좌표들과 최초 순간 이전의 교통 도로 상의 각각의 타깃의 지리적 좌표들에 기초하여 교통 도로 상의 각각의 타깃의 주행 트랙을 결정하도록 구성되는,
장치. - 제26항 내지 제32항 중 어느 한 항에 있어서,
상기 데이터 처리 모듈은 상기 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 각각의 타깃의 자세를 결정하도록 더 구성되고, 상기 디지털 보기의 각각의 모델은, 해당 모델에 대응하는 교통 도로 상의 타깃의 주행 트랙 및 자세에 기초하여 주행하는,
장치. - 제26항 내지 제33항 중 어느 한 항에 있어서,
상기 데이터 처리 모듈은 상기 비디오 데이터에 기초하여 교통 도로 상의 배경 객체를 인식하도록 더 구성되고, 상기 디지털 보기는 상기 교통 도로 상의 배경 객체를 나타내는 모델을 더 포함하는,
장치. - 제26항 내지 제34항 중 어느 한 항에 있어서,
상기 디지털 모델링 모듈은 구체적으로, 교통 도로의 지도를 획득하고, 각각의 타깃에 대응하는 모델을 획득하며, 상기 교통 도로의 디지털 보기를 획득하기 위해, 상기 교통 도로 상의 각각의 타깃의 주행 트랙에 기초하여 상기 교통 도로의 지도에 각각의 타깃에 대응하는 모델을 매핑하도록 구성되는,
장치. - 디스플레이 디바이스로서,
상기 디스플레이 디바이스는 수신 모듈 및 디스플레이 모듈을 포함하고,
상기 디스플레이 모듈은 제1 시야각으로부터 교통 도로의 디지털 보기를 사용자에게 제시하도록 구성되고, 상기 디지털 보기는 복수의 모델들을 포함하고, 각각의 모델은 교통 도로 상의 각각의 타깃을 나타내고, 각각의 모델은, 해당 모델에 대응하고 교통 도로 상에 있는 타깃의 주행 트랙에 기초하여 주행하고, 상기 교통 도로 상의 각각의 타깃의 주행 트랙은 교통 도로 상의 카메라에 의해 촬영된 비디오 데이터에 기초하여 계산을 통해 획득되고,
상기 수신 모듈은 사용자에 의해 송신된 시야각 조정 정보를 수신하도록 구성되고, 상기 시야각 조정 정보는 제2 시야각으로부터 디지털 보기를 관찰하도록 요청하기 위해 사용되며,
상기 디스플레이 모듈은 시야각 조정 정보에 기초하여 제2 시야각으로부터 디지털 보기를 사용자에게 제시하도록 구성되는,
디스플레이 디바이스. - 컴퓨팅 디바이스로서,
상기 컴퓨팅 디바이스는 프로세서 및 메모리를 포함하고, 상기 메모리는 컴퓨터 명령어를 저장하고, 상기 프로세서는 상기 컴퓨터 명령을 실행하여, 상기 컴퓨팅 디바이스가 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는,
컴퓨팅 디바이스. - 컴퓨터-판독 가능한 저장 매체로서,
상기 컴퓨터-판독 가능한 저장 매체는 컴퓨터 프로그램 코드를 저장하고, 상기 컴퓨터 프로그램 코드가 컴퓨팅 디바이스에 의해 실행될 때, 상기 컴퓨팅 디바이스는 제1항 내지 제17항 중 어느 한 항에 따른 방법을 수행하는,
컴퓨터-판독 가능한 저장 매체. - 제36항에 따른 디스플레이 디바이스 및 제37항에 따른 컴퓨팅 디바이스를 포함하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNPCT/CN2019/082768 | 2019-04-15 | ||
| PCT/CN2019/082768 WO2020210960A1 (zh) | 2019-04-15 | 2019-04-15 | 交通道路的数字化全景重建的方法和系统 |
| PCT/CN2020/080277 WO2020211593A1 (zh) | 2019-04-15 | 2020-03-19 | 交通道路的数字化重建方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210140766A true KR20210140766A (ko) | 2021-11-23 |
Family
ID=72837653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217034958A KR20210140766A (ko) | 2019-04-15 | 2020-03-19 | 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3940666A4 (ko) |
| JP (1) | JP7278414B2 (ko) |
| KR (1) | KR20210140766A (ko) |
| CN (1) | CN115004273A (ko) |
| WO (2) | WO2020210960A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113554871B (zh) * | 2021-07-19 | 2023-03-21 | 联想(北京)有限公司 | 一种车联网数据的处理方法及电子设备 |
| CN114743382B (zh) * | 2022-06-13 | 2022-10-28 | 浙江大云物联科技有限公司 | 基于智慧灯杆系统的车辆违章行为识别方法和装置 |
| CN117710893B (zh) * | 2023-12-25 | 2024-05-10 | 上海盛煌智能科技有限公司 | 一种多维度数字画像智慧校园数字化系统 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06215294A (ja) * | 1993-01-13 | 1994-08-05 | Mitsubishi Electric Corp | 交差点情報伝達装置 |
| JP2000306192A (ja) * | 1999-04-20 | 2000-11-02 | Matsushita Electric Ind Co Ltd | 交通情報提供システム |
| DE10257963A1 (de) * | 2002-12-12 | 2004-07-08 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen |
| JP2008040667A (ja) * | 2006-08-03 | 2008-02-21 | Denso Corp | 画像処理装置およびプログラム |
| CN1995917B (zh) * | 2006-12-21 | 2011-05-18 | 深圳市凯立德科技股份有限公司 | 一种电子地图俯视角度显示控制方法、装置及设备 |
| JP4893945B2 (ja) * | 2007-02-06 | 2012-03-07 | 株式会社デンソー | 車両周辺監視装置 |
| JP5022135B2 (ja) * | 2007-07-31 | 2012-09-12 | 三菱重工業株式会社 | 交通状態表示装置 |
| CN102903238B (zh) * | 2012-06-21 | 2016-08-24 | 刘伟 | 一种道路交通状况展现系统及其方法 |
| CN102819954B (zh) * | 2012-08-28 | 2014-11-12 | 南京大学 | 交通区域动态地图监控预测系统 |
| JP5890294B2 (ja) * | 2012-10-29 | 2016-03-22 | 日立マクセル株式会社 | 映像処理システム |
| CN103236160B (zh) * | 2013-04-07 | 2015-03-18 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测系统 |
| JP5976237B2 (ja) * | 2013-12-26 | 2016-08-23 | 株式会社日立国際電気 | 映像検索システム及び映像検索方法 |
| CN104243578B (zh) * | 2014-09-12 | 2018-08-14 | 北京诺亚星云科技有限责任公司 | 基于数字全景的本地化信息呈现与交互系统及设备 |
| CN104301673B (zh) * | 2014-09-28 | 2017-09-05 | 北京正安维视科技股份有限公司 | 一种基于视频分析的实时车流分析与全景可视方法 |
| EP3104357A1 (en) * | 2015-06-09 | 2016-12-14 | Kapsch TrafficCom AG | A device for detecting vehicles on a traffic area |
| CN105407278A (zh) * | 2015-11-10 | 2016-03-16 | 北京天睿空间科技股份有限公司 | 一种全景视频交通态势监控系统及方法 |
| CN105513391A (zh) * | 2016-01-19 | 2016-04-20 | 吉林大学 | 一种基于车路协同技术的车载虚拟道路状态显示系统 |
| CN205334746U (zh) * | 2016-01-19 | 2016-06-22 | 吉林大学 | 一种基于车路协同技术的车载虚拟道路状态显示系统 |
| CN105679043A (zh) * | 2016-04-14 | 2016-06-15 | 中国电子科技集团公司第三十八研究所 | 一种3d雷达智能卡口系统及其处理方法 |
| CN106652448A (zh) * | 2016-12-13 | 2017-05-10 | 山姆帮你（天津）信息科技有限公司 | 基于视频处理技术的公路交通状态监测系统 |
| CN106710240B (zh) * | 2017-03-02 | 2019-09-27 | 公安部交通管理科学研究所 | 融合多目标雷达与视频信息的通行车辆跟踪测速方法 |
| CN107133559B (zh) * | 2017-03-14 | 2019-11-08 | 湖北工业大学 | 基于360度全景的运动物体检测方法 |
| CN107731005B (zh) * | 2017-10-17 | 2020-01-07 | 海豚大数据网络科技(深圳)有限公司 | 一种基于云计算的利用幻影成像的车载警示系统 |
| CN108922188B (zh) * | 2018-07-24 | 2020-12-29 | 河北德冠隆电子科技有限公司 | 雷达跟踪定位的四维实景交通路况感知预警监控管理系统 |
| CN109459750B (zh) * | 2018-10-19 | 2023-05-23 | 吉林大学 | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 |
-
2019
- 2019-04-15 WO PCT/CN2019/082768 patent/WO2020210960A1/zh active Application Filing
-
2020
- 2020-03-19 EP EP20791246.0A patent/EP3940666A4/en active Pending
- 2020-03-19 JP JP2021561008A patent/JP7278414B2/ja active Active
- 2020-03-19 CN CN202080028800.8A patent/CN115004273A/zh active Pending
- 2020-03-19 WO PCT/CN2020/080277 patent/WO2020211593A1/zh unknown
- 2020-03-19 KR KR1020217034958A patent/KR20210140766A/ko not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| EP3940666A1 (en) | 2022-01-19 |
| WO2020210960A1 (zh) | 2020-10-22 |
| EP3940666A4 (en) | 2022-05-04 |
| JP7278414B2 (ja) | 2023-05-19 |
| JP2022529337A (ja) | 2022-06-21 |
| CN115004273A (zh) | 2022-09-02 |
| WO2020211593A1 (zh) | 2020-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11443555B2 (en) | Scenario recreation through object detection and 3D visualization in a multi-sensor environment | |
| US10817731B2 (en) | Image-based pedestrian detection | |
| US10708548B2 (en) | Systems and methods for video analysis rules based on map data | |
| KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
| CN110174093B (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
| US10657391B2 (en) | Systems and methods for image-based free space detection | |
| Guido et al. | Evaluating the accuracy of vehicle tracking data obtained from Unmanned Aerial Vehicles | |
| US20200401617A1 (en) | Visual positioning system | |
| Collins et al. | Algorithms for cooperative multisensor surveillance | |
| US10740964B2 (en) | Three-dimensional environment modeling based on a multi-camera convolver system | |
| Barmpounakis et al. | How accurate are small drones for measuring microscopic traffic parameters? | |
| TW202001786A (zh) | 用於更新高度自動化駕駛地圖的系統和方法 | |
| US11333517B1 (en) | Distributed collection and verification of map information | |
| US20220044558A1 (en) | Method and device for generating a digital representation of traffic on a road | |
| CN112955900B (zh) | 智能视频监控系统和方法 | |
| KR20210140766A (ko) | 교통 도로를 위한 디지털 재구성 방법, 장치 및 시스템 | |
| CN113064135B (zh) | 在3d雷达点云连续帧数据中检测障碍物的方法及装置 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| US11025865B1 (en) | Contextual visual dataspaces | |
| US20190311209A1 (en) | Feature Recognition Assisted Super-resolution Method | |
| US11055894B1 (en) | Conversion of object-related traffic sensor information at roadways and intersections for virtual dynamic digital representation of objects | |
| Busch et al. | Lumpi: The leibniz university multi-perspective intersection dataset | |
| Bai et al. | Cyber mobility mirror: Deep learning-based real-time 3d object perception and reconstruction using roadside lidar | |
| Börcs et al. | Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner | |
| CN110930507A (zh) | 一种基于三维地理信息的大场景跨境头目标追踪方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |