KR20240019763A - 이미지 및 메시지 정보를 이용한 오브젝트 검출 - Google Patents
이미지 및 메시지 정보를 이용한 오브젝트 검출 Download PDFInfo
- Publication number
- KR20240019763A KR20240019763A KR1020237040813A KR20237040813A KR20240019763A KR 20240019763 A KR20240019763 A KR 20240019763A KR 1020237040813 A KR1020237040813 A KR 1020237040813A KR 20237040813 A KR20237040813 A KR 20237040813A KR 20240019763 A KR20240019763 A KR 20240019763A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- target object
- tracking
- messages
- bounding box
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 claims abstract description 100
- 238000004891 communication Methods 0.000 claims description 103
- 230000015654 memory Effects 0.000 claims description 42
- 238000010801 machine learning Methods 0.000 claims description 22
- 239000002245 particle Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000013459 approach Methods 0.000 abstract description 11
- 238000013528 artificial neural network Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 38
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 30
- 230000008054 signal transmission Effects 0.000 description 18
- 238000012549 training Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000001816 cooling Methods 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
- H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
오브젝트 검출 및 추적을 수행하기 위한 기법들이 개시된다. 일부 구현들에서, 오브젝트 검출 및 추적을 수행하기 위한 방법이 제공된다. 상기 방법은 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하는 단계, 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하는 단계, 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하는 단계, 및 이미지로부터 서브-이미지를 추출하는 단계를 포함할 수 있다. 일부 접근들에서, 방법은, 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하는 단계를 더 포함할 수 있다. 시스템들 및 머신 판독가능 매체들이 또한 제공된다.
Description
본 개시의 양태들은 일반적으로 오브젝트 검출 및 추적에 관한 것이다. 일부 구현들에서, 하나 이상의 메시지들에 포함된 이미지들 및 정보에 기반하여 오브젝트 검출 및 추적을 수행하기 위한 예들이 설명된다.
오브젝트 검출 및 추적은 (예를 들어, 디지털 이미지 또는 비디오 클립의 비디오 프레임으로부터) 오브젝트를 식별하고 시간에 따라 오브젝트를 추적하는데 사용될 수 있다. 오브젝트 검출 및 추적은 많은 것들 중에서도 운반, 비디오 분석, 보안 시스템, 로보틱스, 항공을 포함하는 상이한 분야들에서 사용될 수 있다. 일부 필드들에서, 추적 오브젝트는 추적 오브젝트가 환경을 정확하게 내비게이팅할 수 있도록 환경 내의 다른 오브젝트들 (예를 들어, 타겟 오브젝트들) 의 포지션들을 결정할 수 있다. 정확한 모션 및 궤적 계획 결정들을 하기 위해, 추적 오브젝트는 또한 포즈 (예를 들어, 포지션 및 배향을 포함함) 및 크기와 같은 다양한 타겟 오브젝트 특성들을 추정하는 능력을 가질 수 있다.
다음은, 본 명세서에 개시된 하나 이상의 양태들에 관한 간략화된 개요를 제시한다. 따라서, 다음의 개요는 모든 고려된 양태들에 관한 광범위한 개관으로 간주되지도 않아야 하고, 다음의 개요가 모든 고려된 양태들에 관한 핵심적인 또는 중요한 엘리먼트들을 식별하거나 임의의 특정 양태와 연관된 범위를 기술하는 것으로 간주되지도 않아야 한다. 따라서, 다음의 개요는 아래에 제시된 상세한 설명에 선행하는 간략화된 형태로 본 명세서에 개시된 메커니즘들에 관한 하나 이상의 양태들에 관한 소정의 개념들을 제시하기 위한 유일한 목적을 갖는다.
오브젝트 검출 및 추적을 수행하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들이 개시된다. 적어도 하나의 예에 따르면, 오브젝트 검출 및 추적을 수행하기 위한 장치가 제공된다. 이 장치는 적어도 하나의 메모리 및 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서 (예를 들어, 회로부에서 구현됨) 를 포함할 수 있다. 적어도 하나의 프로세서는, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하고; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하며; 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하도록 구성된다.
다른 예에서, 오브젝트 검출 및 추적을 수행하기 위한 방법이 제공된다. 상기 방법은, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하는 단계; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하는 단계; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하는 단계; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하는 단계; 및 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하는 단계를 포함한다.
다른 예에서, 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 비일시적 컴퓨터 판독가능 저장 매체는, 컴퓨터 또는 프로세서로 하여금, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하고; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하며; 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하게 하는 적어도 하나의 명령을 포함한다.
다른 예에서, 오브젝트 검출 및 추적을 수행하기 위한 장치가 제공된다. 상기 장치는, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하기 위한 수단; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하기 위한 수단; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하기 위한 수단; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하기 위한 수단; 및 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하기 위한 수단을 포함한다.
일부 양태들에서, 장치는 차량 (예컨대, 차량의 컴퓨터 시스템내의 하나 이상의 컴포넌트들 또는 칩들), 모바일 디바이스 (예컨대, 모바일 전화기 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 웨어러블 디바이스, 확장 현실 디바이스 또는 시스템 (예컨대, 가상 현실 (VR) 디바이스, 증강 현실 (AR) 디바이스, 또는 혼합 현실 (MR) 디바이스), 개인용 컴퓨터, 랩탑 컴퓨터, 서버 컴퓨터, 로보틱스 디바이스 또는 시스템, 항공 시스템 또는 다른 디바이스이거나 또는 이들의 일부이다. 일부 양태들에서, 장치는 하나 이상의 이미지들을 캡처하기 위한 카메라 또는 다중의 카메라들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 이미지들, 통지들, 및/또는 다른 디스플레이가능 데이터를 디스플레이하기 위한 디스플레이를 더 포함한다. 일부 양태에서, 전술한 장치는 장치의 위치, 장치의 상태 (예를 들어, 추적 상태, 온도, 습도 수준, 및/또는 다른 상태) 를 결정하기 위해 및/또는 다른 목적을 위해 사용될 수 있는 하나 이상의 센서를 포함할 수 있다.
본 명세서에 개시된 양태들과 연관된 다른 목적들 및 이점들은 첨부 도면들 및 상세한 설명에 기반하여 당업자에게 명백할 것이다.
첨부 도면들은 본 개시의 다양한 양태들의 설명을 돕기 위해 제시되고 양태들의 예시를 위해 제공될 뿐 그의 한정을 위해 제공되는 것이 아니다.
도 1 은 일부 예들에 따른, 도로에서 주행하는 다수의 차량들을 도시하는 이미지이다.
도 2 는 일부 예들에 따른, 오브젝트들의 크기들, 포지션들, 및 배향들을 결정하기 위한 시스템의 예를 도시하는 블록도이다.
도 3 은 본 개시의 양태들에 따른, 차량의 컴퓨팅 시스템의 예를 도시하는 블록도이다.
도 4 는 일부 예들에 따른, 오브젝트 검출 및 추적이 타겟 오브젝트 상의 추적 오브젝트에 의해 수행되는 디스플레이를 도시하는 개념도이다.
도 5a ~ 도 5c 는 일부 예들에 따른, 오브젝트 좌표계로부터 카메라 좌표계로의 좌표 변환들의 예를 도시하는 다이어그램들이다.
도 5d 는 일부 예들에 따른, 오브젝트 좌표계 상의 3 차원 포인트의 이미지 상의 2 차원 포인트로의 투영의 예를 도시하는 다이어그램이다.
도 5e 는 일부 예들에 따른, 이미지 상의 2 차원 포인트의 카메라 좌표계로의 역투영의 예를 도시하는 다이어그램이다.
도 6 은 일부 예들에 따른, 다수의 이미지들에 걸쳐 수행되는 오브젝트 검출 및 추적 프로세스를 도시한다.
도 7 은 일부 예들에 따른, 심층 신경망의 예를 도시하는 블록도이다.
도 8 은 일부 예들에 따른, Cifar-10 신경망의 예를 도시하는 다이어그램이다.
도 9a ~ 도 9c 는 일부 예들에 따른, 단일-샷 (single-shot) 오브젝트 검출기의 예를 도시하는 다이어그램이다.
도 10a ~ 도 10c 는 일부 예들에 따른, YOLO (you only look once) 검출기의 예를 도시하는 다이어그램이다.
도 11 은 일부 예들에 따른, 본 명세서에 설명된 기법들을 사용하여 오브젝트 검출 및 추적을 수행하기 위한 프로세스의 예를 도시하는 흐름도이다.
도 12 는 일부 예들에 따른, 본 명세서에 설명된 기술의 일부 양태들을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 디바이스의 블록도이다.
도 1 은 일부 예들에 따른, 도로에서 주행하는 다수의 차량들을 도시하는 이미지이다.
도 2 는 일부 예들에 따른, 오브젝트들의 크기들, 포지션들, 및 배향들을 결정하기 위한 시스템의 예를 도시하는 블록도이다.
도 3 은 본 개시의 양태들에 따른, 차량의 컴퓨팅 시스템의 예를 도시하는 블록도이다.
도 4 는 일부 예들에 따른, 오브젝트 검출 및 추적이 타겟 오브젝트 상의 추적 오브젝트에 의해 수행되는 디스플레이를 도시하는 개념도이다.
도 5a ~ 도 5c 는 일부 예들에 따른, 오브젝트 좌표계로부터 카메라 좌표계로의 좌표 변환들의 예를 도시하는 다이어그램들이다.
도 5d 는 일부 예들에 따른, 오브젝트 좌표계 상의 3 차원 포인트의 이미지 상의 2 차원 포인트로의 투영의 예를 도시하는 다이어그램이다.
도 5e 는 일부 예들에 따른, 이미지 상의 2 차원 포인트의 카메라 좌표계로의 역투영의 예를 도시하는 다이어그램이다.
도 6 은 일부 예들에 따른, 다수의 이미지들에 걸쳐 수행되는 오브젝트 검출 및 추적 프로세스를 도시한다.
도 7 은 일부 예들에 따른, 심층 신경망의 예를 도시하는 블록도이다.
도 8 은 일부 예들에 따른, Cifar-10 신경망의 예를 도시하는 다이어그램이다.
도 9a ~ 도 9c 는 일부 예들에 따른, 단일-샷 (single-shot) 오브젝트 검출기의 예를 도시하는 다이어그램이다.
도 10a ~ 도 10c 는 일부 예들에 따른, YOLO (you only look once) 검출기의 예를 도시하는 다이어그램이다.
도 11 은 일부 예들에 따른, 본 명세서에 설명된 기법들을 사용하여 오브젝트 검출 및 추적을 수행하기 위한 프로세스의 예를 도시하는 흐름도이다.
도 12 는 일부 예들에 따른, 본 명세서에 설명된 기술의 일부 양태들을 구현하는데 사용될 수 있는 예시적인 컴퓨팅 디바이스의 블록도이다.
본 개시의 특정 양태들 및 실시형태들이 예시 목적을 위해 이하에 제공된다. 대안적인 양태들이 본 개시의 범위로부터 일탈함 없이 고안될 수도 있다. 추가적으로, 본 개시의 잘 알려진 엘리먼트들은 본 개시의 관련 상세들을 모호하게 하지 않기 위해 상세히 설명되지 않거나 또는 생략될 것이다. 이들 양태들 및 실시형태들 중 일부는 독립적으로 적용될 수도 있고, 그들 중 일부는 당업자에게 명백할 바와 같이 조합하여 적용될 수도 있다. 다음의 설명에 있어서, 설명의 목적들로, 특정 상세들이 본 출원의 실시형태들의 철저한 이해를 제공하기 위해 기술된다. 하지만, 여러 실시형태들은 이들 특정 상세들 없이 실시될 수도 있음이 명백할 것이다. 도면 및 설명은 제한하려는 것이 아니다.
다음의 설명은 오직 예시적인 실시양태들을 제공할 뿐이고, 본 개시의 범위, 적용가능성, 또는 구성을 한정하도록 의도되지 않는다. 오히려, 예시적인 실시양태들의 다음의 설명은 예시적인 실시양태를 구현하기 위한 실시 가능한 설명을 당업자에게 제공할 것이다. 첨부된 청구항들에 제시된 바와 같은 본 출원의 사상 및 범위로부터 일탈함없이 엘리먼트들의 기능 및 배열에서 다양한 변경들이 이루어질 수도 있음이 이해되어야 한다.
용어 "예시적인" 및/또는 "예" 는 본 명세서에서 "예, 실례, 또는 예시로서 기능하는 것" 을 의미하는데 사용된다. 본 명세서에서 "예시적인" 및/또는 "예" 로서 설명된 임의의 양태는 반드시 다른 양태들에 비해 유리하거나 또는 바람직한 것으로서 해석될 필요는 없다. 마찬가지로, 용어 "본 개시의 양태들" 은 본 개시의 모든 양태들이 논의된 특징, 이점 또는 동작 모드를 포함할 것을 요구하지는 않는다.
오브젝트 검출은 이미지 또는 프레임에서 오브젝트를 검출 또는 식별하는데 사용될 수 있다. 오브젝트 추적은 시간에 따라 검출된 오브젝트를 추적하기 위해 수행될 수 있다. 예를 들어, 오브젝트의 이미지가 획득될 수 있고, 이미지 내의 하나 이상의 오브젝트들을 검출하기 위해 이미지에 대해 오브젝트 검출이 수행될 수 있다. 일부 경우들에서, 오브젝트를 검출하기 위해 사용되는 오브젝트 검출기는 검출된 오브젝트를 오브젝트의 클래스 또는 카테고리로 분류할 수 있다. 오브젝트 검출기는 이미지에서 오브젝트의 위치를 식별하기 위해 바운딩 영역을 생성할 수 있다. 일부 경우들에서, 바운딩 영역은 디스플레이를 보는 사용자에게 오브젝트를 식별하기 위해 이미지에 디스플레이될 수 있다. (예를 들어, 하나 이상의 심층 신경망을 사용하는) 기계 학습 기반 오브젝트 검출기들을 포함하는 다양한 유형의 시스템들이 오브젝트 검출을 위해 사용될 수 있다.
오브젝트 검출 및 추적은, 다른 시스템들 중에서도, 구동 시스템들, 비디오 분석, 보안 시스템들, 로보틱스 시스템들, 항공 시스템들, 확장 현실 (XR) 시스템들 (예를 들어, 증강 현실 (AR) 시스템들, 가상 현실 (VR) 시스템들, 혼합 현실 (MR) 시스템들 등) 에서 사용될 수 있다. 이러한 시스템들에서, 환경 내의 다른 오브젝트들 (타겟 오브젝트들로 지칭됨) 을 추적하는 오브젝트 (추적 오브젝트들로 지칭됨) 는 다른 오브젝트들의 포지션들 및 크기들을 결정할 수 있다. 환경 내의 타겟 오브젝트들의 포지션들 및 크기들을 결정하는 것은 추적 오브젝트가 지능형 모션 계획 및 궤적 계획 결정들을 행함으로써 환경을 정확하게 내비게이팅할 수 있게 한다.
전술한 바와 같이, 기계 학습 모델들 (예를 들어, 심층 신경망들) 은 일부 경우들에서 오브젝트 검출 및 로컬화를 수행하기 위해 사용될 수 있다. 기계 학습 기반 오브젝트 검출은 계산 집약적일 수 있고, 다른 어려움들 중에서 검출 속도가 높은 우선순위인 맥락들에서 구현하기 어려울 수 있다. 예를 들어, 기계 학습 기반 오브젝트 검출은 추적 오브젝트 (예를 들어, 추적 또는 자차) 로부터 상이한 거리들에서 타겟 오브젝트들 (예를 들어, 타겟 차량들) 을 캡처하기 위해 (암시적으로 또는 명시적으로) 다양한 스케일들로 그리고 통상적으로 전체 이미지 상에서 실행될 때 계산 집약적일 수 있다. 뉴럴 네트워크 기반 오브젝트 검출기에 의해 고려될 수 있는 다수의 스케일들의 예들이 도 9a ~ 도 9c 및 도 10a ~ 도 10c 에 도시되고 그에 대해 아래에서 설명된다. 추가로, 다양한 스케일들에서 오브젝트들을 검출할 수 있도록, 기계 학습 기반 오브젝트 검출기들은 (계산적으로 그리고 시간 집약적일 수 있는) 많은 양의 주석이 달린 데이터로 트레이닝된다. 더욱이, 기계 학습 기반 오브젝트 검출은 타겟 오브젝트 (예를 들어, 타겟 차량) 가 이미지에서 가시적이고 다른 오브젝트들 (예를 들어, 차량을 폐색하는 대형 트럭과 같은) 또는 장애물들에 의해 폐색되지 않는 경우에만 작동할 수 있다.
일부 경우들에서, 오브젝트들은 수신된 메시지들에 기반하여 검출될 수 있다. 예를 들어, 추적 차량은 무선 채널을 통해 수신된 메시지들을 사용하여 타겟 차량에 대한 바운딩 박스를 결정함으로써 추적 차량에 대한 타겟 차량의 포지션을 결정할 수 있다. 예를 들어, 메시지들은 셀룰러 차량-대-모든 것 (V2X 또는 C-V2X), 전용 단거리 통신 (DSRC) 메시지들, 및/또는 다른 타입들의 무선 메시지들일 수 있다. 그러한 접근법은 계산적으로 효율적이고 폐색들에 의해 영향을 받지 않는 장점이 있다. 그러나, 메시지 기반 접근법은 정확하지 않다는 단점이 있다. 예를 들어, 추적 및 타겟 오브젝트들 (예를 들어, 추적 및 타겟 차량들) 둘 모두의 글로벌 포지션 추정들은 1 미터 (m) 와 같은 특정 불확실성 또는 에러들을 가질 수 있어서, 최대 2 m (추적 오브젝트에 대해 1 m 및 타겟 오브젝트에 대해 1 m) 의 상대 포지션 추정 에러들을 초래한다. 이러한 예에서, 이미지 상의 계산된 바운딩 박스는 최대 절반만큼 타겟을 벗어날 수 있으며, 이는 추적 오브젝트의 조작자 (예를 들어, 차량의 운전자) 에게 눈에 띄고 잠재적으로 오인할 것이다.
오브젝트 검출 및 추적을 개선하기 위한 솔루션들을 제공하는 시스템들, 장치들, 프로세스들 (방법들), 및 컴퓨터 판독가능 매체들 (집합적으로 "시스템들 및 기법들" 로 지칭됨) 이 본 명세서에 설명된다. 본 명세서에 설명된 시스템들 및 기법들은, 다른 것들 중에서도, 빠른 검출들이 필요한 시나리오들, 컴퓨팅 리소스들이 제한되는 시나리오들과 같은 임의의 시나리오에 적용될 수 있다. 일부 양태들에서, 오브젝트 검출 (예를 들어, 기계 학습 (ML) 기반 오브젝트 검출 또는 다른 유형의 오브젝트 검출) 은 이미지들의 선택된 영역들, 예를 들어, 타겟 오브젝트를 포함할 것으로 알려진 (또는 가능성이 높은) 이미지의 영역에 대해 수행된다. 이러한 선택 이미지 영역들에 대한 검출 동작들을 제한함으로써, 검출 속도 및 정확도가 개선될 수 있는 한편, 계산 오버헤드도 감소시킬 수 있다.
일부 접근법들에서, 추적 오브젝트 (예를 들어, 추적 차량) 의 검출 및 추적 시스템은 타겟 오브젝트 (예를 들어, 타겟 차량) 를 포함하는 이미지들을 수신하거나 획득할 수 있다. 검출 및 추적 시스템은 오브젝트 검출 및 추적 프로세스를 수행하기 위해 이미지들을 사용할 수 있다. 일부 예들에서, 검출 및 추적 시스템은 타겟 차량 (또는 타겟 오브젝트) 으로부터 추적 차량 (또는 추적 오브젝트) 에 의해 무선으로 수신되는 하나 이상의 메시지들을 수신할 수 있다. 검출 및 추적 시스템은 하나 이상의 메시지들의 세트에 포함된 정보에 기반하여 타겟 오브젝트에 대한 바운딩 박스를 결정할 수 있다 (여기서 메시지들의 세트는 하나의 메시지 또는 다수의 메시지들을 포함할 수 있음). 일부 구현들에서, 메시지들은 V2X (vehicle-to-everything), DSRC, 및/또는 타겟 오브젝트의 모션 파라미터들 및/또는 포즈 파라미터들을 표시하는 정보를 포함하는 다른 타입들의 무선 메시지들일 수 있다 (또는 포함할 수 있다). 예로서, 타겟 차량으로부터 추적 차량에 의해 수신된 V2X 및/또는 DSRC 메시지들은 타겟 차량의 속도, 크기 및/또는 포즈 (예를 들어, 3 차원 (3D) 포지션 및 3D 배향) 를 나타내는 정보를 포함할 수 있다. 일부 구현들에서, 수신된 메시지들은 위도, 경도, 및/또는 포지션 불확실성 추정들과 같은 다양한 타입들의 포지셔닝 정보를 포함할 수 있다. 본 명세서에 예시된 몇몇 예들이 수신된 V2X 및/또는 DSRC 메시지들의 맥락에서 논의되지만, 포지셔닝 및/또는 불확실성 정보는 다른 수단을 사용하여 수신 (또는 도출) 될 수 있다는 것이 이해된다. 예를 들어, 위도, 경도 및/또는 불확실성 정보는 개시된 기술의 범위를 벗어나지 않고 사실상 임의의 포지션 또는 위치 결정 기술을 사용하여 결정될 수 있다.
하나의 예시적인 예에서, 타겟 차량은 지구-중심, 지구-고정 (ECEF) 레퍼런스 프레임과 같은 글로벌 레퍼런스 프레임에 대해 표현된 타겟 차량의 크기, 포지션, 배향 및 속도 추정들을 포함하는 V2X 및/또는 DSRC 메시지를 추적 차량에 무선으로 송신할 수 있다. 포지션, 배향 및 속도 추정들은 GPS (Global Positioning System) 수신기 또는 트랜시버, GNSS (Global Navigation Satellite System) 수신기 또는 트랜시버, 및/또는 다른 수신기 또는 트랜시버를 사용하여 수신된 정보에 기반하여 GPS, GNSS, 및/또는 다른 위치-기반 추정을 사용하여 결정되거나 획득될 수 있다. 추적 차량은 동일한 글로벌 레퍼런스 프레임에 대해 그 자신의 포지션 및 배향 추정을 결정할 수 있다. 추적 오브젝트 및 타겟 오브젝트의 위치 및 배향을 사용하여, 추적 오브젝트의 검출 및 추적 시스템은 추적 차량의 본체 레퍼런스 프레임에 대한 타겟 차량의 상대 포지션을 계산할 수 있다.
일부 예들에서, 추적 오브젝트의 검출 및 추적 시스템은 바운딩 박스를 결정할 때 (예를 들어, 수신된 메시지들의 세트 내의 정보에 기반하여) 하나 이상의 인자들을 고려할 수 있다. 하나 이상의 인자들은 타겟 오브젝트와 연관된 포즈 추정 (예를 들어, 3D 배향 및/또는 포지션), 타겟 오브젝트와 연관된 사이즈 또는 사이즈 추정, 추적 오브젝트에 대한 포즈 추정, 및/또는 타겟 및/또는 추적 오브젝트들에 대한 포즈 추정들과 연관된 불확실성 (또는 에러) 을 포함할 수 있다. 일부 접근법들에서, 추적 오브젝트 및/또는 타겟 오브젝트에 대한 포즈 추정들은 추적 및/또는 타겟 오브젝트들 중 어느 하나 (또는 둘 모두) 의 포지션 및/또는 배향을 추정하는 것에 대응하는 불확실성 측정들과 연관될 수 있다. 예로서, 포지션 또는 위치 추정들은 GPS, GNSS, 및/또는 다른 위치-기반 추정을 사용하여 이루어진 것들과 같은 지리적 위치 측정들에 기반할 수 있다. 이러한 측정들은 바운딩 박스 결정들을 행할 때 고려될 수 있는 알려진 불확실성들 및/또는 결정가능한 측정 에러들을 포함할 수 있다. 이와 같이, 추적 오브젝트의 검출 및 추적 시스템은 전술한 포지션 추정 불확실성 측정들을 고려하기 위해 타겟 오브젝트에 대해 결정된 바운딩 박스의 크기를 결정할 수 있다. 예를 들어, 수신된 메시지들 (예를 들어, V2X, DSRC 및/또는 다른 타입의 메시지들) 에 포함된 크기 및/또는 포즈 정보에 기반하여 결정된 초기 바운딩 박스 크기는 포즈 추정의 불확실성에 기반하여 증가될 수 있다. 추정 불확실성에 기반하여 바운딩 박스를 결정하거나 크기 재설정하는 것은 계산된 바운딩 박스 내에 있는 이미지의 영역이 타겟 오브젝트를 포함한다는 높은 통계적 신뢰도를 초래할 수 있다.
일부 양태들에서, 검출 및 추적 시스템은 서브-이미지를 생성하거나 형성하기 위해 (예를 들어, 추정 불확실성에 기반하여 바운딩 박스 크기를 결정하거나 증가시킨 후에) 결정된 바운딩 박스 내의 이미지 영역을 추출하거나 잘라낼 수 있다. 검출 및 추적 시스템은 추출된 서브-이미지를 사용하여 (예를 들어, 오브젝트 검출 모델을 사용하여) 타겟 오브젝트의 정확한 위치를 식별할 수 있다. 일부 양태들에서, 검출 및 추적 시스템은 (예를 들어, 서브-이미지를 스케일링함으로써) 서브-이미지를 특정 폭 및/또는 높이로 전처리할 수 있다. 일부 경우들에서, 서브-이미지가 스케일링되는 폭 및/또는 높이는 서브-이미지에 대한 오브젝트 검출을 수행하는데 사용될 수 있는 검출 모델의 입력 구성과 상응한다. 예로서, 검출 및 추적 시스템은 심층 신경망과 같은 기계 학습 (ML) 기반 분류기인 (또는 포함하는) 오브젝트 검출 모델의 입력 계층에 대응하는 미리 결정된 차원 (예를 들어, 미리 결정된 폭 및/또는 미리 결정된 높이를 갖는) 으로 서브 이미지를 스케일링할 수 있다. 이어서, 검출 및 추적 시스템의 오브젝트 검출 모델은 이미지 내의 오브젝트의 포지션 및/또는 위치를 검출하기 위해 스케일링된 이미지에 대해 오브젝트 검출을 수행할 수 있다. 일부 경우들에서, 오브젝트 검출 모델은 이미지 내의 오브젝트의 위치 또는 포지션을 나타내는 최종 바운딩 박스를 생성할 수 있다. 일부 예들에서, 오브젝트 검출 모델은 바운딩 박스를 출력하거나 또는 그렇지 않으면 바운딩 박스로 하여금 디스플레이 상에 (예를 들어, 디스플레이를 포함하는 디지털 미러와 같은 차량의 디지털 디스플레이 상에) 디스플레이되게 할 수 있다.
일부 경우들에서, 검출 및 추적 시스템은 (예를 들어, 오브젝트 추적기를 사용하여) 시간에 따른 타겟 오브젝트의 위치를 (예를 들어, 오브젝트가 검출된 이미지 또는 프레임에 후속하는 하나 이상의 이미지들 또는 프레임들에서) 추적할 수 있다. 다양한 오브젝트 추적기들이 사용될 수 있지만, 원하는 구현에 따라, 일부 예들에서, 오브젝트 추적기는 칼만 필터, 확장 칼만 필터, 입자 필터, 이들의 임의의 조합, 및/또는 다른 오브젝트 추적기일 수 있다 (또는 이들을 포함할 수 있다). 오브젝트 추적은, 예를 들어 추적 오브젝트에 의해 수신되는, 예를 들어, 카메라, 광 검출 및 레인징 (LiDAR) 센서, 및/또는 추적 오브젝트의 레이더 센서와 같은 이미지 캡처 디바이스에 의해 캡처되는 다수의 연속적인 이미지들 (또는 프레임들) 에 걸쳐 수행될 수 있다.
오브젝트 추적은 (예를 들어, 오브젝트가 검출된 이미지에 후속하는 하나 이상의 이미지들에서 오브젝트에 대한 업데이트된 바운딩 박스를 디스플레이함으로써) 타겟 오브젝트의 위치 및/또는 포즈의 변화들을 표시하기 위해 추적 오브젝트의 디스플레이 디바이스 (예를 들어, 디지털 미러) 와 같은 디스플레이를 업데이트하는데 사용될 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 검출 및 추적 시스템은 타겟 오브젝트에 의해 송신된 하나 이상의 메시지들 (예를 들어, V2X 및/또는 DSRC 메시지들) 을 통해 추적 오브젝트에 의해 수신되는 속도 및/또는 포즈 정보를 사용하여 연속적인 이미지들에 걸쳐 오브젝트 추적을 수행할 수 있다.
오브젝트들 및 타겟 오브젝트들을 추적하는 예시적인 예들로서 차량들을 사용하여 예들이 본 명세서에서 설명된다. 그러나, 당업자는 본 명세서에 설명된 시스템들 및 관련 기법들이 하나 이상의 이미지들에서 임의의 타입의 오브젝트들을 검출 및/또는 추적하기 위해 임의의 다른 시스템 또는 디바이스에 포함되고 그에 의해 수행될 수 있다는 것을 인식할 것이다. 본 명세서에 설명된 기법들을 수행할 수 있거나 수행하기 위한 컴포넌트들을 포함할 수 있는 다른 시스템들의 예들은, 다른 시스템들 중에서도, 로보틱스 시스템들, 확장 현실 (XR) 시스템들 (예를 들어, 증강 현실 (AR) 시스템들, 가상 현실 (VR) 시스템들, 혼합 현실 (MR) 시스템들 등), 비디오 분석, 보안 시스템들, 항공 시스템들을 포함한다. 검출될 수 있는 다른 타입의 오브젝트들의 예들은, 다른 것들 중에서도, 사람들 또는 보행자들, 기반시설 (예를 들어, 도로, 표지판 등) 을 포함한다. 하나의 예시적인 예에서, 추적 차량은 하나 이상의 이미지들에서 보행자 또는 기반시설 오브젝트 (예를 들어, 도로 표지판) 를 검출하기 위해 본 명세서에 설명된 기법들 중 하나 이상을 수행할 수 있다.
일부 예들에서, 시스템들 및 기법들은 차량의 운전자에게 차량을 둘러싼 환경의 방해받지 않는 뷰를 제공하기 위해 차량에 장착된 하나 이상의 외향 카메라들로부터 캡처된 이미지들을 조합하는 차량 상의 하나 이상의 디지털 디스플레이 미러들 (예를 들어, 후방-뷰 및 측면-뷰 미러들) 에 사용될 수 있다. 예를 들어, 시스템들 및 기법들은 추가 정보를 미러 상에 중첩시키기 위해 미러 상에 디스플레이된 이미지를 디지털 방식으로 수정할 수 있다. 예를 들어, 시스템들 및 기법들은 디지털 디스플레이 미러에 의해 디스플레이되는 환경의 일부에서 하나 이상의 타겟 차량들, 도로 오브젝트들 및/또는 차량을 둘러싸는 다른 정보를 하이라이팅하거나 그렇지 않으면 식별하는 정보 (예를 들어, 하나 이상의 바운딩 박스들) 를 디스플레이할 수 있다. 그러한 정보는 차량을 조종할 때 (예를 들어, 차선 변경, 합류 등 동안) 운전자에게 유용할 수 있다.
본 출원의 다양한 양태들이 도면들과 관련하여 설명될 것이다. 도 1 은 도로를 주행하는 수많은 차량들을 포함하는 환경을 도시하는 이미지 (100) 이다. 차량들은 (추적 오브젝트의 예로서) 추적 차량 (102), 타겟 차량 (104), 타겟 차량 (106), 및 (예를 들어, 추적 오브젝트의 예들로서) 타겟 차량 (108) 을 포함한다. 추적 차량 (102) 은 환경을 내비게이팅하기 위해 타겟 차량들 (104, 106 및 108) 을 추적할 수 있다. 예를 들어, 추적 차량 (102) 은 언제 감속하고, 속도를 높이고, 차선을 변경하고, 및/또는 일부 다른 기능을 수행할지를 결정하기 위해 타겟 차량 (104) 의 위치 및 크기를 결정할 수 있다. 차량 (102) 은 추적 차량 (102) 으로서 지칭되고 그리고 차량들 (104, 106, 및 108) 은 도 1 과 관련하여 추적 차량으로 지칭되는 반면, 차량들 (104, 106, 및 108) 은, 또한 이들이 다른 차량들을 추적하고 이 다른 차량들이 타겟 차량들이 되는 경우 그리고 그러할 때 추적 차량들로 지칭된다.
도 2 는 차량 (204) 의 차량 컴퓨팅 시스템 (250) 의 예를 도시하는 블록도이다. 차량 (204) 은 Uu 인터페이스를 통해 네트워크 (예를 들어, eNB, gNB, 포지셔닝 비콘, 위치 측정 유닛 및/또는 다른 네트워크 엔티티) 와 통신할 수 있고 PC5 인터페이스 (또는 다른 디바이스 대 디바이스 직접 인터페이스) 를 통해 V2X 통신을 사용하여 다른 UE 와 통신할 수 있는 UE 의 예이다. 도시된 바와 같이, 차량 컴퓨팅 시스템 (250) 은 적어도 전력 관리 시스템 (251), 제어 시스템 (252), 인포테인먼트 시스템 (254), 지능형 수송 시스템 (ITS) (255), 하나 이상의 센서 시스템 (256), 및 통신 시스템 (258) 을 포함할 수 있다. 일부 경우에, 차량 컴퓨팅 시스템 (250) 은 하나 이상의 CPU (central processing unit), DSP (digital signal processor), ASIC (application specific integrated circuit), FPGA (Field Programmable Gate Array), AP (Application Processor), GPU (Graphics Processing Unit), VPU (Vision Processing Unit), NSP (Neural Network Signal Processor), 마이크로컨트롤러, 전용 하드웨어, 이들의 조합 및/또는 다른 프로세싱 디바이스 또는 시스템와 같은 임의의 유형의 프로세싱 디바이스 또는 시스템을 포함할 수 있거나 이들을 사용하여 구현될 수 있다.
제어 시스템 (252) 은 차량 (204), 전력 관리 시스템 (251), 컴퓨팅 시스템 (250), 인포테인먼트 시스템 (254), ITS (255), 및/또는 차량 (204) 의 하나 이상의 다른 시스템 (예를 들어, 제동 시스템, 조향 시스템, ITS (255) 외의 안전 시스템, 객실 시스템 및/또는 다른 시스템) 의 하나 이상의 동작을 제어하도록 구성될 수 있다. 예를 들어, 차량 시스템 (252) 은 하나 이상의 전자 제어 유닛 (ECU) 을 포함할 수 있다. ECU 는 차량에 있는 전기 시스템 또는 서브시스템 중 하나 이상을 제어할 수 있다. 제어 시스템 (252) 의 일부로 포함될 수 있는 특정 ECU 의 예는 다른 것들 중에서도, 엔진 제어 모듈 (ECM), 파워트레인 제어 모듈 (PCM), 변속기 제어 모듈 (TCM), 제동 제어 모듈 (BCM), 중앙 제어 모듈 (CCM), 중앙 타이밍 모듈 (CTM) 을 포함한다. 일부 경우에, 제어 시스템 (252) 은 하나 이상의 센서 시스템 (256) 으로부터 센서 신호를 수신할 수 있고 차량 (204) 을 동작시키기 위해 차량 컴퓨팅 시스템 (250) 의 다른 시스템과 통신할 수 있다.
차량 컴퓨팅 시스템 (250) 은 또한 전력 관리 시스템 (251) 을 포함한다. 일부 구현에서, 전력 관리 시스템 (251) 은 전력 관리 집적 회로 (PMIC), 대기 배터리, 및/또는 다른 컴포넌트를 포함할 수 있다. 일부 경우에, 차량 컴퓨팅 시스템 (250) 의 다른 시스템은 하나 이상의 PMIC, 배터리 및/또는 다른 컴포넌트를 포함할 수 있다. 전력 관리 시스템 (251) 은 컴퓨팅 시스템 (250) 및/또는 차량의 다른 부분을 위한 전력 공급을 관리하는 것과 같은 차량 (204) 을 위한 전력 관리 기능을 수행할 수 있다. 예를 들어, 전력 관리 시스템 (251) 은, 차량의 엔진 시동을 거는 것에 기초한 것과 같은 전력 변동을 고려하여 안정적인 전력 공급을 제공할 수 있다. 다른 예에서, 전력 관리 시스템 (251) 은 주위 및/또는 트랜지스터 접합 온도를 체킹하는 것에 의한 것과 같은 열적 모니터링 동작을 수행할 수 있다. 다른 예에서, 전력 관리 시스템 (251) 은, 다른 기능들 중에서도, 냉각 시스템 (예를 들어, 하나 이상의 팬, 공조 시스템 등) 으로 하여금 차량 컴퓨팅 시스템 (250) 의 특정 컴포넌트 (예컨대, 하나 이상의 ECU 와 같은 제어 시스템 (252)) 를 냉각하게 하는 것, 차량 컴퓨팅 시스템 (250) 의 특정 기능성을 셧다운하는 것 (예컨대, 하나 이상의 디스플레이를 셧 오프하는 것과 같이 인포테인먼트 시스템 (254) 을 제한하는 것, 무선 네트워크로부터 접속 해제하는 것 등) 과 같은, 소정 온도 수준을 검출하는 것에 기초하여 특정 기능을 수행할 수 있다.
차량 컴퓨팅 시스템 (250) 은 통신 시스템 (258) 을 더 포함한다. 통신 시스템 (258) 은 네트워크로부터 (예를 들어, Uu 인터페이스를 통한 gNB 또는 다른 네트워크 엔티티) 및/또는 다른 UE 로부터 (예를 들어, PC5 인터페이스, WiFi 인터페이스, BluetoothTM 인터페이스 및/또는 다른 무선 및/또는 유선 인터페이스를 통한 다른 차량 또는 UE 로) 신호를 수신하고 이들로 신호를 송신하기 위한 소프트웨어 및 하드웨어 컴포넌트 둘 다를 포함할 수 있다. 예를 들어, 통신 시스템 (258) 은 임의의 적합한 무선 네트워크 (예를 들어, 3G 네트워크, 4G 네트워크, 5G 네트워크, WiFi 네트워크, BluetoothTM 네트워크 및/또는 다른 네트워크) 를 통해 무선으로 정보를 송신 및 수신하도록 구성된다. 통신 시스템 (258) 은 OEM (Original Equipment Manufacturer) 가입자 식별 모듈 (SIM 또는 SIM 카드라고 함) (260), 사용자 SIM (262) 및 모뎀 (264) 을 포함하는, 무선 통신 기능성을 수행하는 데 사용되는 다양한 컴포넌트 또는 디바이스를 포함한다. 차량 컴퓨팅 시스템 (250) 이 2 개의 SIM 및 1 개의 모뎀을 갖는 것으로 도시되어 있지만, 컴퓨팅 시스템 (250) 은 일부 구현에서 임의의 수의 SIM (예를 들어, 하나의 SIM 또는 2 개보다 많은 SIM) 및 임의의 수의 모뎀 (예를 들어, 하나의 모뎀, 2 개의 모뎀, 또는 2 개보다 많은 모뎀) 을 가질 수 있다.
SIM 은 특정 가입자 또는 사용자의 IMSI (International Mobile Subscriber Identity) 번호 및 관련 키 (예: 암호화-복호화 키) 를 보안적으로 저장할 수 있는 디바이스 (예: 집적 회로) 이다. IMSI 및 키는 특정 UE 에서 가입자를 식별하고 인증하는데 사용될 수 있다. OEM SIM (260) 은 다른 동작들 중에서도, 긴급 호출 (eCall) 기능 수행, 차량 제조업체의 통신 시스템과 통신 (예: 소프트웨어 업데이트용 등) 과 같은 차량 기반 동작을 위한 무선 접속을 확립하기 위해 통신 시스템 (258) 에 의해 사용될 수 있다. OEM SIM (260) 은 OEM SIM 이 자동차 사고 또는 다른 긴급 상황 발생시에 긴급 호출을 하기 위한 eCall 과 같은 중요한 서비스를 지원하는데 중요할 수 있다. 예를 들어, eCall 은 차량 사고 발생 시 자동으로 긴급 번호 (예: 미국에서는 "9-1-1", 유럽에서는 "1-1-2" 등) 에 전화를 걸고 차량의 위치를 긴급 서비스, 이를테면 경찰서, 소방서 등에 통신하는 서비스를 포함할 수 있다.
사용자 SIM (262) 은 사용자 데이터 접속을 지원하기 위해 무선 네트워크 액세스 기능을 수행하기 위해 (예를 들어, 다른 것 중에서도, 전화 호출, 메시징, 인포테인먼트 관련 서비스를 수행하기 위해) 통신 시스템 (258) 에 의해 사용될 수 있다. 일부 경우에, 사용자의 사용자 디바이스는 인터페이스를 통해(예를 들어, PC5, BluetoothTM, WiFITM, USB (universal serial bus) 포트, 및/또는 다른 무선 또는 유선 인터페이스를 통해) 차량 컴퓨팅 시스템 (250) 과 접속할 수 있다. 일단 접속되면, 사용자 디바이스는 사용자 디바이스에서 차량의 통신 시스템 (258) 으로 무선 네트워크 액세스 기능성을 전송할 수 있으며, 이 경우 사용자 디바이스는 (예를 들어, 통신 시스템 (258) 이 무선 액세스 기능성을 수행 중인 기간 동안에) 무선 네트워크 액세스 기능성의 수행을 중단할 수 있다. 통신 시스템 (258) 은 다른 동작 중에서도 전화 호출을 용이하게 하거나, 데이터 (예를 들어, 메시징, 비디오, 오디오 등) 를 송신하거나 및/또는 수신하는 것과 같은 하나 이상의 무선 통신 동작을 수행하기 위해 기지국과 상호작용하기 시작할 수 있다. 그러한 경우에, 차량 컴퓨팅 시스템 (250) 의 다른 컴포넌트는 통신 시스템 (258) 에 의해 수신된 데이터를 출력하는데 사용될 수 있다. 예를 들어, 인포테인먼트 시스템 (254) (후술됨) 은 하나 이상의 디스플레이 상에 통신 시스템 (258) 에 의해 수신된 비디오를 표시할 수 있거나 및/또는 하나 이상의 스피커를 사용하여 통신 시스템 (258) 에 의해 수신된 오디오를 출력할 수 있다.
모뎀은 송신을 위해 디지털 정보를 인코딩하기 위해 하나 이상의 캐리어파 신호를 변조하고 송신된 정보를 디코딩하기 위해 신호를 복조하는 디바이스이다. 모뎀 (264) (및/또는 통신 시스템 (258) 의 하나 이상의 다른 모뎀) 은 OEM SIM (260) 및/또는 사용자 SIM (262) 을 위한 데이터 통신에 사용될 수 있다. 일부 예에서, 모뎀 (264) 은 4G (또는 LTE) 모뎀을 포함할 수 있고 통신 시스템 (258) 의 다른 모뎀 (미도시) 은 5G (또는 NR) 모뎀을 포함할 수 있다. 일부 예에서, 통신 시스템 (258) 은 하나 이상의 BluetoothTM 모뎀 (예를 들어, BluetoothTM Low Energy (BLE) 또는 다른 유형의 블루투스 통신용), 하나 이상의 WiFiTM 모뎀 (예를 들어, DSRC 통신 및/또는 다른 WiFi 통신용), 광대역 모뎀 (예를 들어, UWB (ultra-wideband) 모뎀), 이들의 임의의 조합 및/또는 다른 유형의 모뎀을 포함할 수 있다.
일부 경우에, 모뎀 (264) (및/또는 통신 시스템 (258) 의 하나 이상의 다른 모뎀) 은 (예를 들어, V2V 통신을 위해 다른 차량과, D2D 통신을 위해 다른 디바이스와, V2I 통신을 위해 인프라 시스템과, V2P 통신을 위해 보행자 UE 등과) V2X 통신을 수행하기 위해 사용될 수 있다. 일부 예에서, 통신 시스템 (258) 은 V2X 통신 (예를 들어, PC5 인터페이스를 통한 사이드링크 통신) 을 수행하기 위해 사용되는 V2X 모뎀을 포함할 수 있으며, 이 경우 V2X 모뎀은 무선 네트워크 액세스 기능 (예: 네트워크/Uu 인터페이스를 통한 네트워크 통신 및/또는 V2X 통신 외의 사이드링크 통신용) 에 사용되는 하나 이상의 모뎀과 분리될 수 있다.
일부 구현에서, V2X 통신은 차량간 통신 (예: V2V (Vehicle-to-Vehicle)), 차량과 인프라간 통신 (예: V2I (Vehicle-to-Infrastructure)), 차량과 보행자간 통신 (예: V2P (vehicle-to-pedestrian)) 및/또는 차량과 네트워크 서버간의 통신 (V2N (Vehicle-to-Network)) 을 포함할 수 있다. V2V, V2P, 및 V2I 통신의 경우, 네트워크, eNB, 또는 gNB 를 거치지 않고 데이터 패킷을 차량 간에 직접 (예: PC5 인터페이스를 사용하여, 802.11 DSRC 인터페이스 등을 사용하여) 전송할 수도 있다. 예를 들어 V2X 가능형 차량은, 360° 비시선 (NLOS) 인식을 제공하는 단거리 직접 통신 모드를 사용하여, 다른 센서 중에서도, 온보드 시선 (LOS) 센서들, 이를테면, 카메라, RADAR (radio detection and ranging), LIDAR (Light Detection and Ranging) 를 보완할 수 있다. 무선 기술 및 온보드 센서의 조합은 V2X 차량으로 하여금 (예: 사각지대, 악천후 조건 및/또는 다른 시나리오에서) 잠재적인 운전 위험을 시각적으로 관찰, 청취 및/또는 예측할 수 있게 한다. V2X 차량은 또한 다른 V2X 가능형 차량 (V2V 통신 기반) 으로부터, 인프라 시스템 (V2I 통신 기반) 으로부터 그리고 사용자 디바이스 (V2P 통신 기반) 으로부터 경고 또는 알림을 이해할 수 있다. 인프라 시스템은 도로, 정지 등, 도로 표지판, 교량, 요금소 및/또는 V2I 메시징을 사용하여 차량과 통신할 수 있는 다른 인프라 시스템을 포함할 수 있다.일부 경우에, V2X 통신은 다수의 동작 모드를 활용할 수도 있다. 릴리스 12 에서 도입된 LTE 사이드링크 (예: D2D 통신용) 에는 모드 1 및 모드 2 라고 하는 두 가지 동작 모드가 포함된다. 모드 1 및 모드 2 둘 다는 레이턴시를 늘리는 대가로 모바일 디바이스의 배터리 수명을 연장하려는 목적으로 설계되었다. 원하는 구현에 따라, 사이드링크 통신은 3GPP 통신 프로토콜 사이드링크 (예: LTE, 5G 등에 따른 PC5 사이드링크 인터페이스 사용), Wi-Fi 직접 통신 프로토콜 (예: DSRC 프로토콜) 에 따라 또는 임의의 다른 디바이스 대 디바이스 통신 프로토콜을 사용하여 수행될 수 있다.
일부 예에서, 사이드링크 통신은 하나 이상의 U-NII (Unlicensed National Information Infrastructure) 대역을 사용하여 수행될 수 있다. 예를 들어 U-NII-4 대역 (5.850 - 5.925 GHz), U-NII-5 대역 (5.925 - 6.425 GHz), U-NII-6 대역 (6.425 - 6.525 GHz), U-NII-7 대역 (6.525 - 6.875 GHz), U-NII-8 대역 (6.875 - 7.125 GHz) 또는 사이드링크 통신을 수행하는 데 적합할 수도 있는 임의의 다른 주파수 대역에 대응하는 대역에서 사이드링크 통신이 수행될 수 있다. 그러나, 일부 양태에서, 접속 차량은 고도 신뢰성 및 저 레이턴시 V2X 통신의 이점을 얻을 수도 있으므로, 모드 1 과 2 는 그러한 애플리케이션에 적합하지 않을 수도 있다.
V2V 통신을 위해 2 개의 추가 통신 모드 (모드 3 및 4) 가 설계되었다. 모드 3 에서, 셀룰러 네트워크 (예: eNB, gNB 또는 다른 네트워크 엔티티) 는 직접 V2X 통신을 수행하기 위해 차량에 의해 사용되는 무선 리소스를 선택하고 관리한다. 모드 4 에서, 차량은 직접 V2X 통신을 위한 무선 리소스를 자율적으로 선택한다. 모드 4 는 셀룰러 커버리지 없이 동작할 수 있고, 일부 경우에 안전 애플리케이션이 셀룰러 커버리지의 가용성에 의존할 수 없는 것에 기초하여 베이스라인 V2X 모드로 간주될 수 있다. 모드 4 는 차량이 무선 리소스를 선택하기 위한 분산 스케줄링 방식을 포함할 수 있으며 분산 혼잡 제어를 위한 지원을 포함할 수 있다.
일부 예에서, 통신 시스템 (258) 은 TCU (telematics control unit) 일 수 있거나 이를 포함할 수 있다. 일부 구현에서, TCU 는 네트워크 액세스 디바이스 (NAD) (일부의 경우 네트워크 제어 유닛 또는 NCU 라고도 함) 를 포함할 수 있다. NAD 는 모뎀 (264), 도 2 에 도시되지 않은 임의의 다른 모뎀, OEM SIM (260), 사용자 SIM (262) 및/또는 무선 통신에 사용되는 다른 컴포넌트를 포함할 수 있다. 일부 예에서, 통신 시스템 (258) 은 GNSS (Global Navigation Satellite System) 를 포함할 수 있다. 일부 경우에, GNSS 는 아래에 설명된 바와 같이 하나 이상의 센서 시스템 (256) 의 일부일 수 있다. GNSS 는 차량 컴퓨팅 시스템 (250) 이 하나 이상의 위치 서비스, 내비게이션 서비스, 및/또는 GNSS 기능성을 활용할 수 있는 다른 서비스를 수행할 수 있는 능력을 제공할 수 있다.
일부 경우에, 통신 시스템 (258) 은 무선 통신을 송신 및 수신하기 위한 하나 이상의 무선 인터페이스 (예를 들어, 각각의 무선 인터페이스에 대한 하나 이상의 트랜시버 및 하나 이상의 베이스밴드 프로세서를 포함함), 하나 이상의 하드와이어드 접속을 통해 통신을 수행하기 위한 하나 이상의 유선 인터페이스 (예를 들어, 직렬 인터페이스 이를테면 범용 직렬 버스 (USB) 입력, 라이트닝 커넥터 및/또는 다른 유선 인터페이스), 및/또는 차량 (204) 이 네트워크 및/또는 다른 UE 와 통신하는 것을 허용할 수 있는 다른 컴포넌트를 더 포함할 수 있다.
차량 컴퓨팅 시스템 (250) 은 또한 콘텐츠를 제어할 수 있는 인포테인먼트 시스템 (254) 및 콘텐츠를 출력하는 데 사용될 수 있는 차량 (204) 의 하나 이상의 출력 디바이스를 포함할 수 있다. 인포테인먼트 시스템 (254) 은 또한 차량내 인포테인먼트 (IVI) 시스템 또는 자동차내 엔터테인먼트 (ICE) 시스템이라고 할 수 있다. 콘텐츠는 다른 콘텐츠 중에서도, 내비게이션 콘텐츠, 미디어 콘텐츠 (예를 들어, 비디오 콘텐츠, 음악 또는 다른 오디오 콘텐츠, 및/또는 다른 미디어 콘텐츠) 를 포함할 수 있다. 하나 이상의 출력 디바이스는 하나 이상의 그래픽 사용자 인터페이스, 하나 이상의 디스플레이, 하나 이상의 스피커, 하나 이상의 확장 현실 디바이스 (예: VR, AR 및/또는 MR 헤드셋), 하나 이상의 햅틱 피드백 디바이스 (예를 들어, 시트, 조향 휠, 및/또는 차량 (204) 의 다른 부분을 진동시키도록 구성된 하나 이상의 디바이스), 및/또는 다른 출력 디바이스를 포함할 수 있다.
일부 예에서, 컴퓨팅 시스템 (250) 은 지능형 수송 시스템 (ITS)(255) 을 포함할 수 있다. 일부 예에서, ITS (255) 는 V2X 통신을 구현하는 데 사용될 수 있다. 예를 들어, ITS (255) 의 ITS 스택은 ITS 의 애플리케이션 계층으로부터의 정보를 기반으로 V2X 메시지를 생성할 수 있다. 일부 경우에, 애플리케이션 계층은 ITS (255) 에 의해 사용하기 위한 메시지 생성 및/또는 다른 차량 (V2V 통신의 경우) 으로, 보행자 UE (V2P 통신의 경우) 로, 및/또는 인프라 시스템 (V2I 통신의 경우) 으로 전송될 메시지 생성을 위한 특정 조건이 만족되었는지 여부를 결정할 수 있다. 일부 경우에, 통신 시스템 (258) 및/또는 ITS (255) 는 (예를 들어, CAN 버스를 통해 차량의 다른 컴포넌트로부터) 자동차 액세스 네트워크 (CAN) 정보를 획득할 수 있다. 일부 예에서, 통신 시스템 (258) (예를 들어, TCU NAD) 은 CAN 버스를 통해 CAN 정보를 획득할 수 있고 CAN 정보를 ITS 스택으로 전송할 수 있다. CAN 정보는 다른 정보 중에서도, 차량의 진행 방향, 차량의 속도, 브레이킹 정보 (breaking information) 와 같은 차량 관련 정보를 포함할 수 있다. CAN 정보는 지속적으로 또는 주기적으로 (예를 들어, 1 ms 마다, 10 ms 마다 등) ITS (255) 에 제공될 수 있다.
메시지 생성 여부를 결정하는 데 사용되는 조건은 도로 안전, 교통 효율성, 인포테인먼트, 비즈니스 및/또는 다른 애플리케이션과 관련된 애플리케이션을 포함하는 안전 관련 애플리케이션 및/또는 다른 애플리케이션을 기반으로 하는 CAN 정보를 사용하여 결정될 수 있다. 하나의 예시적인 예에서, ITS (255) 는 차선 변경 보조 또는 협상을 수행할 수 있다. 예를 들어, CAN 정보를 사용하여, ITS (255) 는 (예를 들어, 활성화되는 깜박이에 기초하거나, 인접 차선으로 사용자 비어링 (veering) 또는 조향하는 것에 기초하는 등) 차량 (204) 의 운전자가 현재 차선에서 인접 차선으로 차선을 변경하려고 시도하고 있음을 결정할 수 있다. 차량 (204) 이 차선 변경을 시도하고 있다는 결정에 기초하여, ITS (255) 는 인접 차선에서 차량 인근에 있는 다른 차량으로 전송될 메시지와 연관된 차선 변경 조건이 만족되었음을 결정할 수 있다. ITS (255) 는 ITS 스택을 트리거하여 다른 차량으로의 송신을 위한 하나 이상의 메시지를 생성할 수 있고, 이는 다른 차량과 차선 변경을 협상하는 데 사용할 수 있다. 애플리케이션의 다른 예는 다른 것 중에서도, 전방 충돌 경보, 자동 긴급 브레이킹, 차선 이탈 경보, 보행자 회피 또는 보호 (예를 들어, 사용자의 UE 와의 V2P 통신을 기반으로 하는 것과 같이 보행자가 차량 (204) 근처에서 검출될 때), 교통 표지 인식을 포함한다.
ITS (255) 는 임의의 적절한 프로토콜을 사용하여 메시지 (예: V2X 메시지) 를 생성할 수 있다. ITS (255) 에 의해 사용될 수 있는 프로토콜의 예는 하나 이상의 SAE (Society of Automotive Engineering) 표준, 이를테면 SAE J2735, SAE J2945, SAE J3161, 및/또는 다른 표준을 포함하며, 이들은 이로써 참조에 의해 전부 그리고 모든 목적을 위해 원용된다.
ITS (255) 의 보안 계층은 다른 차량, 보행자 UE 및/또는 인프라 시스템과 같은 V2X 통신용으로 구성된 다른 UE 로 전송되고 이에 의해 검증되는 ITS 스택으로부터의 메시지를 보안적으로 서명하는 데 사용될 수 있다. 보안 계층은 또한 그러한 다른 UE 로부터 수신된 메시지를 검증할 수 있다. 일부 구현에서, 서명 및 검증 프로세스는 차량의 보안 컨텍스트를 기반으로 할 수 있다. 일부 예에서, 보안 컨텍스트는 하나 이상의 암호화-복호화 알고리즘, 암호화-복호화 알고리즘을 사용하여 서명을 생성하는 데 사용되는 공개 및/또는 사설 키, 및/또는 다른 정보를 포함할 수도 있다. 예를 들어, ITS 스택에 의해 생성된 각각의 ITS 메시지는 보안 계층에 의해 서명될 수 있다. 서명은 공개 키와 암호화-복호화 알고리즘을 사용하여 도출될 수 있다. 서명된 메시지를 수신하는 차량, 보행자 UE 및/또는 인프라 시스템은 메시지가 인증된 차량에서 온 것인지 확인하기 위해 서명을 검증할 수 있다. 일부 예에서, 하나 이상의 암호화-복호화 알고리즘은 하나 이상의 대칭 암호화 알고리즘 (예를 들어, AES (advanced encryption standard), DES (data encryption standard) 및/또는 다른 대칭 암호화 알고리즘), 공개 및 사설 키를 사용하는 하나 이상의 비대칭 암호화 알고리즘 (예: RSA (Rivest-Shamir-Adleman) 및/또는 다른 비대칭 암호화 알고리즘) 및/또는 기타 암호화-복호화 알고리즘을 포함할 수 있다.
일부 예에서, ITS (255) 는 다른 UE로부터 수신된 메시지에 기초하여 수행할 소정 동작 (예를 들어, V2X 기반 동작) 을 결정할 수 있다. 동작에는 도로 안전, 교통 효율성, 인포테인먼트, 비즈니스 및/또는 다른 애플리케이션을 위한 동작과 같은 안전 관련 및/또는 다른 동작이 포함될 수 있다. 일부 예에서, 동작은 차량 (예를 들어, 제어 시스템 (252)) 이, 다른 자동 기능 중에서도, 자동 브레이킹, 자동 조향 (예를 들어, 특정 차선에서 진행 방향을 유지하기 위해), 다른 차량과의 자동 차선 변경 협상과 같은 자동 기능을 수행하게 하는 것을 포함할 수 있다. 하나의 예시적인 예에서, 다른 차량이 급정차하고 있음을 나타내는 메시지가 다른 차량으로부터 (예를 들어, PC5 인터페이스를 통해) 통신 시스템 (258) 에 의해 수신될 수 있다. 메시지를 수신하는 것에 대한 응답으로, ITS (255) 는 메시지 또는 명령을 생성할 수 있고 그 메시지 또는 명령을 제어 시스템 (252) 으로 전송할 수 있으며, 이는 제어 시스템 (252) 으로 하여금 차량을 자동으로 브레이킹하여 다른 차량과 충돌하기 전에 정지하도록 할 수 있다. 다른 예시적인 예에서, 동작은, 다른 것 중에서도, 다른 차량이 차량 옆 차선에 있음을 운전자에게 경고하는 메시지, 운전자에게 차량을 정지시키라고 경고하는 메시지, 운전자에게 보행자가 다가오는 횡단보도에 있음을 경고하는 메시지, 운전자에게 요금소가 차량의 소정 거리내 (예: 1 마일 이내) 에 있음을 경고하는 메시지의 표시를 트리거링하는 것을 포함할 수 있다.
일부 예에서, ITS (255)는 다른 UE (예를 들어, 차량, RSU 등) 로부터 많은 수의 메시지를 수신할 수 있으며, 이 경우 ITS (255) 는 메시지 각각을 인증 (예를 들어, 디코딩 및 복호화) 하거나 및/또는 어느 동작을 수행할지 결정할 것이다. 이러한 많은 수의 메시지들은 차량 컴퓨팅 시스템 (250) 에 대한 큰 계산 부하로 이어질 수 있으며, 이는 컴퓨팅 시스템 (250) 의 온도를 증가시킬 수 있다. 아래에서 더 자세히 설명되는 바와 같이, 차량 컴퓨팅 시스템 (250) (또는 그 컴포넌트) 의 온도가 하나 이상의 열적 수준을 초과하거나 이에 접근하는 것에 기초하여 하나 이상의 기능성이 차량 (204) 에서 다른 디바이스 (예를 들어, 사용자 디바이스, RSU 등) 으로 이전될 수 있다. 하나 이상의 기능성을 이전하면, 차량 (204) 상의 계산 로드를 감소시킬 수 있어, 컴포넌트의 온도를 감소시키는 데 도움이 된다.
컴퓨팅 시스템 (250) 은 하나 이상의 센서 시스템 (256) (예를 들어, 제 1 센서 시스템 내지 제 N 센서 시스템, 여기서 N 은 0 이상의 값임) 을 더 포함한다. 다수의 센서 시스템을 포함할 때, 센서 시스템(들) (456) 은 차량 (204) 의 상이한 부분 상에 또는 그 안에 배열될 수 있는 상이한 유형의 센서 시스템을 포함할 수 있다. 센서 시스템(들) (456) 은 하나 이상의 카메라 센서 시스템, LIDAR (Light Detection and Ranging) 센서 시스템, RADAR (Radio Detection and Ranging) 센서 시스템, EmDAR (Electromagnetic Detection and Ranging) 센서 시스템, SONAR (Sound Navigation and Ranging) 센서 시스템, SODAR (Sound Detection and Ranging) 센서 시스템, GNSS (Global Navigation Satellite System) 수신기 시스템 (예: 하나 이상의 GPS (Global Positioning System) 수신기 시스템), 가속도계, 자이로스코프, 관성 측정 유닛 (IMU), 적외선 센서 시스템, 레이저 거리 측정기 시스템, 초음파 센서 시스템, 초저주파 센서 시스템, 마이크로폰, 이들의 임의의 조합 및/또는 다른 센서 시스템을 포함할 수 있다. 임의의 수의 센서 또는 센서 시스템이 차량 (204) 의 컴퓨팅 시스템 (250) 의 일부로서 포함될 수 있음을 이해해야 한다.
차량 컴퓨팅 시스템 (250) 이 소정 컴포넌트 및/또는 시스템을 포함하는 것으로 도시되지만, 당업자는 차량 컴퓨팅 시스템 (250) 이 도 2 에 도시된 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있음을 인식할 것이다. 예를 들어, 차량 컴퓨팅 시스템 (250) 은 또한 하나 이상의 입력 디바이스 및 하나 이상의 출력 디바이스 (미도시) 를 포함할 수 있다. 일부 구현에서, 차량 컴퓨팅 시스템 (250) 은 또한 (예를 들어, 제어 시스템 (252), 인포테인먼트 시스템 (254), 통신 시스템 (258) 및/또는 센서 시스템(들) (456) 의 일부로서 또는 이와는 분리되어) 적어도 하나의 프로세서 및 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 실행 가능 명령을 갖는 적어도 하나의 메모리를 포함할 수 있다. 적어도 하나의 프로세서는 적어도 하나의 메모리와 통신하거나 및/또는 이에 전기적으로 접속된다 ("에 커플링된다" 또는 "통신적으로 커플링된다"라고 함). 적어도 하나의 프로세서는 예를 들어, 하나 이상의 마이크로컨트롤러, 하나 이상의 CPU (central processing unit), 하나 이상의 FPGA (field programmable gate arrays), 하나 이상의 GPU (graphics processing unit), 하나 이상의 애플리케이션 프로세서 (예를 들어, 하나 이상의 소프트웨어 애플리케이션을 작동 (run) 또는 실행용) 및/또는 다른 프로세서를 포함할 수 있다. 적어도 하나의 메모리는, 예를 들어, ROM (read-only memory), RAM (random access memory) (예를 들어, SRAM (static RAM)), EEPROM (electrically erasable programmable read-only memory), 플래시 메모리, 하나 이상의 버퍼, 하나 이상의 데이터베이스, 및/또는 다른 메모리를 포함할 수 있다. 적어도 메모리 내에 또는 상에 저장된 컴퓨터 실행 가능 명령은 본 명세서에 설명된 기능 또는 동작 중 하나 이상을 수행하기 위해 실행될 수 있다.
도 3 은 다양한 UE 에 의해 사용되는 상이한 통신 메커니즘의 예를 예시한다. 일 예에서, 도 3 은 PC5 시그널링 인터페이스를 사용하여 서로 통신하는 차량 (304), 차량 (305) 및 RSU (roadside unit) (303) 을 도시한다. 또한, 차량 (304) 및 차량 (305) 은 네트워크 (Uu) 인터페이스를 사용하여 기지국 (302) (BS (302) 로 도시됨) 과 통신할 수도 있다. 기지국 (302) 은 일부 예에서 gNB 를 포함할 수 있다. 도 3 은 또한 네트워크 (Uu) 인터페이스를 사용하여 기지국 (302) 과 통신하는 사용자 디바이스 (307) 를 예시한다. 후술하는 바와 같이, 기능성은 하나 이상의 특성 또는 요인 (예를 들어, 온도, 습도 등) 에 기초하여 차량 (예를 들어, 차량 (304)) 에서 사용자 디바이스 (예를 들어, 사용자 디바이스 (307)) 로 전송될 수 있다. 하나의 예시적인 예에서, 도 3 에 도시된 바처럼, V2X 기능성은 차량 (304) 에서 사용자 디바이스 (307) 로 이전될 수 있으며, 그 후에 사용자 디바이스 (307) 는 PC5 인터페이스를 통해 다른 차량 (예를 들어, 차량 (305)) 과 통신할 수 있다.
PC5 인터페이스가 도 3 에 도시되어 있지만, 다양한 UE (예를 들어, 차량, 사용자 디바이스 등) 및 RSU(들) 는 임의의 적합한 유형의 직접 인터페이스, 이를테면, 802.11 DSRC 인터페이스, BluetoothTM 인터페이스, 및/또는 다른 인터페이스를 사용하여 직접 통신할 수 있다. 예를 들어, 차량은 직접 통신 인터페이스 (예: PC5 및/또는 DSRC 사용) 를 통해 사용자 디바이스와 통신할 수 있고, 차량은 직접 통신 인터페이스를 통해 다른 차량과 통신할 수 있으며, 사용자 디바이스는 직접 통신 인터페이스를 통해 다른 사용자 디바이스와 통신할 수 있고, UE (예를 들어, 차량, 사용자 디바이스 등) 은 직접 통신 인터페이스를 통해 RSU 와 통신할 수 있고, RSU 는 직접 통신 인터페이스를 통해 다른 RSU 와 통신할 수 있는 등이다.
전술한 바와 같이, 오브젝트 검출 및 추적에 대한 개선들을 제공하는 시스템들 및 기법들이 본 명세서에서 설명된다. 도 4 는 하나 이상의 타겟 오브젝트들 (예를 들어, 도 4 에 도시된 바와 같은 타겟 차량) 을 검출하고 추적하기 위해 추적 오브젝트에 의해 오브젝트 검출 및 추적이 수행될 수 있는 디스플레이 (400) 를 도시하는 개념도이다. 일부 경우들에서, 디스플레이 (400) 는 추적 오브젝트 (도시되지 않음) 에 의해 추적되는 오브젝트들을 포함하는 이미지들 (또는 이미지 프레임들) 을 디스플레이하도록 구성될 수 있다. 도 4 의 예에서, 추적 오브젝트는 추적 차량 (자차라고도 지칭됨) 을 포함할 수 있다. 디스플레이 (400) 는 차량과 같은 추적 디바이스의 내비게이션, 계획 및/또는 라우팅 기능들을 용이하게 하기 위해 정보 및 이미지들을 디스플레이하도록 구성된 디스플레이 스크린, 디지털 미러, 또는 다른 디스플레이 디바이스일 수 있다. 예로서, 타겟 오브젝트 (402) 는 차량일 수 있고, 추적 오브젝트는 내비게이션 및 안전을 개선하기 위해 검출 및 추적 동작들을 수행하고 있는 다른 차량 (도시되지 않음) 일 수 있다. 도 4 의 예에 도시된 바와 같이, 디스플레이 (400) 는, 예를 들어 카메라와 같은 이미지 캡처 디바이스에 의해 추적 오브젝트 주위의 환경으로부터 수집될 수 있는 이미지 (401) 와 같은 이미지들을 디스플레이하도록 구성될 수 있다. 타겟 오브젝트 및 추적 오브젝트는 개시된 기술의 범위를 벗어나지 않고 다른 타입들의 차량들과 같은 다양한 다른 오브젝트 타입들을 포함할 수 있다는 것이 이해된다.
동작 시, 추적 오브젝트는 주변 환경에 대한 이미지 데이터와 같은 센서 데이터를 수신 (또는 캡처) 할 수 있다. 센서 데이터는 하나 이상의 LiDAR (Light Detection and Ranging) 센서, 레이더, 센서, 및/또는 초음파 센서 등을 포함하는 다양한 센서 타입으로부터의 데이터를 포함할 수 있다. 추가적으로, 추적 오브젝트는 타겟 오브젝트 (402) 로부터 하나 이상의 메시지들 (예를 들어, 메시지들의 제 1 세트) 을 수신할 수 있다. 일부 구현들에서, 메시지들은, 예를 들어, 타겟 오브젝트 (402) 에 대한 속도, 포즈, 및/또는 크기 정보를 포함하는 하나 이상의 메시지들 (예를 들어, V2X 메시지들, DSRC 메시지들, 또는 다른 타입의 메시지) 을 포함할 수 있다. 포즈는 3 차원 (3D) 포지션 (예를 들어, 수평 (x), 수직 (y) 및 깊이 (z) 치수들을 포함함) 및 3D 배향 (예를 들어, 피치, 롤 및 요우를 포함함) 을 포함할 수 있다.
일부 양태들에서, 추적 오브젝트는 수집된 센서 데이터 (예를 들어, 이미지 데이터, LiDAR 데이터, 및/또는 레이더 데이터 등) 를 사용하여 타겟 오브젝트 (402) 에 대한 추적을 수행할 수 있다. 예로서, 카메라 이미지 데이터는 추적 오브젝트의 크기를 결정할 뿐만 아니라, 타겟 오브젝트의 속도, 가속도, 및/또는 포즈와 같은, 타겟 오브젝트 (402) 의 다양한 운동학적 특성들을 추정 또는 결정하기 위해 추적 시스템에 제공될 수 있다. 타겟 오브젝트 (402) 의 결정된 크기 및 포즈는 타겟 오브젝트 (402) 주위에 초기 바운딩 박스 (404) 를 배치하는데 사용될 수 있다. 도 4 에 도시된 바와 같이, 초기 바운딩 박스 (404) 는 타겟 오브젝트 (402) 를 둘러싸는 이미지 (401) 의 영역을 포함하도록 크기가 정해진다. 결정된 운동학적 특성들에 기반하여, 추적 시스템은, 심지어 타겟 오브젝트 (402) 가 추적 오브젝트의 하나 이상의 센서들 (예컨대, 하나 이상의 카메라들) 의 시야로부터 폐색되는 경우들에서와 같이, 타겟 오브젝트 (402) 에 대한 센서 데이터가 직접 수집될 수 없는 경우들에서도, 타겟 오브젝트 (402) 의 위치를 추론 (또는 결정) 할 수 있다. 이러한 접근법들에서, 추적 시스템은, 예를 들어 타겟 오브젝트의 운동학적 특성들을 결정 또는 예측하고, 타겟 오브젝트 (402) 의 궤적을 결정 또는 예측하기 위해 기계 학습 모델들을 이용할 수 있다. 기계 학습 기법들의 사용에 관한 추가적인 세부사항들은 아래에서 도 7 과 관련하여 논의된다.
일부 접근법들에서, 추적 오브젝트는, 예를 들어, 메시지 정보를 검증하거나 증명하기 위해, 수신된 또는 수집된 센서 데이터를 수신된 메시지들 내의 정보와 비교할 수 있다. 예로서, 추적 오브젝트는 수집된 카메라 이미지 데이터로부터 결정된 바와 같은 타겟 오브젝트 (402) 의 다양한 특징들 (예를 들어, 타겟 오브젝트의 위치, 크기 및/또는 포즈) 을 수신된 메시지들 내의 정보에 의해 보고된 타겟 오브젝트 (402) 의 대응하는 특징들과 비교할 수 있다. 이러한 방식으로, 수집된 센서 정보는 메시지 정보를 검증하기 위해, 예를 들어 보고된 메시지 정보가 부정확한지를 결정하기 위해 사용될 수 있다. 일부 구현들에서, 추적 오브젝트는 잘못 보고된 메시지 정보를 결함 또는 '스푸핑' 된 것으로 분류할 수 있다.
일부 양태들에서, 추적 오브젝트는 수신된 메시지들 내의 정보를 사용하여 타겟 오브젝트 (402) 에 대한 추적을 수행할 수 있다. 예를 들어, 수신된 이미지 데이터를 사용하여, 추적 오브젝트의 오브젝트 검출 및 추적 시스템은 이미지에서 타겟 오브젝트 (402) 의 포지션 또는 위치를 식별하는 초기 바운딩 박스 (404) 를 결정 (또는 계산) 할 수 있다. 도 4 에 도시된 바와 같이, 초기 바운딩 박스 (404) 는 타겟 오브젝트 (402) 를 둘러싸는 이미지 (401) 의 영역을 포함하도록 크기가 정해진다.
일부 경우들에서, 메시지들 (예를 들어, V2X, DSRC 등) 에 포함된 추적 오브젝트의 포즈 (예를 들어, 3D 포지션 및 배향) 는 글로벌 레퍼런스 프레임 (예를 들어, ECEF 레퍼런스 프레임) 에 있다. 추적 오브젝트의 오브젝트 검출 및 추적 시스템은 추적 오브젝트의 포즈를 글로벌 레퍼런스 프레임으로부터 이미지의 2 차원 (2D) 평면 (이미지 평면으로 지칭됨) 으로 투영할 수 있다. 타겟 오브젝트에 의해 송신되고 추적 오브젝트에 의해 수신된 하나 이상의 메시지들 (예를 들어, V2X, DSRC 등) 에 포함된 포즈 정보는 글로벌 레퍼런스 프레임 e (예를 들어, ECEF 레퍼런스 프레임) 에 대한 타겟 오브젝트 위치를 기술하는 병진 벡터 teo 및 글로벌 레퍼런스 프레임 e 에 대한 타겟 오브젝트 배향을 기술하는 회전 행렬 Reo 를 포함할 수 있다. 전술한 바와 같이, 포즈 정보는 타겟 오브젝트에 의해 수신된 GPS/GNSS 정보에 기반하여 타겟 오브젝트에 의해 결정될 수 있다. 또한, 추적 오브젝트는 (예를 들어, 수신된 GPS/GNSS 정보에 기반하여) 글로벌 레퍼런스 프레임 e 에 대한 추적 오브젝트 포지션 및 배향 (예를 들어, 카메라 위치 및 배향) 을 설명하는 병진 벡터 tec 및 회전 행렬 Rec 를 결정할 수 있다. 그 다음, 추적 오브젝트의 오브젝트 검출 및 추적 시스템은 병진 벡터 
를 결정함으로써 추적 차량 (예를 들어, 추적 차량 카메라) 카메라에 대한 타겟 차량의 위치를 결정할 수 있다. 여기서 (.)T 는 전치 연산자를 나타낸다. 추적 오브젝트의 오브젝트 검출 및 추적 시스템은 회전 행렬 
를 결정함으로써 추적 차량에 대한 타겟 차량의 배향을 결정할 수 있다.
그러한 투영에 사용될 수 있는 좌표 변환들의 예시적인 예들이 도 5a ~ 도 5e 에 도시되어 있다. 예를 들어, 도 5a ~ 도 5c 는 오브젝트 좌표계로부터 카메라 좌표계로의 좌표 변환들의 예를 도시하는 다이어그램들이다. 도 5a 는 카메라 좌표계의 원점 (502) (카메라 중심이라고도 함), 오브젝트 좌표계의 복수의 3D 점들로부터의 3D 점 (XO) 및 오브젝트 좌표계의 원점 (504) 을 도시한다. 변환 행렬 Tco 이 또한 도시된다. 도 5a, 도 5b 및 도 5c 에 도시된 바와 같이, 오브젝트 좌표계 상의 점들 (점 XO 포함) 은 카메라 좌표계 상의 점들 (점 XC 포함) 로 변환된다. 일부 예들에서, 다음의 식이 변환을 계산하기 위해 사용될 수 있다:
식 (1)
이 식에서, R 은 카메라의 회전 파라미터들 (예를 들어, 피치, 요우 및/또는 롤) 을 포함하고, t 는 병진 벡터 (예를 들어, 카메라의 물리적 위치) 이다. 회전 및 병진은 카메라의 고유 파라미터들이다. 회전 파라미터들 R 은 다음의 방정식을 사용하여 표현될 수 있다:
식 (2)
상기 식에서, α 는 요우 (수평 회전), β 는 피치 (상하 회전), γ 는 롤 (좌우 회전) 이다. 카메라에 대한 피치, 롤, 및 요는 요가 지면에 대한 카메라의 수평 회전 (예를 들어, 수평 축에 대한 왼쪽에서 오른쪽) 이고, 피치는 지면에 대한 카메라의 수직 회전 (예를 들어, 수평 축에 대한 위 및 아래) 이고, 롤은 수평선에 대한 카메라의 측면 대 측면 회전 (예를 들어, 수평 축에 대한 측면 대 측면) 인 것으로서 개념화될 수 있다. 변환 벡터 t 는 다음과 같이 표현될 수 있다:
식 (3)
이러한 맵핑은 투영 변환 (projective transformation) 이라고도 한다. 카메라의 내부 파라미터들은 다음과 같이 나타낼 수 있습니다.
식 (4)
상기 행렬에서, fx 및 fy 는 각각 x 및 y 축을 따른 카메라의 초점 거리이고; (xc, yc) 는 이미지 평면 (505) 의 중심이고; S 는 스큐 인자이다. 3D 카메라 레퍼런스 시스템 (508) 이 이미지 평면 (505) 에 정확하게 수직이 아닐 때 스큐가 발생한다. 카메라의 고유 파라미터들 K 는 다음으로 3D 카메라 레퍼런스 시스템 (508) 으로부터 이미지 평면 (505) 으로 P' 를 맵핑하는데 사용될 수 있다.
도 5d 는 (도 5a ~ 도 5c 로부터의) 이미지 상의 2D 점에 대한 오브젝트 좌표계 상의 3D 점 XO 의 투영의 예를 도시하는 도면이다. 오브젝트 좌표계 상의 3D 점 XO 는 이미지에 도시된 오브젝트의 3D 모델 상의 정점을 포함할 수 있다. 일부 예들에서, 3D 점 XO 는 다음 방정식을 사용하여 이미지 상의 2D 점에 투영될 수 있다:
식 (5)
도 5a ~ 도 5d 로부터의 예들에 계속하여, 도 5e 는 이미지 상의 2D 점을 카메라 좌표계로 역투영하는 예를 도시한 다이어그램이다. 2D 이미지가 주어지면, 각각의 픽셀로부터의 광선 방향이 결정될 수 있다. 그러나, 깊이 (원점 (502) (또는 카메라 중심) 으로부터 3D 점까지의 거리) 는 알려져 있지 않다. 예를 들어, 2D 픽셀 점 (506) 의 역투영은 다음과 같이 방향 벡터로서 계산될 수 있다:
식 (6)
상기 행렬에서, fx 및 fy 는 각각 x 및 y 축을 따른 카메라의 초점 거리이고; (xc, yc) 는 이미지 평면 (505) 의 중심이고; S 는 스큐 인자이다. 3D 카메라 레퍼런스 시스템 (508) 이 이미지 평면 (505) 에 정확하게 수직이 아닐 때 스큐가 발생한다.
도 4 로 돌아가면, 일부 구현들에서, 초기에 계산된 바운딩 박스 (404) 는 추적 오브젝트 및/또는 타겟 오브젝트 (402) 의 포즈를 결정하는 것과 연관된 불확실성 측정들에 기반하여 크기조정될 수 있다. 예를 들어, 추적 오브젝트 및/또는 타겟 오브젝트의 포즈의 측정들에서의 불확실성은 초기 바운딩 박스 (404) 를 크기조정하기 위해 사용될 수 있다. 예로서, 새로운 바운딩 박스 (406) 는 초기 바운딩 박스 (404) 의 치수들 뿐만 아니라 추적 오브젝트 및 타겟 오브젝트 (402) 의 포즈에 대한 불확실성 측정들에 기반하여 결정될 수 있다. 도 4 의 예에 도시된 바와 같이, 바운딩 박스 (406) 는 타겟 오브젝트 (402) 를 포함할 높은 통계적 가능성을 갖는 이미지 (401) 의 서브-이미지 (408) 를 포함하도록 구성될 수 있다. 그 후, 서브-이미지 (408) 는 바운딩 박스 (406) 로부터 추출될 수 있고, 타겟 오브젝트 (402) 의 오브젝트 검출 및 추적을 수행하기 위해 추적 오브젝트의 오브젝트 검출 및 추적 시스템에 의해 사용될 수 있다. 예로서, 추적 오브젝트의 오브젝트 검출 및 추적 시스템은 추적 오브젝트에 의한 내비게이션 및 계획 동작들을 용이하게 하기 위해 (타겟 오브젝트 (402) 의 예로서) 차량의 포지션 (또는 위치) 및 움직임을 식별하고 추적하기 위한 검출 및 추적을 수행할 수 있다.
일부 접근법에서, 오브젝트 검출은 심층 신경망과 같은 기계 학습 (ML) 기반 분류기를 사용하여 서브-이미지 (408) 에 대해 수행될 수 있다. 이러한 경우들에서, 서브-이미지 (408) 는 검출 모델에 제공되기 전에 추가로 전처리될 수 있다. 예를 들어, 서브-이미지 (408) 의 높이 및/또는 폭은, 예를 들어 서브-이미지 (408) 가 검출 모델에 제공되기 전에 서브-이미지의 픽셀 높이 및/또는 폭을 증가 또는 감소시키기 위해 조정되거나 스케일링될 수 있다. 하나의 예시적인 예에서, 추출된 서브-이미지 (408) 는 (예를 들어, 서브-이미지가 100 픽셀 폭, 200 픽셀 폭, 100 픽셀 높이, 200 픽셀 높이, 또는 다른 폭 및/또는 높이이도록) 고정된 표준 크기로 스케일링될 수 있다. 그 다음, 오브젝트 검출 모델은 추출되고 스케일링된 서브-이미지 (408) 에 대해 오브젝트 검출을 수행할 수 있다. 서브-이미지는 원본 이미지보다 작기 때문에, 오브젝트 검출기에 의해 더 적은 이미지 영역이 처리될 필요가 있기 때문에 오브젝트 검출을 수행하는 계산 부담이 상당히 감소된다. 또한, 이미지 내의 추적 오브젝트의 스케일이 (서브-이미지의 고정된 크기로의 스케일링에 기반하여) 정규화되었기 때문에, 기계 학습 기반 오브젝트 검출기는 그 폭의 추적 오브젝트들 (예를 들어, 추적 차량들) 을 갖는 이미지들을 프로세싱하도록 트레이닝될 수 있다. 오브젝트 검출 및 추적 시스템은 서브-이미지를 다시 원래 크기로 스케일링할 수 있고 서브-이미지 위치를 설명할 수 있으며, 이는 오브젝트 검출 및 추적 시스템이 원래 디지털 디스플레이에서 (예를 들어, 풀 디지털 디스플레이 미러 이미지에서) 타겟 오브젝트의 정확한 바운딩 박스를 획득하는 것을 초래할 수 있다.
추적 오브젝트의 오브젝트 검출 및 추적 시스템은 하나 이상의 오브젝트 추적기들을 사용하여 하나 이상의 후속 이미지 (오브젝트 검출이 수행되는 이미지에 후속함) 에서 타겟 오브젝트 (402) 의 후속 및 연속 추적을 수행할 수 있다. 다수의 이미지들을 통한 타겟 오브젝트의 검출 및 추적에 관한 추가적인 세부사항들이 도 6 과 관련하여 더 상세히 논의된다.
특히, 도 6 은 다수의 이미지들 (601) (예를 들어, 601A - 601G) 에 걸쳐 수행되는 오브젝트 검출 및 추적 프로세스 (600) 를 도시한다. 타겟 오브젝트 (예를 들어, 타겟 오브젝트 (402)) 의 추적은 제 1 이미지 (601A) 에 대해 수행되는 초기 오브젝트 검출 (초기 검출 (604) 로서 도 6 에 도시됨) 으로 시작할 수 있다. 전술한 바와 같이, 타겟 목적 (예를 들어, 타겟 목적 (402)) 는 수신된 이미지 (예를 들어, 이미지 (401)) 로부터 추출되는 서브-이미지 (예를 들어, 서브-이미지 (408)) 내에서 검출될 수 있다. 일부 예들에서, 목브젝트 검출은 서브-이미지 내의 타겟 오브젝트의 포지션 또는 위치를 식별할 뿐만 아니라, 이미지 내의 타겟 오브젝트의 포지션 또는 위치를 식별한다. (예를 들어, 후속 이미지들에서) 타겟 오브젝트의 후속 위치는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합과 같은 오브젝트 추적기를 사용하여 수행될 수 있다. 일부 경우들에서, 이러한 필터의 상태는 추적 오브젝트의 레퍼런스 프레임 (예를 들어, 추적 또는 자차 레퍼런스 프레임) 에서의 타겟 오브젝트 (예를 들어, 타겟 차량) 의 상대 위치이다. 예를 들어, 타겟 오브젝트는 (이미지 평면에서의 타겟 오브젝트의 투영과는 대조적으로) 3D 공간에서 추적될 수 있다. 일부 예들에서, 오브젝트 추적기는 오브젝트 검출 모델에 의해 결정된 로컬화 정보 (예를 들어, 타겟 오브젝트의 수평 및 수직 위치 상태들) 및/또는 타겟 오브젝트로부터 수신된 하나 이상의 메시지들 (예를 들어, V2X 및/또는 DSRC 메시지들) 로부터의 포즈 정보를 사용하여 초기화될 수 있다. 예를 들어, 오브젝트 검출로부터의 정확한 검출된 박운딩 박스는 오브젝트 추적기의 수평 및 수직 위치 상태들을 초기화하기 위해 사용될 수 있고 (예를 들어, 식 (6) 에 기초하는 것과 같이, 위에서 설명된 역투영 기술을 사용하여 바운딩 박스를 이미지 평면에 투영함으로써), 메시지들 (예를 들어, V2X 및/또는 DSRC 메시지들) 로부터 도출된 포즈 정보는 오브젝트 추적기의 깊이 위치 상태를 초기화하기 위해 사용될 수 있다.
도 6 의 예에서, 타겟 오브젝트 위치 및/또는 포즈는, 예를 들어, 이미지 (601A) 로부터 추출된 서브-이미지 (예를 들어, 서브-이미지 (408)) 에 대해 오브젝트 검출이 수행된 후에 타겟 오브젝트로부터 수신되는 하나 이상의 V2X 및/또는 DSRC 메시지들에 기반하여 이미지들 (601B - 601F) (도 6 에서 추적 (608) 으로 도시됨) 에서 추적될 수 있다. 예를 들어, 위에서 언급된 바와 같이, V2X 메시지들은 타겟 오브젝트 (예를 들어, 타겟 차량) 의 속도를 나타내는 속도 정보를 포함할 수 있다. 속도는 방향 (예를 들어, 수평 (x) 및 수직 (y) 방향을 포함함) 및 속도를 포함할 수 있다. 오브젝트 추적기는 바운딩 박스를 이전 이미지 (예를 들어, 이미지 (601b) 이전의 이미지인 이미지 (601A)) 에서의 위치로부터 속도의 함수인 양만큼 이동시킴으로써 현재 이미지 (예를 들어, 이미지 (601B)) 에서의 바운딩 박스의 위치를 결정할 수 있다. 예를 들어, 일부 경우에, 메시지 (예를 들어, V2X 또는 DSRC 메시지) 에 포함된 속도 정보는 3D 로 주어질 수 있다. 오브젝트 검출 및 추적 시스템은 3D 속도 정보를 사용하여 타겟 차량의 업데이트된 3D 위치를 결정할 수 있다. 그 다음, 오브젝트 검출 및 추적 시스템은 (예를 들어, 도 5a ~ 도 5e 와 관련하여 전술한 투영을 수행함으로써) 차량의 업데이트된 위치를 카메라 이미지 평면 상에 투영할 수 있다. 차량의 투영된 위치는 새로운 바운딩 박스를 규정한다. 일부 예들에서, 3D 속도 벡터는 카메라 이미지 평면 상에 투영될 수 있고, 그 투영된 속도 벡터는 바운딩 박스를 직접 이동시키는데 사용될 수 있다.
일부 경우에, 추적 오브젝트는 타겟 차량의 업데이트된 속도를 포함하는 업데이트된 정보를 포함하는 후속 V2X 및/또는 DSRC 메시지들을 타겟 오브젝트로부터 수신할 수 있다. V2X 및/또는 DSRC 수신 메시지가 타겟 차량의 업데이트된 속도를 나타낼 때, 추적 차량의 오브젝트 검출 및 추적 시스템은 오브젝트 추적을 수행하기 위해 업데이트된 속도를 사용할 수 있다. 예를 들어, 이미지 (601A) 에 대해 수신된 하나 이상의 V2X 및/또는 DSRC 메시지들이 타겟 차량의 제 1 속도를 표시하면, 추적 차량의 오브젝트 검출 및 추적 시스템은 이미지들 (601B, 601C, 및 601D) 에 대한 타겟 차량의 오브젝트 추적을 수행하기 위해 제 1 속도를 사용할 수 있다. 이러한 예에서, 추적 차량은 타겟 차량의 업데이트된 속도 (제 2 속도로서 지칭됨) 를 포함하는 하나 이상의 추가적인 V2X 및/또는 DSRC 메시지들을 수신할 수 있다. 오브젝트 검출 및 추적 시스템은 프레임들 (601E, 601F) 에 대한 오브젝트 추적을 수행하기 위해 제 2 속도를 사용할 수 있다.
후속 이미지들에 대한 추적을 수행하기 위해 수신된 무선 메시지들 (예를 들어, 다양한 V2X 메시지 세트들) 을 사용함으로써, 타겟 오브젝트가 이미지 내의 다른 오브젝트들에 의해 폐색될 수 있는 경우들에서 추적이 수행될 수 있다. 오브젝트 추적기 (예를 들어, 필터) 의 전파는 오브젝트 추적기 상태가 비교적 작기 때문에 계산적으로 저렴하다. 또한, V2X 및/또는 DSRC 메시지들과 같은 무선 메시지들에 포함된 속도 추정들에 기반할 때, 오브젝트 추적기는 GPS, GNSS 등에 기반한 위치 추정들에 비해 매우 정확하다 (예를 들어, 5 내지 10 cm/s 정도의 정확함). 도 4 와 관련하여 도시된 예에 추가로, 타겟 오브젝트 (402) (차량) 의 추적은, 타겟 오브젝트가 도로 상의 다른 차량들과 같은 후속 이미지들에서 다른 오브젝트들에 의해 폐색되는 경우에도, 예를 들어 디지털 미러 디바이스 상에 디스플레이되는 후속 이미지들에 대해 수행될 수 있다.
일부 구현들에서, 오브젝트 검출 프로세스는 후속 이미지들에서 타겟 오브젝트에 대해 반복될 수 있다. 도 6 의 예에서, 이미지 (601G) 에 대한 오브젝트 검출이 반복된다 (검출 (606) 로서 도 6 에 도시됨). 오브젝트 검출의 케이던스는 계산 리소스들의 이용가능성, 메시지 수신 주파수, 하나 이상의 수신된 메시지 세트들에 대한 불확실성 측정들 (예를 들어, 속도의 에러량, 및/또는 포즈 추정들을 나타냄), 및/또는 이미지 컬렉션의 프레임 레이트 (602) 등을 포함하지만 이에 제한되지 않는 다수의 인자들에 기반할 수 있다는 것이 이해된다. 예로서, 검출은 1 초에 한 번, 1/2 초에 한 번 등으로 수행될 수 있다. 일부 경우들에서, 더 큰 이미지로부터 추출되는 서브-이미지는, 원래 이미지 (예를 들어, 디지털 디스플레이 미러 이미지) 에서의 타겟 오브젝트의 포지션에 관한 더 양호한 사전 정보가 타겟 오브젝트 (예를 들어, 타겟 차량) 를 추적하는데 사용되는 오브젝트 추적기 (예를 들어, 필터) 로부터 이용가능하기 때문에, 전술한 불확실성에 기반하여 결정된 크기에 비해 더 타이트하거나 더 작게 만들어질 수 있다.
검출 프로세스를 주기적으로 반복함으로써, 결과적인 정확한 바운딩 박스는 타겟 오브젝트를 추적하기 위해 사용되는 오브젝트 추적기 (예를 들어, 필터) 를 업데이트하기 위해 사용될 수 있다. 오브젝트 검출의 반복은 오브젝트 추적을 사용하여 결정된 바운딩 박스의 드리프팅을 방지할 수 있다 (그리고, 차례로 추적 차량의 디지털 디스플레이 미러와 같은 디지털 디스플레이 상에 디스플레이된 바운딩 박스의 드리프팅을 방지할 수 있다). 또한, 주기적으로 반복되는 오브젝트 검출은, 오브젝트 검출 모델들의 사용을 제한함으로써 계산 오버헤드를 감소시키면서, 예를 들어, 연장된 시간 기간들 동안 여러 이미지들에 걸쳐 유지되는 오브젝트 검출 및 로컬화의 높은 정확도를 초래할 수 있다.
전술한 바와 같이, 오브젝트 검출 및 추적 시스템은 오브젝트 검출을 수행하기 위해 기계 학습 기반 오브젝트 검출기 (예를 들어, 심층 신경망에 기반함) 를 사용할 수 있다. 도 7 은 위에서 논의된 바와 같이, 서브-이미지 (408) 에 위치된 타겟 오브젝트 (402) 와 같은 타겟 오브젝트를 포함하는 서브-이미지에 대한 오브젝트 검출을 수행하는데 사용될 수 있는 심층 신경망 (700) 의 예시적인 예이다. 심층 신경망 (700) 은 검출이 수행될 타겟 오브젝트를 포함하는 전처리된 (스케일링된) 서브-이미지들과 같은 입력 데이터를 수집하도록 구성되는 입력 계층 (720) 을 포함한다. 하나의 예시적인 예에서, 입력 계층 (720) 은 입력 이미지 또는 비디오 프레임의 픽셀들을 나타내는 데이터를 포함할 수 있다. 신경망 (700) 은 다수의 은닉 (hidden) 계층들 (722a, 722b, 내지 722n) 을 포함한다. 은닉 계층들 (722a, 722b, 내지 722n) 은 "n" 개수의 은닉 계층들을 포함하며, 여기서 "n"은 1 이상의 정수이다. 은닉 계층들의 개수는, 주어진 애플리케이션을 위해 필요한 만큼 많은 계층들을 포함하도록 이루어질 수 있다. 신경망 (700) 은, 은닉 계층들 (722a, 722b, 내지 722n) 에 의해 수행되는 프로세싱으로부터 기인한 출력을 제공하는 출력 계층 (724) 을 더 포함한다. 하나의 예시적인 예에서, 출력 계층 (724) 은 이미지 또는 입력 비디오 프레임에서의 오브젝트에 대한 분류를 제공할 수 있다. 분류는 오브젝트의 유형 (예를 들어, 사람, 개, 고양이 또는 다른 오브젝트) 를 식별하는 클래스를 포함할 수 있다.
신경망 (700) 은 상호연결된 노드들의 다중-계층 신경망이다. 각 노드는 한 가지 정보를 나타낼 수 있다. 노드들과 연관된 정보는 상이한 계층들 사이에서 공유되고 각각의 계층은 정보가 프로세싱될 때 정보를 보유한다. 일부 경우들에서, 신경망 (700) 은 피드-포워드 네트워크를 포함할 수 있으며, 이 경우 네트워크의 출력들이 그 자체로 피드백되는 피드백 연결이 없다. 일부 경우에, 신경망 (700) 은 순환 신경망을 포함할 수 있으며, 이는 입력을 판독하면서 노드들에 걸쳐 정보가 반송될 수 있게 하는 루프들을 가질 수 있다.
정보는 다양한 계층들 사이에서 노드 대 노드 상호접속들을 통해 노드들 사이에서 교환될 수 있다. 입력 계층 (720) 의 노드들은 제 1 은닉 계층 (722a) 의 노드들의 세트를 활성화할 수 있다. 예를 들어, 나타낸 바와 같이, 입력 계층 (720) 의 입력 노드들 각각은 제 1 은닉 계층 (722a) 의 노드들 각각에 연결된다. 은닉 계층들 (722a, 722b, 내지 722n) 의 노드들은 이러한 정보에 활성화 함수들을 적용함으로써 각각의 입력 노드의 정보를 변환할 수 있다. 그 후, 변환으로부터 도출된 정보는 다음 은닉 계층 (722b) 의 노드들로 패스될 수 있고 그 노드들을 활성화할 수 있으며, 이들은 이들 고유의 지정된 함수들을 수행할 수 있다. 예시적 함수들은 컨볼루셔널, 업샘플링, 데이터 변환, 및/또는 임의의 다른 적합한 함수들을 포함한다. 그 후 은닉 계층 (722b) 의 출력이 그 다음 은닉 계층의 노드들을 활성화할 수 있는 등으로 계속된다. 마지막 은닉 계층 (722n) 의 출력은, 출력이 제공되는, 출력 계층 (724) 의 하나 이상의 노드들을 활성화할 수 있다. 일부 경우들에서, 신경망 (700) 에서의 노드들 (예를 들어, 노드 (726)) 이 다중 출력 라인들을 갖는 것으로 나타나 있지만, 노드가 단일 출력을 갖고 노드로부터 출력되고 있는 것으로 나타낸 모든 라인들은 동일한 출력 값을 나타낸다.
일부 경우들에서, 각각의 노드 또는 노드들 사이의 상호연결은 신경망 (700) 의 트레이닝으로부터 도출된 파라미터들의 세트인 가중치를 가질 수 있다. 일단 신경망 (700) 이 트레이닝되면, 그것은 하나 이상의 오브젝트들을 분류하는 데 사용될 수 있는 트레이닝된 신경망으로 지칭될 수 있다. 예를 들어, 노드들 사이의 상호연결은 상호연결된 노드들에 대해 학습된 한 조각의 정보를 나타낼 수 있다. 상호연결은 (예를 들어, 트레이닝 데이터세트에 기초하여) 튜닝될 수 있는 튜닝가능한 수치 가중치를 가질 수 있으며, 신경망 (700) 이 입력들에 적응적이 될 수 있게 하고 점점 더 많은 데이터가 프로세싱됨에 따라 학습하는 것을 가능하게 할 수 있게 한다.
뉴럴 네트워크 (700) 는 출력 계층 (724) 을 통해 출력을 제공하기 위해서 상이한 은닉 계층들 (722a, 722b, 내지 722n) 을 사용하여 입력 계층 (720) 에서의 데이터로부터 피처들을 프로세싱하도록 미리 트레이닝된다. 신경망 (700) 이 이미지들에서 오브젝트들을 식별하는 데 사용되는 예에서, 신경망 (700) 은 이미지들 및 라벨들 양자 모두를 포함하는 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 예를 들어, 트레이닝 이미지는 그 망에 입력될 수 있으며, 각 트레이닝 이미지에는 각 이미지에 있는 하나 이상의 오브젝트들의 클래스를 나타내는 (기본적으로, 오브젝트가 무엇이며 이들이 어떤 특징을 가지고 있는지를 망에 나타내는) 레이블이 있다. 하나의 예시적인 예에서, 트레이닝 이미지는 숫자 2 의 이미지를 포함할 수 있으며, 이 경우 이미지에 대한 레이블은 [0 0 1 0 0 0 0 0 0 0]일 수 있다.
일부 경우들에서, 신경망 (700) 은 역전파 (backpropagation) 로 불리는 트레이닝 프로세스를 사용하여 노드들의 가중치들을 조정할 수 있다. 역전파는 순방향 패스, 손실 함수, 역방향 패스, 및 가중치 업데이트를 포함할 수 있다. 순방향 패스, 손실 함수, 역방향 패스, 및 파라미터 업데이트는 하나의 트레이닝 반복을 위해 수행된다. 계층들의 가중치들이 정확하게 튜닝되도록 신경망 (700) 이 충분히 잘 트레이닝될 때까지 트레이닝 이미지들의 각 세트에 대한 특정 수의 반복들 동안 프로세스는 반복될 수 있다.
이미지들에서의 오브젝트들을 식별하는 예의 경우, 순방향 패스는 신경망 (700) 을 통해 트레이닝 이미지를 패스하는 것을 포함할 수 있다. 가중치들은 신경망 (700) 이 트레이닝되기 전에 초기에 랜덤화된다. 이미지는 예를 들어 이미지의 픽셀을 나타내는 숫자의 배열을 포함할 수 있다. 어레이에서의 각 숫자는 어레이에서의 그 포지션에서 픽셀 강도를 기술하는 0 에서 255 까지의 값을 포함할 수 있다. 일 예에서, 어레이는 28 개의 행 및 28 개의 열의 픽셀들과 3 개의 컬러 성분들 (예컨대, 적색, 녹색 및 청색, 또는 루마와 2 개의 크로마 성분들 등) 을 갖는 숫자들의 28 x 28 x 3 어레이를 포함할 수 있다.
신경망 (700) 에 대한 제 1 트레이닝 반복 동안, 출력은 가중치들이 초기화에서 랜덤으로 선택되는 것으로 인해 임의의 특정 클래스에 대한 선호도를 부여하지 않는 값들을 아마 포함할 것이다. 예를 들어, 출력이 오브젝트가 상이한 클래스들을 포함할 확률들을 갖는 벡터인 경우, 상이한 클래스들 각각에 대한 확률 값은 동일하거나 적어도 매우 유사할 수도 있다 (예를 들어, 10 개의 가능한 클래스들에 대해, 각각의 클래스는 0.1 의 확률 값을 가질 수도 있다). 초기 가중치들로, 신경망 (700) 은 로우 레벨 특징을 결정할 수 없고, 따라서 오브젝트의 분류가 어떤 것일 수도 있는지의 정확한 결정을 내릴 수 없다. 손실 함수는 출력에서의 에러를 분석하는데 사용될 수 있다. 임의의 적절한 손실 함수 정의가 사용될 수 있다. 손실 함수의 하나의 예는 평균 제곱 에러 (MSE) 를 포함한다. MSE 는 
로 규정되고, 이는 실제 답에서 예측된 (출력) 답을 뺀 제곱의 1/2 의 합을 계산한다. 손실은 Etotal 값과 동일하도록 설정될 수 있다.
실제 값들이 예측된 출력과 많이 상이할 것이기 때문에, 손실 (또는 에러) 은 제 1 트레이닝 이미지들에 대해 높을 것이다. 트레이닝의 목표는 예측된 출력이 트레이닝 라벨과 동일하도록 손실량을 최소화하는 것이다. 신경망 (700) 은 어느 입력들 (가중치들) 이 망의 손실에 가장 많이 기여했는지를 결정함으로써 역방향 패스를 수행할 수 있으며, 손실이 감소하고 결국 최소화되도록 가중치들을 조정할 수 있다.
가중치와 관련하여 손실의 도함수 (derivative) (dL/dW로 표기됨, 식 중 W 는 특정 계층에서의 가중치들이다) 는 망의 손실에 가장 많이 기여한 가중치들을 결정하기 위해 계산될 수 있다. 도함수가 계산된 후, 가중치 업데이트가 필터들의 모든 가중치들을 업데이트함으로써 수행될 수 있다. 예를 들어, 가중치들은 구배의 반대 방향에서 변화하도록 업데이트될 수 있다. 가중치 업데이트는 
로서 표기될 수 있으며, 여기서 w 는 가중치를 표기하고, wi 는 초기 가중치를 표기하며, η 는 학습률을 표기한다. 학습률은 임의의 적합한 값으로 설정될 수 있으며, 높은 학습률은 더 큰 가중치 업데이트들을 포함하고, 더 낮은 값은 더 작은 가중치 업데이트들을 나타낸다.
신경망 (700) 은 임의의 적합한 심층 네트워크를 포함할 수 있다. 일 예는 입력 계층 및 출력 계층을 포함하는 컨볼루셔널 신경망 (CNN) 을 포함하며, 입력 및 출력 계층들 사이에 다수의 은닉 계층들을 갖는다. CNN 의 예가 도 14 와 관련하여 아래에서 설명된다. CNN 의 은닉 계층들은 일련의 컨볼루셔널, 비선형, 풀링 (다운샘플링을 위한), 및 완전히 연결된 계층들을 포함한다. 신경망 (700) 은 특히, 오토인코더, DBN (deep belief net), RNN (Recurrent Neural Network) 등과 같은 CNN 외의 임의의 다른 심층 망을 포함할 수 있다.
도 8 은 Cifar-10 신경망 (800) 의 예를 예시한 다이어그램이다. 일부 경우에, Cifar-10 신경망은 오직 차량들과 같은 특정 오브젝트들을 분류하도록 트레이닝될 수 있다. 도시된 바와 같이, Cifar-10 신경망 (800) 은 다양한 컨볼루셔널 계층 (Conv1 계층 (802), Conv2/Relu2 계층 (808), Conv3/Relu3 계층 (814)), 수많은 풀링 계층 (Pool1/Relu1 계층 (804), Pool2 계층 (810) 및 Pool3 계층 (816)), 및 그 안에 혼합된 정류된 선형 단위 계층을 포함한다. 정규화 계층 Norm1 806 및 Norm2 812 이 또한 제공된다. 최종 계층은 ip1 계층 (818) 이다.
이미지들에서 오브젝트들을 검출 또는 분류하는데 사용될수 있는 또 다른 심층 학습 기반 검출기는 다수의 오브젝트 범주 또는 클래스에 적용될 수 있는 고속 단일 샷 오브젝트 검출기인 SSD 검출기를 포함한다. 종래에, SSD 모델은 신경망 상단에서의 다수의 특징 맵에 부착된 다중 스케일 컨볼루셔널 바운딩 박스 출력을 사용하도록 설계된다. 이러한 표현은 SSD 가 주어진 이미지에서 오브젝트의 크기가 알려지지 않을 때와 같은 다양한 박스 형상들을 효율적으로 모델링할 수 있게 한다. 그러나, 본 명세서에 설명된 시스템들 및 기법들을 사용하여, 서브-이미지 추출 및 서브-이미지의 폭 및/또는 높이 스케일링은 오브젝트 검출 및 추적 시스템이 다양한 박스 형상들로 작업해야 하는 것을 회피하게 할 수 있다. 오히려, 검출 및 추적 시스템의 오브젝트 검출 모델은 이미지 내의 오브젝트 (예를 들어, 타겟 차량) 의 포지션 및/또는 위치를 검출하기 위해 스케일링된 이미지에 대해 오브젝트 검출을 수행할 수 있다.
도 9a ~ 도 9c 는 다양항 박스 형상들을 모델링하는 단일-샷 오브젝트 검출기의 예를 도시하는 다이어그램이다. 도 9a 는 이미지를 포함하고 도 9b 및 도 9c 는 SSD 검출기 (VGG 심층 네트워크 기반 모델을 가짐) 가 어떻게 동작하는지를 예시하는 다이어그램을 포함한다. 예를 들어, SSD 는 오브젝트들을 상이한 종횡비의 디폴트 박스 (도 9b 및 도 9c 에서 점선 직사각형으로 도시됨) 와 매칭시킨다. 특징 맵의 각 엘리먼트는 그것과 연관된 다수의 디폴트 박스를 갖는다. 임계치 (예: 0.4, 0.5, 0.6 또는 기타 적절한 임계치)를 초과하는 지상 검증 자료 박스를 갖는 IOU (intersection over union) 가 있는 임의의 디폴트 박스는 오브젝트에 대한 매치로 간주된다. 예를 들어, 8x8 박스 중 2 개 (도 9b 에서 박스 (902) 및 박스 (904)) 는 고양이와 매칭되고 4x4 박스들 중 하나 (도 9c 에서 박스 (906)) 는 개와 매칭된다. SSD 는 다수의 특징 맵을 가지며, 각 특징 맵은 상이한 스케일의 오브젝트를 담당하며, 광범위한 스케일에 걸쳐 오브젝트를 식별할 수 있게 한다. 예를 들어, 도 9b 의 8x8 특징 맵에서의 박스는 도 9c 의 4x4 특징 맵에서의 박스보다 작다. 하나의 예시적인 예에서, SSD 검출기는 총 6 개의 특징 맵을 가질 수 있다.
각 셀에서의 각 디폴트 박스에 대해, SSD 신경망은 길이가 c 인 확률 벡터를 출력하고, 여기서 c 는 클래스 수이며, 박스가 각 클래스의 오브젝트를 포함하는 확률을 나타낸다. 일부 경우에, 박스에 오브젝트가 없음을 나타내는 배경 클래스가 포함된다. SSD 망은 또한 (각 셀에서 각 디폴트 박스에 대해) 디폴트 박스를 기본 오브젝트의 바운딩 박스와 매칭시키는데 필요한 예측된 오프셋을 포함하는 4 개의 항목이 있는 오프셋 벡터를 출력한다. 벡터는 (cx, cy, w, h) 형식으로 주어지며, 여기서 cx 는 중심 x 를 나타내고, cy 는 중심 y 를 나타내고, w 는 폭 오프셋을 나타내고, h 는 높이 오프셋을 나타낸다. 벡터는 디폴트 박스에 포함된 오브젝트가 실제로 있는 경우에만 의미가 있다. 도 9a 에 도시된 이미지의 경우, 모든 확률 레이블은 3 개의 매칭되는 박스 (고양이에 대한 2 개, 개에 대한 1 개) 를 제외하고 배경 클래스를 나타낸다.
위에서 언급된 바와 같이, 본 명세서에 설명된 시스템들 및 기법들을 사용하여, 스케일들의 수는 스케일링된 서브-이미지로 감소되고, 그 상에서 오브젝트 검출 모델은 오브젝트 (예를 들어, 타겟 차량) 의 포지션을 검출하기 위해 오게트 검출을 수행할 수 있다.
오브젝트 검출 모델에 의해 이미지에서 오브젝트를 검출 또는 분류하는데 사용될 수 있는 또 다른 심층 학습 기반 검출기는 SSD 오브젝트 검출 시스템의 대안인 YOLO (You only look once) 검출기를 포함한다. 도 10a ~ 도 10c 는 일부 예들에 따른, YOLO (you only look once) 검출기의 예를 도시하는 다이어그램이다. 특히, 도 10a 는 이미지를 포함하고 도 10b 및 도 10c 는 YOLO 검출기가 어떻게 동작하는지를 예시하는 다이어그램을 포함한다. YOLO 검출기는 전체 이미지에 단일 신경망을 적용할 수 있다. 도시된 바처럼, YOLO 망은 이미지를 영역들로 나누고 각 영역에 대한 바운딩 박스 및 확률을 예측한다. 이들 바운딩 박스는 예측된 확률에 의해 가중화된다. 예를 들어, 도 10a 에 도시된 바와 같이, YOLO 검출기는 이미지를 13 바이 13 셀들의 격자로 나눈다. 각 셀은 5 개의 바운딩 박스를 예측하는 것을 담당한다. 예측된 바운딩 박스가 실제로 오브젝트를 둘러싸고 있는지 여부가 얼마나 확실한지를 나타내는 신뢰 스코어가 제공된다. 이 스코어는 박스 안에 있을 수도 있는 오브젝트의 분류를 포함하지 않지만, 박스의 형상이 적합한지 여부를 나타낸다. 예측된 바운딩 박스는 도 10b 에 도시되어 있다. 신뢰 스코어가 더 높은 박스는 테두리가 더 두껍다.
각 셀은 또한 각 바운딩 박스에 대해 클래스를 예측한다. 예를 들어, 모든 가능한 클래스에 대한 확률 분포가 제공된다. 자전거, 개, 고양이, 사람, 자동차 또는 기타 적절한 오브젝트 클래스와 같은 임의의 수의 클래스가 검출될 수 있다. 바운딩 박스에 대한 신뢰 스코어와 클래스 예측은 그 바운딩 박스에 특정 유형의 오브젝트가 포함될 확률을 나타내는 최종 스코어로 결합된다. 예를 들어, 도 10b 에서의 이미지의 좌측에 두꺼운 테두리가 있는 회색 박스는 그것에 오브젝트 클래스 "개" 가 포함되어 있다는 것이 85% 확실하다. 169 개의 격자 셀들 (13 x 13) 이 있으며 각 셀은 5 개의 바운딩 박스를 예측하므로, 총 1745 개의 바운딩 박스를 초래한다. 많은 바운딩 박스는 매우 낮은 스코어를 가질 것이며, 이 경우 임계치보다 높은 (예: 30% 확률, 40% 확률, 50% 확률 또는 기타 적절한 임계치 보다 높은) 최종 스코어를 가진 박스만 유지된다. 도 10c 는 개, 자전거 및 자동차를 포함하는 최종 예측된 바운딩 박스 및 클래스가 있는 이미지를 도시한다. 도시된 바와 같이, 생성된 총 1745 개의 바운딩 박스로부터, 도 10c 에 도시된 3 개의 바운딩 박스만이, 이들이 최선의 최종 스코어를 가졌기 때문에 유지되었다.
도 11 은 개시된 기술의 일부 양태들에 따른, 오브젝트 검출 및 추적을 수행하기 위한 프로세스 (1100) 의 예를 도시하는 흐름도이다. 일부 구현들에서, 프로세스 (1100) 는, 단계 (1102) 에서, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하는 단계를 포함할 수 있다. 전술한 바와 같이, 이미지는 개시된 기술의 오브젝트 검출 및 추적 시스템을 포함하는 차량과 같은 추적 오브젝트에서 수신 (또는 캡처) 될 수 있다. 이러한 접근법들에서, 이미지는 추적 오브젝트를 둘러싸는 환경에서 다양한 타겟 오브젝트 (예를 들어, 다른 차량들) 의 이미지들을 기록/캡처하도록 구성된 하나 이상의 차량 카메라들과 같은 하나 이상의 차량 센서들에 의해 수집될 수 있다.
일부 구현들에서, 프로세스 (1100) 는 단계 (1104) 에서, 추적 오브젝트에서 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하는 단계를 포함할 수 있다. 도 4 및 도 6 과 관련하여 위에서 논의된 예들에 추가로, 수신된 메시지들은 타겟 오브젝트에 의해 송신되고 추적 오브젝트에 의해 수신되는 무선 메시지들 (예를 들어, V2X (Vehicle-to-Everything) 무선 메시지들, DSRC (Dedicated Short-Range Communications) 무선 메시지들, 및/또는 다른 타입들의 메시지들) 을 포함할 수 있다. 이와 같이, 메시지들 (예를 들어, V2X 메시지들, DSRC 메시지 등) 은 타겟 오브젝트에 관한 속도, 포즈 및/또는 크기 정보를 특정할 수 있다.
일부 예들에서, 프로세스 (1100) 는, 단계 (1106) 에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하는 단계를 포함할 수 있다. 일부 예들에서, 바운딩 박스는 추적 오브젝트 및/또는 타겟 오브젝트에 대한 포즈 추정들, 크기 추정들, 및/또는 속도 추정들에 기반할 수 있다. 일부 접근법들에서, 바운딩 박스는 또한 추적 오브젝트 및/또는 타겟 오브젝트의 위치, 포즈, 및/또는 크기에 대한 불확실성의 측정들 (또는 추정들) 에 기반할 수 있다. 이와 같이, 바운딩 박스의 이미지 영역은 이러한 불확실성 측정들을 고려하도록 크기 조정 (증가 또는 감소) 될 수 있다. 예로서, 바운딩 박스에 의해 커버되는 이미지 영역은, 알려진 불확실성 측정들이 주어지면, 바운딩 박스가 타겟 오브젝트를 포함할 통계적 가능성에 기반하여 구성될 수 있다.
일부 예들에서, 프로세스 (1100) 는, 단계 (1108) 에서, 이미지로부터 서브-이미지를 추출하는 단계를 포함할 수 있으며, 서브-이미지는 바운딩 박스 내의 이미지의 영역을 포함한다. 일부 접근법들에서, 서브-이미지는, 예를 들어 검출 모델에 의한 수집을 위한 준비로 미리 결정된 높이 및/또는 폭 (크기) 으로 서브-이미지를 조정 (스케일링) 하기 위해 사전-프로세싱될 수 있다.
일부 예들에서, 프로세스 (1100) 는, 단계 (1110) 에서, 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 오브젝트의 위치를 검출하는 단계를 포함할 수 있다. 일부 양태들에서, 오브젝트 검출 모델은 서브-이미지 내의 하나 이상의 차량들을 식별하도록 구성된 기계 학습 분류기일 수 있다 (또는 포함할 수 있다).
추가적으로, 일부 양태들에서, 프로세스 (1100) 는, 예를 들어 하나 이상의 후속 이미지들 또는 프레임들을 통해, 검출된 오브젝트를 추적하기 위한 단계들을 포함할 수 있다. 예로서, 추적 오브젝트는 타겟 오브젝트와 연관된 메시지들 (예를 들어, V2X 메시지들, DSRC 메시지들 등) 의 제 2 세트를 수신하고, 오브젝트 추적기를 사용하여, 메시지들의 제 2 세트에 기반하여 이미지에서 타겟 오브젝트의 변화하는 위치를 추적할 수 있다. 원하는 구현에 따라, 상이한 타입의 오브젝트 추적기들이 사용될 수 있다. 예를 들어, 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합일 수 있다 (또는 포함할 수 있다). 일부 구현들에서, 오브젝트 추적기는 메시지들의 제 1 세트, 서브-이미지 내의 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화된다.
일부 예들에서, 본 명세서에 설명된 프로세스들 (예를 들어, 프로세스 (1100) 및/또는 본 명세서에 설명된 다른 프로세스) 은 컴퓨팅 디바이스 또는 장치 (예를 들어, 차량 컴퓨터 시스템) 에 의해 수행될 수 있다. 일 예에서, 프로세스 (1100) 는 도 2 의 차량 (204) 에 의해 수행될 수 있다. 다른 예에서, 프로세스 (1100) 는 도 12 에 도시된 컴퓨팅 시스템 (1200) 을 갖는 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 도 12 에 도시된 컴퓨팅 아키텍처를 갖는 차량은 도 2 의 차량 (204) 의 컴포넌트들을 포함할 수 있고 도 11 의 동작들을 구현할 수 있다.
일부 경우들에서, 컴퓨팅 디바이스 또는 장치는 본원에 설명된 프로세스들의 단계들을 수행하도록 구성되는 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 하나 이상의 카메라들, 하나 이상의 센서들, 및/또는 다른 컴포넌트(들)과 같은 여러 컴포넌트들을 포함할 수도 있다. 일부 예에서, 컴퓨팅 디바이스는 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 하나 이상의 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 포함할 수도 있다. 하나 이상의 네트워크 인터페이스는 3G, 4G, 5G 및/또는 다른 셀룰러 표준에 따른 데이터, WiFi (802.11x) 표준에 따른 데이터, BluetoothTM 표준에 따른 데이터, 인터넷 프로토콜 (IP) 표준에 따른 데이터, 및/또는 다른 유형의 데이터를 포함하는, 유선 및/또는 무선 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
계산 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은 본 명세서에서 설명된 다양한 동작들을 수행하기 위해, 하나 이상의 프로그래밍가능 전자 회로들 (예컨대, 마이크로프로세서들, 그래픽스 프로세싱 유닛들 (GPU들), 디지털 신호 프로세서들 (DSP들), 중앙 프로세싱 유닛들 (CPU들), 및/또는 다른 적합한 전자 회로들) 을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있고, 및/또는 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고/있거나 이들을 사용하여 구현될 수 있다.
프로세스 (1100) 는 논리 플로우 다이어그램들로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합에서 구현될 수 있는 동작들의 시퀀스를 나타낸다. 컴퓨터 명령들의 맥락에서, 그 동작들은, 하나 이상의 프로세서들에 의해 실행될 경우, 기재된 동작들을 수행하는 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 나타낸다. 일반적으로, 컴퓨터 실행가능 명령들은, 특정 기능들을 수행하거나 또는 특정 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되도록 의도되지 않으며, 임의의 수의 설명된 동작들은 프로세스들을 구현하기 위해 임의의 순서로 및/또는 병렬로 결합될 수 있다.
부가적으로, 프로세스 (1100) 및/또는 본 명세서에서 설명된 다른 프로세스는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에 수행될 수도 있으며, 하나 이상의 프로세서들 상에서 집합적으로 실행하는 코드 (예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 어플리케이션들) 로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수도 있다. 상기 언급된 바와 같이, 코드는 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에, 예를 들어, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로 저장될 수도 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수도 있다.
도 12 는 본 기술의 특정 양태들을 구현하기 위한 시스템의 일 예를 예시한 다이어그램이다. 특히, 도 12 는, 예를 들어, 내부 컴퓨팅 시스템을 구성하는 임의의 컴퓨팅 디바이스, 원격 컴퓨팅 시스템, 카메라, 또는 시스템의 컴포넌트들이 커넥션 (1205) 을 사용하여 서로 통신하는 이들의 임의의 컴포넌트일 수 있는 컴퓨팅 시스템 (1200) 의 일 예를 예시한다. 커넥션 (1205) 은 버스를 사용하는 물리적 커넥션, 또는 칩셋 아키텍처에서와 같이 프로세서 (1210) 로의 직접 커넥션일 수 있다. 커넥션 (1205) 은 또한 가상 커넥션, 네트워킹된 커넥션, 또는 논리적 커넥션일 수 있다.
일부 실시양태들에서, 컴퓨팅 시스템 (1200) 은 본 개시에서 설명된 기능이 데이터 센터, 다중 데이터 센터, 피어 네트워크 등 내에서 분산될 수 있는 분산 시스템이다. 일부 실시양태들에서, 설명된 시스템 컴포넌트들 중 하나 이상은 컴포넌트가 설명된 기능의 일부 또는 전체를 각각 수행하는 다수의 그러한 컴포넌트들을 나타낸다. 일부 실시양태들에서, 컴포넌트는 물리적 또는 가상 디바이스들일 수 있다.
예시적인 시스템 (1200) 은 적어도 하나의 프로세싱 유닛 (CPU 또는 프로세서) (1210), 및 판독 전용 메모리 (ROM) (1220) 및 랜덤 액세스 메모리 (RAM) (1225) 와 같은 시스템 메모리 (1215) 를 포함하는 다양한 시스템 컴포넌트들을 프로세서 (1210) 에 커플링시키는 접속 (1205) 을 포함한다. 컴퓨팅 시스템 (1200) 은, 프로세서 (1210) 와 직접 연결되거나 그에 매우 근접하거나 또는 그의 부분으로서 통합된 고속 메모리의 캐시 (1212) 를 포함할 수 있다.
프로세서 (1210) 는 임의의 범용 프로세서 및 프로세서 (1210) 를 제어하도록 구성된 스토리지 디바이스 (1230) 에 저장된 서비스들 (1232, 1234 및 1236) 과 같은 하드웨어 서비스 또는 소프트웨어 서비스 그리고 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서 (1210) 는 본질적으로 다중 코어 또는 프로세서, 버스, 메모리 컨트롤러, 캐시 등을 포함하는 완전히 독립형 컴퓨팅 시스템일 수도 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수도 있다.
사용자 상호작용을 가능하게 하기 위해, 컴퓨팅 시스템 (1200) 은 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 다수의 입력 메커니즘을 나타낼 수 있는 입력 디바이스 (1245) 를 포함한다. 컴퓨팅 시스템 (1200) 은 또한 다수의 출력 메커니즘 중 하나 이상일 수 있는 출력 디바이스 (1235) 를 포함할 수 있다. 일부 사례들에서, 멀티모달 시스템들이 사용자로 하여금 계산 시스템 (1200) 과 통신하기 위해 다중의 타입들의 입력/출력을 제공할 수 있게 할 수 있다. 컴퓨팅 시스템 (1200) 은, 사용자 입력 및 시스템 출력을 일반적으로 통제하고 관리할 수 있는 통신 인터페이스 (1240) 를 포함할 수 있다.
통신 인터페이스는, 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스 (USB) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 독점적 유선 포트/플러그, BLUETOOTH® 무선 신호 전송, BLUETOOTH® 저에너지 (BLE) 무선 신호 전송, IBEACON® 무선 신호 전송, 무선 주파수 식별 (RFID) 무선 신호 전송, 근접장 통신 (NFC) 무선 신호 전송, 전용 단거리 통신 (DSRC) 무선 신호 전송, 802.11 Wi-Fi 무선 신호 전송, 무선 로컬 영역 네트워크 (WLAN) 신호 전송, 가시광 통신 (VLC), WiMAX (Worldwide Interoperability for Microwave Access), 적외선 (IR) 통신 무선 신호 전송, 공중 교환 전화 네트워크 (PSTN) 신호 전송, 통합 서비스 디지털 네트워크 (ISDN) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, 애드혹 네트워크 신호 전송, 라디오파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외선 광 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송, 또는 이들의 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 트랜시버들을 사용하여 유선 또는 무선 통신들의 수신 및/또는 송신을 수행하거나 용이하게 할 수도 있다.
통신 인터페이스 (1240) 는 또한, 하나 이상의 글로벌 내비게이션 위성 시스템 (GNSS) 시스템들과 연관된 하나 이상의 위성들로부터의 하나 이상의 신호들의 수신에 기초하여 컴퓨팅 시스템 (1200) 의 위치를 결정하는데 사용되는 하나 이상의 GNSS 수신기들 또는 트랜시버들을 포함할 수도 있다. GNSS 시스템들은 미국 기반 글로벌 포지셔닝 시스템 (GPS), 러시아 기반 글로벌 내비게이션 위성 시스템 (GLONASS), 중국 기반 베이더우 내비게이션 위성 시스템 (BDS) 및 유럽 기반 Galileo GNSS 를 포함하지만 이에 한정되지 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 제한이 없으며, 따라서, 여기에서의 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들로 쉽게 대체될 수도 있다.
저장 디바이스 (1230) 는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독가능 메모리 디바이스일 수 있고, 다음과 같은 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들일 수 있다: 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드-스테이트 메모리, 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 광 디스크, 재기록가능 컴팩트 디스크 (CD) 광 디스크, 디지털 비디오 디스크 (DVD) 광 디스크, 블루-레이 디스크 (BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털 (SD) 카드, 마이크로 보안 디지털 (microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 아이덴티티 모듈 (SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로 (IC) 칩/카드, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 EPROM (FLASHEPROM), 캐시 메모리 (L1/L2/L3/L4/L5/L#), 저항성 랜덤 액세스 메모리 (RRAM/ReRAM), 상 변화 메모리 (PCM), 스핀 전달 토크 RAM (STT-RAM), 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합.
저장 디바이스 (1230) 는, 그러한 소프트웨어를 정의하는 코드가 프로세서 (1210) 에 의해 실행될 경우 시스템으로 하여금 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시형태들에서, 특정 기능을 수행하는 하드웨어 서비스는, 기능을 수행하기 위해 프로세서 (1210), 접속 (1205), 출력 디바이스 (1235) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다. 용어 "컴퓨터 판독가능 매체" 는 휴대용 또는 비-휴대용 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함, 또는 나를 수 있는 다양한 다른 매체들을 포함하지만 이에 한정되지 않는다. 컴퓨터 판독가능 매체는 데이터가 저장될 수 있고 캐리어 파 및/또는 무선 또는 유선 접속을 통해 전파되는 일시적인 전자 신호를 포함하지 않는 비일시적인 매체를 포함할 수도 있다.
비일시적인 매체의 예들은 자기 디스크 또는 테이프, 컴팩트 디스크 (CD) 또는 디지털 다용도 디스크 (DVD) 와 같은 광학 저장 매체, 플래시 메모리, 메모리 또는 메모리 디바이스를 포함할 수도 있으나, 이에 한정되는 것은 아니다. 컴퓨터 판독가능 매체는, 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있는 코드 및/또는 머신 실행가능 명령들이 저장될 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들 (arguments), 파라미터들, 또는 메모리 컨텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적합한 수단을 통해 전달, 포워딩, 또는 전송될 수도 있다.
특정 세부사항은 본 명세서에 기재된 실시형태 및 예를 철저히 이해하기 위해 제공되는 것이지만, 당업자는 애플리케이션이 이에 제한되지 않는다는 것을 인식할 것이다. 따라서, 본 출원의 예시적인 실시형태들은 본 명세서에서 상세히 설명되었지만, 본 발명의 개념들은 달리 다양하게 구현 및 채용될 수도 있으며, 첨부된 청구항들은 종래 기술에 의해 제한되는 것을 제외하고는 그러한 변동들을 포함하는 것으로 해석되도록 의도됨이 이해되어야 한다. 전술한 애플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수도 있다. 또한, 실시양태들은 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서 본 명세서에 기재된 것 이외의 임의의 수의 환경들 및 애플리케이션들에서 이용될 수 있다. 이에 따라, 명세서 및 도면들은 한정적 의미보다는 예시적 의미로 간주되어야 한다. 예시의 목적 상, 방법들은 특정 순서로 기술되었다. 대안적인 실시양태들에서, 상기 방법들은 설명된 것과 다른 순서로 수행될 수도 있다는 것을 이해해야 한다.
설명의 명료성을 위해, 일부 사례들에서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어로 구체화된 방법의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 개별의 기능적 블록들을 포함하는 것으로서 제시될 수도 있다. 도면들에서 도시되고/되거나 본 명세서에서 설명된 것들 이외의 추가적인 컴포넌트들이 사용될 수도 있다. 예를 들어, 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 컴포넌트들은 그 실시양태들을 불필요한 상세로 불명료하게 하지 않기 위해 블록도 형태의 컴포넌트들로서 도시될 수도 있다. 다른 예들에서, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은, 실시양태들을 불명료하게 하는 것을 회피하기 위해 불필요한 상세 없이 도시될 수도 있다.
또한, 당업자는 본 명세서에 개시된 양태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있음을 인식할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환가능성을 명백하게 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점으로 일반적으로 상기 설명되었다. 그러한 기능이 하드웨어 또는 소프트웨어로 구현될지 여부는, 특정의 애플리케이션 및 전체 시스템에 부과된 설계 제약에 달려 있다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대해 다른 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 개시의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다.
개별 실시형태들은, 플로우차트, 플로우 다이어그램, 데이터 플로우 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시되는 프로세스 또는 방법으로서 상기 설명될 수도 있다. 비록 플로우차트가 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 부가적으로, 동작들의 순서는 재배열될 수도 있다. 프로세스는, 그의 동작들이 완료될 때 종료되지만, 도면에 포함되지 않은 추가적인 단계들을 가질 수 있을 것이다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 복귀에 대응할 수도 있다.
상술한 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 매체들로부터 저장되거나 그렇지 않으면 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 그러한 명령들은 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스가 특정 기능 또는 기능들의 그룹을 수행하게 하거나 그렇지 않으면 수행하도록 구성하는 명령들 및 데이터를 포함할 수 있다. 사용된 컴퓨터 리소스들의 부분들은 네트워크를 통해 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어 바이너리들, 중간 포맷 명령들, 예컨대 어셈블리 언어, 펌웨어, 소스 코드일 수도 있다. 명령들, 사용된 정보, 및/또는 설명된 예들에 따른 방법들 동안 생성된 정보를 저장하는데 사용될 수도 있는 컴퓨터 판독가능 매체의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스들 등을 포함한다.
일부 실시형태들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들, 및 메모리들은 비트스트림 등을 포함하는 케이블 또는 무선 신호를 포함할 수 있다. 하지만, 언급될 때, 비일시적인 컴퓨터 판독가능 저장 매체들은 에너지, 캐리어 신호들, 전자기 파들, 및 신호들 그 자체와 같은 매체들을 명시적으로 배제한다.
당업자는 정보 및 신호가 임의의 다양한 상이한 기술 및 기법을 사용하여 표현될 수도 있음을 인식할 것이다. 예를 들면, 위의 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은, 일부 경우에 특정 애플리케이션에 부분적으로 의존하여, 원하는 설계에 부분적으로 의존하여, 대응하는 기술 등에 부분적으로 의존하여, 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학장들 또는 광학 입자들, 이들의 임의의 조합에 의해 표현될 수도 있다.
본 명세서에 개시된 양태와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈 및 회로는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어 또는 이들의 임의의 조합을 사용하여 구현 또는 수행될 수도 있고, 다양한 폼 팩터 중 어느 것을 취할 수도 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에서 구현될 경우, 필요한 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들 (예컨대, 컴퓨터 프로그램 제품) 은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수도 있다. 프로세서(들)는 필요한 태스크들을 수행할 수도 있다. 폼 팩터들의 통상적인 예들은 랩탑들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 디지털 보조기들, 랙마운트 디바이스들, 자립형 디바이스들 등을 포함한다. 본 명세서에서 설명된 기능은 또한, 주변기기들 또는 애드-인 (add-in) 카드들에서 구현될 수 있다. 그러한 기능성은 또한, 추가의 예에 의해, 단일 디바이스에서 실행되는 상이한 칩들 또는 상이한 프로세스들 중에서 회로 보드 상에서 구현될 수 있다.
명령들, 그러한 명령들을 운반하기 위한 매체들, 그것들을 실행하기 위한 컴퓨팅 리소스들, 및 그러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시에서 설명된 기능들을 제공하기 위한 예시적인 수단들이다.
본 명세서에서 설명된 기법들은 또한, 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 그러한 기법들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 어플리케이션을 포함하여 다중의 이용들을 갖는 집적 회로 디바이스들과 같은 임의의 다양한 디바이스들에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어에서 구현되는 경우, 그 기법들은, 실행될 경우, 전술한 방법들, 알고리즘들, 및/또는 동작들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있다. 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 그 기법들은, 추가적으로 또는 대안적으로, 전파된 신호들 또는 파들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 통신하고 그리고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는 하나 이상의 프로세서, 예컨대 하나 이상의 디지털 신호 프로세서 (DSP), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그램가능 로직 어레이들 (FPGA들), 또는 다른 균등한 통합된 또는 별개의 로직 회로부를 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에 설명된 기법들 중의 임의의 것을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 따라서, 본원에 사용된 용어 "프로세서" 는 임의의 이전 구조, 이전 구조의 임의의 조합, 또는 본원에 설명된 기술들의 구현에 적합한 임의의 다른 구조 또는 장치를 지칭할 수도 있다.
당업자는 본 명세서에 사용된 미만 ( "<") 및 초과 ( ">") 기호 또는 용어가 설명의 범위를 벗어남이 없이 이하 ( "≤") 및 이상 ("≥") 으로 각각 대체될 수 있음을 주지할 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍 가능한 전자 회로 (예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로) 를 프로그래밍하여 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
구절 "커플링된" 은 직접 또는 간접적으로 다른 컴포넌트에 물리적으로 연결되는 임의의 컴포넌트, 및/또는 직접 또는 간접적으로 다른 컴포넌트와 통신하는 (예를 들어, 유선 또는 무선 연결, 및/또는 다른 적절한 통신 인터페이스를 통해 다른 컴포넌트에 연결되는) 임의의 컴포넌트를 지칭한다.
세트 "중 적어도 하나" 또는 세트 "중 하나 이상" 을 인용하는 청구항 언어 또는 다른 언어는 그 세트의 하나의 멤버 또는 그 세트의 다중의 멤버들 (임의의 조합) 이 청구항을 충족하는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미한다. 다른 예에서, "A, B, 및 C 중 적어도 하나" 또는 "A, B, 또는 C 중 적어도 하나"를 인용하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C 를 의미한다. 언어 세트 “중 적어도 하나" 및/또는 세트 중 “하나 이상" 은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 또는 "A 또는 B 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미할 수 있으며, A 및 B 의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 개시의 예시적인 예들은 다음을 포함한다.
양태 1.
오브젝트 검출 및 추적을 수행하기 위한 장치로서, 적어도 하나의 메모리, 및 상기 적어도 하나의 메모리에 커플링되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하고; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하며; 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하도록 구성된다.
양태 2.
양태 1 의 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 타겟 오브젝트와 연관된 메시지의 제 2 세트를 수신하고; 오브젝트 추적기를 사용하여, 메시지의 제 2 세트에 기반하여 상기 이미지에서 타겟 오브젝트의 변화하는 위치를 추적하도록 추가로 구성된다.
양태 3.
양태 2 의 장치에 있어서, 상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 무선 메시지들, 또는 이들의 조합을 포함한다.
양태 4.
양태 2 또는 양태 3 중 어느 하나의 장치에 있어서, 상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합이다.
양태 5.
양태 2 내지 양태 4 중 어느 하나의 장치에 있어서, 상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화된다.
양태 6.
양태 2 내지 양태 5 중 어느 하나의 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하고; 상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하며; 상기 오브젝트 추적기를 사용하여 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하도록 추가로 구성된다.
양태 7.
양태 6 의 장치에 있어서, 상기 적어도 하나의 프로세서는, 상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 상기 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하고; 상기 오브젝트 검출 모델을 사용하여, 상기 새로운 서브-이미지 내의 상기 타겟 오브젝트의 새로운 위치를 검출하도록 추가로 구성된다.
양태 8. 양태 1 내지 양태 7 중 어느 하나의 장치에 있어서, 상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량을 식별하도록 구성된 기계 학습 분류기를 포함한다.
양태 9.
양태 1 내지 양태 8 중 어느 하나의 장치에 있어서, 상기 이미지 내의 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 프로세서는, 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하고; 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하도록 구성되고, 상기 바운딩 박스는 상기 타겟 오브젝트에 대한 상기 크기 추정, 상기 타겟 오브젝트에 대한 상기 포즈 추정, 또는 이들의 조합에 기반한다.
양태 10.
양태 9 의 장치에 있어서, 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 프로세서는, 상기 추적 오브젝트에 대한 포즈 추정을 결정하도록 추가로 구성되고, 상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반한다.
양태 11.
양태 10 의 장치에 있어서, 상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반한다.
양태 12.
양태 1 내지 양태 11 중 어느 하나의 장치에 있어서, 상기 이미지로부터 상기 서브-이미지를 추출하기 위해, 상기 적어도 하나의 프로세서는, 상기 서브-이미지를 미리 결정된 크기로 스케일링하도록 추가로 구성된다.
양태 13.
오브젝트 검출 및 추적을 수행하는 방법으로서, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하는 단계; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하는 단계; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하는 단계; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하는 단계; 및 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하는 단계를 포함한다.
양태 14.
양태 13 의 방법에 있어서, 상기 타겟 오브젝트와 연관된 메시지의 제 2 세트를 수신하는 단계; 및 오브젝트 추적기를 사용하여, 메시지의 제 2 세트에 기반하여 상기 이미지에서 타겟 오브젝트의 변화하는 위치를 추적하는 단계를 더 포함한다.
양태 15.
양태 14 의 방법에 있어서, 상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 (DSRC) 무선 메시지들, 또는 이들의 조합을 포함한다.
양태 16.
양태 14 또는 양태 15 중 어느 하나의 방법에 있어서, 상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합이다.
양태 17.
양태 14 내지 양태 16 중 어느 하나의 방법에 있어서, 상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화된다.
양태 18.
양태 14 내지 양태 17 중 어느 하나의 방법에 있어서, 상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하는 단계; 상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하는 단계; 및 상기 오브젝트 추적기를 사용하여 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하는 단계를 더 포함한다.
양태 19.
양태 18 의 방법에 있어서, 상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 상기 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하는 단계; 및 상기 오브젝트 검출 모델을 사용하여, 상기 새로운 서브-이미지 내의 상기 타겟 오브젝트의 새로운 위치를 검출하는 단계를 더 포함한다.
양태 20.
양태 13 내지 양태 19 중 어느 하나의 방법에 있어서, 상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량을 식별하도록 구성된 기계 학습 분류기를 포함한다.
양태 21.
양태 13 내지 양태 20 중 어느 하나의 방법에 있어서, 상기 이미지 내의 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하는 단계는, 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하는 단계; 및 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하는 단계를 포함하고, 상기 바운딩 박스는 상기 타겟 오브젝트에 대한 상기 크기 추정, 상기 타겟 오브젝트에 대한 상기 포즈 추정, 또는 이들의 조합에 기반한다.
양태 22.
양태 21 의 방법에 있어서, 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하는 단계는, 상기 추적 오브젝트에 대한 포즈 추정을 결정하는 단계를 포함하고, 상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반한다.
양태 23.
양태 22 의 방법에 있어서, 상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반한다.
양태 24.
양태 13 내지 양태 23 중 어느 하나의 방법에 있어서, 이미지로부터 서브-이미지를 추출하는 단계는, 서브-이미지를 미리 결정된 크기로 스케일링하는 단계를 포함한다.
양태 25.
비일시적 컴퓨터 판독가능 저장 매체는, 컴퓨터 또는 프로세서로 하여금, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하고; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하며; 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하게 하는 적어도 하나의 명령을 포함한다.
양태 26.
양태 25 의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 컴퓨터 또는 프로세서로 하여금, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 수신하게 하고; 그리고 오브젝트 추적기를 사용하여, 상기 메시지들의 제 2 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트의 변화하는 위치를 추적하게 하기 위한 적어도 하나의 명령을 더 포함한다.
양태 27.
양태 26 의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 (DSRC) 무선 메시지들, 또는 이들의 조합을 포함한다.
양태 28.
양태 26 또는 양태 27 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합이다.
양태 29.
양태 26 내지 양태 28 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화된다.
양태 30.
양태 26 내지 양태 29 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 컴퓨터 또는 프로세서로 하여금, 상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하고; 상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하며; 상기 오브젝트 추적기를 사용하여 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하게 하는 적어도 하나의 명령을 더 포함한다.
양태 31.
양태 30 의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 컴퓨터 또는 프로세서로 하여금, 상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 상기 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하고; 상기 오브젝트 검출 모델을 사용하여, 상기 새로운 서브-이미지 내의 상기 타겟 오브젝트의 새로운 위치를 검출하게 하는 적어도 하나의 명령을 더 포함한다.
양태 32.
양태 25 내지 양태 31 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량을 식별하도록 구성된 기계 학습 분류기를 포함한다.
양태 33.
양태 25 내지 양태 32 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 이미지 내의 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 명령은, 상기 컴퓨터 또는 프로세서로 하여금, 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하고; 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하게 하도록 추가로 구성되고, 상기 바운딩 박스는 상기 타겟 오브젝트에 대한 상기 크기 추정, 상기 타겟 오브젝트에 대한 상기 포즈 추정, 또는 이들의 조합에 기반한다.
양태 34.
양태 33 의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 명령은, 상기 컴퓨터 또는 프로세서로 하여금, 상기 추적 오브젝트에 대한 포즈 추정을 결정하게 하도록 추가로 구성되고, 상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반한다.
양태 35.
양태 34 의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반한다.
양태 36.
양태 25 내지 양태 35 중 어느 하나의 비일시적 컴퓨터 판독가능 저장 매체에 있어서, 상기 이미지로부터 상기 서브-이미지를 추출하기 위해, 상기 적어도 하나의 명령은, 상기 컴퓨터 또는 프로세서로 하여금, 상기 서브-이미지를 미리 결정된 크기로 스케일링하도록 추가로 구성된다.
양태 37.
오브젝트 검출 및 추적을 실시하는 장치로서, 추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하기 위한 수단; 추적 오브젝트에서, 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하기 위한 수단; 타겟 오브젝트와 연관된 메시지들의 제 1 세트에 기반하여 이미지 내의 타겟 오브젝트에 대한 바운딩 박스를 결정하기 위한 수단; 이미지로부터, 바운딩 박스 내의 이미지의 영역을 포함하는 서브-이미지를 추출하기 위한 수단; 및 오브젝트 검출 모델을 사용하여, 서브-이미지 내의 타겟 오브젝트의 위치를 검출하기 위한 수단을 포함한다.
양태 38.
양태 37 의 장치에 있어서, 상기 타겟 오브젝트와 연관된 메시지의 제 2 세트를 수신하기 위한 수단; 및 오브젝트 추적기를 사용하여, 메시지의 제 2 세트에 기반하여 상기 이미지에서 타겟 오브젝트의 변화하는 위치를 추적하기 위한 수단을 더 포함한다.
양태 39.
양태 38 의 장치에 있어서, 상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 (DSRC) 무선 메시지들, 또는 이들의 조합을 포함한다.
양태 40.
양태 38 또는 양태 39 중 어느 하나의 장치에 있어서, 상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합이다.
양태 41.
양태 38 내지 양태 40 중 어느 하나의 장치에 있어서, 상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화된다.
양태 42.
양태 38 내지 양태 41 중 어느 하나의 장치에 있어서, 상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하기 위한 수단; 상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하기 위한 수단; 및 상기 오브젝트 추적기를 사용하여 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하기 위한 수단을 더 포함한다.
양태 43.
양태 42 의 장치에 있어서, 상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 상기 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하기 위한 수단; 및 상기 오브젝트 의미 검출 모델을 사용하여, 상기 새로운 서브-이미지 내의 상기 타겟 오브젝트의 새로운 위치를 검출하기 위한 수단을 더 포함한다.
양태 44.
양태 37 내지 양태 43 중 어느 하나의 장치에 있어서, 상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량을 식별하도록 구성된 기계 학습 분류기를 포함한다.
양태 45.
양태 37 내지 양태 44 중 어느 하나의 장치에 있어서, 상기 이미지 내의 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위한 수단은, 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하기 위한 수단; 및 상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하기 위한 수단을 포함하고, 상기 바운딩 박스는 상기 타겟 오브젝트에 대한 상기 크기 추정, 상기 타겟 오브젝트에 대한 상기 포즈 추정, 또는 이들의 조합에 기반한다.
양태 46.
양태 45 의 장치에 있어서, 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위한 수단은, 상기 추적 오브젝트에 대한 포즈 추정을 결정하기 위한 수단을 더 포함하고, 상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반한다.
양태 47.
양태 46 의 장치에 있어서, 상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반한다.
양태 48.
양태 37 내지 양태 47 중 어느 하나의 장치에 있어서, 이미지로부터 서브-이미지를 추출하기 위한 수단은, 서브-이미지를 미리 결정된 크기로 스케일링하기 위한 수단을 더 포함한다.
Claims (30)
- 오브젝트 검출 및 추적을 수행하는 장치로서,
적어도 하나의 메모리, 및
상기 적어도 하나의 메모리에 커플링된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트에 대한 바운딩 박스를 결정하고,
상기 이미지로부터, 상기 바운딩 박스 내의 상기 이미지의 영역을 포함하는 서브-이미지를 추출하며, 그리고
오브젝트 검출 모델을 사용하여, 상기 서브 이미지 내에서 상기 타겟 오브젝트의 위치를 검출하도록 구성되는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 1 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 수신하고,
상기 오브젝트 추적기를 사용하여, 상기 메시지들의 제 2 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트의 변화하는 위치를 추적하도록 추가로 구성되는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 2 에 있어서,
상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 무선 메시지들, 또는 이들의 조합을 포함하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 2 항에 있어서,
상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합인, 오브젝트 검출 및 추적을 수행하는 장치. - 제 2 항에 있어서,
상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화되는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 2 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하고,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하며, 그리고
상기 오브젝트 추적기를 사용하여 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하도록
추가로 구성되는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 6 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하고, 그리고
상기 오브젝트 검출 모델을 사용하여, 상기 새로운 서브-이미지 내에서 상기 타겟 오브젝트의 새로운 위치를 검출하도록
추가로 구성되는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 1 항에 있어서,
상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량들을 식별하도록 구성된 기계 학습 분류기를 포함하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 1 항에 있어서,
상기 이미지에서 상기 타겟 오브젝트에 대한 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하고, 그리고
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하도록 구성되고,
상기 바운딩 박스는 상기 타겟 오브젝트에 대한 크기 추정, 상기 타겟 오브젝트에 대한 포즈 추정, 또는 이들의 조합에 기반하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 9 항에 있어서,
상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하기 위해, 상기 적어도 하나의 프로세서는,
상기 추적 오브젝트에 대한 포즈 추정을 결정하도록 추가로 구성되고,
상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 10 에 있어서,
상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 1 항에 있어서,
상기 이미지로부터 상기 서브-이미지를 추출하기 위해, 상기 적어도 하나의 프로세서는,
상기 서브-이미지를 미리 결정된 크기로 스케일링하도록 추가로 구성되는, 오브젝트 검출 및 추적을 수행하는 장치. - 오브젝트 검출 및 추적을 수행하기 위한 방법으로서,
추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하는 단계,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하는 단계,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트에 대한 바운딩 박스를 결정하는 단계,
상기 이미지로부터, 상기 바운딩 박스 내의 상기 이미지의 영역을 포함하는 서브-이미지를 추출하는 단계, 및
오브젝트 검출 모델을 사용하여, 상기 서브-이미지 내에서 상기 타겟 오브젝트의 위치를 검출하는 단계
를 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 13 항에 있어서,
상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 수신하는 단계, 및
상기 오브젝트 추적기를 사용하여, 상기 메시지들의 제 2 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트의 변화하는 위치를 추적하는 단계
를 더 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 14 항에 있어서,
상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 (DSRC) 무선 메시지들, 또는 이들의 조합을 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 14 항에 있어서,
상기 오브젝트 추적기는 칼만 필터, 확장된 칼만 필터, 입자 필터, 또는 이들의 조합인, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 14 항에 있어서,
상기 오브젝트 추적기는 상기 메시지들의 제 1 세트, 상기 서브-이미지 내의 상기 오브젝트의 검출된 위치, 또는 이들의 조합을 사용하여 초기화되는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 14 항에 있어서,
상기 추적 오브젝트에서, 상기 타겟 오브젝트를 포함하는 새로운 이미지를 획득하는 단계,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 획득하는 단계, 및
상기 오브젝트 추적기를 사용하여 상기 새로운 이미지에서 상기 타겟 오브젝트에 대한 새로운 바운딩 박스를 결정하는 단계
를 더 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 18 항에 있어서,
상기 새로운 이미지로부터, 상기 새로운 바운딩 박스 내의 상기 새로운 이미지의 영역을 포함하는 새로운 서브-이미지를 추출하는 단계, 및
상기 오브젝트 검출 모델을 사용하여, 상기 새로운 서브-이미지 내에서 상기 타겟 오브젝트의 새로운 위치를 검출하는 단계
를 더 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 13 항에 있어서,
상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량들을 식별하도록 구성된 기계 학습 분류기를 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 13 항에 있어서,
상기 이미지에서 상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하는 단계는,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 크기 추정을 결정하는 단계, 및
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 타겟 오브젝트에 대한 포즈 추정을 결정하는 단계를 포함하고,
상기 바운딩 박스는 상기 타겟 오브젝트에 대한 크기 추정, 상기 타겟 오브젝트에 대한 포즈 추정, 또는 이들의 조합에 기반하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 21 항에 있어서,
상기 타겟 오브젝트에 대한 상기 바운딩 박스를 결정하는 단계는,
상기 추적 오브젝트에 대한 포즈 추정을 결정하는 단계를 포함하고,
상기 바운딩 박스는 상기 추적 오브젝트에 대한 상기 포즈 추정에 추가로 기반하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 22 항에 있어서,
상기 바운딩 박스의 크기는 상기 타겟 오브젝트의 포즈 추정과 연관된 불확실성 측정, 상기 추적 오브젝트의 포즈 추정과 연관된 불확실성 측정, 또는 이들의 조합에 기반하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 제 13 항에 있어서,
상기 이미지로부터 상기 서브-이미지를 추출하는 단계는,
상기 서브-이미지를 미리 결정된 크기로 스케일링하는 단계를 포함하는, 오브젝트 검출 및 추적을 수행하기 위한 방법. - 적어도 하나의 명령을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령은, 컴퓨터 또는 프로세서로 하여금,
추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하고,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하며,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트에 대한 바운딩 박스를 결정하고,
상기 이미지로부터, 상기 바운딩 박스 내의 상기 이미지의 영역을 포함하는 서브-이미지를 추출하며, 그리고
오브젝트 검출 모델을 사용하여, 상기 서브 이미지 내에서 상기 타겟 오브젝트의 위치를 검출하게 하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 25 항에 있어서,
상기 컴퓨터 또는 상기 프로세서로 하여금,
상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 수신하고,
상기 오브젝트 추적기를 사용하여, 상기 메시지들의 제 2 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트의 변화하는 위치를 추적하게 하는 적어도 하나의 명령을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 제 26 항에 있어서,
상기 메시지들의 제 1 세트 및 상기 메시지들의 제 2 세트는 하나 이상의 V2X (vehicle-to-everything) 무선 메시지들, 전용 단거리 통신 (DSRC) 무선 메시지들, 또는 이들의 조합을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체. - 오브젝트 검출 및 추적을 수행하는 장치로서,
추적 오브젝트에서, 타겟 오브젝트를 포함하는 이미지를 획득하기 위한 수단,
상기 추적 오브젝트에서, 상기 타겟 오브젝트와 연관된 메시지들의 제 1 세트를 획득하기 위한 수단,
상기 타겟 오브젝트와 연관된 상기 메시지들의 제 1 세트에 기반하여 상기 이미지 내의 상기 타겟 오브젝트에 대한 바운딩 박스를 결정하기 위한 수단,
상기 이미지로부터, 상기 바운딩 박스 내의 상기 이미지의 영역을 포함하는 서브-이미지를 추출하기 위한 수단, 및
오브젝트 검출 모델을 사용하여, 상기 서브 이미지 내에서 상기 타겟 오브젝트의 위치를 검출하기 위한 수단
을 포함하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 28 항에 있어서,
상기 타겟 오브젝트와 연관된 메시지들의 제 2 세트를 수신하기 위한 수단, 및
상기 오브젝트 추적기를 사용하여, 상기 메시지들의 제 2 세트에 기반하여 상기 이미지에서 상기 타겟 오브젝트의 변화하는 위치를 추적하기 위한 수단
을 더 포함하는, 오브젝트 검출 및 추적을 수행하는 장치. - 제 28 항에 있어서,
상기 오브젝트 검출 모델은 상기 서브-이미지 내의 하나 이상의 차량들을 식별하도록 구성된 기계 학습 분류기를 포함하는, 오브젝트 검출 및 추적을 수행하는 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163209880P | 2021-06-11 | 2021-06-11 | |
| US63/209,880 | 2021-06-11 | ||
| US17/547,366 US11941836B2 (en) | 2021-06-11 | 2021-12-10 | Objection detection using images and message information |
| US17/547,366 | 2021-12-10 | ||
| PCT/US2022/025136 WO2022260755A1 (en) | 2021-06-11 | 2022-04-15 | Objection detection using images and message information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240019763A true KR20240019763A (ko) | 2024-02-14 |
Family
ID=81580008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237040813A KR20240019763A (ko) | 2021-06-11 | 2022-04-15 | 이미지 및 메시지 정보를 이용한 오브젝트 검출 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11941836B2 (ko) |
| EP (1) | EP4352700A1 (ko) |
| KR (1) | KR20240019763A (ko) |
| BR (1) | BR112023025190A2 (ko) |
| WO (1) | WO2022260755A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018215055A1 (de) * | 2018-09-05 | 2020-03-05 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug |
| US11869250B2 (en) * | 2021-08-24 | 2024-01-09 | GM Global Technology Operations LLC | Systems and methods for detecting traffic objects |
| CN116434024B (zh) * | 2023-04-21 | 2023-09-12 | 大连理工大学 | 目标特征嵌入的红外与可见光图像融合方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10133947B2 (en) * | 2015-01-16 | 2018-11-20 | Qualcomm Incorporated | Object detection using location data and scale space representations of image data |
| US10360732B2 (en) | 2017-03-23 | 2019-07-23 | Intel Corporation | Method and system of determining object positions for image processing using wireless network angle of transmission |
| US10460180B2 (en) | 2017-04-20 | 2019-10-29 | GM Global Technology Operations LLC | Systems and methods for visual classification with region proposals |
| KR20210041213A (ko) * | 2019-10-07 | 2021-04-15 | 엘지전자 주식회사 | 자율주행시스템에서 지도정보를 이용하여 객체추적을 하는 방법 및 이를 위한 장치 |
| US11436755B2 (en) * | 2020-08-09 | 2022-09-06 | Google Llc | Real-time pose estimation for unseen objects |
-
2021
- 2021-12-10 US US17/547,366 patent/US11941836B2/en active Active
-
2022
- 2022-04-15 WO PCT/US2022/025136 patent/WO2022260755A1/en active Application Filing
- 2022-04-15 EP EP22721233.9A patent/EP4352700A1/en active Pending
- 2022-04-15 BR BR112023025190A patent/BR112023025190A2/pt unknown
- 2022-04-15 KR KR1020237040813A patent/KR20240019763A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4352700A1 (en) | 2024-04-17 |
| US11941836B2 (en) | 2024-03-26 |
| WO2022260755A1 (en) | 2022-12-15 |
| BR112023025190A2 (pt) | 2024-02-27 |
| US20220405952A1 (en) | 2022-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11881030B2 (en) | Method for detecting vehicle and device for executing the same | |
| US11941836B2 (en) | Objection detection using images and message information | |
| US11113969B2 (en) | Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication | |
| US20170276935A1 (en) | Three Dimensional Graphical Overlays for a Three Dimensional Heads-up Display Unit of a Vehicle | |
| CN109196557A (zh) | 图像处理装置、图像处理方法和车辆 | |
| US11238370B2 (en) | Approaches for determining sensor calibration | |
| Anaya et al. | Motorcycle detection for ADAS through camera and V2V Communication, a comparative analysis of two modern technologies | |
| US11754719B2 (en) | Object detection based on three-dimensional distance measurement sensor point cloud data | |
| JP6903598B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および移動体 | |
| US20230087261A1 (en) | Three-dimensional target estimation using keypoints | |
| US20230050467A1 (en) | Ground height-map based elevation de-noising | |
| Yusuf et al. | Vehicle-to-everything (V2X) in the autonomous vehicles domain–A technical review of communication, sensor, and AI technologies for road user safety | |
| EP3896639A1 (en) | Methods and systems for managing an automated driving system of a vehicle | |
| KR20200070100A (ko) | 차량 검출 방법 및 이를 수행하는 전자 기기 | |
| WO2023146697A1 (en) | Sensor based object detection | |
| US20240071122A1 (en) | Object recognition method and time-of-flight object recognition circuitry | |
| US20230192141A1 (en) | Machine learning to detect and address door protruding from vehicle | |
| CN117461060A (zh) | 使用图像和消息信息的对象检测 | |
| US20230366699A1 (en) | Sensor-based map correction | |
| US12005928B2 (en) | Dangerous road user detection and response | |
| US20230052039A1 (en) | Dangerous road user detection and response | |
| US12008895B2 (en) | Vehicle-to-everything (V2X) misbehavior detection using a local dynamic map data model | |
| US20240161604A1 (en) | Electronic Device and Method for Processing Data in an Intelligent Transport System | |
| Islam et al. | Vision-based Pedestrian Alert Safety System (PASS) for Signalized Intersections | |
| US20240069188A1 (en) | Determining localization error |