KR20240006531A - 레이더 및 카메라 데이터 융합 - Google Patents
레이더 및 카메라 데이터 융합 Download PDFInfo
- Publication number
- KR20240006531A KR20240006531A KR1020237037783A KR20237037783A KR20240006531A KR 20240006531 A KR20240006531 A KR 20240006531A KR 1020237037783 A KR1020237037783 A KR 1020237037783A KR 20237037783 A KR20237037783 A KR 20237037783A KR 20240006531 A KR20240006531 A KR 20240006531A
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- semantic segmentation
- camera data
- pseudo
- segmentation information
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims description 212
- 238000010801 machine learning Methods 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 66
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000003416 augmentation Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000700159 Rattus Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93273—Sensor installation details on the top of the vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
이미지 데이터를 프로세싱하기 위한 디바이스가 개시된다. 디바이스는 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득할 수 있다. 디바이스는 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정할 수 있다. 디바이스는 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성할 수 있으며, 여기서 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함한다. 디바이스는 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정할 수 있다.
Description
[0001] 본 발명은 일반적으로 센서 데이터 분야에 관한 것이며, 더욱 구체적으로는 레이더 데이터와 카메라 데이터를 융합하는 것에 관한 것이다.
[0002] 자율 주행 차량들은 카메라들, 레이더 디바이스들, 라이다(lidar) 디바이스들 등과 같은 다양한 센서들을 종종 사용한다. 예를 들어, 이러한 센서들은 자율 주행 차량 주변의 객체들을 식별하는 데 사용될 수 있다. 상이한 유형들의 센서들은 보완적인 것으로 간주될 수 있다. 예를 들어, 카메라는 투시도에서 더 잘 수행할 수 있다. 또한, 카메라는 카메라 데이터 내의 객체들을 식별하는 데 유용할 수 있는 텍스처(texture), 컬러 및/또는 조명과 같은 정보를 제공할 수 있다. 그러나, 안개나 비와 같은 특정 날씨 조건들 하에서는 카메라가 잘 수행하지 못할 수 있다. 반대로, 레이더 디바이스는 움직이는 객체의 속도 정보와 같은 카메라와 관련된 보완 정보를 제공할 수 있다. 또한, 레이더 디바이스는 안개나 비와 같은 특정 날씨 조건들에서 유리할 수 있다. 레이더 디바이스들과 카메라 디바이스들은 각각 그 자체의 이점과 단점을 가질 수 있다.
[0003] 본 개시에 따른 이미지 데이터를 프로세싱하기 위한 예시적인 방법은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 단계, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 단계, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하는 단계 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―, 및 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하는 단계를 포함한다.
[0004] 본 개시에 따른 이미지 데이터를 프로세싱하기 위한 예시적인 디바이스는 트랜시버, 메모리 및 트랜시버 및 메모리와 통신 가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함한다. 하나 이상의 프로세싱 유닛들은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―, 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하도록 구성된다.
[0005] 본 개시에 따른 이미지 데이터를 프로세싱하기 위한 예시적인 디바이스는 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하기 위한 수단, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위한 수단, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하기 위한 수단 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―, 및 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 수단을 포함한다.
[0006] 본 개시에 따른 예시적인 비일시적 컴퓨터-판독 가능 매체는 이미지 데이터를 프로세싱하기 위한 명령들을 저장한다. 명령들은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―, 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 코드를 포함한다.
[0007] 도 1은 실시예에 따라 예시적인 레이더 및 카메라 디바이스들을 갖는 예시적인 차량의 개략도이다.
[0008] 도 2는 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 데이터 흐름의 블록도이다.
[0009] 도 3은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 방법의 흐름도이다.
[0010] 도 4는 실시예에 따라 시맨틱 세그먼트화(semantic segmentation) 정보를 사용하여 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 데이터 흐름의 블록도이다.
[0011] 도 5는 실시예에 따라 레이더 데이터에 시맨틱 세그먼트화 정보를 적용하기 위한 예시적인 방법의 흐름도이다.
[0012] 도 6은 실시예에 따라 시맨틱 세그먼트화 정보를 사용하여 깊이 정보를 결정하기 위한 신경망 아키텍처의 개략도이다.
[0013] 도 7은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 방법의 흐름도이다.
[0014] 도 8은 본원에 설명되는 실시예들에서 이용될 수 있는 컴퓨팅 디바이스의 실시예의 블록도이다.
[0015] 특정의 예시적 구현들에 따라, 다양한 도면들의 유사한 참조 부호들은 유사한 요소들을 나타낸다.
[0008] 도 2는 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 데이터 흐름의 블록도이다.
[0009] 도 3은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 방법의 흐름도이다.
[0010] 도 4는 실시예에 따라 시맨틱 세그먼트화(semantic segmentation) 정보를 사용하여 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 데이터 흐름의 블록도이다.
[0011] 도 5는 실시예에 따라 레이더 데이터에 시맨틱 세그먼트화 정보를 적용하기 위한 예시적인 방법의 흐름도이다.
[0012] 도 6은 실시예에 따라 시맨틱 세그먼트화 정보를 사용하여 깊이 정보를 결정하기 위한 신경망 아키텍처의 개략도이다.
[0013] 도 7은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 예시적인 방법의 흐름도이다.
[0014] 도 8은 본원에 설명되는 실시예들에서 이용될 수 있는 컴퓨팅 디바이스의 실시예의 블록도이다.
[0015] 특정의 예시적 구현들에 따라, 다양한 도면들의 유사한 참조 부호들은 유사한 요소들을 나타낸다.
[0016] 본원에 사용되는 바와 같이, "포인트 클라우드"는 공간에서의 데이터 포인트들의 세트를 지칭한다. 데이터 포인트들의 세트는 2차원(2D: two-dimensional) 장면 또는 3차원(3D: three-dimensional) 장면을 나타낼 수 있다. 예를 들어, 포인트는 3D 공간에서 포인트의 위치를 나타내는 x, y 및 z 좌표들을 가질 수 있다. 다른 예로서, 포인트는 방위각, 앙각 및/또는 깊이와 같은 극 좌표계와 연관된 극 좌표들을 가질 수 있다. 포인트 클라우드는 조감도(bird's eye view), 투시도 등과 같은 다양한 뷰들에 있을 수 있다. 예를 들어, 포인트 클라우드를 회전시킴으로서 하나의 뷰로부터 다른 뷰로의 조작이 가능할 수 있다.
[0017] 본원에서 사용되는 "의사 라이다(pseudo lidar)"는 카메라 데이터의 하나 이상의 픽셀들의 추정된 깊이 정보를 통합하는 카메라 데이터의 표현을 지칭한다. 예를 들어 의사 라이다 데이터는 3D 포인트 클라우드로서 나타내어질 수 있다. 보다 특정한 예로서, 의사 라이다 포인트 클라우드는 데이터 포인트들의 세트를 포함할 수 있으며, 여기서 데이터 포인트들의 좌표들(예를 들어, x, y 및/또는 z 좌표들)은 카메라 데이터에 기초하여 결정된다. 이러한 예를 계속하면, 의사 라이다 포인트 클라우드의 포인트의 z 좌표는 카메라 데이터의 하나 이상의 픽셀들의 추정된 깊이를 나타낼 수 있다.
[0018] 자율 주행 차량들 또는 반(semi)-자율 주행 차량들과 같은 차량들은 차량 제어, 안전 등을 돕기 위해 다양한 센서들을 사용할 수 있다. 예를 들어, 센서들은 보행자, 다른 차량들(예를 들어, 자동차들, 트럭들, 자전거들 등), 교통 통제 객체들, 건설 장비, 도로 표면, 연석(curb)들 등과 같은 객체들을 검출하는 데 사용될 수 있다. 레이더 디바이스들과 카메라들은 예를 들어, 차량 환경에서의 다양한 객체들의 위치들을 나타내는 데이터를 캡처하는 데 자주 사용되는 센서들이다.
[0019] 레이더 디바이스들 및 카메라들과 같이 상이한 유형들의 센서들이 사용되는 경우, 2 개 이상의 상보적인 유형들의 센서들로부터 데이터를 융합하거나 조합하는 것이 유용할 수 있다. 예를 들어, 차량의 제어 결정들을 내리기 전에 레이더 데이터와 카메라 데이터를 융합하거나 조합하는 것이 유리할 수 있다. 그러나, 레이더 데이터와 카메라 데이터를 융합하는 것은 어려울 수 있다. 예를 들어, 레이더 데이터와 카메라 데이터는 매우 상이한 관점들을 캡처할 수 있으며, 이는 레이더 데이터를 카메라 데이터에 매핑하거나 그 반대로 매핑하는 것을 어렵게 할 수 있다. 보다 특정한 예로서, 레이더 데이터는 극 좌표들에서 객체의 범위, 방위각 및 속도를 제공하는 조감도 이미지를 생성할 수 있다. 반대로, 카메라들은 데카르트(Cartesian) 좌표들의 투시도에서 이미지 데이터를 캡처하도록 종종 포지셔닝된다. 또한, 카메라 시야는 레이더 디바이스 시야와 매우 상이할 수 있다. 이러한 경우들에 있어서, 예를 들어, 제어 시스템이 레이더 데이터와 카메라 데이터를 모두 사용할 수 있도록 하기 위해 레이더 데이터와 카메라 데이터를 융합하는 것이 어려울 수 있다.
[0020] 본원에 설명된 방법들, 시스템들 및 매체는 레이더 데이터와 카메라 데이터를 융합하는 기법들을 설명한다. 일부 실시예들에서, 카메라 데이터의 픽셀들의 깊이를 추정하고 추정된 깊이를 사용하여 레이더 데이터와 카메라 데이터를 융합함으로써 레이더 데이터가 2D 카메라 데이터와 융합될 수 있다. 검출된 객체들의 경계들을 나타내는 하나 이상의 객체 경계 박스(OBB: Object Bounding Box)들은 그 후 예를 들어, 융합된 레이더 데이터와 카메라 데이터에 기초하여 결정될 수 있다.
[0021] 예를 들어, 본원에 설명된 바와 같이, 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들이 획득될 수 있다. 레이더 포인트 클라우드는 예를 들어, 차량의 루프(roof) 또는 탑 윈드실드(top windshield) 상에 포지셔닝되는 하나 이상의 레이더 디바이스들을 통해 획득된 레이더 데이터에 대응할 수 있다. 레이더 포인트 클라우드는 조감도에 있을 수 있다. 카메라 데이터의 하나 이상의 프레임들은 예를 들어, 하나 이상의 카메라들이 투시도 이미지 데이터를 캡처하도록 차량 상에 포지셔닝된 하나 이상의 카메라들로부터 캡처될 수 있다. 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들의 픽셀들에 대한 깊이 추정치들이 결정될 수 있다. 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들과 깊이 추정치들에 기초하여 생성될 수 있다. 예를 들어, 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이들을 나타낼 수 있다. 그 후, 하나 이상의 OBB들이 레이더 포인트 클라우드 및/또는 의사 라이다 포인트 클라우드에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, OBB들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 조합된 포인트 클라우드를 입력으로서 취하는 훈련된 기계 학습 모델(예를 들어, PointGNN, PointPillars, PointRCNN, PointPainting, VoxelNet 등)에 의해 결정될 수 있다.
[0022] 일부 실시예들에서, 획득된 카메라 데이터에 대해 시맨틱 세그먼트화 정보가 결정될 수 있다. 시맨틱 세그먼트화 정보는 예를 들어, 객체(예를 들어, 사람, 동물, 차량, 교통 통제 장비, 노면 등)의 특정 클래스 또는 라벨(label)에 대응하는 카메라 데이터의 픽셀들의 클러스터들을 나타낼 수 있다. 일부 실시예들에서, 시맨틱 세그먼트화 정보는 레이더 포인트 클라우드에 적용될 수 있으며, 이에 의해 도 4와 관련하여 아래에 도시되고 설명되는 바와 같이, 시맨틱 세그먼트화 정보를 통합하는 세그먼트화된 레이더 포인트 클라우드를 생성할 수 있다. 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 동일한 객체와 연관될 가능성이 있는 레이더 포인트 클라우드의 포인트들을 나타내어 OBB들의 정확도를 개선할 수 있다. 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하기 위한 다양한 기법들이 도 4 및 도 5와 관련하여 아래에 도시되고 설명된다.
[0023] 일부 실시예들에서, 의사 라이다 포인트 클라우드는 시맨틱 세그먼트화 정보에 기초하는 깊이 추정치들을 사용하여 생성될 수 있다. 예를 들어, 도 6과 관련하여 아래에 도시되고 설명되는 바와 같이, 카메라 데이터의 하나 이상의 프레임들에 대한 깊이 추정치들을 결정하는 기계 학습 모델은 시맨틱 세그먼트화 정보를 생성하는 기계 학습 모델로부터 입력을 수신할 수 있다. 시맨틱 세그먼트화 정보에 기초하여 카메라 데이터에 대한 깊이 추정치들을 결정함으로써, 깊이 추정치들은 개선된 정확도를 가질 수 있다. 예를 들어, 시맨틱 세그먼트화 정보는 동일한 객체에 속할 가능성이 있는 픽셀들의 클러스터들을 나타낼 수 있으므로, 이는 동일한 깊이를 갖는다. 카메라 데이터의 깊이 추정치들의 정확도를 개선함으로써, 더욱 정확한 깊이 추정치들에 기초하여 생성된 의사 라이다 포인트 클라우드는 결국 시맨틱 세그먼트화 정보 없이 생성된 의사 라이다 클라우드보다 더 정확할 수 있다.
[0024] 일부 실시예들에서, 레이더 디바이스 및/또는 카메라 디바이스는 차량 상에 포지셔닝될 수 있다. 차량은 자동차, 모터사이클, 트럭, 버스, 밴(van) 등과 같은 임의의 유형의 차량일 수 있다. 일부 실시예들에서, 차량은 자율 주행 또는 반-자율 주행 차량일 수 있다. 레이더 디바이스 및/또는 카메라 디바이스는 차량 위 또는 내부의 임의의 적절한 포지션에 포지셔닝될 수 있다. 예를 들어, 레이더 디바이스들 및/또는 카메라 디바이스들은 차량의 상단 부분, 차량의 전면 부분, 차량의 측면 부분, 차량의 후면 부분, 또는 이들의 임의의 조합에 포지셔닝될 수 있다. 레이더 디바이스들 및/또는 카메라 디바이스들의 다양한 개수들과 조합들이 사용될 수 있다. 예를 들어, 레이더 데이터 및/또는 카메라 데이터가 차량 전체 주변으로부터 획득되도록 복수의 레이더 디바이스들 및/또는 복수의 카메라 디바이스들이 사용될 수 있다.
[0025] 차량의 레이더 디바이스는 라디오파를 전송 및/또는 수신하여 전파들이 반사되는 객체들의 포지션 정보(예를 들어, 범위, 방위각 등) 및/또는 속도 정보를 결정하도록 구성될 수 있다. 객체들은 보행자들, 다른 차량들, 교통 라우팅 장비(예를 들어, 콘(cone)들, 콘크리트 장벽들, 바리케이드들 등), 건설 장비 등을 포함할 수 있다. 레이더 디바이스에 의해 획득된 레이더 데이터는 라디오파들이 반사되는 객체들의 범위, 방위각 및/또는 속도를 나타내는 극 좌표들에 있을 수 있다. 일부 실시예들에서, 레이더 데이터는 조감도에 있을 수 있다.
[0026] 차량의 카메라 디바이스는 이미지 데이터를 캡처 및/또는 획득하도록 구성될 수 있다. 이미지 데이터는 객체들(예를 들어, 보행자들, 다른 차량들, 교통 라우팅 장비, 건설 장비 등), 사이니지(signage), 신호등들 등을 포함할 수 있다. 일부 실시예들에서, 이미지 데이터는 투시도에 있을 수 있다.
[0027] 도 1은 실시예에 따라 예시적인 레이더 및 카메라 디바이스들을 갖는 차량(100)의 개략도이다.
[0028] 도 1에 예시된 바와 같이, 차량(100)은 레이더 디바이스(102)를 갖는다. 레이더 디바이스(102)는 라디오파들이 반사되는 객체들의 포지션 정보(예를 들어, 범위, 속도, 도달각 등)를 결정하기 위해 라디오파들을 전송 및/또는 수신하도록 구성된다. 라디오파들은 예를 들어, 25 GHz, 50 GHz, 75 Ghz 등과 같은 임의의 적절한 주파수를 가질 수 있다. 일부 실시예들에서, 레이더 디바이스(102)는 라디오파들을 전송하는 하나 이상의 전송 안테나들 및 반사된 라디오파들을 수신하는 하나 이상의 수신 안테나들을 가질 수 있다. 레이더 디바이스(102)는 지속적으로 또는 펄스화된 방식으로 라디오파들을 방출하도록 구성될 수 있다. 일부 실시예들에서, 레이더 디바이스(102)는 하나 이상의 수신 안테나들로부터 측정치들을 수신하고 측정치들에 기초하여 레이더 데이터를 결정하는 하나 이상의 컴퓨팅 디바이스들과 연관될 수 있다. 예를 들어, 컴퓨팅 디바이스는 도 2와 관련하여 아래에 논의되는 바와 같이, 레이더 포인트 클라우드를 생성하도록 구성될 수 있다.
[0029] 도 1에 예시된 바와 같이, 차량(100)은 카메라(104) 및 카메라(106)와 같은 카메라 디바이스들을 갖는다. 각각의 카메라는 임의의 적절한 시야(예를 들어, 40 도, 60 도, 120 도 등)를 가질 수 있다. 카메라는 사전 결정된 레이트(예를 들어, 초당 1 프레임, 초당 5 프레임들 등)로 카메라 데이터를 캡처하거나 획득하도록 구성될 수 있다.
[0030] 일부 실시예들에서, 레이더 데이터와 카메라 데이터가 융합될 수 있다. 예를 들어, 일부 실시예들에서, 레이더 데이터는 레이더 포인트 클라우드로서 나타내어질 수 있다. 이러한 예를 계속하면, 카메라 데이터의 하나 이상의 픽셀들의 깊이를 추정함으로써 카메라 데이터에 기초하여 의사 라이다 포인트 클라우드가 생성될 수 있다. 이러한 예를 더 계속하면, 일부 실시예들에서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드가 융합될 수 있다. 일부 실시예들에서, 레이더 포인트 클라우드 및/또는 의사 라이다 포인트 클라우드에 나타내어진 하나 이상의 객체들의 경계들을 결정하는 OBB들이 결정될 수 있다.
[0031] 도 2는 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하기 위한 데이터 흐름의 블록도이다.
[0032] 레이더 포인트 클라우드(202)가 획득될 수 있다. 도 3의 블록 310과 관련하여 아래에 설명되는 바와 같이, 레이더 포인트 클라우드(202)는 레이더 디바이스로부터 획득된 레이더 데이터에 기초하여 생성될 수 있다. 일부 실시예들에서, 레이더 포인트 클라우드(202)는 조감도에 있을 수 있다.
[0033] 카메라 데이터(204)가 획득될 수 있다. 카메라 데이터(204)는 단일 카메라 디바이스로부터 캡처된 단안(monocular) 카메라 데이터일 수 있다. 대안적으로, 일부 실시예들에서, 카메라 데이터(204)는 밀접하게 이격된 2 개의 카메라 디바이스들로부터 캡처된 쌍안(binocular) 카메라 데이터일 수 있다. 일부 실시예들에서, 카메라 데이터(204)는 카메라 데이터의 복수의 프레임들을 포함할 수 있다. 카메라 데이터의 2 개의 연속 프레임들은 임의의 적절한 지속 시간(예를 들어, 1 msec, 5 msec, 50 msec, 500 msec 등)에 의해 분리될 수 있다.
[0034] 카메라 데이터(204)와 연관된 깊이 추정치(들)(206)가 결정될 수 있다. 아래에서 도 3의 블록 320과 관련하여 더 상세히 설명되는 바와 같이, 깊이 추정치(들)(206)를 결정하기 위한 예시적인 기법들은 카메라 데이터(204)의 하나 이상의 픽셀들에 대한 깊이를 추정하는 훈련된 기계 학습 모델을 사용하는 것을 포함한다. 이러한 훈련된 기계 학습 모델은 감독되거나 감독되지 않을 수 있다. 일부 실시예들에서, 훈련된 기계 학습 모델은 자체-감독될 수 있다.
[0035] 의사 라이다 포인트 클라우드(208)가 생성될 수 있다. 예를 들어, 의사 라이다 포인트 클라우드(208)는 깊이 추정치(들)(206) 및 카메라 데이터(204)에 기초하여 생성될 수 있다. 보다 특정한 예로서, 일부 실시예들에서, 의사 라이다 포인트 클라우드(208)는 카메라 좌표들의 카메라 데이터(204)의 픽셀들을 세계 좌표들의 의사 라이다 포인트 클라우드(208)의 포인트들로 변환하는 후방 투사를 수행함으로써 생성될 수 있다.
[0036] 융합된 레이더 및 의사 라이다 포인트 클라우드(210)가 생성될 수 있다. 일부 실시예들에서, 레이더 포인트 클라우드(202)와 의사 라이다 포인트 클라우드(208)는 조합될 수 있다. 예를 들어, 일부 실시예들에서, 레이더 포인트 클라우드(202)의 포인트들의 값들은 의사 라이다 포인트 클라우드(208)의 대응하는 포인트들의 값들을 조정하는 데 사용될 수 있다. 다른 예로서, 일부 실시예들에서, 의사 라이다 포인트 클라우드(208)의 포인트들의 값들은 레이더 포인트 클라우드(202)의 대응하는 포인트들의 값들을 조정하는 데 사용될 수 있다. 일부 실시예들에서, 레이더 포인트 클라우드(202)와 의사 라이다 포인트 클라우드(208)는 융합되지 않을 수 있다는 점에 유의해야 한다.
[0037] 2D 및/또는 3D OBB들(212)이 결정될 수 있다. OBB는 관심 객체의 경계들을 나타내는 직사각형(2D의 경우) 또는 직사각형 프리즘(3D의 경우)일 수 있다. 각각의 OBB는 2D 또는 3D 좌표들에 의해 정의될 수 있다. 일부 실시예들에서, OBB는 OBB와 연관될 가능성이 있는 객체의 유형을 나타내는 클래스와 연관될 수 있다. 객체들의 예시적인 유형들은 사람, 차량, 표지판, 건설 장비, 도로 가장자리 등을 포함한다. 일부 실시예들에서, OBB는 신뢰도 값과 연관될 수 있다. 신뢰도 값은 OBB에 할당된 클래스와 연관된 신뢰도 및/또는 OBB의 좌표들에서의 신뢰도를 나타낼 수 있다.
[0038] 일부 실시예들에서, 2D 및/또는 3D OBB들(212)은 PointGNN 등과 같은 훈련된 기계 학습 모델을 사용하여 결정될 수 있다. 이러한 일부 실시예들에서, 훈련된 기계 학습 모델은 입력으로서 융합된 레이더 및 의사 라이다 포인트 클라우드(210)를 취할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 훈련된 기계 학습 모델은 입력들로서 레이더 포인트 클라우드(202) 및 의사 라이다 포인트 클라우드(208)를 취할 수 있다(즉, 레이더 포인트 클라우드(202)와 의사 라이다 포인트 클라우드(208)를 조합하지 않음).
[0039] 도 3은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하는 방법(300)의 흐름도이다. 도 3에 도시된 블록들 중 하나 이상에 예시된 기능을 수행하기 위한 수단은 차량과 연관된 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스의 하드웨어 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 컴퓨팅 디바이스의 예시적인 구성 요소들이 도 8에 예시되어 있으며, 이는 아래에서 더욱 상세히 설명된다.
[0040] 블록 310에서, 기능은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 것을 포함한다. 블록 310에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 하나 이상의 센서(들)(예를 들어, 차량과 연관된 하나 이상의 카메라들 및/또는 하나 이상의 레이더 디바이스들), 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0041] 일부 실시예들에서, 레이더 포인트 클라우드는 레이더 데이터에 기초하여 생성될 수 있다. 예를 들어, 일부 실시예들에서, 레이더 포인트 클라우드는 데카르트 좌표들로의 극 좌표들의 레이더 데이터의 변환을 나타낼 수 있다.
[0042] 일부 실시예들에서, 레이더 포인트 클라우드는 고도 데이터를 포함할 수 있다. 예를 들어, 고도 스캐닝을 수행하도록 구성되거나 이를 수행할 수 있는 레이더 디바이스로부터 레이더 데이터가 획득되는 경우, 레이더 데이터는 고도 레이더 데이터를 포함할 수 있다. 이러한 예를 계속하면, 포인트 클라우드의 고도 데이터는 고도 스캐닝 중에 캡처된 레이더 데이터에 기초할 수 있다. 다른 예로서, 고도 스캐닝을 수행하도록 구성되지 않거나 이를 수행할 수 없는 레이더 디바이스로부터 레이더 데이터가 획득되는 경우, 레이더 포인트 클라우드는 고도 레이더 데이터의 근사치들에 기초하여 생성될 수 있다. 일부 실시예들에서, 고도 레이더 데이터의 근사치들은 외부 정보에 기초하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 고도 레이더 데이터의 근사치들은 노면 정보에 기초하여 결정될 수 있다. 보다 구체적인 예로서, 일부 실시예들에서, 전방 도로의 고도가 증가하는지 또는 감소하는지를 나타내는 노면 정보는 고도 레이더 데이터의 근사치를 결정하는 데 사용될 수 있다. 또 다른 예로서, 일부 실시예들에서, 고도 레이더 데이터는 예를 들어, 고도의 근사치들이 (예를 들어, 노면에 관한 정보의 부족 또는 노면 모델에 대한 접근의 부족으로 인해) 어려운 경우 및/또는 레이더 디바이스가 고도 스캐닝을 수행할 수 없는 경우 일정한 값으로 설정될 수 있다.
[0043] 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들은 하나 이상의 카메라 디바이스들(예를 들어, 하나의 카메라 디바이스, 2 개의 카메라 디바이스들, 5 개의 카메라 디바이스들 등)로부터 획득될 수 있다. 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들은 단일 카메라 디바이스로부터 획득된 단안 카메라 데이터일 수 있다. 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들은 쌍안 카메라 데이터일 수 있다. 각각의 프레임은 하나 이상의 픽셀들을 포함할 수 있다. 일부 실시예들에서, 카메라 데이터의 2 개 이상의 프레임들은 1 msec, 5 msec, 50 msec, 500 msec 등과 같은 지속 시간에 의해 시간적으로 분리될 수 있다.
[0044] 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들은 레이더 데이터와 연관되어 저장될 수 있다는 점에 유의해야 한다. 예를 들어, 실질적으로 동시에 획득된 레이더 데이터와 카메라 데이터의 하나 이상의 프레임들은 유사한 시점들에 속하는 레이더 데이터와 카메라 데이터의 하나 이상의 프레임들이 서로 연관될 수 있도록 데이터베이스 내에 서로 연관되어 저장될 수 있다.
[0045] 블록 320에서, 기능은 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들을 결정하는 것을 포함한다. 블록 320에서의 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0046] 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들은 다양한 기법들을 사용하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들은 훈련된 기계 학습 모델을 사용하여 결정될 수 있다. 일부 실시예들에서, 기계 학습 모델은 감독되는 기계 학습 모델(예를 들어, 라벨링된(labeled) 훈련 데이터를 사용함) 또는 감독되지 않는 기계 학습 모델(예를 들어, 라벨링된 훈련 데이터를 사용하지 않음)일 수 있다. 일부 실시예들에서, 기계 학습 모델은 라벨링된 훈련 데이터가 필요하지 않은 자체-감독 기계 학습 모델일 수 있다. 예를 들어, 일부 실시예들에서 깊이 추정치들을 생성하는 기계 학습 모델은 프레임들의 시퀀스로들부터 패턴(예를 들어, 각각의 픽셀의 깊이)을 학습하기 위해 이미지의 인접 또는 부근 프레임들에 걸쳐 기하학적 일관성을 사용하는 자체-감독 기계 학습 모델일 수 있다.
[0047] 카메라 데이터가 단안 데이터인 경우, 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들은 모션 시차(motion parallax)를 추정하는 모션으로부터의 구조(SFM: Structure from Motion) 정보를 사용하여 결정될 수 있다. 보다 특정한 예로서, 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들은 카메라 데이터의 2 개의 프레임들 사이의 불일치들을 예측하는 훈련된 기계 학습 모델에 대한 입력들로서 사용될 수 있으며, 여기서 불일치들은 모션 시차, 따라서 깊이와 상관될 수 있다. 이러한 보다 특정한 예를 계속하면, 일부 실시예들에서, 훈련된 기계 학습 모델은 불일치들에 기초하여 카메라 데이터의 하나 이상의 픽셀들에 대한 깊이 추정치들을 생성할 수 있다. 카메라 데이터가 쌍안 카메라 데이터를 포함하는 경우들에 있어서, 깊이 추정치들은 2 개의 카메라 디바이스들로부터의 카메라 데이터의 대응하는 프레임들 간의 입체적 차이들에 기초할 수 있다.
[0048] 일부 실시예들에서, 깊이 추정치들을 생성하는 기계 학습 모델은 인코더-디코더 네트워크, 순환 신경망, U-Net 등과 같은 콘볼루션 신경망(CNN: Convolutional Neural Network)일 수 있다. 보다 특정한 예로서, 일부 실시예들에서, 카메라 데이터의 하나 이상의 프레임들을 입력으로 취하고, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 추정된 깊이들을 출력들로서 생성하는 인코더-디코더 신경망이 사용될 수 있다. 이러한 인코더-디코더 네트워크는 임의의 적절한 개수의 콘볼루션 계층들(예를 들어, 2 개, 3 개, 5 개, 7 개 등) 및/또는 임의의 적절한 개수의 디콘볼루션 계층들(예를 들어, 2 개, 3 개, 5 개, 7 개 등)을 가질 수 있다. 일부 실시예들에서, 콘볼루션 계층 다음에는 특정 계층의 요소들의 클러스터들의 값들을 조합하는 풀링(pooling) 계층이 후속될 수 있다. 이러한 풀링 계층은 최대 풀링 및/또는 평균 풀링을 사용할 수 있다.
[0049] 일부 실시예들에서, 깊이 추정치들은 카메라 데이터와 연관된 시맨틱 세그먼트화 정보를 사용하여 생성될 수 있다. 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 정보는 동일한 객체와 연관될 가능성이 있는 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 클러스터들을 나타낼 수 있다. 시맨틱 세그먼트화 정보를 사용하여 깊이 추정치들을 결정하기 위한 보다 상세한 기법들은 도 4, 도 5 및 도 6과 관련하여 아래에 도시되고 설명된다.
[0050] 블록 330에서, 기능은 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하는 것을 포함한다. 블록 330에서의 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0051] 일부 실시예들에서, 의사 라이다 포인트 클라우드는 깊이 추정치들을 사용하여 카메라 좌표들의 카메라 데이터를 세계 좌표들의 의사 라이다 포인트 클라우드의 포인트들로 변환함으로써 생성될 수 있다. 카메라 좌표들로부터 세계 좌표들로의 변환은 역 투사를 사용하여 수행될 수 있다.
[0052] 340에서, 기능은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 것을 포함한다. 블록 340에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0053] 일부 실시예들에서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드는 의사 라이다 포인트 클라우드의 값들을 사용하여 레이더 포인트 클라우드를 조정함으로써 융합될 수 있으며, 그 반대도 가능하다. 예를 들어, 일부 실시예들에서, 레이더 포인트 클라우드의 값들은 의사 라이다 포인트 클라우드의 대응하는 포인트들(예를 들어, x, y 또는 z 좌표들)의 값들을 조정하는 데 사용될 수 있다. 이러한 예를 계속하면, 조정된 의사 라이다 포인트 클라우드는 조합되거나 융합된 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드로서 사용될 수 있다. 다른 예로서, 일부 실시예들에서, 의사 라이다 포인트 클라우드의 값들은 레이더 포인트 클라우드의 대응하는 포인트들(예를 들어, x, y 또는 z 좌표들)의 값들을 조정하는 데 사용될 수 있다. 이러한 예를 계속하면, 조정된 레이더 포인트 클라우드는 조합되거나 융합된 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드로서 사용될 수 있다.
[0054] 또 다른 예로서, 일부 실시예들에서, 조합된 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드는 레이더 포인트 클라우드의 포인트들과 의사 라이다 포인트 클라우드의 대응하는 포인트들에 걸쳐 반복하고 각각의 반복에서 조합된 포인트 클라우드에 포함시키기 위한 레이더 포인트 클라우드 또는 의사 라이다 포인트 클라우드 중 하나로부터의 포인트를 선택함으로써 생성될 수 있다. 선택은 예를 들어, 의사 라이다 포인트 클라우드에서 포인트를 생성하는 데 사용되는 깊이 추정의 신뢰도에 기초할 수 있다. 보다 특정한 예로서, 의사 라이다 포인트 클라우드에서 특정 포인트를 생성하는 데 사용된 깊이 추정치가 사전 결정된 임계값 미만인 경우, 레이더 포인트 클라우드의 대응하는 포인트가 조합된 포인트 클라우드에 포함되도록 선택될 수 있다.
[0055] 일부 실시예들에서, 조합된 포인트 클라우드는 후술하는 블록 350에서 OBB들을 결정하는 데 사용될 수 있다. 일부 실시예들에서, 블록 340은 생략될 수 있다. 예를 들어, 이러한 일부 실시예들에서, OBB는 블록 350에서 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드를 사용하여(예를 들어, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하지 않고) 결정될 수 있다.
[0056] 350에서, 기능은 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 OBB들을 결정하는 것을 포함한다. 블록 350에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0057] 일부 실시예들에서, OBB들은 출력으로서 하나 이상의 OBB들을 생성하는 훈련된 기계 학습 모델을 사용하여 결정될 수 있다. 이러한 훈련된 기계 학습 모델의 예들은 PointGNN 등을 포함한다. 일부 실시예들에서, 훈련된 기계 학습 모델은 블록 340과 관련하여 상술한 바와 같이, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 조합된 포인트 클라우드를 입력으로서 취할 수 있다. 대안적으로, 일부 실시예들에서, 훈련된 기계 학습 모델은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 입력들로서 취할 수 있다.
[0058] OBB들은 2D 또는 3D일 수 있다. 예를 들어, 일부 실시예들에서, 레이더 포인트 클라우드가 획득되는 레이더 데이터가 고도 데이터를 포함하지 않는 경우(예를 들어, 레이더 데이터가 2D 레이더 데이터인 경우) 2D OBB들이 결정될 수 있다. 이러한 예를 계속하면, 의사 라이다 포인트 클라우드를 조감도와 같은 2D 표현으로 변환하여 2D OBB들이 결정될 수 있다. 조감도 변환은 예를 들어, 의사 라이다 포인트 클라우드를 조감도로 회전하고 회전된 의사 라이다 포인트 클라우드의 포인트들을 2D 표현으로 축소함으로써 수행될 수 있다. 이러한 일부 실시예들에서, 의사 라이다 포인트 클라우드는 블록 340 이전에 2D 표현으로 변환될 수 있다. 즉, 일부 실시예들에서, 블록 340에서 생성된 조합된 포인트 클라우드는 의사 라이다 포인트 클라우드의 2D 표현을 사용하여 생성될 수 있다. 대안적으로, 일부 실시예들에서, 의사 라이다 포인트 클라우드의 2D 표현은 블록 350 이전에 생성될 수 있다. 즉, 일부 실시예들에서, 훈련된 기계 학습 모델은 2D OBB들을 생성하기 위해 의사 라이다 포인트 클라우드의 2D 표현을 입력으로서 취할 수 있다.
[0059] 그 후, 방법(300)이 종료될 수 있다.
[0060] 일부 실시예들에서, 시맨틱 세그먼트화 정보는 카메라 데이터에 대해 결정될 수 있다. 예를 들어, 시맨틱 세그먼트화 정보는 동일한 객체(예를 들어, 차량, 사람, 표지판, 건설 장비, 도로 등)와 연관될 가능성이 있는 카메라 데이터의 픽셀들의 클러스터들을 나타낼 수 있다. 시맨틱 세그먼트화 정보는 훈련된 기계 학습 모델을 사용하여 결정될 수 있다. 일부 실시예들에서, 기계 학습 모델은 도 6과 관련하여 아래에 도시되고 설명되는 바와 같이, CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)일 수 있다.
[0061] 일부 실시예들에서, 시맨틱 세그먼트화 정보는 레이더 포인트 클라우드가 시맨틱 세그먼트화 정보를 통합하도록 레이더 포인트 클라우드에 적용될 수 있다. 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 통합하는 것은 레이더 포인트 클라우드에 적어도 부분적으로 기초하여 결정된 OBB들이 더 높은 정확도를 갖게 할 수 있다.
[0062] 일부 실시예들에서, 시맨틱 세그먼트화 정보는 2D 카메라 데이터에 기초하여 레이더 포인트 클라우드에 적용될 수 있다. 예를 들어, 2D 카메라 데이터에 대해 시맨틱 세그먼트화 정보가 결정될 수 있다. 이러한 예를 계속하면, 2D 카메라 데이터는 조감도로 변환될 수 있으며, 여기서 카메라 데이터의 조감도 표현은 시맨틱 세그먼트화 정보와 연관된다. 이러한 예를 더 계속하면, 시맨틱 세그먼트화 정보는 카메라 데이터의 조감도 표현의 시맨틱 세그먼트화 정보에 나타내어진 클러스터에 레이더 포인트 클라우드의 포인트들의 하나 이상의 클러스터들을 할당함으로써 레이더 포인트 클라우드에 적용될 수 있다.
[0063] 대안적으로, 일부 실시예들에서, 시맨틱 세그먼트화 정보는 카메라 데이터의 하나 이상의 프레임들의 픽셀들의 깊이 추정치들에 기초하여 레이더 포인트 클라우드에 적용될 수 있다. 이러한 일부 실시예들에서, 픽셀들의 깊이 추정치들은 도 5의 블록 560과 관련하여 그리고 도 6과 관련하여 아래에 도시되고 설명되는 바와 같이, 시맨틱 세그먼트화 정보에 기초하여 생성될 수 있다. 일부 실시예들에서, 시맨틱 세그먼트화 정보를 자체적으로 통합하는 깊이 추정치들은 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하는 데 사용될 수 있다. 예를 들어, 일부 실시예들에서, 깊이 추정치들은 동일한 객체에 대응할 가능성이 있는 레이더 포인트 클라우드의 포인트들의 클러스터들을 식별하는 데 사용될 수 있다.
[0064] 2D 카메라 데이터를 기초하여 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 시맨틱 세그먼트화 정보가 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들을 기다리지 않고 레이더 포인트 클라우드에 적용될 수 있기 때문에 컴퓨테이션이 더 빠를 수 있다는 점에 유의해야 한다. 반대로, 시맨틱 세그먼트화 정보를 사용하여 자체 결정된 카메라 데이터의 픽셀들의 깊이 추정치들을 사용하여 레이더 데이터에 시맨틱 세그먼트화 정보를 적용하는 것은 보다 정확한 OBB들을 생성할 수 있다.
[0065] 도 4는 실시예에 따라 시맨틱 세그먼트화 정보를 사용하여 레이더 데이터와 카메라 데이터를 융합하기 위한 데이터 흐름의 블록도이다.
[0066] 도 2와 관련하여 상술한 바와 같이, 레이더 포인트 클라우드(202) 및 카메라 데이터(204)가 획득될 수 있다. 도 2와 관련하여 위에 논의한 바와 같이, 카메라 데이터(204)는 2D 데이터일 수 있다. 카메라 데이터(204)는 단안 카메라 데이터 또는 쌍안 카메라 데이터일 수 있다.
[0067] 시맨틱 세그먼트화 정보(405)는 카메라 데이터(204)에 기초하여 결정될 수 있다. 시맨틱 세그먼트화 정보(405)는 동일한 객체와 연관될 가능성이 있는 카메라 데이터(204)의 픽셀들의 클러스터들을 나타낼 수 있다. 객체들의 유형들의 예들은 차량들, 사람들, 동물들, 표지판들, 건설 장비, 교통 통제 장비, 노면들 등을 포함한다. 일부 실시예들에서, 시맨틱 세그먼트화 정보(405)는 CNN과 같은 훈련된 기계 학습 모델을 사용하여 결정될 수 있다. 시맨틱 세그먼트화 정보를 결정하기 위한 예시적인 신경망 아키텍처가 도 6과 관련하여 아래에 도시되고 설명된다.
[0068] 일부 실시예들에서, 시맨틱 세그먼트화 정보(405)는 세그먼트화된 레이더 포인트 클라우드(411)를 생성하기 위해 레이더 포인트 클라우드에 적용될 수 있다. 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 정보(405)와 연관된 카메라 데이터(204)는 레이더 포인트 클라우드(202)의 뷰에 대응하는 뷰에 있도록 변환될 수 있다. 보다 특정한 예로서, 카메라 데이터(204)는 조감도로 변환될 수 있다. 이러한 예를 계속하면, 시맨틱 세그먼트화 정보(405)는 시맨틱 세그먼트화 정보(405)에 나타내어진 픽셀들의 클러스터들에 기초하여 레이더 포인트 클라우드(202)의 포인트들의 클러스터들을 할당함으로써 레이더 포인트 클라우드(202)에 적용될 수 있다. 보다 특정한 예로서, 시맨틱 세그먼트화 정보(405)가 카메라 데이터(204)의 조감도 변환에서 픽셀들의 제1 클러스터가 제1 객체(예를 들어, 자동차, 사람 등)에 대응하는 것을 나타내는 경우, 픽셀들의 제1 클러스터에 대응하는 레이더 포인트 클라우드(202)의 포인트들의 클러스터가 식별될 수 있다. 이러한 보다 특정한 예를 계속하면, 레이더 포인트 클라우드(202)의 포인트들의 클러스터는 그 후 세그먼트화된 레이더 포인트 클라우드(411)의 제1 객체와 연관될 수 있다.
[0069] 대안적으로, 일부 실시예들에서, 카메라 데이터(204)와 연관된 깊이 추정치들(406)은 시맨틱 세그먼트화 정보(405)를 사용하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 정보(405)의 부분들은 도 6과 관련하여 아래에 도시되고 설명되는 바와 같이, 깊이 추정치들(406)을 생성하는 신경망의 계층들에 공급될 수 있다. 따라서, 시맨틱 세그먼트화 정보(405)를 사용하여 깊이 추정치들(406)이 생성되는 경우들에 있어서, 깊이 추정치들(406)은 시맨틱 세그먼트화 정보(405)를 통합하고/통합하거나 이에 기초할 수 있다. 일부 실시예들에서, 세그먼트화된 레이더 포인트 클라우드(411)는 깊이 추정치들(306)을 사용하여 생성될 수 있다.
[0070] 도 2와 관련하여 상술한 것과 유사하게, 의사 라이다 포인트 클라우드(408)가 생성될 수 있으며, 여기서 의사 라이다 포인트 클라우드(408)는 카메라 데이터(204)의 3차원 표현을 나타낸다. 도 2에 도시된 것과 달리, 의사 라이다 포인트 클라우드(308)를 생성하는 데 사용되는 깊이 추정치들(406)은 시맨틱 세그먼트화 정보를 통합한다는 점에 유의한다. 따라서, 의사 라이다 포인트 클라우드(408)는 시맨틱 세그먼트화 정보를 통합한다.
[0071] 도 2와 관련하여 상술한 것과 유사하게, 세그먼트화된 레이더 포인트 클라우드(411)와 의사 라이다 포인트 클라우드(408)를 조합하는 조합된 포인트 클라우드(410)가 생성될 수 있다. 예를 들어, 조합된 포인트 클라우드(410)는 의사 라이다 포인트 클라우드(408)의 대응하는 값들에 기초하여 세그먼트화된 레이더 포인트 클라우드(411)의 값들을 조정함으로써 생성될 수 있으며, 그 반대도 마찬가지이다. 다른 예로서, 조합된 포인트 클라우드(410)는 세그먼트화된 레이더 포인트 클라우드(411)의 값들과 의사 라이다 포인트 클라우드(408)의 대응하는 값들을 반복하고, 각각의 반복에 대해, 조합된 포인트 클라우드(410)에 포함시키기 위해 세그먼트화된 레이더 포인트 클라우드 값 또는 의사 라이다 포인트 클라우드 값 중 하나를 선택함으로써 생성될 수 있다. 일부 실시예들에서, 조합된 포인트 클라우드(410)의 생성은 생략될 수 있다.
[0072] 도 2와 관련하여 상술한 것과 유사하게, 2D 또는 3D OBB들(412)이 결정될 수 있다. 2D 또는 3D OBB들은 훈련된 기계 학습 모델(예를 들어, PointGNN 등)을 사용하여 결정될 수 있다. 예를 들어, 일부 실시예들에서, 조합된 포인트 클라우드(310)는 훈련된 기계 학습 모델에 대한 입력으로서 사용될 수 있다. 다른 예로서, 일부 실시예들에서, 세그먼트화된 레이더 포인트 클라우드(411) 및 의사 라이다 포인트 클라우드(408)는 훈련된 기계 학습 모델에 대한 입력들로서 사용될 수 있다.
[0073] 2D OBB들이 결정되는 경우들에 있어서, 의사 라이다 포인트 클라우드(408)는 2D 표현으로 변환될 수 있다는 점에 유의해야 한다. 예를 들어, 일부 실시예들에서, 의사 라이다 포인트 클라우드(408)는 조감도로 회전될 수 있다. 이러한 예를 계속하면, 회전된 의사 라이다 포인트 클라우드는 2D 표현으로 축소될 수 있다. 일부 실시예들에서, 2D 표현은 세그먼트화된 레이더 포인트 클라우드(411)와 조합하기 전에 결정될 수 있다. 대안적으로, 조합된 포인트 클라우드(410)가 2D OBB들을 생성하는 데 사용되지 않는 경우들에 있어서, 의사 라이다 포인트 클라우드(408)의 2D 표현은 2D OBB들의 결정 전에 생성될 수 있다. 예를 들어, 의사 라이다 포인트 클라우드(408) 및 세그먼트화된 레이더 포인트 클라우드(411)의 2D 표현은 2D OBB들을 생성하는 훈련된 기계 학습 모델에 대한 입력으로서 사용될 수 있다.
[0074] 도 5는 실시예에 따라 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하는 방법(500)의 흐름도이다. 도 5에 도시된 블록들 중 하나 이상에 예시된 기능을 수행하기 위한 수단은 차량과 연관된 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스의 하드웨어 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 컴퓨팅 디바이스의 예시적인 구성 요소들이 도 8에 예시되어 있으며, 이는 아래에서 더 상세히 설명된다.
[0075] 블록 510에서, 기능은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 것을 포함한다. 블록 510에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 하나 이상의 센서(들)(예를 들어, 차량과 연관된 하나 이상의 카메라들 및/또는 하나 이상의 레이더 디바이스들), 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0076] 일부 실시예들에서, 레이더 포인트 클라우드는 조감도의 포인트 클라우드일 수 있다는 점에 유의해야 한다. 일부 실시예들에서, 카메라 이미지 데이터의 하나 이상의 프레임들은 투시도에 있을 수 있다. 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하기 위한 보다 상세한 기법들은 도 3의 블록 310과 관련하여 상술하였다.
[0077] 블록 520에서, 기능은 카메라 이미지 데이터의 하나 이상의 프레임들과 연관된 시맨틱 세그먼트화 정보를 획득하는 것을 포함한다. 블록 520에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0078] 시맨틱 세그먼트화 정보는 카메라 이미지 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들을 객체들의 특정 클래스들 또는 라벨들에 속하는 것으로 분류할 수 있다. 예시적인 객체들은 차량들, 사람들, 동물들, 나무들, 건설 장비, 노면, 교통 통제 장비 등을 포함한다. 일부 실시예들에서, "차량들"과 같은 객체 유형이 추가로 하위-분할될 수 있다는 점에 유의해야 한다. 예를 들어, 클래스들 또는 라벨들은 자전거들, 자동차들, 트럭들, 배달 트럭들 등과 같은 차량들의 하위-카테고리들에 대응할 수 있다. 하나 이상의 픽셀들을 객체들의 특정 클래스들 또는 라벨들에 속하는 것으로 분류함으로써, 시맨틱 세그먼트화 정보는 객체의 동일한 클래스 또는 라벨과 연관된 카메라 이미지 데이터의 하나 이상의 프레임들의 픽셀들의 클러스터들을 식별할 수 있다. 예를 들어, 시맨틱 세그먼트화 정보는 사람(예를 들어, 보행자)과 연관된 픽셀들의 제1 클러스터와 차량과 연관된 픽셀들의 제2 클러스터를 식별할 수 있다.
[0079] 시맨틱 세그먼트화 정보는 훈련된 기계 학습 모델로부터 획득될 수 있다. 예를 들어, 훈련된 기계 학습 모델은 카메라 이미지 데이터의 하나 이상의 프레임들을 입력으로서 취할 수 있고 픽셀이 연관된 것으로 분류된 객체를 나타내는 카메라 이미지 데이터의 하나 이상의 프레임들의 픽셀들에 대한 라벨들을 출력들로서 생성할 수 있다. 기계 학습 모델은 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)일 수 있다.
[0080] 530에서, 기능은 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보를 사용할지 여부를 결정하는 것을 포함한다. 블록 530에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0081] 시맨틱 세그먼트화 정보를 적용하기 위해 깊이 정보를 사용하는 것은 카메라 이미지 데이터의 하나 이상의 프레임들의 픽셀들에 대한 깊이 추정치들을 결정하는 것을 포함할 수 있다는 점에 유의해야 한다. 따라서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보를 사용하는 것은 시맨틱 세그먼트화 정보가 레이더 포인트 클라우드에 적용될 수 있기 전에 결정되는 깊이 추정치들을 기다리는 것을 수반할 수 있다. 따라서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보를 사용하는 것은 깊이 정보를 사용하지 않고 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것보다 시간이 더 오래 걸릴 수 있다.
[0082] 일부 실시예들에서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보를 사용할지 여부에 대한 결정은 다양한 요인들에 기초하여 이루어질 수 있다. 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보가 사용될 것이라는 결정은 카메라 이미지 데이터의 품질 및/또는 레이더 포인트 클라우드에 대응하는 레이더 데이터의 품질에 기초할 수 있다. 보다 특정한 예로서, 일부 실시예들에서, 깊이 정보가 사용될 것이라는 결정은 레이더 데이터의 품질 및/또는 카메라 데이터의 품질이 사전 결정된 품질 임계값 미만이라는 결정에 응답하여 결정될 수 있다. 다른 예로서, 일부 실시예들에서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보가 사용되지 않는다는 결정은 세그먼트화된 레이더 포인트 클라우드가 사전 결정된 지속 시간보다 짧게 생성된다는 결정에 응답하여 이루어질 수 있다. 보다 특정한 예로서, 세그먼트화된 레이더 포인트 클라우드가 깊이 정보가 생성될 수 있는 것보다 더 빨리 생성되는 것으로 결정되는 경우, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보가 사용하지 않는다는 결정이 이루어질 수 있다. 또 다른 예로서, 일부 실시예들에서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보를 사용할지 여부에 대한 결정은 프로세서 속도와 같은 다양한 하드웨어 고려 사항들에 기초할 수 있다.
[0083] 블록 530에서, 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하는 데 깊이 정보가 사용되지 않는 것으로 결정되면(블록 530에서 "아니오"), 방법(500)은 블록 540으로 진행할 수 있다.
[0084] 540에서, 기능은 카메라 이미지 데이터의 하나 이상의 프레임들의 조감도 표현을 생성하는 것을 포함한다. 블록 530에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0085] 일부 실시예들에서, 카메라 이미지 데이터의 하나 이상의 프레임들의 조감도 표현은 카메라 이미지 데이터의 하나 이상의 프레임들에 대해 역 투사 매핑(inverse projection mapping)을 수행함으로써 생성될 수 있다. 예를 들어, 일부 실시예들에서, 레이더 포인트 클라우드는 극 좌표들로부터 데카르트 좌표들로 변환될 수 있다. 이러한 예를 계속하면, 레이더 평면의 데카르트 좌표들을 (예를 들어, 레이더 평면의 데카르트 좌표들을 이미징 평면의 좌표들에 투사하는 교정 정보를 사용하여) 카메라 이미지 데이터의 하나 이상의 프레임들과 연관된 이미징 평면에 관련시키는 변환이 결정될 수 있다. 이러한 예를 추가로 계속하면, 카메라 이미지 데이터의 하나 이상의 프레임들의 조감도 표현을 생성하기 위해 변환의 역이 적용될 수 있다.
[0086] 카메라 이미지 데이터의 하나 이상의 프레임들의 조감도 표현은 시맨틱 세그먼트화 정보와 연관되어 있다는 점에 유의해야 한다. 즉, 투시도에서 객체의 특정 클래스 또는 라벨에 속하는 것으로 분류된 픽셀들의 클러스터들은 조감도 표현으로 변환될 때 분류를 유지할 수 있다.
[0087] 550에서, 기능은 카메라 이미지 데이터의 하나 이상의 프레임들의 조감도 표현을 사용하여 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것을 포함한다. 블록 550에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0088] 일부 실시예들에서, 시맨틱 세그먼트화 정보는 특정 클래스 또는 라벨에 할당된 조감도 표현에서 픽셀들의 클러스터를 식별하고, 픽셀들의 클러스터에 대응하는 레이더 포인트 클라우드에서 포인트들을 식별하고, 레이더 포인트 클라우드에서 식별된 포인트들을 픽셀들의 클러스터와 연관된 분류에 할당함으로써 적용될 수 있다. 일부 실시예들에서, 이러한 프로세스는 픽셀들의 복수의 식별된 클러스터들에 걸쳐 반복될 수 있다.
[0089] 블록 530을 다시 참조하면, 블록 530에서 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위해 깊이 정보가 사용되는 것으로 결정되면(블록 530에서의 "예"), 방법(500)은 블록 560으로 진행할 수 있다.
[0090] 블록 560에서, 기능은 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들을 획득하는 것을 포함한다. 블록 560에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0091] 일부 실시예들에서, 카메라 이미지 데이터의 하나 이상의 프레임들의 픽셀들에 대한 깊이 추정치들은 깊이 추정치들 자체가 시맨틱 세그먼트화 정보를 통합하는 방식으로 생성될 수 있다. 시맨틱 세그먼트화 정보를 깊이 추정치들의 생성에 통합함으로써, 깊이 추정치들은 개선된 정확도를 가질 수 있다.
[0092] 일부 실시예들에서, 깊이 추정치들은 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)을 사용하여 생성될 수 있으며, 여기서 계층들(예를 들어, 디콘볼루션 계층들)은 시맨틱 세그먼트화 정보를 생성하는 CNN으로부터 입력을 수신한다. 이러한 신경망 아키텍처의 예가 도 6과 관련하여 아래에 더 상세하게 도시되고 설명된다.
[0093] 블록 570에서, 기능은 깊이 추정치들을 사용하여 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것을 포함한다. 블록 570에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0094] 일부 실시예들에서, 시맨틱 세그먼트화 정보는 시맨틱 세그먼트화 정보에 기초하여 객체의 특정 클래스 또는 라벨과 연관된 것으로 분류된 픽셀들의 클러스터를 식별하고, 픽셀들의 클러스터와 연관된 깊이 정보를 식별하고, 깊이 정보에 기초하여 레이더 포인트 클라우드의 포인트들을 식별함으로써 깊이 추정치들을 사용하여 레이더 포인트 클라우드에 적용될 수 있다. 그 후, 레이더 포인트 클라우드에서 식별된 포인트들은 픽셀들의 클러스터의 분류에 할당될 수 있다. 일부 실시예들에서, 이러한 프로세스는 시맨틱 세그먼트화 정보에서 식별된 픽셀들의 복수의 클러스터들에 대해 반복될 수 있다.
[0095] 그 후, 방법(500)이 종료될 수 있다.
[0096] 일부 실시예들에서, 깊이 추정치들은 카메라 이미지 데이터의 하나 이상의 프레임들의 픽셀들에 대해 생성될 수 있으며, 여기서 깊이 추정치들은 시맨틱 세그먼트화 정보를 사용하여 생성된다. 시맨틱 세그먼트화 정보를 사용하여 깊이 추정치들을 생성함으로써, 시맨틱 세그먼트화 정보는 사실상 깊이 추정치들에 통합될 수 있다.
[0097] 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 정보를 생성하는 CNN으로부터 정보를 수신하는 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)을 사용하여 깊이 추정치들이 생성될 수 있다. 더 특정한 예로서, 일부 실시예들에서, 깊이 추정 네트워크의 하나 이상의 계층들은 시맨틱 세그먼트화 네트워크의 하나 이상의 계층들로부터 정보를 수신할 수 있다. 하나 이상의 계층들은 디콘볼루션 계층들일 수 있다. 일부 실시예들에서, 시맨틱 세그먼트화 네트워크로부터의 정보는 객체들의 특정 클래스들 또는 라벨들과 연관된 특징들과 같이 시맨틱 세그먼트화 네트워크에 의해 식별된 특징들에 대응할 수 있다.
[0098] 시맨틱 세그먼트화 정보는 깊이 추정치들과 상이한 해상도를 가질 수 있다는 점에 유의해야 한다. 예를 들어, 깊이 추정치들은 해상도가 상대적으로 거칠 수 있는 반면, 시맨틱 세그먼트화 정보는 보다 세밀한 해상도로 정보를 제공할 수 있다. 따라서, 시맨틱 세그먼트화 정보를 깊이 추정 네트워크에 제공하는 것은 더 높은 해상도의 시맨틱 세그먼트화 정보가 더 낮은 해상도 깊이 추정치들에 통합되도록 허용할 수 있다.
[0099] 도 6은 실시예에 따라 시맨틱 세그먼트화 정보를 사용하여 깊이 정보를 결정하기 위한 예시적인 신경망 아키텍처의 개략도를 예시한다.
[0100] 도 6은 시맨틱 세그먼트화 네트워크(605)를 묘사한다. 예시된 바와 같이, 시맨틱 세그먼트화 네트워크(605)는 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)일 수 있다. 시맨틱 세그먼트화 네트워크(605)는 일련의 콘볼루션 계층들(610)과 일련의 디콘볼루션 계층들(615)을 포함한다.
[0101] 도 6은 또한 깊이 추정 네트워크(620)를 묘사한다. 예시된 바와 같이, 깊이 추정 네트워크(620)는 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)일 수 있다. 깊이 추정 네트워크(620)는 일련의 콘볼루션 계층들(625)과 일련의 디콘볼루션 계층들(630)을 포함한다.
[0102] 예시된 바와 같이, 시맨틱 세그먼트화 네트워크(605)는 시맨틱 세그먼트화 네트워크(605)에 의해 식별된 특징들을 나타내는 정보를 제공함으로써 깊이 추정 네트워크(620)에 정보를 제공할 수 있다. 예를 들어, 특징들(635, 640, 645 및/또는 650)이 제공될 수 있다. 예시된 바와 같이, 특징들(635, 640, 645 및 650)의 각각은 시맨틱 세그먼트화 네트워크(605)의 디콘볼루션 계층에 대응한다.
[0103] 일부 실시예들에서, 시맨틱 세그먼트화 네트워크(605)의 특징(예를 들어, 특징들(635, 640, 645 및/또는 650) 중 하나)은 해당 특징을 깊이 추정 네트워크(620)의 계층(예를 들어, 디콘볼루션 계층)에 통합시킴으로써 깊이 추정 네트워크(620)에 제공될 수 있다. 특징은 시맨틱 세그먼트화 네트워크(605)로부터의 특징을 깊이 추정 네트워크(620)의 대응하는 계층에서의 특징과 콘볼루션하거나, 시맨틱 세그먼트화 네트워크(605)로부터의 특징을 사용하여 깊이 추정 네트워크(620)의 대응하는 계층에서 특징을 인터폴레이팅(interpolating)하거나, 시맨틱 세그먼트화 네트워크(605)로부터의 특징을 깊이 추정 네트워크(620)의 대응하는 계층으로부터의 특징과 곱하거나, 시맨틱 세그먼트화 네트워크(605)로부터의 특징을 깊이 추정 네트워크(620)의 대응하는 계층에서의 특징과 더하는 등에 의해서와 같이 다양한 기법들을 사용하여 통합될 수 있다.
[0104] 도 6이 깊이 추정 네트워크(620)에 제공되는 특징들(635, 640, 645 및 650)을 예시하지만, 이는 단지 예시적인 예일 뿐이라는 점에 유의해야 한다. 일부 실시예들에서, 더 많거나 더 적은 특징들이 제공될 수 있다. 예를 들어, 일부 실시예들에서, 시맨틱 세그먼트화 네트워크(605)로부터의 단일 특징이 깊이 추정 네트워크(620)에 제공될 수 있다. 보다 구체적인 예로서, 일부 실시예들에서, 최근 특징(예를 들어, 특징(650))이 깊이 추정 네트워크(620)의 최근 디콘볼루션 계층에 제공될 수 있다.
[0105] 일부 실시예들에서, 시맨틱 세그먼트화 네트워크(605) 및 깊이 추정 네트워크(620)는 동시에 훈련될 수 있다는 점에 유의해야 한다. 대안적으로, 일부 실시예들에서, 시맨틱 세그먼트화 네트워크(605)는 사전-훈련될 수 있고, 이미 훈련된 시맨틱 세그먼트화 네트워크(605)로부터의 특징들이 깊이 추정 네트워크(620)에 제공될 수 있다.
[0106] 도 7은 실시예에 따라 레이더 데이터와 카메라 데이터를 융합하는 방법(700)의 흐름도이다. 도 7에 도시된 블록들 중 하나 이상에 예시된 기능을 수행하기 위한 수단은 차량과 연관된 컴퓨팅 디바이스와 같은 컴퓨팅 디바이스의 하드웨어 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 컴퓨팅 디바이스의 예시적인 구성 요소들이 도 8에 예시되어 있으며, 이는 아래에서 더 상세히 설명된다.
[0107] 블록 710에서, 기능은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 것을 포함한다. 블록 710에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 하나 이상의 센서(들)(예를 들어, 차량과 연관된 하나 이상의 카메라들 및/또는 하나 이상의 레이더 디바이스들), 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0108] 도 3과 관련하여 상술한 바와 같이, 레이더 포인트 클라우드는 레이더 디바이스에 의해 캡처된 레이더 데이터로부터 획득될 수 있다. 일부 실시예들에서, 레이더 포인트 클라우드는 조감도에 있을 수 있다. 도 3과 관련하여 상술한 바와 같이, 카메라 데이터의 하나 이상의 프레임들은 하나 이상의 카메라들로부터 캡처될 수 있다. 카메라 데이터의 하나 이상의 프레임들은 단안 카메라 데이터 또는 쌍안 카메라 데이터일 수 있다.
[0109] 블록 720에서, 기능은 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 것을 포함한다. 블록 720에서 기능을 수행하기 위한 수단은 도 8에 예시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0110] 일부 실시예들에서, 깊이 추정치들은 CNN(예를 들어, 인코더-디코더 네트워크, U-Net 등)과 같은 기계 학습 모델을 사용하여 결정될 수 있다. 일부 실시예들에서, 기계 학습 모델은 수동으로 주석이 달린 훈련 데이터를 필요로 하지 않는 자체-감독 기계 학습 모델일 수 있다. 일부 실시예들에서, 기계 학습 모델은 단안 카메라 데이터의 깊이 추정치들을 제공하는 기계 학습 모델일 수 있다.
[0111] 일부 실시예들에서, 도 6과 관련하여 위에 도시되고 상술한 바와 같이, 깊이 추정치들은 카메라 데이터의 하나 이상의 프레임들과 연관된 시맨틱 세그먼트화 정보를 사용하여 결정될 수 있다. 예를 들어, 도 6과 관련하여 위에 도시되고 설명된 바와 같이, 카메라 데이터의 하나 이상의 프레임들의 깊이 추정치들을 생성하는 기계 학습 모델은 카메라 데이터의 하나 이상의 프레임들의 시맨틱 세그먼트화 정보를 결정하는 기계 학습 모델로부터 입력을 수신할 수 있다. 더 특정한 예로서, 일부 실시예들에서, 입력은 도 6과 관련하여 위에서 도시되고 설명된 바와 같이, 깊이 추정 네트워크의 하나 이상의 계층들에 제공되는 시맨틱 세그먼트화 네트워크의 하나 이상의 계층들로부터의 특징들로서 제공될 수 있다.
[0112] 블록 730에서, 기능은 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하는 것을 포함하며, 여기서 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들의 3차원 표현을 포함한다. 블록 730에서 기능을 수행하기 위한 수단은 도 8에 도시된 바와 같이, 컴퓨팅 디바이스의 프로세서 및/또는 컴퓨팅 디바이스의 다른 구성 요소들을 포함할 수 있다.
[0113] 일부 실시예들에서, 의사 라이다 포인트 클라우드는 깊이 추정치들을 사용하여 카메라 좌표계로부터 세계 좌표계로 카메라 데이터의 하나 이상의 프레임들을 변환함으로써 생성될 수 있다.
[0114] 블록 740에서, 기능은 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 OBB들을 결정하는 것을 포함한다. 일부 실시예들에서, OBB들은 2D 또는 3D일 수 있다. 일부 실시예들에서, 각각의 OBB는 레이더 포인트 클라우드 및/또는 의사 라이다 포인트 클라우드에서 검출된 객체에 대응하는 직사각형(2D의 경우) 또는 직사각형 프리즘(3D의 경우)의 경계들을 나타낼 수 있다. 일부 실시예들에서, OBB들은 PointGNN 등과 같은 훈련된 기계 학습 모델을 사용하여 결정될 수 있다.
[0115] 일부 실시예들에서, 하나 이상의 OBB들을 결정하는 훈련된 기계 학습 모델은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 모두 입력으로 취할 수 있다. 대안적으로, 일부 실시예들에서, 하나 이상의 OBB들을 결정하는 훈련된 기계 학습 모델은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드의 조합을 입력으로 취할 수 있다. 이러한 일부 실시예들에서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드는 의사 라이다 포인트 클라우드의 값들을 사용하여 레이더 포인트 클라우드의 값들을 조정하고, 레이더 포인트 클라우드의 값들을 사용하여 의사 라이다 포인트 클라우드의 값들을 조정하고, 조합된 포인트 클라우드의 각각의 포인트에 대해 레이더 포인트 클라우드 또는 의사 라이다 포인트 클라우드 중 하나로부터 값을 선택하는 것 등과 같은 다양한 기법들을 사용하여 조합될 수 있다.
[0116] 하나 이상의 OBB들 2D OBB들인 경우들에 있어서, 의사 라이다 포인트 클라우드는 2D 표현으로 변환될 수 있다는 점에 유의해야 한다. 2D 표현은 조감도에 있을 수 있다. 일부 실시예들에서, 2D 표현은 3D 의사 라이다 포인트 클라우드를 레이더 포인트 클라우드의 뷰에 대응하는 특정 뷰(예를 들어, 조감도)로 회전시킴으로써 생성될 수 있다. 이러한 예를 계속하면, 회전된 3D 의사 라이다 포인트 클라우드가 축소되어 2D 표현을 생성할 수 있다. 일부 실시예들에서, 의사 라이다 포인트 클라우드의 2D 표현은 상술한 바와 같이, 레이더 포인트 클라우드와 조합하기 전에 생성될 수 있다.
[0117] 그 후, 방법(700)이 종료될 수 있다.
[0118] 도 8은 본원에서 상술한 바와 같이(예를 들어, 도 2, 도 3, 도 4 및/또는 도 5와 관련하여) 이용될 수 있는 컴퓨팅 디바이스(805)의 실시예를 예시한다. 예를 들어, 컴퓨팅 디바이스(805)는 도 3에 도시된 방법의 기능들 중 하나 이상을 수행할 수 있다. 다른 예로서, 컴퓨팅 디바이스(805)는 도 5에 도시된 방법의 기능들 중 하나 이상을 수행할 수 있다. 도 8은 단지 다양한 구성 요소들의 일반화된 예시를 제공하기 위한 것이며, 이들 중 임의의 것 또는 모두가 적절하게 이용될 수 있다는 점에 유의해야 한다. 일부 경우들에 있어서, 도 8에 예시된 구성 요소들은 단일 물리적 디바이스에 로컬화될 수 있고/있거나 상이한 물리적 위치들에 배치될 수 있는 다양한 네트워크화된 디바이스들에 걸쳐 분산될 수 있다는 점에 유의해야 한다. 또한, 이전에 언급한 바와 같이, 상술한 실시예들에서 논의된 컴퓨팅 디바이스의 기능은 도 8에 예시된 하드웨어 및/또는 소프트웨어 구성 요소들 중 하나 이상에 의해 실행될 수 있다.
[0119] 컴퓨팅 디바이스(805)는 버스(805)를 통해 전기적으로 커플링될 수 있는(또는 그렇지 않으면 적절하게 통신할 수 있는) 하드웨어 요소들을 포함하는 것으로 도시된다. 하드웨어 요소들은 하나 이상의 범용 프로세서들, (디지털 신호 프로세서(DSP: digital signal processor) 칩들, 그래픽 가속 프로세서들, 주문형 집적 회로(ASIC: application specific integrated circuit)들 등과 같은) 하나 이상의 특수-목적 프로세서들 및/또는 다른 프로세싱 구조들 또는 수단을 제한 없이 포함할 수 있는 프로세싱 유닛(들)(810)을 포함할 수 있다. 도 8에 도시된 바와 같이, 일부 실시예들은 원하는 기능에 따라 별도의 DSP(820)를 가질 수 있다. 무선 통신에 기초한 위치 결정 및/또는 다른 결정들은 프로세싱 유닛(들)(810) 및/또는 무선 통신 인터페이스(830)(아래에 논의됨)에서 제공될 수 있다. 컴퓨팅 디바이스(805)는 또한 하나 이상의 키보드들, 터치 스크린들, 터치 패드들, 마이크로폰들, 버튼들, 다이얼들, 스위치들 등을 제한 없이 포함할 수 있는 하나 이상의 입력 디바이스들(870); 및 하나 이상의 디스플레이들(예를 들어, 터치 스크린들), 발광 다이오드(LED: light emitting diode)들, 스피커들 등을 제한 없이 포함할 수 있는 하나 이상의 출력 디바이스들(815)을 포함할 수 있다.
[0120] 컴퓨팅 디바이스(805)는 또한 모뎀, 네트워크 카드, 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 (Bluetooth® 디바이스, IEEE 802.11 디바이스, IEEE 802.15.4 디바이스, Wi-Fi 디바이스, WiMAX 디바이스, WAN 디바이스 및/또는 다양한 셀룰러 디바이스들 등과 같은) 칩셋 등을 제한 없이 포함할 수 있는 무선 통신 인터페이스(830)를 포함할 수 있으며, 이는 컴퓨팅 디바이스(805)가 위의 실시예들에 설명된 바와 같이 다른 디바이스들과 통신하게 할 수 있다. 무선 통신 인터페이스(830)는 본원에 설명된 바와 같이, 데이터 및 시그널링이 예를 들어, eNB들, gNB들, ng-eNB들, 액세스 포인트들, 다양한 기지국들 및/또는 다른 액세스 노드 유형들을 통해 네트워크의 TRP들, 및/또는 다른 네트워크 구성 요소들, 컴퓨터 시스템들, 및/또는 TRP들과 통신 가능하게 커플링된 임의의 다른 전자 디바이스들과 통신되게(예를 들어, 전송 및 수신) 할 수 있다. 통신은 무선 신호들(834)을 송신 및/또는 수신하는 하나 이상의 무선 통신 안테나(들)(832)를 통해 수행될 수 있다. 일부 실시예들에 따르면, 무선 통신 안테나(들)(832)는 복수의 개별 안테나들, 안테나 어레이들 또는 이들의 임의의 조합을 포함할 수 있다. 안테나(들)(832)는 빔들(예를 들어, Tx 빔들 및 Rx 빔들)을 사용하여 무선 신호들을 전송 및 수신할 수 있다. 빔 형성은 개개의 디지털 및/또는 아날로그 회로로 디지털 및/또는 아날로그 빔 형성 기법들을 사용하여 수행될 수 있다. 무선 통신 인터페이스(830)는 이러한 회로를 포함할 수 있다.
[0121] 원하는 기능에 따라, 무선 통신 인터페이스(830)는 기지국들(예를 들어, ng-eNB들 및 gNB들) 및 무선 디바이스들과 액세스 포인트들과 같은 다른 지상 트랜시버들과 통신하기 위해 별도의 수신기 및 전송기, 또는 트랜시버들, 전송기들 및/또는 수신기들의 임의의 조합을 포함할 수 있다. 컴퓨팅 디바이스(805)는 다양한 네트워크 유형들을 포함할 수 있는 상이한 데이터 네트워크들과 통신할 수 있다. 예를 들어, 무선 광역 네트워크(WWAN: Wireless Wide Area Network)는 CDMA 네트워크, 시분할 다중 접속(TDMA: Time Division Multiple Access) 네트워크, 주파수 분할 다중 접속(FDMA: Frequency Division Multiple Access) 네트워크, 직교 주파수 분할 다중 접속(OFDMA: Orthogonal Frequency Division Multiple Access) 네트워크, 단일-캐리어 주파수 분할 다중 접속(SC-FDMA: Single-Carrier Frequency Division Multiple Access) 네트워크, WiMAX(IEEE 802.16) 네트워크 등일 수 있다. CDMA 네트워크는 CDMA2000, WCDMA 등과 같이 하나 이상의 RAT들을 구현할 수 있다. CDMA2000은 IS-95, IS-2000 및/또는 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM, 디지털 어드밴스드 모바일 폰 시스템(D-AMPS: Digital Advanced Mobile Phone System) 또는 일부 다른 RAT을 구현할 수 있다. OFDMA 네트워크는 LTE, LTE Advanced, 5G NR 등을 채용할 수 있다. 5G NR, LTE, LTE Advanced, GSM 및 WCDMA는 3GPP의 문헌들에 설명되어 있다. cdma2000은 "3세대 파트너십 프로젝트(3rd Generation Partnership Project) X3"(3GPP2)라는 명칭의 컨소시엄으로부터의 문헌들에 설명되어 있다. 3GPP 및 3GPP2 문헌들은 공개적으로 이용 가능하다. 무선 근거리 네트워크(WLAN: wireless local area network)는 또한 IEEE 802.11x 네트워크일 수 있고, 무선 개인 영역 네트워크(WPAN: wireless personal area network)는 Bluetooth 네트워크, IEEE 802.15x 또는 일부 다른 유형의 네트워크일 수 있다. 본원에 설명된 기법들은 또한 WWAN, WLAN 및/또는 WPAN의 임의의 조합에 대해 사용될 수 있다.
[0122] 컴퓨팅 디바이스(805)는 센서(들)(840)를 추가로 포함할 수 있다. 센서(들)(840)는 제한 없이 하나 이상의 관성 센서들 및/또는 다른 센서들(예를 들어, 가속도계(들), 자이로스코프(들), 카메라(들), 레이더 디바이스(들), 라이다 디바이스(들), 자력계(들), 고도계(들), 마이크로폰(들), 근접 센서(들), 광 센서(들), 기압계(들) 등)을 포함할 수 있으며, 이 중 일부는 포지션-관련 측정치들 및/또는 다른 정보를 획득하는 데 사용될 수 있다.
[0123] 컴퓨팅 디바이스(805)의 실시예들은 또한 (안테나(832)와 동일할 수 있는) 안테나(882)를 사용하여 하나 이상의 글로벌 내비게이션 위성 시스템(GNSS: Global Navigation Satellite System) 위성들로부터 신호들(884)을 수신할 수 있는 GNSS 수신기(880)를 포함할 수 있다. GNSS 신호 측정에 기초한 포지셔닝은 본원에 설명된 기법들을 보완 및/또는 통합하기 위해 이용될 수 있다. GNSS 수신기(880)는 글로벌 포지셔닝 시스템(GPS: Global Positioning System), Galileo, GLONASS, 일본의 준-천정 위성 시스템(QZSS: Quasi-Zenith Satellite System), 인도의 인도 지역 내비게이션 위성 시스템(IRNSS: Indian Regional Navigational Satellite System), 중국의 베이더우 내비게이션 위성 시스템(BDS: BeiDou Navigation Satellite System) 등과 같은 GNSS 시스템의 GNSS 위성들(810)로부터 통상의 기법들을 사용하여 컴퓨팅 디바이스(805)의 포지션을 추출할 수 있다. 또한, GNSS 수신기(880)는 예를 들어, 광역 보강 시스템(WAAS: Wide Area Augmentation System), 유럽 정지 궤도 내비게이션 오버레이 서비스(EGNOS: European Geostationary Navigation Overlay Service), 다중-기능 위성 보강 시스템(MSAS: Multi-functional Satellite Augmentation System) 및 지오 보강 내비게이션 시스템(GAGAN: Geo Augmented Navigation system) 등과 같은 하나 이상의 글로벌 및/또는 지역 내비게이션 위성 시스템들과 연관되거나 이화 함께 사용할 수 있는 다양한 보강 시스템들(예를 들어, 위성 기반 보강 시스템(SBAS: Satellite Based Augmentation System))과 함께 사용될 수 있다.
[0124] GNSS 수신기(880)가 도 8에 별개의 구성 요소로서 예시되어 있지만, 실시예들은 이에 한정되지 않는다는 점에 유의할 수 있다. 본원에서 사용되는 바와 같이, "GNSS 수신기"라는 용어는 GNSS 측정치들(GNSS 위성들로부터의 측정치들)을 획득하도록 구성된 하드웨어 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 따라서, 일부 실시예들에서, GNSS 수신기는 프로세싱 유닛(들)(810), DSP(820) 및/또는 (모뎀의) 무선 통신 인터페이스(830) 내의 프로세싱 유닛과 같은 하나 이상의 프로세싱 유닛들에 의해 (소프트웨어로서) 실행되는 측정 엔진을 포함할 수 있다. GNSS 수신기는 또한 선택적으로 확장된 칼만 필터(EKF: Extended Kalman Filter), 가중 최소 제곱(WLS: Weighted Least Squares), 해치(hatch) 필터, 입자 필터 등을 사용하여 GNSS 수신기의 포지션을 결정하기 위해 측정 엔진으로부터의 GNSS 측정치들을 사용할 수 있는 포지셔닝 엔진을 포함할 수 있다. 포지셔닝 엔진은 또한 프로세싱 유닛(들)(810) 또는 DSP(820)와 같은 하나 이상의 프로세싱 유닛들에 의해 실행될 수 있다.
[0125] 컴퓨팅 디바이스(805)는 메모리(860)를 추가로 포함하고/포함하거나 이와 통신할 수 있다. 메모리(860)는 제한 없이 프로그래밍 가능하고 플래시-업데이트 가능한 것 등일 수 있는 랜덤 액세스 메모리(RAM: random access memory) 및/또는 판독-전용 메모리(ROM: read-only memory)와 같은 로컬 및/또는 네트워크 액세스 가능한 저장소, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 솔리드-스테이트 저장 디바이스를 포함할 수 있다. 이러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들 등을 제한 없이 포함하는 임의의 적절한 데이터 저장소들을 구현하도록 구성될 수 있다.
[0126] 컴퓨팅 디바이스(805)의 메모리(860)는 또한 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고/있거나 본원에 설명되는 바와 같이, 다른 실시예들에 의해 제공되는 방법들을 구현하고/구현하거나 시스템들을 구성하도록 설계될 수 있는 운영 체제, 디바이스 드라이버들, 실행 가능 라이브러리들 및/또는 하나 이상의 애플리케이션 프로그램들과 같은 다른 코드를 포함하는 소프트웨어 요소들(도 8에 미도시)을 포함할 수 있다. 단지 예시의 방식으로, 위에서 논의된 방법(들)과 관련하여 설명된 하나 이상의 절차들은 컴퓨팅 디바이스(805)(및/또는 컴퓨팅 디바이스(805) 내의 프로세싱 유닛(들)(810) 또는 DSP(820))에 의해 실행 가능한 메모리(860)의 코드 및/또는 명령들로서 구현될 수 있다. 양태에서, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하기 위해 범용 컴퓨터(또는 다른 디바이스)를 구성 및/또는 적응시키는 데 사용될 수 있다.
[0127] 특정 요건들에 따라 실질적인 변형들이 이루어질 수 있음이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 맞춤형 하드웨어가 또한 사용될 수 있고/있거나 특정 요소들이 하드웨어, 소프트웨어(애플릿(applet)들 등과 같은 포터블 소프트웨어를 포함) 또는 둘 모두로 구현될 수 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 연결이 채용될 수 있다.
[0128] 첨부된 도면들을 참조하면, 메모리를 포함할 수 있는 구성 요소들은 비일시적 기계-판독 가능 매체를 포함할 수 있다. 본원에서 사용되는 "기계-판독 가능 매체" 및 "컴퓨터-판독 가능 매체"라는 용어는 기계로 하여금 특정 방식으로 동작하게 하는 데이터 제공에 참여하는 임의의 저장 매체를 지칭한다. 위에 제공된 실시예들에서, 실행을 위해 프로세싱 유닛들 및/또는 다른 디바이스(들)에 명령들/코드를 제공하는 데 다양한 기계-판독 가능 매체가 수반될 수 있다. 추가적으로 또는 대안적으로, 기계-판독 가능 매체는 이러한 명령들/코드를 저장 및/또는 운반하는 데 사용될 수 있다. 많은 구현들에서, 컴퓨터-판독 가능 매체는 물리적 및/또는 유형의 저장 매체이다. 이러한 매체는 비휘발성 매체 및 휘발성 매체를 포함하는(그러나 이에 한정되지 않음) 다수의 형태들을 취할 수 있다. 컴퓨터-판독 가능 매체의 일반적인 형태들은 예를 들어, 자기 및/또는 광학 매체, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, 프로그래밍 가능 ROM(PROM: programmable ROM), 소거 가능 PROM(EPROM: erasable PROM), 플래시-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
[0129] 본원에 논의된 방법들, 시스템들 및 디바이스들 예들이다. 다양한 실시예들은 다양한 절차들 또는 구성 요소들을 적절하게 생략, 치환 또는 추가할 수 있다. 예를 들어, 특정 실시예들과 관련하여 설명된 특징들은 다양한 다른 실시예들에서 조합될 수 있다. 실시예들의 상이한 양태들과 요소들이 유사한 방식으로 조합될 수 있다. 본원에 제공된 도면들의 다양한 구성 요소들은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 또한, 기술은 발전하므로 많은 요소들은 본 개시의 범위를 이러한 특정 예들로 한정하지 않는 예들이다.
[0130] 비트들, 정보, 값들, 요소들, 심볼들, 문자들, 변수들, 용어들, 번호들, 수치들 등과 같은 신호들을 참조하는 것이 주로 일반적인 사용으로 때로 편리한 것으로 입증되었다. 그러나, 이러한 용어 또는 유사한 용어는 모두 적절한 물리적 수량들과 연관되며 단지 편리한 라벨들일 뿐이라는 점을 이해해야 한다. 달리 구체적으로 언급하지 않는 한, 위 논의에서 명백한 바와 같이, 본 명세서의 논의 전반에 걸쳐 "프로세싱하는", "컴퓨팅하는", "계산하는", "결정하는", "확인하는", "식별하는", "연관시키는", "측정하는", "수행하는" 등과 같은 용어들을 이용하는 논의는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스와 같은 특정 장치의 액션들 또는 프로세스들을 지칭한다. 따라서, 본 사양의 맥락에서, 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 메모리들, 레지스터들 또는 다른 정보 저장 디바이스들, 전송 디바이스들 또는 디스플레이 디바이스들 내의 물리적 전자, 전기 또는 자기적인 수량들로 통상적으로 나타내어지는 신호들을 조작하거나 변환할 수 있다.
[0131] 본원에 사용되는 "및" 및 "또는"이라는 용어들은 이러한 용어들이 사용되는 문맥에 적어도 부분적으로 의존할 것으로 또한 예상되는 다양한 의미들을 포함할 수 있다. 통상적으로 A, B 또는 C와 같은 목록을 연관시키는 데 사용되는 "또는"은 본원에서 포괄적인 의미로 사용되는 A, B 및 C뿐만 아니라 본원에서 확장적인 의미로 사용되는 A, B 또는 C를 의미하는 것으로 의도된다. 또한, 본원에서 사용된 "하나 이상"이라는 용어는 임의의 특징, 구조 또는 특성을 단수형으로 설명하는 데 사용될 수 있거나, 특징들, 구조들 또는 특성들의 일부 조합을 설명하는 데 사용될 수도 있다. 그러나, 이는 단지 예시적인 예일 뿐이며 청구된 주제는 이러한 예에 제한되지 않는다는 점에 유의해야 한다. 추가로, A, B 또는 C와 같이 목록을 연관시키는 데 사용되는 경우 "적어도 하나"라는 용어는 A, AB, AA, AAB, AABBCCC 등과 같이 A, B 및/또는 C의 임의의 조합을 의미하는 것으로 해석될 수 있다.
[0132] 몇몇 실시예들을 설명했지만, 다양한 수정들, 대안적인 구성들 및 등가물들이 본 개시의 범위를 벗어나지 않고 사용될 수 있다. 예를 들어, 위의 요소들은 단지 더 큰 시스템의 구성 요소일 수 있으며, 여기서 다른 규칙들이 다양한 실시예들의 적용보다 우선하거나 그렇지 않으면 이를 수정할 수 있다. 또한, 위의 요소들이 고려되기 전, 고려하는 동안, 또는 고려한 후에 다수의 단계들이 수행될 수 있다. 따라서, 위의 설명은 본 개시의 범위를 제한하지 않는다.
[0133] 이러한 설명의 관점에서 실시예들은 특징들의 상이한 조합들을 포함할 수 있다. 구현 예들이 이하의 번호가 붙여진 조항들에 설명된다.
조항 1. 이미지 데이터를 프로세싱하기 위한 방법으로서, 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 단계; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 단계; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하는 단계 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 및 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하는 단계를 포함한다.
조항 2. 조항 1에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 단계를 더 포함하고, 하나 이상의 객체 경계 박스들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드의 조합에 기초하여 식별된다.
조항 3. 조항 2에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 단계는 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 레이더 포인트 클라우드를 사용하는 단계를 포함한다.
조항 4. 조항 1 내지 조항 3 중 어느 한 조항에 있어서, 의사 라이다 포인트 클라우드를 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하는 단계를 더 포함하고, 하나 이상의 객체 경계 박스들을 식별하는 것은 의사 라이다 포인트 클라우드의 2차원 표현에 기초하고, 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들이다.
조항 5. 조항 1 내지 조항 4 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 단계는 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 카메라 데이터의 하나 이상의 프레임들을 사용하는 단계를 포함한다.
조항 6. 조항 5에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이다.
조항 7. 조항 1 내지 조항 6 중 어느 한 조항에 있어서, 카메라 데이터는 단안 카메라 데이터이다.
조항 8. 조항 1 내지 조항 7 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하는 단계 ― 상기 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 포함된 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―; 세그먼트화된 카메라 데이터를 생성하기 위해 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 시맨틱 세그먼트화 정보를 적용하는 단계; 및 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 단계 ― 하나 이상의 객체 경계 박스들은 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별됨 ― 를 더 포함한다.
조항 9. 조항 8에 있어서, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 단계는 세그먼트화된 카메라 데이터에 대해 역 원근 매핑을 수행하여 세그먼트화된 카메라 데이터를 조감도로 변환하는 단계; 및 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 조감도로부터의 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하는 단계를 포함한다.
조항 10. 조항 8 또는 조항 9에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 단계는 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하는 단계를 포함하고, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 단계는 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들에 기초한다.
조항 11. 조항 10에 있어서, 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하는 단계는 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하는 단계를 포함한다.
조항 12. 조항 11에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하는 단계는 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 시맨틱 세그먼트화 정보의 적어도 일부를 제공하는 단계를 포함한다.
조항 13. 이미지 데이터를 프로세싱하기 위한 디바이스로서, 트랜시버; 메모리; 및 트랜시버 및 메모리와 통신 가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함하고, 하나 이상의 프로세싱 유닛들은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하도록 구성된다.
조항 14. 조항 13에 있어서, 하나 이상의 프로세싱 유닛들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하도록 추가로 구성되고, 하나 이상의 객체 경계 박스들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드의 조합에 기초하여 식별된다.
조항 15. 조항 14에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하기 위해 하나 이상의 프로세싱 유닛들은 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 레이더 포인트 클라우드를 사용하도록 추가로 구성된다.
조항 16. 조항 13 내지 조항 15 중 어느 한 조항에 있어서, 하나 이상의 프로세싱 유닛들은 의사 라이다 포인트 클라우드를 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하도록 추가로 구성되고, 하나 이상의 객체 경계 박스들을 식별하는 것은 의사 라이다 포인트 클라우드의 2차원 표현에 기초하고, 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들이다.
조항 17. 조항 13 내지 조항 16 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위해, 하나 이상의 프로세싱 유닛들은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 카메라 데이터의 하나 이상의 프레임들을 사용하도록 추가로 구성된다.
조항 18. 조항 17의 디바이스에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이다.
조항 19. 조항 13 내지 조항 18 중 어느 한 조항에 있어서, 카메라 데이터는 단안 카메라 데이터이다.
조항 20. 조항 13 내지 조항 19 중 어느 한 조항에 있어서, 하나 이상의 프로세싱 유닛들은 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하고 ― 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 포함된 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―; 세그먼트화된 카메라 데이터를 생성하기 위해 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 시맨틱 세그먼트화 정보를 적용하고; 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하도록 ― 하나 이상의 객체 경계 박스들은 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별됨 ― 추가로 구성된다.
조항 21. 조항 20에 있어서, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하기 위해, 하나 이상의 프로세싱 유닛들은 세그먼트화된 카메라 데이터에 대해 역 원근 매핑을 수행하여 세그먼트화된 카메라 데이터를 조감도로 변환하고; 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 조감도로부터의 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하도록 추가로 구성된다.
조항 22. 조항 20 또는 조항 21에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위해, 하나 이상의 프로세싱 유닛들은 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하도록 추가로 구성되고, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들에 기초한다.
조항 23. 조항 22에 있어서, 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하기 위해, 하나 이상의 프로세싱 유닛들은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하도록 추가로 구성된다.
조항 24. 조항 23에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 상기 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하기 위해, 하나 이상의 프로세싱 유닛들은 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 시맨틱 세그먼트화 정보의 적어도 일부를 제공하도록 추가로 구성된다.
조항 25. 이미지 데이터를 프로세싱하기 위한 디바이스로서, 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하기 위한 수단; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위한 수단; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하기 위한 수단 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 및 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 수단을 포함한다.
조항 26. 조항 25에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하기 위한 수단을 더 포함하고, 하나 이상의 객체 경계 박스들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드의 조합에 기초하여 식별된다.
조항 27. 조항 26에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하기 위한 수단은 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 레이더 포인트 클라우드를 사용하기 위한 수단을 포함한다.
조항 28. 조항 25 내지 조항 27 중 어느 한 조항에 있어서, 의사 라이다 포인트 클라우드를 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하기 위한 수단을 더 포함하고, 하나 이상의 객체 경계 박스들을 식별하는 것은 의사 라이다 포인트 클라우드의 2차원 표현에 기초하고, 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들이다.
조항 29. 조항 25 내지 조항 28 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위한 수단은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 카메라 데이터의 하나 이상의 프레임들을 사용하기 위한 수단을 포함한다.
조항 30. 조항 29에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이다.
조항 31. 조항 25 내지 조항 30 중 어느 한 조항에 있어서, 카메라 데이터는 단안 카메라 데이터이다.
조항 32. 조항 25 내지 조항 31 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하기 위한 수단 ― 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 포함된 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―; 세그먼트화된 카메라 데이터를 생성하기 위해 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 시맨틱 세그먼트화 정보를 적용하기 위한 수단; 및 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하기 위한 수단 ― 하나 이상의 객체 경계 박스들은 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별됨 ― 을 더 포함한다.
조항 33. 조항 32에 있어서, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하기 위한 수단은 세그먼트화된 카메라 데이터에 대해 역 원근 매핑을 수행하여 세그먼트화된 카메라 데이터를 조감도로 변환하기 위한 수단; 및 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 조감도로부터의 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하기 위한 수단을 포함한다.
조항 34. 조항 32 또는 조항 33에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위한 수단은 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하기 위한 수단을 포함하고, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들에 기초한다.
조항 35. 조항 34에 있어서, 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하기 위한 수단은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하기 위한 수단을 포함한다.
조항 36. 조항 35에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하기 위한 수단은 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 시맨틱 세그먼트화 정보의 적어도 일부를 제공하기 위한 수단을 포함한다.
조항 37. 이미지 데이터를 프로세싱하기 위한 명령들을 저장하는 비일시적 컴퓨터-판독 가능 매체로서, 명령들은 레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고; 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 의사 라이다 포인트 클라우드는 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 레이더 포인트 클라우드 및 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 코드를 포함한다.
조항 38. 조항 37에 있어서, 명령들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하기 위한 코드를 더 포함하고, 하나 이상의 객체 경계 박스들은 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드의 조합에 기초하여 식별된다.
조항 39. 조항 38에 있어서, 레이더 포인트 클라우드와 의사 라이다 포인트 클라우드를 조합하는 것은 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 레이더 포인트 클라우드를 사용하는 것을 포함한다.
조항 40. 조항 37 내지 조항 39 중 어느 한 조항에 있어서, 명령들은 의사 라이다 포인트 클라우드를 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하기 위한 코드를 더 포함하고, 하나 이상의 객체 경계 박스들을 식별하는 것은 의사 라이다 포인트 클라우드의 2차원 표현에 기초하고, 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들이다.
조항 41. 조항 37 내지 조항 40 중 어느 한 조항에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 것은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 카메라 데이터의 하나 이상의 프레임들을 사용하는 것을 포함한다.
조항 42. 조항 41에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이다.
조항 43. 조항 37 내지 조항 42 중 어느 한 조항에 있어서, 카메라 데이터는 단안 카메라 데이터이다.
조항 44. 조항 37 내지 조항 43 중 어느 한 조항에 있어서, 명령들은 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하고 ― 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 포함된 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―; 세그먼트화된 카메라 데이터를 생성하기 위해 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임에 시맨틱 세그먼트화 정보를 적용하고; 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하기 위한 ― 하나 이상의 객체 경계 박스들은 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별됨 ― 코드를 더 포함한다.
조항 45. 조항 44에 있어서, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 세그먼트화된 카메라 데이터에 대해 역 원근 매핑을 수행하여 세그먼트화된 카메라 데이터를 조감도로 변환하는 것; 및 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 조감도로부터의 시맨틱 세그먼트화 정보를 레이더 포인트 클라우드에 적용하는 것을 포함한다.
조항 46. 조항 44 또는 조항 45에 있어서, 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 것은 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하는 것을 포함하고, 레이더 포인트 클라우드에 시맨틱 세그먼트화 정보를 적용하는 것은 시맨틱 세그먼트화 정보를 통합하는 깊이 추정치들에 기초한다.
조항 47. 조항 46에 있어서, 깊이 추정치들을 결정하기 위해 시맨틱 세그먼트화 정보를 사용하는 것은 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하는 것을 포함한다.
조항 48. 조항 47에 있어서, 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 훈련된 기계 학습 모델에 시맨틱 세그먼트화 정보를 제공하는 것은 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 시맨틱 세그먼트화 정보의 적어도 일부를 제공하는 것을 포함한다.
Claims (36)
- 이미지 데이터를 프로세싱하기 위한 방법으로서,
레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하는 단계;
상기 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하는 단계;
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 사용하여 의사 라이다(pseudo lidar) 포인트 클라우드를 생성하는 단계 ― 상기 의사 라이다 포인트 클라우드는 상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 및
상기 레이더 포인트 클라우드 및 상기 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제1 항에 있어서,
상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하는 단계를 더 포함하고, 상기 하나 이상의 객체 경계 박스들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드의 상기 조합에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 방법. - 제2 항에 있어서,
상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하는 단계는 상기 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 상기 레이더 포인트 클라우드를 사용하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제1 항에 있어서,
상기 의사 라이다 포인트 클라우드를 상기 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하는 단계를 더 포함하고, 상기 하나 이상의 객체 경계 박스들을 식별하는 것은 상기 의사 라이다 포인트 클라우드의 상기 2차원 표현에 기초하고, 상기 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들인, 이미지 데이터를 프로세싱하기 위한 방법. - 제1 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하는 단계는 상기 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 상기 카메라 데이터의 하나 이상의 프레임들을 사용하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제5 항에 있어서,
상기 훈련된 기계 학습 모델은 인코더-디코더 네트워크인, 이미지 데이터를 프로세싱하기 위한 방법. - 제1 항에 있어서,
상기 카메라 데이터는 단안(monocular) 카메라 데이터인, 이미지 데이터를 프로세싱하기 위한 방법. - 제1 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화(semantic segmentation) 정보를 획득하는 단계 ― 상기 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 포함된 상기 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―;
세그먼트화된 카메라 데이터를 생성하기 위해 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 상기 시맨틱 세그먼트화 정보를 적용하는 단계; 및
세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 단계를 더 포함하며,
상기 하나 이상의 객체 경계 박스들은 상기 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 방법. - 제8 항에 있어서,
상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 단계는,
상기 세그먼트화된 카메라 데이터에 대해 역 원근(inverse perspective) 매핑을 수행하여 상기 세그먼트화된 카메라 데이터를 조감도(bird's eye view)로 변환하는 단계; 및
상기 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 상기 조감도로부터의 상기 시맨틱 세그먼트화 정보를 상기 레이더 포인트 클라우드에 적용하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제8 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하는 단계는 상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하는 단계를 포함하고, 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 단계는 상기 시맨틱 세그먼트화 정보를 통합하는 상기 깊이 추정치들에 기초하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제10 항에 있어서,
상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하는 단계는 상기 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 제11 항에 있어서,
상기 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 상기 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하는 단계는 상기 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션(deconvolution) 계층에 상기 시맨틱 세그먼트화 정보의 적어도 일부를 제공하는 단계를 포함하는, 이미지 데이터를 프로세싱하기 위한 방법. - 이미지 데이터를 프로세싱하기 위한 디바이스로서,
트랜시버;
메모리; 및
상기 트랜시버 및 상기 메모리와 통신 가능하게 커플링된 하나 이상의 프로세싱 유닛들을 포함하고, 상기 하나 이상의 프로세싱 유닛들은,
레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고;
상기 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고;
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 상기 의사 라이다 포인트 클라우드는 상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 그리고
상기 레이더 포인트 클라우드 및 상기 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하도록 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제13 항에 있어서,
상기 하나 이상의 프로세싱 유닛들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하도록 추가로 구성되고, 상기 하나 이상의 객체 경계 박스들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드의 상기 조합에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제14 항에 있어서,
상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하기 위해 상기 하나 이상의 프로세싱 유닛들은 상기 의사 라이다 포인트 클라우드와 연관된 하나 이상의 값들을 수정하기 위해 상기 레이더 포인트 클라우드를 사용하도록 추가로 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제13 항에 있어서,
상기 하나 이상의 프로세싱 유닛들은 상기 의사 라이다 포인트 클라우드를 상기 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하도록 추가로 구성되고, 상기 하나 이상의 객체 경계 박스들을 식별하는 것은 상기 의사 라이다 포인트 클라우드의 상기 2차원 표현에 기초하고, 상기 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들인, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제13 항에 있어서,
카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 대한 입력으로서 상기 카메라 데이터의 하나 이상의 프레임들을 사용하도록 추가로 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제17 항에 있어서,
상기 훈련된 기계 학습 모델은 인코더-디코더 네트워크인, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제13 항에 있어서,
상기 카메라 데이터는 단안 카메라 데이터인, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제13 항에 있어서,
상기 하나 이상의 프로세싱 유닛들은,
상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하고 ― 상기 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 포함된 상기 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―;
세그먼트화된 카메라 데이터를 생성하기 위해 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 상기 시맨틱 세그먼트화 정보를 적용하고; 그리고
세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하도록 추가로 구성되며,
상기 하나 이상의 객체 경계 박스들은 상기 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제20 항에 있어서,
상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하기 위해, 상기 하나 이상의 프로세싱 유닛들은,
상기 세그먼트화된 카메라 데이터에 대해 역 원근 매핑을 수행하여 상기 세그먼트화된 카메라 데이터를 조감도로 변환하고; 그리고
상기 세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 조감도로부터의 상기 시맨틱 세그먼트화 정보를 상기 레이더 포인트 클라우드에 적용하도록 추가로 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제20 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하도록 추가로 구성되고, 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 것은 상기 시맨틱 세그먼트화 정보를 통합하는 상기 깊이 추정치들에 기초하는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제22 항에 있어서,
상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하도록 추가로 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제23 항에 있어서,
상기 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 상기 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하기 위해, 상기 하나 이상의 프로세싱 유닛들은 상기 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 상기 시맨틱 세그먼트화 정보의 적어도 일부를 제공하도록 추가로 구성되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 이미지 데이터를 프로세싱하기 위한 디바이스로서,
레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하기 위한 수단;
상기 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하기 위한 수단;
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하기 위한 수단 ― 상기 의사 라이다 포인트 클라우드는 상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 및
상기 레이더 포인트 클라우드 및 상기 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 수단을 포함하는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제25 항에 있어서,
상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하기 위한 수단을 더 포함하고, 상기 하나 이상의 객체 경계 박스들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드의 상기 조합에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제25 항에 있어서,
상기 의사 라이다 포인트 클라우드를 상기 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하기 위한 수단을 더 포함하고, 상기 하나 이상의 객체 경계 박스들을 식별하는 것은 상기 의사 라이다 포인트 클라우드의 상기 2차원 표현에 기초하고, 상기 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들인, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제25 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하기 위한 수단 ― 상기 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 포함된 상기 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―;
세그먼트화된 카메라 데이터를 생성하기 위해 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 상기 시맨틱 세그먼트화 정보를 적용하기 위한 수단; 및
세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하기 위한 수단을 더 포함하며,
상기 하나 이상의 객체 경계 박스들은 상기 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별되는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 제28 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하기 위한 수단은 상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하기 위한 수단을 포함하고, 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 것은 상기 시맨틱 세그먼트화 정보를 통합하는 상기 깊이 추정치들에 기초하는, 이미지 데이터를 프로세싱하기 위한 디바이스. - 이미지 데이터를 프로세싱하기 위한 명령들을 저장하는 비일시적 컴퓨터-판독 가능 저장 매체로서, 상기 명령들은
레이더 포인트 클라우드 및 카메라 데이터의 하나 이상의 프레임들을 획득하고;
상기 카메라 데이터의 하나 이상의 프레임들의 하나 이상의 픽셀들의 깊이 추정치들을 결정하고;
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 사용하여 의사 라이다 포인트 클라우드를 생성하고 ― 상기 의사 라이다 포인트 클라우드는 상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임의 3차원 표현을 포함함 ―; 그리고
상기 레이더 포인트 클라우드 및 상기 의사 라이다 포인트 클라우드에 기초하여 하나 이상의 객체 경계 박스들을 결정하기 위한 코드를 포함하는, 비일시적 컴퓨터-판독 가능 저장 매체. - 제30 항에 있어서,
상기 명령들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드를 조합하기 위한 코드를 더 포함하고, 상기 하나 이상의 객체 경계 박스들은 상기 레이더 포인트 클라우드와 상기 의사 라이다 포인트 클라우드의 상기 조합에 기초하여 식별되는, 비일시적 컴퓨터-판독 가능 저장 매체. - 제30 항에 있어서,
상기 명령들은 상기 의사 라이다 포인트 클라우드를 상기 의사 라이다 포인트 클라우드의 2차원 표현으로 변환하기 위한 코드를 더 포함하고, 상기 하나 이상의 객체 경계 박스들을 식별하는 것은 상기 의사 라이다 포인트 클라우드의 상기 2차원 표현에 기초하고, 상기 하나 이상의 객체 경계 박스들은 2차원 객체 경계 박스들인, 비일시적 컴퓨터-판독 가능 저장 매체. - 제30 항에 있어서,
상기 명령들은,
상기 카메라 데이터의 하나 이상의 프레임들 중 적어도 하나의 프레임과 연관된 시맨틱 세그먼트화 정보를 획득하고 ― 상기 시맨틱 세그먼트화 정보는 동일한 객체와 연관된, 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 포함된 상기 하나 이상의 픽셀들의 적어도 하나의 클러스터를 식별함 ―;
세그먼트화된 카메라 데이터를 생성하기 위해 상기 카메라 데이터의 하나 이상의 프레임들 중 상기 적어도 하나의 프레임에 상기 시맨틱 세그먼트화 정보를 적용하고; 그리고
세그먼트화된 레이더 포인트 클라우드를 획득하기 위해 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하기 위한 코드를 더 포함하며,
상기 하나 이상의 객체 경계 박스들은 상기 세그먼트화된 레이더 포인트 클라우드에 기초하여 식별되는, 비일시적 컴퓨터-판독 가능 저장 매체. - 제33 항에 있어서,
상기 카메라 데이터의 하나 이상의 프레임들의 상기 하나 이상의 픽셀들의 상기 깊이 추정치들을 결정하는 것은 상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하는 것을 포함하고, 상기 레이더 포인트 클라우드에 상기 시맨틱 세그먼트화 정보를 적용하는 것은 상기 시맨틱 세그먼트화 정보를 통합하는 상기 깊이 추정치들에 기초하는, 비일시적 컴퓨터-판독 가능 저장 매체. - 제34 항에 있어서,
상기 깊이 추정치들을 결정하기 위해 상기 시맨틱 세그먼트화 정보를 사용하는 것은 상기 깊이 추정치들을 예측하는 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하는 것을 포함하는, 비일시적 컴퓨터-판독 가능 저장 매체. - 제35 항에 있어서,
상기 훈련된 기계 학습 모델은 인코더-디코더 네트워크이고, 상기 훈련된 기계 학습 모델에 상기 시맨틱 세그먼트화 정보를 제공하는 것은 상기 인코더-디코더 네트워크의 적어도 하나의 디콘볼루션 계층에 상기 시맨틱 세그먼트화 정보의 적어도 일부를 제공하는 것을 포함하는, 비일시적 컴퓨터-판독 가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/316,223 | 2021-05-10 | ||
| US17/316,223 US20220357441A1 (en) | 2021-05-10 | 2021-05-10 | Radar and camera data fusion |
| PCT/US2022/071238 WO2022241345A1 (en) | 2021-05-10 | 2022-03-21 | Radar and camera data fusion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240006531A true KR20240006531A (ko) | 2024-01-15 |
Family
ID=81344329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237037783A KR20240006531A (ko) | 2021-05-10 | 2022-03-21 | 레이더 및 카메라 데이터 융합 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220357441A1 (ko) |
| EP (1) | EP4337984A1 (ko) |
| KR (1) | KR20240006531A (ko) |
| CN (1) | CN117280246A (ko) |
| BR (1) | BR112023022907A2 (ko) |
| TW (1) | TW202244537A (ko) |
| WO (1) | WO2022241345A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117706942A (zh) * | 2024-02-05 | 2024-03-15 | 四川大学 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11899099B2 (en) * | 2018-11-30 | 2024-02-13 | Qualcomm Incorporated | Early fusion of camera and radar frames |
| CN115407330A (zh) * | 2021-05-28 | 2022-11-29 | 北京图森智途科技有限公司 | 车辆的传感器布局 |
| US12013922B2 (en) * | 2021-07-30 | 2024-06-18 | Nxp B.V. | Method for watermarking a machine learning model |
| US20230109909A1 (en) * | 2021-10-07 | 2023-04-13 | Motional Ad Llc | Object detection using radar and lidar fusion |
| US20230196728A1 (en) * | 2021-12-16 | 2023-06-22 | Gm Cruise Holdings Llc | Semantic segmentation based clustering |
| CN115453570A (zh) * | 2022-09-13 | 2022-12-09 | 北京踏歌智行科技有限公司 | 一种多特征融合的矿区粉尘滤除方法 |
| TWI823703B (zh) * | 2022-12-06 | 2023-11-21 | 中華汽車工業股份有限公司 | 無人載台車輔助定位方法 |
| CN116687386B (zh) * | 2023-08-07 | 2023-10-31 | 青岛市畜牧工作站(青岛市畜牧兽医研究所) | 牛体形数据综合校准的雷达探测系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090292468A1 (en) * | 2008-03-25 | 2009-11-26 | Shunguang Wu | Collision avoidance method and system using stereo vision and radar sensor fusion |
| DE102019127283A1 (de) * | 2019-10-10 | 2021-04-15 | Valeo Schalter Und Sensoren Gmbh | System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs |
| US11455813B2 (en) * | 2019-11-14 | 2022-09-27 | Nec Corporation | Parametric top-view representation of complex road scenes |
| US11493625B2 (en) * | 2020-03-16 | 2022-11-08 | Nio Technology (Anhui) Co., Ltd. | Simulated LiDAR devices and systems |
-
2021
- 2021-05-10 US US17/316,223 patent/US20220357441A1/en active Pending
-
2022
- 2022-03-21 BR BR112023022907A patent/BR112023022907A2/pt unknown
- 2022-03-21 CN CN202280032360.2A patent/CN117280246A/zh active Pending
- 2022-03-21 EP EP22717706.0A patent/EP4337984A1/en active Pending
- 2022-03-21 WO PCT/US2022/071238 patent/WO2022241345A1/en active Application Filing
- 2022-03-21 KR KR1020237037783A patent/KR20240006531A/ko unknown
- 2022-03-22 TW TW111110647A patent/TW202244537A/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117706942A (zh) * | 2024-02-05 | 2024-03-15 | 四川大学 | 一种环境感知与自适应驾驶辅助电子控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202244537A (zh) | 2022-11-16 |
| CN117280246A (zh) | 2023-12-22 |
| US20220357441A1 (en) | 2022-11-10 |
| BR112023022907A2 (pt) | 2024-01-23 |
| WO2022241345A1 (en) | 2022-11-17 |
| EP4337984A1 (en) | 2024-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20240006531A (ko) | 레이더 및 카메라 데이터 융합 | |
| US11474247B2 (en) | Methods and systems for color point cloud generation | |
| US10627512B1 (en) | Early fusion of lidar return data with camera information | |
| CN108693876B (zh) | 用于具有控制部件的车辆的目标跟踪系统及方法 | |
| CN111448476B (zh) | 在无人飞行器与地面载具之间共享绘图数据的技术 | |
| US10210401B2 (en) | Real time multi dimensional image fusing | |
| US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
| CN111670339B (zh) | 用于无人飞行器和地面载运工具之间的协作地图构建的技术 | |
| CN108572663A (zh) | 目标跟踪 | |
| CN109466548A (zh) | 用于自主车辆操作的地面参照确定 | |
| US20200116495A1 (en) | Information-processing device, information-processing method, and program | |
| CN108779984A (zh) | 信号处理设备和信号处理方法 | |
| CN114254696A (zh) | 基于深度学习的可见光、红外和雷达融合目标检测方法 | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| US20200160072A1 (en) | Systems and methods for monitoring traffic lights using imaging sensors of vehicles | |
| US20240061119A1 (en) | Cellular radio frequency (rf) sensing in automobile navigation | |
| US11513211B2 (en) | Environment model using cross-sensor feature point referencing | |
| CN114503044A (zh) | 用于在3d点云中自动标记对象的系统和方法 | |
| AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
| WO2022152792A1 (en) | Object recognition method and time-of-flight object recognition circuitry | |
| KR20210094475A (ko) | 차량 영상 기반의 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
| CN113874681A (zh) | 点云地图质量的评估方法和系统 | |
| US20240062349A1 (en) | Enhanced high dynamic range pipeline for three-dimensional image signal processing | |
| CN116457843A (zh) | 飞行时间物体检测电路和飞行时间物体检测方法 | |
| WO2021232031A2 (en) | Detection of hidden object using non-line-of-sight (nlos) imaging |