KR20220151098A - 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 - Google Patents

융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 Download PDF

Info

Publication number
KR20220151098A
KR20220151098A KR1020210180723A KR20210180723A KR20220151098A KR 20220151098 A KR20220151098 A KR 20220151098A KR 1020210180723 A KR1020210180723 A KR 1020210180723A KR 20210180723 A KR20210180723 A KR 20210180723A KR 20220151098 A KR20220151098 A KR 20220151098A
Authority
KR
South Korea
Prior art keywords
image
semantic
network
data associated
fused
Prior art date
Application number
KR1020210180723A
Other languages
English (en)
Other versions
KR102657921B1 (ko
Inventor
이티안 우
소우라브 보라
알렉스 랑
오스카 베이즈봄
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20220151098A publication Critical patent/KR20220151098A/ko
Application granted granted Critical
Publication of KR102657921B1 publication Critical patent/KR102657921B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

융합된 이미지를 형성하기 위해 상이한 유형들의 이미지들을 융합시키는 단계, 융합된 이미지로부터 특징들을 추출하는 단계, 손실을 계산하는 단계, 및 손실에 기초하여 이미지 시맨틱 네트워크의 적어도 하나의 네트워크 파라미터를 수정하는 단계를 포함할 수 있는, 융합된 이미지들을 사용하는 엔드 투 엔드 인지 시스템 트레이닝을 위한 방법들이 제공된다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝{END-TO-END SYSTEM TRAINING USING FUSED IMAGES}
자가 운전 차량(self-driving vehicle)은 전형적으로 그 주위의 영역을 인지하기 위해 다수의 유형들의 이미지들을 사용한다. 영역을 정확하게 인지하도록 이러한 시스템들을 트레이닝시키는 것은 어렵고 복잡할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4a는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 4b는 신경 네트워크의 구현의 다이어그램이다.
도 4c 및 도 4d는 CNN의 예시적인 작동을 예시하는 다이어그램이다.
도 5a는 인지 시스템을 위한 엔드 투 엔드 트레이닝 환경의 예를 예시하는 블록 다이어그램이다.
도 5b 및 도 5c는 인지 시스템의 예시적인 엔드 투 엔드 트레이닝 동작을 예시하는 동작 다이어그램들이다.
도 6은 인지 시스템을 트레이닝시키기 위해 하나 이상의 프로세서에 의해 구현되는 루틴의 예를 예시하는 흐름 다이어그램이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 기재된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. 또한, "또는"이라는 용어가, 예를 들어, 요소들의 목록을 연결하는 데 사용될 때, 목록 내의 요소들 중 하나, 일부 또는 전부를 의미하도록, "또는"이라는 용어는 (그의 배타적 의미가 아니라) 그의 포함적 의미로 사용된다. "X, Y, 또는 Z 중 적어도 하나"라는 문구와 같은 택일적 표현(disjunctive language)은, 달리 구체적으로 언급되지 않는 한, 그렇지 않고 항목, 용어 등이 X, Y, 또는 Z, 또는 이들의 임의의 조합(예를 들면, X, Y 또는 Z)일 수 있음을 제시하는 데 일반적으로 사용되는 바와 같은 문맥으로 이해된다. 따라서, 그러한 택일적 표현은 일반적으로 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나, 및 Z 중 적어도 하나가 각각 존재할 것을 요구함을 암시하는 것으로 의도되지 않으며 암시해서는 안된다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
그 중에서도, "할 수 있는(can)", "할 수 있을(could)", "할지도 모를(might)", "할지도 모르는(may)", "예를 들면(e.g.)" 등과 같은, 본원에서 사용되는 조건부 표현(conditional language)은, 특별히 달리 언급되지 않는 한 또는 사용되는 바와 같이 문맥 내에서 달리 이해되지 않는 한, 일반적으로 특정 실시예들은 특정 특징들, 요소들 또는 단계들을 포함하지만 다른 실시예들은 특정 특징들, 요소들 또는 단계들을 포함하지 않는다는 것을 전달하는 것으로 의도된다. 따라서, 그러한 조건부 표현은 특징들, 요소들 또는 단계들이 하나 이상의 실시예에 대해 어떤 방식으로든 필요하다는 것 또는 하나 이상의 실시예가, 다른 입력 또는 프롬프팅을 사용하거나 사용하지 않고, 이러한 특징들, 요소들 또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행되어야 하는지를 결정하기 위한 로직을 반드시 포함한다는 것을 암시하는 것으로 일반적으로 의도되지 않는다. 본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들, 및 컴퓨터 프로그램 제품들은 대상체들을 식별하기 위해 엔드 투 엔드로 인지 시스템의 트레이닝을 수행하는 테스트 시스템을 포함하고/하거나 구현한다. 비제한적인 예로서, 테스트 시스템은 (카메라 이미지로부터 이미지 시맨틱 네트워크에 의해 생성되는) 시맨틱 이미지와 LiDAR 이미지를 융합시키는 것, 융합된 이미지로부터 특징들을 추출하는 것, 및 융합된 이미지로부터 추출된 특징들과 실측 자료(ground truth) 이미지 사이의 계산된 손실에 기초하여 이미지 시맨틱 네트워크에서 적어도 하나의 네트워크 파라미터를 수정하는 것에 의해 인지 시스템을 트레이닝시킬 수 있다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현 덕분에, 자율 주행 차량은 이미지 내의 대상체들을 보다 정확하게 식별하고, 이미지 내의 식별된 대상체들의 위치를 보다 정확하게 식별하며, 이미지 내의 식별된 대상체들의 궤적들을 보다 정확하게 예측하고, 식별된 대상체들에 대한 추가적인 특징들을 결정하며, 이미지의 장면에 관한 추가 정보를 추론할 수 있다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA( code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 전송되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)에 상대적인 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전방 2 개의 바퀴 및/또는 후방 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102) 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4a를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징부, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형들의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다. 머신 러닝 모델의 구현의 예는 도 4b 내지 도 4d와 관련하여 아래에 포함된다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 4b를 참조하면, 머신 러닝 모델의 구현의 다이어그램이 예시되어 있다. 보다 구체적으로, 콘볼루션 신경 네트워크(convolutional neural network, CNN)(420)의 구현의 다이어그램이 예시되어 있다. 예시를 위해, CNN(420)에 대한 이하의 설명은 인지 시스템(402)에 의한 CNN(420)의 구현과 관련하여 이루어질 것이다. 그렇지만, 일부 예들에서 CNN(420)(예를 들면, CNN(420)의 하나 이상의 컴포넌트)이, 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)과 같은, 인지 시스템(402)과 상이하거나 이 이외의 다른 시스템들에 의해 구현된다는 것이 이해될 것이다. CNN(420)이 본원에 기술된 바와 같은 특정 특징들을 포함하지만, 이러한 특징들은 예시 목적으로 제공되며 본 개시를 제한하는 것으로 의도되지 않는다.
CNN(420)은 제1 콘볼루션 계층(422), 제2 콘볼루션 계층(424), 및 콘볼루션 계층(426)를 포함하는 복수의 콘볼루션 계층들을 포함한다. 일부 실시예들에서, CNN(420)은 서브샘플링 계층(428)(때때로 풀링 계층(pooling layer)이라고 지칭됨)을 포함한다. 일부 실시예들에서, 서브샘플링 계층(428) 및/또는 다른 서브샘플링 계층들은 업스트림 시스템의 차원보다 작은 차원(즉, 노드들의 양)을 갖는다. 서브샘플링 계층(428)이 업스트림 계층의 차원보다 작은 차원을 갖는 것에 의해, CNN(420)은 초기 입력 및/또는 업스트림 계층의 출력과 연관된 데이터의 양을 통합하여 이에 의해 CNN(420)이 다운스트림 콘볼루션 연산들을 수행하는 데 필요한 계산들의 양을 감소시킨다. 추가적으로 또는 대안적으로, (도 4c 및 도 4d와 관련하여 아래에서 기술되는 바와 같이) 서브샘플링 계층(428)이 적어도 하나의 서브샘플링 함수와 연관되는(예를 들면, 이를 수행하도록 구성되는) 것에 의해, CNN(420)은 초기 입력과 연관된 데이터의 양을 통합(consolidate)한다.
인지 시스템(402)이 제1 콘볼루션 계층(422), 제2 콘볼루션 계층(424), 및 콘볼루션 계층(426) 각각과 연관된 각자의 입력들 및/또는 출력들을 제공하여 각자의 출력들을 생성하는 것에 기초하여 인지 시스템(402)은 콘볼루션 연산들을 수행한다. 일부 예들에서, 인지 시스템(402)이 제1 콘볼루션 계층(422), 제2 콘볼루션 계층(424), 및 콘볼루션 계층(426)에 대한 입력으로서 데이터를 제공하는 것에 기초하여 인지 시스템(402)은 CNN(420)을 구현한다. 그러한 예에서, 인지 시스템(402)이 하나 이상의 상이한 시스템(예를 들면, 차량(102)과 동일하거나 유사한 차량의 하나 이상의 시스템), 원격 AV 시스템(114)과 동일하거나 유사한 원격 AV 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등으로부터 데이터를 수신하는 것에 기초하여, 인지 시스템(402)은 제1 콘볼루션 계층(422), 제2 콘볼루션 계층(424), 및 콘볼루션 계층(426)에 대한 입력으로서 데이터를 제공한다. 콘볼루션 연산들에 대한 상세한 설명은 도 4c와 관련하여 아래에 포함된다.
일부 실시예들에서, 인지 시스템(402)은 입력(초기 입력이라고 지칭됨)과 연관된 데이터를 제1 콘볼루션 계층(422)에 제공하고, 인지 시스템(402)은 제1 콘볼루션 계층(422)을 사용하여 출력과 연관된 데이터를 생성한다. 일부 실시예들에서, 인지 시스템(402)은 상이한 콘볼루션 계층에 대한 입력으로서 콘볼루션 계층에 의해 생성되는 출력을 제공한다. 예를 들어, 인지 시스템(402)은 서브샘플링 계층(428), 제2 콘볼루션 계층(424), 및/또는 콘볼루션 계층(426)에 대한 입력으로서 제1 콘볼루션 계층(422)의 출력을 제공한다. 그러한 예에서, 제1 콘볼루션 계층(422)은 업스트림 계층이라고 지칭되고, 서브샘플링 계층(428), 제2 콘볼루션 계층(424) 및/또는 콘볼루션 계층(426)은 다운스트림 계층들이라고 지칭된다. 유사하게, 일부 실시예들에서, 인지 시스템(402)은 서브샘플링 계층(428)의 출력을 제2 콘볼루션 계층(424) 및/또는 콘볼루션 계층(426)에 제공하고, 이 예에서, 서브샘플링 계층(428)은 업스트림 계층이라고 지칭될 것이며, 제2 콘볼루션 계층(424) 및/또는 콘볼루션 계층(426)은 다운스트림 계층들이라고 지칭될 것이다.
일부 실시예들에서, 인지 시스템(402)이 CNN(420)에 입력을 제공하기 전에 인지 시스템(402)은 CNN(420)에 제공되는 입력과 연관된 데이터를 프로세싱한다. 예를 들어, 인지 시스템(402)이 센서 데이터(예를 들면, 이미지 데이터, LiDAR 데이터, 레이더 데이터 등)를 정규화하는 것에 기초하여, 인지 시스템(402)은 CNN(420)에 제공되는 입력과 연관된 데이터를 프로세싱한다.
일부 실시예들에서, 인지 시스템(402)이 각각의 콘볼루션 계층과 연관된 콘볼루션 연산들을 수행하는 것에 기초하여, CNN(420)은 출력을 생성한다. 일부 예들에서, 인지 시스템(402)이 각각의 콘볼루션 계층과 연관된 콘볼루션 연산들을 수행하는 것 및 초기 데이터에 기초하여, CNN(420)은 출력을 생성한다. 일부 실시예들에서, 인지 시스템(402)은 출력을 생성하고 출력을 완전 연결 계층(430)으로서 제공한다. 일부 예들에서, 인지 시스템(402)은 콘볼루션 계층(426)의 출력을 완전 연결 계층(430)으로서 제공하고, 여기서 완전 연결 계층(430)은 F1, F2... FN이라고 지칭되는 복수의 특징 값들과 연관된 데이터를 포함한다. 이 예에서, 콘볼루션 계층(426)의 출력은 예측을 나타내는 복수의 출력 특징 값들과 연관된 데이터를 포함한다.
일부 실시예들에서, 인지 시스템(402)이 복수의 예측들 중에서 정확한 예측일 가능성이 가장 높은 것과 연관된 특징 값을 식별하는 것에 기초하여, 인지 시스템(402)은 복수의 예측들 중에서 예측을 식별한다. 예를 들어, 완전 연결 계층(430)이 특징 값들 F1, F2, ... FN을 포함하고, F1이 가장 큰 특징 값인 경우에, 인지 시스템(402)은 F1과 연관된 예측을 복수의 예측들 중에서 정확한 예측인 것으로 식별한다. 일부 실시예들에서, 인지 시스템(402)은 예측을 생성하도록 CNN(420)을 트레이닝시킨다. 일부 예들에서, 인지 시스템(402)이 예측과 연관된 트레이닝 데이터를 CNN(420)에 제공하는 것에 기초하여, 인지 시스템(402)은 예측을 생성하도록 CNN(420)을 트레이닝시킨다.
이제 도 4c 및 도 4d를 참조하면, 인지 시스템(402)에 의한 CNN(440)의 예시적인 작동의 다이어그램이 예시되어 있다. 일부 실시예들에서, CNN(440)(예를 들면, CNN(440)의 하나 이상의 컴포넌트)은 CNN(420)(예를 들면, CNN(420)의 하나 이상의 컴포넌트)(도 4b 참조)과 동일하거나 유사하다.
단계(450)에서, 인지 시스템(402)은 CNN(440)에 대한 입력으로서 이미지와 연관된 데이터를 제공한다(단계(450)). 예를 들어, 예시된 바와 같이, 인지 시스템(402)은 이미지와 연관된 데이터를 CNN(440)에 제공하고, 여기서 이미지는 2차원(2D) 어레이에 저장되는 값들로서 표현되는 그레이스케일 이미지이다. 일부 실시예들에서, 이미지와 연관된 데이터는 컬러 이미지와 연관된 데이터를 포함할 수 있고, 컬러 이미지는 3차원(3D) 어레이에 저장되는 값들로서 표현된다. 추가적으로 또는 대안적으로, 이미지와 연관된 데이터는 적외선 이미지, 레이더 이미지 등과 연관된 데이터를 포함할 수 있다.
단계(455)에서, CNN(440)은 제1 콘볼루션 함수를 수행한다. 예를 들어, CNN(440)이 이미지를 나타내는 값들을 제1 콘볼루션 계층(442)에 포함된 하나 이상의 뉴런(명시적으로 예시되지 않음)에 대한 입력으로서 제공하는 것에 기초하여, CNN(440)은 제1 콘볼루션 함수를 수행한다. 이 예에서, 이미지를 나타내는 값들은 이미지의 한 영역(때때로 수용 영역(receptive field)이라고 지칭됨)을 나타내는 값들에 대응할 수 있다. 일부 실시예들에서, 각각의 뉴런은 필터(명시적으로 예시되지 않음)와 연관된다. 필터(때때로 커널이라고 지칭됨)는 크기가 뉴런에 대한 입력으로서 제공되는 값들에 대응하는 값들의 어레이로서 표현될 수 있다. 일 예에서, 필터는 에지들(예를 들면, 수평 라인들, 수직 라인들, 직선 라인들 등)을 식별하도록 구성될 수 있다. 연속적인 콘볼루션 계층들에서, 뉴런들과 연관된 필터들은 연속적으로 보다 복잡한 패턴들(예를 들면, 호, 대상체 등)을 식별하도록 구성될 수 있다.
일부 실시예들에서, CNN(440)이 제1 콘볼루션 계층(442)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하는 것에 기초하여, CNN(440)은 제1 콘볼루션 함수를 수행한다. 예를 들어, CNN(440)은 제1 콘볼루션 계층(442)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하여 단일 값 또는 값들의 어레이를 출력으로서 생성할 수 있다. 일부 실시예들에서, 제1 콘볼루션 계층(442)의 뉴런들의 집합적 출력은 콘볼루션된 출력(convolved output)이라고 지칭된다. 일부 실시예들에서, 각각의 뉴런이 동일한 필터를 갖는 경우에, 콘볼루션된 출력은 특징 맵(feature map)이라고 지칭된다.
일부 실시예들에서, CNN(440)은 제1 콘볼루션 계층(442)의 각각의 뉴런의 출력들을 다운스트림 계층의 뉴런들에 제공한다. 명료함을 위해, 업스트림 계층은 데이터를 상이한 계층(다운스트림 계층이라고 지칭됨)으로 송신하는 계층일 수 있다. 예를 들어, CNN(440)은 제1 콘볼루션 계층(442)의 각각의 뉴런의 출력들을 서브샘플링 계층의 대응하는 뉴런들에 제공할 수 있다. 일 예에서, CNN(440)은 제1 콘볼루션 계층(442)의 각각의 뉴런의 출력들을 제1 서브샘플링 계층(444)의 대응하는 뉴런들에 제공한다. 일부 실시예들에서, CNN(440)은 다운스트림 계층의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 예를 들어, CNN(440)은 제1 서브샘플링 계층(444)의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 그러한 예에서, 각각의 뉴런에 제공되는 모든 값들의 집계들 및 제1 서브샘플링 계층(444)의 각각의 뉴런과 연관된 활성화 함수에 기초하여, CNN(440)은 제1 서브샘플링 계층(444)의 각각의 뉴런에 제공할 최종 값을 결정한다.
단계(460)에서, CNN(440)은 제1 서브샘플링 함수를 수행한다. 예를 들어, CNN(440)이 제1 콘볼루션 계층(442)에 의해 출력되는 값들을 제1 서브샘플링 계층(444)의 대응하는 뉴런들에 제공하는 것에 기초하여, CNN(440)은 제1 서브샘플링 함수를 수행할 수 있다. 일부 실시예들에서, CNN(440)은 집계 함수에 기초하여 제1 서브샘플링 함수를 수행한다. 일 예에서, CNN(440)이 주어진 뉴런에 제공되는 값들 중 최대 입력을 결정하는 것(맥스 풀링 함수(max pooling function)라고 지칭됨)에 기초하여, CNN(440)은 제1 서브샘플링 함수를 수행한다. 다른 예에서, CNN(440)이 주어진 뉴런에 제공되는 값들 중 평균 입력을 결정하는 것(평균 풀링 함수(average pooling function)라고 지칭됨)에 기초하여, CNN(440)은 제1 서브샘플링 함수를 수행한다. 일부 실시예들에서, CNN(440)이 제1 서브샘플링 계층(444)의 각각의 뉴런에 값들을 제공하는 것에 기초하여, CNN(440)은 출력을 생성하며, 이 출력은 때때로 서브샘플링된 콘볼루션된 출력(subsampled convolved output)이라고 지칭된다.
단계(465)에서, CNN(440)은 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, CNN(440)은 위에서 기술된, CNN(440)이 제1 콘볼루션 함수를 수행한 방식과 유사한 방식으로 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, CNN(440)이 제1 서브샘플링 계층(444)에 의해 출력되는 값들을 제2 콘볼루션 계층(446)에 포함된 하나 이상의 뉴런(명시적으로 예시되지 않음)에 대한 입력으로서 제공하는 것에 기초하여, CNN(440)은 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, 위에서 기술된 바와 같이, 제2 콘볼루션 계층(446)의 각각의 뉴런은 필터와 연관된다. 위에서 기술된 바와 같이, 제2 콘볼루션 계층(446)과 연관된 필터(들)는 제1 콘볼루션 계층(442)과 연관된 필터보다 복잡한 패턴들을 식별하도록 구성될 수 있다.
일부 실시예들에서, CNN(440)이 제2 콘볼루션 계층(446)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하는 것에 기초하여, CNN(440)은 제2 콘볼루션 함수를 수행한다. 예를 들어, CNN(440)은 제2 콘볼루션 계층(446)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하여 단일 값 또는 값들의 어레이를 출력으로서 생성할 수 있다.
일부 실시예들에서, CNN(440)은 제2 콘볼루션 계층(446)의 각각의 뉴런의 출력들을 다운스트림 계층의 뉴런들에 제공한다. 예를 들어, CNN(440)은 제1 콘볼루션 계층(442)의 각각의 뉴런의 출력들을 서브샘플링 계층의 대응하는 뉴런들에 제공할 수 있다. 일 예에서, CNN(440)은 제1 콘볼루션 계층(442)의 각각의 뉴런의 출력들을 제2 서브샘플링 계층(448)의 대응하는 뉴런들에 제공한다. 일부 실시예들에서, CNN(440)은 다운스트림 계층의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 예를 들어, CNN(440)은 제2 서브샘플링 계층(448)의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 그러한 예에서, 각각의 뉴런에 제공되는 모든 값들의 집계들 및 제2 서브샘플링 계층(448)의 각각의 뉴런과 연관된 활성화 함수에 기초하여, CNN(440)은 제2 서브샘플링 계층(448)의 각각의 뉴런에 제공할 최종 값을 결정한다.
단계(470)에서, CNN(440)은 제2 서브샘플링 함수를 수행한다. 예를 들어, CNN(440)이 제2 콘볼루션 계층(446)에 의해 출력되는 값들을 제2 서브샘플링 계층(448)의 대응하는 뉴런들에 제공하는 것에 기초하여, CNN(440)은 제2 서브샘플링 함수를 수행할 수 있다. 일부 실시예들에서, CNN(440)이 집계 함수를 사용하는 것에 기초하여, CNN(440)은 제2 서브샘플링 함수를 수행한다. 일 예에서, 위에서 기술된 바와 같이, CNN(440)이 주어진 뉴런에 제공되는 값들 중 최대 입력 또는 평균 입력을 결정하는 것에 기초하여, CNN(440)은 제1 서브샘플링 함수를 수행한다. 일부 실시예들에서, CNN(440)이 제2 서브샘플링 계층(448)의 각각의 뉴런에 값들을 제공하는 것에 기초하여, CNN(440)은 출력을 생성한다.
단계(475)에서, CNN(440)은 제2 서브샘플링 계층(448)의 각각의 뉴런의 출력을 완전 연결 계층들(449)에 제공한다. 예를 들어, CNN(440)은 제2 서브샘플링 계층(448)의 각각의 뉴런의 출력을 완전 연결 계층들(449)에 제공하여 완전 연결 계층들(449)이 출력을 생성하게 한다. 일부 실시예들에서, 완전 연결 계층들(449)은 예측(때때로 분류라고 지칭됨)과 연관된 출력을 생성하도록 구성된다. 예측은 CNN(440)에 대한 입력으로서 제공되는 이미지에 포함된 대상체가 대상체, 대상체 세트 등을 포함한다는 표시를 포함할 수 있다. 일부 실시예들에서, 인지 시스템(402)은, 본원에 기술된 바와 같이, 하나 이상의 동작을 수행하고/하거나 예측과 연관된 데이터를 상이한 시스템에 제공한다.
트레이닝 시스템
도 5a는 인지 시스템(402)을 위한 엔드 투 엔드 트레이닝 시스템(500)의 예를 예시하는 블록 다이어그램이다. 트레이닝 시스템(500)은 융합된 이미지들을 사용하여 시맨틱 특징들을 추출하도록 엔드 투 엔드로 인지 시스템(402)을 트레이닝시키는 데 사용될 수 있다. 융합된 이미지들은, 카메라 이미지 및 LiDAR 이미지와 같은, 상이한 유형들의 이미지들의 조합으로부터 결과될 수 있다. 추출된 시맨틱 특징들은 이미지에서의 대상체의 폭, 높이 및 길이, 대상체 분류 또는 클래스 라벨, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향, 대상체 궤적 예측, 대상체 속성들(예를 들면, 교통 신호등 상태(예를 들면, 적색, 녹색, 황색, 깜박임 등) 또는 좌우 방향 지시등이 깜박이거나 비상등이 깜박이는 차량 등) 등을 포함할 수 있지만 이에 제한되지 않는다.
융합된 이미지들을 사용하여 시맨틱 특징들을 추출하도록 엔드 투 엔드로 인지 시스템을 트레이닝시키는 것에 의해, 트레이닝 시스템(500)은 이미지 내의 대상체들을 정확하게 검출하고, 이미지 내의 대상체들의 위치를 정확하게 검출하며, 각각의 대상체들의 미래 궤적들을 예측하는 것은 물론(예를 들면, 자동차가 우측 방향 지시등을 켜고 있는지 여부를 결정하고, 이는 시스템이 자동차가 우회전할 것이라고 예측할 수 있게 할 것이며, 이는 궤적 예측 작업을 보다 쉽게 만들 수 있음) 보다 유용한 시맨틱 데이터를 융합 이미지 네트워크(fused image network)에 제공하고, 다중 작업 기능들(예를 들면, 이미지 기반 시맨틱 분할(semantic segmentation) 작업, LiDAR 기반 시맨틱 분할 작업, 3d 대상체 검출 작업 및/또는 3d 대상체 예측을 동시발생적으로 또는 동시에 출력함)을 수행할 수 있는 인지 시스템(402)의 능력을 개선시킬 수 있다. 개선된 인지 시스템(402)은, 차례로, 자율 주행 차량 컴퓨터(400) 및 자율 주행 시스템(202)의 안전성, 정확성 및 신뢰성을 개선시킬 수 있다.
도 5a의 예시된 예에서, 트레이닝 시스템(500)은 상이한 유형들의 이미지들(501a, 501b)(개별적으로 또는 집합적으로 이미지들(501)이라고 지칭됨), 인지 시스템(402), 손실 계산기(508), 및 검증된 이미지들(510)을 포함한다. 도 5a에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 트레이닝 시스템(500)의 적어도 하나의 요소는 도 5a의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 예를 들어, 손실 계산기(508)의 기능들은 융합 이미지 네트워크(506)에 의해 수행될 수 있고/있거나 손실 계산기(508)는 인지 시스템(402)의 일부를 형성할 수 있다. 추가적으로 또는 대안적으로, 트레이닝 시스템(500)의 적어도 하나의 요소 세트는 트레이닝 시스템(500)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이미지들(501) 및 검증된 이미지들(510)은 이들을 생성하는 데 사용되는 센서 또는 디바이스에 대응하는 상이한 유형들의 이미지들을 포함할 수 있다. 예를 들어, 이미지들(501a)은, 카메라들(202a)과 같은, 하나 이상의 카메라로부터 생성되는 카메라 이미지들일 수 있다. 이미지들(501b)은, 예를 들어, LiDAR 센서들(202b)과 같은, 하나 이상의 LiDAR 센서로부터 생성되는 LiDAR 이미지들일 수 있다. 하나 이상의 레이더 센서로부터 생성되는(예를 들면, 레이더 센서들(202c)로부터 생성되는) 레이더 이미지들과 같은, 다른 이미지 유형들이 사용될 수 있다.
이미지들(501) 및 검증된 이미지들(510)은 하나 이상의 데이터 세트로서 하나 이상의 데이터 저장소에 저장될 수 있다. 예를 들어, 이미지들(501a)은 하나 이상의 데이터 세트로서 하나의 데이터 저장소에 저장될 수 있고 이미지들(501b)은 하나 이상의 데이터 세트로서 상이한 데이터 저장소에 저장될 수 있다. 다른 예로서, 이미지들(501)은 상이한 데이터 세트들로서 동일한 데이터 저장소에 저장될 수 있다. 그에 따라, 동일한 유형의 이미지들(501)은 하나 이상의 데이터 세트로서 함께 저장될 수 있고, 상이한 유형들의 이미지들은 상이한 데이터 저장소들에 그리고/또는 동일한 데이터 저장소의 상이한 데이터 세트들로서 등으로 저장될 수 있다. 이미지들(501) 및 검증된 이미지들(510)의 데이터 세트들은 오픈 소스(open-source) 데이터 세트들 및/또는 독점 데이터 세트들일 수 있다.
일부 경우에, 이미지들(501) 및 검증된 이미지들(510)의 데이터 세트들은 크기가 상이한 크기들일 수 있거나 또는 상이한 수의 이미지들을 가질 수 있다. 예를 들어, 카메라 이미지들 데이터 세트는 LiDAR 이미지들 데이터 세트 및/또는 레이더 이미지들 데이터 세트보다 더 크고/크거나 더 많은 이미지들을 가질 수 있으며, 그 반대의 경우도 마찬가지이다.
데이터 세트의 일부 또는 모든 이미지들의 경우, 데이터 세트는 이미지의 주석이 달리지 않은 또는 깨끗한 버전(예를 들면, 이미지들(501)) 및 동일한 이미지의 대응하는 주석이 달린 버전(예를 들면, 이미지(510))을 포함할 수 있다. 주석이 달린 이미지(510)는 본 명세서에서 신뢰할 수 있는 이미지(trusted image) 및/또는 검증된 이미지(510)라고도 지칭될 수 있다. 특정 경우에, 데이터 세트의 각각의 이미지에 대해, 데이터 세트는 이미지(예를 들면, 이미지(501)) 및 해당 이미지에 대한 주석들을 포함할 수 있다. 일부 그러한 경우에, 주석들은 단독으로 또는 이미지와 조합하여 검증된 이미지(510)라고 지칭될 수 있다.
검증된 이미지들(510)은, 이미지에서의 대상체의 폭, 높이 및 길이, 대상체 분류 또는 클래스 라벨(예를 들면, 차량, 보행자, 자전거, 장벽, 교통 콘(traffic cone), 운전 가능한 표면 또는 배경 등), 대상체에 대한 경계 상자들, 대상체 움직임(예를 들면, 속도 등), 대상체 배향, 대상체 속성들(예를 들면, 교통 신호등 상태(예를 들면, 적색, 녹색, 황색, 깜박임 등) 또는 좌우 방향 지시등이 깜빡이거나 비상등이 깜박이는 자동차 등), 대상체 궤적 예측 등과 같은, 그러나 이에 제한되지 않는, 사용자에 의해 주석이 달린 특징들을 포함할 수 있다. 검증된 이미지들(510)은 사람에 의해 주석이 달릴 수 있고 인지 시스템(402)을 트레이닝시키기 위해 손실 계산들에 사용될 수 있다. 특정 경우에, 검증된 이미지들(510)은 실측 자료 이미지들이라고도 지칭될 수 있고, 검증된 이미지의 이미지 데이터는 실측 자료 이미지 데이터라고도 지칭될 수 있다.
도 5a의 예시된 예에서, 인지 시스템(402)은 이미지 특징 추출 네트워크(502), 융합 시스템(504), 및 융합 이미지 네트워크(506)를 포함한다. 도 5a에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 인지 시스템(402)의 적어도 하나의 요소는 도 5a의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 인지 시스템(402)의 적어도 하나의 요소 세트는 인지 시스템(402)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이미지 특징 추출 네트워크
이미지 특징 추출 네트워크(502)는 CNN들(420)과 동일하거나 유사한 하나 이상의 CNN을 사용하여 구현될 수 있으며, 이미지들(501)과 연관된 이미지 데이터를 입력으로서 수신하고 시맨틱 이미지 및/또는 시맨틱 이미지와 연관된 시맨틱 데이터를 출력하도록 구성될 수 있다.
특정 경우에, 이미지 특징 추출 네트워크(502)는 DeepLabv3+ 또는 PSP+ 신경 네트워크 모델들을 사용하여 구현될 수 있다. 그렇지만, 다양한 신경 네트워크들이 이미지로부터 특징들을 추출하는 데 사용될 수 있음이 이해될 것이다. 일부 경우에, 이미지들(501)은 카메라 이미지들일 수 있지만, 다양한 유형들의 이미지들이 이미지 특징 추출 네트워크(502)에 대한 입력으로서 사용될 수 있음이 이해될 것이다.
본원에 기술된 바와 같이, 적어도 CNN(420)을 참조하여, 이미지 특징 추출 네트워크(502)는 하나 이상의 필터, 컨볼루션 계층, 서브샘플링 계층, 및/또는 이미지(501)에서의 상이한 대상체(예를 들면, 차량, 보행자, 자전거, 장벽, 교통 콘, 운전 가능한 표면 또는 배경 등)를 식별하고 분류하는 데 사용될 수 있는 완전 연결 계층들을 포함할 수 있다. 그에 따라, 특정 경우에, 이미지 특징 추출 네트워크(502)에 의해 출력되는 시맨틱 데이터는 이미지(501)에서의 하나 이상의 대상체 및 각자의 대상체들에 대한 대상체 분류를 식별해 줄 수 있다.
시맨틱 이미지는 픽셀들의 행들을 포함할 수 있다. 시맨틱 이미지에서의 일부 또는 모든 픽셀들은, 하나 이상의 특징 임베딩과 같은, 시맨틱 데이터를 포함할 수 있다. 특정 경우에, 특징 임베딩들은 대상체의 분류(때때로 대상체의 클래스라고 지칭됨)(비제한적 예들: 차량, 보행자, 자전거, 장벽, 교통 콘, 운전 가능한 표면 또는 배경 등)를 식별해 주는 대상체 분류 또는 클래스 라벨과 같은, 그러나 이에 제한되지 않는, 하나 이상의 대상체 속성에 관련될 수 있다. 대상체 분류는 픽셀 클래스 확률 또는 시맨틱 분할 점수라고도 지칭될 수 있다. 일부 경우에, 이미지(501)의 픽셀들에 대한 대상체 분류는 이미지(501)의 콤팩트한 요약된 특징들로서 역할할 수 있다. 예를 들어, 대상체 분류들은 픽셀에 대한 식별된 대상체 분류가 정확하게 예측될 확률을 나타내는 확률 값을 포함할 수 있다.
일부 경우에, 특징 임베딩들은 하나 이상의 n차원 특징 벡터를 포함할 수 있다. 일부 그러한 경우에, 개별 특징 벡터는 대상체 속성에 대응하지 않을 수 있고, 다수의 n차원 특징 벡터들의 조합은, 대상체의 분류, 폭, 길이, 높이 등과 같은, 그러나 이에 제한되지 않는, 대상체의 속성들에 관한 정보를 포함할 수 있다. 특정 경우에, 특징 임베딩들은 하나 이상의 부동 소수점 수를 포함할 수 있으며, 이는 검출/분할/예측 작업에서 다운스트림 모델을 지원할 수 있다.
융합 시스템
융합 시스템(504)은 하나 이상의 프로세서를 사용하여 구현될 수 있고 상이한 유형들의 이미지들을 함께 융합시켜 융합된 이미지를 형성하도록 구성될 수 있다. 예를 들어, 융합 시스템(504)은 LiDAR 이미지와 카메라 이미지, 레이더 이미지와 카메라 이미지, LiDAR 이미지와 레이더 이미지, 및/또는 LiDAR 이미지, 레이더 이미지 및 카메라 이미지를 융합시켜 융합된 이미지를 형성할 수 있다. 융합 시스템(504)이 LiDAR 이미지, 레이더 이미지 및 카메라 이미지를 융합시키는 경우와 같은, 특정 경우에, 융합된 이미지는 3D 장면에서의 각각의 포인트가 LiDAR 데이터, 레이더 데이터 및 투영된 픽셀 값을 포함하는 3D 장면을 포함할 수 있다.
일부 경우에, 이미지들을 융합시킬 때, 융합 시스템(504)은 하나의 좌표계 유형(예를 들면, LiDAR 좌표계)으로부터 다른 좌표계 유형(예를 들면, 카메라 좌표계 또는 조감도)으로 이미지들을 변환할 수 있다. 예를 들어, 융합 시스템은 LiDAR 이미지(예를 들면, 3D 포인트 클라우드)를 조감도 이미지로 변환할 수 있고 조감도 이미지의 픽셀들을 시맨틱 이미지로부터의 픽셀들과 융합시킬 수 있다.
특정 경우에, 한 유형의 이미지로부터의 각각의 픽셀이 상이한 유형의 다른 이미지로부터의 픽셀에 매핑되거나 그와 융합될 수 있다. 결과적인 픽셀은 본원에서 융합된 픽셀이라고도 지칭될 수 있다. 특정 경우에, 융합 시스템(504)은 이미지들로부터의 대응하는 픽셀들(예를 들면, 각자의 이미지들의 동일한 x, y 위치에 있는 픽셀들)을 융합시킨다.
일부 경우에, 제1 이미지로부터의 픽셀들 중 일부만이 제2 이미지로부터의 픽셀에 매핑되거나 그와 융합된다. 예를 들어, 제1 이미지로부터의 픽셀이 제2 이미지에 매핑될 수 없거나(예를 들면, 제1 이미지가 제2 이미지보다 큼) 또는 제2 이미지에서의 픽셀들이 제1 이미지에 매핑되지 않도록(예를 들면, 제2 이미지가 제1 이미지보다 큼), 이미지들의 이미지 크기가 상이할 수 있다.
다른 비제한적인 예로서, 저해상도 이미지로부터의 각각의 픽셀은 고해상도 이미지에서의 픽셀에 매핑될 수 있는 반면, 고해상도 이미지로부터의 모든 픽셀들이 저해상도 이미지에서의 픽셀에 매핑되지는 않을 수 있다. 일부 그러한 경우에, 고해상도 이미지로부터의 픽셀이, 저해상도 이미지 상의 대응하는 픽셀이 존재하는 경우, 저해상도 이미지에서의 픽셀에 매핑될 수 있다. 예를 들어, LiDAR 이미지들은 카메라 이미지들보다 높거나 낮은 해상도를 가질 수 있다. 일부 그러한 경우에, 카메라 이미지에서의 픽셀들 중 일부만이 LiDAR 이미지에서의 픽셀에 매핑되거나 그와 융합될 수 있다.
융합될 이미지들 중 하나가 시맨틱 이미지인 경우에, 시맨틱 이미지로부터의 시맨틱 데이터는 제2 이미지에 매핑되거나 그와 융합될 수 있다. 예를 들어, 융합된 픽셀은 이미지 데이터 및/또는 시맨틱 이미지와 연관된 시맨틱 데이터 및 제2 이미지와 연관된 이미지 데이터를 포함할 수 있다. 그에 따라, 하나의 픽셀은 카메라 이미지 데이터(예를 들면, 위치 (x, y), 적색, 녹색, 청색 등), LiDAR 이미지 데이터(예를 들면, 위치 (x, y, z), 반사율, 강도, 타임스탬프 등), 및/또는 시맨틱 데이터(예를 들면, 클래스 라벨, 시맨틱 분할 점수 또는 계산된 특징 벡터 등, 또는 다른 특징 임베딩 등)와 연관될 수 있다(예를 들면, 그를 포함할 수 있다). 일부 경우에, 융합된 픽셀은 시맨틱 데이터와 함께 한 유형의 이미지 데이터를 포함할 수 있다. 예를 들어, 융합된 이미지는 LiDAR 이미지 데이터와 시맨틱 데이터를 포함하지만 카메라 이미지 데이터를 포함하지 않을 수 있거나 그 반대의 경우도 마찬가지이다. 특정 경우에, 융합된 픽셀은 시맨틱 데이터와 함께 다수의 유형들의 이미지 데이터, 예컨대, 시맨틱 데이터와 함께 LiDAR 이미지 데이터, 레이더 이미지 데이터 및/또는 카메라 이미지 데이터를 포함할 수 있다.
그에 따라, 융합 시스템(504)은 융합된 이미지와 연관된 시맨틱 데이터 및 여러 유형들의 이미지들 중 적어도 하나와 연관된 이미지 데이터를 포함하는 융합된 이미지를 출력할 수 있다. 일부 실시예들에서, 융합된 이미지가 적어도 하나 이상의 추가적인 차원(예를 들면, 시맨틱 데이터)을 포함할 수 있다는 점을 제외하고는, 융합된 이미지는 3D 대상체 검출기에 의해 소비되는 다른 이미지들과 유사할 수 있다.
일부 경우에, 융합 시스템(504)은 3 개 이상의 이미지를 융합시켜 융합된 이미지를 생성할 수 있다. 예를 들어, 융합 시스템(504)은 LiDAR 이미지와 연관된 이미지 데이터, 카메라 이미지로부터 생성되는 시맨틱 이미지와 연관된 시맨틱 데이터, 및 맵 이미지(또는 맵)와 연관된 맵 데이터를 수신할 수 있다. 레이더와 같은, 다른 이미지 유형들이 사용될 수 있다. 일부 그러한 경우에, 맵 데이터는 횡단보도들, 자동차 또는 자전거 차선들, 보행자 보도들 등을 포함하는 지리적 영역 내의 위치들을 나타낼 수 있다. 융합 시스템(504)은 융합 이미지 네트워크(506)가 추가적인 특징들을 생성할 수 있게 하기 위해 맵 데이터를 이미지 데이터 및 시맨틱 데이터와 융합시킬 수 있다. 일부 경우에, 융합 시스템(504)은 이미지 데이터를 조감도 이미지에 투영하는 것 및 이어서 조감도 이미지의 픽셀들의 일부 또는 전부를 맵 데이터 및 시맨틱 데이터로 임베딩하는 것에 의해 맵 데이터를 이미지 데이터 및 시맨틱 데이터와 융합시킬 수 있다. 일부 그러한 경우에, 융합된 이미지에서의 픽셀들은 LiDAR/조감도 이미지와 연관된 이미지 데이터, 시맨틱 이미지와 연관된 시맨틱 데이터, 및 맵 이미지와 연관된 맵 데이터(예를 들면, 횡단보도 위치들, 차선들 등)를 포함할 수 있다.
일부 경우에, 융합 시스템(504)은 위치 정보를 사용하여 맵 데이터를 이미지 데이터와 융합시킨다. 예를 들어, 위치 정보에 기초하여, 융합 시스템(504)은 맵 데이터에 대한 이미지 데이터의 위치 및/또는 배향을 결정할 수 있다. 결정된 위치에 기초하여, 융합 시스템(504)은 이미지의 어느 픽셀들이 대응하는 맵 데이터로 주석이 달리거나 임베딩되어야 하는지를 결정할 수 있다.
2 개의 카메라의 시야가 중첩되고 2 개의 카메라 이미지 각각으로부터 시맨틱 이미지가 생성되는 경우와 같은, 특정 경우에, 융합된 이미지에 상이한 시맨틱 데이터가 사용될 수 있는 일부 픽셀들이 있을 수 있다(예를 들면, 제1 카메라 이미지로부터의 픽셀과 제2 카메라 이미지로부터의 픽셀이 동일한 LiDAR 픽셀에 매핑된다). 일부 그러한 경우에, 2 개의 카메라 이미지 픽셀로부터 생성되는 시맨틱 데이터가 상이한 유형의 이미지와의 융합을 위해 랜덤하게 선택될 수 있다. 특정 경우에, 융합 시스템(504)은 2 개의 카메라 이미지 중 하나에 보다 높은 신뢰도 값을 할당할 수 있고 상이한 유형의 이미지와의 융합을 위해 해당 카메라 이미지로부터 생성되는 시맨틱 데이터를 사용할 수 있다.
일부 경우에, 이미지(501A)로부터 시맨틱 이미지를 생성하고 시맨틱 이미지를 융합 시스템(504)에 제공하는 데 걸리는 시간과 이미지(501b)를 융합 시스템(504)에 제공하는 데 걸리는 시간 사이에 보다 큰 지연이 있을 수 있다. 그에 따라, 일부 경우에, 융합 시스템(504)은 시간 도메인에서 서로 오프셋된 이미지들(501a, 501b)을 융합시킬 수 있다. 예를 들어, 융합 시스템(504)은 시간 2에 대응하는 이미지(501b)를 시간 1에 대응하는 이미지(501a)로부터 생성되는 시맨틱 이미지와 융합시킬 수 있다. 특정 경우에, 이미지들(501a, 501b)은 1 마이크로초 또는 밀리초 이상 등만큼 서로 오프셋될 수 있다.
융합 이미지 네트워크
융합 이미지 네트워크(506)는 CNN(420) 및/또는 CNN(440)과 동일하거나 유사한 하나 이상의 CNN을 사용하여 구현될 수 있고 융합된 이미지와 연관된 융합된 이미지 데이터를 입력으로서 수신하고 융합된 이미지로부터 추출되는 하나 이상의 특징과 연관된 특징 데이터를 출력하고/하거나 적어도 하나의 유형의 이미지와 연관된 이미지 데이터(예를 들면, 융합된 이미지를 생성하는 데 사용되는 이미지들 중 적어도 하나의 이미지의 이미지 데이터), 융합된 이미지와 연관된 시맨틱 데이터(예를 들면, 이미지 특징 추출 네트워크(502)에 의해 생성되는 시맨틱 데이터), 및 융합된 이미지로부터 추출되는 하나 이상의 특징과 연관된 특징 데이터를 포함하는 주석이 달린 융합된 이미지를 출력하도록 구성될 수 있다.
일부 경우에, 융합 이미지 네트워크(506)는 LiDAR 신경 네트워크 및/또는 예측 네트워크를 사용하여 구현될 수 있다. 일부 경우에, LiDAR 신경 네트워크는 이미지에서의 대상체의 폭, 높이 및 길이, 대상체에 대한 경계 상자들, 대상체 움직임 및/또는 대상체 배향을 결정하도록 구성된다. 특정 경우에, 예측 네트워크는 대상체 궤적 예측 뿐만 아니라 LiDAR 신경 네트워크와 유사한 특징들을 결정하도록 구성된다. 특정 경우에, 융합 이미지 네트워크(506)는 PointPillars 네트워크, VoxelNet 네트워크 또는 PointR-CNN 네트워크를 사용하여 구현될 수 있다.
본원에 기술된 바와 같이, 적어도 CNN(420)을 참조하여, 융합 이미지 네트워크(506)는 하나 이상의 필터, 컨볼루션 계층, 서브샘플링 계층, 및/또는 융합된 이미지에서의 대상체의 폭, 높이 및 길이를 검출하고, 대상체에 대한 경계 상자들을 생성하며, 대상체 움직임 및 대상체 배향을 결정하고/하거나 융합된 이미지를 사용하여 대상체 궤적을 예측하는 데 사용될 수 있는 완전 연결 계층을 포함할 수 있다.
모든 목적들을 위해 본원에 참고로 각각 포함되는, 미국 출원 제17/096,916호 및 “PointPainting: Sequential Fusion for 3D Object Detection,” arXiv:1911.10150v2 [cs.CV] 6 May 2020에 기술된 바와 같이, 일부 경우에, 융합 이미지 네트워크(506)는 의사 이미지를 딥 러닝 백본 네트워크에 출력하는 필라 인코더(pillar encoder)를 포함할 수 있다. 딥 러닝 백본은 특징들을 계산하고 검출 헤드에 출력할 수 있다. 그 내용이 모든 목적들을 위해 전체가 본원에 참고로 포함되는, “PointPillars: Fast Encoders for Object Detection from Point Clouds, arXiv:1812.05784v2 [cs.LG] 5 May 2019에 기술된 바와 같이, 검출 헤드는 유향 3D 경계 상자들을 출력할 수 있다.
융합 이미지 네트워크(506)에 의해 생성되는 특징 데이터는 융합된 이미지에서의 대상체의 폭, 높이 및 길이, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향 및/또는 대상체 궤적 예측 중 임의의 것 또는 임의의 조합을 포함할 수 있지만 이에 제한되지 않는다. 생성된 특징들이 융합된 이미지에 인코딩되어 주석이 달린 융합된 이미지를 형성할 수 있다.
일부 경우에, 주석이 달린 융합된 이미지에서의 일부 또는 모든 픽셀들은 해당 픽셀, 픽셀 그룹 또는 이미지로부터 추출되는 하나 이상의 특징과 연관된 특징 데이터를 포함할 수 있다. 예를 들어, 주석이 달린 융합된 이미지에서의 픽셀은 대상체의 높이, 폭 또는 길이를 나타내는 하나 이상의 위치 값, 경계 상자의 에지 또는 일 부분을 나타내는 경계 상자 값, 대상체의 움직임을 나타내는 대상체 움직임 값, 대상체의 배향을 나타내는 대상체 배향 값, 및/또는 대상체의 궤적을 나타내는 대상체 궤적 값을 포함할 수 있다.
주석이 달린 융합된 이미지에서의 픽셀들의 일부 또는 전부는 추가 데이터를 포함할 수 있다. 예를 들어, 주석이 달린 융합된 이미지에서의 픽셀은 적어도 하나의 유형의 이미지와 연관된 이미지 데이터(예를 들면, 융합된 이미지를 생성하는 데 사용되는 이미지들 중 적어도 하나의 이미지의 이미지 데이터), 융합된 이미지와 연관된 시맨틱 데이터(예를 들면, 이미지 특징 추출 네트워크(502)에 의해 생성되는 시맨틱 데이터), 및 융합된 픽셀과 연관된 하나 이상의 특징과 연관된 특징 데이터를 포함할 수 있다. 예를 들어, 주석이 달린 융합된 이미지에서의 픽셀은 위치 (x, y, z), 반사율, 강도, 타임스탬프, 상이한 대상체 클래스 확률들, 경계 상자들, 궤적 예측, 움직임 등에 대한 하나 이상의 주석을 포함할 수 있다.
손실 계산기
손실 계산기(508)는 하나 이상의 프로세서를 사용하여 구현될 수 있고 주석이 달린 융합된 이미지를 검증된 이미지(510)와 비교하도록 구성될 수 있다. 본원에 기술된 바와 같이, 일부 경우에, 검증된 이미지(510)는 이미지 특징 추출 네트워크(502)에 제공되는 이미지(501)에 대응하는 사용자에 의해 주석이 달린 이미지를 포함할 수 있다. 특정 경우에, 검증된 이미지(510) 및 이미지(501)는 사용자에 의해 만들어진 하나 이상의 주석을 포함하는 검증된 이미지(510)와 동일한 이미지에 대응할 수 있다.
검증된 이미지(510)에서의 주석들의 유형들은 주석이 달린 융합된 이미지에서의 주석들의 유형들에 대응할 수 있다. 예를 들어, 주석이 달린 융합된 이미지가 대상체 클래스들, 경계 상자들, 속도, 궤적 등에 대한 주석들 또는 강화물들(enrichments)을 포함하는 경우, 검증된 이미지(510)는 대상체 클래스들, 경계 상자들, 속도, 궤적 등에 대한 주석들을 포함할 수 있다.
손실을 계산하기 위해, 손실 계산기는 주석이 달린 융합된 이미지에서의 주석들을 검증된 이미지(510)에서의 주석들과 비교할 수 있다. 일부 경우에, 손실 계산기(508)는 주석이 달린 융합된 이미지에서의 일부 또는 모든 픽셀들에 대한 손실을 계산한다. 예를 들어, 손실 계산기(508)는 주석이 달린 융합된 이미지에서의 일부 또는 모든 픽셀들의 주석들을 검증된 이미지(510)에서의 대응하는 픽셀과 비교할 수 있다.
손실 계산기(508)는 대상체의 분류의 정확도에 대응하는 분류 손실, 대상체의 크기, 위치 및/또는 배향의 정확도에 대응하는 로컬화 손실, 대상체의 하나 이상의 속성 또는 특징(예를 들면, 대상체 궤적, 대상체 움직임)에 대응하는 속성 손실 등을 포함하지만 이에 제한되지 않는, 다양한 유형들의 손실들을 계산할 수 있다. 더욱이, 손실 계산기(508)는 손실을 계산하기 위해 다양한 기술들을 사용할 수 있다. 예를 들어, 손실 계산기는 평균 제곱 오차(MSE), 평균 절대 오차, 교차 엔트로피 또는 로그 손실, 힌지 손실(hinge loss), 발산 손실(divergence loss) 등을 사용하여 주석이 달린 융합된 이미지와 검증된 이미지(510) 사이의 손실을 계산할 수 있다.
손실 계산기는 융합 이미지 네트워크(506)에 의해 출력되는 이미지의 유형에 따라 손실을 계산하기 위해 상이한 이미지 유형들을 사용할 수 있다. 예를 들어, 주석이 달린 융합된 이미지가, 3D 포인트 클라우드와 같은, LiDAR 이미지인 경우, 검증된 이미지(510)는 주석이 달린 LiDAR 이미지일 수 있다. 다른 비제한적 예로서, 주석이 달린 융합된 이미지가 카메라 이미지인 경우, 검증된 이미지(510)는 주석이 달린 카메라 이미지 등일 수 있다. 특정 경우에, 융합 이미지 네트워크(506)의 출력은 비교를 위해 하나의 이미지 유형으로부터 다른 이미지 유형으로 변환될 수 있다. 예를 들어, 융합 이미지 네트워크(506)가 (3D) LiDAR 이미지를 출력하는 경우, 이미지는 (2D) 카메라 이미지인 검증된 이미지와 비교하기 위해 (2D) 카메라 이미지로 변환될 수 있다.
특정 경우에, 손실 계산기(508)는 이미지 유형에 무관할 수 있다(예를 들면, 이미지의 유형이 비교에 중요하지 않을 수 있다). 일부 그러한 실시예들에서, 손실 계산기(508)는 주석이 달린 융합된 이미지에서의 주석들을 검증된 이미지(510)의 주석들과 비교할 수 있다. 주석이 달린 융합된 이미지가 LiDAR 이미지, 카메라 이미지, 또는 레이더 이미지 등인지에 상관없이 주석들이 동일할 수 있으므로, 손실 계산기(508)는 주석이 달린 융합된 이미지와 검증된 이미지(510) 사이의 이미지 유형들이 별개이더라도 손실을 계산할 수 있다. 그에 따라, 일부 실시예들에서, 검증된 이미지들(510)은 기본 이미지를 포함하지 않을 수 있다. 예를 들어, 검증된 이미지들(510)은 주석들을 포함할 수 있지만, 다른 이미지 데이터(예를 들면, 적색, 녹색, 청색 등)를 포함하지 않을 수 있다.
손실 계산기(508)에 의해 계산되는 손실은, 이미지 특징 추출 네트워크(502) 내의 상이한 노드들의 상이한 출력들에 할당되는 가중치들과 같은, 이미지 특징 추출 네트워크(502)의 네트워크 파라미터들을 조정하기 위해 이미지 특징 추출 네트워크(502)에 전달될 수 있다. 예시되어 있지 않지만, 손실들이 유사하게 융합 이미지 네트워크(506)에 전달되어 그의 네트워크 파라미터들 또는 가중치들을 조정할 수 있음이 이해될 것이다.
일부 경우에, 손실 계산기(508)는 일부 또는 모든 손실들을 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 전달한다. 특정 경우에, 손실들이 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)를 통해 계층별로 전파되고 개별 계층들의 각자의 가중치들이 업데이트된다. 특정 경우에, 가중치들이 역순으로 업데이트될 수 있으며, 융합 이미지 네트워크의 마지막 계층이 첫 번째로 업데이트되고 이미지 특징 추출 네트워크(502)의 첫 번째 계층이 마지막으로 업데이트된다. 그렇지만, 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)의 가중치들이 임의의 순서로 업데이트될 수 있다는 것이 이해될 것이다.
특정 경우에, 손실로부터 계산되는 경사들은 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)로 다시 전송된다. 해당 경사들에 기초하여, 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)의 파라미터들이 업데이트되고 각자의 네트워크는 다음 반복에서 보다 나은 임베딩을 생성한다.
일부 경우에, 융합 이미지 네트워크(506)의 끝에서 손실들이 적용되는 경우, 이미지 특징 추출 네트워크(502) 및 융합 이미지 네트워크(506)에서의 가중치들이 업데이트된다. 특정 경우에, 손실들이 이미지 특징 추출 네트워크(502)의 상단에(또는 그에만) 적용되는 경우, 이미지 특징 추출 네트워크(502)의 가중치들만이 업데이트된다. 그렇지만, 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506) 중 하나 또는 둘 모두에서 손실들이 전파되고 가중치들이 업데이트될 수 있다는 것이 이해될 것이다.
일부 경우에, 이미지 특징 추출 네트워크(502)에 전달되는 손실들은 이미지 특징 추출 네트워크(502)가 학습하도록 구성된 특징들에 대응할 수 있고, 융합 이미지 네트워크(506)에 전달되는 손실들은 융합 이미지 네트워크(506)가 학습하도록 구성된 특징들에 대응할 수 있다. 예를 들어, 이미지 특징 추출 네트워크(502)가 대상체 분류, 대상체 위치, 대상체 배향, 대상체 움직임을 학습하도록 구성되는 경우, 해당 특징들과 연관된 손실들이 이미지 특징 추출 네트워크(502)에 전달될 수 있다. 유사하게, 융합 이미지 네트워크(506)가 대상체 궤적 예측을 학습하도록 구성되는 경우, 대상체 궤적 예측이 융합 이미지 네트워크(506)에 전달될 수 있다. 그에 따라, 손실 계산기(508)에 의해 계산되는 손실들 중 일 부분이 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 전달될 수 있다. 일부 경우에, 동일한 특징에 대한 손실들이 이미지 특징 추출 네트워크(502) 및 융합 이미지 네트워크(506)에 전달될 수 있다. 특정 경우에, 손실 계산기(508)에 의해 계산되는 모든 손실들이 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 전달될 수 있다.
융합 이미지 네트워크(506)의 출력을 사용하여 손실을 계산하는 것 및 해당 손실을 사용하여 이미지 특징 추출 네트워크(502)를 트레이닝시키는 것에 의해, 이미지 특징 추출 네트워크(502)는 이미지들(501)로부터 추가적인 주석들 또는 강화물들을 추출하도록 트레이닝될 수 있다. 예를 들어, 이미지 특징 추출 네트워크(502)는 이미지(501)로부터 대상체의 폭, 높이 및 길이를 검출하고 대상체에 대한 경계 상자들을 생성하도록 학습할 수 있다. 이에 따라, 이미지 특징 추출 네트워크(502)는 시맨틱 이미지들 또는 보다 많은 주석들을 갖는 시맨틱 이미지와 연관된 시맨틱 데이터를 출력할 수 있다. 이러한 추가적인 주석들은 융합 이미지 네트워크(506)에 의해 만들어진 주석들의 정확도를 개선시키고/시키거나 융합 이미지 네트워크(506)가 추가적인 주석들을 결정하는 것을 보다 쉽게 만들 수 있다.
일부 경우에, 이미지와 연관된 보다 풍부한 시맨틱 데이터(예를 들면, 보다 많은 주석들을 갖는 시맨틱 데이터)가 융합된 이미지로부터 추가적인 특징들을 결정하는 데 사용될 수 있다. 예를 들어, 이미지 특징 추출 네트워크(502)는 차량의 브레이크등이 차량이 속력을 줄이려고 한다는 것을 의미한다고 예측하도록 학습할 수 있다. 융합 이미지 네트워크(502)에 제공되는 이러한 데이터는 차량의 미래 궤적을 결정할 수 있는 융합 이미지 네트워크(506)의 능력을 개선시킬 수 있다. 다른 비제한적인 예로서, 이미지 특징 추출 네트워크(502)가 이미지에서 적색 교통 신호등을 검출하는 경우, 이미지 특징 추출 네트워크(502)는 동일한 차선에 있는 차량들이 움직이지 않을 것이라는 것을 알 수 있다. 이미지 특징 추출 네트워크(502)가 신호등이 녹색으로 바뀌었음을 검출할 때, 이미지 특징 추출 네트워크(502)는 차량들이 천천히 움직이기 시작할 것이라고 예측할 수 있다. 다시 말하지만, 이러한 풍부한 데이터를 융합 이미지 네트워크(506)에 제공하는 것은 융합 이미지 네트워크(506)가 차량들의 궤적 등을 결정하는 것을 보다 쉽게 만들 수 있다.
일부 경우에, 인지 시스템(402)의 트레이닝은 동일하거나 상이한 데이터 세트들로부터의 이미지들(501)을 반복적으로 프로세싱하는 것 및 각각의 이미지(501) 및/또는 각각의 이미지의 각각의 픽셀에 대해 계산된 손실들을 이미지 특징 추출 네트워크(502)에 제공하는 것을 포함할 수 있다. 특정 경우에, 인지 시스템(402)은 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)를 튜닝시키기 위해 이미지들(501)을 수천, 수십만, 수백만 회 이상 프로세싱할 수 있다.
테스트 시스템의 예시적인 동작 다이어그램들
도 5b 및 도 5c는 카메라 이미지(501a) 및 LiDAR 이미지(501b)에 기초하여 생성되는 융합된 이미지를 사용하는 인지 시스템(402)의 예시적인 엔드 투 엔드 트레이닝 동작을 예시하는 동작 다이어그램들이다.
단계(550)에서, 카메라 이미지(501a)와 연관된 이미지 데이터가 이미지 특징 추출 네트워크(502)에 제공된다. 예시된 예에서, 카메라 이미지(501a)가 사용되지만, 상이한 유형들의 이미지들이 사용될 수 있음이 이해될 것이다. 본원에 기술된 바와 같이, 카메라 이미지(501a)는, 카메라(202a)와 같은, 카메라로부터 획득되는 이미지 데이터로부터 생성된 데이터베이스 내의 이미지에 대응할 수 있다. 일부 경우에, 카메라 이미지(501a)는 매트릭스 형태로 다수의 픽셀들의 행들을 포함할 수 있고, 각각의 픽셀은 적색, 녹색 및 청색에 대한 값 또는 그레이스케일 값을 포함할 수 있다. 특정 경우에, 카메라 이미지(501a)는 주석들을 포함하지 않고/않거나 주석이 달리지 않은 카메라 이미지(501a)라고 지칭될 수 있다.
단계(552a)에서, 이미지 특징 추출 네트워크(502)는 카메라 이미지(501a)와 연관된 이미지 데이터로부터 시맨틱 이미지(520)와 연관된 시맨틱 데이터를 생성한다. 본원에 기술된 바와 같이, 이미지 특징 추출 네트워크(502)는 카메라 이미지(501a)에서의 대응하는 픽셀들로부터 시맨틱 이미지(520)에서의 일부 또는 모든 픽셀들에 대한 시맨틱 데이터를 생성하기 위해 하나 이상의 CNN(420)을 사용할 수 있다. 일부 경우에, 특정 픽셀과 연관된 시맨틱 데이터는 픽셀에 대한 식별된 대상체 분류가 정확하게 예측될 확률을 나타내는 확률 값을 포함하는 클래스 라벨 또는 대상체 분류 점수를 포함할 수 있다.
단계(552b)에서, LiDAR 이미지(501b)와 연관된 이미지 데이터가 융합 시스템(504)에 제공된다. 예시된 예에서, LiDAR 이미지(501b)가 사용되지만, 상이한 유형들의 이미지들이 사용될 수 있음이 이해될 것이다. 본원에 기술된 바와 같이, LiDAR 이미지(501b)는, LiDAR 센서들(202b)과 같은, LiDAR 센서로부터 획득되는 이미지 데이터로부터 생성된 데이터베이스 내의 이미지에 대응할 수 있다. 일부 경우에, LiDAR 이미지(501b)는 매트릭스 형태로 다수의 픽셀들의 행들을 포함할 수 있고, 각각의 픽셀은 위치(예를 들면, x, y, z), 반사율, 강도, 타임스탬프 등에 대한 하나 이상의 값을 포함할 수 있다. 특정 경우에, LiDAR 이미지(501)는 3차원 포인트 클라우드일 수 있다. 일부 경우에, LiDAR 이미지(501b)는 주석들을 포함하지 않고/않거나 주석이 달리지 않은 LiDAR 이미지(501b)라고 지칭될 수 있다. 본원에 기술된 바와 같이, 일부 경우에, 카메라 이미지(501a)로부터 시맨틱 이미지(520)를 생성하는 데 있어서의 지연(lag)으로 인해, LiDAR 이미지(501b)는 시간 도메인에서 카메라 이미지(501a)로부터 오프셋될 수 있다.
단계(554)에서, 융합 시스템(504)은 LiDAR 이미지(501b)와 연관된 이미지 데이터 및 시맨틱 이미지(520)와 연관된 시맨틱 데이터로부터 융합된 이미지(522)와 연관된 융합된 이미지 데이터를 생성한다. 본원에 기술된 바와 같이, 융합된 이미지(522)는 매트릭스 형태로 융합된 픽셀들의 행들을 포함할 수 있고 융합된 이미지 데이터는 각각의 융합된 픽셀과 연관될 수 있다. 일부 경우에, 특정 픽셀과 연관된 융합된 이미지 데이터는 LiDAR 이미지(501b)와 연관된 이미지 데이터, 시맨틱 이미지(520)와 연관된 시맨틱 데이터, 및/또는 카메라 이미지(501a)와 연관된 이미지 데이터에 대한 하나 이상의 값을 포함할 수 있다. 도 5b의 예시된 예에서, 융합된 이미지(522)에서의 픽셀들과 연관된 융합된 이미지 데이터는 LiDAR 이미지(501b)와 연관된 이미지 데이터에 대한 하나 이상의 값으로 임베딩된 시맨틱 이미지(520)와 연관된 시맨틱 데이터를 포함한다.
도 5c를 참조하면, 단계(556a)에서, 융합 이미지 네트워크(506)는 융합된 이미지(522)와 연관된 융합된 이미지 데이터로부터 주석이 달린 융합된 이미지(524)와 연관된 특징 데이터를 생성한다. 융합 이미지 네트워크(506)는 융합된 이미지(522)에서의 대응하는 픽셀들로부터 주석이 달린 융합된 이미지(524)의 일부 또는 모든 픽셀들에 대한 특징 데이터를 생성하기 위해 하나 이상의 CNN(420)을 사용하여 구현될 수 있는 3D 대상체 검출기라고도 지칭될 수 있다. 특정 경우에, 주석이 달린 융합된 이미지(526)와 연관된 생성된 특징 데이터는 개별 픽셀들에 임베딩될 수 있다. 일부 경우에, 주석이 달린 융합된 이미지(524)에서의 특정 픽셀과 연관된 특징 데이터는 이미지에서의 대상체의 폭, 높이 및 길이, 클래스 라벨, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향, 대상체 궤적 예측을 포함할 수 있다. 일부 특정 경우에, 특징 데이터는 각각의 특징이 개별적으로 특정 대상체 속성에 대응하지 않을 수 있는 하나 이상의 n차원 특징 벡터를 포함할 수 있지만, n차원 특징 벡터들의 조합은 앞서 언급된 대상체 속성들 중 하나(또는 다른 대상체 속성)에 대응할 수 있다.
단계(556b)에서, 검증된 이미지(526)와 연관된 검증된 이미지 데이터가 손실 계산기(508)에 제공된다. 예시된 예에서, 검증된 카메라 이미지(526)가 도시되어 있지만, 상이한 유형들의 이미지들이 검증된 이미지(526)로서 사용될 수 있음이 이해될 것이다. 일부 경우에, 검증된 이미지(526)는 이미지 유형을 갖지 않을 수 있다. 예를 들어, 검증된 이미지(526)는 매트릭스 형태로 픽셀들의 행들을 포함할 수 있고, 픽셀들의 일부 또는 전부는 이미지(501)로부터 추출되어야 하는 목표 특징들(및 값들)을 나타내는 검증된 이미지 데이터 또는 주석들과 연관될 수 있다. 본원에 기술된 바와 같이, 검증된 이미지(526)와 연관된 검증된 이미지 데이터는 인지 시스템(402)이 이미지(501) 내에서 무엇을 인지해야 하는지를 나타내기 위해 사용자에 의해 생성될 수 있다. 이에 따라, 검증된 이미지(526)의 하나 이상의 픽셀과 연관된 검증된 이미지 데이터는 이미지에서의 대상체의 폭, 높이 및 길이에 대한 하나 이상의 값, 대상체 분류, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향, 대상체 궤적 등을 포함할 수 있다.
단계(558)에서, 손실 계산기(508)는 주석이 달린 융합된 이미지(524)와 연관된 특징 데이터 및 검증된 이미지(526)와 연관된 검증된 이미지 데이터에 기초하여(예를 들면, 이들을 비교하는 것에 의해) 손실(528)과 연관된 손실 데이터를 생성한다. 이미지로서 예시되어 있지만, 손실(528)이, 이미지의 픽셀들에 대응하는 값들의 행렬과 같은, 하나 이상의 값으로서 전달될 수 있다는 것이 이해될 것이다.
본원에 기술된 바와 같이, 일부 경우에, 손실 계산기(508)는 일부 또는 모든 픽셀들에 대해, 그리고 주석이 달린 융합된 이미지(524)의 특정 픽셀과 연관된 특징 데이터에 표현된 각각의 특징에 대해 손실을 계산할 수 있다. 그에 따라, 주석이 달린 융합된 이미지(524)가 각각의 픽셀에 대한 13 개의 주석, 또는 13 개의 차원을 포함하는 경우, 손실 계산기(508)는 주석이 달린 융합된 이미지(524)에서의 일부 또는 모든 픽셀들에 대해 13 개의 손실을 계산할 수 있다.
단계(560)에서, 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)는 손실(528)과 연관된 손실 데이터를 사용하여 하나 이상의 네트워크 파라미터를 수정한다. 수정된 네트워크 파라미터들은 후속 이미지들과 연관된 이미지 데이터로부터 시맨틱 이미지들과 연관된 시맨틱 데이터를 생성하는 데 사용된다.
본원에 기술된 바와 같이, 일부 경우에, 손실(528)과 연관된 손실 데이터의 일부 또는 전부가 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 전달된다. 특정 경우에, 손실(528)은 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)를 통해 계층별로(특정 경우에 역순으로) 전파될 수 있다. 일부 경우에, 손실(528)과 연관된 상이한 손실 데이터가 상이한 네트워크들(502, 506)에 전달된다. 특정 경우에, 상이한 네트워크들(502, 506)에 전달되는 손실은 각자의 네트워크들(502, 506)에 의해 추출될 것으로 예상되는 시맨틱스 또는 특징들에 기초한다.
네트워크 파라미터들이 수정되거나 튜닝됨에 따라, 주석이 달린 융합된 이미지들(524)과 검증된 이미지들(526) 사이의 계산된 손실이 감소될 수 있으며, 이는 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)가 이미지들로부터 시맨틱스 및 특징들을 정확하게 결정할 수 있는 그들의 능력을 개선시키고 있음을 나타낸다.
본원에 기술된 바와 같이, 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)를 튜닝시키기 위해 엔드 투 엔드 트레이닝 프로세스가 수천, 수십만, 수백만 회 이상 반복될 수 있다. (예를 들면, 융합 이미지 네트워크(506)로부터 출력되는 주석이 달린 융합된 이미지(524)와 연관된 특징 데이터를 사용하여 계산되는 손실(528)과 연관된 손실 데이터로) 이미지 특징 추출 네트워크(502)를 엔드 투 엔드 방식으로 튜닝시키는 것에 의해, 이미지 특징 추출 네트워크(502)는 이미지(501)와 연관된 이미지 데이터로부터 추가적인 특징들 및/또는 시맨틱스를 학습할 수 있다. 이러한 추가적인 특징들은 융합 이미지 네트워크(506)가 다른 특징들 및 콘텍스트 정보를 학습할 수 있게 할 수 있다.
일단 트레이닝되면, 카메라들(202a), LiDAR 센서들(202b), 및/또는 레이더 센서들(202c)로부터 실시간 이미지들을 수신하고, 이미지들 내의 대상체들을 식별하며, 대상체의 폭, 높이 및 길이, 클래스 라벨, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향, 대상체 궤적, 또는 다른 대상체 속성들(예를 들면, 교통 신호등 상태(예를 들면, 적색, 녹색, 황색, 깜박임 등) 또는 좌우 방향 지시등이 깜박이거나 비상등이 깜박이는 차량 등) 등과 같은, 그러나 이에 제한되지 않는, 대상체들에 관한 특징들을 결정하기 위해 추론 동안 인지 시스템(402)이 사용될 수 있다. 예를 들어, 이미지 특징 추출 네트워크(502)는 이미지에서의 하나 이상의 대상체의 폭, 높이 및 길이, 대상체 분류들, 대상체에 대한 경계 상자들, 대상체 움직임들, 대상체 배향들 등을 포함하는 시맨틱 이미지와 연관된 시맨틱 데이터를 생성할 수 있고, 융합 이미지 네트워크(506)는 대상체 궤적 등과 같은, 그러나 이에 제한되지 않는, 추가적인 특징들뿐만 아니라 시맨틱 이미지와 연관된 시맨틱 데이터를 포함하지만 이에 제한되지 않는 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성할 수 있다. 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 의해 생성되는 특징들이 동일하거나 상이하거나 또는 중첩될 수 있다는 것이 이해될 것이다.
추가적으로, 추론 동안, 본원에 기술된 기능들 또는 요소들 중 일부가 사용되지 않을 수 있거나 존재하지 않을 수 있다. 예를 들어, 추론 동안 손실이 계산되지 않을 수 있고/있거나 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)의 네트워크 파라미터들이 튜닝되지 않거나 할 수 있다.
테스트 시스템의 예시적인 흐름 다이어그램
도 6은 인지 시스템(402)을 트레이닝시키기 위해 하나 이상의 프로세서에 의해 구현되는 루틴(600)의 예를 예시하는 흐름 다이어그램이다. 도 6에 예시된 흐름 다이어그램은 예시 목적으로만 제공된다. 도 6에 예시된 루틴의 단계들 중 하나 이상이 제거될 수 있거나 단계들의 순서가 변경될 수 있음이 이해될 것이다. 게다가, 명확한 예를 예시하기 위해, 하나 이상의 특정 시스템 컴포넌트가 데이터 흐름 스테이지들 각각 동안 다양한 동작들을 수행하는 맥락에서 기술된다. 그렇지만, 시스템 컴포넌트들에 걸친 프로세싱 단계들의 다른 시스템 배열들 및 분배들이 사용될 수 있다.
블록(602)에서, 트레이닝 시스템(500)은 제1 이미지와 연관된 제1 이미지 데이터로부터 시맨틱 이미지와 연관된 시맨틱 이미지 데이터를 생성한다. 본원에 기술된 바와 같이, 일부 경우에, 제1 이미지는 컬러 또는 그레이스케일 픽셀들의 행들을 포함하는 카메라 이미지일 수 있고, 트레이닝 시스템(500)은 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하기 위해 이미지 특징 추출 네트워크(502)를 사용할 수 있다. 그렇지만, LiDAR 이미지들 및/또는 레이더 이미지들과 같은, 다른 상이한 유형들의 이미지들이 사용될 수 있음이 이해될 것이다.
본원에 기술된 바와 같이, 트레이닝 시스템(500)은 제1 이미지에서의 픽셀들의 일부 또는 전부와 연관된 시맨틱 데이터를 결정할 수 있다. 특정 경우에, 픽셀과 연관된 시맨틱 데이터는 픽셀을 대상체와 연관시키는 클래스 라벨 또는 대상체 분류를 포함한다.
블록(604)에서, 트레이닝 시스템(500)은 융합된 이미지를 형성하기 위해 시맨틱 이미지와 연관된 시맨틱 데이터로 제2 이미지를 임베딩한다. 본원에 기술된 바와 같이, 제2 이미지는 상이한 유형의 이미지일 수 있다. 예를 들어, 제1 이미지가 카메라 이미지인 경우, 제2 이미지는, 3D 포인트 클라우드와 같은, LiDAR 이미지일 수 있다.
제1 이미지와 유사하게, 제2 이미지는 픽셀들의 행들을 포함할 수 있다. 제2 이미지가 상이한 유형의 이미지이므로, 특정 픽셀과 연관된 이미지 데이터가 상이할 수 있다. 예를 들어, 제2 이미지가 3D 포인트 클라우드인 경우, 특정 픽셀과 연관된 이미지 데이터는 위치 (x, y, z), 반사율, 강도, 타임스탬프 등을 포함할 수 있다.
본원에 기술된 바와 같이, 융합된 이미지는 시맨틱 이미지와 연관된 시맨틱 데이터 및 제2 이미지(및/또는 제1 이미지)와 연관된 이미지 데이터로 임베딩된 픽셀들의 행들을 포함할 수 있다. 예를 들어, 제2 이미지가 3D 포인트 클라우드인 경우, 융합된 이미지에서의 픽셀은 위치 (x, y, z), 반사율, 강도 및 타임스탬프뿐만 아니라 하나 이상의 대상체 분류를 포함하거나 이들로 임베딩될 수 있다. 일부 그러한 경우에, 융합된 이미지는 장식된(decorated) 3D 포인트 클라우드라고 지칭될 수 있다.
블록(606)에서, 트레이닝 시스템(500)은 융합된 이미지로부터 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성한다. 본원에 기술된 바와 같이, 일부 경우에, 트레이닝 시스템(500)은 주석이 달린 융합된 이미지 및 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성하기 위해 융합 이미지 네트워크(506)를 사용한다. 본원에 기술된 바와 같이, 융합 이미지 네트워크(506)는 이미지에서의 대상체의 폭, 높이 및 길이, 대상체 분류 또는 클래스 라벨, 대상체에 대한 경계 상자들, 대상체 움직임, 대상체 배향, 대상체 궤적 예측을 포함하지만 이에 제한되지 않는, 주석이 달린 융합된 이미지에 대한 다양한 특징들을 생성할 수 있다.
본원에 기술된 바와 같이, 주석이 달린 융합된 이미지는 픽셀들의 행들 및 주석이 달린 융합된 이미지의 픽셀들의 일부 또는 전부와 연관된 특징 데이터를 포함할 수 있다.
블록(608)에서, 트레이닝 시스템(500)은 주석이 달린 융합된 이미지와 검증된 이미지의 비교에 기초하여 손실을 결정한다. 본원에 기술된 바와 같이, 일부 경우에, 트레이닝 시스템(500)은 상이한 특징들에 대한 손실들을 결정할 수 있다. 특정 경우에, 트레이닝 시스템은 주석이 달린 융합된 이미지와 연관된(또는 그에 임베딩된) 일부 또는 모든 특징들에 대한 손실을 결정할 수 있다.
본원에 기술된 바와 같이, 검증된 이미지는 픽셀들의 행들 및 각자의 특징에 대한 목표 값을 나타내는 각각의 픽셀 내에 임베딩된 특징들을 포함할 수 있다. 목표 값은 해당 특징에 대한 손실을 계산하기 위해 이미지 특징 추출 네트워크(502) 및/또는 융합 이미지 네트워크(506)에 의해 해당 특징에 대해 결정된 값과 비교될 수 있다. 트레이닝 시스템(500)은 손실을 계산하기 위해, 평균 제곱 오차(MSE), 평균 절대 오차, 교차 엔트로피 또는 로그 손실, 힌지 손실, 발산 손실 등을 포함하지만 이에 제한되지 않는, 다양한 기술들을 사용할 수 있다.
블록(610)에서, 트레이닝 시스템은 결정된 손실에 기초하여 이미지 특징 추출 네트워크(502)의 하나 이상의 네트워크 파라미터를 수정한다. 본원에 기술된 바와 같이, 이미지 특징 추출 네트워크(502)는 시맨틱 데이터를 결정하는 데 사용되는 다양한 파라미터들 또는 가중치들을 포함할 수 있다. 파라미터들 중 하나 이상이 수정됨에 따라, 손실이 감소될 수 있다. 그에 따라, 트레이닝 시스템(500)은 적어도 하나의 특징에 대한 손실을 감소시키기 위해 이미지 특징 추출 네트워크(502)의 적어도 하나의 네트워크 파라미터를 수정할 수 있다.
유사하게, 트레이닝 시스템(500)은 결정된 손실에 기초하여 융합 이미지 네트워크(506)의 하나 이상의 네트워크 파라미터를 수정할 수 있다. 일부 경우에, 트레이닝 시스템(500)은 한 세트의 특징들에 대한 손실을 감소시키기 위해 융합 이미지 네트워크(506)의 하나 이상의 네트워크 파라미터를 수정하고 상이한 세트의 특징들에 대한 손실을 감소시키기 위해 이미지 특징 추출 네트워크(502)의 하나 이상의 네트워크 파라미터를 수정한다.
일부 경우에, 트레이닝 시스템은 융합 이미지 네트워크(506) 및/또는 이미지 특징 추출 네트워크(502)의 개별 계층들의 가중치들을 수정한다. 특정 경우에, 트레이닝 시스템은, 융합 이미지 네트워크(506)의 마지막 계층의 가중치들 또는 네트워크 파라미터들이 첫 번째로 업데이트되고 특징 추출 네트워크(502)의 첫 번째 계층의 가중치들 또는 네트워크 파라미터들이 마지막으로 업데이트되도록, 융합 이미지 네트워크(506) 및/또는 이미지 특징 추출 네트워크(502)의 개별 계층들의 가중치들 또는 네트워크 파라미터들을 역순으로 수정한다.
루틴(600)이 상이한 이미지들 및/또는 상이한 유형들의 이미지들을 사용하여 여러 번 반복될 수 있다는 것이 이해될 것이다. 일부 경우에, 트레이닝 시스템(500)은 검증된 이미지들과 주석이 달린 융합된 이미지들 사이의 손실을 감소시키기 위해 수천 또는 수백만 개의 이미지를 사용하여 루틴(600)을 수천 또는 수백만 회 반복한다.
본원에 기술된 방법들 및 작업들 모두는 컴퓨터 시스템에 의해 수행되고 완전히 자동화될 수 있다. 컴퓨터 시스템은, 일부 경우에, 기술된 기능들을 수행하기 위해 네트워크를 통해 통신하고 상호연동하는 다수의 개별 컴퓨터들 또는 컴퓨팅 디바이스들(예를 들면, 물리적 서버들, 워크스테이션들, 스토리지 어레이들, 클라우드 컴퓨팅 리소스들 등)을 포함할 수 있다. 각각의 그러한 컴퓨팅 디바이스는 전형적으로 메모리 또는 다른 비일시적 컴퓨터 판독 가능 저장 매체 또는 디바이스(예를 들면, 솔리드 스테이트 저장 디바이스들, 디스크 드라이브들 등)에 저장된 프로그램 명령어들 또는 모듈들을 실행하는 프로세서(또는 다수의 프로세서들)를 포함한다. 본원에 개시된 다양한 기능들은 그러한 프로그램 명령어들로 구체화될 수 있거나, 또는 컴퓨터 시스템의 주문형 회로(application-specific circuitry)(예를 들면, ASIC 또는 FPGA)로 구현될 수 있다. 컴퓨터 시스템이 다수의 컴퓨팅 디바이스들을 포함하는 경우에, 이러한 디바이스들은 동일 위치에 배치될 수 있지만 반드시 그럴 필요는 없다. 개시된 방법들 및 작업들의 결과들은, 솔리드 스테이트 메모리 칩들 또는 자기 디스크들과 같은, 물리적 저장 디바이스들을 상이한 상태로 변환하는 것에 의해 지속적으로 저장될 수 있다. 일부 실시예들에서, 컴퓨터 시스템은 프로세싱 리소스들이 다수의 별개의 사업체들 또는 다른 사용자들에 의해 공유되는 클라우드 기반 컴퓨팅 시스템일 수 있다.
본원에 기술되거나 본 개시의 도면들에 예시된 프로세스들은 이벤트에 응답하여, 예컨대, 미리 결정된 또는 동적으로 결정된 스케줄에 따라, 사용자 또는 시스템 관리자에 의해 개시될 때 요구 시에, 또는 어떤 다른 이벤트에 응답하여 시작될 수 있다. 그러한 프로세스들이 개시될 때, 하나 이상의 비일시적 컴퓨터 판독 가능 매체(예를 들면, 하드 드라이브, 플래시 메모리, 이동식 매체 등)에 저장된 실행 가능 프로그램 명령어 세트는 서버 또는 다른 컴퓨팅 디바이스의 메모리(예를 들면, RAM)에 로딩될 수 있다. 실행 가능 명령어들은 이어서 컴퓨팅 디바이스의 하드웨어 기반 컴퓨터 프로세서에 의해 실행될 수 있다. 일부 실시예들에서, 그러한 프로세스들 또는 그의 부분들은 다수의 컴퓨팅 디바이스들 및/또는 다수의 프로세서들에서, 직렬로 또는 병렬로, 구현될 수 있다.
실시예에 따라, 본원에 기술된 프로세스들 또는 알고리즘들 중 임의의 것의 특정 행위들, 이벤트들, 또는 기능들은 상이한 시퀀스로 수행될 수 있거나, 추가, 병합, 또는 완전히 배제(예를 들면, 기술된 동작들 또는 이벤트들 모두가 알고리즘의 실시에 필요한 것은 아님)될 수 있다. 더욱이, 특정 실시예들에서, 동작들 또는 이벤트들은, 순차적으로가 아니라, 동시에, 예를 들면, 멀티스레드 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들 또는 프로세서 코어들을 통해 또는 다른 병렬 아키텍처들 상에서 수행될 수 있다.
본원에 개시된 실시예들과 관련하여 기술된 다양한 예시적인 논리 블록들, 모듈들, 루틴들, 및 알고리즘 단계들은 전자 하드웨어(예를 들면, ASIC들 또는 FPGA 디바이스들), 컴퓨터 하드웨어 상에서 실행되는 컴퓨터 소프트웨어, 또는 이 둘의 조합들로서 구현될 수 있다. 더욱이, 본원에 개시된 실시예들과 관련하여 기술된 다양한 예시적인 논리 블록들 및 모듈들은, 본원에 기술된 기능들을 수행하도록 설계된, 프로세서 디바이스, "DSP"(digital signal processor), "ASIC"(application specific integrated circuit), "FPGA"(field programmable gate array) 또는 다른 프로그래머블 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들, 또는 이들의 임의의 조합과 같은, 머신에 의해 구현되거나 수행될 수 있다. 프로세서 디바이스는 마이크로프로세서일 수 있지만, 대안으로, 프로세서 디바이스는 제어기, 마이크로컨트롤러, 또는 상태 머신, 이들의 조합들 등일 수 있다. 프로세서 디바이스는 컴퓨터 실행 가능 명령어들을 프로세싱하도록 구성된 전기 회로를 포함할 수 있다. 다른 실시예에서, 프로세서 디바이스는 컴퓨터 실행 가능 명령어들을 프로세싱하지 않고 논리 연산들을 수행하는 FPGA 또는 다른 프로그래밍 가능 디바이스를 포함한다. 프로세서 디바이스는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 비록 본원에서 주로 디지털 기술과 관련하여 기술되었지만, 프로세서 디바이스는 주로 아날로그 컴포넌트들을 또한 포함할 수 있다. 예를 들어, 본원에 기술된 렌더링 기술들의 일부 또는 전부는 아날로그 회로 또는 혼합된 아날로그 및 디지털 회로로 구현될 수 있다. 컴퓨팅 환경은, 몇 가지 예를 들면, 마이크로프로세서에 기초한 컴퓨터 시스템, 메인프레임 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 디바이스, 디바이스 제어기, 또는 기기 내의 계산 엔진을 포함하지만 이들로 제한되지 않는, 임의의 유형의 컴퓨터 시스템을 포함할 수 있다.
본원에 개시된 실시예들과 관련하여 기술된 방법, 프로세스, 루틴 또는 알고리즘의 요소들은 하드웨어로 직접, 프로세서 디바이스에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구체화될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 임의의 다른 형태의 비일시적 컴퓨터 판독 가능 저장 매체에 존재할 수 있다. 예시적인 저장 매체는, 프로세서 디바이스가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기입할 수 있도록, 프로세서 디바이스에 결합될 수 있다. 대안으로, 저장 매체가 프로세서 디바이스에 통합될 수 있다. 프로세서 디바이스 및 저장 매체가 ASIC에 존재할 수 있다. ASIC은 사용자 단말에 존재할 수 있다. 대안으로, 프로세서 디바이스 및 저장 매체는 사용자 단말에 개별 컴포넌트들로서 존재할 수 있다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (20)

  1. 방법에 있어서,
    이미지 특징(feature) 추출 네트워크 및 적어도 하나의 프로세서를 사용하여, 제1 이미지 유형의 제1 이미지로부터 제1 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 융합된(fused) 이미지를 형성하기 위해 상기 시맨틱 이미지와 연관된 상기 시맨틱 데이터로 제2 이미지 유형의 제2 이미지를 임베딩하는 단계;
    융합 이미지 네트워크를 사용하여, 상기 융합된 이미지로부터 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성하는 단계;
    상기 하나 이상의 프로세서를 사용하여, 상기 주석이 달린 융합된 이미지와 검증된 이미지의 비교에 기초하여 손실을 결정하는 단계; 및
    상기 손실에 기초하여 상기 이미지 특징 추출 네트워크의 적어도 하나의 네트워크 파라미터를 수정하는 단계 - 상기 이미지 특징 추출 네트워크는 적어도 하나의 수정된 네트워크 파라미터를 사용하여 제2 시맨틱 이미지와 연관된 시맨틱 데이터를 생성함 -
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제2 이미지는 3D 포인트 클라우드이고, 상기 방법은:
    맵과 연관된 맵 데이터를 수신하는 단계;
    상기 맵 내에서의 상기 3D 포인트 클라우드의 위치를 결정하는 단계; 및
    상기 융합된 이미지를 형성하기 위해 상기 맵 내에서의 상기 3D 포인트 클라우드의 상기 위치에 기초하여 상기 맵과 연관된 상기 주석으로 상기 3D 포인트 클라우드를 임베딩하는 단계
    를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 제1 이미지는 카메라 이미지인 것인, 방법.
  4. 제1항에 있어서, 상기 제2 이미지는 3D LiDAR 포인트 클라우드인 것인, 방법.
  5. 제1항에 있어서, 상기 융합 이미지 네트워크는 LiDAR 신경 네트워크인 것인, 방법.
  6. 제1항에 있어서, 상기 융합 이미지 네트워크는 예측 신경 네트워크인 것인, 방법.
  7. 제1항에 있어서, 상기 제2 이미지는 3D 포인트 클라우드이고, 상기 시맨틱 데이터로 상기 제2 이미지를 임베딩하는 단계는:
    상기 3D 포인트 클라우드를 조감도 이미지로 변환하는 단계; 및
    상기 융합된 이미지를 형성하기 위해 상기 시맨틱 이미지와 연관된 상기 시맨틱 데이터로 상기 조감도 이미지를 임베딩하는 단계
    를 포함하는 것인, 방법.
  8. 제1항에 있어서, 상기 시맨틱 이미지의 픽셀과 연관된 상기 시맨틱 데이터는 적어도 하나의 특징 임베딩을 포함하는 것인, 방법.
  9. 제1항에 있어서, 상기 주석이 달린 융합된 이미지와 연관된 상기 특징 데이터는 대상체의 폭, 높이 및 길이, 상기 대상체에 대한 경계 상자, 대상체 움직임, 대상체 배향 또는 대상체 궤적 예측 중 적어도 하나를 포함하는 것인, 방법.
  10. 제1항에 있어서, 상기 시맨틱 이미지의 픽셀과 연관된 상기 시맨틱 데이터는 대상체 분류 점수를 포함하는 것인, 방법.
  11. 제10항에 있어서, 상기 대상체 분류 점수는 상기 픽셀을 복수의 대상체 분류들 중의 특정 대상체 분류와 연관시키는 것인, 방법.
  12. 제11항에 있어서, 상기 복수의 대상체 분류들은 자동차 클래스, 자전거 클래스, 보행자 클래스, 장벽 클래스, 교통 콘 클래스, 운전 가능한 표면 클래스 또는 배경 클래스 중 적어도 하나를 포함하는 것인, 방법.
  13. 제1항에 있어서, 상기 검증된 이미지는 상기 주석이 달린 융합된 이미지와 연관된 상기 특징 데이터에 포함된 각각의 특징에 대한 목표 특징 값을 포함하는 것인, 방법.
  14. 제1항에 있어서, 상기 주석이 달린 융합된 이미지와 상기 검증된 이미지의 상기 비교에 기초하여 상기 손실을 결정하는 단계는 특정 픽셀과 연관된 특징 데이터에 포함된 적어도 하나의 특징을 상기 검증된 이미지의 대응하는 픽셀에서의 목표 특징 값과 비교하는 단계를 포함하는 것인, 방법.
  15. 시스템에 있어서,
    적어도 하나의 프로세서; 및
    명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    제1 이미지 유형의 제1 이미지로부터 제1 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하도록 구성된 이미지 특징 추출 네트워크;
    융합된 이미지를 형성하기 위해 상기 시맨틱 이미지와 연관된 상기 시맨틱 데이터로 제2 이미지 유형의 제2 이미지를 임베딩하도록 구성된 융합 시스템;
    상기 융합된 이미지로부터 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성하도록 구성된 융합 이미지 네트워크; 및
    상기 주석이 달린 융합된 이미지와 검증된 이미지의 비교에 기초하여 손실을 생성하도록 구성된 손실 계산기를 수행하게 하며,
    상기 이미지 특징 추출 네트워크는 또한 상기 손실에 기초하여 적어도 하나의 네트워크 파라미터를 수정하고 적어도 하나의 수정된 네트워크 파라미터를 사용하여 제2 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하도록 구성되는 것인, 시스템.
  16. 제15항에 있어서, 상기 제2 이미지는 3D LiDAR 포인트 클라우드인 것인, 시스템.
  17. 제15항에 있어서, 상기 융합 이미지 네트워크는 LiDAR 신경 네트워크인 것인, 시스템.
  18. 제15항에 있어서, 상기 제2 이미지는 3D 포인트 클라우드이고, 상기 시맨틱 데이터로 상기 제2 이미지를 임베딩하기 위해, 상기 명령어들은 추가로 상기 적어도 하나의 프로세서로 하여금:
    상기 3D 포인트 클라우드를 조감도 이미지로 변환하게 하고;
    상기 융합된 이미지를 형성하기 위해 상기 시맨틱 이미지와 연관된 상기 시맨틱 데이터로 상기 조감도 이미지를 임베딩하게 하는 것인, 시스템.
  19. 제15항에 있어서, 상기 제2 이미지는 3D 포인트 클라우드이고, 상기 시맨틱 데이터로 상기 제2 이미지를 임베딩하기 위해, 상기 명령어들은 추가로 상기 적어도 하나의 프로세서로 하여금:
    맵과 연관된 맵 데이터를 수신하게 하고;
    상기 맵 내에서의 상기 3D 포인트 클라우드의 위치를 결정하게 하며;
    상기 융합된 이미지를 형성하기 위해 상기 맵 내에서의 상기 3D 포인트 클라우드의 상기 위치에 기초하여 상기 맵과 연관된 상기 주석으로 상기 3D 포인트 클라우드를 임베딩하게 하는 것인, 시스템.
  20. 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체에 있어서,
    상기 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    이미지 특징 추출 네트워크를 사용하여, 제1 이미지 유형의 제1 이미지로부터 제1 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하게 하고;
    융합된 이미지를 형성하기 위해 상기 시맨틱 이미지와 연관된 상기 시맨틱 데이터로 제2 이미지 유형의 제2 이미지를 임베딩하게 하며;
    융합 이미지 네트워크를 사용하여, 상기 융합된 이미지로부터 주석이 달린 융합된 이미지와 연관된 특징 데이터를 생성하게 하고;
    상기 주석이 달린 융합된 이미지와 검증된 이미지의 비교에 기초하여 손실을 결정하게 하며;
    상기 손실에 기초하여 상기 이미지 특징 추출 네트워크의 적어도 하나의 네트워크 파라미터를 수정하게 하고,
    상기 이미지 특징 추출 네트워크는 적어도 하나의 수정된 네트워크 파라미터를 사용하여 제2 시맨틱 이미지와 연관된 시맨틱 데이터를 생성하는 것인, 적어도 하나의 비일시적 저장 매체.
KR1020210180723A 2021-05-05 2021-12-16 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 KR102657921B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163184690P 2021-05-05 2021-05-05
US63/184,690 2021-05-05
US17/444,956 2021-08-12
US17/444,956 US20220358328A1 (en) 2021-05-05 2021-08-12 End-to-end system training using fused images

Publications (2)

Publication Number Publication Date
KR20220151098A true KR20220151098A (ko) 2022-11-14
KR102657921B1 KR102657921B1 (ko) 2024-04-15

Family

ID=78399553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210180723A KR102657921B1 (ko) 2021-05-05 2021-12-16 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝

Country Status (5)

Country Link
US (1) US20220358328A1 (ko)
KR (1) KR102657921B1 (ko)
CN (1) CN115393677A (ko)
DE (1) DE102021132082A1 (ko)
GB (1) GB2606418B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633937B1 (ko) * 2023-07-06 2024-02-07 (주)트루엔 전자 장치 및 이를 이용한 오브젝트와 관련된 속성정보 획득 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965961B (zh) * 2023-02-23 2024-04-05 上海人工智能创新中心 局部到全局的多模态融合方法、系统、设备及存储介质
CN116109470B (zh) * 2023-04-13 2023-06-20 深圳市其域创新科技有限公司 实时点云数据渲染方法、装置、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095367A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US10311335B1 (en) * 2018-09-05 2019-06-04 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
US11906660B2 (en) * 2019-08-30 2024-02-20 Nvidia Corporation Object detection and classification using LiDAR range images for autonomous machine applications
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
US11586865B2 (en) * 2021-02-18 2023-02-21 Volkswagen Aktiengesellschaft Apparatus, system and method for fusing sensor data to do sensor translation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095367A (ko) * 2019-01-31 2020-08-10 주식회사 스트라드비젼 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sourabh Vora ET AL: "PointPainting: Sequential Fusion for 3D Object Detection", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020, pp. 4604-4612(2020.06.24.) 1부.* *
Zining Wang ET AL: "Fusing Bird’s Eye View LIDAR Point Cloud and Front View Camera Image for 3D Object Detection", 2018 IEEE Intelligent Vehicles Symposium (IV), 26-30 June 2018(2018.06.26.) 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633937B1 (ko) * 2023-07-06 2024-02-07 (주)트루엔 전자 장치 및 이를 이용한 오브젝트와 관련된 속성정보 획득 방법

Also Published As

Publication number Publication date
GB2606418A (en) 2022-11-09
DE102021132082A1 (de) 2022-11-10
US20220358328A1 (en) 2022-11-10
GB2606418B (en) 2024-01-24
GB202113834D0 (en) 2021-11-10
CN115393677A (zh) 2022-11-25
KR102657921B1 (ko) 2024-04-15

Similar Documents

Publication Publication Date Title
KR102657921B1 (ko) 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝
KR102628736B1 (ko) 딥 러닝 기반 카메라 교정
KR102595886B1 (ko) 매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크
US20230046410A1 (en) Semantic annotation of sensor data using unreliable map annotation inputs
US20230360379A1 (en) Track segment cleaning of tracked objects
WO2022226373A1 (en) Predicting agent trajectories
US20230109909A1 (en) Object detection using radar and lidar fusion
US11948381B2 (en) Determining object mobility parameters using an object sequence
US20230159033A1 (en) High fidelity data-driven multi-modal simulation
US20240078790A1 (en) Enriching later-in-time feature maps using earlier-in-time feature maps
US20240127597A1 (en) Using scene dependent object queries to generate bounding boxes
US20240127596A1 (en) Radar- and vision-based navigation using bounding boxes
US20240127579A1 (en) Identifying new classes of objects in environments of vehicles
US20230115566A1 (en) Automated verification of annotated sensor data
US20240062504A1 (en) Enriching object queries using a bird's-eye view feature map to generate bounding boxes
WO2024081665A1 (en) Using scene dependent object queries to generate bounding boxes
WO2024086056A1 (en) Identifying new classes of objects in environments of vehicles
WO2024040171A1 (en) Enriching feature maps using multiple pluralities of windows to generate bounding boxes
WO2024081667A1 (en) Radar- and vision-based navigation using bounding boxes
WO2023158580A1 (en) Prediction error scenario mining for machine learning models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant