KR102610001B1 - 자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템 - Google Patents

자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템 Download PDF

Info

Publication number
KR102610001B1
KR102610001B1 KR1020217020131A KR20217020131A KR102610001B1 KR 102610001 B1 KR102610001 B1 KR 102610001B1 KR 1020217020131 A KR1020217020131 A KR 1020217020131A KR 20217020131 A KR20217020131 A KR 20217020131A KR 102610001 B1 KR102610001 B1 KR 102610001B1
Authority
KR
South Korea
Prior art keywords
sensor
bounding box
sensor data
time stamp
data
Prior art date
Application number
KR1020217020131A
Other languages
English (en)
Other versions
KR20210107020A (ko
Inventor
수아이 왕
솽청 궈
셴페이 리
충충 리
젠 성
데이비 황
만장 장
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Publication of KR20210107020A publication Critical patent/KR20210107020A/ko
Application granted granted Critical
Publication of KR102610001B1 publication Critical patent/KR102610001B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 센서 동기화의 온라인 시스템 레벨 검증을 위한 다양한 실시형태를 설명한다. 실시형태에 따르면, 자율 주행 차량(ADV) 중의 센서 동기화를 분석하는 예시적 방법은, ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명하는 단계; 및 원시 센서 데이터로부터 추출한 타임 스탬프에 따라, 원시 센서 데이터에 기반하여 정확도 맵을 생성하는 단계를 포함한다. 상기 방법은, 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 단계; 및 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정하는 단계를 더 포함한다.

Description

자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템
본 발명의 실시형태는 전체적으로 자율 주행 차량의 조작에 관한 것이다. 더 구체적으로, 본 발명의 실시형태는 센서 동기화 검증에 관한 것이다.
자율 주행 모드로 운행(예를 들어, 무인 운전)되는 차량은 탑승자, 특히는 운전자를 일부 운전 관련 의무에서 벗어나도록 한다. 자율 주행 모드로 운행되는 경우, 차량은 차량용 센서를 사용하여 다양한 위치로 이동될 수 있으므로, 차량은 인간-컴퓨터 상호 작용이 최소화된 경우 또는 승객이 없는 일부 경우에 주행될 수 있다.
차량용 센서는 자율 주행 차량을 안전하고 안정적으로 제어하기 위해 보정, 동기화 및 융합이 이루어져야 한다. 통상적으로, 센서 데이터의 타임 스탬프를 사용하여 센서 데이터의 동기화를 측정할 수 있다. 그러나, 이러한 방법은 소프트웨어 레벨의 검증만 제공할 뿐, 데이터 수집 및 전달을 제공하는 센서와 시스템 하드웨어를 검증할 수 없다. 따라서, 시스템 레벨에서 센서 데이터 동기화를 검증하고 피드백을 제공하여 시스템 레벨 동기화의 정확도를 향상시킬 수 있는 기술을 기대하고 있다.
제1 양태에 따르면, 본 발명의 실시형태는 자율 주행 차량(ADV) 중의 센서 동기화를 분석하는 컴퓨터 구현 방법을 제공하고, 상기 방법은, ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명하는 단계; 원시 센서 데이터 및 원시 센서 데이터로부터 추출한 타임 스탬프에 기반하여 정확도 맵을 생성하는 단계; 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 단계; 및 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정하는 단계를 포함한다.
제2 양태에 따르면, 본 발명의 실시형태는 명령이 저장된 비일시적 기계 판독 가능 매체를 제공하고, 상기 명령이 프로세서에 의해 실행될 때 프로세서가 아래 동작을 실행하며, 상기 동작은, ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명하는 동작; 원시 센서 데이터 및 원시 센서 데이터로부터 추출한 타임 스탬프에 기반하여 정확도 맵을 생성하는 동작; 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 동작; 및 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정하는 동작을 포함한다.
제3 양태에 따르면, 본 발명의 실시형태는 데이터 처리 시스템을 제공하고, 상기 시스템은 프로세서 및 메모리를 포함하고, 상기 메모리는 명령을 저장하기 위해 프로세서에 접속되고, 상기 명령이 프로세서에 의해 실행될 때 프로세서가 동작을 실행하며, 상기 동작은, ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명하는 동작; 원시 센서 데이터 및 원시 센서 데이터로부터 추출한 타임 스탬프에 기반하여 정확도 맵을 생성하는 동작; 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 동작; 및 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정하는 동작을 포함한다.
본 발명의 실시형태는 첨부된 도면의 각 도면에서 한정이 아닌 예로서 도시되며, 도면 중의 동일한 참조 부호는 유사한 소자를 가리킨다.
도 1은 일 실시형태에 따른 네트워크 시스템의 블록도이다.
도 2는 일 실시형태에 따른 자율 주행 차량의 예시적 블록도이다.
도 3a 내지 도 3b는 일 실시형태에 따른 자율 주행 차량에 사용되는 감지 및 계획 시스템의 예시적 블록도이다.
도 4는 일 실시형태에 따른 자율 주행 시스템의 아키텍처 블록도이다.
도 5a 및 5b는 일 실시형태에 따른 센서 유닛의 예시적 블록도이다.
도 6은 일 실시형태에 따른 자율 주행 차량 중의 센서 동기화를 검증하기 위한 예시적 시스템을 도시한다.
도 7은 일 실시형태에 따른 자율 주행 차량 중의 도 6에 도시된 예시적 시스템을 더 도시한다.
도 8a 및 도 8b는 일부 실시형태에 따른 예시적 정확도 맵을 도시한다.
도 9는 일 실시형태에 따른 타깃 객체를 둘러싸는 예시적 경계 박스를 도시한다.
도 10은 일 실시형태에 따른 자율 주행 차량 중의 센서 동기화를 검증하는 예시적 프로세스를 도시한다.
아래에서 논의되는 세부사항을 참조하여 본 발명의 다양한 실시형태 및 양태를 설명하고, 도면은 상기 다양한 실시형태를 도시한다. 아래의 설명 및 도면은 본 발명에 대한 설명일 뿐이며, 본 발명을 제한하는 것으로 해석되어서는 아니된다. 본 발명의 다양한 실시형태에 대한 전반적인 이해를 제공하기 위해, 많은 특정된 세부사항을 설명한다. 그러나, 일부 경우에는 본 발명의 실시형태에 대한 간결한 설명을 위해, 공지되거나 통상적인 세부사항을 설명하지 않는다.
본 명세서에서 언급된 “일 실시형태” 또는 “실시형태”는 상기 실시형태에 결합되어 설명된 특정된 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 본 발명의 각 부분에서 나타나는 “일 실시형태에서”는 반드시 모두 동일한 실시형태를 지칭하는 것이 아니다.
본 발명은 센서 동기화의 온라인 시스템 레벨 검증을 위한 다양한 실시형태를 설명한다. 일 실시형태에 따르면, 자율 주행 차량(ADV) 중의 센서 동기화를 분석하는 예시적 방법은, ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명하는 단계; 및 원시 센서 데이터로부터 추출한 타임 스탬프에 따라, 원시 센서 데이터에 기반하여 정확도 맵을 생성하는 단계를 포함한다. 상기 방법은, 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 단계; 및 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정하는 단계를 더 포함한다.
실시형태에 따르면, 동기화 검증 모듈은 시스템 레벨에서 온보드 센서의 동기화 및 센서 데이터의 융합을 검증하기 위해 ADV에 설정될 수 있다. 소프트웨어 모듈은 ADV 중의 센서 시스템에 접속될 수 있고, 센서 시스템으로부터 원시 센서 데이터를 획득하여 분석을 수행할 수 있다. 원시 센서 데이터에 기반하여, 동기화 검증 모듈은 센서 시스템이 현재 검출하는 타깃 객체의 유형을 검출할 수 있고, 원시 센서 데이터가 적절한 타임 스탬프를 구비하는지를 결정하여 서로 동기화될 수 있다.
일 실시형태에서, 동기화 검증 모듈은 각각의 타깃 객체에 대해 정확도 맵을 생성하여, 각각의 타임 스탬프에 따라 상이한 센서 데이터의 정렬 방식을 나타내고, 각 유형의 센서로부터의 센서 데이터에 대해 타깃 객체를 둘러싸는 경계 박스를 생성한다. 동기화 검증 모듈은 타깃 객체의 유형이 주어진 경우에, 상이한 센서 데이터가 예상 지점에서 정렬되는지의 여부를 결정할 수 있고, 타깃 객체를 둘러싸는 경계 박스의 매칭 여부를 결정할 수 있다. 정확도 맵과 비교하여 경계 박스에 대해 교차 검사를 수행하여, 경계 박스에 매칭되지 않은 영역의 존재가 예상되는지를 결정할 수 있다.
자율 주행 차량
도 1은 본 발명의 일 실시형태에 따른 자율 주행 차량 네트워크 구성의 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 또는 다수의 서버(103 내지 104)에 통신 연결되는 자율 주행 차량(101)을 포함한다. 하나의 자율 주행 차량이 도시되어 있지만, 다수의 자율 주행 차량이 네트워크(102)를 통해 서로 연결 및/또는 서버(103 내지 104)에 접속될 수 있다. 네트워크(102)는 임의의 유형의 네트워크일 수 있는 바, 예를 들어 유선 또는 무선 근거리 통신망(LAN), 인터넷과 같은 광역 통신망(WAN), 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합일 수 있다. 서버(103 내지 104)는 임의의 유형의 서버 또는 서버 클러스터일 수 있는 바, 예를 들어 네트워크 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합일 수 있다. 서버(103 내지 104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI) 서버 또는 위치 서버 등일 수 있다.
자율 주행 차량은 자율 주행 모드로 운행될 수 있는 차량을 의미하고, 상기 자율 주행 모드에서 차량은 운전자의 입력이 거의 또는 전혀없이 환경을 탐색한다. 이러한 자율 주행 차량은 센서 시스템을 포함할 수 있고, 상기 센서 시스템은 차량 운행 환경과 연관된 정보를 검출하도록 구성되는 하나 또는 다수의 센서를 구비한다. 상기 차량 및 이와 관련되는 컨트롤러는 검출된 정보를 사용하여 상기 환경을 탐색한다. 자율 주행 차량(101)은 수동 모드, 완전 자율 주행 모드 또는 부분 자율 주행 모드에서 운행될 수 있다.
일 실시형태에서, 자율 주행 차량(101)은 감지 및 계획 시스템(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113), 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. 자율 주행 차량(101)은 엔진, 휠, 스티어링 휠, 변속기와 같은 일반 차량에 포함되는 일부 통상적인 부재를 더 포함할 수 있다. 차량 제어 시스템(111) 및/또는 감지 및 계획 시스템(110)이 다양한 통신 신호 및/또는 명령을 사용하여 상기 부재들을 제어하고, 상기 다양한 통신 신호 및/또는 명령은 예를 들어 가속 신호 또는 명령, 감속 신호 또는 명령, 조향 신호 또는 명령, 제동 신호 또는 명령 등이다.
부재(110 내지 115)는 상호 연결 부재, 버스, 네트워크 또는 이들의 조합을 통해 서로 통신 연결될 수 있다. 예를 들어, 부재(110 내지 115)는 계측 제어기 통신망(CAN) 버스를 통해 서로 통신 연결될 수 있다. CAN 버스는 호스트가 없는 애플리케이션에서 마이크로 컨트롤러와 장치가 서로 통신할 수 있도록 설계된 차량 버스 표준이다. 이는 초기에 자동차 내의 멀티플렉싱 전기 배선을 위해 설계된 메시지 기반 프로토콜이지만, 다른 많은 환경에서도 사용된다.
도 2를 참조하면, 일 실시형태에서 센서 시스템(115)은 하나 또는 다수의 카메라(211), 위성 항법 시스템(GPS) 유닛(212), 관성 측정 유닛(IMU)(213), 레이더 유닛(214) 및 라이다(LIDAR) 유닛(215)을 포함하지만 이에 한정되지 않는다. GPS 유닛(212)은 트랜시버를 포함할 수 있고, 상기 트랜시버는 자율 주행 차량에 관한 위치 정보를 제공하도록 작동될 수 있다. IMU 유닛(213)은 관성 가속도에 기반하여 자율 주행 차량의 위치 및 방향 변화를 감지할 수 있다. 레이더 유닛(214)은 무선 전기 신호를 이용하여 자율 주행 차량의 로컬 환경 내의 객체 시스템을 감지하는 것을 나타낼 수 있다. 일부 실시형태에서, 객체를 감지하는 외에, 레이더 유닛(214)은 또한 객체의 속도 및/또는 전진 방향을 감지할 수 있다. LIDAR 유닛(215)은 레이저를 사용하여 자율 주행 차량이 위치한 환경 중의 객체를 감지할 수 있다. 다른 시스템 부재 외에, LIDAR 유닛(215)은 하나 또는 다수의 레이저 소스, 레이저 스캐너 및 하나 또는 다수의 검출기를 더 포함할 수 있다. 카메라(211)는 자율 주행 차량의 주변 환경의 이미지를 수집하기 위한 하나 또는 다수의 장치를 포함할 수 있다. 카메라(211)는 스틸 카메라 및/또는 비디오 카메라일 수 있다. 카메라는 기계적으로 이동되는 것일 수 있고, 예를 들어 카메라를 회전 및/또는 틸팅 플랫폼에 장착한다.
센서 시스템(115)은 소나 센서, 적외선 센서, 조향 센서, 스로틀 센서, 제동 센서 및 오디오 센서(예를 들어, 마이크로폰)와 같은 다른 센서를 더 포함할 수 있다. 오디오 센서는 자율 주행 차량 주변의 환경에서 소리를 수집하도록 구성될 수 있다. 조향 센서는 스티어링 휠, 차량의 휠 또는 이들의 조합의 조향 각도를 감지하도록 구성될 수 있다. 스로틀 센서 및 제동 센서는 각각 차량의 스로틀 위치 및 제동 위치를 감지한다. 일부 상황에서, 스로틀 센서 및 제동 센서는 통합형 스로틀/제동 센서로 통합될 수 있다.
일 실시형태에서, 차량 제어 시스템(111)은 조향 유닛(201), 스로틀 유닛(202)(가속 유닛이라고도 함) 및 제동 유닛(203)을 포함하지만 이에 한정되지 않는다. 조향 유닛(201)은 차량의 방향 또는 전진 방향을 조절하기 위해 사용된다. 스로틀 유닛(202)은 모터 또는 엔진의 속도를 제어하기 위해 사용되고, 모터 또는 엔진의 속도는 차량의 속도 및 가속도를 제어한다. 제동 유닛(203)은 마찰을 제공하여 차량의 휠 또는 타이어를 감속시켜 차량을 감속시킨다. 도 2에 도시된 부재는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있음을 유의해야 한다.
다시 도 1을 참조하면, 무선 통신 시스템(112)은 자율 주행 차량(101)과 장치, 센서, 다른 차량과 같은 외부 시스템 사이의 통신을 허용한다. 예를 들어, 무선 통신 시스템(112)은 하나 또는 다수의 장치와 직접 무선 통신할 수 있거나, 또는 통신 네트워크를 통해 무선 통신할 수 있는 바, 예를 들어 네트워크(102)를 통해 서버(103 내지 104)와 통신한다. 무선 통신 시스템(112)은 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(WLAN)을 사용할 수 있는 바, 예를 들어 WiFi를 사용하여 다른 부재 또는 시스템과 통신할 수 있다. 무선 통신 시스템(112)은 예를 들어 적외선 링크, 블루투스 등을 이용하여 장치(예를 들어, 승객의 모바일 장치, 디스플레이 장치, 차량(101) 내의 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은 차량(101) 내에서 구현되는 주변 장치의 일부일 수 있는 바, 예를 들어 키보드, 터치 스크린 디스플레이 장치, 마이크로폰 및 스피커 등을 포함할 수 있다.
자율 주행 차량(101)의 일부 또는 전부 기능은 감지 및 계획 시스템(110)에 의해 제어 또는 관리될 수 있고, 특히 자율 주행 모드에서 운행되는 경우이다. 감지 및 계획 시스템(110)은 필요한 하드웨어(예를 들어, 프로세서, 메모리, 저장 장치) 및 소프트웨어(예를 들어, 운영 체제, 계획 및 경로 배정 프로그램)를 포함하여, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신한 정보를 처리하며, 출발지에서 목적지까지 노선 또는 경로를 계획한 다음, 계획 및 제어 정보에 기반하여 차량(101)이 주행한다. 대체 가능하게, 감지 및 계획 시스템(110)은 차량 제어 시스템(111)과 통합될 수 있다.
예를 들어, 승객으로서의 사용자는 사용자 인터페이스를 통해 코스의 출발 위치와 목적지를 지정할 수 있다. 감지 및 계획 시스템(110)은 코스 관련 데이터를 획득한다. 예를 들어, 감지 및 계획 시스템(110)은 MPOI 서버에서 위치 및 노선 정보를 획득할 수 있고, 상기 MPOI 서버는 서버(103 내지 104)의 일부분일 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 일부 위치의 POI를 제공한다. 대체 가능하게, 해당 위치 및 MPOI 정보는 감지 및 계획 시스템(110)의 영구 저장 장치의 로컬에 고속 캐싱될 수 있다.
자율 주행 차량(101)이 노선을 따라 이동하는 경우, 감지 및 계획 시스템(110)은 또한 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보를 획득할 수 있다. 서버(103 내지 104)는 제3자 엔티티에 의해 작동될 수 있음을 유의해야 한다. 대체 가능하게, 서버(103 내지 104)의 기능은 감지 및 계획 시스템(110)과 통합될 수 있다. 실시간 교통 정보, MPOI 정보, 위치 정보, 및 센서 시스템(115)에 의해 검출 또는 감지된 실시간 로컬 환경 데이터(예를 들어, 장애물, 객체, 주변 차량)에 기반하여, 감지 및 계획 시스템(110)은 가장 바람직한 노선을 계획할 수 있고 계획한 노선에 따라 제어 시스템(111)을 통해 차량(101)이 주행하여, 지정된 목적지에 안전하고 효율적으로 지정된 목적지에 도달할 수 있다.
서버(103)는 데이터 분석 시스템일 수 있고, 다양한 클라이언트를 위해 데이터 분석 서비스를 수행할 수 있다. 일 실시형태에서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 기계 학습 엔진(122)을 포함한다. 데이터 수집기(121)는 다양한 차량(자율 주행 차량 또는 사람이 운전하는 일반 차량)으로부터 운전 통계 데이터(123)를 수집한다. 운전 통계 데이터(123)는 지시된 주행 명령(예를 들어, 스로틀, 제동, 조향 명령) 및 차량의 센서가 상이한 시점에서 포착한 차량의 응답(예를 들어, 속도, 가속, 감속, 방향) 정보를 포함한다. 운전 통계 데이터(123)는 노선(출발 위치 및 목적지 위치를 포함함), MPOI, 도로 상태, 기상 조건과 같은 상이한 시점에서의 주행 환경을 설명하는 정보를 더 포함할 수 있다.
운전 통계 데이터(123)에 기반하여, 다양한 목적을 위해 기계 학습 엔진(122)은 하나의 규칙, 알고리즘 및/또는 예측 모델(124) 세트를 생성하거나 훈련한다. 다음 알고리즘(124)을 자율 주행 동안 실시간으로 사용하기 위해 ADV에 업로드할 수 있다.
도 3a 및 도 3b는 일 실시형태에 따른 자율 주행 차량에 사용되는 감지 및 계획 시스템의 예시적 블록도이다. 시스템(300)은 도 1의 자율 주행 차량(101)의 일부분으로 구현될 수 있고, 감지 및 계획 시스템(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. 도 3a 내지 도 3b를 참조하면, 감지 및 계획 시스템(110)은 포지셔닝 모듈(301), 감지 모듈(302), 예측 모듈(303), 결정 모듈(304), 계획 모듈(305), 제어 모듈(306) 및 경로 배정 모듈(307)을 포함하지만 이에 한정되지 않는다.
모듈(301 내지 307) 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 모듈은 영구 저장 장치(352)에 장착될 수 있고 메모리(351)에 로딩될 수 있으며 하나 또는 다수의 프로세서(미도시)에 의해 실행될 수 있다. 유의해야 할 것은, 이러한 모듈 중의 일부 또는 전부는 도 2의 차량 제어 시스템(111)의 일부 또는 전부 모듈에 통신 연결되거나 또는 이와 통합될 수 있다. 모듈(301 내지 307) 중의 일부는 통합 모듈로 통합될 수 있다.
포지셔닝 모듈(301)은 자율 주행 차량(300)의 현재 위치(예를 들어, GPS 유닛(212)을 이용함)를 결정하고 사용자의 코스 또는 노선과 관련된 임의의 데이터를 관리한다. 포지셔닝 모듈(301)(지도 및 노선 모듈이라고도 함)은 사용자의 코스 또는 노선과 관련된 임의의 데이터를 관리한다. 사용자는 예를 들어 사용자 인터페이스를 통해 로그인하고 코스의 출발 위치와 목적지를 지정할 수 있다. 포지셔닝 모듈(301)은 자율 주행 차량(300)의 지도 및 노선 정보(311)와 같은 다른 부재와 통신되어 코스 관련 데이터를 획득한다. 예를 들어, 포지셔닝 모듈(301)은 위치 서버와 지도 및 POI(MPOI)서버로부터 위치 및 노선 정보를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 일부 위치의 POI를 제공함으로써, 지도 및 노선 정보(311)의 일부분으로 고속 캐싱될 수 있다. 자율 주행 차량(300)이 노선을 따라 이동하는 경우, 포지셔닝 모듈(301)은 또한 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 획득할 수 있다.
센서 시스템(115)에 의해 제공된 센서 데이터 및 포지셔닝 모듈(301)에 의해 획득된 포지셔닝 정보에 기반하여, 감지 모듈(302)은 주변 환경에 대한 감지를 결정한다. 감지 정보는 일반 운전자가 현재 운전하는 차량 주변에서 감지한 물체를 나타낼 수 있다. 감지는 예를 들어 객체 형태의 차선 구성, 신호등 신호, 다른 차량의 상대적 위치, 보행자, 건축물, 횡단보도 또는 다른 교통 관련 표지판(예를 들어, 정지 표지판, 양보 표지판) 등을 포함할 수 있다. 차선 구성은 차선의 형상(예를 들어, 직선 또는 곡선), 차선의 폭, 도로 중의 차선 개수, 일방 통행 또는 양방향 차선, 병합 또는 분할 차선, 출구 차선과 같은 하나 또는 다수의 차선을 설명하는 정보를 포함한다.
감지 모듈(302)은 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함할 수 있고, 하나 또는 다수의 카메라에 의해 수집된 이미지를 처리하고 분석함으로써, 자율 주행 차량 환경 중의 객체 및/또는 특징을 식별할 수 있다. 상기 객체는 교통 신호, 도로 경계, 다른 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 객체 식별 알고리즘, 비디오 추적 및 다른 컴퓨터 비전 기술을 사용할 수 있다. 일부 실시형태에서, 컴퓨터 비전 시스템은 환경 지도를 드로잉하고, 객체를 추적하며, 객체의 속도를 추정할 수 있다. 감지 모듈(302)은 또한 레이더 및/또는 LIDAR와 같은 다른 센서가 제공한 다른 센서 데이터에 기반하여 객체를 검출할 수 있다.
각각의 객체에 대해, 예측 모듈(303)은 객체가 이러한 상황에서 어떻게 움직일지를 예측한다. 예측은 감지 데이터에 기반하여 수행되고, 상기 감지 데이터는 하나의 세트의 지도/노선 정보(311) 및 교통 규칙(312)을 고려하는 시점에서 주행 환경을 감지한다. 예를 들어, 객체가 반대 방향의 차량이고 현재 주행 환경은 교차로를 포함하는 경우, 예측 모듈(303)은 차량이 직진 이동하는지 또는 회전하는지를 예측한다. 감지 데이터가 교차로에 신호등이 없음을 나타내는 경우, 예측 모듈(303)은 차량이 교차로에 진입하기전에 완전히 정지해야 한다고 예측할 수 있다. 감지 데이터가 차량이 현재 좌회전 전용 차선 또는 우회전 전용 차선에 있음을 나타내는 경우, 예측 모듈(303)은 차량이 각각 좌회전 또는 우회전 할 가능성이 높다고 예측할 수 있다.
각각의 객체에 대해, 결정 모듈(304)은 객체를 어떻게 처리할 것인지를 결정한다. 예를 들어, 특정 객체(예를 들어, 교차로에 있는 다른 차량) 및 객체를 설명하는 메타 데이터(예를 들어, 속도, 방향, 회전 각도)에 대해, 결정 모듈(304)은 상기 객체와 어떻게 마주(예를 들어, 추월, 양보, 정지, 패스)할 것인지를 결정한다. 결정 모듈(304)은 교통 규칙 또는 주행 규칙(312)과 같은 규칙 집합에 따라 해당 결정을 내릴 수 있고, 상기 규칙 집합은 영구 저장 장치(352)에 저장될 수 있다.
경로 배정 모듈(307)은 출발지에서 목적지까지 하나 또는 다수의 노선 또는 경로를 제공하도록 구성된다. 사용자로부터 수신된 주어진 코스와 같은 출발 위치에서 목적지 위치까지의 주어진 코스에 대해, 경로 배정 모듈(307)은 노선 및 지도 정보(311)를 획득하고, 출발 위치에서 목적지 위치에 도달 가능한 모든 노선 또는 경로를 결정한다. 경로 배정 모듈(307)은 지형도 형태의 참조 라인을 생성할 수 있고, 이는 출발 위치에서 목적지 위치에 도달하는 각각의 노선을 결정한다. 참조 라인은 다른 차량, 장애물 또는 교통 상황의 간섭이 없는 이상적인 노선 또는 경로를 의미한다. 즉, 도로에 다른 차량, 보행자 또는 장애물이 없는 경우, ADV는 참조 라인을 정확하게 또는 가깝게 따라야 한다. 다음, 지형도를 결정 모듈(304) 및/또는 계획 모듈(305)에 제공한다. 결정 모듈(304) 및/또는 계획 모듈(305)은 모든 가능한 노선을 검사하여, 다른 모듈에 의해 제공된 다른 데이터에 따라 가장 바람직한 노선 중의 하나를 선택 및 변경하고, 여기서 다른 데이터는 예를 들어 포지셔닝 모듈(301)로부터의 교통 상황, 감지 모듈(302)에 의해 감지된 주행 환경 및 예측 모듈(303)에 의해 예측된 교통 상황이다. 시점에서의 특정 주행 환경에 따라, ADV를 제어하기 위한 실제 경로 또는 노선은 경로 배정 모듈(307)에 의해 제공된 참조 라인에 가깝거나 다를 수 있다.
감지된 객체 중의 각각의 결정에 기반하여, 계획 모듈(305)은 경로 배정 모듈(307)에 의해 제공된 참조 라인을 기초로, 자율 주행 차량을 위해 경로 또는 노선 및 주행 파라미터(예를 들어, 거리, 속도 및/또는 회전 각도)를 계획한다. 즉, 주어진 객체에 대해, 결정 모듈(304)은 상기 객체에 대해 무엇을 할 것인지를 결정하고, 계획 모듈(305)은 어떻게 할 것인지를 결정한다. 예를 들어, 주어진 객체에 대해 결정 모듈(304)은 상기 객체를 패스하는 것으로 결정할 수 있고, 계획 모듈(305)은 상기 객체의 왼쪽으로 아니면 오른쪽으로 패스할 것인지를 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)에 의해 생성되고, 차량(300)이 다음 이동 주기(예를 들어, 다음 노선/경로 세그먼트)에서 어떻게 이동할 것인지를 설명하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는 차량(300)이 시간당 30마일(mph)의 속도로 10 m 이동한 후 25 mph의 속도로 오른쪽 차선으로 변경하도록 지시할 수 있다.
계획 및 제어 데이터에 기반하여, 제어 모듈(306)은 계획 및 제어 데이터에 의해 한정된 노선 또는 경로에 따라 적절한 명령 또는 신호를 차량 제어 시스템(111)에 송신하여 자율 주행 차량을 제어 및 주행한다. 상기 계획 및 제어 데이터는 충분한 정보를 포함하고, 경로 또는 노선을 따라 상이한 시점에서 적절한 차량 설정 또는 주행 파라미터(예를 들어, 스로틀, 제동, 조향 명령)를 사용하여 차량이 노선 또는 경로의 제1 지점에서 제2 지점까지 주행하도록 한다.
일 실시형태에서, 계획 단계는 다수의 계획 주기(주행 주기라고도 함)에서 수행되고, 예를 들어 시간 간격이 각각 100밀리초(ms)인 주기에서 수행된다. 계획 주기 또는 주행 주기 중의 매 하나에 대해, 계획 및 제어 데이터에 기반하여 하나 또는 다수의 제어 명령을 송신한다. 즉, 100 ms마다 계획 모듈(305)은 다음 노선 세그먼트 또는 경로 세그먼트를 계획하고, 예를 들어 타깃 위치 및 ADV가 타깃 위치에 도달하는데 필요한 시간을 포함한다. 대체 가능하게, 계획 모듈(305)은 또한 구체적인 속도, 방향 및/또는 조향 각도 등을 지정할 수 있다. 일 실시형태에서, 계획 모듈(305)은 다음 기설정 시간대(예를 들어, 5초)를 위해 노선 세그먼트 또는 경로 세그먼트를 계획한다. 각각의 계획 주기에 대해, 계획 모듈(305)은 바로 전의 주기에서 계획한 타깃 위치에 기반하여 현재 주기(예를 들어, 다음 5초)를 위한 타깃 위치를 계획한다. 그후, 제어 모듈(306)은 현재 주기의 계획 및 제어 데이터에 기반하여 하나 또는 다수의 제어 명령(예를 들어, 스로틀, 제동, 조향 제어 명령)을 생성한다.
유의해야 할 것은, 결정 모듈(304) 및 계획 모듈(305)은 통합 모듈로 통합될 수 있다. 결정 모듈(304)/계획 모듈(305)은 자율 주행 차량의 주행 경로를 결정하기 위해 내비게이션 시스템 또는 내비게이션 시스템의 기능을 포함할 수 있다. 예를 들어, 내비게이션 시스템은 자율 주행 차량이 이하 경로를 따라 이동하는데 영향을 주는 일련의 속도 및 전진 방향을 결정할 수 있는 바, 상기 경로는 자율 주행 차량이 차로에 기반한 최종 목적지로 가는 경로를 따라 전진하는 동시에 감지된 장애물을 기본적으로 피할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통해 수행되는 사용자의 입력에 따라 설정될 수 있다. 내비게이션 시스템은 자율 주행 차량이 운행되는 동시에 동적으로 주행 경로를 업데이트할 수 있다. 내비게이션 시스템은 자율 주행 차량의 주행 경로를 결정하기 위해 GPS 시스템 및 하나 또는 다수의 지도로부터의 데이터를 병합할 수 있다.
도 4는 일 실시형태에 따른 자율 주행을 위한 시스템 아키텍처의 블록도이다. 시스템 아키텍처(400)는 도 3a 및 도 3b에서 도시된 자율 주행 시스템의 시스템 아키텍처를 나타낼 수 있다. 도 4를 참조하면, 시스템 아키텍처(400)는 애플리케이션 층(401), 계획 및 제어(PNC) 층(402), 감지 층(403), 구동 프로그램 층(404), 펌웨어 층(405) 및 하드웨어 층(406)을 포함하지만 이에 한정되지 않는다. 애플리케이션 층(401)은 자율 주행 차량의 ADV의 사용자 또는 승객과 인터랙션하는 사용자 인터페이스 또는 구성 애플리케이션 프로그램을 포함할 수 있는 바, 예를 들어 사용자 인터페이스 시스템(113)과 관련되는 기능이다. PNC 층(402)은 적어도 계획 모듈(305) 및 제어 모듈(306)의 기능을 포함할 수 있다. 감지 층(403)은 적어도 감지 모듈(302)의 기능을 포함할 수 있다. 일 실시형태에서, 예측 모듈(303) 및/또는 결정 모듈(304)의 기능을 포함하는 부가층이 존재한다. 대체 가능하게, 해당 기능은 PNC 층(402) 및/또는 감지 층(403)에 포함될 수 있다. 시스템 아키텍처(400)는 구동 프로그램 층(404), 펌웨어 층(405) 및 하드웨어 층(406)을 더 포함한다. 펌웨어 층(405)은 적어도 센서 시스템(115)의 기능을 나타낼 수 있고, 이는 필드 프로그래머블 게이트 어레이(FPGA)의 형태로 구현될 수 있다. 하드웨어 층(406)은 제어 시스템(111)과 같은 자율 주행 차량의 하드웨어를 나타낼 수 있다. 층(401) 내지 층(403)은 장치 구동 프로그램 층(404)을 통해 펌웨어 층(405) 및 하드웨어 층(406)과 통신할 수 있다.
도 5a는 본 발명의 일 실시형태에 따른 센서 시스템의 예시적 블록도이다. 도 5a를 참조하면, 센서 시스템(115)은 다수의 센서(510) 및 호스트 시스템(110)에 접속되는 센서 유닛(314)을 포함한다. 호스트 시스템(110)은 상술한 바와 같은 계획 및 제어 시스템을 나타내고, 이는 도 3a 및 도 3b에 도시된 모듈 중의 적어도 일부를 포함할 수 있다. 센서 유닛(314)은 FPGA장치 또는 ASIC(전용 직접회로) 장치의 형태로 구현될 수 있다. 일 실시형태에서, 센서 유닛(314)은 이외에 하나 또는 다수의 센서 데이터 처리 모듈(501)(센서 처리 모듈이라고도 함), 데이터 전송 모듈(502) 및 센서 제어 모듈 또는 논리(503)를 더 포함한다. 모듈(501) 내지 모듈(503)은 센서 인터페이스(504)를 통해 센서(510)와 통신할 수 있고, 호스트 인터페이스(505)를 통해 호스트 시스템(110)과 통신할 수 있다. 선택 가능하게, 내부 또는 외부 버퍼(506)를 사용하여 처리할 데이터를 버퍼링할 수 있다.
일 실시형태에서, 수신 경로 또는 업스트림 방향에 대해, 센서 처리 모듈(501)은 센서 인터페이스(504)를 통해 센서로부터 센서 데이터를 수신하고 센서 데이터(예를 들어, 포맷 변환, 오류 검사)를 처리하도록 구성되며, 상기 센서 데이터는 버퍼(506)에 임시로 저장될 수 있다. 데이터 전송 모듈(502)은 호스트 인터페이스(505)와 호환되는 통신 프로토콜을 사용하여 처리된 데이터를 호스트 시스템(110)에 전송하도록 구성된다. 유사하게, 전달 경로 또는 다운스트림 방향에 대해, 데이터 전송 모듈(502)은 호스트 시스템(110)으로부터 데이터 또는 명령을 수신하도록 구성된다. 다음, 데이터는 센서 처리 모듈(501)에 의해 대응되는 센서와 호환되는 포맷으로 처리된다. 그후 처리된 데이터를 센서에 전달한다.
일 실시형태에서, 센서 제어 모듈 또는 논리(503)는 호스트 인터페이스(505)를 통해 호스트 시스템(예를 들어, 감지 모듈(302))으로부터 수신된 명령에 응답하여 센서(510)의 일부 동작을 제어하도록 구성되고, 예를 들어 센서 데이터를 포착하는 타이밍을 활성화한다. 호스트 시스템(110)은 센서(510)를 협력 및/또는 동기화된 방식으로 센서 데이터를 포착하도록 구성할 수 있고, 임의의 시점에서 센서 데이터를 이용하여 차량 주변의 주행 환경을 감지할 수 있도록 한다.
센서 인터페이스(504)는 이더넷, USB(Universal Serial Bus), LTE(Long Term Evolution) 또는 셀룰러, WiFi, GPS, 카메라, CAN, 직렬(예를 들어, 만능 비동기 송수신기 또는 UART), SIM(가입자 식별 모듈) 카드 및 다른 범용 입력/출력(GPIO) 인터페이스 중의 하나 또는 다수를 포함할 수 있다. 호스트 인터페이스(505)는 PCIe(Peripheral Component Interconnect 또는 PCI 고속) 인터페이스와 같은 임의의 고속 또는 고대역폭 인터페이스일 수 있다. 센서(510)는 카메라, LIDAR 장치, RADAR(레이더) 장치, GPS 수신기, IMU, 초음파 센서, GNSS(범지구 위성 항법 시스템) 수신기, LTE 또는 셀룰러 SIM 카드, 차량 센서(예를 들어, 스로틀, 제동기, 조향 센서) 및 시스템 센서(예를 들어, 온도, 습도, 압력 센서)와 같은 자율 주행 차량에 사용되는 다양한 센서를 포함할 수 있다.
예를 들어, 카메라는 이더넷 또는 GPIO 인터페이스를 통해 접속될 수 있다. GPS 센서는 USB 또는 특정 GPS 인터페이스를 통해 접속될 수 있다. 차량 센서는 CAN 인터페이스를 통해 접속될 수 있다. RADAR 센서 또는 초음파 센서는 GPIO 인터페이스를 통해 접속될 수 있다. LIDAR 장치는 이더넷 인터페이스를 통해 접속될 수 있다. 외부 SIM 모듈은 LTE 인터페이스를 통해 접속될 수 있다. 유사하게, 내부 SIM 모듈을 센서 유닛(314)의 SIM 슬롯에 삽입할 수 있다. 디버깅 목적으로 UART와 같은 직렬 인터페이스를 콘솔 시스템에 접속시킬 수 있다.
유의해야 할 것은, 센서(510)는 임의의 종류의 센서일 수 있고, 다양한 판매 업체 또는 공급 업체에 의해 제공될 수 있다. 센서 처리 모듈(501)은 다른 유형의 센서 및 이에 상응한 데이터 포맷과 통신 프로토콜을 처리하도록 구성된다. 일 실시형태에 따르면, 센서(510) 중의 각각은, 센서 데이터를 처리하고 처리된 센서 데이터를 호스트 시스템(110)과 대응되는 센서 간에 전송하는 구체적인 채널과 관련된다. 각각의 채널은 구체적 센서 처리 모듈 및 구체적 데이터 전송 모듈을 포함하고, 이러한 모듈은 대응되는 센서 데이터 및 프로토콜을 처리하도록 이미 구성되거나 또는 프로그래밍되고, 5b에 도시된 바와 같다.
도 5b를 참조하면, 센서 처리 모듈(501A) 내지 센서 처리 모듈(501C)은 구체적으로 각각 센서(510A) 내지 센서(510C)로부터 획득된 센서 데이터를 처리하도록 구성된다. 유의해야 할 것은, 센서(510A) 내지 센서(510C)는 동일하거나 또는 상이한 유형의 센서일 수 있다. 센서 처리 모듈(501A) 내지 센서 처리 모듈(501C)은 상이한 유형의 센서에 사용되는 상이한 센서 프로세스를 처리하도록 구성(예를 들어, 소프트웨어는 구성 가능함)될 수 있다. 예를 들어, 센서(510A)가 카메라인 경우, 처리 모듈(501A)은 카메라(510A)에 의해 포착된 이미지를 나타내는 구체적 픽셀 데이터에 대해 픽셀 처리 동작을 실행하도록 구성될 수 있다. 유사하게, 센서(510A)가 LIDAR 장치인 경우, 처리 모듈(501A)은 특별히 LIDAR 데이터를 처리하도록 구성된다. 즉, 일 실시형태에 따르면 구체적 센서의 구체적 유형에 따라, 이에 대응되는 처리 모듈은 센서 데이터의 유형에 대응되는 구체적 프로세스 또는 방법을 사용하여 대응되는 센서 데이터를 처리하도록 구성될 수 있다.
유사하게, 데이터 전송 모듈(502A) 내지 데이터 전송 모듈(502C)은 상이한 모드로 작동하도록 구성될 수 있는데, 상이한 종류의 센서 데이터는 상이한 크기 또는 감도를 가질 수 있으므로, 이 또한 상이한 속도 또는 타이밍을 요구한다. 일 실시형태에 따르면, 데이터 전송 모듈(502A) 내지 데이터 전송 모듈(502C) 중의 각각은 낮은 지연 모드, 고대역폭 모드 및 메모리 모드(고정 메모리 모드라고도 함) 중의 하나로 작동하도록 구성될 수 있다.
낮은 지연 모드로 작동될 때, 일 실시형태에 따르면 데이터 전송 모듈(예를 들어, 데이터 전송 모듈(502))은 지연이 없거나 또는 지연이 가장 작은 경우에 센서로부터 수신된 센서 데이터를 호스트 시스템에 빠르게 송신하도록 구성된다. 센서 데이터 중의 일부는 타이밍 측면에서 매우 민감하므로 가능한 빨리 처리해야 한다. 해당 센서 데이터의 예로는 차량 속도, 가속도, 조향 각도와 같은 차량 상태를 포함한다.
고대역폭 모드로 작동될 때, 일 실시형태에 따르면 데이터 전송 모듈(예를 들어, 데이터 전송 모듈(502))은 센서로부터 수신된 센서 데이터를 기설정량까지 축적하도록 구성되지만, 여전히 데이터 전송 모듈과 호스트 시스템(110) 사이의 연결 대역폭 내에 있다. 그후 축적된 센서 데이터는 데이터 전송 모듈과 호스트 시스템(110) 간의 연결 대역폭을 최대화하는 배치로 호스트 시스템(110)에 전송된다. 통상적으로, 고대역폭 모드는 많은 센서 데이터를 생성하는 센서에 사용된다. 해당 센서 데이터의 예로는 카메라 픽셀 데이터를 포함한다.
메모리 모드로 작동될 때, 일 실시형태에 따르면 데이터 전송 모듈은 센서로부터 수신된 센서 데이터를 호스트 시스템(110)의 매핑된 메모리의 메모리 위치에 직접 기입하도록 구성되고, 이는 공유 메모리 페이지와 흡사하다. 메모리 모드를 사용하여 전송된 센서 데이터의 예로는 온도, 팬 속도와 같은 시스템 상태 데이터를 포함한다.
다항식 최적화 또는 다항식 피팅이라는 용어는 다항식 함수(예를 들어, 5차 또는 4차 다항식 함수)로 나타내는 곡선의 형상(이 예에서는, 궤적)에 대해 최적화하는 것을 의미하고, 상기 곡선이 곡선을 따라 연속(예를 들어, 인접한 두 세그먼트의 연결점에서 미분을 획득할 수 있음)되도록 한다. 자율 주행 분야에서, 시작점에서 종점까지의 다항식 곡선을 다수의 세그먼트(또는 조각)로 분할하고, 각각의 세그먼트는 하나의 제어점(또는 참조점)에 대응된다. 이런 분할의 다항식 곡선을 조각적 다항식이라고 한다. 조각적 다항식을 최적화하는 경우, 하나의 초기 상태 제약 및 최종 상태 제약 세트의 조합 외에, 인접한 두 세그먼트 사이의 하나의 조인트 제약 세트와 하나의 경계 제약 세트를 만족시켜야 한다.
하나의 조인트 제약 세트에는 위치(x, y), 속도, 전진 방향이 포함되고, 인접한 세그먼트의 가속도는 동일해야 한다. 예를 들어, 첫 번째 세그먼트(예를 들어, 앞 세그먼트)의 종료 위치 및 두 번째 세그먼트(예를 들어, 뒷 세그먼트)의 시작 위치는 동일하거나 또는 기설정된 근접 범위 내에 있어야 한다. 첫 번째 세그먼트의 종료 위치의 속도, 전진 방향과 가속도 및 두 번째 세그먼트의 시작 위치의 상응한 속도, 전진 방향과 가속도는 동일하거나 또는 기설정된 범위 내에 있어야 한다. 이 밖에, 각각의 제어점은 미리 정의된 경계와 관련(예를 들어, 제어점을 둘러싸는 좌우 0.2 m)된다. 다항식 곡선은 이에 대응되는 경계 내의 각각의 제어점을 통과해야 한다. 최적화 기간에 이 두 세트의 제약을 만족시키는 경우, 궤적을 나타내는 다항식 곡선은 평활적이고 연속적이어야 한다.
센서 동기화 검증
도 6은 일 실시형태에 따른 자율 주행 차량 중의 센서 동기화를 검증하기 위한 예시적 시스템(600)을 도시한다.
도 6에 도시된 바와 같이, 센서 동기화 검증 모듈(602)은 호스트 인터페이스(505)를 통해 센서(510)에 의해 수집된 원시 센서 데이터를 수신할 수 있다. 상술한 바와 같이, 호스트 시스템(110)은 센서(510)를 협력 및/또는 동기화된 방식으로 센서 데이터를 포착하도록 구성할 수 있고, 임의의 시점에서 센서 데이터를 이용하여 차량 주변의 주행 환경을 감지할 수 있도록 한다. 센서 동기화 검증 모듈(602)에 의해 수신된 센서 데이터는 호스트 시스템(110)이 주변 객체 및 환경을 검출하기 위해 사용되는 센서 데이터와 동일할 수 있다.
센서 시스템(115)은 하드웨어 센서(510), 및 센서(510)에 의해 수집된 센서 데이터를 송신, 처리, 관리 및 동기화하는 소프트웨어 부재 및 하드웨어를 포함한다. 따라서, 센서 시스템(115)으로부터의 센서 데이터 동기화를 검증할 때, 센서 동기화 검증 모듈(602)은 시스템 레벨에서 센서 데이터 동기화를 검증할 수 있다. 임의의 센서(510)로부터의 센서 데이터가 하나 또는 다수의 다른 센서와 동기화되지 않는다면, 센서 동기화 검증 모듈은 하나 또는 다수의 기설정 임계값에 따라 센서 시스템(115)이 오류가 생겼음을 결정할 수 있다. 상기 오류는 사용자가 시각적으로 센서 시스템에 개선이 필요한지를 결정하기 위해 다양한 그래프, 도면 및 차트로 그래픽 사용자 인터페이스(605)에 나타날 수 있다.
도 7은 일 실시형태에 따른 자율 주행 차량 중의 센서 동기화를 검증하기 위한 예시적 시스템(600)을 더 도시한다.
도 7에 도시된 바와 같이, 센서 동기화 검증 모듈(602)은 센서 유닛(314)으로부터의 원시 센서 데이터(701)를 검증하기 위한 알고리즘을 구현할 수 있다. 본문에서 사용된 바와 같이, 일 실시형태에서 센서 데이터를 동기화하는 작업은, 센서(510)로부터 하나의 데이터 포인트 세트를 수신하고; 상기 데이터 포인트 세트에 하나 또는 다수의 타임 스탬프 값을 할당하며; 상기 데이터 포인트 세트 및 이에 할당된 타임 스탬프 값을 집계 센서 데이터 집합에 집계하는 작업을 포함하고, 상기 집계 센서 데이터 집합은 특정 시간대 내 데이터 포인트의 집합을 나타낸다.
센서 유닛(314)으로부터의 원시 센서 데이터(701)는 동기화된 센서 데이터일 수 있다. 기설정 알고리즘을 사용하여 동기화된 센서 데이터를 분석하고, 센서 동기화 검증 모듈(602)은 센서가 동기화된 것으로 결정할 수 있다.
도 7에 더 도시된 바와 같이, 센서 동기화 검증 모듈(602)은 원시 센서 데이터(701)에 대해 전처리(707)를 수행할 수 있고, 전처리는 분실된 센서 데이터를 찾고, 오류 데이터를 검출하며, 이 두가지 데이터를 복구하는 것을 포함한다. 그후 센서 동기화 검증 모듈(602)은 다수의 센서로부터의 센서 데이터를 사용하여 경계 박스를 생성(709)할 수 있다. 예를 들어, 센서 동기화 검증 모듈(602)은 다수의 현재 스레드 중의 하나에서 하나의 명령을 실행할 수 있고, 카메라로부터의 센서 데이터를 사용하여 타깃 객체를 둘러싸는 2-D 경계 박스, 및 LiDAR 장치로부터의 센서 데이터를 사용하여 타깃 객체를 둘러싸는 3-D 경계 박스를 생성하도록 한다.
센서 동기화 검증 모듈(602)은 다수의 공존하는 스레드 중의 다른 하나에서 다른 하나의 명령 세트를 실행할 수 있고, 타임 스탬프 처리 유닛(703)을 사용하여 원시 센서 데이터로부터 타임 스탬프를 추출하고, 원시 센서 데이터로부터 추출한 타임 스탬프에 따라, 원시 센서 데이터에 기반하여 정확도 맵을 생성(705)하도록 한다.
일 실시형태에서, 정확도 맵은 LiDAR 장치로부터의 센서 데이터 및 롤링 셔터 카메라로부터의 센서 데이터를 나타낼 수 있다. 정확도 맵은 카메라에 의해 포착된 이미지를 나타낼 수 있고, LiDAR 장치의 수직 스캔 라인, 롤링 셔터 카메라의 수평 스캔 라인 및 LiDAR 장치와 카메라 사이의 포착 타임 스탬프 차이를 나타낼 수 있다.
롤링 셔터 카메라로서, 카메라는 타깃 객체의 이미지 프레임을 점차적으로 노출할 수 있다. 노출 횟수는 이미지 프레임 중의 라인 개수와 같다. 각 프레임 라인은 이미지 프레임 중의 한 행의 픽셀을 나타낸다. 프레임 라인은 동일한 간격의 평행선일 수 있고, 이들 사이에는 고정된(예를 들어, 3 밀리초) 오프셋이 있다. 카메라는 트리거 지연 파라미터를 더 구비할 수 있고, 이는 주어진 트리거 신호와 이미지 포착 사이의 지연을 나타낸다. 트리거 지연은 양수, 0 또는 음수일 수 있다. 트리거 지연이 0이면, 카메라는 트리거 신호 직후 측정 보드 이미지의 제1 프레임 라인 촬영을 시작할 수 있다. 트리거 지연이 음수이면, 카메라는 트리거 신호 전에 측정 보드 이미지의 제1 프레임 라인 촬영을 시작할 수 있다. 트리거 지연이 양수이면, 카메라는 트리거 지연의 지정된 시간이 지연 후 측정 보드 이미지의 제1 프레임 라인 촬영을 시작할 수 있다.
일 실시형태에서, 카메라와 LiDAR 장치는 정렬되고, 여기서 카메라의 이미지 중심은 LiDAR 장치의 시야(FOV) 중심과 매칭된다. LiDAR 장치의 FOV와 카메라의 이미지 중심은 모두 고정된 것일 수 있다. 따라서, 기본적으로 LiDAR 장치와 카메라는 카메라의 이미지 중심에서 동기화된다. 그러나, 센서 구성(702)은 LiDAR 장치가 현재 검출하는 타깃 객체의 유형에 기반하여 LiDAR 장치와 카메라가 동기화되어야 하는 위치를 구성할 수 있다. ADV가 현재 실시간 환경에서 이동할 때, 센서 구성(702)은 호스트 시스템(110)에 의해 동적으로 변경될 수 있다.
일 실시형태에서, 센서 구성(702)은 LiDAR 장치의 타깃 영역 및 카메라의 대응되는 트리거 지연을 지정할 수 있고, 이는 카메라와 LiDAR 장치 사이의 동기점이 센서 구성(702)에서 지정된 타깃 영역과 매칭되도록 한다.
예를 들어, 실시간 주행에서 자율 주행 차량(101)이 빨간 신호등에서 대기 중일 때, LiDAR 장치의 타깃 영역은 카메라의 이미지 중심의 상방에 있을 수 있다. LiDAR 장치가 다른 차량을 검출할 때, LiDAR 장치의 타깃 영역은 카메라의 이미지 중심에 위치할 수 있다.
카메라의 프레임 라인 사이에 주어진 트리거 지연 및/또는 주어진 타임 오프셋이 있는 경우, 카메라가 상이한 시점의 타깃 객체의 특정 영역에서 LiDAR장치의 스캔 라인을 포착할 수 있다. 카메라가 LiDAR 스캔 라인을 포착하는 영역은 동기점이고, 상기 동기점에서, LiDAR 장치 및 카메라는 동시에 타깃 객체의 데이터를 포착한다.
일 실시형태에서, 센서 동기화 검증 모듈(602)은 정확도 맵의 분석(711)을 수행하기 위해 분석 부재를 호출할 수 있으며, 동적으로 변경되는 센서 구성(702)에 기반하여 LiDAR 장치와 카메라가 예상한 타깃 영역에서 동기화되는지를 결정할 수 있다.
예를 들어, 분석 부재는 훈련된 신경망을 사용하여 모드 식별과 분류를 수행할 수 있다. 훈련된 신경망은 또한 2-D 경계 박스와 3-D경계 박스의 매칭 여부를 검증할 수 있고; 매칭되지 않으면, 센서 구성(702)에 기반하여 매칭되지 않은 부분이 예상되는지를 검증할 수 있다. 이 밖에, 신경망 모델은 경계 박스와 정확도 맵을 비교하여, 경계 박스 사이의 임의의 매칭되지 않은 부분이 정확도 맵에서의 영역에 대응되는지를 결정할 수 있고, 여기서 LiDAR 장치의 스캔 라인과 카메라의 프레임 라인 사이의 포착 타임 스탬프는 차이가 존재한다. 요약 분석의 최종 결과(713)는 그래픽 사용자 인터페이스(605)에 나타날 수 있다.
도 8a 및 도 8b는 일부 실시형태에 따른 예시적 정확도 맵을 도시한다.
도 8a에서, 예시적 정확도 맵은 센서 A 스캔 라인(810), 센서 B 프레임 라인(802)의 분포, 및 센서 A 스캔 라인과 센서 B 프레임 라인 사이의 포착 타임 스탬프 차이를 도시한다. 센서 A는 LIDAR 장치일 수 있고, 센서 B는 롤링 셔터 카메라일 수 있다. 정확도 맵은 센서 B에 의해 포착된 이미지일 수 있다. 상기 예시에서, 센서 A는 왼쪽에서 오른쪽으로 수평 스캔을 수행하여 수직 스캔 라인(810)을 생성하도록 구성되고, 센서 B는 위에서 아래로 수직 스캔을 수행하여 수평 프레임 라인(802)을 생성하도록 구성된다. 인접한 두 LiDAR 스캔 라인 사이에는 주어진 타임 오프셋(예를 들어, 5밀리초)이 존재할 수 있다. 유사하게, 인접한 두 카메라 프레임 라인 사이에는 주어진 타임 오프셋(예를 들어, 6밀리초)이 존재할 수 있다.
센서 A와 센서 B는 서로 정렬되도록 구성되고, 여기서 센서 A의 시야 중심과 센서 B의 이미지 중심은 매칭된다. 따라서, 기본적으로 센서 A와 센서 B는 센서 B의 이미지 중심에서 동기화된다. 그러나, 센서 B의 트리거 지연 파라미터의 조절을 통해, 타깃 영역(즉, 관심 영역 또는 ROI)에 따라 센서 A와 센서 B가 센서 B의 이미지 중심의 상방 또는 하방의 위치에서 동기화되도록 한다.
예를 들어, 도 8a에서 타깃 영역은 센서 B의 이미지 중심에 있다. 실시간 주행 환경에서, 센서 A가 자체 ADV에 장착된 센서 A의 높이와 유사한 타깃 객체(예를 들어, 다른 차량 또는 다른 객체)를 스캔할 때, 이런 경우가 발생할 수 있다. 따라서, 센서 A와 센서 B 사이의 동기점(811)은 센서 B의 이미지 중심에 위치할 수 있다.
도 8a에 더 도시된 바와 같이, 영역 C(805)에서 센서 A와 센서 B 사이의 포착 타임 스탬프 차이는 t0 내지 t1밀리초의 범위 내에 있다. 일 예시에서, 동기점(811)에서 센서 A와 센서 B는 동시에 타깃 객체를 포착할 수 있고, 여기서 포착 타임 스탬프의 차이는 0이며; 영역 C(805)의 다른 부분에서 센서 A와 센서 B 사이의 포착 타임 스탬프 차이는 최대 t1밀리초 벗어날 수 있다.
이미지의 중심에서 멀어질수록 센서 A와 센서 B 사이의 포착 타임 스탬프 차이는 커진다. 예를 들어, 영역 A(801)와 영역 E(809)에서 포착 타임 스탬프 차이는 t2 내지 t3밀리초일 수 있고; 영역 B(803)와 영역 D(807)에서 포착 타임 스탬프 차이는 t1 내지 t2밀리초일 수 있다.
도 8b에서, 도 8a에 도시된 동일한 센서 A와 센서 B는 동기점(823)에서 서로 동기화되고, 상기 동기점(823)은 센서 B의 이미지 중심의 하방의 200개의 카메라 프레임 라인이다. 따라서, 영역 I(817)에서 포착 타임 스탬프 차이는 t0 내지 t1밀리초이다. 동기점(823)에서 더 멀리 떨어진 영역은 포착 타임 스탬프 차이 측면에서 더 큰 차이가 있을 수 있다. 예를 들어, 영역 H(816) 및 영역 J(819)에서, 포착 타임 스탬프 차이는 t1 내지 t2밀리초일 수 있고; 영역 G(815) 및 영역 K(821)에서, 포착 타임 스탬프 차이는 t2 내지 t3밀리초일 수 있으며; 영역 F(813)에서, 포착 타임 스탬프 차이는 t3 내지 t4밀리초일 수 있다.
도 9는 일 실시형태에 따른 타깃 객체를 둘러싸는 예시적 경계 박스를 도시한다.
예시적인 예에서, 타깃 객체(824)를 둘러싸는 2-D 경계 박스 ABCD(825)는 카메라로부터의 센서 데이터에 기반하여 생성될 수 있고, 타깃 객체(824)를 둘러싸는 3-D 경계 박스 EFGHIJKL(826)은 LiDAR 장치로부터의 센서 데이터에 기반하여 생성될 수 있다.
일 실시형태에서, 검증 모듈(602)과 같은 센서 동기화 검증 모듈은 하나의 센서 데이터 세트를 사용하여 경계 박스(825), 경계 박스(826) 및 도 8a 중의 정확도 맵을 생성할 수 있다. 따라서, 센서 동기화 검증 모듈은 경계 박스(825), 경계 박스(826) 및 정확도 맵을 비교할 수 있고, 도 8a에서 도시된 포착 타임 스탬프 차이를 통해 임의의 매칭되지 않은 부분(예를 들어, 영역 M(827))을 해석할 수 있는지를 결정할 수 있다. 매칭되지 않은 부분이 타임 스탬프 차이가 큰 하나 또는 다수의 영역에 대응되면, 센서 동기화 검증 모듈은 LiDAR 장치와 카메라가 동기화된 것을 결정할 수 있다.
도 10은 일 실시형태에 따른 자율 주행 차량 중의 센서 동기화를 검증하는 예시적 프로세스(1000)를 도시한다. 프로세스(1000)는 처리 논리에 의해 수행될 수 있고, 상기 처리 논리는 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있다. 예를 들어, 프로세스(1000)는 도 6 및 도 7에서 설명되는 센서 동기화 검증 모듈(602)에 의해 수행될 수 있다.
도 10을 참조하면, 동작(1001)에서 처리 논리는 ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하고, 상기 원시 센서 데이터는 ADV의 주변 환경 중의 타깃 객체를 설명한다. 동작(1002)에서, 처리 논리는 원시 센서 데이터로부터 추출한 타임 스탬프에 따라, 원시 센서 데이터에 기반하여 정확도 맵을 생성한다. 동작(1003)에서, 처리 논리는 원시 센서 데이터를 사용하여 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성한다. 동작(1004)에서, 처리 논리는 하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 제1 경계 박스, 제2 경계 박스 및 정확도 맵에 대해 분석을 수행하여, 제1 센서와 제2 센서의 동기화 여부를 결정한다.
상술한 설명에서 도시되고 설명된 부재 중 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합에서 구현될 수 있음에 유의해야 한다. 예를 들어, 해당 부재는 영구 저장 장치 중의 소프트웨어에 실장 및 저장되도록 구현될 수 있으며, 상기 소프트웨어는 프로세서(미도시)를 통해 메모리에 로딩되고 메모리에서 실행되어 본 발명에 따른 프로세스 또는 작동을 구현할 수 있다. 대체 가능하게, 해당 부재는 또는 전용 하드웨어(예를 들어, 집적 회로(예를 들어, 전용 직접회로 또는 ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA))에 프로그래밍 또는 임베디드되는 실행 가능 코드로 구현될 수 있으며, 상기 실행 가능 코드는 애플리케이션으로부터의 대응되는 구동 순서 및/또는 운영 체제에 의해 액세스될 수 있다. 이 밖에, 해당 부재는 하나 또는 다수의 특정 명령을 통해 소프트웨어 부재에 의해 액세스될 수 있는 명령 세트의 일부로서 프로세서 또는 프로세서 코어에서 특정 하드웨어 논리로 구현될 수 있다.
전술한 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 부호 표시에 따라 나타난다. 이러한 알고리즘의 설명과 표시는 데이터 처리 분야의 당업자가 작업 내용을 본 본야의 다른 기술자에게 가장 효과적으로 전달하기 위해 사용되는 방식이다. 본문에서, 알고리즘은 통상적으로 기대하는 결과를 가져오는 일관된 동작 시퀀스인 것으로 간주된다. 이러한 작동은 물리량에 대해 물리적으로 작동 및 제어해야 하는 작동을 가리킨다.
그러나 모든 이러한 유사한 용어는 적절한 물리량과 관련되도록 의도된 것이며, 단지 이러한 양에 응용되기 위한 간편한 표기일 뿐이다. 이상 논의에서 달리 명시되지 않는 한, 명세서 전체에서, 용어(청구범위에 기술된 용어와 같음)를 이용하여 진행한 논의는 컴퓨터 시스템 또는 유사 전자 계산 장치의 동작 및 처리를 가리키는 것으로 이해해야 하며, 상기 컴퓨터 시스템 또는 전자 계산 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표시되는 데이터를 조절하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 유형의 정보 저장 장치, 전송 또는 디스플레이 장치 내 유사하게 물리량으로 표시되는 다른 데이터로 변환시킨다.
본 발명의 실시형태는 또한 본문에서의 동작을 수행하기 위한 장치에 관한 것이다. 이러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장된다. 기계 판독 가능 매체는 기계(예를 들어, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 기계 판독 가능(예를 들어, 컴퓨터 판독 가능) 매체는 기계(예를 들어, 컴퓨터) 판독 가능 저장 매체(예를 들어, 판독 전용 메모리(“ROM”), 랜덤 액세스 메모리(“RAM”), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 장치)를 포함한다.
전술한 도면에 도시된 프로세스 또는 방법은 하드웨어(예를 들어, 회로, 전용 논리 등), 소프트웨어(예를 들어, 비일시적 컴퓨터 판독 가능 매체에 구현됨) 또는 이들의 조합을 포함하는 처리 논리에 의해 수행될 수 있다. 상기 프로세스 또는 방법이 일부 순차적 동작에 의해 설명되었지만, 상기 작동 중 일부는 상이한 순서에 따라 수행될 수 있음을 이해해야 한다. 이 밖에, 일부 작동은 순차적이 아니라 병렬로 수행될 수 있다.
본 발명의 실시형태는 임의의 특정 프로그래밍 언어를 참조하여 설명된 것이 아니다. 다양한 프로그래밍 언어를 사용하여 본문에 기술된 바와 같이 본 발명의 실시형태의 시사를 구현할 수 있음을 이해해야 한다.
상기 명세서에서, 본 발명의 구체적인 예시적 실시형태를 참조하여 본 발명의 실시형태를 설명한다. 청구범위에 기술된 본 발명의 보다 광범위한 사상 및 범위를 벗어나지 않으면서 본 발명에 대해 다양한 수정을 진행할 수 있음은 자명한 것이다. 따라서, 본 명세서와 도면은 한정적 의미가 아닌 설명적 의미로 이해되어야 한다.

Claims (21)

  1. 자율 주행 차량(ADV) 중의 센서 동기화를 분석하는 컴퓨터 구현 방법으로서,
    상기 ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하는 단계 - 상기 원시 센서 데이터는 상기 ADV의 주변 환경 중의 타깃 객체를 설명함 - ;
    상기 원시 센서 데이터 및 상기 원시 센서 데이터로부터 추출한 상기 제1 센서의 제1 타임 스탬프 및 상기 제2 센서의 제2 타임 스탬프에 기반하여, 상기 제1 타임 스탬프와 상기 제2 타임 스탬프 사이의 차이를 나타내는 정확도 맵을 생성하는 단계;
    상기 원시 센서 데이터를 사용하여 상기 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 단계; 및
    하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 상기 제1 경계 박스, 상기 제2 경계 박스 및 상기 정확도 맵에 대해 분석을 수행하여, 상기 정확도 맵 중 상기 제1 경계 박스와 상기 제2 경계 박스가 매칭되지 않는 부분에 대응하는 영역에서 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 사이의 차이에 기초하여 상기 제1 센서와 상기 제2 센서의 동기화 여부를 결정하는 단계를 포함하는
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 제1 센서는 카메라이고, 상기 제2 센서는 라이다(light detection and ranging, LiDAR) 장치인
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  3. 제2항에 있어서,
    상기 하나 또는 다수의 미리 구성된 센서 설정은 상기 카메라의 스캔 방향 및 상기 LiDAR 장치의 스캔 방향을 포함하는
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  4. 제2항에 있어서,
    상기 분석을 수행하는 단계는,
    상기 제1 타임 스탬프 및 상기 제2 타임 스탬프에 따라, 상기 카메라로부터의 제1 원시 센서 데이터와 상기 LiDAR 장치로부터의 제2 원시 센서 데이터가 기설정된 동기점에서 서로 정렬되는지를 결정하는 단계를 더 포함하는
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  5. 제4항에 있어서,
    상기 동기점은 상기 타깃 객체의 유형에 기반하여 결정되는
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  6. 제2항에 있어서,
    상기 제1 경계 박스는 상기 카메라로부터의 제1 센서 데이터에 기반하여 생성된 2D 경계 박스이고, 상기 제2 경계 박스는 상기 LiDAR 장치로부터의 제2 센서 데이터에 기반하여 생성된 3D 경계 박스인
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  7. 제2항에 있어서,
    상기 분석을 수행하는 단계는,
    상기 제1 경계 박스와 상기 제2 경계 박스의 매칭 여부를 결정하는 단계를 더 포함하는
    ADV 중의 센서 동기화를 분석하는 컴퓨터 구현 방법.
  8. 명령이 저장되는 비일시적 기계 판독 가능 매체로서,
    상기 명령이 프로세서에 의해 실행될 때 상기 프로세서가 동작을 실행하며,
    상기 동작은,
    ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하는 동작 - 상기 원시 센서 데이터는 상기 ADV의 주변 환경 중의 타깃 객체를 설명함 - ;
    상기 원시 센서 데이터로부터 추출한 상기 제1 센서의 제1 타임 스탬프 및 상기 제2 센서의 제2 타임 스탬프에 따라, 상기 원시 센서 데이터에 기반하여, 상기 제1 타임 스탬프와 상기 제2 타임 스탬프 사이의 차이를 나타내는 정확도 맵을 생성하는 동작;
    상기 원시 센서 데이터를 사용하여 상기 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 동작; 및
    하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 상기 제1 경계 박스, 상기 제2 경계 박스 및 상기 정확도 맵에 대해 분석을 수행하여, 상기 정확도 맵 중 상기 제1 경계 박스와 상기 제2 경계 박스가 매칭되지 않는 부분에 대응하는 영역에서 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 사이의 차이에 기초하여 상기 제1 센서와 상기 제2 센서의 동기화 여부를 결정하는 동작을 포함하는
    비일시적 기계 판독 가능 매체.
  9. 제8항에 있어서,
    상기 제1 센서는 카메라이고, 상기 제2 센서는 라이다(light detection and ranging, LiDAR) 장치인
    비일시적 기계 판독 가능 매체.
  10. 제9항에 있어서,
    상기 하나 또는 다수의 미리 구성된 센서 설정은 상기 카메라의 스캔 방향 및 상기 LiDAR 장치의 스캔 방향을 포함하는
    비일시적 기계 판독 가능 매체.
  11. 제9항에 있어서,
    상기 분석을 수행하는 동작은,
    상기 제1 타임 스탬프 및 상기 제2 타임 스탬프에 따라, 상기 카메라로부터의 제1 원시 센서 데이터와 상기 LiDAR 장치로부터의 제2 원시 센서 데이터가 기설정된 동기점에서 서로 정렬되는지를 결정하는 동작을 더 포함하는
    비일시적 기계 판독 가능 매체.
  12. 제11항에 있어서,
    상기 동기점은 상기 타깃 객체의 유형에 기반하여 결정되는
    비일시적 기계 판독 가능 매체.
  13. 제9항에 있어서,
    상기 제1 경계 박스는 상기 카메라로부터의 제1 센서 데이터에 기반하여 생성된 2D 경계 박스이고, 상기 제2 경계 박스는 상기 LiDAR 장치로부터의 제2 센서 데이터에 기반하여 생성된 3D 경계 박스인
    비일시적 기계 판독 가능 매체.
  14. 제9항에 있어서,
    상기 분석을 수행하는 동작은,
    상기 제1 경계 박스와 상기 제2 경계 박스의 매칭 여부를 결정하는 동작을 더 포함하는
    비일시적 기계 판독 가능 매체.
  15. 데이터 처리 시스템으로서,
    프로세서; 및
    메모리를 포함하고,
    상기 메모리는 명령을 저장하도록 상기 프로세서에 접속되고, 상기 명령이 상기 프로세서에 의해 실행될 때 상기 프로세서가 동작을 실행하며,
    상기 동작은,
    ADV에 장착된 제1 센서 및 제2 센서로부터 원시 센서 데이터를 획득하는 동작 - 상기 원시 센서 데이터는 상기 ADV의 주변 환경 중의 타깃 객체를 설명함 - ;
    상기 원시 센서 데이터로부터 추출한 상기 제1 센서의 제1 타임 스탬프 및 상기 제2 센서의 제2 타임 스탬프에 따라, 상기 원시 센서 데이터에 기반하여, 상기 제1 타임 스탬프와 상기 제2 타임 스탬프 사이의 차이를 나타내는 정확도 맵을 생성하는 동작;
    상기 원시 센서 데이터를 사용하여 상기 타깃 객체를 둘러싸는 제1 경계 박스 및 제2 경계 박스를 생성하는 동작; 및
    하나 또는 다수의 미리 구성된 센서 설정에 따라, 기설정된 알고리즘을 사용하여 상기 제1 경계 박스, 상기 제2 경계 박스 및 상기 정확도 맵에 대해 분석을 수행하여, 상기 정확도 맵 중 상기 제1 경계 박스와 상기 제2 경계 박스가 매칭되지 않는 부분에 대응하는 영역에서 상기 제1 타임 스탬프 및 상기 제2 타임 스탬프 사이의 차이에 기초하여 상기 제1 센서와 상기 제2 센서의 동기화 여부를 결정하는 동작을 포함하는
    데이터 처리 시스템.
  16. 제15항에 있어서,
    상기 제1 센서는 카메라이고, 상기 제2 센서는 라이다(light detection and ranging, LiDAR) 장치인
    데이터 처리 시스템.
  17. 제16항에 있어서,
    상기 하나 또는 다수의 미리 구성된 센서 설정은 상기 카메라의 스캔 방향 및 상기 LiDAR 장치의 스캔 방향을 포함하는
    데이터 처리 시스템.
  18. 제16항에 있어서,
    상기 분석을 수행하는 동작은,
    상기 제1 타임 스탬프 및 상기 제2 타임 스탬프에 따라, 상기 카메라로부터의 제1 원시 센서 데이터와 상기 LiDAR 장치로부터의 제2 원시 센서 데이터가 기설정된 동기점에서 서로 정렬되는지를 결정하는 동작을 더 포함하는
    데이터 처리 시스템.
  19. 제18항에 있어서,
    상기 동기점은 상기 타깃 객체의 유형에 기반하여 결정되는
    데이터 처리 시스템.
  20. 제16항에 있어서,
    상기 제1 경계 박스는 상기 카메라로부터의 제1 센서 데이터에 기반하여 생성된 2D 경계 박스이고, 상기 제2 경계 박스는 상기 LiDAR 장치로부터의 제2 센서 데이터에 기반하여 생성된 3D 경계 박스인
    데이터 처리 시스템.
  21. 제16항에 있어서,
    상기 분석을 수행하는 동작은,
    상기 제1 경계 박스와 상기 제2 경계 박스의 매칭 여부를 결정하는 동작을 더 포함하는
    데이터 처리 시스템.
KR1020217020131A 2019-07-22 2019-07-22 자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템 KR102610001B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/097115 WO2021012153A1 (en) 2019-07-22 2019-07-22 System for sensor synchronization data analysis in autonomous driving vehicle

Publications (2)

Publication Number Publication Date
KR20210107020A KR20210107020A (ko) 2021-08-31
KR102610001B1 true KR102610001B1 (ko) 2023-12-06

Family

ID=74187539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020131A KR102610001B1 (ko) 2019-07-22 2019-07-22 자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템

Country Status (6)

Country Link
US (1) US11136048B2 (ko)
EP (1) EP4004591A4 (ko)
JP (1) JP7367031B2 (ko)
KR (1) KR102610001B1 (ko)
CN (1) CN112543876B (ko)
WO (1) WO2021012153A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019220495A1 (de) * 2019-12-20 2021-06-24 Continental Automotive Gmbh Verfahren zur Prüfung der Gültigkeit von Sensordaten eines Ethernet-Bordnetzes
EP3848807A1 (en) * 2020-01-07 2021-07-14 Aptiv Technologies Limited Data processing system and method for configuring and operating a data processing system
US11584295B2 (en) * 2020-05-07 2023-02-21 Toyota Research Institute, Inc. Dynamic lighting and sensor adjustment for occupant monitoring
US11529973B1 (en) * 2020-11-09 2022-12-20 Waymo Llc Software application for sensor analysis
US12019584B1 (en) 2020-12-03 2024-06-25 Nuro, Inc. Methods and apparatus for creating and utilizing snapshots of scenes
US11866044B2 (en) 2021-03-24 2024-01-09 Denso International America, Inc. Systems and methods to synchronize systems of a vehicle
US11428541B1 (en) * 2021-05-25 2022-08-30 GM Global Technology Operations LLC Targetless calibration of camera and inertial sensor in a vehicle
CN113490178B (zh) * 2021-06-18 2022-07-19 天津大学 一种智能网联车辆多级协作感知系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403690B (zh) * 2009-10-26 2013-08-01 Ind Tech Res Inst 自我定位裝置及其方法
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US20180204331A1 (en) * 2016-07-21 2018-07-19 Gopro, Inc. Subject tracking systems for a movable imaging system
US20180136314A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
CN106885601B (zh) 2017-01-09 2019-07-09 北京理工大学 无人车多传感器数据同步采集系统
JP2018195301A (ja) 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法
US20180357314A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition system for ground truth static scene sparse flow generation
US10866101B2 (en) * 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US20180356824A1 (en) * 2017-06-13 2018-12-13 TuSimple Time synchronization and data acquisition method for ground truth static scene sparse flow generation
KR102093047B1 (ko) * 2017-06-22 2020-03-24 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행을 위한 지도 이미지에 기반한 교통 예측
US10565457B2 (en) * 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) * 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10520319B2 (en) * 2017-09-13 2019-12-31 Baidu Usa Llc Data driven map updating system for autonomous driving vehicles
KR101921074B1 (ko) * 2017-11-23 2018-11-22 (주) 모토텍 차량의 aeb 구동을 위한 센서 퓨전 시스템
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
US11430145B2 (en) * 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
CN109194436B (zh) * 2018-11-01 2020-08-07 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
US11423570B2 (en) * 2018-12-26 2022-08-23 Intel Corporation Technologies for fusing data from multiple sensors to improve object detection, identification, and localization
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190120948A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar and camera synchronization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AlirezaAsvadi 외 4명, "Multimodal vehicle detection: fusing 3D-LIDAR and color camera data", Pattern Recognition Letters, Vol.115, pp.20-29 (2017.09.28.)*

Also Published As

Publication number Publication date
US11136048B2 (en) 2021-10-05
CN112543876B (zh) 2023-11-03
WO2021012153A1 (en) 2021-01-28
US20210024096A1 (en) 2021-01-28
JP2022541868A (ja) 2022-09-28
JP7367031B2 (ja) 2023-10-23
EP4004591A1 (en) 2022-06-01
CN112543876A (zh) 2021-03-23
EP4004591A4 (en) 2023-04-26
KR20210107020A (ko) 2021-08-31

Similar Documents

Publication Publication Date Title
KR102610001B1 (ko) 자율 주행 차량 중의 센서 동기화 데이터 분석을 위한 시스템
KR102100051B1 (ko) 색 선별 거울을 이용하는 자율 주행 차량용 3d lidar 시스템
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
JP2022520968A (ja) 視覚画像データを用いたオブジェクト属性の推定
CN113950703B (zh) 确定外参矩阵是否准确的方法、装置及数据处理系统
CN114026463B (zh) 基于部分点云的行人速度估计方法
US11754715B2 (en) Point cloud format optimized for LiDAR data storage based on device property
US11456890B2 (en) Open and safe monitoring system for autonomous driving platform
US11592581B2 (en) Dual inertial measurement units for inertial navigation system
CN111723639A (zh) 车辆对象追踪
WO2020220199A1 (en) Multiple sensor data storage with compressed video stream in autonomous driving vehicles
US20220198714A1 (en) Camera to camera calibration
US11662745B2 (en) Time determination of an inertial navigation system in autonomous driving systems
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
US20230145561A1 (en) Systems and methods for validating camera calibration in real-time
US12086090B2 (en) Uniform virtual bus for system-to-system connectivity in an autonomous driving vehicle
US20240051569A1 (en) Long-term evolution computing platform for autonomous vehicles based on shell and nut architecture
US11529969B2 (en) Pull over method based on quadratic programming for path planning

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)