KR102481638B1 - 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어 - Google Patents

위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어 Download PDF

Info

Publication number
KR102481638B1
KR102481638B1 KR1020207031846A KR20207031846A KR102481638B1 KR 102481638 B1 KR102481638 B1 KR 102481638B1 KR 1020207031846 A KR1020207031846 A KR 1020207031846A KR 20207031846 A KR20207031846 A KR 20207031846A KR 102481638 B1 KR102481638 B1 KR 102481638B1
Authority
KR
South Korea
Prior art keywords
subgroup
vehicle
lidar data
fmcw
data points
Prior art date
Application number
KR1020207031846A
Other languages
English (en)
Other versions
KR20200139779A (ko
Inventor
스미스 워렌
이드 에단
제이. 앤더슨 스털링
앤드류 백넬 제임스
씨. 나베 바르톨로메우스
폴 엄슨 크리스토퍼
Original Assignee
오로라 오퍼레이션스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오로라 오퍼레이션스, 인크. filed Critical 오로라 오퍼레이션스, 인크.
Publication of KR20200139779A publication Critical patent/KR20200139779A/ko
Application granted granted Critical
Publication of KR102481638B1 publication Critical patent/KR102481638B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/34—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율주행 차량 환경 내 객체(들)에 대한 분류(들)을 결정하고, 결정된 분류(들)에 기반하여 차량을 제어한다. 예를 들어, 차량의 자율 조타, 가속 및/또는 감속은 환경 내 객체(들)에 대해 결정된 포즈(들) 및/또는 분류(들)에 기반하여 조정될 수 있다. 제어는 포즈(들) 및/또는 분류(들)에 직접 기반할 수 있고, 및/또는 포즈(들) 및/또는 분류(들)에 기반하여 결정된 객체(들)에 대한 이동 파라미터(들)에 기반할 수 있다. 많은 구현에서, 환경 객체(들)의 포즈(들) 및/또는 분류(들)은 위상 코히어런트 LIDAR 모노펄스 콤포넌트 및/또는 주파수 변조 연속파 (FMCW) LIDAR 콤포넌트와 같은 차량의 위상 코히어런트 LIDAR 콤포넌트로부터의 데이터에 기반하여 결정될 수 있다.

Description

위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어
컴퓨팅 및 차량 기술이 계속 진화하면서, 자율성 관련 특징들은 더욱 강력하고 광범위하게 사용될 수 있게 되었고, 보다 다양한 환경에서 차량을 제어할 수 있게 되었다. 자동차의 경우, 예를 들어, 미국 자동차 공학회(SAE)는 "비자동화"부터 "완전 자동화"까지 운전 자동화를 6개 레벨로 식별한 표준(J3016)을 수립했다. SAE 표준은 레벨 0를, 경고 또는 개입(intervention) 시스템들에 의한 향상에도 불구하고, 동적 운전 태스크의 모든 면에서 인간 운전자에 의한 풀타임 수행이 필요한 "비자동화"로 정의한다. 레벨 1은 "운전자 보조" 로 정의되고, 차량은 적어도 일부의 운전 모드에서 조향(steering) 또는 가속/감속(둘 다는 아님)을 제어하고 운전자는 동적 운전 작업의 나머지 모두를 수행한다. 레벨 2는 "부분 자동화"로 정의되고, 차량은 최소한 약간의 운전 모드에서 조향 및 가속/감속을 제어하고 운전자는 동적 운전 작업의 모든 나머지를 수행한다. 레벨 3은 "조건부 자동화"로 정의되고, 적어도 일부의 운전 모드에서 자동화된 운전 시스템은 동적 운전 작업의 모든 면을 수행하며, 인간 운전자가 개입 요구에 대해 적절하게 응답할 것을 기대한다. 레벨 4는 "높은 자동화"로 정의되고, 특정한 조건에서만, 자동화된 운전 시스템은 인간 운전자가 개입요구에 대해 적절하게 응답하지 않더라도 동적 운전 작업의 모든 면을 수행한다. 레벨 4의 특정 조건은, 예를 들어, 특정 도로 타입(예를 들어, 고속도로) 및/또는 특정 지리적 영역 (예를 들어, 적절한 지도가 구비되고 경계가 명확한(geofenced) 대도시 지역)일 수 있다. 마지막으로, 레벨 5는 "완전 자동화"로 정의되고, 여기서 차량은 모든 조건하에서 운전자의 입력이 없어도 동작할 수 있다.
자율성 관련 기술에 대한 기본적인 도전은, 차량의 주위 환경에 대한 정보를 수집 및 해석하는 것과 함께, 차량 움직임을 적절하게 제어하는 명령을 계획 및 실행하여 현재 환경에서 차량을 안전하게 조정하는 것과 관련된다. 따라서, 이러한 측면들 각각을 개선하는 노력이 계속되고 있으며, 그렇게 함으로써 자율주행 차량들은 보다 복잡한 상황을 신뢰성있게 처리할 수 있고, 어떤 환경 내에서 예상하거나 예상하지 못한 조건들을 수용할 수 있다.
일부 구현에서, 차량의 위상 코히어런트 LIDAR(phase coherent Light Detection and Ranging) 모노펄스 콤포넌트로부터, 상기 차량의 환경 영역에서 복수의 포인트들을 집합적으로 캡쳐한 위상 코히어런트 LIDAR 데이터 포인트들의 그룹을 수신하는 단계를 포함하는 방법이 제공된다. 상기 그룹의 LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 포인트들 중 대응하는 하나에 대한 대응 거리 및 대응 속도를 나타내고, 상기 그룹의 LIDAR 데이터 포인트들 각각은 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 대응 센싱 이벤트에 기반하여 생성된다. 상기 방법은 또한 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 일 서브그룹이 특별 분류 객체에 해당한다고 판단하는 단계를 포함한다. 상기 서브그룹이 상기 특별 분류 객체에 대응한다고 판단하는 단계는: 상기 서브그룹의 다수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 대한 상기 대응 거리들 및 상기 그룹의 다수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 대한 대응 속도들 모두에 기반한다. 상기 방법은 또한 상기 서브그룹이 상기 특별 분류 객체에 대응한다는 판단에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 방법은 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 객체의 적어도 하나의 순간 속도를 결정하는 단계를 더 포함한다. 상기 서브그룹의 상기 대응 속도들 중 적어도 하나는 상기 서브그룹이 상기 객체에 대응한다는 판단에 기반하여 상기 객체의 적어도 하나의 순간 속도를 결정하는데 사용된다. 상기 차량의 자율주행 제어를 조정하는 단계는 상기 적어도 하나의 순간 속도에 더 기반할 수 있다. 상기 구현들의 일부 버전에서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는, 상기 서브그룹의 복수의 상기 대응 속도들의 함수에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계를 포함한다. 상기 구현들의 일부 추가적인 또는 대안적인 버전에서, 상기 적어도 하나의 순간 속도에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는: 상기 적어도 하나의 순간 속도에 기반하여 상기 객체의 적어도 하나의 후보 궤적을 판단하는 단계; 및 상기 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함한다. 상기 적어도 하나의 순간 속도에 기반하여 상기 객체의 적어도 하나의 후보 궤적을 판단하는 단계는 선택적으로: 상기 적어도 하나의 순간 속도에 기반하여, 상기 객체에 대한 이전 결정 속도를 조정하는 단계; 및 상기 이전 결정 속도의 상기 조정에 기반하여 상기 객체의 상기 적어도 하나의 후보 궤적을 결정하는 단계를 포함한다. 상기 적어도 하나의 순간 속도가 결정되는 일부 추가적인 또는 대안적인 버전들에서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는: 복수의 후보 순간 속도 결정 기법들 중 하나의 순간 속도 결정 기법을 선택하는 단계; 및 상기 적어도 하나의 순간 속도 결정에 상기 선택된 순간 속도 결정 기법을 사용하는 단계를 포함한다. 그 버전들의 일부에서, 상기 복수의 후보 순간 속도 결정 기법들로부터 상기 순간 속도 결정 기법을 선택하는 단계는 상기 특별 분류에 할당된 상기 순간 속도 결정 기법에 기반 및/또는 상기 서브그룹의 상기 대응 속도들의 양에 기반한다.
일부 구현에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 각각은 대응 강도를 더 나타내고, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 상기 서브그룹이 상기 특별 분류의 상기 객체에 해당한다고 판단하는 단계는 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 다수에 대한 상기 대응 강도들에 더 기반한다.
일부 구현에서, 상기 방법은: 상기 그룹의 수신 바로 이전에, 상기 위상 코히어런트 LIDAR 콤포넌트로부터, 상기 차량의 상기 환경 영역에서 복수의 상기 포인트들을 집합적으로 캡쳐한 선행 위상 코히어런트 LIDAR 데이터 포인트들의 선행 그룹을 수신하는 단계를 더 포함한다. 상기 선행 그룹의 선행 위상 코히어런트 LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 대응 포인트들에 대한 대응 선행 거리 및 대응 선행 속도를 나타내고, 상기 선행 그룹의 선행 위상 코히어런트 LIDAR 데이터 포인트들 각각은 상기 위상 코히어런트 LIDAR 콤포넌트의 선행 대응 센싱 이벤트에 기반하여 생성된다. 상기 구현들 중 일부에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 상기 서브그룹이 상기 특별 분류 객체에 해당한다고 판단하는 단계는: 다수의 상기 선행 위상 코히어런트 LIDAR 데이터 포인트들에 대한 상기 대응 선행 거리들 및 다수의 상기 선행 위상 코히어런트 LIDAR 데이터 포인트들에 대한 대응 선행 속도들 모두에 기반한다.
일부 구현에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중, 상기 서브그룹이 상기 특별 분류 객체에 해당한다고 판단하는 단계는: 학습된 기계학습 모델(예를 들어, 하나 이상의 콘볼루션 층들을 포함하는 신경 회로망 모델)을 이용하여 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들을 처리(프로세싱)하는 단계; 상기 학습된 기계학습 모델을 이용한 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 처리에 기반하여, 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력을 생성하는 단계; 및 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여, 상기 특별 분류를 갖는 객체에 상기 서브그룹이 대응한다고 결정하는 단계를 포함한다. 그런 구현들의 일부 버전에서, 상기 출력은, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 복수의 공간 영역들 각각에 대해, 상기 대응 공간 영역이 상기 특별 분류를 갖는 대응 확률을 나타낸다. 일부 버전들에서, 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹이 상기 특별 분류를 갖는 객체에 대응한다고 판단하는 단계는: 하나 이상의 상기 공간 영역들의 세트를, 각각 임계치를 만족하는 상기 세트의 상기 공간 영역들의 상기 대응 확률들에 기반하여 결정하는 단계; 및 상기 하나 이상의 공간 영역들 세트에 대응하는 상기 서브그룹에 기반하여 상기 서브그룹을 결정하는 단계를 포함한다. 상기 출력에 의해 나타내어진 상기 공간 영역들은 각각 상기 그룹의 하나 이상의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 대응할 수 있다. 예를 들어, 상기 공간 영역들은 각각 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 대응하는 하나에 대응할 수 있거나, 또는 상기 그룹의 둘 이상의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 대응하는 고유의 그룹핑(unique grouping)에 해당할 수 있다. 상기 출력이 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 일부 추가적인 또는 대안적인 구현 버전에서, 상기 출력은. 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 복수의 공간 영역들 각각에 대해, 상기 대응 공간 영역이 상기 특별 분류를 갖는 대응 제1 확률 및 상기 해당 공간 영역이 분명한 특별 분류(distinct additional probability)를 갖는 대응 추가 확률을 나타낸다. 추가적인 또는 대안적인 구현에서, 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹이 상기 특별 분류를 갖는 객체에 대응한다고 판단하는 단계는: 하나 이상의 상기 공간 영역들의 세트를, 각각 임계치를 만족하는 상기 세트의 상기 공간 영역들의 상기 대응 확률들에 기반하여 결정하 단계; 및 상기 하나 이상의 공간 영역들의 상기 세트에 대응하는 상기 서브그룹에 기반하여 상기 서브그룹을 결정하는 단계를 포함한다. 일부 추가적인 또는 대안적인 구현에서, 위상 코히어런트 LIDAR 데이터의 추가 서브그룹이 상기 분명한 특별 분류를 갖는 추가 객체에 해당한다고 판단하는 단계는: 하나 이상의 상기 공간 영역들의 추가 세트를, 각각 임계치를 만족하는 상기 추가 세트의 상기 공간 영역들의 상기 대응 추가 확률들에 기반하여 결정하는 단계; 및 상기 하나 이상의 공간 영역들의 상기 추가 세트에 대응하는 상기 추가 서브그룹에 기반하여 상기 추가 서브그룹을 결정하는 단계에 기반한다. 상기 차량의 자율주행 제어를 조정하는 단계는 상기 추가 서브그룹이 상기 분명한 특별 분류를 갖는 상기 추가 객체에 대응한다고 판단하는 단계 더 기반할 수 있다.
일부 구현에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중, 상기 서브그룹이 상기 특별 분류 객체에 해당한다고 판단하는 단계는, 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들이 상기 특별 분류에 대해 정의된 위상 코히어런트 LIDAR 데이터 포인트들의 참조 그룹에 관한 차이 기준(diffierence criterion)을 만족한다고 결정하는 단계를 포함한다.
일부 구현에서, 상기 서브그룹이 상기 특별 분류의 객체에 대응한다는 결정에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는 상기 차량의 속도 및/또는 방향을 변경하는 단계를 포함한다.
일부 구현에서, 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 결정에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는: 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 객체의 포즈를 결정하는 단계; 및 상기 객체의 상기 포즈에 기반하여, 그리고 상기 객체의 상기 특별 분류에 기반하여 자율주행 제어를 조정하는 단계를 포함한다.
일부 구현에서, 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 판단에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는: 상기 특별 분류에 기반하여, 상기 객체가 이동한다고 판단하는 단계; 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 객체의 포즈를 결정하는 단계; 상기 객체가 이동한다는 판단에 응답하여, 상기 객체에 대한 적어도 하나의 후보 궤적을 상기 객체의 상기 포즈에 기반하여 결정하는 단계; 및 상기 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함한다. 상기 구현의 일부 버전에서, 상기 방법은 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 기반하여 상기 객체의 순간 속도를 결정하는 단계를 더 포함한다. 해당 버전에서, 상기 객체에 대한 적어도 하나의 후보 궤적을 결정하는 단계는 상기 객체의 상기 순간 속도에 더 기반할 수 있다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 데이터 포인트들의 그룹은 3차원 포인트 클라우드를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 위상 코히어런트 LIDAR 모노펄스 콤포넌트이고, 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들은 각각 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 주파수 변조 연속파(frequency-modulated continuous wave; FMCW) LIDAR 콤포넌트이다.
일부 구현에서, 차량의 위상 코히어런트 LIDAR 콤포넌트로부터 상기 차량의 환경을 캡쳐한 위상 코히어런트 LIDAR 데이터를 수신하는 단계를 포함하는 방법이 제공된다. 상기 위상 코히어런트 LIDAR 데이터는, 상기 차량 환경 내 복수의 포인트들 각각에 대해 적어도 하나의 대응 거리, 적어도 하나의 대응 속도, 및 적어도 하나의 대응 강도를 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 나타낸다. 상기 방법은 또한 상기 위상 코히어런트 LIDAR 데이터 중 일 서브그룹이 특별 분류의 객체에 대응한다고 판단하는 단계를 더 포함한다. 상기 서브그룹이 특별 분류의 객체에 대응한다고 판단하는 단계는: 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터에 대한 상기 대응 거리들, 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터에 대한 상기 대응 속도들 및 상기 서브그룹의 상기 위상 코히어런트 LIDAR 데이터에 대한 상기 대응 강도들에 기반한다. 상기 방법은 또한 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다고 판단하는 단계에 기반하여 상기 차량을 자율적으로 제어하는 단계를 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 방법은 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 객체의 적어도 하나의 순간 속도를 결정하는 단계를 포함한다. 상기 서브그룹의 상기 대응 속도들 중 적어도 하나는 상기 서브그룹이 상기 객체에 대응한다고 판단하는 단계에 기반하여 상기 객체의 적어도 하나의 순간 속도를 판단하는데 사용된다. 상기 차량을 자율적으로 제어하는 단계는 상기 적어도 하나의 순간 속도에 더 기반할 수 있다. 상기 구현들의 일부 버전에서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는 상기 서브그룹의 복수의 상기 대응 속도들의 함수에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계를 포함한다. 상기 구현들의 일부 추가적인 또는 대안적인 버전에서, 상기 적어도 하나의 순간 속도에 기반하여 상기 차량을 자율적으로 제어하는 단계는: 상기 적어도 하나의 순간 속도에 기반하여 상기 객체의 적어도 하나의 후보 궤적을 판단하는 단계; 및 상기 적어도 하나의 후보 궤적에 기반하여 상기 차량을 자율적으로 제어하는 단계를 포함한다.
일부 구현에서, 상기 방법은 상기 위상 코히어런트 LIDAR 데이터를 수신하기 전에, 상기 위상 코히어런트 LIDAR 콤포넌트로부터, 위상 코히어런트 LIDAR 데이터의 선행 인스턴스를 수신하는 단계를 더 포함한다. 상기 위상 코히어런트 LIDAR 데이터의 선행 인스턴스는, 상기 차량 환경 내 복수의 상기 포인트들 각각에 대해, 상기 위상 코히어런트 LIDAR 콤포넌트의 선행 대응 센싱 이벤트에 기반하여 적어도 하나의 대응 선행 거리, 적어도 하나의 선행 대응 강도, 및 적어도 하나의 대응 선행 속도를 나타낸다. 상기 구현에서, 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터중 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다고 판단하는 단계는: 상기 선행 위상 코히어런트 LIDAR 데이터의 복수의 상기 대응 선행 거리들 및 상기 선행 위상 코히어런트 LIDAR 데이터의 복수의 상기 대응 선행 속도들 모두에 더 기반한다.
일부 구현에서, 상기 LIDAR 데이터 포인트들 중, 상기 서브그룹이 상기 특별 분류의 상기 객체에 해당한다고 판단하는 단계는: 학습된 기계학습 모델을 이용하여 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들을 프로세싱하는 단계; 상기 학습된 기계학습 모델을 이용한 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 처리에 기반하여, 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력을 생성하는 단계; 및 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여 상기 특별 분류를 갖는 상기 객체에 상기 서브그룹이 대응한다고 판단하는 단계를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 데이터는 거리-도플러 이미지(range-Doppler image)를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 데이터는 대응 센싱 이벤트들 동안 시간 지연된 반사들과 국부 광 발진기의 믹싱에 기반하여 생성된 중간 주파수 파형을 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 적어도 제1 및 제2 코히어런트 광 수신기들을 포함하는 위상 코히어런트 LIDAR 모노펄스 콤포넌트이다. 상기 구현의 일부에서, 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함한다. 상기 구현의 일부 버전에서, 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트들은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제3 수신기에서의 제3 수신기 센싱 이벤트를 더 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 주파수 변조 연속파(FMCW) LIDAR 콤포넌트이다.
일부 구현에서, 차량의 위상 코히어런트 LIDAR 모노펄스 콤포넌트로부터 상기 차량의 환경을 캡쳐한 위상 코히어런트 모노펄스 LIDAR 데이터를 수신하는 단계를 포함하는 방법이 제공된다. 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트는 레이저 소스 및 적어도 제1 코히어런트 수신기 및 제2 코히어런트 수신기를 포함한다. 상기 위상 코히어런트 LIDAR 모노펄스 데이터는, 상기 차량 환경 내 복수의 포인트들 각각에 대해, 적어도 하나의 대응 거리 및 적어도 하나의 대응 속도를 상기 위상 코히어런트 LIDAR 데이터의 대응 센싱 이벤트에 기반하여 나타낸다. 상기 위상 코히어런트 LIDAR 콤포넌트의 상기 대응 센싱 이벤트들은 각각 상기 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 제2 수신기에서의 제2 수신기 센싱 이벤트(그리고 선택적으로 추가 수신기(들)에서의 추가 수신기 센싱 이벤트(들))를 포함한다. 상기 방법은 또한 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 일 서브그룹이 특별 분류의 객체에 해당한다고 판단하는 단계를 더 포함한다. 상기 서브그룹이 상기 특정 분류의 객체에 대응한다고 판단하는 단계는: 상기 서브그룹의 상기 위상 코히어런트 모노펄스 LIDAR 데이터에 대한 상기 대응 거리들, 상기 서브그룹의 상기 위상 코히어런트 모노펄스 LIDAR 데이터에 대한 상기 대응 속도들에 기반한다. 상기 방법은 또한 상기 서브그룹이 상기 특별 분류 객체에 대응한다고 판단하는 단계에 기반하여 상기 차량을 자율적으로 제어하는 단계를 포함한다.
일부 구현에서, 차량의 위상 코히어런트 LIDAR 콤포넌트로부터, 상기 차량의 환경 영역에서 복수의 포인트들을 집합적으로 캡쳐한 위상 코히어런트 LIDAR 데이터 포인트들의 그룹을 수신하는 단계를 포함하는 방법이 제공된다. 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 포인트들 중 대응하는 하나에 대한 대응 거리 및 대응 속도를 나타내고, 각각은 상기 위상 코히어런트 LIDAR 콤포넌트의 대응 센싱 이벤트에 기반하여 생성된다. 상기 방법은 또한 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들 중 일 서브그룹이 특별 분류 객체에 해당한다고 판단하는 단계를 포함한다. 상기 서브그룹이 상기 특별 분류 객체에 대응한다고 판단하는 단계는: 상기 서브그룹의 다수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 대한 상기 대응 거리들 및 상기 서브그룹의 다수의 상기 위상 코히어런트 LIDAR 데이터 포인트들에 대한 상기 대응 속도들 모두에 기반한다. 상기 방법은 상기 그룹의 상기 위상 코히어런트 LIDAR 데이터 포인트들의 상기 서브그룹에 기반하여 상기 객체의 다차원 포즈를 결정하는 단계 및 상기 결정된 다차원 포즈 및 상기 특별 분류의 표시를 상기 차량의 계획 서브시스템으로 제공하는 단계를 더 포함한다.
여기에서 설명된 기술의 이들 및 다른 구현들은 하나 이상의 다음의 특징들을 포함할 수 있다.
일부 구현에서, 상기 다차원 포즈는 상기 객체의 위치 및 방향을 나타내는 6차원 포즈이다.
일부 구현에서, 상기 다차원 포즈는 상기 객체의 위치를 나타내는 3차원 포즈이다.
일부 구현에서, 상기 방법은 상기 계획 서브시스템에 의해, 상기 특별 분류에 기반하여 상기 차량의 궤적을 생성하는 단계를 포함한다.
일부 구현에서, 상기 위상 코히어런트 LIDAR 콤포넌트는 주파수 변조 연속파(FMCW) LIDAR 콤포넌트이다.
또한, 일부 구현은 연관된 메모리에 저장된 명령들을 실행하도록 동작가능한 하나 이상의 프로세서들을 갖는 자율주행 차량을 포함하고, 상기 명령들은 여기에 기술된 방법들 중 어느 것을 수행하도록 구성된다. 일부 구현은 추가적으로 또는 대안적으로 하나 이상의 프로세서들에 의해 실행가능한 컴퓨터 명령어들을 저장하는 하나 이상의 비일시적인 컴퓨터로 독출가능한 저장 매체를 포함한다.
상술한 개념과 더 자세히 후술되는 추가 개념의 모든 조합이 본 명세서에 개시되는 구성 요소의 일부로 고려된다. 예를 들어, 본 명세서의 끝에 나타나는 청구되는 구성 요소의 모든 조합이 본 명세서에 개시되는 구성 요소의 일부로 고려된다.
도 1은 여기에서 개시된 구현들이 구현될 수 있는 예시적인 환경을 도시한 것이다.
도 2a는 도 1의 FMCW LIDAR 콤포넌트의 구현을 개략적으로 도시한 것이다.
도 2b는 도 1의 FMCW LIDAR 콤포넌트의 다른 구현을 개략적으로 도시한 것이다.
도 3a는 차량 환경 내 객체(들)에 대한 분류(들)을 결정하고, 그 분류(들)에 기반하여 차량을 제어하는 구현을 도시한 블록도이다.
도 3b는 차량 환경 내 객체(들)에 대한 분류(들)이 어떻게 도 3a에서 결정될 수 있는지에 대한 예를 도시한 블록도이다.
도 3c는 차량 환경 내 객체(들)에 대한 분류(들)이 어떻게 도 3a에서 결정될 수 있는지에 대한 다른 예를 도시한 블록도이다.
도 4a는 여기에서 개시된 구현들에 따라 학습 인스턴스를 사용한 분류모델을 학습 엔진이 어떻게 학습시킬 수 있는지에 대한 예를 도시한 것이다.
도 4b는 도 4a의 학습 인스턴스의 학습 인스턴스 출력 예를 도시한 것이다. 4A.
도 5는 다수의 환경 객체들을 갖는 차량의 환경 예를 도시하고, 또한 환경 객체들에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인터들의 예들을 도시한 것이다.
도 6는 추가 차량을 갖는 차량 환경의 다른 예를 도시하고, 또한 추가 차량에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인터들의 예들을 도시한 것이다.
도 7a는 상기 객체들 및/또는 상기 객체들에 대한 순간 속도들의 분류들에 기반하여 복수의 객체들 각각에 대해 어떻게 (만약 존재한다면) 후보 궤적이 결정될 수 있는지, 그리고 차량의 자율주행 제어가 어떻게 후보 궤적들에 기반하여 조정될 수 있는지의 예를 도시한 것이다.
도 7b는 상기 객체들 및/또는 상기 객체들에 대한 순간 속도들의 분류들에 기반하여 복수의 객체들 각각에 대해 어떻게 (만약 존재한다면) 후보 궤적이 결정될 수 있는지, 그리고 차량의 자율주행 제어가 어떻게 후보 궤적들에 기반하여 조정될 수 있는지의 다른 예를 도시한 것이다.
도 8은 차량 환경 내 객체(들)에 대한 분류(들)을 결정하고, 상기 분류(들)에 기반하여 차량을 제어하는 구현을 도시한 흐름도이다.
다양한 레벨의 차량 자율제어에서(예를 들어, 상술한 SAE 레벨 1 내지 5중 어느 하나), 소위 자차량(ego vehicle, 즉 자율적으로 제어되는 차량, 이후 간략하게 "차량"으로 언급)의 다양한 파라미터들을 결정하고, 자차량 자체의 다양하게 결정된 파라미터들에 기반하여 차량의 자율 제어를 조정할 필요가 있다. 자차량의 다양한 레벨의 자율 제어에서, 자차량 외에 자차량 환경 내에 존재하는 추가 객체(들)의 다양한 파라미터들을 결정하는 것이 바람직 및/또는 필요하다. 예를 들어, 환경 내 다양한 객체(들)의 (위치 및 선택적으로 방향) 및/또는 상기 객체(들)의 분류(들)을 결정할 필요가 있을 수 있다. 또한, 적어도 일부 목적을 위해, 속도, 가속, (속도 및/또는 가속에 기반할 수 있는) 후보 궤적 등과 같은 객체들에 대한 운동 파라미터(들)의 결정이 바람직할 수 있다. 예를 들어, 다수의 반복 각각에서, 자차량의 궤적은 자차량의 환경 내에서, 포즈(들), 분류(들) 및/또는 및/또는 객체(들)의 (만약 존재한다면) 이동 파라미터(들)과 같은, 객체(들)의 다양한 파라미터들에 최소한 부분적으로 기반하여 결정될 수 있다. 궤적은 자차량이 객체(들)에 접촉 및/또는 너무 근접하는 것을 방지하도록 결정될 수 있다.
여기에서 개시된 구현들은 일반적으로 차량 환경 내 객체(들)에 대한 분류(들)을 결정하고, 상기 분류(들)에 기반하여 차량을 제어하는 것이다. 예를 들어, 차량의 자율 조타, 가속 및/또는 감속은 추가 객체(들)의 결정된 분류(들)에 기반하여 조정될 수 있다. 예를 들어, 보행자로 판단된 제1 환경 객체에 기반하여 차량에 대해 결정된 조타 및/또는 가속/감속 파라미터들은 상기 객체가 추가 차량인 것으로 판단되어 결정된 것들과 다를 수 있다.
일부 구현예에서, 객체의 결정된 포즈 및 상기 객체의 결정된 분류는 차량 제어에 사용될 수 있다. 일례로, 객체의 결정된 포즈가 차량의 현재 의도된 경로 이내 (또는 임계 거리 이내)에 있지 않고, 상기 객체가 이동가능하지 않음을 나타내는 분류(예를 들어, 나무 분류)를 갖는 것으로 판단되면, 상기 객체는 선택적으로 차량 제어가 조정될 필요가 있는지 여부의 판단에서 무시될 수 있다. 한편, 객체의 결정된 포즈가 차량의 현재 의도된 경로 이내(또는 임계 거리 이내)에 있고, 상기 객체가 이동 가능함을 나타내는 분류 (예를 들어, 차량, 보행자, 사이클리스트 또는 동물 분류)를 갖는 것으로 판단되면, 상기 객체는 선택적으로 차량 제어가 조정될 필요가 있는지 여부의 판단에 사용될 수 있다.
또한, 일부 구현에서, (선택적으로 분류에 기반하여 결정될 수 있는) 객체에 대한 이동 파라미터(들)이 차량 제어에서 결정 및 사용될 수 있다. 예를 들어, 객체의 속도 및/또는 가속은 객체의 후보 궤적 생성에 사용될 수 있고, 속도는 차량이 객체의 후보 궤적에 너무 근접하는 것을 피하도록 자신의 궤적을 조정하도록 후보 궤적에 기반하여 제어된다. 얼마나 근접한 것이 너무 근접한 것인지는 선택적으로, 예를 들어, 객체의 분류에 좌우될 수 있다. 예를 들어, 자전거를 탄 사람으로 분류된 객체에 대해서는 궤적들이 실질적으로 평행할 경우 1.0 미터보다 작은 값을 너무 가깝다고 할 수 있는 반면, 차량으로 분류된 객체에 대해서는 궤적들이 실질적으로 평행할 경우 0.7 미터보다 작은 값에 대해서만 너무 가깝다고 할 수 있다.
여기에 개시된 많은 구현에서, 환경 객체들의 포즈들 및 분류들은 차량의 위상 코히어런트(phase coherent) LIDAR(Light Detection and Ranging)로부터의 데이터에 기반하여 결정된다. 또한 많은 구현에서, 환경 객체들의 속도 및 선택적 가속은 또한 위상 코히어런트 LIDAR 콤포넌트로부터의 동일 데이터에 기반하여 결정된다.
차량의 위상 코히어런트 LIDAR 콤포넌트로부터의 데이터는 여기에서 "위상 코히어런트 LIDAR 데이터"로 지칭된다. 여기에서 개시된 것처럼, 위상 코히어런트 LIDAR 데이터는 환경 내 복수의 포인트들 각각에 대해, 최소한 해당 포인트에 대한 거리와 속도를 나타낼 수 있다. 포인트에 대한 거리는 위상 코히어런트 LIDAR 콤포넌트의 수신기(들)로부터 포인트까지의 거리를 나타낸다. 상기 포인트에 대한 속도는 상기 포인트에 대한 속도의 크기(및 선택적으로 방향)을 나타낸다. 포인트에 대해 나타낸 거리 및 속도는 위상 코히어런트 LIDAR 콤포넌트의 해당 센싱 이벤트에 기반한다. 따라서, 센싱 사이클의 센싱 이벤트들을 통해, 환경 내 많은 양의 포인트들에 대한 순간 거리들 및 순간 속도들을 나타내는 위상 코히어런트 LIDAR 데이터가 결정될 수 있다. 여기에 개시된 구현들은 선택적으로 객체에 대한 순간 속도뿐만 아니라 객체에 대한 FMCW LIDAR 데이터, 포즈, 분류 중 적어도 일부로 나타내진 순간 거리들 및 순간 속도들에 기반하여 결정될 수 있다. 객체에 대한 순간 속도가 센싱 사이클의 위상 코히어런트 LIDAR 데이터에 기반하여 결정되는 구현들에서, 순간 속도는 센싱 사이클 동안의 객체 속도를 나타내며, 미래의 센싱 사이클(들)로부터의 위상 코히어런트 LIDAR에 대한 참조를 필요로 하지 않는다. 이는 객체의 순간 속도의 빠른 분해를 가능하게 하고, 결과적으로 순간 속도를 고려하여 차량 제어의 조정이 필요한지 여부에 대한 빠른 결정 (및 조정이 결정되었을 때 빠른 조정)을 가능하게 한다.
일반적으로, LIDAR는 광학 스펙트럼 내 전자기파의 반사를 사용하여 환경 내 포인트들의 거리를 결정하는 기술이다. 예를 들어, 일부 LIDAR 구현들은 광 펄스들의 양방향 지연(round-trip delay) 측정에 기반하여 포인트들의 거리를 결정한다. LIDAR 콤포넌트는 광학 스펙트럼내 광 펄스들을 생성하는 광원(예를 들어, 레이저), (예를 들어, 방위각 및 앙각을 스캔하기 위해) 광원을 향한 광학 장치들 (예를 들어, 거울들), 반사된 펄스들을 측정하는 센서, 및 반사된 펄스들을 처리하기 위한 국부 프로세서(들) 및/또는 다른 전자 콤포넌트들을 포함할 수 있다. 반사된 펄스들은 송신된 펄스들 및 반사된 펄스들 사이의 시간 지연에 기반하여 (또한 광속을 이용하여) 환경 내 타겟(들)의 포인트들까지의 거리를 결정하도록 프로세싱될 수 있다. 일부 구현에서, LIDAR 콤포넌트들은 처리에 기반하여 (반사된 펄스들의 강도에 기반하여) 강도 값들을 갖는 3차원(3D) 포인트 클라우드인 출력을 생성한다.
일반적으로, 위상 코히어런트 LIDAR는 광학 스펙트럼 내 전자기파의 반사를 사용하여 환경 내 포인트들의 거리를 결정하는 기술이다. 위상 코히어런트 LIDAR 콤포넌트는 파장을 생성하는 적어도 하나의 튜너블 레이저(tunable laser)(또는 다른 광원)을 포함하고, 코히어런트 광 수신기와 같은 적어도 하나의 수신기를 포함한다. 위상 코히어런트 LIDAR 콤포넌트는 또한 튜너블 레이저로부터의 파형을 (방위각 및/또는 앙각에서) 환경 내 복수의 포인트들로 향하게 하는데 사용될 수 있는 광학 장치들과 같이, 튜너블 레이저를 향한 하나 이상의 컴포넌트들을 포함할 수 있다. 또한, 위상 코히어런트 LIDAR 콤포넌트는 파형의 반사를 처리하기 위한 국부 프로세서(들) 및/또는 전자 콤포넌트들을 포함할 수 있다. 위상 코히어런트 LIDAR 콤포넌트의 튜너블 레이저는 생성된 파형이 파형 전체에 대해 파형의 하나 이상의 성질들을 변경하여 인코딩되도록 제어될 수 있다는 점에서 가변적(tunable)이다. 튜너블 레이저는 첩, 스텝 및/또는 펄스 파형과 같이 하나 이상의 다양한 인코딩된 파형을 생성하도록 제어될 수 있다.
주파수 변조 연속파(Frequency-Modulated Continulus Wave; FMCW) LIDAR 콤포넌트는 위상 코히어런트 LIDAR 콤포넌트의 특별한 종류이다. FMCW LIDAR 콤포넌트는 주파수 변조를 통해 인코딩되고 연속적인 파형을 생성하도록 튜너블 레이저를 적어도 선택적으로 (예를 들어, 사용중이면 항상) 제어한다. 예를 들어, 상기 파형은 주파수 변조를 통해 인코딩된 연속적인 스텝 파형(continuous stepped waveform)일 수 있다. 예를 들어, 튜너블 레이저는 스텝들의 주파수 변경을 통해 인코딩된 스텝 파형을 생성하도록 제어될 수 있다. 차량의 FMCW LIDAR 콤포넌트로부터의 데이터는 여기에서 "FMCW LIDAR 데이터"로 지칭된다. 따라서, "위상 코히어런트 LIDAR 데이터"는 주파수 변조를 통해 인코딩되고 연속적인 파형에 기반하여 FMCW LIDAR 콤포넌트에 의해 생성된 경우, "FMCW LIDAR 데이터"일 수 있다.
위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클 동안, 송신된 인코딩된 파형은 순차적으로 환경 내 복수의 각 포인트들을 향하고 순차적으로 그에 의해 반사된다. 인코딩된 파형의 반사 부분은 센싱 사이클의 해당 센싱 이벤트에서 최소한 하나의 위상 코히어런트 LIDAR 콤포넌트 수신기에 의해 각각 검출된다. 예를 들어, 센싱 이벤트의 반사된 부분은 해당 부분이 송신된 인코딩 파형에 해당하는 국부 광신호와 믹싱된 코히어런트 검출 방식을 사용하여 적어도 하나의 코히어런트 광 수신기에 의해 검출될 수 있다. 코히어런트 검출 방식은, 예를 들어, 호모다인 믹싱(homodyne mixing), 헤테로다인 믹싱(heterodyne mixing), 셀프 헤테로다인 믹싱(self-heterodyne mixing), 또는 다른 코히어런트 검출 방식일 수 있다. 반사된 부분을 국부 광신호와 믹싱하여 생성된 결과 신호는: (1) 해당 포인트까지의 거리, 및 (2) 해당 포인트의 속도를 나타낸다. 예를 들어, 상기 결과 신호는 상기 신호에 2차원 푸리에 변환을 적용하여 다이렉트 디멘젼(direct dimension) 내 주파수 좌표에서 2D 스펙트럼을 생성함으로써 처리될 수 있다. 다이렉트 디멘젼 내 주파수 좌표는 거리 결정에 사용될 수 있고, 인다이렉트 디멘젼 내 주파수 좌표는 속도 결정에 사용될 수 있다. 특별 예로서, 호모다인 검출 방식은 국부 광학 신호가 송신된 인코딩 파형의 분할된 부분이고, 광 수신기에 대한 광학적 국부 발진기 신호로 사용되는 방식일 수 있다. 센싱 이벤트 동안, 국부 발진기와 시간 지연된 반사 부분의 믹싱은 시변(time varying) 중간 주파수(IF) 파형을 생성하고, 해당 포인트의 거리에 직접 관계된다. 또한, 포인트가 움직이고 있는 경우, 도플러 주파수 천이(Doppler frequency shift)는 IF 파형에 중첩될 것이고, 상기 포인트의 시선속도(radial velocity) 결정에 사용될 수 있다. 센싱 사이클의 다수의 센싱 이벤트들에서의 검출을 통해, 위상 코히어런트 LIDAR 데이터는 차량 환경 내 복수의 포인트 각각에 대해 생성되고 - 센싱 사이클 동안 환경 내 각 포인트에 대한 거리, 속도, 및 선택적으로 강도를 나타낸다.
상술한 바와 같이, 위상 코히어런트 LIDAR 콤포넌트에 의해 생성된 위상 코히어런트 데이터는 여기에서 개시된 다양한 구현들에서 객체(들)의 분류(들), 포즈(들), 및/또는 순간 속도/속도들의 결정에 사용된다. 그러한 구현들에서, 센싱 사이클의 위상 코히어런트 LIDAR 데이터는, 직접 또는 간접적으로 위상 코히어런트 LIDAR 콤포넌트가 결합된 차량의 환경 내 복수의 포인트들 각각에 대해 대응 거리 및 대응 속도를 나타낸다. 그러한 구현들 중 일부에서, 위상 코히어런트 LIDAR 데이터는 3차원(3D) 포인트 클라우드를 포함하고, 3D 포인트 클라우드 내 각 포인트는 (3D 포인트 클라우드 내 3D 좌표를 통한) 대응 거리, 대응 속도 및 선택적으로 대응 강도를 정의한다. 일부 다른 구현들에서, 위상 코히어런트 LIDAR 데이터는 각 픽셀이 대응 거리 및 교차 거리(cross-range)에 대한 대응 속도 (및 선택적으로 강도)를 정의하는 거리-도플러 영상과 같은, 거리-도플러 영상을 포함한다. 달리 말하면, 거리-도플러 영상 내 각 픽셀은 대응 거리 및 (환경 내 포인트에 대응하는) 교차 거리에 대응하고 상기 거리 및 교차거리에 대한 속도를 정의한다. 다른 구현에서, 위상 코히어런트 LIDAR 데이터는 국부 발진기의 시간 지연된 반사와의 믹싱에 기반하여 FMCW LIDAR 콤포넌트의 광 수신기(들)에 의해 생성된 시변 중간 주파수(IF) 파형을 포함한다. 시변 IF 파형은 분류(들), 포즈(들) 및/또는 순간 속도/속도들을 직접 결정하는데 사용될 수 있고, 및/또는 푸리에 변환 및/또는 다른 기법들, 및 분류(들), 포즈(들) 및/또는 순간 속도/속도들의 결정에 사용된 프로세싱 데이터를 사용하여 프로세싱될 수 있다. 예를 들어, 시변 IF 파형의 각 슬라이스(slice)는 환경 내 대응 포인트에 대한 거리 및 속도, 및 분류(들), 포즈(들) 및/또는 순간 속도/속도들의 결정에 사용된 다수의 포인트들에 대한 거리 및 속도들을 결정하도록 프로세싱될 수 있다. 따라서, 하나 이상의 선행 및/또는 다른 타입의 위상 코히어런트 LIDAR 데이터가 위상 코히어런트 LIDAR 콤포넌트에 의해 생성될 수 있고, 여기에서 설명된 구현들에 따라서 객체의 특징(들) 결정에 사용될 수 있다. 특징(들)의 결정에 생성 및 사용된 위상 코히어런트 LIDAR 데이터의 타입(들)은, 예를 들어, 사용되고 있는 특별 위상 코히어런트 LIDAR 콤포넌트에 종속될 수 있다. 또한, 일부 구현에서 수신된 위상 코히어런트 LIDAR 데이터에 나타난 속도들은 (예를 들어, 자차량의 센서(들)에 기반하여 결정된 자차량의 속도 또는 위상 코히어런트 LIDAR 데이터 내 정적 객체들의 속도에 기반하여 자차량의 속도를 추론한 것에 기반하여) 자차량의 속도가 감산된 속도를 가질 수 있다. 일부 구현에서, 자차량의 속도는 수신된 위상 코히어런트 LIDAR 데이터에서 감산되지 않을 수 있다. 그러한 구현에서, 수신된 위상 코히어런트 LIDAR 데이터는 선택적으로 자차량의 속도를 감산하도록 처리될 수 있다.
일부 구현에서, 위상 코히어런트 LIDAR 데이터는 제1 및 제2 코히어런트 광 수신기와 같은, 적어도 제1 및 제2 수신기를 포함하는 위상 코히어런트 LIDAR 모노펄스(monopulse) 콤포넌트에서 출력된다. 그러한 구현에서, 각 센싱 이벤트는 제1 수신기에 의한 제1 수신기 센싱 이벤트 및 제2 수신기에 의한 제2 수신기 센싱 이벤트를 포함한다. 예를 들어, 제1 수신기 센싱 이벤트는 파형의 반사된 부분의 제1 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있고, 제2 수신기 센싱 이벤트는 파형의 반사된 부분의 제2 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있다. 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트는 여기에서 분리된 수신기들에 의한 것과 같이 분리된 이벤트들로 표시된다. 그러나, 센싱 이벤트들은 각각 동일 반사를 갖는 것일 수 있고, 동시에 또는 실질적으로 동시에 (예를 들어, 서로 1 밀리초 이내에, 서로 1 마이크로초 이내에, 또는 서로 1 나노초 이내에) 일어날 수 있다.
제1 및 제2 수신기들은 위치상 서로 상대적으로 오프셋되고, 따라서 제1 및 제2 검출들이 (예를 들어, 일시적으로 및/또는 특징적으로 (예를 들어, 동상 (in phase)으로) 변하게 한다. 이는 적어도 하나의 추가 데이터 채널이 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트의 비교에 기반하여 센싱 이벤트에 대해 결정될 수 있게 한다. 추가 채널은 센싱 이벤트에 기반하여 결정된 포인트(들)에 대한 각도 정확성 증가에 사용될 수 있다. 예를 들어, 추가 채널은 제1 및 제2 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들 (예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF 파형 내 차이들)에 기반할 수 있다. 예를 들어, 진폭 및/또는 위상차들은 센싱 이벤트에 기반하여 결정된 하나 이상의 포인트(들) 각각에 대해 각도(특별 각도 또는 각도 범위)를 결정하도록 비교될 수 있고, 포인트(들)이 센싱 이벤트를 초래한 반사의 빔 폭보다 적도록 각 각도가 결정된다. 따라서, 해당 거리에 대한 각도 (예를 들어, 수신기(들)에 대한 방위각 및 앙각)가 서브 빔 폭 레벨로 결정될 수 있고, 그에 따라 결정된 각도에 대해 보다 큰 정확성을 제공한다. 또한, 상기 포인트는 포인트의 위치가 각도 및 거리에 의해 정의될 때 서브 빔 폭 레벨로 국한될 수 있다.
일부 구현에서, 다수의 거리/속도 쌍들은 단일 센싱 이벤트에 기반하여 (예를 들어, 거리-도플러 영상 및/또는 IF 파형으로 나타낸 다수의 거리/속도 쌍들 중 거리 및/또는 속도의 차에 기반하여) 결정될 수 있음이 알려져 있다. 그러한 구현에서, 대응 각도는 다수의 거리/속도 쌍들 각각에 대해 결정될 수 있고, 또한 서브 빔 폭 레벨로 결정될 수 있다. 달리 설명하면, 센싱 사이클의 단일 센싱 이벤트는 둘 이상의 포인트들 각각에 대해 대응 거리 및 대응 속도를 결정하는데 사용될 수 있다. 상기 구현들의 일부 버전에서, 위상 코히어런트 LIDAR 콤포넌트의 레이저에 의한 출력인 전자기 출력의 빔 폭(들)은 의도적으로 넓혀져서 빔 폭에 의해 넓혀지지 않은 빔 폭에 비해 더 많은 공간 커버가 가능하다. 예를 들어, 빔 폭은, 위상 코히어런트 LIDAR 콤포넌트로부터 주어진 거리(예를 들어, 10미터, 15미터, 20미터, 50미터 또는 다른 거리)에서, 센싱 사이클의 빔들 사이에 커버리지 갭(coverage gap)이 없도록 고정될 수 있다. 여기에서 기술된 증가된 각도 정확도 기법들은 센싱 사이클의 각 빔의 넓어진 빔 폭 내에 있는 둘 이상의 포인트 각각에 대해 대응 거리 및 대응 속도를 결정하는데 사용될 수 있다. 이는, 여기에서 기술된 증가된 각속도 기법의 부재시, 센싱 사이클에서 더 많은 양의 빔과 센싱 이벤트들을 필요로 할 정확도를 갖는 거리 및 속도의 결정을 가능하게 한다. 따라서, 여기에서 기술된 증가된 각속도 기법들은 센싱 사이클에서 주어진 정확도를 갖는 거리 및 속도의 결정을 가능하게 하는 동시에, 상기 정확도를 달성하는 데 필요한 센싱 사이클 내 센싱 이벤트의 양을 감소시킬 수 있다. 이는 각 센싱 사이클에서 일어나는 센싱 이벤트 양을 감소시킬 수 있고, 그에 따라 하드웨어 자원들 (예를 들어, 레이저 자원들 및/또는 전력원 자원들)을 보존한다. 이는 추가적으로 또는 대안적으로 감소된 시간 내에 영역에 대해 주어진 거리 및 속도의 양들의 결정을 가능하게 하고, 그에 따라 추가 영역(들)에 대한 거리 및 속도를 결정할 추가 시간을 제공한다 (예를 들어, 각 센싱 사이클에서 센싱 사이클의 지속시간(duration)을 증가시키지 않고) 더 큰 전체 영역이 커버될 수 있게 하고 및/또는 상기 영역에 대한 갱신된 거리 및 속도에 대한 빠른 재결정를 가능하게 한다 (예를 들어, 각도의 정확도를 감소시키지 않고 센싱 사이클들을 짧게 한다).
따라서, 위상 코히어런트 LIDAR 모노펄스 콤포넌트로 두 수신기들에 대한 반사를 스플릿(split)함으로써, 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음이 증가) 수퍼 픽셀 분해능을 얻을 수 있다. 이는 (위상 코히어런트 LIDAR 모노펄스 콤포넌트로부터) 멀리 있고, 그리고/또는 크기가 작은 추가 차량의 포인트(들)에 대한 거리 및 속도 결정에 유리할 수 있다. 예를 들어, 주어진 리턴/센싱 이벤트에 대해 거리 및 속도가 결정될 수 있는 각도 정확도를 증가(주어진 포인트에서 각도 센싱에서 더 정확한 포지셔닝)시킬 수 있고- 따라서 분해능을 증가시키고, 멀리 있고 그리고/또는 크기가 작은 추가 차량에 대한 요 파라미터(들)의 결정 (또는 적어도 보다 정확한 결정)을 가능하게 하는 반면, 요 파라미터(들)은 멀리 있고 그리고/또는 크기가 작은 추가 차량에 대해 결정 가능하지 않을 수 있다 (또는 적어도 덜 정확할 것이다).
다양한 구현에서, 위상 코히어런트 LIDAR 모노펄스 콤포넌트로 둘 이상의 수신기들에 대한 반사를 스플릿(split)함으로써, 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음이 증가) 수퍼 분해능이 추가적으로 및/또는 대안적으로 달성될 수 있다. 둘 이상의 수신기들은 위치상에서 서로 상대적으로 오프셋되고, 따라서 수신기들의 개별 검출들이 (예를 들어, 일시적으로 및/또는 특징적으로 (예를 들어, 동상 (in phase)으로) 변하게 된다. 이는 각 수신기에서 센싱 이벤트로부터의 비중복(non-redundant) LIDAR 데이터가 결합되어 어떠한 개별 수신기의 센싱 이벤트의 LIDAR 데이터보다도 높은 해상도 (예를 들어, 더 높은 해상도의 거리 및/또는 속도)를 갖는 LIDAR 데이터(예를 들어, 거리-도플러 영상 및/또는 IF 파형)을 생성할 수 있게 한다. 달리 말하면, 각 센싱 이벤트는 각 수신기에서 수신기 센싱 이벤트를 포함할 수 있고 (예를 들어, 제1 수신기에서의 제1 수신기 센싱 이벤트, 제2 수신기에서의 제2 수신기 센싱 이벤트 등), 각 수신기 센싱 이벤트에 대한 각 LIDAR 데이터를 생성할 수 있다. 수신기 센싱 이벤트들로부터의 비중복 LIDAR 데이터를 결합하여 센싱 이벤트에 대한 수퍼 해상도 LIDAR 데이터를 생성할 수 있다. 비중복 LIDAR 데이터는, 예를 들어, 각 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들(예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF 파형 내 차이들)에 기반할 수 있다. (예를 들어, 연속 및 이산 푸리에 변환의 시프트 및 앨리어싱(shift and aliasing) 특성들에 기반한) 주파수 영역 기법들 및/또는 공간 영역 기법들(비반복(non-iterative) 및/또는 반복 기법들)과 같은 다양한 기법들이 다수의 수신기 센싱 이벤트들로부터 수퍼 해상도 LIDAR 데이터를 생성하는데 사용될 수 있다. 공간 영역 기법들은 수신기 센싱 이벤트들의 저 해상도 LIDAR 데이터로부터 수퍼 해상도 LIDAR 데이터를 구축하는데 있어 하나 이상의 유연한 추정기들을 적용하는데 사용될 수 있다. 그러한 유연한 추정기들은, 예를 들어, 최우도(Maximum likelihood), 최대 사후확률(Maximum a Posteriori), 볼록 집합 투영 (Projection Onto Convex Sets), 베이지안 처리 (Bayesian treatments) 등을 포함한다. 일부 위상 코히어런트 LIDAR 기법들 및 일부 위상 코히어런트 LIDAR 콤포넌트들에 대한 추가 설명은 모노펄스 콤포넌트들 및 기법들을 포함하여 여기에서 제공된다.
상술한 바와 같이, 위상 코히어런트 LIDAR 콤포넌트의 센싱 사이클 동안, 송신된 인코딩된 파형의 방향은 순차적으로 환경 내 복수의 포인트들 각각을 향해 순차적으로 반사되고, 인코딩된 파형의 반사된 부분들이 센싱 사이클의 해당 센싱 이벤트에서 위상 코히어런트 LIDAR 콤포넌트의 적어도 하나의 수신기에 의해 각각 검출된다. 센싱 사이클 동안, 파형은 환경 내의 영역에서 복수의 포인트들로 향하고, 대응하는 반사가, 상기 파형의 방향이 센싱 사이클내에서 상기 포인트들로 다시 향하지 않고, 검출된다. 따라서, 센싱 사이클의 위상 코히어런트 LIDAR 데이터로 나타낸 포인트의 거리 및 속도는 이전 또는 후속 센싱 이벤트를 참조하지 않고 단일 센싱 이벤트에 기반한다는 점에서 즉각적일 수 있다. 일부 구현에서, 다수의(예를 들어, 모든) 센싱 사이클들 각각은(센싱 사이클 동안의 파형의 방향을 통해) 동일 지속시간, 동일 시야(field-of-view) 및/또는 동일 패턴의 파형 분포를 가질 수 있다. 예를 들어, 각각 스윕(sweep) 하는 다수의 센싱 사이클들 각각은 동일 지속시간, 동일 시야 및 동일 파형 분포를 가질 수 있다. 그러나 많은 다른 구현에서, 지속시간, 시야, 및/또는 파형 분포 패턴은 하나 이상의 센싱 사이클 중에서 변할 수 있다. 예를 들어, 제1 센싱 사이클은 제1 지속시간, 제1 시야, 및 제1 파형 분포 패턴을 가질 수 있고, 제2 센싱 사이클은 제1 지속시간보다 짧은 제2 지속시간, 제1 시야의 서브세트인 제2 시야, 및 제1 파형 분포 패턴보다 조밀한 제2 파형 분포 패턴을 가질 수 있다.
도면들을 보면, 도 1은 여기에서 개시된 다양한 기술들이 구현된 예시적인 자율주행 차량(100)을 도시한 것이다. 예를 들어, 차량(100)은 에너지 소스(106)가 동력을 공급하는 원동기(104)를 포함한 동력계(Powertrain, 102)를 포함하고, 동력을 방향 제어기(direction control, 112), 동력계 제어기(114) 및 브레이크 제어기(116)를 포함한 제어 시스템(110) 뿐만 아니라 구동계(drivetrain, 108)로도 공급할 수 있다. 차량(100)은 사람 및/또는 화물을 수송할 수 있고, 육지, 바다, 하늘, 지하, 해저 및/또는 공간을 주행할 수 있는 차량들을 포함해 여러 다양한 형태로 구현될 수 있고, 상술한 콤포넌트들(102 내지 116)은 이 컴포넌트들이 사용되는 차량 타입에 기반하여 다양하게 변할 수 있음이 주지된다.
이후 논의된 구현들은, 예를 들어, 승용차, 밴, 트럭, 버스 등 차륜 육상 차량에 초점을 맞춘다. 그러한 예에서, 원동기(104)는 (다른 것들 중) 하나 이상의 전기 모터들 및/또는 내연 기관(internal combustion engine)을 포함할 수 있다. 에너지 소스(106)는, 예를 들어, 연료 시스템(예를 들어, 휘발유, 디젤, 수소 등을 제공), 배터리 시스템, 태양 패널 또는 다른 재생가능한 에너지 소스, 및/또는 연료 전지 시스템을 포함할 수 있다. 구동계(108)는 제어가능하게 차량(100)을 정지 또는 느리게 하도록 구성된 하나 이상의 브레이크들 및 차량(100)의 궤적 (예를 들어, 차량(100)의 하나 이상의 휠들이 일반적으로 수직축에 대해 회전하여 휠들의 회전 평면 각이 차량의 장축에 대해 변하도록 할 수 있는 랙 앤 피니언 조향 연결(rack and pinion steering linkage))을 제어하는데 적합한 방향 또는 스티어링 콤포넌트들 뿐만 아니라, 원동기(104)의 출력을 차량 움직임으로 변환하는데 적합한 트랜스미션 및/또는 임의의 다른 기계 구동 콤포넌트들과 함께 휠들 및/또는 타이어들을 포함할 수 있다. 일부 구현에서, 동력계 및 에너지 스소들의 결합이 (예를 들어, 전기/가스 하이브리드 차량들의 경우에) 사용될 수 있고, 일부 예에서 (예를 들어 개별 휠들 또는 축들 전용의) 다수의 전기 모터들이 원동기로 사용될 수 있다.
방향 제어기(112)는 방향 또는 조향 콤포넌트들로부터의 피드백을 제어 및 수신하여 차량(100)이 원하는 궤적을 따르도록 하는 하나 이상의 액츄에이터들 및/또는 센서들을 포함할 수 있다. 동력계 제어기(114)는 동력계(102)의 출력을 제어하도록, 예를 들어, 원동기의 출력 파워를 제어하여 구동계(108) 내 트랜스미션의 기어 등을 제어하도록 구성되어 차량(100)의 속도 및/또는 방향을 제어한다. 브레이크 제어기(116)는 차량(100)의 속도를 늦추거나 정지시키는 하나 이상의 브레이크들, 예를 들어, 차량 휠들과 결합된 디스크 또는 드럼 브레이크들을 제어하도록 구성될 수 있다.
비행기, 우주선, 헬리콥터, 드론, 군용 차량, 전지형 또는 궤도 차량(all-terrain or tracked vehicles), 선박, 잠수함, 건설 장비 등을 포함하지만 그에 제한되지 않는 다른 차량 타입들은, 본 개시의 이익을 갖는 당업자라면 이해하는 것처럼, 필수적으로 서로 다른 동력계, 구동계, 에너지 소스들, 방향 제어, 동력계 제어기 및 브레이크 제어기를 사용할 것이다. 또한, 일부 구현에서 콤포넌트들의 일부가 결합될 수 있고, 예를 들어, 차량의 방향 제어는 하나 이상의 원동기들의 출력을 변하게 하여 1차 처리된다. 따라서 여기에서 개시된 구현들은 자율주행 차륜 육상 차량에서 여기에 기술된 기법들의 특별 애플리케이션에 제한되지 않는다.
도시된 구현에서, 차량(100)에 대한 완전 또는 반 자율주행 제어는 차량 제어 시스템(120)에서 구현되고, 차량 제어 시스템(120)은 하나 이상의 프로세서들(122) 및 하나 이상의 메모리들(124)을 포함할 수 있고, 각 프로세서(122)는 메모리(124)에 저장된 프로그램 코드 명령들(126)을 실행하도록 구성된다. 프로세서(들) (122)은, 예를 들어, 그래픽 처리 유닛(들) (GPU(s)) 및/또는 중앙 처리 유닛(들) (CPU(s))을 포함할 수 있다.
센서들(130)은 차량 동작을 제어하는데 사용되는 차량의 주위 환경으로부터 정보 수집에 적합한 다양한 센서들을 포함할 수 있다. 예를 들어, 센서들(130)은 차량의 주파수 변조 연속파(FMCW) 라이더(LIDAR) 콤포넌트(132)를 포함할 수 있다. 여기에 기술한 바와 같이, FMCW LIDAR 콤포넌트(132)는 차량(100)의 환경 내 하나 이상의 객체들 각각에 대한 포즈, 분류, 및 속도 결정에 사용될 수 있는 FMCW LIDAR 데이터를 생성할 수 있다. FMCW LIDAR 콤포넌트(132)에 의해 생성된 FMCW LIDAR 데이터는 차량 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 콤포넌트의 해당 센싱 이벤트에 기반한 대응 거리 및 대응 속도를 나타낸다. FMCW LIDAR 콤포넌트가 도 1 (및 다른 도면들)에 도시되었고, 많은 도면들과 조합하여 여기에 도시되었지만, 많은 구현에서 FMCW LIDAR 콤포넌트가 아닌 위상 코히어런트 LIDAR 콤포넌트가 대신 사용될 수 있다. 또한, 이들 구현에서, FMCW LIDAR 데이터가 아닌 위상 코히어런트 LIDAR 데이터가 FMCW LIDAR 데이터 대신 사용될 수 있다.
센서들(130)은 또한 선택적으로 RADAR(Radio Detection and Ranging) 콤포넌트(134) 및/또는 (비 위상 코히어런트, 거리 결정에는 사용될 수 있지만 속도에는 사용되지 않는 데이터를 생성하는) LIDAR 콤포넌트(136)를 포함할 수 있다. 또한, 센서들은 선택적으로, 예를 들어, GPS, GLONASS, Galileo, Compass 등과 같은 다양한 위성 항법 시스템들 중 어느 것과 양립할 수 있는 위성 항법(SATNAV) 콤포넌트(138)를 포함할 수 있다. SATNAV 콤포넌트(138)는 위성 신호를 사용하여 대지 위 차량의 위치를 결정하는데 사용될 수 있다. 센서들(130)은 또한 카메라(140), 관성 측정 유닛(inertial measurement unit, IMU) (142) 및/또는 하나 이상의 휠 인코더들(144)을 포함할 수 있다. 카메라(140)는 모노그래픽 또는 스테레오그래픽 카메라일 수 있고, 정지 및/또는 비디오 이미저(imager)를 기록할 수 있다. IMU(142)는 세 방향에서 차량(100)의 선형 및 회전 움직임을 검출할 수 있는 다수의 자이로스코프 및 가속도계를 포함할 수 있다. 휠 인코더들(142)은 차량(100)의 하나 이상의 휠들의 회전을 모니터링하는데 사용될 수 있다.
센서들(130)의 출력들은 위치추적 서브시스템 (152), 계획 서브시스템 (156), 인식 서브시스템 (154) 및 제어 서브시스템 (158)을 포함하는 제어 서브 시스템 세트 (150)로 제공될 수 있다. 위치추적 서브시스템(152)은 주로 주변 환경 내에서, 그리고 대체로 일부 참조 환경 내에서 차량(100)의 위치와 방향 (종종 "포즈"라고 불림)을 정확하게 식별한다. 인식 서브시스템(154)은 주로 차량(100)의 주변 환경 내 엘리먼트들을 검출, 추적 및/또는 식별한다. 예를 들어, 여기에 기술된 바와 같이, 인식 서브시스템(154)은 복수의 반복 각각에서, 차량(100) 주변 환경 내 하나 이상의 객체들 각각에 대한 포즈, 분류, 및 속도를 결정할 수 있다. 또한, 예를 들어, 인식 서브시스템(154)은 다수 반복을 통해 다양한 객체를 추적할 수 있다. 예를 들어, 인식 서브시스템(154)은 추가 차량이 자차량(100)에 대해 상대적으로 움직일 때 다수 반복하여 추가 차량을 추적할 수 있다. 인식 서브시스템(154)은 다수 반복을 통한 객체 추적에서 여기에서 기술된 검출, 분류 및/또는 속도 기법들을 사용한다. 계획 서브시스템(156)은 주로 환경 내 정지 또는 이동 객체뿐만 아니라 원하는 목적지가 주어지면 일부 시간 프레임 동안 차량(100)에 대한 궤적을 계획한다. 예를 들어, 여기에 기술된 바와 같이, 계획 서브시스템(156)은, 차량(100) 주변 환경에서 차량(100)의 환경 내 하나 이상의 객체들 각각에 대한 포즈, 분류, 및/또는 속도에 적어도 부분적으로 기반하여 차량의 궤적을 계획할 수 있다. 일부 구현에서, 계획 서브시스템(156)은 환경 내 하나 이상의 추가 이동 객체들 각각에 대한 후보 궤적들을 생성 및 고려하여 차량(100)에 대한 궤적으로 계획한다. 계획 서브시스템(156)은 반복하는 동안 포즈, 분류, 및/또는 속도- 및/또는 다수 반복을 통한 객체의 추적에 기반하여 반복시 객체에 대한 후보 궤적을 결정할 수 있다. 제어 서브시스템(158)은 주로 차량의 계획된 궤적을 구현하기 위해 제어 시스템(110)에서 다양한 제어기들을 제어하는 적절한 제어 신호들을 생성한다.
차량 제어 시스템(120)에 대한 도 1에 도시된 콤포넌트들의 수집은 본질적으로 단지 예시적인 것임이 이해될 것이다. 개별 센서들은 일부 구현에서 생략될 수 있다. 추가적으로 또는 대안적으로, 일부 구현들에서, 도 1에 도시된 다양한 타입의 센서들은 중복, 및/또는 차량 주변의 서로 다른 영역들을 커버하기 위해 사용될 수 있고, 다른 센서 타입들이 사용될 수 있다. 유사하게, 제어 서브시스템들의 서로 다른 타입들 및/또는 결합들이 다른 구현에서 사용될 수 있다. 또한, 서브시스템들(152 내지 160)이 프로세스들(122) 및 메모리(124)와 분리된 것으로 도시되었지만, 일부 구현에서 서브시스템들(152 내지 160)의 일부 또는 모든 기능이 하나 이상의 메모리들(124)에 상주한 프로그램 코드 명령들(126)로 구현되어 하나 이상의 프로세서들(122)에 의해 실행되고, 일부 예에서 이 서브시스템들(152 내지 160)이 동일한 프로세서들 및/또는 메모리를 사용하여 구현될 수 있음이 이해될 것이다. 일부 구현에서 서브시스템들은 부분적으로 다양한 전용 회로 로직, 다양한 프로세서들, 다양한 필드 프로그래머블 게이트 어레이들("FPGA"), 다양한 주문형 반도체("ASIC"), 다양한 실시간 제어기들 등을 사용하여 구현될 수 있고, 상술한 대로 다수의 서브시스템들은 회로, 프로세서들, 센서들 및/또는 다른 콤포넌트들을 사용할 수 있다. 또한, 차량 제어 시스템(120)에서 다양한 콤포넌트들이 다양한 방식으로 네트워크로 연결될 수 있다.
일부 구현에서 차량(100)은 또한 차량(100)용 중복 또는 백업 제어 시스템으로 사용될 수 있는 2차 차량 제어 시스템(도시되지 않음)을 포함할 수 있다. 일부 구현에서, 2차 차량 제어 시스템은 차량 제어 시스템(120)에서 이상 사례(adverse event) 이벤트에서 자율주행 차량(100)을 전체 동작시킬 수 있는 반면, 다른 구현에서, 2차 차량 제어 시스템(170)은, 예를 들어, 1차 차량 제어 시스템(120)에서 검출된 이상 사례에 응답하여 차량(100)의 정지 제어를 수행하는 제한된 기능만을 가질 수 있다. 다른 구현에서, 2차 차량 제어 시스템은 생략될 수 있다.
대체로, 소프트웨어, 하드웨어, 회로 로직, 센서들, 네트워크들 등의 다양한 결합을 포함한 무수히 서로 다른 아키텍쳐들이 도 1에 도시된 다양한 콤포넌트들의 구현에 사용될 수 있다. 각 프로세서는 예를 들어 마이크로프로세서로 구현될 수 있고, 각 메모리는, 예를 들어, 캐시 메모리들, 비휘발성 또는 백업 메모리들 (예를 들어, 프로그래머블 또는 플래시 메모리들), 롬(ROM, read only memory) 등의 보충 수준의 메모리뿐만 아니라 메인 스토리지를 포함하는 램(RAM, random access memory) 장치들을 나타낼 수 있다. 또한 각 메모리는, 가상 메모리, 예를 들어, 대량 스토리지 장치 또는 다른 컴퓨터 또는 제어기에 저장되어 사용된 스토리지 용량뿐 만 아니라, 차량(100) 내 어느 곳에 물리적으로 위치한 메모리 스토리지, 예를 들어, 프로세서 내 임의의 캐시 메모리를 포함하는 것으로 고려될 수 있다. 도 1에 도시된 하나 이상의 프로세스들 또는 전체적으로 분리된 프로세서들이 자율 제어의 목적을 벗어나 차량(100) 내 추가 기능, 예를 들어, 오락 시스템의 제어, 문, 조명, 편의성 특징들 등의 제어의 구현에 사용될 수 있다.
또한, 추가 스토리지의 경우, 차량(100)은 또한 하나 이상의 대량 스토리지 장치들, 예를 들어, 다른 것들 중에서 착탈가능 디스크 드라이브, 하드 디스크 드라이브, 직접 접근 스토리지 장치 (DASD), 광 드라이브(예를 들어, CD 드라이브, DVD 드라이브 등), SSD(solid state storage drive), 네트워크 부착 스토리지, 스토리지 영역 네트워크(storage area network) 및/또는 태입 드라이브 등을 포함할 수 있다. 또한 차량(100)은 사용자 인터페이스(164)를 포함하여 차량(100)이 사용자 또는 운전자들로부터 다수의 입력들을 수신할 수 있게 하고, 사용자 또는 운전자를 위한 출력들, 예를 들어, 하나 이상의 디스플레이들, 터치 스크린들, 음성 및/또는 제스처 인터페이스들, 버튼들, 및 다른 촉각 제어 등을 생성할 수 있게 한다. 또한, 사용자 입력은 다른 컴퓨터 또는 전자 장치, 예를 들어, 이동 장치 앱을 통해 또는 웹 인터페이스를 통해 수신될 수 있다.
또한, 차량(100)은 하나 이상의 네트워크들(예를 들어, 다른 것들 중 LAN, WAN, 무선 네트워크 및/또는 인터넷)과 통신에 적합한 하나 이상의 네트워크 인터페이스들, 예를 들어, 네트워크 인터페이스(162)를 포함하여, 예를 들어, 차량(100)이 자율 제어에 사용하기 위한 환경 및 다른 데이터를 수신하는 클라우드 서비스와 같은 중앙 서비스를 포함하는, 다른 컴퓨터들 및 전자 장치들과의 정보의 통신을 허용한다.
여기에서 기술된 다양한 추가 제어기들 및 서브 시스템들 뿐만 아니라, 도 1에 도시된 각 프로세서는, 이하에서 상세하게 설명되는 것과 같이, 대체로 운영체제의 제어 하에서 동작하고 다양한 컴퓨터 소프트웨어 애플리케이션들, 콤포넌트들, 프로그램들, 객체들, 모듈들, 데이터 구조들 등을 실행 또는 그들에 의존한다. 또한 다양한 애플리케이션들, 콤포넌트들, 프로그램들, 객체들, 모듈들 등은 또한, 예를 들어, 분산 클라우드 기반, 또는 클라이언트-서버 컴퓨팅 환경에서 네트워크를 통해 차량(100)에 결합된 다른 컴퓨터에서 하나 이상의 프로세서 상에서 실행될 수 있고, 그에 따라 컴퓨터 프로그램 기능들의 구현에 필요한 프로세싱이 네트워크를 통해 다수의 컴퓨터들 및/또는 서비스들에 할당될 수 있다.
대체로, 본 명세서에 기술된 다양한 구현들을 위해 실행되는 루틴들은, 운영체제 또는 특정 애플리케이션, 콤포넌트, 프로그램, 객체, 모듈 또는 명령 시퀀스, 혹은 그 서브세트의 일부로 구현되는지 여부에 따라 본 명세서에서는 "프로그램 코드"로 지칭될 것이다. 프로그램 코드는 다양한 시각에서 컴퓨터의 다양한 메모리 및 저장 장치에 상주하는 하나 이상의 명령을 포함하며, 컴퓨터의 하나 이상의 프로세서에 의해 판독 및 처리되면, 컴퓨터로 하여금 본 발명의 다양한 양태를 실시하는 단계 또는 엘리먼트를 실행하는 데 필요한 단계를 수행하게 한다. 또한, 완전히 기능하는 컴퓨터 및 컴퓨터 시스템의 관점에서 본 발명을 후술하겠지만, 당업자는 본 발명의 다양한 실시예가 다양한 형태의 프로그램 제품으로 배포될 수 있으며, 실제로 이 배포를 수행하는 데 이용되는 매체를 포함한 컴퓨터로 독출가능한 특별 타입에 관계없이 본 발명이 구현될 수 있음을 이해할 것이다. 컴퓨터로 독출가능한 매체의 예는 휘발성 및 비휘발성 메모리 장치들, 다른 착탈가능한 디스크, 고체 상태 드라이브(solid state drive), 하드 디스크 드라이브, 자기 테이프 및 광 디스크 (예를 들어, CD-ROM, DVD 등)과 같이 만질 수 있고, 비 일시적인 매체를 포함한다.
또한, 후술할 다양한 프로그램 코드는 본 발명의 특정 실시예에서 구현되는 애플리케이션에 기초하여 식별될 수 있다. 그러나, 후술할 임의의 특정 프로그램 명칭은 단순히 편의를 위한 것이므로, 이러한 명칭에 의해 식별 및/또는 암시되는 임의의 특정 애플리케이션에 제한되어서는 안된다. 또한, 컴퓨터 프로그램이 루틴, 프로시져, 방법, 모듈, 객체 등으로 조직화되는 전형적으로 무수한 방식뿐만 아니라, 프로그램 기능성이 전형적인 컴퓨터 내에 상주하는 다양한 소프트웨어 계층(예를 들어, 운영 체제, 라이브러리, API, 애플리케이션, 애플릿 등) 사이에 할당되는 다양한 방식이 주어지면, 본 발명이 설명될 프로그램 기능성의 특정 조직 및 할당에 제한되지 않는다는 것이 이해되어야 한다.
본 개시의 이익을 얻는 당업자는 도 1에 도시된 예시적인 환경이 본 발명을 제한하고자 한 것이 아님을 인식할 것이다. 확실히, 당업자는 다른 대안적인 하드웨어 및/또는 소프트웨어 환경이 여기에 개시된 구현들의 범위를 벗어나지 않고 사용될 수 있음을 인식할 것이다.
도 2a 및 2b를 보면, 도 1의 FMCW LIDAR 콤포넌트(132)의 두 가지 구현이 개략적으로 도시되어 있다. 도 2a는 단일 수신기(132A3)를 포함하는 FMCW LIDAR 콤포넌트(132A)를 도시한 반면, 도 2b는 두 개의 수신기들(132B3A 및 132B3B)을 포함하는 FMCW LIDAR 모노펄스 콤포넌트(132B)를 도시한다.
도 2a에서, FMCW LIDAR 콤포넌트(132A)는 광출력이 신호 생성기(132A2)에 의해 제어되는 튜너블 레이저(132A1)를 포함한다. 신호 생성기(132A2)는 레이저 (132A1)가, 광 스펙트럼 내에 있고 전자기 출력의 주파수 변형을 통해 인코딩되는 전자기 출력을 생성하도록 레이저(132A1)를 구동한다. 신호 생성기(132A2)는 신호를 생성하여 파형이 인코딩되도록 한다. 다양한 타입의 주파수 인코딩된 파형들이 신호 생성기(132A2) 및 레이저(132A1)을 통해 생성될 수 있다.
도 2a는 선행 단락에서 설명된 것처럼 인코딩되고 방향이 타겟 객체(191) 상의 포인트를 향한 레이저(132A1)로부터 송신된 빔(192A)을 도시한 것이다. 송신된 빔(192A)은 타겟 객체(191) 상의 포인트에서 반사되고, 반사(193A)는 센싱 이벤트 동안 수신기(132A3)에서 수신된다. 송신된 빔(192A)은 인코딩된 파형의 슬라이스를 포함하고, 반사(193A)는 또한 인코딩된 파형의 슬라이스를 포함한다. 인코딩된 파형의 슬라이스는 센싱 이벤트 동안 수신기(132A3)에 의해 검출된다.
수신기(132A3)는 코히어런트 수신기일 수 있고, 반사(193A)는 송신된 빔(192A)의 스플릿 부분인 국부 광신호와 믹싱된 코히어런트 검출 방식을 사용하여 수신기(132A3)에 의해 검출될 수 있다. 수신기(132A3)에 의한 반사(193A)의 검출은 국부 광신호(예를 들어, 송신된 빔(192A)의 스플릿 부분)의 검출에 대해 시간 지연될 것임이 알려져 있다. 코히어런트 검출 방식은 프로세서(132A4)에 의해 구현될 수 있고, 예를 들어, 호모다인 믹싱(homodyne mixing), 헤테로다인 믹싱(heterodyne mixing), 셀프 헤테로다인 믹싱(self-heterodyne mixing), 또는 다른 코히어런트 검출 방식일 수 있다. 반사된 부분이 국부 광신호와 믹싱되어 생성된 결과 신호는: (1) 타겟 객체(191)의 포인트까지의 거리, 및 (2) 타겟 객체(101)의 포인트의 속도를 나타낸다. 일부 구현에서, 프로세서(132A4)는 그 결과 신호를 FMCW LIDAR 콤포넌트(132A)로부터의 포인트에 대한 FMCW LIDAR 데이터로 제공한다. 일부 다른 구현에서, 프로세서(132A4)는 추가 처리를 수행하여 포인트의 거리 및 속도를 직접 나타내는 포인트용 FMCW LIDAR 데이터를 생성한다. 예를 들어, 상기 포인트의 거리 및 속도는, 거리 및 속도 값들, 또는 거리-도플러 이미지를 나타내는 3D 포인트 클라우드인 FMCW LIDAR 데이터 내에서 직접 나타낼 수 있다. 레이저(132A1)로부터의 광출력 방향(예를 들어, 방위각 및/또는 고도)이 변하는 다수의 센싱 이벤트들에 대한 검출을 통해, FMCW LIDAR 데이터는 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 콤포넌트에 의해 생성되고, 환경 내 각 포인트에 대해 거리, 속도 및 선택적으로 강도를 나타낸다.
상술한 도 2a의 설명은 FMCW LIDAR 콤포넌트를 설명하지만, FMCW가 아닌 위상 코히어런트 LIDAR 콤포넌트가 동일 및/또는 유사 콤포넌트들을 가질 수 있음이 주목된다. 그러나, 비(non-) FMCW LIDAR 콤포넌트가 구비된 경우, 신호 생성기(132A2)는 레이저(132A1)를 구동하여 비연속적 및/또는 주파수 변조가 아닌 기법을 사용하여 인코딩되는 파형을 생성할 수 있다.
도 2b에서, FMCW LIDAR 모노펄스 콤포넌트(132B)는 광출력이 신호 생성기(132B2)에 의해 제어되는 튜너블 레이저(132B1)를 포함한다. 신호 생성기(132B2)는 레이저 (132B1)가 광 스펙트럼 내에 있고 전자기 출력의 주파수 변형을 통해 인코딩되는 전자기 출력을 생성하도록 레이저(132B1)를 구동한다. 신호 생성기(132B2)는 신호를 생성하여 파형이 인코딩되도록 한다. 다양한 타입의 인코딩된 파형들이 신호 생성기(132B2) 및 레이저(132B1)을 통해 생성될 수 있다.
도 2b는 선행 단락에서 설명된 것처럼 인코딩되고 방향이 타겟 객체(191) 상의 포인트를 향한 레이저(132B1)로 부터 송신된 빔(192B)을 도시한 것이다. 송신된 빔(192B)은 타겟 객체(191) 상의 포인트에서 반사되고, 센싱 이벤트 동안, 제1 반사(193B1)가 제1 수신기(132B3A)에서 수신되고, 제2 반사(193B2)가 제2 수신기(132B3B)에서 수신된다. 송신된 빔(192B)은 인코딩된 파형의 슬라이스를 포함하고, 반사들(193B1 및 193B2)도 인코딩된 파형의 슬라이스를 포함한다. 제1 및 제2 수신기들(132B3A 및 132B3B)은 코히어런트 수신기들일 수 있고, 센싱 이벤트는 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트를 포함할 수 있다. 제1 수신기 센싱 이벤트는 제1 반사(193B1)의 제1 검출과 국부 발진기의 코히어런트 믹싱(예를 들어, 송신된 빔(192B)의 스플릿 부분)을 포함할 수 있고, 제2 수신기 센싱 이벤트는 제2 반사(193B2)의 제2 검출과 국부 발진기의 코히어런트 믹싱을 포함할 수 있다. 제1 및 제2 수신기들(132B3A 및 132B3B)은 위치상에서 서로 상대적으로 오프셋되고, 따라서 제1 및 제2 검출들을 변하게 한다. 이는 프로세서(132B4)가, 제1 수신기 센싱 이벤트 및 제2 수신기 센싱 이벤트의 비교에 기반하여 센싱 이벤트에 대한 적어도 하나의 추가 데이터 채널을 결정할 수 있게 한다. 예를 들어, 프로세서(132B4)는 제1 및 제2 수신기 센싱 이벤트들 사이의 진폭 및/또는 위상차들 (예를 들어, 국부 발진기 신호와의 믹싱에서 제1 및 제2 수신기들 각각에 의해 생성된 시변 IF의 차이들)에 기반하여 추가 채널을 결정할 수 있다. 예를 들어, 진폭 및/또는 위상차들은 센싱 이벤트에 기반하여 결정된 하나 이상의 포인트(들) 각각에 대해 각도(특별 각도 또는 각도 범위)를 결정하도록 비교될 수 있고, 여기서 각 각도는 포인트(들)이 센싱 이벤트를 초래한 반사의 빔 폭보다 작도록 분해된다. 따라서, 해당 거리에 대한 각도 (예를 들어, 수신기(들)에 대한 방위각 및 앙각)가 서브 빔 폭 레벨로 결정될 수 있다. 또한, 상기 포인트는 포인트의 위치가 각도 및 거리에 의해 정의될 때 서브 빔 폭 레벨로 국한될 수 있다. 따라서, 두 수신기들에 대한 반사 스플릿을 통해 신호대 잡음비 (SNR)가 감소하는 동안 (즉, 잡음을 증가) 증가된 각도 정확도를 얻을 수 있다. 이는 (FMCW LIDAR 모노펄스 콤포넌트로부터) 원격 및/또는 작은 추가 차량의 다수의 포인트(들)에 대한 거리 및 속도 결정에 유리할 수 있다. 추가적으로 또는 대안적으로, 및 상술한 바와 같이, 프로세서(132B4)는 제1 및 제2 검출로부터 비중복 데이터를 사용하여 초해상도의 LIDAR 데이터를 결정할 수 있다. 예를 들어, 프로세서들(132B4)은 제1 및 제2 검출로부터 저해상도 LIDAR 데이터부터 초해상도의 LIDAR 데이터를 만들 수 있다. 따라서, 두 수신기들에 대한 반사 스플릿을 통해 SNR을 감소시키는 동안, 초해상도의 거리 및 속도가 결정될 수 있다.
일부 구현에서, 프로세서(132B4)는 제1 및 제2 수신기 센싱 이벤트들로부터 생성된 신호를 FMCW LIDAR 모노펄스 콤포넌트(132B)로부터의 포인트들에 대한 FMCW LIDAR 모노펄스 데이터로 제공한다. 일부 다른 구현에서, 프로세서(132B4)는 추가 처리를 수행하여 포인트들의 거리 및 속도를 직접 나타내는 포인트용 FMCW LIDAR 모노펄스 데이터를 생성한다. 예를 들어, 상기 포인트들의 거리 및 속도는, 3D 포인트 클라우드 또는 거리-도플러 이미지인 FMCW LIDAR 모노펄스 데이터로 직접 나타낼 수 있다. 레이저(132B1)로부터의 광출력 방향(예를 들어, 방위각 및/또는 고도)이 변하는 다수의 센싱 이벤트들에 대한 검출을 통해, FMCW LIDAR 모노펄스 데이터는 환경 내 복수의 포인트들 각각에 대해 FMCW LIDAR 모노펄스 콤포넌트 (132B)에 의해 생성되고, 환경 내 각 포인트에 대해 거리, 속도 및 선택적으로 강도를 나타낸다.
상술한 도 2B의 설명은 FMCW LIDAR 모노펄스 콤포넌트를 설명하지만, FMCW가 아닌 위상 코히어런트 LIDAR 모노펄스 콤포넌트가 동일 및/또는 유사 콤포넌트들을 가질 수 있음이 주목된다. 그러나, 비 FMCW LIDAR 콤포넌트가 구비된 경우, 신호 생성기(132B2)는 레이저(132B1)를 구동하여 비연속적이고 및/또는 주파수 변조가 아닌 기법을 사용하여 인코딩되는 파형을 생성할 수 있다.
도 3a를 보면, 차량 환경 내 객체(들)에 대한 분류(들)을 결정하고, 상기 분류(들)에 기반하여 차량을 제어하는 구현을 도시한 블록도가 제공된다. 도 3a는 차량 제어 시스템(120)의 서브시스템들(152, 154, 156, 및 158), 및 이들이 차량 환경에서 객체(들)에 대한 분류(들)를 결정, 객체(들)의 포즈(들)의 결정, 객체(들)의 (만약 있다면) 이동 파라미터 결정, 및/또는 그 결정들에 기반하여 자율주행 제어를 조정하는데 있어 어떻게 서로 상호작용하는지에 대한 예를 도시한다.
위치추적 서브시스템(152)은 일반적으로 환경 내에서 차량의 위치 파악을 담당한다. 위치추적 서브시스템(152)은, 예를 들어, 주위 환경 내 자율주행 차량(100)의 포즈(일반적으로 위치, 일부 예에서는 방향)를 결정할 수 있다. 위치추적 서브시스템(152)은 FMCW LIDAR 콤포넌트(132)로부터의 FMCW LIDAR 데이터(392) 및/또는 카메라(140), RADAR 콤포넌트(134), LIDAR 콤포넌트(136) 및/또는 도 1의 다른 센서들(130)(예를 들어, IMU(142), 인코더들(144))과 같은 다른 센서(들)로부터의 데이터를 사용하여 자율주행 차량(100)의 포즈를 결정할 수 있다. 위치추적 서브시스템(152)에 의해 결정된 포즈는, 예를 들어, 차량 제어 시스템(120)에 의해 사용된 맵에 대한 것일 수 있다. 포즈는 차량이 전체 환경을 이동할 때 위치추적 서브시스템(152)에 의해 갱신될 수 있고, 포즈는 서브시스템(들)에 의해 사용되도록 하나 이상의 다른 서브시스템들(154, 156, 및/또는 158)에게 제공될 수 있다(또는 접근될 수 있다).
인식 서브시스템(154)은 주로 차량 환경 내에서 객체들을 인식하고, FMCW LIDAR 데이터(392) 및 선택적으로 다른 센서들(391)(예를 들어, 카메라(9140), RADAR 콤포넌트(134))의 데이터를 사용하여 상기 객체들을 검출, 분류하고, 상기 객체들에 대한 속도를 판단하며, 상기 객체들을 추적한다.
인식 서브시스템(154)은 FMCW LIDAR 데이터(392) 및/또는 다른 센서(들)(391)의 데이터를 사용하여 다양한 객체들을 검출(예를 들어, 객체들의 포즈를 판단) 및 검출된 객체들을 분류하는데 사용하는 객체 검출 및 분류 모듈(154A)을 포함할 수 있다. 예를 들어, 객체 검출 및 분류 모듈(154A)은 추가 차량들, 보행자들, 동물들, 나무들, 신호들, 자전거를 탄 사람들, 및/또는 차량 (100)의 환경 내 다른 객체(들)을 검출 및 분류하는데 있어 FMCW LIDAR 데이터(392) 및/또는 다른 센서(들)(391)의 데이터를 처리한다.
다양한 구현에서, 객체 검출 및 분류 모듈(154A)은 다양한 객체들의 검출 및/또는 분류에 하나 이상의 분류 모델들(170)을 사용할 수 있다. 예를 들어, 분류 모델(들)은 베이지안 모델들, 랜덤 포레스트 모델들(random forest models), 마코프(Markov) 모델, 및/또는 신경회로망과 같은 하나 이상의 학습된 기계학습 모델(들)을 포함할 수 있다. 예를 들어, 학습된 기계학습 모델(들)은 FMCW LIDAR 데이터(및/또는 다른 데이터) 처리에 사용하도록 학습된 신경회로망을 포함하여 데이터에 의해 캡쳐된 하나 이상의 객체들 각각에 대해 상기 객체의 해당 포즈 및 해당 분류(들)을 나타내는 출력을 생성한다. 그러한 신경 회로망 모델들의 일부 비제한적인 예들이 여기에서 (예를 들어, 도 3b, 3c, 4a 및 4b를 참조하여) 보다 상세하게 설명된다. 일부 구현에서, 다양한 객체들의 검출 및/또는 분류에서, 객체 검출 및 분류 모델(154A)은 추가적으로 또는 대안적으로 기계 학습 모델(들)을 사용하지 않고 FMCW LIDAR 데이터(392) 및/또는 다른 센서(들)의 데이터를 처리할 수 있다. 예를 들어, 최근접 이웃 및/또는 다른 클러스터링 기법들이 유사 해당 분류를 갖는 데이터 부분들을 결정하는데 사용될 수 있다.
사용된 기법(들)과 무관하게, 객체 검출 및 분류 모듈(154A)은 객체(들)(394)의 포즈(들) 및 클래스(들)의 표시(indication)를 인식 서브시스템(154)의 속도 모듈(154B)에 제공할 수 있다. 각 객체에 제공된 포즈는, 예를 들어, 차량 제어 시스템(120)에 의해 사용된 맵에 관련된 것이거나 및/또는 FMCW LIDAR 데이터(392)에 관련된 것일 수 있다. 속도 모듈(154B)은 FMCW LIDAR 데이터(392)를 사용하여 하나 이상의 객체들(396) 각각에 대한 순간 속도를 결정한다. 일부 구현에서, 속도 모듈(154B)은 일정 분류(들)를 갖는 객체(들)에 대해서만 순간 속도를 판단하고 및/또는 객체들의 일정 분류(들)은 순간 속도 판단에서 제외한다. 예를 들어, 속도 모듈(154B)은 나무 분류와 같은 비이동 객체들을 나타내는 일정 분류(들)의 객체(들)를 배제할 수 있다. 또한, 예를 들어, 속도 모듈(154B)은 보행자 분류와 같은 비교적 느린 이동 객체들을 나타내는 일정 분류(들)의 객체(들)을 배제할 수 있다. 다른 예로, 속도 모듈(154B)은 차량, 자전거 탄 사람, 및/또는 비교적 빨리 이동할 수 있는 객체들을 나타내는 다른 분류(들)에 대한 순간 속도를 판단할 수 있다.
객체에 대한 순간 속도 판단에서, 속도 모듈(154B)은 상기 객체에 대해 제공된 포즈(394에서 제공)를 사용하여 상기 포즈 (그리고 결과적으로 상기 객체)에 해당하는 FMCW LIDAR 데이터(392)의 서브그룹을 결정할 수 있다. 또한, 속도 모듈(154B)은 서브그룹의 FMCW LIDAR 데이터의 (방향 및 크기를 포함한) 속도 함수로서 순간 속도를 판단할 수 있다. 예를 들어, 속도 모듈(154B)은 속도들의 평균, 중간 값, 및/또는 다른 통계 방식에 기반하여 순간 속도를 판단할 수 있다. 다른 예로, 속도 모듈(154B)은 추가적으로 또는 대안적으로 서브그룹의 FMCW LIDAR 데이터의 속도들을 빈들(bins)(각 빈은 속도들의 범위에 해당한다)로 배포하고, 빈(들)을 따르는 속도들의 최대 발생 양(예를 들어, 히스토그램 분석)을 갖는 빈(들)에 기반하여 순간 속도를 결정한다. 추가적인 및/또는 대안적인 기법들이 사용될 수 있다.
일부 구현에서, 속도 모듈(154B)은 객체에 대한 분류에 기반하여 복수의 후보 기법들 중 객체에 대한 특별 순간 속도 결정 기법을 선택할 수 있다. 예를 들어, 보행자 객체 분류의 경우, 순간 속도는 보행자에 대응하는 서브그룹의 FMCW LIDAR 데이터의 평균(mean)에 기반하여 결정될 수 있는 반면, 차량의 객체 분류에 대해서는 평균(average)이 대신 사용될 수 있다. 다른 예로, 차량 객체 분류의 경우, 순간 속도는 히스토그램 분석을 사용하여 결정될 수 있는 반면, 히스토그램 분석은 보행자 객체 분류에 대해 사용되지 않는다. 일부 구현에서, 속도 모듈(154B)은 추가적으로 또는 대안적으로, 객체의 포즈 및/또는 상기 객체에 대응하는 서브그룹의 FMCW LIDAR 데이터의 양에 기반하여 복수의 후보 기법들 중 상기 객체에 대한 특별 순간 속도 결정 기법을 선택할 수 있다. 예를 들어, 객체에 대한 포즈가 상기 객체가 상대적으로 차량에서 멀리 떨어져 있음을 나타내는 경우, 속도 모듈(154B)은 포즈가 상대적으로 가까이 있는 객체를 나타낼 때 대신 사용되는 대안적인 기법보다 계산적으로 더 효율적인 (그러나 잠재적으로 덜 강건하고 및/또는 덜 정확한) 기법을 사용할 수 있다. 다른 예로, 객체에 대응하는 서브그룹의 FMCW LIDAR 데이터의 양이 (예를 들어, 멀리 떨어져 있는 객체로 인해) 상대적으로 작은 경우, 속도 모듈(154B)은 제1 기법(예를 들어, 평균)을 사용할 수 있는 반면, 서브그룹의 FMCW LIDAR 데이터의 양이 상대적으로 큰 경우, 속도 모듈(154B)은 제2 기법(예를 들어, 히스토그램 분석)을 사용할 수 있다.
인식 서브시스템(154)은 하나 이상의 객체들(496) 각각에 대한 순간 속도, 객체(들)(394)에 대한 포즈(들) 및 클래스(들)을 계획 서브시스템(156)에 제공한다 (또는 계획 서브시스템(156)이 사용 가능하게 한다). 계획 서브시스템(156)은 주로 일부 시간 프레임(예를 들어, 수 초) 동안 차량의 궤적을 계획하고, 위치추적 서브시스템(152) 및 인식 서브시스템(154)으로부터 입력을 수신할 수 있다. 계획 서브시스템(156)은 제공된 객체들의 속도들, 포즈들 및/또는 클래스들에 기반하여 차량의 궤적을 조정한다. 예를 들어, 주어진 객체가 추가 차량인 경우, 데이터(396 및 394)가 차량의 분류, 추가 차량에 대한 포즈 및 추가 차량에 대한 순간 속도를 나타낸다면 - 계획 서브시스템(156)은 추가 차량에 대한 하나 이상의 후보 궤적들의 결정에 차량에 대한 포즈 및 순간 속도를 사용할 수 있다. 계획 서브시스템(156)은 추가 차량에 대한 하나 이상의 후보 궤적들의 선택에 순간 속도 하나만 사용할 수 있거나 추가 차량에 대해 하나 이상의 미리 결정된 속도들을 사용할 수 있다. 예를 들어, 계획 서브시스템(156)은 순간 속도 외에 추가 차량에 대해 바로 전에 결정된 하나 이상의 순간 속도들(각각은 이전 센싱 사이클로부터의 FMCW LIDAR 데이터에 기반하여 결정됨)을 사용할 수 있다. 또한, 추가 차량이 후보 궤적들 중 하나를 가르지른다면, 계획 서브시스템(156)은, 자차량(100)이 추가 차량의 임계 거리 이내에서 접촉 및/또는 다가오지 않도록 자차량(100)의 의도된 궤적을 조정할 수 있다.
다른 예로, 주어진 객체가 보행자인 경우, 데이터(396 및 394)가 보행자 분류 및 보행자의 포즈를 추가로 나타낸다면 (그러나 보행자의 속도는 제외), 계획 서브시스템(156)은 보행자의 포즈 및 분류를 이용하여 보행자 주변의 후보 궤적 영역을 결정하고, 여기서 후보 궤적 영역은 다음 객체 검출 이벤트 전에 보행자가 갈 수 있는 최대 거리에 기반하여 결정된, 그리고/또는 보행자 분류를 갖는 객체에 대한 디폴트 최대 속도에 기반하여 결정된 보행자에 대한 포즈 주변 영역이다. 또한, 계획 서브시스템은 보행자에 대한 포즈 주변의 후보 궤적 영역을 회피하는 자차량의 궤적을 결정할 수 있다. 다른 예로, 주어진 객체가 나무인 경우, 데이터(396 및 394)가 나무의 분류 및 나무에 대한 포즈를 추가로 나타낸다면 (그러나 나무에 대한 속도는 제외), 계획 서브시스템(156)은 나무의 포즈와 분류를 사용하여 나무의 포즈를 회피하는 자차량의 궤적을 결정할 수 있다. 객체에 대해 결정된 분류, 포즈, 및 속도들에 기반하여 차량을 제어하는 이들 및 다른 기법들에 대한 추가 설명이 제공된다. 예를 들어, 일부 기법들에 대한 추가 설명이 도 7a 및 7b의 설명과 연계되어 이하에서 제공된다.
그런 다음, 계획 서브시스템(156)에 의해 생성된 궤적 및/또는 다른 데이터가 제어 서브시스템(158)으로 전달되어 원하는 궤적이, 제어 시스템(110) 내 다양한 차량 제어기들(112, 114 및/또는 116)의 제어에 적합한 궤적 명령들(398)로 변환되고, 위치추적 데이터도 제어 서브시스템(158)으로 제공되어 제어 서브시스템(158)이 적절한 명령을 내릴 수 있도록 원하는 궤적을 구현하게 함으로써 차량의 위치가 시간 프레임에 따라 변하게 된다.
도 3b는 도 3a의 객체(들)(394)에 대한 포즈(들) 및 클래스(들)이 어떻게 분류 모델(170A)를 사용하여 결정될 수 있는지의 예를 도시한 블록도이다. 분류 모델(170A)은 도 3a의 분류 모델(들)(170)의 일례이다. 도 3b에서, 객체 검출 및 분류 모듈(154A)은 FMCW LIDAR 데이터(392)를 분류 모델(170A)의 입력으로 적용하고, 분류 모델(170A)를 사용하여 FMCW LIDAR 데이터(392)를 처리하며, 상기 처리에 기반하여 출력(393A)을 생성한다. 일부 구현에서, FMCW LIDAR 데이터(392)는 FMCW LIDAR 콤포넌트(136)로부터 수신된 것과 동일한 형태로 적용된다. 일부 다른 구현에서 FMCW LIDAR 데이터(392)의 전처리는 분류 모델(170A)의 입력으로 적용되기 이전에 수행된다. 예를 들어, FMCW LIDAR 데이터(392)는 분해능을 감소시켜 분류 모델(170A)의 입력 디멘션(dimension)을 따르게 하고, 주성분분석(principal component analysis, PCA)을 수행하고, 데이터를 패딩하여(padding) 분류 모델(170A)의 입력 디멘션을 따르게 하고, 그리고/또는 입력으로 적용하기 전 FMCW LIDAR 데이터(392)의 변경된 버전을 생성하여 전처리될 수 있다. 수행된 전처리는, 만약 있다면, 분류 모델(170A)(예를 들어, 입력 디멘션 및 학습된 것에 기반한 입력 데이터)에 종속됨이 이해될 수 있다. 또한 일부 구현에서 FMCW LIDAR 데이터(392)는 FMCW LIDAR 콤포넌트(132)의 가장 최근 센싱 사이클로부터만 얻을 수 있다. 일부 다른 구현에서, FMCW LIDAR 데이터(392)는 FMCW LIDAR 콤포넌트(132)의 가장 최근 센싱 사이클로부터의 FMCW LIDAR 데이터와 FMCW LIDAR 콤포넌트(132)의 하나 이상의 이전 센싱 사이클들로부터의 (예를 들어, 바로 이전 센싱 사이클로부터의) FMCW LIDAR 데이터도 포함할 수 있다.
분류 모델(170A)을 사용한 처리에 기반하여 생성된 출력 (393A)은 복수의 공간 영역들1-N 각각에 대해, 클래스들1-N 각각에 대한 대응 확률을 포함한다. 출력(393A)의 공간 영역들1-N 각각은 FMCW LIDAR 데이터(392)의 일부에 대응하고, 그 결과 환경의 한 영역에 대응한다. 예를 들어, FMCW LIDAR 데이터(392)는 (3D 포인트 클라우드 내 3D 좌표를 통한) 대응 거리, 대응 속도 및 선택적으로 대응 강도를 정의하는 3D 포인트 클라우드를 포함할 수 있다. 그러한 예에서, 공간 영역들1-N 각각은 하나 이상의 3D 포인트들(예를 들어, 단일 포인트 또는 이웃하는 포인트들의 모음)에 대응할 수 있다. 예를 들어, 공간 영역들1-N 각각은 FMCW LIDAR 데이터(392)의 3D 포인트들 중 하나에 대응할 수 있다. 대안적인 예로, 공간 영역들1-N 각각은 FMCW LIDAR 데이터(392)의 이웃하는 3D 포인트들의 모음에 대응할 수 있다(예를 들어, 각 공간 영역은 8개 3D 포인트들의 모음에 대응할 수 있고, 그에 따라 공간 영역들의 양은 3D 포인트들 양의 1/8이 될 수 있다). 다른 예로, FMCW LIDAR 데이터(392)가 거리-도플러 영상을 포함한다면, 공간 영역들1-N 각각은 거리-도플러 영상의 하나 이상의 픽셀들, 예를 들어, 단일 픽셀 또는 이웃하는 픽셀들의 모음)에 대응할 수 있다.
공간 영역들1-N 각각에 대한 출력(393A)의 확률들 각각은 1 내지 N 개의 클래스들 중 하나에 대응한다. 예를 들어, 클래스1 확률은 차량 클래스의 확률일 수 있고, 클래스2 확률은 보행자 클래스의 확률일 수 있고, 클래스3 확률은 자전거를 탄 사람 클래스의 확률일 수 있다. N이 공간 영역들1-N의 전체 양의 참조에 사용되고, 출력(393A) 내 클래스들1-N의 전체 양의 참조에 사용되는 반면, 공간 영역들1-N의 전체 양 및 출력(393A) 내 클래스들1-N의 전체 양은 다양한 구현에서 서로 달라질 수 있다. 하나의 비 제한적 예로, 1000개가 넘는 공간 영역들이 제공되는 반면, 단 50개 혹은 그 이하의 클래스들이 제공될 수 있다.
객체 검출 및 분류 모듈(154A)은 출력(393A)을 사용하여 객체(들)(394)에 대한 포즈(들) 및 클래스(들)를 결정할 수 있다. 예를 들어, 객체 검출 및 분류 모듈(154A)은 클래스1-N의 확률들 각각이 임계 저 확률(threshold low probability)(예를 들어, 0.2, 0.3, 또는 다른 확률)을 만족하지 못하는 공간 영역들1-N 내에는 객체가 존재하지 않는다고 결정할 수 있다. 또한, 예를 들어, 객체 검출 및 분류 모듈(154A)은 임계 고 확률(threshold high probability)을 만족하는 하나 이상의 클래스 확률들을 갖는 그러한 공간 영역들이 객체를 포함할 것 같다고 결정할 수 있다. 또한, 객체 검출 및 분류 모듈(154A)은 동일 클래스(들)에 대한 임계치를 만족하는 확률들을 갖는, 이웃하는 (직접 이웃하거나 N(예를 들어, 1, 2, 또는 3) 개의 공간 영역들 내) 공간 영역들의 클러스터를 결정하고, 그들이 동일 클래스(들)의 동일 객체에 대응한다고 결정할 수 있다. 예를 들어, 공간 영역들20-30이 이웃하고 모두 임계치를 만족하는 클래스1에 대한 확률을 갖는다면, 객체 검출 및 분류 모듈(154A)은 공간 영역들20-30 이 클래스1의 단일 오브젝트에 해당한다고 결정할 수 있다. 또한, 객체 검출 및 분류 모듈(154A)은 상기 공간 영역들20-30에 기반하여 단일 객체의 포즈를 결정할 수 있다. 예를 들어, 모듈(154A)은 객체가 공간 영역들20-30에 대응하는 FMCW LIDAR 데이터(392)에 해당하는 포즈를 갖는다고 결정할 수 있다. 결정된 포즈는 FMCW LIDAR 데이터(392) 또는 다른 프레임 (예를 들어, 월드 프레임 또는 다른 참조 프레임)을 참조하는 것일 수 있다.
도 3c는 도 3a의 객체(들)(394)에 대한 포즈(들) 및 클래스(들)이 어떻게 분류 모델들 모음(170B1 내지 170BN)을 사용하여 결정될 수 있는지에 대한 다른 예를 도시한 블록도이다. 분류 모델들(170B1 내지 170BN)은 도 3a의 분류 모델(들)(170)의 일례이다. 도 3B에서, 분류 모델(170A)은 복수의 공간 영역들1-N 각각에 대해 클래스1-N 각각에 대한 대응 확률을 제공하는 출력(393A)을 생성하도록 학습된다. 그에 반해 도 3C에서, 분류 모델들(170B1 내지 170BN) 각각은 복수의 공간 영역들1-N 각각에 대해 단 하나의 대응 클래스에 대한 대응 확률을 제공하는 대응 출력을 생성하도록 학습된다.
도 3c에서, 객체 검출 및 분류 모듈(154A)은 FMCW LIDAR 데이터(392)를 분류 모델(170B1-170BN) 각각의 입력으로 적용하고, 분류 모델(170B1-170BN)를 사용하여 FMCW LIDAR 데이터(392)를 처리하며, 그 처리에 기반하여 출력(393B1-393BN)을 생성한다. 일부 구현에서, FMCW LIDAR 데이터(392)는 FMCW LIDAR 콤포넌트(136)로부터 수신된 것과 동일한 형태로 적용된다. 일부 다른 구현에서 FMCW LIDAR 데이터(392)의 전처리는 입력으로 적용되기 이전에 수행된다.
분류 모델(170B1)을 사용한 전처리에 기반하여 생성된 출력(393B1)은 복수의 공간 영역들1-N 각각에 대해 클래스1에 대한 대응 확률을 포함한다. 분류 모델(170BN)을 사용한 전처리에 기반하여 생성된 출력(393BN)은 복수의 공간 영역들1-N 각각에 대해 클래스N에 대한 대응 확률을 포함한다. 분류 모델(170B2-170B(N-1)을 사용한 전처리에 기반하여 생성된, 도시되지 않은 출력들은 각각 복수의 공간 영역들1-N 각각에 대해 해당 단일 클래스에 대한 대응 확률을 포함한다. 출력들(393B1 내지 393BN)의 공간 영역들1-N 각각은 FMCW LIDAR 데이터(392)의 일 부분에 해당하고, 그 결과 환경의 일 영역에 해당한다.
객체 검출 및 분류 모듈(154A)은 출력들(393B1-393BN)을 사용하여 객체(들) (394)에 대한 포즈(들) 및 클래스(들)을 결정할 수 있다. 예를 들어, 객체 검출 및 분류 모듈(154A)은 출력들(393BA 내지 393BN)로 나타낸 클래스1-N 의 확률들 각각이 임계 저 확률(예를 들어, 0.2, 0.3, 또는 다른 확률)을 만족하지 못하는 공간 영역들1-N 내에는 객체가 존재하지 않는다고 결정할 수 있다. 또한, 예를 들어, 객체 검출 및 분류 모듈(154A)은 임계 고 확률을 만족하는 출력들(393BA 내지 393BN)에 의해 나타낸 하나 이상의 클래스1-N 확률들을 갖는 그러한 공간 영역들1-N이 그 클래스(들)의 객체를 포함할 것 같다고 결정할 수 있다. 또한, 객체 검출 및 분류 모듈(154A)은 동일 클래스(들)에 대한 임계치를 만족하는 확률들을 갖는 이웃하는 (직접 이웃하거나 N(예를 들어, 1, 2, 또는 3) 개의 공간 영역들 내) 공간 영역들의 클러스터를 결정하고, 그들이 상기 클래스의 동일 객체에 대응한다고 결정할 수 있다. 또한, 객체 검지 및 분류 모듈(154A)은 그 공간 영역들에 기반하여 상기 단일 객체의 포즈를 결정할 수 있다.
도 4a를 보면, 학습 인스턴스 데이터베이스(467)의 학습 인스턴스(467A)를 사용하는 도 3a의 학습 모델(170A)을 학습하는 학습 엔진(465)의 예가 도시되어 있다. 학습 엔진(465)은 도 3a에서 사용되기 이전에 분류 모델(170A)을 학습할 수 있다. 학습 인스턴스(67A)는 FMCW LIDAR 데이터(예를 들어, 센싱 사이클로부터 또는 복수의 연속 센싱 사이클로부터의 FMCW LIDAR 데이터)를 포함하는 학습 인스턴스 입력(468A)을 포함한다. 학습 인스턴스(467A)는 또한 복수의 공간 영역들 각각에 대해 하나 이상의 클래스들의 객체가 공간 영역 내에 존재하는지 여부를 정의하는 학습 인스턴스 출력(469A)을 포함한다. 학습 인스턴스 출력(469A)은 도 4b에 보다 특별하게 도시되어 있다. 학습 인스턴스 출력(469A)은 복수의 공간 영역들1-N 및 공간 영역들1-N 각각에 대해 클래스들1-N 각각에 대한 대응 확률을 정의한다. 예를 들어, 오직 하나의 클래스1만을 갖는 단 하나의 객체가 공간 영역들1-5에 존재한다면, 공간 영역들1-5 각각에 대한 클래스1 확률은 "1"일 수 있고, 클래스들6-N 각각에 대한 확률은 공간 영역들1-5 에 대해 "0"일 수 있으며, 클래스들1-N 각각에 대한 확률들은 공간 영역들6-N 에 대해 "0"일 수 있다. 일부 구현에서 학습 인스턴스 출력(469A)은 FMCW LIDAR 데이터에 존재하는 객체들의 클래스를 나타내는 FMCW LIDAR 데이터에 대한 수동 어노테이션(manual annotations)에 기반할 수 있다.
도 4a를 다시 보면, 분류 모델(170A) 학습에서, 학습 엔진(465)은 학습 인스턴스 입력(468A)을 분류 모델(170A)에 적용하고, 분류 모델(170A)을 사용하고 분류 모델(170A)의 현재 파라미터들에 기반하여 학습 인스턴스 입력(468A)을 처리하여 학습 인스턴스 출력(469A)의 디멘션을 따르는 디멘션을 갖는 출력을 생성한다. 그런 다음, 학습 엔진(465)은 생성된 출력을 학습 인스턴스 출력(469A)과 비교하고, 비교에 기반하여 분류 모델(170A)의 하나 이상의 파라미터들을 갱신한다. 예를 들어, 학습 엔진(465)은 생성된 출력과 학습 인스턴스 출력(469A) 사이의 차에 기반하여 에러를 생성하고, 분류 모델(170A)에 대해 (에러에 기반한) 손실을 역전파(backpropagate) 하여 분류 모델(170A)을 갱신한다. 단 하나의 학습 인스턴스(467A)가 도 4a에 도시되어 있지만, 분류 모델(170A)은 학습 인스턴스 데이터베이스(467)의 대량의 학습 인스턴스들에 기반하여 학습될 것이다. 상기 학습 인스턴스들은 다양한 FMCW LIDAR 데이터를 갖는 학습 인스턴스 입력들 및 다양한 학습 인스턴스 출력들을 포함할 수 있다. 또한, 비배치(non-batch) 학습이 도 4a에 대해 설명되어 있지만, 배치 학습이 추가적으로 또는 대안적으로 사용될 수 있다(예를 들어, 손실들은 학습 인스턴스들의 배치에 기반하여 결정된 에러들에 기반할 수 있다).
도 4a는 또한 분류 모델(170A)에 포함될 수 있는 예시적인 층들을 점선 내에 도시한다. 특히, 입력층(170A1), 콘볼루션층(들)(170A2), 다른 층(들)(170A3) 및 출력층(1704A4)이 도시되어 있다. 여기에서 설명되는 것처럼, 입력층(170A1)의 디멘션들/형상은 적용될 FMCW LIDAR 데이터의 형상에 종속될 수 있다. 또한, 출력층(170A4)의 디멘션들/형상은 공간 영역들의 크기, 얼마나 많은 클래스 확률들이 예측될 것인지 등에 좌우될 수 있다. 일부 구현에서, 다수의 콘볼루션층(들)(1702A2)이 제공되고, 맥스 풀링 및/또는 다른 층들이 선택적으로 하나 이상의 콘볼루션 층(들)(1702A2) 사이에 배치될 수 있다. 다른 층(들)(170A3)은 그러한 출력층(1704A4)에 선행하는 소프트맥스(softmax) 층(들) 및/또는 완전 연결층(들)과 같은 맥스 풀링 층 및/또는 어파인(affine) 층을 포함할 수 있다. 도 4a는 분류 모델(170A)에 포함될 수 있는 예시적인 층들을 도시하지만, 추가 및/또는 대안적인 층들이 다른 구현에 포함될 수 있다. 예를 들어, 다른 구현들은 콘볼루션층(들)을 포함하지 않을 수 있고 및/또는 임의의 맥스 풀링층을 포함하지 않을 수 있다. 예를 들어, 대신 입력층(170A1)과 출력층(170A4) 사이에 대안 층(들)을 포함할 수 있다.
도 5를 보면, 차량의 예시적인 환경이 도시되어 있다. 상기 환경은 다수의 환경 객체들(591 내지 594)을 포함하고, 또한 환경 객체들에 대응할 수 있는 일부 FMCW LIDAR 데이터 포인트들의 예들을 도시한다. 예시적인 FMCW LIDAR 데이터 포인트들은 플러스 기호(+), 마이너스 기호(-), 및 원들(o)로 도시되어 있다. FMCW LIDAR 데이터 포인트들은, 예를 들어, 3D 포인트 클라우드인 FMCW LIDAR 데이터(의 센싱 사이클)의 예로부터 나온 것일 수 있고, 여기서 3D 포인트 클라우드의 포인트들 각각은 (3D 포인트 클라우드 내 위치를 통해) 대응 거리를 나타낼 수 있고, 대응 비율/속도, 및 선택적으로 대응 강도값을 포함한다. 플러스 기호(+)는 양의 대응 속도값을 갖는 FMCW LIDAR 데이터 포인트들을 나타내고, 마이너스 기호(-)는 음의 대응 속도값을 갖는 FMCW LIDAR 데이터 포인트들을 나타내고, 원들(o)은 0 (또는 0에 가까운) 대응 속도값을 갖는 FMCW LIDAR 데이터 포인트들을 나타낸다. 양의 속도 값들을 모두 플러스 기호(+)로 나타내고, 음의 속도 값들을 모두 마이너스 기호(-)로 나타냈지만, 그 속도값들의 크기들은 변한다(예를 들어, 차량(591)에 해당 속도 값들은 보행자(593)에 대한 값들보다 클 수 있다)는 것이 주목된다. 또한, 추가 FMCW LIDAR 데이터 포인트들이 추가 환경 객체들에 해당하는 추가 포인트들뿐만 아니라 객체들(591 내지 594)에 해당하는 추가 포인트들을 포함하여 FMCW LIDAR 데이터와 함께 제공되는 것이 이해된다. 그러나 간단하게 일부 FMCW LIDAR 데이터 포인트들만이 도 5에서 설명된다. 또한, 객체들(591 내지 594)이 도 5에 보이는 것처럼 (해당 FMCW LIDAR 데이터 포인트들을 통해 시각적으로 확인될 수 있지만) FMCW LIDAR 데이터에서는 고려되지 않음이 이해된다. 그러나 객체들(591 내지 594)은 도 5에 참조를 위해 도시되었다. 또한 도 5는 FMCW LIDAR 데이터 포인트들에 대해 설명되지만, 추가 또는 대안적인 FMCW LIDAR 데이터 타입들이, 여기에서 설명된 FMCW LIDAR 데이터의 그런 타입들처럼, 포즈들, 분류들, 및 이동 파라미터들의 결정에 사용될 수 있음이 이해된다.
도 5에서, 경계 형상들(581 내지 584)이 각각 해당 객체들(591 내지 594) 주위에 도시되어 있다. 경계 형상들(581 내지 584)은 각각 해당 객체들(591 내지 594)에 대응할 수 있는 FMCW LIDAR 데이터를 나타내고, 그 결과, 각각 해당 객체들(591 내지 594)의 포즈를 나타낸다. 각 포즈는 위치를 나타내는 3차원(3D) 포즈 또는 방향뿐만 아니라 위치를 나타내는 6차원(6D) 포즈와 같은 다차원 포즈일 수 있다. 여기에 설명된 것처럼, 객체 검출 및 분류 모듈(154A)은 분류 모델(170)을 사용하는 FMCW LIDAR 데이터 처리에 기반하여 경계 형상들(581 내지 584)을 결정할 수 있고, 또한 분류 모델(170)을 사용하여 경계 형상들(581 내지 584)에 둘러싸인 객체들(591 내지 594) 각각에 대한 해당 분류를 결정할 수 있다. 특별 경계 형상들이 도시되어 있지만, 다른 경계 형상들이 추가적으로 또는 대안적으로 결정 및 사용될 수 있음이 이해된다.
도 5에서, 경계 형상(bounding shape, 581)은 추가 차량(591)에 해당하는 FMCW LIDAR 데이터 포인트들을 둘러싼다. 경계 형상(581) 내 FMCW LIDAR 데이터 포인트들 각각은 추가 차량(591)에 대응하고, (차량(100)의 FMCW LIDAR 콤포넌트(132)와 관련하여) 양의 대응 속도값을 갖고 있음을 의미하는 플러스 기호(+)로 나타내진다. 객체 검출 및 분류 모델(154A)은 분류 모델(170)에 대해 FMCW LIDAR 데이터의 처리에 기반하여 경계 형상(581)을 결정하여 각각 임계치를 만족하는 차량에 대한 분류 확률을 갖는 이웃하는 공간 영역들을 나타내는 출력을 생성할 수 있다. 이웃하는 공간 영역들은 경계 형상(581)을 따를 수 있고, 추가 차량(591)에 대한 포즈를 나타낸다. 또한, 속도 모듈(154B)은 경계 형상(581)으로 둘러싸인 FMCW LIDAR 데이터에 기반하여 추가 차량(592)에 대한 순간 속도를 결정할 수 있다. 예를 들어, 속도 모듈(154B)은 경계 형상(581)으로 둘러싸인 FMCW LIDAR 데이터로 나타내진 속도들의 평균에 기반하여 순간 속도를 결정할 수 있다. 설명된 것처럼, 일부 구현에서, 속도 모듈(154B)은 차량의 분류를 결정하는 객체 검출 및 분류 모듈(154A)에 기반하여 선택된 기법을 사용하여 순간 속도를 결정할 수 있다.
도 5에서, 경계 형상(582)은 나무(592)에 해당하는 FMCW LIDAR 데이터 포인트들을 둘러싼다. 경계 형상(592) 이내의 FMCW LIDAR 데이터 포인트들 각각은 나무(592)에 대응한다. 도시된 것처럼, 나무(592)의 가지들 및/또는 나뭇잎들에 해당하는 FMCW LIDAR 데이터 포인트들의 일부는 플러스 기호(+)로 나타내진 반면, 다른 것들은 마이너스 기호(-)로 나타내진다. 이는 (예를 들어, 바람 때문에) 서로 다른 방향으로 움직이고 서로 다른 속도 방향을 갖는 가지들 및/또는 나뭇잎들에 의한 것일 수 있다. 나무(592)의 몸통에 대응하는 FMCW LIDAR 데이터 포인트들의 일부는 원(o)으로 나타내져 있고, 이는 0(또는 0에 가까운) 속도를 갖는 것을 의미한다. 객체 검출 및 분류 모듈(154A)은 분류 모델(170)에 대해 FMCW LIDAR 데이터의 처리에 기반하여 경계 형상(582)을 결정하여 각각 임계치를 만족하는 "나무"에 대한 분류 확률을 갖는 이웃하는 공간 영역들을 나타내는 출력을 생성할 수 있다. 이웃하는 공간 영역들은 경계 형상(582)을 따를 수 있고, 나무에 대한 포즈를 나타낸다. 일부 구현에서, 속도 모듈(154B)은 객체 검출 및 분류 모듈(154A)에 의해 결정된 것과 같은 분류에 기반하여 나무(592)에 대한 순간 속도 결정을 생략할 수 있다.
도 5에서, 경계 형상(583)은 보행자(593)에 해당하는 FMCW LIDAR 데이터 포인트들을 둘러싼다. 경계 형상(592) 이내의 FMCW LIDAR 데이터 포인트들 각각은 보행자(593)에 대응한다. 그들 중 일부는 플러스 기호(+) (양의 대응 속도 값을 가진 것을 의미)로 나타내진 반면, 다른 것들은 마이너스 기호(-)(양의 대응 속도 값을 가진 것을 의미)로 나타내지고, 또 다른 것들은 원(o)(0 또는 0에 가까운 속도를 갖는 것을 의미)으로 나타내진다. 보행자(593)에 대한 이들 서로 다른 속도 방향들은 센싱 사이클동안 보행자가 걷고 있기 때문이다. 객체 검출 및 분류 모델(154A)은 분류 모델(170)에 대해 FMCW LIDAR 데이터의 처리에 기반하여 경계 형상(583)을 결정하여 각각 임계치를 만족하는 "보행자"에 대한 분류 확률을 갖는 이웃하는 공간 영역들을 나타내는 출력을 생성할 수 있다. 이웃하는 공간 영역들은 경계 형상(583)을 따를 수 있고, 보행자(593)에 대한 포즈를 나타낸다. 또한, 속도 모듈(154B)은 경계 형상(583)으로 둘러싸인 FMCW LIDAR 데이터에 기반하여 보행자(593)에 대한 순간 속도를 결정할 수 있다. 예를 들어, 속도 모듈(154B)은 경계 형상(583)으로 둘러싸인 FMCW LIDAR 데이터로 나타내진 속도들의 중간 값(median)에 기반하여 순간 속도를 결정할 수 있다. 설명된 것처럼, 일부 구현에서, 속도 모듈(154B)은 "보행자"의 분류를 결정하는 객체 검출 및 분류 모듈(154A)에 기반하여 선택된 기법을 사용하여 순간 속도를 결정할 수 있다.
도 5에서, 경계 형상(584)은 자전거 탄 사람(594)에 해당하는 FMCW LIDAR 데이터 포인트들을 둘러싼다. 경계 형상(592) 이내의 FMCW LIDAR 데이터 포인트들 각각은 자전거 탄 사람(594)에 대응한다. 그들 중 일부는 플러스 사인(+)(양의 대응 속도값을 갖는 것을 의미)으로 나타내진 반면, 다른 것들은 마이너스 사인(-)(음의 대응 속도값을 갖는 것을 의미)으로 나타내진다. 자전거 탄 사람(594)의 자전거 바퀴들에 대한 속도 방향들을 달리하는 것은 바퀴들의 회전에 의한 것일 수 있다. 자전거 탄 사람(594)의 몸과 자전거 탄 사람(594)의 다리들 중 하나 사이의 속도 방향들을 달리하는 것은 센싱 사이클 동안 자전거 탄 사람이 페달을 밟아 다리 하나가 반대 방향으로 움직이는 것에 의한 것일 수 있다. 객체 검출 및 분류 모델(154A)은 분류 모델(170)에 대해 FMCW LIDAR 데이터의 처리에 기반하여 경계 형상(584)을 결정하여 각각 임계치를 만족하는 "자전거 탄 사람"에 대한 분류 확률을 갖는 이웃하는 공간 영역들을 나타내는 출력을 생성할 수 있다. 이웃하는 공간 영역들은 경계 형상(584)을 따를 수 있고, 자전거 탄 사람(594)에 대한 포즈를 나타낸다. 또한, 속도 모듈(154B)은 경계 형상(584)으로 둘러싸인 FMCW LIDAR 데이터에 기반하여 자전거 탄 사람(594)에 대한 순간 속도를 결정할 수 있다. 예를 들어, 속도 모듈(154B)은 경계 형상(584)으로 둘러싸인 FMCW LIDAR 데이터로 나타내진 속도들의 히스토그램 분석에 기반하여 순간 속도를 결정할 수 있다. 설명된 것처럼, 일부 구현에서, 속도 모듈(154B)은 "자전거 탄 사람"의 분류를 결정하는 객체 검출 및 분류 모듈(154A)에 기반하여 선택된 기법을 사용하여 순간 속도를 결정할 수 있다.
도 6에서, 차량의 다른 예시적인 환경이 도시되어 있다. 상기 환경은 추가 차량(691)을 포함하고, 또한 추가 차량(691)에 대응하는 FMCW LIDAR 데이터 포인트들(682A, 682B, 및 682C)을 도시하고 있다. FMCW LIDAR 데이터 포인트들은, 예를 들어, 3D 포인트 클라우드인 FMCW LIDAR 데이터(의 센싱 사이클)의 인스턴스로부터 나온 것일 수 있고, 여기서 3D 포인트 클라우드의 포인트들 각각은 (3D 포인트 클라우드 내 위치를 통해) 해당 거리를 나타낼 수 있고, 대응 비율/속도, 및 선택적으로 대응 강도값을 포함할 수 있다. 또한, 추가 FMCW LIDAR 데이터 포인트들은 추가 환경 객체들에 해당하는 추가 포인트들과 같은 FMCW LIDAR 데이터와 함께 제공되는 것이 이해된다. 그러나 간단하게 일부 FMCW LIDAR 데이터 포인트들만이 도 6에서 설명된다. 또한, 추가 차량(691)은 도 6에 보이는 것처럼 FMCW LIDAR 데이터에서 고려되지 않을 것이지만, 도 6에서 참조 목적으로 도시되었음이 이해된다. 또한 도 6는 FMCW LIDAR 데이터 포인트들에 대해 설명되지만, 추가 또는 대안적인 FMCW LIDAR 데이터 타입들이, 여기에서 설명된 FMCW LIDAR 데이터의 그런 타입들처럼, 포즈들, 분류들, 및 이동 파라미터들의 결정에 사용될 수 있음이 이해된다.
도 6에서, 추가 차량(691)은 FMCW LIDAR 콤포넌트로부터 멀리 떨어져 있다. 도 6에서 FMCW LIDAR 데이터 포인트들(682A, 682B, 및 682C)은 FMCW LIDAR 모노펄스 콤포넌트에 의해 생성된 FMCW LIDAR 모노펄스 데이터 포인트들일 수 있다. 도 6의 예는 FMCW LIDAR 모노펄스 데이터 포인트들이 특별히 유익한 일례이다. 즉, FMCW LIDAR 모노펄스 콤포넌트의 증가된 각도 정확도가 세 FMCW LIDAR 데이터 포인트들(682A, 682B, 및 682C)을 결정될 수 있게 하고, 보다 적은 (예를 들어, 둘, 하나 또는 0) 포인트들이 FMCW LIDAR 비 모노펄스(non-monopulse) 콤포넌트로 결정되었을 수 있는 상황을 도시한다. 도 6은 일례이고, 도 5의 FMCW LIDAR 데이터 포인트들도 FMCW LIDAR 모노펄스 데이터 포인트들이 될 수 있고, 또한, 예를 들어, 여기에서 개시된 구현들에 따라 포즈들, 분류들, 및 이동 파라미터들의 결정에 사용될 수 있는 추가 객체들에 대한 FMCW LIDAR 데이터의 각도 정확도를 증가시키기 때문에 유리할 수 있다. 그렇게 증가된 FMCW LIDAR 데이터의 각도 정확도는 일부 구현에서 보다 정확한 포즈, 분류, 및 이동 파라미터 결정을 가져올 수 있다.
도 6에서, 경계 형상(681)은 추가 차량(691) 주변에 그려지고, 추가 차량(691)에 대응하는 FMCW LIDAR 데이터의 서브그룹을 나타내서 그 결과 추가 차량(691)의 포즈를 나타낸다. 객체 검출 및 분류 모듈(154A)은 분류 모델(170)을 사용하는 FMCW LIDAR 데이터 처리에 기반하여 경계 형상(681)을 결정할 수 있고, 또한 분류 모델(170)을 사용하여 경계 형상(681)에 둘러싸인 객체에 대한 해당 분류를 결정할 수 있다. 또한, 속도 모듈(154B)은 FMCW LIDAR 데이터 포인트들(682A, 682B, 및 682C)에 기반하여 추가 차량(691)에 대한 순간 속도를 결정할 수 있다. 예를 들어, 속도 모듈(154B)은 FMCW LIDAR 데이터 포인트들(682A, 682B, 및 682C)로 나타내진 속도들의 최대 크기에 기반하여 순간 속도를 결정할 수 있다. 일부 구현에서, 속도 모듈(154B)은 추가 차량(691)에 대한 상대적으로 낮은 양의 FMCW LIDAR 데이터 포인트들에 기반한 가장 큰 규모를 사용하여 순간 속도를 결정할 수 있다.
여기에서 기술된 기법들에 따라 결정된 환경 객체들의 포즈들, 분류들, 및/또는 속도들이 자차량의 제어에 사용될 수 있다. 그러한 조정의 일부 예들이 도 7a 및 7b에 대해 설명되고, 이 도면들 각각은 그러한 고려에 기반하여 차량이 어떻게 자율적으로 제어될 수 있는 지에 대한 예를 도시한다.
도 7a는 상기 객체들 및/또는 상기 객체들에 대한 순간 속도들의 분류들에 기반하여 복수의 객체들(791, 792, 및 793) 각각에 대해 어떻게 (만약 있다면) 후보 궤적이 결정될 수 있는지, 및 차량의 자율주행 제어가 어떻게 후보 궤적들에 기반하여 조정될 수 있는지의 예를 도시한 것이다.
도 7a에서, 차량(791), 나무(792) 및 자전거 탄 사람(793)이 조감도로 도시되어 있다. 객체 검출 및 분류 모델(154A)은 여기에서 기술된 기법들을 사용하여 차량(791), 나무(792) 및 자전거 탄 사람(793)에 대한 대응 분류들을 판단할 수 있다. 객체 검출 및 분류 모델(154A)은 여기에서 기술된 기법들을 사용하여 차량(791), 나무(792) 및 자전거 탄 사람(793)에 대한 대응 포즈들을 더 판단할 수 있다. 또한, 객체 검출 및 분류 모델(154A)은 여기에서 기술된 기법들을 사용하여 차량(791)의 순간 속도 및 자전거 탄 사람(793)의 순간 속도를 판단할 수 있다.
계획 서브시스템(156)은 차량(791)의 포즈 및 순간 속도를 사용하여 추가 차량(791)의 후보 궤적(791A)을 결정할 수 있다. 또한, 계획 서브시스템(156)은 자전거 탄 사람(793)의 포즈 및 순간 속도를 사용하여 자전거 탄 사람(793)의 후보 궤적(793A)을 결정할 수 있다. 나무(792)의 경우, 정적/비이동 객체를 나타내는 분류를 갖기 때문에 후보 궤적이 결정되지 않음이 알려져 있다. 또한, 다양한 구현에서 속도 모듈(154B)은 나무(792)의 판단된 분류에 기반하여 나무(792)에 대한 속도를 결정하지 않음이 주목된다.
계획 서브시스템(156)은 자차량(100)에 대한 궤적(101A) 결정에 적어도 후보 궤적들(791A 및 793A)을 사용할 수 있다. 궤적(101A)은 시간 구간 동안 결정 및 구현될 수 있고, 도 7a로부터 알 수 있듯이 후보 궤적들(791A 및 793A)은 객체들(791또는 793)이 자차량(100)에 너무 근접하지 않도록 궤적을 조정하게 하기 때문에 자차량(100)의 현재 궤적의 직선 지속을 나타낸다. 또한, 나무(792)는 자차량(100)의 경로 내에 있지 않아 궤적을 변경시키지 않고 그 분류는 움직이지 않는 것임(non-mobile)을 나타낸다.
도 7b는 상기 객체들 및/또는 상기 객체들에 대한 순간 속도들의 분류들에 기반하여 복수의 객체들(791, 792, 및 794) 각각에 대해 어떻게 (만약 있다면) 후보 궤적이 결정될 수 있는지, 및 차량의 자율주행 제어가 어떻게 후보 궤적들에 기반하여 조정될 수 있는지의 다른 예를 도시한 것이다.
도 7b에서, 차량(791), 나무(792) 및 보행자(794)가 조감도로 도시되어 있다. 객체 검출 및 분류 모델(154A)은 여기에서 기술된 기법들을 사용하여 차량(791), 나무(792) 및 보행자(794)에 대한 대응 분류들을 판단할 수 있다. 객체 검출 및 분류 모델(154A)은 여기에서 기술된 기법들을 사용하여 차량(791), 나무(792) 및 보행자(794)에 대한 대응 포즈들을 더 판단할 수 있다. 또한, 속도 모듈(154B)은 여기에서 기술된 기법들을 사용하여 차량(791)의 순간 속도를 판단할 수 있다. 선택적으로, 속도 모듈(154B)은 나무(792) 또는 보행자(794)에 대한 순간 속도를 판단하지 않는다.
계획 서브시스템(156)은 차량(791)의 포즈 및 순간 속도를 사용하여 추가 차량(791)의 후보 궤적(791A)을 결정할 수 있다. 궤적(791A)은 도 7a에 도시된 것과 동일하다. 또한, 계획 서브시스템(156)은 보행자(794)의 포즈 및 보행자(794)를 보행자로 분류한 것을 이용하여 사용하여 보행자(794)의 후보 궤적(794B)을 결정할 수 있다. 후보 궤적(794B)은 보행자 주위 영역으로 확장되고, 예를 들어, 보행자 분류에 대한 디폴트(default) 최대 속도 및/또는 보행자가 (보행자(794)의 갱신된 포즈가 결정될 수 있는) 다음 센싱 사이클 이전에 지날 수 있는 디폴트 최대 거리에 기반할 수 있다. 나무(792)에 대해서는 정적/비이동 객체를 나타내는 분류를 갖기 때문에 후보 궤적이 결정되지 않음이 주목된다.
계획 서브시스템(156)은 자차량(100)에 대한 궤적(101A) 결정에 적어도 후보 궤적들(791A 및 794A)을 사용할 수 있다. 궤적(101B)은 시간 구간 동안 결정 및 구현될 수 있고, 도 7b로부터 알 수 있듯이 자차량이 감속하지 않는다면, 보행자(794)의 후보 궤적(794A)은 보행자를 자차량(100)에 너무 근접하게 할 수 있기 때문에 자차량(100)의 현재 궤적의 감속을 나타낸다. 또한, 자차량(100)의 감속은 후보 궤적(791A)을 고려하여 보행자(794)로부터 벗어나는 것 (예를 들어, 벗어나는 것은 차량이 추가 차량(791)의 후보 궤적(791A)에 너무 근접하게 할 수 있다) 대신 선택될 수 있다
도 7a 및 7b는 각각 주어진 예에서 환경 객체들의 포즈들, 분류들, 및/또는 이동 파라미터들에 기반하여 해당 주어진 예에서 자차량(100)의 제어를 도시한 것이다. 그러나, 자차량(100)의 제어는 추가 예들의 것들 각각에서 환경 객체들의 포즈들, 분류들, 및/또는 이동 파라미터들에 기반하여 복수의 추가 예들 각각에서 계속되고, 그에 따라 자차량(100)의 제어가 계속 조정될 수 있다는 것이 이해된다.
도 8을 보면, FMCW LIDAR 데이터에 기반하여 환경 객체(들)에 대한 포즈(들) 및 분류(들)을 판단하고, 포즈(들) 및 분류(들)의 적어도 일부에 기반하여 자율주행 차량을 제어하는 예시적인 방법(800)을 도시한 흐름도가 제공된다. 편의상, 흐름도의 동작들은 그 동작들을 수행하는 시스템을 참조하여 기술된다. 이 시스템은 도 1의 자율주행 차량(100)의 하나 이상의 프로세서들과 같은 다양한 콤포넌트들을 포함할 수 있다. 또한, 방법(800)의 동작들은 특별한 순서로 보여지지만, 그에 제한되지 않는다. 하나 이상의 동작들이 재정리, 생략, 또는 추가될 수 있다.
802 블록에서, 시스템은 차량의 FMCW LIDAR 콤포넌트로부터 FMCW LIDAR 데이터를 수신한다. 일부 구현들에서, 802 블록의 반복시 수신된 FMCW LIDAR 데이터는 FMCW LIDAR 콤포넌트에 의해 생성된 데이터중 가장 최근의 비처리된 (방법(800)을 사용하여 처리되지 않은) 예일 수 있다. 데이터의 예는 센싱 사이클 동안 FMCW LIDAR 콤포넌트에 의해 생성될 수 있고, 시스템에 의해, 예를 들어, 스트림의 일부로, 데이터 패킷(들)로, 또는 공유 메모리 접속을 통해 수신될 수 있다. 일부 구현들에서, 802 블록의 반복시 수신된 FMCW LIDAR 데이터는 FMCW LIDAR 콤포넌트에 의해 생성된 데이터의 가장 최근의 비처리된 인스턴스만을 포함할 수 있다. 일부 다른 구현들에서, 802 블록의 반복시 수신된 FMCW LIDAR 데이터는 또한, FMCW LIDAR 콤포넌트에 의해 생성된 데이터의 가장 최근의 N개의 인스턴스들과 같이, FMCW LIDAR 콤포넌트에 의해 생성된 하나 이상의 선행 인스턴스들을 포함한다.
804 블록에서, 시스템은 적어도 하나의 분류 모델을 사용하여 802 블록에서 수신된 FMCW LIDAR 데이터의 처리에 기반하여 출력을 생성한다. 예를 들어, 적어도 하나의 분류 모델은 학습된 신경 회로망을 포함할 수 있고, 생성된 출력은 복수의 공간 영역들 각각에 대해 하나 이상의 클래스들1-N 각각에 대한 대응 확률을 포함할 수 있다. 그러한 예에서, 출력의 공간 영역들1-N 각각은 FMCW LIDAR 데이터의 일부에 해당하고, 그 결과 환경의 일 영역에 해당한다. 공간 영역들 각각에 대한 출력의 확률들 각각은 하나의 분류에 해당한다. 예를 들어, 분류 모델을 사용하여 생성된 출력은, 공간 영역들1-N 각각에 대해 차량 클래스의 제1 확률, 보행자 클래스의 제2 확률, 자전거 탄 사람의 제3 확률 등을 나타낸다. 다른 예로, 분류 모델을 사용하여 생성된 출력은 공간 영역들1-N 각각에 대해 차량 클래스와 같은 단일 클래스에 대해서만 대응 확률을 나타낼 수 있다. 그러한 또는 다른 예에서, 다수의 분류 모델들이 사용될 수 있고, 각각은 공간 영역들에 대해 클래스들의 서브세트(예를 들어, 단일 클래스만)에 대한 확률들을 예측하도록 구성된다.
806 블록에서, 시스템은 출력에 기반하여 그리고 하나 이상의 객체들 각각에 대해, 객체의 포즈 및 객체에 대한 분류를 판단한다. 예를 들어, 시스템은 공간 영역들1-N의 출력 및 대응 클래스 확률들에 기반하여 클래스 확률들이 임계 저 확률을 만족하지 못하는 그러한 공간 영역들1-N에 객체가 존재하지 않는다고 판단할 수 있다. 또한, 예를 들어, 시스템은 임계 고 확률을 만족하는 대응 클래스 확률을 갖는 상기 공간 영역들1-N 이 그 클래스의 객체를 포함할 것 같다고 판단할 수 있다. 또한, 시스템은 동일 클래스에 대한 임계치를 만족하는 확률들을 갖는 이웃하는 (직접 이웃하거나 N(예를 들어, 1, 2, 또는 3) 개의 공간 영역들 내) 공간 영역들의 클러스터를 결정하고, 그들이 상기 클래스의 동일 객체에 대응한다고 결정할 수 있다. 또한, 시스템은 상기 공간 영역들에 기반하여 그 단일 객체의 포즈를 판단할 수 있다. 판단된 포즈는 802 블록의 FMCW LIDAR 데이터를 참조하거나 다른 프레임을 참조하는 것일 수 있다.
808 블록에서, 시스템은 806 블록에서 판단된 객체(들)에 대한 포즈(들) 및 분류(들)에 기반하여 차량을 제어한다. 예를 들어, 시스템은 806 블록에서 결정된 포즈들 및/또는 분류들 중 하나 이상에 기반하여 차량에 대한 궤적을 생성할 수 있다. 일부 구현에서, 808 블록은 서브 블록(808A)을 포함한다. 서브 블록(808A)에서, 시스템은 하나 이상의 객체들에 대해 상기 객체에 대한 후보 궤적을 판단한다. 일부 구현에서, 시스템은 비이동 객체에 해당하는 및/또는 이동하지만 상대적으로 느린 최대 속도를 갖는 객체에 해당하는 분류를 갖는 객체들과 같은 일부 클래스(들)의 객체(들)에 대한 후보 궤적을 판단하지 않을 수 있다.
서브 블록(808A)에서, 시스템은 선택적으로 객체의 대한 순간 속도에 기반하여 상기 객체에 대한 후보 궤적을 결정할 수 있다. 그러한 상황에서, 서브 블록(808A)은, 시스템이 하나 이상의 객체들에 대해 객체에 대응하는 FMCW LIDAR 데이터에 기반하여 순간 속도를 결정하는 서브 블록(808B)을 포함한다. 예를 들어, 시스템은 상기 객체에 해당하는 (802 블록에서 수신된) FMCW LIDAR 데이터로 나타내진 속도들에 기반하여 객체의 순간 속도를 결정할 수 있다. 예를 들어, (806 블록에서 판단된) 객체의 포즈는 상기 객체에 해당하는 FMCW LIDAR 데이터의 서브그룹 및, 그 서브그룹의 FMCW LIDAR 데이터로 나타내진 속도들에 기반하여 결정된 순간 속도 선택에 사용될 수 있다. 일부 구현에서, 시스템은 객체에 대해 결정된 분류, 상기 객체에 대해 결정된 포즈 및/또는 상기 객체에 대해 사용가능한 FMCW LIDAR 데이터의 양에 기반하여 복수의 후보 기법들 중 상기 객체의 순간 속도 결정을 위한 특별 기법을 선택할 수 있다. 일부 구현에서, 서브 블록(808A)에서, 시스템은 선택적으로 객체의 분류에 기반하여 객체에 대한 후보 궤적을 상기 객체에 대한 어떠한 순간 속도도 참조하지 않고 판단할 수 있다. 예를 들어, 보행자 분류의 객체의 경우, 후보 궤적은 보행자에 대한 디폴트 최대 순간 속도에 기반하여 판단될 수 있다.
808 블록이 서브 블록(808A) (및 선택적으로 서브 블록(808B))을 포함하는 구현에서, 시스템은 (806 블록에서 판단된 포즈들 및/또는 분류들에 기반한) 서브 블록(808A)에서 생성된 하나 이상의 후보 궤적들에 기반하여 차량에 대한 궤적을 생성할 수 있다.
808 블록 이후, 시스템은 802 블록으로 되돌아 진행하여 신규 FMCW LIDAR 데이터(예를 들어, 방법(800)을 사용하여 처리되지 않은, 가장 최근에 생성된 데이터)를 수신하고, 그런 다음 블록들(802, 804, 806, 및 808)을 반복 수행한다. 도 8에 직렬로 도시되었지만, 블록(들)(802, 804, 및/또는 806)의 다음 반복은 하나 이상의 차후 블록들의 이전 반복과 병렬로(예를 들어 다수의 프로세서(들) 및/또는 쓰레드(threads)를 통해)수행될 수 있다. 차량이 방향을 탐색하는(navigating) 동안, 도 8의 블록들의 연속 반복을 통해, 환경 객체들의 포즈들 및 분류들이 계속해서 결정되어 환경 파라미터들의 변화를 반영할 수 있고, 차량들은 그러한 판단에 기반하여 계속해서 자율적으로 제어될 수 있다.

Claims (25)

  1. 차량의 위상 코히어런트 LIDAR (phase coherent Light Detection and Ranging) 모노펄스 콤포넌트 - 상기 위상 코히어런트 LIDAR 모노펄스 컴포넌트는 주파수 변조 연속파 (Frequency-Modulated Continuous Wave; FMCW) LIDAR 모노펄스 콤포넌트임 - 로부터, 상기 차량의 환경 영역에서 복수의 포인트들을 집합적으로 캡쳐한 FMCW LIDAR 데이터 포인트들의 그룹을 수신하되,
    상기 그룹의 FMCW LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 포인트들 중 대응하는 하나에 대한 대응 거리 및 대응 속도를 직접 나타내고, 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 대응 센싱 이벤트에 기반하여 생성되고,
    상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함하는 단계;
    상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 중 일 서브그룹이, 특별 분류의 객체에 대응한다고 판단하되, 상기 판단은:
    상기 서브그룹의 다수의 상기 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 거리들, 및
    상기 서브그룹의 다수의 상기 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 속도들에 기반하는 단계; 및
    상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 판단에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 객체의 적어도 하나의 순간 속도를 결정하되, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나는 상기 서브그룹이 상기 객체에 대응한다는 상기 판단에 기반하여 상기 객체의 적어도 하나의 순간 속도를 판단하는데 사용되는 단계를 더 포함하고,
    상기 차량의 자율주행 제어를 조정하는 단계는 상기 적어도 하나의 순간 속도에 더 기반하는, 방법.
  3. 청구항 2에 있어서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는, 상기 서브그룹의 복수의 상기 대응 속도들의 함수에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계를 포함하는, 방법.
  4. 청구항 2에 있어서, 상기 적어도 하나의 순간 속도에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
    상기 적어도 하나의 순간 속도에 기반하여 상기 객체의 적어도 하나의 후보 궤적을 결정하는 단계; 및
    상기 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는, 방법.
  5. 청구항 4에 있어서, 상기 적어도 하나의 순간 속도에 기반하여 상기 객체의 상기 적어도 하나의 후보 궤적을 결정하는 단계는:
    상기 적어도 하나의 순간 속도에 기반하여, 상기 객체에 대한 이전 결정 속도를 조정하는 단계; 및
    상기 이전 결정 속도의 상기 조정에 기반하여 상기 객체의 상기 적어도 하나의 후보 궤적을 결정하는 단계를 포함하는, 방법.
  6. 청구항 2에 있어서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는:
    상기 특별 분류에 할당된 상기 순간 속도 결정 기법에 기반하여, 복수의 후보 순간 속도 결정 기법들 중 하나의 순간 속도 결정 기법을 선택하는 단계; 및
    상기 선택된 순간 속도 결정 기법을 상기 적어도 하나의 순간 속도를 결정하는데 사용하는 단계를 포함하는, 방법.
  7. 청구항 2에 있어서, 상기 서브그룹의 상기 대응 속도들 중 적어도 하나에 기반하여 상기 적어도 하나의 순간 속도를 결정하는 단계는:
    상기 서브그룹의 상기 대응 속도들의 양에 기반하여, 복수의 후보 순간 속도 결정 기법들 중 하나의 순간 속도 결정 기법을 선택하는 단계; 및
    상기 선택된 순간 속도 결정 기법을 상기 적어도 하나의 순간 속도를 결정하는데 사용하는 단계를 포함하는, 방법.
  8. 청구항 1에 있어서, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 각각에 대하여 대응 각도가 정의되고, 상기 대응 각도들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 레이저로부터의 대응 광출력의 빔 폭보다 적은 각도로 정의되고, 상기 대응 광출력은 상기 FMCW LIDAR 데이터 포인트가 생성되는 상기 대응 센싱 이벤트로부터 야기된 것인, 방법.
  9. 청구항 1에 있어서, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 각각에 대하여 대응 각도를 생성하는 단계를 더 포함하고, 상기 FMCW LIDAR 데이터 포인트들 중 주어진 FMCW LIDAR 데이터 포인트에 대해 상기 대응 각도들 중 주어진 각도를 생성하는 단계는:
    상기 주어진 각도를:
    상기 주어진 FMCW LIDAR 데이터 포인트의 상기 대응 센싱 이벤트에 대한 상기 제1 수신기 센싱 이벤트로부터의 제1 데이터, 및
    상기 주어진 FMCW LIDAR 데이터 포인트의 상기 대응 센싱 이벤트에 대한 상기 제2 수신기 센싱 이벤트로부터의 제2 데이터
    를 비교한 것에 기반하여 생성하는 단계를 포함하는, 방법.
  10. 청구항 9에 있어서, 상기 제1 데이터 및 상기 제2 데이터를 비교하는 단계는:
    상기 제1 데이터 및 상기 제2 데이터 사이의 위상 차들, 및
    상기 제1 데이터 및 상기 제2 데이터 사이의 진폭 차들 중 하나 또는 둘 다를 비교하는 단계를 포함하는, 방법.
  11. 청구항 10에 있어서, 상기 제1 데이터 및 상기 제2 데이터는 각각 개별 시변(time varing) 중간 주파수 파형, 또는 개별 거리-도플러 영상인, 방법.
  12. 청구항 1에 있어서, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 각각은 상기 대응 센싱 이벤트의 상기 제1 수신기 센싱 이벤트로부터의 제1 데이터 및 상기 대응 센싱 이벤트의 상기 제2 수신기 센싱 이벤트로부터의 제2 데이터를 결합한 것에 기반하여 구성되는 대응 초해상도 FMCW LIDAR 데이터 포인트인, 방법.
  13. 청구항 1에 있어서, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 각각은 대응 강도를 더 나타내고, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들의 상기 서브그룹이 상기 특별 분류의 상기 객체에 해당한다고 판단하는 단계는, 상기 서브그룹의 상기 FMCW LIDAR 데이터 포인트들의 다수에 대한 상기 대응 강도들에 더 기반하는, 방법.
  14. 청구항 1에 있어서, 상기 그룹을 수신하기 바로 이전에, 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트로부터 상기 차량의 상기 환경 영역에서 복수의 상기 포인트들을 집합적으로 캡쳐한 선행 FMCW LIDAR 데이터 포인트들의 선행 그룹을 수신하되,
    상기 선행 그룹의 상기 선행 FMCW LIDAR 데이터 포인트들 각각은 상기 환경 내 대응 포인트들에 대한 대응 선행 거리 및 대응 선행 속도를 나타내고, 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 선행 대응 센싱 이벤트에 기반하여 생성되는 단계;를 포함하고,
    상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 중 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다고 판단하는 단계는:
    상기 선행 FMCW LIDAR 데이터 포인트들의 다수에 대한 상기 대응 선행 거리들, 및
    상기 선행 FMCW LIDAR 데이터 포인트들의 다수에 대한 상기 대응 선행 속도들 모두에 더 기반하는, 방법.
  15. 청구항 1에 있어서, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 중 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다고 판단하는 단계는:
    학습된 기계 학습 모델을 사용하여 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들을 프로세싱하는 단계;
    상기 학습된 기계 학습 모델을 사용하여 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들을 처리하는 것에 기반하여, 상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력을 생성하는 단계; 및
    상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여, 상기 서브그룹이 상기 특별 분류를 갖는 상기 객체에 대응한다고 판단하는 단계를 포함하는, 방법.
  16. 청구항 15에 있어서, 상기 출력은, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들의 복수의 공간 영역들 각각에 대해, 대응 공간 영역이 상기 특별 분류를 갖는 대응 확률을 나타내고, 그리고
    상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹이 상기 특별 분류를 갖는 상기 객체에 대응한다고 판단하는 단계는:
    하나 이상의 상기 공간 영역들의 세트를, 각각 임계치를 만족하는 상기 세트의 상기 공간 영역들의 상기 대응 확률들에 기반하여 결정하는 단계; 및
    상기 하나 이상의 공간 영역들의 상기 세트에 대응하는 상기 서브그룹에 기반하여 상기 서브그룹을 결정하는 단계를 포함하는 방법.
  17. 청구항 16에 있어서, 상기 출력에 의해 나타내진 상기 공간 영역들 각각은:
    상기 그룹의 상기 FMCW LIDAR 데이터 포인트들 중 대응하는 하나, 또는
    상기 그룹의 둘 이상의 상기 FMCW LIDAR 데이터 포인트들 중 대응하는 고유의 그룹핑(unique grouping)에 대응하는, 방법.
  18. 청구항 16에 있어서, 상기 출력은, 상기 그룹의 상기 FMCW LIDAR 데이터 포인트들의 복수의 공간 영역들 각각에 대해, 상기 대응 공간 영역이 상기 특별 분류를 갖는 대응 제1 확률 및 상기 해당 공간 영역이 분명한(distinct) 특별 분류를 갖는 대응 추가 확률을 나타내고, 그리고
    상기 서브그룹이 상기 특별 분류를 갖는 것을 나타내는 출력에 기반하여 상기 서브그룹이 상기 특별 분류를 갖는 상기 객체에 대응한다고 판단하는 단계는:
    하나 이상의 상기 공간 영역들의 세트를, 각각 임계치를 만족하는 상기 세트의 상기 공간 영역들의 상기 대응 확률들에 기반하여 결정하는 단계; 및
    상기 하나 이상의 공간 영역들의 상기 세트에 대응하는 상기 서브그룹에 기반하여 상기 서브그룹을 결정하는 단계를 포함하는 방법.
  19. 청구항 18에 있어서, 상기 FMCW LIDAR 데이터의 추가 서브그룹이 상기 분명한 특별 분류를 갖는 추가 객체에 대응한다고 판단하는 단계는:
    하나 이상의 상기 공간 영역들의 추가 세트를, 각각 임계치를 만족하는 상기 추가 세트의 상기 공간 영역들의 상기 대응 추가 확률들에 기반하여 결정하는 단계; 및
    상기 하나 이상의 공간 영역들의 상기 추가 세트에 대응하는 상기 추가 서브그룹에 기반하여 상기 추가 서브그룹을 결정하는 단계;에 기반하며,
    상기 차량의 자율주행 제어를 조정하는 단계는 상기 추가 서브그룹이 상기 분명한 특별 분류의 상기 추가 객체에 대응한다는 판단에 더 기반하는, 방법.
  20. 청구항 1에 있어서, 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 판단에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
    상기 차량의 속도, 또는
    상기 차량의 방향 중 적어도 하나를 변경하는 단계를 포함하는, 방법.
  21. 청구항 17에 있어서, 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 판단에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
    상기 서브그룹의 상기 FMCW LIDAR 데이터 포인트들에 기반하여 상기 객체의 포즈를 결정하는 단계; 및
    상기 객체의 상기 포즈 및 상기 객체의 상기 특별 분류에 기반하여 자율주행 제어를 조정하는 단계를 포함하는, 방법.
  22. 청구항 1에 있어서, 상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다고 판단하는 단계에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계는:
    상기 특별 분류에 기반하여, 상기 객체가 이동한다고 판단하는 단계;
    상기 서브그룹의 상기 FMCW LIDAR 데이터 포인트들에 기반하여 상기 객체의 포즈를 결정하는 단계;
    상기 객체가 이동한다는 판단에 응답하여, 상기 객체의 상기 포즈에 기반하여 상기 객체에 대한 적어도 하나의 후보 궤적을 결정하는 단계; 및
    상기 적어도 하나의 후보 궤적에 기반하여 상기 차량의 자율주행 제어를 조정하는 단계를 포함하는, 방법.
  23. 청구항 22에 있어서, 상기 서브그룹의 상기 FMCW LIDAR 데이터 포인트들에 기반하여 상기 객체의 순간 속도를 결정하는 단계를 더 포함하고,
    상기 객체의 상기 적어도 하나의 후보 궤적을 결정하는 단계는 상기 객체의 상기 순간 속도에 더 기반하는, 방법.
  24. 자율주행 차량에 있어서,
    위상 코히어런트 LIDAR(Light Detection and Ranging) 모노펄스 컴포넌트 - 상기 위상 코히어런트 LIDAR 모노펄스 컴포넌트는 주파수 변조 연속파 (Frequency-Modulated Continuous Wave; FMCW) LIDAR 모노펄스 콤포넌트임 - ;
    저장된 컴퓨터 명령들을 실행하여:
    상기 LIDAR 모노펄스 콤포넌트로부터, 상기 차량의 환경 영역에서 복수의 포인트들을 집합적으로 캡쳐한 FMCW LIDAR 데이터 포인트들의 그룹을 수신하되,
    상기 그룹의 FMCW LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 포인트들 중 대응하는 하나에 대한 대응 거리 및 대응 속도를 직접 나타내고, 각각은 위상 코히어런트 FMCW LIDAR 모노펄스 콤포넌트의 대응 센싱 이벤트에 기반하여 생성되고,
    상기 위상 코히어런트 FMCW LIDAR 모노펄스 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 FMCW LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 FMCW LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함하며;
    상기 그룹의 상기 위상 코히어런트 FMCW LIDAR 데이터 포인트들 중 일 서브그룹이 특별 분류의 객체에 해당한다고 판단하되, 상기 판단은:
    상기 서브그룹의 다수의 상기 위상 코히어런트 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 거리들, 및
    상기 서브그룹의 다수의 상기 위상 코히어런트 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 속도들들에 기반하며, 그리고
    상기 서브그룹이 상기 특별 분류의 상기 객체에 대응한다는 판단에 기반하여 상기 차량의 조타, 가속 및/또는 감속을 제어하는 하나 이상의 프로세서들을 포함하는, 자율주행 차량.
  25. 차량의 위상 코히어런트 LIDAR(phase coherent Light Detection and Ranging) 모노펄스 콤포넌트 - 상기 위상 코히어런트 LIDAR 모노펄스 컴포넌트는 주파수 변조 연속파 (Frequency-Modulated Continuous Wave; FMCW) LIDAR 모노펄스 콤포넌트임 - 로부터, 상기 차량의 환경 영역에서 복수의 포인트들을 집합적으로 캡쳐한 FMCW LIDAR 데이터 포인트들의 그룹을 수신하되,
    상기 그룹의 상기 위상 코히어런트 FMCW LIDAR 데이터 포인트들 각각은 상기 환경 내 상기 포인트들 중 대응하는 하나에 대한 대응 거리 및 대응 속도를 직접 나타내고, 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 대응 센싱 이벤트에 기반하여 생성되고,
    상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 상기 대응 센싱 이벤트들 각각은 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제1 수신기에서의 제1 수신기 센싱 이벤트 및 상기 위상 코히어런트 LIDAR 모노펄스 콤포넌트의 제2 수신기에서의 제2 수신기 센싱 이벤트를 포함하는 단계;
    상기 그룹의 상기 위상 코히어런트 FMCW LIDAR 데이터 포인트들의 서브그룹이 특별 분류의 객체에 해당한다고 판단하되, 상기 판단은:
    상기 서브그룹의 다수의 상기 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 거리들, 및
    상기 서브그룹의 다수의 상기 FMCW LIDAR 데이터 포인트들에 대한 상기 대응 속도들들에 기반하는 단계;
    상기 그룹의 상기 LIDAR 데이터 포인트들의 상기 서브그룹에 기반하여 상기 객체의 다차원 포즈를 결정하는 단계; 및
    상기 결정된 다차원 포즈 및 상기 특별 분류의 표시(indication)를 상기 차량의 계획 서브시스템으로 제공하는 단계를 포함하고, 상기 차량의 상기 계획 서브시스템은 상기 다차원 포즈 및 상기 특별 분류의 표시에 기반하여 상기 차량의 궤적을 생성하는, 방법.
KR1020207031846A 2018-04-11 2019-03-28 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어 KR102481638B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862655963P 2018-04-11 2018-04-11
US62/655,963 2018-04-11
US16/173,648 2018-10-29
US16/173,648 US11550061B2 (en) 2018-04-11 2018-10-29 Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
PCT/US2019/024671 WO2019199473A2 (en) 2018-04-11 2019-03-28 Control of autonomous vehicle based on environmental object classification determined using phase coherent lidar data

Publications (2)

Publication Number Publication Date
KR20200139779A KR20200139779A (ko) 2020-12-14
KR102481638B1 true KR102481638B1 (ko) 2022-12-27

Family

ID=68161505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031846A KR102481638B1 (ko) 2018-04-11 2019-03-28 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어

Country Status (4)

Country Link
US (2) US11550061B2 (ko)
EP (1) EP3775997A2 (ko)
KR (1) KR102481638B1 (ko)
WO (1) WO2019199473A2 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537808B2 (en) 2016-11-29 2022-12-27 Blackmore Sensors & Analytics, Llc Method and system for classification of an object in a point cloud data set
KR102477195B1 (ko) 2016-11-30 2022-12-12 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광 처프 거리 검출의 도플러 검출 및 도플러 보정을 위한 방법 및 장치
KR102380943B1 (ko) 2016-11-30 2022-03-30 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 광학 거리 측정 시스템을 이용한 자동적인 실시간 적응형 스캐닝 방법과 시스템
US11624828B2 (en) 2016-11-30 2023-04-11 Blackmore Sensors & Analytics, Llc Method and system for adaptive scanning with optical ranging systems
US10422880B2 (en) 2017-02-03 2019-09-24 Blackmore Sensors and Analytics Inc. Method and system for doppler detection and doppler correction of optical phase-encoded range detection
US10401495B2 (en) 2017-07-10 2019-09-03 Blackmore Sensors and Analytics Inc. Method and system for time separated quadrature detection of doppler effects in optical range measurements
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10906536B2 (en) 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
EP3785043B1 (en) * 2018-04-23 2023-08-16 Blackmore Sensors & Analytics, LLC Method and system for controlling autonomous vehicle using coherent range doppler optical sensors
US11827241B2 (en) * 2018-10-29 2023-11-28 Motional Ad Llc Adjusting lateral clearance for a vehicle using a multi-dimensional envelope
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11822010B2 (en) 2019-01-04 2023-11-21 Blackmore Sensors & Analytics, Llc LIDAR system
US11828848B2 (en) * 2019-03-14 2023-11-28 Aeva, Inc. Velocity estimation using doppler per point LiDAR systems
US11618502B2 (en) * 2019-03-28 2023-04-04 Volkswagen Aktiengesellschaft On-road localization methodologies and equipment utilizing road surface characteristics
US11153010B2 (en) * 2019-07-02 2021-10-19 Waymo Llc Lidar based communication
US10838061B1 (en) 2019-07-16 2020-11-17 Blackmore Sensors & Analytics, LLC. Method and system for enhanced velocity resolution and signal to noise ratio in optical phase-encoded range detection
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11148663B2 (en) * 2019-10-02 2021-10-19 Ford Global Technologies, Llc Enhanced collision mitigation
US11407431B2 (en) * 2019-11-22 2022-08-09 Samsung Electronics Co., Ltd. System and method for object trajectory prediction in an autonomous scenario
DE102020104385A1 (de) 2020-02-19 2021-08-19 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Lasersystem und betriebsverfahren für ein lasersystem
US11235785B2 (en) * 2020-02-21 2022-02-01 BlueSpace.ai, Inc. Method for object avoidance during autonomous navigation
JP7196205B2 (ja) * 2020-05-15 2022-12-26 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 部分的ポイントクラウドベースの歩行者速度推定方法
JP7409234B2 (ja) * 2020-06-12 2024-01-09 株式会社デンソー 物体認識装置
CN111781608B (zh) * 2020-07-03 2023-04-25 浙江光珀智能科技有限公司 一种基于fmcw激光雷达的运动目标检测方法及系统
US20220011438A1 (en) * 2020-07-10 2022-01-13 Xin Jin Multi-domain optical sensor chip and apparatus
US11635500B2 (en) 2020-09-04 2023-04-25 Ours Technology, Llc Lidar phase noise cancellation system
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11841439B2 (en) * 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US11702102B2 (en) * 2020-11-19 2023-07-18 Waymo Llc Filtering return points in a point cloud based on radial velocity measurement
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
EP4030188B1 (de) * 2021-01-15 2022-12-07 Sick Ag Vorrichtung und verfahren zum absichern eines überwachungsbereiches
US20220291386A1 (en) * 2021-03-10 2022-09-15 Neophotonics Corporation Lidar with 4d object classification, solid state optical scanning arrays, and effective pixel designs
US11960292B2 (en) * 2021-07-28 2024-04-16 Argo AI, LLC Method and system for developing autonomous vehicle training simulations
WO2023129479A1 (en) * 2021-12-31 2023-07-06 Aeva, Inc. Techniques for point cloud frame accumulation in fmcw lidar
US20230242149A1 (en) * 2022-01-31 2023-08-03 Zoox, Inc. Radar object classification based on radar cross-section data
US11693101B1 (en) * 2022-09-26 2023-07-04 Aeva, Inc. Techniques for target orientation estimation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123419A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987297A (en) 1975-06-09 1976-10-19 United Technologies Corporation Monopulse optical receiver system
US7629899B2 (en) 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method
US5815250A (en) 1997-05-27 1998-09-29 Coherent Technologies, Inc. Doublet pulse coherent laser radar for precision range and velocity measurements
JP3651259B2 (ja) 1998-05-01 2005-05-25 日産自動車株式会社 先行車追従制御装置
DE10148071A1 (de) 2001-09-28 2003-04-17 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und Verfolgung von Objekten
US7505488B2 (en) 2001-09-28 2009-03-17 Raytheon Company Synthetic aperture ladar with chirped modelocked waveform
DE10353348A1 (de) 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE112006002892B4 (de) 2005-10-21 2022-01-27 Deere & Company Systeme und Verfahren zum Umschalten zwischen autonomer und manueller Bedienung eines Fahrzeugs
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
WO2012140309A1 (en) 2011-04-14 2012-10-18 Nokia Siemens Networks Oy JOINT TRANSMISSION CoMP WITH SINGLE CARRIER CELL AGGREGATION
DE102013100446B4 (de) * 2012-01-25 2020-01-09 Denso Corporation Spurhalte-Steuersystem
EP2637072B1 (en) 2012-03-05 2017-10-11 Volvo Car Corporation Path following of a target vehicle
US9025140B2 (en) 2013-05-07 2015-05-05 Google Inc. Methods and systems for detecting weather conditions including sunlight using vehicle onboard sensors
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
CN105324287B (zh) 2013-04-11 2018-07-06 伟摩有限责任公司 使用车载传感器检测天气条件的方法和系统
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
KR101470221B1 (ko) * 2013-10-17 2014-12-05 현대자동차주식회사 현가 제어 장치 및 그 방법
US10692370B2 (en) * 2014-03-03 2020-06-23 Inrix, Inc. Traffic obstruction detection
KR20160093465A (ko) * 2015-01-29 2016-08-08 엘지전자 주식회사 차량용 레이더 장치, 차량 운전 보조 장치, 차량 및 차량용 레이더 장치의 동작 방법
EP3281033B1 (en) 2015-04-07 2022-01-12 GM Global Technology Operations LLC Compact lidar system
EP3144696A1 (en) 2015-09-15 2017-03-22 Delphi Technologies, Inc. Radar system for automated vehicle with phase change based target categorization
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
WO2017161054A1 (en) * 2016-03-15 2017-09-21 Solfice Research, Inc. Systems and methods for providing vehicle cognition
WO2017158658A1 (ja) 2016-03-16 2017-09-21 パナソニックＩｐマネジメント株式会社 運転解析装置及び運転解析システム
US20180053102A1 (en) 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
EP3285230B1 (en) * 2016-08-19 2021-04-07 Veoneer Sweden AB Enhanced object detection and motion estimation for a vehicle environment detection system
US10592805B2 (en) 2016-08-26 2020-03-17 Ford Global Technologies, Llc Physics modeling for radar and ultrasonic sensors
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
CN110832474B (zh) * 2016-12-30 2023-09-15 辉达公司 更新高清地图的方法
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
JP6542824B2 (ja) 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US10262234B2 (en) 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
AU2018320964B2 (en) * 2017-08-25 2023-04-13 The Board Of Trustees Of The University Of Illinois Apparatus and method for agricultural data collection and agricultural operations
US10591605B2 (en) * 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
EP3477616A1 (en) 2017-10-27 2019-05-01 Sigra Technologies GmbH Method for controlling a vehicle using a machine learning system
US11232350B2 (en) 2017-11-29 2022-01-25 Honda Motor Co., Ltd. System and method for providing road user classification training using a vehicle communications network
US10915101B2 (en) 2018-02-02 2021-02-09 Uatc, Llc Context-dependent alertness monitor in an autonomous vehicle
US11073618B2 (en) 2018-04-03 2021-07-27 GM Global Technology Operations LLC Optical amplifier in return path of coherent lidar system
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10906536B2 (en) 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11403492B2 (en) * 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123419A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US20180089538A1 (en) * 2016-09-29 2018-03-29 The Charles Stark Draper Laboratory, Inc. Autonomous vehicle: object-level fusion

Also Published As

Publication number Publication date
US11550061B2 (en) 2023-01-10
EP3775997A2 (en) 2021-02-17
CN112041702A (zh) 2020-12-04
US11933902B2 (en) 2024-03-19
WO2019199473A3 (en) 2019-11-21
US20230133611A1 (en) 2023-05-04
KR20200139779A (ko) 2020-12-14
US20190317219A1 (en) 2019-10-17
WO2019199473A2 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
KR102481638B1 (ko) 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어
KR102497330B1 (ko) 추가 차량의 결정된 요 파라미터(들)에 근거한 자율주행 차량 제어
CN109307869B (zh) 用于增加激光雷达探测器的视场的设备和照明装置
CN110441790B (zh) 激光雷达系统中的方法和装置串扰和多径降噪
US11630209B2 (en) Laser waveform embedding
US20220128995A1 (en) Velocity estimation and object tracking for autonomous vehicle applications
WO2022094430A1 (en) Point cloud segmentation using a coherent lidar for autonomous vehicle applications
Kelly A partial analysis of the high speed autonomous navigation problem
US11693110B2 (en) Systems and methods for radar false track mitigation with camera
US11797836B1 (en) Sensor-integrated neural network
CN112041702B (zh) 基于使用相位相干lidar数据确定的环境对象分类对自动驾驶车辆的控制
US20230194676A1 (en) Two-Step Return Calibration for Lidar Cross-Talk Mitigation
EP4184204A1 (en) Methods and systems for reducing lidar memory load
Cveticanin et al. Sensors in Self-Driving Car

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant