KR20230076713A - 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성 - Google Patents

도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성 Download PDF

Info

Publication number
KR20230076713A
KR20230076713A KR1020220015576A KR20220015576A KR20230076713A KR 20230076713 A KR20230076713 A KR 20230076713A KR 1020220015576 A KR1020220015576 A KR 1020220015576A KR 20220015576 A KR20220015576 A KR 20220015576A KR 20230076713 A KR20230076713 A KR 20230076713A
Authority
KR
South Korea
Prior art keywords
vehicle
information
constraint
road
motion
Prior art date
Application number
KR1020220015576A
Other languages
English (en)
Other versions
KR102639033B1 (ko
Inventor
푸니트 싱할
벤스 체르너
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230076713A publication Critical patent/KR20230076713A/ko
Application granted granted Critical
Publication of KR102639033B1 publication Critical patent/KR102639033B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/18—Four-wheel drive vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/40—Torque distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • B60W2720/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/20—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects
    • B60W2754/30—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/82—Four wheel drive systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Motorcycle And Bicycle Frame (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 방법들이 제공되며, 이 방법들은 대상체에 관한 정보를 수신하는 단계, 대상체를 특정 도로 위험 요소로서 식별하는 단계, 도로 위험 요소에 기초하여 하나 이상의 모션 제약을 생성하는 단계, 및 모션 제약들에 기초하여 차량을 제어하는 단계를 포함할 수 있다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성{MOTION PLANNER CONSTRAINT GENERATION BASED ON ROAD SURFACE HAZARDS}
위험 요소들(hazards)은 종종 도로 표면들에서 발생하며 도로 표면의 조건에 영향을 미칠 수 있다. 위험 요소들은 동물, 거친 도로, 자갈, 울퉁불퉁한 가장자리, 고르지 않은 확장 조인트, 미끄러운 표면, 고인 물, 잔해물, 눈, 얼음 또는 공사 현장 또는 다른 차량으로부터 떨어진 물체를 포함하지만 이에 제한되지 않는다. 위험 요소들은 차량의 작동에 영향을 미친다. 예를 들어, 차량은 위험 요소에 응답하여 그의 경로 또는 속력을 변경할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5a 및 도 5b는 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현의 다이어그램들이다.
도 6은 차량이 도로 위험요소를 식별하는 것의 예시적인 시나리오를 예시한다.
도 7은 센서가 수신된 광에 기초하여 도로 위험 요소의 정보를 생성하는 것의 예시적인 시나리오를 예시한다.
도 8은 2 개의 상시 작동(always-on) 센서가 수신된 광에 기초하여 도로 위험 요소의 정보를 생성하는 것의 예시적인 시나리오를 예시한다.
도 9는 방출기가 광을 생성하고 온디맨드(on-demand) 센서가 수신된 광에 기초하여 도로 위험 요소의 정보를 생성하는 것의 예시적인 시나리오를 예시한다.
도 10은 특정 도로 위험 요소와 연관된 모션 제약들 및 차량이 모션 제약들에 기초하여 제어되는 것의 제1 예를 도시한다.
도 11은 특정 도로 위험 요소와 연관된 모션 제약들 및 차량이 모션 제약들에 기초하여 제어되는 것의 제2 예를 도시한다.
도 12a 내지 도 12c는 도로 위험 요소들의 시간적 변동을 예시한다.
도 13은 차량이 도로 위험 요소 정보를 메모리에 저장하는 것을 예시한다.
도 14는 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 플로차트이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 양쪽 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 차량(예를 들면, 자율 주행 차량)이 주행하고 있는 도로 표면에 존재하는 도로 위험 요소들(예를 들면, 잔해물, 얼음, 물, 기름, 모래 또는 눈)을 식별하기 위한 단계들을 포함하고/하거나 구현한다. 차량은 (예를 들면, 조향 제어 및/또는 제동 제어를 통해) 도로 위험 요소의 존재에 기초하여 제어된다.
일반적으로, 자율 주행 차량 컴퓨터("AV 스택"이라고도 지칭됨)는 차량의 모션 플래너(motion planner)로 전송되는 모션 제약들을 결정하는 것에 의해 식별된 도로 위험 요소를 고려한다. 모션 플래너는, 차례로, 이러한 모션 제약들에 따라 차량의 궤적을 계획하고 궤적을 추종하도록 차량을 제어한다. 일부 예들에서, AV 스택은 속력을 낮추는 것에 의해 식별된 도로 위험 요소를 고려한다. 다른 예들에서, 차량은 도로 위험 요소를 돌아서 운행하는 것에 의해 식별된 도로 위험 요소를 고려한다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현들에 의해, 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 기술들은 이하의 장점들 중 하나 이상을 제공한다.
일부 예들에서, 이 기술은 보다 안전한 차량 주행을 가능하게 한다. 예를 들어, 다가오는 도로 위험 요소를 가능한 한 빨리 식별하는 자율 주행 또는 부분 자율 주행 차량은 도로 위험 요소에 대처할 보다 많은 시간을 갖는다. 예를 들어, 도로 상의 빙판(ice patch)을 식별할 수 있는 차량은 차량이 빙판을 돌아서 조향하는 것에 의해 빙판을 피하도록 결정할 수 있음을 의미한다. 이러한 방식으로, 도로 위험 요소를 식별하고 적합한 모션 제약들을 가능한 한 빨리 결정하는 것은 그러한 기술이 없는 차량들에 비해 더 안전한 차량 라이드를 제공하는데 왜냐하면 그렇지 않은 경우 차량이 잠재적으로 사고를 결과할 수 있는 도로 위험 요소를 통해 평상시와 같이 계속 운전할 것이기 때문이다. 이러한 방식으로, 차량 내의 승객들, 환경 내의 다른 차량들, 보행자들, 및 동물들이 모두 이 기술로 보다 안전하다.
이 기술이 보다 안전한 차량 주행을 가능하게 하는 다른 방식은 특정 도로 위험 요소에 기초하여 모션 제약들을 결정하는 것이다. 예를 들어, 이 기술이 도로 위험 요소를 미끄러운 조건(codition)(예를 들면, 모래, 얼음, 기름 등)으로서 식별하고 또한 도로 위험 요소를 피하는 것이 실현 가능하지 않다고 결정할 때(예를 들면, 차단된 주행 차선들, 도로 위험 요소가 도로 표면의 전체 폭에 걸쳐 있는 것 등), 이 기술은 갑작스런 차량 궤적 변경들(예를 들면, 차량의 주행 방향의 갑작스런 변경들, 차량의 가속도의 갑작스런 변경들 등)을 피하기 위해 차량의 궤적에 모션 제약을 적용한다. 갑작스런 차량 궤적 변경들을 피하는 것은 차량이 도로 위험 요소를 통해 주행할 때 차량이 제어력을 상실할 가능성을 감소시킨다.
일부 예들에서, 이 기술은 상시 작동 센서들(예를 들면, 정상 운전에 사용되는 센서들[예를 들면, RADAR, LIDAR, 카메라들 등]) 및 온디맨드 센서들(예를 들면, 이 기술이 도로 위험 요소가 전방에 있을 가능성이 있다고[예를 들면, 임계치 초과라고] 결정할 때에만 사용되는 센서들[예를 들면, 장거리 줌 렌즈를 갖는 카메라들 등]) 양쪽 모두를 사용하기 때문에 에너지 효율적이다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 구역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 한 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시간 기간 동안 고정 위치에 위치함) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있음) 있다. 일부 실시예들에서, 대상체들(104)은 구역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 구역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
구역(108)은 차량들(102)이 운행할 수 있는 물리적 구역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 구역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 구역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 구역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 함께 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "시스템"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 시스템은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 구역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 구역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 구역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 구역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 속성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 함께 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 구역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 5a 및 도 5b를 참조하면, 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현(500)의 다이어그램들이 예시되어 있다. 일부 실시예들에서, 구현(500)은 차량(502)의 도로 위험 요소 제약 시스템(580)에 의해 수행된다. 일부 예들에서, 도로 위험 요소 제약 시스템(580)은 구현의 단계들을 수행하기 위한 적어도 하나의 프로세서를 포함한다. 일부 예들에서, 차량(502)은 위에서 기술된 차량(102) 및/또는 차량(200)과 동일하거나 유사하다. 상세하게는, 차량(502)은 도 4를 참조하여 위에서 기술된 인지 시스템(400)과 동일하거나 유사한 인지 시스템(504)을 포함한다. 이 예에서, 도로 위험 요소 제약 시스템(580)은 인지 시스템(504)에 의해 구현된다.
도 5a에서, 인지 시스템(504)은 도로 위험 요소 프로세싱 시스템(506) 및 제약 생성 시스템(508)을 포함한다. 본 기술은 도로 위험 요소의 존재 하에서 운행을 계속하도록 모션 제약을 출력한다. 일반적으로, 모션 제약은 차량의 계획된 모션에 대한 수정 또는 제한이다. 하나 이상의 상시 작동 센서(510)는 차량(502) 전방의 도로 표면에 관한 정보(512)를 생성한다. 본원에서 사용되는 바와 같이, "항시 작동"은 인지 시스템(504)으로부터의 요청들과 상관없이 센서들(510)이 도로 표면에 관한 정보를 생성한다는 것을 의미한다. 일부 예들에서, 상시 작동 센서들(510)은 도 2를 참조하여 위에서 기술된 바와 같은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)을 포함한다. 이러한 방식으로, 상시 작동 센서들(510)은 이미징 센서, 음향 센서, 온도 센서, 또는 이미징 센서들, 음향 센서들, 또는 온도 센서들의 어레이, 또는 이들의 임의의 조합들 중 적어도 하나일 수 있다.
일부 예들에서, 상시 작동 센서들(510)은 주기적으로 및/또는 연속적으로 도로 표면에 관한 정보(512)를 생성하고 이 정보(512)를 도로 위험 요소 프로세싱 시스템(506)으로 송신한다. 일반적으로, 상시 작동 센서들(510)은 도로 표면 상의 하나 이상의 대상체에 관한 정보를 포함하는 정보(512)를 생성한다. 일부 예들에서, 도로 표면 상의 대상체들은 도로 표면의 트랙션 상실(loss of traction)과 연관되어 있다(예를 들면, 얼음, 물, 기름, 모래, 눈 등). 다른 예들에서, 대상체들은 정지해 있거나 시간에 따라 움직이는 장애물들(예를 들면, 동물, 공사 콘(construction cone) 등)과 연관되어 있다. 일부 경우에, 이러한 대상체들은 도로 위험 요소 프로세싱 시스템(506)에 의해 도로 위험 요소들로서 식별된다.
실시예들에서, 대상체는 아래에서 기술되는 바와 같이 도로 위험 요소로서 식별된다. 그렇지만, "도로 위험 요소" 또는 "위험 요소"라는 용어는 때때로 "대상체"라는 용어와 동의어로 사용된다. 도로 위험 요소 프로세싱 시스템(506)을 사용하여 이러한 대상체들을 특정 도로 위험 요소들로서 식별하는 것에 관한 추가 세부 사항들이 다양한 예들을 통해 아래에서 기술된다.
일부 예들에서, 상시 작동 센서들(510)로부터의 정보(512)는 "초기" 정보로 간주되는데 왜냐하면 아래에서 기술되는 바와 같이 그러한 정보에 대한 요청이 없어도 그것이 도로 위험 요소 프로세싱 시스템(506)에 의해 수신되고 도로 위험 요소 프로세싱 시스템(506)이 추가적인 정보를 수신할 수 있기 때문이다. 게다가, 상시 작동 센서들(510)은 "제1" 센서들로 간주될 수 있는데, 왜냐하면 아래에서 기술되는 바와 같이 추가적인 정보가 추가적인 센서들에 의해 생성되기 때문이다.
일부 실시예들에서, 상시 작동 센서들(510) 중 일부는 다른 센서와 비교할 때 상이한 감도(예를 들면, 더 낮은 감도 대 더 높은 감도)를 갖는다. 일반적으로, 감도는 변화들, 신호들 또는 영향들에 대한 센서의 응답성을 지칭한다. 예를 들어, 센서들(510)이 이미징 센서들인 경우, 하나의 센서의 렌즈의 조리개가 제2 센서에 비해 감소될 수 있어 제2 센서에 비해 더 낮은 감도를 결과할 수 있다. 이러한 방식으로, 상시 작동 센서들(510) 각각은 단일 상시 작동 센서와 비교할 때 더 넓은 다이내믹 레인지를 커버하기 위해 상이한 감도들을 갖도록 구성될 수 있다. 이것은 차량(502)이 주간 주행 동안 그리고 야간 주행 동안 도로 위험 요소들을 식별하는 시나리오들에서 유리할 수 있다. 상세하게는, 주간 조건과 야간 조건은 다이내믹 레인지 값 범위의 양단을 나타낸다. 현재 기술들은 도로 위험 요소들의 존재 하에서 넓은 다이내믹 레인지 값 범위에 걸쳐 차량을 운행시키기 위해 모션 제약들을 생성한다.
일부 실시예들에서, 초기 정보(512)는 상시 작동 센서들(510)에 의해 생성되는 날짜, 시간, 위치, 및/또는 공간 데이터를 포함한다. 예를 들어, 상시 작동 이미징 센서의 경우에, 초기 정보(512)는 이미지가 생성된 날짜, 이미지가 생성된 시간, 및 이미지가 생성되었을 때의 차량(502)의 위도 및 경도에 관한 정보(512)를 포함할 수 있다. 일부 예들에서, 초기 정보는 비디오를 표현하는 하나 이상의 이미지를 포함한다. 일부 예들에서, 초기 정보(512)는 상시 작동 센서들(510)에 의해 생성되는 이미지의 공간 픽셀 데이터를 포함한다.
위에서 언급된 바와 같이, 차량(500) 전방의 도로 표면이 도로 위험 요소를 포함하는 예들에서, 초기 정보(512)는 도로 위험 요소에 관한 정보도 포함할 수 있다. 일반적으로, 도로 위험 요소 프로세싱 시스템(506)은 초기 정보(512)에 기초하여 도로 위험 요소를 식별하고 그러한 식별 정보(562)를 제약 생성 시스템(508)으로 송신하며 제약 생성 시스템(508)은 식별 정보(562)의 식별된 도로 위험 요소에 기초하여 차량(502)의 하나 이상의 모션 제약(560)을 생성한다.
일부 실시예들에서, 일단 도로 위험 요소 프로세싱 시스템(506)이 초기 정보(512)를 수신하면, 도로 위험 요소 프로세싱 시스템(506)은 초기 정보(512)(위에서 언급된 바와 같이, 하나 이상의 대상체에 대한 정보를 포함할 수 있음)가 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 확률을 결정한다. 일부 예들에서, 미리 결정된 도로 위험 요소들은 알려진 도로 위험 요소들의 리스트를 나타낸다. 일부 예들에서, 미리 결정된 도로 위험 요소들은, 위에서 언급된 바와 같이, 미끄러운 조건을 나타낸다. 일부 예들에서, 미끄러운 조건은 얼음, 물, 기름, 모래 및/또는 눈이다. 이러한 방식으로, 미리 결정된 도로 위험 요소들은 도로 표면 상의 얼음, 물, 기름, 모래 및/또는 눈 중 적어도 하나인 미끄러운 조건을 나타낼 수 있다.
일단 확률이 결정되고 도로 위험 요소 프로세싱 시스템(506)이 확률이 임계치 초과(예를 들면, 50% 초과)라고 결정하면, 도로 위험 요소 프로세싱 시스템(506)은 적어도 하나의 미리 결정된 도로 위험 요소에 대응하는 대상체들에 관한 추가적인 정보를 획득하라는 요청을 온디맨드 센서들(526)로 송신한다. 이러한 방식으로, 온디맨드 센서들(526)은 대상체들이 도로 위험 요소일 확률이 높을 때 도로 표면 상의 하나 이상의 대상체에 관한 추가적인 정보를 획득한다.
본원에서 사용되는 바와 같이, "온디맨드"는 센서들(526)이 인지 시스템(504)으로부터의 요청들에 응답하여 도로 표면에 관한 정보를 생성한다는 것을 의미한다. 일반적으로, 온디맨드 센서들(526)은 에너지를 절감하고, 과열을 감소시키며, 마손을 감소시키고, 상시 작동 센서들(510)에 대한 간섭을 감소시키기 위해 요청될 때 정보를 생성한다. 일부 예들에서, 온디맨드 센서들(526)은 도 2를 참조하여 위에서 기술된 바와 같은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)을 포함한다. 이러한 방식으로, 온디맨드 센서들(526)은 이미징 센서, 음향 센서, 온도 센서, 또는 이미징 센서들, 음향 센서들, 또는 온도 센서들의 어레이, 또는 이들의 임의의 조합들 중 적어도 하나일 수 있다.
일부 예들에서, 온디맨드 센서들(526)은 도로 표면에 관한 추가적인 정보(528)를 생성하고 이 추가적인 정보(528)를 도로 위험 요소 프로세싱 시스템(506)으로 송신한다. 이 예에서, 정보(528)는 "추가적인" 정보로 간주되는데, 왜냐하면 그것이, 위에서 기술된 바와 같이, 그러한 정보에 대한 요청에 응답하여 그리고 상시 작동 센서들(510)로부터의 초기 정보(512) 이후에 도로 위험 요소 프로세싱 시스템(506)에 의해 수신되기 때문이다. 이러한 방식으로, 온디맨드 센서들(526)은 "제2" 센서들로 간주될 수 있는데, 왜냐하면 이들이 상시 작동 센서들(510)과 구별될 수 있고/있거나 상시 작동 센서들(510)에 추가적으로 또는 상시 작동 센서들(510) 이후에 사용될 수 있기 때문이다. 추가적으로, 상시 작동 센서들(510)과 같이, 온디맨드 센서들(526) 중 일부는 또한 다른 온디맨드 센서들(526) 및/또는 상시 작동 센서들(510)과 비교할 때 상이한 감도를 가질 수 있다.
일단 온디맨드 센서들(526)이 대상체들에 관한 추가적인 정보를 획득하면, 온디맨드 센서들(526)은 추가적인 정보(528)를 도로 위험 요소 프로세싱 시스템(506)으로 송신한다. 도로 위험 요소 프로세싱 시스템(506)은 추가적인 정보에, 적어도 부분적으로, 기초하여 도로 위험 요소를 식별한다. 도로 위험 요소 프로세싱 시스템(506)에 의한 식별은 도 5b와 관련하여 더 기술된다.
일단 도로 위험 요소 프로세싱 시스템(506)이 대상체를 미리 결정된 도로 위험 요소들 중 적어도 하나로서 식별하면, 도로 위험 요소 프로세싱 시스템(506)은 식별된 도로 위험 요소과 연관된 식별 정보(562)를 제약 생성 시스템(508)으로 송신한다. 차례로, 제약 생성 시스템(508)은 식별 정보(562)에 기초하여 차량(502)에 대한 하나 이상의 모션 제약(560)을 결정한다. 위에서 언급된 바와 같이, 모션 제약들(560)은 차량(502)의 모션을 제한하는 제약을 포함할 수 있다. 일부 예들에서, 모션 제약들(560)은 특정 속도, 가속도, 주행 차선, 및/또는 조향각 변동 제약을 포함한다. 하나 이상의 모션 제약(560)의 결정에 관한 추가 세부 사항들은 다양한 예들을 통해 아래에서 기술된다.
일단 제약 생성 시스템(508)이 하나 이상의 모션 제약(560)을 결정하면, 제약 생성 시스템(508)은 모션 제약들(560)을 차량(502)의 모션 플래너(550)로 송신한다. 차례로, 모션 플래너(550)는 차량(502)에 대한 제어 정보(564)를 결정하기 위해 모션 제약들(560)을 차량(502)의 계획된 경로 및/또는 궤적에 통합시킨다. 일반적으로, 제어 정보(564)는 제어 시스템(552)이 차량(502)을 제어하기 위한 하나 이상의 입력 조건을 포함한다. 일단 모션 플래너(550)가 제어 정보(564)를 결정하면, 모션 플래너(550)는 제어 정보(564)를 제어 시스템(552)으로 송신한다. 차례로, 제어 시스템(552)은 차량(502)의 경로 및/또는 궤적을 변경하기 위해 차량(502)의 제어 하드웨어(예를 들면, 스로틀 시스템들, 조향 시스템들 등)를 제어한다. 모션 제약들에 기초하여 차량이 어떻게 제어되는지에 관한 추가 세부 사항들은 다양한 예들을 통해 아래에서 기술된다.
도 5b는 도 5a의 도로 위험 요소 프로세싱 시스템(506)의 상세한 예시이다. 유사한 항목들은 동일한 참조 번호에 의해 식별된다. 도로 위험 요소 프로세싱 시스템(506)은 초기 정보(512), 추가 정보(528)를 입력으로서 취하고, 식별된 도로 위험 요소과 연관된 식별 정보(562)를 출력한다. 도 5b를 참조하면, 검출 시스템(520)은 초기 정보(512)가 추가 프로세싱(예를 들면, 실제 도로 위험 요소를 식별하는 것)을 위해 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)으로 송신되기 전에 먼저 초기 정보(512)를 프로세싱한다. 검출 시스템(520)이 도로 표면 상에 어떠한 대상체들(따라서 도로 위험 요소들)도 위치하지 않는다고 결정하는 경우, 프로세스는 검출 시스템(520)에서 종료되고, 그 대신에 (예를 들면, 상시 작동 센서들(510)은 연속적으로 정보를 생성할 수 있기 때문에) 상시 작동 센서들(510)에 의해 생성되는 다음 초기 정보 배치(batch)를 프로세싱한다. 그렇지만, 하나 이상의 대상체가 검출 시스템(520)에 의해 검출되는 경우, 대상체의 하나 이상의 속성이 추가 분석을 위해(예를 들면, 대상체가 도로 위험 요소일 확률을 결정하기 위해) 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)으로 송신된다.
일부 실시예들에서, 검출 시스템(520)은 분류 시스템(522)과 통신한다. 일부 예들에서, 분류 시스템(522)은 초기 정보(512) 내에서 하나 이상의 대상체를 검출하기 위해 (예를 들면, 트레이닝된 신경 네트워크를 통해) 대상체 분류 분석을 수행한다. 일부 예들에서, 분류 시스템(522)은 이전에 트레이닝된 신경 네트워크에 기초하여 도로 표면 상의 얼음, 물, 기름, 모래 및/또는 눈과 같은 도로 위험 요소들을 검출하도록 트레이닝된다. 일부 예들에서, 이전에 트레이닝된 신경 네트워크는 도로 위험 요소들의 표면 색상 및/또는 도로 위험 요소들의 반사율의 파라미터들에 기초하여 트레이닝되었다.
초기 정보(512)에서 적어도 하나의 대상체를 식별할 시에, 초기 정보(512)는 적어도 하나의 대상체에 관한 정보를 포함하고 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)에 의해 수신된다. 일부 예들에서, 분류 시스템(522)은 대상체들을 특정 도로 위험 요소들로서 식별하기에 충분한 정보를 가질 수 있다. 이 경우에, 식별 정보가 또한 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)에 의해 수신된다. 예를 들어, 식별 정보는 각각의 검출된 대상체를 특정의 미리 결정된 도로 위험 요소와 연관시키는 정보를 포함할 수 있다. 예를 들어, 식별 정보는 도로 위험 요소의 위치 및 유형을 포함한다. 위치는 도 7과 관련하여 기술되는 바와 같이 좌표 변환을 사용하여 결정된다.
센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)의 목적은 온디맨드 센서들(526)을 활성화시킬지(예를 들면, 온디맨드 센서들(526)에 정보를 요청할지) 여부를 결정하는 것이다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 초기 정보(512)가 적어도 하나의 미리 결정된 도로 위험 요소를 나타내는 대상체에 관한 정보를 포함할 확률을 결정할 수 있다. 차례로, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 검출된 대상체에 관한 추가적인 정보를 획득하도록 온디맨드 센서들(526)에 요청할 수 있다. 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 온디맨드 센서들(526)을 어떻게 사용하는지에 관한 추가 세부 사항들은 아래의 여러 예들을 참조하여 기술된다.
센서 관측기(575)는 온디맨드 센서들(526)의 작동 상태(health)를 결정한다. 예를 들어, 센서 관측기(575)는 온디맨드 센서들(526)에 의해 생성되는 측정된 추가적인 정보(528)의 신뢰성을 결정하기 위해 센서 온도들, 마지막 유지 보수 이후 시간 및 활동 상태를 모니터링한다. 일부 예들에서, 센서 관측기(575)는 온디맨드 센서들(526)의 유지 보수 또는 교체가 필요할 때 경보들을 트리거한다.
센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)의 다른 목적은 식별 정보를 제약 생성 시스템(508)(도 5a에 도시됨)으로 송신하기 전에 검출된 대상체를 특정의 미리 결정된 도로 위험 요소로서 식별하기 위해 분류 시스템(552)과 협력하는 것이다. 도시된 예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 환경 정보(516B) 및 도로 정보(516A)를 수신한다. 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 수신된 환경 정보(516B) 및 도로 정보(516A)에 기초하여 검출된 대상체를 특정의 미리 결정된 도로 위험 요소로서 식별한다. 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 검출된 대상체를 특정의 미리 결정된 도로 위험 요소로서 어떻게 식별하는지에 관한 추가 세부 사항들은 아래의 여러 예들을 참조하여 기술된다.
일단 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 검출된 대상체를 미리 결정된 도로 위험 요소들 중 적어도 하나로서 식별하면, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 식별 정보(562)를 출력한다. 도 5a를 또다시 참조하면, 식별 정보(562)는 제약 생성 시스템(508)으로 송신된다. 차례로, 제약 생성 시스템(508)은 하나 이상의 제약(560)을 모션 플래너(550)에 출력한다. 모션 플래너는 모션 정보를 제어 시스템(552)에 제공한다. 제어 시스템(552)은 제어 정보를 차량(502)의 제어 하드웨어에 제공하여 차량으로 하여금 하나 이상의 제약(560)에 기초하여 움직이게 한다.
도 6은 상시 작동 센서(604) 및 온디맨드 센서(606)를 갖는 예시적인 차량(602)을 도시한다. 온디맨드 센서들에 관련된 측면들은 아래에 기술되어 있다. 일부 실시예들에서, 예시적인 차량(602)은 도 5a 및 도 5b를 참조하여 위에서 기술된 차량(502)과 동일하거나 유사하다. 일부 실시예들에서, 차량(602)은 도 5a 및 도 5b를 참조하여 위에서 기술된 구현(500)과 동일하거나 유사한 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현을 포함한다. 그 결과, 도 5a 및 도 5b가 아래에서 참조된다.
이 예에서, 상시 작동 센서(604)는 차량(602)의 환경(600)에 관한 정보를 연속적으로 생성하고 있다. 위에서 언급된 바와 같이, 상시 작동 센서(604)는 환경(600)에 있는 하나 이상의 대상체에 관한 정보를 연속적으로 생성하는 카메라, LIDAR 센서, RADAR 센서 등일 수 있다. 이 예에서, 상시 작동 센서(604)는 차량(602) 전방의 도로 표면(608)의 적어도 전체 폭(W) 및 적어도 하나의 차량 길이의 길이(L)를 커버하는 넓은 시야를 갖는다. (도면들이 반드시 일정한 축척으로 되어 있지는 않음에 유의한다.) 일부 예들에서, 길이(L)는 상시 작동 센서(604)의 구성에 따라(예를 들면, 상시 작동 센서(604)의 전력, 광학장치 등에 기초하여) 1 내지 20 차량 길이이다.
도 6에 도시된 예에서, 도로 표면(608)은 도로 위험 요소를 나타내는 대상체(610)를 포함한다. 위에서 언급된 바와 같이, 도로 위험 요소는 트랙션 상실 조건(예를 들면, 얼음, 물, 기름, 모래, 눈, 이들의 조합 등) 및/또는 도로 표면(608) 상의 물리적 장애물들(예를 들면, 동물, 공사 콘 등)과 연관될 수 있다. 이 예에서, 도로 위험 요소는 빙판이다. 상시 작동 센서(604)는 대상체(610)에 관한 초기 정보를 생성하고 이 정보를 도로 위험 요소 프로세싱 시스템(506)으로 송신한다.
도 7은 예시적인 좌표 변환을 예시한다. 일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)(및/또는 도 5b에 도시된 바와 같이 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)과 또한 통신하는 분류 시스템(522))은 좌표 변환에 기초하여 위험 요소의 위치를 결정한다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체의 로컬 좌표계로부터 환경의 월드 좌표계로의 좌표 변환을 수행한다. 변환에 기초하여, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 현실 세계 환경 내에서의 위험 요소의 정확한 위치를 결정한다. 일부 예들에서, 이 좌표 변환은 상시 작동 센서들(510)의 하나 이상의 속성(예를 들면, 초점 거리, 시야 등)에 기초한다.
도 7에 도시된 예에서, 상시 작동 센서(702)는 환경(700)에 있는 도로 표면(710) 상의 대상체(706)의 표면에서 반사된 광선(704)을 수신한다. 일반적으로, 광선(704)은 (예를 들면, 태양 또는 전구로부터의) 단일 광선으로 반드시 집속되지는 않는 산란 광을 나타낸다. 그렇지만, 일부 예들에서, 광선(704)은 실제로 (예를 들면, 레이저로부터의) 콜리메이트된 광의 단일 광선일 수 있다. 이 예에서, 상시 작동 센서(702)에 의해 생성되는 초기 정보는 이미지(708)이다. 도 7에 도시된 바와 같이, 이미지(708)는 대상체(706)의 표현을 포함할 수 있다.
이 예에서, 상시 작동 센서(702)는 좌표계(C)와 정렬된다(예를 들면, 상시 작동 센서(702)의 감도 축은 좌표계(C)의 축들 중 하나와 동일 선상에 있다). 상시 작동 센서(702)를 수용하는 차량(도시되지 않음)은 좌표계(E)와 정렬된다(예를 들면, 차량의 전방 방향은 좌표계(E)의 제1 축과 동일 선상에 있고, 차량의 수직 방향은 좌표계(E)의 제2 축과 동일 선상에 있으며, 차량의 좌우 방향은 좌표계(E)의 제3 축과 동일 선상에 있다). 환경(700)은 좌표계(W)와 정렬된다(예를 들면, 지구의 종방향은 좌표계(W)의 제1 축과 동일 선상에 있고, 지구의 위도 방향은 좌표계(W)의 제2 축과 동일 선상에 있으며, 지구의 방사상 외측 방향은 좌표계(W)의 제3 축과 동일 선상에 있다).
일부 실시예들에서, 좌표 변환은 차량에 대한 상시 작동 센서(702)의 위치(예를 들면, 좌표 시스템(E)에 대한 좌표 시스템(C))를 먼저 결정하는 것에 의해 수행된다. 이어서 환경에 대한 차량의 위치(예를 들면, 좌표계(W)에 대한 좌표계(E))가 결정된다. 이어서 상시 작동 센서(702)에 대한 대상체(706)의 위치(예를 들면, 좌표계(C)에 대한 대상체(706)의 위치)가 결정된다.
도 7에는 하나의 상시 작동 센서(702)만이 도시되어 있지만, 다수의 상시 작동 센서들(예를 들면, 동일하거나 상이한 유형)로부터의 정보는 환경(700)에서의 대상체들(706)의 위치들을 계산하는 데 사용될 수 있다. 예를 들어, 도 8은 둘 이상의 상시 작동 센서가 있는 시나리오를 기술한다.
도 8은 2 개의 상시 작동 센서(802A, 802B)를 예시한다. 상시 작동 센서들(802A, 802B)은 환경(800)에 있는 도로 표면(808) 상의 위험 요소를 나타내는 대상체(806)의 표면에서 반사된 광선들(804A, 804B)을 수신하고 있다. 이 예에서, 제3 센서(810)는 아래에서 기술되는 온디맨드 센서이다. 도 8에 도시된 시나리오는 하나의 상시 작동 센서 대신에 2 개의 센서가 상시 작동 센서들로서 사용된다는 점을 제외하고는 도 7에 도시된 시나리오와 유사하다. 일부 예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 하나 이상의 상시 작동 센서에 의해 수신되는 초기 정보에 기초하여 도로 위험 요소 식별의 정확도를 증가시키기 위해 하나 이상의 상시 작동 센서의 생성된 정보를 평균화한다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 초기 정보(512)에 기초하여 그리고/또는 위에서 언급된 좌표 변환들에 기초하여 대상체(806)의 하나 이상의 속성(예를 들면, 도로 표면 상의 위치, 표면 색상, 위치, 반사율 등)을 결정한다.
일부 실시예들에서, 대상체의 하나 이상의 속성은 도로 표면 상의 대상체의 위치에 관한 정보를 포함한다. 예를 들어, 도 6을 다시 참조하면, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(예를 들면, 도 5b의 530)은 대상체(610)의 다각형 구역(612)을 결정할 수 있다. 차례로, 분류 시스템(522)은 다각형 구역(612)의 기하학적 중심에 기초하여 대상체(610)의 위치를 결정할 수 있다. 일부 예들에서, 대상체(610)의 위치는 다각형 구역(612)이 어느 주행 차선들에 걸쳐 있는지를 나타낸다. 예를 들어, 다각형 구역(612)이 도로 표면(608)의 모든 주행 차선들에 걸쳐 있는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)가 모든 주행 차선들에 걸쳐 있다고 결정한다.
일부 예들에서, 대상체(610)의 위치는 차량(602)으로부터 떨어진 거리(D1)이다. 일부 예들에서, 거리(D1)는 차량(602)(예를 들면, 차량(602)의 전방 범퍼 또는 전방 타이어들)과 대상체(610)의 다각형 구역(612)의 가장 가까운 모서리 또는 정점 사이의 공간에 의해 정의된다. 일부 예들에서, 대상체(610)의 위치는 차량(602)으로부터 떨어진 거리(D2)를 나타낸다. 일부 예들에서, 거리(D2)는 차량(602)과 대상체(610)의 다각형 구역(612)의 가장 먼 모서리 또는 정점 사이의 공간에 의해 정의된다. 일부 예들에서, 거리(D1) 및 거리(D2) 양쪽 모두는 아래에서 상세히 기술되는 바와 같이 차량(602)의 하나 이상의 모션 제약을 결정하기 위해 제약 생성 시스템(508)에 의해 사용된다.
일부 실시예들에서, 대상체(610)의 하나 이상의 속성은 대상체(610)의 표면 색상을 포함한다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 도로 표면(608) 상의 대상체(610)가 백색 표면 색상을 포함한다고 결정하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)가 도로 표면(608) 상의 도로 위험 요소 눈을 나타낼 확률이 높다(예를 들면, 임계치 초과)고 결정한다. 반면에, 도로 표면(608) 상의 대상체(610)가 백색 표면 색상을 포함하지 않는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)가 도로 위험 요소 눈을 나타낼 확률이 낮다(예를 들면, 임계치 미만)고 결정한다.
일부 예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 수신된 데이터에 기초하여(예를 들면, 수신된 환경 정보(516B) 및 도로 정보(516A)에 기초하여) 그러한 임계 값을 결정한다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 도로 상의 백색 부분(white patch)이 쌓인 눈(snow deposit)일 확률이 결정된 임계치보다 높다고 결정하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 도로 상의 백색 부분에 관한 추가적인 정보를 획득하라는 요청을 온디맨드 센서들(526)로 송신한다. 일부 예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 도로 정보(516A)의 하나 이상의 속성에 기초하여 임계 값들을 결정한다. 예를 들어, 하나 이상의 속성은 차량(502) 주위의 도로 표면에 관한 정보(예를 들면, 도로 조건, 날씨 등)를 포함할 수 있다.
일부 실시예들에서, 대상체(610)의 하나 이상의 속성은 대상체(610)의 반사율을 포함한다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)이 도로 표면(608) 상의 대상체(610)가 높은 반사율(예를 들면, 임계치 초과)을 갖는다고 결정하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)가 도로 표면(608) 상의 도로 위험 요소 얼음을 나타낼 확률이 높다고 결정한다. 반면에, 도로 표면(608) 상의 대상체(610)가 낮은 반사율(예를 들면, 임계치 미만)을 갖는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)가 도로 표면(608) 상의 도로 위험 요소 얼음을 나타낼 확률이 낮다고 결정한다.
일부 실시예들에서, 둘 이상의 상시 작동 센서(604)를 갖는 것은 대상체(610)에 관해 생성되는 정보를 증가시킨다. 예를 들어, 둘 이상의 상시 작동 센서(604)가 사용될 때 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)의 평균 색상 및/또는 반사율을 결정할 수 있다. 예를 들어, 도 8에 도시된 시나리오는 2 개의 상시 작동 센서(802A, 802B)가, 제각기, 광선들(804A, 804B)을 수신하는 것을 예시한다. 2 개의 상시 작동 센서(802A, 802B)에 의해 생성되는 정보는 위에서 언급된 바와 같이 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)에 의해 평균화된다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 차량(502)의 환경에 관해 수신되는 정보에 기초하여 그리고/또는 차량(502) 주위의 도로 표면에 관해 수신되는 정보에 기초하여 대상체가 도로 위험 요소일 확률을 결정한다.
예를 들어, 도 5a 및 도 5b를 다시 참조하면, 도로 위험 요소 프로세싱 시스템(506), 보다 구체적으로 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 (예를 들면, 도 3을 참조하여 위에서 기술된 통신 인터페이스(314)와 유사한 통신 인터페이스를 통해) 내부 및/또는 외부 데이터베이스들(514)로부터 정보(516A, 516B)를 수신할 수 있다. 일부 예들에서, 도로 위험 요소 프로세싱 시스템(506)은 차량(502) 내부의 데이터베이스로부터(예를 들면, 메모리로부터) 정보(516A, 516B)를 수신한다. 일부 예들에서, 도로 위험 요소 프로세싱 시스템(506)은 차량(502) 외부의 데이터베이스로부터(예를 들면, 원격 서버로부터) 정보(516A, 516B)를 수신한다.
일부 실시예들에서, 환경 정보(516B)는 차량(502)의 환경에 관한 정보를 포함할 수 있다. 일부 예들에서, 환경 정보(516B)는 차량(502) 주위의 환경의 환경 온도, 주변 광(예를 들면, 밖이 어두움 대 밖이 밝음), 날씨, 및/또는 기후에 관한 정보를 나타낸다.
예를 들어, 도로 위험 요소 프로세싱 시스템(506)이 차량(502)의 위치에서 현재 눈이 내리고 있다는 정보를 수신하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 초기 정보에서의 대상체가 도로 표면 상의 눈 영역을 나타내는 도로 위험 요소를 나타낼 확률이 높다고 결정할 수 있다.
다른 예에서, 도로 위험 요소 프로세싱 시스템(506)이 차량(502)의 현재 위치에서 최근에(예를 들면, 이전 12시간 이내에) 비가 내렸고 현재 영하(예를 들면, 32ºF 미만)라는 정보를 수신하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 초기 정보(512)에서의 대상체가 도로 표면 상의 얼음 영역을 나타내는 도로 위험 요소를 나타낼 확률이 높다고 결정한다.
또 다른 예에서, 도로 위험 요소 프로세싱 시스템(506)이 (예를 들면, 차량(502)이 차량(502)의 위치에 기초하여 사막에 있기 때문에) 차량(502)의 위치에 모래로 뒤덮여 있다는 정보를 수신하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 초기 정보(512)에서의 대상체가 도로 표면 상의 모래 영역을 나타내는 도로 위험 요소를 나타낼 확률이 높다고 결정한다.
일부 예들에서, 환경 정보(516B)는 강수량, 습도, 및 안개에 관한 정보를 포함한다. 일부 예들에서, 환경 정보(516B)는 (예를 들면, 모델, 예를 들면, 날씨 모델로부터의) 예측된 정보 및/또는 (예를 들면, 하나 이상의 온도 센서로부터의) 측정된 정보를 포함한다.
일부 실시예들에서, 도로 정보(516A)는 차량(502) 주위의 도로 표면에 관한 하나 이상의 속성을 포함한다. 예를 들어, 속성들은 도로 표면의 색상(예를 들면, 흑색, 회색 등), 도로 표면의 도로 재료(예를 들면, 아스팔트, 콘크리트, 흙, 벽돌, 돌 등), 도로 표면의 온도, 도로 표면의 재료 구조(예를 들면, 벽돌과 돌의 패턴화된 구조 등), 도로 표면의 경사(또는 경사도)(예를 들면, 7º 내리막 경사), 도로의 지지물(예를 들면, 도로 표면이 지면 상에 있는지 다리 상에 있는지) 및/또는 도로 표면 상의 횡단로들(예를 들면, 보행자 및/또는 동물 횡단로들)의 수를 포함할 수 있다. 예를 들어, 하나 이상의 속성이 도로 지지물이 다리라는 정보를 포함하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 이 도로 지지물 정보를 블랙 아이스 도로 위험 요소가 존재할 보다 높은 확률과 연관시킬 수 있고 차례로 검출된 대상체가 도로 위험 요소 얼음을 나타낼 확률이 높다고 결정할 수 있다.
다른 예로서, 하나 이상의 속성이 도로 표면의 경사가 5º보다 크다는 정보를 포함하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 이 도로 지지물 정보를 위험한 상황이 존재할 보다 높은 확률과 연관시킬 수 있고, 차례로 검출된 대상체가 도로 위험 요소 얼음을 나타낼 확률이 높다고 결정하고 온디맨드 센서들(526)을 활성화(예를 들면, 턴온)시킬 수 있다. 일부 예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 상시 작동 센서들(510)에 기초하여 얼음일 확률이 보다 낮다고 결정한 후에도 이러한 결정을 내린다.
위의 예는 도로 정보(516A)가 데이터베이스(514)로부터 수신되는 것을 예시하지만, 일부 실시예들에서, 도로 정보(516A)는 초기 정보에 기초하여 결정된다. 이 경우에, 분류 시스템(522)은 차량(502) 주위의 도로 표면에 관한 하나 이상의 속성을 결정하기 위해 (예를 들면, 위에서 기술된 이미지 분류 접근법을 사용하여) 초기 정보를 프로세싱한다. 일부 실시예들에서, 일부 도로 정보(516A)가 데이터베이스(514)로부터 수신되고 일부 도로 정보(516A)가 초기 정보에 기초하여 결정되는 양쪽 접근법들이 사용된다.
위에서 언급된 바와 같이, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 분류 시스템으로부터 수신되는 정보, 상시 작동 센서들에 의해 생성되는 정보 및/또는 환경 및/또는 도로 표면에 관해 수신되는 정보에 기초하여 대상체가 미리 결정된 도로 위험 요소들 중 하나일 확률을 결정한다.
대상체가 미리 결정된 도로 위험 요소들 중 적어도 하나를 나타낼 확률이 임계치 초과(예를 들면, 50% 초과, 75% 초과 등)라고 결정할 시에, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은, 도 5a 및 도 5b를 참조하여 위에서 기술된 바와 같이, 대상체에 관한 추가적인 정보에 대한 요청을 송신한다.
다시 도 6을 참조하면, 일부 예들에서, 온디맨드 센서들(606)은 상시 작동 센서들(604)보다 좁은 시야를 갖는다. 일부 예들에서, 온디맨드 센서들(606)은 상시 작동 센서들(604)보다 더 긴 시야를 포함한다. 일반적으로, 온디맨드 센서들(606)의 공간 분해능은 상시 작동 센서들(604)보다 크며 따라서 온디맨드 센서들(606)에 의해 생성되는 정보로부터 위험 요소(610)의 보다 높은 분해능의 세부 사항들이 결정될 수 있다. 예를 들어, 도 5b를 참조하면, 일단 요청(524)이 온디맨드 센서들(526)에 의해 수신되면, 온디맨드 센서들(526)은 도로 표면(608) 상의 대상체(610)에 관한 추가적인 정보(528)를 생성하고 추가적인 정보(528)를 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)으로 송신한다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(610)를 조명하기 위해 차량(502)의 환경에서 광을 생성하기 위해 방출기를 사용하기로 결정한다. 예를 들어, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 환경 정보(516B)를 참조하여 위에서 기술되고 도 5a 및 도 5b에 예시된 바와 같이 차량(502) 주위의 환경의 주변 조명에 관한 정보를 수신한다. 차례로, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 환경의 주변 조명이 임계치 미만일(예를 들면, 밖이 어두울) 때 에너지를 방출하기 위해 방출기를 사용하고 환경의 주변 조명이 임계치 초과일(예를 들면, 밖이 밝을) 때 방출기를 사용하지 않기로 결정한다.
도 9는 온디맨드 센서(904)와 관련하여 방출기(902)를 사용하는 예를 예시한다. 도 9는 2 개의 상시 작동 센서(906A, 906B)가 환경(900)에 있는 도로 표면(912) 상의 대상체(910)의 표면에서 반사된 광선들(908A, 908B)을 수신하는 것을 도시한다. 도 9는 온디맨드 센서(904)와 관련한 방출기(902)의 동작이 이제 예시된다는 점을 제외하고는 도 8과 유사하다.
일부 실시예들에서, 방출기(902)는 환경(900)에 에너지(914)의 소스를 제공하도록 구성된다. 일부 예들에서, 에너지(914)는 전자기 에너지의 형태이다. 예를 들어, 방출기(902)는 레이저 또는 전구(예를 들면, LED 등)로서 구성될 때 광(예를 들면, 가시 및/또는 비가시)의 소스를 제공할 수 있다. 일부 예들에서, 방출기(902)는 비가시 적외선 광의 소스를 제공한다. 다른 예들에서, 방출기(902)는 스피커로서 구성될 때 소리의 형태로 에너지(914)의 소스를 제공한다. 반사된 에너지(916)는 이어서 온디맨드 센서(906)로 진행하고 온디맨드 센서(906)에 의해 수신된다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 환경 정보(516B)의 주변 광 정보에 기초하여 에너지(914)의 소스의 강도를 결정한다. 예를 들어, 주변 광 정보가 주변 광이 임계치 미만이라는(예를 들면, 밖이 어둡다는) 정보를 포함하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 전력을 절감하기 위해 에너지(914)의 소스의 강도를 감소시킨다. 대조적으로, 주변 광 정보가 주변 광이 임계치 초과라는(예를 들면, 밖이 밝다는) 정보를 포함하는 경우, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체(910)의 가시성을 증가시키기 위해 에너지(914)의 소스의 강도를 증가시킨다.
일부 실시예들에서, 방출기(902)는 도로 표면(912) 상으로 광 패턴을 투영하도록 구성된다. 일부 예들에서, 방출기(902)는 도로 표면(912) 상으로 광 패턴을 투영하기 위해 적어도 하나의 광 소스(예를 들면, 레이저)를 사용한다. 차례로, 반사 광 패턴의 일 부분은 온디맨드 센서(906)에 의해 수신된다.
일단 온디맨드 센서(906)가 반사 에너지(916)(및/또는 반사 광 패턴)를 수신하면, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 반사 에너지(916)를 사용하여 대상체(910)에 관한 추가적인 정보(528)를 생성하고 추가적인 정보는 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)으로 송신된다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 추가적인 정보(528)에 기초하여 대상체를 특정 도로 위험 요소로서 식별한다. 일부 예들에서, 추가적인 정보(528)가 초기 정보(512)보다 높은 분해능 및 정확도를 가질 것이라는 점을 제외하고는 추가적인 정보(528)는 초기 정보(512)와 동일하거나 유사한 정보를 포함할 것이다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 추가적인 정보에 기초하여 대상체의 하나 이상의 속성을 결정한다. 일반적으로, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)을 참조하여 위에서 기술된 동일하거나 유사한 속성들이 초기 정보(512) 대신에 추가적인 정보(528)를 사용하여 또다시 결정될 수 있다. 예를 들어, 대상체의 하나 이상의 속성은 대상체를 둘러싸는 다각형 구역, 도로 표면 상의 대상체의 위치, 대상체의 반사율, 대상체의 표면 색상, 및/또는 대상체의 밝기를 포함할 수 있다.
일부 실시예들에서, 적어도 일부 도로 정보(516A)는 추가적인 정보(528)에 기초하여 결정된다. 일부 도로 정보(516A)가 초기 정보에 기초하여 결정되는 위의 예에서와 같이, 분류 시스템(522)은 (예를 들면, 위에서 기술된 이미지 분류 접근법을 사용하여) 추가적인 정보(528)를 프로세싱하여 차량(502)의 도로 표면에 관한 하나 이상의 속성을 결정한다. 일부 실시예들에서, 일부 도로 정보(516A)가 데이터베이스(514)로부터 수신되고 일부 도로 정보(516A)가 초기 정보(512) 및/또는 추가적인 정보(528)에 기초하여 결정되는 양쪽 접근법들이 사용된다.
일부 실시예들에서, 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 미리 구성된 가중치들을 갖는 선형 또는 2차 솔버를 사용하여 대상체를 특정 도로 위험 요소로서 식별한다. 일부 예들에서, 미리 구성된 가중치들은 다수의 센서들로부터의 다수의 출력들에 기초하여 조립된다. 일부 예들에서, 미리 구성된 가중치들은 측정된 정보에 기초하여 사용자에 의해 튜닝되고/되거나 머신 러닝 알고리즘을 사용하여 컴퓨터에 의해 학습된다.
위의 논의는 도로 위험 요소들의 사전 대응적 결정을 기술한다. 일부 실시예들에서, 도로 위험 요소의 사후 대응적 결정이 또한 도로 위험 요소 프로세싱 시스템(506)에 의해 수행될 수 있다. 예를 들어, 도로 위험 요소 프로세싱 시스템(506)은 차량(502)이 트랙션을 상실했는지(예를 들면, 차량의 하나 이상의 바퀴가 도로 표면에 대해 미끄러지고 있을 때)를 결정하고 차량 제어 정보에 기초하여 도로 표면 상에 존재하는 하나 이상의 도로 위험 요소를 결정하기 위해 (예를 들면, 차량(502)의 제어기 또는 차량(502)의 관성 측정 유닛으로부터) 차량 제어 정보를 수신할 수 있다.
일부 예들에서, 도로 위험 요소 프로세싱 시스템(506)은 차량(502)의 관성 측정 유닛에 의해 생성되는 관성 정보를 직접 수신한다. 이 경우에, 관성 정보는 차량(502)의 차량 동역학을 나타낸다. 도로 위험 요소 프로세싱 시스템(506)은 차량(502)의 차량 동역학과 차량(502)의 모션 플래너에 의해 생성되는 차량 동역학의 예측 간의 관성 차이를 결정한다. 이러한 방식으로, 대상체에 관한 초기 정보 및/또는 추가적인 정보가 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 확률은 관성 차이에 기초한다.
예를 들어, 도로 위험 요소 프로세싱 시스템(506)이 차량(502)이 트랙션을 상실했다고 결정하는 경우, 도로 위험 요소 프로세싱 시스템(506)은 대상체가 도로 위험 요소이고 차량(502)이 현재 도로 위험 요소 위를 주행하고 있을 확률이 높다고 결정한다.
도 5a를 다시 참조하면, 제약 생성 시스템(508)은 식별된 도로 위험 요소에 관한 식별 정보(562)에 기초하여 차량(502)의 하나 이상의 모션 제약(560)을 결정한다.
일부 실시예들에서, 제약 생성 시스템(508)은 조향각 제약을 포함하는 하나 이상의 모션 제약(560)을 결정한다. 예를 들어, 도로 위험 요소 프로세싱 시스템(506)이 대상체가 차량(502)의 현재 주행 차선에서 전방에 있는 도로 위험 요소를 나타낸다고 결정하는 경우, 제약 생성 시스템(508)은 도로 위험 요소의 주변부를 돌아서 조향하는 모션 제약(560)을 결정할 수 있다.
위에서 언급된 바와 같이, 일부 예들에서, 도로 위험 요소 프로세싱 시스템(506)은 다각형 구역에 기초하여 도로 위험 요소를 나타내는 대상체의 주변부를 결정한다. 예를 들어, 도 6을 다시 참조하면, 다각형 구역(612)은 대상체(610)의 주변부를 정의한다. 일단 다각형 구역(612)이 결정되면, 제약 생성 시스템(508)은 대상체(610)의 다각형 구역(612)에 기초하여 도로 위험 요소의 주변부를 돌아서 조향하는 모션 제약(560)을 결정할 수 있다. 일부 예들에서, 다각형 구역은 도 6에 도시된 바와 같이 거리(D1) 및 거리(D2)에 관한 정보를 포함한다. 그러한 경우에, 제약 생성 시스템(508)은 차량(602)과 대상체(610)의 다각형 구역(612)의 가장 가까운 모서리 또는 정점 사이의 공간 및/또는 차량(602)과 대상체(610)의 다각형 구역(612)의 가장 먼 모서리 또는 정점 사이의 공간에 기초하여 도로 위험 요소의 주변부를 돌아서 조향하는 모션 제약(560)을 결정할 수 있다.
도 10은 도 6과 유사한 시나리오를 도시한다. 도 10에 도시된 예에서, 차량(1002)은 도로 위험 요소를 나타내는 대상체(1006)를 포함하는 도로 표면(1004)을 따라 운전하고 있다. 일부 실시예들에서, 차량(1002)은 도 6을 참조하여 위에서 기술된 차량(602)과 동일하거나 유사하다. 일부 실시예들에서, 차량(1102)은 도 5a 및 도 5b를 참조하여 위에서 기술된 구현(500)과 동일하거나 유사한 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현을 포함한다. 그 결과, 도 5a 및 도 5b가 아래에서 참조된다.
도 10은 도로 위험 요소 프로세싱 시스템(506)이 대상체(1006)를 적어도 하나의 도로 위험 요소(1006)로서 식별하고 대상체(1006)를 둘러싸는 다각형 구역(1008)을 결정하는 시나리오를 예시한다. 일부 예들에서, 대상체(1006)는 위에서 언급된 바와 같이 미리 결정된 도로 위험 요소들 중 적어도 하나로서 식별된다. 차례로, 제약 생성 시스템(508)은 차량에 대한 하나 이상의 제약(560)을 결정한다.
일부 실시예들에서, 제약 생성 시스템(508)은 대상체(1006)의 다각형 구역(1008) 내에서의 제1 모션 제약(560) 및 대상체(1006)의 다각형 구역(1008) 밖에서의 제2 모션 제약(560)을 포함하는 모션 제약(560)을 결정한다. 일부 예들에서, 제1 모션 제약(560)은 제1 속도 제약(예를 들면, 제1 속도 제약을 초과하지 않는 속도를 유지하도록 차량(1002)에 요구함)이고 제2 모션 제약(560)은 제2 속도 제약(예를 들면, 제2 속도 제약을 초과하지 않는 속도를 유지하도록 차량(1002)에 요구함)이다. 예를 들어, 제1 모션 제약(560)은 다각형 구역(1008) 내에서의 10 MPH의 속도 제약일 수 있고 제2 모션 제약(560)은 다각형 구역(1008) 밖에서의 20 MPH의 상이한 속도 제약일 수 있다.
일부 실시예들에서, 제약 생성 시스템(508)은 대상체(1006)의 다각형 구역(1008)으로부터의 방사상 거리에 기초하는 모션 제약을 포함하는 모션 제약(560)을 결정한다. 일부 예들에서, 모션 제약(560)은 대상체(1006)의 다각형 구역(1008)으로부터의 거리에 기초한 제1 속도 제한과 제2 속도 제한 사이의 속도 구배를 나타낸다.
예를 들어, 모션 제약(560)은 다각형 구역(1006)으로부터의 방사상 거리의 함수로서 (예를 들면, 선형적으로, 지수적으로 등) 감소하는 다각형 구역(1008) 내에서의 10 MPH의 일정한 속도 제약일 수 있다. 이 예에서, 모션 제약(560)은 제1 속도 제약(예를 들면, 5 MPH)으로부터 다각형 구역(1008) 밖의 거리(R1)에서의 제2 속도 제약(예를 들면, 10 MPH)으로 그리고 다각형 구역(1008) 밖의 거리(R2)에서의 제3 속도 제약(예를 들면, 15 MPH)으로 다각형 구역(1008)의 기하학적 중심으로부터의 방사상 거리의 함수로서 선형적으로 감소하는 제약을 나타낸다.
도 10의 예시는 다각형 구역(1006)의 기하학적 중심으로부터의 방사상 거리의 함수로서 감소하는 모션 제약(560)을 나타내지만, 다른 모션 제약들이 가능하다. 예를 들어, 모션 제약(560)은 다각형 구역(1008)의 하나 이상의 모서리 또는 정점으로부터의 거리의 함수로서 (선형적으로, 지수적으로 등) 감소할 수 있다.
위의 논의는 3 개의 이산적인 속도 제약을 포함하는 모션 제약(560)을 기술하지만, 방사상 거리의 함수로서 연속적으로 변화하는 속도 제약을 포함하는 것이 가능하다. 게다가, 이 예에서는 특정 속도들(예를 들면, 5 MPH, 10 MPH, 15 MPH)가 사용되었지만, 다른 속도들(예를 들면, 0 내지 100 MPH의 임의의 속도)이 가능하다.
위의 논의가 하나 이상의 속도 제약을 포함하는 모션 제약(560)을 기술하지만, 다른 모션 제약들이 가능하다. 예를 들어, 일부 모션 제약들(560)은 (예를 들면, 차량의 가속도를 임계치(예를 들면, 1g, 2g 등) 미만으로 제한하는) 가속도 제약, (예를 들면, 차량과 도로 표면 상의 다른 차량 사이의 거리를 제한하는) 거리 제약 및/또는 (예를 들면, 차량이 도로 표면의 특정 차선에서 주행하지 못하게 제한하는) 금지된 주행 차선 제약 중 적어도 하나를 포함한다.
일부 실시예들에서, 모션 제약(560)은 도로 위험 요소의 다각형 구역과 연관된 제약을 포함한다. 일부 예들에서, 모션 제약(560)은 도로 위험 요소 위를 주행하는 동안 차량 가속도 변경, 차량 저크(vehicle jerk), 속도 변경, 및/또는 조향각 변경을 최소화하는 제약을 포함한다. 예를 들어, 차선 변경을 수행하고/하거나 미끄러운 위험 요소들 위에서 가속하는 것은 위험할 수 있다.
일부 실시예들에서, 속도 제약에서 사용되는 특정 속도들은 결정되는 특정 도로 위험 요소에 기초한다. 예를 들어, 도 10의 예시를 참조하면, 도로 위험 요소 프로세싱 시스템(506)이 대상체(1006)를 얼음을 나타내는 도로 위험 요소로서 식별하는 경우, 제약 생성 시스템(508)은 한 세트의 속도들(예를 들면, 다각형 구역(1008) 내에서의 5 MPH의 제1 속도 제약, 다각형 구역(1008) 밖에서 그러나 거리(R1) 내에서의 10 MPH의 제2 속도 제약, 및 거리(R1) 밖에서 그러나 거리(R2) 내에서의 15 MPH의 제3 속도 제약)을 가지는 모션 제약들(560)을 결정할 수 있다. 반면에, 도로 위험 요소 프로세싱 시스템(506)이 대상체(1006)를 모래를 나타내는 도로 위험 요소로서 식별하는 경우, 제약 생성 시스템(508)은 상이한 세트의 속도들(예를 들면, 다각형 구역(1008) 내에서의 10 MPH의 제1 속도 제약, 다각형 구역(1008) 밖에서 그러나 거리(R1) 내에서의 15 MPH의 제2 속도 제약, 및 거리(R1) 밖에서 그러나 거리(R2) 내에서의 20 MPH의 제3 속도 제약)을 가지는 모션 제약들(560)을 결정할 수 있다.
도 5a를 다시 참조하면, 제약 생성 시스템(508)은 차량(502)에 관한 차량 정보(518)를 수신하고 이 차량 정보(518)를 사용하여 하나 이상의 모션 제약(560)을 결정할 수 있다. 일부 예들에서, 차량 정보(518)는 차량 능력에 관한 정보를 나타낸다. 일부 예들에서, 차량 정보(518)는 도로 위험 요소 프로세싱 시스템(506)을 참조하여 위에서 기술된 동일한 내부 및/또는 외부 데이터베이스들(514)로부터 수신될 수 있다. 일부 예들에서, 제약 생성 시스템(508)은 차량(502)의 하나 이상의 컴포넌트로부터 직접(예를 들면, 차량의 제어기, 제동 시스템 등으로부터 직접) 차량 정보(518)를 수신한다.
제약 생성 시스템(508)은 특정 도로 위험 요소들이 식별될 때 어떤 모션 제약들(560)을 적용할지를 결정하기 위해 이 차량 정보(518)를 사용한다. 예를 들어, 차량(502)이 오프로드 차량인 경우(예를 들면, 차량 정보(518)가 차량(502)이 4륜 구동 능력을 갖는다는 정보를 포함하기 때문임), 제약 생성 시스템(508)은 느린 속력으로 식별된 도로 위험 요소 눈 위를 주행하는 모션 제약(560)을 생성할 수 있다. 반면에, 차량(502)이 오프로드 차량이 아닌 경우(예를 들면, 차량 정보(518)가 차량(502)이 4륜 구동 능력을 갖지 않는다는 정보를 포함하기 때문임), 제약 생성 시스템(508)은 식별된 도로 위험 요소 눈을 피하는(예를 들면, 식별된 도로 위험 요소 눈을 돌아서 조향하는) 모션 제약(560)을 생성할 수 있다.
일부 예들에서, 차량 정보(518)는 차량(502)의 구동 바퀴(drive wheel) 구성, 차량(502)의 타이어의 타이어 압력 레벨, 차량(502)의 타이어의 타이어 유형(예를 들면, 여름용 타이어, 겨울용 타이어 등), 또는 차량(502)이 오프로드 차량인지 여부 중 적어도 하나를 나타낸다. 일부 경우에, 차량 정보(518)는 차량(502)이 2륜 구동(two-wheel-drive) 차량인지 또는 4륜 구동(four-wheel-drive) 차량인지를 나타낸다. 일부 경우에, 차량 정보(518)는 차량(502)이 전륜 구동(front-wheel-drive) 차량인지, 후륜 구동(rear-wheel-drive) 차량인지, 또는 4륜 구동 차량인지(때때로 전륜 구동(all-wheel-drive) 차량이라고도 지칭됨)를 나타낸다.
일부 실시예들에서, 제약 생성 시스템(508)은 차량 정보(518)에 기초하여 차량(502)의 하나 이상의 모션 제약(560) 및/또는 구동 설정을 결정한다. 예를 들어, 제약 생성 시스템(508)이 차량(502)의 위치에서 눈이 내리고 있다는 정보를 수신하고 차량(502)이 4륜 구동 차량 능력을 가지는 경우, 제약 생성 시스템(508)은 눈 위에서의 트랙션을 개선시키기 위해 차량(502)을 4륜 구동 모드로 전환하도록 차량(502)의 차량 제어기에 지시할 수 있다. 다른 예에서, 제약 생성 시스템(508)이 차량(502)의 하나 이상의 타이어에서 타이어 압력이 낮다(예를 들면, 20 psi 미만이다)는 정보를 수신하는 경우, 제약 생성 시스템(508)은 보다 조심스럽게 진행하도록(예를 들면, 속력을 낮추도록, 사륜 구동을 사용하도록) 차량(502)의 차량 제어기에 지시할 수 있다. 다른 예에서, 제약 생성 시스템(508)이 (예를 들면, 타이어들의 제조사들/모델들의 테이블 조회를 수행하는 것에 의해) 차량(502)의 하나 이상의 타이어의 타이어 유형이 여름용 타이어를 나타낸다는 정보를 수신하는 경우, 제약 생성 시스템(508)은 보다 조심스럽게 진행하도록(예를 들면, 속력을 낮추도록, 4륜 구동을 사용하도록, 조향각 변경을 최소화하도록 등) 차량(502)의 차량 제어기에 지시할 수 있다.
일부 실시예들에서, 제약 생성 시스템(508)은 도로 표면의 하나 이상의 속성에 기초하여 하나 이상의 모션 제약(560)을 결정한다. 위에서 언급된 바와 같이, 도로 위험 요소 프로세싱 시스템(506)은 도로 정보(516A)를 수신할 수 있고 이 정보(516A)는 제약 생성 시스템(508)으로 송신될 수 있다. 위에 기술된 도로 정보(516A) 외에도, 도로 정보(516A)는 하나 이상의 횡단로(예를 들면, 보행자 및/또는 동물 횡단로)에 관한 정보를 또한 포함할 수 있다. 예를 들어, 횡단로가 전방에 있는 경우, 제약 생성 시스템(508)은 횡단로를 통한 제어력 상실 시나리오를 피하기 위해 차량(502)으로 하여금 속력을 낮추게 하는(그리고 일부 예들에서는, 정지하게 하는) 모션 제약(560)을 결정한다. 예를 들어, 제약 생성 시스템(508)은 조심스럽게 진행하도록(예를 들면, 속력을 낮추도록, 조향각 변경을 최소화하도록 등) 차량(502)에 요구하는 모션 제약(560)을 결정한다.
일부 실시예들에서, 제약 생성 시스템(508)은 도로 표면의 경사에 기초하여(도로 표면의 하나 이상의 속성에 기초하여) 하나 이상의 모션 제약(560)을 결정한다. 예를 들어, 경사가 임계치보다 큰(예를 들면, 가파른)(예를 들면, 5º 내리막 경사도보다 큰) 경우, 제약 생성 시스템(508)은 트랙션 상실 상황을 감소시키기 위해 차량(502)으로 하여금 정지하게 하거나 적어도 속력을 낮추게 하는 모션 제약(560)을 결정한다.
다른 예에서, 제약 생성 시스템(508)은 도로 표면의 재료에 기초하여(도로 표면의 하나 이상의 속성에 기초하여) 하나 이상의 모션 제약(560)을 결정한다. 예를 들어, 재료가 아스팔트인 경우, 제약 생성 시스템(508)은 차량(502)이 아스팔트에서 제어력을 상실할 가능성을 감소시키기 위해 차량(502)으로 하여금 조향 변경을 피하게 하는 모션 제약(560)을 결정한다.
일부 실시예들에서, 제약 생성 시스템(508)은 각각의 모션 제약(560)에 우선순위를 할당한다. 예를 들어, 높은 우선순위는 (거의) 어떤 희생을 치르더라도 부과될 필요가 있는 모션 제약들(560)을 나타낼 수 있는 반면 낮은 우선순위는 부과될 필요가 없는 모션 제약(560)을 나타낼 수 있다. 일부 예들에서, 제약 생성 시스템(508)은 승객들 및/또는 보행자들에 대한 피해의 위험 레벨에 기초하여 할당될 우선순위를 결정한다.
도 5a를 다시 참조하면, 일단 제약 생성 시스템(508)이 특정 도로 위험 요소에 대한 모든 모션 제약들(560)을 결정하면, 제약 생성 시스템(508)은 모든 모션 제약들(560)을 차량(502)의 모션 플래너(550)에 출력한다. 차례로, 모션 플래너(550)는 모든 모션 제약들(560)에 기초하여 도로 표면 상에서의 차량(502)의 움직임(582)을 결정한다.
일부 실시예들에서, 모션 플래너(550)는 모션 제약들(560)에 우선순위를 부여한다. 예를 들어, 모션 플래너(550)는 적어도 하나의 모션 제약(560)의 각각의 모션 제약(560)에 우선순위를 부여할 수 있다. 일부 예들에서, 모션 플래너(550)는 하나 이상의 인자(예를 들면, 차량 루트, 도로 규칙들, 환경(1000)에 있는 다른 차량들, 승객 편의 등)에 기초하여 모션 제약들(560)에 우선순위를 부여한다. 예를 들어, 모션 플래너(550)는 횡단로(예를 들면, 보행자 및/또는 동물 횡단로)가 전방에 있다는 정보 및/또는 동물 횡단로들이 차량(502)의 환경에서 흔하다는 정보를 수신할 수 있다.
일단 모션 플래너(550)가 모션 제약들(560)에 우선순위를 부여하면, 모션 플래너(550)는 가능한 한 많은 모션 제약들(560)을 충족시키는 차량(502)의 움직임(582)을 결정하기 위해 모션 제약들(560)을 적용한다. 일부 예들에서, 상충하는 모션 제약들(560) 및/또는 하나 이상의 인자들로 인해 모든 모션 제약들(560)이 적용되지는 않을 것이다. 이러한 방식으로, 모션 제약들(560)에 우선순위를 부여하는 것이 중요할 수 있다.
일부 실시예들에서, 모션 플래너(550)는 조향각 제약 및/또는 속도 제약을 포함하도록 움직임(582)을 결정한다. 예를 들어, 도 10에 예시된 바와 같이, 모션 플래너(550)는 도로 위험 요소로서 식별된 대상체(1008)를 통해 직진하는 경로(1010)를 나타내는 움직임(582)을 결정한다. 예를 들어, 모션 플래너(550)는 경로(1010)를 가능한 한 많은 모션 제약들(560)을 충족시키는 최상의 움직임(582)으로서 결정할 수 있다. 일부 예들에서, 이웃 차선이 차단되어 있을 때 또는 (예를 들면, 차량(1002) 후방의 교통 및/또는 차량(1002)이 폭력적인 지역에(예를 들면, 감옥으로부터 일정 반경 내에) 위치하는 등으로 인해) 차량(1002)을 정지시키는 것이 위험할 때 도로 위험 요소를 통해 주행하는 것이 실현 가능하다. 이 예에서, 모션 플래너(550)는 차량(502)을 현재 주행하고 있는 동일한 차선으로 제한하는 조향각 제약을 포함하도록 움직임(582)을 결정한다.
도 10의 예에서, 모션 제약들(560)은 도로 위험 요소를 나타내는 대상체(1006)의 다각형 구역(1008)의 기하학적 중심으로부터의 방사상 거리에 따라 선형적으로 변화하는 속도 제약을 포함한다. 위에서 기술된 바와 같이, 모션 제약(560)은 다각형 구역(1008) 내에서의 제1 속도 제약(예를 들면, 5 MPH)으로부터 다각형 구역(1008) 밖의 거리(R1)에서의 제2 속도 제약(예를 들면, 10 MPH)으로 그리고 다각형 구역(1008) 밖의 거리(R2)에서의 제3 속도 제약(예를 들면, 15 MPH)로 감소하는 제약을 나타낸다. 이러한 방식으로, (아래에서 더욱 상세히 기술되는 바와 같이) 차량(1002)이 경로(1010)를 따라 운전하도록 제어될 때, 차량(1002)은 제3 영역 내에서 (R2)의 방사상 거리에서 15 MPH 이하로 속력을 낮출 것이고, 이어서 제2 영역 내에서 (R1)의 방사상 거리에서 10 MPH 이하로 속력을 낮출 것이며, 이어서 다각형 구역(1008) 내에서 5 MPH 이하로 속력을 낮출 것이다. 이러한 방식으로, 차량(1002)은 도로 위험 요소(1006)를 통해 안전하게 주행하기 위해 서서히 속력을 낮춘다.
도 11은 조향각 변동을 포함하는 움직임(582)의 예를 예시한다. 도 11은 차량(1102)이 환경(1100) 내에서 도로 표면(1104) 위를 주행하는 것을 도시한다. 일부 실시예들에서, 차량(1102)은 위에서 기술된 차량들 중 임의의 것(예를 들면, 차량(502))과 동일하거나 유사하다. 일부 실시예들에서, 차량(1102)은 도 5a 및 도 5b를 참조하여 위에서 기술된 구현(500)과 동일하거나 유사한 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현을 포함한다. 그 결과, 도 5a 및 도 5b가 아래에서 참조된다.
도 11에 도시된 시나리오는 도 10에 도시된 시나리오와 유사하다. 그렇지만, 도 11에서, 차량(1102)의 모션 플래너(550)는 도로 위험 요소를 나타내는 대상체(1106)를 돌아가는 경로(1110)를 포함하는 움직임(582)을 결정한다. 이 예에서, 제약 생성 시스템(508)은 차량(1102)이 도로 위험 요소를 통과하지 않아야 하는 모션 제약(560)을 결정한다. 게다가, 제약 생성 시스템(508)은 영역(R1) 내에서의 속도 제약을 결정한다. 차례로, 모션 플래너(550)는 도로 위험 요소를 통과하지 않고 바람직하게는 영역(R1)을 피하는 움직임(582)을 결정한다. 이 시나리오에서, 도로 위험 요소를 피하는 것과 연관된 모션 제약(560)은 제약 생성 시스템(508)에 의해 높은 우선순위를 할당받고, 그 결과, 모션 플래너(550)는 도로 위험 요소를 돌아가는 경로(1110)를 포함하도록 움직임(582)을 결정한다.
도 5a를 다시 참조하면, 일단 모션 플래너(550)가 움직임(582)을 결정하면, 모션 플래너(550)는 움직임(582)(예를 들면, 움직임(582)에 관한 정보)을 제어 시스템(552)으로 송신한다. 차례로, 제어 시스템(552)은 적어도 하나의 모션 제약(560)에 기초하는 움직임(582)에 기초하여 차량(502)을 제어하는 것과 연관된 제어 정보(564)를 생성한다. 일부 예들에서, 제어 정보(564)는 차량(502)의 구동 트레인 및/또는 차량(502)의 조향 어셈블리에 대한 제어 정보를 나타낸다. 일부 예들에서, 제어 시스템(552)은 하나 이상의 PID 제어기를 사용하여 제어 정보(564)를 생성한다.
일단 제어 시스템(552)이 제어 정보(564)를 결정하면, 제어 시스템(552)은 제어 정보(564)를 각자의 제어되는 하드웨어로 송신하여 차량(502)으로 하여금 움직임(582)에 기초하여 작동하게 한다. 예를 들어, 제어 시스템(552)은 제어 정보(564)를 차량(502)의 구동 트레인 및/또는 조향 어셈블리의 제어 시스템(552)으로 송신한다. 일반적으로, 구동 트레인은 차량(502)의 가속 및 감속을 제어하는 스로틀 응답 제어기를 포함하고 제어 정보(564)는 차량(502)으로 하여금 구동 트레인을 통해 가속 및 감속하게 하도록 작동 가능하다. 게다가, 일반적으로, 조향 어셈블리는 차량(502)의 조향각을 제어하는 조향 제어기를 포함하고, 제어 정보(564)는 차량(502)으로 하여금 조향 어셈블리를 통해 조향각을 변화시키게 하도록 작동 가능하다.
도 10을 다시 참조하면, 조향 제어기 및 스로틀 응답 제어기는 차량(1002)으로 하여금 도로 위험 요소로서 식별된 대상체(1008)를 통해 운전하게 한다. 도 11에 예시된 예에서, 조향 제어기 및 스로틀 응답 제어기는 차량(1102)으로 하여금 도로 위험 요소(1106)를 돌아서 운전하게 한다. 일부 예들에서, 모션 제약들(560)은 조향각 제약 및 속도 제약 양쪽 모두를 포함한다.
도 12a 내지 도 12c는 도로 위험 요소들의 시간적 변동을 예시한다. 예를 들어, 도 12a는 도로 표면(1204) 상의 도로 위험 요소를 나타내는 대상체(1202)를 도시한다. 대상체(1202)는 (예를 들면, 태양에 의해 생성되는) 주변 광(1206)에 의해 조명된다. 차례로, 차량의 센서들(도 12a 내지 도 12c에 도시되지 않음)은 반사된 주변 광을 수신하고 대상체(1202)를 나타내는 정보를 생성한다.
차량이 도로 표면(1204) 위를 주행함에 따라(도 12a 내지 도 12c에 도시되지 않음), 반사 광의 양이 변할 수 있다. 예를 들어, 그러한 현상은 대상체(1202)가 얼음과 같은 매우 반사적인 도로 위험 요소를 나타낼 때 흔하다. 이러한 경우에, 센서들에 의해 생성되는 정보의 단일 인스턴스에 기초하여 도로 위험 요소를 식별하기가 어려울 수 있다. 이 문제를 해결하는 한 가지 접근법은 차량이 환경을 통해 이동하고 있을 때 도로 위험 요소의 하나 이상의 속성을 연속적으로 결정하고 결과들을 결합시키는(예를 들면, 평균화하는) 것이다. 이는 대상체(1202)의 상이한 투시도들을 결과하여 도로 위험 요소 식별을 개선시킨다.
예를 들어, 도로 위험 요소 제약 시스템(580)은 도로 표면(1204)을 따른 하나 이상의 위치에서 대상체(1202)의 하나 이상의 속성을 결정할 수 있다. 예를 들어, 도 12a 내지 도 12c에 도시된 예에서, 차량(도시되지 않음)은 도면의 좌측에서 우측으로 주행한다. 도 12a 내지 도 12c에 도시된 대상체들(1202)은 차량에 대한 도로 표면(1204) 상의 도로 위험 요소의 상대 위치를 시간의 함수로서 나타낸다. 이러한 방식으로, 도 12a는 도로 위험 요소가 차량에서 가장 먼 시나리오(1200)를 나타내고, 도 12c는 도로 위험 요소가 차량에 가장 가까운 시나리오(1240)를 나타내며, 도 12b는 도로 위험 요소가 도 12a 및 도 12c에 도시된 위치들 사이의 거의 중간에 있는 시나리오(1220)를 나타낸다. 이러한 방식으로, 차량이 대상체를 향해 주행하고 있을 때 대상체의 하나 이상의 속성이 연속적으로 결정된다. 일부 예들에서, 위에서 언급된 바와 같이, 속성들은 반사율을 포함한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 도로 표면(1204)을 따라 하나 이상의 위치에서의 대상체(1202)의 하나 이상의 속성에 기초하여 대상체(1202)를 특정 도로 위험 요소로서 식별한다. 예를 들어, 도로 위험 요소 제약 시스템(580)은 결과들을 평균화하고/하거나 다른 정보를 폐기하면서 도로 위험 요소를 적절하게 식별해 주는 정보를 사용할 수 있다.
도 13은 차량(1302)이 환경(1300) 내에서 도로 표면(1304) 위를 주행하는 것을 예시한다. 일부 실시예들에서, 차량(1302)은 위에서 기술된 차량들 중 임의의 것(예를 들면, 차량(502))과 동일하거나 유사하다. 일부 실시예들에서, 차량(1302)은 도 5a 및 도 5b를 참조하여 위에서 기술된 구현(500)과 동일하거나 유사한 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스의 구현을 포함한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 도로 표면(1304)의 디지털 표현을 하나 이상의 영역으로 분할한다. 예를 들어, 도로 위험 요소 제약 시스템(580)은 도로 표면(1304)을 (예를 들면, 차량의 전진 주행 방향에 수직인) 도로 표면(1304)의 폭 방향을 따라 하나 이상의 영역으로 분할하고 도로 표면(1304)의 길이 방향을 따라(예를 들면, 차량의 전진 주행 방향을 따라) 하나 이상의 영역으로 분할한다. 도시된 예에서, 도로 위험 요소 제약 시스템(580)은 도로 표면(1304)을 폭 방향을 따라 2 개의 영역으로 분할하고 길이 방향을 따라 5 개의 영역으로 분할한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 도로 표면(1304)의 디지털 표현을 동일한 크기의 영역들(1306)로 분할한다. 예를 들어, 도 13은 동일한 크기의 영역들(1306)을 도시한다. 이 예에서, 각각의 영역(1306)은 동일한 폭 및 길이 치수를 갖는다. 그렇지만, 다른 실시예들에서, 도로 위험 요소 제약 시스템(580)은 도로 표면(1304)의 디지털 표현을 랜덤한 크기의 영역들로 분할한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 (예를 들면, 도로 위험 요소 프로세싱 시스템(506)을 참조하여 위에서 기술된 프로세스들에 기초하여) 하나 이상의 영역의 각각의 영역(1306) 내에서 하나 이상의 도로 위험 요소가 식별되었는지 여부를 결정한다. 일부 예들에서, 도로 위험 요소 제약 시스템(580)은 도로 위험 요소가 각각의 영역(1306)에 대한 경계들 내에 존재하는지를 결정하기 위해 각각의 식별된 도로 위험 요소에 대해 루프를 돈다. 도로 위험 요소 제약 시스템(580)이 도로 위험 요소가 특정 영역 내에 존재한다고 결정하는 경우, 도로 위험 요소 제약 시스템(580)은 특정 도로 위험 요소를 해당 특정 영역에 할당한다.
예를 들어, 도 13에 도시된 바와 같이, 도로 위험 요소 제약 시스템(580)은 도 5a 및 도 5b를 참조하여 위에서 기술된 프로세스를 통해 대상체(1310)를 특정 도로 위험 요소로서 식별한다. 이 예에서, (예를 들면, 대상체(1310)의 표면의 반사율 및 환경 정보(516B) 등에 기초하여) 대상체(1310)는 얼음을 나타내는 도로 위험 요소로서 식별되었다. 도로 위험 요소 제약 시스템(580)은 얼음을 나타내는 도로 위험 요소가 2 개의 영역(1306)(영역들(1308A 및 1308B))에 걸쳐 있다고 결정한다. 도로 위험 요소 제약 시스템(580)은 또한 모든 다른 영역들(1306)이 도로 위험 요소를 포함하지 않는다고 결정한다(예를 들면, 상시 작동 센서들(510) 및/또는 온디맨드 센서들(526)이 해당 특정 영역들(1306)에서 어떤 대상체들도 검출하지 않았기 때문임).
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 각각의 영역과 연관된 도로 위험 요소 정보(1312)를 메모리(1314)에 저장한다. 일부 예들에서, 메모리(1314)는 온보드 메모리이다. 다른 예들에서, 메모리(1314)는 원격 메모리(예를 들면, 클라우드 기반 메모리)이다. 일부 실시예들에서, 메모리(1314)는 차량(1302) 외부의 원격 서버에 의해 호스팅되고 다른 차량들로부터 액세스 가능하다.
이 예에서, 도로 위험 요소 제약 시스템(580)은 도로 위험 요소 정보(1312)를 메모리(1314)로 송신한다. 일반적으로, 도로 위험 요소 정보(1312)는 영역들(1306) 중 하나 이상에 관한 정보 및 도로 위험 요소가 영역들(1306) 각각 내에서 식별되었는지 여부를 포함한다. 일부 예들에서, 특정 도로 위험 요소가 이 정보에 또한 포함된다. 도 13에 도시된 예에서, 도로 위험 요소 정보(1312)는 10 개의 영역(1306)에 관한 정보를 포함한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 메모리(1314) 내의 각각의 영역과 연관된 도로 위험 요소 정보(1312)를 과거의 도로 위험 요소 정보와 병합시킨다. 예를 들어, 도로 위험 요소 제약 시스템(580)은 전체 도시 또는 타운에 대한 도로 위험 요소들의 맵을 구축하기 위해 도로 위험 요소 정보(1312)를 과거의 정보와 병합시킬 수 있다. 일부 예들에서, 원격 서버는 새로운 도로 위험 요소 정보(1312)가 환경(1300) 내에서 운전하는 하나 이상의 차량으로부터 수신될 때 맵의 영역들(1306)을 업데이트한다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 메모리(1314)로부터 차량(1302)의 환경(1300)의 도로 위험 요소 정보(1312)를 검색한다. 예를 들어, 도로 위험 요소 제약 시스템(580)은 경로 계획 목적으로(예를 들면, 특정 도로들을 피하기 위해) 도로 위험 요소 정보(1312)를 검색(예를 들면, 다운로드)할 수 있다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(580)은 과거의 도로 위험 요소 정보에 기초하여 하나 이상의 모션 제약(560)을 결정한다. 예를 들어, 도로 위험 요소 제약 시스템(580)은 과거에 도로 위험 요소들이 존재했는 도로에 기초하여 환경(1300)에 있는 특정 도로들을 피하는 제약을 나타내는 모션 제약(560)을 결정할 수 있다. 차례로, 차량(1302)의 모션 플래너는 이러한 모션 제약들(560)에 기초하여 차량(1302)의 움직임(582)을 결정할 수 있다.
이제 도 14를 참조하면, 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성을 위한 프로세스(1400)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(1400)와 관련하여 기술되는 단계들 중 하나 이상이 도로 위험 요소 제약 시스템(1450)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 일부 실시예들에서, 도로 위험 요소 제약 시스템(1450)은 도 5a 및 도 5b를 참조하여 기술된 도로 위험 요소 제약 시스템(580)과 동일하거나 유사하다.
일부 실시예들에서, 도로 위험 요소 제약 시스템(1450)은 적어도 하나의 상시 작동 센서, 적어도 하나의 온디맨드 센서, 적어도 하나의 프로세서, 및 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체를 포함하며, 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 프로세스(1400)의 하나 이상의 단계를 수행하게 한다.
일부 예들에서, 도로 위험 요소 제약 시스템(1450)은 차량 내에서 구현되고 다른 예들에서 도로 위험 요소 제약 시스템(1450)은 차량 외부에서(예를 들면, 원격 서버에 의해) 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(1400)와 관련하여 기술된 하나 이상의 단계가 도로 위험 요소 제약 시스템들을 갖는 다수의 차량들에 걸쳐 분산 방식으로 (예를 들면, 전체적으로, 부분적으로 등) 수행된다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 차량의 환경에 있는 도로 표면 상의 대상체에 관한 초기 정보를 수신하며, 초기 정보는 차량의 적어도 하나의 상시 작동 센서에 의해 생성된다(블록(1402)). 예를 들어, 도 6을 참조하여 위에서 기술된 바와 같이, 차량(602)의 상시 작동 센서들(604)은 환경(600)에 있는 대상체(610)에 관한 초기 정보를 생성한다. 차례로, 도로 위험 요소 제약 시스템(580)의 도로 위험 요소 프로세싱 시스템(506)은 상시 작동 센서들(604)로부터 초기 정보를 수신한다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 대상체에 관한 초기 정보가 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 확률을 결정한다(블록(1404)). 예를 들어, 도 5a에 도시된 바와 같이, 도로 위험 요소 제약 시스템(580)의 레벨 1 검출 시스템(520) 및 도로 위험 요소 제약 시스템(580)의 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 양쪽 모두 대상체에 관한 초기 정보가 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 확률을 결정한다.
도 14를 계속 참조하면, 확률이 임계치 초과라고 결정하는 것에 응답하여, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 대상체에 관한 추가적인 정보를 수신하며, 추가적인 정보는 차량의 적어도 하나의 온디맨드 센서에 의해 생성된다(블록(1406)). 예를 들어, 도 6을 참조하여 위에서 기술된 바와 같이, 차량(602)의 온디맨드 센서들(606)은 환경(600)에 있는 대상체(610)에 관한 추가적인 정보를 생성한다. 차례로, 도로 위험 요소 제약 시스템(580)의 도로 위험 요소 프로세싱 시스템(506)은 온디맨드 센서들(606)로부터 추가적인 정보를 수신한다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 초기 정보 및 추가적인 정보에 기초하여 대상체를 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별한다(블록(1408)). 예를 들어, 도 5b를 참조하여 위에서 기술된 바와 같이, 도로 위험 요소 제약 시스템(580)의 센서 활성화 시스템 및 도로 위험 요소 식별 시스템(530)은 대상체를 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별한다.
도 14를 계속 참조하면, 대상체를 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 것에 응답하여, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 식별된 미리 결정된 도로 위험 요소에 기초하여 차량에 대한 적어도 하나의 모션 제약을 결정하며, 적어도 하나의 모션 제약은 조향각 제약 또는 속도 제약을 포함한다(블록(1410)). 예를 들어, 도 5a를 참조하여 기술된 바와 같이, 도로 위험 요소 제약 시스템(580)의 제약 생성 시스템(508)은 차량(502)에 대한 적어도 모션 제약(560)을 결정한다. 도 10 및 도 11을 참조하여 기술된 예들에서, 적어도 하나의 모션 제약(560)은 조향각 제약 및/또는 속도 제약을 포함한다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 적어도 하나의 모션 제약에 기초하여 도로 표면 상의 차량의 움직임을 결정하기 위해 적어도 하나의 모션 제약을 차량의 모션 플래너로 송신한다(블록(1412)). 예를 들어, 도 5a를 참조하여 기술된 바와 같이, 도로 위험 요소 제약 시스템(580)의 제약 생성 시스템(508)은 적어도 하나의 모션 제약(560)을 도로 위험 요소 제약 시스템(580)의 모션 플래너(550)로 송신한다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 적어도 하나의 모션 제약에 기초하여 차량의 움직임을 제어하는 것과 연관된 제어 정보를 생성한다(블록(1414)). 예를 들어, 도 5a를 참조하여 기술된 바와 같이, 도로 위험 요소 제약 시스템(580)의 제어 시스템(552)은 적어도 하나의 모션 제약(560)에 기초하여 차량(502)의 움직임(582)을 제어하는 것과 연관된 제어 정보를 생성한다.
도 14를 계속 참조하면, 도로 위험 요소 제약 시스템(1450)은, 적어도 하나의 프로세서를 사용하여, 차량으로 하여금 움직임에 기초하여 작동하게 하는 제어 정보를 송신한다(블록(1416)). 예를 들어, 도 5a를 참조하여 기술된 바와 같이, 도로 위험 요소 제약 시스템(580)의 제어 시스템(552)은 차량(502)으로 하여금 움직임(582)에 기초하여 작동하게 하는 제어 정보를 송신한다.
위의 예들이 단일 도로 위험 요소가 있는 시나리오들을 기술하지만, 본원에 기술된 시스템들 및 방법들을 사용하여 다수의 도로 위험 요소들을 식별하는 것이 가능하다. 일부 예들에서, 도로 위험 요소 프로세싱 시스템(506)은 둘 이상의 도로 위험 요소를 식별하고 이러한 도로 위험 요소들 모두에 대한 정보를 제약 생성 시스템(508)으로 송신한다. 차례로, 제약 생성 시스템(508)은 식별된 도로 위험 요소들 각각에 기초하여 하나 이상의 모션 제약(560)을 결정한다. 차례로, 모션 플래너는 승객들 및/또는 보행자들에 대한 위험 레벨을 최소화하기 위해 위에서 기술된 바와 같이 이러한 모션 제약들(560) 모두에 우선순위를 부여할 수 있다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (25)

  1. 차량으로서,
    적어도 하나의 상시 작동 센서(always-on sensor) 및 적어도 하나의 온디맨드 센서(on-demand sensor);
    적어도 하나의 프로세서; 및
    명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 차량의 환경에 있는 도로 표면 상의 대상체(object)에 관한 초기 정보를 수신하게 하고 - 상기 초기 정보는 상기 차량의 상기 적어도 하나의 상시 작동 센서에 의해 생성됨 -;
    상기 대상체에 관한 상기 초기 정보가 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 확률을 결정하게 하며;
    상기 확률이 임계치 초과라고 결정하는 것에 응답하여, 상기 대상체에 관한 추가적인 정보를 수신하게 하며 - 상기 추가적인 정보는 상기 차량의 상기 적어도 하나의 온디맨드 센서에 의해 생성됨 -;
    상기 초기 정보 및 상기 추가적인 정보에 기초하여 상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하게 하고;
    상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 것에 응답하여, 상기 식별된 미리 결정된 도로 위험 요소에 기초하여 상기 차량에 대한 적어도 하나의 모션 제약을 결정하게 하며 - 상기 적어도 하나의 모션 제약은 조향각 제약 또는 속도 제약을 포함함 -;
    상기 적어도 하나의 모션 제약에 기초하여 상기 도로 표면 상의 상기 차량의 움직임을 결정하기 위해 상기 적어도 하나의 모션 제약을 상기 차량의 모션 플래너로 송신하게 하고;
    상기 적어도 하나의 모션 제약에 기초하여 상기 차량의 상기 움직임을 제어하는 것과 연관된 제어 정보를 생성하게 하며;
    상기 차량으로 하여금 상기 움직임에 기초하여 작동하게 하기 위해 상기 제어 정보를 송신하게 하는 것인, 차량.
  2. 제1항에 있어서, 상기 적어도 하나의 미리 결정된 도로 위험 요소는 얼음, 물, 기름, 모래, 눈, 또는 이들의 조합을 포함하고, 상기 적어도 하나의 미리 결정된 도로 위험 요소 각각은 트랙션 상실과 연관되는 것인, 차량.
  3. 제1항에 있어서, 상기 적어도 하나의 상시 작동 센서는 이미징 센서, 음향 센서, 온도 센서, 또는 이미징 센서들, 음향 센서들, 또는 온도 센서들의 어레이 중 적어도 하나이고,
    상기 적어도 하나의 상시 작동 센서는 상기 차량의 상기 환경에 관한 데이터를 연속적으로 생성하도록 구성되는 것인, 차량.
  4. 제1항에 있어서, 상기 적어도 하나의 온디맨드 센서는 이미징 센서, 음향 센서, 온도 센서, 또는 이미징 센서들, 음향 센서들, 또는 온도 센서들의 어레이 중 적어도 하나이고,
    상기 적어도 하나의 온디맨드 센서는 요청이 수신될 때 상기 차량의 상기 환경에 관한 데이터를 생성하도록 구성되는 것인, 차량.
  5. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 적어도 하나의 상시 작동 센서에 의해 생성되는 상기 초기 정보 또는 상기 적어도 하나의 온디맨드 센서에 의해 생성되는 상기 추가적인 정보에 기초하여 상기 대상체의 하나 이상의 속성(property)을 결정하게 하며 - 상기 대상체의 상기 하나 이상의 속성은 상기 도로 표면 상의 상기 대상체의 위치 및 상기 대상체의 반사율을 포함함 -,
    상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 것은 또한, 상기 대상체의 상기 하나 이상의 속성에 기초하는 것인, 차량.
  6. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 적어도 하나의 상시 작동 센서에 의해 생성되는 상기 초기 정보 또는 상기 적어도 하나의 온디맨드 센서에 의해 생성되는 상기 추가적인 정보에 기초하여 상기 대상체의 하나 이상의 속성을 결정하게 하며 - 상기 대상체의 상기 하나 이상의 속성은 상기 대상체를 둘러싸는 다각형 구역(polygon area)을 포함함 -,
    상기 적어도 하나의 모션 제약을 결정하는 것은 또한, 상기 대상체의 상기 하나 이상의 속성에 기초하는 것인, 차량.
  7. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 확률이 임계치 초과라고 결정하는 것에 응답하여, 상기 대상체에 관한 상기 추가적인 정보를 생성하라는 요청을 상기 적어도 하나의 온디맨드 센서로 송신하게 하며,
    상기 적어도 하나의 온디맨드 센서는 상기 요청이 상기 적어도 하나의 온디맨드 센서에 의해 수신되지 않는 한 상기 대상체에 관한 상기 추가적인 정보를 생성하지 않는 것인, 차량.
  8. 제1항에 있어서, 상기 대상체에 관한 상기 초기 정보가 상기 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 상기 확률은 상기 환경 내에서의 상기 차량의 위치 및 상기 환경의 주변 온도에 기초하는 것인, 차량.
  9. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 차량의 관성 측정 유닛에 의해 생성되는 관성 정보를 수신하게 하고 - 상기 관성 정보는 상기 차량의 차량 동역학(dynamics)을 나타냄 -;
    상기 차량의 상기 차량 동역학과 상기 차량의 모션 플래너에 의해 생성되는 차량 동역학의 예측 간의 관성 차이를 결정하게 하며,
    상기 대상체에 관한 상기 초기 정보가 상기 적어도 하나의 미리 결정된 도로 위험 요소를 나타낼 상기 확률은 상기 관성 차이에 기초하는 것인, 차량.
  10. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 도로 표면의 도로 표면 속성을 수신하게 하며 - 상기 도로 표면 속성은 상기 도로 표면의 경사 또는 상기 도로 표면의 재료 중 적어도 하나를 포함함 -,
    상기 모션 제약을 결정하는 것은 또한, 상기 도로 표면 속성에 기초하는 것인, 차량.
  11. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 차량의 능력(capability)에 관한 차량 정보를 수신하게 하며 - 상기 차량 정보는 상기 차량의 구동 바퀴 구성을 포함하고, 상기 구동 바퀴 구성은 상기 차량이 2륜 구동 차량인지 또는 4륜 구동 차량인지를 나타냄 -;
    상기 모션 제약을 결정하는 것은 또한, 상기 차량 정보에 기초하는 것인, 차량.
  12. 제11항에 있어서, 상기 구동 바퀴 구성은 또한, 상기 차량이 전륜 구동(front-wheel-drive) 차량인지, 후륜 구동(rear-wheel-drive) 차량인지, 또는 전륜 구동(all-wheel-drive) 차량인지를 나타내는 것인, 차량.
  13. 제1항에 있어서,
    상기 차량의 구동 트레인; 및
    상기 차량의 조향 어셈블리
    를 더 포함하며;
    상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 차량의 상기 구동 트레인 및 상기 차량의 상기 조향 어셈블리를 사용하여, 상기 적어도 하나의 모션 제약에 기초하여 상기 차량을 제어하게 하는 것인, 차량.
  14. 제1항에 있어서, 상기 모션 제약은 상기 조향각 제약 및 상기 속도 제약 양쪽 모두를 포함하는 것인, 차량.
  15. 제1항에 있어서, 상기 적어도 하나의 모션 제약은 가속도 제약, 상기 차량과 상기 도로 표면 상의 다른 차량 사이의 거리, 또는 상기 도로 표면 상의 금지된 주행 차선 중 적어도 하나를 포함하는 것인, 차량.
  16. 제1항에 있어서, 상기 적어도 하나의 모션 제약은:
    상기 도로 위험 요소의 다각형 구역 내부에서의 제1 속도 제한,
    상기 도로 위험 요소의 상기 다각형 구역 외부에서의 제2 속도 제한, 및
    상기 도로 위험 요소의 상기 다각형 구역으로부터의 거리에 기초하는 상기 제1 속도 제한과 상기 제2 속도 제한 사이의 속도 구배(velocity gradient)를 포함하는 것인, 차량.
  17. 제1항에 있어서, 상기 적어도 하나의 비일시적 저장 매체는 명령어들을 저장하며, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금:
    상기 적어도 하나의 모션 제약의 각각의 모션 제약에 우선순위를 부여하게 하며,
    상기 차량의 상기 움직임을 제어하는 것과 연관된 상기 제어 정보를 생성하는 것은 또한, 상기 우선순위 부여된 모션 제약들에 기초하는 것인, 차량.
  18. 방법으로서,
    적어도 하나의 프로세서를 사용하여, 차량의 적어도 하나의 상시 작동 센서에 의해 생성되는 상기 차량의 환경에 있는 도로 표면 상의 대상체에 관한 초기 정보를 수신하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 대상체에 관한 상기 초기 정보가 적어도 하나의 미리 결정된 도로 위험 요소를 나타내는 확률을 결정하는 단계;
    상기 확률이 임계치 초과라고 결정하는 것에 응답하여, 상기 적어도 하나의 프로세서를 사용하여, 상기 대상체에 관한 추가적인 정보를 수신하는 단계 - 상기 추가적인 정보는 상기 차량의 적어도 하나의 온디맨드 센서에 의해 생성됨 -;
    상기 적어도 하나의 프로세서를 사용하여, 상기 초기 정보 및 상기 추가적인 정보에 기초하여 상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 단계;
    상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 것에 응답하여, 상기 적어도 하나의 프로세서를 사용하여, 상기 식별된 미리 결정된 도로 위험 요소에 기초하여 상기 차량에 대한 적어도 하나의 모션 제약을 결정하는 단계 - 상기 적어도 하나의 모션 제약은 조향각 제약 또는 속도 제약을 포함함 -;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 모션 제약에 기초하여 상기 도로 표면 상의 상기 차량의 움직임을 결정하기 위해 상기 적어도 하나의 모션 제약을 상기 차량의 모션 플래너로 송신하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 모션 제약에 기초하여 상기 차량의 상기 움직임을 제어하는 것과 연관된 제어 정보를 생성하는 단계; 및
    상기 적어도 하나의 프로세서를 사용하여, 상기 차량으로 하여금 상기 움직임에 기초하여 작동하게 하기 위해 상기 제어 정보를 송신하는 단계
    를 포함하는, 방법.
  19. 제18항에 있어서, 상기 적어도 하나의 미리 결정된 도로 위험 요소는 얼음, 물, 기름, 모래, 눈, 또는 이들의 조합을 포함하고, 상기 적어도 하나의 미리 결정된 도로 위험 요소 각각은 트랙션 상실과 연관되는 것인, 방법.
  20. 제18항에 있어서,
    상기 적어도 하나의 상시 작동 센서를 사용하여, 상기 환경에 있는 대상체들에 관한 초기 정보를 연속적으로 획득하는 단계; 및
    상기 적어도 하나의 온디맨드 센서를 사용하여, 요청이 수신될 때에만 상기 환경에 있는 대상체들에 관한 추가적인 정보를 획득하는 단계
    를 더 포함하는, 방법.
  21. 제18항에 있어서,
    상기 차량의 구동 트레인 및 상기 차량의 조향 어셈블리를 사용하여, 상기 적어도 하나의 모션 제약에 기초하여 상기 차량을 제어하는 단계
    를 더 포함하는, 방법.
  22. 제18항에 있어서, 상기 모션 제약은 상기 조향각 제약 및 상기 속도 제약 양쪽 모두를 포함하는 것인, 방법.
  23. 제18항에 있어서, 상기 적어도 하나의 모션 제약은:
    상기 도로 위험 요소의 다각형 구역 내부에서의 제1 속도 제한,
    상기 도로 위험 요소의 상기 다각형 구역 외부에서의 제2 속도 제한, 및
    상기 도로 위험 요소의 상기 다각형 구역으로부터의 거리에 기초하는 상기 제1 속도 제한과 상기 제2 속도 제한 사이의 속도 구배를 포함하는 것인, 방법.
  24. 제18항에 있어서,
    상기 확률이 임계치 초과라고 결정하는 것에 응답하여,
    상기 대상체에 관한 추가적인 정보를 수신하는 단계,
    적어도 하나의 광 소스를 사용하여, 상기 도로 표면 상으로 광을 방출하는 단계; 및
    상기 적어도 하나의 온디맨드 센서를 사용하여, 상기 광의 반사된 부분을 수신하는 단계
    를 더 포함하며;
    상기 대상체를 상기 적어도 하나의 미리 결정된 도로 위험 요소 중 적어도 하나로서 식별하는 단계는 또한, 상기 광의 상기 반사된 부분과 연관된 정보에 기초하는 것인, 방법.
  25. 적어도 하나의 프로세서에 의해 실행하기 위한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 적어도 하나의 프로그램은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 차량으로 하여금 제18항 내지 제24항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020220015576A 2021-11-23 2022-02-07 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성 KR102639033B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/534,223 US20230192067A1 (en) 2021-11-23 2021-11-23 Motion planner constraint generation based on road surface hazards
US17/534,223 2021-11-23

Publications (2)

Publication Number Publication Date
KR20230076713A true KR20230076713A (ko) 2023-05-31
KR102639033B1 KR102639033B1 (ko) 2024-02-21

Family

ID=86144557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220015576A KR102639033B1 (ko) 2021-11-23 2022-02-07 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성

Country Status (5)

Country Link
US (1) US20230192067A1 (ko)
KR (1) KR102639033B1 (ko)
CN (1) CN116149310A (ko)
DE (1) DE102022102188A1 (ko)
GB (1) GB2613040A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110125130A (ko) * 2010-05-12 2011-11-18 주식회사 만도 노면 마찰계수 추정방법
JP2019067018A (ja) * 2017-09-29 2019-04-25 日本精機株式会社 車両用表示装置
KR20210113454A (ko) * 2019-01-28 2021-09-15 모셔널 에이디 엘엘씨 도로 이상 검출
KR102317633B1 (ko) * 2020-05-19 2021-10-27 재단법인대구경북과학기술원 복수의 도로 영상을 기반으로 하는 도로의 실시간 블랙아이스 검출 시스템 및 그 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4893118B2 (ja) * 2006-06-13 2012-03-07 日産自動車株式会社 回避制御装置、この回避制御装置を備える車両および回避制御方法
EP1927499B1 (en) * 2006-11-29 2010-01-06 Ford Global Technologies, LLC Steering safety system
DE102010045162A1 (de) * 2010-09-11 2012-03-15 Volkswagen Ag Schlaglochassistent mit Umfeldwahrnehmung
EP2821307B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation A vehicle system, a vehicle and a method for autonomous road irregularity avoidance
US9975547B2 (en) * 2016-08-03 2018-05-22 Ford Global Technologies, Llc Methods and systems for automatically detecting and responding to dangerous road conditions
US10202115B2 (en) * 2016-09-13 2019-02-12 Here Global B.V. Method and apparatus for triggering vehicle sensors based on human accessory detection
JP6523361B2 (ja) * 2017-03-30 2019-05-29 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US10611372B2 (en) * 2018-09-06 2020-04-07 Zebra Technologies Corporation Dual-mode data capture system for collision detection and object dimensioning
US11373532B2 (en) * 2019-02-01 2022-06-28 Hitachi Astemo, Ltd. Pothole detection system
WO2020198134A1 (en) * 2019-03-22 2020-10-01 Vergence Automation, Inc. Lighting-invariant sensor system for object detection, recognition, and assessment
DE102019208282A1 (de) * 2019-06-06 2020-12-10 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US20210031760A1 (en) * 2019-07-31 2021-02-04 Nissan North America, Inc. Contingency Planning and Safety Assurance
US11180156B2 (en) * 2019-12-17 2021-11-23 Zoox, Inc. Fault coordination and management
US11314974B2 (en) * 2020-03-30 2022-04-26 Hitachi Astemo, Ltd. Detecting debris in a vehicle path

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110125130A (ko) * 2010-05-12 2011-11-18 주식회사 만도 노면 마찰계수 추정방법
JP2019067018A (ja) * 2017-09-29 2019-04-25 日本精機株式会社 車両用表示装置
KR20210113454A (ko) * 2019-01-28 2021-09-15 모셔널 에이디 엘엘씨 도로 이상 검출
KR102317633B1 (ko) * 2020-05-19 2021-10-27 재단법인대구경북과학기술원 복수의 도로 영상을 기반으로 하는 도로의 실시간 블랙아이스 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
CN116149310A (zh) 2023-05-23
US20230192067A1 (en) 2023-06-22
KR102639033B1 (ko) 2024-02-21
DE102022102188A1 (de) 2023-05-25
GB2613040A (en) 2023-05-24

Similar Documents

Publication Publication Date Title
US20230221128A1 (en) Graph Exploration for Rulebook Trajectory Generation
WO2023245073A1 (en) Method and system for controlling an autonomous vehicle
WO2023250290A1 (en) Post drop-off passenger assistance
KR102639033B1 (ko) 도로 표면 위험 요소들에 기초한 모션 플래너 제약 생성
KR20230083195A (ko) 차량 센서 관리를 위한 시스템 및 방법
KR20230113097A (ko) 멀티 센서 이미징 시스템의 범용 센서 성능 및 교정 타겟
US20240124009A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20230063368A1 (en) Selecting minimal risk maneuvers
US20240059302A1 (en) Control system testing utilizing rulebook scenario generation
US20230322270A1 (en) Tracker Position Updates for Vehicle Trajectory Generation
US20230398866A1 (en) Systems and methods for heads-up display
US20230150544A1 (en) Generating notifications indicative of unanticipated actions
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20240046605A1 (en) Visibility determinations in physical space using evidential illumination values
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
US20230242147A1 (en) Methods And Systems For Measuring Sensor Visibility
US20240042993A1 (en) Trajectory generation utilizing diverse trajectories
US20230298198A1 (en) Light-based object localization
US20230331256A1 (en) Discerning fault for rule violations of autonomous vehicles for data processing
WO2024081192A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
WO2023028437A1 (en) Selecting minimal risk maneuvers
KR20230115839A (ko) 열 센서 데이터 차량 인지
WO2024040099A1 (en) Control system testing utilizing rulebook scenario generation
KR20230076706A (ko) 자율 주행 운전 모드 관여

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant