KR101963422B1 - 자율 주행 가능 차량용 충돌-회피 시스템 - Google Patents

자율 주행 가능 차량용 충돌-회피 시스템 Download PDF

Info

Publication number
KR101963422B1
KR101963422B1 KR1020180072551A KR20180072551A KR101963422B1 KR 101963422 B1 KR101963422 B1 KR 101963422B1 KR 1020180072551 A KR1020180072551 A KR 1020180072551A KR 20180072551 A KR20180072551 A KR 20180072551A KR 101963422 B1 KR101963422 B1 KR 101963422B1
Authority
KR
South Korea
Prior art keywords
vehicle
image frame
collision
space
travelable
Prior art date
Application number
KR1020180072551A
Other languages
English (en)
Other versions
KR20190000843A (ko
Inventor
그레이 앤드류
Original Assignee
우버 테크놀로지스, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우버 테크놀로지스, 인크. filed Critical 우버 테크놀로지스, 인크.
Publication of KR20190000843A publication Critical patent/KR20190000843A/ko
Application granted granted Critical
Publication of KR101963422B1 publication Critical patent/KR101963422B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0077—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

자율 주행 가능 차량과 함께 사용하기 위한 충돌-회피 시스템은, 차량의 전방 방향에서 주행 가능한 공간을 판정하기 위해서 도로의 캡처된 이미지 프레임을 연속적으로 수신할 수 있다. 이 시스템은, 각각의 이미지 프레임에 대해, 이미지 프레임의 개별 영역이 주행 가능한 공간을 나타내는지의 여부를 판정할 수 있다. 이 시스템은 광범위한 트레이닝 데이터를 사용하여 생성된 합성곱 신경망(convolutional neural network)과 같은 기계-학습 이미지 인식 알고리즘을 사용하여 그렇게 할 수 있다. 이러한 기술을 사용하여, 이 시스템은 주행 가능한 공간 또는 주행-불가능한 공간에 대응하는 것으로서 이미지 프레임의 영역을 라벨링할 수 있다. 라벨링된 이미지 프레임을 분석함으로써, 이 시스템은 차량이 주행-불가능한 공간의 영역에 충돌할지의 여부를 판정할 수 있다. 그리고, 그러한 판정에 응답하여, 이 시스템은 충돌을 회피하기 위해 브레이크, 스티어링, 또는 차량의 다른 서브-시스템을 제어하기 위해 다른 제어 시스템 또는 사람 조작자 입력을 무시하는 제어 신호를 생성할 수 있다.

Description

자율 주행 가능 차량용 충돌-회피 시스템 {COLLISION-AVOIDANCE SYSTEM FOR AUTONOMOUS-CAPABLE VEHICLES}
본 발명은 자율 주행 가능 차량용 충돌-회피 시스템에 관한 것이다.
자율 주행 차량(autonomous vehicle)은, 사람 운전자를 센서 및 컴퓨터로 구현된 지능, 센서 및 기타 자동화 기술로 대체하는 차량을 지칭한다. 기존의 기술 상태에서는, 자율 주행 차량은 고속도로와 같은 도로 상에서 다른 차량과 함께 쉽게 핸들 주행할 수 있다. 그러나, 특정 환경 및 기상 조건은, 특정 센서 및 자율 주행 시스템의 성능에 부정적인 영향을 줄 수 있으며, 자율 주행 차량에 대한 문제를 야기할 수 있다.
본원의 개시내용은, 유사한 참조 번호가 유사한 요소를 지칭하는 첨부된 도면의 도면들로 제한하는 것이 아니라 일례로서 예시된다.
도 1은, 본원에 설명된 예들에 따라, 자율 주행 가능 차량(autonomous-capable vehicle)의 일부로서의 충돌-회피 시스템의 일례를 예시하는 블록 선도이다.
도 2는, 본원에 설명된 예들에 따라, 충돌-회피 시스템의 구현을 포함하는 자율 주행 가능 차량의 일례를 예시한다.
도 3은, 본원에 설명된 예들에 따라, 트레이닝 이미지 프레임 및 다른 트레이닝 데이터를 수신하고 처리하는 예시적인 트레이닝 데이터 프로세싱 시스템을 예시하는 블록 선도이다.
도 4는, 본원에 설명된 예들에 따라, 자율 주행 가능 차량 내에서 예시적인 충돌-회피 시스템을 작동시키는 예시적인 방법을 설명하는 흐름도이다.
도 5는, 본원에 설명된 예들에 따라, 예시적인 트레이닝 데이터 프로세싱 시스템을 작동시키는 예시적인 방법을 설명하는 흐름도이다.
도 6은, 본원에 설명된 예들에 따라, 충돌-회피 시스템에 의해 수신되고 처리되는 예시적인 이미지 프레임을 예시한다. 그리고
도 7은, 본원에서 설명된 예들이 구현될 수 있는 컴퓨터 시스템을 예시하는 블록 선도이다.
본원에서 설명된 바와 같이, 자율 주행 가능 차량(간략화를 위해 "차량")은 자율, 반자율, 또는 수동 모드들로 작동될 수 있다. 자율 또는 반자율 작동 모드들에서, 차량의 제어 시스템은 제한된 사람 조작자 입력없이 또는 조작자 입력과 함께 차량을 작동시킬 수 있다. 예를 들어, 제어 시스템은 차량을 가속시키기 위해 스로틀(throttle)을 적용할 수 있고, 차량을 조향(steer)할 수 있으며, 차량의 브레이크들을 맞물림할 수 있고, 그리고 차량의 보조 기능을 작동시킬 수 있다(예를 들어, 긴급 경고등(hazard lights)을 활성화시킬 수 있다). 이들 작동 모드에서, 제어 시스템은 센서의 어레이로부터 센서 출력을 수신하여 차량을 작동시키는 차량 제어 신호를 생성한다. 센서 어레이는 LIDAR(Light Detection And Ranging) 센서, 하나 이상의 카메라, 레이더 센서(radar sensor), 소나 센서(sonar sensor) 등을 포함할 수 있다. 센서 어레이의 센서는 제어 시스템이 도로 상에 있는, 장애물, 차량, 보행자, 자전거를 타는 사람(cyclists) 등을 감지할 수 있게 한다. 예를 들어, 제어 시스템은 차량을 조향 및 감속시켜 센서 어레이로부터의 센서 출력에 기초하여 차량이 충돌하는 것을 방지할 수 있다.
그러나, 제어 시스템이 복수의 센서로부터의 센서 출력에 기초하여 제어 신호를 생성하기 때문에, 제어 시스템은 상이한 센서에 의해 전달되는 정보의 상충으로부터 유발하는 에러에 영향을 받기 쉬울 수 있다. 예를 들어, 센서 어레이의 카메라가 도로 상에서 자전거를 타는 사람(cyclist)을 감지할 수 있지만, LIDAR 센서는 자전거를 타는 사람을 감지하는 데 어려움을 겪을 수 있다. 카메라 및 LIDAR 센서로부터의 출력에 응답하여, 제어 시스템은 도로 상에서 자건거를 타는 사람이 존재하지 않는다고 잘못 판정할 수 있다. 게다가, 특정 센서는 특정 조건 하에서 일관되지 않거나 신뢰할 수 없는 출력들을 가질 수 있다. 예를 들어, LIDAR 센서는 악천후(예를 들어, 비, 눈)시에 부정확하거나 일관되지 않을 수 있다. 더욱이, 제어 시스템 자체가 하드웨어 또는 소프트웨어 고장으로 인해 고장날 수 있다. 따라서, 임박한 충돌을 회피하기 위해 차량을 제어할 수 있는 신뢰성 있고 독립적인 충돌-회피 시스템에 대한 요구가 존재한다.
본원의 예들은 자율 주행 가능 차량의 다른 시스템(예를 들어, 자율 주행 차량 작동을 제어하기 위한 차량 제어 시스템)과 독립적으로 작동할 수 있는 충돌-회피 시스템을 포함하는 자율 주행 가능 차량을 제공한다. 충돌-회피 시스템은 차량의 전방을 향한 하나 이상의 카메라에 의해 캡처된 이미지 프레임의 분석에 기초하여 차량의 브레이크와 맞물릴 수 있다. 특히, 충돌-회피 시스템은 이미지 프레임을 분석하여 차량의 전방 방향으로 주행 가능한 공간(drivable space)의 영역을 식별하고 라벨링할 수 있다. 주행 가능한 공간으로 식별되지 않은 이미지 프레임의 영역은, 차량이 충돌해서는 안되는 주행-불가능한 공간으로서 처리될 수 있다. 게다가, 이미지 프레임을 분석함으로써, 충돌-회피 시스템은 주행-불가능한 공간 영역 각각으로부터 차량까지의 거리를 연산할 수 있다. 이러한 방식으로, 충돌-회피 시스템은 차량의 속도 및 궤도에 기초하여 주행-불가능한 공간의 식별된 영역에 차량이 충돌할 가능성을 판정할 수 있다. 이러한 판정에 기초하여, 충돌-회피 시스템은 다른 차량 시스템(예를 들어, 자율 주행 작동을 위한 차량 제어 시스템) 또는 차량 조작자 입력(예를 들어, 브레이크 페달 입력)과 독립적으로 충돌을 회피하거나 충돌의 충격을 최소화하기 위해 충돌-회피 신호를 생성할 수 있다. 충돌-회피 신호는, 충돌을 회피하거나 충돌의 충격을 최소화하기 위해, 차량에 하나 이상의 브레이크를 맞물림시키고, 조향 및/또는 스로틀 조정 등을 행하게 유발할 수 있다.
본원에서 사용되는 바와 같이, "주행 가능한 공간"이라는 용어는, 차량이 다른 물체와 충돌하거나 부딪히지 않고 안전하게 횡단할 수 있는 도로 표면(예를 들어, 포장된 도로 표면)을 의미할 수 있다. 본원에서 사용되는 바와 같이, "주행-불가능한 공간"이라는 용어는, 차량이 안전하게 횡단할 수 없는 영역을 의미할 수 있다. 주행-불가능한 공간은, 보도(sidewalks), 연석(curbs), 다른 차량, 보행자, 자전거를 타는 사람, 벽, 중앙 분리대(road medians), 파편 등을 포함할 수 있다. 특정 예에서, 비포장 도로의 표면은 주행 불가능한 공간의 영역으로서 충돌-회피 시스템에 의해 식별될 수 있다.
실시예에 따르면, 충돌-회피 시스템은 이미지 프레임의 적절한 픽셀을 주행 가능한 공간을 나타내는 것으로 라벨링하기 위해 이미지 프레임을 분석함으로써 차량의 전방 방향으로 주행 가능한 공간의 영역을 판정할 수 있다. 충돌-회피 시스템은 주행 가능한 공간을 나타내는 이미지 영역(예를 들어, 픽셀 또는 픽셀의 그룹)을 식별하도록 트레이닝된 기계-학습 모델(machine-learned model)을 사용하여 그와 같이 할 수 있다. 일부 예에서, 충돌-회피 시스템은 이미지 프레임의 각각의 픽셀이 주행 가능한 공간을 나타내는 대응 확률을 판정할 수 있다. 확률(예를 들어, 확률이 임계값을 초과하거나 미만임)에 기초하여, 충돌-회피 시스템은 픽셀을 주행 가능한 공간으로서 라벨링할 수 있다. 라벨링되지 않은 이미지 프레임의 영역은 주행-불가능한 공간으로서 식별되거나 취급될 수 있다. 충돌-회피 시스템은 주행-불가능한 공간의 각각의 영역과 관련하여 차량의 거리 및 방향을 더 판정할 수 있다.
실시예에 따르면, 기계-학습 모델은 트레이닝 데이터를 사용하여 생성될 수 있다. 트레이닝 데이터는 트레이닝 이미지 프레임을 포함할 수 있다. 트레이닝 이미지 프레임은 차량의 카메라(들)와 유사한 카메라에 의해 캡처될 수 있다. 트레이닝 이미지 프레임 각각의 픽셀은 주행 가능한 공간 및/또는 주행-불가능한 공간을 나타내는 것으로 라벨링될 수 있다. 트레이닝 이미지 프레임의 라벨링은 알고리즘을 이용하여 에러를 정정하거나 분석에서의 상충을 해결하기 위해 사람 조작자의 도움을 받아 수행될 수 있다. 트레이닝 데이터를 사용하여, 기계-학습 모델이 생성될 수 있다. 이미지 프레임으로 표현된 주행 가능한 공간을 식별할 때 기계-학습 모델의 정확성을 개선하기 위해서는, 차량이 직면할 수 있는 다양한 도로 조건을 나타내는 많은 수의 트레이닝 이미지 프레임을 갖는 것이 요망된다.
기계-학습 모델의 생성은, 하나 이상의 컴퓨터에 의해 수행될 수 있고, 생성된 기계-학습 모델에 대응하는 데이터는 차량에 전송될 수 있다. 일부 예에서, 차량은 무선 네트워크 연결(예를 들어, 셀룰러, Wi-Fi 등)을 통해 데이터를 수신할 수 있다. 추가로 또는 대안으로서, 차량은 저장 장치(예를 들어, 플래시 메모리 드라이브, SD 카드 등)를 사용하거나 물리적 연결(예를 들어, USB, 유선 연결 등)을 통해 데이터를 수신할 수 있다. 차량은 기계-학습 모델에 대응하는 데이터를 저장하기 위해 저장 디바이스(예를 들어, 플래시 메모리)를 포함할 수 있다. 저장 디바이스에 저장된 데이터는 주기적으로 업데이트될 수 있다. 따라서, 충돌-회피 시스템의 성능은 업데이트된 트레이닝 데이터를 사용하여 기계-학습 모델을 업데이트함으로써 시간이 지남에 따라 개선될 수 있다.
일부 예에서, 기계-학습 모델은 합성곱 신경망(convolutional neural network; CNN)일 수 있다. CNN은 복수의 퍼셉트론(perceptron)(예를 들어, 인공 뉴론)을 포함할 수 있다. 퍼셉트론은 층으로 배열될 수 있다. CNN에는 퍼셉트론의 입력 층, 중간 층 및 출력 층이 존재할 수 있다. 충돌-회피 시스템은 이미지 프레임에 대응하는 데이터를 CNN에 입력하여 이미지 프레임을 분석하여 그 안에서 주행 가능한 공간의 영역을 식별할 수 있다. 특정 구현예에서, CNN은 특정 픽셀에 대해, 특정 픽셀이 주행 가능한 공간을 대표할 가능성을 출력할 수 있다. 다른 예에서, CNN은 특정 픽셀에 대해 이진 값(binary value)을 출력할 수 있으며, 이진 값은 특정 픽셀이 주행 가능한 공간을 표시하는지의 여부를 나타낸다.
본원에서 설명된 예에서, 충돌-회피 시스템은, 차량의 속도, 궤도, 및 가속도에 기초하여, 차량이 주행-불가능한 공간의 영역(예를 들어, 장애물, 연석, 보행자)에 충돌할 가능성이 있는지를 판정할 수 있다. 차량의 속도, 궤도, 및 가속도는, 차량의 시스템(예를 들어, 차량 제어 시스템)에 의해 또는 충돌-회피 시스템에 의해 판정될 수 있다. 차량이 주행-불가능한 공간의 영역에 충돌할 가능성이 있다고 판정하자마자, 충돌-회피 시스템은 충돌 방지 신호를 생성하여 차량으로 하여금 주행-불가능한 공간의 영역에 충돌하는 것을 회피하도록 할 수 있다. 충돌-회피 신호는 차량의 브레이크를 활성화시킬 수 있다. 충돌-회피 시스템은 차량 제어 시스템 및/또는 운전자 입력과 독립적으로 그렇게 수행할 수 있다. 환언하면, 충돌-회피 시스템에 의해 생성된 충돌-회피 신호는, 차량 제어 시스템의 제어 출력 및/또는 조작자 입력을 무시하여(override), 예를 들어, 차량의 브레이크를 활성화시킬 수 있다
일부 예에 따르면, 충돌-회피 시스템은 차량이 주행-불가능한 공간의 영역에 충돌할 가능성이 있는 것으로 판정하자마자 차량의 다른 양상을 제어하기 위해 충돌-회피 제어 신호를 생성할 수 있다. 예를 들어, 충돌-회피 시스템은 또한 주행-불가능한 공간의 영역에 충돌하는 것을 회피하기 위해 차량의 궤도를 변경하기 위한 조향 출력을 생성할 수 있다. 게다가, 충돌-회피 시스템은 (예를 들어, 차량의 긴급 경고등(hazard lights)을 턴온하기 위해서) 스로틀 출력 및 보조 출력을 생성할 수 있다.
특정 구현예에서, 충돌-회피 시스템 출력은 제어 시스템에 의해 생성된 차량 제어 신호를 무시할 수 있다. 예를 들어, 제어 시스템은 차량을 가속하기 위해 차량의 스로틀을 증가시키도록 제어 신호를 생성할 수 있다. 차량이 주행-불가능한 공간에 충돌할 가능성이 있다는 판정에 대응하여, 충돌-회피 시스템은 충돌-회피 신호를 생성하여 제어 신호를 무시하고(예를 들어, 스로틀 적용을 중단하고) 그리고 차량의 브레이크를 맞물림할 수 있다. 이렇게 하여, 충돌-회피 시스템은 충돌을 회피하기 위해 제어 시스템과 독립적으로 (그리고/또는 사람 조작자 입력과 독립적으로) 차량을 제어할 수 있다.
다수의 예들은, 적어도 조향, 추진 및 제동에 대해 자동 상태로 작동되는 임의의 차량을 지칭하는 자율 주행 차량 또는 자율 주행 가능 차량의 맥락에서 본원에 참조된다. 자율 작동 상태에서 작동될 때, 차량 제어 시스템이 차량의 유일한 "운전자"가 되도록, 차량이 사람 또는 수동 주행 입력(예를 들어, 액셀레이터 또는 브레이크 입력, 스티어링 휠 입력)을 무시할 수 있는 예들이 제공된다. 다양한 예들에서 설명된 바와 같이, 차량이 차량의 작동 상태를 전환하거나 안전 작용(예를 들어, 비상 브레이크)을 취하기 위한 입력과 같은 지정된 사람 입력에 응답할 수 있는 것을 제외하고는, 차량이 자율 작동 상태에 있을 때, 차량은 사람 또는 수동 주행 입력을 무시할 수 있다. 다양한 예들에서 설명된 바와 같이, 차량의 작동 상태를 천이시킬 수 있는 지정된 사람 입력들은 차량을 주행하는데 사용되지 않는 인터페이스(예를 들어, 기계적 액츄에이터)로 검출될 수 있다. 이에 따라, 사람 운전자가 자율 주행 차량의 상태를 전환할 수 있게 하는 인터페이스는, 스티어링 휠, 액셀레이터(예를 들어, "가스 페달"), 브레이크 또는 기어 쉬프터(gear shifter)와 같은 기구와는 별개일 수 있다.
본원에 설명된 하나 이상의 양상들은, 컴퓨팅 디바이스에 의해 수행되는 방법, 기술, 및 작용이 프로그램식으로 또는 컴퓨터-구현 방법으로서 수행되는 것을 제공한다. "프로그램식으로"는, 코드 또는 컴퓨터-실행 가능 명령의 사용을 통한 것을 의미한다. 프로그램식으로 수행되는 단계는, 자동식이거나 자동식이 아닐 수도 있다.
본원에 설명된 하나 이상의 양상은 프로그램식 모듈 또는 컴포넌트를 사용하여 구현될 수 있다. 프로그램식 모듈 또는 컴포넌트는, 하나 이상의 언급된 태스크 또는 기능을 수행할 수 있는 프로그램, 서브루틴, 프로그램의 일부, 소프트웨어 컴포넌트 또는 하드웨어 컴포넌트를 포함할 수 있다. 게다가, 모듈 또는 컴포넌트는 다른 모듈 또는 컴포넌트와 독립적으로 하드웨어 컴포넌트 상에 존재할 수 있다. 대안으로, 모듈 또는 컴포넌트는 다른 모듈, 프로그램 또는 기계의 공유 요소 또는 프로세스일 수 있다.
더욱이, 본원에 설명된 하나 이상의 양상은 하나 이상의 프로세서에 의해 실행 가능한 명령의 사용을 통해 구현될 수 있다. 이 명령은 컴퓨터-판독 가능 매체를 통해 실행될 수 있다. 하기 도면과 함께 도시되거나 설명된 기계는, 프로세싱 리소스들 및 컴퓨터-판독 가능 매체의 예를 제공하며, 이 매체 상에서, 일부 양상을 구현하기 위한 명령이 실행 및/또는 실시될 수 있다. 특히, 일부 예에 도시된 다수의 기계는, 프로세서(들), 그리고 데이터 및 명령을 유지하기 위한 다양한 형태의 메모리를 포함한다. 컴퓨터-판독 가능 매체의 예는 영구 메모리 저장 디바이스, 이를테면, 서버 또는 퍼스널 컴퓨터 상의 하드 드라이브를 포함한다. 컴퓨터 저장 매체의 다른 예는, CD 또는 DVD 유닛과 같은 휴대용 저장 유닛,(다수의 휴대 전화 및 소비자 전자 장치에 탑재된 것과 같은) 플래시 및 솔리드 스테이트 메모리 및 자기 메모리를 포함한다. 컴퓨터, 단말기, 네트워크 가능한 디바이스(예를 들어, 휴대폰과 같은 모바일 디바이스)는 컴퓨터-판독 가능 매체 상에 저장된 명령, 메모리, 프로세서를 활용하는 기계 및 디바이스의 예이다. 추가로, 양상은 컴퓨터 프로그램의 형태로 구현될 수 있다.
시스템 설명
도 1은, 본원에 설명된 예들에 따라, 자율 주행 가능 차량의 일부로서의 충돌-회피 시스템의 일례를 예시하는 블록 선도이다. 설명된 예에서, 자율 주행 가능 차량은 차량을 달리 작동시킬 수 있는 사람의 작용 없이 작동할 수 있다. 예를 들어, 자동차의 맥락에서, 자율 주행되는 차량은 조명 구성요소(lighting components)를 조향, 가속, 변속, 제동 및 작동시킬 수 있다. 일부 변경예들은, 또한 자율 주행 가능 차량이 자율적으로 또는 수동으로 작동될 수 있다는 것을 인식한다.
도 1의 예를 참조하면, 자율 주행 가능 차량(10)은 자율, 반자율, 또는 수동 작동 모드로 차량(10)을 작동시키기 위한 제어 시스템을 포함한다. 게다가, 차량(10)은 차량(10)의 제어 시스템과 독립적으로 작동하는 충돌-회피 시스템(100)을 포함한다. 특히, 예들은 차량(10)을 제어하기 위해 주 제어 신호를 수신하기 위한 차량 인터페이스 시스템(90)을 포함하는 차량(10)을 제공한다. 차량(10)은, 또한, 예를 들어, 수동 모드, 반자율 모드, 및 자율 모드를 포함하는 복수의 작동 모드를 가질 수 있다. 수동 및 반자율 작동 모드 동안, 차량 인터페이스 시스템(90)은 차량(10)을 작동시키기 위한 주 제어 신호로서 사람 조작자 입력(83)을 수신할 수 있다. 차량(10)의 자율 및 반자율 작동 모드 동안, 차량 인터페이스 시스템(90)은 AV 제어 시스템(180)에 의해 출력된 명령 입력(85)을 수신하여 차량(10)을 작동시킬 수 있다. 차량(10)의 하나 이상의 작동 모드에서, 충돌-회피 시스템(100)이 차량(10)의 스로틀, 제동, 조향 및 보조 기능을 독립적으로 제어하여 장애물, 보행자, 연석, 다른 차량 등과의 충돌을 회피하기 위해서 주 제어 신호(예를 들어, 조작자 입력(83), 명령 입력(85))를 무시하도록 작동할 수 있는 예들이 제공된다. 충돌-회피 시스템(100)은 차량(10) 주변의 공간 및 환경을 연속적으로 감시할 수 있고, 주행 불가능한 공간의 영역(예를 들어, 다른 차량, 펜스, 연석 등)으로부터 주행 가능한 공간의 영역(예를 들어, 상부에 어떠한 물체도 없는 포장 도로)을 구별할 수 있다. 속도, 궤도, 가속도 및 주 제어 신호에 기초하여, 충돌-회피 시스템(100)은 충돌-회피 시스템(100)의 개입없이 차량(10)이 주행-불가능하다고 판정된 공간의 영역에 충돌할 가능성이 있는지의 여부를 판정할 수 있다. 이러한 판정에 응답하여, 충돌-회피 시스템(100)은 주 제어 신호를 무시하도록 개입할 수 있고, 충돌을 회피하기 위해 차량(10)의 스로틀, 조향, 제동 및 보조 기능을 독립적으로 제어할 수 있다.
차량(10)은, LIDAR 센서(135), 레이더 센서(140), SONAR(Sound Navigation and Ranging) 센서(145) 및 카메라(들)(150)와 같은 다수 유형의 센서를 포함하는 센서 어레이(130)를 구비할 수 있다. 센서 어레이(130) 내의 센서는 차량(10)을 둘러싸는 공간 및 환경에 대한 전산화된 지각(computerized perception)을 제공하도록 조합될 수 있다. 특히, 카메라(들)(150)는 차량(10)을 둘러싸는 환경을 감시하기하기 위해 카메라 센서(예를 들어, 비디오 카메라, 입체적인 카메라의 쌍, 깊이 지각(depth perception) 카메라, 적외선 카메라, 광각 카메라 등)의 다수의 세트를 포함할 수 있다. 게다가, LIDAR(135), 레이더(140), 및 SONAR(145) 센서들은 차량(10)을 둘러싸고 있는 물체 및 차량(10)에 대한 이들 각각의 거리를 검출할 수 있다. 센서 어레이(130) -센서 데이터(131) -로부터의 출력은 센서 인터페이스(170)에 의해 수신된다. 센서 인터페이스(170)는 센서 어레이(130) 내의 각각의 센서에 대한 별도의 인터페이스 디바이스를 포함할 수 있다. 예를 들어, 센서 인터페이스(170)는 LIDAR 센서(135)에 대한 LIDAR 인터페이스 디바이스 및 카메라(들)(150)에 대한 카메라 인터페이스 디바이스를 포함할 수 있다. 센서 인터페이스(170)는 수신된 센서 데이터(131)를 처리하는 하드웨어 및/또는 다른 논리 구성요소를 포함할 수 있다. 예를 들어, LIDAR 센서(135)로부터 LIDAR 데이터를 수신하는 LIDAR 인터페이스 디바이스는, 수신된 LIDAR 데이터를 AV 제어 시스템(180)에 의해 사용될 수 있는 포맷으로 변환하기 위해서 논리 및 프로세싱 리소스(예를 들어, FPGA(field programmable gate array), DSP(digital signal processor) 등)를 포함할 수 있다. 추가의 예로서, 카메라(들)(150)로부터 카메라 데이터(예를 들어, 미가공 이미지 데이터(raw image data))를 수신하는 카메라 인터페이스 디바이스는 AV 제어 시스템(180)에 의해 사용되는 포맷(JPEG 또는 다른 압축 또는 미압축 데이터 포맷들)으로 데이터를 변환할 수 있다. 특정 구현예에서, 센서 인터페이스(170)는 센서 데이터 품질을 개선시키는 프로세싱을 수행할 수 있다. 예를 들어, 카메라 인터페이스 디바이스는 잡음(noise)을 감소시키고, 노출을 조정하고, 감마 보정을 수행하고, 색상을 조정하고, 초점을 조정하고, 그리고 원시 이미지 데이터의 다른 프로세싱을 수행할 수 있다. 처리된 센서 데이터는 센서 데이터(171)로서 출력될 수 있다.
일 구현예에 따르면, 차량 인터페이스 시스템(90)은 스로틀 인터페이스(92), 조향 인터페이스(94), 제동 인터페이스(96), 및 보조 인터페이스(98)를 포함하는 다수의 차량 인터페이스를 포함하거나 제어할 수 있다. 각각의 차량 인터페이스는 차량(10)의 대응하는 서브시스템을 제어한다. 예를 들어, 스로틀 인터페이스(92)는 차량(10)을 가속시키기 위해서 차량(10)의 엔진의 스로틀을 제어한다. 조향 인터페이스(94)는 차량(10)을 조향시키도록 차량(10)의 조향축(steering column)을 제어한다. 브레이크 인터페이스(96)는 차량(10)을 감속시키도록 차량(10)의 하나 이상의 브레이크를 제어한다. 보조 인터페이스(98)는 긴급 경고등 등을 작동시키는 것과 같은 차량(10)의 하나 이상의 보조 기능을 제어한다. 차량 인터페이스 시스템(90)은 차량(10)의 정상 작동 동안 차량 인터페이스를 제어하는 주 제어 신호(예를 들어, 조작자 입력(83), 명령 입력(85))를 수신하기 위해 제어기(84)를 더 포함할 수 있다. 제어기(84)는 수신된 주 제어 신호에 기초하여 다양한 차량 인터페이스(92 내지 98)를 제어할 수 있다.
특정 구현예에서, 차량(10)은 수동 작동 모드로 작동할 수 있으며, 이 수동 작동 모드에서, 사람 조작자는 차량 인터페이스 시스템(90)에 의해 수신된 주 제어 신호를 발생시킨다. 수동 모드에서, 차량 인터페이스 시스템(90)은 사람 조작자 입력(83)을 수신하고 다양한 차량 서브시스템 인터페이스(92, 94, 96, 98)를 제어하기 위한 제어 신호(119)를 생성한다. 예를 들어, 차량 인터페이스 시스템(90)의 제어기(84)는 차량 객실(passenger cabin) 내의 가속 페달로부터 스로틀 입력을 수신할 수 있다. 유사하게, 제어기(84)는 조향 휠로부터의 조향 입력 및 브레이크 페달로부터의 브레이크 입력을 수신할 수 있다. 일부 예에서, 사람 조작자 입력(83)은 차량 인터페이스에 의해 직접 수신될 수 있다. 예를 들어, 스로틀 인터페이스(92)는 조작자 스로틀 입력을 직접 수신할 수 있고 브레이크 인터페이스(96)는 조작자 브레이크 입력을 직접 수신할 수 있다.
일부 예에서, 차량(10)은 또한 자율 작동 모드 및/또는 반자율 작동 모드로 작동할 수 있다. 이러한 작동 모드에서, AV 제어 시스템(180)은 차량을 작동시키기 위한 주 제어 신호로서 차량 인터페이스 시스템(90)에 의해 수신되는 명령 입력(85)을 생성할 수 있다. AV 제어 시스템(180)은 수신된 처리된 센서 데이터(171)에 기초하여 명령 입력(85)을 생성할 수 있다. 명령 입력(85)은, 차량(10)의 작동 상태(예를 들어, 요망하는 속도, 가속도 등)를 특정하는 하나 이상의 작동 파라미터(89) 및 루트 정보(route information)(87)를 포함할 수 있다. 제어기(84)는 스로틀, 조향, 제동 및 보조 차량 기능을 제어하기 위해 하나 이상의 차량 인터페이스(92, 94, 96, 98)에 대한 명령 입력(85)에 기초하여 제어 신호(119)를 생성한다.
일 구현예에서, AV 제어 시스템(180)은, 반자율 작동 모드에서, 차량(10)의 서브시스템들 중 일부를 제어할 수 있다. 예를 들어, AV 제어 시스템(180)은 차량(10)의 스로틀 서브시스템(91) 및 브레이크 서브시스템(95)을 제어하기 위해서 명령 입력(85)을 생성할 수 있다. 조향 서브시스템(93)은 차량(10)의 사람 조작자로부터 차량 인터페이스 시스템(90)에 대한 조작자 입력(83)에 의해 제어될 수 있다. 다른 구현예에서, AV 제어 시스템(180)은, 반자율 작동 모드에서, 차량(10)의 모든 작동을 제어할 수 있지만, 필요한 경우 AV 제어 시스템(180)으로부터의 명령 입력(85)을 무시하기 위해서 사람 조작자가 차량(10)의 진행을 감시하는 것을 나타내기 위해서 주기적인 조작자 입력(83)을 필요로 할 수 있다.
실시예에 따르면, 차량(10)은 AV 제어 시스템(180) 및/또는 차량(10)의 사람 조작자로부터 독립적으로 작동하는 충돌-회피 시스템(100)을 포함할 수 있다. 충돌-회피 시스템(100)은, 차량(10)이 차량의 경로(path) 내의 물체와 충돌하는 것을 방지하기 위해서, AV 제어 시스템(180)에 의해 생성된 명령 입력(85)을 무시할 수 있다. 충돌-회피 시스템(100)은 또한 차량(10)의 사람 조작자로부터의 조작자 입력(83)을 무시할 수 있다.
일부 구현예에서, 충돌-회피 시스템(100)은 AV 제어 시스템(180)과 별개의 하드웨어 및 소프트웨어로 구현될 수 있다. 환언하면, 충돌-회피 시스템(100)은 충돌-회피 시스템(100)을 위해 전용 소프트웨어 명령을 실행하는 하나 이상의 전용 프로세싱 리소스(예를 들어, CPU, GPU, DSP, FPGA, ASIC 등) 상에서 구현될 수 있다. 소프트웨어 명령은, 또한, 충돌-회피 시스템(100) 전용 메모리에 저장될 수 있다. 이러한 방식으로, 충돌-회피 시스템(100)은 기능적일 수 있고, AV 제어 시스템(180)과의 하드웨어 또는 소프트웨어 고장시에 안전 여분(safety redundancy)을 제공할 수 있다. 다른 구현예에서, 충돌-회피 시스템(100)은 AV 제어 시스템(180)과 공유되는 하드웨어 상에서 구현될 수 있다. 예를 들어, AV 제어 시스템(180) 및 충돌-회피 시스템(100)은, 센서, 프로세싱 리소스, 메모리 리소스 등을 공유할 수 있다. 이런 식으로, 충돌-회피 시스템(100)을 차량(10)에 구현하는 복잡성 및 비용이 감소될 수 있다. 이러한 구현예에서, 차량(10)의 프로세싱 리소스는, 충돌-회피 시스템(100)이 AV 제어 시스템(180)에 의해 생성되는 제어 입력(83)을 무시할 수 있음을 보장하기 위해서 AV 제어 시스템(180)에 대응하는 명령보다 높은 우선 순위 레벨(higher priority level)에서 충돌-회피 시스템(100)의 기능에 대응하는 명령을 실행할 수 있다.
특정 구현예에서, 카메라(들)(150) 및 카메라(155)는 연속적으로 이미지 데이터를(예를 들어, 초당 30 개의 이미지 프레임, 초당 60 개의 이미지 프레임, 초당 120 개의 이미징 프레임 등) 생성하는 비디오 카메라 및/또는 입체 카메라 세트일 수 있다. 카메라(들)(150 및 155)는 차량(10)의 전방 방향으로 이미지 프레임을 캡처하도록 포지셔닝될 수 있다.
예에 따르면, 충돌-회피 시스템(100)은 센서 어레이(130)의 카메라(들)로부터 이미지 프레임(151)을 수신하기 위해 카메라 인터페이스(105)를 포함할 수 있다. 카메라 인터페이스(105)는 또한 추가의 카메라(들)(155)로부터 이미지 프레임(156)을 수신할 수 있다. 추가의 카메라(들)(155)는 충돌-회피 시스템(100) 전용인 하나 이상의 카메라 또는 카메라 세트일 수 있다. 카메라(들)(155)는 광각(wide-angle), 전방을 향하는(forward-facing) 카메라를 포함할 수 있다. 카메라(들)(155)로부터 이미지 프레임(156)을 수신함으로써, 충돌-회피 시스템(100)은 센서 어레이(130)의 카메라(들)(150)(또는 센서 어레이(130) 자체)가 오작동할지라도 차량의 경로에 있는 물체와 차량(10)이 충돌하는 것을 방지하도록 작동할 수 있다. 더욱이, 카메라(들)(155)는 충돌-회피 시스템(100)의 시계(field of vision)를 개선하기(예를 들어, 사각 지대를 감소시키고, 화각(angle of view)을 증가시키는 것 등) 위해 카메라(들)(150)와 비교하여 상이한 위치(예를 들어, 차량(10)의 전방 범퍼 상)에 포지셔닝될 수 있다. 일부 구현예에서, 센서 어레이(130)의 카메라(들)(150)는 충돌-회피 시스템(100)에 대한 충분한 신뢰도 및 시계를 제공한다. 이러한 구현예에서, 추가의 카메라(들)(155)는 필요하지 않을 수 있고, 그리고 센서 어레이(130)의 기존 카메라(들)(150)를 활용하는 것을 조합함으로써 충돌-회피 시스템(100)을 구현하기 위한 비용이 감소될 수 있다.
일부 예에 따르면, 카메라 인터페이스(105)는 카메라(150 및 155)로부터 이미지 프레임(151 및 156)을 수신 및/또는 처리하는 FPGA(field programmable gate array) 또는 digital signal processor(DSP)와 함께 제공되는 바와 같은 이미지 프로세싱 리소스를 포함할 수 있다. 예를 들어, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는 이미지 프레임(151 및 156)을 병합하기 위해 이미지 프로세싱 작동을 수행할 수 있다. 충돌-회피 시스템(100)은, 안전 제어 출력을 생성하기 위해서 병합된 이미지 프레임에 대한 이미지 분석을 수행할 수 있다. 대안으로서, 별도의 이미지 분석이 이미지 프레임(151 및 156)에서 수행될 수 있으며, 별도의 이미지 분석의 결과가 안전 제어 출력을 생성하기 위해 조화된다(reconciled). 게다가, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는, 또한, 예를 들어, 미가공 이미지 프레임(151 및 156)의 노출, 명암(contrast), 및 색상 팔레트(color palette)를 조정하기 위해 미가공 이미지 프레임(151 및 156)을 처리하기 위한 이미지 프로세싱 작동을 수행할 수 있다. 이미지 프로세싱 리소스는, 또한, 필터링을 수행하고, 잡음을 감소시키며, 미가공 이미지 프레임(151 및 156)의 크로 핑(cropping) 또는 시프팅(shifting)을 수행할 수 있다. 이미지 프로세싱은, 카메라(150 및 155)에 의해 캡처된 이미지 프레임에서 주행 가능한 공간을 식별할 때 충돌-회피 시스템(100)의 이미지 분석의 이미지 품질을 개선하고 성능 및 정확도를 개선하기 위해 수행될 수 있다. 카메라 인터페이스(105)는 처리된 이미지 프레임(106)을 출력할 수 있다.
일 구현예에서, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는, 처리된 이미지 프레임(106)이 충돌-회피 시스템(100)에 의해 사용되는 기계-학습 모델을 생성하는데 사용되는 트레이닝 데이터 내의 이미지 프레임에 더 유사해지도록 이미지 프레임(151 및 156)의 특정 특성을 수정할 수 있다. 예를 들어, 트레이닝 데이터의 이미지 프레임은 색상 팔레트, 색조, 노출 및 명암과 관련하여 특정 특성을 나타낼 수 있다. 카메라 인터페이스(105)의 이미지 프로세싱 리소스는, 처리된 이미지 프레임(106)이 트레이닝 데이터 이미지 프레임과 비교하여 그 특성이 유사해지도록 이미지 프로세싱 작동을 수행할 수 있다. 특히, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는, 예를 들어, 카메라(150 및 155)에 의해 그리고/또는 차량 환경의 조명 상태에 의해 유발되는 효과를 최소화하기 위해서 처리된 이미지 프레임(106)을 생성하도록 색조 또는 색상 필터를 적용할 수 있다. 예를 들어, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는, 특정 이미지 프레임(151 또는 156)의 명암이 트레이닝 데이터 이미지 프레임의 명암보다 높은 것(예를 들어, 평균 또는 중간 값)으로 판정할 수 있다. 이에 응답하여, 카메라 인터페이스(105)의 이미지 프로세싱 리소스는 처리된 이미지 프레임(106)을 생성하도록 명암을 감소시켜, 이미지 프레임(106)의 명암이 트레이닝 데이터 이미지 프레임의 평균 또는 중간 명암에 더 근접되게 할 수 있다. 이런 식으로, 충돌-회피 시스템(100)에 의해 처리된 이미지 프레임(106)에서 주행 가능한 공간의 식별에 관한 정확성 및 일관성이 개선될 수 있다.
실시예에 따르면, 충돌-회피 시스템(100)은 카메라 인터페이스(105)로부터 처리된 이미지 프레임(106)을 수신하고 분석하는 이미지 분석부(image analysis)(110)를 포함한다. 다양한 양상들에서, 이미지 분석부(110)는, 처리된 이미지 프레임들(106)을 분석하고 처리된 이미지 프레임들(106) 내의 적절한 픽셀을 주행 가능한 공간으로 표시하는 것으로 라벨링함으로써 처리된 이미지 프레임들(106)에 나타낸 주행 가능한 공간을 식별할 수 있다. 예를 들어, 차량(10)이 주행중인 포장된 도로에 대응하는 픽셀은, 주행 가능한 공간으로서 이미지 분석부(110)에 의해 라벨링될 수 있다. 대조적으로, 처리된 이미지 프레임(106)에서 캡처된 보행자에 대응하는 픽셀은, 주행 가능한 공간으로서 이미지 분석부(110)에 의해 라벨링되지 않을 것이다. 일부 구현예에서, 이미지 프레임(106)에서 캡처된 보행자, 다른 차량, 대상, 또는 장애물에 해당하는 픽셀이, 이미지 분석부(110)에 의해 주행-불가능한 공간으로 라벨링될 것이다.
일부 예에서, 이미지 분석부(110)는 기계-학습 모델(machine-learned model)(112)을 사용하여 처리된 이미지 프레임(106)을 분석할 수 있다. 기계-학습 모델(112)은 트레이닝 데이터에 기초하여 생성될 수 있고 통신 인터페이스(도 1에 도시되지 않음)를 통해 차량(10)에 의해 수신될 수 있다. 통신 인터페이스는, 무선 접속(예를 들어, 셀룰러 링크, Wi-Fi 링크 등) 또는 물리적 상호 접속(예컨대, USB 접속)을 통해 기계-학습 모델(machine-learned model)(112)에 대응하는 데이터를 수신할 수 있다. 모델(112)에 대응하는 데이터는 충돌-회피 시스템(100)에 액세스 가능한 차량(10) 상의 하나 이상의 저장 디바이스에 저장될 수 있다. 모델(112)은 갱신된 트레이닝 데이터에 기초하여 주기적으로 갱신되고 차량(10)에 의해 수신될 수 있다. 이런 식으로, 이미지 분석부(110) 및 충돌-회피 시스템(100)의 성능은 부가적인 트레이닝 데이터가 수집될 때 시간에 걸쳐 개선될 수 있다.
다양한 양상들에서, 트레이닝 데이터는 트레이닝(training) 이미지 프레임을 포함할 수 있다. 트레이닝 이미지 프레임은 실제 도로 조건을 묘사할 수 있으며 카메라(150 및 155)와 유사한 카메라에 의해 캡처된 이미지일 수 있다. 예를 들어, 차량의 플릿(fleet of vehicles) 상의 카메라는 차량이 실제 상태 하에서 작동할 때 트레이닝 이미지 프레임을 캡처할 수 있다. 트레이닝 이미지 프레임은 분석될 수 있고 트레이닝 이미지 프레임 내의 주행 가능한 공간이 식별될 수 있다. 예를 들어, 트레이닝 이미지 프레임의 적절한 픽셀은 주행 가능한 공간을 나타내는 것으로 라벨링될 수 있다. 트레이닝 이미지 프레임의 분석은, 사람의 관리(human supervision), 보정, 및/또는 품질 검사를 통해 프로그래밍 가능하게 수행될 수 있다. 경우에 따라, 트레이닝 데이터는 센서 데이터를 포함할 수 있다. 예를 들어, 각각의 트레이닝 이미지 프레임은 LIDAR 센서 데이터 세트와 연관될 수 있다. LIDAR 센서 데이터의 세트는, 연관된 트레이닝 이미지 프레임이 캡처되었던 시간에서 취해진 LIDAR 측정을 나타낼 수 있다. LIDAR 데이터는 트레이닝 이미지의 분석에 도움이 될 수 있다. 예를 들어, LIDAR 측정은 주행 가능한 공간으로 라벨링되어서는 안되는 트레이닝 이미지 프레임에 나타낸 물체를 식별하는 데 사용될 수 있다.
실시예에 따르면, 모델(112)은 트레이닝 데이터를 사용하여 생성된 합성곱 신경망(convolutional neural network; CNN)일 수 있다. CNN 모델(112)은 복수의 층을 포함할 수 있으며, 각각의 층은 복수의 인공 뉴런(artificial neurons)을 포함할 수 있다. CNN 모델(112)을 사용하면, 이미지 분석부(110)는 처리된 이미지 프레임(106)의 영역이 주행 가능한 공간을 나타내는지의 여부를 판정할 수 있다. 일부 예에서, 이미지 분석부(110)는 처리된 이미지 프레임(106)의 특정 영역이 주행 가능한 공간을 나타내는 가능성(likelihood)(예를 들어, 신뢰성 스코어(confidence score))을 판정할 수 있다. 게다가, 이미지 분석부(110)의 상이한 구현예는 상이한 레벨의 해상도 또는 세부 사항에서 분석을 수행할 수 있다. 일부 구현예에서, 이미지 분석부(110)는 주행 가능한 공간을 나타내는 처리된 이미지 프레임(106)의 각각의 개별 픽셀의 가능성을 판정하기 위해서 처리된 이미지 프레임(106)을 분석할 수 있다. 다른 구현예에서, 이미지 분석부(110)는 주행 가능한 공간을 나타내는 픽셀의 그룹(예를 들어, 10 픽셀의 인접한 그룹)의 확률을 판정하기 위해 보다 낮은 해상도 또는 세부 사항에서 분석을 수행할 수 있다.
이미지 분석부(110)는 처리된 이미지 프레임(106)에서 나타낸 주행 가능한 공간을 식별하는 라벨(111)을 생성할 수 있다. 일부 구현예에서, 라벨(111)은 이미지 분석부(110)에 의해 매트릭스 데이터 구조로서 출력될 수 있다. 라벨(111)의 매트릭스 데이터 구조의 각각의 값은, 대응하는 처리된 이미지 프레임(106)의 픽셀(또는 픽셀 그룹)의 라벨에 대응할 수 있다. 예를 들어, 3840 × 2160 픽셀의 해상도를 갖는 처리된 이미지 프레임(106)에 대해, 이미지 분석부(110)에 의해 판정된 대응하는 라벨(111)은 3840 × 2160 데이터 값을 갖는 매트릭스 데이터 구조일 수 있으며, 각각의 데이터 값은 처리된 이미지 프레임(106)의 대응하는 픽셀에 대해 판정된 주행 가능한 공간 라벨을 나타낸다. 일부 구현예에서, 처리된 이미지 프레임(106) 및 대응하는 라벨(111)은 하나의 데이터 구조(예를 들어, 다차원 어레이 또는 매트릭스)로서 저장될 수 있다.
충돌-회피 시스템(100)은, 처리된 이미지 프레임(106)의 라벨링시에 보정을 수행하는 보정 유닛(115)을 포함할 수 있다. 이렇게 함으로써, 보정 유닛(115)은 이미지 분석부(110)에 의해 판정된 처리된 이미지 프레임(106) 및 대응하는 라벨(111) 둘 모두를 수신할 수 있다. 일 구현예에서, 보정 유닛(115)은 처리된 이미지 프레임(106) 내의 이상치 라벨(outlier label)을 제거하기 위해 다수의 처리된 이미지 프레임(106) 및 그들과 연관된 라벨(111)을 검사할 수 있다. 예를 들어, 하나의 특정 처리된 이미지 프레임(106)은 주행 가능한 공간으로 라벨링된 다른 영역(들)에 의해 둘러싸인 주행 가능한 공간으로서 라벨링되지 않는 작은 영역(예를 들어, 단일 픽셀, 작은 픽셀 군)을 가질 수 있다. 이러한 경우에, 보정 유닛(115)은 이미지 분석부(110)에 의해 주행 가능한 공간으로 라벨링되지 않은 (또는 주행-불가능한 공간으로 라벨링된) 작은 영역이 이상치이고 충돌-회피 시스템(100)에 의해 무시될 수 있는 것으로 판정할 수 있다. 이러한 이상치는 이미지 분석부(110)에 의해 검출되는 처리된 이미지 프레임(106)에서 나타낸 도로 상의 작은 (그리고 위협적이지 않은) 물체들로부터 유발될 수 있다. 다른 예로서, 보정 유닛(115)은 충돌-회피 시스템(100)에 의해 무시될 수 있는 이상치를 식별하기 위해 거의 동시에 캡처된 다수의 처리된 이미지 프레임(106)에 대해 생성된 라벨(111)을 비교할 수 있다. 이상치 및 다른 라벨링 에러의 제거시에, 보정 유닛(115)은 보정된 라벨(116)을 생성할 수 있다.
실시예에 따르면, 충돌-회피 시스템(100)은 차량(10)을 포함하는 전방 충돌(forward-direction collision)이 발생 하는지의 여부를 판정하는 충돌 분석부(impact analysis)(120)를 포함할 수 있다. 충돌 분석부(120)는 AV 제어 데이터(86) 및 차량 데이터(88) 및 처리된 이미지 프레임(106) 및/또는 보정된 라벨(116)을 포함하는 차량(10)의 현재 궤도, 속도, 및 제어에 관한 정보에 기초하여 그렇게 할 수 있다. 처리된 이미지 프레임(106) 및/또는 보정된 라벨(116)에 기초하여, 충돌 분석부(120)는 처리된 이미지 프레임(106)에서 주행-불가능한 공간의 각각의 영역에 대한 공간 파라미터를 판정할 수 있다. 공간 파라미터는, 차량(10)에 대한 포지션, 차량(10)으로부터의 거리, (이동하는 물체에 대한) 이동 속도 및 (또한, 이동하는 물체에 대한) 이동 방향을 포함할 수 있다. 충돌이 발생하려는 것에 응답하여, 충돌 분석부(120)는 제어기(125)에 대한 충돌 파라미터를 생성할 수 있다. 제어기는 충돌-회피 제어부(124)를 생성하여 주행-불가능한 공간과의 충돌을 회피하거나 임의의 그러한 충돌의 영향을 최소화하도록 차량(10)의 다양한 서브-시스템을 제어할 수 있다. 충돌-회피 제어부(124)는 스로틀 제어부(126), 조향 제어부(127), 브레이크 제어부(128), 및 보조 제어부(129)를 포함할 수 있다.
자율 주행 가능 차량 설명
도 2는, 본원에 설명된 예들에 따라, 충돌-회피 시스템의 구현예를 포함하는 자율 주행 가능 차량의 일례를 예시한다. 도 2의 하기의 논의에서, 도 1과 관련하여 도시되고 설명된 특징 및 예가 참조될 수 있다. 예를 들어, 도 2에 예시된 차량(200)은 도 1의 차량(200)일 수 있다. 게다가, 도 2의 충돌-회피 시스템(250)은 도 1과 관련하여 예시되고 설명된 충돌-회피 시스템(100)일 수 있다.
도 2에 예시된 예에서, 차량(200)은 반자율 및/또는 완전 자율 작동 모드에서 차량의 작동을 제어할 수 있는 자율 주행 차량(autonomous vehicle; AV) 제어 시스템(210)을 포함한다. 이러한 작동 모드에서, AV 제어 시스템(210)은 차량의 작동 중 하나 이상의 양상을 제어하는 제어 신호를 생성하기 위해 차량의 센서로부터 센서 출력을 수신한다. AV 제어 시스템(210)은 프로세싱 리소스(211)와 저장 리소스의 조합을 사용하여 구현될 수 있으며, 하나 이상의 범용 CPU, 전용 GPU, 및 메모리 소자를 포함할 수 있다. 프로세싱 리소스(211)는 중앙 집중화되고, 분산되고 그리고/또는 특정 리소스에 전용인 리소스를 포함할 수 있다. 작동시, AV 제어 시스템(210)의 프로세싱 리소스(211)는 정상 작동의 일부로서 모델, 의사 결정 알고리즘(decision making algorithms), 라우팅(routing) 및 궤도 판정, 외부 통신 및 다양한 다른 프로세스를 구현할 수 있다.
차량의 센서는 차량의 최상부에 포지셔닝된 센서 어레이(215)를 포함할 수 있다. 센서 어레이(215)는 LIDAR 측정을 생성하는 LIDAR 센서(216) 및 이미지 프레임을 캡처하기 위한 하나 이상의 카메라(217)를 포함할 수 있다. 하나 이상의 카메라(217)는, 집합적으로, 차량(200) 주위에 360°의 원근감을 나타내는 이미지 프레임을 생성할 수 있다. 하나 이상의 카메라(217)는, 입체 카메라 쌍, 비디오 카메라, 적외선 카메라, 및/또는 다른 특수 이미지 캡처 디바이스를 포함할 수 있다. 센서 어레이(215)는, 레이더, 초음파 거리 측정 센서(ultrasonic ranging sensor) 등과 같은 다른 거리 측정 또는 검출 센서를 더 포함할 수 있다. 게다가, 레이더, 초음파 센서, 소나(sonar) 또는 다른 유형의 검출기와 같은 주변 센서가 센서 어레이(215)의 임의의 사각 지대(blind spot)를 커버하도록 차량(200)에 대한 적합한 위치(예를 들어, 전방 범퍼, 범퍼 모서리, 측면 펜더(side fenders), 거울, 후방 범퍼 등)에 대한 적절한 위치에 포지셔닝될 수 있다. 예를 들어, 다수의 레이더 센서(218)가 차량의 둘레 주위에 분배될 수 있다. 전방을 향하는 카메라(220)가 또한 차량의 전방 범퍼 상에 포지셔닝될 수 있다. 다른 카메라가, 차량의 외부에, 또는 윈드실드의 내부 안쪽에 장착될 수 있다.
차량(200)은 차량 제어 서브시스템(202, 204, 206, 208)으로서 지칭되는 작동 피쳐(또는 디바이스)를 포함할 수 있다. 차량 제어 인터페이스는, 스로틀 제어 서브시스템(202), 조향 제어 서브시스템(204), 제동 제어 서브시스템(206) 및 보조 제어 서브시스템(208)을 포함할 수 있다. 서브시스템은 차량(200)의 제어 인터페이스(예컨대, 도 1의 인터페이스(92, 94, 96 및 98))에 의해 제어될 수 있다. 도시된 작동 피처는 단지 예일 뿐이며, 차량(200)의 더 많거나 더 적은 작동 피처가 전술된 바와 같은 예에 대한 변형예와 함께 활용될 수 있다. 도 2의 예에서, 작동 양상(operational facets)은 차량(200)의 개별 제어 시스템에 의해 명령되거나 달리 제어될 수 있는 인터페이스로 표시된다.
일부 예에 따르면, 프로세싱 리소스(211)는, 차량이 자율적으로 또는 반자율적으로 작동함에 따라 차량(200)의 개별 차량 제어 서브시스템(202, 204, 206, 208)을 연속적으로 생성하고 신호를 보내도록, 도 2에서 제어부(212)로서 도시된 제어 파라미터를 제공하는 하나 이상의 프로세서 및/또는 프로그램식 및 하드웨어 인터페이스를 포함할 수 있다. 따라서, 예를 들어, 제어부(212)는 프로세싱 리소스(211)(및 AV 제어 시스템(210))로부터 각각의 차량 제어 인터페이스(202, 204, 206, 208)까지 통신될 수 있다. 프로세싱 리소스(211)는 차량에 대한 하나 이상의 궤도를 판정할 수 있고, 그리고 그 다음에 제어부(212)를 통해 궤도를 구현할 수 있다. 궤도는 주어진 미래 간격(future interval) 동안 차량의 하나 또는 다수의 가능한 궤도를 규정할 수 있다. 예를 들어, 궤도는 차량의 하나 이상의 주 궤도 및/또는 AV 제어 시스템(210)이 급변하는 고장(cataclysmic failure)을 겪은 경우에 차량이 구현해야 하는 고장 안전(failsafe) 궤도를 포함할 수 있다.
도 2의 예에서, 차량(200)은 차량(200)의 하나 이상의 작동 피처를 독립적으로 제어하는 충돌-회피 시스템(250)을 포함한다. 이렇게 함으로써, 충돌-회피 시스템(250)은 카메라(217 및 220)로부터 이미지 프레임을 연속적으로 수신할 수 있다. 충돌-회피 시스템(250)은, 차량(200)이 주행-불가능한 공간의 영역(예를 들어, 다른 차량, 연석, 보행자, 자전거를 타는 사람 등)에 충돌할 가능성이 있는지를 판정하기 위해서, 수신된 이미지 프레임을 분석할 수 있다. 이러한 판정에 응답하여, 충돌-회피 시스템(250)은 그러한 충돌을 회피하거나 최소화하기 위해서 충돌-회피 제어를 생성할 수 있다. 충돌-회피 시스템에 의해 생성된 충돌-회피 제어는, 차량의 다른 제어 시스템(예를 들어, AV 제어 시스템(210)) 또는 사람 조작자 입력과 독립적으로 차량(200)의 하나 이상의 작동 피처를 제어할 수 있다. 일 구현예에서, 충돌-회피 시스템(250)은 충돌이 발생할 가능성이 있다고 판정할 때 제동 제어 서브시스템(206)을 통해 차량(200)의 브레이크에 독립적으로 맞물릴 수 있다. 다른 구현예에서, 충돌-회피 시스템(250)은, 독립적으로, 조향 제어 서브시스템(204)을 통해 차량(200)의 조향을 제어하고 제동 제어 서브시스템(206)을 통해 차량(200)의 브레이크에 맞물릴 수 있다. 게다가, 충돌-회피 시스템(250)은 스로틀 제어 서브시스템(202)에 의해 수신된 제어를 무시하여 충돌이 임박하거나 또는 발생할 가능성이 있다고 판정할 때 차량의 스로틀을 맞물림해제할 수 있다. 따라서, 사람 조작자 입력 및/또는 AV 제어 시스템(210)은 충돌-회피 시스템(250)에 의해 무시될 수 있다.
충돌-회피 시스템(250)에 의해 수행되는 기능들은 다음을 포함할 수 있다 : 카메라(217, 220)로부터 이미지 프레임을 연속적으로 수신하는 것; 이미지 프레임들 각각에 나타낸 주행 가능한 공간을 식별하기 위해 수신된 이미지 프레임들을 분석하는 것; 차량(200)으로부터 주행-불가능한 공간의 각각의 영역(예를 들어, 주행 가능한 공간으로 식별되지 않는 영역)의 각각의 거리 및 방향을 판정하기 위해 공간 분석을 수행하는 것; 차량(200)이 판정된 거리 및 방향에 기초하고 그리고 차량 데이터(예를 들어, 속도, 궤도, 가속도 등)에 기초하여 주행-불가능한 공간의 각각의 영역에 충돌할 각각의 확률을 판정하는 것; 충돌의 확률에 기초하여, 충돌을 완화, 최소화 또는 회피하기 위해서 충돌-회피 제어부(254)를 판정하는 것. 각각의 수신된 이미지 프레임에서 주행 가능한 공간의 식별은, 하나 이상의 기계-학습 모델을 적용함으로써 수행될 수 있다. 기계-학습 모델을 사용하면, 충돌-회피 시스템(250)이 각각의 이미지 프레임의 각각의 픽셀(또는 각각의 픽셀 그룹)이 주행 가능한 공간을 나타내는 확률을 판정할 수 있다. 해당 확률이 임계값(threshold)을 초과하는 픽셀은 "주행 가능한 공간"으로서 라벨링될 수 있다. 반대로, 해당 확률이 임계값 미만인 픽셀은 "주행-불가능한 공간"으로서 라벨링될 수 있다.
충돌-회피 시스템(250)은 프로세싱 리소스(251)와 메모리 리소스(252)의 조합을 사용하여 구현될 수 있다. 프로세싱 리소스(251)는 하나 이상의 범용 CPU, 하나 이상의 전용 프로세서(예를 들어, GPU), 및 다른 국부화된 또는 분배된 프로세싱 리소스를 포함할 수 있다. 메모리 리소스(252)는 수신된 이미지 프레임들을 분석하고 수신된 이미지 프레임들 각각에 나타낸 주행 가능한 공간 및 주행-불가능한 공간을 식별하는데 사용되는 하나 이상의 기계-학습 모델에 대응하는 데이터를 저장하는데 사용될 수 있다. 메모리 리소스(252)는 수신된 이미지 프레임들을 저장하기 위한 캐시 메모리(cache memory)를 더 포함할 수 있다. 예를 들어, 수신된 이미지 프레임은 분석되어 캐시 메모리에 저장될 수 있다. 이런 식으로, 일정 시간 기간에 걸쳐 수신된 다수의 이미지 프레임을 요구하는 작동(예를 들어, 보정 작동)은 충돌-회피 시스템(250)에 의해 수행될 수 있다.
일부 구현예에 따르면, 스로틀(202), 조향부(204), 제동부(206), 및 보조부(208) 각각은 충돌-회피 시스템(250)의 출력(예를 들어, 충돌 회피 제어부(254))에 의해 독립적으로 제어될 수 있다. 충돌 회피 제어부(254)는, AV 제어 시스템(210)(예를 들어, AV 제어부(212)) 또는 사람 조작자 입력에 의해 생성된 제어부와 같은 차량 제어 서브시스템(202, 204, 206, 208)에 대한 임의의 다른 입력을 무시할 수 있다. 이런 식으로, 충돌-회피 시스템(250)에 의해 임박한 충돌이 검출되지 않을 때, 차량(200)은 차량(200)의 사람 조작자에 의해 또는 AV 제어 시스템(210)에 의해 제어된다. 충돌-회피 시스템(250)이 임박한 충돌을 검출하고 충돌 회피 제어부(254)를 생성하자마자, 차량의 작동 중 하나 이상의 양상은 충돌-회피 시스템(250)의 출력부에 의해 제어된다.
일례에서, 충돌-회피 시스템(250)은 AV 제어 시스템(210)에 개입하여 무시할지의 여부를 판정하기 위해 AV 제어 시스템(210)으로부터 실시간 데이터 및 분석을 수신하도록 구성될 수 있다. 예를 들어, 충돌-회피 시스템(250)은 AV 제어 시스템(210)에 의해 검출된 물체 및 장애물에 관한 데이터 및 정보를 수신하도록 구성될 수 있다. 수신된 데이터 및 정보가 충돌-회피 시스템(250)에 의해 수행된 분석과 상충한다면(예를 들어, 충돌-회피 시스템(250)이 AV 제어 시스템(210)에 의해 식별되지 않은 물체와 임박한 충돌을 검출한다면), 충돌-회피 시스템(250)은 AV 제어 시스템(210)(예를 들어, AV 제어부(212))의 출력을 무시하기 위해 충돌-회피 제어부(254)하도록 판정할 수 있다. 다른 한편으로, AV 제어 시스템(210)으로부터 수신된 데이터 및 정보가 충돌-회피 시스템(250)에 의해 수행된 분석과 합동이라면, 충돌-회피 시스템(250)은 AV 제어 시스템(210)으로 하여금 AV 제어부(212)를 통한 잠재적인 충돌을 회피하기 위해서 차량(200)을 제어하는 것을 허용하도록 판정할 수 있다. 게다가, AV 제어 시스템(210)으로부터 수신된 데이터는 AV 제어 시스템(210)의 강건함(health)에 관한 데이터를 포함할 수 있다. 예를 들어, AV 제어 시스템(210)이 급변하는 소프트웨어 또는 하드웨어 고장을 경험하고 있음을 나타내는 데이터를 수신하자마자, 충돌-회피 시스템(250)은 중재하여 차량(200)의 작동의 하나 이상의 양상을 제어하도록 개입할 수 있다.
실시예에 따라, AV 제어 시스템(210)은 충돌-회피 시스템(250)과 별도이며 독립적인 프로세싱 리소스(211)(예를 들어, 차량(200)의 트렁크에 위치된 채 도시됨)를 사용하여 구현될 수 있다. 마찬가지로, 충돌-회피 시스템(250)의 프로세싱 리소스(251)는 AV 제어 시스템(210)의 리소스와는 별도이며 독립적인 리소스를 나타낼 수 있다. 따라서, 예를 들어, 프로세싱 리소스(211) 및 프로세싱 리소스(251)는 별도의 (i) 프로그래밍 또는 논리 플랫폼 및 아키텍처, (ii) 입력 센서(예를 들어, 카메라), 및 (iii) 각각의 시스템 또는 유닛에 의해 제어될 그러한 차량 인터페이스들을 포함하는 차량(200)의 다른 구성요소들과 통신하기 위한 통신 버스를 활용할 수 있다. 예를 들어, 차량(200)의 전방 범퍼 상의 카메라(220)는 충돌-회피 시스템(250) 전용일 수 있다. 일부 변형예에서, AV 제어 시스템(210) 및 충돌-회피 시스템(250)은 별도의 전력 버스 또는 전력원뿐만 아니라 별도의 하우징을 포함할 수 있다. 이런 식으로, AV 제어 시스템(210)에 영향을 미치는 임의의 하드웨어 또는 전력 장애가 포함될 수 있고 그리고 충돌-회피 시스템(250)에 영향을 주지 않을 것이다.
다른 구현예에서, AV 제어 시스템(210) 및 충돌-회피 시스템(250)은 물리적 프로세싱 리소스 및 메모리 리소스를 공유할 수 있다. 환언하면, 프로세싱 리소스(211) 및 프로세싱 리소스(251)는 하나 이상의 공유된 물리적 프로세서(예를 들어, CPU, GPU 등) 상에 구현될 수 있다. 이러한 구현예에서, AV 제어 시스템(210) 및 충돌-회피 시스템(250)의 기능을 구현하는 소프트웨어 명령 및 모듈은, 그럼에도 불구하고, 하나 이상의 공유된 물리적 프로세서에 의해 별도로 유지되고 실행될 수 있다. 일 예에서, 하나 이상의 공유된 물리 프로세서는 AV 제어 시스템(210)의 기능에 대응하는 소프트웨어 명령을 실행하기 위해 논리 코어의 제 1 세트를 구현하고, 충돌-회피 시스템(250)의 기능에 대응하는 소프트웨어 명령을 실행하기 위해 논리 코어의 제 2 세트를 구현한다. 이런 식으로, AV 제어 시스템(210)을 구현하는 소프트웨어의 소프트웨어 및 논리적 고장은 AV 제어 시스템(210) 자체의 기능에 포함되며, 충돌-회피 시스템(250)의 기능에 영향을 주지 않는다. 다른 예에서, 충돌-회피 시스템(250)에 대응하는 소프트웨어 명령은 AV 제어 시스템(210)을 포함하는, 하나 이상의 공유된 물리 프로세서를 활용하는 차량(200)의 다른 시스템에 대응하는 소프트웨어 명령보다 높은 우선 순위 레벨에서 하나 이상의 공유된 물리 프로세서에 의해 실행될 수 있다. 이는, 충돌-회피 시스템(250)에 의해 수행되는 프로세싱(예를 들어, 이미지 프레임 분석, 주행 가능한 그리고 주행-불가능한 공간 식별, 공간 분석, 방향 분석)이 차량(200)의 주행 경로에서 검출된 물체와의 잠재적인 충돌을 회피하거나 완화시키기 위해 실시간으로 수행되는 것을 보장할 수 있다.
게다가, 차량(200)은 충돌-회피 시스템(250)에 의해 수행된 분석에 사용된 하나 이상의 기계-학습 모델에 대응하는 데이터를 수신하기 위해 하나 이상의 통신 인터페이스(도 2에 도시되지 않음)를 포함할 수 있다. 통신 인터페이스는, 셀룰러(예를 들어, 4G, 5G, LTE 등), Wi-Fi, 및 유선(wired) 인터페이스(예를 들어, 와이어라인(wireline) 데이터 커넥터)를 포함할 수 있다. 이런 식으로, 기계-기계-학습 모델은 추가적인 트레이닝 데이터를 기반으로 주기적으로 업데이트될 수 있다.
트레이닝 데이터 프로세싱 시스템의 설명
도 3은, 본원에서 설명된 예들에 따라, 트레이닝 이미지 프레임 및 다른 트레이닝 데이터를 수신하고 처리하는 예시적인 트레이닝 데이터 프로세싱 시스템을 예시하는 블록 선도이다. 도 3의 아래의 논의에서, 도 1 내지 도 2와 관련하여 설명된 특징 및 예가 참조될 수 있다. 예를 들어, 도 3의 트레이닝 데이터 프로세싱 시스템(300)과 통신하는 자율 주행 가능 차량(390)은 도 1의 자율 주행 가능 차량(10) 또는 도 2의 자율 주행 가능 차량(200)일 수 있다.
도 3을 참조하면, 트레이닝 데이터 프로세싱 시스템(300)은, 자율 주행 가능 차량(390) 내의 충돌-회피 시스템에서 사용하기 위한 이미지 프레임에서 주행 가능한 공간을 식별하기 위한 기계-학습 모델을 생성 또는 업데이트하기 위해 트레이닝 데이터(376)를 수신할 수 있다. 트레이닝 데이터 프로세싱 시스템(300)은, 트레이닝 이미지 프레임(377), 연관된 센서 데이터(378), 및 연관된 위치 데이터(379)를 포함하는 트레이닝 데이터(376)를 수신하기 위한 데이터 수집 인터페이스(310)를 포함할 수 있다. 트레이닝 데이터 수집 차량(375)이 도로(roadway)를 가로지름에 따라 트레이닝 이미지 프레임(377), 센서 데이터(378), 및 위치 데이터(379)를 연속적으로 캡처하기 위해, 다양한 센서 및 카메라를 운반하는 복수의 트레이닝 데이터 수집 차량(375)으로부터 트레이닝 데이터(376)가 수신될 수 있다. 트레이닝 데이터 수집 차량(375)은, 트레이닝 데이터(376)를 사용하여 생성된 기계-학습 모델을 수신하는 자율 주행 가능 차량(390)에 의해 탑재된 센서와 유사한 센서(예를 들어, 카메라, LIDAR, 레이더, 소나, GPS 등)를 포함할 수 있다. 각각의 캡처된 트레이닝 이미지 프레임(377)은 센서 데이터의 세트(378)(예를 들어, LIDAR 측정, 레이더 측정, 소나 측정 등) 및 위치 데이터의 세트(379)(예를 들어, GPS 데이터)와 연관될 수 있다. 트레이닝 데이터(376)는, 셀룰러 데이터 네트워크(예를 들어, LTE, HSPA)와 같은 네트워크(380)를 통해 트레이닝 데이터 수집 차량(375)으로부터 트레이닝 데이터 프로세싱 시스템(300)에 의해 수신될 수 있다. 다른 구현예에서, 트레이닝 데이터(376)는, 또한, 트레이닝 데이터 수집 시스템(300)에 의해 트레이닝 데이터 수집 차량(375)와의 물리적 링크(예를 들어, 시리얼 버스 연결)를 통해 수신될 수 있다. 트레이닝 데이터(376)는, 또한, 데이터 저장 매체(예를 들어, 플래시 메모리 카드)를 통해 조작자 또는 관리자에 의해 트레이닝 데이터 프로세싱 시스템(300)으로 전송될 수 있다.
일부 예에서, 트레이닝 데이터 수집 차량(375)은 사람 운전자에 의해 작동된다. 다른 예에서, 트레이닝 데이터 수집 차량(375)은 자율적으로 또는 반-자율적으로 작동될 수 있는 자율 주행 가능 차량일 수 있다. 또한 추가로, 트레이닝 데이터 프로세싱 시스템(300)에 의해 생성된 기계-학습 모델을 수신하는 자율 주행 가능 차량(390)은 트레이닝 데이터 프로세싱 시스템(300)에 트레이닝 데이터(376)를 또한 전송할 수 있다. 사실상, 더욱 더 많은 자율 주행 가능 차량(390)이 배치됨에 따라, 차량의 충돌-회피 시스템에 사용되는 기계-학습 모델을 개선하기 위해, 더 많은 트레이닝 데이터(376)가 트레이닝 데이터 프로세싱 시스템(300)에서 이용가능할 수 있다.
실시예에 따르면, 트레이닝 데이터 프로세싱 시스템(300)은 트레이닝 데이터(376)를 수신하고 처리하기 위한 데이터 수집 인터페이스(310)를 포함한다. 데이터 수집 인터페이스(310)는 수신된 트레이닝 이미지 프레임(377)을 전처리(pre-process)하기 위한 이미지 필터(image filter)(311)를 포함할 수 있다. 이미지 필터(311)는, 결과적인 트레이닝 이미지 프레임(377)이 그러한 특성에서 일반적으로 균일하도록, 트레이닝 이미지 프레임(377)의 색조, 색상, 명암, 및 노출을 변경하는 것을 포함하는 다수의 전처리 작동을 수행할 수 있다. 이미지 필터(311)는, 또한, 과다 노출, 손상, 또는 사용 불가능한 이미지 프레임과 같은 기계-학습 모델을 트레이닝하기에 부적합한 트레이닝 이미지 프레임(377)을 검출하고 필터링할 수 있다.
본원에서 설명된 예에서, 트레이닝 데이터 프로세싱 시스템(300)은, 필터링된 트레이닝 이미지 프레임(377) 및 연관된 센서 데이터(378) 및 위치 데이터(379)를 포함하는, 트레이닝 데이터(376)를 수신하는 관리된(supervised) 트레이닝 서브-시스템(330)을 포함할 수 있다. 관리된 트레이닝 서브-시스템(330)은, 관리된 트레이닝 결과(331)를 생성하며, 이를 사용하여 트레이닝 데이터 프로세싱 시스템(300)의 모델 생성기(360)는 자율 주행 가능 차량(390)의 충돌-회피 시스템에서 사용하기 위한 이미지 프레임에 나타낸 주행 가능한 공간을 식별하기 위한 기계-학습 모델을 생성하거나 업데이트할 수 있다. 관리된 트레이닝 결과(331)는 주행 가능한 공간을 위해 라벨링된 이미지 프레임을 포함할 수 있다. 예를 들어, 각각의 이미지 프레임의 각각의 영역(예를 들어, 픽셀, 픽셀 그룹 등)은 주행 가능한 공간 또는 주행-불가능한 공간을 나타내는 것으로서 대응하는 영역을 식별하는 연관된 라벨을 가질 수 있다. 관리된 트레이닝 결과를 생성하기 위해, 관리된 트레이닝 서브-시스템(330)은 다수의 분석 방법을 수행할 수 있고, 각각은 이미지 프레임의 특정 유형의 특징을 식별하는데 효율적이다. 예를 들어, 관리된 트레이닝 서브-시스템(330)은 이미지 프레임(377)과 연관된 센서 데이터(378)에 기초하여 트레이닝 이미지 프레임(377)의 영역을 라벨링하는 이미지 분석기(센서 데이터)(335)를 포함할 수 있다. 335에 의해 수행된 이미지 분석은, 비-정지(non-stationary) 피처(예를 들어, 보행자, 다른 차량 등)를 식별하는 데 특히 효과적일 수 있다. 관리된 트레이닝 서브-시스템(330)은 트레이닝 이미지 프레임(377)과 연관된 위치 데이터(379)에 기초하여 트레이닝 이미지 프레임(377)의 영역을 라벨링하는 이미지 분석기(위치 데이터)(340)를 더 포함할 수 있다. 340에 의해 수행된 이미지 분석은, 위치 또는 맵핑 데이터베이스에 저장된 정지(stationary) 피처(예를 들어, 보도, 건물, 포장된 도로 표면)를 식별하는 데 특히 효과적일 수 있다. 관리된 트레이닝 서브-시스템은 기존의 기계-학습 모델에 기초하여 트레이닝 이미지 프레임을 식별하고 라벨링하는 이미지 분석(모델)(345)을 더 포함할 수 있다. 게다가, 관리된 트레이닝 서브-시스템(330)은 트레이닝 이미지 프레임(377)의 라벨 영역에 대한 조작자 입력을 수신하거나 분석기(335 및 340)에 의해 수행된 라벨링을 보정하거나 보완하는 관리 모듈(supervisory module)(355)을 더 포함할 수 있다.
특정 구현예에서, 이미지 분석기(센서 데이터)(335)는 트레이닝 이미지 프레임(377)과 연관된 센서 데이터(378)에 기초하여 주행 가능한 공간 및/또는 주행-불가능한 공간을 위해 트레이닝 이미지 프레임(377)에 라벨링할 수 있다. 이 프로세스의 일부로서, 이미지 분석기(센서 데이터)(335)는 연관된 라벨 매트릭스를 갖는 이미지 파일일 수 있는 라벨링된 이미지(336)를 생성할 수 있다. 트레이닝 데이터 수집 차량(375)에 의해 캡처된 특정 트레이닝 이미지 프레임(377)에 대해, 이미지 분석기(센서 데이터)(335)는 특정 트레이닝 이미지 프레임(377)이 캡처되었던 시간에 트레이닝 데이터 수집 차량(375)의 센서에 의해 취해진 LIDAR, 소나, 레이더 측정을 포함할 수 있는 연관된 센서 데이터 세트(378)의 세트를 분석한다. 센서 데이터(378)를 사용하여, 이미지 분석기(센서 데이터)(335)는 트레이닝 이미지 프레임(377)에 나타낸 물체를 그리고 주행 불가능한 공간과 같은 그러한 물체에 대응하는 트레이닝 이미지 프레임(377)의 라벨 영역을 식별할 수 있다. 센서 데이터(378)를 사용하여 검출된 물체에 대응하지 않는 트레이닝 이미지 프레임(377)의 영역은 주행 가능한 공간으로 라벨링될 수 있다. 이미지 분석기(센서 데이터)(335)는 트레이닝 이미지 프레임(377)에 나타낸 도로 상의 보행자, 다른 차량, 벽, 또는 움직이는 물체를 식별하는데 사용될 수 있다. 특정 예에서, 이미지 분석기(센서 데이터)(335)는 트레이닝 이미지 프레임(377)에 나타낸 도로 표면 유형을 판정하도록 이미지 인식을 수행하고 그리고 그 판정에 따라 라벨링을 수행할 수 있다. 예를 들어, 이미지 분석기(센서 데이터)(335)는 보도(주행-불가능한 공간)와 포장된 도로(주행 가능한 공간)를 구별할 수 있다.
실시예에 따르면, 이미지 분석기(위치 데이터)(340)는 트레이닝 이미지 프레임(377)과 연관된 위치 데이터(379)에 기초하여 주행 가능한 및/또는 주행-불가능한 공간을 위한 트레이닝 이미지 프레임(377)을 라벨링할 수 있다. 이미지 분석기(센서 데이터)(335)와 유사하게, 이미지 분석기(위치 데이터)(340)는 라벨링된 이미지(341)를 생성할 수 있다. 트레이닝 데이터 수집 차량(375)에 의해 캡처된 특정 트레이닝 이미지 프레임에 대해, 이미지 분석기(위치 데이터)(340)는 특정 트레이닝 이미지 프레임(377)이 캡처되었던 시간에 트레이닝 데이터 수집 차량(375)의 정밀한 위치를 나타내는 연관된 위치 데이터(379)(예를 들어, GPS 데이터, GLONASS 데이터 등)의 세트를 분석한다. 게다가, 위치 데이터(379)는 차량의 진행 방향 정보(heading information)를 더 포함할 수 있다. 진행 방향 정보는, 트레이닝 데이터 수집 차량(375)의 나침반을 사용하여 또는 트레이닝 데이터 수집 차량(375)의 궤도를 판정하기 위해 시간에 따라 수집된 위치 데이터에 기초하여 판정될 수 있다. 이미지 분석기(위치 데이터)(340)는, 트레이닝 이미지 수집 차량(375)의 정확한 위치 및 진행 정보를 사용하여 위치 또는 맵핑 데이터베이스를 질의하고 위치 또는 맵핑 데이터베이스(예를 들어, 포장된 도로 표면, 보도, 건물, 다른 맵핑된 피처들 등)에서 식별가능한 인근의 피처(nearby feature)를 트레이닝 이미지 프레임(377)에 나타낸 피처들로 일치시킬 수 있다. 위치 또는 맵핑 데이터베이스의 피쳐는 트레이닝 데이터 수집 차량(375)에 대한 그 위치 및 방향에 기초하여 트레이닝 이미지 프레임(377)의 영역에 일치될 수 있다. 일례로서, 트레이닝 데이터 수집 차량(375)의 정확한 위치 및 진행 정보를 사용하여, 이미지 분석기(위치 데이터)(340)는 트레이닝 이미지 프레임(377)의 영역이 인도 또는 벽을 나타내는지를 위치 또는 맵핑 데이터베이스에 질의함으로써 판정할 수 있다. 이러한 판정에 응답하여, 이미지 분석기(위치 데이터)(345)는 트레이닝 이미지 프레임(377)의 영역을 주행-불가능한 공간으로서 라벨링할 수 있다. 다른 예로서, 트레이닝 데이터 수집 차량(375)의 정확한 위치 및 진행 정보를 사용하여, 이미지 분석기(위치 데이터)(340)는 트레이닝 이미지 프레임(377)의 다른 영역이 포장된 도로 표면을 나타내는 것을 판정할 수 있고, 그리고 이에 응답하여, 트레이닝 이미지 프레임(377)의 그 영역을 주행 가능한 공간으로서 라벨링할 수 있다. 이미지 분석기(위치 데이터)(340)에 의해 사용되는 위치 또는 맵핑 데이터베이스는, 트레이닝 데이터 프로세싱 시스템(300)에 의해 또는 3 자(third-party) 맵핑 서비스에 의해 관리될 수 있다.
실시예에 따르면, 이미지 분석 및 라벨링의 다양한 방법의 결과가 조정되고 결합될 수 있다. 도 3에 도시된 바와 같이, 이미지 분석기(센서 데이터)(335), 이미지 분석기(위치 데이터)(340), 및 이미지 분석기(모델)(345) 각각에 의해 생성된 라벨 이미지(336, 341, 및 346)는 라벨 조정자(reconciler)(350)에 의해 조정되고 결합된다. 전술된 바와 같이, 이미지 분석의 각각의 방법이 트레이닝 이미지 프레임(377)에 나타낸 특정 유형의 피쳐를 식별하는데 효과적일 수 있기 때문에, 라벨 조정자(350)는 조합의 효율성(efficacy)을 최대화하는 방식으로 라벨링된 이미지(336 및 341)를 결합할 수 있다. 도 3에 나타낸 예에서, 이미지 분석기(센서 데이터)(335) 및 이미지 분석기(위치 데이터)(340)에 의해 상이한 이미지 분석 방법이 수행된다. 이미지 분석기(위치 데이터)(340)에 의해 수행된 분석은, 트레이닝 이미지 프레임(377)에서 나타낸 정지된 또는 맵핑된 피처를 식별하는데 효과적일 수 있고, 이미지 분석기(센서 데이터)(335)에 의해 수행된 분석은 트레이닝 이미지 프레임(377)에서 나타낸 이동 피처를 식별하는데 효과적일 수 있다. 따라서, 라벨 조정자(350)는, 트레이닝 이미지 프레임(377)에서 나타낸 정지된 또는 맵핑된 피처를 식별하는 이미지 분석기(위치 데이터)(340)- 라벨링된 이미지(341) -의 결과로 조정 프로세스를 시작할 수 있다. 그 다음에, 라벨 조정자(350)는, 예비 트레이닝 결과(351)에 도달할하도록 이미지 분석기(센서 데이터)(335)- 라벨링된 이미지(336) -의 결과를 오버레이할 수 있다. 이런 식으로, 라벨 조정자(350)는 포장된 도로 표면(주행 가능한 공간)과 같은 정지되거나 맵핑된 피쳐의 묘사와 함께 시작될 수 있고 그리고 후속하여 예비 트레이닝 결과(351)에 도달하기 위해 다른 차량과 같은 식별된 이동 피쳐를 오버레이할 수 있다. 일례로서, 라벨 조정자(350)는 라벨링된 이미지(341)와 함께 시작될 수 있고, 이 이미지는 트레이닝 이미지 프레임(377)의 특정 영역이 주행 가능한 공간(예를 들어, 위치 데이터(379)를 사용하여 이미지 분석기(위치 데이터)(340)에 의해 식별된 포장 도로)을 나타내는 것을 나타낸다. 라벨 조정자(350)는, 라벨링된 이미지(336)를 검사할 수 있고, 이 이미지는 특정 영역이 주행-불가능한 공간(예를 들어, 센서 데이터(378)를 사용하여 이미지 분석기(센서 데이터)(335)에 의해 식별되는 다른 차량)을 나타내는 것을 나타낸다. 결과적인 예비 트레이닝 결과(351)는 특정 영역이 주행-불가능한 공간에 해당 하는 것을 나타낼 것인데, 이는 이 영역이 포장된 도로에 해당하는 경우일지라도 다른 차량에 의해 점유되기 때문이다.
특정 구현예에서, 이미지 분석기(센서 데이터)(335) 및 이미지 분석기(위치 데이터)(340)에 의해 수행된 분석을 결합함에 있어서, 라벨 조정자(350)는 트레이닝 이미지 프레임(377)의 특정 영역에 대응하는 문제를 식별할 수 있다. 예를 들어, 라벨 조정자(350)는 트레이닝 이미지 프레임(377)의 특정 부분에 대해 이미지 분석기(위치 데이터)(340)-라벨링된 이미지(341)에 의해 수행된 분석과 함께 이미지 분석기(센서 데이터)(335)-라벨링된 이미지(335)에 의해 수행된 분석으로 조정하는 것이 불가능할 수 있다. 이에 응답하여, 라벨 조정자(350)는 조정 문제를 갖는 것으로 트레이닝 이미지 프레임(377)의 특정 부분을 식별할 수 있다. 따라서, 트레이닝 이미지 프레임(377)의 특정 부분은 주행 가능한 공간 또는 주행-불가능한 공간에 대응하는 것으로 트레이닝 이미지 프레임(377)의 특정 부분을 수동으로 라벨링하기 위해 조작자(370)로부터 관리 입력(371)을 위해 표시될 수 있다.
일부 예들에서, 관리된 트레이닝 서브-시스템(330)은 조작자(370)로부터 관리 입력(371)을 수신하기 위한 관리 모듈(355)을 더 포함할 수 있다. 조작자(370)는 라벨을 이미지 분석기(센서 데이터)(335) 및 이미지 분석기(위치 데이터)(340)에 의해 할당된 트레이닝 이미지 프레임(367)의 영역으로 조정하는 문제를 해결하기 위해 관리 입력(371)을 제공할 수 있다. 조작자(370)는, 관리된 트레이닝 서브-시스템(330)의 전술된 기능 블록에 의해 수행되는 프로그램 분석을 추가로 보정하거나 보완할 수 있다. 조작자(370)는 트레이닝 이미지 프레임(367) 및 이미지 분석기(센서 데이터)(335) 및 이미지 분석기(위치 데이터)(340)에 의해 수행되는 연관된 분석(예를 들어, 예비 트레이닝 결과(351))을 검토할 수 있다. 예를 들어, 조작자(370)는, 트레이닝 이미지 프레임(367) 및 이미지 분석기(센서 데이터)(335) 및 이미지 분석기(위치 데이터)(340)에 의해 판정된 바와 같은 주행 가능한 공간 및 주행-불가능한 공간의 영역을 나타내는 트레이닝 이미지 프레임(367)에 할당된 라벨을 포함하는 예비 트레이닝 결과(351)를 볼 수 있다. 조작자(370)는 예비 트레이닝 결과(351)에 나타나는 라벨을 디스플레이된 트레이닝 이미지 프레임과 매칭시킴으로써 이들을 검증할 수 있으며, 양자 모두는 조작자 사용자 인터페이스(도 3에 도시되지 않음) 상에 디스플레이된다. 조작자(370)가 특정 영역이 잘못 라벨링된 것으로 판정하면(예를 들어, 차량에 대응하는 이미지 프레임(367)의 일부가 주행 가능한 공간으로 라벨링된다면), 조작자(370)는 잘못 라벨링된 것을 보정하기 위해서 관리 입력(371)을 제공할 수 있다. 예비 트레이닝 결과(351) 및 관리 입력(371)에 기초하여, 관리 모듈(355)은 예비 트레이닝 결과를 보정하거나 보완하는데 관리 입력(371)을 통합하는 관리된 트레이닝 결과(331)를 생성할 수 있다.
실시예에 따르면, 트레이닝 데이터 프로세싱 시스템(300)은 캡처된 이미지 프레임에서 주행 가능한 공간을 식별하는 데 사용되는 기계-학습 모델을 생성하거나 업데이트하는 모델 생성기(360)를 포함할 수 있다. 모델 생성기(360)는 관리된 트레이닝 결과(331)에 기초하여 기계-학습 모델(361)을 생성 또는 업데이트할 수 있다. 특정 예에서, 모델 생성기(360)는 합성곱 신경망으로서 기계-학습 모델(361)을 생성 또는 업데이트할 수 있다. 트레이닝 데이터 프로세싱 시스템(300)은 기계-학습 모델(361)에 대응하는 모델 데이터(321)를 네트워크(380)를 통해 자율 주행 가능 차량(390)에 송신하기 위한 차량 인터페이스(320)를 더 포함할 수 있다. 다른 예에서, 모델 데이터(321)는, 또한, 다이렉트 데이터 링크(예를 들어, 버스 접속) 또는 착탈식(removable) 저장 디바이스(예를 들어, 대용량 저장 매체 디바이스)를 통해 자율 주행 가능 차량(390)으로 전송될 수 있다.
특정 구현예에서, 가상 트레이닝 이미지 데이터(366)는, 또한, 기계-학습 모델(361)을 생성 또는 업데이트하는데 사용하기 위한 가상 트레이닝 데이터 생성기(365)에 의해 생성될 수 있다. 가상 트레이닝 데이터 생성기(365)는, 트레이닝 데이터 수집 차량(375) 상에 장착되는 카메라의 것과 유사한 관점에서 시뮬레이션된 도로 조건에 대응하는 가상 환경을 생성할 수 있는 임의의 컴퓨팅 시스템일 수 있다. 이러한 가상 환경의 이미지 프레임은, 가상 트레이닝 이미지 프레임(367)으로서 가상 트레이닝 데이터 생성기(365)에 의해 캡처될 수 있다. 가상 환경에 관한 다른 데이터는 가상 센서 데이터(368) 및 가상 위치 데이터(369)로서 가상 트레이닝 데이터 생성기(365)에 의해 생성될 수 있다. 예는 가상 현실 또는 비디오 게임 콘텐츠를 생성하기 위한 컴퓨팅 시스템을 포함할 수 있다. 데이터 수집 인터페이스(310) 및 이미지 필터(311)는 트레이닝 데이터 수집 차량(375)의 카메라에 의해 캡처된 트레이닝 이미지 프레임(377)과 특성(예를 들어, 색상, 색조, 명암, 노출 등)이 유사해지도록 가상 트레이닝 이미지 프레임(367)을 처리할 수 있다.
충돌-회피 시스템 방법론
도 4는, 본원에 설명된 예들에 따라, 자율 주행 가능 차량 내에서 예시적인 충돌-회피 시스템을 작동시키는 예시적인 방법을 설명하는 흐름도이다. 도 4의 하기의 논의에서, 도 1 내지 도 3과 관련하여 도시되고 설명된 특징 및 예가 참조될 수 있다. 예를 들어, 도 4에 예시된 방법은 도 1의 예시적인 충돌-회피 시스템(100) 또는 도 2의 예시적인 충돌-회피 시스템(250)에 의해 구현되고 수행될 수 있다.
도 4를 참조하면, 예시적인 충돌-회피 시스템은 차량(410)에 장착된 카메라로부터 이미지 프레임을 수신할 수 있다. 카메라는, 캡처된 이미지가 차량(10)의 전방에 있는 도로 및 다른 물체를 묘사하도록 차량의 주행 방향으로 배향될 수 있다. 카메라는, 충돌-회피 시스템(100)으로의 전송을 위해 이미지 프레임을 연속적으로 캡처할 수 있다. 예를 들어, 카메라는 충돌-회피 시스템으로의 전송을 위해 초당 30 프레임의 속도로 이미지 프레임을 캡처할 수 있다. 따라서, 충돌-회피 시스템은 수신된 이미지 프레임을 초당 30 프레임의 동일한 속도로 순차적으로 처리할 수 있다.
일부 구현예에서, 차량은 충돌-회피 시스템에 의한 사용을 위해 이미지 프레임을 캡처하는 단일 카메라를 포함한다. 다른 구현예에서, 차량은 충돌-회피 시스템(100)이 동시에 다수의 이미지 프레임을 수신하도록 다수의 카메라를 포함할 수 있다. 다수의 카메라가 시계를 개선하거나 충돌-회피 시스템의 사각 지대를 줄이기 위해 차량의 상이한 위치에 포지셔닝될 수 있다. 게다가, 다수의 카메라(예를 들어, 입체 카메라 쌍)는, 충돌-회피 시스템이 깊이를 감지할 수 있게 포지셔닝될 수 있다. 다수의 카메라를 갖는 구현예에서, 충돌-회피 시스템은 충돌-회피 시스템에 의한 분석을 위해 이미지를 결합 또는 병합하기 위해 이미지 프로세싱을 수행할 수 있다. 예를 들어, 입체 카메라 쌍에 의해 캡처된 이미지 프레임은 병합되어 충돌-회피 시스템에 의한 분석을 위한 3 차원 이미지(예를 들어, 연관된 깊이 맵을 갖는 이미지)를 생성할 수 있다. 다른 예로서, 상보적인 시계를 갖는 다수의 카메라에 의해 캡처된 이미지 프레임은 충돌-회피 시스템에 의한 분석을 위해 결합된 이미지를 발생시키기 위해 결합될 수 있다.
각각의 수신된 이미지 프레임을 위해, 충돌-회피 시스템은 이미지 프레임의 각각의 영역이 주행 가능한 공간을 나타내는 각각의 확률을 판정하기 위해 이미지 프레임을 분석할 수 있다(415). 일부 구현예에서, 충돌-회피 시스템은 픽셀 단위(pixel-by-pixel basis)로 이러한 확률을 판정할 수 있다. 따라서, 카메라(들)로부터 수신된 각각의 이미지 프레임의 각각의 개별 픽셀에 대해, 충돌-회피 시스템은 개별 픽셀이 주행 가능한 공간(예를 들어, 차량이 안전하게 횡단할 수 있는 도로 표면)을 나타내는 대응하는 확률을 판정할 수 있다. 다른 예에서, 네트워크 시스템은 픽셀 그룹(예를 들어, 30 픽셀의 클러스터)에 대해 그러한 확률을 판정할 수 있다. 충돌-회피 시스템은, 이미지 프레임에서 주행 가능한 공간을 인식하기 위해 하나 이상의 기계-학습 모델을 활용함으로써 단계(415)를 수행할 수 있다. 기계-학습 모델은, 본원에서 나타낸 주행 가능한 공간에 대해 이전에 분석되었던 다수의 트레이닝 이미지를 포함하는 광범위한 트레이닝 데이터를 사용하여 생성될 수 있다. 적어도 하나의 예에서, 충돌-회피 시스템에 의해 활용되는 기계-학습 모델은 합성곱 신경망(convolution neural network)이다.
판정 확률에 기초하여, 충돌-회피 시스템은 수신된 이미지 프레임의 개별 영역을 주행 가능한 공간 또는 주행-불가능한 공간을 나타내는 것으로 라벨링할 수 있다(420). 예를 들어, 주행 가능한 공간을 나타내는 특정 영역의 대응 확률이 특정 임계값을 초과한다면, 충돌-회피 시스템은 특정 영역을 주행 가능한 공간을 나타내는 것으로 라벨링할 수 있다. 다른 한편으로, 주행 가능한 공간을 나타내는 특정 영역의 대응 확률이 임계치 미만이면, 충돌-회피 시스템은 특정 영역을 주행-불가능한 공간을 나타내는 것으로 라벨링할 수 있다.
수신된 이미지 프레임이 주행 가능한 공간 및 주행-불가능한 공간에 대해 라벨링된 후에, 충돌-회피 시스템은 이형(anomalies) 또는 이상치에 대한 라벨을 보정할 수 있다(425). 보정은 단일 이미지 프레임 단위로 수행되며(426), 여기서, 이미지 프레임 및 연관된 라벨이 이형 또는 이상치에 대해 검사된다. 예를 들어, 작은 영역(예를 들어, 단일 픽셀, 또는 수 개의 픽셀 그룹)은 이와 달리 주행 가능한 공간으로 일관되게 라벨링된 더 큰 영역 내에서 주행-불가능한 공간으로 라벨링될 수 있다. 충돌-회피 시스템은, 이상치로 작은 영역의 라벨링을 판정할 수 있으며 명백한 잘못된 라벨링을 보정하기 위해 해당 라벨을 변경할 수 있다. 게다가, 수신된 이미지 프레임(427)과 동시에 또는 대략 동시에 기록된 다른 이미지 프레임들을 검사함으로써 시간에 기초하여 보정이 수행될 수 있다. 충돌-회피 시스템은, 이미지 프레임의 주행 가능한또는 주행-불가능한 공간으로 라벨링하는 영역에서 이형 또는 이상치를 식별하기 위해 동시에 또는 대략 동시에 기록된 다수의 이미지 프레임에 할당되는 라벨을 비교할 수 있다. 2 개의 동시적으로 기록된 이미지 프레임 사이의 라벨링이 불일치하면, 충돌-회피 시스템은 이미지 프레임의 일부 영역을 재라벨링하도록 판정할 수 있다.
수신된 이미지 프레임에 라벨링된 주행 불가능한 영역의 각각의 영역에 대해, 충돌-회피 시스템은 대응하는 공간 파라미터를 판정할 수 있다(430). 공간 파라미터는 자율 주행 가능 차량에 대한 상대적인 포지션, 자율 주행 가능 차량으로부터의 거리, 주행 속도, 및 주행 방향을 포함할 수 있다. 자율 주행 가능 차량에 대한 상대 위치 및 자율 주행 가능 차량으로부터의 거리와 같은 공간 파라미터는, 이미지 프레임 내의 주행-불가능한 영역의 포지션에 기초하여 판정될 수 있다. 기계-학습 모델은, 트레이닝 데이터 및 입력에 기초하여, 수신된 이미지 프레임에 나타낸 물체 및 이들의 자율 주행 가능 차량에 대한 거리를 식별하도록 추가로 트레이닝될 수 있다. 이동 속도 및 이동 방향과 같은 공간 파라미터는, 충돌-회피 시스템에 의해 분석된 다수의 이미지 프레임에 걸쳐 주행-불가능한 공간 영역의 움직임을 추적함으로써 계산될 수 있다.
단계(435)에서, 충돌-회피 시스템은 자율 주행 차량이 주행-불가능한 공간의 영역에 충격을 줄 것인지의 여부에 대한 확률을 판정할 수 있다. 판정은, 차량의 속도, 방향, 가속도 등과 같은 차량 데이터뿐만 아니라 주행-불가능한 공간과 연관된 공간 파라미터에 기초할 수 있다. 수신된 이미지 프레임 내의 각각의 주행-불가능한 공간에 대한 대응 확률이 임계치 미만이면, 충돌-회피 시스템은 카메라(410)로부터 수신된 다음 이미지 프레임으로 이동할 수 있다.
다른 한편으로, 수신된 이미지 프레임의 주행-불가능한 공간의 적어도 하나의 영역에 대해 판정된 충돌의 확률이 임계치를 초과하면, 충돌-회피 시스템은 충돌을 회피하거나 충돌의 영향을 최소화하기 위해 충돌-회피 신호를 생성한다(440). 충돌 회피 신호는 반자율 또는 자율 작동 모드에서 자율 주행 가능 차량의 작동을 제어하는 차량 제어 시스템에 의해 생성되는 것과 같은 다른 차량 제어 신호를 무시할 수 있다. 충돌-회피 신호는 자율 주행 가능 차량이 그 브레이크를 맞물림하도록 유발할 수 있다. 일부 예에서, 충돌-회피 시스템은 또한 임박한 충돌을 회피하기 위해 주행-불가능한 공간의 영역으로부터 멀리 차량을 조향시키기 위한 조향 제어를 판정할 수 있다. 충돌-회피 시스템은, 자율 주행 가능 차량의 차량 제어 시스템으로부터 데이터를 추가로 수신할 수 있다. 데이터는 차량 제어 시스템이 임박한 충돌이 발생할 수 있음을 인지했는지의 여부를 나타낼 수 있다. 충돌-회피 시스템은, 데이터가 차량 제어 시스템이 충돌이 발생하기 직전인 것을 검출하지 않았음을 나타낼때만 차량 제어 시스템에 의해 생성된 차량 제어 신호를 무시하도록 구성될 수 있다. 단계(440)에서 차량 제어를 무시한 후에, 충돌-회피 시스템은 분석을 위해 카메라로부터 이미지 프레임을 계속 수신할 수 있다.
트레이닝 데이터 프로세싱 시스템 방법론
도 5는, 본원에 설명된 예에 따라, 예시적인 트레이닝 데이터 프로세싱 시스템을 작동시키는 예시적인 방법을 설명하는 흐름도이다. 도 5의 하기의 논의에서, 도 3과 관련하여 도시되고 설명된 특징 및 예가 참조될 수 있다. 예를 들어, 도 3에 예시된 방법은 도 3의 예시적인 트레이닝 데이터 프로세싱 시스템(300)에 의해 구현되고 수행될 수 있다.
도 3을 참조하면, 트레이닝 데이터 프로세싱 시스템은 트레이닝 데이터를 수신한다(510). 트레이닝 데이터는 도로를 횡단할 때 데이터 수집 차량(예를 들어, 도 3의 375)을 트레이닝시킴으로써 수집될 수 있다. 트레이닝 데이터는, 트레이닝 이미지 프레임(511) 및 연관된 센서 데이터(512)를 포함할 수 있다. 각각의 트레이닝 이미지 프레임(511)은 트레이닝 이미지 프레임(511)이 기록되는 시간에 캡처된 대응하는 센서 데이터(512)의 세트와 연관될 수 있다. 센서 데이터(512)는 LIDAR, 소나 및/또는 레이더 데이터를 포함할 수 있다. 트레이닝 데이터는 실시간 위치 데이터(예를 들어, GPS 데이터)를 더 포함할 수 있다.
실시예에 따르면, 트레이닝 데이터 프로세싱 시스템은 적절한 이미지 필터를 수신된 트레이닝 이미지 프레임(515)에 적용할 수 있다. 트레이닝 데이터 프로세싱 시스템은 수신된 트레이닝 이미지 프레임의 특징(예를 들어, 색상, 색조, 명암, 노출 등)을 변경하도록 할 수 있다. 이렇게 함으로써, 트레이닝 데이터 프로세싱 시스템은, 트레이닝 이미지 프레임(이 프레임을 이용하여 기계-학습 모델이 생성됨)이 특정 특징에 있어서 일관되는 것을 보장할 수 있다. 이는 트레이닝 이미지 프레임을 사용하여 생성된 기계-학습 모델의 품질과 일관성을 개선할 수 있다.
트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임, 연관된 센서 데이터, 위치 데이터, 및 트레이닝 이미지 프레임 내의 주행 가능한 그리고 주행-불가능한 공간을 식별하기 위한 다른 데이터를 분석할 수 있다(520). 분석은 다양한 기술을 사용하여 수행될 수 있다. 예를 들어, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임이 기록되었던 시간에 캡처된 연관된 센서 데이터의 세트를 사용하여 트레이닝 이미지 프레임에서 주행 가능한 공간의 영역을 식별할 수 있다(521). 이러한 분석은, 예를 들어, LIDAR 측정을 사용하여 수행될 수 있다. LIDAR 측정에 기초하여, 트레이닝 데이터 프로세싱은 도로 표면에 대응하는 트레이닝 이미지 프레임 내의 영역을 판정할 수 있다. 이에 응답하여, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임 내의 이들 영역을 주행 가능한 공간으로 식별할 수 있다. 게다가, LIDAR 측정은 차량 또는 보행자에 해당하는 트레이닝 이미지 프레임의 영역을 추가로 나타낼 수 있다. 이에 응답하여, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임 내의 이들 영역을 주행-불가능한 공간으로 식별할 수 있다.
더욱이, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임이 기록되었던 시간에 캡처된 GPS 데이터와 같은 실시간 위치 데이터를 더 분석할 수 있다(522). 실시간 위치 데이터를 사용하여, 트레이닝 데이터 프로세싱 시스템은 빌딩, 인도, 중앙 분리대 등과 같은 맵핑된 피처에 대응하는 트레이닝 이미지 프레임의 영역을 판정할 수 있다. 트레이닝 데이터 프로세싱 시스템은 위치 또는 맵핑 데이터베이스를 질의함으로써 그렇게 할 수 있다. 트레이닝 이미지 프레임의 특정 영역이 중앙 분리대와 같은 맵핑된 피처에 대응한다는 판정에 기초하여, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임의 특정 영역을 주행-불가능한 공간으로 식별하고 라벨링할 수 있다. 특정 예에서, 트레이닝 이미지 프레임은 트레이닝 이미지 프레임에서 주행 가능한 공간 및/또는 주행-불가능한 공간을 식별하기 위해 기계-학습 모델의 기존 반복에 의해 또한 분석될 수 있다(523). 기존 모델의 분석의 결과는 기계-학습 모델의 기존의 반복을 개선하기 위해서 다른 분석의 결과와 결합 및 조정될 수 있다.
실시예에 따르면, 트레이닝 데이터 프로세싱 시스템은 다양한 분석을 결합 및 조정하여 트레이닝 이미지 프레임의 영역을 주행 가능한 또는 주행-불가능한 공간으로 프로그램식으로 식별한다. 결합된 결과는 관리자가 보기 위해 관리자 단말기(administrator terminal)에 제시될 수 있다. 따라서, 트레이닝 데이터 프로세싱 시스템은 트레이닝 이미지 프레임에서 주행 가능한 또는 주행-불가능한 공간을 식별할 때 관리자로부터 관리 입력을 수신할 수 있다(525). 관리자 단말기 상의 제시는, 다양한 프로그램 분석이 조정될 수 없거나 서로 상충될 수 있고 그리고 이에 따라 관리자에 의한 관리 입력을 필요로 하는 트레이닝 이미지 프레임의 특정 영역을 강조표시할 수 있다. 예를 들어, 관리자 단말기 상의 제시는 트레이닝 이미지 프레임의 나머지 부분과 비교하여 상이한 색상 또는 테마를 사용하여 트레이닝 이미지 프레임의 특정 영역을 강조표시할 수 있다. 관리자는, 관리자 단말기에 디스플레이된 제시를 통해, 특정 영역을 주행 가능한 또는 주행-불가능한 공간으로 식별하는 관리 입력을 제공할 수 있다. 이런 식으로, 관리자는 자동차 카메라에 의해 캡처된 이미지 프레임에서 주행 가능한 공간을 식별하기 위해 기계-학습 모델을 생성하기 위한 트레이닝 데이터를 분석할 때 트레이닝 데이터 프로세싱 시스템에 의해 수행되는 프로그램 분석을 조정, 보정, 또는 보완하기 위해 관리 입력을 제공할 수 있다. 따라서, 관리 입력은 수신된 트레이닝 이미지 프레임의 일부분에 대해서만 수신될 수 있다. 다른 예에서, 관리자는 주행 가능한 공간을 위해 전체적인 트레이닝 이미지 프레임의 라벨링을 담당할 수 있다. 따라서, 관리자는 트레이닝 데이터 프로세싱 시스템으로 하여금 추가적인 트레이닝 데이터로 순차적으로 개선될 수 있는 초기 기계-학습 모델을 생성할 수 있도록 충분한 데이터 포인트로 라벨링된 트레이닝 이미지의 수집을 "시딩(seeding)"하는 것을 담당할 수 있다.
단계(530)에서, 기계-학습 모델은 단계(510)에서 수신된 트레이닝 데이터에 기초하여 생성되거나 업데이트될 수 있다. 특정 실시예에서, 기계-학습 모델은 합성곱 신경망이다. 또한 추가로, 기계-학습 모델은 분류기의 수집을 포함할 수 있다. 생성되거나 업데이트된 기계-학습 모델은, 자율 주행 가능 차량에 배치된 충돌-회피 시스템과 함께 사용하기 위해 자율 주행 가능 차량(535)으로 전송되거나 송신될 수 있다. 기계-학습 모델에 해당하는 데이터는, 충돌-회피 시스템에 의한 액세스를 위해 자율 주행 가능 차량의 저장 디바이스 상에 저장될 수 있다.
예시적인 이미지 프레임
도 6은, 본원에 설명된 예들에 따라, 충돌-회피 시스템에 의해 수신되고 처리되는 예시적인 이미지 프레임을 예시한다. 도 6의 아래의 논의에서, 도 1과 관련하여 설명된 특징 및 예가 참조될 수 있다. 예를 들어, 도 6에 예시된 예시적인 이미지 프레임은 도 1의 충돌-회피 시스템(100)에 의해 분석되고 처리될 수 있다.
도 6을 참조하면, 예시된 예시적인 이미지 프레임(600)은 자율 주행 가능 차량(예를 들어, 도 1의 차량(10))의 하나 이상의 카메라에 의해 캡처될 수 있다. 하나 이상의 카메라는 자율 주행 가능 차량 전방의 환경을 나타내는 이미지 프레임(600)을 캡처하도록 포지셔닝될 수 있다. 충돌-회피 시스템은, 트레이닝 데이터를 사용하여 생성된 기계-학습 모델을 사용하여 주행 가능한 공간 또는 주행-불가능한 공간을 대표하는 이미지 프레임(600)의 다양한 영역을 라벨링하도록 이미지 프레임(600)을 분석할 수 있다. 이해할 수 있는 바와 같이, 이미지 프레임(600)은 단지 예시일 뿐이고, 이미지 프레임(600)에 나타낸 다양한 특징은 예시의 목적으로 단순화된다.
예시된 바와 같이, 영역(610)은 포장 도로의 표면을 묘사한다. 충돌-회피 시스템은 이미지 프레임(600)을 분석하고 기계-학습 모델을 사용하여 주행 가능한 공간으로서 영역(610)을 라벨링할 수 있다. 이미지 프레임(600)의 영역(620)은 포장 도로를 걷고 있는 보행자를 묘사한다. 충돌-회피 시스템은 기계-학습 모델을 사용하여 이미지 프레임(600)을 분석하고 영역(620)을 주행-불가능한 공간을 나타내는 것으로 라벨링할 수 있다. 유사하게, 보도를 나타내는 영역(630 및 635) 그리고 벽을 나타내는 영역(640 및 645)에 대해, 충돌-회피 시스템은 이들 영역을 주행-불가능한 공간으로 라벨링할 수 있다.
일부 예에서, 충돌-회피 시스템은 수평선(655) 위의 이미지 프레임(600)의 영역으로서 이미지 프레임(600)의 영역을 인식하도록 구성될 수 있다. 충돌-회피 시스템은, 충돌-회피 신호를 생성할지의 여부를 판정할 때 중요하지 않은(inconsequential) 영역을 무시할 수 있다. 더욱이, 영역(660)은 이미지 프레임(600)에서의 이형에 대응할 수 있다. 이형은, 카메라의 이미지 센서의 에러에 의해 유발될 수 있거나 조명 효과일 수 있다. 다른 예에서, 이형은 충돌-회피 신호에 의해 안전하게 무시될 수 있는 도로 상의 작은 물체일 수 있다. 상기 설명된 바와 같이, 충돌-회피 시스템은, 기계-학습 모델을 적용함으로써 영역(660)을 주행-불가능한 공간으로 초기에 라벨링할 수 있다. 그러나, 에러-보정 기술을 사용하여, 이형이 검출되고 주행 가능한 공간으로서 다시 라벨링될 수 있다. 이런 식으로, 충돌-회피 시스템은 이형 영역에 충돌하는 것을 회피하기 위해 불필요하게 충돌-회피 신호를 생성하지 않을 것이다.
이미지 프레임(600)의 분석시, 충돌-회피 시스템은 보행자 및 차량 데이터(예를 들어, 속도, 주행 방향, 가속도 등)에 대응하는 주행-불가능한 공간 영역(620)에 대해 판정되는 공간 파라미터에 기초하여, 영역(620)과의 충돌이 일어나려하고 있음을 판정할 수 있다. 이에 대응하여, 충돌-회피 시스템은 충돌-회피 신호를 생성하여 보행자와의 충돌을 회피하도록 차량의 브레이크와 맞물릴 수 있다.
하드웨어 선도
도 7은, 본원에서 설명된 예들이 구현될 수 있는 컴퓨터 시스템을 예시하는 블록 선도이다. 도 1의 맥락에서, 충돌-회피 시스템(100)은 도 7에 의해 설명된 바와 같은 컴퓨터 시스템(700)을 사용하여 구현될 수 있다. 충돌-회피 시스템(100)은 또한, 도 7과 관련하여 설명된 바와 같이 다수의 컴퓨터 시스템들의 조합을 사용하여 구현될 수 있다.
일 구현예에서, 컴퓨터 시스템(700)은 프로세싱 리소스(710), 메인 메모리(720), 판독 전용 메모리(ROM)(730), 저장 디바이스(740) 및 통신 인터페이스(750)를 포함한다. 컴퓨터 시스템(700)은 적어도 하나의 프로세서(710)를 포함하고, 이 프로세서는 프로세서(710)에 의해 실행 가능한 정보 및 명령어를 저장하기 위해, 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스에 의해 제공되는 바와 같이 메인 메모리(720)에 저장된 정보를 처리한다. 메인 메모리(720)는, 또한, 프로세서(710)에 의해 실행될 명령의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨터 시스템(700)은 또한, 프로세서(710)에 대한 정적 정보 및 프로세서(710)에 대한 명령을 저장하기 위한 ROM(730) 또는 다른 정적 저장 디바이스를 포함할 수 있다. 자기 디스크 또는 광 디스크와 같은 저장 디바이스(740)가 정보 및 명령을 저장하기 위해 제공된다.
통신 인터페이스(750)는, 컴퓨터 시스템(700)으로 하여금 네트워크 링크(무선 또는 유선)의 사용을 통해 하나 이상의 네트워크(780)(예를 들어, 셀룰러 네트워크)와 통신할 수 있게 한다. 네트워크 링크를 사용하면, 컴퓨터 시스템(700)은 하나 이상의 컴퓨팅 디바이스 및 하나 이상의 서버와 통신할 수 있다. 예에 따르면, 컴퓨터 시스템(700)은 하나 이상의 서버(예를 들어, 도 3의 트레이닝 데이터 프로세싱 시스템(300))로부터 오버 네트워크(780)로부터 이미지 프레임의 주행 가능한 공간 그리고 주행-불가능한 공간을 식별하기 위한 기계-학습 모델에 대응하는 모델 데이터(781)를 수신한다. 모델 데이터(781)는, 컴퓨터 시스템(700)의 메인 메모리에 저장된 기존의 기계-학습 모델(721)을 업데이트하도록 수신될 수 있다. 메인 메모리(720)에 저장된 실행 가능한 명령은, 라벨링된 이미지 프레임 상에 에러 보정을 수행하는 명령, 주행-불가능한 공간으로 라벨링된 이미지 프레임의 영역에 대응하는 공간 파라미터를 판정하기 위한 명령, 그리고 공간 파라미터 및 차량 데이터에 기초하여, 주행-불가능한 공간의 영역에 대한 충돌이 발생하려고하는 지의 여부를 판정하기 위한 명령, 및 차량을 제어하고 임박한 충돌을 회피하기 위해 충돌-회피 신호를 생성하는 명령을 더 포함할 수 있다. 예로서, 메모리(720)에 저장된 명령 및 데이터는 도 1의 예시적인 충돌-회피 시스템(100)을 구현하기 위해서 프로세서(710)에 의해 실행될 수 있다. 프로세서(710)는 소프트웨어 및/또는 도 1 내지 도 6 그리고 본 출원의 다른 곳에서 설명된 것과 같은 구현예로 설명된 하나 이상의 프로세스, 단계, 및 다른 기능을 수행하기 위한 소프트웨어 및/또는 다른 로직으로 구성된다.
본원에 설명된 예들은, 본원에 설명된 기술을 구현하기 위한 컴퓨터 시스템(700)의 사용에 관한 것이다. 일례에 따르면, 이들 기술은 메인 메모리(720)에 포함된 하나 이상의 명령의 하나 이상의 시퀀스를 실행하는 프로세서(710)에 응답하여 컴퓨터 시스템(700)에 의해 수행된다. 그러한 명령은, 저장 디바이스(740)와 같은 다른 기계-판독 가능 매체로부터 메인 메모리(720)로 판독될 수 있다. 메인 메모리(720)에 포함된 명령의 시퀀스의 실행은, 프로세서(710)로 하여금 본원에 설명된 프로세스 단계를 수행하게 한다. 대안적인 구현예에서, 본원에 설명된 예들을 구현하기 위해 소프트웨어 명령 대신에 또는 소프트웨어 명령과 함께 하드웨어에 내장된 회로(hard-wired circuitry)가 사용될 수 있다. 따라서, 설명된 예들은 하드웨어 회로 및 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
본원에 설명된 예들을, 본 출원의 어느 곳에서나 인용된 요소의 조합을 포함하는 예뿐만 아니라 다른 개념, 아이디어 또는 시스템과 독립적으로 본원에 설명된 개별 요소 및 개념으로 확장하는 것이 심사숙고된다. 첨부 도면을 참조하여 본원에서 예들이 상세하게 설명되었지만, 이 개념은 이러한 정확한 예들로 제한되지 않는다는 것이 이해되어야 한다. 이렇게 하여, 많은 수정예 및 변경예가 당업자에게 명백해질 것이다. 이에 따라, 개념의 범위가 하기 청구범위 및 이들의 등가물에 의해 규정되는 것으로 의도된다. 더욱이, 심지어 다른 특징 및 예가 특정 특징을 언급하지 않을지라도, 개별적으로 또는 예의 일부로서 설명되는 특별한 특징이 다른 개별적으로 설명되는 특징 또는 다른 예의 일부와 결합될 수 있는 것이 심사숙고된다. 따라서, 설명중인 조합의 부재는, 그러한 조합에 대한 권리를 주장하는 것을 배제해서는 안된다.

Claims (20)

  1. 자율 주행 가능 차량(autonomous-capable vehicle)으로서,
    상기 자율 주행 가능 차량의 전방 방향으로 영상 프레임을 캡처하기 위한 카메라를 포함하는 다수의 센서;
    (i) 상기 다수의 센서로부터 센서 입력을 수신하고, (ii) 상기 센서 입력에 기초하여, 차량 제어 신호들을 생성하도록, 구성되는 상기 자율 주행 가능 차량을 제어하기 위한 차량 제어 시스템; 및
    상기 차량 제어 시스템과 독립적으로 작동하는 충돌-회피 시스템(collision-avoidance system)을 포함하고,
    상기 충돌-회피 시스템은,
    상기 카메라로부터 이미지 프레임을 수신하고;
    상기 이미지 프레임의 영역들을, 주행 가능한 공간을 나타내는 것으로 또는 주행-불가능한 공간을 나타내는 것으로 라벨링하기 위해서 상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하며;
    적어도 부분적으로 차량 데이터에 기초하여, 상기 자율 주행 가능 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌하는 것으로 판정하고; 그리고
    상기 자율 주행 가능 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌할 가능성이 있는지 여부를 판단하고, 상기 주행-불가능한 공간의 영역에 충돌할 가능성이 있다고 판정하자마자, 충돌-회피 신호를 생성하는 단계들을 수행하도록 구성되며, 상기 충돌-회피 신호는 상기 자율 주행 가능 차량으로 하여금 상기 주행-불가능한 공간의 영역에 충돌하는 것을 회피하게 하는, 자율 주행 가능 차량.
  2. 제 1 항에 있어서,
    상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하는 단계는, 상기 이미지 프레임에 나타낸 주행 가능한 공간 또는 주행-불가능한 공간의 영역을 식별하기 위해 기계-학습 이미지 인식 모델(machine-learned image-recognition model)을 이용하는 단계를 포함하는, 자율 주행 가능 차량.
  3. 제 2 항에 있어서,
    상기 기계-학습 이미지 인식 모델은 합성곱 신경망(convolution neural network)인, 자율 주행 가능 차량.
  4. 제 2 항에 있어서,
    상기 기계-학습 이미지 인식 모델은 트레이닝 이미지 프레임을 포함하는 트레이닝 데이터를 이용하여 생성되는, 자율 주행 가능 차량.
  5. 제 4 항에 있어서,
    상기 트레이닝 데이터는 센서 데이터를 더 포함하고,
    상기 트레이닝 이미지 프레임 각각은 상기 트레이닝 이미지 프레임과 동시에 캡처된 대응하는 센서 데이터의 세트와 연관되는, 자율 주행 가능 차량.
  6. 제 5 항에 있어서,
    상기 센서 데이터는 LIDAR 측정을 포함하는, 자율 주행 가능 차량.
  7. 제 4 항에 있어서,
    상기 기계-학습 이미지 인식 모델은 관리자(administrator)로부터 수신된 관리 입력(supervising input)에 기초하여 생성되며, 상기 관리 입력은 주행 가능한 공간 또는 주행-불가능한 공간을 대표하는 트레이닝 이미지 프레임의 부분을 식별하는, 자율 주행 가능 차량.
  8. 제 1 항에 있어서,
    상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하는 단계는,
    상기 이미지 프레임의 특정 영역에 대해, 상기 특정 영역이 주행 가능한 공간을 나타내는 대응 확률을 판정하는 단계; 및
    주행 가능한 공간을 나타내는 상기 대응하는 확률이 제 1 임계값을 초과한다면, 특정 영역을 주행 가능한 공간을 대표하는 것으로 라벨링하는 단계를 포함하는, 자율 주행 가능 차량.
  9. 제 8 항에 있어서,
    상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하는 단계는, 주행 가능한 공간을 나타내는 대응 확률이 제 2 임계값 미만이라면, 상기 특정 영역을 주행-불가능한 공간을 대표하는 것으로 라벨링하는 단계를 더 포함하는, 자율 주행 가능 차량.
  10. 제 8 항에 있어서,
    상기 이미지 분석은 픽셀 단위(pixel-by-pixel basis)로 수행되는, 자율 주행 가능 차량.
  11. 제 1 항에 있어서,
    상기 차량 데이터는 상기 자율 주행 가능 차량의 방향 벡터, 속도, 및 가속도를 포함하는, 자율 주행 가능 차량.
  12. 제 1 항에 있어서,
    상기 자율 주행 가능 차량이 상기 수신된 이미지 프레임에 나타낸 주행-불가능한 공간의 영역에 충돌할 가능성이 있다고 판단하는 단계는,
    상기 자율 주행 가능 차량에 대한 포지션 및 상기 자율 주행 가능 차량으로부터의 거리를 포함하는 주행-불가능한 공간의 영역에 대한 공간 파라미터를 판정하는 단계; 및
    상기 주행-불가능한 공간의 영역에 대한 공간 파라미터에 기초하여, 상기 주행-불가능한 공간의 영역과의 충돌 확률을 판정하는 단계를 포함하는, 자율 주행 가능 차량.
  13. 제 12 항에 있어서,
    상기 주행-불가능한 공간의 영역에 대한 공간 파라미터는, 주행 방향 및 주행 속도를 더 포함하는, 자율 주행 가능 차량.
  14. 제 1 항에 있어서,
    상기 충돌-회피 신호는 상기 차량 제어 시스템에 의해 생성된 상기 차량 제어 신호를 무시하는(override), 자율 주행 가능 차량.
  15. 제 1 항에 있어서,
    상기 충돌-회피 신호는 상기 자율 주행 가능 차량으로 하여금 하나 이상의 브레이크를 활성화시키는, 자율 주행 가능 차량.
  16. 제 1 항에 있어서,
    상기 충돌-회피 시스템 및 상기 차량 제어 시스템은, 공유되는 메모리 리소스 및 적어도 하나의 공유되는 프로세서를 포함하는 공유되는 하드웨어 리소스의 세트를 활용하는, 자율 주행 가능 차량.
  17. 제 1 항에 있어서,
    상기 충돌-회피 시스템 및 상기 차량 제어 시스템은 별도의 하드웨어 리소스의 세트를 활용하는, 자율 주행 가능 차량.
  18. 제 17 항에 있어서,
    상기 충돌-회피 신호는 상기 차량 제어 시스템에 의해 생성된 차량 제어 신호 및/또는 상기 차량의 조작자로부터 수신된 입력을 무시하는, 자율 주행 가능 차량.
  19. 차량의 충돌-회피 시스템으로서,
    상기 충돌-회피 시스템은,
    하나 이상의 프로세서; 및
    명령들을 저장하는 하나 이상의 메모리 리소스를 포함하며, 상기 명령들은 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 충돌-회피 시스템으로 하여금,
    상기 차량의 카메라로부터 이미지 프레임을 수신하고;
    상기 이미지 프레임의 영역들을, 주행 가능한 공간을 나타내는 것으로 또는 주행-불가능한 공간을 나타내는 것으로 라벨링하기 위해서 상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하고;
    적어도 부분적으로 차량 데이터에 기초하여, 상기 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌할 가능성이 있는지 판정하며;
    상기 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌할 가능성이 있는지 여부를 판단하고, 상기 주행-불가능한 공간의 영역에 충돌할 가능성이 있다고 판정하자마자, 충돌-회피 신호를 생성하도록 유발하며, 상기 충돌-회피 신호는 상기 차량으로 하여금 상기 주행-불가능한 공간의 영역에 충돌하는 것을 회피하게 하고; 그리고
    상기 충돌-회피 시스템은 상기 차량을 제어하는 차량 제어 시스템과 독립적으로 작동하며, 상기 차량 제어 시스템은, (i) 카메라를 포함하는 다수의 센서로부터 센서 입력을 수신하고, 그리고 (ii) 상기 센서 입력에 기초하여, 차량 제어 신호들을 생성하도록 구성되는, 차량의 충돌-회피 시스템.
  20. 차량의 충돌-회피 시스템을 작동시키는 컴퓨터 구현 방법으로서,
    상기 차량의 카메라로부터 이미지 프레임을 수신하는 단계;
    상기 이미지 프레임의 영역들을 주행 가능한 공간을 나타내는 것으로 또는 주행-불가능한 공간을 나타내는 것으로 라벨링하기 위해서 상기 수신된 이미지 프레임에 대한 이미지 분석을 수행하는 단계;
    적어도 부분적으로 차량 데이터에 기초하여, 상기 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌할 것으로 판정하는 단계;
    상기 차량이 상기 수신된 이미지 프레임에서 나타낸 주행-불가능한 공간의 영역에 충돌할 가능성이 있는지 여부를 판단하고, 상기 주행-불가능한 공간의 영역에 충돌할 가능성이 있다고 판정하자마자, 충돌-회피 신호 ― 상기 충돌-회피 신호는 상기 차량으로 하여금 상기 주행-불가능한 공간의 영역에 충돌하는 것을 회피하게 함 ― 를 생성하는 단계를 포함하며, 그리고
    상기 충돌-회피 시스템은 상기 차량을 제어하는 차량 제어 시스템과 독립적으로 작동하며, 상기 차량 제어 시스템은, (i) 카메라를 포함하는 다수의 센서로부터 센서 입력을 수신하고, 그리고 (ii) 상기 센서 입력에 기초하여, 차량 제어 신호들을 생성하도록 구성되는, 차량의 충돌-회피 시스템을 작동시키는 컴퓨터 구현 방법.
KR1020180072551A 2017-06-23 2018-06-25 자율 주행 가능 차량용 충돌-회피 시스템 KR101963422B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/631,990 2017-06-23
US15/631,990 US10007269B1 (en) 2017-06-23 2017-06-23 Collision-avoidance system for autonomous-capable vehicle

Publications (2)

Publication Number Publication Date
KR20190000843A KR20190000843A (ko) 2019-01-03
KR101963422B1 true KR101963422B1 (ko) 2019-03-28

Family

ID=62623921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180072551A KR101963422B1 (ko) 2017-06-23 2018-06-25 자율 주행 가능 차량용 충돌-회피 시스템

Country Status (7)

Country Link
US (3) US10007269B1 (ko)
EP (2) EP3418841B1 (ko)
JP (1) JP2019008796A (ko)
KR (1) KR101963422B1 (ko)
CN (1) CN109117709B (ko)
CA (1) CA3008091C (ko)
IL (1) IL260106B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006138A (ko) * 2019-07-08 2021-01-18 씨제이올리브네트웍스 주식회사 운송 로봇의 실내자율주행 시스템

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11386498B1 (en) 2017-09-06 2022-07-12 State Farm Mutual Automobile Insurance Company Using historical data for subrogation on a distributed ledger
US10872381B1 (en) 2017-09-06 2020-12-22 State Farm Mutual Automobile Insurance Company Evidence oracles
US11416942B1 (en) 2017-09-06 2022-08-16 State Farm Mutual Automobile Insurance Company Using a distributed ledger to determine fault in subrogation
US10891694B1 (en) * 2017-09-06 2021-01-12 State Farm Mutual Automobile Insurance Company Using vehicle mode for subrogation on a distributed ledger
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11178133B2 (en) * 2017-12-19 2021-11-16 Micron Technology, Inc. Secure vehicle control unit update
US10944950B2 (en) * 2017-12-21 2021-03-09 Texas Instruments Incorporated Transmitting functional safety statistics via transmitted video
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US11042163B2 (en) * 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN110352153A (zh) 2018-02-02 2019-10-18 辉达公司 自主车辆中用于障碍物躲避的安全程序分析
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
WO2019168869A1 (en) 2018-02-27 2019-09-06 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
WO2019178548A1 (en) 2018-03-15 2019-09-19 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US20190287394A1 (en) 2018-03-19 2019-09-19 Derq Inc. Early warning and collision avoidance
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
DE112019001605T5 (de) * 2018-03-27 2020-12-17 Nvidia Corporation Trainieren, testen und verifizieren von autonomen maschinen unter verwendung simulierter umgebungen
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
US11062606B2 (en) 2018-05-10 2021-07-13 Bastien Beauchamp Method and system for vehicle-to-pedestrian collision avoidance
US10705208B2 (en) * 2018-06-11 2020-07-07 Augmented Radar Imaging, Inc. Vehicle location determination using synthetic aperture radar
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
CN109131277A (zh) * 2018-07-13 2019-01-04 金龙联合汽车工业（苏州）有限公司 一种自动紧急制动系统的人机协调控制系统
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10632992B2 (en) * 2018-07-30 2020-04-28 GM Global Technology Operations LLC Autonomous vehicle that includes sensor output batching system
US11475551B2 (en) 2018-08-08 2022-10-18 Abyssal S.A. System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats
US20210309331A1 (en) * 2018-08-08 2021-10-07 Abyssal S.A. System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models
US11455740B2 (en) 2018-08-08 2022-09-27 Abyssal S.A. System and method of operation for remotely operated vehicles for simultaneous localization and mapping
AU2018436278B2 (en) 2018-08-08 2023-08-17 Ocean Infinity (Portugal), S.A. System and method of operation for remotely operated vehicles with improved position estimation
WO2020033967A1 (en) 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10974720B2 (en) 2018-08-13 2021-04-13 Kingman Ag, Llc Vehicle sliding bumper and system for object contact detection and responsive control
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN109284699A (zh) * 2018-09-04 2019-01-29 广东翼卡车联网服务有限公司 一种适用车辆碰撞的深度学习方法
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11648951B2 (en) 2018-10-29 2023-05-16 Motional Ad Llc Systems and methods for controlling actuators based on load characteristics and passenger comfort
US11186273B2 (en) * 2018-10-30 2021-11-30 Toyota Motor North America, Inc. Vehicle data processing systems and methods using one or more local processors
US11163312B2 (en) 2018-11-02 2021-11-02 Aurora Operations, Inc. Removable automotive LIDAR data collection POD
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11610115B2 (en) 2018-11-16 2023-03-21 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
JP7469846B2 (ja) * 2018-11-20 2024-04-17 株式会社Subaru 車両制御装置
JP7086217B2 (ja) * 2018-11-28 2022-06-17 三菱電機株式会社 衝突回避学習装置及び衝突回避学習方法
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11835948B2 (en) * 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
KR102636739B1 (ko) * 2018-12-18 2024-02-15 현대자동차주식회사 차량 및 그 제어방법
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN113454636A (zh) 2018-12-28 2021-09-28 辉达公司 自主机器应用中障碍物检测的距离
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11182916B2 (en) 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
JP7176415B2 (ja) * 2019-01-15 2022-11-22 トヨタ自動車株式会社 衝突前制御装置
CN111771229B (zh) * 2019-01-30 2023-11-21 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的点云重影效果检测系统
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10890916B2 (en) 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
JP7256758B2 (ja) * 2019-01-30 2023-04-12 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位
US10824151B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle
US11410475B2 (en) 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) * 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
JP7237625B2 (ja) * 2019-02-08 2023-03-13 株式会社ダイヘン 移動体、及び画像補正装置
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
WO2020164841A1 (de) * 2019-02-14 2020-08-20 Saint-Gobain Glass France Verfahren zum bereitstellen einer trainingsdatensatzmenge, ein verfahren zum trainieren eines klassifikators, ein verfahren zum steuern eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
CN109808588A (zh) * 2019-02-19 2019-05-28 百度在线网络技术（北京）有限公司 显示自动驾驶车辆行驶行为的方法和装置
CN109800773B (zh) * 2019-02-19 2021-01-22 北京大学 基于三维激光雷达的越野路面提取方法
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3703029A1 (en) * 2019-02-26 2020-09-02 Ningbo Geely Automobile Research & Development Co. Ltd. Mitigating collision risk with an obscured object
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
JP7230596B2 (ja) * 2019-03-08 2023-03-01 マツダ株式会社 自動車用演算システム
EP3935558A2 (en) * 2019-03-08 2022-01-12 Orlaco Products B.V. Method for creating a collision detection training set including ego part exclusion
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
KR102162646B1 (ko) 2019-03-11 2020-10-07 주식회사 에스더블유엠 자율주행차의 주행 제어방법
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images
EP3948647A4 (en) * 2019-04-01 2022-11-16 INTEL Corporation GENERATION OF AUTONOMOUS DRIVING DATA SET WITH AUTOMATIC OBJECT LABELING METHODS AND DEVICES
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
DE102020111250A1 (de) * 2019-04-25 2020-10-29 Aptiv Technologies Limited Grafische benutzerschnittstelle zur anzeige des verhaltens autonomer fahrzeuge
US11472291B2 (en) * 2019-04-25 2022-10-18 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
US11249184B2 (en) 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
KR102060567B1 (ko) * 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
US11772643B1 (en) * 2019-05-20 2023-10-03 Zoox, Inc. Object relevance determination
US11209824B1 (en) 2019-06-12 2021-12-28 Kingman Ag, Llc Navigation system and method for guiding an autonomous vehicle through rows of plants or markers
DE102019209292A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
US10916152B2 (en) * 2019-07-01 2021-02-09 Honeywell International Inc. Collision awareness system for ground operations
JP7300331B2 (ja) * 2019-07-03 2023-06-29 株式会社日立製作所 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11487973B2 (en) * 2019-07-19 2022-11-01 UiPath, Inc. Retraining a computer vision model for robotic process automation
WO2021026768A1 (zh) * 2019-08-13 2021-02-18 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
KR102212217B1 (ko) * 2019-08-14 2021-02-04 엘지전자 주식회사 충돌을 효과적으로 방지하는 자율 주행 차량 및 이를 제어하는 제어 장치 및 방법
CN110472571A (zh) * 2019-08-14 2019-11-19 广州小鹏汽车科技有限公司 一种车距确定方法、装置和车辆
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
WO2021038299A2 (en) 2019-08-29 2021-03-04 Derq Inc. Enhanced onboard equipment
US11788861B2 (en) 2019-08-31 2023-10-17 Nvidia Corporation Map creation and localization for autonomous driving applications
WO2021044486A1 (ja) * 2019-09-02 2021-03-11 三菱電機株式会社 自動運転制御装置および自動運転制御方法
WO2021063486A1 (en) * 2019-10-01 2021-04-08 Huawei Technologies Co., Ltd. Automatic root cause analysis of failures in autonomous vehicle
JP7215390B2 (ja) 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021076929A1 (en) * 2019-10-18 2021-04-22 Zenosol, Corp. Uni-body multimodal mobility chassis and autonomous vehicle system
JP7327077B2 (ja) 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021084420A1 (en) * 2019-10-29 2021-05-06 Sony Corporation Vehicle control in geographical control zones
CN112825256A (zh) * 2019-11-20 2021-05-21 百度在线网络技术（北京）有限公司 录制语音包功能的引导方法、装置、设备和计算机存储介质
CN112329840A (zh) * 2019-12-16 2021-02-05 张伟红 一种基于大数据的自动驾驶车辆碰撞分析方法
WO2021153049A1 (ja) 2020-01-30 2021-08-05 日立Astemo株式会社 情報処理装置
KR102246706B1 (ko) * 2020-03-16 2021-04-30 포티투닷 주식회사 자율 주행 장치 및 이상 도로 상황에서 자율 주행 장치 운용 방법
JP7464425B2 (ja) 2020-03-31 2024-04-09 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
KR102391771B1 (ko) 2020-04-02 2022-04-27 함영국 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법
US11263896B2 (en) 2020-04-06 2022-03-01 B&H Licensing Inc. Method and system for detecting jaywalking of vulnerable road users
JP7416219B2 (ja) 2020-04-16 2024-01-17 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
KR102330909B1 (ko) * 2020-04-16 2021-11-25 장종환 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템
CN111680730A (zh) * 2020-06-01 2020-09-18 中国第一汽车股份有限公司 一种地理围栏的生成方法、装置、计算机设备和存储介质
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
JP2022026925A (ja) * 2020-07-31 2022-02-10 株式会社東芝 注意喚起システム、注意喚起方法及びプログラム
CN112115822B (zh) * 2020-09-04 2022-03-15 西北工业大学 一种水下移动目标智能融合感知方法
CN112156474B (zh) * 2020-09-25 2023-01-24 努比亚技术有限公司 一种载具控制方法、设备及计算机可读存储介质
CN112172670B (zh) * 2020-10-19 2022-10-04 广州优创电子有限公司 基于图像识别的后视图像显示方法及装置
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
CN112329670B (zh) * 2020-11-11 2021-10-19 上海伯镭智能科技有限公司 无人驾驶车辆路况不规则障碍物的识别方法、计算机程序及存储介质
CN114633743A (zh) * 2020-12-16 2022-06-17 郑州宇通客车股份有限公司 一种自动驾驶车辆及其碰撞事故检测方法和系统
KR102614256B1 (ko) 2021-02-02 2023-12-15 우석대학교 산학협력단 자율주행을 위한 3차원 벡터좌표시스템
CN117501311A (zh) * 2021-04-30 2024-02-02 前瞻机械私人有限公司 利用一个或多个摄像机生成和/或使用三维信息的系统和方法
US11875548B2 (en) * 2021-07-22 2024-01-16 GM Global Technology Operations LLC System and method for region of interest window generation for attention based perception
US20230033297A1 (en) * 2021-07-29 2023-02-02 Argo AI, LLC Complementary control system for an autonomous vehicle
US20230030815A1 (en) * 2021-07-29 2023-02-02 Argo AI, LLC Complementary control system for an autonomous vehicle
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
KR102600238B1 (ko) * 2021-09-30 2023-11-10 서울대학교산학협력단 비-구조화된 주행 환경을 위한 자율 주행 방법 및 장치
US11851068B2 (en) * 2021-10-25 2023-12-26 Ford Global Technologies, Llc Enhanced target detection
US20230150544A1 (en) * 2021-11-18 2023-05-18 Motional Ad Llc Generating notifications indicative of unanticipated actions
US20240080571A1 (en) * 2022-04-26 2024-03-07 Motional Ad Llc Managing Efficiency of Image Processing
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner
CN114973208B (zh) * 2022-08-02 2022-11-29 所托(杭州)汽车智能设备有限公司 车辆盲区监测预警方法及相关设备
JP2024048048A (ja) * 2022-09-27 2024-04-08 トヨタ自動車株式会社 車両制御装置
CN117215316B (zh) * 2023-11-08 2024-02-13 四川大学 基于协同控制与深度学习的驾驶环境感知的方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507088A (ja) 2008-10-24 2012-03-22 グレイ・アンド・カンパニー・インコーポレーテッド 自律運転乗物用の制御及びシステム

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
KR19980068399A (ko) * 1997-02-19 1998-10-15 김영환 차량 자율 주행 장치 및 제어 방법
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8060271B2 (en) * 2008-06-06 2011-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Detecting principal directions of unknown environments
KR101002666B1 (ko) 2008-07-14 2010-12-21 삼성모바일디스플레이주식회사 박막트랜지스터, 그의 제조방법, 및 이를 포함하는유기전계발광표시장치
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
JP5258651B2 (ja) 2009-03-25 2013-08-07 株式会社東芝 物体検出装置、物体検出方法、及び、プログラム
JP5644060B2 (ja) * 2009-03-27 2014-12-24 トヨタ自動車株式会社 データ処理装置
JP2012118683A (ja) 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
DE102012009555A1 (de) * 2012-05-12 2012-11-29 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs und Fahrerassistenzsystem
DE102012208712A1 (de) * 2012-05-24 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Vermeiden oder Abmildern einer Kollision eines Fahrzeugs mit einem Hindernis
US20130321627A1 (en) * 2012-05-31 2013-12-05 John C. Turn, JR. Road departure sensing and intelligent driving systems and methods
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
US9493116B2 (en) * 2012-06-22 2016-11-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US8972061B2 (en) * 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
US9415775B2 (en) * 2012-11-13 2016-08-16 Toyota Jidosha Kabushiki Kaisha Drive assist apparatus, and drive assist method
JP2014106685A (ja) 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
CN104812647B (zh) * 2012-11-29 2017-10-10 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013213171A1 (de) * 2013-07-04 2015-01-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
DE102013013867A1 (de) * 2013-08-20 2015-03-12 Audi Ag Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
CN104773177A (zh) 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置
US9809219B2 (en) 2014-01-29 2017-11-07 Continental Automotive Systems, Inc. System for accommodating a pedestrian during autonomous vehicle operation
US10124800B2 (en) * 2014-05-30 2018-11-13 The Boeing Company Variably controlled ground vehicle
US9229453B1 (en) 2014-08-29 2016-01-05 GM Global Technology Operations LLC Unified motion planner for autonomous driving vehicle in avoiding the moving obstacle
CN104182756B (zh) 2014-09-05 2017-04-12 大连理工大学 一种基于单目视觉的车辆前方障碍物检测方法
US10571911B2 (en) * 2014-12-07 2020-02-25 Toyota Motor Engineering & Manufacturing North America, Inc. Mixed autonomous and manual control of a vehicle
US9959624B2 (en) * 2014-12-22 2018-05-01 Volkswagen Ag Early detection of turning condition identification using perception technology
EP3045936A1 (en) * 2015-01-13 2016-07-20 XenomatiX BVBA Surround sensing system with telecentric optics
JP5979259B2 (ja) 2015-01-20 2016-08-24 トヨタ自動車株式会社 衝突回避制御装置
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9902401B2 (en) * 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
US10556600B2 (en) * 2015-12-09 2020-02-11 Toyota Motor Engineering & Manufacturing North America, Inc. Assessment of human driving performance using autonomous vehicles
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US10133273B2 (en) * 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
CN106553655B (zh) 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
US10012993B1 (en) * 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US10259452B2 (en) * 2017-01-04 2019-04-16 International Business Machines Corporation Self-driving vehicle collision management system
US10752239B2 (en) * 2017-02-22 2020-08-25 International Business Machines Corporation Training a self-driving vehicle
US10234864B2 (en) * 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) * 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10518770B2 (en) * 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles
US10324469B2 (en) * 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11256983B2 (en) * 2017-07-27 2022-02-22 Waymo Llc Neural networks for vehicle trajectory planning
US11334070B2 (en) * 2017-08-10 2022-05-17 Patroness, LLC Systems and methods for predictions of state of objects for a motorized mobile system
US20200379458A1 (en) * 2017-12-13 2020-12-03 Evexia Research, Llc Autonomous safety for pedestrians
EP3787947A2 (en) * 2018-08-14 2021-03-10 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10948915B2 (en) * 2018-08-30 2021-03-16 Intel Corporation Computer-assisted or autonomous driving vehicle incident management method and apparatus
US11104332B2 (en) * 2018-12-12 2021-08-31 Zoox, Inc. Collision avoidance system with trajectory validation
US20200211394A1 (en) * 2018-12-26 2020-07-02 Zoox, Inc. Collision avoidance system
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11182916B2 (en) * 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
DE112020003043T5 (de) * 2019-06-25 2022-08-18 Nvidia Corporation Erkennung und klassifizierung von kreuzungsregionen für autonome maschinenanwendungen
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
US11500385B2 (en) * 2019-09-30 2022-11-15 Zoox, Inc. Collision avoidance perception system
US11726492B2 (en) * 2019-10-02 2023-08-15 Zoox, Inc. Collision avoidance perception system
US20210103285A1 (en) * 2019-10-02 2021-04-08 Zoox, Inc. Collision avoidance perception system
US20210125036A1 (en) * 2019-10-29 2021-04-29 Nvidia Corporation Determining object orientation from an image with machine learning
KR20210050925A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
US11886968B2 (en) * 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012507088A (ja) 2008-10-24 2012-03-22 グレイ・アンド・カンパニー・インコーポレーテッド 自律運転乗物用の制御及びシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210006138A (ko) * 2019-07-08 2021-01-18 씨제이올리브네트웍스 주식회사 운송 로봇의 실내자율주행 시스템
KR102281588B1 (ko) * 2019-07-08 2021-07-26 씨제이올리브네트웍스 주식회사 운송 로봇의 실내자율주행 시스템

Also Published As

Publication number Publication date
EP3418841B1 (en) 2021-01-20
IL260106B (en) 2020-09-30
EP3825803A1 (en) 2021-05-26
CN109117709A (zh) 2019-01-01
US20180373263A1 (en) 2018-12-27
CA3008091A1 (en) 2018-08-15
US10007269B1 (en) 2018-06-26
US11402848B2 (en) 2022-08-02
KR20190000843A (ko) 2019-01-03
IL260106A (en) 2018-11-29
CN109117709B (zh) 2020-09-01
CA3008091C (en) 2019-09-24
EP3825803B1 (en) 2024-03-20
JP2019008796A (ja) 2019-01-17
US20200272164A1 (en) 2020-08-27
EP3418841A1 (en) 2018-12-26
US10649464B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
KR101963422B1 (ko) 자율 주행 가능 차량용 충돌-회피 시스템
US11789445B2 (en) Remote control system for training deep neural networks in autonomous machine applications
KR102618700B1 (ko) 시각적 이미지 데이터를 사용하는 오브젝트 특성 추정
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
US11312372B2 (en) Vehicle path prediction
US11318928B2 (en) Vehicular automated parking system
US9672446B1 (en) Object detection for an autonomous vehicle
CN110618678A (zh) 自主机器应用中的行为引导路径规划
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN114450724A (zh) 用于自主机器应用的多活动者环境中的未来轨迹预测
CN112347829A (zh) 利用障碍物和车道检测来确定环境中对象的车道分配
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP3407249A2 (en) A method and system for generating and using a perception scene graph in motor vehicle applications
US20200284912A1 (en) Adaptive sensor sytem for vehicle and method of operating the same
JP7363118B2 (ja) 外部環境認識装置
CN113212444A (zh) 车辆用控制装置
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
WO2024065173A1 (en) Cloud based scanning for detection of sensors malfunction for autonomous vehicles
US20230237793A1 (en) False track mitigation in object detection systems
CN114841336A (zh) 修补用于自主机器应用的部署的深度神经网络

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right