KR20220040473A - 긴급 차량들의 검출 - Google Patents

긴급 차량들의 검출 Download PDF

Info

Publication number
KR20220040473A
KR20220040473A KR1020227006149A KR20227006149A KR20220040473A KR 20220040473 A KR20220040473 A KR 20220040473A KR 1020227006149 A KR1020227006149 A KR 1020227006149A KR 20227006149 A KR20227006149 A KR 20227006149A KR 20220040473 A KR20220040473 A KR 20220040473A
Authority
KR
South Korea
Prior art keywords
vehicle
candidate
emergency vehicle
image
computing devices
Prior art date
Application number
KR1020227006149A
Other languages
English (en)
Other versions
KR102613839B1 (ko
Inventor
마얀크 반살
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20220040473A publication Critical patent/KR20220040473A/ko
Application granted granted Critical
Publication of KR102613839B1 publication Critical patent/KR102613839B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 개시내용의 양태들은 긴급 차량(454)을 검출하는 것에 관한 것이다. 예를 들어, 자율 차량(100)의 관점으로부터 복수의 이미지들(400, 600, 802, 804)이 촬영될 수 있다. 이미지들에 대해 차량(100)으로부터 개개의 거리에 있는 관심 지역을 나타내는 하나 이상의 게이트(340-352, 480-492)가 생성될 수 있다. 하나 이상의 게이트(340-352, 480-492) 내에서 복수의 광들(604)이 검출될 수 있다. 이미지들(600) 중 하나의 이미지의 하나 이상의 게이트(486)에서 검출된 복수의 광들(604)로부터 제1 후보 긴급 차량(702)이 식별될 수 있고, 이미지들(804) 중 다른 이미지의 하나 이상의 게이트에서 검출된 복수의 광들(604)로부터 제2 후보 긴급 차량(802)이 식별될 수 있다. 제1 및 제2 후보 긴급 차량들(702, 802)은 동일한 긴급 차량(454)이고 활성 상태인 것으로 결정된다. 주어진 긴급 차량(454)이 활성 상태라는 결정에 기초하여 자율 차량의 동작 시스템이 제어된다.

Description

긴급 차량들의 검출
관련 출원에 대한 상호 참조
본 출원은 2019년 11월 13일에 출원된 미국 특허 출원 번호 제16/682,747에 대한 우선권을 주장하고, 이는 2019년 7월 29일에 출원된 미국 가출원 번호 제62/879,636호의 출원일에 대한 이익을 주장하며, 그 전체 개시내용은 본 명세서에서 참조로 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 차량(autonomous vehicle)들은 승객들 또는 물품들을 하나의 위치로부터 다른 위치로 운송하는 것을 돕는 데 사용될 수 있다. 이러한 차량들은 완전 자율 주행 모드(fully autonomous driving mode)에서 동작할 수 있으며, 완전 자율 주행 모드에서, 승객들은 목적지와 같은 일부 초기 입력을 제공할 수 있고, 차량은 스스로 해당 목적지로 조종한다. 따라서, 이러한 차량들은, 임의의 주어진 시간에 자율 차량의 위치를 결정할 수 있을 뿐만 아니라 다른 차량들, 정지등들, 보행자들 등과 같은 차량 외부의 객체들을 검출 및 식별할 수 있는 시스템들에 크게 의존할 수 있다.
본 개시내용의 양태들은 긴급 차량(emergency vehicle)을 검출하기 위한 시스템을 제공한다. 시스템은 차량의 동작 시스템; 및 동작 시스템들과 통신하는 하나 이상의 컴퓨팅 디바이스를 포함한다. 하나 이상의 컴퓨팅 디바이스는 차량의 관점(perspective)으로부터 환경의 복수의 이미지들을 수신하고 - 복수의 이미지들은 제1 이미지 및 추가 이미지를 포함함 -, 복수의 이미지들에서 하나 이상의 게이트를 생성하고 - 하나 이상의 게이트 각각은 차량으로부터 개개의 거리에 있는 관심 지역을 나타냄 -, 하나 이상의 게이트 내에서 복수의 광들을 검출하고, 제1 이미지의 하나 이상의 게이트의 주어진 게이트에서 검출된 복수의 광들의 그룹에 대응하는 제1 후보 긴급 차량을 식별하고, 추가 이미지의 하나 이상의 게이트의 게이트들에서 검출된 복수의 광들의 그룹에 대응하는 제2 후보 긴급 차량을 식별하고, 제1 후보 긴급 차량과 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하고, 주어진 긴급 차량이 활성 상태라고 결정하고, 주어진 긴급 차량이 활성 상태라는 결정에 기초하여 차량의 동작 시스템을 동작시키도록 구성된다.
일 예에서, 하나 이상의 컴퓨팅 디바이스는 하나 이상의 게이트를 생성할 하나 이상의 지역을 선택하도록 추가로 구성된다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 긴급 차량들과 관련이 없는 환경 내의 영역들과 연관된 제1 이미지의 픽셀들을 마스킹하도록 추가로 구성된다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 제1 이미지의 주어진 게이트 내에 검출된 복수의 광들의 그룹을 포함하도록 생성된 제1 후보 차량 폴리곤(candidate vehicle polygon)에 기초하여 제1 후보 긴급 차량을 식별하도록 구성된다. 이 예에서, 하나 이상의 컴퓨팅 디바이스는, 검출된 복수의 광들의 그룹 및 추가 이미지의 주어진 게이트를 포함하도록 생성된 제2 후보 차량 폴리곤; 및 제1 후보 차량 폴리곤과 제2 후보 차량 폴리곤 사이의 유사도의 측정에 기초하여, 제1 후보 긴급 차량과 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하도록 구성된다. 추가적으로 또는 대안적으로, 하나 이상의 컴퓨팅 디바이스는 제1 후보 차량 폴리곤에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하도록 추가로 구성된다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 제1 후보 긴급 차량 또는 제2 후보 긴급 차량의 검증(validation)에 기초하여 주어진 긴급 차량이 활성 상태라고 결정하도록 구성된다. 이 예에서, 검증은 다른 검출된 객체들에 대해 활성 상태의 후보 긴급 차량의 특성들을 체크하는 것을 포함한다. 추가적으로 또는 대안적으로, 검증은 하나 이상의 게이트 내에서 검출된 객체들의 거짓 긍정(false positive)들을 필터링하는 것을 포함한다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 제1 이미지의 하나 이상의 게이트 또는 추가 이미지의 하나 이상의 게이트에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하도록 추가로 구성된다. 다른 예에서, 차량의 동작 시스템은 차량에 대한 궤적들을 플래닝(planning)하기 위한 내비게이션 시스템이다. 다른 예에서, 차량의 동작 시스템은 차량을 정지 상태로 느려지게 하기 위한 감속 시스템이다. 다른 예에서, 차량의 동작 시스템은 차량의 방향을 전환하기 위해 휠들의 각도를 제어하기 위한 스티어링 시스템(steering system)이다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 특정 주파수 범위 내의 광들을 식별함으로써 복수의 광들을 검출하도록 구성된다. 다른 예에서, 하나 이상의 컴퓨팅 디바이스는 특정 주파수 범위 밖의 광들을 필터링하는 것을 포함하는 복수의 광들을 검출하도록 구성된다.
본 개시내용의 다른 양태들은 긴급 차량을 검출하기 위한 방법을 제공한다. 방법은, 하나 이상의 컴퓨팅 디바이스에 의해, 자율 차량(autonomous vehicle)의 관점으로부터 촬영된 복수의 이미지들을 수신하는 단계 - 복수의 이미지들은 제1 이미지 및 추가 이미지를 포함함 -; 하나 이상의 컴퓨팅 디바이스에 의해, 복수의 이미지들에서 하나 이상의 게이트를 생성하는 단계 - 하나 이상의 게이트 각각은 차량으로부터 개개의 거리에 있는 관심 지역을 나타냄 -; 하나 이상의 컴퓨팅 디바이스에 의해, 하나 이상의 게이트 내에서 복수의 광들을 검출하는 단계; 하나 이상의 컴퓨팅 디바이스에 의해, 제1 이미지의 하나 이상의 게이트의 게이트들에서 검출된 복수의 광들의 그룹에 대응하는 제1 후보 긴급 차량을 식별하는 단계; 하나 이상의 컴퓨팅 디바이스에 의해, 추가 이미지의 하나 이상의 게이트의 주어진 게이트에서 검출된 복수의 광들의 그룹에 대응하는 제2 후보 긴급 차량을 식별하는 단계; 하나 이상의 컴퓨팅 디바이스에 의해, 제1 후보 긴급 차량과 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계; 하나 이상의 컴퓨팅 디바이스에 의해, 주어진 긴급 차량이 활성 상태라고 결정하는 단계; 및 하나 이상의 컴퓨팅 디바이스에 의해, 주어진 긴급 차량이 활성 상태라는 결정에 기초하여 차량의 동작 시스템을 동작시키는 단계를 포함한다.
일 예에서, 방법은 또한, 하나 이상의 컴퓨팅 디바이스에 의해, 하나 이상의 게이트를 생성할 하나 이상의 지역을 선택하는 단계를 포함한다. 다른 예에서, 방법은 또한, 하나 이상의 컴퓨팅 디바이스에 의해, 긴급 차량들과 관련이 없는 객체들과 연관된 제1 이미지의 픽셀들을 마스킹하는 단계를 포함한다. 다른 예에서, 제1 후보 긴급 차량을 식별하는 단계는 검출된 복수의 광들의 그룹 및 제1 이미지의 주어진 게이트를 포함하도록 제1 후보 차량 폴리곤을 생성하는 단계를 포함한다. 이 예에서, 제1 후보 긴급 차량과 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계는 검출된 복수의 광들의 그룹 및 추가 이미지의 주어진 게이트를 포함하도록 생성된 제2 후보 차량 폴리곤을 생성하는 단계; 제2 후보 차량 폴리곤을 제1 이미지에 투영하는 단계; 제1 후보 차량 폴리곤과 제2 후보 차량 폴리곤 사이의 유사도의 측정을 결정하는 단계; 및 유사도의 양이 임계 양보다 클 때, 제1 후보 긴급 차량과 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계를 포함한다. 다른 예에서, 주어진 긴급 차량이 활성 상태라고 결정하는 단계는 제1 후보 긴급 차량 또는 제2 후보 긴급 차량을 검증하는 단계를 포함한다. 다른 예에서, 제1 이미지의 하나 이상의 게이트 또는 추가 이미지의 하나 이상의 게이트에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하는 단계를 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능도이다.
도 2는 본 개시내용의 양태들에 따른 차량의 예시적인 대표도이다.
도 3a, 도 3b 및 도 3c는 본 개시내용의 양태들에 따른 예시적인 이미지(300)를 도시한다.
도 4a, 도 4b, 및 도 4c는 본 개시내용의 양태들에 따른 예시적인 이미지(400)를 도시한다.
도 5는 본 개시내용의 양태들에 따른 예시적인 출력 이미지(500)를 도시한다.
도 6a 및 도 6b는 본 개시내용의 양태들에 따른 크롭된 이미지 부분(600)을 도시한다.
도 7은 본 개시내용의 다른 양태들에 따른 예시적인 이미지(400)를 도시한다.
도 8은 본 개시내용의 양태들에 따른 일련의 이미지들을 도시한다.
도 9는 본 개시내용의 추가 양태들에 따른 예시적인 이미지(400)를 도시한다.
도 10은 본 개시내용의 양태들에 따른 다른 일련의 이미지들을 도시한다.
도 11은 본 개시내용의 양태들에 따른 예시적인 방법의 흐름도(1100)이다.
개요
기술은 자율 차량을 위한 긴급 차량들의 장거리 검출에 관한 것이다. 긴급 차량이 더 먼 거리에 있는 동안 긴급 차량을 더 일찍 검출할 수 있으면 자율 차량이 그 경로 또는 행동을 더 일찍 또는 더 정확하고 효율적인 방식으로 조정할 수 있을 것이다. 긴급 차량들은 다른 것들 중에서, 예를 들어, 경찰차들, 구급차들, 소방차들 등을 포함한다. 접근 방식은 다가오는 차량들이 있거나 있을 가능성이 있는 곳으로 이미지 검색 공간을 제한하기 위해 도로의 지오메트리에 기초하여 제1 이미지에서 하나 이상의 지역을 선택하는 것을 포함할 수 있다. 선택된 지역들 내에서 깜박이는 적색 및 청색 광들이 지역들에서 검출되는 곳에 따라 후보 상자들이 결정될 수 있는데, 왜냐하면 깜박이는 적색 및 청색 광들이 종종 활성 상태의 긴급 차량들과 연관되기 때문이다.
자율 차량은 제1 이미지를 포함하여 자율 차량에 대해 전방을 향하는 방향으로 하나 이상의 이미지를 캡처하도록 구성되는 이미지 캡처 시스템을 포함할 수 있다. 차량의 컴퓨팅 디바이스들은 로드그래프(roadgraph) 지오메트리에 따라 제1 이미지에서 하나 이상의 지역을 선택하도록 구성될 수 있다. 선택된 하나 이상의 지역은 다가오는 교통이 있거나 있을 가능성이 있는 영역들일 수 있다. 로드그래프 지오메트리는 제1 이미지에서 레인 피처(lane feature)들을 검출함으로써 결정될 수 있다. 레인 피처들은 자율 차량의 이동 레인과 동일한 방향의 레인들 및 자율 차량의 이동 레인과 반대 방향의 레인들을 식별하는 데 사용될 수 있다.
차량의 컴퓨팅 디바이스들은 선택된 하나 이상의 지역에서 하나 이상의 게이트를 생성할 수 있다. 각각의 게이트는 자율 차량으로부터 특정 거리들에 있는 관심 지역을 나타낼 수 있다. 하나 이상의 게이트는 자율 차량의 단거리 센서들의 범위가 끝나는 곳으로부터 시작하여 생성될 수 있다. 하나 이상의 게이트는 반대 방향의 레인들이 인식될 수 없게 되거나 또는 공칭 긴급 차량이 제1 이미지의 픽셀들의 제1 임계 양보다 작게 되는 거리에서 끝날 수 있다. 하나 이상의 게이트가 생성된 후, 차량의 컴퓨팅 디바이스들은 임의의 적색 또는 청색 광들이 하나 이상의 게이트 내에 있는지 여부를 결정할 수 있다.
그런 다음, 차량의 컴퓨팅 디바이스들은 하나 이상의 게이트의 주어진 게이트에서 적색 또는 청색 광들의 그룹에 대응하는 후보 긴급 차량을 식별할 수 있다. 적색 또는 청색 광들의 그룹은 서로 매우 근접한 주어진 게이트들 내의 복수의 적색 또는 청색 광들일 수 있다. 후보 긴급 차량을 식별하는 것은 적색 또는 청색 광들의 그룹 및 주어진 게이트에 따라 제1 후보 차량 폴리곤을 생성하는 것을 포함할 수 있다. 후보 긴급 차량을 식별하는 것은 또한 제1 이미지 이전 및/또는 이후에 촬영된 하나 이상의 추가 이미지에 적색 또는 청색 광들이 있는지 여부를 결정하는 것을 포함할 수 있다. 깜박이는 광을 캡처하기 위해 하나 이상의 추가 이미지를 사용하는 것이 포함될 수 있다. 하나 이상의 추가 이미지 각각에 대한 적색 또는 청색 광들에 따라 추가 후보 차량 폴리곤이 생성될 수 있다.
제1 이미지의 제1 후보 차량 폴리곤은 하나 이상의 추가 이미지 중 적어도 하나의 추가 이미지의 적어도 하나의 추가 후보 차량 폴리곤과 연관될 수 있다. 후보 차량 폴리곤들 사이의 연관을 통해 자율 차량은 연관된 후보 차량 폴리곤들이 동일한 후보 긴급 차량에 대응한다고 결정할 수 있고, 또한 자율 차량이 시간이 지남에 따라 후보 긴급 차량의 행동을 추적할 수 있다. 또한, 연관은 시간이 지남에 따라 후보 긴급 차량 상의 깜박이는 광들을 캡처할 수 있다. 연관은 적어도 하나의 추가 후보 차량 폴리곤을 제1 이미지에 투영함으로써 생성될 수 있다.
적어도 하나의 추가 후보 차량 폴리곤을 제1 이미지에 투영하는 것은 (i) 적어도 하나의 추가 후보 차량 폴리곤의 사이즈 및 포지션, 및 (ii) 제1 이미지와 대응하는 적어도 하나의 추가 이미지 사이의 자율 차량의 상대적인 모션에 기초하여, 적어도 하나의 추가 후보 차량 폴리곤을 제1 이미지에 정렬하는 것을 포함할 수 있다. 유사도의 측정이 제2 임계 양을 초과할 때, 적어도 하나의 추가 이미지의 주어진 추가 이미지가 제1 이미지와 연관될 수 있다. 유사도의 측정은 제1 후보 차량 폴리곤과 제1 이미지에 투영되는 적어도 하나의 추가 후보 차량 폴리곤의 주어진 추가 후보 차량 폴리곤 사이의 물리적인 교차의 양에 기초하여 결정될 수 있다.
제1 후보 차량 폴리곤을 적어도 하나의 추가 후보 차량 폴리곤과 연관시킨 후, 차량의 컴퓨팅 디바이스들은 후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정할 수 있다. 이 결정은 제1 후보 차량 폴리곤의 적색 또는 청색 광들을 적어도 하나의 추가 후보 차량 폴리곤의 적색 또는 청색 광들과 비교하는 것을 포함할 수 있다. 광들의 수, 광들의 강도, 또는 광들의 포지션의 차이는 후보 긴급 차량이 깜박이는 광들을 갖는다는 표시일 수 있다.
일부 구현들에서, 후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정하는 것은 가능한 거짓 긍정(false positive)들을 제거함으로써, 또는 다른 검출된 객체들에 대해 활성 상태의 후보 긴급 차량의 특성들을 체크함으로써, 활성 상태의 긴급 차량을 검증하는 것을 포함할 수 있다. 거짓 긍정들을 제거하기 위해, 차량의 컴퓨팅 디바이스들은 활성 상태의 긴급 차량의 특성들이 없거나 또는 활성 상태의 긴급 차량의 신뢰할 수 없는 표시자들인 피처들에 기초하여 주어진 이미지에서 검출된 객체들을 필터링할 수 있다. 거짓 긍정들을 제거하는 다른 예는 주어진 이미지의 후보 긴급 차량을 자율 차량의 인식 시스템(perception system)에 의해 검출된 객체들과 비교하는 것을 포함할 수 있다.
후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정한 후, 차량의 컴퓨팅 디바이스들은 활성 상태의 긴급 차량의 특성들에 따라 자율 차량을 동작시킬 수 있다. 특성들은 활성 상태의 긴급 차량의 위치, 모션, 속도 또는 예측된 루트를 포함할 수 있다. 자율 차량을 동작시키는 것은 자율 차량이 활성 상태의 긴급 차량에 양보하도록 루트를 결정하는 것, 향후 정지시까지 느려지게 하도록 자율 차량의 시스템을 제어하는 것, 또는 활성 상태의 긴급 차량에 적절하게 응답하기 위한 기타 액션들을 포함할 수 있다.
위에서 설명된 피처들은 다른 머신 학습 기술들보다 더 이른 시점에, 더 먼 거리에서, 그리고 더 적은 데이터를 사용하여 외관이 크게 변할 수 있는 긴급 차량들을 식별할 수 있는 자율 차량을 제공할 수 있다. 따라서, 자율 차량은 더 이른 시점에 긴급 차량에 응답할 준비를 시작할 수 있다. 또한, 설명된 피처들은 자율 차량이 그 환경 내의 객체들에 정확하게 응답할 수 있도록 거짓 긍정들을 식별하는 방법도 제공한다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 타입들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레저용 차량들 등을 포함하되, 이에 제한되지 않는 임의의 타입의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130), 및 범용 컴퓨팅 디바이스들에 통상적으로 존재하는 기타 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
하나 이상의 프로세서(120)는 상업적으로 이용 가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 기타 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 기타 광 디스크들뿐만 아니라 기타 기입 가능 및 판독 전용 메모리들과 같이, 컴퓨팅 디바이스 판독 가능 매체 또는 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 기타 매체를 포함하여, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 타입일 수 있다. 시스템들 및 방법들은 전술한 것들의 상이한 조합들을 포함할 수 있으며, 이에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 타입들의 매체들에 저장된다.
명령어들(132)은 프로세서에 의해 직접적으로(예를 들어, 머신 코드) 또는 간접적으로(예를 들어, 스크립트들) 실행될 임의의 세트의 명령어들일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독 가능 매체에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, "명령어들" 및 "프로그램들"이라는 용어들은 본 명세서에서 상호 교환적으로 사용될 수 있다. 명령어들은 프로세서에 의한 직접 프로세싱을 위한 객체 코드 포맷으로, 또는 온디맨드로 해석되거나 또는 사전에 컴파일되는 독립 소스 코드 모듈들의 모음들 또는 스크립트들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어들의 기능들, 방법들 및 루틴들은 아래에 더 상세하게 설명되어 있다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 리트리브, 저장 또는 수정될 수 있다. 예를 들어, 청구되는 대상이 임의의 특정 데이터 구조에 의해 제한되지는 않지만, 데이터는 컴퓨팅 디바이스 레지스터들에, 복수의 상이한 필드들 및 레코드들, XML 문서들 또는 플랫 파일들을 갖는 테이블로서 관계형 데이터베이스에 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독 가능 포맷으로 포맷될 수 있다.
도 1은 프로세서, 메모리, 및 컴퓨팅 디바이스들(110)의 기타 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 프로세서, 컴퓨팅 디바이스 또는 메모리는 동일한 물리적 하우징 내에 수용될 수도 또는 수용되지 않을 수도 있는 다수의 프로세서들, 컴퓨팅 디바이스들, 또는 메모리들을 실제로 포함할 수 있다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스들(110)의 것과 상이한 하우징에 위치되는 하드 드라이브 또는 기타 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조들은 병렬로 동작할 수도 있고 또는 동작하지 않을 수도 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합에 대한 참조들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은 위에서 설명된 프로세서 및 메모리뿐만 아니라 사용자 입력부(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 정보를 디스플레이하도록 동작 가능한 스크린 또는 임의의 기타 전기 디바이스를 갖는 모니터)과 같이 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 모든 컴포넌트들을 포함할 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 객실 내에 위치될 수 있고, 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
컴퓨팅 디바이스들(110)은 또한 아래에서 상세히 설명되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 연결(156)을 포함할 수 있다. 무선 네트워크 연결들은 블루투스(Bluetooth), 블루투스 저에너지(low energy)(LE), 셀룰러 연결들과 같은 단거리 통신 프로토콜들뿐만 아니라, 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 소유의 통신 프로토콜을 사용하는 사설 네트워크들, 이더넷, Wi-Fi 및 HTTP, 및 이들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스들(110)은 차량(100)에 통합된 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 완전 자율 주행 모드 및/또는 반자율 주행 모드(semi-autonomous driving mode)에서 차량(100)을 조종하기 위해 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가서, 컴퓨팅 디바이스들(110)은 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해 감속 시스템(160), 가속 시스템(162), 스티어링 시스템(164), 시그널링 시스템(166), 내비게이션 시스템(168), 포지셔닝 시스템(170), 인식 시스템(172) 및 전력 시스템(174)(예를 들어, 가솔린 또는 디젤 전력 공급 모터 또는 전기 엔진)과 같은 차량(100)의 다양한 동작 시스템들과 통신할 수 있다. 다시 말하자면, 이러한 시스템들은 컴퓨팅 디바이스들(110) 외부에 있는 것으로 도시되어 있지만, 실제로, 이러한 시스템들은 다시 말하자면 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서 컴퓨팅 디바이스들(110)에 또한 통합될 수 있다.
예로서, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호 작용할 수 있다. 유사하게, 스티어링 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 자동차 또는 트럭과 같은 차량(100)이 도로에서 사용되도록 구성되는 경우, 스티어링 시스템은 차량의 방향을 전환하기 위해 휠들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등들 또는 제동등들을 조명함으로써 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 위치에 대한 루트를 결정하고 이를 따르기 위해 컴퓨팅 디바이스(110)들에 의해 사용될 수 있다. 예를 들어, 내비게이션 시스템은 위치들 사이의 루트들을 생성하고 이 루트를 따르기 위해 차량의 궤적들을 플래닝하는 기능을 할 수 있다. 내비게이션 시스템은 단일 시스템으로서 도시되어 있지만, 전술한 라우팅 및 플래닝 기능들을 달성하기 위해 실제로 다수의 시스템들을 포함할 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 상세한 맵 정보, 예를 들어, 도로들, 차선들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지판들, 실시간 교통 정보, 식물, 또는 기타 이러한 객체들 및 정보의 형상 및 고도를 식별하는 매우 상세한 맵들을 저장할 수 있다. 즉, 이 상세한 맵 정보는 도로들을 포함하는 차량의 예상 환경의 지오메트리뿐만 아니라 해당 도로들에 대한 속도 제한들(법정 속도 제한들)을 정의할 수 있다. 구체적으로, 맵 정보는 레인들, 중앙분리대들, 연석(curb)들, 횡단보도들 등과 같은 도로 피처들의 지오메트리를 정의하는 로드그래프를 포함할 수 있다. 예로서, 로드그래프는 전술한 도로 피처들의 지오메트리(예를 들어, 사이즈, 형상, 치수들 및 위치들)를 정의하는 서로에 대한 연결부들을 갖는 복수의 지점들 및/또는 선분들을 포함할 수 있다. 이러한 피처들의 좌표들은 지오메트리가 지구 상의 일부 지점에 대한 각각의 도로 피처의 x, y 및 z 치수들, 즉, 측 방향(lateral), 길이 방향(longitudinal) 및 고도 정보를 포함하도록 유클리드 좌표 시스템(Euclidean coordinate system)에서 정의될 수 있다. 물론, 이러한 치수들은 GPS 좌표들 또는 기타 좌표 시스템들에서 정의될 수 있다. 로드그래프는 또한 방향(즉, 각각의 레인에서의 합법적인 교통 방향), 레인 포지션, 속도 등을 포함하여 차량이 주어진 도로에서 어떻게 이동할 것으로 예상되는지를 식별하는 정보를 포함할 수 있다. 예를 들어, 이 맵 정보는 교통 신호등들, 정지 표지판들, 양보 표지판들 등과 같은 교통 제어들에 관한 정보를 포함할 수 있다. 이 정보는, 인식 시스템(172)으로부터 수신된 실시간 정보와 함께, 어느 교통 방향들이 다가오는 교통 레인들인지 및/또는 주어진 위치에서 우선통행권을 갖는지를 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
인식 시스템(172)은 또한 다른 차량들, 도로의 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 예를 들어, 인식 시스템(172)은 가시-광 카메라들, 열 이미징 시스템들, 레이저 및 라디오-주파수 검출 시스템들(예를 들어, LIDAR, RADAR 등), 소나 디바이스들, 마이크로폰들, 및/또는 컴퓨팅 디바이스들(110)에 의해 프로세싱될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스들을 포함하는 하나 이상의 이미징 센서를 포함할 수 있다. 가시-광 카메라 또는 다른 타입의 이미지 캡처 시스템은 차량에 대해 전방을 향하는 방향으로 하나 이상의 이미지를 캡처하도록 구성될 수 있다. 레이저 검출 센서 또는 다른 타입의 센서가 범위 제약 조건을 가질 수 있는 직접적인 범위 측정을 제공할 수 있다. 상이한 범위 제약 조건들을 갖는 하나 이상의 이미징 센서에는 단거리 센서 및 장거리 센서가 있을 수 있다. 예를 들어, 단거리 센서에 대한 범위 제약 조건은 60미터 이상 또는 이하일 수 있다. 장거리 센서에 대한 범위 제약 조건은 150미터와 같이 단거리 센서의 것보다 클 수 있다. 단거리 센서들 중 하나 이상의 것의 범위 제약 조건들을 넘어서는 지점들에서, 인식 시스템(172)은 데이터를 수집하는 능력이 감소될 수 있다.
인식 시스템(172)의 하나 이상의 이미징 센서는 객체들, 및 위치, 방위(orientation), 사이즈, 형상, 타입, 방향 및 이동 속도 등과 같은 그들의 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터(raw data) 및/또는 전술한 특성들은 정량화되거나 또는 기술적인(descriptive) 함수 또는 벡터로 배열되어 추가 프로세싱을 위해 컴퓨팅 디바이스들(110)에 전송될 수 있다. 예로서, 컴퓨팅 디바이스들(110)은 포지셔닝 시스템(170)을 사용하여 차량의 위치를 결정하고, 인식 시스템(172)을 사용하여 위치에 안전하게 도착하기 위해 필요할 때 객체들을 검출하고 이에 응답할 수 있다.
도 2는 인식 시스템(172)의 양태들을 포함하는 차량(100)의 예시적인 외부도이다. 예를 들어, 루프-탑 하우징(210) 및 돔 하우징(212)은 LIDAR 센서 또는 시스템뿐만 아니라, 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 또한, 차량(100)의 전방 단부에 위치되는 하우징(220) 및 차량의 운전석 및 승객석 측들에 있는 하우징들(230, 232)은 각각 LIDAR 센서 또는 시스템을 수용할 수 있다. 예를 들어, 하우징(230)은 운전석 도어(260) 앞에 위치된다. 차량(100)은 차량(100)의 루프에 또한 위치되는 레이더 유닛들 및/또는 카메라들을 위한 하우징들(240, 242)을 또한 포함한다. 추가적인 레이더 유닛들 및 카메라들(도시 생략)이 차량(100)의 전방 및 후방 단부들에 및/또는 루프 또는 루프-탑 하우징(210)을 따른 기타 포지션들에 위치될 수 있다.
예시적인 방법들
위에서 설명되고 도면들에 예시된 동작들에 더하여, 이제 다양한 동작들이 설명될 것이다. 다음 동작들이 아래에 설명된 정확한 순서로 수행될 필요는 없다는 것이 이해되어야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 핸들링될 수 있고, 단계들이 또한 추가되거나 생략될 수도 있다.
인식 시스템(172)의 이미지 캡처 시스템을 사용하여, 차량의 컴퓨팅 디바이스들(110)은 차량(100)의 진행 방향(heading)에 대해 전방을 향하는 방향으로 이미지를 캡처할 수 있다. 차량(100)의 진행 방향 또는 차량(100)의 포즈는 캡처된 이미지와 연관되어 저장될 수 있다. 예시적인 제1 이미지(300)가 도 3a에 도시되어 있다. 제1 이미지(300)에는 레인들(302, 304, 306, 312, 314, 316), 차선들(308, 310, 318, 320) 및 중앙분리대(322)를 포함하여 복수의 도로 피처들이 캡처되어 있다. 제1 레인(302)은 차량(100)이 이동하고 있다. 제2 레인(304) 및 제3 레인(306)은 제1 레인(302)과 동일한 이동 방향에 대해 제1 이미지(300)에 도시되어 있다. 서로로부터 레인들(302, 304 및 306) 각각을 정의하는 파선 차선들(308 및 310)이 도시되어 있다. 제4 레인(312), 제5 레인(314) 및 제6 레인(316)은 제1 레인(302)과 반대 이동 방향에 대해 도시되어 있다. 서로로부터 레인들(312, 314 및 316) 각각을 정의하는 파선 차선들(318 및 320)이 도시되어 있다. 레인들(312, 314 및 316)은 제1 이미지(300)에서 중앙분리대 스트립(322)에 의해 레인들(302, 304 및 306)과 분리되어 도시되어 있다. 실선 차선들, 이중 차선들, 도로 표지판들, 교통 신호등들 등과 같이 위에서 논의된 것들 이외의 기타 도로 피처들도 제1 이미지에서 캡처될 수 있다.
인식 시스템(172)의 이미지 캡처 시스템에 의해 캡처된 예시적인 제2 이미지(400)가 도 4a에 도시되어 있다. 제2 이미지(400)에 캡처된 복수의 도로 피처들은 다른 것들 중에서 레인들(402, 404, 406, 412, 414), 차선들(408, 410, 416), 이중 차선들(420), 교차 도로(424), 및 교통 신호등들(430, 432, 434, 436)과 같은 도로 피처들을 포함한다. 신호등들(430, 432, 434 및 436)의 정지등들은 도면에서 음영으로 도시된 바와 같이 적색 광 주파수들로 조명된다. 제2 이미지(400)에서 캡처된 다른 객체들은 또한 차량들(440, 442, 444, 446, 448, 450, 452, 454, 456, 460 및 462)을 포함한다. 차량들(440 및 442)의 미등들은 도면에 음영으로 도시된 바와 같이 적색 주파수 광으로 조명된다. 차량(454) 상단 및 차량(454) 본체 상의 광들은 도면에서 음영으로 도시된 바와 같이 적색 주파수 광으로 조명된다. 차량(100)의 이동 레인은 레인(402)이다. 레인들(404 및 406)은 레인(402)과 동일한 이동 방향에 대한 것이다. 레인들(412 및 414)은 레인(402)과 반대 이동 방향에 대한 것이다. 교차 도로(424)는 레인(402)의 이동 방향과 적어도 대략 수직으로 진행된다. 차량(440)은 레인(402)에 있고, 차량(442)은 레인(404)에 있다. 차량들(444, 446, 450, 452 및 456)은 레인(412)에 있고, 차량들(448 및 454)은 레인(414)에 있다. 차량들(460 및 462)은 교차 도로(424)에 있다.
차량의 컴퓨팅 디바이스들(110)은 맵 정보에 저장된 도로의 지오메트리에 따라 캡처된 이미지에서 하나 이상의 지역을 선택하도록 구성될 수 있다. 선택된 하나 이상의 지역은 다가오는 교통이 있는 영역들일 수 있다. 캡처된 이미지에 도시된 도로의 지오메트리는, 이미지가 캡처되었을 때, 차량(100)의 포즈에 따라 로드그래프의 레인들, 연석 중앙분리대들 등과 같은 다양한 도로 피처들의 지오메트리를 캡처된 이미지에 투영함으로써 결정될 수 있다. 대안적으로, 캡처된 이미지에 도시된 도로의 지오메트리는 캡처된 이미지에서 도로 피처들을 검출하고 이들을 로드그래프에서 정의된 도로 피처들의 지오메트리와 비교함으로써 결정될 수 있다.
도 4a로 돌아가서, 제2 이미지가 캡처되었을 때의 차량의 포즈를 고려하면, 차량의 컴퓨팅 디바이스들(110)은 로드그래프의 다양한 피처들의 지오메트리를 이미지에 투영함으로써, 및/또는 (예를 들어, 다양한 이미지 프로세싱 기술들을 사용하여) 제1 이미지에서 도로 피처들을 검출하고 해당 피처들을 로드그래프의 도로 피처들의 지오메트리와 비교함으로써, 제1 이미지(400)에 도시된 도로의 지오메트리를 결정할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(110)은 레인들(402, 404, 406, 412, 414), 차선들(408, 410, 416), 이중 차선들(420)뿐만 아니라 다른 도로 피처들도 검출할 수 있다.
도로 피처들은 로드그래프에 저장된 이러한 정보에 기초하여 차량(100)의 이동 레인과 동일한 방향의 레인들 및 차량의 이동 레인과 반대 방향의 레인들을 식별하는 데 사용될 수 있다. 반대 방향의 레인들은 동일한 도로의 일부일 수도 있고, 상이한 도로들의 일부일 수도 있다. 선택된 하나 이상의 지역은 반대 방향의 레인들이 있는 이미지의 영역들일 수 있다.
도 3a로 돌아가서, 차량의 컴퓨팅 디바이스들(110)은, 로드그래프에서 식별된 레인들(312, 314, 316)의 방향들과 비교할 때, 중앙분리대 스트립(322)의 도로 피처의 물리적인 위치 및 타입 및/또는 레인(302)의 교통 방향(차량(100)이 현재 이동하고 있음)에 기초하여, 레인들(312, 314 및 316)이 차량(100)이 현재 이동하고 있는 레인(302)과 반대 방향에 대한 것이거나, 오히려 다가오는 교통 레인들에 대한 것이라고 결정할 수 있다. 이와 같이, 도 3b에 도시된 바와 같이, 예시적인 제1 이미지(300)의 지역(330)이 제1 이미지(300)에서 차량의 컴퓨팅 디바이스들(110)에 의해 선택될 수 있다. 차량의 컴퓨팅 디바이스들(110)은 레인들(312, 314 및 316), 차선들(318 및 320)뿐만 아니라, 제1 이미지(300)에서 볼 수 있는 중앙분리대 스트립(322) 및/또는 로드그래프에서 식별된 정보를 포함하는 도로 피처들에 기초하여 지역(330)을 정의할 수 있다. 결과적으로, 지역(330)은 레인들(312, 314 및 316)이 있는 곳을 포함하여 제1 이미지(300)의 영역으로 선택된다.
제2 이미지(400)에 대한 도 4b의 예를 참조하면, 지역(470)이 차량의 컴퓨팅 디바이스들(110)에 의해 선택될 수 있다. 차량의 컴퓨팅 디바이스들(110)은 적어도 이중 차선(420)의 도로 피처의 위치 및 타입에 기초하여 레인들(412 및 414)이 차량의 이동 레인(402)과 반대 방향 또는 다가오는 교통에 대한 것이라고 결정할 수 있다. 차량의 컴퓨팅 디바이스들(110)은 레인들(412, 414) 및 차선들(416, 420)을 포함하는 도로 피처들에 기초하여 지역(470)을 정의할 수 있다. 결과적으로, 지역(470)은 제2 이미지에서 레인들(412 및 414)이 보일 수 있는 영역들을 포함하는 제2 이미지(400)의 영역으로 선택된다.
그런 다음, 차량의 컴퓨팅 디바이스들(110)은 선택된 하나 이상의 지역에서 하나 이상의 게이트 또는 관심 영역을 생성할 수 있다. 각각의 게이트는 차량으로부터 특정 거리들에 있는 관심 지역을 나타낼 수 있다. 각각의 게이트는 적어도 차량과 반대 교통 방향 또는 다가오는 교통에 대한 레인들을 포함하는 도로 또는 도로들의 폭에 걸쳐있을 수 있다. 각각의 게이트의 높이는 가장 높은 긴급 차량의 평균 높이와 같은 추정된 긴급 차량 사이즈에 기초할 수 있다. 예를 들어, 각각의 게이트의 높이는 3.5미터 이상 또는 이하일 수 있다. 각각의 게이트의 높이는 영역에서 예상되는 긴급 차량의 최대 높이에 기초할 수 있다. 하나 이상의 게이트는 15미터마다와 같은 규칙적인 거리들에 생성될 수도 있고, 특정 거리들에서의 관심 레벨에 따라 가변적일 수도 있다. 이러한 거리들은 검출된 3D 지오메트리 정보를 사용하여 결정될 수도 있고, 또는 캡처된 이미지의 관점에 기초하여 추정될 수도 있다.
하나 이상의 게이트는 60미터 이상 또는 이하와 같은 차량의 단거리 센서들의 범위가 끝나는 곳으로부터 시작하여 생성될 수 있다. 하나 이상의 게이트는 차량과 반대 교통 방향에 대한 레인들이 이미지에서 인식될 수 없게 되거나 또는 공칭 긴급 차량이 캡처된 이미지 내의 픽셀들의 제1 임계 양보다 작아지게 될 거리에서 끝날 수 있다. 대안적으로, 하나 이상의 게이트는 150미터와 같은 차량의 장거리 센서들의 범위가 끝나는 곳에서 끝날 수 있다. 다른 대안적인 예에서, 하나 이상의 게이트는 알려진 맵 정보를 사용하여 차량의 컴퓨팅 디바이스들(110) 또는 원격 컴퓨팅 디바이스에 의해 생성될 수 있다. 그런 다음, 하나 이상의 게이트는 맵 정보의 특정 위치들에서 주어진 도로에 대해 생성될 수 있다. 각각의 게이트 사이의 거리들은 주어진 도로에서 설정된 도로 길이일 수 있다.
예를 들어, 도 3c에 도시된 바와 같이, 예시적인 제1 이미지(300)에서 가장 가까운 제1 게이트(340)는 차량(100)으로부터 60미터의 거리에서 선택된 지역(330) 내에 포함되는 3개의 레인(312, 314, 316)의 폭 또는 측 방향 거리에 걸쳐 있을 수 있다. 게이트들(342, 344, 346, 348, 350 및 352)과 같은 각각의 후속 게이트는 이전 게이트로부터 15미터 더 떨어진 거리에 대해 결정될 수 있다. 도 3c의 제1 이미지(300)의 게이트들 각각은 높이가 대략 삼(3) 미터일 수 있다. 제1 이미지(300)의 관점으로부터, 각각의 후속 게이트는 차량(100)으로부터의 거리 증가로 인해 이전 게이트보다 짧게 나타날 수 있다. 제1 이미지(300)의 게이트들은 장거리 센서들의 범위가 끝나는 150미터까지 계속된다.
예시적인 제2 이미지(400)에 대한 도 4c를 참조하면, 제1 게이트(480)가 가장 가까운 게이트로서 생성될 수 있고, 차량(100)으로부터 60미터의 거리에서 선택된 지역(470) 내에 포함되는 2개의 레인(412, 414)의 폭 또는 측 방향 거리에 걸쳐 있을 수 있다. 게이트들(482, 484, 486, 488, 490 및 492)과 같은 각각의 후속 게이트는 이전 게이트로부터 15미터 더 떨어진 거리에 대해 결정될 수 있다. 도 4c의 제2 이미지(400)의 게이트들 각각은 높이가 대략 삼(3)미터일 수 있다. 제2 이미지(400)의 관점으로부터, 각각의 후속 게이트는 차량(100)으로부터의 거리 증가로 인해 이전 게이트보다 짧게 나타날 수 있다. 제2 이미지(400)의 게이트들은 장거리 센서들의 범위가 끝나는 150미터까지 계속된다.
일부 구현들에서, 차량의 컴퓨팅 디바이스들(110)은 또한 긴급 차량들의 검출과 관련이 없는 객체들과 연관된 픽셀들을 마스킹할 수 있다. 예를 들어, 관련이 없는 객체들은 신호등들, 차량(100)과 동일한 방향으로 이동하는 차량들, 또는 청색 광들 및/또는 적색 광들 또는 통상적으로 긴급 차량들과 연관되는 다른 광 주파수들을 갖지만 긴급 차량들이 아닌 다른 객체들을 포함할 수 있다. 이 이미지 마스킹은 검출된 객체를 관련이 없는 객체로서 분류하고, 검출된 객체와 연관된 3D 지오메트리 정보를 사용하여 검출된 객체를 캡처된 이미지에 투영하고, 검출된 객체의 투영에 의해 덮인 픽셀들을 관련이 없는 것으로 식별하거나 또는 픽셀들을 "마스킹"함으로써 수행될 수 있다. 도 5에 도시된 바와 같이, 제2 이미지(400)는 신호등들, 차량과 동일한 방향으로 이동하기 위한 레인들, 및 동일한 방향으로 이동하는 차량들과 같은 객체들과 연관된 픽셀들을 마스킹하도록 필터링될 수 있다. 특히, 제2 이미지(400)에서 신호등들(430, 432, 434, 436), 차량(100)과 동일한 이동 방향에 대한 레인들(402, 404, 406), 및 해당 레인들에서 이동하는 차량들(440, 442)이 출력 이미지(500)에서 백색 부분들(502, 504, 506, 508 및 510)로 도시된 바와 같이 마스킹될 수 있다.
하나 이상의 게이트가 생성된 후, 차량의 컴퓨팅 디바이스들(110)은 임의의 적색 또는 청색 광들이 하나 이상의 게이트 내에 있는지 여부를 결정할 수 있다. 적색 광들은 대략 405~480THz 범위의 주파수들을 갖는 광을 포함할 수 있다. 청색 광들은 대략 620~680THz 범위의 주파수들을 갖는 광을 포함할 수 있다. 임의의 적색 또는 청색 광들이 하나 이상의 게이트 내에 있는지 여부를 결정하는 것은 적색 광 주파수들 또는 청색 광 주파수들에 대해 캡처된 이미지를 필터링하는 것을 포함할 수 있다. 본 명세서에서 설명되는 예시적인 방법은 적색 및/또는 청색 광들을 논의하지만, 방법은 또한 긴급 차량, 또는 차량(100)으로부터의 특정 응답을 요구할 수 있는 다른 타입의 차량과 연관될 수 있는 다른 광 주파수들에 대해서도 수행될 수 있다.
예를 들어, 도 6a에는, 인식 시스템(172)의 이미지 캡처 디바이스에 의해 캡처된 제2 이미지(400)의 크롭된 이미지 부분(600)이 도시되어 있다. 크롭된 이미지 부분(600)에 도시된 객체들은 다른 것들 중에서 레인들(402, 404, 412, 414), 차선들(408, 416, 420), 교차 도로(424) 및 신호등들(436)과 같은 도로 피처들을 포함한다. 크롭된 이미지 부분(600)에 도시된 객체들은 또한 차량들(440, 448) 및 차량들(450, 452, 454, 456)의 일부를 포함한다.
도 6b에 도시된 바와 같이, 크롭된 이미지 부분(600)은 출력 이미지(602)에 도시된 바와 같이 적색 광들을 식별하기 위해 적색 광 주파수들에 기초하여 필터링될 수 있다. 출력 이미지(602)에서는, 차량(454) 상에 있거나 그 주위에 있는 복수의 적색 광들(604)이 크롭된 이미지 부분(600)의 나머지 부분과 대조적으로 도시되어 있다. 복수의 적색 광들(604)은 광들 A, B, C, D 및 E를 포함하며, 여기서 광들 A-D는 차량(454)의 상부를 가로질러 나타나고 조명 E는 차량(454) 본체 상에 나타난다. 도 4b에 도시된 바와 같이, 신호등(436)이 마스킹되었기 때문에, 신호등(436)의 적색 광들은 출력 이미지(602)에 도시되지 않는다. 크롭된 이미지 부분(600)만이 도시되어 있지만, 필터링 프로세스는 이미지(400) 전체에 대해 수행될 수 있다. 이미지에서 청색 광들을 식별하기 위해 청색 광 주파수들에 기초하여 이미지(400)에 동일한 필터링 프로세스가 적용될 수 있다.
일부 예들에서, 캡처된 이미지는 주파수에 의한 필터링 전에 또는 그 대신에 컬러가 있는 광들이 있을 수 있는 곳을 식별하기 위해 하나 이상의 게이트에 선명한 컬러 콘트라스트들이 존재하는 곳을 검출하도록 중앙 서라운드 필터(center-surround filter)를 사용하여 차량의 컴퓨팅 디바이스들(110)에 의해 필터링될 수 있다. 또한, 캡처된 이미지는 주파수에 의한 필터링 전에 또는 그 대신에 밝은 광들이 있을 수 있는 곳을 식별하기 위해 광 에너지에 기초하여 필터링될 수 있다. 또한, 임의의 적색 또는 청색 광들이 하나 이상의 게이트 내에 있는지 여부를 결정하는 것은 추가적으로 또는 대안적으로 하나 이상의 게이트 내에서 적색 또는 청색 광들을 식별하거나 라벨링하는 것을 포함할 수 있다. 식별하는 것 또는 라벨링하는 것은 심층 네트워크(deep network) 또는 다른 타입의 머신 학습 방법을 사용하여 수행될 수 있다.
그런 다음, 차량의 컴퓨팅 디바이스들(110)은 하나 이상의 게이트의 주어진 게이트에서 적색 및/또는 청색 광들의 그룹에 대응하는 후보 긴급 차량을 식별할 수 있다. 적색 및/또는 청색 광들의 그룹은 서로 일(1) 미터 이상 또는 이하 내와 같이 서로의 임계 거리 내의 또는 이와 매우 근접한 주어진 게이트들 내의 복수의 적색 및/또는 청색 광들일 수 있다. 후보 긴급 차량을 식별하는 것은 적색 및/또는 청색 광들의 그룹 및 주어진 게이트에 따라 제1 후보 차량 폴리곤을 생성하는 것을 포함할 수 있다. 제1 후보 차량 폴리곤에서 캡처되거나 50% 이상 캡처되는 차량이 후보 긴급 차량으로서 식별될 수 있다. 제1 후보 차량 폴리곤의 사이즈는 긴급 차량의 추정된 또는 평균 폭 및 높이일 수 있다. 대안적으로, 폭은 적색 및/또는 청색 광들의 그룹의 폭과 동일하거나 유사할 수 있고, 또는 높이는 주어진 게이트의 높이와 동일하거나 유사할 수 있다. 또한, 캡처된 이미지에서 생성된 제1 후보 차량 폴리곤의 사이즈는 차량으로부터 동일하거나 유사한 거리 또는 주어진 게이트와 동일하거나 유사한 높이를 갖는 것과 같이 거리 또는 주어진 게이트의 치수들에 대응할 수 있다. 제1 후보 차량 폴리곤의 포지션은 또한 적색 또는 청색 광들의 그룹의 포지션에 대응할 수 있다. 즉, 제1 후보 차량 폴리곤은 제1 후보 차량 폴리곤이 적색 및/또는 청색 광들의 그룹을 포함하도록 포지셔닝될 수 있다. 캡처된 이미지에서 동일하거나 유사한 방식으로 추가 후보 긴급 차량들이 식별될 수 있다.
도 7에 도시된 바와 같이, 제1 후보 차량 폴리곤(702)(여기서는 상자 또는 직사각형으로서 도시되지만, 더 많거나 더 적은 정점들을 갖는 다른 폴리곤들이 사용될 수 있음)이 출력 이미지(602)에서 식별된 적색 광들의 그룹에 기초하여 생성될 수 있다. 도 6b에 도시된 적색 광들 A, B, C 및 D는 차량의 컴퓨팅 디바이스들(110)에 의해 그룹으로서 식별될 수 있는데, 이는 그룹이 복수의 적색 광들(604) 중 적어도 하나의 다른 광의 일(1) 미터 내에 있는 각각의 광에 기초하기 때문에 그러하다. 적색 광 E는 광들 A, B, C 및 D 각각으로부터 일(1) 미터보다 멀리 있기 대문에 그룹의 일부로서 식별되지 않을 수 있다. 제1 후보 차량 폴리곤(702)은 적색 광들 A-D의 그룹의 폭을 포함하는 폭을 갖고, 게이트(486)의 높이와 동일한 높이를 갖는다. 차량(454)은 제1 후보 차량 폴리곤(702)에서 완전히 캡처되고, 따라서 후보 긴급 차량으로서 식별된다.
후보 긴급 차량을 식별하는 것은 추가적으로 추가 적색 및/또는 청색 광들이 캡처된 이미지 이전 및/또는 이후에 촬영된 하나 이상의 추가 이미지에 있는지 여부를 결정하는 것을 포함할 수 있다. 깜박이는 광을 캡처하기 위해 하나 이상의 추가 이미지를 사용하는 것이 포함될 수 있다. 하나 이상의 추가 이미지는 캡처된 이미지의 일(1) 초 이내에 촬영될 수 있다. 추가 적색 및/또는 청색 광들은 하나 이상의 지역을 선택하고 하나 이상의 게이트를 생성하는 것을 포함하여 위에서 설명된 것과 동일하거나 유사한 방식으로 하나 이상의 추가 이미지에서 결정될 수 있다. 하나 이상의 추가 이미지의 추가 적색 및/또는 청색 광들은 (i) 더 정확한 후보 차량 폴리곤을 생성하기 위해 하나 이상의 집계된 출력 이미지를 생성하고/하거나, (ii) 제1 후보 차량 폴리곤을 확인(verify)하기 위해 차량의 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
일부 구현들에서, 검출 목적들을 위한 광 에너지의 양을 증가시키거나 또는 후보 차량 폴리곤의 위치 정확도를 증가시키기 위해 캡처된 이미지 및 하나 이상의 추가 이미지를 사용하여 하나 이상의 집계된 출력 이미지가 생성될 수 있다. 검출 가능한 광 에너지의 양을 증가시키면 긴급 차량에 대한 차량 검출 스코어들이 더 높아질 수 있다. 예를 들어, 캡처된 이미지로부터의 적색 및/또는 청색 광들과 하나 이상의 추가 이미지 중 적어도 하나의 추가 이미지로부터의 적색 및/또는 청색 광들은 집계된 출력 이미지에서 결합될 수 있다. 제1 기간 내에 촬영된 제1 그룹의 이미지들로부터 생성된 제1 집계된 출력 이미지 및 제1 기간에 후속하여(또는 제1 기간 직후의 또는 제1 기간과 부분적으로 중첩되는) 제2 기간에 촬영된 제2 그룹의 이미지들로부터 생성된 제2 집계된 출력 이미지와 같은 다수의 집계된 출력 이미지들이 생성될 수 있다. 이러한 기간 각각은, 예를 들어, 대략 0.5초 또는 이상 또는 이하와 같이 비교적 짧을 수 있다. 각각의 집계된 출력 이미지에서 적색 및/또는 청색 광들의 그룹이 검출될 수 있고, 제1 후보 차량 폴리곤에 추가하여 또는 그 대신에 이 그룹에 대응하여 후보 긴급 차량 상자가 생성될 수 있다. 후보 차량 폴리곤은 위에서 설명된 캡처된 이미지에 대한 제1 후보 차량 폴리곤과 동일하거나 유사한 방식으로 각각의 집계된 출력 이미지에서 후보 긴급 차량에 대해 생성될 수 있다.
도 8에 도시된 바와 같이, 열 1은 예시적인 제2 이미지(400)의 이미지 부분(600)의 투시도들을 도시하고, 열 2는 이미지(400)에 후속하여 촬영된 제1 추가 이미지의 이미지 부분(802)의 투시도들을 도시하고, 열 3은 제1 추가 이미지에 후속하여 촬영된 제2 추가 이미지의 이미지 부분(804)의 투시도들을 도시한다. 예시적인 제2 이미지(400) 및 제1 추가 이미지의 캡처 시간들은 10분의 1초 이내일 수 있고, 제1 추가 이미지 및 제2 추가 이미지의 캡처 시간들은 10분의 1초 이내일 수 있다. 제1 및 제2 추가 이미지들의 이미지 부분들(802, 804)은 예시적인 제2 이미지(400)의 이미지 부분(600)과 대략 동일한 지리적 영역을 나타낼 수 있다. 특히, 이미지 부분들(600, 802 및 804) 각각은 차량(454)을 나타낼 수 있다. 이미지 부분들에서 캡처된 바와 같이, 차량(454) 상부 및 차량(454) 본체 상의 광들은 상이한 패턴들로 조명될 수 있다.
도 8의 행 1은 각각의 이미지 부분에 대한 원시 입력(raw input)을 나타내고, 행 2는 도 6a 및 도 6b와 관련하여 설명된 바와 같이 획득된 각각의 이미지에 대한 필터링된 적색 광 출력을 나타낸다. 행 3은 필터링된 적색 광 출력이 함께 추가됨에 따라 누적된 광 출력을 나타낸다. 행 3의 열 1의 출력 이미지는 행 2의 열 1의 것과 동일하다. 행 3의 열 2의 출력 이미지는 행 2의 열들 1 및 2의 출력 이미지들로부터 출력된 광의 합을 나타내는 집계된 출력 이미지이다. 행 3의 열 3의 출력 이미지는 행 2의 열들 1, 2 및 3의 출력 이미지들로부터 출력된 광의 합을 나타내는 집계된 출력 이미지이다. 행 3의 열 3의 집계된 출력 이미지로부터 출력된 적색 광은 출력 이미지(602)의 것 대신에 위에서 설명된 제1 후보 차량 폴리곤(702)을 생성하는 데 사용될 수 있다.
일부 인스턴스들에서는, 후보 차량 폴리곤이 활성 상태의 긴급 차량인 것을 컨펌하기 위해 각각의 후보 차량 폴리곤이 확인되거나 또는 오히려 다른 후보 차량 폴리곤과 비교될 수 있다. 제1 후보 차량 폴리곤을 확인하기 위해, 하나 이상의 추가 이미지 각각에 대한 추가 적색 및/또는 청색 광들에 따라 추가 후보 차량 폴리곤이 생성될 수 있다. 캡처된 이미지의 제1 후보 차량 폴리곤은 하나 이상의 추가 이미지 중 적어도 하나의 추가 이미지의 적어도 하나의 추가 후보 차량 폴리곤이 제1 후보 차량 폴리곤과 동일한 후보 긴급 차량에 대응할 때 확인될 수 있다. 제1 후보 차량 폴리곤 및 추가 후보 차량 폴리곤이 동일한 후보 긴급 차량에 대응할 때, 후보 차량 폴리곤들 사이의 연관이 차량의 컴퓨팅 디바이스들(110)에 의해 생성될 수 있다. 그런 다음, 차량의 컴퓨팅 디바이스들(110)은 연관된 후보 차량 폴리곤들을 사용하여 시간이 지남에 따라 후보 긴급 차량의 행동을 추적할 수 있다. 추적된 행동은, 예를 들어, 깜박이는 광들, 진행 방향 변경, 이동 등을 포함할 수 있다.
확인은 적어도 하나의 추가 후보 차량 폴리곤을 캡처된 이미지에 투영함으로써 수행될 수 있다. 적어도 하나의 추가 후보 차량 폴리곤을 캡처된 이미지에 투영하는 것은 (i) 적어도 하나의 추가 후보 차량 폴리곤의 사이즈 및 포지션, 및 (ii) 캡처된 이미지와 대응하는 적어도 하나의 추가 이미지 사이의 차량의 상대적인 모션에 기초하여, 적어도 하나의 추가 후보 차량 폴리곤을 캡처된 이미지에 정렬하는 것을 포함할 수 있다. 유사도의 측정이 제2 임계 양을 초과할 때, 적어도 하나의 추가 이미지의 주어진 추가 이미지가 캡처된 이미지와 연관될 수 있다. 유사도의 측정은 제1 후보 차량 폴리곤과 캡처된 이미지에 투영되는 적어도 하나의 추가 후보 차량 폴리곤의 주어진 추가 후보 차량 폴리곤 사이의 물리적인 교차의 양에 기초하여 결정될 수 있다. 예를 들어, 유사도의 측정은 제1 후보 차량 폴리곤 및 주어진 추가 후보 차량 폴리곤에 대해 Jaccard 인덱스 또는 인터섹션-오버-유니온(intersection-over-union)을 사용하여 결정될 수 있다.
도 9에 도시된 바와 같이, 예시적인 제2 이미지(400)는 도 7과 관련하여 생성된 후보 차량 폴리곤(702)에 더하여 제2 이미지에 투영된 추가 후보 차량 폴리곤(902)을 갖는다. 인식 시스템(172)의 이미지 캡처 시스템에 의해 이전에 캡처된 이미지에 대해 추가 후보 차량 폴리곤(902)이 생성되었을 수 있다. 이전에 캡처된 이미지는 제2 이미지(400)의 1/10초 이내에 캡처되었을 수 있다. 대안적으로, 제2 이미지(400) 전 또는 후 1초에 캡처된 이미지로부터 다른 후보 차량 폴리곤들이 사용될 수 있다. 차량의 컴퓨팅 디바이스들(110)은 Jaccard 인덱스를 사용하여 후보 차량 폴리곤들(702 및 902) 사이의 유사도의 측정을 결정할 수 있다. 후보 차량 폴리곤(902)의 대부분이 후보 차량 폴리곤(702)과 중첩된다는 것을 고려할 때, 후보 차량 폴리곤들(702 및 902) 사이의 유사도의 측정은 높다. 차량의 컴퓨팅 디바이스들(110)은 유사도의 측정이 제2 임계 양보다 크다고 결정하고, 후보 차량 폴리곤(702)을 확인할 수 있다. 차량의 컴퓨팅 디바이스들(110)은 또한 추적 목적들을 위해 후보 차량 폴리곤(702)과 후보 차량 폴리곤(902) 사이의 연관을 생성할 수 있다.
적어도 하나의 추가 후보 차량 폴리곤으로 제1 후보 차량 폴리곤을 확인한 후, 차량의 컴퓨팅 디바이스들(110)은 후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정할 수 있다. 일부 예들에서, 후보 긴급 차량이 깜박이는 광들을 가질 때, 후보 긴급 차량은 활성 상태로서 결정될 수 있다. 이 결정은 제1 후보 차량 폴리곤의 적색 및/또는 청색 광들을 적어도 하나의 추가 후보 차량 폴리곤의 적색 및/또는 청색 광들과 비교하는 것을 포함할 수 있다. 광들의 수, 광들의 강도 또는 광들의 포지션의 차이가 후보 긴급 차량이 깜박이는 광들을 갖는다는 표시일 수 있다.
예를 들어, 제1 후보 차량 폴리곤 및 적어도 하나의 추가 후보 차량 폴리곤은 후보 긴급 차량의 정박등(anchor light)들 또는 다른 부분들의 포지션과 같은 제1 후보 차량 폴리곤 및 적어도 하나의 추가 후보 차량 폴리곤의 피처들에 기초하여 정렬될 수 있다. 제1 후보 차량 폴리곤과 적어도 하나의 추가 후보 차량 폴리곤의 광 에너지 사이의 유사도의 측정은, 예를 들어, 후보 차량 폴리곤들 사이의 절대차(absolute difference)들의 합을 취하거나 또는 각각의 후보 차량 폴리곤의 총 광 에너지의 최대값을 비교함으로써 결정될 수 있다. 유사도의 측정이 제3 임계 양보다 작을 때, 후보 긴급 차량은 깜박이는 광들을 갖고, 따라서 활성 상태인 것으로 결정될 수 있다.
도 10에, 본 개시내용의 양태들에 따른 후보 긴급 차량들을 도시하는 일련의 이미지들이 도시되어 있다. 행 1의 열 1은 제1 후보 차량 폴리곤(702)의 후보 긴급 차량(454)을 나타내는 예시적인 제2 이미지(400)의 부분을 나타낸다. 행 1의 열 2는 추가 후보 차량 폴리곤(902)의 후보 긴급 차량(454)을 나타내는 이전에 캡처된 이미지의 부분을 나타낸다. 추가 후보 차량 폴리곤(902)에 있는 후보 긴급 차량(454)의 상부 및 본체 상의 광들은 음영으로 도시된 바와 같이 열 1과 상이한 패턴으로 조명될 수 있다. 예시적인 제2 이미지의 부분에 대한 필터링된 출력(1002) 및 이전에 캡처된 이미지의 필터링된 출력(1012)이 행 2의 열들 1 및 2에 각각 나타나 있다. 필터링된 출력은 필터링된 출력 이미지들로부터 획득될 수 있다. 예를 들어, 필터링된 출력(1002)은 출력 이미지(602)로부터 획득될 수 있다. 차량의 컴퓨팅 디바이스들(110)은 필터링된 출력들(1002 및 1012)을 비교하고, 필터링된 출력(1002)의 총 광 에너지와 필터링된 출력(1012)의 총 광 에너지 사이의 유사도의 측정이 제3 임계 양 아래라고 결정할 수 있다. 따라서, 차량의 컴퓨팅 디바이스들(110)은 후보 긴급 차량(454)이 활성 상태의 후보 긴급 차량이라고 결정할 수 있다.
일부 구현들에서, 후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정하는 것은 또한 후보 긴급 차량을 검증할 수도 있다. 검증은, 예를 들어, 다른 검출된 객체들의 특성들에 대해 활성 상태의 후보 긴급 차량의 특성들을 체크하고/하거나 카메라 이외의 센서로부터의 데이터를 사용하여 후보 긴급 차량의 위치에서 객체의 검출을 컨펌하고/하거나 기타 등등을 수행함으로써 가능한 거짓 긍정들을 제거하는 것을 포함할 수 있다. 거짓 긍정들을 제거하기 위해, 차량의 컴퓨팅 디바이스들(110)은 활성 상태의 긴급 차량의 특성들이 없거나 또는 활성 상태의 긴급 차량의 신뢰할 수 없는 표시자들인 차량의 다른 시스템들(예를 들어, 인식 시스템의 상이한 센서들 및/또는 프로세싱 시스템들)에 의해 검출되는 해당 검출된 객체들의 피처들에 기초하여 주어진 이미지에서 검출된 객체들을 필터링할 수 있다. 피처들은 다른 검출된 객체가 (i) 정지해 있을 때, (ii) 차량이 아닐 때, (iii) 1미터/초 미만으로 이동하는 식별할 수 없는 객체일 때, (iv) 차량으로부터 최소 거리 내에 있을 때, (v) 이미지의 에지에 의해 잘렸을 때, 또는 (vi) 차량에 대해 직접 다가오는 진행 방향으로부터 60도보다 큰 진행 방향을 가질 때를 포함할 수 있다.
차량의 컴퓨팅 디바이스들(110)은 활성 상태의 긴급 차량의 특성들이 없는 후보 긴급 차량을 검증하는 데 사용된 검출된 객체가 있을 때 후보 긴급 차량을 거짓 긍정으로서 폐기할 수 있다. 예를 들어, 후보 긴급 차량을 검증하는 데 사용된 검출된 객체가 차량에 대해 다가오고 있지 않은 진행 방향을 가질 때, 후보 긴급 차량은 거짓 긍정으로서 폐기될 수 있다. 예를 들어, 진행 방향이 직접 다가오는 진행 방향으로부터 60도보다 클 때, 진행 방향은 다가오고 있지 않은 것으로 결정될 수 있다. 다가오고 있지 않은 차량들, 특히, 다가오고 있지 않은 차량들의 미등들이 하나 이상의 게이트 내에서 검출 시스템에 의해 캡처될 수 있는 곡선 도로에서 다가오고 있지 않은 차량들을 필터링하기 위해 진행 방향을 사용한다. 검출된 객체들을 필터링하는 것은 또한 이전에 촬영된 이미지에서 필터링되는 검출된 객체의 위치를 더 최근에 촬영된 이미지에 투영하는 것 및 투영된 위치에 있는 더 최근에 촬영된 이미지에서의 객체를 필터링하는 것을 포함할 수 있다.
다른 예시적인 확인으로서, 후보 긴급 차량의 위치에서의 객체의 검출은 카메라 이외의 센서로부터의 데이터 등을 사용하여 컨펌될 수 있다. 예를 들어, 레이더 센서로부터의 데이터는 노이즈가 높더라도 객체까지의 거리 및 위치를 컨펌하는 데 사용될 수 있다. 이것은 LIDAR 센서들과 같은 다른 센서들의 인식 범위를 넘어서는 객체들에 대한 컨펌을 제공할 수 있다.
다른 인스턴스들에서, 후보 긴급 차량을 검증하는 것은 검출된 객체에 대한 검증 스코어를 결정하는 것을 포함할 수 있다. 위에서 설명된 예들 중 임의의 것에서와 같이 후보 긴급 차량이 활성 상태의 긴급 차량이라고 나타내는 각각의 추가 정보 또는 신호에 대해서는, 해당 후보 긴급 차량에 대한 검증 스코어가 증가될 수 있다. 유사하게, 후보 긴급 차량이 활성 상태의 긴급 차량이 아니라고 나타내는 각각의 추가 정보 또는 신호에 대해서는(예를 들어, 위의 예들에서의 거짓 긍정 피처들 중 임의의 것), 해당 후보 긴급 차량에 대한 검증 스코어가 감소될 수 있다. 이것의 예로서, 일부 인스턴스들에서, 바람에 펄럭이는 주황색 깃발들은 깜박이는 광들, 산발적으로 가려져서 깜박이는 것처럼 보이는 다른 차량들의 미등들 등처럼 보일 수 있다.
후보 긴급 차량에 대한 이 검증 스코어는 하나 이상의 임계값과 비교될 수 있다. 예를 들어, 검증 스코어가 특정 최소값에 도달한 때에만 후보 긴급 차량이 "게시(publish)"되거나 또는 차량 제어 방법을 결정하기 위해 내비게이션 시스템(168)과 같은 차량(100)의 다양한 시스템들에 의해 사용된다. 추가적으로 또는 대안적으로, 스코어는 후보 긴급 차량을 단순히 무시할지 여부를 결정하기 위해 내비게이션 시스템(168)에 의해 사용될 수 있다. 예를 들어, 일부 맵 피처에 대한 위치에 따라, 차량(100)으로부터의 거리, 속도, 예측된 미래 궤적, 심지어 상대적으로 높은 검증 스코어들도 무시될 수 있다. 이와 동시에, 이러한 동일한 고려 사항들을 고려할 때, 상대적으로 낮은 검증 스코어들도 차량(100)이 응답해야 하는 것으로서 취급될 수 있다. 예를 들어, 후보 긴급 차량에 대한 검증 스코어가 상대적으로 높더라도, 제1 이미지(300)의 예에서와 같이 중앙분리대 스트립의 위치를 고려할 때, 후보 긴급 차량에 응답하는 것이 덜 중요할 수 있는 반면(예를 들어, 후보 긴급 차량이 레인(302)으로 진입하거나 다르게는 차량(100)과 직접 상호 작용할 가능성이 낮음), 차량(100)이 후보 긴급 차량(454)과 상호 작용할 필요가 있는 가능성을 고려할 때, 후보 긴급 차량(454)에 대한 검증 스코어가 상대적으로 낮더라도, 제2 이미지(400)의 예에서와 같이 교차로에 근접한 후보 긴급 차량에 응답하는 것이 더 중요할 수 있다.
일부 인스턴스들에서, 인식 시스템에 의해 검출된 객체들의 피처들은 차량의 컴퓨팅 디바이스들(110)에 의해 추정될 수 있고 후보 긴급 차량을 특성화하기 위해 할당되거나 사용될 수 있다. 특히, 객체들의 위치는 측 방향 치수보다 길이 방향 치수에서 더 신뢰할 수 있는 레이더 센서와 같은 인식 시스템의 노이즈 센서를 사용하여 검출될 수 있다. 위치는 3차원의 오차 타원(error ellipse)과 같은 오차를 계산함으로써 추정될 수 있다. 주어진 검출된 객체에 대한 오차 타원은 주어진 검출된 객체의 평활 좌표(smooth coordinate)들 및 대응하는 공분산(covariance) 추정들에 기초하여 결정될 수 있다. 추정된 위치는 경계 상자(bounding box)를 생성하기 위해 주어진 이미지에 투영될 수 있다. 그런 다음, 차량의 컴퓨팅 디바이스들(110)은 후보 긴급 차량의 중심이 주어진 검출된 객체의 경계 상자 내에 있는지 여부를 결정할 수 있다. 중심이 경계 상자 내에 있을 때, 주어진 검출된 객체에 대한 스코어가 증가될 수 있다. 일부 구현들에서, 중심이 경계 상자 내에 있을 때, 스코어는 1만큼 증가하는 카운트일 수 있다. 또한, 후보 긴급 차량이 검출된 객체의 경계 상자 내에 있지 않을 때, 카운트는 감소되거나 심지어 재설정될 수도 있다. 다른 예들에서, 측정을 생성하는 데 사용되는 대안적인 센서의 노이즈 특성들을 고려하는 것과 같이 중심이 경계 상자 내에 있는지 여부에 대한 더 일반적인 테스트가 사용될 수 있다. 후보 긴급 차량에 대해 가장 큰 스코어를 갖는 검출된 객체가 후보 긴급 차량을 특성화하는 데 사용될 수 있다. 예를 들어, 가장 큰 검증 스코어를 갖는 검출된 객체의 거리, 속도, 진행 방향, 또는 다른 결정되거나 검출된 피처들이 후보 긴급 차량에 할당될 수 있다.
후보 긴급 차량이 활성 상태의 긴급 차량이라고 결정한 후, 차량의 컴퓨팅 디바이스들(110)은 활성 상태의 긴급 차량의 특성들에 따라 차량을 동작시킬 수 있다. 특성들은 활성 상태의 긴급 차량의 위치, 모션, 속도 또는 예측된 루트를 포함할 수 있다. 차량의 컴퓨팅 디바이스들(110)은 활성 상태의 긴급 차량으로 결정된 차량에 대응하는 하나 이상의 게이트 또는 하나 이상의 후보 차량 폴리곤의 특성들에 기초하여 활성 상태의 긴급 차량의 특성들을 식별할 수 있다. 예를 들어, 활성 상태의 긴급 차량(454)의 거리 및 위치는 차량(100)에 대해 후보 차량 폴리곤(702) 또는 다른 가장 최근의 후보 차량 폴리곤의 거리 및 위치와 동일한 거리 및 위치일 수 있다. 차량을 동작시키는 것은 내비게이션 시스템이 활성 상태의 긴급 차량에 양보하거나 다른 방식으로 이를 회피하는 궤적을 생성할 수 있도록 내비게이션 시스템에 이러한 특성들을 제공하는 것, 활성 상태의 긴급 차량으로부터 멀리 스티어링되거나 그 주위를 스티어링하도록 스티어링 시스템을 제어하는 것, 향후 정지시까지 느려지게 하도록 감속 시스템을 제어하는 것, 및/또는 활성 상태의 긴급 차량에 적절하게 응답하기 위한 기타 액션들을 포함할 수 있다.
본 명세서의 예들은 다가오는 교통 레인들에서의 긴급 차량의 검출들에 관한 것이지만, 때때로 긴급 차량들은 동일한 이동 레인에서 그러나 반대 방향으로 이동할 수 있다. 예를 들어, 제2 이미지(400)에 도시된 교차로에서, 후보 긴급 차량(454)과 교차로 사이에 차량이 있었던 경우, 긴급 차량의 운전자는 해당 다른 차량을 우회하기 위해 레인(402)으로 진입하기로 결정할 수 있다. 이와 관련하여, 다가오고 있지 않은 교통 레인들에서의 후보 긴급 차량들(예를 들어, 차량(100)이 현재 이동하고 있는 레인과 동일한 일반 방향으로 이동하고 있는 것들)을 검출하는 데에도 유사한 피처들이 사용될 수 있다. 그러나, 이러한 상황들에서는, 다른 차량들의 미등들을 구별하기 어려울 수 있기 때문에, 거짓 긍정들이 상당히 더 많을 수 있다.
도 11은 본 개시내용의 양태들에 따른 예시적인 흐름도를 도시한다. 보다 구체적으로, 도 11은 차량의 컴퓨팅 디바이스들(110)에 의해 수행되는 긴급 차량들을 검출하기 위한 예시적인 방법의 흐름을 도시한다. 대안적으로, 예시적인 방법의 단계들 중 하나 이상의 단계는 차량(100)으로부터 멀리 떨어진 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있다.
블록(1102)에서, 차량의 관점으로부터 환경의 복수의 이미지들이 수신된다. 복수의 이미지들은 도 4a에 도시된 이미지(400)와 같은 제1 이미지 및 추가 이미지를 포함할 수 있다. 제1 및 추가 이미지들은 자율 차량의 이미지 캡처 시스템을 사용하여 캡처될 수 있다. 블록(1104)에서, 복수의 이미지들에서 하나 이상의 게이트가 생성된다. 하나 이상의 게이트 각각은 차량으로부터 개개의 거리에 있는 관심 지역을 나타낸다. 예를 들어, 이미지(400)의 경우, 게이트들(480, 482, 484, 486, 488, 490 및 492)이 도 4c에 도시된 바와 같이 생성될 수 있다. 하나 이상의 게이트 각각은 복수의 이미지들 중 각각의 이미지의 관점으로부터 주어진 거리에 있는 관심 지역을 나타낸다. 블록(1106)에서, 하나 이상의 게이트 내에서 복수의 광들이 검출된다. 예를 들어, 하나 이상의 게이트 내에서 적색 및/또는 청색 광들이 검출될 수 있다. 예를 들어, 도 6a 및 도 6b에 도시된 바와 같이, 적색 광들 A-E가 이미지(400)에서 검출될 수 있다.
블록(1108)에서, 제1 이미지의 하나 이상의 게이트의 주어진 게이트에서 검출된 복수의 광들의 그룹에 대응하는 제1 후보 긴급 차량이 식별된다. 이미지(400)에서, 차량(454)은 후보 긴급 차량으로서 식별될 수 있다. 블록(1110)에서, 추가 이미지의 하나 이상의 게이트의 게이트들에서 검출된 복수의 광들의 그룹에 대응하는 제2 후보 긴급 차량이 식별된다. 제2 후보 긴급 차량은 제1 후보 긴급 차량과 동일한 방법을 사용하여 식별될 수 있다. 블록(1112)에서, 제1 후보 긴급 차량과 제2 후보 차량은 동일한 주어진 긴급 차량으로 결정될 수 있다. 예를 들어, 이미지(400)의 차량(454)은 이미지(400)뿐만 아니라 이전에 캡처된 이미지에서 식별된 후보 긴급 차량으로 결정될 수 있다. 블록(1114)에서, 주어진 긴급 차량은 활성 상태로 결정될 수 있다. 블록(1116)에서, 주어진 긴급 차량이 활성 상태라는 결정에 기초하여 자율 차량의 동작 시스템이 동작될 수 있다. 예를 들어, 동작 시스템은 활성 상태의 긴급 차량에 양보하거나 또는 다르게는 교통 법규들 및 기타 최상의 주행 사례들에 따라 활성 상태의 긴급 차량의 이동들에 적절하게 응답하도록 동작될 수 있다.
위에서 설명된 피처들은 다른 머신 학습 기술들보다 더 이른 시점에, 더 먼 거리에서, 그리고 더 적은 데이터를 사용하여 외관이 크게 변할 수 있는 긴급 차량들을 식별할 수 있는 자율 차량을 제공할 수 있다. 따라서, 자율 차량은 더 이른 시점에 긴급 차량에 응답할 준비를 시작할 수 있다. 또한, 설명된 피처들은 자율 차량이 그 환경 내의 객체들에 정확하게 응답할 수 있도록 거짓 긍정들을 식별하는 방법도 제공한다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않고, 고유한 이점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 논의된 피처들의 이들 및 다른 변형들 및 조합들이 청구범위에 의해 정의된 대상으로부터 벗어나지 않고 활용될 수 있기 때문에, 실시예들에 대한 전술한 설명은 청구범위에 의해 정의된 대상을 제한하는 방식이 아니라 예시하는 방식으로 취해져야 한다. 또한, 본 명세서에서 설명된 예들뿐만 아니라 "와 같은(such as)", "포함하는(including)" 등으로 표현된 절들의 제공이 청구범위의 대상을 특정 예들로 제한하는 것으로 해석되어서는 안되고, 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하는 것으로 의도된다. 또한, 상이한 도면들에서 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (22)

  1. 긴급 차량을 검출하기 위한 시스템으로서,
    차량의 동작 시스템; 및
    상기 동작 시스템들과 통신하는 하나 이상의 컴퓨팅 디바이스
    를 포함하고, 상기 하나 이상의 컴퓨팅 디바이스는,
    상기 차량의 관점으로부터 환경의 복수의 이미지들을 수신하고 - 상기 복수의 이미지들은 제1 이미지 및 추가 이미지를 포함함 -,
    상기 복수의 이미지들에서 하나 이상의 게이트를 생성하고 - 상기 하나 이상의 게이트 각각은 상기 차량으로부터 개개의 거리에 있는 관심 지역을 나타냄 -,
    상기 하나 이상의 게이트 내에서 복수의 광들을 검출하고,
    상기 제1 이미지의 하나 이상의 게이트의 주어진 게이트에서 상기 검출된 복수의 광들의 그룹에 대응하는 제1 후보 긴급 차량을 식별하고,
    상기 추가 이미지의 하나 이상의 게이트의 게이트들에서 상기 검출된 복수의 광들의 그룹에 대응하는 제2 후보 긴급 차량을 식별하고,
    상기 제1 후보 긴급 차량과 상기 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하고,
    상기 주어진 긴급 차량이 활성 상태라고 결정하고,
    상기 주어진 긴급 차량이 활성 상태라는 결정에 기초하여 상기 차량의 동작 시스템을 동작시키도록
    구성되는, 시스템.
  2. 제1항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 하나 이상의 게이트를 생성할 하나 이상의 지역을 선택하도록 추가로 구성되는, 시스템.
  3. 제1항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 긴급 차량들과 관련이 없는 환경 내의 영역들과 연관된 제1 이미지의 픽셀들을 마스킹하도록 추가로 구성되는, 시스템.
  4. 제1항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 제1 이미지의 주어진 게이트 내에 상기 검출된 복수의 광들의 그룹을 포함하도록 생성된 제1 후보 차량 폴리곤(candidate vehicle polygon)에 기초하여 상기 제1 후보 긴급 차량을 식별하도록 구성되는, 시스템.
  5. 제4항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는,
    상기 검출된 복수의 광들의 그룹 및 상기 추가 이미지의 주어진 게이트를 포함하도록 생성된 제2 후보 차량 폴리곤; 및
    상기 제1 후보 차량 폴리곤과 상기 제2 후보 차량 폴리곤 사이의 유사도의 측정
    에 기초하여, 상기 제1 후보 긴급 차량과 상기 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하도록 구성되는, 시스템.
  6. 제4항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 제1 후보 차량 폴리곤에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하도록 추가로 구성되는, 시스템.
  7. 제1항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 제1 후보 긴급 차량 또는 상기 제2 후보 긴급 차량의 검증(validation)에 기초하여 상기 주어진 긴급 차량이 활성 상태라고 결정하도록 구성되는, 시스템.
  8. 제6항에 있어서, 상기 검증은 다른 검출된 객체들에 대해 활성 상태의 후보 긴급 차량의 특성들을 체크하는 것을 포함하는, 시스템.
  9. 제6항에 있어서, 상기 검증은 하나 이상의 게이트 내에서 검출된 객체들의 거짓 긍정들을 필터링하는 것을 포함하는, 시스템.
  10. 제1항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스는 상기 제1 이미지의 하나 이상의 게이트 또는 상기 추가 이미지의 하나 이상의 게이트에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하도록 추가로 구성되는, 시스템.
  11. 제1항에 있어서, 상기 차량의 동작 시스템은 상기 차량에 대한 궤적들을 플래닝(planning)하기 위한 내비게이션 시스템인, 시스템.
  12. 제1항에 있어서, 상기 차량의 동작 시스템은 상기 차량을 정지시까지 느려지게 하기 위한 감속 시스템인, 시스템.
  13. 제1항에 있어서, 상기 차량의 동작 시스템은 상기 차량의 방향을 전환하기 위해 휠들의 상기 각도를 제어하기 위한 스티어링 시스템인, 시스템.
  14. 제1항에 있어서, 상기 하나 이상의 프로세서는 특정 주파수 범위 내의 광들을 식별함으로써 상기 복수의 광들을 검출하도록 구성되는, 시스템.
  15. 제1항에 있어서, 상기 하나 이상의 프로세서는 특정 주파수 범위 밖의 광들을 필터링함으로써 상기 복수의 광들을 검출하도록 구성되는, 시스템.
  16. 긴급 차량을 검출하기 위한 방법으로서,
    하나 이상의 컴퓨팅 디바이스에 의해, 자율 차량의 관점으로부터 촬영된 복수의 이미지들을 수신하는 단계 - 상기 복수의 이미지들은 제1 이미지 및 추가 이미지를 포함함 -;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 복수의 이미지들에서 하나 이상의 게이트를 생성하는 단계 - 상기 하나 이상의 게이트 각각은 상기 차량으로부터 개개의 거리에 있는 관심 지역을 나타냄 -;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 하나 이상의 게이트 내에서 복수의 광들을 검출하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 제1 이미지의 하나 이상의 게이트의 게이트들에서 상기 검출된 복수의 광들의 그룹에 대응하는 제1 후보 긴급 차량을 식별하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 추가 이미지의 하나 이상의 게이트의 주어진 게이트에서 상기 검출된 복수의 광들의 그룹에 대응하는 제2 후보 긴급 차량을 식별하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 제1 후보 긴급 차량과 상기 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계;
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 주어진 긴급 차량이 활성 상태라고 결정하는 단계; 및
    상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 주어진 긴급 차량이 활성 상태라는 결정에 기초하여 상기 차량의 동작 시스템을 동작시키는 단계
    를 포함하는, 방법.
  17. 제16항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 상기 하나 이상의 게이트를 생성할 하나 이상의 지역을 선택하는 단계를 추가로 포함하는, 방법.
  18. 제16항에 있어서, 상기 하나 이상의 컴퓨팅 디바이스에 의해, 긴급 차량들과 관련이 없는 객체들과 연관된 제1 이미지의 픽셀들을 마스킹하는 단계를 추가로 포함하는, 방법.
  19. 제16항에 있어서, 상기 제1 후보 긴급 차량을 식별하는 단계는 상기 검출된 복수의 광들의 그룹 및 상기 제1 이미지의 주어진 게이트를 포함하도록 제1 후보 차량 폴리곤을 생성하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 상기 제1 후보 긴급 차량과 상기 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계는,
    상기 검출된 복수의 광들의 그룹 및 상기 추가 이미지의 주어진 게이트를 포함하도록 제2 후보 차량 폴리곤을 생성하는 단계;
    상기 제2 후보 차량 폴리곤을 상기 제1 이미지에 투영하는 단계;
    상기 제1 후보 차량 폴리곤과 상기 투영된 제2 후보 차량 폴리곤 사이의 유사도의 측정을 결정하는 단계; 및
    상기 유사도의 양이 임계 양보다 클 때, 상기 제1 후보 긴급 차량과 상기 제2 후보 긴급 차량이 동일한 주어진 긴급 차량이라고 결정하는 단계
    를 포함하는, 방법.
  21. 제16항에 있어서, 상기 주어진 긴급 차량이 활성 상태라고 결정하는 단계는 상기 제1 후보 긴급 차량 또는 상기 제2 후보 긴급 차량을 검증하는 단계를 포함하는, 방법.
  22. 제16항에 있어서, 상기 제1 이미지의 하나 이상의 게이트 또는 상기 추가 이미지의 하나 이상의 게이트에 기초하여 활성 상태의 긴급 차량의 특성들을 식별하는, 방법.
KR1020227006149A 2019-07-29 2020-07-20 긴급 차량들의 검출 KR102613839B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962879636P 2019-07-29 2019-07-29
US62/879,636 2019-07-29
US16/682,747 US11216689B2 (en) 2019-07-29 2019-11-13 Detection of emergency vehicles
US16/682,747 2019-11-13
PCT/US2020/042773 WO2021021481A1 (en) 2019-07-29 2020-07-20 Detection of emergency vehicles

Publications (2)

Publication Number Publication Date
KR20220040473A true KR20220040473A (ko) 2022-03-30
KR102613839B1 KR102613839B1 (ko) 2023-12-18

Family

ID=74230059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227006149A KR102613839B1 (ko) 2019-07-29 2020-07-20 긴급 차량들의 검출

Country Status (6)

Country Link
US (2) US11216689B2 (ko)
EP (1) EP3986761A4 (ko)
JP (2) JP7518893B2 (ko)
KR (1) KR102613839B1 (ko)
CN (1) CN114375467B (ko)
WO (1) WO2021021481A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567510B2 (en) 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
DE102020134965A1 (de) * 2019-12-30 2021-07-01 Subaru Corporation System zur lieferung von mobilitätsinformation, server und fahrzeug
US11295757B2 (en) 2020-01-24 2022-04-05 Motional Ad Llc Detection and classification of siren signals and localization of siren signal sources
US11449523B2 (en) * 2020-11-05 2022-09-20 Adobe Inc. Generating overlap estimations between high-volume digital data sets based on multiple sketch vector similarity estimators
KR20220110977A (ko) * 2021-02-01 2022-08-09 현대모비스 주식회사 긴급차량 양보 시스템 및 그 제어 방법
DE102021118694A1 (de) 2021-07-20 2023-01-26 Connaught Electronics Ltd. Verfolgen eines Einsatzfahrzeugs
US11364910B1 (en) * 2021-08-26 2022-06-21 Motional Ad Llc Emergency vehicle detection system and method
US11756261B2 (en) 2021-11-10 2023-09-12 Ford Global Technologies, Llc Single-perspective image relighting
US11776200B2 (en) * 2021-11-10 2023-10-03 Ford Global Technologies, Llc Image relighting
CN116001681B (zh) * 2023-02-22 2023-11-10 江苏集萃道路工程技术与装备研究所有限公司 一种施工车辆主动安全预警系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
US20170308760A1 (en) * 2016-04-26 2017-10-26 Samsung Sds Co., Ltd. Collision avoidance method and apparatus using depth sensor
KR20190014871A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 차량의 후방에 위치한 응급 차량에 기초하여 상기 차량의 주행 경로를 변경하는 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0611570A (ja) 1992-06-18 1994-01-21 Matsushita Electric Ind Co Ltd 衝突警報装置
JP5288251B2 (ja) 2008-09-12 2013-09-11 株式会社デンソー 緊急車両認知支援装置
US9576208B2 (en) * 2013-12-11 2017-02-21 Continental Automotive Systems, Inc. Emergency vehicle detection with digital image sensor
US9278689B1 (en) 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
CN106652465B (zh) * 2016-11-15 2020-04-07 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统
US20180137756A1 (en) * 2016-11-17 2018-05-17 Ford Global Technologies, Llc Detecting and responding to emergency vehicles in a roadway
US10431082B2 (en) 2017-06-19 2019-10-01 GM Global Technology Operations LLC Systems and methods for emergency vehicle response in an autonomous vehicle
CN109960978A (zh) * 2017-12-25 2019-07-02 大连楼兰科技股份有限公司 基于图像分层技术的车辆检测系统及装置
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US11351988B2 (en) * 2018-07-26 2022-06-07 Byton North America Corporation Use of sound with assisted or autonomous driving
GB2577734A (en) * 2018-10-05 2020-04-08 Continental Automotive Gmbh Emergency vehicle detection
EP3660808A1 (en) * 2018-11-29 2020-06-03 Kt&C Co., Ltd. Method of detecting speed using difference of distance between object and monitoring camera
KR102267335B1 (ko) * 2018-11-29 2021-06-22 주식회사 케이티앤씨 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
US20170308760A1 (en) * 2016-04-26 2017-10-26 Samsung Sds Co., Ltd. Collision avoidance method and apparatus using depth sensor
KR20190014871A (ko) * 2017-08-04 2019-02-13 삼성전자주식회사 차량의 후방에 위치한 응급 차량에 기초하여 상기 차량의 주행 경로를 변경하는 장치 및 방법

Also Published As

Publication number Publication date
US20220130133A1 (en) 2022-04-28
JP2024023319A (ja) 2024-02-21
CN114375467B (zh) 2023-07-11
KR102613839B1 (ko) 2023-12-18
WO2021021481A1 (en) 2021-02-04
EP3986761A1 (en) 2022-04-27
EP3986761A4 (en) 2023-04-19
JP7518893B2 (ja) 2024-07-18
CN114375467A (zh) 2022-04-19
US11727692B2 (en) 2023-08-15
US11216689B2 (en) 2022-01-04
JP2022542246A (ja) 2022-09-30
US20210034914A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
KR102613839B1 (ko) 긴급 차량들의 검출
JP7162017B2 (ja) サイレンの検出およびサイレンに対する対応
US20240190471A1 (en) Preparing autonomous vehicles for turns
JP6783949B2 (ja) 交通標識情報を用いた道路検出
EP3822582A1 (en) Driving environment information generation method, driving control method, driving environment information generation device
JP6323246B2 (ja) 車両の走行制御装置及び方法
US20210326604A1 (en) System and method for determining vehicle data set familiarity
JP7119365B2 (ja) 運転行動データ生成装置、運転行動データベース
KR20190100407A (ko) 장래 진로를 결정하기 위한 휠 배향의 사용
CN115004257A (zh) 用于涉及交通灯和交通标志的交通工具导航的系统和方法
EP2549457A1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US11747166B2 (en) Driving environment information generation method, driving control method, driving environment information generation device
US20220121216A1 (en) Railroad Light Detection
CN114973644A (zh) 道路信息生成装置
Lin et al. Understanding Vehicle Interaction in Driving Video with Spatial-temporal Deep Learning Network
JP2022137535A (ja) 地図生成装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant