KR20220081380A - 자율주행 차량을 위한 신호등 검출 및 분류 - Google Patents

자율주행 차량을 위한 신호등 검출 및 분류 Download PDF

Info

Publication number
KR20220081380A
KR20220081380A KR1020227017842A KR20227017842A KR20220081380A KR 20220081380 A KR20220081380 A KR 20220081380A KR 1020227017842 A KR1020227017842 A KR 1020227017842A KR 20227017842 A KR20227017842 A KR 20227017842A KR 20220081380 A KR20220081380 A KR 20220081380A
Authority
KR
South Korea
Prior art keywords
sensor
image sensor
frame
exposure time
traffic light
Prior art date
Application number
KR1020227017842A
Other languages
English (en)
Inventor
정호 류
링창 리
Original Assignee
바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드, 바이두 유에스에이 엘엘씨 filed Critical 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드
Publication of KR20220081380A publication Critical patent/KR20220081380A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B60W2556/60—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

자율주행 차량(ADV)에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하되, 복수의 센서는 적어도 하나의 이미지 센서를 포함한다. 제1 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하고, 제2 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처한다. 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정한다. 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 자율주행 차량의 자율주행을 제어한다.

Description

자율주행 차량을 위한 신호등 검출 및 분류
본 발명의 실시형태는 전반적으로 자율주행 차량(ADV) 작동에 관한 것이다. 보다 구체적으로, 본 발명의 실시형태는 ADV의 신호등 검출 및 분류에 관한 것이다.
자율주행 모드(예를 들어, 무인 운전)로 작동하는 차량은 탑승자, 특히 운전자를 일부 운전 관련 의무에서 해방시킬 수 있다. 자율주행 모드에서 작동할 때 차량은 차량용 센서를 사용하여 각각의 위치를 탐색할 수 있으므로 차량이 최소한의 인간-컴퓨터 상호작용 상황 또는 승객이 없는 일부 상황에서 주행하도록 허용한다.
모션 계획 및 제어는 자율주행의 핵심 동작이다. 신호등 검출 및 분류는 ADV의 모션 계획 및 제어에 매우 중요하다. 그러나, 예를 들어 어둡거나 흐린 환경에서는 색상 아티팩트로 인해 적색 신호등을 식별하기 어렵다. 적색 신호등을 식별할 수 없는 사례가 많이 보고되었다.
본 발명의 실시형태는 자율주행 차량(ADV)을 작동하기 위한 컴퓨터 구현 방법, 비일시적 컴퓨터 판독 가능 매체, 데이터 처리 시스템 및 컴퓨터 프로그램을 제공한다.
제1 양태에서, 본 발명의 일부 실시형태는 자율주행 차량(ADV)을 작동하기 위한 컴퓨터 구현 방법을 제공한다. 상기 방법은, ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 단계- 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -; 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 단계; 제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 단계; 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정하는 단계; 및 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 상기 자율주행 차량의 자율주행을 제어하는 단계를 포함한다.
제2 양태에서, 본 발명의 일부 실시형태는 명령이 저장된 비일시적 컴퓨터 판독 가능 매체를 제공하되, 상기 명령은 프로세서에 의해 실행될 경우 프로세서가 동작을 수행하도록 하며, 상기 동작은, 자율주행 차량(ADV)에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 동작- 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -; 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 동작; 제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 동작; 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정하는 동작; 및 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 자율주행 차량의 자율주행을 제어하는 동작을 포함한다.
제3 양태에서, 본 발명의 일부 실시형태는 프로세서; 및 프로세서에 연결하여 명령을 저장하는 메모리를 포함하는 데이터 처리 시스템을 제공하되, 명령은 프로세서에 의해 실행될 경우 프로세서가 동작을 수행하도록 하며, 상기 동작은, 자율주행 차량(ADV)에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 동작- 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -; 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 동작; 제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 동작; 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정하는 동작; 및 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 자율주행 차량의 자율주행을 제어하는 동작을 포함한다.
제4 양태에서, 본 발명의 일부 실시형태는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 프로세서가 제1 양태에 따른 방법을 구현하도록 한다.
본 발명의 실시형태는 첨부 도면의 각 도면에서 비제한적인 예시 방식으로 도시되며, 도면에서의 동일한 참조 부호는 유사한 구성요소를 지시한다.
도 1은 일 실시형태에 따른 네트워크화 시스템을 도시하는 블록도이다.
도 2는 일 실시형태에 따른 자율주행 차량의 예를 도시하는 블록도이다.
도 3a 및 도 3b는 일 실시형태에 따른 자율주행 차량과 함께 사용되는 자율주행 시스템의 예를 도시하는 블록도이다.
도 4는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 제어 모듈의 예를 도시하는 블록도이다.
도 5는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 센서의 광 강도에 대한 픽셀 출력의 예를 도시한다.
도 6a 내지 도 6c는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 광 검출 및 분류의 예를 도시한다.
도 7은 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 광 검출 및 분류 과정의 예를 도시하는 흐름도이다.
아래에서 논의되는 세부사항을 참조하여 본 발명의 다양한 실시형태 및 양태를 설명하며, 첨부된 도면은 상기 다양한 실시형태를 도시한다. 아래 설명과 도면은 본 발명에 대한 설명이며, 본 발명을 한정하려는 것으로 해석되어서는 안된다. 본 발명의 다양한 실시형태에 대한 전반적인 이해를 제공하기 위해 많은 특정 세부사항을 설명한다. 그러나, 어떤 경우에는, 본 발명의 실시형태에 대한 간결한 논의를 제공하기 위해 공지되었거나 통상적인 세부사항들에 대한 설명은 생략한다.
본 명세서에서 “일 실시형태” 또는 “실시형태”에 대한 언급은 상기 실시형태와 결합하여 설명된 특정된 특징, 구조 또는 특성이 본 발명의 적어도 일 실시형태에 포함될 수 있음을 의미한다. 본 명세서의 각 부분에 나타나는 문구 “일 실시형태에서”는 전부 동일한 실시형태를 가리키는 것은 아니다.
일부 실시형태에 따르면, 신호등 검출 시, ADV의 센서의 노출 시간은 예를 들어 최소 노출 시간 또는 밝은 햇빛이나 일광 조건과 유사한 노출 시간으로 감소된다. 센서의 모든 게인은 x1로 설정할 수 있다. 비교적 짧은 노출 시간 또는 비교적 낮은 게인은 대안적 프레임 중의 센서의 센서 설정에 적용될 수 있다. 예를 들어, 하나의 프레임(프레임B)은 정상적인 조건일 수 있다. 다른 프레임(프레임A)은 짧은 노출 조건(예를 들어, 비교적 짧은 노출 시간 또는 비교적 낮은 게인)일 수 있다. 예를 들어, 신호등 주변에 경계 박스를 한정할 수 있다. 적색광, 녹색광 및/또는 청색광에 대한 통계량(평균값 또는 최소값/최대값 또는 백분위수 등)을 추출할 수 있다. 짧은 노출 시간/게인을 적용하여 적색광, 녹색광 및/또는 청색광에 대한 통계의 임계값을 충족시킬 수 있고, 하나의 프레임(프레임A)에 적용할 수 있다. 따라서, 프레임A는 신호등을 식별하는 상황에 사용될 수 있다. 프레임B는 주행 환경을 감지하는데 사용될 수 있다. 프레임A를 사용하여 식별된 신호등의 상황 및 프레임A를 사용하여 감지된 주행 환경에 따라 ADV 자율주행을 제어할 수 있다.
일부 실시형태에 따르면, ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하되, 여기서 복수의 센서는 적어도 하나의 이미지 센서를 포함한다. 제1 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하고, 제2 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처한다. 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정한다. 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 ADV가 자율적으로 주행하도록 제어한다. 이러한 방식으로, ADV는 적색의 신호등 신호를 식별하고 어둡거나/흐린 환경에서 주행 환경을 감지할 수 있어 주행 안전성을 증가시킨다.
일 실시형태에서, 제1 센서 설정은 제1 노출 시간 또는 제1 게인 중 적어도 하나를 포함하고, 제2 센서 설정은 제2 노출 시간 또는 제2 게인 중 적어도 하나를 포함하며, 제1 노출 시간 또는 제1 게인 중 적어도 하나는 각각 제2 노출 시간 또는 제2 게인 중 적어도 하나보다 작다.
일 실시형태에서, 상기 제1 센서의 설정은 주간 광 조건에서의 최소값 또는 기설정 값에 기반하여 결정된다. 일 실시형태에서, 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터 중의 신호등 주변에서 경계 박스를 결정하고 경계 박스 내의 픽셀의 특징을 추출한다.
일 실시형태에서, 경계 박스 내의 픽셀의 특징은 경계 박스 내의 픽셀의 적색, 녹색 또는 청색 중 하나의 평균값, 최소값, 최대값 또는 백분위수 중 적어도 하나를 포함한다. 일 실시형태에서, 경계 박스 내의 픽셀의 특징의 기설정 임계값에 기반하여 제1 센서 설정을 결정한다.
일 실시형태에서, 신호등 검출 시, 적어도 하나의 이미지 센서의 초기 설정에서 초기 노출 시간을 결정하고 적어도 하나의 이미지 센서의 초기 노출 시간이 기설정 임계값을 초과하는지 여부를 결정한다. 적어도 하나의 이미지 센서의 초기 설정이 기설정 임계값을 초과한 것으로 결정한 것에 응답하여, 제1 센서 설정을 적어도 하나의 이미지 센서에 적용한다.
도 1은 본 발명의 일 실시형태에 따른 자율주행 네트워크 구성을 도시하는 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 이상의 서버(103 내지 104)에 통신적으로 연결될 수 있는 자율 주행 차량(ADV, 101)을 포함한다. 하나의 ADV가 도시되어 있지만, 복수의 ADV는 네트워크(102)를 통해 상호 연결될 수 있거나 및/또는 서버(103 내지 104)에 연결될 수 있다. 네트워크(102)는 유선 또는 무선의 근거리 통신망(LAN), 인터넷과 같은 광역 통신망(WAN), 셀룰러 네트워크, 위성 네트워크 또는 이들의 조합과 같은 임의의 유형의 네트워크일 수 있다. 서버(103 내지 104)는 네트워크 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합과 같은 임의의 유형의 서버 또는 서버 클러스터일 수 있다. 서버(103 내지 104)는 데이터 분석 서버, 콘텐츠 서버, 교통 정보 서버, 지도 및 관심 지점(MPOI) 서버 또는 위치 서버 등일 수 있다.
ADV는 자율주행 모드로 구성될 수 있는 차량을 의미하며, 상기 자율주행 모드에서 차량은 운전자의 입력이 거의 없거나 전혀 없는 상황에서 탐색하여 환경을 통과한다. 이러한 ADV는 센서 시스템을 포함할 수 있고, 상기 센서 시스템은 차량 작동 환경과 관련된 정보를 검출하도록 구성되는 하나 이상의 센서를 갖는다. 예를 들어, ADV는 ADV 주변의 주행 환경을 감지하는 하나 이상의 센서를 포함할 수 있다. 상기 차량 및 이와 관련된 컨트롤러는 검출된 정보를 사용하여 탐색하여 상기 환경을 통과한다. ADV(101)는 수동 모드, 완전 자율주행 모드 또는 일부 자율주행 모드에서 작동할 수 있다.
일 실시형태에서, ADV(101)는 자율주행 시스템(ADS, 110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113) 및 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. ADV(101)는 또한 엔진, 휠, 스티어링 휠, 변속기 등과 같은 일반적인 차량에 포함된 특정 통상적인 부재를 포함할 수 있으며, 상기 부재는 차량 제어 시스템(111) 및/또는 ADS(110)가 가속 신호 또는 명령, 감속 신호 또는 명령, 스티어링 신호 또는 명령, 브레이킹 신호 또는 명령 등과 같은 다양한 통신 신호 및/또는 명령을 사용하는 것에 의해 제어될 수 있다.
부재(110 내지 115)는 상호연결 부재, 버스, 네트워크 또는 이들의 조합을 통해 서로 통신적으로 연결될 수 있다. 예를 들어, 부재(110 내지 115)는 계측 제어기 통신망(CAN) 버스를 통해 서로 통신적으로 연결될 수 있다. CAN 버스는 마이크로 컨트롤러와 장치가 호스트가 없는 애플리케이션에서 서로 통신되도록 설계된 차량 버스 표준이다. 이는 최초에는 자동차 내의 전기 배선을 다중화하기 위해 설계된 메시지 기반 프로토콜이지만 다른 많은 환경에도 사용된다.
도 2를 참조하면, 일 실시형태에서, 센서 시스템(115)은 하나 이상의 카메라(211)(하나 이상의 이미지 센서를 포함함), 글로벌 위치결정 시스템(GPS) 유닛(212), 관성 측정 유닛(IMU, 213), 레이더 유닛(214) 및 라이다(LIDAR) 유닛(215)을 포함하지만 이에 한정되지 않는다. GPS 유닛(212)은 ADV의 위치에 관한 정보를 제공하기 위해 작동 가능한 트랜시버를 포함할 수 있다. IMU 유닛(213)은 관성 가속도에 기반하여 ADV의 위치와 방향 변화를 센싱할 수 있다. 레이더 유닛(214)은 무선 전기 신호를 이용하여 ADV의 로컬 환경 내 객체를 센싱하는 시스템을 나타낼 수 있다. 일부 실시형태에서, 객체를 센싱하는 외에, 레이더 유닛(214)은 또한 객체의 속도 및/또는 전진 방향을 센싱할 수 있다. LIDAR 유닛(215)은 레이저를 사용하여 ADV가 속한 환경에서의 객체를 센싱할 수 있다. 다른 시스템 부재를 제외한 외, LIDAR 유닛(215)은 하나 이상의 레이저 소스, 레이저 스캐너 및 하나 이상의 검출기를 더 포함할 수 있다. 카메라(211)는 ADV 주변 환경의 이미지를 수집하기 위한 하나 이상의 장치를 포함할 수 있다. 예를 들어, 카메라(211)는 ADV 주변 환경의 이미지를 수집하기 위한 하나 이상의 이미지 센서를 포함할 수 있다. 카메라(211)는 스틸 카메라 및/또는 비디오 카메라일 수 있다. 카메라는 예를 들어 회전 및/또는 틸팅 플랫폼에 장착함으로써 기계적으로 이동할 수 있다.
센서 시스템(115)은 소나 센서, 적외선 센서, 스티어링 센서, 액셀러레이터 센서, 브레이킹 센서 및 오디오 센서(예를 들어, 마이크로폰)와 같은 다른 센서를 더 포함할 수 있다. 오디오 센서는 ADV 주변 환경에서 소리를 수집하도록 구성될 수 있다. 스티어링 센서는 스티어링 휠, 차량의 휠 또는 이들의 조합의 스티어링 각도를 센싱하도록 구성될 수 있다. 액셀러레이터 센서와 브레이킹 센서는 각각 차량의 액셀러레이터 위치와 브레이킹 위치를 센싱한다. 일부 경우에 따라, 액셀러레이터 센서와 브레이킹 센서는 통합 액셀러레이터/브레이킹 센서로 통합될 수 있다.
일 실시형태에서, 차량 제어 시스템(111)은 스티어링 유닛(201), 액셀러레이터 유닛(202)(가속 유닛으로 지칭되기도 함) 및 브레이킹 유닛(203)을 포함하지만 이에 한정되지 않는다. 스티어링 유닛(201)은 차량의 방향 또는 전진 방향을 조정하는데 사용된다. 액셀러레이터 유닛(202)은 전동 모터 또는 엔진의 속도를 제어하는데 사용되며, 전동 모터 또는 엔진의 속도는 따라서 차량의 속도와 가속도를 제어한다. 브레이킹 유닛(203)은 마찰을 제공하여 차량의 휠 또는 타이어를 감속시킴으로써 차량을 감속시킨다. 도 2에 도시된 부재는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있음에 유의해야 한다.
다시 도 1을 참조하면, 무선 통신 시스템(112)은 ADV(101)와 장치, 센서, 기타 차량 등과 같은 외부 시스템 간의 통신을 허용한다. 예를 들어, 무선 통신 시스템(112)은 하나 이상의 장치와 무선으로 직접 통신하거나, 네트워크(102)를 통해 서버(103 내지 104)와 통신되는 것과 같이 통신 네트워크를 통해 무선으로 통신할 수 있다. 무선 통신 시스템(112)은 WiFi와 같이 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(WLAN)을 사용하여 다른 부재 또는 시스템과 통신할 수 있다. 무선 통신 시스템(112)은 예를 들어, 적외선 링크, 블루투스 등을 사용하여 장치(예를 들어, 승객의 모바일 장치, 디스플레이 장치, 차량(101) 내의 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은 예를 들어 키보드, 터치 스크린 디스플레이, 마이크, 스피커 등을 포함하는 차량(101) 내에서 구현되는 주변 장치의 일부일 수 있다.
ADV(101)의 기능 중 일부 또는 전부는 특히 자율주행 모드에서 작동할 때 ADS(110)에 의해 제어 또는 관리될 수 있다. ADS(110)는 필요한 하드웨어(예를 들어, 프로세서, 메모리, 저장 장치) 및 소프트웨어(예를 들어, 운영 체제, 계획 및 라우팅 프로그램)를 포함하여, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신된 정보를 처리하며, 출발지에서 목적지까지의 루트 또는 경로를 계획하고, 이어서 계획 및 제어 정보를 기반으로 차량(101)을 운전한다. 대체 가능하게, ADS(110)는 차량 제어 시스템(111)과 통합될 수 있다.
예를 들어, 승객으로서의 사용자는 예를 들어 사용자 인터페이스를 통해 코스의 시작 위치 및 목적지를 지정할 수 있다. ADS(110)는 코스 관련 데이터를 획득한다. 예를 들어, ADV(101)는 서버(103 내지 104)의 일부일 수 있는 MPOI 서버로부터 위치 및 루트 데이터를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고 MPOI 서버는 지도 서비스 및 특정 위치에 대한 POI를 제공한다. 대체 가능하게, 이러한 위치 및 MPOI 정보는 ADS(110)의 영구성 저장 장치에 로컬로 캐싱될 수 있다.
ADV(101)가 루트를 따라 이동할 때 ADS(110)는 또한 교통 정보 시스템 또는 서버(TIS)로부터 실시간 교통 정보를 획득할 수 있다. 서버(103 내지 104)는 제3자 엔티티에 의해 작동될 수 있음에 유의해야 한다. 대체 가능하게, 서버(103 내지 104)의 기능은 ADS(110)와 통합될 수 있다. 실시간 교통 정보, MPOI 정보 및 위치 정보, 센서 시스템(115)에 의해 검출되거나 센싱된 실시간 로컬 환경 데이터(예를 들어, 장애물, 객체, 주변 차량)를 기반으로 ADS(110)는 최적 루트를 계획하고 계획된 루트에 따라 예를 들어 제어 시스템(111)을 통해 차량(101)을 운전하여 지정된 목적지로 안전하고 효율적으로 도착할 수 있다.
서버(103)는 데이터 분석 시스템으로, 다양한 클라이언트에 데이터 분석 서비스를 수행할 수 있다. 일 실시형태에서, 데이터 분석 시스템(103)은 데이터 컬렉터(121) 및 기계 학습 엔진(122)을 포함한다. 데이터 컬렉터(121)는 다양한 차량(ADV 또는 사람이 운전하는 기존 차량)으로부터 주행 통계 데이터(123)를 수집한다. 주행 통계 데이터(123)는 발행된 운전 명령(예를 들어, 액셀러레이터, 브레이킹, 스티어링 명령) 및 다양한 시점에서 차량의 센서에 의해 포착된 차량의 응답(예를 들어, 속도, 가속, 감속, 방향)을 나타내는 정보를 포함한다. 주행 통계 데이터(123)는 루트(시작 및 목적지 위치를 포함함), MPOI, 도로 상황, 기상 조건 등과 같은 상이한 시점에서의 주행 환경을 설명하는 정보를 더 포함할 수 있다.
주행 통계 데이터(123)에 기반하여, 기계 학습 엔진(122)은 다양한 목적을 위해 한 세트의 규칙, 알고리즘 및/또는 예측 모델(124)을 생성하거나 트레이닝한다. 일 실시형태에서, 알고리즘(124)은 ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 주행 환경(신호등 검출을 포함함)을 감지하는 알고리즘 또는 모델을 포함할 수 있고, 여기서 복수의 센서는 적어도 하나의 이미지 센서를 포함한다. 알고리즘(124)은 제1 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 알고리즘 또는 모델, 제2 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 알고리즘 또는 모델, 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 상황을 결정하는 알고리즘 또는 모델, 및/또는 제1 프레임 중의 적어도 하나의 이미지 센서 중의 센서 데이터에 기반하여 결정된 신호등의 상황 및 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 ADV 자율주행을 제어하는 알고리즘 또는 모델을 더 포함할 수 있다. 다음, 알고리즘(124)은 자율주행 동안 실시간 활용을 위해 ADV에 업로드될 수 있다.
도 3a 및 도 3b는 일 실시형태에 따른 ADV와 함께 사용되는 ADV의 예를 도시하는 블록도이다. 시스템(300)은 도 1의 ADV(101)의 일부로 구현될 수 있고, ADS(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하지만 이에 한정되지 않는다. 도 3a 내지 도 3b를 참조하면, ADS(110)는 위치결정 모듈(301), 감지 모듈(302), 예측 모듈(303), 의사결정 모듈(304), 계획 모듈(305), 제어 모듈(306), 라우팅 모듈(307)을 포함하지만 이에 한정되지 않는다.
모듈(301 내지 307) 중 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 모듈은 영구성 저장 장치(352)에 설치되고, 메모리(351)에 로딩되며, 하나 이상의 프로세서(미도시)에 의해 실행될 수 있다. 이러한 모듈의 일부 또는 전부는 도 2의 차량 제어 시스템(111)의 일부 또는 전부 모듈에 통신 가능하게 결합되거나 함께 통합될 수 있음에 유의해야 한다. 모듈(301 내지 307) 중 일부는 통합 모듈로 통합될 수 있다.
위치결정 모듈(301)은 ADV(300)의 현재 위치(예를 들어, GPS 유닛(212)을 이용함)를 결정하고 사용자의 코스 또는 루트와 관련된 임의의 데이터를 관리한다. 위치결정 모듈(301)(지도 및 루트 모듈로 지칭되기도 함)은 사용자의 코스 또는 루트와 관련된 임의의 데이터를 관리한다. 사용자는 예를 들어 사용자 인터페이스를 통해 로그인하고 코스의 시작 위치와 목적지를 지정할 수 있다. 위치결정 모듈(301)은 지도 및 루트 데이터(311)와 같은 ADV(300)의 다른 부재와 통신하여 코스 관련 데이터를 획득한다. 예를 들어, 위치결정 모듈(301)은 위치 서버 및 지도와 POI(MPOI) 서버로부터 위치 및 루트 데이터를 획득할 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 특정된 위치의 POI를 제공하여, 지도 및 루트 데이터(311)의 일부로서 캐싱될 수 있다. ADV(300)가 루트를 따라 이동할 때 위치결정 모듈(301)은 또한 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 획득할 수 있다.
센서 시스템(115)에 의해 제공된 센서 데이터 및 위치결정 모듈(301)에 의해 획득된 위치결정 정보에 기반하여, 감지 모듈(302)은 주변 환경에 대한 감지를 결정한다. 감지 정보는 운전자가 운전하는 차량 주변에서 일반 운전자가 감지할 수 있는 물건을 나타낼 수 있다. 감지에는 예를 들어 객체 형태의 차선 구성, 신호등 신호, 다른 차량의 상대적 위치, 보행자, 건물, 횡단보도 또는 다른 교통 관련 표지판(예를 들어, 정지 표지판, 양보 표지판) 등이 포함될 수 있다. 차선 구성은 예를 들어 차선의 형상(예를 들어, 직선 또는 곡선), 차선 폭, 도로의 차선 수, 일방통행 또는 양방향 차선, 병합 또는 분할 차선, 출구 차선과 같은 하나 이상의 차선을 설명하는 정보를 포함한다.
감지 모듈(302)은 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함하여 하나 이상의 카메라에 의해 수집된 이미지를 처리하고 분석함으로써 ADV 환경에서 객체 및/또는 특징을 식별할 수 있다. 상기 객체는 교통 신호, 도로 경계, 다른 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 객체 인식 알고리즘, 비디오 추적 및 다른 컴퓨터 비전 기술을 사용할 수 있다. 일부 실시형태에서, 컴퓨터 비전 시스템은 환경 지도를 매핑하고, 객체를 추적하며, 객체의 속도를 추정할 수 있다. 감지 모듈(302)은 또한 레이더 및/또는 LIDAR와 같은 다른 센서에 의해 제공되는 다른 센서 데이터에 기반하여 객체를 검출할 수 있다.
각각의 객체에 대해, 예측 모듈(303)은 이 상황에서 객체가 어떻게 표현될 것인지를 예측한다. 예측은 감지 데이터에 기반하여 수행되는 것으로, 상기 감지 데이터는 한 세트의 지도/루트 정보(311) 및 교통 규칙(312)의 시점을 고려하여 주행환경을 감지한다. 예를 들어, 객체가 반대 방향의 차량이고 현재 주행 환경에 교차로가 포함되는 경우, 예측 모듈(303)은 차량이 직진 또는 회전할 가능성이 있는지 예측할 것이다. 감지 데이터가 교차로에 신호등이 없음을 나타내는 경우, 예측 모듈(303)은 교차로에 진입하기 전에 차량이 완전히 정지해야 할 필요가 있을 수 있다고 예측할 수 있다. 감지 데이터가 차량이 현재 좌회전 전용 차선 또는 우회전 전용 차선에 있음을 나타내는 경우, 예측 모듈(303)은 차량이 각각 좌회전 또는 우회전할 가능성이 더 높을 것으로 예측할 수 있다.
각각의 객체에 대해, 의사결정 모듈(304)은 객체를 처분하는 방법에 대한 결정을 내린다. 예를 들어, 특정 객체(예를 들어, 교차로에 있는 다른 차량) 및 객체를 설명하는 메타데이터(예를 들어, 속도, 방향, 회전 각도)에 대해, 의사결정 모듈(304)은 상기 객체와 마주치는 방법(예를 들어, 추월, 양보, 정지, 초과)을 결정한다. 의사결정 모듈(304)은 영구성 저장 장치(352)에 저장될 수 있는 교통 규칙 또는 운전 규칙(312)과 같은 규칙 세트에 따라 이러한 결정을 내릴 수 있다.
라우팅 모듈(307)은 출발지로부터 목적지까지의 하나 이상의 루트 또는 경로를 제공하도록 구성된다. 사용자로부터 수신된 주어진 코스와 같이 시작 위치로부터 목적지 위치까지의 주어진 코스의 경우, 라우팅 모듈(307)은 루트 및 지도 정보(311)를 획득하고 시작 위치에서 목적지 위치까지의 모든 가능한 루트 또는 경로를 결정한다. 라우팅 모듈(307)은 시작 위치로부터 목적지 위치까지의 각각의 루트를 결정하는 지형도 형태의 기준선을 생성할 수 있다. 기준선은 다른 차량, 장애물, 교통 상황과 같은 임의의 간섭을 받지 않는 이상적인 루트 또는 경로를 의미한다. 즉, 도로에 다른 차량, 보행자 또는 장애물이 없는 경우 ADV는 기준선을 정밀하게 또는 밀접하게 따라야 한다. 다음, 지형도를 의사결정 모듈(304) 및/또는 계획 모듈(305)에 제공한다. 의사결정 모듈(304) 및/또는 계획 모듈(305)은 모든 가능한 루트를 검사하여, 다른 모듈에 의해 제공되는 다른 데이터에 따라 최적 루트 중 하나를 선택하고 변경하며, 여기서 다른 데이터는 예를 들어 위치결정 모듈(301)로부터의 교통 상황, 감지 모듈(302)에 의해 감지된 주행 환경 및 예측 모듈(303)에 의해 예측된 교통 상황이다. 시점의 특정 주행 환경에 따라, ADV를 제어하기 위한 실제 경로 또는 루트는 라우팅 모듈(307)에 의해 제공된 기준선에 가깝거나 상이할 수 있다.
감지된 객체 각각에 대한 결정에 기반하여, 계획 모듈(305)은 라우팅 모듈(307)에 의해 제공된 기준선을 기초로 사용하여, ADV를 위해 경로 또는 루트 및 주행 파라미터(예를 들어, 거리, 속도 및/또는 회전 각도)를 계획한다. 다시 말해서, 주어진 객체에 대해, 의사결정 모듈(304)은 그 객체에 대해 무엇을 할 것인지를 결정하고, 계획 모듈(305)은 그 수행 방법을 결정한다. 예를 들어, 주어진 객체에 대해, 의사결정 모듈(304)은 상기 객체를 초과하기로 결정할 수 있고, 계획 모듈(305)은 상기 객체의 좌측 또는 우측에서 초과하기로 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)에 의해 생성되고 차량(300)이 다음 이동 주기(예를 들어, 다음 루트/경로 세그먼트)에서 어떻게 이동할지를 설명하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는 차량(300)이 시속 30마일(mph)의 속도로 10미터를 이동한 다음 25mph의 속도로 우측 차선으로 변경하도록 지시할 수 있다.
계획 및 제어 데이터에 기반하여, 제어 모듈(306)은 계획 및 제어 데이터에 의해 한정된 루트 또는 경로에 따라 차량 제어 시스템(111)에 적절한 명령 또는 신호를 송신함으로써 ADV를 제어 및 운전한다. 상기 계획 및 제어 데이터에는 경로 또는 루트에 따라 상이한 시점에서 적절한 차량 설정 또는 주행 파라미터(예를 들어, 액셀러레이터, 브레이킹, 스티어링 명령)를 사용하여 차량을 루트 또는 경로의 제1 지점에서 제2 지점으로 운전하기에 충분한 정보가 포함된다.
일 실시형태에서, 계획 단계는 복수의 계획 주기(주행 주기라고 지칭되기도 함)에서 수행되며, 예를 들어 100밀리초(ms)의 시간 간격을 갖는 주기에서 수행된다. 계획 주기 또는 주행 주기 중 각각에 대해, 계획 및 제어 데이터를 기반으로 하나 이상의 제어 명령이 발행된다. 즉, 100 ms 당, 계획 모듈(305)은 다음 루트 세그먼트 또는 경로 세그먼트를 계획하는바, 예를 들어 목표 위치 및 ADV가 목표 위치에 도착하기까지 필요한 시간을 포함한다. 대체 가능하게, 계획 모듈(305)은 또한 구체적인 속도, 방향 및/또는 스티어링 각도 등을 규정할 수 있다. 일 실시형태에서, 계획 모듈(305)은 다음 예정 시간대(예를 들어, 5초)를 위해 루트 세그먼트 또는 경로 세그먼트를 계획한다. 각각의 계획 주기에 대해, 계획 모듈(305)은 이전 주기에서 계획한 목표 위치를 기반으로 현재 주기(예를 들어, 다음 5초)에 대한 목표 위치를 계획한다. 다음, 제어 모듈(306)은 현재 주기의 계획 및 제어 데이터에 따라 하나 이상의 제어 명령(예를 들어, 액셀러레이터, 브레이킹, 스티어링 제어 명령)을 생성한다.
의사결정 모듈(304) 및 계획 모듈(305)은 통합 모듈로 통합될 수 있음에 유의해야 한다. 의사결정 모듈(304)/계획 모듈(305)은 ADV의 주행 경로를 결정하기 위한 내비게이션 시스템 또는 내비게이션 시스템의 기능을 포함할 수 있다. 예를 들어, 내비게이션 시스템은, 최종 목적지까지의 차선 기반 경로를 따라 ADV를 전진시키는 동시에 기본적으로 감지된 장애물을 회피하는 경로를 따라 ADV가 이동하는데 영향을 미치는 일련의 속도 및 방향을 결정할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통한 사용자 입력에 따라 설정될 수 있다. 내비게이션 시스템은 ADV가 작동하는 동안 주행 경로를 동적으로 업데이트할 수 있다. 내비게이션 시스템은 GPS 시스템 및 하나 이상의 지도로부터의 데이터를 병합하여 ADV의 주행 경로를 결정할 수 있다.
도 4는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 감지 모듈 및 제어 모듈의 예를 도시하는 블록도(400)이다. 도 4를 참조하면, 감지 모듈(302)은 검출 모듈(401) 및 결정 모듈(404)을 포함하지만 이에 한정되지 않는다. 감지 모듈(302)은 ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 주행 환경을 감지하도록 구성되되, 여기서 복수의 센서는 적어도 하나의 이미지 센서를 포함한다. 검출 모듈(401)은 신호등을 검출하도록 구성된다. 제어 모듈(306)은 제1 센서 설정 모듈(402) 및 제2 센서 설정 모듈(403)을 포함하지만 이에 한정되지 않는다. 제1 센서 설정 모듈(402)은 제1 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하도록 구성되고, 제2 센서 설정 모듈(403)은 제2 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하도록 구성된다. 결정 모듈(404)은 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 상황을 결정하도록 구성된다. 검출 모듈(401)은 또한 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 주행 환경을 검출하도록 구성된다. 제어 모듈(306)은 또한 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 상황 및 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 검출된 주행 환경에 따라 ADV 자율주행을 제어하도록 구성된다. 예를 들어, 제어 모듈(306)은 또한 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 상황에 따라 ADV의 브레이크를 자동적으로 제어하도록 구성될 수 있고, 제어 모듈(306)은 또한 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 검출된 주행 환경에 따라 ADV의 휠을 자동적으로 제어하도록 구성될 수 있다.
도 5는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 이미지 센서의 광 강도(505)에 대한 픽셀 출력(504)의 예를 도시하는 도면(500)이다. 신호등을 성공적으로 검출하고 신호등(예를 들어, 적색, 황색 또는 녹색 신호등 신호)를 정확하게 분류하는 것은 ADV 이동 계획 및 제어에 매우 중요하다. 그러나, 적색 신호등 신호는 특히 어둡거나/흐린 환경에서 정확하게 식별하기 어렵다. 색상 아티팩트로 인해 적색 신호등 신호를 식별할 수 없는 사례가 많이 보고되었다. 예를 들어, ADV는 적색 신호등 신호를 놓치는 것으로 적색 신호등 신호를 식별할 수 없다. 다른 예로, ADV는 적색 신호등 신호를 황색 신호등 신호로 잘못 결정할 수 있다. 적색 신호등 신호 식별에 실패하는 것은 ADV 카메라의 이미지 센서의 색상 아티팩트 때문일 수 있다.
이미지 센서 픽셀 출력(504)은 적색광 성분(R 성분)(501), 녹색광 성분(G 성분)(502) 및 청색광 성분(B 성분)(503)을 포함한다. 예를 들어, ADV 카메라의 이미지 센서는 광전 센서의 정사각형 그리드에 RGB 컬러 필터를 배열하기 위한 컬러 필터 어레이(CFA)인 Bayer 필터를 사용할 수 있다. 컬러 필터용 Bayer 필터의 특정 배열은 컬러 이미지를 생성하기 위해 디지털 카메라, 캠코더 및 스캐너의 대부분의 단일 칩 디지털 이미지 센서에 사용된다.
어둡거나 흐린 환경에서는 일반 센서 설정 중 이미지 센서의 노출 시간이 증가된다. 그러나, 적색광 강도(R 성분)(501) 및 녹색광 강도(G 성분)(502) 및 청색광 강도(B 성분)(503)는 노출 시간에 따라 증가된다. 그러나, 적색광 강도(R 성분)는 녹색광 강도 포화 임계값(522) 또는 청색광 강도 포화 임계값(523)보다 낮은 적색광 강도 포화 임계값(521)을 갖는다.
영역(511)에서는 적색광 강도(R 성분)(501), 녹색광 강도(G 성분)(502), 청색광 강도(B 성분)(503)가 증가하고, 3개의 성분은 적절한 비율로 되어 있다. 따라서, 픽셀 출력(504)은 적색이다.
영역(512)에서는 적색광 강도(R 성분)(501)가 적색광 강도 포화 임계값(521)으로 증가할 때, 적색광 강도(R 성분)(501)는 포화되고 더 높아질 수 없다. 녹색광 강도(G 성분)(502)는 여전히 증가한다. 따라서, G 성분에 대한 R 성분의 비율이 변경되고, 따라서 픽셀 출력(504)은 영역(512)에서 주황색으로 변경된다.
영역(513)에서는 녹색광 강도(G 성분)(502)가 녹색광 강도 포화 임계값(522)에 도달할 때, 녹색광 강도(G 성분)(502)는 포화될 것이다. 따라서, G 성분(502)에 대한 R 성분(501)의 비율은 1에 가깝고, B 성분(503)은 더 낮다. 따라서, 픽셀 출력(504)은 황색을 나타낸다.
영역(514)에서는 3개의 성분 모두가 포화될 때, 픽셀 출력(504)이 백색을 나타낸다.
도 5에 도시된 바와 같이, 어둡거나/흐린 환경에서 일반 센서 설정 중 이미지 센서의 노출 시간이 증가하면 아티팩트가 발생할 수 있으며, 이는 적색 신호등 신호를 식별하는데 실패할 수 있다.
도 6a 내지 도 6c는 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 광 검출 및 분류의 예(600)를 도시한다. 도 6a는 광 검출 및 분류의 과정의 예를 도시한다. 도 6b는 도 6a 중의 프레임A(602)의 일부 610a의 확대도를 도시한다. 도 6c는 도 6a 중의 프레임B(603)의 일부 610b의 확대도를 도시한다. 도 6a 내지 도 6c를 참조하면, ADV는 ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 주행 환경을 감지하되, 여기서 복수의 센서는 하나 이상의 이미지 센서를 포함할 수 있다. 각 이미지 센서에는 센서 설정이 있을 수 있다. 예를 들어, 센서 설정에는 노출 시간, 게인 등이 포함될 수 있다.
초기 시간 T1에서 ADV는 하나 이상의 이미지 센서를 포함하는 복수의 센서로부터 획득된 센서 데이터에 기반하여 하나 이상의 신호등(620)을 검출할 수 있다. ADV에는 하나 이상의 카메라가 장착될 수 있고, 하나 이상의 카메라 각각은 이미지 센서를 포함할 수 있다. 어둡거나/흐린 환경에서, 하나 이상의 이미지 센서의 초기 센서 설정 중의 초기 노출 시간(예를 들어, 시간 T1에서의 노출 시간)을 증가시켜 주행 환경을 캡처할 수 있다.
일 실시형태에서, 하나 이상의 이미지 센서의 초기 센서 설정 중의 초기 노출 시간은 신호등(620) 검출 시 결정될 수 있다. 하나 이상의 이미지 센서의 초기 노출 시간이 기설정 임계값을 초과하는지 여부를 결정할 수 있다. 예를 들어, 기설정 임계값은 적색광 강도 포화 임계값(예를 들어, 도 5의 521)에 기반하여 결정될 수 있다. 도 5와 관련하여 논의된 바와 같이, 하나 이상의 이미지 센서의 초기 설정 중의 초기 노출 시간이 기설정 임계값을 초과할 때 ADV는 적색 신호등을 식별할 수 없다. 따라서 적색 신호등 신호를 정확하게 식별하기 위해 노출 시간을 최소 노출 시간 또는 밝은 햇빛이나 일광 조건과 유사한 노출 시간으로 줄일 수 있다.
시간 T2에서, 제1 센서 설정을 제1 프레임(즉, “프레임A” 610a) 중의 하나 이상의 이미지 센서에 적용할 수 있다. 제1 센서 설정은 제1 노출 시간 및/또는 제1 게인을 포함할 수 있다. 예를 들어, 제1 노출 시간은 최소 노출 시간 또는 밝은 햇빛이나 일광 조건과 유사한 노출 시간과 같은 감소된 노출 시간일 수 있다. 다른 예로, 모든 게인은 x1 또는 최소 게인으로 설정될 수 있다.
도 6b에 도시된 바와 같이, “프레임A”(602)의 일부 610a의 확대도에서, 예를 들어, 감소된 노출 시간 및/또는 감소된 게인으로 인해 적색 신호등(620)은 적색을 나타낼 수 있다. 감지 모듈(302) 중의 결정 모듈(404)은 신호등(620)의 색상을 적색으로 결정하여 적색 신호등(620)을 식별할 수 있다. 그러나 차선 구성, 장애물 등과 같이 제1 프레임 “프레임A”(602) 중의 다른 주행 환경은 식별하기 어렵다.
시간 T3에서, 제2 센서 설정을 제2 프레임(즉, “프레임B” 610b) 중의 하나 이상의 이미지 센서에 적용할 수 있다. 제2 센서 설정은 제2 노출 시간 및/또는 제2 게인을 포함할 수 있다. 제2 센서 설정은 어둡거나/흐린 환경에서의 정상적인 센서 설정일 수 있다. 예를 들어, 제2 노출 시간은 밝은 햇빛이나 일광 조건에서의 노출 시간보다 더 긴 노출 시간일 수 있다. 다른 예로, 모든 게인은 1x 또는 최소 게인보다 크게 설정될 수 있다.
도 6c에 도시된 바와 같이, “프레임B”(603)의 일부 610b의 확대도에서, 예를 들어, 도 5를 결합하여 논의된 노출 시간이 증가함으로 인해 적색 신호등(620)은 주황색 또는 황색을 나타낼 수 있다. 그러나, 감지 모듈(302)은 제2 프레임 “프레임B”(603) 중의 하나 이상의 센서의 센서 데이터에 기반하여 주행 환경을 감지할 수 있다. ADV는 차선 구성, 장애물 등과 같이 제2 프레임 “프레임B”(603) 중의 다른 주행 환경을 식별할 수 있다.
ADV의 제어 모듈(306)은 제1 센서 설정 및 제2 센서 설정을 교대 프레임에 적용할 수 있다. 일 실시형태에서, ADV는 제1 센서 설정을 하나 이상의 센서에 적용하여 제1 프레임을 캡처할 수 있고, 제2 센서 설정을 하나 이상의 센서에 적용하여 제2 프레임을 캡처할 수 있으며 반복한다.
일 실시형태에서, 제1 프레임 “프레임A”(602) 중의 하나 이상의 센서의 센서 데이터 중의 신호등(620) 주변의 경계 박스(622)를 결정할 수 있다. 각각의 신호등(620)은 하나의 대응되는 경계 박스(622)를 가질 수 있다. 경계 박스(622) 내의 픽셀의 특징을 추출할 수 있다. 예를 들어, 경계 박스(622) 내의 픽셀의 특징은 경계 박스(622) 내의 픽셀의 적색광(R 성분), 녹색광(G 성분) 또는 청색광(B 성분) 중 하나의 평균값, 최소값, 최대값 또는 백분위수를 포함할 수 있다. 예로서, 상기 특징은 적색광(R 성분)의 평균값일 수 있다.
일 실시형태에서, 제1 센서 설정은 경계 박스 내의 픽셀의 특징의 기설정 임계값을 기반으로 결정될 수 있다. 예를 들어, 제1 노출 시간을 경계 박스(622) 내의 픽셀의 적색광(R 성분), 녹색광(G 성분) 또는 청색광(B 성분) 중 하나의 평균값, 최소값, 최대값 또는 백분위수를 충족시키는 기설정 임계값으로 설정할 수 있다. 예로서, 제1 노출 시간은 제1 프레임 “프레임A”(602) 중의 경계 박스(622) 내의 픽셀의 적색광(R 성분)의 평균값을 충족시키는 기설정 임계값으로 설정될 수 있다. 다른 예로, 제1 노출 시간을 제1 프레임 “프레임A”(602) 중의 경계 박스(622) 내의 픽셀의 적색광(R 성분)의 최대값을 충족시키는 기설정 임계값으로 설정할 수 있다.
ADV는 제1 센서 설정과 제2 센서 설정을 교대로 적용할 수 있다. ADV는 제1 센서 설정을 적용하여 복수의 제1 프레임을 캡처하거나, 제2 센서 설정을 적용하여 복수의 제2 프레임을 캡처할 수 있으며, 이는 빛 조건 및/또는 환경에 의해 결정된다. 일 실시형태에서, ADV는 제1 센서 설정을 하나 이상의 이미지 센서에 적용하여 복수의 제1 프레임을 캡처하고 제2 센서 설정을 하나 이상의 이미지 센서에 적용하여 제2 프레임을 캡처할 수 있다. 일 실시형태에서, ADV는 제1 센서 설정을 하나 이상의 이미지 센서에 적용하여 제1 프레임을 캡처하고 제2 센서 설정을 하나 이상의 이미지 센서에 적용하여 복수의 제2 프레임을 캡처할 수 있다. 일 실시형태에서, ADV는 제1 센서 설정을 하나 이상의 이미지 센서에 적용하여 복수의 제1 프레임을 캡처하고 제2 센서 설정을 하나 이상의 이미지 센서에 적용하여 복수의 제2 프레임을 캡처할 수 있다.
제1 프레임 중의 하나 이상의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 하나 이상의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 ADV 자율주행을 제어할 수 있다. 예를 들어, ADV의 브레이크는 제1 프레임 중의 하나 이상의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상이 적색이라고 결정한 것에 응답하여 ADV를 정지시키는데 적용될 수 있다. 예를 들어, ADV의 휠은 제2 프레임 중의 하나 이상의 이미지 센서의 센서 데이터에 기반하여 감지된 장애물에 응답하여 ADV의 궤적을 변경하도록 회전될 수 있다. 이와 같이, ADV는 적색 신호등 신호를 식별하고 어둡거나/흐린 환경에서 주행 환경을 감지할 수 있어 운전 안전성을 증가시킨다.
도 7은 일 실시형태에 따른 자율주행 차량의 자율주행 시스템의 광 검출 및 분류 과정의 예를 도시하는 흐름도이다. 과정(700)은 소프트웨어, 하드웨어 또는 이들의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 예를 들어, 과정(700)은 감지 모듈(302) 및/또는 제어 모듈(306)에 의해 수행될 수 있다. 도 7을 참조하면, 동작 701에서, 처리 로직은 ADV에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 ADV 주변의 주행 환경을 감지하되, 여기서 복수의 센서는 적어도 하나의 이미지 센서를 포함한다. 동작 702에서, 처리 로직은 제1 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처한다. 동작 703에서, 처리 로직은 제2 센서 설정을 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처한다. 동작 704에서, 처리 로직은 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 신호등의 색상을 결정한다. 동작 705에서, 처리 로직은 제1 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 신호등의 색상 및 제2 프레임 중의 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 ADV 자율주행을 제어한다. 상기 과정을 통해, ADV는 적색의 신호등 신호를 식별하고 어둡거나/흐린 환경에서 주행 환경을 감지할 수 있어 운전 안전성을 증가시킨다.
이상 도시되고 설명된 부재 중의 일부 또는 전부는 소프트웨어, 하드웨어 또는 이들의 조합에서 구현될 수 있음에 유의해야 한다. 예를 들어, 이러한 부재는 영구성 저장 장치에 설치되고 저장되는 소프트웨어로 구현될 수 있고, 상기 소프트웨어는 프로세서(미도시)를 통해 메모리에 로딩되며 메모리에서 실행되어 본 발명 전반에 걸쳐 설명된 과정 또는 동작을 구현할 수 있다. 대체 가능하게, 이러한 부재는 전용 하드웨어(접직 회로(예를 들어, 주문형 집적 회로 또는 ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그램 가능 게이트 어레이(FPGA)와 같음)에 프로그래밍되거나 내장된 실행 가능 코드로 구현될 수 있으며, 상기 실행 가능 코드는 애플리케이션으로부터의 대응되는 드라이버 프로그램 및/또는 운영 체제를 통해 액세스할 수 있다. 이 밖에, 이러한 부재는 하나 이상의 특정 명령을 통해 소프트웨어 부재에 의해 액세스될 수 있는 명령 세트의 일부로서 프로세서 또는 프로세서 코어에서의 특정 하드웨어 로직으로 구현될 수 있다.
전술한 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 부호 표현에 따라 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 분야의 기술자가 이들의 작업을 본 분야의 다른 기술자에게 실질적이고 가장 효과적으로 전달하기 위해 사용되는 방식이다. 본문에서, 알고리즘은 통상적으로 예상하는 결과로 이어지는 자체 일관된 동작 시퀀스인 것으로 간주된다. 이러한 동작은 물리량에 대한 물리적 작동 및 제어가 필요한 동작이다.
그러나 모든 이러한 유사한 용어는 적절한 물리량과 관련되도록 의도된 것이며, 단지 이러한 양에 적용되기 위한 간편한 표기일 뿐임을 명심해야 한다. 이상 논의에서 달리 명시되지 않는 한, 명세서 전체에서, 용어(청구범위에 기술된 용어와 같음)를 이용하여 진행된 논의는 컴퓨터 시스템 또는 유사 전자 컴퓨팅 장치의 동작 및 처리를 가리키는 것으로 이해해야 하며, 상기 컴퓨터 시스템 또는 전자 컴퓨팅 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표시되는 데이터를 조절하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 유형의 정보 저장 장치, 전송 또는 디스플레이 장치 내 유사하게 물리량으로 표시되는 다른 데이터로 변환시킨다.
본 발명의 실시형태는 또한 본문에서의 동작을 수행하기 위한 기기에 관한 것이다. 이러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장된다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 컴퓨터 판독 가능 매체는 판독 전용 메모리(“ROM”), 랜덤 액세스 메모리(“RAM”), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 장치 등을 포함한다.
전술한 도면에 도시된 과정 또는 방법은 하드웨어(예를 들어, 회로, 전용 로직 등), 소프트웨어(예를 들어, 비일시적 컴퓨터 판독 가능 매체에서 구현됨) 또는 이들의 조합을 포함하는 처리 논리에 의해 수행될 수 있다. 상기 과정 또는 방법이 일부 순차적 동작에 의해 설명되었지만, 상기 작동 중 일부는 상이한 순서에 따라 수행될 수 있음을 이해해야 한다. 이 밖에, 일부 동작은 순차적이 아니라 병렬로 수행될 수 있다.
본 발명의 실시형태는 임의의 특정 프로그래밍 언어를 참조하여 설명된 것이 아니다. 다양한 프로그래밍 언어를 사용하여 본문에 기술된 바와 같이 본 발명의 실시형태의 교시를 구현할 수 있음을 이해해야 한다.
이상 명세서에서, 본 발명의 구체적인 예시적 실시형태를 참조하여 본 발명의 실시형태를 설명하였다. 청구범위에 기술된 본 발명의 보다 광범위한 사상 및 범위를 벗어나지 않으면서 본 발명에 대해 다양한 수정을 진행할 수 있음은 자명한 것이다. 따라서, 본 명세서와 도면은 한정적 의미가 아닌 설명적 의미로 이해되어야 한다.

Claims (22)

  1. 자율주행 차량(ADV)을 작동하기 위한 컴퓨터 구현 방법으로서,
    상기 자율주행 차량에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 단계- 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -;
    제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 단계;
    제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 단계;
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 상기 신호등의 색상을 결정하는 단계; 및
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 상기 신호등의 색상 및 상기 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 상기 자율주행 차량의 자율주행을 제어하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 센서 설정은 제1 노출 시간 또는 제1 게인 중 적어도 하나를 포함하고,
    상기 제2 센서 설정은 제2 노출 시간 또는 제2 게인 중 적어도 하나를 포함하고,
    상기 제1 노출 시간 또는 상기 제1 게인 중 적어도 하나는 각각 상기 제2 노출 시간 또는 상기 제2 게인 중 적어도 하나보다 작은 방법.
  3. 제1항에 있어서,
    상기 제1 센서의 설정은 주간 광 조건에서의 최소값 또는 기설정된 값에 기반하여 결정되는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 상기 센서 데이터 중의 상기 신호등 주변의 경계 박스를 결정하는 단계; 및
    상기 경계 박스 내의 픽셀의 특징을 추출하는 단계를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징은 상기 경계 박스 내의 상기 픽셀의 적색, 녹색 또는 청색 중 하나의 평균값, 최소값, 최대값 또는 백분위수 중 적어도 하나를 포함하는 방법.
  6. 제4항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징의 기설정된 임계값에 기반하여 상기 제1 센서 설정을 결정하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 신호등 검출 시, 상기 적어도 하나의 이미지 센서의 초기 센서 설정 중의 초기 노출 시간을 결정하는 단계; 및
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 기설정된 임계값을 초과하는지 여부를 결정하는 단계를 더 포함하고;
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 상기 기설정된 임계값을 초과한 것으로 결정한 것에 응답하여, 상기 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하는 방법.
  8. 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서,
    상기 명령은 프로세서에 의해 실행될 경우 상기 프로세서가 동작을 수행하도록 하며, 상기 동작은,
    자율주행 차량(ADV)에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 동작 - 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -;
    제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 동작;
    제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 동작;
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 상기 신호등의 색상을 결정하는 동작; 및
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 상기 신호등의 색상 및 상기 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 상기 자율주행 차량의 자율주행을 제어하는 동작을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  9. 제8항에 있어서,
    상기 제1 센서 설정은 제1 노출 시간 또는 제1 게인 중 적어도 하나를 포함하고,
    상기 제2 센서 설정은 제2 노출 시간 또는 제2 게인 중 적어도 하나를 포함하고,
    상기 제1 노출 시간 또는 상기 제1 게인 중 적어도 하나는 각각 상기 제2 노출 시간 또는 상기 제2 게인 중 적어도 하나보다 작은 비일시적 컴퓨터 판독 가능 매체.
  10. 제8항에 있어서,
    상기 제1 센서의 설정은 주간 광 조건에서의 최소값 또는 기설정된 값에 기반하여 결정되는 비일시적 컴퓨터 판독 가능 매체.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서,
    상기 동작은,
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 상기 센서 데이터 중의 상기 신호등 주변의 경계 박스를 결정하는 동작; 및
    상기 경계 박스 내의 픽셀의 특징을 추출하는 동작을 더 포함하는 비일시적 컴퓨터 판독 가능 매체.
  12. 제11항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징은 상기 경계 박스 내의 상기 픽셀의 적색, 녹색 또는 청색 중 하나의 평균값, 최소값, 최대값 또는 백분위수 중 적어도 하나를 포함하는 비일시적 컴퓨터 판독 가능 매체.
  13. 제11항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징의 기설정된 임계값에 기반하여 상기 제1 센서 설정을 결정하는 비일시적 컴퓨터 판독 가능 매체.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 동작은,
    상기 신호등 검출 시, 상기 적어도 하나의 이미지 센서의 초기 센서 설정 중의 초기 노출 시간을 결정하는 동작; 및
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 기설정된 임계값을 초과하는지 여부를 결정하는 동작을 더 포함하고,
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 상기 기설정된 임계값을 초과한 것으로 결정한 것에 응답하여, 상기 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하는 비일시적 컴퓨터 판독 가능 매체.
  15. 데이터 처리 시스템으로서,
    프로세서; 및
    상기 프로세서에 연결되어 명령을 저장하는 메모리를 포함하고, 상기 명령은 상기 프로세서에 의해 실행될 경우 상기 프로세서가 동작을 수행하며, 상기 동작은,
    자율주행 차량(ADV)에 장착된 복수의 센서로부터 획득된 센서 데이터에 기반하여 신호등 검출을 포함하는 주행 환경 감지를 수행하는 동작 - 상기 복수의 센서는 적어도 하나의 이미지 센서를 포함함 -;
    제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제1 프레임을 캡처하는 동작;
    제2 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하여 제2 프레임을 캡처하는 동작;
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 상기 신호등의 색상을 결정하는 동작; 및
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 결정된 상기 신호등의 색상 및 상기 제2 프레임 중의 상기 적어도 하나의 이미지 센서의 센서 데이터에 기반하여 감지된 주행 환경에 따라 상기 자율주행 차량의 자율주행을 제어하는 동작을 포함하는 데이터 처리 시스템.
  16. 제15항에 있어서,
    상기 제1 센서 설정은 제1 노출 시간 또는 제1 게인 중 적어도 하나를 포함하고,
    상기 제2 센서 설정은 제2 노출 시간 또는 제2 게인 중 적어도 하나를 포함하고,
    상기 제1 노출 시간 또는 상기 제1 게인 중 적어도 하나는 각각 상기 제2 노출 시간 또는 상기 제2 게인 중 적어도 하나보다 작은 데이터 처리 시스템.
  17. 제15항에 있어서,
    상기 제1 센서의 설정은 주간 광 조건에서의 최소값 또는 기설정된 값에 기반하여 결정되는 데이터 처리 시스템.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 동작은,
    상기 제1 프레임 중의 상기 적어도 하나의 이미지 센서의 상기 센서 데이터 중의 상기 신호등 주변의 경계 박스를 결정하는 동작; 및
    상기 경계 박스 내의 픽셀의 특징을 추출하는 동작을 더 포함하는 데이터 처리 시스템.
  19. 제18항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징은 상기 경계 박스 내의 상기 픽셀의 적색, 녹색 또는 청색 중 하나의 평균값, 최소값, 최대값 또는 백분위수 중 적어도 하나를 포함하는 데이터 처리 시스템.
  20. 제18항에 있어서,
    상기 경계 박스 내의 상기 픽셀의 특징의 기설정된 임계값에 기반하여 상기 제1 센서 설정을 결정하는 데이터 처리 시스템.
  21. 제15항 내지 제20항 중 어느 한 항에 있어서,
    상기 동작은,
    상기 신호등 검출 시, 상기 적어도 하나의 이미지 센서의 초기 센서 설정 중의 초기 노출 시간을 결정하는 동작; 및
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 기설정된 임계값을 초과하는지 여부를 결정하는 동작을 더 포함하고,
    상기 적어도 하나의 이미지 센서의 상기 초기 노출 시간이 상기 기설정된 임계값을 초과한 것으로 결정한 것에 응답하여, 상기 제1 센서 설정을 상기 적어도 하나의 이미지 센서에 적용하는 데이터 처리 시스템.
  22. 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 프로세서가 제1항 내지 제7항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.
KR1020227017842A 2021-04-20 2021-04-20 자율주행 차량을 위한 신호등 검출 및 분류 KR20220081380A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/088379 WO2022222028A1 (en) 2021-04-20 2021-04-20 Traffic light detection and classification for autonomous driving vehicles

Publications (1)

Publication Number Publication Date
KR20220081380A true KR20220081380A (ko) 2022-06-15

Family

ID=81988199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227017842A KR20220081380A (ko) 2021-04-20 2021-04-20 자율주행 차량을 위한 신호등 검출 및 분류

Country Status (6)

Country Link
US (1) US20240020988A1 (ko)
EP (1) EP4097554B1 (ko)
JP (1) JP2023527599A (ko)
KR (1) KR20220081380A (ko)
CN (1) CN115516397A (ko)
WO (1) WO2022222028A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434041A (zh) * 2022-12-05 2023-07-14 北京百度网讯科技有限公司 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152785B (zh) * 2023-04-24 2023-07-18 之江实验室 一种基于cbam结合hsb模式的交通信号灯检测方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0996284B1 (en) * 1998-10-23 2002-04-03 Datalogic S.P.A. Process for regulating the exposure time of a light sensor
KR100284305B1 (ko) * 1998-10-28 2001-03-02 김영환 이미지 센서에서 녹색 화소의 평균값을 이용하여 화면의 밝기를조절하기 위한 장치 및 방법
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
DE102012217093A1 (de) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
US9654738B1 (en) 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
KR101579098B1 (ko) * 2014-05-23 2015-12-21 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
CN105635597B (zh) * 2015-12-21 2018-07-27 湖北工业大学 车载相机的自动曝光方法及系统
US10084967B1 (en) 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
DE102017210845A1 (de) 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
KR20200053125A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210096086A (ko) 2018-12-07 2021-08-04 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 및 정보 처리 방법, 그리고 프로그램
JP7414497B2 (ja) * 2019-12-05 2024-01-16 トヨタ自動車株式会社 運転支援装置
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434041A (zh) * 2022-12-05 2023-07-14 北京百度网讯科技有限公司 错误感知数据的挖掘方法、装置、设备及自动驾驶车辆

Also Published As

Publication number Publication date
WO2022222028A1 (en) 2022-10-27
CN115516397A (zh) 2022-12-23
US20240020988A1 (en) 2024-01-18
JP2023527599A (ja) 2023-06-30
EP4097554B1 (en) 2023-12-06
EP4097554A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
US10915766B2 (en) Method for detecting closest in-path object (CIPO) for autonomous driving
CN110573978A (zh) 用于自驾交通工具的动态传感器选择
US11560159B2 (en) Group and combine obstacles for autonomous driving vehicles
US11662730B2 (en) Hierarchical path decision system for planning a path for an autonomous driving vehicle
CN113495560A (zh) 基于场景的自动驾驶车辆控制
CN113950703A (zh) 具有用于点云融合的探测器
CN112526960A (zh) 自动驾驶监控系统
KR20220081380A (ko) 자율주행 차량을 위한 신호등 검출 및 분류
KR102359497B1 (ko) 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현
KR20220134033A (ko) 포인트 클라우드 특징 기반 장애물 필터링 시스템
CN112230645A (zh) 用于控制无人驾驶车辆的操纵杆控制的安全机制
CN113247017B (zh) 用于确保自动驾驶车辆的稳定绕行的双缓冲系统
US11673576B2 (en) Nested scenarios in planning for autonomous driving vehicles
EP3914492B1 (en) A parking-trajectory generation method combined with offline and online solutions
US11613275B2 (en) Grayscale-based camera perception
US20210284195A1 (en) Obstacle prediction system for autonomous driving vehicles
CN112829770A (zh) 基于车道边界和车辆速度的绕行决策
US20240025445A1 (en) Safety enhanced planning system with anomaly detection for autonomous vehicles
US11288528B2 (en) Differentiation-based traffic light detection
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
CN113671971A (zh) 用于自动驾驶车辆的动态参数服务器
CN113492848A (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
US20240171864A1 (en) On-board tuning of image signal processor for cameras of autonomous vehicles
CN212515471U (zh) 用于自动驾驶车辆的光探测和测距装置