KR20210083372A - 낯선 표지판들의 검출 - Google Patents

낯선 표지판들의 검출 Download PDF

Info

Publication number
KR20210083372A
KR20210083372A KR1020217019882A KR20217019882A KR20210083372A KR 20210083372 A KR20210083372 A KR 20210083372A KR 1020217019882 A KR1020217019882 A KR 1020217019882A KR 20217019882 A KR20217019882 A KR 20217019882A KR 20210083372 A KR20210083372 A KR 20210083372A
Authority
KR
South Korea
Prior art keywords
sign
traffic
traffic sign
type
vehicle
Prior art date
Application number
KR1020217019882A
Other languages
English (en)
Other versions
KR102592474B1 (ko
Inventor
즈난 쉬
마야 캅캅
천 우
우종 고
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20210083372A publication Critical patent/KR20210083372A/ko
Application granted granted Critical
Publication of KR102592474B1 publication Critical patent/KR102592474B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

본 개시의 양태들은 낯선 표지판(1053)의 표지판 유형을 결정하는 것에 관한 것이다. 이 시스템은 하나 이상의 프로세서(120)를 포함할 수 있다. 하나 이상의 프로세서는 이미지를 수신하고 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별하도록 구성될 수 있다. 교통 표지판에 대응하는 이미지 데이터는 표지판 유형 모델(470)에 입력될 수 있다. 프로세서들은 표지판 유형 모델이 교통 표지판의 유형을 식별할 수 없었다고 결정할 수 있고 교통 표지판의 하나 이상의 속성을 결정할 수 있다. 교통 표지판의 하나 이상의 속성은 다른 교통 표지판들의 알려진 속성들과 비교될 수 있고, 이 비교에 기초하여, 교통 표지판의 표지판 유형이 결정될 수 있다. 차량(100)은 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 제어될 수 있다.

Description

낯선 표지판들의 검출
관련 출원에 대한 상호 참조
본 출원은 2018년 12월 14일에 출원된 출원 제16/220,225호의 이익을 주장하며, 그 개시는 이로써 본 명세서에 참고로 포함된다.
자율 주행 운전 모드에서 동작할 때 인간 운전자를 필요로 하지 않는 차량들과 같은, 자율 주행 차량들은 승객들 또는 물품들을 한 위치로부터 다른 위치로 운송하는 데 도움을 주기 위해 사용될 수 있다. 자율 주행 차량의 중요한 컴포넌트는 카메라들, 레이더, LIDAR 센서들, 및 다른 유사한 디바이스들과 같은 센서들을 사용하여 차량이 그의 주변을 인지하고 해석할 수 있게 하는 인지 시스템이다. 예를 들어, 인지 시스템 및/또는 차량의 컴퓨팅 디바이스들은 대상체들은 물론 그의 특성들, 예컨대, 위치, 형상, 크기, 배향, 가속도 또는 감속도, 속도, 유형 등을 식별하기 위해 이러한 센서들로부터의 데이터를 프로세싱할 수 있다. 이러한 정보는 차량의 컴퓨팅 시스템들이 차량에 대한 적절한 운전 결정을 내리는 데 중요하다.
본 개시의 양태들은 낯선 표지판의 표지판 유형을 결정하기 위한 방법을 제공한다. 이 방법은: 하나 이상의 프로세서에 의해, 차량의 인지 시스템에 의해 생성되는 이미지를 수신하는 단계; 하나 이상의 프로세서에 의해, 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별하는 단계; 하나 이상의 프로세서에 의해, 교통 표지판에 대응하는 이미지 데이터를 표지판 유형 모델에 입력하는 단계; 하나 이상의 프로세서에 의해, 표지판 유형 모델이 교통 표지판의 유형을 식별할 수 없었다고 결정하는 단계; 하나 이상의 프로세서에 의해, 교통 표지판의 하나 이상의 속성을 결정하는 단계; 하나 이상의 프로세서에 의해, 교통 표지판의 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 단계; 하나 이상의 프로세서에 의해, 교통 표지판의 하나 이상의 속성을 비교하는 단계에 기초하여 교통 표지판의 표지판 유형을 결정하는 단계; 및 하나 이상의 프로세서에 의해, 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하는 단계를 포함할 수 있다.
일부 경우에, 다른 교통 표지판들의 알려진 속성들은 일대다 데이터 구조에 저장될 수 있다.
일부 경우에, 표지판 유형 모델이 교통 표지판의 유형을 식별할 수 없는 것은 모델이 최소 신뢰 수준으로 교통 표지판의 표지판 유형을 식별할 수 없는 것을 포함한다.
일부 경우에, 교통 표지판의 하나 이상의 속성은 이미지 프로세싱 기술들을 사용하여 결정된다.
일부 경우에, 속성들은 표지판 유형, 색상, 형상, 반사 계수, 배치(placement), 텍스트, 도형들 또는 부속물들 중 하나 이상을 포함할 수 있다.
일부 경우에, 이 방법은 교통 표지판의 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 것에 의해 교통 표지판의 내용을 결정하는 단계를 추가로 포함할 수 있다. 일부 예에서, 교통 표지판의 내용은 정보 제공적(informative)이거나 지시적(instructive)일 수 있다. 일부 예에서, 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하는 단계는 교통 표지판의 표지판 유형에 기초하여 아무런 액션도 취하지 않는 단계를 포함할 수 있다.
일부 예에서, 교통 표지판의 표지판 유형은 규제(regulatory), 경고, 안내, 서비스들, 휴양, 공사 또는 스쿨 존 중 하나 이상을 포함할 수 있다.
일부 경우에, 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하는 단계는: 교통 표지판의 내용이 액션을 지시한다고 결정하는 단계; 및 액션을 수행하는 단계를 포함할 수 있다.
본 개시의 양태들은 낯선 표지판의 표지판 유형을 결정하기 위한 시스템을 제공할 수 있다. 이 시스템은 하나 이상의 프로세서를 포함할 수 있고, 하나 이상의 프로세서는: 차량의 인지 시스템에 의해 생성되는 이미지를 수신하고; 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별하며; 교통 표지판에 대응하는 이미지 데이터를 표지판 유형 모델에 입력하고; 표지판 유형 모델이 교통 표지판의 유형을 식별할 수 없었다고 결정하며; 교통 표지판의 하나 이상의 속성을 결정하고; 교통 표지판의 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하며; 교통 표지판의 하나 이상의 속성을 비교하는 것에 기초하여 교통 표지판의 표지판 유형을 결정하고; 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하도록 구성될 수 있다.
일부 경우에, 다른 교통 표지판들의 알려진 속성들은 일대다 데이터 구조에 저장될 수 있다.
일부 경우에, 다른 교통 표지판들의 알려진 속성들이 운영자에 의해 및/또는 이미지 프로세싱 기술들을 사용하여 수동으로 레이블링될 수 있다.
일부 경우에, 교통 표지판의 하나 이상의 속성은 이미지 프로세싱 기술들을 사용하여 결정될 수 있다.
일부 경우에, 속성들은 표지판 유형, 색상, 형상, 반사 계수, 배치, 텍스트, 도형들 또는 부속물들 중 하나 이상을 포함할 수 있다.
일부 경우에, 하나 이상의 프로세서는 교통 표지판의 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 것에 의해 교통 표지판의 내용을 결정하도록 추가로 구성될 수 있다. 일부 예에서, 교통 표지판의 내용은 정보 제공적이거나 지시적이다. 일부 예에서, 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하는 것은 표지판 유형에 기초하여 아무런 액션도 취하지 않는 것을 포함할 수 있다. 일부 예에서, 여기서 교통 표지판의 표지판 유형에 기초하여 자율 주행 운전 모드에서 차량을 제어하는 것은 교통 표지판의 내용이 액션을 지시한다고 결정하는 것; 및 액션을 수행하는 것을 포함할 수 있다.
일부 경우에, 이 시스템은 차량을 포함할 수 있다.
도 1은 예시적인 실시예에 따른 예시적인 차량의 기능 다이어그램이다.
도 2는 본 개시의 양태들에 따른 맵 정보의 예이다.
도 3은 본 개시의 양태들에 따른 차량의 예시적인 외부 뷰이다.
도 4는 본 개시의 양태들에 따른 예시적인 시스템의 그림 다이어그램(pictorial diagram)이다.
도 5는 본 개시의 양태들에 따른 도 4의 시스템의 기능 다이어그램이다.
도 6은 본 개시의 양태들에 따른 예시적인 카메라 이미지이다.
도 7은 본 개시의 양태들에 따른 예시적인 이미지들 및 대응하는 레이블들이다.
도 8은 본 개시의 양태들에 따른 예시적인 이미지들 및 대응하는 레이블들 및 속성들이다.
도 9는 본 개시의 양태들에 따른 예시적인 이미지이다.
도 10은 본 개시의 양태들에 따른 예시적인 이미지이다.
도 11은 본 개시의 양태들에 따른 예시적인 흐름 다이어그램이다.
도 12는 본 개시의 양태들에 따른 예시적인 흐름 다이어그램이다.
개관
이 기술은 자율 주행 차량이 액션을 수행해야 하는지 여부를 결정하기 위해 교통 표지판의 특성들을 사용하는 것에 관한 것이다. 인간 운전자들은 여정 동안 규칙적으로 교통 표지판들을 만나고 그에 반응한다. 이와 관련하여, 인간 운전자는, 교통 표지판을 볼 때, 교통 표지판에 응답하여 특정 액션을 취하거나 아무런 액션도 취하지 않을 수 있다. 예를 들어, 인간 운전자는 정지 표지판을 보고 운전하고 있는 차량을 정지시킬 수 있다. 다른 예에서, 인간 운전자는 휴게소에 대한 교통 표지판을 보고 교통 표지판을 본 것에 응답하여 아무런 액션도 취하지 않을 수 있다.
교통 표지판들에 관해 추론할 수 있는 인간과 동일한 능력을 갖지 않는 자율 주행 차량들도 교통 표지판들에 응답하여 액션을 취할 때와 그렇지 않을 때를 결정해야 한다. 이와 관련하여, 자율 주행 차량에 의해 사용되는 맵 정보는 특정 교통 표지판들이 어디에 위치하는지를 보여줄 수 있다. 예를 들어, 모든 정지 표지판들의 위치가 맵 정보 내에서 발견될 수 있으며 자율 주행 차량은 해당 위치들에서 정지할 수 있다. 그렇지만, 교통 표지판들이 이동되거나, 제거되거나 또는 상이한 표지판들로 대체될 수 있어, 그에 의해 맵 정보를 부정확하게 만들 수 있다. 이에 따라, 차량들은 아무런 교통 표지판도 검출되지 않거나 새로운 표지판이 검출될 때 지시들을 수신하기 위해 인간 운영자에게 원격 지원 요청을 송신할 수 있으며, 이로 인해 주행 지연을 가져올 수 있다. 더욱이, 모든 교통 표지판을 매핑하고 그러한 맵 정보가 최신 상태이도록 보장하기 위해 많은 리소스들이 요구된다.
이러한 문제들을 해결하기 위해, 자율 주행 차량은 교통 표지판들을 실시간으로 검출하고 교통 표지판 및 그의 내용을 검출하는 것에 응답하여 취할 적절한 액션을 결정할 수 있다. 예를 들어, 자율 주행 차량 상의 하나 이상의 센서는 차량 인근에 있는 교통 표지판을 검출할 수 있다. 교통 표지판에 대응하는 센서 데이터는 자율 주행 차량의 하나 이상의 컴퓨팅 디바이스에 의해 분석될 수 있고, 교통 표지판의 유형과 같은, 교통 표지판의 특성들 및, 색상, 형상, 반사 계수, 배치, 텍스트, 도형들, 부속물들 등과 같은, 다른 속성들이 결정될 수 있다. 일부 경우에, 표지판 유형을 결정하는 데 도움을 주기 위해 머신 러닝 모델이 사용될 수 있다. 교통 표지판 유형 및 잠재적으로 교통 표지판의 다른 속성들 중 일부에 따라, 표지판의 내용(예를 들면, 지시적 내용, 정보 제공적 내용 등)의 결정이 이루어질 수 있다. 표지판의 유형 및 내용에 기초하여, 차량에 의해 액션이 수행되어야 하는지 여부에 대한 결정이 이루어질 수 있다.
본 명세서에서 설명된 특징들은, 교통 표지판들이 이전에 식별될 필요 없이, 더 정확히 말하면, 차량의 맵 정보에 이미 저장되어 있을 필요 없이, 자율 주행 차량이 실시간으로 해당 교통 표지판들을 검출하고 이에 반응할 수 있게 할 수 있다. 이는 매핑되지 않은 영역들에서 또는 맵이 부정확하거나 최신 상태가 아닌 영역들에서 특히 도움이 될 수 있다. 더욱이, 본 명세서에서 기술된 특징들은 자율 주행 차량이 머신 러닝 모델들에 의해 식별 가능하지 않거나, 임시 또는 수제 표지판들과 같은, 맵 정보 내에서 발견되지 않는 교통 표지판들을 식별할 수 있게 할 수 있다. 이에 따라, 자율 주행 차량은 낯선 표지판들에 대해서도 액션이 취해져야 하는지 여부를 결정할 수 있다. 추가적으로, 표지판의 내용의 검출 및 식별은, 특히 새로 식별된 표지판이 매핑 데이터에 전형적으로 추가되는 유형인 경우, 낯선 표지판들을 매핑 데이터에 추가하는 데 도움이 될 수 있다.
추가적으로, 본 명세서에서 기술된 특징들은 차량이 표지판 유형을 검출(즉, 성공적으로 결정)하지만 그의 내용을 결정할 수 없을 때 지원 요청이 인간 운영자에게 우선순위화될 수 있게 할 수 있다. 이와 관련하여, 차량이, 규제 표지판들과 같은, 차량의 안전 운행에 영향을 미칠 수 있는 낯선 표지판을 만날 때, 차량의 지원 요청이, 휴양 표지판들과 같은, 차량의 안전 운행에 영향을 미치지 않는 낯선 표지판들에 대한 지원 요청보다 인간 운영자에게 우선순위화될 수 있다. 일부 경우에, 차량이 특정 표지판 유형을 갖는 낯선 표지판을 검출할 때, 아무런 지원 요청도 이루어지지 않을 수 있고/있거나 인간 운영자는 그러한 요청을 무시할 수 있다.
예시적인 시스템
도 1에 도시된 바와 같이, 본 개시의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시의 특정 양태들이 특정 유형의 차량들과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 모터사이클, 버스, 레저용 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다. 차량은, 하나 이상의 프로세서(120), 메모리(130) 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 다른 방식으로 사용될 수 있는 명령어들(134) 및 데이터(132)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는, 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들은 물론, 다른 기입 가능 및 판독 전용 메모리들과 같은, 컴퓨팅 디바이스 판독 가능 매체 또는 전자 디바이스의 도움을 받아 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하여, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수 있으며, 이에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 유형의 매체들에 저장된다.
명령어들(134)은 프로세서에 의해 직접 실행되는 임의의 명령어 세트(예컨대, 머신 코드) 또는 간접적으로 실행되는 임의의 명령어 세트(예컨대, 스크립트)일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독 가능 매체에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, "명령어들" 및 "프로그램들"이라는 용어들은 본 명세서에서 상호 교환 가능하게 사용될 수 있다. 명령어들은 프로세서에 의한 직접 프로세싱을 위한 오브젝트 코드 형식으로 저장될 수 있거나, 요구 시에 인터프리트되거나 사전에 컴파일되는 독립적인 소스 코드 모듈들의 집합체들 또는 스크립트들을 포함한 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어들의 함수들, 메소드들 및 루틴들은 아래에서 더 상세히 설명된다.
데이터(132)는 명령어들(134)에 따라 프로세서(120)에 의해 검색되거나, 저장되거나 또는 수정될 수 있다. 예를 들어, 청구된 주제가 임의의 특정 데이터 구조에 의해 제한되지 않지만, 데이터는 컴퓨팅 디바이스 레지스터들에, 관계형 데이터베이스에 복수의 상이한 필드들 및 레코드들을 갖는 테이블로서, XML 문서들 또는 플랫 파일들로서 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독 가능 형식으로 형식 지정(formatting)될 수 있다.
하나 이상의 프로세서(120)는, 상업적으로 이용 가능한 CPU들 또는 GPU들과 같은, 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1이 컴퓨팅 디바이스(110)의 프로세서, 메모리 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 본 기술 분야의 통상의 기술자라면 프로세서, 컴퓨팅 디바이스 또는 메모리가 실제로는 동일한 물리적 하우징 내에 보관될 수 있거나 보관되지 않을 수 있는 다수의 프로세서들, 컴퓨팅 디바이스들 또는 메모리들을 포함할 수 있음을 이해할 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스(110)의 하우징과 상이한 하우징에 위치하는 하드 드라이브 또는 다른 저장 매체들일 수 있다. 그에 따라, 프로세서 또는 컴퓨팅 디바이스에 대한 언급이 병렬로 동작할 수 있거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 집합체에 대한 언급을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스(110)는 위에서 기술된 프로세서 및 메모리는 물론 사용자 입력(150)(예를 들면, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들면, 화면을 갖는 모니터 또는 정보를 디스플레이하도록 동작 가능한 임의의 다른 전기 디바이스)와 같은 컴퓨팅 디바이스와 관련하여 통상적으로 사용되는 컴포넌트들 전부를 포함할 수 있다. 이 예에서, 차량은 정보 또는 시청각적 경험들을 제공하기 위해 내부 전자 디스플레이(152)는 물론 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈 내에 위치할 수 있고, 차량(100) 내에 있는 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다.
컴퓨팅 디바이스(110)는, 아래에서 더 상세히 기술되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은, 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 연결(156)을 또한 포함할 수 있다. 무선 네트워크 연결들은 블루투스, 블루투스 LE(low energy), 셀룰러 연결들과 같은 단거리 통신 프로토콜들은 물론, 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 소유의 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함한 다양한 구성들 및 프로토콜들을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스(110)는 차량(100)에 통합된 자율 주행 운전 컴퓨팅 시스템일 수 있다. 자율 주행 운전 컴퓨팅 시스템은 자율 주행 운전 모드에서 차량을 제어하기 위해 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가서, 컴퓨팅 디바이스(110)는 자율 주행 운전 모드에서 메모리(130)의 명령어들(134)에 따라 차량(100)의 움직임, 속력 등을 제어하기 위해, 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 플래너 시스템(168), 위치결정 시스템(170) 및 인지 시스템(172)과 같은, 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시 말하지만, 이러한 시스템들이 컴퓨팅 디바이스(110)의 외부에 있는 것으로 도시되어 있지만, 실제로는 이러한 시스템들이 또한, 다시 말하지만 차량(100)을 제어하기 위한 자율 주행 운전 컴퓨팅 시스템으로서, 컴퓨팅 디바이스(110)에 통합될 수 있다.
예로서, 컴퓨팅 디바이스(110)는 차량의 속력을 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 자동차 또는 트럭과 같은, 차량(100)이 도로에서 사용하도록 구성되는 경우, 조향 시스템은 차량을 방향 전환시키기 위해 바퀴들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등 또는 브레이크 라이트를 켜는 것에 의해, 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다.
계획 시스템(168)은 위치까지의 루트를 결정하고 추종하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 이와 관련하여, 계획 시스템(168) 및/또는 데이터(132)는 상세 맵 정보, 예를 들면, 도로들의 형상과 고도, 차선 라인들, 교차로들, 횡단보도들, 속력 제한들, 교통 신호들, 건물들, 표지판들, 실시간 교통 정보, 차 세울 곳(pull over spot), 초목 또는 다른 그러한 대상체들 및 정보를 식별해 주는 매우 상세한 맵들을 저장할 수 있다.
도 2는 교차로들(202 및 204)을 포함하는 도로 섹션에 대한 맵 정보(200)의 예이다. 맵 정보(200)는 컴퓨팅 디바이스들(110)의 메모리(130)에 저장된 맵 정보의 로컬 버전일 수 있다. 맵 정보의 다른 버전들이 또한 아래에서 추가로 논의되는 저장 시스템(450)에 저장될 수 있다. 이 예에서, 맵 정보(200)는 차선들(210, 212, 214), 교통 신호등들(220, 222), 정지선(224), 횡단보도들(230, 232), 인도들(240) 및 교통 표지판들(250, 252)의 형상, 위치 및 다른 특성들을 식별해 주는 정보를 포함한다. 맵 정보는 본 명세서에서 이미지 기반 맵으로서 묘사되고, 맵 정보가 완전히 이미지 기반일 필요는 없다. 예를 들어, 맵 정보는 도로 세그먼트들에 의해 표현될 수 있는 도로들, 차선들, 교차로들 및 이러한 특징부들 사이의 연결들과 같은 정보의 하나 이상의 도로 그래프(roadgraph) 또는 그래프 네트워크(graph network)를 포함할 수 있다. 각각의 특징부는 그래프 데이터로서 저장될 수 있고 지리적 위치 및 각각의 특징부가 다른 관련 특징부들에 연계되어 있는지 여부와 같은 정보와 연관될 수 있으며, 예를 들어, 정지 표지판은 도로 및 교차로 등에 연계될 수 있다. 일부 예에서, 연관된 데이터는 특정 도로 그래프 특징부들의 효율적인 룩업을 가능하게 하기 위해 도로 그래프의 격자 기반 인덱스들을 포함할 수 있다.
위치결정 시스템(170)은 맵 또는 지구 상에서의 차량의 상대 또는 절대 위치를 결정하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 예를 들어, 위치결정 시스템(170)은 디바이스의 위도, 경도 및/또는 고도 위치를 결정하기 위한 GPS 수신기를 포함할 수 있다. 레이저 기반 측위 시스템들, 관성 보조(inertial-aided) GPS 또는 카메라 기반 측위와 같은 다른 위치 시스템들이 또한 차량의 위치를 식별하는 데 사용될 수 있다. 차량의 위치는 위도, 경도 및 고도와 같은 절대 지리적 위치는 물론, 종종 절대 지리적 위치보다 적은 노이즈로 결정될 수 있는, 차량 바로 주위에 있는 다른 자동차들에 상대적인 위치와 같은, 상대 위치 정보를 포함할 수 있다.
위치결정 시스템(170)은, 차량의 방향 및 속력 또는 그에 대한 변화들을 결정하기 위한 가속도계, 자이로스코프 또는 다른 방향/속력 검출 디바이스와 같은, 컴퓨팅 디바이스(110)와 통신하는 다른 디바이스들을 또한 포함할 수 있다. 단지 예로서, 가속도 디바이스는 중력 방향 또는 그에 수직인 평면을 기준으로 그의 피치(pitch), 요(yaw) 또는 롤(roll)(또는 그에 대한 변화들)을 결정할 수 있다. 이 디바이스는 또한 속력의 증가들 또는 감소들 및 그러한 변화들의 방향을 추적할 수 있다. 본 명세서에 기재된 바와 같이 이 디바이스가 위치 및 배향 데이터를 제공하는 것은 컴퓨팅 디바이스(110), 다른 컴퓨팅 디바이스들 및 이들의 조합들에 자동으로 제공될 수 있다.
인지 시스템(172)은 다른 차량들, 도로에 있는 장애물들, 교통 신호들, 표지판들, 나무들 등과 같은 차량 외부의 대상체들을 검출하기 위한 하나 이상의 컴포넌트를 또한 포함한다. 예를 들어, 인지 시스템(172)은 컴퓨팅 디바이스(110)에 의해 프로세싱될 수 있는 데이터를 기록하는 레이저들, 소나, 레이더, 카메라들 및/또는 임의의 다른 검출 디바이스들을 포함할 수 있다. 차량이 미니밴과 같은 승용차인 경우에, 미니밴은 루프 또는 다른 편리한 위치에 장착된 레이저 또는 다른 센서들을 포함할 수 있다. 예를 들어, 도 3은 차량(100)의 예시적인 외부 뷰이다. 이 예에서, 루프 톱(roof-top) 하우징(310) 및 돔(dome) 하우징(312)은 LIDAR 센서는 물론 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 추가적으로, 차량(100)의 전단에 위치되는 하우징(320)과 차량의 운전석 측 및 조수석 측의 하우징들(330, 332)은 각각 LIDAR 센서를 수용할 수 있다. 예를 들어, 하우징(330)은 운전석 도어(360)의 전방에 위치한다. 차량(100)은 차량(100)의 루프에도 위치하는 레이더 유닛들 및/또는 카메라들을 위한 하우징들(340, 342)을 또한 포함한다. 추가적인 레이더 유닛들 및 카메라들(도시되지 않음)은 차량(100)의 전단 및 후단에 및/또는 루프 또는 루프 톱 하우징(310)을 따라 다른 위치들에 위치할 수 있다.
일 예에서, 컴퓨팅 디바이스들(110)은 자율 주행 운전 컴퓨팅 시스템의 컴퓨팅 디바이스들을 제어할 수 있거나 차량(100)에 통합될 수 있다. 자율 주행 운전 컴퓨팅 시스템은 메모리(130)의 주 차량 제어 코드에 따라 차량(100)의 움직임을 제어하기 위해 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가서, 컴퓨팅 디바이스들(110)은 메모리(130)의 명령어들(134)에 따라 차량(100)의 움직임, 속력 등을 제어하기 위해, 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 계획 시스템(168), 위치결정 시스템(170), 인지 시스템(172) 및 동력 시스템(174)(즉, 차량의 엔진 또는 모터)과 같은, 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시 말하지만, 이러한 시스템들이 컴퓨팅 디바이스들(110)의 외부에 있는 것으로 도시되어 있지만, 실제로는 이러한 시스템들이 또한, 다시 말하지만 차량(100)을 제어하기 위한 자율 주행 운전 컴퓨팅 시스템으로서, 컴퓨팅 디바이스들(110)에 통합될 수 있다.
차량의 다양한 시스템들은 차량을 어떻게 제어할지를 결정하기 위해 그리고 차량을 제어하기 위해 자율 주행 차량 제어 소프트웨어를 사용하여 기능할 수 있다. 일 예로서, 인지 시스템(172)의 인지 시스템 소프트웨어 모듈은, 카메라들, LIDAR 센서들, 레이더 유닛들, 소나 유닛들 등과 같은, 자율 주행 차량의 하나 이상의 센서에 의해 생성되는 센서 데이터를 사용하여 대상체들 및 그의 특성들을 검출하고 식별할 수 있다. 이러한 특성들은 위치, 유형, 헤딩, 배향, 속도, 가속도, 가속도의 변화, 크기, 형상 등을 포함할 수 있다. 일부 경우에, 검출된 대상체에 대한 예측된 미래 거동을 출력하기 위해 대상체 유형에 기초하여 다양한 거동 모델들을 사용하는 거동 예측 시스템 소프트웨어 모듈에 특성들이 입력될 수 있다. 다른 경우에, 알려진 교통 신호들의 상태들을 검출하도록 구성된 교통 신호등 검출 시스템 소프트웨어 모듈, 차량의 하나 이상의 센서에 의해 생성되는 센서 데이터로부터 공사 구역들을 검출하도록 구성된 공사 구역 검출 시스템 소프트웨어 모듈은 물론 차량의 센서들에 의해 생성되는 센서 데이터로부터 응급 차량을 검출하도록 구성된 응급 차량 검출 시스템과 같은 하나 이상의 검출 시스템 소프트웨어 모듈에 특성들이 입력될 수 있다. 이러한 검출 시스템 소프트웨어 모듈들 각각은 공사 구역일 가능성 또는 대상체가 응급 차량일 가능성을 출력하기 위해 다양한 모델들을 사용할 수 있다. 검출된 대상체들, 예측된 미래 거동들, 검출 시스템 소프트웨어 모듈들로부터의 다양한 가능성들, 차량의 환경을 식별해 주는 맵 정보, 차량의 위치와 배향을 식별하는 위치결정 시스템(170)으로부터의 위치 정보, 차량의 목적지는 물론 차량의 다양한 다른 시스템들로부터의 피드백이 계획 시스템(168)의 플래너 시스템 소프트웨어 모듈에 입력될 수 있다. 계획 시스템 및/또는 컴퓨팅 디바이스들(110)은 이러한 입력을 사용하여 차량이 미래의 어떤 짧은 시간 기간 동안 추종할 루트 및 궤적들을 생성할 수 있다. 컴퓨팅 디바이스들(110)의 제어 시스템 소프트웨어 모듈은 궤적을 추종하기 위해, 예를 들어, 차량의 제동, 가속 및 조향을 제어하는 것에 의해 차량의 움직임을 제어하도록 구성될 수 있다.
컴퓨팅 디바이스(110)는 다양한 컴포넌트들을 제어하는 것에 의해 차량을 제어할 수 있다. 예를 들어, 예로서, 컴퓨팅 디바이스(110)는 상세 맵 정보 및 계획 시스템(168)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치로 운행시킬 수 있다. 컴퓨팅 디바이스(110)는 차량의 위치를 결정하기 위해 위치결정 시스템(170)을 사용하고 위치에 안전하게 도달하기 위해 필요할 때 대상체들을 검출하고 그에 반응하기 위해 인지 시스템(172)을 사용할 수 있다. 다시 말하지만, 그렇게 하기 위해, 컴퓨팅 디바이스(110)는 궤적들을 생성하고, 차량으로 하여금 (예를 들면, 가속 시스템(162)에 의해 엔진 또는 동력 시스템(174)에 연료 또는 다른 에너지를 공급하는 것에 의해) 가속하게 하고, (예를 들면, 감속 시스템(160)에 의해 엔진 또는 동력 시스템(174)에 공급되는 연료를 감소시키는 것, 기어를 변경하는 것 및/또는 브레이크를 밟는 것에 의해) 감속하게 하며, (예를 들면, 조향 시스템(164)에 의해 차량(100)의 앞바퀴 또는 뒷바퀴를 방향전환시키는 것에 의해) 방향을 변경하게 하고, (예를 들면, 시그널링 시스템(166)의 방향 지시등을 켜는 것에 의해) 그러한 변화들을 시그널링하게 하는 것에 의해, 차량으로 하여금 이러한 궤적들을 추종하게 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 바퀴들 사이의 다양한 컴포넌트들을 포함하는 드라이브트레인(drivetrain)의 일부일 수 있다. 다시 말하지만, 이러한 시스템들을 제어하는 것에 의해, 컴퓨팅 디바이스(110)는 또한 차량을 자율적으로 기동시키도록 차량의 드라이브트레인을 제어할 수 있다.
차량(100)의 컴퓨팅 디바이스(110)는 또한, 운송 서비스의 일부인 해당 컴퓨팅 디바이스들은 물론 다른 컴퓨팅 디바이스들과 같은, 다른 컴퓨팅 디바이스들로부터 정보를 수신하거나 그에게로 전송할 수 있다. 도 4 및 도 5는, 제각기, 네트워크(460)를 통해 연결된 복수의 컴퓨팅 디바이스들(410, 420, 430, 440) 및 저장 시스템(450)을 포함하는 예시적인 시스템(400)의 그림 다이어그램 및 기능 다이어그램이다. 시스템(400)은 차량(100), 및 차량(100)과 동일하거나 유사하게 구성될 수 있는 차량들(100A, 100B)을 또한 포함한다. 단순성을 위해 몇 대의 차량들과 컴퓨팅 디바이스들만이 묘사되어 있지만, 전형적인 시스템은 훨씬 더 많이 포함할 수 있다.
도 4에 도시된 바와 같이, 컴퓨팅 디바이스들(410, 420, 430, 440) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어들을 포함할 수 있다. 그러한 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(132) 및 명령어들(134)과 유사하게 구성될 수 있다.
네트워크(460) 및 개재 노드들은 블루투스, 블루투스 LE와 같은 단거리 통신 프로토콜들, 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 소유의 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함한 다양한 구성들 및 프로토콜들을 포함할 수 있다. 그러한 통신은, 모뎀들 및 무선 인터페이스들과 같은, 다른 컴퓨팅 디바이스들로 및 그로부터 데이터를 전송할 수 있는 임의의 디바이스에 의해 용이하게 될 수 있다.
일 예에서, 하나 이상의 컴퓨팅 디바이스(110)는 다른 컴퓨팅 디바이스들로부터 데이터를 수신하고, 프로세싱하며 그에게로 전송하는 것을 목적으로 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스들을 갖는 하나 이상의 서버 컴퓨팅 디바이스, 예를 들면, 부하 분산(load balanced) 서버 팜을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(410)는 네트워크(460)를 통해 차량(100)의 컴퓨팅 디바이스(110) 또는 차량(100A, 100B)의 유사한 컴퓨팅 디바이스는 물론 컴퓨팅 디바이스들(420, 430, 440)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100, 100A, 100B)은 정보를 서버 컴퓨팅 디바이스들(410)로 송신하고 그로부터 수신할 수 있는 차량 플릿(fleet of vehicles)의 일부일 수 있다. 추가적으로, 서버 컴퓨팅 디바이스들(410)은, 사용자들(422, 432, 442) 중 하나 이상과 같은, 사용자에게 정보를 전송하고, 컴퓨팅 디바이스들(420, 430, 440)의 디스플레이들(424, 434, 444) 중 하나 이상과 같은, 디스플레이 상에서 제시하기 위해 네트워크(460)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(420, 430, 440)은 클라이언트 컴퓨팅 디바이스들로 간주될 수 있다.
도 4에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(420, 430, 440)는 사용자들(422, 432, 442) 중 하나 이상에 의한 사용을 위해 의도된 개인용 컴퓨팅 디바이스일 수 있으며, 하나 이상의 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들면, RAM 및 내부 하드 드라이브들), 디스플레이들(424, 434, 444)과 같은 디스플레이(예를 들면, 화면을 갖는 모니터, 터치 스크린, 프로젝터, 텔레비전 또는 정보를 디스플레이하도록 동작 가능한 다른 디바이스), 및 사용자 입력 디바이스들(426, 436, 446)(예를 들면, 마우스, 키보드, 터치 스크린 또는 마이크로폰)을 포함하여 개인용 컴퓨팅 디바이스와 관련하여 통상적으로 사용되는 컴포넌트들 전부를 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 녹화하기 위한 카메라, 스피커들, 마이크로폰들, 네트워크 인터페이스 디바이스 및 이러한 요소들을 서로 연결시키는 데 사용되는 컴포넌트들 전부를 또한 포함할 수 있다.
클라이언트 컴퓨팅 디바이스들(420, 430, 440)이 각각 풀 사이즈(full-sized) 개인용 컴퓨팅 디바이스를 포함할 수 있지만, 이들이 대안적으로 인터넷과 같은 네트워크를 통해 서버와 데이터를 무선으로 교환할 수 있는 모바일 컴퓨팅 디바이스들을 포함할 수 있다. 단지 예로서, 클라이언트 컴퓨팅 디바이스(420)는 모바일 폰 또는 무선 가능 PDA와 같은 디바이스, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템, 또는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는 넷북일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(430)는 도 4에 도시된 바와 같이 손목 시계로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 일 예로서, 사용자는 소형 키보드, 키패드, 마이크로폰을 사용하여, 카메라에 의한 시각 신호들을 사용하여, 또는 터치 스크린을 사용하여 정보를 입력할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(450)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능, 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스들(410)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 스토리지일 수 있다. 추가적으로, 저장 시스템(450)은 동일하거나 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스들에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4 및 도 5에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 연결될 수 있고/있거나 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 연결되거나 통합될 수 있다.
저장 시스템(450)은 아래에서 더 상세히 기술되는 바와 같은 다양한 유형의 정보를 저장할 수 있다. 이러한 정보는 본 명세서에서 기술된 특징들 중 일부 또는 전부를 수행하기 위해, 하나 이상의 서버 컴퓨팅 디바이스(410)와 같은, 서버 컴퓨팅 디바이스에 의해 검색되거나 다른 방식으로 액세스될 수 있다.
예를 들어, 저장 시스템(450)은, 차량(100)의 인지 시스템(172)과 같은, 차량의 인지 시스템에 의해 캡처되는 센서 데이터를 저장할 수 있다. 이러한 센서 데이터는 복수의 이미지들(472)을 포함할 수 있다. 이러한 복수의 이미지들은 해당 이미지들에 나타날 수 있는 표지판의 유형을 제공하기 위해 자율 주행 차량의 인지 시스템에 의해 캡처되는 이미지들을 포함할 수 있다. 예를 들어, 복수의 이미지들은 차량들(100 또는 100A)과 같은 하나 이상의 차량에 장착된 스틸 및/또는 비디오 카메라들 또는 다른 센서들에 의해 캡처되고 네트워크(460)를 통해 업로드되거나 저장을 위해 저장 시스템(450)으로 다른 방식으로 송신되는 이미지들 또는 프레임들일 수 있다. 따라서, 이미지들은 차량의 카메라들 또는 인지 시스템의 관점에서 도로 및 다양한 대상체들에 대한 인지를 정확하게 반영할 수 있다. 이러한 이미지들 중 적어도 일부는 아래에서 추가로 논의되는 바와 같이 레이블들 및 다른 정보와 연관될 수 있다. 저장 시스템(450)은 또한, 본 명세서에서 논의된 바와 같이, 교통 표지판 유형들 및 그 각자의 속성들을 저장할 수 있다.
각각의 이미지는 이미지가 캡처된 위치 및 배향을 식별해 주는 위치 정보 및/또는, 다른 이미지들과의 비교로부터 및/또는 이미지와 동시에 인지 시스템(172)의 LIDAR 센서에 의해 캡처되는 LIDAR 센서 데이터로부터 결정되는 바와 같은 이미지 내의 다양한 표면들에 대한 지리 정보와 같은, 추가 세부 사항들과 연관될 수 있다. 예를 들어, LIDAR 센서 데이터는 LIDAR 센서에 의해 생성되는 광이 LIDAR 센서로 다시 반사되는 표면들의 위치들 및 강도(또는 반사율)에 대응하는 데이터 포인트들을 포함할 수 있다. 이러한 정보는 카메라 이미지들에서의 해당 표면들의 대응관계들을 결정하는 데 사용될 수 있다.
저장 시스템(450)은 물론 차량(100)의 데이터(132)는 하나 이상의 모델(470)은 물론 각각의 그러한 모델에 대한 모델 파라미터 값들(474)을 저장할 수 있다. 예를 들어, 저장 시스템은 교통 표지판 유형들 및 컨텍스트를 결정하기 위한 하나 이상의 모델을 저장할 수 있다. 모델(470)은 인공 신경 네트워크, 딥 신경 네트워크, 결정 트리, 부스티드 트리(boosted tree) 등과 같은 분류기를 포함할 수 있다. 추가적으로, 저장 시스템(450)은 아래에서 추가로 논의되는 바와 같이 모델을 트레이닝시키는 데 사용될 수 있는 트레이닝 서브시스템(476)을 포함할 수 있다. 일부 경우에, 저장 시스템은 본 명세서에서 기술된 바와 같이 계층적 데이터 구조(478)를 저장할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(450)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능, 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스들(410)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터 스토리지일 수 있다. 추가적으로, 저장 시스템(450)은 동일하거나 상이한 지리적 위치들에 물리적으로 위치할 수 있는 복수의 상이한 저장 디바이스들에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 연결될 수 있고/있거나 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 연결되거나 통합될 수 있다.
예시적인 방법
위에서 기술되고 도면에 예시된 동작들 외에도, 다양한 동작들이 이제 기술될 것이다. 이하의 동작들이 아래에서 기술되는 정확한 순서로 수행될 필요가 없음을 이해해야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 처리될 수 있으며, 단계들이 또한 추가되거나 생략될 수 있다.
위에서 언급된 바와 같이, 모델(470)은 교통 표지판의 특성들을 받고 교통 표지판 유형을 출력할 수 있다. 이와 관련하여, 교통 표지판 유형들은 규제, 경고, 안내, 서비스들, 휴양, 공사, 스쿨 존 등을 포함할 수 있다. 일부 경우에, 정지 표지판들 또는 철도 건널목 표지판들과 같은 특정 표지판들이 표지판 유형들로 간주될 수 있다.
모델(470)을 사용하여 교통 표지판 유형들을 식별할 수 있기 위해, 모델은 먼저 "오프라인"으로, 즉 사전에 및/또는 원격 컴퓨팅 디바이스에서 트레이닝되고 그 후에 네트워크(460) 및 무선 네트워크 연결들(156)을 통해 차량(100)으로 송신될 수 있다. 예를 들어, 서버 컴퓨팅 디바이스들(410) 중 하나 이상은 먼저 저장 시스템(450)으로부터 트레이닝 데이터를 검색하는 것에 의해 모델 파라미터 값들(474)을 생성할 수 있다.
예를 들어, 하나 이상의 서버 컴퓨팅 디바이스(410)는 이미지들의 세트를 검색할 수 있다. 위에서 언급된 바와 같이, 이러한 이미지들은, 알려진 교통 표지판들로부터 미리 결정된 거리에 있고 이들을 향해 배향된 이미지들과 같은, 교통 표지판들이 보일 가능성이 있는 위치들에 대응하는 저장 시스템(450)의 복수의 이미지들(472)을 포함할 수 있다. 예를 들어, 차량(100)과 같은, 차량들에 장착된 카메라들 또는 다른 센서들 - 카메라들은 교통 표지판으로부터 특정 거리 내에 있고 교통 표지판을 향해 배향되어 있음 - 에 의해 캡처되는 이미지들이 검색되고/되거나 그 세트에 포함될 수 있다. 도 6은 차량이 맵 정보의 교차로(204)에 접근함에 따라 차량(100)의 인지 시스템(172)의 카메라에 의해 캡처되는 예시적인 카메라 이미지(600)이다. 이 예에서, 교통 표지판(253) 및 차선(216)의 일부가 카메라 이미지(600)에 캡처되어 있다. 이러한 카메라 이미지가 프로세싱되고 모델에 대한 초기 트레이닝 데이터를 생성하는 데 사용될 수 있다. 위에서 언급된 바와 같이, 저장 시스템의 이미지들은 이미지가 캡처된 위치 및 배향을 식별해 주는 정보와 연관될 수 있다.
모델(470)에 대한 초기 트레이닝 데이터는 다양한 방식들로 이미지들의 세트로부터 생성될 수 있다. 예를 들어, 인간 운영자들은 이미지들을 검토하는 것, 교통 표지판들 주위에 경계 박스들을 드로잉하는 것 및 교통 표지판들의 유형들을 식별하는 것에 의해 교통 표지판들의 이미지들은 물론 교통 표지판의 유형에 레이블링할 수 있다. 추가적으로 또는 대안적으로, 교통 표지판들의 이미지들은 물론 교통 표지판의 유형에 레이블링하기 위해 기존의 모델들 또는 이미지 프로세싱 기술들이 사용될 수 있다.
트레이닝 입력으로 간주될 수 있는 교통 표지판의 이미지, 및 트레이닝 출력으로 간주될 수 있는 교통 표지판의 유형을 나타내는 레이블이 주어지면, 모델은 캡처된 이미지에서 발견되는 교통 표지판의 유형을 출력하도록 트레이닝될 수 있다. 환언하면, 트레이닝 입력 및 트레이닝 출력은 어떤 입력을 받게 될 것이고 어떤 출력을 생성해야 하는지에 대해 모델을 트레이닝시키는 데 사용된다. 일 예로서, 모델은, 도 7에 도시된 바와 같은, 이미지들(753, 754 및 253)을 수신할 수 있다. 모델은 또한 "규제 표지판", "경고 표지판" 및 "휴양 표지판"을 포함하여 각각의 이미지가 보여주는 표지판의 유형을 나타내는 레이블들(763, 764 및 773)을 수신할 수 있다. 일부 경우에, 도 7의 레이블들(763 및 764)에 추가로 보여지는 바와 같이, "양보 표지판" 및 "전방 철도 건널목(railroad crossing ahead)"과 같은, 표지판의 유형은 구체적일 수 있다. 이러한 트레이닝 데이터에 기초하여, 모델은 유사한 교통 표지판들을 식별하도록 학습할 수 있다. 이와 관련하여, 모델을 트레이닝시키는 데 사용되는 트레이닝 데이터(입력 및 출력)가 많을수록, 표지판 유형들을 식별하는 데 있어서의 모델의 정밀도가 높도록, 트레이닝은 모델의 정밀도를 증가시킬 수 있다.
일부 경우에, 모델은 표지판의 내용을 나타내는 추가적인 레이블들을 제공하도록 구성될 수 있다. 이와 관련하여, 머신 러닝 모델의 트레이닝 동안, 트레이닝 데이터는 교통 표지판들의 속성들에 대응하는 레이블들을 포함할 수 있다. 예를 들어, 도 8에 예시된 바와 같이, "직사각형 형상", "청색 색상", "휴게소 다음에 우회전(rest area next right)"이라고 되어 있는 "텍스트"를 포함하는 서비스 표지판의 속성들을 나타내는 레이블들(863)이 표지판 유형을 서비스 표지판으로서 나타내는 레이블과 함께 머신 러닝 모델에 입력될 수 있다. 이에 따라, 트레이닝 모델이 서비스 표지판(853)의 이미지 및 레이블(863)에 대해 실행될 때, 모델은 표지판(853)이 전방 휴게소(rest area ahead)를 나타내는 서비스 표지판이라는 것을 학습할 수 있다. 이러한 결정에 기초하여, 모델은 "직사각형 형상", "청색 색상", 및 "휴게소 다음에 우회전"이라고 되어 있는 "텍스트"와 같은 속성들을 포함하는 다른 표지판들도 서비스 표지판들일 수 있다고 학습할 수 있다.
일단 모델(470)이 트레이닝되면, 모델은 사용을 위해, 차량(100)의 메모리(150)와 같은, 컴퓨팅 시스템의 메모리로 송신되거나 다른 방식으로 로딩될 수 있다. 예를 들어, 차량(100)과 같은 차량이 여기저기로 운전할 때, 차량의 인지 시스템(172)은 그의 주변상황들의 센서 데이터를 캡처할 수 있다. 교통 표지판들의 임의의 이미지들을 포함하는 이러한 센서 데이터는 컴퓨팅 디바이스(110)에 의해 주기적으로 또는 연속적으로 모델(470)에 입력될 수 있다. 이어서 모델(470)은 이미지들 내의 각각의 교통 표지판에 대한 대응하는 표지판 유형을 제공할 수 있다. 예를 들어, 차량(100)과 같은 차량은, 도 9에 도시된 바와 같은, 표지판(953)을 포함하는 이미지(900)와 같은, 이미지를 캡처할 수 있다. 모델은 표지판 유형이 "경고 표지판"임을 나타내는 레이블을 출력할 수 있다. 일부 경우에, 모델은 또한 특정 표지판 유형을 제공할 수 있다. 예를 들어, 모델은 표지판(953)에 대해 "경고 표지판" 및 "전방 철도 건널목" 표지판 유형들을 출력할 수 있다. 제공된 표지판 유형 및 속성들은 이어서 본 명세서에서 기술된 바와 같이 검출된 표지판들에 적절하게 반응하기 위해 차량을 어떻게 제어할지를 결정하는 데 사용될 수 있다.
모델에 의해 출력되는 특정 표지판 유형을 나타내는 각각의 레이블에 대해, 모델은 출력 레이블이 정확할 확률을 나타내는 신뢰 수준을 결정하고 할당할 수 있다. 일부 경우에, 모델은 모델에 입력되는 교통 표지판 이미지에 대한 교통 표지판 유형을 나타내는 레이블을 결정할 수 없을 수 있다. 이러한 경우에, 모델은 교통 표지판 이미지를 "식별할 수 없음(unidentifiable)"또는 "알 수 없음(unknown)"으로 분류할 수 있다. 특정 임계 수준을 충족시키지 못하는 신뢰 수준을 갖는 특정 표지판 유형을 나타내는 레이블들도 식별할 수 없음 또는 알 수 없음으로 분류될 수 있다. 일부 상황에서, 차량(100)과 같은 자율 주행 차량은 모델(470)에 의해 또는 맵 정보 내에서 식별 가능하지 않거나 특정 신뢰도로 식별 가능하지 않은 교통 표지판을 만날 수 있다(예를 들면, 모델이 특정 신뢰도 임계치를 충족시키도록 교통 표지판 유형을 결정할 수 없음). 그렇지만, 교통 표지판들이 일반적으로 연방 고속도로 관리국(Federal Highway Administration)과 같은 정부 기관들의 규정들에 따라 유형별로 분류되지만, 규정들이 지역마다/국가마다 등으로 다를 수 있다. 이에 따라, 대부분의 교통 표지판들은, 색상 및 형상과 같은, 특정 속성들이 특정 표지판 유형들에 대응하는 규정들을 충족시키는지 여부에 의해 분류될 수 있다. 각각의 유형의 교통 표지판에 할당되는 속성들은 색상 또는 형상 기반일 수 있다. 예를 들어, 적색 표지판들은 규제(예를 들면, 정지 및 양보 표지판들)일 수 있고, 황색 표지판들은 경고 표지판들(예를 들면, 전방 철도 또는 양보 표지판들)일 수 있으며, 안내 표지판들은 녹색(예를 들면, 도로 출구 표지판들)일 수 있고, 임시 교통 통제 표지판들은 주황색(예를 들면, 전방 도로 작업 표지판들)일 수 있으며, 휴양 표지판은 갈색(예를 들면, 피크닉 지역 표지판들)일 수 있고, 서비스 표지판들은 청색(예를 들면, 휴게소 표지판들)일 수 있으며, 기타 등등일 수 있다.
그렇지만, 많은 교통 표지판들은 독특하거나 상대적으로 모호하며(집합적으로 "낯선 표지판들"), 이러한 낯선 표지판들이 표지판 유형에 따른 규정들을 준수할 수 있지만, 특히 머신 러닝 모델이 낯선 표지판의 유형 및 내용에 대응하는 트레이닝 데이터를 제공받지 않았을 때, 표지판들의 내용이 머신 러닝 모델에 의해 식별되지 않을 수 있다. 더욱이, 일부 교통 표지판들은 규정들을 준수하지 않거나 다른 방식으로 전형적인 교통 표지판 카테고리들에 맞지 않을 수 있다. 예를 들어, LED 보드들 또는 수제 표지판들은 전형적인 교통 표지판 카테고리들에 맞지 않거나 규정들을 준수하지 않을 수 있다. 예를 들어, "전방 공사"라고 되어 있는 메시지를 포함하는 LED 보드 또는 방향전환하라고 자동차들에 지시하는 수제 임시 표지판은 "임시 교통 통제" 표지판들의 규정들에 맞지 않을 수 있으며, 모델(470)과 같은, 모델에 의해 식별 가능하지 않거나 충분히 높은 신뢰도로 식별 가능하지 않을 수 있다.
낯선 표지판의 유형 및 내용을 결정하기 위해, 낯선 표지판의 속성들이 알려진 표지판들의 속성들과 비교될 수 있다. 이와 관련하여, 알려진 교통 표지판들의 속성들이 본 명세서에서 기술된 바와 같이 인간 운영자들에 의해 및/또는 이미지 프로세싱 기술들을 사용하여 레이블링될 수 있다. 레이블링된 속성들은 이어서, 관계형 데이터베이스 또는 일대다 매핑을 지원하는 다른 연관 구조(associative structure)일 수 있는, 데이터 구조(478)와 같은 데이터 구조에 배치될 수 있다. 예를 들어, 유형, 색상, 형상, 반사 계수, 배치, 텍스트, 도형들, 부속물들 등과 같은, 알려진 표지판들의 속성들이 레이블링되고 이러한 레이블들이 데이터 구조에 저장될 수 있다. 예를 들어, 교통 표지판(853)의 속성들의 레이블들(863)은, 스토리지(450)와 같은, 교통 표지판(853)에 관련된 데이터 구조에 저장될 수 있다. 차량(100) 내의 컴퓨팅 디바이스(110)와 같은, 컴퓨팅 디바이스는 낯선 표지판의 유형 및 내용을 결정하기 위해 낯선 표지판의 속성들을 데이터 구조 내의 속성들과 비교할 수 있다. 본 명세서에서의 예들이, 모델(470)과 같은, 머신 러닝 모델을 구현한 후에 낯선 표지판의 유형 및 내용을 결정하기 위해 낯선 표지판들의 속성들을 데이터 구조 내의 속성들과 비교하는 것을 기술하지만, 머신 러닝 모델을 구현하지 않고 또는 머신 러닝 모델을 구현하기 전에 속성들의 비교가 발생할 수 있다.
일 예에서, 인지 시스템(172) 내의 센서와 같은, 자율 주행 차량의 센서는, 도 6에 도시된 바와 같이, 자율 주행 차량이 주행할 때 도로(216) 위의 낯선 교통 표지판(253)을 포함하는 이미지(600)를 캡처할 수 있다. 컴퓨팅 디바이스(110)는 교통 표지판의 속성들을 데이터 구조 내의 속성들과 비교하는 것에 의해 낯선 교통 표지판(253)의 유형 및 내용을 결정하려고 시도할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 낯선 교통 표지판이 직사각형 형상, 갈색 색상 및 필기된 텍스트의 속성들을 갖는다고 결정할 수 있다. 이러한 속성들은 데이터 구조 내의 표지판들의 속성들과 비교될 수 있으며, 비교에 기초하여, 낯선 교통 표지판은 휴양 표지판과 일치하는 것으로 결정될 수 있다. 다른 예에서, 캡처된 교통 표지판은 팔각형 형상, 적색 색상 및 텍스트의 속성들을 갖는 것으로 결정될 수 있다. 컴퓨팅 디바이스(110)는 이러한 속성들을 데이터 구조 내의 표지판들의 속성들과 비교하고 캡처된 교통 표지판이 "정지"하라는 지시적 내용을 갖는 규제 표지판과 매칭한다고 결정할 수 있다.
표지판의 추가적인 속성들이 표지판의 내용을 결정하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 이와 관련하여, 표지판의 내용을 결정하기 위해 표지판의 텍스트 또는 도형들이 분석될 수 있다. 예를 들어, 도 10의 낯선 표지판(1053)은 텍스트(1054)를 갖는 "휴양 표지판”인 것으로 결정될 수 있다. 컴퓨팅 디바이스(110)와 같은, 차량의 컴퓨팅 디바이스는, 예컨대, 광학 문자 인식(OCR)을 사용하여 텍스트(1054)를 분석하여 텍스트(1054)가 "요세미티 국립 공원 다음에 우회전"이라고 되어 있다고 결정할 수 있다. 이 텍스트에 기초하여, 컴퓨팅 디바이스(110)는 표지판(1053)의 내용이 정보 제공적인 것으로 결정하고 요세미티 국립 공원에 대한 지시사항들을 제공할 수 있다. 이와 관련하여, 차량의 컴퓨팅 디바이스는, 인근의 랜드마크들/위치들의 이름들, 방향 용어들 및/또는 숫자들과 같은, 텍스트 내의 하나 이상의 키워드를 식별할 수 있다. 이러한 키워드들에 기초하여, 차량의 컴퓨팅 디바이스는 표지판의 내용을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 텍스트(1054)로부터 키워드들 "요세미티 국립 공원" 및 "다음에" 및 "우회전"을 결정할 수 있고, 이러한 키워드들에 기초하여, 표지판(1053)의 내용이 정보 제공적이고 요세미티 국립 공원에 대한 길 안내를 제공한다고 결정한다. 유사한 결정들이 도형들에 기초하여 이루어질 수 있다. 예를 들어, 오른쪽을 가리키는 화살표는 컴퓨팅 디바이스가 표지판의 내용이 오른쪽으로 우회하는 것을 지시한다고 결정하는 것을 결과할 수 있다.
표지판 유형 및/또는 내용에 기초하여, 자율 주행 차량의 다양한 시스템들은 액션을 취할지 여부를 결정할 수 있다. 이와 관련하여, 규제, 경고, 안내 표지판들, 공사 표지판들 등과 같은, 일부 표지판들은 차량에 의한 액션을 자동으로 트리거링할 수 있다. 예를 들어, 차량의 계획 시스템(168)은 정지 표지판, 우회 표지판 또는 속력 제한 표지판을 만날 때, 제각기, 차량(100)에게 정지하도록, 경로를 변경하도록 또는 속력을 변경하도록 지시할 수 있다. 휴양 또는 휴게소 표지판들과 같은, 다른 표지판들은, 차량(100)이 해당 지역들로 주행하려고 시도하지 않는 한, 차량의 계획 시스템(168)에 의해 무시될 수 있다.
도 11은 표지판 유형들을 결정하도록 머신 러닝 모델을 트레이닝시키기 위해, 컴퓨팅 디바이스들(110)의 프로세서들(120)과 같은, 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있는 본 개시의 양태들에 따른 예시적인 흐름 다이어그램(1100)이다. 블록(1110)에서, 이미지 및 이미지 내의 적어도 하나의 교통 표지판에 대응하는 연관된 레이블(들)을 포함하는 이미지 데이터가 수신된다. 블록(1120)에 도시된 바와 같이, 모델이, 교통 표지판의 이미지를 수신하는 것에 응답하여, 교통 표지판에 대한 표지판 유형 및/또는 내용을 출력하도록 구성되도록 모델이 이미지 데이터를 사용하여 트레이닝될 수 있다.
도 12는 표지판 유형을 결정하고 결정된 표지판 유형에 기초하여 차량을 제어하기 위해, 컴퓨팅 디바이스들(110)의 프로세서들(120)과 같은, 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있는 본 개시의 양태들에 따른 예시적인 흐름 다이어그램(1200)이다. 블록(1210)에서, 차량의 인지 시스템에 의해 생성되는 이미지가 하나 이상의 프로세서에 의해 수신될 수 있다. 블록(1220)에서 하나 이상의 프로세서는 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별할 수 있고, 블록(1230)에서 교통 표지판의 표지판 유형을 생성하기 위해 교통 표지판에 대응하는 이미지 데이터가 모델에 입력될 수 있다. 하나 이상의 프로세서는 블록(1240)에서 표지판 유형 모델이 교통 표지판의 유형을 식별할 수 없었다고 결정할 수 있고, 블록(1250)에서 교통 표지판의 하나 이상의 속성을 결정할 수 있다. 블록(1260)에 도시된 바와 같이, 하나 이상의 프로세서는 교통 표지판을 다른 교통 표지판들의 알려진 속성들과 비교할 수 있다. 블록(1270)에 도시된 바와 같이, 교통 표지판의 하나 이상의 속성을 비교하는 것에 기초하여, 교통 표지판의 표지판 유형이 결정될 수 있다. 블록(1280)에 도시된 바와 같이, 차량은, 자율 주행 운전 모드에서, 교통 표지판의 표지판 유형에 기초하여 하나 이상의 프로세서에 의해 제어될 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유한 장점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 청구항에 의해 규정된 주제를 벗어나지 않으면서 위에서 논의된 특징들의 이들 및 다른 변형들 및 조합들이 이용될 수 있기 때문에, 실시예들에 대한 전술한 설명은 청구항들에 의해 규정된 주제의 제한이 아니라 예시로 보아야 한다. 추가적으로, 본 명세서에 기술된 예들을 제공하는 것은 물론, "예컨대", "포함하는" 등으로 표현된 문구들은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안되며; 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하는 것으로 의도된다. 게다가, 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별해 줄 수 있다.

Claims (20)

  1. 낯선 표지판의 표지판 유형을 결정하는 방법으로서,
    하나 이상의 프로세서에 의해, 차량의 인지 시스템에 의해 생성되는 이미지를 수신하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 교통 표지판에 대응하는 상기 이미지 데이터를 표지판 유형 모델에 입력하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 표지판 유형 모델이 상기 교통 표지판의 유형을 식별할 수 없었다고 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 교통 표지판의 하나 이상의 속성을 결정하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 교통 표지판의 상기 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 교통 표지판의 상기 하나 이상의 속성을 비교하는 상기 단계에 기초하여 상기 교통 표지판의 표지판 유형을 결정하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 다른 교통 표지판들의 알려진 속성들은 일대다 데이터 구조에 저장되는, 방법.
  3. 제1항에 있어서, 상기 표지판 유형 모델이 상기 교통 표지판의 유형을 식별할 수 없는 것은 상기 모델이 최소 신뢰 수준으로 상기 교통 표지판의 상기 표지판 유형을 식별할 수 없는 것을 포함하는, 방법.
  4. 제1항에 있어서, 상기 교통 표지판의 상기 하나 이상의 속성은 이미지 프로세싱 기술들을 사용하여 결정되는, 방법.
  5. 제1항에 있어서, 상기 속성들은 표지판 유형, 색상, 형상, 반사 계수, 배치, 텍스트, 도형들 또는 부속물들 중 하나 이상을 포함하는, 방법.
  6. 제1항에 있어서, 상기 교통 표지판의 상기 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 것에 의해 상기 교통 표지판의 내용을 결정하는 단계
    를 추가로 포함하는, 방법.
  7. 제6항에 있어서, 상기 교통 표지판의 상기 내용은 정보 제공적(informative)이거나 지시적(instructive)인, 방법.
  8. 제1항에 있어서, 상기 교통 표지판의 상기 표지판 유형은 규제(regulatory), 경고, 안내, 서비스들, 휴양, 공사 또는 스쿨 존 중 하나 이상을 포함하는, 방법.
  9. 제7항에 있어서, 상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하는 단계는 상기 교통 표지판의 상기 표지판 유형에 기초하여 아무런 액션도 취하지 않는 단계를 포함하는, 방법.
  10. 제1항에 있어서, 상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하는 단계는:
    상기 교통 표지판의 내용이 액션을 지시한다고 결정하는 단계; 및
    상기 액션을 수행하는 단계를 포함하는, 방법.
  11. 낯선 표지판의 표지판 유형을 결정하는 시스템으로서,
    하나 이상의 프로세서
    를 포함하고, 상기 하나 이상의 프로세서는:
    차량의 인지 시스템에 의해 생성되는 이미지를 수신하고;
    상기 이미지 내의 교통 표지판에 대응하는 이미지 데이터를 식별하며;
    상기 교통 표지판에 대응하는 상기 이미지 데이터를 표지판 유형 모델에 입력하고;
    상기 표지판 유형 모델이 상기 교통 표지판의 유형을 식별할 수 없었다고 결정하며;
    상기 교통 표지판의 하나 이상의 속성을 결정하고;
    상기 교통 표지판의 상기 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하며;
    상기 교통 표지판의 상기 하나 이상의 속성을 비교하는 것에 기초하여 상기 교통 표지판의 표지판 유형을 결정하고;
    상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하도록 구성되는, 시스템.
  12. 제11항에 있어서, 상기 다른 교통 표지판들의 알려진 속성들은 일대다 데이터 구조에 저장되는, 시스템.
  13. 제11항에 있어서, 상기 다른 교통 표지판들의 알려진 속성들이 운영자에 의해 및/또는 이미지 프로세싱 기술들을 사용하여 수동으로 레이블링되는, 시스템.
  14. 제11항에 있어서, 상기 교통 표지판의 상기 하나 이상의 속성은 이미지 프로세싱 기술들을 사용하여 결정되는, 시스템.
  15. 제11항에 있어서, 상기 속성들은 표지판 유형, 색상, 형상, 반사 계수, 배치, 텍스트, 도형들 또는 부속물들 중 하나 이상을 포함하는, 시스템.
  16. 제11항에 있어서, 상기 하나 이상의 프로세서는 상기 교통 표지판의 상기 하나 이상의 속성을 다른 교통 표지판들의 알려진 속성들과 비교하는 것에 의해 상기 교통 표지판의 내용을 결정하도록 추가로 구성되는, 시스템.
  17. 제16항에 있어서, 상기 교통 표지판의 상기 내용은 정보 제공적이거나 지시적인, 시스템.
  18. 제17항에 있어서, 상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하는 것은 상기 표지판 유형에 기초하여 아무런 액션도 취하지 않는 것을 포함하는, 시스템.
  19. 제18항에 있어서, 상기 교통 표지판의 상기 표지판 유형에 기초하여 자율 주행 운전 모드에서 상기 차량을 제어하는 것은:
    상기 교통 표지판의 내용이 액션을 지시한다고 결정하는 것; 및
    상기 액션을 수행하는 것을 포함하는, 시스템.
  20. 제11항에 있어서, 상기 시스템은 상기 차량을 포함하는, 시스템.
KR1020217019882A 2018-12-14 2019-12-09 낯선 표지판들의 검출 KR102592474B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/220,225 2018-12-14
US16/220,225 US10928828B2 (en) 2018-12-14 2018-12-14 Detecting unfamiliar signs
PCT/US2019/065189 WO2020123360A1 (en) 2018-12-14 2019-12-09 Detecting unfamiliar signs

Publications (2)

Publication Number Publication Date
KR20210083372A true KR20210083372A (ko) 2021-07-06
KR102592474B1 KR102592474B1 (ko) 2023-10-25

Family

ID=71073622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217019882A KR102592474B1 (ko) 2018-12-14 2019-12-09 낯선 표지판들의 검출

Country Status (6)

Country Link
US (3) US10928828B2 (ko)
EP (1) EP3877965A4 (ko)
JP (1) JP7248797B2 (ko)
KR (1) KR102592474B1 (ko)
CN (2) CN115050202A (ko)
WO (1) WO2020123360A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908614B2 (en) * 2017-12-19 2021-02-02 Here Global B.V. Method and apparatus for providing unknown moving object detection
US11720094B2 (en) * 2018-12-28 2023-08-08 Beijing Voyager Technology Co., Ltd. System and method for remote intervention of vehicles
WO2020139714A1 (en) 2018-12-28 2020-07-02 Didi Research America, Llc System and method for updating vehicle operation based on remote intervention
US11347231B2 (en) * 2019-08-07 2022-05-31 Waymo Llc Object localization for autonomous driving by visual tracking and image reprojection
JP2021105795A (ja) * 2019-12-26 2021-07-26 パナソニックＩｐマネジメント株式会社 退避制御装置、車両、および退避制御方法
US11829150B2 (en) * 2020-06-10 2023-11-28 Toyota Research Institute, Inc. Systems and methods for using a joint feature space to identify driving behaviors
US11681780B2 (en) * 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
US11380110B1 (en) * 2020-12-17 2022-07-05 GM Global Technology Operations LLC Three dimensional traffic sign detection
CN113286055B (zh) * 2021-05-25 2022-03-15 郑州信大捷安信息技术股份有限公司 一种基于安全交通标志的车辆安全驾驶方法和系统
US11887379B2 (en) 2021-08-17 2024-01-30 Robert Bosch Gmbh Road sign content prediction and search in smart data management for training machine learning model
US11978264B2 (en) 2021-08-17 2024-05-07 Robert Bosch Gmbh Scalable road sign knowledge graph construction with machine learning and human in the loop
US11861915B2 (en) 2021-09-03 2024-01-02 Waymo Llc Pipeline architecture for road sign detection and evaluation
DE102022104930A1 (de) 2022-03-02 2023-09-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur geschwindigkeitssteuerung eines automatisierten kraftfahrzeugs
US20230326048A1 (en) * 2022-03-24 2023-10-12 Honda Motor Co., Ltd. System, information processing apparatus, vehicle, and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074249A1 (en) * 2007-09-13 2009-03-19 Cognex Corporation System and method for traffic sign recognition
JP2009217832A (ja) * 2009-04-27 2009-09-24 Asia Air Survey Co Ltd ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
WO2016002276A1 (ja) * 2014-06-30 2016-01-07 エイディシーテクノロジー株式会社 車両制御装置

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4380838B2 (ja) * 1999-04-08 2009-12-09 アジア航測株式会社 ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム
US7068844B1 (en) 2001-11-15 2006-06-27 The University Of Connecticut Method and system for image processing for automatic road sign recognition
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
ATE326748T1 (de) 2002-07-09 2006-06-15 Accenture Global Services Gmbh Vorrichtung zur automatischen erkennung von verkehrszeichen
US7100270B2 (en) * 2003-09-25 2006-09-05 Tong Hsing Electric Industries Ltd. Method of fabricating a thin film integrated circuit with thick film resistors
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7466841B2 (en) 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
DE102006008656A1 (de) * 2006-02-24 2007-08-30 Audi Ag Kraftfahrzeug mit einer Einrichtung zur Verkehrszeichenerkennung
US7972045B2 (en) * 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
US8064643B2 (en) * 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
DE102008022064A1 (de) * 2008-05-03 2009-11-05 Adc Automotive Distance Control Systems Gmbh Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
US20090285445A1 (en) 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab System and Method of Translating Road Signs
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
US9459515B2 (en) * 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8675122B2 (en) * 2009-01-16 2014-03-18 Microsoft Corporation Determining exposure time in a digital camera
US8041080B2 (en) * 2009-03-31 2011-10-18 Mitsubi Electric Research Laboratories, Inc. Method for recognizing traffic signs
US9041806B2 (en) 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
DE102009048066A1 (de) * 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
EP2363827B1 (en) * 2010-03-04 2012-10-10 Harman Becker Automotive Systems GmbH Method and device for classifying a traffic sign
US8538205B2 (en) * 2010-05-14 2013-09-17 Mobileye Technologies Ltd. Multi-function summing machine
US9269001B2 (en) * 2010-06-10 2016-02-23 Tata Consultancy Services Limited Illumination invariant and robust apparatus and method for detecting and recognizing various traffic signs
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9959595B2 (en) * 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
JP5423696B2 (ja) * 2011-02-09 2014-02-19 株式会社デンソー 標識認識装置
DE102011109387A1 (de) * 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
CN103020623B (zh) * 2011-09-23 2016-04-06 株式会社理光 交通标志检测方法和交通标志检测设备
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US9092696B2 (en) * 2013-03-26 2015-07-28 Hewlett-Packard Development Company, L.P. Image sign classifier
DE102013219909A1 (de) * 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
KR101596299B1 (ko) * 2014-01-06 2016-02-22 현대모비스 주식회사 교통 표지판 인식 방법 및 장치
KR101912914B1 (ko) 2014-01-17 2018-10-29 주식회사 만도 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
JP6348747B2 (ja) 2014-03-28 2018-06-27 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US20160034769A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
US9442487B1 (en) * 2014-08-15 2016-09-13 Google Inc. Classifier hierarchies for traffic light and traffic indicator detection
US9424475B1 (en) * 2014-09-17 2016-08-23 Google Inc. Construction object detection
KR101737791B1 (ko) 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법
SG11201704076YA (en) * 2014-11-18 2017-06-29 Agency Science Tech & Res Method and device for traffic sign recognition
KR102323393B1 (ko) * 2015-01-12 2021-11-09 삼성전자주식회사 디바이스 및 상기 디바이스의 제어 방법
US20160217336A1 (en) 2015-01-23 2016-07-28 Papago Inc. Traffic sign identification system and method
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
DE102015205524B4 (de) * 2015-03-26 2020-11-05 Mando Corporation Verfahren und Vorrichtung zum Klassifizieren eines Objekts, beispielsweise eines Verkehrsschildes, in einem Bild
DE102015207902A1 (de) * 2015-04-29 2016-11-03 Mando Corporation Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
JP6412464B2 (ja) * 2015-05-29 2018-10-24 株式会社デンソー 単位設定装置、単位設定方法
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
CN105335708A (zh) * 2015-10-22 2016-02-17 四川膨旭科技有限公司 车辆行驶过程中对路标、路牌进行识别的系统
US9607513B1 (en) * 2015-12-03 2017-03-28 Denso International America, Inc. Systems and methods for informing driver of lane passing regulations
EP3185212B1 (en) * 2015-12-17 2019-07-03 STmicroelectronics SA Dynamic particle filter parameterization
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
EP3182371B1 (en) * 2015-12-17 2018-09-26 Stmicroelectronics Sa Threshold determination in for example a type ransac algorithm
EP3182370B1 (en) * 2015-12-17 2020-07-29 STmicroelectronics SA Method and device for generating binary descriptors in video frames
DE102015225900B3 (de) * 2015-12-18 2017-04-06 Continental Automotive Gmbh Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug
US10255511B2 (en) * 2016-01-04 2019-04-09 Texas Instruments Incorporated Real time traffic sign recognition
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
CN108883725B (zh) * 2016-03-06 2021-02-23 预见汽车有限责任公司 一种行驶车辆警报系统和方法
CN106022300B (zh) * 2016-06-02 2019-07-05 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
US10365658B2 (en) * 2016-07-21 2019-07-30 Mobileye Vision Technologies Ltd. Systems and methods for aligning crowdsourced sparse map data
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
KR101834778B1 (ko) 2017-05-30 2018-03-07 만도헬라일렉트로닉스(주) 교통 표지판 인식장치 및 방법
DE102017218192A1 (de) * 2017-10-12 2019-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verkehrsschilderkennung
CN108090459B (zh) * 2017-12-29 2020-07-17 北京华航无线电测量研究所 一种适用于车载视觉系统的交通标志检测识别方法
CN108509900A (zh) * 2018-03-29 2018-09-07 深圳前向启创数码技术有限公司 交通标志检测和识别方法、系统及存储介质
CN108918532B (zh) * 2018-06-15 2021-06-11 长安大学 一种快速道路交通标志破损检测系统及其检测方法
US11127162B2 (en) * 2018-11-26 2021-09-21 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
US11175156B2 (en) * 2018-12-12 2021-11-16 Ford Global Technologies, Llc Method and apparatus for improved location decisions based on surroundings
US11380110B1 (en) * 2020-12-17 2022-07-05 GM Global Technology Operations LLC Three dimensional traffic sign detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074249A1 (en) * 2007-09-13 2009-03-19 Cognex Corporation System and method for traffic sign recognition
JP2009217832A (ja) * 2009-04-27 2009-09-24 Asia Air Survey Co Ltd ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
WO2016002276A1 (ja) * 2014-06-30 2016-01-07 エイディシーテクノロジー株式会社 車両制御装置

Also Published As

Publication number Publication date
US11836955B2 (en) 2023-12-05
US20210191419A1 (en) 2021-06-24
CN113196357A (zh) 2021-07-30
US20200192398A1 (en) 2020-06-18
WO2020123360A1 (en) 2020-06-18
EP3877965A1 (en) 2021-09-15
US20240054772A1 (en) 2024-02-15
KR102592474B1 (ko) 2023-10-25
EP3877965A4 (en) 2022-07-27
US10928828B2 (en) 2021-02-23
CN113196357B (zh) 2022-06-14
CN115050202A (zh) 2022-09-13
JP2022510312A (ja) 2022-01-26
JP7248797B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
KR102592474B1 (ko) 낯선 표지판들의 검출
KR102558774B1 (ko) 자율 주행 차량을 위한 교통 신호등 검출 및 차선 상태 인식
US11061406B2 (en) Object action classification for autonomous vehicles
US10902272B2 (en) Phrase recognition model for autonomous vehicles
KR20190067233A (ko) 자율 차량들을 위한 동적 라우팅
US11860631B2 (en) Detecting and responding to processions for autonomous vehicles
CN112334908B (zh) 用于自主车辆的短语识别模型

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right