KR101839554B1 - 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법 - Google Patents

교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법 Download PDF

Info

Publication number
KR101839554B1
KR101839554B1 KR1020167034056A KR20167034056A KR101839554B1 KR 101839554 B1 KR101839554 B1 KR 101839554B1 KR 1020167034056 A KR1020167034056 A KR 1020167034056A KR 20167034056 A KR20167034056 A KR 20167034056A KR 101839554 B1 KR101839554 B1 KR 101839554B1
Authority
KR
South Korea
Prior art keywords
traffic signal
vehicle
detected traffic
detected
location
Prior art date
Application number
KR1020167034056A
Other languages
English (en)
Other versions
KR20160143885A (ko
Inventor
나타니엘 페어필드
데이비드 아이. 퍼구슨
안토니 레반도우스키
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20160143885A publication Critical patent/KR20160143885A/ko
Application granted granted Critical
Publication of KR101839554B1 publication Critical patent/KR101839554B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

교통 신호들 및 그들의 연관된 상태들을 검출하는 방법들 및 디바이스들이 개시되어 있다. 하나의 실시예에서, 한 예시적인 방법은 목표 영역 정보를 획득하기 위해 차량의 하나 이상의 센서들을 사용하여 목표 영역을 스캔하는 단계를 포함한다. 차량은 자율 모드에서 동작하도록 구성되어 있을 수 있고, 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 이 방법은 또한 목표 영역 정보에서 교통 신호를 검출하는 단계, 교통 신호의 위치를 결정하는 단계, 및 교통 신호의 상태를 결정하는 단계를 포함할 수 있다. 또한, 교통 신호의 신뢰도가 결정될 수 있다. 예를 들어, 교통 신호의 위치가 교통 신호들의 기지의 위치들과 비교될 수 있다. 교통 신호의 상태 및 교통 신호의 신뢰도에 기초하여, 차량이 자율 모드에서 제어될 수 있다.

Description

교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법{A ROBUST METHOD FOR DETECTING TRAFFIC SIGNALS AND THEIR ASSOCIATED STATES}
관련 출원의 상호 참조
본 출원은 2012년 3월 26일자로 출원된 미국 특허 출원 제13/430,150호를 기초로 우선권을 주장하고, 이 미국 출원의 내용은 참조 문헌으로서 본 명세서에 포함된다.
어떤 차량들은 운전자로부터의 입력이 거의 또는 전혀 없이 차량이 환경을 통해 운행하는 자율 모드에서 동작하도록 구성되어 있다. 이러한 차량은 환경에 관한 정보를 감지하도록 구성되어 있는 하나 이상의 센서들을 포함할 수 있다. 차량은 환경을 통해 운행하기 위해 감지된 정보를 사용할 수 있다.
예를 들어, 센서들의 출력이 차량이 장애물에 접근하고 있다는 것을 나타내는 경우, 차량은 장애물을 우회하여 운행할 수 있다. 그에 부가하여, 차량은 교통 표지들 및 교통 신호들에 관한 정보를 감지할 수 있다. 예를 들어, 교통 표지들은 규제 정보 또는 경고 정보를 제공할 수 있는 반면, 교차로들, 횡단보도들, 및 다른 위치들에 배치된 교통 신호들은 경쟁하는 교통 흐름들을 제어하는 데 사용될 수 있다.
하나의 예시적인 측면에서, 목표 영역 정보를 획득하기 위해 차량의 하나 이상의 센서들을 사용하여 목표 영역을 스캔하는 단계를 포함하는 방법이 개시되어 있다. 차량은 자율 모드에서 동작하도록 구성되어 있을 수 있고, 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 이 방법은 또한 목표 영역 정보에서 교통 신호를 검출하는 단계 및 교통 신호의 위치를 결정하는 단계를 포함할 수 있다. 그에 부가하여, 교통 신호의 상태 및 교통 신호의 신뢰도가 결정될 수 있다. 교통 신호의 신뢰도를 결정하는 단계는 교통 신호의 위치를 교통 신호들의 하나 이상의 기지의 위치들과 비교하는 단계를 포함할 수 있지만, 이들로 제한되지 않는다. 이 방법에 따르면, 차량은 교통 신호의 상태 및 교통 신호의 신뢰도에 기초하여 자율 모드에서 제어될 수 있다.
다른 예시적인 측면에서, 컴퓨팅 디바이스로 하여금 기능들을 수행하게 하기 위해 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체가 개시되어 있다. 이 기능들은 목표 영역 정보를 획득하기 위해 차량의 하나 이상의 센서들을 사용하여 목표 영역을 스캔하는 기능을 포함할 수 있다. 차량은 자율 모드에서 동작하도록 구성되어 있을 수 있고, 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 이 기능들은 또한 목표 영역 정보에서 교통 신호를 검출하는 기능 및 교통 신호의 위치를 결정하는 기능을 포함할 수 있다. 그에 부가하여, 이 기능들에 기초하여, 교통 신호의 상태 및 교통 신호의 신뢰도가 결정될 수 있다. 교통 신호의 신뢰도를 결정하는 기능은 교통 신호의 위치를 교통 신호들의 하나 이상의 기지의 위치들과 비교하는 기능을 포함할 수 있지만, 이들로 제한되지 않는다. 이 기능들에 따르면, 차량은 교통 신호의 상태 및 교통 신호의 신뢰도에 기초하여 자율 모드에서 제어될 수 있다.
또 다른 예시적인 측면에서, 자율 모드에서 동작되도록 구성되어 있는 한 예시적인 차량이 개시되어 있다. 이 차량은 하나 이상의 센서들, 메모리, 프로세서, 및 메모리에 저장되어 있고 프로세서에 의해 실행가능한 명령어들을 포함할 수 있다. 이 명령어들은 하나 이상의 센서들로 하여금 목표 영역 정보를 획득하기 위해 목표 영역을 스캔하게 하기 위해 실행가능할 수 있다. 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 이 명령어들은 또한 목표 영역 정보에서 교통 신호를 검출하고, 교통 신호의 위치를 결정하며, 교통 신호의 상태를 결정하기 위해 실행가능할 수 있다. 그에 부가하여, 이 명령어들은 교통 신호의 신뢰도를 결정하기 위해 실행가능할 수 있다. 교통 신호의 신뢰도를 결정하는 동작은 교통 신호의 위치를 교통 신호들의 하나 이상의 기지의 위치들과 비교하는 동작을 포함할 수 있다. 이 명령어들은 또한 교통 신호의 상태 및 교통 신호의 신뢰도에 기초하여 차량을 자율 모드에서 제어하기 위해 실행가능할 수 있다.
이상의 발명의 내용은 단지 예시적인 것이며, 결코 제한하기 위한 것이 아니다. 앞서 기술한 예시적인 측면들, 실시예들, 및 특징들에 부가하여, 추가의 측면들, 실시예들, 및 특징들이 도면들 및 이하의 발명을 실시하기 위한 구체적인 내용을 참조하면 명백하게 될 것이다.
도 1은 차량을 제어하는 한 예시적인 방법의 블록도.
도 2a 내지 도 2c는 목표 영역을 스캔하는 차량의 예시적인 개념도.
도 3a 및 도 3b는 차량을 제어하는 한 예시적인 플로우차트 및 연관된 상태 테이블.
도 4는 차량을 제어하는 다른 예시적인 플로우차트.
도 5a 내지 도 5c는 목표 영역을 스캔하는 차량의 추가의 예시적인 개념도.
도 6은 일 실시예에 따른 한 예시적인 차량을 나타낸 도면.
도 7은 일 실시예에 따른 한 예시적인 차량의 간략화된 블록도.
도 8은 본 명세서에 제시된 적어도 어떤 실시예들에 따라 구성된, 컴퓨팅 디바이스 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 한 예시적인 컴퓨터 프로그램 제품의 부분 개념도를 나타낸 개략도.
이하의 발명을 실시하기 위한 구체적인 내용에서, 본 명세서의 일부를 형성하는 첨부 도면들을 참조한다. 도면들에서, 유사한 심볼들은, 문맥이 달리 언급하지 않는 한, 통상적으로 유사한 구성요소들을 가리킨다. 발명을 실시하기 위한 구체적인 내용, 도면들 및 특허청구범위에 기술되어 있는 예시적인 실시예들은 제한하는 것으로 보아서는 안된다. 본 명세서에 제시된 발명 요지의 범주를 벗어남이 없이, 다른 실시예들이 이용될 수 있고, 다른 변경들이 행해질 수 있다. 본 명세서에 전반적으로 기술되어 있고 도면들에 예시되어 있는 본 개시 내용의 측면들이 아주 다양한 상이한 구성들 - 이들 모두가 본 명세서에서 명백히 생각되고 있음 - 로 배열, 치환, 결합, 분리 및 설계될 수 있다는 것을 잘 알 것이다.
자율적으로 동작하도록 구성되어 있는 차량과 같은 차량은 목표 영역 정보를 획득하기 위해 목표 영역을 스캔하도록 구성되어 있을 수 있다. 차량의 하나 이상의 센서들은 목표 영역을 스캔할 수 있다. 하나의 예에서, 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 예를 들어, 교차로에 대한 근접성, 높이의 범위, 도로의 가장자리에 대한 근접성 등과 같은, 교통 신호들이 통상적으로 나타나는 곳에 관한 일반 정보가 목표 영역을 결정하는 데 사용될 수 있다. 어떤 예들에서, 차량의 센서들은 일시적으로 또는 영구적으로 이동된 교통 신호등을 찾기 위해 그리고/또는 어떤 사전 정보도 이용가능하지 않은 교통 신호등과 같은 새로운 교통 신호등을 찾기 위해 목표 영역을 연속적으로 스캔할 수 있다.
한 예로서, 교통 신호들의 기지의 위치들과 연관되어 있는 데이터는 교통 신호등들의 주어진 퍼센트가 지상으로부터의 높이 상한과 높이 하한에 의해 정의되는 높이 범위 내에서 나타난다는 것을 보여줄 수 있다. 차량은 높이 하한과 높이 상한 사이의 목표 영역 정보를 획득하기 위해 다가오는 영역을 스캔하는 데 높이 범위를 사용할 수 있다.
어떤 경우에, 목표 영역 정보에서 교통 신호가 검출될 수 있다. 교통 신호들의 지도가 환경의 한 영역에 교통 신호가 존재한다는 것을 암시하는 경우에, 차량은 목표 영역 정보에서 교통 신호를 찾을 것으로 예상할 수 있다. 다른 대안으로서, 교통 신호들의 지도가 목표 영역에 어떤 교통 신호들도 표시하고 있지 않다면, 교통 신호가 실제로 존재하는 경우 차량은 여전히 목표 영역을 스캔할 수 있다. 그에 부가하여, 검출된 교통 신호와 연관되어 있는 상태가 결정될 수 있다. 연관된 상태는 이어서 자율 모드에서 차량을 제어하는 데 사용될 수 있다.
추가의 경우에서, 검출된 교통 신호의 신뢰도 및 교통 신호의 연관된 상태는 교통 신호가 검출되는 시나리오에 기초하여 결정될 수 있다. 예를 들어, 차량은 차량이 교통 신호들을 검출할 것으로 예상하는 위치들에서 검출된 교통 신호를 더 신뢰할 수 있고, 차량이 교통 신호들을 검출할 것으로 예상하지 않은 위치들에서 검출된 교통 신호를 덜 신뢰할 수 있다. 그에 따라, 어떤 예들에서, 차량의 제어가 교통 신호의 신뢰도에 기초하여 수정될 수 있다.
도 1은 차량을 제어하는 한 예시적인 방법(100)의 블록도이다. 도 1에 도시된 방법(100)은, 예를 들어, 본 명세서에 기술된 차량들에 대해 사용될 수 있고, 차량 또는 차량의 구성요소들에 의해, 또는 보다 일반적으로 서버 또는 다른 컴퓨팅 디바이스에 의해 수행될 수 있는 방법을 나타낸 것이다. 방법(100)은 블록들(102 내지 112) 중 하나 이상에 의해 예시되어 있는 하나 이상의 동작들, 기능들 또는 작용들을 포함할 수 있다. 비록 블록들이 순차적 순서로 예시되어 있지만, 이 블록들은 또한 병렬로, 그리고/또는 본 명세서에 기술된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들이, 원하는 구현에 기초하여, 더 적은 수의 블록들로 결합되고, 부가의 블록들로 나누어지며, 그리고/또는 제거될 수 있다.
그에 부가하여, 방법(100) 및 본 명세서에 개시되어 있는 다른 프로세스들 및 방법들에 대해, 블록도는 본 실시예들의 하나의 가능한 구현의 기능 및 동작을 보여주고 있다. 이와 관련하여, 각각의 블록은 프로세스에서의 특정의 논리적 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행가능한 하나 이상의 명령어들을 포함하는 모듈, 세그먼트, 또는 프로그램 코드의 일부분을 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 비롯한 저장 디바이스와 같은 임의의 유형의 컴퓨터 판독가능 매체에 저장될 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시, 및/또는 RAM(Random Access Memory)과 같이 짧은 기간 동안 데이터를 저장하는 컴퓨터 판독가능 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한, 예를 들어, ROM(read only memory), 광 또는 자기 디스크, 및 CD-ROM(compact-disc read only memory)과 같은 보조 또는 영속적 장기 저장 장치와 같은 비일시적 매체를 포함할 수 있다. 컴퓨터 판독가능 매체는 또한 임의의 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독가능 매체는, 예를 들어, 컴퓨터 판독가능 저장 매체, 유형의(tangible) 저장 디바이스, 또는 다른 제조 물품으로 간주될 수 있다.
그에 부가하여, 방법(100) 및 본 명세서에 개시되어 있는 다른 프로세스들 및 방법들에 대해, 각각의 블록은 프로세스에서의 특정의 논리적 기능들을 수행하도록 구성되어 있는 회로를 나타낼 수 있다.
도시된 바와 같이, 처음에, 블록(102)에서, 이 방법(100)은 목표 영역 정보를 획득하기 위해 차량의 하나 이상의 센서들을 사용하여 목표 영역을 스캔하는 단계를 포함한다. 어떤 경우들에서, 차량은 자율 모드에서 동작되도록 구성되어 있을 수 있다. 도 6 및 도 7과 관련하여 기술된 차량은 자율적으로 동작하도록 구성되어 있을 수 있는 차량의 하나의 이러한 예이다. 어떤 경우에, 교통 신호의 상태 및 위치에 기초하여 결정되는 제어 명령은 차량의 운전자를 돕는 데 사용될 수 있거나 차량의 제어 시스템에의 입력으로서 제공될 수 있다.
하나의 예에서, 목표 영역은 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역일 수 있다. 예를 들어, 목표 영역은 교통 신호들에 대해 전형적인 높이들 및/또는 폭들의 범위를 포함할 수 있다. 목표 영역은 차량의 주행 방향에 대응하는 다가오는 영역의 일부분일 수 있다. 하나의 경우에서, 교통 신호들의 기지의 위치들에 관한 통계 정보는 교통 신호들의 주어진 퍼센트가 지상으로부터의 높이들의 범위 사이에서 나타난다는 것을 보여줄 수 있다. 한 예로서, 교통 신호들에 관한 수집된 데이터는 교통 신호들의 90%가 지상으로부터 10 피트와 16 피트 사이의 높이에 있다는 것을 보여줄 수 있다. 이와 유사하게, 교통 신호들의 기지의 위치들에 관한 정보는 교통 신호들의 주어진 퍼센트가 주행 차선 또는 도로의 좌측 또는 우측으로부터 주어진 양(들) 내에 배치되어 있다는 것을 보여줄 수 있다. 교통 신호의 위치들에 대한 통계들에 기초하여, 사전 결정된 목표 영역이 선택될 수 있다.
그에 따라, 하나의 예에서, 차량은 목표 영역을 상시 스캔할 수 있다. 어떤 경우에, 목표 영역은 차량 또는 차량이 위치해 있는 환경들의 조건들에 기초하여 변할 수 있다. 한 예로서, 목표 영역이 차량의 속도 또는 배향에 기초하여 넓혀지거나 좁혀질 수 있다. 차량은 지리적 위치를 결정하는 GPS 수신기(또는 다른 지리적 위치 결정 구성요소) 및 중력의 방향에 대한 피치(pitch), 요(yaw) 및 롤(roll)(또는 그에 대한 변화들)을 결정하는 가속도계, 자이로스코프, 또는 다른 가속도 디바이스를 포함할 수 있다. 하나의 경우에서, 차량이 회전하고 있는 경우 목표 영역이 넓어질 수 있다. 다른 경우에서, 차량의 지리적 위치가 교차로에 접근하고 있을 때 목표 영역이 확장될 수 있다. 어떤 경우에, 교차로에 대한 차량의 접근성을 결정하기 위해, 차량의 지리적 위치가 도로들의 교차로들에 관한 정보를 포함하는 환경의 지도와 비교될 수 있다.
차량의 하나 이상의 센서들은 영상화 구성요소들(imaging components) 및/또는 비영상화 구성요소들(nonimaging components)을 포함할 수 있다. 예를 들어, 목표 영역 정보를 획득하기 위해, 다양한 유형들의 카메라들이 다양한 구성들로 차량에 탑재되어 있을 수 있다. 하나의 경우에서, 카메라가 똑바로 정면을 향하도록 배치되고 리어 뷰 미러(rear-view mirror) 후방에 또는 그 근방에 탑재될 수 있다. 그에 부가하여, 카메라는 30도 시야를 갖는 고정 렌즈를 갖는 카메라의 2040x1080 영역과 같은 특정의 관심 영역을 포착할 수 있다. 카메라는 적정 제동 거리를 보장하기 위해 다양한 거리들에서 교통 신호들을 검출하도록 교정(calibrate)될 수 있다. 추가의 예에서, 카메라의 이득 및 셔터 속도가 주간 및/또는 야간 동안 교통 신호등의 포화를 방지하도록 설정될 수 있다.
다른 예에서, 하나 이상의 센서들은 목표 영역에 있는 물체들의 표면들까지의 거리들을 결정하도록 구성되어 있는 3차원(3D) 스캔 디바이스를 포함할 수 있다. 하나의 경우에서, 목표 영역을 나타내는 3차원 점군을 결정하기 위해, 구조화된 광 투사 디바이스 및 카메라가 사용될 수 있다. 다른 경우에서, 물체들까지의 거리들을 결정하기 위해, LIDAR와 같은 레이저 및/또는 레이더 디바이스 또는 레이저 거리 측정기가 목표 영역을 스캔할 수 있다. 다른 경우에, 거리 영상화(range imaging)를 위해, 입체 카메라 또는 TOF(time-of-flight) 카메라가 사용될 수 있다. 이와 같이, 목표 영역 정보는 목표 영역을 나타내는 2차원 영상들과 3차원 점군들의 임의의 조합을 포함할 수 있다.
목표 영역 정보는 또한 하나 이상의 단기(short-term) 또는 장기(long- term) 메모리들에 저장될 수 있다. 블록(104)에서, 이 방법(100)은 목표 영역 정보에서 교통 신호를 검출하는 단계를 포함한다. 어떤 경우들에서, 교통 신호들에 대해 예상되는 패턴, 템플릿, 형상 또는 시그너처(signature)가 목표 영역 정보에서 식별될 수 있다. 한 예로서, 교통 신호 분류기(traffic signal classifier)는 적절한 크기 및 종횡비를 갖는 적색 물체, 황색 물체 및 녹색 물체의 패턴을 찾아내고 그 패턴에 잠재적인 교통 신호라고 표시할 수 있다. 기지의 패턴과 정합하는 영상의 하나 이상의 부분들을 식별하기 위해 임의의 예시적인 영상 처리 기법들이 사용될 수 있다. 템플릿 정합은 하나의 가능한 예이다. 비록 본 개시 내용이 한 세트의 적색등, 황색등 및 녹색등을 가지는 전형적인 수직 또는 수평 교통 신호들과 관련하여 기술되어 있지만, 이 특정의 구조가 단지 한 예로서 사용되고 있다는 것을 잘 알 것이다. 교통 신호들이 다양하고 때로는 복잡한 기하 형태들을 가질 수 있고, 이 부가의 기하 형태들이 또한 검출될 수 있다.
목표 영역 정보가 3차원 점군을 포함하는 한 예에서, 교통 신호들에 대해 예상되는 형상을 가지는 3D 점군에서의 물체가 검출될 수 있다. 예를 들어, 3D 점군 내의 관심 지점들을 나타내는 특징들을 식별하기 위해, 3D 점군 기반 물체 인식 시스템들이 사용될 수 있다. 관심 지점들의 그룹들을 교통 신호들인 3D 점군 내의 물체들로서 인식하기 위해, 이 특징들이 이어서 하나 이상의 유형들의 교통 신호들의 3D 모델에 대해 예상되는 특징들과 비교될 수 있다.
블록(106)에서, 이 방법(100)은 교통 신호의 위치를 결정하는 단계를 포함한다. 어떤 경우에, 차량의 지리적 위치 정보 및/또는 배향 정보가 목표 영역 정보과 연관되어 있을 수 있다. 예를 들어, 목표 영역 정보가 영상을 포함하는 한 경우에서, 영상과 연관되어 있는 메타데이터는 목표 영역 정보가 획득되었을 때의 차량(또는 목표 영역 정보를 획득하기 위해 사용되는 차량의 센서)의 지리적 위치 및 배향을 나타낼 수 있다. 차량 및/또는 차량의 센서의 지리적 위치 및 배향에 기초하여, 검출된 교통 신호의 위치가 추정될 수 있다.
한 예로서, 교통 신호의 위치가 차량(또는 차량의 센서)의 위치에 기초하여 추정될 수 있다. 예를 들어, 목표 영역 정보가 획득된 시점(instance in time)에 대해 차량의 GPS 좌표는 물론 방위 또는 주행 방향이 결정될 수 있다. 차량의 위치 및 주행 방향이 한 영역의 도로 지도와 연관되어 있을 수 있고, 도로 지도에서 가장 가까운 다가오는 교차로가 식별될 수 있다. 교통 신호의 위치가 교차로의 위치인 것으로 결정될 수 있다.
다른 예에서, 교통 신호의 위치가 삼각측량을 사용하여 3D로 추정될 수 있다. 삼각측량을 통해 3D로 위치를 추정하기 위해, 검출된 교통 신호의 2개 이상의 영상들이 사용될 수 있다. 예를 들어, 2개 이상의 영상들에서 하나의 교통 신호(또는 다수의 교통 신호들)가 검출될 수 있다. 어떤 경우들에서, 제1 영상의 교통 신호가 제2 영상에서의 교통 신호와 동일한 교통 신호인 것으로 결정될 수 있다. 아핀에 가까운 움직임(near-affine motion) 및/또는 높은 프레임 레이트의 경우에, 후속 영상들에서의 검출된 교통 신호들을 연관시키기 위해 템플릿 추적기(template tracker)가 사용될 수 있다.
프레임 레이트가 더 낮은 경우에(예컨대, 4fps), 직접 움직임 보상(direct motion compensation)이 사용될 수 있다. 각각의 영상에 대해 차량의 정확한 자세를 알고 있는 경우, 카메라의 움직임을 나타내는 카메라 모델을 사용하여 영상들 사이에서 보정하는 데 영상들 간의 롤, 피치, 및 요의 변화가 간단할 수 있다. 그렇지만, 차량의 이동(예컨대, 전방향 움직임)으로 인한 영상들 사이의 물체들의 겉보기 움직임(apparent motion)을 고려하기 위해 교통 신호의 위치의 추정치가 필요할 수 있다. 하나의 예에서, 교통 신호등이 약 0.3 미터의 직경을 가지는 것으로 가정하는 것에 의해, 초점 거리 f의 카메라로 촬영한 영상에서 실제 폭 w 및 겉보기 폭 wa를 갖는 교통 신호등까지의 거리 d는 다음과 같이 구해질 수 있다:
Figure 112016119064754-pat00001
그에 부가하여, 방향 벡터
Figure 112016119064754-pat00002
가 카메라 모델을 사용하여 계산될 수 있고, 따라서 교통 신호등의 대략적인 3D 위치는 다음과 같다:
Figure 112016119064754-pat00003
계속하여, T1 및 T2가 차량의 좌표계로부터 로컬적으로 평탄한 좌표계(locally smooth coordinate frame)로의 2개의 상이한 때에 대한 4 x 4 변환 행렬들인 경우, 하나의 영상으로부터 다른 영상으로의 교통 신호의 상대 움직임(relative motion)은 다음과 같이 보정될 수 있고:
Figure 112016119064754-pat00004
여기서 C는 차량 좌표계(vehicle frame)으로부터 카메라 좌표계로의 변환이다. 어떤 예들에서, 반경 방향 왜곡을 고려하기 위해 영상 좌표들이 추가로 조절될 수 있다.
하나의 경우에서, 제1 영상으로부터의 교통 신호의 움직임 보정된 위치가 제2 영상의 교통 신호의 연관 거리(association distance) 내에 있는 경우, 검출된 교통 신호들이 동일한 물체에 대응할 가능성이 있을 수 있다. 제1 영상에서의 검출된 교통 신호가 제2 영상에서의 검출된 교통 신호에 대응하는 것으로 결정된 경우, 제1 및 제2 영상에서의 교통 신호의 위치들 및 영상들이 획득되는 동안의 제1 및 제2 영상에 대한 카메라 배향들에 기초하여 교통 신호의 3D 위치를 추정하기 위해 최소 제곱 삼각측량(least squares triangulation)이 사용될 수 있다.
어떤 예들에서, 교통 신호들이 적용되는 실체 차선에 대한 교통 신호들이 또한 식별될 수 있다. 예를 들어, 어떤 교통 신호들은 좌회전 차선 또는 우회전 차선에 적용될 수 있다. 이 정보는 차량이 차량의 현재 차선에 기초하여 어느 교통 신호(들)를 따라야만 하는지를 결정하는 데 사용될 수 있다. 교통 신호와 차선 사이의 연관성을 추정하기 위해 추정된 교통 신호 배향 또는 위치, 평균 교차로 폭, 및 평균 차선 폭에 기초한 간단한 휴리스틱(heuristics)이 사용될 수 있다.
하나의 예에서, 교통 신호의 위치가 또한 메모리에 저장될 수 있다. 목표 영역 정보 또는 다른 상황 정보(예컨대, 속도, 위치, 배향, 시간, 날짜 등) 중 임의의 것이 또한 교통 신호의 위치와 함께 저장될 수 있다. 하나의 경우에서, 저장된 정보는 한 영역에 대한 교통 신호들의 위치들의 지도를 갱신하는 데 사용될 수 있다.
블록(108)에서, 이 방법(100)은 교통 신호의 상태를 결정하는 단계를 포함한다. 목표 영역 정보에서 다수의 교통 신호들이 검출되는 경우에, 차량의 차선에 대응하는 교통 신호의 상태가 결정될 수 있다. 교통 신호의 상태를 결정하는 단계는 교통 신호의 영상의 적색 물체, 황색 물체 및 적색 물체의 패턴에서의 어느 물체가 조명되는지를 결정하는 단계를 포함할 수 있다. 하나의 경우에서, 적색 물체, 황색 물체 및 녹색 물체의 밝기 사이의 차이를 결정하여 최고 밝기를 갖는 물체를 결정하기 위해 영상 처리 방법이 사용될 수 있다. 최고 밝기를 갖는 물체가 켜져 있는 것으로, 예를 들어, 교통 신호의 상태를 나타내는 것으로 가정될 수 있다. 하나의 예에서, 적색 물체, 황색 물체 및 녹색 물체 사이의 상대 차이가 불분명한 경우, 황색 물체가 조명되는 것으로 가정될 수 있다. 이와 유사하게, 관찰된 밝은 녹색 물체의 신뢰도가 시간의 경과에 따라 떨어질 수 있고, 녹색 물체가 사전 결정된 시간 프레임 내에서 다시 검출되지 않는 경우 기본적으로 교통 신호가 황색인 것으로 가정된다.
교통 신호의 3D 위치가 결정되는 경우에, 교통 신호가 후속 영상에서 어디에 나타날 것인지의 예측이 교통 신호의 다른 영상을 결정하는 데 사용될 수 있다. 예를 들어, 3D 위치와 관련한 차량의 위치의 추정치에 기초하여, 예측 위치가 차량의 카메라의 영상 프레임 내로 투사될 수 있다. 하나의 예에서, 예측된 위치는 영상의 일부분을 선택하는 축 정렬된 경계 상자(axis-aligned bounding box)일 수 있다. 그렇지만, 다른 예시적인 영역들 또는 형상들이 또한 가능하고, 예측된 위치의 기하 형태가 교통 신호의 배향 또는 기하 형태에 기초하여 결정될 수 있다. 예측된 위치 내의 영상의 부분이 이어서 교통 신호의 상태를 결정하기 위해 분석될 수 있다. 예를 들어, 밝은 색상의 적색 물체 또는 녹색 물체를 식별하기 위해 예측된 위치가 처리될 수 있고, 차량의 위치가 교통 신호에 접근함에 따라 예측된 위치가 변할 수 있다.
블록(110)에서, 이 방법(100)은 교통 신호의 신뢰도를 결정하는 단계를 포함한다. 교통 신호의 존재 및 교통 신호에 대한 후속 상태 추정에 관해 결론을 내릴 때, 차량의 컴퓨팅 시스템의 프로세서는 결론의 신뢰도를 결정할 수 있다. 한 예로서, 결정된 신뢰도는 교통 신호들이 예상되지 않는 위치들에서보다 교통 신호들이 예상되는 위치들에서의 교통 신호등의 검출을 더 신뢰할 수 있다. 하나의 경우에서, 차량의 위치가 교차로에 근접해(예컨대, 150 미터와 같은 사전 결정된 임계치 내에) 있는 경우의 위치에 대해 교통 신호들이 예상될 수 있다. 하나의 경우에서, 차량의 위치를 환경의 지도 상의 교차로들 또는 노드들의 위치들과 비교함으로써 교차로까지의 거리가 결정될 수 있다. 예를 들어, 최근접 이웃 검색을 용이하게 하기 위해 교차로들의 노드들을 구성(organize)하는 데 k 차원 트리("k-d 트리")가 사용될 수 있다.
다른 경우에서, 교통 신호의 신뢰도를 결정하는 단계는 교통 신호의 위치를 교통 신호들의 하나 이상의 기지의 위치들과 비교하는 단계를 포함할 수 있다. 예를 들어, 차량이, 로컬적으로 또는 차량으로부터 원격지에 저장되어 있는, 교통 신호들의 기지의 위치들의 지도에 액세스할 수 있다. 차량의 지리적 위치에 기초하여, 근방에 있는 교통 신호들의 하나 이상의 기지의 위치들이 결정될 수 있다. 어떤 경우들에서, 최근접 이웃 검색을 용이하게 하기 위해 교통 신호들의 기지의 위치들을 구성하는 데 k-d 트리가 사용될 수 있다.
블록(112)에서, 이 방법(100)은 교통 신호의 상태 및 교통 신호의 신뢰도에 기초하여 차량을 자율 모드에서 제어하는 단계를 포함한다. 교통 신호의 상태 및/또는 위치가, 어떤 시나리오들에서, 차량, 또는 차량의 운전자 또는 탑승자를 돕는 데 사용될 수 있다.
사용자가 차량을 운전할 때, 교통 신호의 상태에 관한 정보가 제공될 수 있다. 예를 들어, 신호등이 적색, 황색 또는 녹색이라는 시각적 또는 청각적 표시가 제공될 수 있다. 다른 경우에들에서, "브레이크를 밟으세요, 신호등이 적색입니다"와 같은 지시들 또는 경고들이 사용자에게 제공될 수 있다. 교통 신호의 상태의 변화 후에 시각적 또는 청각적 표시가 또한 제공될 수 있다.
차량이 자율적으로 동작될 때, 차량의 제어 시스템은 교통 신호의 상태 및 결정된 신뢰도에 기초하여 차량에 대한 경로를 결정할 수 있다. 예를 들어, 교통 신호가 예상되는 위치에서 교통 신호에 대해 녹색 물체가 검출된 경우 차량은 교차로를 통과할 수 있다. 교통 신호가 예상되지 않는 영역에서 교통 신호에 대해 황색 물체가 검출된 경우에, 차량은 그의 속도를 감소시키고, 교통 신호에 대한 존재 및 추정된 상태를 확인하기 위해, 그 영역에 관한 부가 정보를 확인할 수 있다.
이와 같이, 예시적인 방법(100)은 차량이 예상된 위치들 및/또는 예상되지 않은 위치들에서 교통 신호들의 위치들 및 상태들을 결정할 수 있게 할 수 있다. 방법(100)의 다수의 예시적인 구현들이 도 2a 내지 도 5c와 관련하여 이하에서 기술된다.
예시를 위해, 다수의 예시적인 구현들이 기술되어 있다. 그렇지만, 예시적인 구현들이 단지 예시를 위한 것이고 제한하기 위한 것이 아님을 잘 알 것이다. 다른 예시적인 구현들이 또한 가능하다.
도 2a 내지 도 2c는 목표 영역을 스캔하는 차량(200)의 예시적인 개념도이다. 예를 들어, 도 2a 내지 도 2c는 목표 영역을 스캔하는 차량(200)의 측면도 및 2개의 사시도를 나타낸 것이다. 한 위치에 대해 교통 신호들이 예상되지 않은 경우에도 차량(200)은 목표 영역을 스캔할 수 있다. 예를 들어, 도 2b는 차량(200)이 교차로에 근접해 있지 않은 목표 영역을 스캔하는 것을 나타낸 것인 반면, 도 2c는 차량(200)이 교차로에 근접해 있는 목표 영역을 스캔하는 것을 나타낸 것이다. 어떤 예들에서, 목표 영역을 스캔하는 것은 차량(200)이 교통 신호들이 통상적으로 위치해 있는 여러 유형들의 영역들에 대한 목표 영역 정보를 획득할 수 있게 할 수 있다.
도 2a에 도시된 바와 같이, 차량(200)은 다가오는 영역에 대해 지상으로부터 제1 높이(202)와 제2 높이(204) 사이의 영역을 스캔할 수 있다. 하나의 예에서, 지상으로부터 제1 높이(202) 및 제2 높이(204)는 차량의 전방의 사전 결정된 거리(예컨대, 100 미터)에 대해 결정될 수 있다. 하나의 경우에서, 제1 높이(202) 및 제2 높이(204)는 차량(200)으로부터 사전 결정된 거리보다 작은 거리에 있는 물체들에 대해 더 작은 목표 영역(예컨대, 더 좁은 높이들의 범위)을 형성하고, 사전 결정된 거리보다 더 큰 거리에 있는 물체들에 대해 더 큰 목표 영역(예컨대, 더 넓은 높이들의 범위)을 형성할 수 있다.
하나의 경우에서, 차량(200)의 영상화 구성요소 및/또는 레이더 구성요소는 목표 영역에 대한 목표 영역 정보를 획득하는 데 사용될 수 있다. 영상화 구성요소 및 레이더 구성요소는 리어 뷰 미러 후방에 또는 그에 인접하여 탑재될 수 있고, 따라서 차량(200)이 운전자 및/또는 탑승자(들)를 포함하는 시나리오에서, 영상화 구성요소 또는 레이더 구성요소는 운전자 및/또는 탑승자(들)의 시야를 최소한으로 방해한다.
어떤 예들에서, 목표 영역의 위쪽에 있는, 아래쪽에 있는 그리고/또는 그에 인접해 있는 영역들에 대한 부가 정보가 또한 획득될 수 있다. 예를 들어, 영상화 구성요소는 목표 영역 정보의 하나 이상의 영상들을 포착하도록 구성되어 있는 카메라일 수 있고, 하나 이상의 영상들은 목표 영역의 일부가 아닌 영역에 대한 정보를 포함할 수 있다. 하나의 경우에서, 처리 구성요소는 부가 정보를 무시하면서 목표 영역 정보를 분석할 수 있다. 다른 예들에서, 카메라가 목표 영역에 대한 정보만을 포착하도록 카메라의 시야 및/또는 초점 거리가 수정될 수 있다.
그에 부가하여, 목표 영역 정보는 차량으로부터 임의의 범위의 거리들에 대한 정보를 포함할 수 있다. 예를 들어, 영상화 구성요소의 초점은 고정되어 있거나 가변적일 수 있다. 하나의 경우에서, 영상화 구성요소는, 시야에 있는 물체까지의 거리를 검출하고 그에 따라 영상화 구성요소의 초점을 조절하도록 구성되어 있는, 거리 측정기 구성요소를 포함할 수 있다. 다른 예에서, 영상화 구성요소의 초점이 차량의 속도에 기초하여 달라질 수 있다. 예를 들어, 교통 신호들이 속도가 제1 속도일 때는 더 먼 거리에서 검출될 수 있고 속도가 제1 속도보다 낮을 때는 더 가까운 거리에서 검출될 수 있다.
도 3a 및 도 3b는 차량을 제어하는 한 예시적인 플로우차트(300) 및 연관된 상태 테이블(314)이다. 도 3a에 도시된 바와 같이, 먼저 블록(302)에서, 목표 영역이 스캔될 수 있다. 예를 들어, 목표 영역 정보를 획득하기 위해, 교통 신호들이 통상적으로 위치해 있는 한 유형의 영역이 스캔될 수 있다. 하나의 예에서, 블록(304)에서, 교통 신호가 검출될 수 있다. 예를 들어, 목표 영역 정보는 교통 신호의 존재를 나타내는 정보를 포함할 수 있다.
블록(306)에서, 교통 신호의 위치가 결정될 수 있다. 하나의 경우에서, 교통 신호의 위치가 차량의 위치 및/또는 배향에 기초하여 결정될 수 있고, 2차원 위치(예컨대, 위도 및 경도로 나타내어지는 위치) 또는 3차원 위치(예컨대, 위도, 경도 및 지상으로부터의 높이로 나타내어지는 위치)일 수 있다.
그에 부가하여, 플로우차트(300)에 따르면, 블록(308)에서, 교통 신호의 기지의 위치까지의 최소 거리가 결정될 수 있다. 하나의 예에서, 교통 신호들의 기지의 위치들이 k-d 트리 내에 저장될 수 있고, 차량의 위치 및/또는 검출된 교통 신호의 결정된 위치의 근방에 있는 교통 신호들의 기지의 위치들을 결정하기 위해 최근접 이웃 검색이 수행될 수 있다. 하나의 경우에서, 차량의 위치와 교통 신호들의 기지의 위치들 사이의 거리들이 계산될 수 있고, 최소 거리가 결정될 수 있다. 다른 경우에서, 검출된 교통 신호의 결정된 위치와 교통 신호들의 기지의 위치들 사이의 거리들이 계산될 수 있고, 최소 거리가 결정될 수 있다. 한편, 블록(310)에서, 검출된 교통 신호의 상태가 결정될 수 있다.
하나의 예에서, 최소 거리와 사전 결정된 임계치 사이의 관계가 결정될 수 있다(예컨대, 사전 결정된 임계치에 대한 최소 거리의 근접성 또는 최소 거리가 사전 결정된 임계치보다 큰지 작은지의 결정). 블록(312)에서, 결정된 관계 및 교통 신호의 결정된 상태에 기초하여, 차량에 대한 제어 명령이 결정될 수 있다. 도 3b에 도시된 예시적인 상태 테이블(314)은 제어 명령이 어떻게 결정될 수 있는지의 한 예를 나타낸 것이다.
도 3b에 도시된 바와 같이, 교통 신호의 상태, 및 최소 거리와 사전 결정된 임계치 사이의 관계에 기초하여, 다양한 제어 명령들이 선택될 수 있다. 어떤 경우들에서, 최소 거리와 사전 결정된 임계치 사이의 관계는 검출된 교통 신호의 신뢰도를 암시할 수 있다.
제1 경우(316)에서, 교통 신호의 상태는 적색일 수 있고, 최소 거리는 사전 결정된 임계치보다 더 클 수 있다. 상태 테이블(314)은 제1 제어 명령(318)이 선택될 수 있다는 것을 보여준다. 제1 경우(316)는 교통 신호가 예상되지 않았다는 것을 암시할 수 있다. 그에 따라, 제1 제어 명령(318)은 브레이크를 밟고 교통 신호의 존재 및 교통 신호의 후속 상태에 관한 부가 정보를 확인하라는 것을 나타낸다. 하나의 예에서, 부가 정보를 확인하는 것은 교통 신호의 상태는 물론 근방의 교통 및/또는 교차로 교통의 거동을 모니터링하는 것을 포함할 수 있다.
도 4는 차량을 제어하는 다른 예시적인 플로우차트(400)이다. 도시된 바와 같이, 블록(402)에서, 교통 신호가 예상되는지가 결정될 수 있다. 하나의 예에서, 차량의 위치가 교차로에 근접해 있는지 또는 이전의 지도가 차량이 주행하고 있는 방향에서와 같이 차량의 위치 근방에 교통 신호가 존재하는 것을 암시하는지에 기초하여 결정이 행해질 수 있다.
결정에 기초하여, 교통 신호가 예상되지 않는 경우, 블록(404)에서, 차량은 목표 영역 정보를 획득하기 위해 목표 영역을 스캔할 수 있다. 이어서, 블록(406)에서, 목표 영역 정보에서 교통 신호가 검출되는지가 결정될 수 있다. 교통 신호가 검출되지 않는 경우, 플로우차트 프로세스가 재시작할 수 있다. 교통 신호가 검출되는 것으로 결정되는 경우, 교통 신호의 상태 및 제어 명령이, 각각, 블록(408) 및 블록(410)에서 결정될 수 있다.
블록(402)에서, 교통 신호가 예상되는 것으로 결정되는 경우, 410에서, 차량은 목표 영역 정보를 획득하기 위해 목표 영역을 스캔할 수 있다. 하나의 예에서, 목표 영역이 블록(404)에서 스캔된 동일한 목표 영역일 수 있다. 다른 예에서, 목표 영역이 블록(404)에서 스캔된 목표 영역과 상이할 수 있다. 교통 신호가 기지의 위치에서 예상되는 경우에, 블록(410)에서 스캔된 목표 영역이 기지의 위치 주변의 영역일 수 있다.
이어서, 블록(412)에서, 목표 영역 정보에서 교통 신호가 검출되는지 여부가 결정될 수 있다. 교통 신호가 검출되는 경우, 교통 신호의 상태 및 제어 명령이, 각각, 블록(408) 및 블록(410)에서 결정될 수 있다. 하나의 예에서, 교통 신호가 예상되는 경우 및 교통 신호가 예상되지 않는 경우에 대해 제어 명령이 상이할 수 있다. 교통 신호가 검출되지 않는 경우, 차량은 감속할 수 있고, 블록(414)에서 부가 정보가 확인될 수 있다. 예를 들어, 차량은 교통 및 근방의 교차로 교통의 거동에 관한 정보를 확인하거나 차량의 탑승자 또는 운전자에게 추가 정보를 요청할 수 있다. 블록(416)에서, 목표 영역이 조절될 수 있다. 예를 들어, 목표 영역이 넓혀질 수 있거나, 목표 영역이 블록(410)에서 재스캔될 수 있다. 어떤 경우들에서, 목표 영역을 넓히는 것은 일시적으로 위치 변경된 교통 신호들 및/또는 바람에 흔들리고 있는 교통 신호들의 검출을 가능하게 할 수 있다.
도 5a 내지 도 5c는 목표 영역을 스캔하는 차량(500)의 추가의 예시적인 개념도이다. 어떤 예들에서, 차량(500)은 다수의 목표 영역들을 스캔할 수 있다. 도 5a에 도시된 바와 같이, 차량(500)은 제1 목표 영역(502) 및 제2 목표 영역(504)을 스캔할 수 있다. 하나의 경우에서, 도로 위쪽에 부가하여 도로에 인접한 영역 또는 영역들을 스캔하는 것은 더 많은 교통 신호들 또는 교통 신호들 이외의 물체들의 검출을 가능하게 할 수 있다. 예를 들어, 횡단보도들, 공사 경고들, 철도 건널목들 또는 다른 정보로 인한 깜빡거리는 교통 신호들이 검출될 수 있다.
도 5b에 도시된 바와 같이, 교통 신호의 예상된 위치에 관한 더 정확한 정보를 알고 있는 경우에, 목표 영역(502)에 부가하여, 서브영역(sub-area)(506)이 스캔될 수 있다. 도 5c에 도시된 바와 같이, 예상된 교통 신호의 위치가 이동된 경우에, 서브영역(506) 내에서, 교통 신호가 검출되지 않을 수 있다. 그렇지만, 더 큰 목표 영역(502)을 스캔하는 것은 새로운 위치에서의 교통 신호의 검출을 용이하게 할 수 있다.
이상의 예시적인 방법들의 예시적인 실시예들이 구현될 수 있는 시스템들에 대해 이제부터 더 상세히 기술할 것이다. 일반적으로, 한 예시적인 시스템은 차량의 형태로 구현될 수 있거나 차량의 형태를 취할 수 있다. 차량은, 예를 들어, 자동차, 승용차, 트럭, 오토바이, 버스, 보트, 비행기, 헬리콥터, 잔디 깎는 기계, 토공 기계, 스노우모빌, 레저 차량, 놀이 공원 차량, 농기계, 건설 장비, 전차, 골프 카트, 기차, 및 트롤리(trolley)를 비롯한 다수의 형태를 취할 수 있다. 다른 차량들이 또한 가능하다.
게다가, 다른 예시적인 시스템은 본 명세서에 기술된 기능을 제공하기 위해 적어도 하나의 프로세서에 의해 실행가능한 프로그램 명령어들을 저장하고 있는 비일시적 컴퓨터 판독가능 매체의 형태를 취할 수 있다. 한 예시적인 시스템은 또한 이러한 프로그램 명령어들을 저장하고 있는 이러한 비일시적 컴퓨터 판독가능 매체를 포함하는 차량 또는 차량의 서브시스템의 형태를 취할 수 있다.
도 6은 일 실시예에 따른 한 예시적인 차량(600)을 나타낸 것이다. 상세하게는, 도 6은 차량(600)의 우측면도, 정면도, 배면도, 및 상면도를 나타낸 것이다. 차량(600)이 도 6에서 승용차로서 예시되어 있지만, 다른 실시예들이 가능하다. 예를 들어, 차량(600)은, 예들 중에서도 특히, 트럭, 밴, 세미 트레일러 트럭(semi-trailer truck), 오토바이, 골프 카트, 오프로드 차량, 또는 농장용 차량을 나타낼 수 있다. 도시된 바와 같이, 차량(600)은 제1 센서 유닛(602), 제2 센서 유닛(604), 제3 센서 유닛(606), 무선 통신 시스템(608), 및 카메라(610)를 포함하고 있다.
제1, 제2 및 제3 센서 유닛들(602 내지 606) 각각은 위성 위치 확인 시스템(global positioning system) 센서들, 관성 측정 유닛들, RADAR(radio detection and ranging) 유닛들, 레이저 거리 측정기들, LIDAR(light detection and ranging) 유닛들, 카메라들, 및 음향 센서들의 임의의 조합을 포함할 수 있다. 다른 유형들의 센서들이 또한 가능하다.
제1, 제2, 및 제3 센서 유닛들(602 내지 606)이 차량(600) 상의 특정의 위치들에 탑재되어 있는 것으로 도시되어 있지만, 어떤 실시예들에서, 센서 유닛(602)은 차량(600) 상의 다른 곳에, 차량(600)의 내부에 또는 외부에 탑재될 수 있다. 게다가, 단지 3개의 센서 유닛들만이 도시되어 있지만, 어떤 실시예들에서, 더 많거나 더 적은 수의 센서 유닛들이 차량(600)에 포함되어 있을 수 있다.
어떤 실시예들에서, 제1, 제2, 및 제3 센서 유닛들(602 내지 606) 중 하나 이상은 센서들이 이동가능하게 탑재될 수 있는 하나 이상의 이동식 마운트들(movable mounts)을 포함할 수 있다. 이동식 마운트는, 예를 들어, 회전 플랫폼(rotating platform)을 포함할 수 있다. 회전 플랫폼 상에 탑재되어 있는 센서들은, 센서들이 차량(600) 주위의 각각의 방향으로부터 정보를 획득할 수 있도록, 회전될 수 있다. 다른 대안으로서 또는 그에 부가하여, 이동식 마운트는 틸팅 플랫폼(tilting platform)을 포함할 수 있다. 틸팅 플랫폼 상에 탑재되어 있는 센서들은, 센서들이 다양한 각도들로부터 정보를 획득할 수 있도록, 각도들 및/또는 방위각들의 특정의 범위 내에서 틸팅될 수 있다. 이동식 마운트는 또한 다른 형태들을 취할 수 있다.
게다가, 어떤 실시예들에서, 제1, 제2, 및 제3 센서 유닛들(602 내지 606) 중 하나 이상은 센서들 및/또는 이동식 마운트들을 이동시킴으로써 센서 유닛 내의 센서들의 위치 및/또는 배향을 조절하도록 구성되어 있는 하나 이상의 액추에이터들을 포함할 수 있다. 예시적인 액추에이터들은 모터, 공압 액추에이터, 유압 피스톤, 릴레이, 솔레노이드, 및 압전 액추에이터를 포함한다. 다른 액추에이터들이 또한 가능하다.
무선 통신 시스템(608)은 직접 또는 통신 네트워크를 통해 하나 이상의 다른 차량들, 센서들, 또는 다른 엔터티들에 무선으로 결합하도록 구성되어 있는 임의의 시스템일 수 있다. 이를 위해, 무선 통신 시스템(608)은 직접 또는 통신 네트워크를 통해 다른 차량들, 센서들, 또는 다른 엔터티들과 통신하기 위한 안테나 및 칩셋을 포함할 수 있다. 칩셋 또는 무선 통신 시스템(608)은 일반적으로, 가능한 방법들 중에서도 특히, 블루투스, IEEE 802.11에 기술되어 있는 통신 프로토콜들(임의의 IEEE 802.11 개정들을 포함함), 셀룰러 기술(GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE 등), Zigbee, DSRC(dedicated short range communications), 및 RFID(radio frequency identification) 통신과 같은 하나 이상의 다른 유형들의 무선 통신(예컨대, 프로토콜들)에 따라 통신하도록 구성되어 있을 수 있다. 무선 통신 시스템(608)은 또한 다른 형태들을 취할 수 있다.
무선 통신 시스템(608)이 차량(600)의 지붕에 배치되어 있는 것으로 도시되어 있지만, 다른 실시예에서, 무선 통신 시스템(608)은, 전체적으로 또는 부분적으로, 다른 곳에 위치되어 있을 수 있다.
카메라(610)는 차량(600)이 위치해 있는 환경의 영상들을 포착하도록 구성되어 있는 임의의 카메라(예컨대, 스틸 카메라, 비디오 카메라 등)일 수 있다. 이를 위해, 카메라(610)는 가시광을 검출하도록 구성되어 있을 수 있거나, 적외선 또는 자외선 광과 같은 스펙트럼의 다른 부분들로부터의 광을 검출하도록 구성되어 있을 수 있다. 다른 유형들의 카메라들이 또한 가능하다. 카메라(610)는 2차원 검출기일 수 있거나, 3차원 공간 거리(spatial range)를 가질 수 있다. 어떤 실시예들에서, 카메라(610)는, 예를 들어, 카메라(610)로부터 환경 내의 다수의 지점들까지의 거리를 나타내는 2차원 영상을 발생시키도록 구성되어 있는 거리 검출기(range detector)일 수 있다. 이를 위해, 카메라(610)는 하나 이상의 거리 검출 기법들을 사용할 수 있다. 예를 들어, 카메라(610)는 차량(600)이 격자 또는 바둑판 패턴과 같은 사전 결정된 광 패턴으로 환경 내의 물체를 조명하고 물체로부터의 사전 결정된 광 패턴의 반사를 검출하기 위해 카메라(610)를 사용하는 구조화된 광 기법(structured light technique)을 사용할 수 있다. 반사된 광 패턴에서의 왜곡들에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 사전 결정된 광 패턴은 적외선 광, 또는 다른 파장의 광을 포함할 수 있다. 다른 예로서, 카메라(610)는 차량(600)이 레이저를 방출하고 환경 내의 물체 상의 다수의 지점들에 걸쳐 스캔하는 레이저 스캔 기법을 사용할 수 있다. 물체를 스캔하는 동안, 차량(600)은 각각의 지점에 대해 물체로부터의 레이저의 반사를 검출하기 위해 카메라(610)를 사용한다. 레이저가 각각의 지점에서 물체로부터 반사하는 데 걸리는 시간 길이에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 또 다른 예로서, 카메라(610)는 차량(600)이 광 펄스를 방출하고 물체 상의 다수의 지점들에서 물체로부터의 광 펄스의 반사를 검출하기 위해 카메라(610)를 사용하는 TOF(time-of-flight) 기법을 사용할 수 있다. 상세하게는, 카메라(610)는 다수의 픽셀들을 포함할 수 있고, 각각의 픽셀은 물체 상의 한 지점으로부터의 광 펄스의 반사를 검출할 수 있다. 광 펄스가 각각의 지점에서 물체로부터 반사하는 데 걸리는 시간 길이에 기초하여, 차량(600)은 물체 상의 지점들까지의 거리를 결정할 수 있다. 광 펄스는 레이저 펄스일 수 있다. 그 중에서도 특히, 입체 삼각측량(stereo triangulation), 광 시트 삼각측량(sheet-of-light triangulation), 간섭 측정(interferometry), 및 부호화 개구(coded aperture) 기법을 비롯한 다른 거리 검출 기법들이 또한 가능하다. 카메라(610)는 또한 다른 형태들을 취할 수 있다.
어떤 실시예들에서, 카메라(610)는, 앞서 기술한 바와 같이, 카메라(610) 및/또는 이동식 마운트를 이동시킴으로써 카메라(610)의 위치 및/또는 배향을 조절하도록 구성되어 있는 이동식 마운트 및/또는 액추에이터를 포함할 수 있다.
카메라(610)가 차량(600)의 전면 유리(front windshield)에 탑재되어 있는 것으로 도시되어 있지만, 다른 실시예에서, 카메라(610)는 차량(600) 상의 다른 곳에, 차량(600)의 내부에 또는 외부에 탑재될 수 있다.
차량(600)은, 도시된 것들에 부가하여 또는 그 대신에, 하나 이상의 다른 구성요소들을 포함할 수 있다.
도 7은 일 실시예에 따른 한 예시적인 차량(700)의 간략화된 블록도이다. 차량(700)은, 예를 들어, 도 6과 관련하여 앞서 기술한 차량(600)과 유사할 수 있다. 차량(700)은 또한 다른 형태들을 취할 수 있다.
도시된 바와 같이, 차량(700)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 주변 장치들(708), 그리고 프로세서(712), 데이터 저장 장치(714) 및 명령어들(716)을 포함하는 컴퓨터 시스템(710)을 포함하고 있다. 다른 실시예들에서, 차량(700)은 더 많은, 더 적은, 또는 상이한 시스템들을 포함할 수 있고, 각각의 시스템은 더 많은, 더 적은, 또는 상이한 구성요소들을 포함할 수 있다. 그에 부가하여, 도시된 시스템들 및 구성요소들은 임의의 수의 방식들로 결합되거나 분할될 수 있다.
추진 시스템(702)은 차량(700)에 동력 운동(powered motion)을 제공하도록 구성되어 있을 수 있다. 도시된 바와 같이, 추진 시스템(702)은 엔진/모터(718), 에너지원(720), 변속기(722), 및 바퀴들/타이어들(724)을 포함하고 있다.
엔진/모터(718)는 내연 기관, 전기 모터, 증기 기관, 및 스털링 엔진(Stirling engine)의 임의의 조합일 수 있거나 그를 포함할 수 있다. 다른 모터들 및 엔진들이 또한 가능하다. 어떤 실시예들에서, 추진 시스템(702)은 다수의 유형들의 엔진들 및/또는 모터들을 포함할 수 있다. 예를 들어, 가솔린-전기 하이브리드 자동차는 가솔린 엔진 및 전기 모터를 포함할 수 있다. 다른 예들이 가능하다.
에너지원(720)은 엔진/모터(718)에 전체적으로 또는 부분적으로 동력을 제공하는 에너지의 공급원일 수 있다. 즉, 엔진/모터(718)는 에너지원(720)을 기계 에너지로 변환하도록 구성되어 있을 수 있다. 에너지원들(720)의 예들은 가솔린, 디젤, 프로판, 다른 압축 가스 기반 연료들, 에탄올, 태양광 패널(solar panel), 배터리, 및 다른 전력 공급원들을 포함한다. 에너지원(들)(720)은, 그에 부가하여 또는 다른 대안으로서, 연료 탱크, 배터리, 커패시터, 및/또는 플라이휠의 임의의 조합을 포함할 수 있다. 어떤 실시예들에서, 에너지원(720)은 차량(700)의 다른 시스템들에도 에너지를 제공할 수 있다.
변속기(722)는 기계적 동력을 엔진/모터(718)로부터 바퀴들/타이어들(724)에 전달하도록 구성되어 있을 수 있다. 이를 위해, 변속기(722)는 기어박스, 클러치, 차동 장치, 구동축, 및/또는 다른 요소들을 포함할 수 있다. 변속기(722)가 구동축들을 포함하는 실시예들에서, 구동축들은 바퀴들/타이어들(724)에 결합되도록 구성되어 있는 하나 이상의 차축들을 포함할 수 있다.
차량(700)의 바퀴들/타이어들(724)은 외발 자전거, 자전거/오토바이, 삼륜차, 또는 자동차/트럭의 사륜 형식을 비롯한 다양한 형식들로 구성되어 있을 수 있다. 6개 이상의 바퀴들을 포함하는 것들과 같은 다른 바퀴/타이어 형식들이 또한 가능하다. 어쨌든, 차량(724)의 바퀴들/타이어들(724)은 다른 바퀴들/타이어들(724)에 대해 차동적으로 회전하도록 구성되어 있을 수 있다. 어떤 실시예들에서, 바퀴들/타이어들(724)은 변속기(722)에 고정되게 부착되어 있는 적어도 하나의 바퀴 및 구동면(driving surface)과 접촉할 수 있는 바퀴의 림(rim)에 결합되어 있는 적어도 하나의 타이어를 포함할 수 있다. 바퀴들/타이어들(724)은 금속 및 고무의 임의의 조합, 또는 다른 물질들의 조합을 포함할 수 있다.
추진 시스템(702)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
센서 시스템(704)은 차량(700)이 위치해 있는 환경에 관한 정보를 감지하도록 구성되어 있는 다수의 센서들은 물론, 센서들의 위치 및/또는 배향을 수정하도록 구성되어 있는 하나 이상의 액추에이터들(736)을 포함할 수 있다. 도시된 바와 같이, 센서 시스템의 센서들은 GPS(Global Positioning System)(726), IMU(inertial measurement unit)(728), RADAR 유닛(730), 및 레이저 거리 측정기 및/또는 LIDAR 유닛(732), 그리고 카메라(734)를 포함하고 있다. 센서 시스템(704)은, 예를 들어, 차량(700)의 내부 시스템들(예컨대, O2 모니터, 연료 게이지, 엔진 오일 온도 등)을 모니터링하는 센서들을 비롯한 부가의 센서들을 또한 포함할 수 있다. 다른 센서들이 또한 가능하다.
GPS(726)는 차량(700)의 지리적 위치를 추정하도록 구성되어 있는 임의의 센서일 수 있다. 이를 위해, GPS(726)는 지구에 대한 차량(700)의 위치를 추정하도록 구성되어 있는 송수신기를 포함할 수 있다. GPS(726)는 또한 다른 형태들을 취할 수 있다.
IMU(728)는 관성 가속도에 기초하여 차량(700)의 위치 및 배향 변화들을 감지하도록 구성되어 있는 센서들의 임의의 조합일 수 있다. 어떤 실시예들에서, 센서들의 조합은, 예를 들어, 가속도계들 및 자이로스코프들을 포함할 수 있다. 센서들의 다른 조합들이 또한 가능하다.
RADAR 유닛(730)은 무선 신호를 사용하여 차량(700)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되어 있는 임의의 센서일 수 있다. 어떤 실시예들에서, 물체들을 감지하는 것에 부가하여, RADAR 유닛(730)은, 그에 부가하여, 물체들의 속도 및/또는 방위를 감지하도록 구성되어 있을 수 있다.
이와 유사하게, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 레이저를 사용하여 차량(700)이 위치해 있는 환경 내의 물체들을 감지하도록 구성되어 있는 임의의 센서일 수 있다. 상세하게는, 레이저 거리 측정기 또는 LIDAR 유닛(732)은 레이저를 방출하도록 구성되어 있는 레이저 광원 및/또는 레이저 스캐너 그리고 레이저의 반사를 검출하도록 구성되어 있는 검출기를 포함할 수 있다. 레이저 거리 측정기 또는 LIDAR(732)은 코히런트(coherent)(예컨대, 헤테로다인 검출을 사용함) 또는 비코히런트(incoherent) 검출 모드에서 동작하도록 구성되어 있을 수 있다.
카메라(734)는 차량(700)이 위치해 있는 환경의 영상들을 포착하도록 구성되어 있는 임의의 카메라(예컨대, 스틸 카메라, 비디오 카메라 등)일 수 있다. 이를 위해, 카메라는 앞서 기술한 형태들 중 임의의 것을 취할 수 있다.
센서 시스템(704)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
제어 시스템(706)은 차량(700) 및 그의 구성요소들의 동작을 제어하도록 구성되어 있을 수 있다. 이를 위해, 제어 시스템(706)은 조향 유닛(steering unit)(738), 쓰로틀(740), 브레이크 유닛(742), 센서 융합 알고리즘(sensor fusion algorithm)(744), 컴퓨터 비전 시스템(746), 내비게이션 또는 경로 지정 시스템(748), 및 장애물 회피 시스템(750)을 포함할 수 있다.
조향 유닛(738)은 차량(700)의 방위를 조절하도록 구성되어 있는 메커니즘들의 임의의 조합일 수 있다.
쓰로틀(740)은 엔진/모터(718)의 동작 속도 그리고 차례로 차량(700)의 속도를 제어하도록 구성되어 있는 메커니즘들의 임의의 조합일 수 있다.
브레이크 유닛(742)은 차량(700)을 감속시키도록 구성되어 있는 메커니즘들의 임의의 조합일 수 있다. 예를 들어, 브레이크 유닛(742)은 바퀴들/타이어들(724)의 속도를 줄이기 위해 마찰을 사용할 수 있다. 다른 예로서, 브레이크 유닛(742)은 바퀴들/타이어들(724)의 운동 에너지를 전류로 변환할 수 있다. 브레이크 유닛(742)은 또한 다른 형태들을 취할 수 있다.
센서 융합 알고리즘(744)은 센서 시스템(704)으로부터의 데이터를 입력으로서 받아들이도록 구성되어 있는 알고리즘(또는 알고리즘을 저장하는 컴퓨터 프로그램 제품)일 수 있다. 데이터는, 예를 들어, 센서 시스템(704)의 센서들에서 감지되는 정보를 나타내는 데이터를 포함할 수 있다. 센서 융합 알고리즘(744)은, 예를 들어, 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 다른 알고리즘을 포함할 수 있다. 센서 융합 알고리즘(744)은 또한, 예를 들어, 차량(700)이 위치해 있는 환경 내의 개개의 물체들 및/또는 특징들의 평가들, 특정의 상황들의 평가들, 및/또는 특정의 상황들에 기초한 가능한 영향들의 평가들을 비롯한 센서 시스템(704)으로부터의 데이터에 기초한 다양한 평가들을 제공하도록 구성되어 있을 수 있다. 다른 평가들이 또한 가능하다.
컴퓨터 비전 시스템(746)은, 예를 들어, 교통 신호들 및 장애물들을 비롯한, 차량(700)이 위치해 있는 환경 내의 물체들 및/또는 특징들을 식별하기 위해, 카메라(734)에 의해 포착되는 영상들을 처리 및 분석하도록 구성되어 있는 임의의 시스템일 수 있다. 이를 위해, 컴퓨터 비전 시스템(746)은 물체 인식 알고리즘, SFM(Structure from Motion) 알고리즘, 비디오 추적, 또는 다른 컴퓨터 비전 기법들을 사용할 수 있다. 어떤 실시예들에서, 컴퓨터 비전 시스템(746)은, 그에 부가하여, 환경의 지도를 제작하고, 물체들을 추적하며, 물체들의 속도를 추정하고, 기타를 하도록 구성되어 있을 수 있다.
내비게이션 및 경로 지정 시스템(748)은 차량(700)에 대한 운행 경로를 결정하도록 구성되어 있는 임의의 시스템일 수 있다. 내비게이션 및 경로 지정 시스템(748)은, 그에 부가하여, 차량(700)이 동작하고 있는 동안 동적으로 운행 경로를 갱신하도록 구성되어 있을 수 있다. 어떤 실시예들에서, 내비게이션 및 경로 지정 시스템(748)은, 차량(700)에 대한 운행 경로를 결정하기 위해, 센서 융합 알고리즘(744), GPS(726), 및 하나 이상의 사전 결정된 지도들로부터의 데이터를 포함하도록 구성되어 있을 수 있다.
장애물 회피 시스템(750)은 차량(700)이 위치해 있는 환경 내의 장애물들을 식별, 평가 및 회피 또는 다른 방식으로 빠져나가도록 구성되어 있는 임의의 시스템일 수 있다.
제어 시스템(706)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
주변 장치들(708)은 차량(700)이 외부 센서들, 다른 차량들, 및/또는 사용자와 상호작용할 수 있게 하도록 구성되어 있을 수 있다. 이를 위해, 주변 장치들(708)은, 예를 들어, 무선 통신 시스템(752), 터치스크린(754), 마이크(756), 및/또는 스피커(758)를 포함할 수 있다.
무선 통신 시스템(752)은 앞서 기술한 형태들 중 임의의 것을 취할 수 있다.
터치스크린(754)은 차량(700)에 명령들을 입력하기 위해 사용자에 의해 사용될 수 있다. 이를 위해, 터치스크린(754)은, 가능한 방법들 중에서도 특히, 용량성 감지, 저항 감지, 또는 표면 탄성파 프로세스를 통해 사용자의 손가락의 위치 및 움직임 중 적어도 하나를 감지하도록 구성되어 있을 수 있다. 터치스크린(754)은 터치스크린 표면에 평행한 또는 그에 평면인 방향으로의, 터치스크린 표면에 수직인 방향으로의, 또는 둘 다로의 손가락 움직임을 감지할 수 있고, 또한 터치스크린 표면에 가해지는 압력의 레벨을 감지할 수 있다. 터치스크린(754)은 하나 이상의 반투명 또는 투명 절연층들 및 하나 이상의 반투명 또는 투명 전도층들로 형성되어 있을 수 있다. 터치스크린(754)은 또한 다른 형태들을 취할 수 있다.
마이크(756)는 차량(700)의 사용자로부터 오디오(예컨대, 음성 명령 또는 다른 오디오 입력)를 수신하도록 구성되어 있을 수 있다. 이와 유사하게, 스피커들(758)은 오디오를 차량(700)의 사용자에게 출력하도록 구성되어 있을 수 있다.
주변 장치들(708)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
컴퓨터 시스템(710)은 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상으로 데이터를 전송하고 그로부터 데이터를 수신하도록 구성되어 있을 수 있다. 이를 위해, 컴퓨터 시스템(710)은 시스템 버스, 네트워크, 및/또는 다른 연결 메커니즘(도시 생략)에 의해 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상에 통신 연결되어 있을 수 있다.
컴퓨터 시스템(710)은 또한 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및/또는 주변 장치들(708)의 하나 이상의 구성요소들과 상호작용하고 이들을 제어하도록 구성되어 있을 수 있다. 예를 들어, 컴퓨터 시스템(710)은 연료 효율을 향상시키기 위해 변속기(722)의 동작을 제어하도록 구성되어 있을 수 있다. 다른 예로서, 컴퓨터 시스템(710)은 카메라(734)로 하여금 환경의 영상들을 포착하게 하도록 구성되어 있을 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 센서 융합 알고리즘(744)에 대응하는 명령어들을 저장 및 실행하도록 구성되어 있을 수 있다. 또 다른 예로서, 컴퓨터 시스템(710)은 터치스크린(754) 상에 디스플레이를 디스플레이하는 명령어들을 저장 및 실행하도록 구성되어 있을 수 있다. 다른 예들이 또한 가능하다.
도시된 바와 같이, 컴퓨터 시스템(710)은 프로세서(712) 및 데이터 저장 장치(714)를 포함하고 있다. 프로세서(712)는 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적 프로세서들을 포함할 수 있다. 프로세서(712)가 2개 이상의 프로세서들을 포함하는 한, 이러한 프로세서들은 개별적으로 또는 결합하여 동작할 수 있다. 데이터 저장 장치(714)는, 차례로, 광, 자기, 및/또는 유기 저장 장치와 같은 하나 이상의 휘발성 및/또는 하나 이상의 비휘발성 저장 구성요소들을 포함할 수 있고, 데이터 저장 장치(714)는 전체적으로 또는 부분적으로 프로세서(712)와 통합되어 있을 수 있다.
어떤 실시예들에서, 데이터 저장 장치(714)는 도 1과 관련하여 앞서 기술한 것들을 비롯한 다양한 차량 기능들을 실행하기 위해 프로세서(712)에 의해 실행가능한 명령어들(716)(예컨대, 프로그램 논리)을 포함할 수 있다. 게다가, 데이터 저장 장치(714)는, 앞서 기술한 형태들 중 임의의 것을 취할 수 있는, 차량(700)에 대한 제약조건들(760)을 포함할 수 있다. 데이터 저장 장치(714)는 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상으로 데이터를 전송하고, 그로부터 데이터를 수신하며, 그와 상호작용하고 그리고/또는 그를 제어하는 명령어들을 비롯한 부가의 명령어들을 또한 포함할 수 있다.
컴퓨터 시스템(702)은, 그에 부가하여 또는 다른 대안으로서, 도시된 것들 이외의 구성요소들을 포함할 수 있다.
도시된 바와 같이, 차량(700)은 차량(700)의 구성요소들 중 일부 또는 전부에 전력을 제공하도록 구성되어 있을 수 있는 전원 공급 장치(710)를 추가로 포함하고 있다. 이를 위해, 전원 공급 장치(710)는, 예를 들어, 재충전가능 리튬 이온 또는 납축(lead-acid) 배터리를 포함할 수 있다. 어떤 실시예들에서, 하나 이상의 배터리 뱅크들(banks of batteries)이 전력을 제공하도록 구성되어 있을 수 있다. 다른 전원 공급 장치 물질들 및 구성들이 또한 가능하다. 어떤 실시예들에서, 어떤 완전 전기 자동차들에서와 같이, 전원 공급 장치(710) 및 에너지원(720)이 함께 구현될 수 있다.
어떤 실시예들에서, 추진 시스템(702), 센서 시스템(704), 제어 시스템(706), 및 주변 장치들(708) 중 하나 이상은 그 각자의 시스템들 내부에 및/또는 외부에 있는 다른 구성요소들과 상호연결된 방식으로 동작하도록 구성되어 있을 수 있다.
게다가, 차량(700)은, 도시된 것들에 부가하여 또는 그 대신에, 하나 이상의 요소들을 포함할 수 있다. 예를 들어, 차량(700)은 하나 이상의 부가의 인터페이스들 및/또는 전원 공급 장치들을 포함할 수 있다. 다른 부가의 구성요소들이 또한 가능하다. 이러한 실시예들에서, 데이터 저장 장치(714)는 부가의 구성요소들을 제어하고 그리고/또는 그와 통신하기 위해 프로세서(712)에 의해 실행가능한 명령어들을 추가로 포함할 수 있다.
게다가, 구성요소들 및 시스템들 각각이 차량(700)에 통합되어 있는 것으로 도시되어 있지만, 어떤 실시예들에서, 하나 이상의 구성요소들 또는 시스템들이 차량(700) 상에 분리가능하게(removably) 탑재되어 있거나 그에 유선 또는 무선 연결들을 사용하여 다른 방식으로 (기계적으로 또는 전기적으로) 연결될 수 있다.
차량(700)은 또한 다른 형태들을 취할 수 있다.
어떤 실시예들에서, 개시된 방법들은 기계 판독가능 형식으로 비일시적 컴퓨터 판독가능 저장 매체 상에 또는 다른 비일시적 매체 또는 제조 물품들 상에 인코딩되어 있는 컴퓨터 프로그램 명령어들로서 구현될 수 있다. 도 8은 본 명세서에 제시된 적어도 어떤 실시예들에 따라 구성된, 컴퓨팅 디바이스 상에서 컴퓨터 프로세스를 실행하기 위한 컴퓨터 프로그램을 포함하는 한 예시적인 컴퓨터 프로그램 제품(800)의 부분 개념도를 나타낸 개략도이다.
하나의 실시예에서, 예시적인 컴퓨터 프로그램 제품(800)은 신호 전달 매체(signal bearing medium)(802)를 사용하여 제공된다. 신호 전달 매체(802)는, 하나 이상의 프로세서들에 의해 실행될 때, 도 1 내지 도 7과 관련하여 앞서 기술한 기능 또는 기능의 일부분들을 제공할 수 있는 하나 이상의 프로그래밍 명령어들(804)을 포함할 수 있다.
어떤 실시예들에서, 신호 전달 매체(802)는 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 메모리(이들로 제한되지 않음) 등과 같은 컴퓨터 판독가능 매체(806)를 포함할 수 있다. 게다가, 어떤 실시예들에서, 신호 전달 매체(802)는 메모리, R/W(read/write) CD, R/W DVD(이들로 제한되지 않음) 등과 같은 컴퓨터 기록가능 매체(808)를 포함할 수 있다. 게다가, 어떤 실시예들에서, 신호 전달 매체(802)는 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파로, 유선 통신 링크, 무선 통신 링크 등)(이들로 제한되지 않음)와 같은 통신 매체(810)를 포함할 수 있다. 이와 같이, 예를 들어, 신호 전달 매체(802)는 통신 매체(810)의 무선 형태에 의해 전달될 수 있다.
하나 이상의 프로그래밍 명령어들(804)은, 예를 들어, 컴퓨터 실행가능 및/또는 논리 구현(logic implemented) 명령어들일 수 있다. 어떤 예들에서, 도 7의 컴퓨팅 시스템(710)과 같은 컴퓨팅 시스템은, 프로그래밍 명령어들(804)이 컴퓨터 판독가능 매체(806), 컴퓨터 기록가능 매체(808), 및/또는 통신 매체(810) 중 하나 이상에 의해 컴퓨팅 시스템(710)으로 전달된 것에 응답하여, 다양한 동작들, 기능들, 또는 작용들을 제공하도록 구성되어 있을 수 있다.
본 명세서에 기술되어 있는 구성들이 단지 예시를 위한 것임을 잘 알 것이다. 그에 따라, 당업자라면 다른 구성들 및 다른 요소들(예컨대, 기계들, 인터페이스들, 기능들, 순서들, 및 기능들의 그룹들 등)이 그 대신에 사용될 수 있고, 어떤 요소들이 원하는 결과들에 따라 완전히 생략될 수 있다는 것을 잘 알 것이다. 게다가, 기술되어 있는 요소들 중 다수는 개별 또는 분산 구성요소들로서 또는 다른 구성요소들과 함께, 임의의 적당한 조합으로 그리고 임의의 적당한 위치에 구현될 수 있는 기능 엔터티들이다.
다양한 측면들 및 실시예들이 본 명세서에 개시되어 있지만, 다른 측면들 및 실시예들이 당업자에게는 명백할 것이다. 본 명세서에 개시되어 있는 다양한 측면들 및 실시예들은 예시를 위한 것이고 제한하기 위한 것이 아니며, 진정한 범주 및 사상은 이하의 청구항들에 의해 나타내어진다.

Claims (20)

  1. 검출된 교통 신호의 위치를 결정하는 단계;
    상기 검출된 교통 신호의 상태를 결정하는 단계;
    상기 검출된 교통 신호의 상기 결정된 위치로부터 교통 신호들의 하나 이상의 기지의(known) 위치들까지의 거리를 결정하는 단계;
    임계치 거리보다 큰 상기 결정된 거리 및 상기 검출된 교통 신호의 상기 상태에 적어도 기초하여, 차량에 대한 제어 명령을 결정하는 단계 - 상기 결정된 제어 명령은, 상기 검출된 교통 신호의 상기 상태가 황색이거나 결정될 수 없으면 감속하라는 지시, 및 상기 검출된 교통 신호의 상기 상태에 관계없이 상기 검출된 교통 신호에 대한 부가 정보를 획득하라는 지시를 포함함 -; 및
    상기 결정된 제어 명령에 따라 상기 차량의 움직임을 제어하는 단계
    를 포함하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 검출된 교통 신호의 상기 결정된 위치에 기초하여 상기 교통 신호들의 하나 이상의 기지의 위치를 결정하는 단계
    를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 교통 신호들의 하나 이상의 기지의 위치를 결정하는 단계는,
    상기 검출된 교통 신호의 상기 결정된 위치 및 교통 신호들의 위치들의 데이터베이스를 사용하여 최근접 이웃 검색을 수행하는 단계
    를 포함하는, 방법.
  5. 제1항에 있어서,
    지리적 위치 및 배향 정보를 획득하는 단계를 더 포함하고,
    상기 검출된 교통 신호의 상기 위치를 결정하는 단계는, 상기 지리적 위치 및 배향 정보에 기초하여 상기 검출된 교통 신호의 상기 위치를 결정하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 검출된 교통 신호의 상기 결정된 위치는 2차원 위치를 포함하는, 방법.
  7. 제5항에 있어서,
    상기 검출된 교통 신호의 상기 결정된 위치는 3차원 위치를 포함하는, 방법.
  8. 제1항에 있어서,
    영상을 획득하는 단계, 및
    상기 영상에서 상기 검출된 교통 신호를 검출하는 단계를 더 포함하고,
    상기 영상에서 상기 교통 신호를 검출하는 단계는 상기 영상에서 교통 신호들에 대해 예상되는 적색, 황색 및 녹색 물체들의 패턴을 식별하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    3차원 점군(three-dimensional point cloud)을 획득하는 단계, 및
    상기 3차원 점군에서 상기 교통 신호를 검출하는 단계를 더 포함하고,
    상기 3차원 점군에서 상기 교통 신호를 검출하는 단계는 상기 3차원 점군에서 교통 신호들에 대해 예상되는 형상을 가지는 물체를 식별하는 단계를 포함하는, 방법.
  10. 제1항에 있어서,
    상기 검출된 교통 신호는 목표 영역에서 검출되고,
    상기 검출된 교통 신호에 대한 상기 부가 정보를 획득하라는 지시는 목표 영역을 재스캔하라는 지시를 포함하는, 방법.
  11. 삭제
  12. 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 상기 컴퓨팅 디바이스로 하여금
    검출된 교통 신호의 위치를 결정하는 단계;
    상기 검출된 교통 신호의 상태를 결정하는 단계;
    상기 검출된 교통 신호의 상기 결정된 위치로부터 교통 신호들의 하나 이상의 기지의 위치들까지의 거리를 결정하는 단계;
    임계치 거리보다 큰 상기 결정된 거리 및 상기 검출된 교통 신호의 상기 상태에 적어도 기초하여, 차량에 대한 제어 명령을 결정하는 단계 - 상기 결정된 제어 명령은, 상기 검출된 교통 신호의 상기 상태가 황색이거나 결정될 수 없으면 감속하라는 지시, 및 상기 검출된 교통 신호의 상기 상태에 관계없이 상기 검출된 교통 신호에 대한 부가 정보를 획득하라는 지시를 포함함 -; 및
    상기 결정된 제어 명령에 따라 상기 차량의 움직임을 제어하는 단계
    를 포함하는 기능들을 수행하도록 하는, 비일시적 컴퓨터 판독가능 매체.
  13. 삭제
  14. 제12항에 있어서,
    상기 컴퓨팅 디바이스로 하여금,
    상기 검출된 교통 신호의 상기 결정된 위치에 기초하여 상기 교통 신호들의 하나 이상의 기지의 위치를 결정하는 단계
    를 포함하는 기능들을 수행하도록 하는 상기 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 더 포함하는 비일시적 컴퓨터 판독가능 매체.
  15. 제14항에 있어서,
    상기 교통 신호들의 하나 이상의 기지의 위치를 결정하는 단계는,
    상기 검출된 교통 신호의 상기 결정된 위치 및 교통 신호들의 위치들의 데이터베이스를 사용하여 최근접 이웃 검색을 수행하는 단계
    를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  16. 제12항에 있어서,
    상기 컴퓨팅 디바이스로 하여금,
    지리적 위치 및 배향 정보를 획득하는 단계
    를 포함하는 기능들을 수행하도록 하는 상기 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 더 포함하고,
    상기 검출된 교통 신호의 상기 위치를 결정하는 단계는, 상기 지리적 위치 및 배향 정보에 기초하여 상기 검출된 교통 신호의 상기 위치를 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 차량으로서,
    하나 이상의 센서들;
    메모리;
    프로세서; 및
    상기 메모리에 저장되고 상기 프로세서에 의해 실행가능한 명령어들을 포함하고, 상기 명령어들은
    검출된 교통 신호의 위치를 결정하고,
    상기 검출된 교통 신호의 상태를 결정하고,
    상기 검출된 교통 신호의 상기 결정된 위치로부터 교통 신호들의 하나 이상의 기지의 위치들까지의 거리를 결정하고,
    임계치 거리보다 큰 상기 결정된 거리 및 상기 검출된 교통 신호의 상기 상태에 적어도 기초하여, 상기 차량에 대한 제어 명령을 결정하고 - 상기 결정된 제어 명령은, 상기 검출된 교통 신호의 상기 상태가 황색이거나 결정될 수 없으면 감속하라는 지시, 및 상기 검출된 교통 신호의 상기 상태에 관계없이 상기 검출된 교통 신호에 대한 부가 정보를 획득하라는 지시를 포함함 -,
    상기 결정된 제어 명령에 따라 상기 차량의 움직임을 제어하는, 차량.
  18. 삭제
  19. 제17항에 있어서,
    상기 검출된 교통 신호의 상기 결정된 위치에 기초하여 상기 교통 신호들의 하나 이상의 기지의 위치를 결정하는,
    상기 메모리에 저장되고 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 차량.
  20. 제17항에 있어서,
    상기 차량은 자율 모드(autonomous mode)에서 동작되도록 구성된, 차량.
KR1020167034056A 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법 KR101839554B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/430,150 2012-03-26
US13/430,150 US9145140B2 (en) 2012-03-26 2012-03-26 Robust method for detecting traffic signals and their associated states
PCT/US2013/024573 WO2013147994A1 (en) 2012-03-26 2013-02-04 A robust method for detecting traffic signals and their associated states

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147027190A Division KR20140130521A (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007123A Division KR101953521B1 (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법

Publications (2)

Publication Number Publication Date
KR20160143885A KR20160143885A (ko) 2016-12-14
KR101839554B1 true KR101839554B1 (ko) 2018-03-19

Family

ID=49212735

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167034056A KR101839554B1 (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법
KR1020187007123A KR101953521B1 (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법
KR1020147027190A KR20140130521A (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020187007123A KR101953521B1 (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법
KR1020147027190A KR20140130521A (ko) 2012-03-26 2013-02-04 교통 신호 및 그의 연관된 상태를 검출하는 강건한 방법

Country Status (6)

Country Link
US (5) US9145140B2 (ko)
EP (3) EP3851351B1 (ko)
JP (2) JP6270064B2 (ko)
KR (3) KR101839554B1 (ko)
CN (2) CN104411559B (ko)
WO (1) WO2013147994A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169822B2 (en) 2011-12-02 2019-01-01 Spireon, Inc. Insurance rate optimization through driver behavior monitoring
US8510200B2 (en) 2011-12-02 2013-08-13 Spireon, Inc. Geospatial data based assessment of driver behavior
US8831849B2 (en) 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US20140095061A1 (en) * 2012-10-03 2014-04-03 Richard Franklin HYDE Safety distance monitoring of adjacent vehicles
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US9779379B2 (en) 2012-11-05 2017-10-03 Spireon, Inc. Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system
US8933802B2 (en) 2012-11-05 2015-01-13 Spireon, Inc. Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system
CA2833985C (en) * 2012-11-19 2020-07-07 Rosemount Aerospace, Inc. Collision avoidance system for aircraft ground operations
DE102012111740A1 (de) * 2012-12-03 2014-06-05 Continental Teves Ag & Co. Ohg Verfahren zur Unterstützung eines eine Ampel detektierenden Ampelphasenassistenten eines Fahrzeugs
US10008113B2 (en) * 2013-04-12 2018-06-26 Traffic Technology Services, Inc. Hybrid distributed prediction of traffic signal state changes
US9928738B2 (en) 2013-04-12 2018-03-27 Traffic Technology Services, Inc. Red light warning system based on predictive traffic signal state data
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
CN105555606B (zh) * 2013-08-19 2018-06-12 金泰克斯公司 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像系统和方法
US9779449B2 (en) 2013-08-30 2017-10-03 Spireon, Inc. Veracity determination through comparison of a geospatial location of a vehicle with a provided data
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150186991A1 (en) 2013-12-31 2015-07-02 David M. Meyer Creditor alert when a vehicle enters an impound lot
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
DE102014205953A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
CN105023452B (zh) * 2014-04-24 2017-09-29 深圳市赛格导航科技股份有限公司 一种多路交通信号灯信号采集的方法及装置
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
US9550498B2 (en) * 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
JP6331811B2 (ja) * 2014-07-18 2018-05-30 日産自動車株式会社 信号機検出装置及び信号機検出方法
FR3024256B1 (fr) * 2014-07-23 2016-10-28 Valeo Schalter & Sensoren Gmbh Detection de feux tricolores a partir d'images
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9767366B1 (en) * 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
US9536311B2 (en) * 2014-09-29 2017-01-03 General Electric Company System and method for component detection
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9551788B2 (en) 2015-03-24 2017-01-24 Jim Epler Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
KR101942214B1 (ko) * 2015-06-05 2019-01-24 닛산 지도우샤 가부시키가이샤 신호기 검출 장치 및 신호기 검출 방법
EP3309767B1 (en) * 2015-06-09 2020-01-01 Nissan Motor Co., Ltd. Traffic signal detection device and traffic signal detection method
EP3324383B1 (en) * 2015-07-13 2021-05-19 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
US9594378B2 (en) * 2015-07-31 2017-03-14 Delphi Technologies, Inc. Variable object detection field-of-focus for automated vehicle control
US9463794B1 (en) 2015-09-04 2016-10-11 Google Inc. Stop sign detection and response
JP6350468B2 (ja) * 2015-09-18 2018-07-04 トヨタ自動車株式会社 運転支援装置
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
US9834218B2 (en) 2015-10-28 2017-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining action at traffic signals
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US10119827B2 (en) 2015-12-10 2018-11-06 Uber Technologies, Inc. Planning trips on a road network using traction information for the road network
US10018472B2 (en) 2015-12-10 2018-07-10 Uber Technologies, Inc. System and method to determine traction of discrete locations of a road segment
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
KR101951035B1 (ko) 2016-01-29 2019-05-10 한국전자통신연구원 차량의 자율 주행 시스템 및 그 방법
JP6536698B2 (ja) * 2016-01-29 2019-07-03 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
FR3047217B1 (fr) * 2016-02-03 2019-08-16 Valeo Schalter Und Sensoren Gmbh Dispositif de determination de l'etat d'un feu de signalisation, systeme embatque comprenant un tel dispositif, vehicule comprenant un tel systeme et procede de determination associe
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US10126141B2 (en) * 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP6786264B2 (ja) 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10719083B2 (en) 2016-07-01 2020-07-21 Uatc, Llc Perception system for autonomous vehicle
DE102016212196A1 (de) * 2016-07-05 2018-01-11 Robert Bosch Gmbh Verfahren zum Auswerten von Sensordaten
DE102016212702A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern zumindest eines Fahrparameters eines Fahrzeugs während einer Fahrt
US9977975B2 (en) * 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
CN107886029B (zh) * 2016-09-30 2020-08-25 比亚迪股份有限公司 定位交通灯背景框的方法、装置及车辆
KR102581779B1 (ko) * 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10891496B2 (en) * 2016-11-01 2021-01-12 Mitsubishi Electric Corporation Information presentation method
CN110050171B (zh) * 2016-12-05 2022-03-01 新唐科技日本株式会社 摄像装置和该摄像装置中使用的固体摄像元件
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
US10139832B2 (en) * 2017-01-26 2018-11-27 Intel Corporation Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
DE102017203236A1 (de) * 2017-02-28 2018-08-30 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
US10437256B2 (en) * 2017-03-23 2019-10-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing time sensitive autonomous intersection management
JP2020515966A (ja) * 2017-03-31 2020-05-28 スリーエム イノベイティブ プロパティズ カンパニー 較正情報を有する通路用物品
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
US10585180B2 (en) 2017-06-21 2020-03-10 International Business Machines Corporation Management of mobile objects
US10535266B2 (en) 2017-06-21 2020-01-14 International Business Machines Corporation Management of mobile objects
US10600322B2 (en) 2017-06-21 2020-03-24 International Business Machines Corporation Management of mobile objects
US10504368B2 (en) 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects
US10546488B2 (en) 2017-06-21 2020-01-28 International Business Machines Corporation Management of mobile objects
US10540895B2 (en) 2017-06-21 2020-01-21 International Business Machines Corporation Management of mobile objects
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
CN107393074B (zh) 2017-07-21 2019-01-18 北京图森未来科技有限公司 实现车辆自动过卡的方法和系统、相关设备
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
US11260875B2 (en) 2017-12-07 2022-03-01 Uatc, Llc Systems and methods for road surface dependent motion planning
CN110019627B (zh) * 2017-12-25 2022-04-12 北京京东乾石科技有限公司 识别交通导流线的方法及其系统、计算机系统
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
DE102018201374B3 (de) * 2018-01-30 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Absorbervorrichtung für eine Lichtzeichenanlage und Absorbervorrichtungs-Assistenzsystem für ein Fahrzeug
DE102018203353A1 (de) * 2018-03-07 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zum Betreiben einer Fahrfunktion an einer Signalisierungsanlage
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US11221240B2 (en) * 2018-04-30 2022-01-11 Ford Global Technologies, Llc Sensor housing drainage
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
CN109035831B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
US10852743B2 (en) * 2018-09-07 2020-12-01 GM Global Technology Operations LLC Multimodal multi-technique signal fusion system for autonomous vehicle
WO2020057754A1 (en) * 2018-09-21 2020-03-26 Toyota Motor Europe Systems and methods for traffic light identification
JP7326018B2 (ja) * 2018-10-18 2023-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
WO2020079927A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、プログラム及び情報処理方法
CN109635639B (zh) * 2018-10-31 2020-06-09 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
CN109785655B (zh) * 2018-12-11 2020-09-29 北京百度网讯科技有限公司 车辆控制方法、装置、设备、无人驾驶车辆及存储介质
US10339400B1 (en) * 2018-12-18 2019-07-02 Chongqing Jinkang New Energy Automobile Co., Ltd. Traffic light detection using multiple cameras
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN111508224A (zh) * 2019-01-30 2020-08-07 奥迪股份公司 交通状态的预测方法、装置、计算机设备和存储介质
CN109829867B (zh) * 2019-02-12 2022-09-09 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
JP7093738B2 (ja) * 2019-03-08 2022-06-30 本田技研工業株式会社 車両制御装置
JP2020160560A (ja) * 2019-03-25 2020-10-01 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
DE112020002604T5 (de) * 2019-05-29 2022-03-03 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
JP7268497B2 (ja) 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
DE102019119084A1 (de) * 2019-07-15 2021-01-21 Valeo Schalter Und Sensoren Gmbh Bestimmen eines Signalstatus einer Lichtsignalanlage
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
KR20210016927A (ko) * 2019-08-06 2021-02-17 현대자동차주식회사 차량 내 장치 및 그의 신호등 정보 제공 방법
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
DE102019215095A1 (de) * 2019-10-01 2021-04-01 Volkswagen Aktiengesellschaft Gütebestimmungsverfahren, Gütebestimmungsvorrichtung, Kraftfahrzeug
CN110794867B (zh) 2019-10-18 2020-10-30 合肥工业大学 通信干扰下无人机编队信息交互拓扑智能决策方法和装置
US11373519B2 (en) * 2019-11-11 2022-06-28 GM Global Technology Operations LLC Traffic signal management for autonomous vehicle operation
US11769337B2 (en) 2019-11-12 2023-09-26 Nissan Motor Co., Ltd. Traffic signal recognition method and traffic signal recognition device
CN110962847B (zh) * 2019-11-26 2021-10-08 清华大学苏州汽车研究院（吴江） 车道居中辅助自适应巡航的轨迹规划方法和系统
KR20210068223A (ko) * 2019-11-29 2021-06-09 (주)언맨드솔루션 자율주행 주행경로에 필요한 신호등 체계 분석 시스템
US11544936B2 (en) 2019-12-20 2023-01-03 Zoox, Inc. In-path obstacle detection and avoidance system
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
RU2764223C2 (ru) 2019-12-25 2022-01-14 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для определения состояния светофора
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
US11854212B2 (en) 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11288528B2 (en) * 2020-05-12 2022-03-29 Baidu Usa Llc Differentiation-based traffic light detection
US11938939B1 (en) 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US11900689B1 (en) 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
DE102020208378B3 (de) * 2020-07-03 2021-09-23 Volkswagen Aktiengesellschaft Ampelspurzuordnung aus Schwarmdaten
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
EP3968305A1 (en) * 2020-09-15 2022-03-16 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
CN112053578A (zh) * 2020-09-15 2020-12-08 福建振杭机器人装备制造有限责任公司 基于机器视觉技术的红绿灯预警方法及其检测装置
DE102020126673A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zur Ausgabe von Information in Bezug auf eine Signalisierungseinheit
DE102020126670A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in unterschiedlichen Modi
DE102020126679A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in Abhängigkeit von einem Vorder-Fahrzeug
CN112504290A (zh) * 2020-11-06 2021-03-16 北京航迹科技有限公司 确定最近道路边界的方法、装置、设备和存储介质
RU2760038C1 (ru) * 2021-06-02 2021-11-22 Олег Борисович Лапшев Способ распознавания дорожных знаков
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US20230044819A1 (en) * 2021-08-04 2023-02-09 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
US20230169780A1 (en) * 2021-12-01 2023-06-01 Motional Ad Llc Automatically detecting traffic signals using sensor data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP3646605B2 (ja) 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
US9205849B2 (en) * 2012-05-23 2015-12-08 General Electric Company System and method for inspecting a route during movement of a vehicle system over the route
JP4136529B2 (ja) * 2002-08-12 2008-08-20 パイオニア株式会社 情報処理装置、そのシステム、その方法、そのプログラム、そのプログラムを記録する記録媒体、および、ナビゲーション装置
JP2004171459A (ja) 2002-11-22 2004-06-17 Denso Corp 車両走行支援装置および車両走行支援システム
JP4475015B2 (ja) * 2004-06-01 2010-06-09 トヨタ自動車株式会社 車両周辺監視装置及び車両周辺監視方法
TWI236901B (en) 2004-06-11 2005-08-01 Oriental Inst Technology An apparatus and method for identifying surrounding environment by means of image processing and for outputting the resutls
US7363151B2 (en) * 2004-06-21 2008-04-22 Matsushita Electric Industrial Co., Ltd. Map error information obtaining system and map error information obtaining method
JP4507815B2 (ja) 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
CA2864027C (en) * 2005-10-14 2017-05-02 Aldo Zini Robotic ordering and delivery apparatuses, systems and methods
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
JP4783431B2 (ja) * 2006-09-28 2011-09-28 パイオニア株式会社 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
US9302678B2 (en) 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
US8233670B2 (en) 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US8031062B2 (en) * 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP2009257892A (ja) * 2008-04-15 2009-11-05 Sumitomo Electric Ind Ltd 位置特定装置、位置特定システム、位置特定方法及びコンピュータプログラム
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
JP4824728B2 (ja) * 2008-07-31 2011-11-30 富士通テン株式会社 車載装置、ナビゲーションシステム及びその制御方法
JP5057166B2 (ja) * 2008-10-30 2012-10-24 アイシン・エィ・ダブリュ株式会社 安全運転評価システム及び安全運転評価プログラム
US8903574B2 (en) * 2009-10-22 2014-12-02 General Electric Company System and method for vehicle communication, vehicle control, and/or route inspection
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
US20110302214A1 (en) * 2010-06-03 2011-12-08 General Motors Llc Method for updating a database
US8296030B2 (en) * 2010-07-07 2012-10-23 Robert Bosch Gmbh System and method for controlling the engine of a vehicle
JP2012048345A (ja) 2010-08-25 2012-03-08 Denso Corp 車載装置
CN101958051A (zh) * 2010-09-15 2011-01-26 浙江中控研究院有限公司 一种交通信号提示系统及方法
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
KR101254957B1 (ko) * 2011-07-18 2013-04-16 이흥수 교통 신호 제어 장치 및 방법
JP5712847B2 (ja) * 2011-07-28 2015-05-07 アイシン・エィ・ダブリュ株式会社 信号機増減検出システム、信号機増減検出装置、信号機増減検出方法及びコンピュータプログラム
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
HUE038758T2 (hu) * 2015-09-21 2018-11-28 Urban Software Inst Gmbh Számítógépi rendszer és eljárás forgalmi rendszer monitorozására
US20170350713A1 (en) * 2016-06-02 2017-12-07 Delphi Technologies, Inc. Map update system for automated vehicles
US10650257B2 (en) * 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
US10300894B2 (en) * 2017-03-13 2019-05-28 Denso International America, Inc. Auto-braking system for vehicle and method for auto-braking vehicle
US10699142B2 (en) * 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178223A (ja) * 2005-12-27 2007-07-12 Aisin Aw Co Ltd 地物認識装置
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states

Also Published As

Publication number Publication date
EP4283574A2 (en) 2023-11-29
US20210039648A1 (en) 2021-02-11
JP6622265B2 (ja) 2019-12-18
EP2830922A4 (en) 2015-11-25
JP2018014124A (ja) 2018-01-25
US20130253754A1 (en) 2013-09-26
EP4283574A3 (en) 2024-01-10
JP2015518600A (ja) 2015-07-02
US9796386B2 (en) 2017-10-24
EP3851351A2 (en) 2021-07-21
KR101953521B1 (ko) 2019-02-28
EP2830922B1 (en) 2021-04-21
EP2830922A1 (en) 2015-02-04
KR20180031056A (ko) 2018-03-27
WO2013147994A1 (en) 2013-10-03
US9145140B2 (en) 2015-09-29
EP3851351B1 (en) 2023-11-15
CN104411559A (zh) 2015-03-11
US10906548B2 (en) 2021-02-02
KR20160143885A (ko) 2016-12-14
US11731629B2 (en) 2023-08-22
CN108482378B (zh) 2021-09-14
EP3851351A3 (en) 2021-11-10
CN104411559B (zh) 2018-04-20
US20170355375A1 (en) 2017-12-14
KR20140130521A (ko) 2014-11-10
US20230339469A1 (en) 2023-10-26
JP6270064B2 (ja) 2018-01-31
US20150360692A1 (en) 2015-12-17
CN108482378A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
US11731629B2 (en) Robust method for detecting traffic signals and their associated states
US11900693B2 (en) Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US11281918B1 (en) 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US10181084B2 (en) Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US9336436B1 (en) Methods and systems for pedestrian avoidance
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US9261881B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection
US8761991B1 (en) Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9355562B1 (en) Using other vehicle trajectories to aid autonomous vehicles driving through partially known areas

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
N231 Notification of change of applicant
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant