KR101534056B1

KR101534056B1 - 교통 신호 맵핑 및 검출

Info

Publication number: KR101534056B1
Application number: KR1020127021883A
Authority: KR
Inventors: 나다니엘 페어필드; 크리스토퍼 엄슨; 세바스티안 스런
Original assignee: 구글 인코포레이티드
Priority date: 2010-01-22
Filing date: 2011-01-20
Publication date: 2015-07-06
Also published as: US20140185880A1; US8818043B2; CN102792316B; JP2017004558A; US8712104B2; KR20120118478A; EP2526508B1; US8559673B2; JP6494719B2; EP2526508A1; JP2018013497A; WO2011091099A1; US20110182475A1; CN102792316A; JP2013518298A; JP6006641B2; US20140016826A1; JP6230673B2

Abstract

시스템 및 방법은 신호등들의 3차원 위치를 식별하는 지도를 제공한다. 신호등의 장소, 위치, 및 방향은 둘 또는 그 이상의 영상들에 의하여 자동으로 추정된다. 그리고 지도들은 교통 신호의 상태 및 위치를 식별하기 위하여 로봇 차량이나 인간 운전자를 보조하는데 사용된다.

Description

교통 신호 맵핑 및 검출{TRAFFIC SIGNAL MAPPING AND DETECTION}

본 출원은, 2010년 1월 22일에 출원된 미국 가출원 제61/297,468호에 대한 우선권을 주장하며, 그 명칭이 “교통 신호 맵핑 및 검출”인 2010년 6월 21일에 출원된 미국 출원 제12/819,575호에 대한 우선권을 주장하며, 해당 출원의 모든 개시 내용은 참조로서 본 출원에 포함된다.

본 발명은 일반적으로 교통 신호들의 지도들을 만드는 것에 관련된다. 더욱 구체적으로, 이들 지도들은 실시간 교통 신호 검출을 수행하는데 사용될 수 있다.

차량의 중요한 요소는 인식(perception) 시스템으로, 차량이 운행 중 그 주변의 인식 및 해석이 가능하도록 한다. 인간은 이러한 운행의 문제를 쉽게 하도록 설계하여 왔다. 예를 들어, 도로에 칠해진 차선들에 의하여 구획되는 차로, 교차로에서 우선 순위(precedence)를 위한 신호등, 브레이크 신호들 및 회전 신호들은 모두 인식 작업을 단순화하기 위하여 의도된 것들이다. 로봇들은 이들 운행 보조들을 사용할 수 있으나, 많은 경우에 로봇들은 비전 대신에 레이더나 라이더(lidar)와 같은 감지 양식들(sensing modalities)을 선택적으로 사용할 수도 있다. 이들 다른 감지 양식들에 더하여, 로봇들은 종종 온라인 인식을 단순화하기 위하여 이전 지도들을 레버리징(leverage) 한다. 정지 신호들, 속도 제한들, 차선들, 등등을 포함하는 이전 지도를 사용하여, 로봇 차량은 상기 지도에 대한 자신의 장소를 추정(위치 추정(localization))하는 문제, 및 다른 차량들과 같은 동적인 장애물들을 다루는 문제에 대하여 탑재된 인식 요구조건들(onboard perception requirements)을 크게 간략화할 수 있다.

교통 신호들은 로봇 차량들에 있어서 주요 과제이다. 라디오를 통하여 신호등의 상태를 방송하기 위한 노력이 이루어져 왔으나, 이는 인프라구조에 현저한 투자를 요한다. 로봇들은 종종 자신들의 주변을 인식하기 위하여 레이더나 라이더와 같은 능동 센서를 사용할 수 있는 반면, 교통 신호들의 상태는 시각적으로만 인식할 수 있다. 비록 외부 조건의 다양성 때문에 어떤 시각적 작업은 쉽지 않으나, 신호등들은 잘 보이도록 설계되었다.

본 발명은 일반적으로 교통 신호들의 지도들을 만드는 것에 관련된다. 더욱 구체적으로, 이들 지도들은 실시간 교통 신호들의 상태 검출을 수행하는데 사용될 수 있다.

본 발명의 일 측면은 교통 신호들의 3차원 위치를 결정하는 방법을 제공한다. 상기 방법은 복수의 영상들을 수신하며, 상기 복수의 영상들 각각은 지리적 위치 및 방향 정보와 연관되는 단계; 교차로에 근접한 상기 지리적 위치와 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 컴퓨터에 의하여 선택하는 단계; 각 선택된 영상에 대하여, 상기 컴퓨터로 상기 선택된 영상 내에 적색, 황색, 및 녹색 물체들을 식별하는 단계; 둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하는 단계; (1) 상기 둘 또는 그 이상의 상기 선택된 영상들 사이의 상기 식별된 연관성들 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하는 단계; 및 상기 교통 신호들의 상기 3차원 위치들을 상기 컴퓨터로 접근 가능한 메모리에 저장하는 단계;를 포함한다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 방법은 상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 포함한다.

또 다른 예로서, 상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량에 연관된다. 선택적으로, 상기 하나 또는 그 이상의 카메라들 각각은 차량에 장착된다. 다른 선택으로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 상기 지리적 위치 장치(geographic position device)에 의하여 결정되는 상기 카메라의 상기 지리적 위치 및 방향 정보에 기초하여 생성된다.

또 다른 예로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 레이저 장소측정 장치(laser positioning device)에 의하여 결정된다.

또 다른 예로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 GPS 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 관성(inertial) 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 지리적 위치 정보는 GPS 위도 및 경도 좌표이다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 각 카메라는 차량과 연관되며, 상기 하나 또는 그 이상의 카메라들 각각은 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 각 카메라는 차량과 연관되며, 상기 복수의 영상들의 각 영상은 상기 하나 또는 그 이상의 카메라들로부터 네트워크를 통하여 상기 장치로 업로드 된다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 각 카메라는 차량과 연관되며, 상기 하나 또는 그 이상의 카메라들 각각은 상기 차량의 운전자의 시야를 최소한으로 방해하도록 위치한다.

또 다른 예로서, 상기 식별된 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 적절한 크기 및 종횡비(aspect ratios)이다. 더욱 추가적인 예로서, 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 상기 둘 또는 그 이상의 선택된 영상들의 식별된 물체들 사이의 연관 거리에 기초한다.

또 다른 예로서, 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 교통 신호의 물리적 크기에 기초한다.

또 다른 예로서, 둘 또는 그 이상의 선택된 영상들의 상기 연관된 적색, 황색, 및 녹색 물체들을 식별하는 것은 상기 선택된 영상들 사이의 직접 움직임 보상(direct motion compensation)에 기초하고, 각 선택된 영상은 움직이는 차량에 장착된 카메라에 의하여 촬영된다.

또 다른 예로서, 상기 방법은 상기 직접 움직임 보상에 기초하여, 선택된 영상 내의 적색, 황색, 및 녹색 물체들 중 상기 식별된 물체를 교통 신호 불빛이 아닌 물체로 식별하는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 결정한 상기 특정 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 특정 교통 신호에 연관된 차선을 결정하는 단계를 포함한다.

또 다른 예로서, 상기 방법이 상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 포함할 때, 상기 방법은 차량의 제2 컴퓨터로 상기 지도를 다운로드 하는 단계를 포함한다.

또 다른 예로서, 상기 방법이 상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 포함할 때, 상기 방법은 상기 지도를 클라이언트 장치로 다운로드 하는 단계를 포함한다.

또 다른 예로서, 상기 방법이 상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 포함할 때, 상기 방법은 클라이언트 장치로부터 지리적 위치를 수신하는 단계 및 상기 수신한 지리적 위치에 기초하여 상기 지도의 부분을 상기 클라이언트 장치로 전송하는 단계를 포함한다.

본 발명의 다른 측면은 교통 신호들의 3차원 위치들을 결정하는 장치를 제공한다. 상기 장치는 프로세서 및 메모리를 포함한다. 상기 프로세서는 복수의 영상들을 수신하며, 상기 복수의 영상들 각각은 지리적 위치 및 방향 정보와 연관되며; 교차로에 근접한 상기 지리적 위치와 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 선택하고; 각 선택된 영상에 대하여, 상기 선택된 영상 내에 적색, 황색, 및 녹색 물체들을 식별하고; 둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하고; (1) 상기 둘 또는 그 이상의 상기 선택된 영상들 사이의 상기 식별된 연관성들 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하고; 그리고 교통 신호들의 상기 3차원 위치들을 상기 장치로 접근 가능한 메모리에 저장하도록 구성된다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 프로세서는 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하도록 구성될 수 있을 것이다.

또 다른 예로서, 상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량에 연관된다. 선택적으로, 상기 하나 또는 그 이상의 카메라들 각각은 차량에 장착된다. 다른 선택으로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 상기 지리적 장소 장치에 의하여 결정되는 상기 카메라의 상기 지리적 위치 및 방향 정보에 기초하여 생성된다.

또 다른 예로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 레이저 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 각 영상과 연관된 상기 지리적 위치 및 방향 정보는 관성 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 상기 하나 또는 그 이상의 카메라들 각각은 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 상기 복수의 영상들의 각 영상은 상기 하나 또는 그 이상의 카메라들로부터 네트워크를 통하여 상기 장치로 업로드 된다.

또 다른 예로서, 상기 복수의 영상들 각각이 하나 또는 그 이상의 카메라들에 의하여 수집될 때, 상기 하나 또는 그 이상의 카메라들 각각은 상기 차량의 운전자의 시야를 최소한으로 방해하도록 위치한다.

또 다른 예로서, 상기 식별된 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 적절한 크기 및 종횡비이다.

또 다른 예로서, 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 상기 둘 또는 그 이상의 선택된 영상들의 식별된 물체들 사이의 연관 거리에 기초한다.

또 다른 예로서, 둘 또는 그 이상의 선택된 영상들의 상기 연관된 적색, 황색, 및 녹색 물체들을 식별하는 것은 상기 선택된 영상들 사이의 직접 움직임 보상에 기초하고, 각 선택된 영상은 움직이는 차량에 장착된 카메라에 의하여 촬영된다.

또 다른 예로서, 상기 프로세서는 상기 직접 움직임 보상에 기초하여, 선택된 영상 내의 적색, 황색, 및 녹색 물체들 중 상기 식별된 물체를 교통 신호 불빛이 아닌 물체로 식별하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 결정한 상기 특정 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 특정 교통 신호에 연관된 차선을 결정하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 차량에 연관된 제2 컴퓨터로 상기 지도를 다운로드 하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 지도를 클라이언트 장치로 다운로드 하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서가 상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하도록 구성되었을 때, 상기 프로세서는 클라이언트 장치로부터 지리적 위치를 수신하고 및 상기 수신한 지리적 위치에 기초하여 상기 지도의 부분을 상기 클라이언트 장치로 전송하도록 더욱 구성된다.

본 발명의 추가적인 측면은 교통 신호의 상태를 결정하는 방법을 제공한다. 상기 방법은 클라이언트 장치의 현재 위치를 반복적으로 결정하는 단계; 상기 클라이언트 장치의 상기 현재 위치를 교통 신호들의 3차원 위치들의 지도에 비교하는 것에 기초하여 교통 신호의 경계의 추정된 위치를 결정하는 단계; 상기 추정된 위치의 영상들을 수집하는 단계; 각 수집된 영상에 대하여, 상기 클라이언트 장치에 의하여 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계; 및 상기 식별된 물체의 색상에 기초하여 상기 교통 신호의 상태를 결정하는 단계;를 포함한다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 영상들은 상기 클라이언트 장치의 카메라에 의하여 수집될 수 있다.

또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 레이저 기반 장소측정 장치에 의하여 결정된다. 또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 레이저 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 GPS 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 관성 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 클라이언트 장치의 카메라에 의하여 상기 영상들이 수집될 때, 상기 카메라는 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 클라이언트 장치의 카메라에 의하여 상기 영상들이 수집될 때, 상기 방법은 상기 클라이언트 장치의 메모리로부터 상기 교통 신호들의 3차원 위치들의 지도에 접근하는 단계를 포함한다.

또 다른 예로서, 상기 교통 신호의 상태를 결정하는 것은 상기 추정된 위치의 경계 내의 상기 식별된 물체의 위치에 기초한다.

또 다른 예로서, 상기 추정된 위치의 경계는 크기와 연관되며, 상기 크기는 상기 교통 신호의 크기보다 더 크다.

또 다른 예로서, 상기 방법은 상기 클라이언트 장치의 상기 현재 위치를 교차로에 걸친 교통 차선의 지도에 비교하는 것에 기초하여 상기 클라이언트 장치에 연관된 교통 차선을 결정하는 단계를 포함한다.

선택적으로, 상기 교통 신호의 경계의 추정된 위치를 결정하는 것은 상기 클라이언트 장치에 연관된 상기 교통 차선에 기초한다.

또 다른 예로서, 상기 방법은 네트워크를 통하여 컴퓨터로부터 교통 신호들의 3차원 위치들의 지도를 요청하는 단계를 포함하는 단계를 포함하며, 상기 요청은 상기 클라이언트 장치의 상기 현재 위치를 포함한다.

또 다른 예로서, 상기 방법은 네트워크를 통하여 컴퓨터로부터 교통 신호들의 3차원 위치들의 지도를 수신하는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 교통 신호의 상태가 디폴트 상태(default status)로부터 변경되었는지를 결정하는 단계를 포함한다. 선택적으로, 상기 교통 신호의 상기 추정된 위치의 상기 경계 내에 식별된 물체가 없는 경우, 상기 방법은 상기 교통 신호의 상태가 상기 디폴트 상태라고 결정하는 단계를 포함한다. 또한 선택적으로, 상기 디폴트 상태는 황색 불빛이다. 더욱 선택적으로, 상기 디폴트 상태는 적색 불빛이다.

또 다른 예로서, 상기 방법은 차량에 연관된 컴퓨터로 상기 교통 신호의 상태를 전송하는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 불빛의 상태가 적색 또는 황색일 경우 상기 차량을 감속하는 단계를 포함한다. 또 다른 예로서, 상기 방법은 상기 교통 신호의 상태를 청각적으로 식별하는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 교통 신호의 상기 상태에 기초하여 운전 명령(instruction)을 제공하는 단계를 포함한다.

또 다른 예로서, 상기 클라이언트 장치는 전자 디스플레이를 포함하고, 상기 방법은 상기 전자 디스플레이에 상기 교통 신호의 상태를 식별하는 단계를 더 포함한다.

본 발명의 또 다른 측면은 교통 신호들의 3차원 위치들을 결정하는 장치를 제공한다. 상기 장치는 프로세서 및 2차 리소스 파일들(resource files)을 저장하기 위한 제1 부분을 포함하는 메모리를 포함한다. 상기 프로세서는 클라이언트 장치의 현재 위치를 반복적으로 결정하고; 상기 클라이언트 장치의 상기 현재 위치를 교통 신호들의 3차원 위치들의 지도에 비교하는 것에 기초하여 교통 신호의 경계의 추정된 위치를 결정하고; 상기 추정된 위치의 영상들을 수집하고; 각 수집된 영상에 대하여, 상기 클라이언트 장치에 의하여 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 적색, 황색, 및 녹색 물체들을 식별하고; 상기 식별된 물체의 색상에 기초하여 상기 교통 신호의 상태를 결정하도록 구성된다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 장치는 상기 추정된 위치의 상기 영상들을 수집하기 위한 카메라를 포함할 수 있다.

또 다른 예로서, 상기 클라이언트 장치의 상기 위치는 레이저 장소측정 장치에 의하여 결정될 수 있다.

또 다른 예로서, 상기 장치는 레이저 기반 장소측정 장치를 포함하고, 상기 클라이언트 장치의 상기 현재 위치는 레이저 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 장치는 GPS 기반 장소측정 장치를 포함하고, 상기 클라이언트 장치의 상기 현재 위치는 GPS 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 장치는 관성 기반 장소측정 장치를 포함하고, 상기 클라이언트 장치의 상기 현재 위치는 관성 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 카메라는 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 프로세서는 상기 클라이언트 장치의 메모리로부터 상기 교통 신호들의 3차원 위치들의 지도에 접근하도록 구성된다.

또 다른 예로서, 상기 프로세서는 상기 추정된 위치의 경계 내의 상기 식별된 물체의 위치에 기초하여 상기 교통 신호의 상태를 결정한다.

또 다른 예로서, 상기 프로세서는 상기 클라이언트 장치의 상기 현재 위치를 교차로에 걸친 교통 차선의 지도에 비교하는 것에 기초하여 상기 클라이언트 장치에 연관된 교통 차선을 결정하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 클라이언트 장치에 연관된 상기 교통 차선에 기초하여 상기 교통 신호의 경계의 추정된 위치를 결정한다.

또 다른 예로서, 상기 프로세서는 네트워크를 통하여 컴퓨터로부터 상기 교통 신호들의 3차원 위치들의 지도를 요청하도록 더욱 구성되고, 상기 요청은 상기 클라이언트 장치의 상기 현재 위치를 포함한다.

또 다른 예로서, 상기 프로세서는 상기 교통 신호의 상기 경계들의 추정된 위치를 결정하며, 프로세서는 네트워크를 통하여 컴퓨터로부터 상기 교통 신호들의 3차원 위치들의 지도를 수신하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 교통 신호의 상태가 디폴트 상태로부터 변경되었는지를 결정하도록 더욱 구성된다. 선택적으로, 상기 프로세서는 상기 교통 신호의 상기 추정된 위치의 상기 경계 내에 식별된 물체가 없는 경우, 상기 교통 신호의 상태가 상기 디폴트 상태라고 결정하도록 더욱 구성된다. 선택적으로, 상기 디폴트 상태는 황색 불빛이다. 더욱 선택적으로, 상기 디폴트 상태는 적색 불빛이다.

또 다른 예로서, 상기 프로세서는 차량에 연관된 컴퓨터로 상기 교통 신호의 상태를 전송하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 불빛의 상태가 적색 또는 황색일 경우 상기 차량을 감속하도록 더욱 구성된다. 또 다른 예로서, 상기 프로세서는 상기 교통 신호의 상태를 청각적으로 식별하도록 더욱 구성된다.

또 다른 예로서, 상기 프로세서는 상기 교통 신호의 상기 상태에 기초하여 운전 명령을 제공하도록 더욱 구성된다.

또 다른 예로서, 상기 장치는 차량에 장착된다.

또 다른 예로서, 상기 장치는 휴대용 장치이다. 또 다른 예로서, 상기 장치는 전자 디스플레이를 포함하며, 상기 프로세서는 상기 전자 디스플레이에 상기 교통 신호의 상태를 식별하도록 더욱 구성된다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 장소측정 장치는 레이저 장소측정 장치이다.

또 다른 예로서, 상기 장소측정 장치는 GPS 장소측정 장치이다.

또 다른 예로서, 상기 장소측정 장치는 관성 장소측정 장치이다.

또 다른 예로서, 상기 방법은 상기 차량의 정면을 곧장 향하도록 상기 차량에 상기 카메라를 위치시키는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 카메라를 백미러(rear-view mirror)의 오른쪽에 위치시키는 단계를 포함한다.

또 다른 예로서, 상기 방법은 상기 카메라를 운전자의 시야의 방해를 제한하도록 위치시키는 단계를 포함한다.

또 다른 예로서, 상기 메모리는 상기 카메라의 로컬 메모리이다.

또 다른 예로서, 상기 지리적 위치들은 GPS 위도 및 경도 좌표에 의하여 정의된다.

또 다른 예로서, 상기 방법은 상기 복수의 영상들 및 상기 연관된 지리적 위치 및 방향 정보를 수신하는 단계; 교통 교차로들에 근접한 지리적 위치들에 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 선택하는 단계; 각 선택된 영상에 대하여, 상기 선택된 영상 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계; 둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하는 단계; (1) 상기 둘 또는 그 이상의 상기 선택된 영상들 사이의 상기 식별된 연관성들 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하는 단계; 및 교통 신호들의 상기 3차원 위치들을 상기 컴퓨터로 접근 가능한 메모리에 저장하는 단계;를 포함한다. 선택적으로, 상기 방법은 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 포함한다.

또 다른 예로서, 상기 방법이 둘 또는 그 이상의 상기 선택된 영상들 내에 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체를 식별하는 단계를 포함할 때, 상기 식별된 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 적절한 크기 및 종횡비이다.

또 다른 예로서, 상기 방법이 둘 또는 그 이상의 상기 선택된 영상들 내에 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체를 식별하는 단계를 포함할 때, 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 상기 둘 또는 그 이상의 선택된 영상들의 식별된 물체들 사이의 연관 거리에 기초한다.

또 다른 예로서, 상기 방법이 둘 또는 그 이상의 상기 선택된 영상들 내에 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체를 식별하는 단계를 포함할 때, 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 교통 신호의 물리적 크기에 기초한다.

또 다른 예로서, 상기 방법이 둘 또는 그 이상의 상기 선택된 영상들 내에 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체를 식별하는 단계를 포함할 때, 둘 또는 그 이상의 선택된 영상들의 상기 연관된 적색, 황색, 및 녹색 물체들을 식별하는 것은 상기 선택된 영상들 사이의 직접 움직임 보상에 기초한다.

또 다른 예로서, 상기 방법이 상기 선택된 영상 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계를 포함할 때, 상기 방법은 상기 직접 움직임 보상에 기초하여, 선택된 영상 내의 적색, 황색, 및 녹색 물체들 중 상기 식별된 물체를 교통 신호 불빛이 아닌 물체로 식별하는 단계를 포함한다.

또 다른 예로서, 상기 방법이 상기 선택된 영상 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계를 포함할 때, 상기 방법은 상기 결정한 상기 특정 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 특정 교통 신호에 연관된 차선을 결정하는 단계를 포함한다.

또한 본 발명의 다른 측면은 교통 신호들의 영상들을 수집하는 장치를 제공한다. 상기 장치는 차량; 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인을 갖는 카메라로서, 상기 카메라는 상기 차량에 장착되는 카메라; 장소측정 장치; 상기 차량에 연결된 프로세서; 및 영상들을 저장하는 제1 부분을 포함하는 메모리;를 포함한다. 상기 프로세서는 상기 카메라로부터 영상들을 수신하고; 상기 수신한 영상들의 각 영상에 연관된 지리적 장소를 식별하고; 상기 영상들, 지리적 장소들, 및 연관성들을 상기 메모리에 저장하고; 상기 영상들, 지리적 장소들, 및 연관성들을 네트워크를 통하여 컴퓨터로 전송하도록 구성된다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 차량의 정면을 곧장 향하도록 상기 차량에 상기 카메라가 위치한다. 또 다른 예로서 상기 카메라는 백미러의 오른쪽에 위치한다. 또 다른 예로서, 상기 카메라는 운전자의 시야의 방해를 제한하도록 위치한다. 또 다른 예로서, 상기 메모리는 상기 카메라의 로컬 메모리이다.

본 발명의 또 다른 측면은 프로세서 및 컴퓨터를 포함하는 클라이언트 장치를 제공한다. 상기 컴퓨터는 메모리 및 프로세서를 포함한다. 상기 프로세서는 복수의 영상들을 수신하며, 상기 복수의 영상들 각각은 지리적 위치 및 방향 정보와 연관되며; 교차로에 근접한 상기 지리적 위치와 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 선택하고; 각 선택된 영상에 대하여, 상기 선택된 영상 내에 적색, 황색, 및 녹색 물체들을 식별하고; 둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하고; (1) 상기 둘 또는 그 이상의 상기 선택된 영상들 사이의 상기 식별된 연관성들 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하고; 교통 신호들의 상기 3차원 위치들의 지도를 생성하고; 상기 클라이언트 장치로부터 상기 지도의 부분에 대한 요청을 수신하고, 상기 요청은 지리적 위치를 식별하는 것이며; 상기 식별한 지리적 위치에 기초하여 상기 지도의 관련 부분을 식별하고; 상기 클라이언트 장치로 상기 지도의 상기 관련된 부분을 전송한다. 제2 장치의 상기 프로세서는 클라이언트 장치의 현재 위치를 반복적으로 결정하고; 상기 클라이언트 장치의 상기 현재 위치를 포함하는 요청을 전송하며; 상기 지도의 상기 관련된 부분을 수신하며; 상기 클라이언트 장치의 상기 현재 위치를 상기 지도의 관련된 부분에 비교하는 것에 기초하여 교통 신호의 경계의 추정된 위치를 결정하고; 상기 추정된 위치의 영상들을 수집하고; 각 수집된 영상에 대하여, 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 적색, 황색, 및 녹색 물체들을 식별하고; 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 상기 식별된 물체들의 색상에 기초하여 상기 교통 신호의 상태를 결정하도록 구성된다.

여기서 논의되듯이, 다른 특징들이 어떤 조합 어떤 실시 예로든 사용될 수 있을 것이다. 예를 들어, 상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되고, 각 카메라는 차량에 연관된다.

또 다른 예로서, 상기 복수의 영상들의 각 영상에 연관된 상기 지리적 위치 및 방향 정보는 상기 차량에 연관된 지리적 장소 장치에 의하여 결정되는 것처럼 상기 카메라의 상기 지리적 위치 및 방향에 기초하여 생성된다.

또 다른 예로서, 각 영상에 연관된 상기 지리적 위치 및 방향 정보는 레이저 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 각 영상에 연관된 상기 지리적 위치 및 방향 정보는 GPS 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 각 영상에 연관된 상기 지리적 위치 및 방향 정보는 관성 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 지리적 위치 정보는 GPS 위도 및 경도 좌표이다. 또 다른 예로서, 상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되고, 상기 하나 또는 그 이상의 카메라들 각각은 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 컴퓨터의 상기 프로세서에 의하여 식별된 상기 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 적절한 크기 및 종횡비이다.

또 다른 예로서, 상기 컴퓨터의 상기 프로세서에 의하여 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 상기 둘 또는 그 이상의 선택된 영상들의 식별된 물체들 사이의 연관 거리에 기초한다.

또 다른 예로서, 상기 컴퓨터의 상기 프로세서에 의하여 둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 교통 신호의 물리적 크기에 기초한다.

또 다른 예로서, 상기 컴퓨터의 상기 프로세서에 의하여 둘 또는 그 이상의 선택된 영상들의 상기 연관된 적색, 황색, 및 녹색 물체들을 식별하는 것은 상기 선택된 영상들 사이의 직접 움직임 보상에 기초한다.

또 다른 예로서, 상기 제1 컴퓨터의 상기 프로세서는 상기 직접 움직임 보상에 기초하여, 선택된 영상 내의 적색, 황색, 및 녹색 물체들 중 상기 식별된 물체를 교통 신호 불빛이 아닌 물체로 식별하도록 더욱 구성된다.

또 다른 예로서, 상기 제1 컴퓨터의 상기 프로세서는 상기 결정한 상기 특정 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 특정 교통 신호에 연관된 차선을 결정하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치는 전자 디스플레이를 포함하고, 상기 클라이언트 장치의 프로세서는 상기 전자 디스플레이에 상기 교통 신호의 상태를 식별하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 레이저 장소측정 장치에 의하여 결정된다. 또 다른 예로서, 상기 클라이언트 장치의 상기 현재 위치는 GPS 장소측정 장치에 의하여 결정된다.

또 다른 예로서, 상기 수집된 영상들은 상기 클라이언트 장치의 클라이언트 카메라에 의하여 수집된다.

또 다른 예로서, 상기 클라이언트 카메라는 교통 신호 불빛의 포화를 피하도록 설정되는 셔터 스피드 및 게인에 연관된다.

또 다른 예로서, 상기 클라이언트 장치는 상기 클라이언트 장치의 메모리에 상기 지도의 수신된 부분을 저장하고, 상기 메모리로부터 수신된 부분에 접근하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 프로세서에 의하여 식별된 상기 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 적절한 크기 및 종횡비이다.

또 다른 예로서, 상기 교통 신호의 상태를 결정하는 것은 상기 추정된 위치의 상기 경계 내의 상기 식별된 물체의 위치에 기초한다.

또 다른 예로서, 상기 추정된 위치의 상기 경계는 크기와 연관되며, 상기 크기는 상기 교통 신호의 크기보다 크다.

또 다른 예로서, 상기 클라이언트 장치는 상기 클라이언트 장치의 상기 현재 위치를 교차로에 걸친 교통 차선의 지도에 비교하는 것에 기초하여 상기 클라이언트 장치에 연관된 교통 차선을 결정하도록 더욱 구성된다. 선택적으로, 상기 클라이언트 장치의 상기 프로세서는 상기 클라이언트 장치에 연관된 상기 교통 차선에 기초하여 상기 교통 신호의 경계의 추정된 위치를 결정하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 프로세서는 상기 교통 신호의 상태가 디폴트 상태로부터 변경되었는지를 결정하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 프로세서는 상기 교통 신호의 상기 추정된 위치의 상기 경계 내에 식별된 물체가 없는 경우, 상기 교통 신호의 상태가 상기 디폴트 상태라고 결정하도록 더욱 구성된다. 선택적으로, 상기 디폴트 상태는 황색 불빛이다. 또 다른 선택으로, 상기 디폴트 상태는 적색 불빛이다.

또 다른 예로서, 상기 클라이언트 장치는 차량에 연관된 컴퓨터로 상기 교통 신호의 상태를 전송하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 프로세서는 상기 불빛의 상태가 적색 또는 황색일 경우 상기 차량을 감속하는 명령을 전송하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치는 하나 또는 그 이상의 스피커를 포함하고, 상기 클라이언트 장치의 상기 프로세서는 상기 교통 신호의 상태를 청각적으로 식별하도록 더욱 구성된다.

또 다른 예로서, 상기 클라이언트 장치의 상기 프로세서는 상기 교통 신호의 상기 상태에 기초하여 운전 명령을 제공하도록 더욱 구성된다.

교통 신호들의 지도들을 생성하고, 이들 지도들을 실시간 교통 신호들의 상태 검출을 수행하는데 사용할 수 있게 된다.

도 1A는 본 발명의 일 측면에 따른 시스템의 기능 도면이다.
도 1B는 본 발명의 일 측면에 따른 시스템의 그림 도면이다.
도 2는 본 발명의 일 측면에 따른 교통 신호 및 신호등의 예시적인 이미지를 나타내는 도면이다.
도 3은 본 발명의 일 측면에 따른 흐름도이다.
도 4는 본 발명의 일 측면에 따른 흐름도이다.
도 5는 본 발명의 일 측면에 따른 교통 교차로를 나타내는 도면이다.
도 6은 본 발명의 일 측면에 따른 실험 데이터의 히스토그램의 일 예이다.
도 7은 본 발명의 일 측면에 따른 실험 데이터의 복합 매트릭스(confusion matrix)를 나타내는 일 예이다.

본 발명의 측면들, 특징들 및 이점들은 수반된 도면들과 실시 예들의 설명을 참고하여 고려할 때 잘 파악될 것이다. 서로 다른 도면에 사용된 동일한 참조 번호들은 동일하거나 유사한 요소를 나타낸다. 또한 이하의 설명들은 본 발명의 범위를 한정하는 것은 아니며 첨부된 특허청구범위 및 그와 대등한 내용에 의하여 정의될 것이다.

고정된 노출과 조리개를 갖는 카메라들은 신호등 색상 레벨들의 영상들을 수집하기 위하여 직접 조정될 것이다. 신호등의 장소(position), 위치(location), 및 방향(orientation)은 둘 또는 그 이상의 상기와 같은 영상들에 의하여 자동으로 추정(extrapolated)될 것이다. 그리고 이 정보는 신호등들의 3차원 위치를 식별하는 지도들을 생성하는데 사용될 것이다. 이들 신호등들의 3차원 지도들은 클라이언트 장치가 교통 신호들을 예상 및 예측하도록 할 수 있을 것이다.

도 1A 및 도 1B에 나타낸 바와 같이, 본 발명의 일 측면에 따른 시스템(100)은 프로세서(120), 메모리(130), 및 상용 컴퓨터들에 전형적으로 존재하는 다른 구성들을 포함하는 컴퓨터(110)를 포함한다.

메모리(130)는, 프로세서(120)에 의하여 접근 가능하며 프로세서(120)에 의하여 수행되거나 또는 그렇지 않다면 사용될 수 있는 데이터(134) 및 명령들(132)을 포함하는 정보를 저장한다. 메모리(130)는 하드 드라이브, 메모리 매체(memory vehicled), ROM, RAM, DVD 또는 다른 광학 디스크뿐만 아니라 다른 쓰기 가능한 메모리(write-capable memory)나 읽기만 가능한 메모리(read-only memory)들과 같은 전자 장치의 도움으로 읽을 수 있는 컴퓨터-독출 가능한 매체(computer-readable medium), 또는 데이터를 저장하는 다른 매체를 포함하여, 프로세서에 의하여 접근 가능한 정보를 저장할 수 있는 어떠한 형태라도 좋다. 시스템들 및 방법들은 상술한 매체들의 서로 다른 조합들을 포함할 수 있으며, 데이터 및 명령들의 다른 부분들은 다른 형태의 매체에 저장될 수 있다.

명령들(132)은 (기계 코드(machine code)와 같이) 직접적으로 또는 (스크립트(scripts)와 같이) 간접적으로 프로세서에 의하여 실행되는 명령들의 모든 세트일 수 있다. 예를 들어, 명령들은 컴퓨터-독출 가능한 매체에 컴퓨터 코드로서 저장될 수 있다. 이와 관련하여, 여기서 “명령들” 및 “프로그램들”이라는 용어는 서로 혼용될 수 있다. 명령들은 프로세서에 의하여 직접 처리되기 위한 오브젝트 코드 포맷(object code format)이나, 미리 컴파일 되거나 요구에 의하여 인터프리티드(interpreted) 되는 독립 소스 코드 모듈(independent source code modules)의 수집(collection)이나 스크립트(scripts)를 포함하는 다른 어떠한 컴퓨터 언어로서 저장될 수 있다. 명령들의 기능들, 방법들, 및 루틴들은 아래에서 더욱 자세히 설명된다.

데이터(134)는 명령(132)에 따라서 프로세서(120)에 의하여 인출되거나(retrieved), 저장되거나 또는 수정될 수 있다. 예를 들어, 비록 시스템 및 방법은 어떤 특정한 데이터 구조로 한정되는 것은 아니며, 데이터는 컴퓨터 레지스터에, 복수의 서로 다른 필드와 기록들을 갖는 테이블, XML 문서들, 또는 플랫 파일(flat file)로서 관련된 데이터베이스에 저장될 수 있다. 데이터는 어떠한 컴퓨터-독출 가능한 형태로 포맷될 수 있다. 추가적인 예시로서, 영상 데이터는 도면 그래픽용 컴퓨터 명령뿐만 아니라, 압축 또는 비압축, 무손실(예를 들어, BMP) 또는 손실(예를 들어, JPEG), 및 비트맵 또는 벡터 기반(예를 들어, SVG) 등의 형태에 따라서 저장되는 픽셀의 위치들로 이루어진 비트맵들로서 저장될 수 있다. 데이터는 관련 데이터를 계산하기 위한 기능에 의하여 사용되는 정보, (다른 네트워크 위치들을 포함한) 다른 메모리들이나 같은 메모리의 다른 영역에 저장된 데이터의 참조들이나 소유 코드들(proprietary codes), 설명 텍스트(descriptive text), 숫자들과 같은 관련 정보를 식별하는데 충분한 모든 정보를 포함할 수 있다.

프로세서(120)는 인텔이나 AMD 등에 의한 프로세서들과 같은 모든 일반적인 프로세서일 수 있다. 선택적으로, 프로세서는 ASIC과 같은 전용 장치일 수도 있다. 비록 도 1은 프로세서 및 메모리를 같은 블록 안에 존재하는 것처럼 기능적으로 도시하였으나, 본 기술 분야의 통상의 기술자라면 프로세서 및 메모리는 실제로는 같은 물리적인 하우징 내에 보관되거나 또는 보관되지 않을 수 있는 복수의 프로세서들 및 메모리들을 포함하는 것으로 이해할 수 있을 것이다. 예를 들어, 메모리는 데이터 센터의 서버 팜(server farm)에 위치한 하드 드라이브 또는 저장 매체일 수 있다. 따라서, 프로세서나 컴퓨터에 대한 참조번호들은 병렬로 동작할 수 있거나 병렬로 동작하지 않을 수 있는 메모리들 또는 컴퓨터들 또는 프로세서들의 집합들에 대한 참조번호들을 포함하는 것으로 이해되어야 할 것이다.

컴퓨터(110)는 네트워크(150)의 일 노드에 위치할 수 있으며, 네트워크의 다른 노드들과 직접 및 간접적으로 통신할 수 있다. 예를 들어, 컴퓨터(110)는 클라이언트 장치들(170-172)과 네트워크(150)를 통하여 통신할 수 있는 웹 서버를 포함할 수 있어, 서버(110)는 네트워크(150)를 사용하여 도 1B의 사람(191,192)과 같은 사용자에게 정보를 전송 및 디스플레이하거나 또는 제공한다. 서버(110)는 또한 클라이언트 장치들로의 데이터의 수신, 처리 및 전송을 위하여 네트워크의 서로 다른 노드들과 정보의 교환을 수행하는 복수의 컴퓨터들을 포함할 수 있다. 이때, 클라이언트 장치들은 서버(110)를 포함하는 어떤 컴퓨터들과도 다른 네트워크의 노드들에 있을 수 있다.

네트워크(150), 및 서버(110) 및 클라이언트 장치들 사이의 매게 노드(intervening node)들은 다양한 구성들을 포함할 수 있으며, 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷(intranets), 가상 사설망(virtual private networks), 로컬 이더넷(local Ethernet) 네트워크, 하나 또는 그 이상의 회사들에 소유되는 통신 프로토콜을 사용한 전용 네트워크, 셀룰러 및 무선 네트워크(예를 들어, WiFi), 인스턴트 메시지, HTTP 및 SMTP, 및 이들의 다양한 조합을 포함하는 다양한 프로토콜을 사용할 수 있다. 따라서 오직 몇몇 컴퓨터들이 도 1 내지 도 2에 도시되었으나, 전형적인 시스템은 많은 수의 연결된 컴퓨터들을 포함할 수 있다는 것을 알 수 있을 것이다.

각각의 클라이언트 장치는 프로세서(120), 메모리 및 명령들(132)를 갖는 서버(110)와 유사하게 구성될 것이다. 각 클라이언트 장치(170-172)는 사람(191-192)에 의하여 사용되도록 의도된 장치일 수 있으며, 중앙 처리 장치(CPU), 웹 브라우저와 같은 명령들 및 데이터(162)를 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 전자 디스플레이(164)(예를 들어, 스크린을 갖는 모니터, 소형 LCD 터치 스크린, 프로젝터, 텔레비전, 컴퓨터 프린터, 또는 정보를 디스플레이 하도록 동작하는 모든 다른 전자 장치), 및 사용자 입력부(166)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크)와 같이 컴퓨터와 관련되어 사용되는 일반적인 모든 구성 요소를 포함할 수 있다. 클라이언트 장치는 또한 카메라(176), 지리적 장소 컴포넌트(geographic position component)(168), 하나 또는 그 이상의 스피커들(174), 네트워크 인터페이스 장치와 이들 요소들을 서로 연결하기 위한 모든 구성 요소들을 포함할 수 있다.

비록 클라이언트 장치들(170-172)은 각각 풀 사이즈 개인 컴퓨터를 포함할 수 있으나, 그들은 선택적으로 인터넷과 같은 네트워크를 통하여 서버와 데이터를 무선을 교환할 수 있거나 혹은 교환할 수 없는 휴대용 장치들을 포함할 수도 있다. 단지 예로서, 클라이언트 장치(172)는 차량의 컴퓨터와 정보를 교환할 수 있도록 차량에 탑재된 장치 또는 차량에 연결된 장치일 수 있다. 다른 예로서, 클라이언트 장치(171)는 인터넷을 통하여 정보를 획득할 수 있는 휴대폰 또는 무선 PDA일 수 있다. 사용자는 (블랙베리 폰의 경우) 작은 키보드, (전형적인 휴대폰의 경우) 키패드, 또는 (PDA의 경우) 터치 스크린를 사용하여 정보를 입력할 수 있다. 실제로, 여기서 설명되는 방법들 및 장치들에 따른 클라이언트 장치들은 명령들을 처리하고, 상용 장치들, 로컬 저장 능력이 결여된 네트워크 컴퓨터들, 기타 등등의 다른 컴퓨터들 및 인간과 데이터를 주고 받을 수 있는 모든 장치를 포함할 수 있다.

클라이언트 장치들은 장치의 지리적 위치 및 방향을 결정하기 위한 지리적 장소 컴포넌트를 포함할 수 있다. 예를 들어, 클라이언트 장치(170)는 장치의 위도, 경도, 및/또는 고도 위치를 결정하는 GPS 수신기를 포함할 수 있다. 레이저 기반 장소 추정 시스템들, 관성 보조(inertial-aided) GPS, 또는 카메라 기반 장소 추적기와 같은 다른 장소 추정 시스템이 사용될 수 있다. 또한, 지리적 장소 컴포넌트는, 만약 클라이언트 장치가 휴대폰인 경우, 하나 또는 그 이상의 셀룰러 타워로부터 휴대폰의 안테나에서 수신한 신호들과 같이 클라이언트 장치(171)에서 수신한 신호들에 기초하여 장치의 장소를 결정하는 소프트웨어를 포함할 수도 있다.

클라이언트 장치(171)는 또한 장치가 향하고 있는 방향을 결정하는 가속도계, 자이로스코프 또는 다른 가속 장치(168)와 같은 다른 특징 구성들을 포함할 수도 있다. 단지 예로서, 가속 장치는 중력 방향 또는 그 장치에 직교하는 평면에 대한 그 피치(pitch), 요(yaw), 또는 롤(roll) (또는 그로부터의 변화)를 결정할 수 있다. 이에 대하여, 여기에 개시된 것과 같이 클라이언트 장치에 의한 방향 및 위치 데이터의 제공은 사용자, 서버 또는 모두에게 자동으로 제공될 것이다.

도 1A로 돌아와서, 데이터(134)는 교통 신호들의 영상과 같은 영상 데이터를 포함할 수 있다. 영상들은 영상이 촬영된 시점에서의 카메라 또는 차량의 장소, 위치, 및 방향을 포함하는 다양한 정보와 연관된다. 영상 데이터는 영상에서 교통 신호의 장소 및 위치를 나타내는 라벨들과도 연관될 수 있다. 이들 라벨들은 다양한 방법들로 생성될 수 있다. 예를 들어, 라벨이 부여된 영상들을 생성하는 한 방법은 인간 분류자(human labeler) 팀을 이용하는 것이다. 그러나, 인간 분류자는 전형적인 도시 환경에서 고밀도 신호들에 대하여 작업이 요구될 때, 상대적으로 느리다. 더욱이, 최고의 인간 분류자 조차도 항상 그들의 라벨 부착이 항상 정확하지는 않다. 아래에 더욱 자세하게 설명되는 다른 예로서, 라벨은 교통 신호 분류자(140)를 사용하여 자동으로 생성될 수 있다.

영상 데이터(134)는 또한 다른 영상들과의 연관성을 포함할 수도 있다. 예를 들어, 서로 다른 두 개의 영상들에 있는 두 개의 라벨들이 동일한 교통 신호를 식별할 때, 이들 라벨들(또는 영상들)은 서로 연관될 수 있다. 아래에 더욱 구체적으로 설명되듯이, 이들 영상들 사이의 연관성 및 라벨들은 교통 신호들의 추정 3차원 장소를 식별하는 교통 신호 지도들(138)을 생성하는데 사용될 수 있다.

이들 영상들은 교차로를, 예를 들어 GPS, 관성, 및/또는 레이저 시스템들과 같은 네비게이션 시스템들 및 카메라가 장착된 차량을 직접 운전함으로써 수집될 수 있으며, 정확한 시간이 찍힌 카메라 영상들 및 레이저 범위를 수집할 수 있다. 차량들(180-181)과 같은 차량들은 신호등 영상들을 수집하기 위하여 다양한 구성으로 장착된 다양한 형태의 카메라(182)들을 사용할 수 있다. 예를 들어, Piont Grey grasshopper 5 MP 카메라가 운전자의 시야를 최소한으로 방해하는 백미러(rear-view mirror)의 오른쪽에 장착되어 앞을 똑바로 향하도록 자리잡을 수 있다. 30도의 시야각을 갖는 고정 렌즈들을 갖는 카메라의 2040x1080 영역과 같은 특별 관심 영역이 카메라에 대하여 선택될 수 있다. 예를 들어, 카메라는 합리적인 제동 거리를 확보하기 위하여 55MPH로 운행할 때 150m에서 교통 신호들을 검출할 수 있도록 조정된다.

차량들(180-181) 또는 카메라(182)는 또한 상술한 바와 같은 지리적 장소 컴포넌트(178)를 포함할 수 있다. 지리적 장소 컴포넌트는 특정 영상이 촬영되었을 때의 차량 또는 카메라의 지리적 위치, 방향, 및 장소를 식별하는데 사용될 수 있다.

차량들(180-181)은 서버(110)에서 사용하기 위하여 영상들을 기록한다. 영상들 및 연관 정보는 차량으로부터 네트워크(150)를 통하여 서버(110)로 업로드 될 수도 있으며, 또는 직접 서버(110)로 로드될 수도 있다.

저녁에 신호등 빛의 영상들을 수집하기 위하여 게인 및 셔터 스피드가 신호등, 특히 LED 기반의 밝은 녹색 불빛의 포화(saturation)를 피하도록 설정될 수 있다. 이들 설정들은 낮 동안에도 상대적으로 어두운 영상을 요구할 때 사용될 수 있다.

도 2는 아래 구체적으로 설명될 일 실시 예(200)를 나타낸다. 동작은 아래에 설명된 정확한 순서에 따라서 수행되어야만 하는 것은 아니라는 점은 이해될 수 있을 것이다. 오히려, 다양한 단계들이 동시에 또는 다른 순서로 처리될 수 있다.

도 2의 블록 210에서 나타내듯이, 영상 데이터를 서버(110)로부터 수신한다. 그리고, 블록 220에서, 서버는 수신한 영상들을 가장 관련된 것, 즉, 신호등들을 포함할 것 같은 영상들로 필터링한다. 일반적으로, 신호등들은 교차로에 위치할 것이며, 따라서 지리-공간적인(geo-spatial) 쿼리들(quaries)이 교차로가 보이지 않을 때 촬영된 영상들을 제거하는데 사용될 수 있을 것이다.

차량이 교차로로 접근하는 동안 촬영된 영상들로 영상들의 세트를 솎아낸(winnowing) 후, 블록들 230 및 240과 같이 영상들은 분류 및 라벨화된다. 서버(110)는 같은 크기 및 종횡비들을 갖는 밝은 색상의 적색, 황색 및 녹색 색영역(blob)을 탐색하는 교통 신호 분류자를 사용할 수 있으며, 이들 색영역은 장소 추정 과정을 위한 잠정적인 교통 신호 라벨들로 사용될 수 있다. 비록 본 발명은 적색, 황색, 및 녹색 빛의 세트를 갖는 전형적인 수직방향의 신호등과 연관하여 설명하였으나, 이러한 특정 구조는 예로서 사용된 것으로 이해될 수 있을 것이다. 교통 신호들은 변경될 수 있으며, 때때로 복합 도형일 수도 있으며, 본 발명은 모든 개수의 이들 추가적인 도형에서 동작할 수 있다.

도 3은 교통 신호들을 인간이 라벨한 예를 나타낸다. 각각의 포지티브 예에 대하여 8개의 추가적인 네거티브 예들이 생성된다. 만약, 새로 생성된 예들이 포지티브 예에서 겹치는 경우, 예를 들어 두 개의 교통 신호들이 서로 매우 가까운 경우, 새로 생성된 예들은 제거된다.

라벨링 단계의 출력은 매우 많은 수의 라벨들일 수 있으며, 그러나 상기 라벨은, 어느 라벨이 어느 교통 신호에 속하는지에 대한 정보를 갖지 않는다. 3차원에서 물체의 장소를 추정하기 위하여는 서로 다른 영상들로부터의 적어도 두 개의 라벨들을 요구하며, 장소 추정은 일반적으로 더 많은 라벨들을 이용할 수 있으면 개선된다. 그러나, 특정 교통 신호와 같이 동일한 대상(subject matter)을 포함하는 둘 또는 그 이상의 영상들을 식별하기 위하여, 영상들의 라벨들은 서로 연관되어야 한다. 두 개의 영상들은, 이들 영상들에 연관된 라벨들이 서로 연관 거리 내에 있을 때, 연관될 수 있다. 예를 들어, 각 라벨은 직경 d를 갖는다. 만약 두 라벨들의 중심이 서로 d 또는 10d와 같이 상대적으로 작은 거리 이내이면, 이들 라벨들은 서로 연관될 수 있다. 다른 예로서, 만약 두 라벨들이 서로 겹치면, 라벨들은 서로 연관될 수 있다. 연관성은 영상 시퀀스들에서의 라벨들 사이에서, 장소 추정이 한번 수행된 3차원 물체들 사이에서, 또는 두 타입의 연관성을 결합한 반복 접근(iterative approach)을 사용하여 결정될 수 있다.

연관성을 식별하기 위하여, 서버는 촬영된 교통 신호들의 종류에 대하여 몇 가지 추정을 할 수 있다. 예를 들어, 신호가 단연 가장 일반적인 구성으로서, 표준의 세로 방향 적(red)-황(yellow)-녹(green) 구조를 가진다고 가정함으로써 교통 신호의 풀 사이즈가 추정될 수 있다. 이러한 풀 사이즈 교통 신호 라벨은 색을 더욱 단순하게 변경한 교통 신호들로부터 도출된 연관 라벨을 생성한다.

영상들 사이의 라벨 연관은 다양한 방법으로 수행될 수 있다. 예를 들어, 근사 아핀 모션(near-affine motion) 및/또는 높은 프레임 레이트의 경우, 한 영상의 라벨을 다음 영상의 라벨과 연관시키는데 탬플릿 추적기(template trackers)가 사용될 수 있다. 다른 예로서, 카메라의 프레임 레이트가 4fps와 같이 낮으면, 물체 움직임이 완전히 사영되고(projective), 직접 움직임 보상(direct motion compensation)이 사용될 수 있다.

상기와 같이, 정확한 카메라 자세, 또는 장소/위치/방향이 각 영상에 대하여 알려진다. 만약 카메라가 이동하는 차량에 장착되면, 수초의 시구간 동안 상기 자세에서의 누적 에러는, 예를 들어 주행한 거리의 1%로 상대적으로 낮을 것이다. 다른 예로서, 차량의 장소 추정은 0.15m 이내의 장소 정확도를 얻기 위하여 오프라인 최적화 방법에 의하여 개선될 것이다.

도 2의 블록 250으로 돌아가서, 서버(110)는 서로 다른 영상들의 라벨들 사이의 연관성을 식별하기 위하여 직접 움직임 보상을 사용한다. 롤, 피치, 및 요의 변화에 의한 물체의 겉보기 움직임(apparent motion)은 고유의 카메라 모델(intrinsic camera model)을 사용하여 수정하는 것이 간단하나, 차량의 전진 동작에 의한 물체의 겉보기 움직임을 수정하기 위하여 몇몇 물체 장소의 추정이 필요하다. 영상에서의 물체의 겉보기 장소는 광선(ray) 위의 어딘가로 그 장소를 제한하며, 상기 물체가 특정 크기의 교통 신호라고 가정함으로써 물체 거리의 대략적인 추정이 이루어진다. 초점 거리가

인 카메라에 의하여 촬영된 영상에서 실제 폭이 w 이고, 겉보기 폭이

인 물체까지의 거리 d는:

이다.

방향 벡터

는 지름방향 왜곡을 보정하는 카메라 모델을 사용하여 계산될 것이며, 물체의 대략적인 3차원 장소는:

이다.

T1 및 T2가 차량의 프레임으로부터 지엽적으로 부드러운 좌표 프레임으로의 두 개의 서로 다른 시간 사이의 4x4 변환 행이고, C가 차량 프레임으로부터 카메라 프레임으로의 변환이면, 한 영상에서 다른 영상으로의 물체의 상대적 움직임(relative motion)은 다음과 같이 수정된다:

왜곡된 영상의 좌표들은 카메라의 고유 모델을 사용하여 계산될 수 있다. 상기와 같이, (두 개의 영상들에서의 교통 신호의) 두 개의 라벨들은, 만약 상기 라벨들이 서로 연관 거리 내에 있으면, 연관될 것이다. 따라서, 라벨들의 긴 시퀀스는 그들 모두가 특정 교통 신호의 영상들과 연관되었다는 것을 나타내면서 연관될 것이다.

다른 예로서, 라벨은 다른 종류의 물체, 예를 들어 다른 차량의 꼬리등(tail lights)에 대응할 수 있다. 이러한 경우들에서, 대략적인 거리 추정 및 이어지는 움직임 보상은 부정확할 것이며, 교통 신호로 잘못 분류된 물체들 사이의 라벨 연관의 가능성은 감소될 것이다.

만약 움직임 보정된 라벨이 다른 라벨과 겹치면, 이들 라벨들은 동일한 물체에 대응될 가능성이 높다. 물체의 3차원 장소는 대응되는 라벨들의 시퀀스로부터 추정될 것이다.

블록 260에서 나타내듯이, 서버(110)는 교통 신호의 3차원 위치를 결정하기 위하여 상기 연관성을 사용할 것이다. 구체적으로, 3차원 물체의 자세는 둘 또는 그 이상의 영상들에서의 연관된 라벨들에 기초하여 추정될 것이다. 예를 들어, 최적 삼각 측량법(optimal triangulation method)이 사용될 수 있으며, 그러나 이 방법은 많아야 세 개의 라벨들로 사용될 것이며, 동일한 교통 신호에 대하여 많은 라벨 라벨들이 존재할 때에는 덜 유용할 것이다. 다른 예로서, 상기 자세는 선형 삼각 측량 및 DLT(direct linear transform), 최소 자승법(least-squares method)을 사용하여 추정될 수 있을 것이다.

최소 자승법을 사용하여 사전에 분류된 각 영상 라벨은 영상 좌표

와 연관될 것이다. 이들 영상 좌표들은 지름 방향 왜곡 등을 보정하는 카메라의 고유 모델을 사용하여 방향 벡터 x로 변환될 것이다.

3차원 점 X는 각각의 라벨 방향 벡터

및 카메라 사영 매트릭스

에 대하여 다음과 같도록 추정될 것이다,

이들 방정식은 다음 식에 결합될 것이다:

AX = 0

상기 식은 X의 선형 방정식이다. 사영 기하학(projective geometry)에 고유한 호머지니어스 스케일 팩터(homogeneous scale factor)를 제거하기 위해, 3n x 4 매트릭스 A가 특정 물체에 대한 영상 라벨들 {x1, x2, …} 각각의 외적으로부터 만들어질 수 있다.

외적 매트릭스는:

이고,

이다.

인 A에 대하여 특이값 분해(singular value decomposition)를 수행하면, X의 해는 A의 가장 작은 특이값(smallest singular value) 또는 A의 가장 우측값(right-most value)에 대응하는 비균질화된(de-homogenized) 특이 벡터(singular vector)이다.

신호의 방향은 교통 신호 장소를 추정하는데 사용되는 모든 영상들의 라벨들에 걸쳐 평균적인 차량 방향에 반대인 방향으로 추정된다.

위에서 생성된 정보는 블록 270에 나타낸 것과 같이 교통 신호들의 3차원 위치 및 구조(geometries)를 묘사하는 지도 정보를 생성하는데 사용될 수 있다. 지도 정보의 정확도는 카메라의 외부 파라미터, 즉 차량의 좌표 프레임에 대한 카메라의 장소 및 방향을 나타내는 변환(transform)에 민감하다. 외부 파라미터들의 합리적인 초기 추정을 가정할 때, 이들 파라미터들은 좌표 하강(coordinate descent)을 사용하여 교통 신호들의 재사영 노력을 최소화하여 조정될 수 있다:

여기서, Xe는 외부 파라미터 e를 사용한 맵핑 파이프라인(pipeline)에 의하여 추정된 교통 신호 장소들이다. 비록 하드웨어의 시간 스탬프 또한 사용될 수 있지만, 유사한 공정이 영상이 카메라에 의하여 촬영될 때와 그것이 컴퓨터로 전송될 때 사이의 시간 지연을 추정하는데 사용될 것이다. 이 시간 지연은 카메라의 프레임 레이트 및 파이어와이어(Firewire) 버스 스케줄링 할당에 의존하여 변하나, 주어진 구성에 대하여 수백 초 내에서는 안정적일 것이다. 렌즈의 왜곡을 결정하는 카메라의 내부 파라미터들은 체크보드(checkboard)의 모서리 추출 공정을 사용하여 표준 래디얼 렌즈 모델(standard radial lens model)용으로 조정될 수 있다.

교통 신호들은 또한 그들이 적용되는 실제 차선이 식별될 것이다. 예를 들어, 어떤 교통 신호들은 좌회전 또는 우회전 차선들에만 적용될 수 있을 것이다. 이 정보는 교차로에 걸쳐서 서로 다른 허용 경로들과 교통 신호 사이의 연관성으로 표현될 것이다. 교통 신호 방향 및 평균 교차로 폭에 기초한 단순한 체험적 방법(heuristics)이 이들 연관성에 관해 추정을 만드는데 사용될 수 있을 것이다. 이들 추정들은 그 후 수동으로 확인될 것이다. 이는 특히 복잡한 다차선 교차로에 필요할 것이다.

새로운 라벨들이 지속적으로 추가되어 분류자(classifier)를 최적화하는데 사용될 수 있을 것이다. 격자 탐색(grid search) 및 힐 클라이밍(hill climbing)을 포함한 다양한 최적화 방법들이 사용될 수 있을 것이다. 예를 들어, 격자 탐색에서는, 파라미터 공간의 각 축을 이산화시키고(discretize), 이들 이산화된 좌표들의 모든 조합들이 평가된다. 코스 격자는 최적화되는 공간의 구조에 대한 통찰(insight)을 제공한다.

비록 도 2의 단계들이 하나의 중앙 서버 컴퓨터를 사용한 과정으로 설명되었으나, 영상들은 각 컴퓨터가 작은 세트의 영상들을 RAM에 로드하고, 그리고는 그들 캐쉬된 이미지들(cached images)의 현재의 최적화 상태에 따라서 분류자를 반복적으로 평가하도록 컴퓨터들의 세트에 걸쳐서 분산될 수도 있을 것이다. 특정 분류자 구성은 수백 개의 컴퓨터들에 의하여 1초 이내에 한 세트, 예를 들어 10,000개 영상들 이상이 평가될 수 있을 것이다. 이는 짧은 시구간 내에 분류자를 최적화하기 위하여 좌표 상승(coordinate ascent)과 같은 반복적인 힐 클라이밍 접근의 사용을 허용한다. 또한 하나의 최적화 단계 내에서 평가될 모든 상태들을 하나로 묶는 것에 의하여 병렬화(parallelization)가 가능할 것이다. 만약 자동으로 생성된 네거티브 예들(negative examples)이 훨씬 많으면, 포지티브 예들(positive examples)의 출력은 10배 높은 가중치가 매겨질 수 있을 것이다.

일단 지도 정보가 생성되면, 상기 정보는 로봇 차량이나 운전자를 보조하는데 사용될 수 있을 것이다. 교통 신호들(적색, 황색, 또는 녹색)을 식별하고 해석하는데 교통 신호 지도가 사용될 수 있을 것이다. 도 4는 이 과정의 예시적인 흐름도(400)를 나타낸다. 블록 410에 나타내듯이, 클라이언트 장치는 교통 신호 지도의 관련 부분에 대한 클라이언트 장치의 위치를 지속적으로 결정한다. 예를 들어, 차량에 장착된 또는 휴대용 장치는 교통 신호 지도로 직접 접근되거나, 또는 상기 장치(또는 차량)의 위치에 기초하여 서버로부터 지도의 부분을 자동으로 수신하거나 요청할 수 있을 것이다.

블록 420에 나타낸 것과 같이, 그리고는 클라이언트 장치는 클라이언트 장치가 교차로(또는 교통 신호) 방향으로 이동하는지를 결정한다. 만약 클라이언트 장치가 교차로로 접근하고 있으면, 블록 430에 나타낸 것과 같이, 클라이언트 장치는 교통 신호 지도 및 클라이언트 장치의 위치에 기초하여 교차로에서의 교통 신호의 3차원 위치를 예측할 수 있다.

차량의 자세 및 교통 신호 지도를 사용하여, 영상 프레임 내에 교통 신호들이 언제 보일 것인지 및 어디서 그들이 나타날 것인지 예측이 이루어진다. 교통 신호 지도에 대한 차량 또는 장치의 장소는 GPS, 레이저 기반 장소 추적 시스템(laser-based localization systems), 또는 라이더(lidar) 장소 추적 시스템 중 하나 또는 그 이상으로부터 추정될 수 있을 것이다. Kd 트리(tree) 또는 S2 구면기하학 셀(spherical geometry cell) 및 차량 방향뿐만 아니라 교통 신호의 방향을 포함하는 단순 가시성 모델(simple visibility model)이 주변 불빛들의 장소를 예측하는데 사용될 수 있을 것이다. 예측된 장소들은 카메라 모델을 사용하여 축에 정렬된 바운딩 박스(axis-aligned bounding box)로서 영상 프레임에 사영될 수 있을 것이다. 바운딩 박스의 구조는 지도 정보에 의하여 설명되는 것과 같은 교통 신호의 구조에 기초하여 결정될 수 있을 것이다. 예측에서의 부정확성을 없애기 위하여, 일 예로, 바운딩 박스가 각 축에서 실제 예측보다 3배 크게 설정될 수 있을 것이다.

클라이언트 장치는 블록 440 및 450에서, 영상들을 수집하기 위하여 카메라를 사용할 수 있을 것이며, 이들 영상들에서의 적색, 황색, 또는 녹색 색영역을 검출하기 위하여 분류자를 사용한다.

클라이언트 장치는 각각의 예측된 바운딩 박스들 내에서 적절한 크기의 밝은 색을 띠는 적색, 황색, 및 녹색 색영역을 찾기 위하여 상기 설명한 것과 같은 분류자를 사용할 수 있을 것이다. 신호등들의 구조가 서로 다른 신호등들끼리를 구분하는데 사용될 수 있을 것이다. 예를 들어, 만약 특정 교통 신호가 녹색 빛을 가지면, 녹색등이 좌측 화살표 또는 둥근 빛을 나타내는지 여부를 결정하기 위하여 교통 신호의 대략적인 위치, 형태(shape) 및 모양(design)이 사용될 수 있을 것이다. 그 결과는 교통 신호의 상태를 식별하는데 사용될 수 있는 각 교통 신호에 대한 가능한 분류(classification)의 세트이다.

만약 블록 460에서 예측된 위치 내에서 검출된 관련된 색영역이 없을 경우, 클라이언트 장치는 블록 480에서 교통 신호의 어떤 디폴트 상태(default state)를 가정한다. 클라이언트 장치는 황색 빛과 같은 디폴트 상태를 가정한다. 황색을 디폴트로 선택하는 것은 차량이 감속할 필요를 나타내는 안전 메커니즘으로서 역할을 할 수 있을 것이다. 교통 신호의 상태를 계속해서 분류하기 위하여는 교차로에 접근할 때 차량을 감속하도록 하는 것이 항상 대부분 안전하다고 가정할 수 있을 것이다. 만약, 새로운 분류가 없으면, 클라이언트 장치는 교통 신호의 상태가 변경되지 않았으며, 불빛이 아직 황색이라고 결정할 수 있을 것이다.

더욱이, 클라이언트 장치는 예측된 바운딩 박스 내에서 구조적으로 가장 높은 분류를 선택할 것이다. 예를 들어, 창 내에서. 예를 들어, 주어진 바운딩 박스에서, 몇 개의 불빛이 검출될 수 있다. 클라이언트 장치는 가장 높은 물리적인 불빛이 교통 신호에 대응된다고 결정할 것이다. 이는 흔히 녹색 불빛들 바로 아래에 위치하지만, 예측된 바운딩 박스 내에 위치하는 오렌지 색의 보행자 횡단보도 불빛들과 같은 물체들의 오분류를 방지한다(도 5의 '건너지 마시오' 표시(550) 참조).

도 4의 블록 470으로 돌아가서, 만약 분류자에 의하여 검출된 관련된 색영역들이 있으면, 클라이언트 장치는 교통 신호에 상태 변화가 존재하는지 여부를 결정할 것이다. 만약 상태 변화가 없으면, 블록 480에서 클라이언트 장치는 교통 신호의 디폴트 상태를 다시 가정할 것이다. 만약 어떤 상태 변화가 존재하면, 블록 490에서 클라이언트 장치는 변화의 종류를 결정할 것이다. 마지막으로, 블록 495에서 교통 신호의 상태가 결정되며, 차량이나 사용자를 보조하는데 사용될 준비가 된다.

다음으로 교통 신호의 장소 및 상태가 운전자나 로봇 차량을 보조하는데 사용될 것이다. 장치가 사람에 의하여 운행되는 차량 내에서 사용되면, 장치는 교통 신호의 상태에 대한 정보를 제공할 것이다. 예를 들어, 장치는 불빛이 적색, 황색 또는 녹색임을 나타내는 “신호등이 녹색입니다”와 같은 시각적 또는 청각적 표시를 제공할 것이다. 다른 예로서, 장치는 “브레이크를 밟으세요, 신호등이 적색입니다” 또는 “신호등이 적색입니다, 차량을 정지시키십시오”와 같은 청각적 표시나 경고를 제공할 수 있을 것이다. 다른 예로서, 장치는 좌회전 신호와 같은 정확한 신호가 녹색이 아님을 알려줄 수 있을 것이다. 장치는 브레이크가 적용되어야 하는 차량에 명령을 전송하는데 사용될 수 있을 것이다. 만약 장치가 내비게이션 시스템과 결합되어 사용되면, “다음 교차로에서 멈추십시오, 신호등이 적색입니다”와 같은 추가적인 명령을 포함할 수 있을 것이다.

도 5의 예에서, 차량(510)의 운전자는 교차로에 접근하고 있다. 교통 신호(540)에 대한 운전자의 시야는 차량(520)에 의하여 제한되어 있거나 완전히 차단될 것이다. 차량(510) 내의 클라이언트 장치는 카메라에 의하여 촬영된 영상들에서 교통 신호가 보이는지를 결정할 것이며, 예를 들어 황색 빛인 교통 신호 불빛(545)이 비추어지고 있는지를 결정할 것이다. 클라이언트 장치는 예를 들어 “감속하시오, 신호등이 노란색입니다”라고 명시하거나 또는 차량의 컴퓨터에 브레이크를 작동시킬 필요를 통지하는, 시각적 또는 청각적 신호를 사용하여 운전자에게 이 정보를 건네줄 수 있을 것이다. 만약 클라이언트 장치가 교통 신호의 상태들을 식별할 수 없다면, 장치는 디폴트를 사용할 것이며, 다시 어떤 시각적 또는 청각적 명령을 사용자에게 제공할 것이다. 다른 예로서, 차량은 교통 신호의 적색 불빛에 대하여 정지될 것이다. 불빛이 녹색으로 변경될 때, 클라이언트 장치는 교통 신호의 상태의 변화를 식별하고, 이 정보를 사용자 또는 차량의 컴퓨터로 제공한다. 정보를 수신한 후에, 예를 들어 운전자 또는 컴퓨터는 차량을 가속하기 시작할 것이다.

또 다른 예로서, 차량은 특정 경로를 주행할 수 있으며, 클라이언트 장치는 교차로에 걸친 주행 차선을 결정하기 위하여 그 장소를 사용할 수 있을 것이다. 이 정보에 기초하여, 클라이언트 장치는 교차로와 연관된 어떤 교통 신호들이 의도한 경로에 관련된 것인지를 결정할 수 있으며, 차량의 컴퓨터 또는 사용자에 대하여 관련 교통 신호들의 상태를 갱신한다.

차량이 자동으로 동작할 때, 장치는 예측된 바운딩 박스 내에서 적색 또는 황색 불빛이 검출되지 않았고 적어도 하나의 녹색 불빛이 검출되었음이 틀림없다고 결정함으로써 교차로에 걸쳐서 특정 경로를 결정할 것이다. 일반적으로 의미적으로(semantically) 동일한 복수의 불빛들이 교차로에 존재할 때, 장치는 통과할지 여부를 결정하기 위하여 단지 이들 불빛들 중 하나를 식별하면 된다.

도 6은 도심 도로 및 고속도로의 32km의 실험 주행 중의 예측치 및 검출된 불빛의 거리 히스토그램으로, 그 동안 자동차의 교차로의 통과를 제어하는데 상기 장치가 사용되었다. 이 예에서, 교통 신호들은 200m 밖까지 검출되었으며, 이는 장치가 교통 신호들이 보여야 한다고 예측하기 시작한 때이다. 따라서 교통 신호들은 교통 신호들과 차량 내의 장치 사이에 장애물이 존재하는 경우에도 예측되었다(도 4 및 위의 관련 설명을 참조).

도 7은 실험 주행 세션에 대한 교통 신호 복합 매트릭스를 나타낸다. 매트릭스는 각 포지티브 예의 8 이웃으로부터 생성된 네거티브 예들을 포함한다. 황색 신호 예들은 실측 자료(ground truth)에 포함되지 않았다.

아래의 표 1은 교통 신호 복합 매트릭스로부터 긍정 참(true positive, tp), 부정 참(true negative, tn), 긍정 오류(false positive, fp), 및 부정 오류(false negative, fn)를 포함한다.

	긍정 검출	부정 검출
긍정	856 (tp)	57 (fn)
부정	3 (fp)	6938 (tn)

표 1에 기초하여, 실험 장치의 정확도는 99%(851/859=0.99)였고, 반면 리콜(recall)은 62%(851/1387=0.62)였다. 실험 장치로의 영상의 전송에 대한 약 0.12s의 대기 시간(latency)에 기인하여, 주로 약 0.2s의 대기시간이 경험되었다. 카메라 대역폭 제한에 기초하여, 검출 파이프라인의 프레임 레이트는 4Hs였다. 프로세서 부하는 하나의 CPU(central processing unit, 중앙 처리 유닛)의 25% 미만이었으며, 주로 영상들의 고해상도로부터 기인하였다. 실험 장치는 카메라가 와이퍼에 의하여 닦이는 영역 뒤에 장착되고, 보통의 비가 내리는 저녁에 가장 잘 동작하였다.

비록 상술한 바와 같이 정보가 전송되거나 수신될 때 특정 이점을 얻을 수 있으나, 본 발명의 측면들은 정보의 전송의 어떤 특정 방법에 한정되는 것은 아니다. 예를 들어, 어떤 측면에서는, 정보는 광 디스크 또는 휴대용 드라이브와 같은 매체를 통하여 보내질 수 있을 것이다. 다른 측면으로, 정보는 비 전자적(non-electronic) 형태로 전송되고, 수동으로 시스템에 입력될 수 있을 것이다. 또한 추가로, 비록 몇몇 함수들은 서버 및 다른 클라이언트에서 수행되는 것으로 설명되었으나, 본 시스템 및 방법의 다양한 측면들이 하나의 프로세서를 갖는 하나의 컴퓨터에 의하여 수행될 수도 있을 것이다.

또한 도면들에서 설명되고 도시된 데이터의 예시적인 값들이나 종류들 및 구성들은 단지 설명을 위한 것임을 이해할 수 있을 것이다. 이와 관련하여, 본 발명의 측면들에 따른 시스템들 및 방법들은 다른 속성(attributes), 데이터 값들, 데이터 종류들 및 구성들을 포함할 수 있으며, 다른 시간에 다른 엔티티(entities)(예를 들어, 어떤 값들은 다른 소스들로부터 미리 제안되거나 제공될 것이다.)로 제공되거나 수신될 수 있을 것이다.

상술한 특징들의 이들 및 다른 변화 및 조합이 청구항들에 의하여 정의된 것과 같은 본 발명으로부터 분리되지 않으면서 사용될 수 있는 것과 같이, 상술한 실시 예들은 청구항들에 의하여 정의된 것과 같은 본 발명을 제한하는 방법이 아니라 설명하는 것으로 간주되어야 할 것이다. 또한 본 발명의 예들의 제공(또한 “~와 같은”, “예를 들어”, “포함하는” 등의 구문의 절)은 본 발명을 특정 예로 제한하는 것으로 해석되어서는 안 될 것이며, 오히려 예들은 단지 다양한 가능한 측면들의 예를 설명하기 위한 것이다.

반대 의사를 명시적으로 나타내지 않은 경우라면, 주어진 실시 예, 선택적 사항 또는 예시에서의 모든 특징은 여기에 포함된 다른 어떤 실시 예, 선택적 사항 또는 예시에도 사용될 수 있을 것이다. 예를 들어, 카메라 또는 특정 영상에 연관된 방향 및 지리적 위치를 결정하는 모든 기술은 본 상세한 설명의 모든 구성에 적용될 수 있을 것이다. 교통 신호의 위치나 교통 신호의 상태를 식별하거나 통신하는 각 방법은 본 상세한 설명의 모든 구성에 사용될 수 있을 것이다.

본 발명은 일반적으로 교통 신호들의 지도를 만드는 것에 관련된다. 더욱이, 이들 지도들은 실시간 교통 신호 검출을 수행하는데 사용될 수 있을 것이다.

Claims

교통 신호들의 3차원 위치들을 결정하는 방법으로서,
복수의 영상들을 수신하며, 상기 복수의 영상들 각각은 지리적 위치 및 방향 정보와 연관되는 단계;
교차로에 근접한 상기 지리적 위치와 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 컴퓨터에 의하여 선택하는 단계;
각 선택된 영상에 대하여, 상기 컴퓨터로 상기 선택된 영상 내에 적색, 황색, 및 녹색 물체들을 식별하는 단계;
둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하는 단계;
식별된 밝은 색상의 상기 적색, 황색, 및 녹색 물체들에 기초하여 교통 신호 라벨들의 세트를, 하나 이상의 상기 컴퓨터에 의해 생성하는 단계;
교통 신호 불빛 이외의 물체들에 대응하는 밝은 색상의 적색, 황색, 또는 녹색 물체들에 대한 라벨들을 제거하기 위해 상기 교통 신호 라벨들의 세트를, 하나 이상의 상기 컴퓨터에 의해 필터링하는 단계;
(1) 필터링된 상기 교통 신호 라벨들의 세트 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하는 단계; 및
상기 교통 신호들의 상기 3차원 위치들을 상기 컴퓨터로 접근 가능한 메모리에 저장하는 단계;를 포함하는 방법.
청구항 1에 있어서,
상기 교통 신호들의 상기 3차원 위치들을 포함하는 지도를 생성하는 단계를 더 포함하는 방법.
청구항 2에 있어서,
상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량에 연관되는 방법.
삭제
삭제
삭제
삭제
삭제
삭제
교통 신호들의 3차원 위치들을 결정하는 장치로서,
프로세서; 및
메모리;를 포함하고, 그리고
상기 프로세서는:
복수의 영상들을 수신하며, 상기 복수의 영상들 각각은 지리적 위치 및 방향 정보와 연관되며;
교차로에 근접한 상기 지리적 위치와 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 선택하고;
각 선택된 영상에 대하여, 상기 선택된 영상 내에 적색, 황색, 및 녹색 물체들을 식별하고;
둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하고;
식별된 밝은 색상의 상기 적색, 황색, 및 녹색 물체들에 기초하여 교통 신호 라벨들의 세트를 생성하며;
교통 신호 불빛 이외의 물체들에 대응하는 밝은 색상의 적색, 황색, 또는 녹색 물체들에 대한 라벨들을 제거하기 위해 상기 교통 신호 라벨들의 세트를 필터링하고;
(1) 필터링된 상기 교통 신호 라벨들의 세트 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하고;
교통 신호들의 상기 3차원 위치들을 상기 장치로 접근 가능한 메모리에 저장하도록 구성되는 장치.
청구항 10에 있어서,
상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량과 연관되며, 교통 신호 불빛의 포화를 피하도록 설정되는 각자의 셔터 스피드 및 게인을 갖는 장치.
청구항 10에 있어서,
상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량과 연관되며, 상기 복수의 영상들의 각 영상은 상기 하나 또는 그 이상의 카메라들로부터 네트워크를 통하여 상기 장치로 업로드 되는 장치.
청구항 10에 있어서,
상기 복수의 영상들 각각은 하나 또는 그 이상의 카메라들에 의하여 수집되며, 각 카메라는 차량과 연관되며, 상기 차량의 운전자의 시야를 최소한으로 방해하도록 위치하는 장치.
청구항 10에 있어서,
상기 식별된 적색, 황색, 및 녹색 물체들은 교통 신호들에 대응하는 크기 및 종횡비(aspect ratios)인 장치.
청구항 10에 있어서,
둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 상기 둘 또는 그 이상의 선택된 영상들의 식별된 물체들 사이의 연관 거리에 기초하는 장치.
청구항 10에 있어서,
둘 또는 그 이상의 선택된 영상들의 상기 적색, 황색, 및 녹색 물체들 중 상기 연관된 물체들을 식별하는 것은 교통 신호의 물리적 크기에 기초하는 장치.
청구항 10에 있어서,
둘 또는 그 이상의 선택된 영상들의 상기 연관된 적색, 황색, 및 녹색 물체들을 식별하는 것은 상기 선택된 영상들 사이의 직접 움직임 보상(direct motion compensation)에 기초하고, 각 선택된 영상은 움직이는 차량에 장착된 카메라에 의하여 촬영되는 장치.
청구항 17에 있어서,
상기 직접 움직임 보상에 기초하여, 선택된 영상 내의 적색, 황색, 및 녹색 물체들 중 상기 식별된 물체들을 교통 신호 불빛 이외의 물체로 식별하도록, 상기 프로세서가 더 구성되는 장치.
청구항 10에 있어서,
상기 프로세서는, 상기 결정한 상기 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 교통 신호에 연관된 차선을 결정하도록 더욱 구성되는 장치.
교통 신호의 상태를 결정하는 방법으로서,
클라이언트 장치의 현재 위치를 반복적으로 결정하는 단계;
상기 클라이언트 장치의 상기 현재 위치를 교통 신호들의 3차원 위치들의 지도에 비교하는 것에 기초하여 교통 신호의 경계의 추정된 위치를 결정하는 단계;
상기 추정된 위치의 영상들을 수집하는 단계;
각 수집된 영상에 대하여, 상기 클라이언트 장치에 의하여 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계; 및
식별된 밝은 색상의 상기 적색, 황색, 및 녹색 물체들에 기초하여 교통 신호 라벨들의 세트를 생성하는 단계;
상기 교통 신호의 추정된 위치의 경계 내에서 교통 신호 불빛 이외의 물체에 대응하는 밝은 색상의 적색, 황색, 또는 녹색 물체들에 대한 라벨들을 제거하기 위해 상기 교통 신호 라벨들의 세트를 필터링하는 단계;
필터링된 상기 교통 신호 라벨들의 세트로부터, 상기 식별된 물체의 색상에 기초하여 상기 교통 신호의 상태를 결정하는 단계;를 포함하는 방법.
청구항 20에 있어서,
상기 교통 신호의 상태가 디폴트 상태(default status)로부터 변경되었는지를 결정하는 단계;를 더 포함하는 방법.
청구항 20에 있어서,
상기 교통 신호의 상기 추정된 위치의 상기 경계 내에 식별된 물체가 없는 경우, 상기 교통 신호의 상태가 디폴트 상태라고 결정하는 방법.
청구항 21에 있어서,
상기 디폴트 상태는 황색 불빛인 방법.
청구항 22에 있어서,
상기 디폴트 상태는 적색 불빛인 방법.
청구항 20에 있어서,
차량에 연관된 컴퓨터로 상기 교통 신호의 상태를 전송하는 단계를 더 포함하는 방법.
삭제
청구항 20에 있어서,
상기 교통 신호의 상기 상태에 기초하여 운전 명령(instruction)을 제공하는 단계를 더 포함하는 방법.
교통 신호들의 3차원 위치들을 결정하는 장치로서,
프로세서; 및
2차 리소스 파일들(resource files)을 저장하기 위한 제1 부분을 포함하는 메모리;를 포함하고,
상기 프로세서는:
클라이언트 장치의 현재 위치를 반복적으로 결정하고;
상기 클라이언트 장치의 상기 현재 위치를 교통 신호들의 3차원 위치들의 지도에 비교하는 것에 기초하여 교통 신호의 경계의 추정된 위치를 결정하고;
상기 추정된 위치의 영상들을 수집하고;
각 수집된 영상에 대하여, 상기 클라이언트 장치에 의하여 상기 교통 신호의 상기 추정된 위치의 상기 경계 내의 적색, 황색, 및 녹색 물체들을 식별하고;
식별된 밝은 색상의 상기 적색, 황색, 및 녹색 물체들에 기초하여 교통 신호 라벨들의 세트를 생성하며;
상기 교통 신호의 추정된 위치의 경계 내에서 교통 신호 불빛 이외의 물체에 대응하는 밝은 색상의 적색, 황색, 또는 녹색 물체들에 대한 라벨들을 제거하기 위해 상기 교통 신호 라벨들의 세트를 필터링하고;
필터링된 상기 교통 신호 라벨들의 세트로부터, 상기 교통 신호의 상태를 결정하도록 구성되는 장치.
청구항 28에 있어서,
상기 장치는 디스플레이 장치를 포함하고, 상기 프로세서는 상기 디스플레이 장치에 상기 교통 신호의 상태를 식별하도록 더 구성되는 장치.
교통 신호들의 영상들을 수집하는 방법으로서,
교통 신호 불빛의 포화를 피하도록 카메라의 셔터 스피드 및 게인을 설정하는 단계;
차량에 상기 카메라를 장착하는 단계;
교통 교차로를 통해 상기 차량을 주행시키는(maneuvering) 단계;
상기 교통 교차로의 복수의 영상들을 수집하는 단계;
위치측정 장치에 기초하여 지리적 위치 및 방향 정보를 상기 복수의 영상들 각각과 연관시키는 단계;
상기 복수의 영상들 및 연관된 지리적 위치들을 메모리에 저장하는 단계;
네트워크를 통해 컴퓨터로 상기 복수의 영상들 및 상기 연관된 지리적 위치들을 전송하는 단계;
상기 복수의 영상들 및 상기 연관된 지리적 위치 및 방향 정보를 수신하는 단계;
교통 교차로들에 근접한 지리적 위치들에 연관된 상기 복수의 영상들 중 하나 또는 그 이상의 영상들을 선택하는 단계;
각 선택된 영상에 대하여, 상기 선택된 영상 내의 적색, 황색, 및 녹색 물체들을 식별하는 단계;
둘 또는 그 이상의 상기 선택된 영상들 내에서, 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보에 기초하여, 상기 적색, 황색, 및 녹색 물체들 중 연관된 물체들을 식별하는 단계;
식별된 밝은 색상의 상기 적색, 황색, 및 녹색 물체들에 기초하여 교통 신호 라벨들의 세트를 생성하는 단계;
교통 신호 불빛 이외의 물체들에 대응하는 밝은 색상의 적색, 황색, 또는 녹색 물체들에 대한 라벨들을 제거하기 위해 상기 교통 신호 라벨들의 세트를 필터링하는 단계;
(1) 필터링된 상기 교통 신호 라벨들의 세트 및 (2) 상기 둘 또는 그 이상의 선택된 영상들의 상기 지리적 위치 및 방향 정보,에 기초하여 교통 신호들의 3차원 위치들을 결정하는 단계; 및
교통 신호들의 상기 3차원 위치들을 상기 컴퓨터로 접근 가능한 메모리에 저장하는 단계;를 포함하는 방법.
삭제
청구항 30에 있어서,
상기 결정된 상기 교통 신호의 상기 3차원 위치를 교차로에 걸친 차선들의 지도에 비교하는 것에 기초하여 상기 교통 신호에 연관된 차선을 결정하는 단계;를 더 포함하는 방법.