KR20180009786A - 신호기 검출 장치 및 신호기 검출 방법 - Google Patents

Abstract

신호기 검출 장치(100)는, 차량(5)의 주위에 존재하는 신호기의 위치 정보를 포함하는 지도 정보(D02)와 차량(5)의 자기 위치에 기초하여, 신호기의 차량(5)에 대한 상대 위치를 추정하는 신호기 위치 추정부(13)와, 신호기의 상대 위치로부터 촬상부(11)에 의해 취득된 화상 상에 존재할 것으로 예측되는 신호기마다, 화상 상에 제1 검출 영역을 설정하는 제1 검출 영역 설정부(21)와, 화상 상에 복수의 신호기가 존재할 것이 예측되는 경우, 예측된 복수의 신호기를 포함하는 제2 검출 영역을 화상 상에 설정하는 제2 검출 영역 설정부(14)와, 제2 검출 영역으로부터 검출된 신호기의 램프 후보에 기초하여, 제1 검출 영역을 보정함으로써 제3 검출 영역을 설정하는 제3 검출 영역 설정부(23)와, 제3 검출 영역으로부터 신호기를 검출하는 신호기 검출부(17)를 구비한다.

Description

신호기 검출 장치 및 신호기 검출 방법

본 발명은, 교통 신호기를 검출하는 신호기 검출 장치 및 신호기 검출 방법에 관한 것이다.

차량의 전방을 촬영한 화상 데이터에 대하여, 차량이 주행하는 도로 형상 및 차량의 현재 위치로부터 예측된 신호기의 위치에 기초하여, 화상 처리 영역을 결정하고, 화상 처리 영역으로부터 신호기를 검출하는 시스템이 제안되어 있다(특허문헌 1 참조). 이러한 시스템은, 화상 처리의 대상 영역을 한정함으로써, 화상 처리에 있어서의 처리 부하를 경감시킴과 함께, 신호기가 아닌 것에 대한 오검출을 저감시킨다.

일본 특허 공개 제2007-241469호 공보

그러나, 특허문헌 1에 기재된 기술은, 화상 처리 영역을 결정할 때, 검출된 차량의 현재 위치에 포함되는 오차에 대하여 고려되어 있지 않다. 차량의 현재 위치의 오차는 차량의 주행 상황이나 주위 환경에 따라서 크게 변화되기 때문에, 특허문헌 1에 기재된 기술에서는, 차량의 현재 위치의 오차가 있는 경우, 신호기가 화상 처리 영역으로부터 벗어나버려, 신호기를 검출할 수 없을 가능성이 있다.

본 발명은, 상기 문제점을 감안하여, 신호기의 검출 정밀도를 향상시킬 수 있는 신호기 검출 장치 및 신호기 검출 방법을 제공하는 것을 목적으로 한다.

신호기 검출 장치는, 신호기의 상대 위치에 기초하여 설정된 제1 검출 영역을, 실제 환경으로부터 검출된 램프 후보에 기초하여 보정함으로써, 제3 검출 영역을 설정하고, 제3 설정 영역으로부터 신호기를 검출한다.

도 1은, 본 발명의 실시 형태에 따른 신호기 검출 장치의 기본적인 구성을 설명하는 모식적인 블록도이다.
도 2는, 본 발명의 실시 형태에 따른 신호기 검출 장치의 구성 및 데이터 플로우를 설명하는 블록도이다.
도 3은, 본 발명의 실시 형태에 따른 신호기 검출 장치에 사용되는 제2 검출 영역을 설명하는 도면이다.
도 4는, 본 발명의 실시 형태에 따른 신호기 검출 장치에 사용되는 램프 후보를 설명하는 도면이다.
도 5는, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 신호기 검출 영역 설정부의 구성 및 데이터 플로우를 설명하는 블록도이다.
도 6은, 본 발명의 실시 형태에 따른 신호기 검출 장치에 사용되는 제1 검출 영역을 설명하는 도면이다.
도 7은, 본 발명의 실시 형태에 따른 신호기 검출 장치에 의한 신호 검출 방법의 일례를 설명하는 흐름도이다.
도 8은, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 처리의 일례를 설명하는 흐름도이다.
도 9는, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 모든 신호기 램프가 램프 후보로서 검출된 경우의 처리의 일례를 설명하는 도면이다.
도 10은, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 촬상된 화상에 롤 회전을 발생하고 있는 경우의 처리의 일례를 설명하는 도면이다.
도 11은, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 2개의 램프 후보밖에 검출되지 않은 경우의 처리의 일례를 설명하는 도면이다.
도 12는, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 처리의 일례를 설명하는 도면이다.
도 13은, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 처리의 일례를 설명하는 도면이다.
도 14는, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 처리의 일례를 설명하는 도면이다.
도 15는, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 보정 산출부의 제1 검출 영역의 수에 비해 램프 후보의 검출수가 적은 경우의 처리의 일례를 설명하는 도면이다.
도 16은, 본 발명의 실시 형태에 따른 신호기 검출 장치가 구비하는 제3 검출 영역 설정부의 화상 전체에 대한 축척도 변경하는 경우의 처리의 일례를 설명하는 도면이다.

도면을 참조하여, 본 발명의 실시 형태를 설명한다. 도면의 기재에 있어서, 동일 또는 유사한 부분에는 동일 또는 유사한 부호를 붙이고, 중복되는 설명을 생략한다.

(신호기 검출 장치)

본 실시 형태에 따른 신호기 검출 장치(100)는, 도 1에 도시한 바와 같이, 차량(이동체)(5)에 탑재된 촬상부(카메라)에 의해 촬상된 화상으로부터, 차량(5)이 주행하는 도로 주변에 설치된 신호기를 검출한다. 신호기 검출 장치(100)는 랜드마크 정보(D01)와, 지도 정보(D02)와, 카메라 정보(D03)가 입력된다. 신호기 검출 장치(100)는 랜드마크 정보(D01), 지도 정보(D02) 및 카메라 정보(D03)에 기초하여, 신호기의 검출 결과를 신호기 정보(D04)로서 출력한다.

랜드마크 정보(D01)는, 실제 환경에서 주행하고 있는 차량(5)의 지도 상의 현재 위치(자기 위치)를 검출하기 위하여 사용된다. 랜드마크에는, 지상에 설치된 특징물(지상 랜드마크)이나, 차량(5)이 수신 가능한 GPS 신호를 발신하는 GPS 위성이 포함된다. 랜드마크 정보(D01)는, 예를 들어 지도 상의 지상 랜드마크의 위치 정보를 포함한다. 지도 정보(D02)는, 차량(5)이 주행하는 도로 형상 등의 위치 정보와, 미리 실제 환경과 지도 사이에 대응짓기가 가능한, 지상 랜드마크 등의 위치 정보를 포함한다. 카메라 정보(D03)는, 촬상부로부터 차량 주위(예를 들어 전방)의 화상을 추출하기 위해 사용된다. 예를 들어, 촬상 방향을 정하는 줌, 팬 및 틸트의 정보나, 화상의 해상도를 정하는 정보 등이 설정된다.

신호기 검출 장치(100)는, 도 2에 도시한 바와 같이, 촬상부(카메라)(11)와, 자기 위치 검출부(12)와, 신호기 위치 추정부(13)와, 제2 검출 영역 설정부(14)와, 램프 검출부(15)와, 신호기 검출 영역 설정부(16)와, 신호기 검출부(17)를 구비한다.

촬상부(11)는 차량(5)에 탑재되어, 차량(5)의 주위를 촬상하여 화상을 취득한다. 촬상부(11)는 CCD, CMOS 등의 고체 촬상 소자를 구비하고, 화상 처리 가능한 디지털 화상을 취득한다. 촬상부(11)는, 카메라 정보(D03)에 기초하여, 카메라의 화각, 수직 및 수평 방향의 각도, 해상도 등을 설정하고, 차량(5) 주위의 필요한 영역에 대하여 촬상한 화상을 화상 데이터(D08)로서 출력한다.

자기 위치 검출부(12)는, 랜드마크 정보(D01) 및 지도 정보(D02)에 기초하여, 차량(5)의 지도 상의 현재 위치(자기 위치)를 검출한다. 랜드마크 정보(D01)는, 예를 들어 차량 탑재의 카메라 또는 레이저 레이더 등의 센서에 의해 검출된 지상 랜드마크(점포, 명소, 관광지 등)의, 차량(5)에 대한 상대 위치의 정보이다. 자기 위치 검출부(12)는, 랜드마크 정보(D01)의 지상 랜드마크의 위치 정보와 지도 정보(D02)의 지상 랜드마크의 위치 정보를 대조함으로써, 차량(5)의 지도 상의 현재 위치(자기 위치)를 검출할 수 있다.

여기서, 본 실시 형태에 있어서, 「위치」는 좌표 및 자세를 포함한다. 구체적으로는, 지상 랜드마크의 위치에는, 지상 랜드마크의 좌표 및 자세가 포함되고, 차량(5)의 현재 위치에는, 차량(5)의 지도 상의 좌표 및 자세가 포함된다. 자기 위치 검출부(12)는, 기준이 되는 직교 좌표계에 있어서의 좌표, 및 각 좌표축의 회전 방향인 자세를 자기 위치 정보(D05)로서 출력한다.

예를 들어, 자기 위치 검출부(12)는 랜드마크 정보(D01) 및 지도 정보(D02)를 사용하여 차량(5)의 지도 상의 초기 위치를 검출하고, 초기 위치에, 차량(5)의 이동량을 누적 가산함으로써 차량(5)의 지도 상의 현재 위치(자기 위치)를 검출한다. 자기 위치 검출부(12)는 오도메트리, 레이더 장치, 자이로 센서, 요레이트 센서, 타각 센서 등을 사용하여, 단위 시간당 차량(5)의 이동량, 즉, 좌표 및 자세의 변화량을 추정할 수 있다.

신호기 위치 추정부(13)는, 지도 정보(D02)와 자기 위치 정보(D05)로부터, 차량(5)에 대한 신호기의 상대 위치를 추정한다. 신호기 위치 추정부(13)는, 차량(5) 주위에 존재하는 신호기의 지도 상의 좌표 정보와 차량의 지도 상의 현재 위치의 좌표 및 자세 정보로부터, 차량(5)에 대한 신호기의 상대 좌표를 추정한다. 신호기 위치 추정부(13)는 추정한 신호기의 상대 좌표를 상대 위치 정보(D06)로서 출력한다. 상대 위치 정보(D06)에 나타나는 신호기는, 차량(5)에 대하여 교통 신호를 제시하는 신호기, 즉, 차량이 따라야 할 신호기이다.

제2 검출 영역 설정부(14)는, 상대 위치 정보(D06)에 나타나는 신호기의 상대 위치로부터, 촬상부(11)에 의해 촬상되는 화상 상에 복수의 신호기가 존재할 것이 예측되는 경우, 예측된 복수의 신호기를 포함하는 제2 검출 영역을 화상 상에 설정한다. 촬상부(11)는 차량에 고정되어 있기 때문에, 촬상부(11)의 화각 및 촬상 방향이 정해지면, 제2 검출 영역 설정부(14)는, 상대 위치 정보(D06)로부터, 화상 상의 신호기의 영역을 예측할 수 있다. 제2 검출 영역 설정부(14)는, 예측되는 화상 상의 신호기의 영역에 기초하여, 복수의 신호기를 포함하는 제2 검출 영역을 설정하고, 제2 검출 영역 정보(D07)로서 출력한다.

제2 검출 영역 설정부(14)는, 차량(5)의 거동이나 자기 위치 정보(D05)에 오차가 포함되었다고 해도 각 신호기가 제2 검출 영역으로부터 벗어나지 않도록, 이들의 오차분을 고려하여, 예측되는 화상 상의 신호기의 영역을 모두 포함하는 제2 검출 영역을 설정한다. 예를 들어, 도 3에 도시한 바와 같이, 화상 데이터(D08)가 나타내는 화상 상에 복수의 신호기(TS1 내지 TS4)가 존재할 것이 예측되는 경우, 제2 검출 영역 정보(D07)는, 복수의 신호기(TS1 내지 TS4)의 영역에 대하여 상하 좌우의 단부에, 오차분을 고려한 소정의 마진을 갖도록 설정된다.

램프 검출부(15)는, 촬상부(11)에 의해 촬상된 화상의 제2 검출 영역에 대하여, 신호기의 램프를 검출하기 위한 화상 처리를 실시함으로써, 제2 검출 영역으로부터, 신호기의 램프의 특징을 가진 램프 후보를 검출한다. 예를 들어, 램프 검출부(15)는, 상용 전원의 교류 주기에 기초하는 특정 주기로 점멸하는 화소를 추출하여 그 영역을 램프 후보로서 검출한다. 또는, 램프 검출부(15)는, 색상 및 형상의 유사 판정 처리를 사용하여, 램프 후보를 검출할 수 있다. 이와 같이, 램프 검출부(15)는, 각종 화상 처리 방법 또는 그들의 조합을 사용하여 램프 후보를 검출할 수 있다. 램프 검출부(15)는, 검출된 램프 후보의 화상 상의 위치 및 영역을, 램프 후보 정보(D09)로서 출력한다.

또한, 램프 검출부(15)는, 촬상부(11)에 의해 촬상된 화상의 전체 영역이 아니라, 화상의 일부에 설정된 제2 검출 영역에 대해서만 화상 처리를 실시함으로써, 램프 후보 검출을 위한 처리 부하 및 처리 시간을 저감시킬 수 있다. 단, 제2 검출 영역은, 제2 검출 영역 설정부(14)에 의해, 촬상부(11)에 의해 촬상된 화상의 전체 영역으로서 설정되어도 된다. 예를 들어, 램프 검출부(15)가, 도 3에 나타내는 예에 있어서 제2 검출 영역으로부터 램프 후보를 검출하면, 도 4에 도시한 바와 같이, 점등하는 각 신호기(TS1 내지 TS4)의 램프 영역에 램프 후보 정보(D09)가 설정된다.

신호기 검출 영역 설정부(16)는, 상대 위치 정보(D06) 및 램프 후보 정보(D09)에 기초하여, 촬상부(11)에 의해 촬상된 화상 상에, 제2 검출 영역보다도 좁은, 각 신호기에 대응하는 제3 검출 영역을 설정하고, 제3 검출 영역 정보(D10)로서 출력한다. 신호기 검출 영역 설정부(16)에 관한 상세한 설명은 후술한다.

신호기 검출부(17)는, 촬상부(11)에 의해 촬상된 화상의 제3 검출 영역에 대하여, 신호기를 검출하기 위한 화상 처리를 실시함으로써, 제3 검출 영역으로부터 신호기를 검출하고, 신호기 정보(D04)로서 출력한다. 예를 들어, 신호기 검출부(17)는, 미리 신호기의 하우징, 램프를 포함한 전체 화상의 특징 패턴을 기억해 두고, 제3 검출 영역 내의 화상을 패턴 매칭에 의해 유사도가 높은 것을 신호기로서 검출한다. 램프 검출부(15)와 동일한 방법을 조합해도 되고, 각종 화상 처리 방법 또는 그들의 조합을 사용하여 제3 검출 영역으로부터 신호기를 검출할 수 있다. 램프 검출부(15)와 동일한 방법으로도, 제3 검출 영역은 제2 검출 영역보다도 좁기 때문에, 제2 검출 영역에서 검출된 램프 후보 중, 신호기의 램프 이외의 것을 제외하고, 신호기를 검출할 수 있다.

자기 위치 검출부(12), 신호기 위치 추정부(13), 제2 검출 영역 설정부(14), 램프 검출부(15), 신호기 검출 영역 설정부(16) 및 신호기 검출부(17)는, 예를 들어 중앙 연산 처리 장치(CPU), 메모리 및 입출력부를 구비하는 마이크로컨트롤러를 사용하여 실현된다. 이 경우, 마이크로컨트롤러에 미리 인스톨된 컴퓨터 프로그램을 CPU가 실행함으로써, 복수의 정보 처리부(12 내지 17)가 각각 구성된다. 마이크로컨트롤러는, 예를 들어 자동 운전 제어 등의 차량(5)에 관한 다른 제어에 사용되는 전자 제어 유닛(ECU)과 겸용되어도 된다.

신호기 검출 영역 설정부(16)는, 도 5에 도시한 바와 같이, 제1 검출 영역 설정부(21)와, 보정 산출부(22)와, 제3 검출 영역 설정부(23)를 구비한다.

제1 검출 영역 설정부(21)는, 상대 위치 정보(D06)에 나타나는 신호기의 상대 위치로부터, 촬상부(11)에 의해 촬상되는 화상 상에 존재할 것으로 예측되는 신호기마다, 화상 상에 제1 검출 영역을 설정한다. 촬상부(11)는 차량에 고정되어 있기 때문에, 촬상부(11)의 화각 및 촬상 방향이 정해지면, 제1 검출 영역 설정부(21)는, 상대 위치 정보(D06)로부터, 화상 상의 신호기의 영역을 예측할 수 있다. 제2 검출 영역 설정부(14)는, 예측되는 신호기마다 제1 검출 영역을 설정하고, 제1 검출 영역 정보(D11)를 출력한다.

제1 검출 영역 설정부(21)는, 예를 들어 신호기가 갖는 어느 램프가 점등되어 있어도 신호기가 제1 검출 영역에 포함되도록, 신호기의 하우징도 포함하도록 제1 검출 영역을 설정하도록 해도 된다.

또는, 제1 검출 영역 설정부(21)는, 자기 위치 정보(D05)가 차량(5)의 진행 방향에 있어서 어긋나 있을 가능성을 고려하여 제1 검출 영역을 설정하도록 해도 된다. 예를 들어, 자기 위치 정보(D05)에 기초하여, 차량(5)으로부터 신호기까지의 거리가 60m로 산출되는 경우에 있어서, 실제의 차량(5)으로부터 신호기까지의 거리가 50m였다고 하자. 이 때, 실제의 화상 상의 신호기의 사이즈는, 자기 위치 정보(D05)로부터 예측되는 화상 상의 신호기의 사이즈의 60/50배로 된다. 또한, 차량(5)으로부터 신호기까지의 거리가 어긋나면, 상대 위치 정보(D06)도 어긋난다. 예를 들어, 도 3에 나타내는 예에 있어서, 50m 앞에 있는 신호기까지의 거리가 60m로 산출되는 경우, 안쪽의 신호기(TS1 내지 TS3)가 좌측 상단, 앞쪽의 신호기(TS4)가 우측 상단으로 어긋나버린다. 이와 같이, 제1 검출 영역 설정부(21)는, 자기 위치 정보(D05)에 발생할 수 있는 오차를 고려하여, 신호기의 화상 상의 어긋남을 보완할 수 있는 영역을 더한 제1 검출 영역으로서 설정하도록 해도 된다.

제1 검출 영역 설정부(21)는, 도 3에 도시한 바와 같이 신호기(TS1 내지 TS4)가 예측되는 경우, 도 6에 도시한 바와 같이, 각 신호기(TS1 내지 TS4)에 대응하는 영역에 제1 검출 영역을 설정하고, 제1 검출 영역을 제외하여 화상을 마스크하는 마스크 화상(M)을 생성한다. 제1 검출 영역 설정부(21)는, 마스크 화상(M)을 제1 검출 영역 정보(D11)로서 출력한다.

보정 산출부(22)는, 램프 후보 정보(D09) 및 제1 검출 영역 정보(D11)에 기초하여, 제1 검출 영역에 대한 보정량(보정값)을 산출한다. 보정 산출부(22)는, 제2 검출 영역에 있어서 검출된 램프 후보의 위치와, 마스크 화상(M)의 제1 검출 영역을 대조하여, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치를 찾는다. 보정 산출부(22)는, 마스크 화상(M)을, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치로 보정하는 데 필요한 보정값을 산출하고, 보정 정보(D12)로서 출력한다. 보정 산출부(22)에 관한 상세한 설명은 후술한다.

제3 검출 영역 설정부(23)는, 보정 정보(D12)가 나타내는 보정값에 기초하여, 제1 검출 영역 정보(D11)에 의해 나타나는 제1 검출 영역의 화상 상의 위치를 보정하고, 보정 후의 제1 검출 영역의 화상 상의 위치를 제3 검출 영역으로 함으로써, 촬상부(11)에 의해 촬상된 화상 상에 제3 검출 영역을 설정하고, 제3 검출 영역 정보(D10)로서 출력한다.

(신호기 검출 방법)

이하, 도 7의 흐름도를 사용하여, 본 실시 형태에 따른 신호기 검출 장치에 의한 신호기 검출 방법의 일례를 설명한다.

스텝 S1에 있어서, 제2 검출 영역 설정부(14)는, 화상 상에 복수의 신호기가 존재하는 것이 상대 위치 정보(D06)에 기초하여 예측되는 경우, 예측된 복수의 신호기를 포함하는 제2 검출 영역을, 촬상부(11)에 의해 촬상된 화상 상에 설정한다.

스텝 S2에 있어서, 램프 검출부(15)는, 제2 검출 영역의 화상에 대하여 신호기의 램프를 검출하기 위한 화상 처리를 실시함으로써, 제2 검출 영역으로부터, 신호기의 램프의 특징을 가진 램프 후보를 검출한다. 검출된 램프 후보의 화상 상의 위치 및 영역을, 램프 후보 정보(D09)로서 출력한다.

스텝 S3에 있어서, 제1 검출 영역 설정부(21)는, 신호기의 상대 위치 정보(D06)에 기초하여, 촬상부(11)에 의해 촬상된 화상 상에 존재할 것으로 예측되는 신호기마다, 화상 상에 제1 검출 영역을 설정한다.

스텝 S4에 있어서, 보정 산출부(22)는, 제2 검출 영역에 있어서 검출된 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치를 찾는다. 마스크 화상(M)을 화상 상에서 이동시킴으로써 대조하여, 제1 검출 영역이 램프 후보의 위치와 가장 겹치고, 대응하는 위치를 찾는다. 보정 산출부(22)는, 이 때의 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치로의 마스크 화상(M)의 이동량을, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치로 보정하는 데 필요한 보정값으로서 산출한다.

스텝 S5에 있어서, 제3 검출 영역 설정부(23)는, 보정 산출부(22)에 의해 산출된 보정값만큼, 제1 검출 영역을 이동시킴으로써 보정하고, 보정 후의 제1 검출 영역의 화상 상의 위치를 제3 검출 영역으로서 설정한다.

스텝 S6에 있어서, 신호기 검출부(17)는, 촬상부(11)에 의해 촬상된 화상의 제3 검출 영역에 대하여 신호기를 검출하기 위한 화상 처리를 실시함으로써, 제3 검출 영역으로부터 신호기를 검출한다.

(보정 산출부(22)의 처리)

이하, 도 8에 나타내는 흐름도를 사용하여, 도 7의 흐름도의 스텝 S4에 있어서의 보정 산출부(22)의 처리에 대하여 설명한다.

스텝 S41에 있어서, 보정 산출부(22)는, 제1 검출 영역의 수를 N이라 하고, 카운터값 i의 초기값을 N으로 설정한다. 스텝 S42에 있어서, 보정 산출부(22)는, 카운터값 i가 1인지 여부를 판정한다. 보정 산출부(22)는, 카운터값 i가 1일 경우, 스텝 S43으로 처리를 진행시키고, 보정값을 0으로 하여 산출한다. 보정 산출부(22)는, 카운터값 i가 1이 아닐 경우, 스텝 S44로 처리를 진행시킨다.

스텝 S44에 있어서, 보정 산출부(22)는, 마스크 화상(M)의 제1 검출 영역과 제2 검출 영역에 있어서 검출된 램프 후보의 위치를 대조하여, 램프 후보의 위치가 제1 검출 영역과 대응하는(겹치는) 수가 i로 되는 위치가 있는지 여부를 판정한다. 보정 산출부(22)는, 수가 i로 되는 위치를 찾아낸 경우, 스텝 S45로 처리를 진행시키고, 제1 검출 영역으로부터 수가 i로 되는 위치까지의 이동량을 보정값으로서 산출한다. 보정 산출부(22)는, 수가 i로 되는 위치를 찾아내지 못한 경우, 카운터값 i를 디크리먼트하고, 스텝 S42로 처리를 복귀시킨다. 보정값은, 최후의 스텝 S44에 있어서 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응했을 때의, 제1 검출 영역의 이동 좌표(x, y) 및 회전각(θ)으로 한다.

예를 들어, 도 9는, 제1 검출 영역의 수 N이 4이며, 모든 신호기의 점등하는 램프가 램프 후보로서 검출된 경우의 보정값의 산출예이다. 모든 제1 검출 영역이 램프 후보의 위치와 겹쳤다고 하자. 이 경우, 보정 산출부(22)는, 모든 램프 후보가 각 제1 검출부의 중앙에 가까워지는 위치를, 램프 후보의 위치와 제1 검출 영역이 가장 대응하는 위치로 하여 보정값을 산출한다. 도 10에 나타내는 예에서는, 보정 산출부(22)는, 각 제1 검출 영역을 우측 하단으로 평행 이동시킴으로써, 마스크 화상(M)의 이동량을 산출하고 있다. 보정값은, 이동 좌표(화소)(x, y), 회전각 θ(=0)와 같이 산출된다.

도 10은, 제1 검출 영역의 수 N이 4이며, 모든 신호기의 점등하는 램프가 램프 후보로서 검출되었지만, 촬상부(11)에 의해 촬상된 화상에 롤 회전을 일으킨 경우의 보정값의 산출예이다. 제1 검출 영역이 램프 후보의 위치와 대응하는 수가 4를 채우지 못했다고 하자. 롤 회전은, 차량(5)의 거동에 의해 발생할 수 있다. 이 경우, 보정 산출부(22)는, 회전각 θ만큼 마스크 화상(M)을 회전시킴으로써, i=4로 한다. 또한, 보정 산출부(22)는, 각 램프 후보의 위치가 제1 검출 영역의 중앙에 가까워지는 위치를 찾아내고, 보정값을 산출한다. 이 때 보정값은, 이동 좌표(x, y), 회전각 θ와 같이 산출된다.

도 11은, 제1 검출 영역의 수 N이 4인 것에 비해, 촬상부(11)의 화각의 저해 등에 의해, 2개의 램프 후보밖에 검출되지 않은 경우의 보정값의 산출예이다. 이 경우, 보정 산출부(22)는, 마스크 화상(M)을 우측 하단으로 평행 이동시킴으로써, 2개의 램프 후보의 위치가 마스크 화상(M)의 각 제1 검출 영역과 겹치는 위치를 찾아낸다(i=2). 추가로, 보정 산출부(22)는, 카운터값 i가 2인 상태에서, 2개의 램프 후보의 위치가 마스크 화상(M)의 각 제1 검출 영역의 중앙 가까이가 되는 위치를 찾아내어, 보정값을 산출한다. 보정값은, 이동 좌표(x, y), 회전각 θ(=0)와 같이 산출된다.

도 12는, 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 보정값의 산출예이다. 예를 들어, 제1 검출 영역의 수 N이 4인 것에 비해, 차량(5) 주위의 물체 등에 의해, 오검출을 포함하는 7개의 램프 후보가 검출되었다고 하자. 이 경우, 보정 산출부(22)는, 마스크 화상(M)을 우측 하단으로 평행 이동시킴으로써, 4개의 램프 후보의 위치가 마스크 화상(M)의 각 제1 검출 영역의 중앙 가까이가 되는 위치를, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치로 하여 보정값을 산출한다(i=4). 보정값은, 이동 좌표(x, y), 회전각 θ(=0)와 같이 산출된다.

도 13은, 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 보정값의 산출예이다. 예를 들어, 제1 검출 영역의 수 N이 4인 것에 비해, 화각의 저해나 주위의 물체 등에 의해, 3개의 오검출을 포함하는 5개의 램프 후보가 검출되었다고 하자. 이 경우, 보정 산출부(22)는, 마스크 화상(M)을 우측 하단으로 평행 이동시킴으로써, 2개의 램프 후보의 위치가 마스크 화상(M)의 각 제1 검출 영역의 중앙 가까이가 되는 위치를, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하는 위치로 하여 보정값을 산출한다(i=2). 보정값은, 이동 좌표(x, y), 회전각 θ(=0)와 같이 산출된다.

도 14는, 제1 검출 영역의 수에 비해 램프 후보의 검출수가 많은 경우의 보정값의 산출예이다. 예를 들어, 제1 검출 영역의 수 N이 4인 것에 비해, 화각의 저해나 주위의 물체 등에 의해, 5개의 램프 후보가 검출되었다고 하자. 이 때, 보정 산출부(22)는, 마스크 화상(M)을 우측 상단 또는 우측 하단으로 평행 이동시킴으로써, 램프 후보의 위치와 마스크 화상(M)의 제1 검출 영역이 가장 대응하도록 보정값을 산출한다. 마스크 화상(M)의 제1 검출 영역을 우측 상단으로 보정하여 제3 검출 영역을 A와 같이 가정하면, i=2가 되고, 마스크 화상(M)의 제1 검출 영역을 우측 하단으로 보정하여 제3 검출 영역을 B와 같이 가정하면, i=3이 된다. 이 경우, 램프 후보의 하나가 오검출일 가능성도 있기 때문에, 보정 산출부(22)는, 보정값(마스크 화상(M)의 이동량)이 적은 쪽을 선택하면 된다. 보정값은, 이동 좌표(x, y), 회전각 θ(=0)와 같이 산출된다.

또는, 다른 선택 방법으로서, 보정 산출부(22)는, 복수의 보정값이 산출 가능한 경우, 램프 후보를 검출한 프레임의 화상을 파기하고, 다음 프레임의 화상에 대하여 램프 검출부(15)가 램프 후보를 검출하도록 해도 된다. 이에 의해, 보정 산출부(22)는, 잘못된 신호기의 검출 결과가 출력되는 것을 방지할 수 있다.

도 15는, 제1 검출 영역의 수에 비해 램프 후보의 검출수가 적은 경우의 보정값의 산출예이다. 예를 들어, 제1 검출 영역의 수 N이 4인 것에 비해, 화각의 저해나 주위의 물체 등에 의해, 3개의 램프 후보가 검출되었다고 하자. 또한, 마스크 화상(M)의 제1 검출 영역을 보정하지 않은 상태에서, 제1 검출 영역이 램프 후보와 대응하는 수가 1이며, 하나의 마스크 화상(M)을 어떻게 이동시켜도, 제1 검출 영역이 램프 후보의 위치와 대응하는 수가 1을 초과하지 않는다고 하자. 이 때, 보정 산출부(22)는, 보정값을 0(이동 좌표(0, 0), 회전각 θ(=0))으로 한다. 즉, 신호기 검출부(17)는, 제1 검출 영역 정보(D11)가 나타내는 제1 검출 영역으로부터, 신호기를 검출하게 된다. 또한, 보정 산출부(22)는, 검출된 램프 후보의 수가 1인 경우에도 동일하게, 보정값을 0으로 한다.

도 9 내지 도 15에 나타내는 예에 있어서, 제3 검출 영역 설정부(23)는, 제1 검출 영역 정보(D11)가 나타내는 제1 검출 영역을, 화상 전체에 대한 축척을 변경하지 않고, 좌표(x, y)를 평행 이동시키고, 경우에 따라서는 회전각 θ만큼 회전시킴으로써, 제3 검출 영역을 설정하고 있지만, 제3 검출 영역은, 화상 전체에 대한 축척을 제1 검출 영역에 대하여 변경하도록 해도 된다.

제3 검출 영역 설정부(23)는, 평행 이동에서의 보정 후의 각 제1 검출 영역의 중심점 또는 보정 후의 제1 검출 영역에 겹치는 램프 후보의 중심점을 기준으로, 제1 검출 영역의 화상 전체에 대한 축척을 변경함으로써 제3 검출 영역을 설정하도록 해도 된다. 제3 검출 영역의 축척은, 램프 후보의 크기에 기초하여 신호기의 하우징 크기를 예측하고, 화상 상에 있어서 신호기의 하우징이 제3 검출 영역에 포함되도록 설정할 수 있다. 이에 의해, 차량의 진행 방향의 현재 위치의 추정 오차가 큰 경우에도 대응할 수 있다.

예를 들어 도 16은, 화상 전체에 대한 축척도 변경하는 경우의 보정값의 산출예이다. 제1 검출 영역을 평행 이동함과 함께 화상 전체에 대항하는 축척을 변경함으로써, 차량의 진행 방향의 현재 위치의 추정 오차가 큰 경우에도 대응할 수 있다. 도 16A는, 차량의 진행 방향의 현재 위치의 추정 오차가 신호기에 가까운 방향으로 나와 있는 경우이며, 제1 검출 영역을 평행 이동함과 함께 화상 전체에 대한 축척을 작게 하여 제3 검출 영역을 설정하고 있다. 도 16B는, 신호기의 어느 램프가 점등되었는지 불분명할 경우를 상정하여, 신호기의 하우징을 포함하도록, 제1 검출 영역을 평행 이동함과 함께 화상 전체에 대한 축척을 변경한 다음, 추가로 가로 폭을 확대하는 예이다. 신호기의 하우징을 포함하도록 설정하는 경우, 램프의 배열 방향에 있어서, 적어도 신호기의 2배의 화상 상의 크기로 한다. 이에 의해 신호기의 어느 램프가 점등되었는지 불분명할 경우에도, 램프 후보의 위치와 제1 검출 영역이 가장 대응하는 위치를 찾기 쉬워진다.

본 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 신호기의 상대 위치에 기초하여 설정된 제1 검출 영역을, 실제 환경에 있어서 검출된 램프 후보에 기초하여 보정함으로써, 신호기의 검출에 사용하는 제3 검출 영역을 설정한다. 이에 의해, 본 실시 형태에 따른 신호기 검출 장치는, 화상 상에서, 신호기가 제3 검출 영역에 포함될 가능성이 높아지고, 신호기의 검출 정밀도를 향상시킬 수 있다.

또한, 본 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 제3 검출 영역의 화상 전체에 대한 축척이 제1 검출 영역과 동등할 경우, 제3 검출 영역은, 램프 후보의 위치에 기초하여 설정되어 있음으로써, 제1 검출 영역과 동일한 크기로, 신호기의 검출에 있어서 적절한 위치로 설정된다. 따라서, 신호기 검출 장치(100)는 신호기의 오검출을 저감시켜, 신호기의 검출 정밀도를 더욱 향상시킬 수 있다.

또한, 본 발명의 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 제3 검출 영역이 제1 검출 영역의 면적보다 작은 경우, 제3 검출 영역은, 램프 후보의 위치에 기초하여 설정되고, 또한 작은 면적으로 신호기의 검출 처리를 할 수 있다. 따라서, 신호기 검출 장치(100)는 신호기의 오검출을 저감시켜, 신호기의 검출 정밀도를 향상시키면서, 또한 신호기의 검출 처리의 연산량을 저감시킬 수 있다.

또한, 본 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 램프 후보가 1개밖에 검출되지 않아, 제1 검출 영역을 적절하게 보정할 수 없는 경우에도, 제1 검출 영역을 제3 검출 영역으로 하여 신호기를 검출한다. 이에 의해, 신호기 검출 장치(100)는, 신호기의 상대 위치에 기초하여 설정한 검출 영역으로부터 신호기를 검출하게 되고, 검출 정밀도의 악화를 방지할 수 있다.

또한, 본 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 제1 검출 영역이 램프 후보와 대응하는 수가 하나이며, 제1 검출 영역을 적절하게 보정할 수 없는 경우에도, 제1 검출 영역을 제3 검출 영역으로 하여 신호기를 검출한다. 이에 의해, 신호기 검출 장치(100)는, 신호기의 상대 위치에 기초하여 설정한 검출 영역으로부터 신호기를 검출하게 되고, 검출 정밀도의 악화를 방지할 수 있다.

또한, 본 실시 형태에 따른 신호기 검출 장치(100)에 의하면, 제1 검출 영역과 램프 후보가 가장 대응하는 위치로 제1 검출 영역을 보정함으로써 제3 검출 영역을 설정한다. 이에 의해, 신호기 검출 장치(100)는, 화상 상에 있어서, 제3 검출 영역이 신호기를 포함할 가능성이 높아지고, 신호기의 검출 정밀도를 더욱 향상시킬 수 있다.

상기한 바와 같이, 본 발명을 상기 실시 형태에 의해 기재하였지만, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것으로 이해해서는 안된다. 이 개시로부터 당업자에게는 각종 대체 실시의 형태, 실시예 및 운용 기술이 명확해질 것이다. 그 밖에, 상기 각 구성을 서로 응용한 구성 등, 본 발명은 여기에서는 기재하지 않은 각종 실시 형태 등을 포함하는 것은 물론이다. 따라서, 본 발명의 기술적 범위는 상기 설명으로부터 타당한 특허 청구 범위에 관한 발명 특정 사항에 의해서만 정해지는 것이다.

본 발명에 따르면, 신호기의 상대 위치에 기초하여 설정된 검출 영역을, 실제 환경에 기초하여 보정함으로써, 신호기의 검출 정밀도를 향상시키는 신호기 검출 장치 및 신호기 검출 방법을 제공할 수 있다.

5: 차량(이동체)
11: 촬상부(카메라)
12: 자기 위치 검출부
13: 신호기 위치 추정부
14: 제2 검출 영역 설정부
17: 신호기 검출부
21: 제1 검출 영역 설정부
23: 제3 검출 영역 설정부
100: 신호기 검출 장치

Claims (7)

1. 이동체의 주위를 촬상하여 화상을 취득하는 촬상부(11)와,
   상기 이동체의 자기 위치를 검출하는 자기 위치 검출부와,
   상기 이동체의 주위에 존재하는 신호기의 위치 정보를 포함하는 지도 정보와 상기 자기 위치에 기초하여, 상기 신호기의 상기 이동체에 대한 상대 위치를 추정하는 신호기 위치 추정부와,
   상기 신호기의 상대 위치로부터 상기 화상 상에 존재할 것으로 예측되는 신호기마다, 상기 화상 상에 제1 검출 영역을 설정하는 제1 검출 영역 설정부와,
   상기 화상 상에 복수의 신호기가 존재할 것이 예측되는 경우, 예측된 상기 복수의 신호기를 포함하는 제2 검출 영역을 상기 화상 상에 설정하는 제2 검출 영역 설정부와,
   상기 제2 검출 영역으로부터 검출된 신호기의 램프 후보에 기초하여, 상기 제1 검출 영역을 보정함으로써 제3 검출 영역을 설정하는 제3 검출 영역 설정부와,
   상기 제3 검출 영역으로부터 신호기를 검출하는 신호기 검출부
   를 구비하는 것을 특징으로 하는, 신호기 검출 장치.
2. 제1항에 있어서,
   상기 제3 검출 영역 설정부는, 화상 전체에 대한 축척이, 상기 제1 검출 영역과 동등한 상기 제3 검출 영역을 설정하는 것을 특징으로 하는, 신호기 검출 장치.
3. 제1항에 있어서,
   상기 제3 검출 영역 설정부는, 상기 제1 검출 영역보다 면적이 작은 상기 제3 검출 영역을 설정하는 것을 특징으로 하는, 신호기 검출 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 신호기 검출부는, 상기 제2 검출 영역으로부터 검출된 상기 램프 후보의 수가 1인 경우, 상기 제1 검출 영역으로부터 신호기를 검출하는 것을 특징으로 하는, 신호기 검출 장치.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 신호기 검출부는, 상기 화상 상에 있어서, 상기 제1 검출 영역이 상기 램프 후보와 대응하는 수가 1인 경우, 상기 제1 검출 영역으로부터 신호기를 검출하는 것을 특징으로 하는, 신호기 검출 장치.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 제3 검출 영역 설정부는, 상기 화상 상에 있어서, 상기 제1 검출 영역과 상기 램프 후보가 가장 대응하는 위치에, 상기 제1 검출 영역을 보정함으로써, 제3 검출 영역을 설정하는 것을 특징으로 하는, 신호기 검출 장치.
7. 이동체의 주위에 존재하는 신호기의 위치 정보를 포함하는 지도 정보와 상기 이동체의 자기 위치에 기초하여, 상기 신호기의 상기 이동체에 대한 상대 위치를 추정하는 것과,
   상기 신호기의 상대 위치로부터, 상기 이동체의 주위를 촬상하는 촬상부에 의해 취득된 화상 상에 존재할 것으로 예측되는 신호기마다, 상기 화상 상에 제1 검출 영역을 설정하는 것과,
   상기 화상 상에 복수의 신호기가 존재할 것이 예측되는 경우, 예측된 상기 복수의 신호기를 포함하는 제2 검출 영역을 상기 화상 상에 설정하는 것과,
   상기 제2 검출 영역으로부터 검출된 신호기의 램프 후보에 기초하여, 상기 제1 검출 영역을 보정함으로써 제3 검출 영역을 설정하는 것과,
   상기 제3 검출 영역으로부터 신호기를 검출하는 것
   을 포함하는 것을 특징으로 하는, 신호기 검출 방법.

Images