KR20190097326A - 신호기 인식 장치 및 신호기 인식 방법 - Google Patents

Abstract

차량(51)의 주위를 촬상하는 카메라(11)와, 차량 주위의 지도 정보를 취득하는 지도 정보 취득부(17)와, 차량의 지도 상의 자기 위치를 검출하는 자기 위치 검출부(12)와, 자기 위치 및 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부(13)와, 차량의 거동을 추정하는 차량 거동 추정부(14)와, 추정된 신호기의 화상 상의 위치와, 차량 거동에 의한 신호기의 화상 상의 위치의 변위량에 기초하여, 화상 상에 신호기의 검출 영역을 설정하는 신호기 검출 영역 산출부(15)와, 검출 영역으로부터 신호기를 검출하는 신호기 인식부(16)를 구비한다. 이와 같은 구성에 의해, 검출 영역을 적절한 위치에 설정하는 것이 가능해진다.

Description

신호기 인식 장치 및 신호기 인식 방법{TRAFFIC LIGHT RECOGNITION DEVICE AND TRAFFIC LIGHT RECOGNITION METHOD}

본 발명은 차량의 주행로에 존재하는 신호기를 인식하는 신호기 인식 장치 및 신호기 인식 방법에 관한 것이다.

특허문헌 1(일본 특허 공개 제2007-241469호 공보)에는, 지도 정보와 자기 위치 추정 결과에 기초하여, 차량의 주행로에 존재하는 신호기의 위치를 추정하고, 카메라로 촬상한 화상 내에 신호기의 검출 영역을 설정하고, 이 검출 영역 내에 존재하는 신호기를 화상 처리하여 해당 신호기의 점등 상태를 검출하는 것이 기재되어 있다.

그러나, 자기 위치의 추정 결과가 갱신되는 타이밍과, 카메라로 화상이 촬상되는 타이밍 사이에는 시간차가 발생하므로, 특허문헌 1에 기재된 방법에서는, 신호기의 검출 영역이 시간차만큼 과거의 위치에 설정되어 버려, 검출 영역으로부터 신호기가 벗어나 버릴 가능성이 있다.

일본 특허 공개 제2007-241469호 공보

상술한 바와 같이, 특허문헌 1에 개시된 종래 기술에서는, 자기 위치의 추정 결과가 갱신되는 타이밍과, 카메라로 화상이 촬상되는 타이밍 사이에 시간차가 발생하므로, 차량의 거동이 큰 경우에는, 이 시간차에 의해, 카메라로 촬상한 화상 상에 설정하는 신호기 인식 영역이, 시간차만큼 과거의 위치에 설정되게 되어, 카메라로 촬상된 화상 상의 적절한 위치에 신호기의 검출 영역을 설정할 수 없게 될 가능성이 있었다.

본 발명은 이러한 종래의 과제를 해결하기 위하여 이루어진 것이며, 그 목적으로 하는 점은, 자기 위치의 추정 결과가 갱신되는 타이밍과 카메라로 화상이 촬상되는 타이밍 사이에 시간차가 발생하는 경우에도, 신호기의 검출 영역을 적절하게 설정하는 것이 가능한 신호 인식 장치 및 신호기 인식 방법을 제공하는 데 있다.

본 발명의 일 형태에 관한 신호기 인식 장치는, 차량 주위의 화상을 촬상하는 촬상부와, 차량 주위의 지도 정보를 취득하는 지도 정보 취득부와, 차량의 자기 위치를 검출하는 자기 위치 검출부와, 자기 위치 및 지도 정보에 기초하여 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부를 구비한다. 차량의 거동을 추정하는 차량 거동 추정부와, 신호기의 화상 상의 위치와 차량 거동에 의한 신호기의 화상 상의 위치의 변위량에 기초하여, 화상 상에 신호기의 검출 영역을 설정하는 신호기 검출 영역 설정부와, 검출 영역으로부터 신호기를 검출하는 신호기 인식부를 더 구비한다.

본 발명의 일 형태에 관한 신호기 인식 방법은, 차량 주위의 화상을 촬상하고, 차량 주위의 지도 정보를 취득하고, 차량의 지도 상의 자기 위치를 검출하고, 자기 위치 및 지도 정보에 기초하여 신호기의 화상 상의 위치를 추정한다. 또한, 차량의 거동을 추정하고, 추정된 신호기의 화상 상의 위치와, 차량 거동에 의한 신호기의 화상 상의 위치의 변위량에 기초하여, 화상 상에 신호기의 검출 영역을 설정하고, 검출 영역으로부터 신호기를 검출한다.

본 발명은, 자기 위치의 추정 결과가 갱신되는 타이밍과 카메라로 화상이 촬상되는 타이밍 사이에 시간차가 발생하는 경우에도, 신호기의 검출 영역을 적절하게 설정하는 것이 가능한 신호 인식 장치 및 신호기 인식 방법을 제공한다.

도 1은 본 발명의 실시 형태에 관한 신호기 인식 장치 및 그 주변 기기의 구성을 도시하는 블록도이다.
도 2는 본 발명의 제1, 제2 실시 형태에 관한 신호기 인식 장치의 상세한 구성을 도시하는 블록도이다.
도 3은 본 발명의 제1 실시 형태에 관한 신호기 인식 장치의 처리 수순을 나타내는 흐름도이다.
도 4는 본 발명의 제1 실시 형태에 관한 신호기 인식 장치의 작용을 나타내는 타이밍 차트이며, (a)는 화상이 촬상되는 타이밍을 나타내고, (b)는 자기 위치 추정 결과가 갱신되는 타이밍을 나타낸다.
도 5는 본 발명의 제1 실시 형태에 관한 것으로, 차량이 커브로를 주행할 때의 자기 위치의 변화를 도시하는 설명도이다.
도 6은 시간차 ΔT에 의한 차량의 이동량을 고려하지 않고 화상 상에 검출 영역을 설정한 경우의, 검출 영역의 위치를 도시하는 설명도이다.
도 7은 시간차 ΔT에 의한 차량의 이동량을 고려하여 화상 상에 검출 영역을 설정한 경우의, 검출 영역의 위치를 도시하는 설명도이다.
도 8은 차량 거동량의 크기와 검출 영역의 크기의 관계를 도시하는 특성도이다.
도 9는 제1 실시 형태의 변형예에 관한 신호기 인식 장치의 작용을 나타내는 타이밍 차트이며, (a)는 화상이 촬상되는 타이밍을 나타내고, (b)는 자기 위치 추정 결과가 갱신되는 타이밍을 나타낸다.
도 10은 본 발명의 제2 실시 형태에 관한 신호기 인식 장치의 처리 수순을 나타내는 흐름도이다.
도 11은 본 발명의 제3 실시 형태에 관한 신호기 인식 장치의 상세한 구성을 도시하는 블록도이다.
도 12는 본 발명의 제3 실시 형태에 관한 신호기 인식 장치의 처리 수순을 나타내는 흐름도이다.
도 13은 본 발명의 제3 실시 형태에 관한 것으로, (a)는 차량이 차선 변경하는 경우의 거동을 도시하는 설명도이며, (b)는 시간 경과에 대한 요우 레이트의 변화를 도시하는 특성도이다.

이하, 본 발명의 실시 형태에 대하여 도면을 참조하여 설명한다.

[제1 실시 형태의 설명]

도 1은 본 발명의 제1 실시 형태에 관한 신호기 인식 장치 및 그 주변 기기의 구성을 도시하는 블록도이다. 또한, 도 2는 도 1에 도시하는 신호기 인식 장치(100)를 상세하게 도시한 블록도이다.

도 1에 도시한 바와 같이, 신호기 인식 장치(100)는 차량(51)에 탑재되고, 해당 차량(51)에 탑재된 각종 기기로부터, 지도 정보 D02, 카메라 정보 D03, 자기 위치 정보 D05, 차량 거동 정보 D07 및 화상 데이터 D09가 입력된다. 그리고, 신호기의 점등색을 나타내는 점등색 정보 D04를 후단의 장치(도시 생략)에 출력한다. 이 점등색 정보 D04는, 예를 들어 자동 운전 제어 등에 사용된다.

카메라 정보 D03은, 차량(51)에 대한 카메라(11)(도 2 참조)의 설치 위치에 관한 정보이다. 차량(51)의 지도 상의 방향을 나타내는 삼차원 정보가 취득되면, 카메라 정보 D03에 기초하여 카메라(11)에 의한 차량 주위의 촬상 영역을 추정하는 것이 가능해진다.

지도 정보 D02는, 차량이 주행하는 주행로의 지도 데이터(차량 주위의 지도 정보)를 포함하는 지도 데이터베이스로부터 부여되는 정보이며, 주행로에 존재하는 지상 랜드마크 등의 물표의 위치 정보 및 신호기의 위치 정보 등이 포함되어 있다.

도 2에 도시한 바와 같이, 신호기 인식 장치(100)는 카메라(11)(촬상부), 자기 위치 검출부(12), 신호기 위치 추정부(13), 차량 거동 추정부(14), 신호기 검출 영역 산출부(15)(신호기 검출 영역 설정부), 신호기 인식부(16), 지도 정보 취득부(17) 및 랜드마크 정보 취득부(18)를 구비하고 있다.

카메라(11)는 예를 들어 CCD, CMOS 등의 고체 촬상 소자를 구비한 디지털 카메라이며, 차량(51)의 주행로의 주위를 촬상하여 주변 영역의 디지털 화상을 취득한다. 카메라(11)는 촬상한 화상을 화상 데이터 D09로서, 신호기 인식부(16)에 출력한다. 또한, 카메라(11)는 차량(51)에 대한 카메라(11)의 설치 위치에 관한 정보를 기억하고 있으며, 카메라 정보 D03으로서, 신호기 검출 영역 산출부(15)에 출력한다. 카메라(11)의 설치 위치에 관한 정보는, 예를 들어 캘리브레이션용의 마크 등을 차량(51)에 대하여 기지의 위치에 설치하고, 카메라(11)로 촬상된 화상 상의 위치로부터 설치 위치를 산출할 수 있다.

지도 정보 취득부(17)는 차량이 주행하는 주행로의 지도 데이터(차량 주위 근방의 지도 정보)를 포함하는 지도 데이터베이스로부터 주행로 근방에 존재하는 지상 랜드마크 등의 물표의 위치 정보 및 신호기의 위치 정보 등을 취득한다. 지도 정보 D02로서, 자기 위치 검출부(12)와 신호기 위치 추정부(13)에 출력한다.

랜드마크 정보 취득부(18)는 예를 들어 차량 탑재된 센싱용 카메라 혹은 레이저 레이더 등이며, 지상 랜드마크(노면 표시(레인 마크, 정지선, 문자), 연석, 신호기, 표지 등)를 인식하여, 차량(51)에 대한 상대 위치의 정보를 취득한다. 랜드마크 정보로서, 자기 위치 검출부(12)에 출력한다.

자기 위치 검출부(12)는 랜드마크 정보 D01 및 지도 정보 D02를 취득하고, 이들 정보에 기초하여, 차량(51)의 지도 상의 현재 위치를 검출하고, 이것을 자기 위치 정보 D05로서 출력한다. 전술한 바와 같이, 랜드마크 정보 D01에는, 지상 랜드마크의 차량(51)에 대한 상대적인 위치 관계를 나타내는 정보가 포함되어 있다. 따라서, 해당 랜드마크 정보 D01의 위치 정보와, 지도 정보 D02에 포함되는 지상 랜드마크의 위치 정보를 대조함으로써, 차량(51)의 지도 상의 현재 위치를 검출할 수 있다.

여기서, 「위치」에는, 좌표 및 자세가 포함된다. 구체적으로는, 지상 랜드마크의 위치에는 그 좌표 및 자세가 포함되고, 차량(51)의 위치에는 그 좌표 및 자세가 포함된다. 자기 위치 검출부(12)는 기준이 되는 좌표계에 있어서의 좌표(x, y, z) 및 각 좌표축의 회전 방향인 자세(요, 피치, 롤)를 자기 위치 정보 D05로서 출력한다.

신호기 위치 추정부(13)는 지도 정보 D02 및 자기 위치 정보 D05에 기초하여, 차량(51)에 대한 신호기의 상대 위치를 추정한다. 지도 정보 D02에는, 차량(51)의 주행로 상에 존재하는 각 신호기의 위치 정보가 좌표로서 등록되어 있다. 따라서, 신호기의 좌표와, 차량(51)의 좌표 및 자세에 기초하여, 차량(51)에 대한 신호기의 상대 위치를 산출할 수 있다. 그리고, 신호기 위치 추정부(13)는 산출한 신호기의 상대 위치를, 신호기 상대 위치 정보 D06으로서 출력한다.

차량 거동 추정부(14)는 차량(51)의 차속, 요우 레이트, 전타각(전타량) 등의 각종 정보를 사용하여, 자기 위치 추정 결과가 갱신되는 타이밍부터 화상이 촬상되는 타이밍까지의 시간차(이것을 「ΔT」라고 한다)를 산출하고, 또한, 이 시간차 ΔT 동안의 차량(51)의 이동량을 산출한다. 그리고, 이 이동량을 차량 거동 정보 D07로서 출력한다. 이동량의 연산 방법에 대해서는 후술한다. 또한, 상술한 전타각이란, 차량의 전타륜이 직진 방향에 대하여 좌우 방향으로 경사지는 각도이며, 전타각은, 전타량으로서, 예를 들어 랙 앤드 피니언식의 전타 기구에 있어서의 랙 기구의 스플라인 샤프트의 이동량 등으로 대체할 수도 있다.

신호기 검출 영역 산출부(15)는 카메라 정보 D03, 신호기 상대 위치 정보 D06 및 차량 거동 정보 D07에 기초하여, 차량(51)과 신호기의 상대 위치를 보정하고, 또한, 카메라 정보 D03과 보정 후의 상대 위치에 기초하여, 카메라(11)로 촬상된 화상 내에 신호기의 검출 영역을 설정한다. 이 검출 영역을 신호기 검출 영역 정보 D08로서 신호기 인식부(16)에 출력한다.

즉, 카메라(11)로 화상이 촬상되는 타이밍과, 자기 위치 검출부(12)에 의해 차량(51)의 자기 위치 추정 결과가 갱신되는 타이밍은 일치하지 않으므로, 양쪽 시간차 ΔT에 기인하여 화상 내에 존재하는 신호기의 위치를 정확하게 추정할 수 없고, 나아가서는 검출 영역을 정확하게 설정할 수 없게 된다. 구체적으로는, 도 4에 도시하는 시각 t1에서 자기 위치 추정 결과가 갱신되고, 시간차 ΔT만큼 경과한 시각 t11에서 화상이 촬상되면, 시간차 ΔT 동안에 차량(51)이 이동하므로, 화상 내에 설정되는 검출 영역이, 화상 내의 신호기의 위치와 어긋난 위치가 되어 버린다.

따라서, 신호기 검출 영역 산출부(15)에서는, 차량 거동 추정부(14)에서 추정되는 차량 거동 정보 D07에 기초하여, 시간차 ΔT 동안의 차량(51)의 이동량을 추정하고, 이 이동량에 기초하여 도 4의 시각 t11에 있어서의 차량(51)의 자기 위치를 추정한다. 그리고, 이 이동량을 고려하여 검출 영역을 설정한다. 즉, 지도 정보 D02 및 자기 위치 정보 D05에 기초한 신호기의 추정 위치와, 차량 거동에 기인하는 신호기 추정 위치의 변위량에 기초하여, 신호기의 검출 영역을 설정한다. 이때, 신호기와 차량(51)의 상대 위치가 구해지면, 카메라(11)는 차량(51)에 고정되어 있고, 카메라 정보 D03의 설치 정보에 기초하여, 실제 공간 좌표로부터 화상 좌표로 변환함으로써, 화상 내에서의 신호기의 위치를 추정할 수 있고, 나아가서는 검출 영역을 설정할 수 있게 된다.

도 2에 도시하는 신호기 인식부(16)는 카메라(11)로 촬상된 화상 데이터 D09 및 신호기 검출 영역 정보 D08에 기초하여, 신호기의 점등색을 인식한다. 구체적으로는, 화상 데이터 D09에 설정된 검출 영역에 대하여, 신호기의 점등색을 인식하기 위한 화상 처리를 실시한다.

화상 처리의 방법으로서는, 예를 들어 신호기가 갖는 신호등을, 상용 전원의 교류 주기에 동기한 점멸광을 검출하는 방법, 혹은, 적, 녹, 황의 색상 및 동그라미 형상 등의 특징의 유사 판정을 하는 방법 등을 사용하여 검출할 수 있다. 그 밖에도, 신호기를 검출하기 위한 기지의 화상 처리를 적용할 수 있다. 신호기의 인식 처리는, 카메라(11)로 촬상된 화상 데이터 D09의 전체가 아니고, 그 일부분으로서 설정된 검출 영역에 대하여 실시함으로써, 신호기 검출을 위한 정보 처리의 부하를 경감시켜, 신속히 신호기를 검출할 수 있다. 그리고, 점등색 정보 D04를 후단의 기기로 출력한다. 또한, 신호기의 인식 처리는 상기한 방법에 한정되지 않고, 그 밖의 방법을 채용하는 것도 가능하다.

이어서, 도 3에 도시하는 흐름도를 참조하여, 상술한 차량 거동 추정부(14) 및 신호기 검출 영역 산출부(15)에 의한 처리 수순을 설명한다. 처음에, 스텝 S11에 있어서, 차량 거동 추정부(14)는 자기 위치 검출부(12)에서 실행되는 차량(51)의 자기 위치 추정 결과가 갱신되는 주기와, 카메라(11)로 화상이 촬상되는 주기를 취득한다. 그리고, 자기 위치 추정 결과가 갱신되는 타이밍과, 화상이 촬상되는 타이밍 사이의 시간차 ΔT를 산출한다.

예를 들어, 도 4의 타이밍 차트에 도시한 바와 같이, 화상이 촬상되는 주기 T2가, 자기 위치 추정 결과가 갱신되는 주기 T1(소정 주기)의 2배인 경우에는, 시각 t1, t2, t3, ··의 타이밍, 즉 주기 T1이 경과할 때마다 자기 위치 정보 D05가 취득된다. 또한, 시각 t11, t13, t15, ··의 타이밍, 즉, 주기 T2가 경과할 때마다 화상이 촬상된다. 그리고, 각 타이밍의 시간차 ΔT를 산출한다. 구체적으로는, 시각 t11, t13, t15, ··에 대하여, 직전이 되는 자기 위치 정보의 갱신 타이밍인, 시각 t1, t3, t5, ··의 시간차 ΔT를 산출한다.

계속하여, 스텝 S12에 있어서, 차량 거동 추정부(14)는 차량(51)의 주행 속도와 요우 레이트(혹은, 전타각)에 기초하여, 도 4의 (b)의 시각 t1에서 취득된 차량(51)의 자기 위치로부터의 차량(51)의 이동량을 산출한다. 그리고, 시간차 ΔT의 경과 후의 시각 t11에 있어서의 차량(51)의 자기 위치를 산출한다. 즉, 도 4의 (a)의 시각 t11에서 촬상된 화상과, 도 4의 (b)의 시각 t1에서 갱신된 자기 위치 정보 D05를 사용하여, 화상 내에 검출 영역을 설정하면, 시간차 ΔT 동안에 차량(51)이 이동함으로써, 적절한 위치에 검출 영역을 설정할 수 없게 된다. 따라서, 차량 거동 추정부(14)에서는, 시간차 ΔT 동안의 차량(51)의 이동량을 산출한다. 또한, 신호기 검출 영역 산출부(15)에서는, 시각 t11에 있어서의 차량(51)의 자기 위치를 산출한다.

이하, 자기 위치의 산출 수순에 대하여 상세하게 설명한다. 차량(51)의 현재의 주행 속도를 v[m/s], 현재의 요우 레이트를 yawrate[rad/sec], 현재의 요우각을 yaw[rad], 현재 위치의 x 좌표를 cx[m], y 좌표를 cy[m], 그리고, 시간차를 ΔT[sec]라고 한다. 또한, 요우 레이트가 발생할 때의, 선회 반경 r은 r=v/yawrate로 구해지고, 회전 중심의 좌표(ox, oy)는, ox=cx-r*cos(yaw), oy=cy-r*sin(yaw)로 구해진다.

보정 후의 차량(51)의 자기 위치, 즉, 시간차 ΔT 경과 후의 차량(51)의 자기 위치 좌표(ex, ey)는, 다음의 (1) 식, (2) 식으로 구할 수 있다.

또한, 보정 후의 요우각 eyaw는 eyaw=yaw+yawrate*ΔT로 구해진다.

한편, 요우 레이트가 발생하지 않는 경우에는, 보정 후의 차량(51)의 자기 위치 좌표(ex, ey)는, 다음의 (3) 식, (4) 식으로 구할 수 있다.

또한, 보정 후의 요우각 eyaw는 eyaw=yaw이다.

즉, 스텝 S12에서는, 차량 거동 추정부(14)로부터 출력되는 차량 거동 정보 D07 및 자기 위치 정보 D05로부터 취득된 차량(51)의 자기 위치에 기초하여 상기한 연산을 실행함으로써, 시각 t1부터 시간차 ΔT 경과 후의 차량(51)의 자기 위치를 산출하는 것이 가능해진다.

그 후, 도 3의 스텝 S13에 있어서, 신호기 검출 영역 산출부(15)는 화상이 촬상되었을 때의 신호기 위치를 예측한다. 즉, 도 4의 (a)의 시각 t11의 시점에서의 자기 위치의 정보 및 카메라(11)로 촬상된 화상이 얻어지고 있으므로, 자기 위치와 지도 정보에 포함되는 신호기의 위치 정보로부터 화상 내에서 신호기가 존재하는 위치를 추정할 수 있다.

스텝 S14에 있어서, 신호기 검출 영역 산출부(15)는 화상 내에 신호기가 포함되는 영역을 검출 영역으로서 설정하고, 스텝 S15에 있어서, 이 정보를 신호기 검출 영역 정보 D08로서 출력한다. 그 후, 신호기 인식부(16)는 설정된 검출 영역 내로부터 신호기를 검출하여, 해당 신호기의 점등색을 검출한다. 이렇게 하여, 화상 내에 검출 영역을 설정할 수 있어, 해당 검출 영역 내에 존재하는 신호기의 점등색을 인식할 수 있는 것이다.

이어서, 도 5 내지 도 7에 도시한 설명도를 참조하여, 시간차 ΔT에 의한 검출 영역의 변화에 대하여 설명한다. 도 5는 차량(51)이 우측으로 만곡되는 커브로를 주행하는 경우를 도시하고 있다. 도 5에 도시한 바와 같이, 차량(51)은 시각 t1(도 4 참조)에 커브로의 지점 Z1을 통과하고, 시간차 ΔT의 경과 후에 지점 Z2를 통과하는 경우를 고려한다.

시간차 ΔT 동안의 차량(51)의 이동량을 고려하지 않은 경우에는, 차량(51)이 도 5의 지점 Z1을 통과했을 때에 자기 위치가 추정되고, 시간차 ΔT가 경과한 지점 Z2를 통과했을 때에 화상이 취득된다. 따라서, 이들에 기초하여 검출 영역을 설정하면, 도 6에 도시한 바와 같이, 화상 내에 존재하는 신호기 P1에 대하여, 우측 방향으로 검출 영역 R1이 설정되어 버려, 신호기를 검출할 수 없다.

이에 반하여, 시간차 ΔT 동안의 차량(51)의 이동량을 고려한 경우에는, 차량(51)이 도 5의 지점 Z2를 통과했을 때의, 차량(51)의 자기 위치 및 화상에 기초하여 검출 영역 R1이 설정되므로, 도 7에 도시한 바와 같이, 화상 내에 존재하는 신호기 P1에 대하여 적절한 위치에 검출 영역 R1이 설정되게 된다. 이와 같이, 본 실시 형태에서는 시간차 ΔT 동안의 차량(51)의 이동량을 고려함으로써, 신호기 P1을 인식하기 위한 검출 영역 R1을 고정밀도로 설정하는 것이 가능해진다.

또한, 상술한 자기 위치 검출부(12), 신호기 위치 추정부(13), 차량 거동 추정부(14), 신호기 검출 영역 산출부(15) 및 신호기 인식부(16)는 CPU, 메모리 및 입출력부를 구비하는 마이크로컨트롤러를 사용하여 실현할 수 있다. 구체적으로, CPU는, 미리 인스톨된 컴퓨터 프로그램을 실행함으로써, 마이크로컨트롤러가 구비하는 복수의 정보 처리부(12 내지 16)를 구성한다. 마이크로컨트롤러가 구비하는 메모리의 일부는, 지도 정보 D02를 기억하는 지도 데이터베이스를 구성한다. 또한, 마이크로컨트롤러는, 차량에 관한 다른 제어(예를 들어, 자동 운전 제어)에 사용하는 ECU와 겸용해도 된다.

이와 같이 하여, 제1 실시 형태에 관한 신호기 인식 장치(100)에서는, 지도 정보 D02로부터 얻어지는 신호기의 추정 위치와, 차량 거동에 기인하는 신호기 추정 위치의 변위량에 기초하여 화상 내에 검출 영역 R1을 설정한다. 따라서, 신호기 P1을 검출하기 위한 검출 영역 R1을 고정밀도로 설정하는 것이 가능해진다.

또한, 신호기 검출 영역 산출부(15)는 차량 거동과 미리 설정된 소정 시간에 기초하여, 차량 이동량을 추정하고, 추정된 신호기의 화상 상의 위치와, 차량 이동량에 기초하여 검출 영역 R1을 설정하므로, 고정밀도의 인식이 가능해진다.

또한, 차량(51)의 자기 위치 추정 결과가 갱신되는 타이밍과, 화상이 촬상되는 타이밍 사이에 시간차 ΔT가 발생하는 경우에도, 차량 거동에 기초하여 시간차 ΔT 동안의 차량(51)의 이동량을 추정함으로써, 양쪽 타이밍을 일치시킬 수 있다. 따라서, 카메라(11)로 촬상되는 화상 상에, 검출 영역 R1을 고정밀도로 설정할 수 있고, 나아가서는 신호기 P1의 점등 상태, 즉, 적, 녹, 황의 점등색, 혹은 화살표의 점등 상태 등을 고정밀도로 인식하는 것이 가능해진다.

또한, 차량(51)의 자기 위치 추정 결과가 갱신되는 소정 주기, 즉 도 4에 도시하는 주기 T1에 따라, 시간차 ΔT를 변경하도록 설정할 수 있다. 예를 들어, 주기 T1이 커진 경우에는, 시간차 ΔT를 크게 할 수 있다. 이렇게 설정함으로써, 자기 위치 추정 결과가 갱신되는 주기의 변화에 따른 적절한 검출 영역의 설정이 가능해진다.

또한, 차량 거동으로서, 차량의 주행 속도 및 요우 레이트를 사용하여, 시간차 ΔT 동안의 차량(51)의 이동량을 산출하므로, 차량 거동에 기인하는 신호기 추정 위치의 변위량을 고정밀도로 구할 수 있고, 나아가서는, 고정밀도의 검출 영역 R1의 설정이 가능해진다.

또한, 차량 거동으로서, 차량의 주행 속도 및 전타각(전타량)을 사용하여, 시간차 ΔT 동안의 차량(51)의 이동량을 산출하는 것도 가능하다. 그리고, 전타각을 사용하는 경우에 있어서도, 차량 거동에 기인하는 신호기 추정 위치의 변위량을 고정밀도로 구할 수 있고, 나아가서는, 고정밀도의 검출 영역 R1의 설정이 가능해진다.

또한, 도 5에 도시한 지점 Z2에서의 차량(51)의 자기 위치 정보는, 차량 거동에 기초하여 추정하고 있으므로, 차량 거동 정보 D07이 큰 경우에는 자기 위치의 추정 정밀도가 저하될 가능성이 있다. 그래서, 차량 거동 정보 D07의 값이 큰 경우에는, 신호기 검출 영역 산출부(15)에서 설정되는 검출 영역 R1의 범위를 크게 함으로써, 추정 정밀도의 저하를 보충할 수 있다.

구체적으로는, 도 8의 특성도에 도시한 바와 같이, 통상 시의 검출 영역 R1의 크기를 「1」이라고 했을 때, 차량 거동량의 증대에 수반하여 검출 영역 R1의 크기를 증대시킨다. 그리고, 어떤 일정한 크기, 예를 들어 통상 시에 대하여 2배의 크기를 상한으로서 설정하고, 이 크기에 도달한 경우에는, 그 이상 검출 영역 R1을 증대시키지 않는다. 이와 같이 함으로써, 차량 거동량이 클수록 검출 영역 R1의 범위가 커지므로, 차량 거동량의 증대에 기인하여 신호기 위치의 추정 제도가 저하된 경우에도, 신호기 P1이 검출 영역 R1로부터 프레임아웃하지 않도록 검출 영역 R1을 설정하는 것이 가능해진다.

[제1 실시 형태의 변형예 설명]

전술한 제1 실시 형태에서는, 도 4에 도시한 바와 같이, 주기 T1에 대하여 주기 T2가 2배의 주기가 되는 예에 대하여 나타냈다. 그러나, 주기 T1, T2가 배수의 관계로 되어 있지 않은 경우에는, 시간차 ΔT는 변화한다. 이하, 도 9에 도시하는 타이밍 차트를 참조하여 설명한다.

도 9의 (a)는, 화상이 촬상되는 타이밍을 나타내고, 도 9의 (b)는, 자기 위치 추정 결과가 갱신되는 타이밍을 나타내고 있다. 그리고, 자기 위치 추정 결과의 갱신은 주기 T4에서 실행되고, 화상의 촬상은 주기 T3에서 실행된다. 이 경우, 화상이 촬상되었을 때에는, 이 시각 이전의 바로 근방의 자기 위치 추정 결과를 사용하여, 검출 영역 R1을 설정하게 된다.

예를 들어, 시각 t22와 시각 t32의 시간차 ΔT1, 시각 t23과 시각 t33의 시간차 ΔT2와 같이 시간차 ΔT1 내지 ΔT6을 산출하고, 각각의 시간차 ΔT1 내지 ΔT5를 사용하여, 차량(51)의 이동량을 산출한다.

그리고, 이와 같은 구성에 있어서도 상술한 제1 실시 형태와 마찬가지로, 각시간차 ΔT1 내지 ΔT5 사이의 차량(51)의 이동량을 산출하고, 이 이동량에 기초하여, 차량(51)의 위치를 보정하므로, 화상 내에 설정되는 검출 영역을 고정밀도로 설정하는 것이 가능해진다.

[제2 실시 형태의 설명]

이어서, 본 발명의 제2 실시 형태에 대하여 설명한다. 장치 구성은, 제1 실시 형태에서 도시한 도 1, 도 2와 마찬가지이므로 설명을 생략한다. 이하, 도 10에 도시하는 흐름도를 참조하여, 제2 실시 형태에 관한 신호기 인식 장치(100)의 처리 수순에 대하여 설명한다. 처음에, 스텝 S31에 있어서, 차량 거동 추정부(14)는, 차량(51)의 주행 속도, 요우 레이트, 전타각 등의 각종 정보에 기초하여, 차량 거동이 소정값 이상인지 여부를 판단한다.

그리고, 차량(51)이 저속으로 주행하고 있는 경우나 정지하고 있는 경우 등에서, 차량 거동이 소정값 미만이라고 판단된 경우에는(스텝 S31에서 "아니오"), 차량(51)의 자기 위치 추정 결과가 갱신되는 타이밍과 화상이 촬상되는 타이밍 사이의 시간차 ΔT 동안의 차량 거동량은 작아, 무시할 수 있는 것으로 판단할 수 있다. 따라서, 스텝 S32에 있어서, 차량 거동 추정부(14)는 차량 거동 정보 D07을 제로라고 간주하여, 스텝 S35로 처리를 진행시킨다.

한편, 차량 거동이 소정값 이상인 경우에는(스텝 S31에서 "예"), 스텝 S33 내지 S37의 처리를 실행한다. 스텝 S33 내지 S37의 처리는, 도 3에 도시한 스텝 S11 내지 S15의 처리와 마찬가지이므로, 설명을 생략한다.

이와 같이, 제2 실시 형태에 관한 신호기 인식 장치(100)에서는, 차량(51)의 거동에 기초하여, 차량(51)의 거동이 소정값 이상인 경우에만, 시간차 ΔT 동안의 이동량을 산출하여 차량(51)의 위치를 보정한다. 바꾸어 말하면, 차량(51)의 거동이 작은 경우에는, 시간차 ΔT 동안에서, 차량(51)의 자기 위치 추정 결과와 화상이 촬상되었을 때의 차량(51)의 자기 위치 사이의 상대적인 위치 관계, 특히 진행 방향은 크게 변화하지 않을 것으로 추정할 수 있으므로, 이러한 경우에는 시간차 ΔT 동안에서의 차량(51)의 이동량을 산출하지 않는다. 그 결과, 불필요한 연산을 생략할 수 있어 연산 부하를 저감시키는 것이 가능해진다.

[제3 실시 형태의 설명]

이어서, 본 발명의 제3 실시 형태에 대하여 설명한다. 도 11은 제3 실시 형태에 관한 신호기 인식 장치(101)의 구성을 도시하는 블록도이다. 이 신호기 인식 장치(101)는 전술한 도 2에 도시한 신호기 인식 장치(100)와 대비하여, 주행로 설정부(37)를 탑재하고 있는 점에서 상위하다. 또한, 차량 거동 추정부(34)에 의한 처리가 상위하다. 그 이외의 구성은, 도 2와 마찬가지이므로, 동일 부호를 붙이고 구성 설명을 생략한다.

주행로 설정부(37)는 지도 정보 D02와 자기 위치 정보 D05를 입력으로 하고, 차량(51)이 장래 주행할 것으로 예상되는 주행로를 추출한다. 그리고, 추출된 주행로를 주행로 정보 D40으로서 차량 거동 추정부(34)에 출력한다.

차량 거동 추정부(34)는 주행로 정보 D40에 기초하여, 자기 위치 추정 결과가 갱신되는 타이밍부터 화상이 촬상되는 타이밍까지의 시간차 ΔT 동안의 차량(51)의 이동량을 산출하고, 이 이동량을 차량 거동 정보 D37로서 신호기 검출 영역 산출부(15)에 출력한다.

이어서, 제3 실시 형태에 관한 신호기 인식 장치(101)의 처리 수순을, 도 12에 나타내는 흐름도를 참조하여 설명한다. 처음에, 스텝 S51에 있어서 주행로 설정부(37)는 자기 위치 정보 D05 및 지도 정보 D02에 기초하여, 차량(51)의 주행로를 결정한다. 이 처리에서는, 지도 정보 D02에 포함되는 차량(51)의 주행로와 자기 위치 정보 D05에 기초하여, 차량(51)이 현재 주행하고 있는 주행로 및 주행 위치를 인식할 수 있으므로, 차량(51)이 장래 주행할 주행로를 결정할 수 있다.

스텝 S52에 있어서, 차량 거동 추정부(14)는 자기 위치 검출부(12)에서 실행되는 차량(51)의 자기 위치 추정 결과가 갱신되는 주기와, 카메라(11)로 촬상되는 화상이 촬상되는 주기를 취득한다. 그리고, 자기 위치 추정 결과가 갱신되는 타이밍과, 화상이 촬상되는 타이밍의 시간차 ΔT를 산출한다. 이 처리는, 도 3에 도시한 스텝 S11의 처리와 마찬가지이므로 상세한 설명을 생략한다.

계속하여, 스텝 S53에 있어서, 차량 거동 추정부(34)는 차량의 주행 속도와 차량의 주행로에 기초하여, 도 4의 (b)의 시각 t1에서 추정된 자기 위치에 대한, 시간차 ΔT 동안에서의 차량(51)의 이동량을 산출한다. 이 이동량은, 차량 거동 정보 D37로서, 신호기 검출 영역 산출부(15)에 출력된다. 그리고, 신호기 검출 영역 산출부(15)는 이 차량 거동 정보 D37에 기초하여 시각 t11에 있어서의 차량(51)의 자기 위치를 산출한다.

그 후, 스텝 S54에 있어서, 신호기 검출 영역 산출부(15)는 화상이 촬상되었을 때의 신호기의 위치를 예측한다. 즉, 스텝 S53의 처리에서 산출한 시각 t11에 있어서의 차량(51)의 자기 위치 산출 결과 및 화상에 기초하여, 차량(51)에 대한 신호기의 위치를 추정한다.

스텝 S55에 있어서, 신호기 검출 영역 산출부(15)는 화상 내에 신호기가 포함되는 영역을 검출 영역으로서 설정하고, 스텝 S56에 있어서, 이 정보를 신호기 검출 영역 정보 D08로서 출력한다. 그 후, 신호기 인식부(16)는 설정된 검출 영역 내로부터 신호기를 검출하여, 해당 신호기의 점등색을 검출한다. 이렇게 하여, 화상 내에 검출 영역을 설정할 수 있어, 해당 검출 영역 내에 존재하는 신호기의 점등색을 인식할 수 있는 것이다.

이하, 스텝 S53의 처리에 있어서, 차량 거동 정보 D37을 산출하는 처리의 상세에 대하여, 도 13을 참조하여 설명한다. 도 13의 (a)는 차량(51)이 2차선 도로의 우레인 X11로부터 좌레인 X12로 차선 변경하는 경우의, 차량(51)의 거동을 도시하는 설명도이다. 또한, 도 13의 (b)는 시간 경과에 대한 요우 레이트의 변화를 도시하는 특성도이다. 차량(51)이 도 13의 (a)의 지점 Z3, Z4를 주행하고 있는 시각이, 각각 도 13의 (b)에 도시하는 시각 t51, t52에 대응한다.

차량(51)이 차선 변경할 때에 요우 레이트나 전타각을 사용하여 차량(51)의 자기 위치를 추정하는 경우에는, 자기 위치의 추정 정밀도가 저하된다. 즉, 차량(51)이 차선 변경을 하지 않는 지점 Z3에서는, 도 13의 (b)의 시각 t51에 도시하는 바와 같이 아직 요우 레이트가 발생하지 않으므로, 시간차 ΔT의 경과 후의 차량(51)의 자기 위치를 추정하는 정밀도가 저하된다. 또한, 차선 변경을 개시한 경우에도, 차선 변경의 경우에는, 요우 레이트 혹은 전타각의 변화율이 커지고(t51 내지 t52의 시간), 이러한 경우에는, 차량(51)의 거동 검출 정밀도가 저하된다.

그래서, 스텝 S53의 처리에서는, 주행로 정보 D40 및 차량의 주행 속도를 사용하여 차량(51)의 이동량을 산출한다. 즉, (주행 속도×ΔT)로 차량(51)의 이동 거리 L1이 구해지므로, 화상이 촬상되었을 때의 직전의 자기 위치 추정 결과의 갱신 시(도 4의 시각 t1의 시점)에 취득한 자기 위치에 대하여, 주행로를 따라 이동 거리 L1만큼 나아간 위치를, 시간차 ΔT가 경과한 후의 차량(51)의 자기 위치로 하면 된다.

또한, 차량(51)이 자동 운전 제어에 의해 주행하고 있는 경우에는, 차선 변경의 위치를 미리 인식할 수 있다. 따라서, 도 13의 (a)의 지점 Z4에 있어서의 차량(51)의 방향을 산출할 수 있으므로, 화상이 촬상되었을 때의 차량(51)의 자기 위치를 산출할 수 있다. 이렇게 하여, 주행로 설정부(37)에서 설정된 주행로를 사용하여 차량 거동을 추정함으로써, 시간차 ΔT 동안의 차량(51)에 이동량을, 보다 고정밀도로 산출할 수 있는 것이다.

이와 같이 하여, 제3 실시 형태에 관한 신호기 인식 장치(101)에서는, 차량(51)의 주행 속도 및 차량(51)이 장래 주행할 주행로를 나타내는 주행로 정보 D40에 기초하여, 시간차 ΔT의 경과 후의 차량(51)의 자기 위치를 추정한다. 따라서, 차량(51)이 차선 변경하는 경우에, 초기적으로는 요우 레이트가 발생하지 않고, 그 후 요우 레이트가 급격하게 증가하는 경우에 있어서도, 고정밀도로 화상이 촬상되었을 때의 차량(51)의 자기 위치를 추정하는 것이 가능해진다. 따라서, 화상 내에 설정되는 검출 영역을 고정밀도로 설정하는 것이 가능해진다.

이상, 본 발명의 신호기 인식 장치 및 신호기 인식 방법을 도시한 실시 형태에 기초하여 설명했지만, 본 발명은 이것에 한정되는 것은 아니며, 각 부의 구성은, 마찬가지의 기능을 갖는 임의의 구성의 것으로 치환할 수 있다.

11: 카메라(촬상부)
12: 자기 위치 검출부
13: 신호기 위치 추정부
14, 34: 차량 거동 추정부
15: 신호기 검출 영역 산출부(신호기 검출 영역 설정부)
16: 신호기 인식부
17: 지도 정보 취득부
18: 랜드마크 정보 취득부
37: 주행로 설정부
51: 차량
100, 101: 신호기 인식 장치
D01: 랜드마크 정보
D02: 지도 정보
D03: 카메라 정보
D04: 점등색 정보
D05: 자기 위치 정보
D06: 신호기 상대 위치 정보
D07: 차량 거동 정보
D08: 신호기 검출 영역 정보
D09: 화상 데이터
D37: 차량 거동 정보
D40: 주행로 정보
P1: 신호기
R1: 검출 영역
X11: 우레인
X12: 좌레인

Claims (9)

1. 차량에 탑재되고, 차량 주위의 화상을 촬상하는 촬상부와,
   상기 차량 주위의 지도 정보를 취득하는 지도 정보 취득부와,
   상기 차량의 지도 상의 자기 위치를 검출하는 자기 위치 검출부와,
   상기 자기 위치 및 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부와,
   상기 차량의 적어도 차속, 요우 레이트, 전타각의 어느 하나를 포함하는 차량 거동에 대해, 상기 차량 거동의 크기를 나타내는 차량 거동량을 추정하는 차량 거동 추정부와,
   상기 추정된 신호기의 화상 상의 위치와, 상기 차량 거동에 의한 상기 신호기의 화상 상의 위치의 변위량에 기초하여, 상기 화상 상에, 신호기의 검출 영역을 설정하는 신호기 검출 영역 설정부와,
   상기 검출 영역으로부터 신호기를 검출하는 신호기 인식부를 구비하고,
   상기 신호기 검출 영역 설정부는, 상기 차량 거동량이 클수록, 상기 검출 영역을 크게 설정하는 것
   을 특징으로 하는 신호기 인식 장치.
2. 차량에 탑재되고, 차량 주위의 화상을 촬상하는 촬상부와,
   상기 차량 주위의 지도 정보를 취득하는 지도 정보 취득부와,
   상기 차량의 지도 상의 자기 위치를 검출하는 자기 위치 검출부와,
   상기 자기 위치 및 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 신호기 위치 추정부와,
   상기 차량의 거동을 추정하는 차량 거동 추정부와,
   상기 추정된 신호기의 화상 상의 위치와, 상기 차량의 거동과, 상기 화상의 촬상 타이밍과, 상기 자기 위치의 갱신 타이밍에 기초하여, 상기 화상 상에, 신호기의 검출 영역을 설정하는 신호기 검출 영역 설정부와,
   상기 검출 영역으로부터 신호기를 검출하는 신호기 인식부
   를 구비한 것을 특징으로 하는 신호기 인식 장치.
3. 제1항 또는 제2항에 있어서, 상기 신호기 검출 영역 설정부는, 상기 차량 거동이 미리 설정한 소정값 이상인 경우에는, 상기 추정된 신호기의 화상 상의 위치 및 상기 차량 거동에 의한 상기 신호기의 화상 상의 위치의 변위량에 기초하여 상기 검출 영역을 설정하고,
   상기 차량 거동이 상기 소정값 미만인 경우에는, 상기 추정된 신호기의 화상 상의 위치에 기초하여, 상기 검출 영역을 설정하는 것
   을 특징으로 하는 신호기 인식 장치.
4. 제1항 또는 제2항에 있어서, 상기 신호기 검출 영역 설정부는, 상기 차량 거동과 미리 설정된 소정 시간에 기초하여 차량 이동량을 추정하고, 상기 추정된 신호기의 화상 상의 위치와 상기 차량 이동량에 기초하여, 상기 검출 영역을 설정하는 것
   을 특징으로 하는 신호기 인식 장치.
5. 제4항에 있어서, 상기 신호기 검출 영역 설정부는, 상기 촬상부에서 화상을 촬상한 타이밍과 상기 자기 위치를 검출한 타이밍 사이의 시간차에 기초하여, 상기 소정 시간을 설정하는 것
   을 특징으로 하는 신호기 인식 장치.
6. 제5항에 있어서, 상기 자기 위치 검출부는, 상기 차량의 자기 위치를 소정 주기로 검출하고,
   상기 신호기 검출 영역 설정부는, 상기 소정 주기에 따라, 상기 시간차를 설정하는 것을 특징으로 하는 신호기 인식 장치.
7. 제1항 또는 제2항에 있어서, 상기 자기 위치 및 상기 지도 정보에 기초하여, 차량이 장래 주행할 주행로를 설정하는 주행로 설정부를 더 구비하고,
   상기 차량 거동 추정부는, 차량이 장래 주행할 주행로에 기초하여 상기 차량 거동을 추정하는 것
   을 특징으로 하는 신호기 인식 장치.
8. 차량 주위의 화상을 촬상하는 스텝과,
   차량 주위의 지도 정보를 취득하는 스텝과,
   상기 차량의 지도 상의 자기 위치를 검출하는 스텝과,
   상기 자기 위치 및 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 스텝과,
   상기 차량의 적어도 차속, 요우 레이트, 전타각의 어느 하나를 포함하는 차량 거동에 대해, 상기 차량 거동의 크기를 나타내는 차량 거동량을 추정하는 스텝과,
   상기 추정된 신호기의 화상 상의 위치와, 상기 차량 거동에 의한 상기 신호기의 화상 상의 위치의 변위량에 기초하여, 상기 화상 상에, 신호기의 검출 영역을 설정하며, 또한, 상기 차량 거동량이 클수록, 상기 검출 영역을 크게 하는 스텝과,
   상기 검출 영역으로부터 신호기를 검출하는 스텝
   을 구비한 것을 특징으로 하는 신호기 인식 방법.
9. 차량 주위의 화상을 촬상하는 스텝과,
   차량 주위의 지도 정보를 취득하는 스텝과,
   상기 차량의 지도 상의 자기 위치를 검출하는 스텝과,
   상기 자기 위치 및 상기 지도 정보에 기초하여, 신호기의 화상 상의 위치를 추정하는 스텝과,
   상기 차량의 거동을 추정하는 스텝과,
   상기 추정된 신호기의 화상 상의 위치와, 상기 차량의 거동과, 상기 화상의 촬상 타이밍과, 상기 자기 위치의 갱신 타이밍에 기초하여, 상기 화상 상에, 신호기의 검출 영역을 설정하는 스텝과,
   상기 검출 영역으로부터 신호기를 검출하는 스텝
   을 구비한 것을 특징으로 하는 신호기 인식 방법.

Images