KR20120085935A - 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치 - Google Patents

Abstract

촬상부와 물체 식별 처리부를 포함하는 물체 식별 장치가 개시된다. 촬상부는, 촬상 영역 내에 존재하는 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상한다. 물체 식별 처리부는, 촬상부에 의해 촬상된 2개의 편광 이미지들을 이용하여, 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 물체를 식별하는 식별 처리를 수행한다.

Description

물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치{OBJECT IDENTIFYING APPARATUS, MOVING BODY CONTROL APPARATUS, AND INFORMATION PROVIDING APPARATUS}

본 발명은, 일반적으로, 촬상 영역 내에 존재하는 물체를 식별하는 물체 식별 장치, 물체 식별 장치의 식별 결과를 이용하여, 차량, 선박, 항공기, 또는 산업용 로봇 등의 이동체의 이동을 제어하는 이동체 제어 장치, 및 이동체의 운전자에게 유익한 정보를 제공하는 정보 제공 장치에 관련한 것이다.

물체 식별 장치로서, 예컨대, ACC(Adaptive Cruise Control) 등의 운전자 지원 시스템에 이용되는 장치는, 차량의 운전자의 조작 부하를 경감시키는 것으로 널리 알려져 있다. 차량 주행 지원 시스템에서, 차량이 장해물 등에 충돌하는 것을 방지하고 충돌시의 충격을 경감하기 위한 자동 브레이킹 기능이나 경보 기능, 자기 차량과 선행 차량 사이의 거리를 유지하기 위한 차량 속도 조정 기능, 및 주행 차로로부터의 이탈 방지를 지원하는 기능 등의 여러 가지 기능들을 성취하기 위해서, 장해물, 선행 차량, 차로 등의 물체를 적절히 구별하고 식별하는 것이 필요하다. 따라서, 여러 가지 물체 식별 장치들이 종래부터 제안되었다.

일본 특허 출원 공개 11-175702는, 이미지를 촬상하여 얻어지는 도로 이미지(사진 이미지)에서 선(line)을 검출하고 차량의 주행 차로를 분할하는 차로 경계선(traffic lane line)에 대해 차량의 상대적인 이동을 검출하기 위해, 차선(물체)을 식별하는 물체 식별 장치를 개시한다. 이러한 물체 식별 장치는, 비로 인해 도로 상에 물웅덩이가 있을 때, 햇빛 등이 경면 반사를 일으키는 문제를 극복하기 위해 이용된다. 그러므로, 물웅덩이는 도로 상의 차로 경계선(백색 선)과 유사한 정도의 밝기로 촬상되어, 물웅덩이의 일부는 차로 경계선으로 잘못 인식된다.

구체적으로, 백색 선 식별 처리에 앞서 도로의 이미지로부터 물웅덩이의 부분을 제거하기 위해, 도로의 이미지로부터 경면 반사 성분만 삭제하여, 물웅덩이의 부분이 제거되고, 백색 선은 잔여 산란광 성분으로부터 인식된다. 경면 반사 성분만 제거하는 방법은, 경면 반사의 수평 편광 성분이 브류스터각(Brewster's angle)에서 대략 0이고 산란광 성분은 대략 동일한 양의 수직 편광 성분과 수평 편광 성분을 포함한다는 사실을 이용하고, 다음을 수행한다. 즉, 상기 방법은, 경면 반사 성분을 산출하기 위해, 도로의 이미지에서 수직 편광 성분과 수평 편광 성분 사이의 차분을 산출하고, 차분값과, 수평 편광 성분에 포함되는 입사각에 대응하는 경면 반사 성분을 제거하기 위한 보정 계수를 곱한다. 다음, 상기 방법은, 수평 편광 성분에서, 산출된 경면 반사 성분을 빼고, 도로의 이미지로부터 경면 반사 성분만 제거된 것으로부터 산란광 성분의 이미지를 얻는다.

그러나, 촬상 영역 내에 존재하는 물체를 식별하는 전술한 종래의 물체 식별 장치에 대하여, 상기 장치는, 물체가 무엇인지 확정적으로 특정하는 것이 가능한 물체들의 종류들이 불충분하다. 종래의 물체 식별 장치는, 물체를 식별하는데 이용되는 물체들의 거동들의 종류들이 한정된다. 즉, 만약 물체를 식별하는데 이용되는 물체들의 거동들의 종류들이 증가하면, 물체 식별의 구역이 더욱 세분화될 수 있다. 결과적으로, 물체 식별의 정확도는 향상될 수 있고, 물체들의 거동들의 종류들은 증가될 수 있다.

예컨대, 종래의 물체 식별 장치의 하나는, 촬상 영역 내에 존재하는 물체들로부터 반사된 광의 양들(수광된 광의 양들) 사이의 차이, 즉, 사진 이미지에서 휘도 차이에 기인하여 도로 상의 백색 선(물체)을 식별한다. 이러한 물체 식별 장치에서, 반사된 광의 상이한 특성을 이용하여, 도로 상의 백색 선은 다른 물체들로부터 식별된다. 이러한 특성을 이용하여 물체를 식별하는 경우에는, 일본 특허 출원 공개 11-175702에 기재된 바와 같이, 백색 선의 양과 대략 동일한 반사된 광의 양을 갖는 물체(물웅덩이 등)는 백색 선으로부터 구별 가능하게 식별될 수 없다. 이러한 문제에 부응하여, 일본 특허 출원 공개 11-175702에 개시된 물체 식별 장치처럼, 경면 반사를 이용하여, 대략 동일한 양의 반사된 광을 갖는 물체들인 백색 선과 물웅덩이를 구별 가능하게 식별하는 것이 가능하다.

또한, 예컨대, 다른 종래의 물체 식별 장치에서, 사진 이미지 내의 다른 특징으로 물체의 형상이 이용되고, 사진의 이미지로부터 파악된 물체의 형상은, 물체를 식별하기 위해 확정적으로 특정된 물체의 형상 템플릿과 비교된다.

물체를 식별하기 위해 이용되는 물체의 특징들의 종류들은 제한되기 때문에, 상기 장치에서 물체가 무엇인지 확정적으로 특정하는 것이 가능한 물체들의 종류들이 불충분하다는 것에 대한 전술한 문제들은, 운전자 지원 시스템에 이용되는 물체 식별 장치뿐만 아니라, 로봇 제어를 위해 이용되는 장치를 포함하는 여러 가지 물체 식별 장치들에도 일어난다.

비용이 증가하기 때문에, 전술한 문제들을 극복하기 위해, 물체를 식별하는데 이용되는 물체들의 거동의 종류들이 증가되는 것에 대응하여 새로운 특징을 검출하는 새로운 검출 소자를 추가적으로 마련하는 것은 바람직하지 않다. 따라서, 종래의 물체 식별 장치들에서, 만약 물체로부터 반사광의 양(휘도)을 검출하는데 일반적으로 이용되는 검출 소자인 촬상부를 이용하여 새로운 특징을 검출하는 것이 가능하다면, 비용의 측면에서 유용하다.

또한, 다른 종래의 물체 식별 장치로서, 일본 특허 출원 공개 2009-59260은, 동일한 색이고 서로 오버랩되는 2개의 물체들이더라도, 적절히 구별될 수 있는 삼차원 물체 식별 장치를 개시한다. 삼차원 물체 식별 장치는, 동일한 색인 2개의 물체들의 편광 광들의 주축 방향들이 일치하지 않는 특성을 이용하고, 이러한 물체들이 오버랩되더라도 2개의 동일한 색 물체들을 구별 가능하게 인식한다. 구체적으로, 삼차원 물체 식별 장치는 복수의 편광자들을 통해 이미지를 얻고, 미리 정해진 이미지 일부의 사진 수용량(photo acceptance amount)을 이용하여, 편광 방향들이 상이한 복수의 편광 광들로부터 각각 얻어지는 편광 성분을 미리 정해진 이미지 일부에서 산출하고, 또한, 전체 이미지에 대해 편광 성분을 산출한다. 다음, 삼차원 물체 식별 장치는, 편광 성분이 포함되는 편광 광들의 주축 방향이 일치하는 영역을 분할하고, 분할된 영역들의 각각의 이동 방향을 산출하고, 단일 물체로서, 이동 방향들이 동일한 영역들을 포함하는 이미지 부분을 식별한다.

전술한 종래의 삼차원 물체 식별 장치에서, 일반적으로, 사진 이미지의 휘도 차분을 이용하여, 미리 정해진 평면에 존재하는 평면 물체(예컨대, 노면의 아스팔트)와 미리 정해진 평면의 방향과 다른 방향을 향하는 외면을 갖는 입체 물체(예컨대, 선행 차량) 사이에서 엣지가 추출된다. 그러므로, 엣지에 의해 분할되는 영역은 입체 물체로 인식된다. 그러나, 입체 물체와 평면 물체를 구별 가능하게 식별하기 위해 휘도 차이들을 이용하는 종래의 방법에서, 만약 휘도 차이들이 사진 이미지에서 명확하게 보이지 않는다면, 고정밀도로 입체 물체와 평면 물체를 분리하여 식별하기는 어렵다.

또한, 전술한 종래의 삼차원 물체 식별 장치는, 일반적으로, 사진 이미지에서 휘도 차이들을 이용하여, 미리 정해진 평면에 존재하는 평면 물체(예컨대, 노면의 아스팔트)와 미리 정해진 평면의 방향과 다른 방향을 향하는 외면을 갖는 입체 물체(예컨대, 도로 엣지의 측벽, 가드 레일, 전신주, 가로등, 및 보행자 길 등의 단차와 같은 도로 엣지에서의 장해물들) 사이에서 엣지가 추출된다. 그러므로, 엣지에 의해 분할된 영역은 입체물로 인식된다. 그러나, 입체 물체와 평면 물체를 구별 가능하게 식별하기 위해 휘도 차이들을 이용하는 종래의 방법에서, 만약 동일 평면 물체에 크게 다른 휘도를 갖는 부분이 있다면, 상기 부분의 경계는 부적절하게 엣지로 추출된다. 상기 부분을 포함하는 단일 평면 물체조차, 동일한 평면 물체에서 상기 부분과 다른 부분은 분리된 물체들로 부적절하게 인식된다는 문제가 있다. 구체적으로, 예컨대, 큰 휘도 차이가 노면 상의 양달 부분과 응달 부분 사이에 보인다. 결과적으로, 응달 부분(약한 휘도 부분)은 부적절하게 양달 부분(강한 휘도 부분)으로부터 분리되어 인식된다. 이러한 부적절한 인식에 기인하여, 예컨대, 만약 ACC가 이용된다면, ACC는 응달 부분을 도로 엣지에 존재하는 측벽과 같은 장해물로 인식할 수도 있고, 충돌 회피 동작을 수행할 수도 있다. 그러므로, 이러한 부적절한 인식은 잘못된 제어 또는 잘못된 처리를 유발할 수도 있다.

전술한 문제들은, 운전자 지원 시스템에 이용되는 삼차원 물체 식별 장치뿐만 아니라, 로봇 제어에 이용되는 장치를 포함하는 여러 가지 삼차원 물체 식별 장치들에도 일어날 수 있다.

비용이 증가하기 때문에, 전술한 문제들을 극복하기 위해, 물체를 식별하는데 이용되는 물체들의 거동의 종류들이 증가되는 것에 대응하여 새로운 특징을 검출하는 새로운 검출 소자를 추가적으로 마련하는 것은 바람직하지 않다. 따라서, 종래의 삼차원 물체 식별 장치들에서, 만약 물체로부터 반사광의 양(휘도)을 검출하는데 일반적으로 이용되는 검출 소자인 촬상부를 이용하여 새로운 특징을 검출하는 것이 가능하다면, 비용의 측면에서 유용하다.

본 발명은, 전술한 물제들 중 하나 이상을 해결하거나 줄일 수 있다.

이러한 개시의 일 측면에서, 촬상 영역 내에 존재하는 물체를 식별하는 물체 식별 장치가 제공되며, 물체 식별 장치는, 상기 촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부; 및 상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부를 포함한다.

또한, 이동체 제어 장치가 제공되며, 이동체 제어 장치는, 촬상 대상으로서 이동체의 주위를 촬상하고, 상기 촬상 대상 내에 존재하는 물체를 식별하도록 구성된 물체 식별부; 및 상기 물체 식별부의 식별 결과에 기초하여 상기 이동체에 대해 이동 제어를 수행하도록 구성된 이동체 제어 장치를 포함하고, 상기 물체 식별부는, 촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부; 및 상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부를 포함한다.

또한, 정보 제공 장치가 제공되며, 정보 제공 장치는, 촬상 대상으로서, 운전자에 의한 주행 조작에 따라 이동하는 이동체의 주위를 촬상하고, 상기 촬상 대상 내에 존재하는 물체를 식별하도록 구성된 물체 식별부; 상기 물체 식별부의 식별 결과를 이용하여, 상기 운전자에 대해 유용한 정보를 생성하도록 구성된 유용한 정보 생성부; 및 상기 유용한 정보 생성부에 의해 생성된 상기 유용한 정보를 통지하도록 구성된 정보 통지부를 포함하고, 상기 물체 식별부는, 촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부; 및 상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부를 포함한다.

이러한 개시의 다른 양태에서, 촬상 영역 내에 존재하는 입체 물체를 식별하고, 미리 정해진 평면과 상이한 방향을 향하는 외면을 갖는 입체 물체 식별 장치가 제공되며, 입체 물체 식별 장치는, 상기 촬상 영역 내에 존재하는 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하도록 구성된 촬상부; 및 상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체가 입체 물체인지 아닌지를 판별하는 입체 물체 식별 처리를 수행하도록 구성된 입체 물체 식별 처리부를 포함한다.

이러한 개시의 또 다른 양태에서, 촬상 영역 내에 존재하는 입체 물체를 식별하고, 미리 정해진 평면과 상이한 방향을 향하는 외면을 갖는 입체 물체 식별 장치가 제공되며, 입체 물체 식별 장치는, 상기 촬상 영역 내에 존재하는 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하도록 구성된 촬상부; 상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들의 각각을 미리 정해진 처리 영역들로 분할하고, 상기 미리 정해진 처리 영역들의 각각에 대해 상기 2개의 편광 이미지들 내의 합계 휘도값을 산출하도록 구성된 휘도 산출부; 상기 처리 영역들의 각각에 대해, 상기 합계 휘도값에 대한, 상기 2개의 편광 이미지들 사이의 편광 강도 차분값의 비율을 나타내는 편광 강도 차분을 산출하도록 구성된 편광 강도 차분 산출부; 및 상기 합계 휘도값 및 상기 편광 강도 차분을 이용하여, 상기 촬상 영역 내에 상기 처리 영역들의 각각에 대응하는 장소에 존재하는 물체가 입체 물체인지 아닌지를 식별하는 입체 물체 식별 처리를 수행하도록 구성된 입체 물체 식별 처리부를 포함한다.

본 발명의 다른 목적들, 특징들, 및 장점들은, 첨부되는 도면들과 함께 읽을 때 아래 상세한 설명에 따라 더욱 분명해질 것이다.
도 1은 일 실시형태에 따른 운전자 지원 시스템의 기능적인 구성을 도시한 다이어그램이다.
도 2는 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제1 구성예를 도시한 다이어그램이다.
도 3은 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제2 구성예를 도시한 다이어그램이다.
도 4는 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제3 구성예를 도시한 다이어그램이다.
도 5는 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제4 구성예를 도시한 다이어그램이다.
도 6은 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제5 구성예를 도시한 다이어그램이다.
도 7은 상기 운전자 지원 시스템에 이용되는 편광 카메라의 제6 구성예를 도시한 다이어그램이다.
도 8a는 식별 대상들인 보쯔 다쯔(Bott's Dots)의 평면도이고, 도 8b는 보쯔 다쯔의 측면도이다.
도 9a는 식별 대상들인 캐츠 아이즈(cat's eyes)의 평면도이고, 도 9b는 캐츠 아이즈의 측면도이다.
도 10은 노면 구조물을 특정하는 처리의 흐름을 설명하는 플로우차트이다.
도 11은 편광 카메라에 의해 얻어지는 로우(raw) 편광 이미지 데이터로부터 흑백 이미지 처리부에 의해 생성된 흑백 이미지(휘도 이미지)의 일례를 도시한 다이어그램이다.
도 12는 편광 카메라에 의해 얻어지는 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.
도 13은 도 11의 백색 파선 화살표를 따라서 얻어지는 휘도값들을 플로팅한 그래프이다.
도 14는 도 12의 백색 파선 화살표를 따라서 얻어지는 휘도값들을 플로팅한 그래프이다.
도 15는 실험실에서, 아스팔트면과 금속면에 대하여, 광원의 각 변화된 위치에 대해 고정 배치된 카메라에 의해 P-편광 이미지와 S-편광 이미지가 촬상될 때의 편광 강도 차분의 변화예를 도시한 그래프이다.
도 16은 윈드쉴드 글래스의 영향을 설명한 다이어그램이다.
도 17은 구간선으로서 보쯔 다쯔가 이용되는 노면의 이미지를 촬상한 편광 카메라로부터 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시한 다이어그램이다.
도 18은 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.
도 19는 실험실에서, 아스팔트면과 스틸(steel)이 페인트로 코팅된 코팅면에 대하여, 광원의 각각의 변화된 위치에 대해 고정 배치된 카메라에 의해 P-편광 이미지와 S-편광 이미지가 촬상될 때의 편광 강도 차분의 변화를 도시한 그래프이다.
도 20은 콜타르가 부착된 노면을 촬상하는 편광 카메라에 의해 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시한 다이어그램이다.
도 21은 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.
도 22는 입체 물체를 특정하는 처리의 흐름을 설명하는 플로우차트이다.
도 23은 편광 카메라에 의해 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시한 다이어그램이다.
도 24는 로우 편광 이미지로부터 편광 강도 차분 이미지 처리부에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.
도 25는 100 프레임들에 대하여, 도 23의 백색 직사각형에 의해 윤곽이 그려진 3개의 위치들에서 휘도값 분포를 도시한 다이어그램이다.
도 26은 100 프레임들에 대하여, 도 24의 백색 직사각형에 의해 윤곽이 그려진 3개의 위치들에서 편광 강도 차분 분포를 나타내는 다이어그램이다.
도 27은 편광 카메라에 의해 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부에 의해 생성된 흑백 이미지(휘도 이미지)의 다른 예를 도시한 다이어그램이다.
도 28은 도 27에 도시된 이미지 내에 그려진 처리선(가로 방향으로 연장되는 직선 J-J) 상의 각 지점에서의 편광 강도 차분을 도시한 그래프이다.
도 29는 도 27에 도시된 이미지 내에 그려진 처리선(가로 방향으로 연장되는 직선 J-J) 상의 각 지점에서의 휘도(흑백 휘도)를 도시한 그래프이다.
도 30은 양달 노면 이외의 식별하는 물체들의 종류들의 각각의 휘도를 플로팅한 이차원 분포이다.
도 31은 양달 노면 이외의 식별하는 물체들의 종류들의 각각의 삼차원 분포이다.
도 32는 입체 물체를 특정하는 처리 변형예의 흐름을 설명하는 플로우차트이다.

이하, 본 발명의 일 실시형태는 첨부되는 도면들을 참조하여 설명한다.

일 실시형태에서는, 본 발명이 이동체 제어 장치 및 정보 제공 장치로서 운전자 지원 시스템에 적용되는 것으로 설명한다.

도 1은 일 실시형태에 따른 운전자 지원 시스템의 기능적인 구성을 도시한 다이어그램이다.

차량이 주행하는 노면(이동면)을 포함한, 차량 주위의 풍경은, 차량(미도시)에 탑재된 촬상부로서의 편광 카메라(10)에 의해 촬영된다. 수직 편광 강도(이하, 단순히 "S-편광 강도"라고 함)와 수평 편광 강도(이하, 단순히 "P-편광 강도"라고 함)를 포함하는 로우 편광 이미지 데이터가 얻어진다. 로우 편광 이미지 데이터에 포함되는 P-편광 강도 데이터로부터 얻어지는 수평 편광 이미지 데이터는, 수평 편광 이미지 메모리(11)에 저장되고, 로우 편광 이미지 데이터에 포함되는 S-편광 강도 데이터로부터 얻어지는 수직 편광 이미지 데이터는, 수직 편광 이미지 메모리(12)에 저장된다. 이러한 2세트의 이미지 데이터는, 각각 휘도 산출부로서의 흑백 이미지 처리부(13)와 휘도 차분 산출부이거나, 편광 강도 차분 산출부 및 상대 편광 강도 차분 산출부로서의 편광 강도 차분 이미지 처리부(15)로 송신된다.

편광 카메라(10)는, 수광 소자인 CCD(charge-coupled device) 또는 CMOS(complementary metal oxide semiconductor) 등의 촬상 소자(image pickup device)에 의해, 예컨대, 메가-픽셀 사이즈인 픽셀들을 포함하는 주위 이미지를 촬상(pick up)한다. 편광 카메라(10)는, 리얼 타임에 가까운 짧은 시간 간격으로 주위 이미지를 연속적으로 촬상하는 것이 바람직하다. 예컨대, 편광 카메라(10)는 백 미러(rear-view mirror)에 부착될 수도 있고, 차량의 전방에 풍경(노면들을 포함하는 전방 전망)을 촬상할 수도 있다. 편광 카메라(10)는 사이드 미러에 부착될 수도 있고, 차량의 측방(lateral) 풍경을 촬상할 수 있다. 대안으로, 편광 카메라(10)는 백 도어에 부착될 수도 있고, 차량의 후방 풍경을 촬상할 수도 있다. 본 실시형태에서는, 편광 카메라(10)가 백 미러에 부착되고 차량의 전방 전망을 촬상하는 경우가 설명된다.

도 2는 편광 카메라(10)의 제1 구성예를 설명하는 다이어그램이다.

도 2에서, 제1 구성예로서, 편광 카메라(10A)는, CCD 등의 촬상 소자를 갖는 1대의 카메라(101)의 전면에, 회전 구동하는 회전 편광자(102)가 배치된 장치이다. 편광 카메라(10A)는, 회전 편광자(102)의 회전각에 반응하여 통과하는(incoming) 광의 편광 방향을 변화시킨다. 따라서, 카메라(101)는, P-편광 이미지와 S-편광 이미지를 교대로 촬상하는 것이 가능하다.

도 3은 편광 카메라(10)의 제2 구성예를 설명하는 다이어그램이다.

도 3에서, 제2 구성예로서, 편광 카메라(10B)는, CCD 등의 촬상 소자를 갖는 2대의 카메라들(111, 112)을 포함하는 장치이다. 카메라들(111, 112)의 전면에는, S-편광 광이 투과하는 S-편광 필터(113)와 P-편광 광이 투과하는 P-편광 필터(114)가 각각 배치된다. 도 2에 도시된 편광 카메라(10A)는 1대의 카메라(101)로 P-편광 이미지와 S-편광 이미지를 교대로 촬상하기 때문에, P-편광 이미지와 S-편광 이미지는 동시에 촬영될 수 없다. 반면에, 도 3에 도시된 편광 카메라(10B)는, P-편광 이미지와 S-편광 이미지를 동시에 촬상할 수 있다.

도 4는 편광 카메라(10)의 제3 구성예를 설명하는 다이어그램이다.　

도 4에서, 제3 구성예로서, 편광 카메라(10C)는, 도 3에 도시된 편광 카메라(10B)와 유사하게, P-편광 이미지와 S-편광 이미지의 각각에 대한 촬상 소자들이 제공된다. 편광 카메라(10B)와 다르게, 촬상 소자들은 서로 근접 배치된다. 그러므로, 편광 카메라(10C)는, 도 3에 도시된 편광 카메라(10B)보다 더 소형화할 수 있다. 도 4에 도시된 편광 카메라(10C)는, 렌즈 어레이(122), 차광 스페이서(123), 편광 필터(124), 스페이서(125), 및 고체 촬상 유닛(126)이 적층된다. 렌즈 어레이(122)는, 2개의 촬상 렌즈들(122a, 122b)을 포함한다. 2개의 촬상 렌즈들(122a, 122b)은, 비구면 렌즈 등과 같이 동일한 형상을 갖는 싱글 렌즈들로 분리되어 형성되어, 각각의 광축들(121a, 121b)이 상호 평행하고 동일 평면 상에 배치된다. 차광 스페이서(123)는, 2개의 개구부들(123a, 123b)을 포함하고, 렌즈 어레이(122)에 대하여 피사체측과 반대측에 배치된다. 2개의 개구부들(123a, 123b)은, 각각의 광축들(121a, 121b)을 중심 초점으로 미리 정해진 크기로 관통된다. 광 반사 처리는, 블랙 코트(black coat), 거칠어진 표면(roughened surface) 또는 광택 제거(delustering)에 의해 개구부들(123a, 123b)의 내면들에 수행된다. 편광 필터(124)는, 편광면들이 서로 90도 다른 2개의 편광 영역들(124a, 124b)을 포함하는 영역-분할형의 편광 필터이고, 차광 스페이서(123)에 대하여 렌즈 어레이(122)와는 반대측에 배치된다. 편광 영역들(124a, 124b)은, 불특정한 방향으로 전자계가 진동하는 무편광 광에서, 각각의 편광면에 따른 방향의 진동 성분(편광 성분)만을 투과시키고, 직선 편광 광(straight polarization light)을 형성한다. 또, 금속의 미세 요철 형상(odd-shape)을 이용한 와이어 그리드 방식(wire grid method)이나, 오토-클로닝(auto-cloning)형의 포토닉 크리스탈 방식(photonic crystal method) 등을 이용하여, 경계 부분이 명료한 영역-분할형의 편광 필터를 얻는 것이 가능하다. 스페이서(125)는, 편광 필터(124)의 편광 영역(124a) 및 편광 영역(124b)의 영역을 관통하는 개구부(125a)를 포함하는 직사각형-프레임 형상으로 형성되고, 편광 필터(124)에 대하여 차광 스페이스(123)와는 반대측에 배치된다. 고체 촬상 유닛(126)은, 기판(127) 상에 장착된 2개의 고체 촬상 소자들(126a, 126b)을 포함하고, 스페이서(125)에 대하여 편광 필터(124)와는 반대측에 배치된다. 본 실시형태에서는, 흑백을 센싱하기 때문에, 고체 촬상 소자들(126a, 126b)은 컬러 필터를 포함하지 않는다. 컬러 이미지를 센싱하는 경우에는, 고체 촬상 소자들(126a, 126b)에 각각 컬러 필터들이 제공된다.

도 5는 편광 카메라(10)의 제4 구성예를 설명하는 다이어그램이다.

도 5에서, 제4 구성예로서, 편광 카메라(10D)는 1:1의 투과성을 갖는 하프 미러(131), 반사 미러(132), S-편광 필터(133), P-편광 필터(134), S편광 필터(133)를 통해 S-편광 광을 수광하는 S-편광용 CCD(135), 및 P-편광 필터(134)를 통해 P-편광 광을 수광하는 P-편광용 CCD(136)를 포함한다. 도 3의 편광 카메라(10B) 및 도 4의 편광 카메라(10C)는, S-편광 이미지와 P-편광 이미지를 동시에 촬상할 수 있다. 그러나, 두 카메라들(10B, 10C)에서는, 시차(azimuth difference)가 발생한다. 반면에, 편광 카메라(10D, 도 5에 도시된)는, 도시되지 않은 동일한 촬상 광학계(렌즈)를 통해 수광되는 동일한 광을 이용하여 S-편광 이미지와 P-편광 이미지를 동시에 촬영한다. 그러므로, 편광 카메라는 시차가 발생하지 않는다. 따라서, 시차 보정과 같은 처리를 수행할 필요가 없다.

하프 미러(131) 대신에, 프리즘과 같은 편광 빔 분할기가 P-편광 광을 반사하고 S-편광 광을 투과시키는데 이용될 수 있다. 편광 빔 분할기를 이용함으로써, S-편광 필터(133)와 P-편광 필터(134)가 불필요해진다. 그러므로, 광학계를 간소화시키고, 광학계를 이용하는 효율을 향상시킬 수 있다.

도 6은, 편광 카메라(10)의 제5 구성예를 설명하는 다이어그램이다.

도 6에 도시된 편광 카메라(10E)에서, 싱글 촬상 렌즈(142), 차광 스페이서(143), 편광 필터(144), 스페이서(145), 및 고체 촬상 유닛(146)이 적층된다. 도 6에서, 제5 구성예로서, 도 4에 도시된 편광 카메라(10C)와 유사하게, 편광 카메라(10E)는, 촬상 렌즈(142a)의 광축(141)을 따라서 카메라 구성요소들이 적층된 유닛이다. 그러나, 편광 카메라(10C)와는 다르게, S-편광 이미지와 P-편광 이미지는, 싱글 촬상 렌즈(142)에 의해 촬상된다. 복수의 촬상 렌즈들은 광축에 대하여 적층될 수도 있다. 도 5에 도시된 편광 카메라(10D)와 유사하게, 편광 카메라(10E)는 S-편광 이미지와 P-편광 이미지와의 사이에서 시차가 발생하지 않는다. 또한, 편광 카메라(10E)는, 도 5에 도시된 편광 카메라(10D)보다 더 소형화될 수 있다. 차광 스페이서(143)는 개구부(143a)를 포함하고, 싱글 촬상 렌즈(142)에 대하여 반대측에 배치된다. 스페이서(145)는, 편광 필터(144)의 편광 영역(144a) 및 편광 영역(124b)의 영역을 관통하는 개구부(145a)를 포함하는 직사각형-프레임 형상으로 형성되고, 편광 필터(144)에 대하여 차광 스페이스(143)와 반대측에 배치된다. 도 6의 편광 카메라(10E)는, 편광면들이 서로 90도 다른 2세트의 편광 영역들(144a, 144b)이 제공되는 영역-분할형의 편광 필터이다. 이러한 구성에 기인하여, 4개의 고체 촬상 소자들(146a, 146b, 146c, 146d)이 편광 카메라(10E)에 제공된다.

도 7은 편광 카메라(10)의 제6 구성예를 설명하는 다이어그램이다.

도 7에서, 제6 구성예로서, 영역-분할형의 필터가 편광 카메라(10F)에 적용된다. 도 7에서, 매트릭스로 배열된 정사각형들의 각각은 수광 소자들의 각각의 수광부(151)를 나타내고, 수직선들로 채워진 영역들은 S-편광 필터들(152)의 영역들을 나타내고, 수평선들로 채워진 영역들은 P-편광 필터들(153)의 영역들을 나타낸다. 편광 카메라(10F)에서, 수광 소자의 픽셀들을 1:1로 대응시키는 대신에, S-편광 필터들(152)과 P-편광 필터들(153)의 영역들의 각각은, 가로 방향으로 하나의 수광 소자의 폭(width)을 가지고, 영역들 사이의 경계선의 기울기가 2인 오블리끄 조널 형상(oblique zonal shape)을 가진다. 즉, 오블리끄 조널 형상은, 가로 방향의 1 픽셀 변화에 대하여 세로 방향의 2 픽셀 변화가 만들어지는 각을 갖는다. 전술한 특수 필터 배치 패턴을 신호 처리와 조합하여, 촬상 소자 어레이를 영역-분할 필터와 접합하는 경우에, 정렬의 정밀도가 불충분하더라도, 필터들을 통해 전체 스크린으로 투과한 이미지들의 각각을 재현하는 것이 가능하다. 또한, S-편광 이미지와 P-편광 이미지를 저비용으로 촬상할 수 있는 편광 카메라를 구현하는 것이 가능하다.

도 1로 돌아가 참조하면, 흑백 이미지 처리부(13)는, 수평 편광 이미지 메모리(11) 및 수직 편광 이미지 메모리(12) 내의 P-편광 강도 데이터 및 S-편광 강도 데이터로부터, 각각의 픽셀에 대해 흑백의 휘도(P-편광 강도 및 S-편광 강도)를 산출한다. 흑백 이미지는, 산출에 의해 얻어지는 모든 픽셀들에 대한 흑백 휘도 데이터를 이용하여 생성될 수 있다. 흑백 이미지 처리부(13)에 의해 산출된 흑백 휘도 데이터는, 선 검출부인 백색 선 식별부(14)에 출력된다.

편광 강도 차분 이미지 처리부(15)는, 수평 편광 이미지 메모리(11) 및 수직 편광 이미지 메모리(12) 내의 P-편광 강도 데이터 및 S-편광 강도 데이터로부터, 각각의 픽셀에 대해 편광 강도 차분을 산출한다. 편광 강도 차분 이미지는, 편광 강도 차분을 이용하여 생성될 수 있다. 편광 강도 차분은, 아래의 식(1)에 의해 얻어진다.

편광 강도 차분

= (P-편광 강도 - S-편광 강도)/(P-편광 강도 + S-편광 강도) --------(1)

즉, 편광 강도 차분은, P-편광 강도와 S-편광 강도의 합계값(휘도 합계값)에 대한 P-편광 강도와 S-편광 강도 사이의 차분값(휘도 차분값)의 비율이다. 다시 말해서, 편광 강도 차분은, 휘도 합계값에 대한 P-편광 강도의 비율(P-편광비)과, 휘도 합계값에 대한 S-편광 강도의 비율(S-편광비) 사이의 차분값이다. 본 실시형태에서, P-편광 강도로부터 S-편광 강도를 빼는 경우가 설명된다. 대안으로, P-편광 강도는 S-편광 강도로부터 빼질 수 있다. 편광 강도 차분 이미지 처리부(15)에 의해 산출된 편광 강도 차분의 데이터는, 물체 식별 처리부로서 노면 구조물 식별부(16) 및 입체 물체 식별부(18)에 출력된다.

백색 선 식별부(14)는, 흑백 이미지 처리부(13)에 의해 산출된 흑백 휘도 데이터에 기초하여, 아래의 방법을 이용하여 주행로(driving road) 상의 백색 선을 식별한다. 백색 선은, 노란색 선 등의 임의의 색의 선, 실선(solid line), 파선(dashed line), 점선(dotted line), 이중선(double line) 등의 도로를 구획하는 여러 가지의 선들 중 어느 하나일 수 있다.

통상의 도로 상의 차선(traffic line)(구획선)은, 운전자가 시인하기 쉽게, 아스팔트 등이 검은 부분에 대하여 콘트라스트가 높은 색(예컨대, 백색)으로 형성된다. 따라서, 차선(본 실시형태에서는 백색 선이 적용됨)의 휘도는, 그 밖의 장소들에 존재하는 아스팔트 등의 물체보다 충분히 더 크다. 그러므로, 흑백 휘도 데이터를 이용하여, 미리 정해진 값보다 더 밝은 부분들을 백색 선으로 판별할 수 있다. 본 실시형태에서 이용하는 흑백 휘도 데이터는, 전술한 편광 카메라(10)로부터 얻은 P-편광 강도와 S-편광 강도의 합계값을 이용하여 얻어지는 데이터이다.

본 실시형태에 따른 백색 선 식별 처리는, 우선, 편광 카메라(10)로부터 얻어지는 각각의 픽셀의 P-편광 강도와 S-편광 강도의 합계값을, 흑백 이미지 처리부(13)에 의해 각각의 픽셀에 대해 흑백 휘도로 산출한다. 백색 선 식별부(14)는, 흑백 휘도로부터 얻어지는 흑백 이미지에 대하여, 복수의 처리선들을 설정한다. 본 실시형태에 따른 처리선들은, 편광 강도 차분 이미지 내의 하나의 수평선에 배치된 픽셀 시퀀스(pixel sequence)에 대해 설정된다. 처리선의 방향은, 가로 방향일 필요는 없고, 세로(longitudinal) 방향 또는 경사진(oblique) 방향일 수도 있다. 또한, 각각의 처리선 상의 픽셀 수는 동일하거나 다를 수도 있다. 또한, 처리선은, 반드시 편광 강도 차분 이미지 내의 모든 픽셀들에 대하여 설정될 필요는 없고, 편광 강도 차분 이미지 내에서 적절히 선택된 일부의 픽셀들에 관해서 설정될 수도 있다. 또한, 후술하는 바와 같이, 처리선 대신, 컬럼(column)과 로우(row)의 각각에서 하나의 처리 블록이 2개 픽셀들 이상에 의해 형성되는 처리 블록 단위(unit)로, 백색 선 식별 처리가 수행될 수 있다. 백색 선 식별부(14)는, 각각의 처리선에 대해 2개의 인접하는 픽셀들 사이의 흑백 휘도의 차이를 산출하고, 그 산출 결과가 백색 선 엣지 임계값 이상인지 아닌지를 판별한다. 산출 결과가 백색 선 엣지 임계값 이상으로 판별될 때, 이러한 2개의 인접한 픽셀들 사이의 영역이 백색 선 엣지로 판별되고 기록된다. 모든 처리선들에 대해 백색 선 식별 처리를 수행하여, 흑백 이미지 내에서 백색 선 엣지를 추출할 수 있다.

백색 선 식별부(14)에 의해 백색 선 엣지를 식별한 결과는, 여러 가지 처리들에 이용될 수 있다.

예컨대, 하나의 처리는, 차량의 CRT(Cathode Ray Tube) 또는 LCD(Liquid Crystal Display)를 포함하는 정보 통지 수단인 표시 유닛에, 흑백 이미지 처리부(13)에 의해 산출된 휘도 데이터를 이용하여 생성되는 흑백 이미지(전방 전망 이미지)를 표시하며, 흑백 이미지 내의 백색 부분과 관련된 정보는, 운전자에게 유익한 정보를 통지하기 위해서 명백하게 표시된다. 이러한 처리를 적용하여, 예컨대, 운전자가 시각적으로 백색 선을 인식하는 것이 어렵더라도, 운전자는 표시 유닛의 전방 전망 이미지를 봄으로써, 운전자의 차량과 백색 선 사이의 상대 위치 관계를 파악할 수 있다. 따라서, 운전자는, 백색 선으로 구획되는 주행 차로에서 차량을 쉽게 유지할 수 있다.

또한, 예컨대, 백색 선 식별부(14)에 의해 인식된 백색 선의 위치 정보로부터, 운전자의 차량과 백색 선 사이의 상대 위치 관계를 파악하고, 운전자의 차량이, 백색 선에 의해 구획되는 주행 차로 상의 적정 주행 위치로부터 떨어져 있는지 아닌지를 판별하는 다른 처리가, 수행될 수도 있다. 차량이 적정 주행 위치로부터 떨어질 때, 경보음 등이 울린다. 또는, 차량이 적정 주행 위치로부터 떨어져 있는 동안, 자동 브레이킹 기능이 실행되어 차량의 주행 속도를 감소시킨다.

노면 구조물 식별부(16)는, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 편광 강도 차분에 기초하여, 후술하는 방법에 의해 노면 상에 존재하는 구조물(이하. "노면 구조물"이라고 함)을 식별하는 처리부이다. 노면 구조물 식별부(16)는, 노면 구조물 특정부(17)와 백색 선 식별부(14)에 식별 결과를 출력한다. 노면 구조물은, 맨홀의 덮개, 고속 도로나 육교 등의 도로 상에 존재하는 도로 연결 부분의 금속, 주행 차로를 구분하기 위해 구간선(dividing line)을 형성하는 보쯔 다쯔(Bott's Dots), 캣츠 아이(cat's eye) 등의 것으로, 금속, 광 반사판 등에 의해 형성되는 복합 구조물(compound structure)일 수 있다. 또한, 본 실시형태에서, 노면 구조물은, 의도적으로 만들어지지 않은 콜타르(coal tar)와 같이, 노면의 일부를 덮는 이물질(extraneous material)일 수 있다. 노면 구조물 식별부(16)는, 노면과 실질적으로 동일면 내에 위치하는 외면을 갖는 평면 물체를, 노면 구조물로서 식별한다. 노면 구조물 특정부(17)는, 노면 구조물이 맨홀의 덮개, 도로 연결 부분, 보쯔 다쯔, 또는 캣츠 아이인지 아닌지를 특정한다.

노면 구조물 식별부(16)는, 백색 선 식별부(14)에 의한 백색 선 엣지의 식별 결과에 기초하여, 편광 강도 차분 이미지로부터 백색 선을 제거할 수도 있고, 백색 선이 제거된 편광 강도 차분 이미지에 대해 노면 구조물 식별 처리를 수행할 수도 있다. 이 경우, 백색 선을 포함하는 노이즈들을 적절히 제거하고, 노면 구조물의 식별 정밀도를 높이는 것이 가능하다.

이 경우, 맨홀의 덮개는, 맨홀의 개구부에 삽입되어 끼워진 금속판이고, 일반적으로는 강고하고 중량이 있는 주철(cast-iron)로 제조된다.

예컨대, 도 8a 및 도 8b의 보쯔 다쯔(B)는, 세라믹으로 제조되고, 주로 북미의 고속도로들에서 구간선들을 형성하는데 이용된다. 도 8b에 도시된 바와 같이, 보쯔 다쯔(B)는, 직경이 대략 100 mm인 원형돔 형상을 갖는 물체들이고, 노면에 매립된다. 도 8a에 도시된 바와 같이, 복수의 보쯔 다쯔(B)는 도로 상의 주행 차로를 따라서 배치되고, 구간선으로서 이용된다.

또한, 도 9a 및 도 9b의 캐츠 아이즈(C)는, 구간선을 형성하는데 이용된다. 도 9b에 도시된 바와 같이, 입사광(incoming light)을 동일한 방향으로 반사하는 특성을 갖는 리플렉터들(D)은, 대략 직사각형 형상의 본체 내에 부착된다. 도 8a에 도시된 바와 같이, 복수의 캐츠 아이즈(C)는, 도로 상의 주행 차로를 따라서 배치되고, 구간선으로서 이용된다.

보쯔 다쯔(B) 및 캐츠 아이즈(C)는, 노면으로부터 약간 돌출되어 배치된다.

입체 물체 식별부(18)는, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 편광 강도 차분에 기초하여, 후술되는 방법에 의해 편광 카메라(10)의 촬상 영역 내에 존재하는 입체 물체를 식별한다. 입체 물체는, 노면 상을 주행하는 다른 차량, 노면의 도로 엣지의 부근에 존재하는 가드 레일, 전신주, 가로등, 표지, 도로의 엣지에서 갓길 등의 도로의 측면의 장해물, 사람, 동물, 자전거 등의 노면 상 또는 도로 갓길에서 충돌을 회피하는 장해물일 수 있다. 즉, 입체 물체는, 노면과는 다른 방향으로 향하는 외면을 갖는 어떤 종류의 장해물도 될 수 있다. 입체 물체 식별부(18)는, 식별 결과를 입체 물체 특정부(19)에 출력한다. 입체 물체 식별부(18)는, 노면, 및 외면이 노면과 실질적으로 동일면 내에 존재하는 평면 물체로부터 입체 물체를 식별하고, 입체 물체 특정부(19)는 입체 물체가 다른 차량, 도로 밖의 장해물, 또는 충돌을 회피하려는 장해물인지 아닌지를 특정한다.

형상 정보 저장부인 형상 메모리부(20)는, 노면 구조물 특정부(17) 및 입체 물체 특정부(19)에 의해 이용되는 형상 정보로서의 각종 형상 템플릿들의 데이터를 저장한다. 형상 메모리부(20)에 저장되는 형상 템플릿들은, 노면 구조물 특정부(17) 및 입체 물체 특정부(19)에 의해 특정되는 대상물(특정 물체)의 형상(사진 이미지 내 특정 물체의 형상)을 나타내고, 대상물(특정 물체)은 편광 카메라(10)에 의해 촬상된다. 예컨대, 편광 카메라(10)가 노면 상의 맨홀의 덮개의 이미지를 경사 상부 방향(diagonally upper direction)으로부터 촬상하기 때문에, 맨홀의 덮개(원형)의 형상 템플릿은 타원형을 나타낸다. 형상 템플릿은, 크기 정보를 포함할 수 있다. 본 실시형태에 있어서, 예컨대, 노면 구조물 특정부(17)에 의해 이용되는 형상 템플릿은, 맨홀의 덮개를 특정하기 위한 형상 템플릿, 보쯔 다쯔 또는 캣츠 아이즈에 의해 형성되는 구간선을 특정하기 위한 형상 템플릿, 및 고속도로, 육교 등의 도로 상에 존재하는 도로 연결 부분을 특정하기 위한 형상 템플릿일 수 있다. 또한, 예컨대, 입체 물체 특정부(19)에 의해 이용되는 형상 템플릿은, 다른 차량을 특정하기 위한 형상 템플릿, 전신주 또는 가로등을 특정하기 위한 형상 템플릿, 및 도로 엣지에서 단차 부분을 특정하기 위한 형상 템플릿일 수 있다. 또한, 만약 위에서 예시한 물체들 이외의 물체들이 그들의 형상들로부터 특정될 수 있다면, 상기 물체들을 특정하기 위해 다른 형상 템플릿들이 준비될 수도 있다.

노면 구조물 특정부(17)는, 노면 구조물 식별부(16)의 식별 결과에 기초하여, 노면 구조물로서 식별된 이미지 영역의 형상을, 형상 메모리부(20)에 저장되어 있는 형상 템플릿들의 각각과 비교한다. 그리고 나서, 노면 구조물 특정부(17)는, 노면 구조물이, 맨홀의 덮개, 도로 연결 부분, 보쯔 다쯔 또는 캐츠 아이즈에 의해 형성된 구간선, 또는 이것들과 상이한 다른 노면 구조물인지 아닌지를, 후술되는 방법을 이용하여 특정한다.

입체 물체 특정부(19)는, 입체 물체 식별부(18)의 식별 결과에 기초하여, 입체 물체로서 식별된 이미지 영역의 형상을, 형상 메모리부(20)에 저장되어 있는 형상 템플릿들과 비교한다. 그리고 나서, 입체 물체 특정부(19)는, 입체 물체가, 다른 차량, 도로 밖 장해물, 충돌을 회피하는 장해물, 또는 이것들과 상이한 다른 입체 물체인지 아닌지를, 후술되는 방법을 이용하여 특정한다.

다음에, 본 실시형태에 따른 운전자 지원 시스템에 있어서, 노면 구조물을 특정하는 처리의 흐름을 설명한다.

도 10은 노면 구조물을 특정하는 처리를 설명하는 플로우차트이다.

편광 카메라(10)에 의해 로우(raw) 편광 이미지 데이터를 얻을 때, 로우 편광 이미지 데이터에 포함되는 P-편광 강도로부터 얻어지는 수평 편광 이미지 데이터는, 수평 편광 이미지 메모리(11)에 저장된다. 동시에, 로우 편광 이미지 데이터에 포함되는 S-편광 강도로부터 얻어지는 수직 편광 이미지 데이터는, 수직 편광 이미지 메모리(12)에 저장된다(단계 S1).

그 후, 편광 강도 차분 이미지 처리부(15)는, 수평 편광 이미지 메모리(11) 및 수직 편광 이미지 메모리(12) 내의 P-편광 강도 데이터 및 S-편광 강도 데이터로부터, 각 픽셀에 대해, 전술한 식(1)을 이용하여, 편광 강도 차분(식별 지표값)을 산출한다(단계 S2). 산출 결과들로부터 얻어지는 편광 강도 차분 이미지들의 데이터는, 편광 강도 차분 이미지 처리부(15) 내의 이미지 메모리(미도시)에 저장된다.

다음에, 엣지 판별 처리을 설명한다.

편광 강도 차분 이미지가 얻어질 때, 편광 강도 차분 이미지 처리부(15)는, 다른 편광 이미지에 대하여 복수의 처리선들을 설정한다. 본 실시형태에 따른 처리선은, 다른 편광 이미지 내에서 수평선 상에 배치된 픽셀 시퀀스에 대해 설정된다. 처리선의 방향은, 반드시 가로 방향일 필요는 없고, 세로 방향 또는 경사진 방향일 수 있다. 또한, 각 처리선에 대해, 픽셀 수는 동일하거나 다를 수 있다. 처리선은, 반드시 다른 편광 이미지 내의 모든 픽셀들에 대해 설정될 필요는 없고, 다른 편광 이미지 내에서 적절히 선택된 픽셀들의 일부에 대해 설정될 수도 있다.

처리선 대신, 하나의 처리 블록이 2개 픽셀들 이상에 의해 형성되는 처리 블록 단위(unit)로, 컬럼과 로우의 각각에서, 엣지 판별 처리가 수행될 수 있다. 이 경우, 예컨대, 후술될 엣지 판별 처리는, 다른 편광 이미지에 대해 복수의 처리 블록들을 설정하고, 다른 편광 강도의 분산량(dipersion amount)(산포 정도)을 나타내는 표준편차를 산출한다. 표준편차가 기준 편차 임계값 이상일 때, 처리 블록 내에 엣지가 존재한다고 판정된다. 처리 블록은, 직사각형 구역(oblong section)에서 설정될 수 있고, 다른 형상의 구역에서 설정될 수도 있다. 예컨대, 처리 블록의 크기는, 대략 10×10 픽셀들일 수도 있다. 처리 블록들의 각각은, 동일한 크기이거나 다른 크기일 수도 있다. 표준 편차 대신에, 분산, 평균 편차 등의 통계값이 이용될 수도 있다.

편광 강도 차분 이미지 처리부(15)는, 각 처리선에 대해서, 2개의 인접한 픽셀들 사이의 편광 강도 차분의 차이를 산출하고, 산출 결과가 미리 정해진 엣지 임계값 이상인지 아닌지를 판별한다(단계 S3). 산출 결과가 미리 정해진 엣지 임계값 이상이라고 판별될 때, 편광 강도 차분 이미지 처리부(15)는, 판별과 관련된 2개의 인접한 픽셀들 사이의 정보를 엣지로서 저장한다(단계 S4). 전술한 단계들 S3과 S4를 수행함으로써(단계 S5), 편광 강도 차분 이미지 내에서의 상이한 물체들 사이의 경계선을 특정하는 것이 가능하다.

관련된 엣지 판별 처리에서, 일반적으로, 인접한 픽셀들 사이의 흑백 휘도의 차이가 각 처리선에 대해 산출되고, 산출 결과가 미리 정해진 엣지 임계값 이상인지 판별된다. 그러나, 관련된 엣지 판별 처리에서, 예컨대, 맨홀의 덮개, 아스팔트 등과 같이, 카메라에 의해 수광되는 반사의 정도(흑백 휘도)가 대략 동일한 정도인 상이한 물체들 사이의 경계에 관하여, 상이한 물체들은 적절히 구별될 수 없고, 엣지는 판별될 수 없다. 이와 반대로, 본 실시형태에 따른 엣지 판별 처리는, 흑백 휘도 대신에 편광 강도 차분를 이용하여 엣지를 판별할 수 있다. 따라서, 반사의 정도가 대략 동일한 정도인 상이한 물체들 사이의 엣지를 고정밀도로 판별하는 것이 가능하다. 이하, 이러한, 더욱 정밀한 판별을 설명한다.

도 11은, 편광 카메라(10)에 의해 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부(13)에 의해 생성된 흑백 이미지(휘도 이미지)의 일례를 도시한 다이어그램이다.

도 12는, 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부(15)에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.

도 13은, 도 11의 백색 파선 화살표를 따라서 얻어지는 휘도값들을 플로팅한 그래프이다.

도 14는, 도 12의 백색 파선 화살표를 따라서 얻어지는 편광 강도 차분을 플로팅한 그래프이다.

도 13의 그래프로부터 알 수 있는 바와 같이, 휘도값들은 아스팔트의 영역(13a)과 맨홀의 덮개의 영역(13b)에서 대략 동일한 값(-0.4에서 -0.5 사이의 범위 내)을 나타내고, 이러한 영역들(13a, 13b) 사이의 휘도값들의 변화는 없다. 반대로, 도 14의 그래프로부터 알 수 있는 바와 같이, 아스팔트의 영역(13a)에서의 편광 강도 차분은 대략 0이다. 반대로, 맨홀의 덮개의 영역(13b)에서의 편광 강도 차분은 대략 -0.3이다. 편광 강도 차분의 큰 변화가 이러한 영역들(13a, 13b) 사이에서 보일 수 있다. 따라서, 0∼-0.3 내에서 적절한 임계값(예컨대, -0.2)을 설정하고, 이러한 영역들(13a, 13b) 내의 편광 강도 차분들 사이의 차이를 이용함으로써, 흑백 휘도를 이용하여 구별되는 것이 어려운 아스팔트의 영역(13a)과 맨홀의 덮개의 영역(13b) 사이의 엣지를, 높은 정밀도로 판별하는 것이 가능하다.

본 실시형태에 따른 물체 식별에 있어서, 편광 강도 차분의 대신에, 상대 편광 강도 차분(relative polarized intensity difference)이 이용되는 이유들을 후술한다.

다음, 노면 구조물 식별부(16)에 의해 수행되는 노면 구조물 식별 처리를 설명한다.

노면 구조물 식별 처리를 설명하기 전에, 우선, 노면 구조물이 편광 강도 차분으로부터 식별될 수 있는 이유가 설명된다.

물체에서 반사된 광은, 소위 "러스터(luster)"인 경면 반사 성분(specular reflection component), 물체 표면 상에 미세한 요철 구조를 갖는 확산 반사 성분(diffuse reflection component), 물체 내부에서 산란되어 물체로부터 방출되는 내부 산란 성분(internal dispersion component)을 포함한다. 반사된 광의 강도는, 전술한 3가지의 성분들의 합계로서 표현된다. 경면 반사 성분은, 확산 반사 성분의 일부라고 이해될 수 있다. 확산 반사 성분과 내부 산란 성분은, 물체를 조사하는 광원이 어느 방향에 위치하더라도 관측될 수 있다(즉, 입사각의 의존성이 낮음). 반면에, 경면 반사 성분은. 입사각의 의존성이 강한 성분이고, 반사된 광의 수광부에 대하여 대략 정(regular) 반사 방향으로 광원이 존재하는 경우에만 관측된다. 또한, 편광 특성은 전술한 특성과 동일하다. 전술한 바와 같이, 확산 반사 성분과 내부 산란 성분은, 물체를 조사하는 광원의 방향에 독립적으로 관측될 수 있지만, 그들의 편광 특성들은 서로 상이하다. 구체적으로는, 확산 반사 성분에서, 물체 표면을 나눈 미소-영역들(micro-areas)의 각각에서 프레넬(Fresnel)의 반사 특성이 만족되는 것으로 상정될 수 있다. 그러므로, 확산 반사 성분은, 무편광 광이 입사한 경우에는, P-편광 강도가 S-편광 강도에 비해서 크다는 편광특성을 가진다. 반면에, 내부 산란 성분은, 물체 내부에서 산란(dispersed)되어 물체 외부로 나온 성분이다. 무편광 광이 입사한 때, 내부 산란 성분은 물체에 입사한 광의 편광 성분에 의해 쉽게 영향받지 않고, 물체 내부로부터 물체의 외부로 나올 때, P-편광 강도가 더 커지게 된다는 편광 특성을 가진다.

본 실시형태에서 설명된 것과 같이, 촬상 영역 내에 있을 수 있는 대부분의 모든 물체들(아스팔트, 맨홀의 덮개 등)은 표면 상에 요철들(irregularities)을 가지기 때문에, 차량으로부터 전방 전망이 촬상될 때, 경면 반사 성분이 더 작은 것으로 이해될 수 있다. 그 결과, 본 실시형태에서, 편광 카메라(10)의 촬상 영역 내에 존재하는 물체로부터의 반사된 광 내에서, 확산 반사 성분과 내부 산란 성분이 지배적인 것으로 이해될 수 있다. 그러므로, 반사된 광 내 S-편광 강도를 P-편광 강도와 비교함으로써, S-편광 강도가 더 강하면, 확산 반사 성분이 더 큰 것으로 판별될 가능성이 있다. 또한, P-편광 강도가 더 강하면, 내부 산란 성분이 더 큰 것으로 판별될 가능성이 있다.

도 15는 실험실에서, 아스팔트면과 금속면에 대하여, 광원의 각 변화된 위치에 대해 고정 배치된 카메라에 의해 P-편광 이미지와 S-편광 이미지가 촬상됐을 때의 편광 강도 차분의 변화예를 도시하는 그래프이다.

이 그래프에서, 횡축(abscissa axis)은 입사각(광원 위치)를 나타내고, 종축(ordinate axis)은 다른 편광 강도를 나타낸다. 카메라의 앙각(elevation angle)은 수평(level)으로부터 10도 기울인 상태이다. 편광 강도 차분은, 각 입사각의 사진 이미지의 대략 중앙 부분의 휘도 정보로부터 산출된다. 그래프에서 편광 강도 차분은, P-편광 강도(Rp)와 S-편광 강도(Rs)의 합계값에 대하여, P-편광 강도로부터 S-편광 강도를 뺀값의 비율이다. 따라서, P-편광 강도가 S-편광 강도보다 더 강한 때에는, 편광 강도 차분은 양의 값이다. S-편광 강도가 P-편광 강도보다 더 강한 때에는, 편광 강도 차분은 음의 값이다.

도 15의 그래프로부터 알 수 있는 바와 같이, 아스팔트면에 관하여는, 대략 모든 입사각들에서, 편광 강도 차분이 음의 값이다. 즉, P-편광 강도가 S-편광 강도보다 더 강한데. 그 이유는 아스팔트면으로부터 반사된 광에서 확산 반사 성분이 지배적이기 때문이다. 한편, 금속면에 관하여는, 입사각이 30°를 넘은 영역 전체에 걸쳐, 편광 강도 차분이 양의 값이다. 즉, P-편광 강도가 S-편광 강도보다 더 강한데, 그 이유는 금속면으부터의 반사된 광에서 내부 산란 성분이 지배적이기 때문이다

전술한 바와 같이, 반사된 광에 포함되는 S-편광 강도과 P-편광 강도의 차분을 산출함으로써, 물체의 반사 특성에 관해서, 확산 반사 성분이 더 강한지 또는 내부 산란 성분이 더 강한지를 파악하는 것이 가능하다. 따라서, 확산 반사 성분이 더 강한 아스팔트와 내부 산란 성분이 더 강한 노면 구조물과 같이, 서로 상이한 반사 특성을 갖는 물체들을, 반사된 광에 포함되는 S-편광 강도와 P-편광 강도의 차분에 기초하여, 구별하는 것이 가능하다.

일반적으로, 상이한 재질은 상이한 굴절율을 갖기 때문에, 이러한 특성은 S-편광 강도과 P-편광 강도의 차이에 영향을 미친다. 그러므로, 상이한 재질을 갖는 물체들을, 반사된 광에 포함되는 S-편광 강도와 P-편광 강도의 차이에 기초하여, 식별하는 것이 가능하다.

도 15의 그래프에 도시된 결과는, 아스팔트면과 금속면 사이의 표면 상태의 차이에 영향을 받는다. 아스팔트면은 많은 요철들을 갖지만, 금속면은 평활하다. 따라서, 검출된 S-편광 강도와 P-편광 강도의 값들은, 식별 대상의 표면에 의존하여 변한다. 이것은, 실제로 이용되는 환경 하에서의 실험 결과를 보여주는 도 14의 그래프에 도시된, 아스팔트의 영역(13a)과 도로 상의 구조물(금속)인 맨홀의 덮개의 영역(13b)에서의 편광 강도 차분들이, 도 15의 실험실에서의 결과와 다르기 때문으로 이해될 수 있다. 그러나, 재질들이 상이한 물체들 사이에서는, 표면 상태들이 서로 동일하더라도, 그들의 상이한 재질들에 기인하여 물체들의 반사 특성들이 서로 다르다. 반사 특성들의 각각은 S-편광 강도와 P-편광 강도 사이의 차이에 기초하여 파악될 수 있다. 그러므로, 실제 환경을 고려하여 설정된 임계값을 이용하여, 상이한 재질들로 만들어진 물체들 사이의 식별이 가능하다.

본 실시형태에 따른 노면 구조물 식별 처리에서, 전술한 엣지 판별 처리에 의해 판별된 엣지에 의해서 구분되는 영역들의 각각에서 편광 강도 차분을 식별 지표값으로 이용하여, 영역들의 각각이 노면 구조물을 나타내는지 아닌지를 판별할 수 있다. 전술한 바와 같이, S-편광 강도와 P-편광 강도 사이의 차분값을 식별 지표값으로 이용함으로써, 노면 구조물 식별 처리에서, 영역들의 각각이 노면 구조물인지 아닌지를 판정하는 것이 가능하다. 그러나, 식별 지표값으로서 산출되는, S-편광 강도와 P-편광 강도 사이의 차분값이, 불충분한 밝기로 인하여 더 작은 값이 되는 결과가 야기되는 경우, 각각의 영역들이 노면 구조물인지 아닌지를 판정하는 것은 어려워진다. 반면에, 본 실시형태에서, 차분값이 S-편광 강도와 P-편광 강도의 합계값(흑백 휘도)에 의해 나눠진, 편광 강도 차분을 이용하여, 밝기가 불충분하더라도, 상대적으로 큰 값이 식별 지표값으로서의 편광 강도 차분에 대해 얻어질 수 있다. 따라서, 영역들의 각각이 노면 구조물인지를 판별하는 것이 가능하다.

본 실시형태에 따른 노면 구조물 식별 처리의 흐름이 후술된다. 우선, 전술한 엣지 판별 처리에 의해 판별된 엣지에 의해 구분되는 영역들의 각각에 관해서, 편광 강도 차분과 편광 강도 차분의 기준 사이의 차분이 산출된다(단계 S6). 그리고 나서, 차분이 미리 정의된 노면 구조물용 임계값 이하인지 아닌지가 판별된다(단계 S7). 이 판별에 있어서, 차분이, 미리 정의된 노면 구조물용 임계값 이하라고 판별된 때, 해당 영역이 노면 구조물로 식별되고, 해당 영역의 정보가 저장된다(단계 S8). 이러한 단계들 S7b 및 S8을 수행함으로써(단계 S9), 사진 이미지 내에서 노면 구조물을 나타내는 영역을 파악할 수 있다.

본 실시형태에 있어서는, 해당 영역의 물체 식별에 이용된 식별 지표값으로서, 그 영역의 편광 강도 차분(절대량)을 이용하는 대신에, 그 영역의 편광 강도 차분을 기준 편광 강도 차분으로부터 뺀 상대 편광 강도 차분값(상대량)이 이용된다. 그러므로, 환경 등의 차이와 같은 영향들에 기인하여, 대상 영역(subject area)의 편광 강도 차분의 산출값에 편차가 생기더라도, 동일한 영향들에 기인하여 차이가 발생하는 기준 편광 강도 차분에 대한 상대량을 이용함으로써, 이러한 영향들을 줄일 수 있다. 본 실시형태에서, 기준 편광 강도 차분으로서, 노면의 대부분을 차지하는 아스팔트의 영역에서의 편광 강도 차분이 이용된다. 또한, 본 실시형태에 있어서, 편광 강도 차분을 아스팔트에 관한 편광 강도 차분과 비교했을 때, 노면 구조물에서의 편광 강도 차분이, 실제 환경에서 적어도 0.2 이상 크다는 것이 실험적으로 판명되었다. 따라서, 노면 구조물에서 상대 편광 강도 차분은, 최저이더라도 -0.2 미만의 음의 값이 된다. 그러므로, 본 실시형태에서, -0.2는 노면 구조물용 임계값으로 적용되고, 이 임계값 이하의 범위 내의 상대 편광 강도 차분을 갖는 영역은 노면 구조물로 식별된다.

물체로부터 반사된 광의 광도(luminous intensity)는 상측 부분과 하측 부분 사이에 차이가 있다. 사진 이미지의 상측 부분은 멀리에 위치하는 물체를 촬영한 부분이기 때문에, 먼 물체로부터 반사된 광의 광도는, 하측 부분에 촬상된 근처에 위치하는 물체보다 더 낮다. 이러한 차이를 고려하면, 노면 구조물용 임계값은, 상측 부분의 사진 이미지와 하측 부분의 다른 사진 이미지 사이에서 상이할 수도 있다.

또한, 근처에 위치하는 물체를 촬영한 사진 이미지의 하측 부분이, 상측 부분보다 물체 식별의 정밀도가 더 높기 때문에, 처리선을 처리하는 순서는, 하측 부분으로부터 상측을 향하는 순서로 규정되는 것이 선호된다.

다음, 노면 구조물 특정부(17)에 의해 수행되는 노면 구조물의 종류 특정 처리가 설명된다.

우선, 노면 구조물 특정부(17)는, 전술한 노면 구조물 식별 처리에 의해 노면 구조물로 식별된 영역들의 각각의 형상을 인식하고(단계 S10), 식별된 영역들의 형상에 근사하게 동일한 형상 템플릿이 존재하는지 아닌지를 판별한다(단계 S11). 이 판별에서, 식별된 영역의 형상과 근사하게 동일한 형상 템플릿이 존재한다고 판별될 때, 식별된 영역의 노면 구조물은 그 형상 템플릿에 관련된 종류인 것으로 특정되고, 그 종류가 저장된다(단계 S12). 예컨대, 만약 타원형의 형상 템플릿이 노면 구조물의 형상에 근사하게 동일하면, 노면 구조물은 맨홀의 덮개인 것으로 특정된다. 만약 이미지의 가로 방향으로 가로지르는 막대 형상의 형상 템플릿이 노면 구조물에 근사하게 동일하면, 노면 구조물은 도로 연결 부분인 것으로 특정된다. 만약 차량의 이동 방향을 따라서 직선형으로 정렬된 형상들의 형상 템플릿이 복수의 노면 구조물들에 근사하게 동일하면, 복수의 노면 구조물들은 보쯔 다쯔 또는 캐츠 아이즈에 의해 형성되는 구간선인 것으로 특정된다. 단계들 S11 및 S12가 모든 노면 구조물들에 대해 수행된 후(단계 S13), 노면 구조물을 특정하는 처리가 종료된다.

구체적으로는, 노면 구조물의 영역의 엣지 정보와 형상 메모리부(20)에 저장되어 있는 형상 템플릿의 정보를 이용하여, 근사 곡선을 취득하고, 최소 제곱법(least squares method), 허프 변환(Hough transform), 또는 모델 방정식(model equation) 등을 이용하여, 형상 근사 식별이 수행될 수 있다. 근사 곡선이 취득될 때, 신뢰성이 높은 사진 이미지인 하측 부분 쪽의 엣지 정보에 대한, 형상 근사의 후보값(candidate value)에 큰 무게를 두는 것이 바람직하다. 전술한 바와 같이, 신뢰성이 낮은 사진 이미지인 상측 부분에 잘못 인식된 엣지 정보가 존재하더라도, 신뢰성이 높은 사진 이미지인 하측 부분에 정상적으로 인식된 엣지 정보가 저장된다. 그러므로, 노면 구조물의 종류를 적절히 특정하는 것이 가능하다.

또한, 예컨대, 맨홀의 덮개가 특정될 때, 맨홀의 덮개보다 큰 물체에 관한 특징점들은 몰포로지 연산((morphological operation) 등에 의해 사전에 제거될 수도 있다. 따라서, 맨홀의 덮개를 특정하는 것의 정밀도를 향상시킬 수 있다.

노면 구조물의 종류를 특정하는 것의 정밀도를 높이기 위해서, 다음 처리가 부가될 수도 있다.

본 실시형태에서, 전술한 노면 구조물 특정 처리(단계들 S1∼S13)는, 편광 카메라(10)에 의해 미리 정해진 시간 간격들로 연속적으로 촬상하여 얻어지는 편광 이미지 데이터에 대해 수행된다. 전술한 노면 구조물의 종류 특정 처리(단계들 S10∼S13)를 수행함으로써, 노면 구조물의 종류들을 특정하는, 영역들에 대한 처리 결과들이 미리 정해진 메모리에 저장된다. 미리 정해진 메모리에 저장되는 이전의 처리 결과들(예컨대, 최근 편광 이미지 데이터에 관한 처리 결과들)을 이용하여, 만약 이번의 처리에서 특정된 노면 구조물의 종류가, 특정된 영역에 대응하는 이전의 처리 결과와 동일하면, 이번의 처리 결과는 신뢰도가 높은 것으로 판별된다. 신뢰할 수 있는 이번 처리는, 노면 구조물의 형상의 최종 특정에 이용된다. 예컨대, 이번의 처리 결과에 관하여 특정된 영역에 대응하는 이전의 처리 결과는, 엣지 정보를 이용하고, 이번의 처리 결과에 관한 영역과 차량의 이동 방향에 기초하여 이전의 처리 결과에 대응하는 영역의 위치를 검색함으로써, 특정될 수 있다.

위와 같이, 노면 구조물의 전술한 종류 특정 처리(단계들 S10∼S13)이 설명된다. 노면 구조물을 식별하는 것의 정밀도를 높이기 위해서, 이전의 처리 결과는 노면 구조물 식별 처리(단계들 S6∼S9)에 관해서도 동일한 방법으로 이용될 수 있다.

또한, 엣지 판별 처리의 전술한 판별(단계 S3)에서 이용된 엣지 임계값과 전술한 판별(S7)에서 이용된 노면 구조물용 임계값의 각각은, 이미지를 촬상하는 환경의 차이에 따라서 변경될 수도 있다. 예를 들면, 엣지 임계값과 노면 구조물용 임계값은, 주간이나 야간 등의 시간대(time period)나, 비오는 날씨나 화창한 날씨 등의 날씨에 따라서 변경될 수 있다. 이러한 변경 처리는, 시간 정보나, 레인 센서나 일조 센서로부터 얻어지는 정보를 이용하여 실현될 수 있다.

본 실시형태에 따른 편광 카메라(10)를 백미러 등에 부착하는 경우, 윈드쉴드 글래스는 편광 카메라(10)에 의해 촬상되는 이미지에 영향을 미치기 때문에, 윈드쉴드 글래스의 편광 특성을 고려하는 것이 바람직하다. 도 16에 도시된 바와 같이, 윈드쉴드 글래스의 유리면은, 편광 카메라(10)의 광축에 대하여 미리 정해진 각도로 배치된다. 일반적으로, 유리 평판을 광로에 대하여 비스듬히 배치하는 경우, 유리 평판으로부터 투과된 광의 편광 상태는 달라진다. 소위 프레넬의 투과 및 반사의 산출이 성립한다. S-편광 성분이, P-편광 성분보다 유리면에서 더 많이 반사된다. 투과된 광의 감쇠율(attenuation factor)에 대하여, S-편광 성분이 P-편광 성분보다 더 크다. 구체적으로, 예컨대, 도 16에 도시한 예로서, P-편광 성분은, 유리면에서의 프레넬 반사에 기인하여 대략 8% 감쇠되지만, S-편광 성분은 대략 절반 감쇠된다. 이 예에서, 윈드쉴드 글래스의 굴절율은 1.5이다.

전술한 바와 같이, 편광 카메라(10)로 수용되는 광의 편광 정보가, 윈드쉴드 글래스의 영향을 포함한다는 것을 고려하는 것이 바람직하다. 예컨대, 다른 편광 강도가 산출될 때(단계 S2), P-편광 강도 및 S-편광 강도의 각각 대해, 윈드쉴드 글래스에서의 감쇠 성분은 캔슬된다. 전술한 예로서, S-편광 성분은 대략 2배가 되고, P-편광 성분은 대략 1/0.9배가 된다. 대안으로, 예컨대, P-편광 강도와 S-편광 강도에 대한 감쇠 성분들의 각각을 캔슬하는 광학 소자는, 윈드쉴드 글래스와 편광 카메라(10)의 사이에 배치된다. 이 경우의 광학 소자로서는, S-편광 성분을 불감대(dead zone)를 통해 투과시키고 P-편광 성분을 0.5/0.9배로 하는 광학 소자가, 이용될 수 있다.

무게 및 비용을 줄이기 위해, 플라스틱으로 제조된 윈드쉴드 글래스가 미래에 이용될 수 있다. 유리와 비교하여, 플라스틱은 내부 왜곡(internal disortion)에 기인한 복굴절(double refraction)을 갖는다고 알려져 있다. 이 경우, 복굴절의 영향을 고려할 필요가 있다. 구체적으로는, 예컨대, 편광 카메라(10)로 수용되는 광의 편광 성분에 대하여, 복굴절에 기인한 P-편광 강도와 S-편광 강도를 고려함으로써, 편광 강도 차분이 산출된다.

노면 구조물 특정부(17)에 의해 노면 구조물의 종류를 특정하는 것으로부터의 결과는, 여러 가지 처리들에 대해 이용될 수도 있다.

예컨대, 노면 구조물 특정부(17)의 처리 결과는, 백색 선 식별부(14)에 의해 수행된 백색 선 엣지의 식별 처리에 대해 이용될 수도 있다. 구체적으로, 노면 구조물의 종류가 노면 구조물 특정부(17)의 처리에 의해 특정되는 영역은, 백색 선 영역이 아니기 때문에, 이러한 영역은, 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별 처리의 대상으로부터 제외된다. 그러므로, 맨홀의 덮개 등의 노면 구조물을 백색 선으로 잘못 인식하는 것을 줄일 수 있고, 백색 선의 인식의 정밀도를 향상시킬 수 있다. 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별 처리는 전술되었다. 그러나, 백색 선 이외의 물체의 사진 이미지를 식별하는 처리를 수행하는 경우에는, 일반적으로, 노면 구조물의 종류가 특정된 영역을 식별처리의 대상으로부터 제외함으로써, 식별 처리의 정밀도를 향상시킬 수 있다. 예를 들면, 레이더의 레인징(ranging) 결과와 사진 이미지에 기초한 센서 융합(sensor fusion)에 의해 선행 차량 등의 장해물을 식별하는 시스템에 있어서, 맨홀의 덮개 등의 각종 노면 구조물들을 장해물들로 잘못 인식하는 것을 피하는 것이 가능하다. 결과적으로, 각종 노면 구조물들이 장해물들로 잘못 인식되기 때문에, 차량의 속도를 급격히 저하시켜 버리는 것 같은 상태의 발생을 방지하는 것이 가능하다.

또한, 예컨대, 노면 구조물 특정부(17)의 처리 결과는, 카 내비게이션 시스템에 적용될 수도 있다. 예를 들어, 차량과 맨홀의 덮개 사이의 거리, 각도 등을 나타내는 차량 위치 정보는, 노면 구조물 특정부(17)의 처리 결과에 기초하여 특정되는 맨홀의 덮개의 위치로부터 생성되고, 차량 위치 정보를 이용하여, 카 내비게이션 시스템에 의해 산출되는 차량 위치의 범위 내에서, 차량의 한층 더 상세한 위치가 특정된다. 그러므로, 카 내비게이션 시스템에서 차량 위치를 특정하는 것의 정밀도를 높이는 것이 가능하다.

또한, 예컨대, 노면 구조물 특정부(17)의 처리 결과로부터, 차량에 대한 맨홀의 덮개, 도로 연결 부분 등의 위치들과 방향들을 파악하는 것이 가능하다. 그러므로, 이러한 이점을 이용함으로써, 운전자를 지원하는 ECU(Electronic Control Unit) 등에 그것을 적용하는 것이 가능하다.

특히, 예컨대, 보쯔 다쯔 또는 캐츠 아이즈에 의해 형성되는 구간선을 특정하는 노면 구조물 특정부(17)의 결과는, 백색 선 식별부(14)에 의한 백색 선 엣지의 식별 결과에 유사한 여러 가지의 처리들에 이용될 수 있다. 구체적으로는, 예컨대, 하나의 처리는, 차량에서, CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등을 포함하는 정보 통지부인 표시 유닛에, 흑백 이미지 처리부(13)에 의해 산출된 휘도 데이터를 이용하여 생성되는 흑백 이미지(전방 전망 이미지)를 표시하고, 흑백 이미지 내에 백색 부분과 관련된 정보는, 운전자에게 유익한 정보로서 통지하기 위해서, 누가 봐도 알 수 있도록 표시된다. 이러한 처리를 적용함으로써, 예컨대, 운전자가 시각적으로 구간선을 인식하는 것이 어렵더라도, 표시 유닛의 전방 전망 이미지를 봄으로써, 운전자는, 운전자의 차량과 구간선 사이의 상대 위치 관계를 파악할 수 있다. 따라서, 운전자는, 구간선에 의해 구획되는 주행 차로에 차량을 쉽게 유지할 수 있다.

또한, 예컨대, 노면 구조물 특정부(17)에 의해 인식된 구간선의 위치 정보로부터, 운전자의 차량과 구간선 사이의 상대 위치 관계를 파악하고, 구간선으로 구획되는 주행 차로 상의 적정 주행 위치로부터 운전자의 차량이 떨어져 있는지 아닌지를 판별하는 다른 처리가 수행될 수도 있다. 차량이 적정 주행 위치로부터 떨어져 있을 때, 경보음 등을 발한다. 또는, 차량이 적정 주행 위치로부터 떨어져 있는 동안에, 자동 브레이킹 기능이 차량의 속도를 감소시키도록 실행된다.

도 17은, 구간선으로서 보쯔 다쯔(37)가 이용되는 노면의 이미지를 촬상한 편광 카메라(10)로부터 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부(13)에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시한 다이어그램이다.

도 18은, 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부(15)에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.

도 17의 흑백 이미지와 도 18의 편광 강도 차분 이미지 사이의 비교로부터 알 수 있듯이, 도 18의 편광 강도 차분 이미지의 아스팔트와 보쯔 다쯔(37) 사이의 콘트라스트는, 도 17의 흑백 이미지(휘도 이미지)보다 더 높다. 따라서, 흑백 이미지(휘도 이미지)를 이용하여 엣지를 식별하는 것이 어려울지라도, 편광 강도 차분 이미지를 이용함으로써, 아스팔트의 영역과 보쯔 다쯔의 영역 사이의 엣지를 식별하는 것이 가능하다.

주로, 식별 가능한 재질로서 금속의 경우가 본 실시형태에서 설명된다. 대안으로, 다른 재질들이 식별될 수 있다.

도 19는 실험실에서, 아스팔트면과 스틸이 페인트로 코팅된 코팅면(coated surface)에 대하여, 광원 위치를 변화시켜 고정 배치된 카메라에 의해 P-편광 이미지와 S-편광 이미지가 촬상되는 경우의 편광 강도 차분의 변화를 나타내는 그래프이다. 도 19의 그래프는, 아스팔트면과 금속면을 비교한 도 15의 그래프와 동일한 조건에서 도시된다. 도 19의 그래프로부터 알 수 있는 바와 같이, 아스팔트면과 코팅면 사이에 편광 강도 차분이 존재한다. 코팅면의 편광 강도 차분은, 금속면의 편광 강도 차분과도 다르다. 따라서, 편광 강도 차분들의 차이(편광 특성들 사이의 차이들)에 의해, 코팅면과 금속면 사이의 경계를 구별하고 식별하는 것이 가능하다.　

마찬가지로, 편광 강도 차분 이미지는, 코팅면 뿐만 아니라, 공사 또는 노면의 열화(deterioration) 등에 기인하여 노면 상에 부착된 콜타르와 같은 노면 구조물에도 이용될 수 있다. 그러므로, 높은 콘트라스트로 노면 구조물을 검출하는 것이 가능하다.

도 20은 콜타르(38)가 부착된 노면을 편광 카메라(10)로 촬상하여 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부(13)에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시하는 다이어그램이다.

도 21은 로우 편광 이미지 데이터로부터 편광 강도 차분 이미지 처리부(15)에 의해 생성된 편광 강도 차분 이미지를 도시하는 다이어그램이다.

도 20의 흑백 이미지(휘도 이미지)를 도 21의 편광 강도 차분 이미지와 비교하여 알 수 있듯이, 도 21의 편광 강도 차분 이미지에서 아스팔트와 콜타르 사이의 콘트라스트는, 도 20의 흑백 이미지(휘도 이미지)보다 더 높다. 따라서, 흑백 이미지(휘도 이미지)를 이용하는 경우에 엣지를 식별하는 것이 어려울지라도, 편광 강도 차분 이미지를 이용함으로써, 아스팔트의 영역과 콜타르(38)의 영역 사이의 엣지를 고정밀도로 식별하는 것이 가능하다.

다음에, 본 실시형태에 따른 운전자 지원 시스템에 있어서 입체 물체를 특정하는 처리의 흐름이 설명된다.

도 22는, 입체 물체를 특정하는 처리의 흐름을 설명하는 플로우차트이다.

엣지 식별 처리 전의 단계들은, 노면 구조물 특정 처리에서 전술한 단계들과 동일하므로, 그 설명들을 생략한다. 그러나, 엣지 판별 처리에서 이용하는 엣지 임계값은, 전술한 노면 구조물 특정 처리에서의 값과는 다르다. 엣지 판별 처리에서 엣지 임계값을 설정하는 방법은, 이하 설명된다.

도 23은 편광 카메라들(10)에 의해 얻어지는 로우 편광 이미지 데이터로부터 흑백 이미지 처리부(13)에 의해 생성된 흑백 이미지(휘도 이미지)의 예를 도시한 다이어그램이다.

도 24는 로우 편광 이미지로부터 편광 강도 차분 이미지 처리부(15)에 의해 생성된 편광 강도 차분 이미지를 도시한 다이어그램이다.

도 25는 100 프레임들에 대하여, 도 23의 백색 직사각형에 의해 윤곽이 그려진 3개의 위치들에서 휘도값 분포를 도시한 다이어그램이다.

도 26은 100 프레임들에 대하여, 도 24의 백색 직사각형에 의해 윤곽이 그려진 3개의 위치들에서 편광 강도 차분 분포를 나타내는 다이어그램이다.

도 25에 도시된 히스토그램으로부터 알 수 있는 바와 같이, 휘도값들은, 아스팔트의 영역의 휘도 분포, 다른 차량의 측면의 영역의 휘도 분포, 및 다른 차량의 후면의 영역의 휘도 분포에서, 겹쳐져 있다. 이와 반대로, 도 26에 도시된 히스토그램으로부터 알 수 있는 바와 같이, 편광 강도 차분들은, 겹쳐져 있지 않고, 아스팔트의 영역의 휘도 분포, 다른 차량의 측면의 영역의 휘도 분포, 및 다른 차량의 후면의 영역의 휘도 분포에서, 겹쳐지지 않고, 각각 볼 수 있다. 따라서, 흑백 이미지(휘도 이미지)를 이용하여 이러한 영역들을 구별하는 것이 어려울지라도, 이러한 영역들을 구분할 수 있는 적절한 임계값을 설정함으로써, 아스팔트의 영역, 다른 차량의 측면의 영역, 및 다른 차량의 후면의 영역의 휘도 분포를, 구별하고 판별하는 것이 가능하다.

다음, 입체 물체 식별부(18)에 의해 수행되는 입체 물체 식별 처리를 설명한다.

입체 물체 식별 처리를 설명하기 전에, 우선, 입체 물체가 편광 강도 차분으로부터 식별가능할 수 있는 이유를 설명한다.

노면 상에 반사된 광은, 입체 물체의 측면 상에 반사된 광과는 다른 입사각으로 편광 카메라(10)에 들어간다. 그러므로, P-편광 강도와 S-편광 강도는, 노면과 입체 물체의 측면에 대해 각각 상이하다. 특히, 입체 물체의 측면이 노면에 대하여 대략 수직인 경우, 입체 물체의 측면으로부터의 반사된 광에 포함되는 P-편광 성분과 S-편광 성분 사이의 상대 관계는, 노면으로부터 반사된 광에 포함되는 P-편광 성분과 S-편광 성분 사이의 상대 관계의 역(inversion)에 해당한다. 일반적으로, 반사된 광에 포함되는 P-편광 성분과 S-편광 성분 사이의 상대 관계는, 입사면에 대하여 수직한 편광 성분인 S-편광 성분이, 입사면에 대하여 평행한 편광 성분인 P-편광 성분보다 더 크다는 관계를 나타낸다. 따라서, 편광 카메라(10)가, 노면 또는 노면에 평행한 평면으로부터 반사된 광을 수광한 때, S-편광 강도가 P-편광 강도보다 더 크다. 편광 카메라(10)가, 노면에 대하여 대략 직립한(erect) 입체 물체의 측면으로부터의 반사된 광을 수광할 때, P-편광 성분이 S-편광 성분보다 더 크다. 노면과 입체 물체 사이의 편광 특성의 차이에 기인하여, 편광 카메라(10)로 수광된 반사된 광의 S-편광 성분과 P-편광 성분의 세기(strengths)를 비교함으로써, S-편광 성분이 P-편광 성분보다 더 크면, 노면에 평행한 면으로부터의 반사된 광이 오는 것으로 파악할 수 있다. 또한, P-편광 성분이 S-편광 성분보다 더 강하면, 노면에 수직한 면으로부터의 반사된 광이 오는 것으로 파악할 수 있다. 결과적으로, S-편광 성분과 P-편광 성분 사이의 차분값을 얻음으로써, 차분값이 양(positive)인지 또는 음(negative)인지에 의존하여, 입체 물체가, 노면에 평행한 표면을 갖는지 또는 노면과는 상이한 방향을 향하는 외면을 갖는지를 파악하는 것이 가능하다.

본 실시형태에 따른 입체 물체 식별 처리에서, 전술한 엣지 판별 처리에서 판별된 엣지에 의해서 구분되는 영역들의 각각에 대해 편광 강도 차분을 식별 지표값으로 이용함으로써, 해당 영역이 입체 물체를 나타내는지가 판정된다. 전술한 바와 같이, 입체 물체 식별 처리에서, S-편광 강도와 P-편광 강도 사이의 차분값을 식별 지표값으로 이용함으로써, 해당 영역이 입체 물체를 나타내는지 아닌지를 판정하는 것이 가능하다. 그러나, 만약 밝기가 불충분하다면, 식별 지표값으로서 산출되는 S-편광 강도와 P-편광 강도 사이의 차분값이 더 작아진다. 그러므로, 해당 영역이 입체 물체를 나타내는지 아닌지를 판별하기 어려워진다. 반면에, 본 실시형태에서는, 차분값을 S-편광 강도와 P-편광 강도의 합계값(흑백 휘도)으로 나눠서 얻어지는 편광 강도 차분을 이용하여, 밝기가 불충분하더라도, 식별 지표값으로 편광 강도 차분의 상대적으로 큰 값을 얻는 것이 가능하다.

본 실시형태에 따른 입체 물체 식별 처리의 흐름을 이하에 설명한다. 전술한 엣지 판별 처리에서 판별된 엣지에 의해 구분되는 영역들의 각각에 대해, 그 영역의 편광 강도 차분이 미리 정해진 입체 물체용 임계값 이하인지가 판별된다(단계 S21). 본 실시형태에 있어서, 도 26에 도시된 히스토그램으로부터 알 수 있는 바와 같이, 입체 물체에 관한 편광 강도 차분는, 양의 값이다. 따라서, 본 실시형태에서, 입체 물체용 임계값으로서 0 근방의 양의 값(예컨대, +0.05)이 적용된다. 만약 영역이 이러한 임계값 이상의 범위 내인 편광 강도 차분을 가진다면, 해당 영역은 입체 물체로 식별된다. 전술한 노면 구조물 식별 처리에서, 상대 편광 강도 차분이 이용되더라도, 유사한 처리가 실현될 수 있다. 만약 편광 강도 차분이 입체 물체용 임계값 이하로 판별되면, 해당 영역은, 응달 노면으로부터 구별되고, 입체 물체로서 식별되고, 해당 영역의 정보가 저장된다(단계 S22). 모든 영역들에 대해 단계들 S21 및 S22를 수행함으로써(단계 S23), 사진 이미지에서 입체 물체들을 나타내는 영역들의 각각을 파악하는 것이 가능하다.

또한, 사진 이미지의 상측 부분과 하측 부분 사이에서, 물체로부터의 반사된 광의 세기에 차이가 있다. 이러한 차이를 고려하여, 이용되는 입체 물체용 임계값은, 사진 이미지의 상측 부분과 하측 부분에서 변할 수도 있다.

또한, 근처에 위치하는 물체를 촬상한 사진 이미지의 하측 부분이, 상측 부분보다 물체를 식별하는 정밀도가 높다. 그러므로, 처리선의 처리 순서는, 사진 이미지에서 하측으로부터 상측으로 향하는 순서로 하는 것이 좋다.

다음에, 입체 물체 특정부(19)에 의해 수행되는 입체 물체의 종류 특정 처리를 설명한다.

우선, 입체 물체 특정부(19)는, 전술한 입체 물체 식별 처리에서 입체 물체에 의해 식별된 영역의 형상을 인식하고(단계 S24), 해당 영역의 형상에 근사하게 동일한 형상 템플릿이 존재하는지를 판별한다(단계 S25). 이러한 판별에 있어서, 해당 영역의 형상에 근사하는 형상 템플릿이 존재한다고 판별된 때에는, 해당 영역의 입체 물체가, 형상 템플릿에 관련된 종류라고 특정되고, 종류의 정보가 저장된다(단계 S26). 예컨대, 만약 입체 물체가 차량 형상의 형상 템플릿에 근사하면, 입체 물체는 다른 차량으로 특정된다. 모든 물체들에 대하여 단계들 S25 및 S26을 수행함으로써(단계 S27), 입체 물체를 특정하는 처리가 종료된다. 입체 물체 특정부(19)에서 형상을 근사하고 인식하는 방법은, 전술한 노면 구조물 특정부(17)에 의해 수행된 방법과 동일하다는 것이 주목되어야 한다.

입체 물체의 종류 특정 처리와 입체 물체 식별 처리의 정밀도를 향상시키기 위해서, 이전 처리 결과는, 전술한 노면 구조물의 종류를 특정하는 처리와 유사하게 이용될 수도 있다.

또한, 엣지 판별 처리의 판별(단계 S3)에서 이용된 엣지 임계값과, 입체 물체를 식별하는 처리의 판별(단계 S21)에서 이용된 입체 물체용 임계값은, 촬상 환경에 따라서 근사하여 변경될 수 있다. 예를 들면, 이러한 임계값들은, 주간과 야간 등의 시간대나, 비오는 날씨 또는 화창한 날씨 등의 날씨에 따라서 변경될 수도 있다. 이러한 전환은, 시간 정보나, 레인 센서 또는 일조 센서 등으로부터 얻은 정보 등을 이용하여 실현될 수 있다.

또한, 본 실시형태에 따른 편광 카메라(10)를 백미러(rear-view mirror) 등의 차량 내부에 부착하는 경우, 노면 구조물 특정 처리와 유사하게 윈드쉴드 글래스의 편광 특성을 고려하는 것이 바람직하다.

입체 물체 특정부(19)에 의해 수행되는 입체 물체의 종류를 특정하는 것으로부터의 결과는, 여러 가지 처리들에 이용될 수 있다.

예컨대, 입체 물체 특정부(19)의 처리 결과에 기초하여, 피해야 하는 장해물 로 인식된 입체 물체의 접근이, 경고와 함께 운전자에게 통지되고, 차량의 자동 브레이킹 시스템은, 충돌 회피 또는 충돌의 충격 감소를 위해 제어될 수 있다.

예컨대, 입체 물체 특정부(19)의 처리 결과는, 백색 선 식별부(14)에 의해 수행된 백색 선 엣지의 식별 처리에 이용될 수도 있다. 구체적으로는, 입체 물체 특정부(19)의 처리에 의해 노면 구조물의 종류가 특정된 영역은 백색 선 영역이 아니기 때문에, 이 영역은, 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별처리의 대상으로부터 제외된다. 그러므로, 다른 차량 등의 노면 구조물을 백색 선으로 잘못 인식하는 것을 줄일 수 있고, 백색 선의 인식의 정밀도가 향상될 수 있다. 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별 처리는 전술되었다, 그러나, 백색 선 이외의 물체의 사진 이미지를 식별하는 처리를 수행하는 경우에는, 일반적으로, 입체 물체의 종류가 특정된 영역을, 식별 처리의 대상으로부터 제외함으로써, 식별 처리의 정밀도를 향상시키는 것이 가능하다.

또한, 예컨대, 입체 물체 특정부(19)의 결과는, 카 내비게이션 시스템에 이용될 수 있다. 구체적으로, 차량과 도로 외부 장해물들 사이의 거리, 각도 등을 나타내는 차량 위치 정보는, 입체 물체 특정부(19)의 결과로부터 특정되는 전신주, 가로등, 교통 표지 등의 도로 외부 장해물들의 위치들로부터 생성된다. 차량 위치 정보를 이용하여, 카 내비게이션 시스템에 의해 산출되는 차량 위치의 범위 내에서, 차량의 한층 더 상세한 위치가 특정된다. 따라서, 카 내비게이션 시스템에 있어서 차량 위치를 특정하는 것의 정밀도를 높이는 것이 가능하다.

또한, 예컨대, 입체 물체 특정부(19)의 결과로부터, 차량에 대하여 여러 가지 입체 물체들의 각각의 위치와 방향을 파악하는 것이 가능하다. 그러므로, 입체 물체 특정부(19)의 결과는, ECU(Electronic Control Unit)에 이용될 수 있다.

특히, 충돌이 회피되어야 하는 입체 물체에 관하여는, 예컨대, 흑백 이미지 처리부에 의해 산출된 휘도 데이터를 이용하여 생성된 흑백 이미지(전방 전망 이미지)가, 차량 정보 통지부인 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등을 포함하는 디스플레이에 표시된다. 운전자에게 유용한 정보로서 흑백 이미지 내의 입체 물체의 정보를, 운전자에게 제공하기 위해서, 운전자가 입체 물체를 쉽게 인식하는 디스플레이 형태의 흑백 이미지를 표시하는 처리가 수행될 수도 있다. 예컨대, 운전자가 입체 물체를 눈으로 인식하기 어려울지라도, 운전자는 디스플레이 상의 전방 전망 이미지를 봄으로써 입체 물체를 확인할 수 있고, 입체 물체와 충돌을 회피할 수 있다.

전술한 바와 같이, 노면 구조물 식별 처리와 유사하게, 본 실시형태에 따른 입체 물체 식별 처리에서, 영역이 입체 물체를 나타내는지 아닌지가 판별되는 것이 가능하고, 편광 강도 차분과 기준 편광 강도 사이의 상대 편광 강도 차분인 차분값은, 엣지 식별 처리에 의해 판별된 엣지에 의해 구획된 영역들의 각각에 대해 식별 지표값으로 이용되고, 해당 영역들의 각각이 입체 물체를 나타내는지 아닌지를 판별하는 것이 실현될 수 있다. 그러나, 예컨대, 도 27에 도시된 바와 같이, F로부터 좌측의 양달 부분(기준 처리 영역)과 응달 부분(F-G)이 아스팔트 영역에 존재하는 경우에, 만약 크게 다른 휘도를 갖는 부분이 아스팔트 영역에 존재하면, 응달 부분(저 휘도 부분)(F-G)과 F로부터 좌측의 양달 부분(고 휘도 부분) 사이의 직선(J-J) 상의 경계(F)는, 엣지 판별 처리에서 엣지로서 오인된다. 따라서, 동일한 노면이 촬상되더라도, 응달 부분(응달 노면)(F-G)은, F로부터 좌측의 양달 부분(양달 노면)으로부터 구별된다. 양달 노면으로부터 구별되는 응달 노면에 관하여, 편광 강도 차분과 기준 편광 강도 사이의 차분값을 식별 지표값으로 이용하여, 입체 물체로서 인식하려고 시도되더라도, 입체 물체로 오인할 가능성이 있다.

도 28은 도 27에 도시된 이미지 내에 그려진 처리선(가로 방향으로 연장되는 직선 J-J) 위의 각 지점에서의 편광 강도 차분을 도시하는 그래프이다.

도 28의 그래프에서, 편광 강도 차분들에 관하여, 응달 노면(F-G)과 H의 우측의 측벽 사이에 차이가 있다. 그러므로, 상대 편광 강도 차분을 식별 지표값으로 설정하면, 응달 노면(F-G)과 H의 우측의 측벽(입체 물체)을 구별하고 인식하는 것이 가능하다. 그러나, 본 발명자들의 연구에 따르면, 실제 환경에서는, 응달 노면과 도로 엣지의 이 측벽을 포함하는 여러 가지 장해물들(입체 물체들)을, 높은 정밀도로 구별하고 인식하는 것이 어렵다는 것이 판명되었다.　

다른 한편으로, 휘도가 식별 지표값으로서 이용되는 물체를 식별하는 종래 방법을 이용하여, 도로 엣지에서 응달 노면과 장해물들(입체 물체들)을 식별하려고 시도되더라도, 그 정밀도는, 상대 편광 강도 차분을 식별 지표값으로서 이용하는 처리보다 훨씬 더 낮다.

도 29는 도 27에 도시된 이미지 내에 그려진 처리선(가로 방향으로 연장되는 직선 J-J) 위의 각 지점에서의 휘도(흑백 휘도)를 도시하는 그래프이다.

도 29의 그래프로부터 알 수 있는 바와 같이, 응달 노면과 측벽(입체 물체) 사이에는 흑백 휘도에 대해 차이가 없다. 그러므로, 흑백 휘도를 식별 지표값으로 설정한 경우에는, 편광 강도 차분을 이용함으로써 식별될 수 있는 응달 노면과 측벽 사이의 경계를 식별하는 것이 어렵다.

또한, 도 29에서, 휘도는, 편광 강도 차분의 표기에 맞춰, -1 내지 +1의 범위에서 정규화된 값으로 표현된다. 구체적으로는, 예컨대, 흑백 휘도의 값이 1 내지 256의 계조로 표현되는 경우, 계조에서의 레벨 1(검은 색)은 도 29의 휘도의 -1에 대응하고, 계조에서의 레벨 256(백색)은 도 29의 휘도의 +1에 대응한다.

도 30은 양달 노면 이외의 식별하는 물체들의 종류들의 각각의 휘도를 플로팅한 이차원 분포이다. 도 30에서, x축은 양달 노면의 휘도를 나타내고, y축은 양달 노면 이외의 물체들의 종류의 각각의 휘도를 나타낸다.

식별 대상물들은, 양달 노면(도 27의 좌측의 백색 직사각형 부분)과 동일한 노면 상에 존재하는 응달 노면(도 27의 우측의 백색 직사각형 부분), 도로 엣지의 장해물들(입체 물체들)의 양달 부분과 응달 부분이다. 구체적으로, 도로 엣지의 장해물들은, 거친 벽, 백색 벽, 가드 레일, 및 벽 리플렉터 등이다. 도 30에서, 검은 점들은 응달 노면의 데이터를 나타내고, 검은 점들 이외의 점들은 전술한 바와 같이, 도로 엣지에서 장해물들의 종류들의 각각의 양달 부분과 응달 부분을 포함하는 데이터를 나타낸다.

도 30에 도시하는 2차원 분포로부터 알 수 있는 바와 같이, 실제 상황에서 양달 노면의 휘도는 0.6 이하의 범위에서 얻어질 수 있고, 검은 점들에 의해 표시되는 응달 노면의 분포 영역과, 다른 점들에 의해 표시되는 도로 엣지의 장해물들의 분포 영역은 서로 오버랩된다. 그러므로, 만약 휘도 데이터만 이용되면, 임계값은, 응달 노면과 도로 엣지의 장해물들을 구별하도록 설정될 수 없다. 응달 노면과 도로 엣지의 장해물들은, 각각 식별될 수 없다.

결과적으로, 본 실시형태에서는, 상대 편광 강도 차분뿐 아니라, 종래에 식별 지표값으로 홀로 이용된 흑백 휘도를 이용함으로써, 양달 노면과 다른 휘도를 갖는 응달 노면과, 도로 엣지의 장해물들(입체 물체들)을 고정밀도로 구별하고 식별하는 것이 가능하다.

도 31은 양달 노면 이외의 식별하는 물체들의 종류들의 각각의 삼차원 분포를 도시하는 다이어그램이다. 도 31에서, X축은 양달 노면의 편광 강도 차분을 나타내고, Y축은 양달 노면 이외의 물체들의 편광 강도 차분을 나타내고, Z축은 식별 물체들의 휘도를 나타낸다.

3차원 분포로부터 알 수 있는 바와 같이, 실제 환경에서 양달 노면의 휘도가 얻어질 수 있는 범위에서, 검은 점들로 표시되는 응달 노면의 분포 영역과, 다른 점들로 표시되는 도로 엣지의 장해물들의 분포 영역은, 서로 오버랩되지 않고 구분되는 것을 확인할 수 있다. 따라서, 이러한 분포 영역들을 구분하는 경계면을 정의하는 임계값을 이용함으로써, 응달 노면으로부터 분리하여 도로 엣지의 장해물들을 구별하고 식별하는 것이 가능하다. 데이터를 분리하기 위해, SVM(Support Vector Machine)과 같은 공지 기술이 이용될 수도 있다.

다음, 본 실시형태에 따른 입체 물체를 식별하는 처리 변형예의 흐름을 도 32를 참조하여 설명한다. 도 32는 본 실시형태에 따른 입체 물체를 특정하는 처리 변형예를 설명하는 다이어그램이다. 우선, 엣지 판별 처리에 의해서 판별된 엣지에 의해 구분되는 각 영역에 대해, 상대 편광 강도 차분이, 미리 정해진 입체 물체용 임계값 이하인지 아닌지가 판별된다(S121). 본 실시형태에서는, 도 26에 도시된 히스토그램으로부터 알 수 있는 바와 같이, 입체 물체에 대한 편광 강도 차분은 양의 값이다. 또한, 기준 편광 강도 차분으로 이용되는, 아스팔트 영역에 대한 편광 강도 차분은, -0.05 부근이다. 그러므로, 본 실시형태에서는, 0 근방의 양의 값(예컨대, +0.08)이, 입체 물체용 임계값으로 적용되고, 임계값 이상의 범위에 속하는 상대 편광 강도 차분을 나타내는 영역은, 입체 물체로 식별된다.

그러나, 입체 물체들로 판별된 영역들에, 전술한 바와 같이, 응달 노면이 포함될 수도 있다. 그러므로, 본 실시형태에서는, 도 30에 도시된 3차원 분포에서, 응달 노면의 분포 영역과 도로 엣지의 장해물들의 다른 분포 영역을 구분할 수 있는 경계면을 정의하는 임계값(응달 노면 배제용)를 이용하여, 입체 물체로 잘못 인식되지만 응달 노면인 영역을 배제하는 처리가 수행된다(단계 S122). 응달 노면의 영역이 배제된 후, 나머지 영역들은 입체 물체로 식별되고, 나머지 영역들의 정보가 저장된다(단계 S123). 전술한 단계들 S121 내지 S123을 수행함으로써(단계 S124), 촬상 영역 내에서 입체 물체를 표시하는 영역을 파악하는 것이 가능하다.

또한, 물체로부터 반사된 광의 강도는, 촬상 이미지의 상측 부분과 하측 부분 사이에서 차이가 있다. 이 차이를 고려하여, 입체 물체용 임계값과 응달 노면 배제용 임계값은, 사진 이미지의 상측 부분과 하측 부분의 각각에서 변경될 수도 있다.

또한, 근처에 위치하는 물체를 촬상한 사진 이미지에서, 하측 부분이 상측 부분보다 더 높은 물체 식별의 정밀도를 가진다. 그러므로, 사진 이미지에서, 처리선의 처리 순서는, 하측으로부터 상측으로 향하는 순서로 하는 것이 좋다.

다음, 처리 변형예에서, 입체 물체 특정부(19)에 의해 수행되는 종류 특정 처리를 설명한다.

우선, 입체 물체 특정부(19)는, 전술한 입체 물체 식별 처리에 의해 입체 물체로 식별된 영역의 형상을 인식하고(단계 S125), 해당 영역의 형상에 근사하게 동일한 형상 템플릿이 존재하는지 아닌지를 판별한다(단계 S126). 이러한 판별에 있어서, 해당 영역의 형상에 근사하는 형상 템플릿이 존재한다고 판별될 때, 해당 영역의 입체 물체가, 형상 템플릿에 관련된 종류라고 특정되고, 종류의 정보가 저장된다(단계 S127). 예컨대, 만약 입체 물체가 차량 형상의 형상 템플릿에 근사하면, 입체 물체는 다른 차량으로 특정된다. 모든 물체들에 대하여 단계들 S126 및 S127을 수행함으로써(단계 S128), 입체 물체를 특정하는 처리가 종료된다. 입체 물체 특정부(19)에서 형상을 근사하고 인식하는 방법은, 전술한 노면 구조물 특정부(17)에 의해 수행된 방법과 동일하다는 것이 주목되어야 한다.

입체 물체의 종류 특정 처리와 입체 물체 식별 처리의 정밀도를 높이기 위해서, 이전 처리 결과는, 전술한 노면 구조물의 종류를 특정하는 처리와 유사하게 이용될 수도 있다.

또한, 엣지 판별 처리의 판별(단계 S3)에서 이용된 엣지 임계값과, 입체 물체를 식별하는 처리의 판별(단계 S121)에서 이용된 입체 물체용 임계값은, 촬상 환경에 따라서 근사하게 변경될 수 있다. 예를 들면, 이러한 임계값들은, 주간과 야간 등의 시간대나, 비오는 날씨 또는 화창한 날씨 등의 날씨에 따라서 변경될 수도 있다. 이러한 전환은, 시간 정보나, 레인 센서 또는 일조 센서 등으로부터 얻은 정보를 이용하여 실현될 수 있다.

또한, 본 실시형태에 따른 편광 카메라(10)를 백미러 등의 차량 내부에 부착하는 경우, 노면 구조물 특정 처리와 유사하게 윈드쉴드 글래스의 편광 특성을 고려하는 것이 바람직하다.

본 실시형태에서, 응달 노면 배제용 임계값은, 도 31의 3차원 분포의 경계면을 정의한다. 상기 임계값은, 보다 정확한 식별 능력을 얻기 위한 파라미터(parameter)를 추가함으써, 4차원이나 5차원 등의 고차원분포도에 있어서의 경계면을 정의할 수도 있다. 예컨대, 태양 방향(sun direction)이 이러한 파라미터로 이용될 수 있다. 이 경우, 태양의 방향 정보는, 내비게이션 시스템으로부터 태양 방향과 차량 이동 방향에 관한 정보를 추출함으로써 얻을 수 있다. 태양 방향의 정보에 기초하여, 도로 엣지의 장해물(입체 물체)에 대하여 그림자가 형성되는 방향을 파악하는 것이 가능하다. 그러므로, 식별 능력을 향상시키는 것이 가능하다. 대안으로, 태양의 고도 정보는, 파라미터로서 추가적으로 이용될 수도 있다. 유사하게, 태양의 고도 정보는, 내비게이션 시스템을 통해 차량 주행의 날짜와 시간에 관한 정보를 추출함으로써 얻을 수 있다. 또한, 오토 라이트(auto light)용 일조 센서로부터의 정보도 추가적으로 이용될 수도 있다.

입체 물체 특정부(19)에 의한 입체 물체의 종류의 특정 결과는, 여러 가지 처리들에 이용될 수 있다.

예컨대, 입체 물체 특정부(19)의 처리 결과에 기초하여, 피해야 하는 장해물 로 인식된 입체 물체의 접근이, 경고와 함께 운전자에게 통지되고, 차량의 자동 브레이킹 시스템은, 충돌 회피 또는 충돌의 충격 감소를 위해 제어될 수 있다.

예컨대, 입체 물체 특정부(19)의 처리 결과는, 백색 선 식별부(14)에 의해 수행된 백색 선 엣지의 식별 처리에 이용될 수도 있다. 구체적으로는, 입체 물체 특정부(19)의 처리에 의해 입체 물체의 종류가 특정된 영역은, 백색 선 영역이 아니기 때문에, 이 영역은, 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별 처리의 대상으로부터 제외된다. 그러므로, 다른 차량 등의 입체 물체를 백색 선으로 잘못 인식하는 것을 줄일 수 있고, 백색 선의 인식의 정밀도를 향상시킬 수 있다. 백색 선 식별부(14)에 의해 수행되는 백색 선 엣지의 식별 처리는 전술되었다, 그러나, 백색 선 이외의 물체의 사진 이미지를 식별하는 처리를 수행하는 경우에는, 일반적으로, 입체 물체의 종류가 특정된 영역을, 식별 처리의 대상으로부터 제외함으로써, 식별 처리의 정밀도를 향상시킬 수 있다.

또한, 예컨대, 입체 물체 특정부(19)의 결과는, 카 내비게이션 시스템에 이용될 수 있다. 구체적으로, 차량과 도로 외부 장해물들 사이의 거리, 각도 등을 나타내는 차량 위치 정보는, 입체 물체 특정부(19)의 결과로부터 특정되는 전신주, 가로등, 교통 표지 등의 도로 외부 장해물들의 위치들로부터 생성된다. 차량 위치 정보를 이용하여, 카 내비게이션 시스템에 의해 산출되는 차량 위치의 범위 내에서, 차량의 한층 더 상세한 위치가 특정된다. 따라서, 카 내비게이션 시스템에서 차량 위치를 특정하는 것의 정밀도를 높일 수 있다.

또한, 예컨대, 입체 물체 특정부(19)의 결과로부터, 차량에 대하여 여러 가지 입체 물체들의 각각의 위치와 방향을 파악할 수 있다. 그러므로, 입체 물체 식별부(19)의 결과는, ECU(Electronic Control Unit)에 이용될 수 있다.

특히, 충돌이 회피되어야 하는 입체 물체에 대하여, 예컨대, 흑백 이미지 처리부에 의해 산출된 휘도 데이터를 이용하여 생성된 흑백 이미지(전방 전망 이미지)는, 차량의 정보 통지부인 CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등을 포함하는 디스플레이에 표시된다. 운전자에게 유용한 정보로서 흑백 이미지 내의 입체 물체의 정보를, 운전자에게 제공하기 위해서, 운전자가 입체 물체를 쉽게 인식하는 디스플레이 형태의 흑백 이미지를 표시하는 처리가 수행될 수도 있다. 예컨대, 운전자가 입체 물체를 눈으로 인식하기 어려울지라도, 운전자는 디스플레이 상의 전방 전망 이미지를 봄으로써 입체 물체를 확인할 수 있고, 입체 물체와 충돌을 회피할 수 있다.

본 발명의 제1 양태에서, 물체 식별 장치, 물체 식별 장치를 포함하는 이동체 제어 장치, 및 물체 식별 장치를 포함하는 정보 제공 장치는, 물체를 식별하는데 이용될 수 있는 물체의 특징들의 종류들의 수를 증가시키고, 특정될 수 있는 물체들의 종류들의 수를 확실히 증가시키기 위해 제공된다.

전술한 바와 같이, 본 실시형태에 따른 물체 식별 장치는, 편광 카메라(10), 편광 강도 차분 이미지 처리부(15), 노면 구조물 식별부(16), 및 입체 물체 식별부(18)를 포함한다. 촬상부인 편광 카메라(10)는, 촬상 영역에 존재하는 물체로부터 반사된 광에 포함되는 상이한 편광 방향을 갖는 2종류의 편광 광(P-편광 및 S-편광)을 수광하고, 각각의 편광 이미지들(P-편광 이미지 및 S-편광 이미지)을 촬상한다. 휘도 차분 산출부인 편광 강도 차분 이미지 처리부(15)는, 편광 카메라(10)에 의해 촬상된 P-편광 이미지와 S-편광 이미지 각각을 미리 정해진 처리 영역들(하나의 픽셀 단위에 의해)로 분할하고, 각 픽셀에 대해 P-편광 이미지와 S-편광 이미지 사이의 휘도 차분값을 산출한다. 물체 식별부인, 노면 구조물 식별부(16)와 입체 물체 식별부(18)의 각각은, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 휘도 차분값으로부터 얻어진 식별 지표값인 편광 강도 차분을 이용하여, 촬상 영역 내의 각각의 픽셀들에 대응하는 위치 내에 존재하는 물체를 식별하는 처리를 수행한다.

그러므로, 흑백 휘도의 차이에 의해 구별되지 않을 수 있는, 노면과 노면 구조물 사이 또는 노면과 입체 물체 사이를 구별하고 인식하는 것이 가능하다.

또한, 노면 구조물 식별부(16)와 입체 물체 식별부(18) 각각은, 복수의 다른 물체들 각각에 대해 정의되는 복수의 수치 범위 중 어느 것에 편광 강도 차분이 속하는지 판별하는 판별 처리를 수행하고, 처리 영역의 각각의 위치에 존재하는 물체가, 판별 처리에서 판별된 하나의 수치 범위에 대응하는 물체인지 식별하는 식별 처리를 수행한다.

또한, 본 실시형태에서, 편광 카메라(10)는, 노면 상을 주행하는 이동체인 차량에 탑재되고, 노면에 대하여 경사진 상부 방향으로부터 노면을 포함하는 촬상 영역의 이미지를 촬상한다. 동일한 물체에 대해 정의된 상기 수치 범위는, P-편광 이미지와 S-편광 이미지의 각각을 상부 방향과 하부 방향으로 구분하는 적어도 2개 이상의 구역들에 대해 설정된다. 식별 처리에서, 복수의 수치값 범위들은, 2개 구역들의 각각에 대해 설정되고, 하나의 구역에 대한 복수의 수치값 범위들 중 어느 것에, 상기 하나의 구역 내 처리 영역의 편광 강도 차분이 속하는 지를 판별한다. 따라서, P-편광 이미지와 S-편광 이미지의 각각에 대해 상부 방향과 하부 방향에서 편광 카메라(10)에 의해 수광된 광량을 고려하여 물체를 적절하게 식별하는 것이 가능하다.

또한, 본 실시형태에서, 노면 구조물 식별부(16)는, 촬상 영역 내에서 처리 영역들의 각각에 대응하는 위치에 존재하는 물체의 재질(금속)을 식별하는 처리를 수행한다. 물체들 사이의 흑백 휘도의 차이를 이용한 경우에, 동일 평면에서 상이한 재질로 만들어진 물체들이 구별될 수 없을지라도, 본 실시형태에서 물체들의 각각은 적절하게 식별될 수 있다.

또한, 본 실시형태에서, 편광 카메라(10)는, 이동체가 이동하는 표면인 노면 상을 주행하는 이동체인 차량에 탑재되고, 노면을 포함하는 촬상 영역의 이미지를 촬상하고, 외면이 노면과 실질적으로 동일면 상에 노출되는 물체(노면 구조물)를 식별하는 처리를 수행한다. 따라서, 맨홀의 덮개, 도로 연결 부분, 보쯔 다쯔 또는 캐츠 아이즈 등에 의해 형성되는 구간선 등과 같은 노면 구조물을 식별하는 것이 가능하다.

또한, 본 실시형태에서, 노면 구조물 식별부(16)는, 촬상 영역 내에 존재하도록 미리 상정된 기준 물체인 아스팔트의 위치에 대응하는 기준 처리 영역에 대한 기준 지표값이 되도록, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 편광 강도 차분을 설정하고, 기준 처리 영역과 다른 처리 영역들의 각각에 대해 편광 강도 차분 이미지 처리부(15)에 의해 산출된 기준 지표값에 대하여 상대값(상대 편광 강도 차분)을 산출한다. 노면 구조물 식별부(16)는, 상대 편광 강도 차분에 기초하여, 처리 영역에 대응하는 위치에 존재하는 물체를 식별하는 처리를 수행한다. 그러므로, 환경 등의 차이와 같은 영향들에 기인하여, 해당 영역(subject area)의 편광 강도 차분의 산출값에 편차가 생기더라도, 차이가 동일한 영향들에 기인하여 발생하는 기준 편광 강도 차분에 대한 상대량을 이용하여, 이러한 영향들을 줄일 수 있다.

또한, 본 실시형태에서, 합계 휘도(P-편광 강도 + S-편광 강도)에 대한 휘도 차분값(P-편광 강도 - S-편광 강도)의 비율을 나타내는 편광 강도 차분이, 식별 지표값으로 이용되고, 밝기가 불충분하더라도, 고정밀도로 물체를 인식하는 것이 가능하다.

또한, 본 실시형태에서, 노면 구조물 식별부(16)와 입체 물체 식별부(18)의 각각에서, 식별 처리의 결과는, 이전에 수행된 식별 처리들의 결과들을 저장하는 식별 처리 결과 저장부인 메모리에 저장되고, 식별 처리는 메모리에 저장되는 이전 식별 처리들의 결과들을 이용하여 수행된다. 그러므로, 이전 식별 결과와 동일한 결과를 얻는지 여부에 의존하여 식별 결과의 신뢰성을 판별하는 것이 가능하다.

또한, 본 실시형태에서, 형상 메모리부(20)는, 편광 카메라(10)에 의해 촬상된 미리 정해진 특정 물체의 형상을 나타내는 형상 정보인 형상 템플릿을 저장하는 형상 정보 저장부로서 포함된다. 식별 처리에서, 노면 구조물 식별부(16)와 입체 물체 식별부(18)의 각각은, 복수의 인접한 픽셀들로 형성된 하나의 물체(노면 구조물 또는 입체 물체)를 식별한다. 노면 구조물 특정부(17)와 입체 물체 특정부(19)의 각각은, 하나의 물체의 형상이 형상 메모리부(20)에 저장된 형상 템플릿에 의해 표시된 형상에 근사한지 아닌지를 판별한다. 하나의 물체의 형상이, 형상 템플릿에 의해 표시된 형상에 근사한다고 판별될 때, 물체를 특정하는 처리에서, 복수의 픽셀들의 각각의 위치의 상기 물체는 형상 템플릿에 대응하는 특정 물체로 특정된다. 그러므로, 상기 물체는, 편광 특성뿐 아니라, 상기 물체의 형상 정보 또한 이용함으로써, 특정될 수 있다.

또한, 전술한 바와 같이, 본 실시형태에 따른 물체 식별 장치는 물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량의 이동을 제어하는 이동 제어부인 ECU를 포함하는 이동체 제어 장치로서의 자동 브레이킹 시스템에 적용될 수 있다.

또한, 전술한 바와 같이, 본 실시형태에 따른 물체 식별 장치는, 물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량을 조작하는 운전자에게 유익한 정보를 생성하는 정보 제공 장치에 적용될 수 있고, 생성된 정보를 운전자에게 통지할 수 있다.

본 실시형태에 따른 전체 운전자 지원 시스템은, 반드시 차량에 탑재될 필요가 없다는 점이 주목되어야 한다. 예컨대, 오직 편광 카메라(10)만 차량에 탑재하고, 나머지의 시스템 구성 요소들은 차량으로부터 떨어진 다른 장소에 배치될 수도 있다. 이 경우, 시스템은, 운전자 이외의 사람이 차량의 주행 상태를 객관적으로 파악할 수 있도록 만들 수 있다.

또한, 본 실시형태에서, 편광 강도 차분은, 식별 지표값으로 이용된다. 대안으로, P-편광 이미지와 S-편광 이미지 사이의 휘도 차분값이 이용될 수도 있다.

본 발명에 따르면, 예컨대, 촬상부에 의해 촬상된 2개의 편광 이미지들에 대하여, 2개의 편광 이미지들 사이의 휘도 차분값은, 미리 정해진 처리 영역들의 각각에 대해 산출되고, 식별 처리는, 휘도 차분값으로부터 얻어진 식별 지표값을 이용하여, 처리 영역들의 각각에 대응하는 위치에 존재하는 물체에 대해 수행된다. 일반적으로, 자연광과 조명 램프에 의해 비춰지는 동일한 장소로부터 반사되는 광은, 상이한 편광 방향을 갖는 복수의 편광 광들을 포함한다. 비록 동일 장소에서 비춰진 광의 광도(luminous intensity)와 입사각이 동일하더라도, 해당 장소에서 각 물체의 편광 특성이 다를 때, 이러한 복수의 편광 광들의 편광 방향들의 각각에서의 강도는 다르다. 발명자들은 편광 광의 이러한 특징에 초점을 맞춘다. 그들의 헌신적인 연구의 결과로서, 그들은, 물체의 상이한 편광 특성으로부터 물체를 식별하는 것을 성취했다. 예컨대, 물체의 상이한 편광 특성이, 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하여 얻어진 2개의 편광 이미지들 사이의 휘도 차분값에 크게 영향을 미친다는 사실을 이용함으로써, 물체가 식별될 수 있다는 점이 밝혀졌다. 따라서, 2개의 편광 이미지들 사이의 휘도 차분값으로부터 얻어진 식별 지표값(휘도 차분값 자체를 포함함)을 이용함으로써, 상이한 편광 특성을 갖는 물체들을 구별하고, 고정밀도로 물체들의 각각을 식별하는 것이 가능하다.

전술한 바와 같이, 본 발명의 제1 양태에 따르면, 물체는, 물체의 편광 특성이며, 촬상부에 의해 얻어질 수 있는 새로운 특징을 이용함으로써 식별될 수 있기 때문에, 물체를 식별하는데 이용될 수 있는 물체의 특징들의 종류들의 수를 증가시키는 것이 가능하다. 그러므로, 특정되는 물체들의 종류들의 수에서 우수한 효과가 얻어질 수 있다.

본 발명의 제2 양태에서, 입체 물체 식별 장치, 물체 식별 장치를 포함하는 이동체 제어 장치, 및 물체 식별 장치를 포함하는 정보 제공 장치는, 촬상부를 이용함으로써, 촬상 영역 내에서 휘도의 분명한 차이가 없는, 입체 물체와 평면 물체 사이의 경계를, 더 높은 정밀도로, 식별하기 위해 제공된다.

전술한 바와 같이, 입체 물체 식별 장치는, 촬상 영역에 존재하고, 미리 정해진 평면(노면)과 다른 방향을 향하는 외면을 가지는 입체 물체를 식별하고, 편광 카메라(10), 편광 강도 차분 이미지 처리부(15), 및 입체 물체 식별부(18)를 포함한다. 편광 카메라(10)는, 촬상 영역 내에 fc존재하는 물체로부터 반사된 광에 포함되는 상이한 편광 방향을 갖는 2개의 편광 광들을 수광한다. 휘도 차분 산출부로서, 편광 강도 차분 이미지 처리부(15)는, 편광 카메라(10)에 의해 촬상된 P-편광 이미지와 S-편광 이미지의 각각을 미리 정해진 처리 영역들(하나의 픽셀 단위에 의해)로 분할하고, 각 픽셀에 대해 P-편광 이미지와 S-편광 이미지 사이의 휘도 차분값을 산출한다. 물체 식별 처리부로서, 입체 물체 식별부(18)는, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 휘도 차분값으로부터 얻어진 식별 지표값인 편광 강도 차분을 이용함으로써, 촬상 영역 내의 픽셀들의 각각에 대응하는 장소에 물체가 존재하는지 아닌지를 식별하는 입체 물체 식별 처리를 수행한다. 따라서, 그들의 흑백 휘도 사이의 차이를 이용하는 경우에, 식별되지 않은 노면과 입체 물체 사이의 경계를 구별하고 식별하는 것이 가능하다.

또한, 본 실시형태에서, 입체 물체 식별부(18)는, 노면과 동일한 평면 상에 존재하는 평면 물체(아스팔트)와 입체 물체의 각각에 대해 정의되는 복수의 수치 범위들 중 어느 것에 편광 강도 차분이 속하는지를 판별하는 판별 처리를 수행하고, 물체 식별 처리를 수행하기 위해서, 처리 영역에 대응하는 장소에 존재하는 물체가, 판별 처리에서 판별된 하나의 수치 범위에 대응하는 물체인지 식별하는 처리를 수행한다. 따라서, 입체 물체 식별 처리는 각 임계치를 간단히 비교하는 처리에 의해 실현될 수 있다.

편광 카메라(10)는 제1 양태와 유사하게 구성된다. 또한, 입체 물체 식별부(18)는 제1 양태와 유사하게 구성된다.

또한, 전술한 바와 같이, 본 실시형태에 따른 입체 물체 식별 장치는, 입체물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량의 이동을 제어하는 이동 제어부인 ECU를 포함하는 이동체 제어 장치로서의 자동 브레이킹 시스템에 적용될 수 있다.

또한, 전술한 바와 같이, 본 실시형태에 따른 입체 물체 식별 장치는, 입체 물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량을 조작하는 운전자에게 유익한 정보를 생성하는 정보 제공 장치에 적용될 수 있고, 생성된 정보를 운전자에게 통지할 수 있다.

본 발명에 따르면, 예컨대, 촬상부에 의해 촬상된 2개의 편광 이미지들에 대하여, 2개의 편광 이미지들 사이의 휘도 차분값은, 미리 정해진 처리 영역들의 각각에 대해 산출되고, 식별 처리는, 휘도 차분값으로부터 얻어진 식별 지표값을 이용하여, 처리 영역들의 각각에 대응하는 위치에 존재하는 물체에 대해 수행될 수 있다. 일반적으로, 자연광과 조명 램프에 의해 비춰지는 동일한 장소로부터 반사되는 광은, 상이한 편광 방향을 갖는 복수의 편광 광들을 포함한다. 복수의 편광 광들에 대하여, 반사된 광에 포함된 편광 성분은, 반사된 표면(입사면)의 방향에 의존하여 변한다. 발명자들은 편광 광의 이러한 특징에 초점을 맞춘다. 그들의 헌신적인 연구의 결과로서, 그들은, 광을 반사시키는 물체의 표면이 향하는 방향에 기초하여 입체 물체를 식별하는 것이 가능하다는 것을 발견했다. 예컨대, 물체의 표면이 광을 반사시키는 방향은, 상이한 편광 방향을 갖는 2개의 편광 광들을 수광함으로써 얻어지는 2개의 편광 이미지들 사이의 휘도 차분값에 크게 영향을 미친다. 이러한 특징을 활용하여, 입체 물체는 식별될 수 있다. 그러므로, 반사된 광으로부터 얻어지는 2개의 편광 이미지들 사이의 편광 강도 차분값으로부터 얻어지는 식별 지표값(휘도 차분값을 포함함)을 이용하여, 고정밀도로, 평면 물체로부터 광을 반사시키는 물체인 입체 물체를 구별하고 식별하는 것이 가능하다.

전술한 바와 같이, 본 발명의 제2 양태에 따르면, 촬상부에 의해 얻어진 2개의 편광 이미지들 사이의 휘도 차분값으로부터 얻어진 식별 지표값을 이용하여, 촬상 영역 에서 휘도의 분명한 차이가 없는 입체 물체와 평면 물체 사이의 경계를 식별하는 것이 가능하다는 우수한 효과가 있다.

본 실시형태에 따른 전체 운전자 지원 시스템은, 반드시 차량에 탑재될 필요가 없다는 점이 주목되어야 한다. 예컨대, 오직 편광 카메라(10)만 차량에 탑재하고, 나머지의 시스템 구성 요소들은 차량으로부터 떨어진 다른 장소에 배치될 수도 있다. 이 경우, 시스템은, 운전자 이외의 사람이 차량의 주행 상태를 객관적으로 파악할 수 있도록 만들 수 있다.

또한, 본 실시형태에서, 편광 강도 차분은 식별 지표값으로 이용된다. 대안으로, P-편광 이미지와 S-편광 이미지 사이의 휘도 차분값이 이용될 수도 있다.

본 발명의 제3 양태에서, 입체 물체 식별 장치, 물체 식별 장치를 포함하는 이동체 제어 장치, 및 물체 식별 장치를 포함하는 정보 제공 장치는, 동일한 평면 물체 내에서 크게 다른 휘도를 가지는 부분이 있는 경우라도, 촬상부를 이용함으로써 입체 물체와 평면 물체 사이의 경계를, 더 높은 정밀도로, 식별하기 위해 제공된다.

전술한 바와 같이, 입체 물체 식별 장치는, 촬상 영역 내에 존재하고 미리 정해진 평면(노면)과 다른 방향을 향하는 외면을 갖는 입체 물체를 식별하고, 편광 카메라(10), 흑백 이미지 처리부(13), 편광 강도 차분 이미지 처리부(15), 및 입체 물체 식별부(18)를 포함한다. 촬상부로서, 편광 카메라(10)는, 촬상 영역 내에 존재하는 물체로부터 반사된 광 내에 포함되는 상이한 편광 방향을 갖는 2개의 편광 광들을 수광한다. 휘도 산출부로서, 흑백 이미지 처리부(13)는, 편광 카메라(10)에 의해 촬상된 P-편광 이미지와 S-편광 이미지의 각각을 미리 정해진 처리 영역들(하나의 픽셀 단위에 의해)로 분할하고, 각 픽셀에 대해 P-편광 이미지와 S-편광 이미지 사이의 합계 휘도값인 흑백 휘도를 산출한다. 편광 강도 차분 산출부로서, 편광 강도 차분 이미지 처리부(15)는, 흑백 휘도에 대하여 P-편광 이미지와 S-편광 이미지 사이의 휘도 차분값의 비율을 나타내는 편광 강도 차분을 산출한다. 기준 평면 물체(아스팔트)는, 미리 정해진 평면과 동일한 평면 내에 존재하는 것으로 미리 상정된다. 기준 평면 물체(아스팔트)가 존재하는 장소에 대응하는 처리 영역들 내에서 휘도가 상대적으로 큰 부분인 기준 처리 영역(양달 노면에 대응하는 영역)에 대하여, 편광 강도 차분 이미지 처리부(15)는 편광 강도 차분을 산출한다. 또한, 상대 편광 강도 차분부로서, 편광 강도 차분 이미지 처리부(15)는, 산출된 편광 강도 차분을 기준 편광 강도 차분이 되도록 설정하고, 기준 처리 영역 이외의 각 처리 영역에 대해 편광 강도 차분 이미지 처리부(15)에 의해 산출된 편광 강도 차분과, 기준 편광 강도 차분 사이의 차분값인 상대 편광 강도 차분을 산출한다. 물체 식별 처리부로서의, 입체 물체 식별부(18)는, 흑백 이미지 처리부(13)에 의해 산출된 흑백 휘도와, 편광 강도 차분 이미지 처리부(15)에 의해 산출된 상대 편광 강도 차분을, 식별 지표값으로 이용하고, 촬상 영역 내에 픽셀들의 각각에 대응하는 장소에 존재하는 물체가 입체 물체인지 아닌지를 식별하는 입체 물체 식별 처리를 수행한다. 따라서, 응달 노면과 입체 물체 사이의 경계를 고정밀도로 구별하고 식별하는 것이 가능하다.

또한, 입체 물체 식별부(18)는, 복수의 수치 범위들 중 어느 것에 식별 지표값이 속하는지를 판별하는 판별 처리를 수행한다. 복수의 수치 범위들은, 응달 노면과 입체 물체의 각각에 대하여 정의된다. 응달 노면은, 아스팔트(노면)가 존재하는 장소에 대응하는 처리 영역 내에서 저 휘도를 갖는 부분인 낮은 휘도 처리 영역(응달 노면에 대응하는 영역)에 대응하는 장소에 존재한다. 결과적으로, 입체 물체 식별부(18)는, 입체 물체 식별 처리를 수행하기 위해, 식별 지표값이 하나의 수치 범위에 속하는 판별 처리에서 판별된 하나의 수치 범위에 대응하는 물체가 있는 처리 영역에 대응하는 장소에 존재하는 물체를 식별하는 처리를 수행한다. 그러므로, 입체 물체 식별 처리는, 개별적인 임계값들과 단순히 비교하는 처리들에 의해 실현될 수 있다.

편광 카메라(10)는 제1 양태와 유사하게 구성된다.

또한, 본 실시형태에서, 입체 물체 식별부(18)에 의해 이전에 수행된 식별 처리들의 결과들은, 이전에 수행된 식별 처리들의 결과들을 저장하는 식별 처리 결과 저장부인 메모리에 저장된다. 입체 물체 식별부(18)는, 메모리에 저장된 이전 식별 처리들의 결과들뿐 아니라, 식별 지표값도 이용하여, 식별 처리를 수행한다.

또한, 전술한 바와 같이, 본 실시형태에 따른 입체 물체 식별 장치는, 입체 물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량의 이동을 제어하는 이동 제어부인 ECU를 포함하는 이동체 제어 장치로서의 자동 브레이킹 시스템에 적용될 수 있다.

또한, 전술한 바와 같이, 본 실시형태에 따른 입체 물체 식별 장치는, 입체 물체 식별 장치의 식별 결과를 이용하여, 이동체인 차량을 조작하는 운전자에게 유익한 정보를 생성하는 정보 제공 장치에 적용될 수 있고, 생성된 정보를 운전자에게 통지할 수 있다.

본 실시형태에 따른 전체 운전자 지원 시스템은, 반드시 차량에 탑재될 필요가 없다는 점이 주목되어야 한다. 예컨대, 오직 편광 카메라(10)만 차량에 탑재되고, 나머지의 시스템 구성들은 차량으로부터 떨어진 다른 장소에 배치될 수도 있다. 이 경우, 시스템은, 운전자 이외의 사람이 차량의 주행 상태를 객관적으로 파악할 수 있도록 만들 수 있다.

헌신적인 연구의 결과로서, 발명자들은, 촬상부에 의해 촬상된 2개의 편광 이미지들 사이의 합계 휘도값에 대한 휘도 차분의 비율을 나타내는 편광 강도 차분을 식별 지표값으로 이용함으로써, 고정밀도로, 평면 물체가 있는 처리 장소들의 각각에 대응하는 장소에 존재하는 입체 물체를 구별하고 인식하는 것인, 전술한 바와 같이 획기적인 입체 물체 식별 방법을 발견했다. 예컨대, 입체 물체 식별 방법에서, 기준 처리 영역과 식별 물체 처리 영역 사이의 차이(상대 편광 강도 차분)는, 식별 지표값으로 이용된다. 입체 물체 식별 방법은, 휘도를 식별 지표값으로 이용하는 종래의 방법보다 고정밀도로, 처리 영역들의 각각에 대응하는 장소에 존재하고 평면 물체인 입체 물체를 구별하고 인식할 수 있다. 그러나, 편광 강도 차분이 이용되더라도, 기준 처리 영역이 존재하는 평면 물체 내에 휘도가 크게 다른 부분이 있는 경우, 처리 영역에서, 기준 처리 영역의 편광 강도와 상이한 편광 강도를 갖는 평면 물체는 입체 물체로 잘못 인식될 수도 있다.

추가적인 연구의 결과로서, 편광 강도 차분과, 종래의 방법에서 식별 지표값으로 이용되는 휘도를 둘다 이용함으로써, 기준 처리 영역과 다른 편광 강도를 갖는 처리 영역과, 입체 물체가 존재하는 다른 처리 영역을 구별하고 식별하는 것이 가능하다는 것을 발견했다.

동일한 평면 물체 내에서 일부가 크게 다른 편광 강도를 가지고 편광 강도는 기준 처리 영역과 다른 경우이더라도, 평면 물체는 입체 물체로 잘못 인식되기 쉬운데, 편광 강도 차분과 휘도를 둘다 이용하는 본 실시형태에 따르면, 고정밀도로, 입체 물체와 처리 영역 일부의 평면 물체 사이의 경계를 식별하는 것이 가능하다. 또한, 본 실시형태에 따르면, 편광 강도 차분을 산출하는데 이용되는, 촬상부에 의해 촬상된 2개의 편광 이미지들의 합계 편광 강도값은, 식별 지표값으로서 이용되는 휘도에 대해 이용된다. 그러므로, 새로운 검출 소자가 필요없다.

전술한 바와 같이, 본 실시형태에 따르면, 일부가, 동일 평면 물체 내에서 크게 다른 편광 강도를 가지더라도, 촬상부를 이용하여 고정밀도로 평면 물체로부터 입체물체를 식별하는 것이 가능하다.

본 발명은 구체적으로 개시된 실시형태들에 제한되지 않고, 변화들과 변경들이 발명의 범주를 벗어남 없이 실시될 수 있다.

본 명세서는, 2009년 12월 25일 출원된 일본 우선권 출원 2009-295885, 2009년 12월 25일 출원된 일본 우선권 출원 2009-295902, 2009년 12월 25일 출원된 일본 우선권 출원 2009-295963, 2010년 10월 29일 출원된 일본 우선권 출원 2010-243925, 2010년 10월 29일 출원된 일본 우선권 출원 2010-243951, 2010년 10월 29일 출원된 일본 우선권 출원 2010-243989에 기초하고, 전체 내용들이 참조되어 여기에 병합된다.

Claims (20)

1. 촬상 영역 내에 존재하는 물체를 식별하는 물체 식별 장치로서,
   상기 촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부(imaging part); 및
   상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부를 포함하는 물체 식별 장치.
2. 제1항에 있어서,
   상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들의 각각을, 미리 정해진 처리 영역들로 분할하고, 상기 미리 정해진 처리 영역들의 각각에 대해 상기 2개의 편광 이미지들 사이의 휘도 차분값을 산출하도록 구성된 휘도 차분 산출부
   를 더 포함하고,
   상기 물체 식별 처리부는, 상기 휘도 차분 산출부에 의해 산출된 상기 휘도 차분값으로부터 얻어지는 식별 지표값(identification index value)을 이용하여, 상기 식별 처리를 수행하도록 구성된 것인 물체 식별 장치.
3. 제2항에 있어서,
   상기 물체 식별 처리부는,
   각각의 상이한 물체들에 대해 정의되는 복수의 수치 범위들 중 어느 하나에 상기 식별 지표값이 속하는지 판별하는 판별 처리를 수행하고,
   상기 판별 처리에서 판별된 상기 수치 범위에 대응하는 상기 물체가 있는 상기 처리 영역들의 각각에 대응하는 상기 장소에 존재하는 상기 물체를 식별하는 것에 의해 상기 식별 처리를 수행하도록 구성된 것인 물체 식별 장치.
4. 제3항에 있어서,
   상기 촬상부는, 이동면 상에서 이동하는 이동체에 탑재되고, 상기 이동면에 대하여 경사진 상부 방향으로부터 상기 이동면을 포함하는 상기 촬상 영역을 촬상하도록 구성되고,
   상기 판별 처리에서, 동일한 물체에 대해 정의된 상기 수치 범위는, 상기 2개의 편광 이미지들의 각각을 상부 방향과 하부 방향으로 구분하는 적어도 2개 이상의 구역들의 각각에 대해 설정되고, 구역에 대해 설정된 상기 수치 범위 중 하나는, 상기 구역에 속하는 상기 처리 영역의 상기 식별 지표값에 대해 판별되는 것인 물체 식별 장치.
5. 제2항에 있어서,
   상기 식별 처리는, 상기 촬상 영역 내에 상기 처리 영역들의 각각에 대응하는 상기 장소에 존재하는 상기 물체의 재질을 식별하는 재질 식별 처리를 포함하도록 구성된 것인 물체 식별 장치.
6. 제5항에 있어서,
   상기 재질 식별 처리에 의해 식별된 상기 물체의 상기 재질은, 금속을 포함하는 것인 물체 식별 장치.
7. 제2항에 있어서,
   상기 촬상부는, 이동면인 노면 상에서 이동하는 이동체인 차량에 탑재되고,
   상기 물체 식별 처리부는, 외면이 상기 노면과 실질적으로 동일한 평면에 노출된 상기 물체를 식별하는 상기 식별 처리를 수행하도록 구성된 것인 물체 식별 장치.
8. 제2항에 있어서,
   상기 물체 식별 처리부는, 상기 식별 처리를 수행하기 위해서,
   미리 상정된 기준 물체의 장소에 대응하는 기준 처리 영역에 대해 상기 휘도 차분 산출부에 의해 산출된 휘도 차분값으로부터 얻어진 식별 지표값을 기준 지표값이 되도록 설정하고,
   상기 기준 처리 영역과 상이한 처리 영역에 대해 상기 휘도 차분 산출부에 의해 산출된 상기 휘도 차분값으로부터 얻어지는 상기 식별 지표값의 상기 기준 지표값에 대한 상대값을 산출하고, 상기 상대값에 기초하여 상기 상이한 처리 영역에 대응하는 상기 장소에 존재하는 상기 물체를 식별하도록 구성된 것인 물체 식별 장치.
9. 제2항에 있어서,
   상기 휘도 차분값을 산출하는데 이용되는 2개의 편광 이미지들 사이의 전체 휘도값에 대한 상기 휘도 차분값의 비율을 나타내는 편광 강도 차분은, 상기 식별 지표값으로 이용되는 것인 물제 식별 장치.
10. 제2항에 있어서,
    상기 물체 식별 처리부에 의해 이전에 수행된 상기 식별 처리의 이전 결과를 저장하도록 구성된 식별 처리 결과 저장부
    를 더 포함하고
    상기 물체 식별 처리부는, 상기 식별 지표값과 상기 식별 처리 결과 저장부에 저장된 상기 식별 처리의 상기 이전 결과를 이용하는 것인 물체 식별 장치.
11. 제2항에 있어서,
    상기 촬상부에 의해 미리 정해진 특정 물체를 촬상하여 얻어지는 형상을 나타내는 형상 정보를 저장하도록 구성된 형상 정보 저장부
    를 더 포함하고,
    상기 물체 식별 처리부는, 동일 물체가 상기 식별 처리에 의해 식별되는 복수의 인접한 처리 영역들에 의해 나타나는 제1 형상이, 상기 형상 정보 저장부에 저장된 상기 형상 정보에 의해 나타나는 제2 형상에 근사한지 아닌지를 판별하고, 상기 제1 형상이 상기 제2 형상에 근사할 때, 상기 복수의 처리 영역들에 대응하는 상기 장소에 존재하는 상기 물체를 특정하는 물체 특정 처리를 수행하도록 구성된 것인 물체 식별 장치.
12. 이동체 제어 장치로서,
    촬상 대상으로서 이동체의 주위를 촬상하고, 상기 촬상 대상 내에 존재하는 물체를 식별하도록 구성된 물체 식별부; 및
    상기 물체 식별부의 식별 결과에 기초하여 상기 이동체에 대해 이동 제어를 수행하도록 구성된 이동체 제어 장치
    를 포함하고,
    상기 물체 식별부는,
    촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부; 및
    상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부
    를 포함하는 이동체 제어 장치.
13. 정보 제공 장치로서,
    촬상 대상으로서, 운전자에 의한 주행 조작에 따라 이동하는 이동체의 주위를 촬상하고, 상기 촬상 대상 내에 존재하는 물체를 식별하도록 구성된 물체 식별부;
    상기 물체 식별부의 식별 결과를 이용하여, 상기 운전자에 대해 유용한 정보를 생성하도록 구성된 유용한 정보 생성부; 및
    상기 유용한 정보 생성부에 의해 생성된 상기 유용한 정보를 통지하도록 구성된 정보 통지부
    를 포함하고,
    상기 물체 식별부는,
    촬상 영역 내에 존재하는 상기 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하고, 2개의 편광 이미지들을 촬상하도록 구성된 촬상부; 및
    상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 복수의 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체를 식별하는 식별 처리를 수행하도록 구성된 물체 식별 처리부
    를 포함하는 정보 제공 장치.
14. 촬상 영역 내에 존재하는 입체 물체를 식별하고, 미리 정해진 평면과 상이한 방향을 향하는 외면을 갖는 입체 물체 식별 장치로서,
    상기 촬상 영역 내에 존재하는 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하도록 구성된 촬상부; 및
    상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들을 이용하여, 상기 촬상 영역 내에 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체가 입체 물체인지 아닌지를 판별하는 입체 물체 식별 처리를 수행하도록 구성된 입체 물체 식별 처리부
    를 포함하는 입체 물체 식별 장치.
15. 제14항에 있어서,
    상기 촬상부에 의해 촬상된 상기 2개의 편광 이미지들의 각각을 미리 정해진 처리 영역들로 분할하고, 상기 미리 정해진 처리 영역들의 각각에 대해 상기 2개의 편광 이미지들 사이의 휘도 차분값을 산출하도록 구성된 휘도 차분 산출부
    를 더 포함하고,
    상기 입체 물체 식별 처리부는, 상기 휘도 차분 산출부에 의해 산출된 상기 휘도 차분값으로부터 얻어지는 식별 지표값을 이용하여, 상기 식별 처리를 수행하도록 구성된 것인 입체 물체 식별 장치.
16. 제15항에 있어서,
    상기 입체 물체 식별 처리부는, 상기 입체 물체 식별 처리를 수행하기 위해,
    상기 미리 정해진 평면과 동일한 평면 내에 존재하는 상기 입체 물체와 상기 평면 물체의 각각에 대해 정의되는 복수의 수치 범위들 중 어느 하나에 상기 식별 지표값이 속하는지 판별하는 판별 처리를 수행하고,
    상기 판별 처리에서 판별된 상기 수치 범위들 중 상기 하나에 대응하는 물체를 식별하는 처리를 수행하도록 구성된 것인 입체 물체 식별 장치.
17. 제16항에 있어서,
    상기 촬상부는, 이동면 상에서 이동하는 이동체에 탑재되고, 상기 이동면에 대하여 경사진 상부 방향으로부터 상기 이동면을 포함하는 상기 촬상 영역을 촬상하도록 구성되고,
    상기 판별 처리에서, 동일한 물체에 대해 정의된 상기 수치 범위는, 상기 2개의 편광 이미지들의 각각을 상부 방향과 하부 방향으로 구분하는 적어도 2개 이상의 구역들(segmentations)의 각각에 대해 설정되고, 구역에 대해 설정된 상기 수치 범위 중 하나는, 상기 구역에 속하는 상기 처리 영역의 상기 식별 지표값에 대해 판별되는 것인 입체 물체 식별 장치.
18. 촬상 영역 내에 존재하는 입체 물체를 식별하고, 미리 정해진 평면과 상이한 방향을 향하는 외면을 갖는 입체 물체 식별 장치로서,
    상기 촬상 영역 내에 존재하는 물체로부터 반사된 광에 포함되며 상이한 편광 방향을 갖는 2개의 편광 광들을 수광하도록 구성된 촬상부;
    상기 촬상부에 의해 촬상된 2개의 편광 이미지들의 각각을 미리 정해진 처리 영역들로 분할하고, 상기 미리 정해진 처리 영역들의 각각에 대해 상기 2개의 편광 이미지들 내의 합계 휘도값을 산출하도록 구성된 휘도 산출부;
    상기 처리 영역들의 각각에 대해, 상기 합계 휘도값에 대한, 상기 2개의 편광 이미지들 사이의 편광 강도 차분값의 비율을 나타내는 편광 강도 차분을 산출하도록 구성된 편광 강도 차분 산출부; 및
    상기 합계 휘도값 및 상기 편광 강도 차분을 이용하여, 상기 촬상 영역 내에 상기 처리 영역들의 각각에 대응하는 장소에 존재하는 물체가 입체 물체인지 아닌지를 식별하는 입체 물체 식별 처리를 수행하도록 구성된 입체 물체 식별 처리부
    를 포함하는 입체 물체 식별 장치.
19. 제18항에 있어서,
    상기 미리 정해진 평면과 동일한 평면 내에 있는 것으로 미리 상정된 기준 평면 물체에 대응하는 처리 영역에서 휘도가 상대적으로 큰 기준 처리 영역에 기준 편광 강도 차분이 되도록, 상기 편광 강도 차분 산출부에 의해 산출된 상기 편광 강도 차분을 설정하고 기준 편광 강도와, 상기 기준 처리 영역과 상이한 처리 영역에 대해 상기 편광 강도 차분 산출부에 의해 산출된 상기 편광 강도 차분 사이의 상대 차분값을 산출하도록 구성된 상대 편광 강도 차분 산출부
    를 더 포함하고,
    상기 입체 물체 식별 처리부는, 상기 휘도 산출부에 의해 산출된 상기 합계 휘도값과, 상기 상대 편광 강도 차분 산출부에 의해 산출된 상기 상대 차분값을 식별 지표값으로서 이용함으로써, 상기 촬상 영역 내에 상기 처리 영역들의 각각에 대응하는 장소에 존재하는 상기 물체가 입체 물체인지 아닌지 식별하는 상기 입체 물체 식별 처리를 수행하도록 구성된 것인 입체 물체 식별 장치.
20. 제19항에 있어서,
    상기 입체 물체 식별 처리부는, 상기 입체 물체 처리를 수행하기 위해,
    상기 입체 물체들의 각각과, 상기 기준 평면 물체가 존재하는 처리 영역에서 낮은 휘도를 나타내는 낮은 휘도 처리 영역에 대응하는 장소에 존재하는 상기 기준 평면 물체의 낮은 휘도 부분의, 각각에 대해 정의되는 복수의 수치 범위들 중 어느 하나에 식별 지표값이 속하는지 판별하는 판별 처리를 수행하고,
    상기 판별 처리에서 판별되는 상기 수치 범위들 중 상기 하나에 대응하는 물체를 식별하는 처리를 수행하도록 구성된 입체 물체 식별 장치.

Images