KR20130040964A

KR20130040964A - 물체 식별 장치

Info

Publication number: KR20130040964A
Application number: KR1020127034416A
Authority: KR
Inventors: 슈에 리; 히데아키 히라이
Original assignee: 가부시키가이샤 리코
Priority date: 2010-07-01
Filing date: 2011-06-27
Publication date: 2013-04-24
Also published as: US8831286B2; CN103080978A; EP2589019A4; EP2589019A1; BR112012033733A2; CN103080978B; WO2012002552A1; US20130136306A1; KR101417571B1; JP5761601B2; JP2012033149A

Abstract

식별 대상물의 화상 영역을 식별하는 물체 식별 장치는, 2개의 편광을 수광하고, 각각의 편광 화상을 촬상하는 촬상 유닛과, 2개의 편광 화상을 처리 영역으로 분할하고, 각 처리 영역에 대하여 상기 2개의 편광 화상 사이의 휘도 합계치를 산출하는 휘도 산출 유닛과, 각 처리 영역에 대하여, 차분 편광도를 산출하는 차분 편광도 산출 유닛과, 차분 편광도가 정해진 선택 조건을 만족하는가 여부를 판단하는 선택 조건 판단 유닛과, 소정의 선택 조건이 만족되는지 여부에 따라 차분 편광도 또는 휘도 합계치에 기초하여 처리 영역을 특정하고, 처리 영역으로서 특정된 복수의 처리 영역을 식별 대상물의 화상 영역으로서 식별하는 물체 식별 처리 유닛을 포함한다.

Description

물체 식별 장치{OBJECT IDENTIFICATION DEVICE}

본 발명은, 촬상 영역 내의 식별 대상물의 촬상 화상 중에서 식별 대상물의 화상 영역을 식별하는 물체 식별 장치에 관한 것이다.

이러한 물체 식별 장치는, 이동체 제어 장치, 정보 제공 장치 등에 널리 사용되고 있다. 이동체 제어 장치는 차량, 선박, 항공기 등의 이동체의 이동 제어를 행한다. 정보 제공 장치는 이동체의 운전자에게 유익한 정보를 제공한다. 보다 구체적으로, 예컨대, 차량 운전자의 운전 부하를 경감시키기 위한 ACC(Adaptive Cruise Control) 등의 운전자 지원 시스템에 이용되는 물체 식별 장치가 알려져 있다. 이러한 차량 주행 지원 시스템에 있어서는, 다양한 기능을 구현하기 위하여 자차의 주위에 있는 장해물, 선행차, 차선 등을 포함한 물체를 구별하여 인식(식별)하는 것이 필요하다. 다양한 기능으로는, 자차가 장해물 등에 충돌하는 것을 회피하거나 충돌 시의 충격을 경감하기 위한 자동 브레이크 기능 및 경보 기능이 포함된다. 다양한 기능에는, 선행차와의 차간 거리를 유지하기 위한 자차 속도 조정 기능, 자차가 주행하고 있는 주행 레인으로부터의 이탈 방지를 지원하는 기능이 또한 포함된다. 이를 위하여, 종래에 다양한 물체 식별 장치가 제안되어 있다.

특허문헌 1에는, 도로 화상(촬상 화상)을 촬영함으로써 얻어진 화상 내의 라인을 검출함으로써 자차와 차선(백선) 사이의 상대 변위를 검출하도록 차선(물체)을 식별하는 물체 식별 장치가 개시되어 있다. 차선은 차량의 주행 레인을 구획한다. 이 물체 식별 장치는 웅덩이 부분이 차선(백선)으로 잘못 인식되는 문제를 해결할 수 있다. 이와 같은 잘못된 인식은, 우천에 의해 도로 상에 웅덩이가 존재하는 경우, 태양광 등이 웅덩이에서 경면 반사되어, 도로 상의 차선(백선)과 유사한 휘도를 갖는 화상 데이터로서 촬영됨으로써 초래된다. 구체적으로는, 백선 식별 처리를 행하기 전에, 도로 화상으로부터 웅덩이 부분을 제거하고 나머지 산란광 성분으로부터 백선을 인식한다. 경면 반사 성분만을 제거하는 방법으로서는, 경면 반사의 수평 편광 성분이 브류스터각(Brewster's angle)으로 대략 0도로 되고, 산란광 성분이 수직 편광 성분과 수평 편광 성분을 대략 등량으로 포함하고 있는 특징을 이용하고 있다. 즉, 촬영한 도로 화상 중의 수직 편광 성분과 수평 편광 성분 사이의 차분치를 산출한다. 이어서, 입사각에 따른 경면 반사 성분을 제거하기 위하여 상기 차분치에 보정 계수를 곱하여 경면 반사 성분을 산출한다. 경면 반사 성분은 수평 편광 성분에 포함된다. 그리고 산출한 경면 반사 성분을 수평 편광 성분으로부터 감산함으로써, 도로 화상으로부터 경면 반사 성분만이 제거된 산란광 성분의 화상을 얻는다.

특허문헌 1: 일본 특허 공개 평성 11-175702 공보

종래의 물체 식별 장치는 일반적으로, 장해물(즉, 도로 끝에 존재하는 측벽, 가드레일, 전신주 및 가로등과, 보행자 통로의 단차부 등의 도로 끝 장해물), 선행차, 차선 등의 식별 대상물의 경계(에지)를 추출하고, 추출된 에지에 의해 구획된 영역을 식별 대상물의 화상 영역으로 식별한다. 그러나 이 방법에서는, 노면 상에 휘도가 크게 상이한 부분이 존재하면, 이들 부분 사이의 경계가 에지로서 잘못 추출될 수도 있다. 그 결과, 노면의 일부가 식별 대상물로서 오인식될 수도 있다. 특히, 노면 상의 양달 부분과 응달 부분 사이의 휘도 차이가 크기 때문에, 노면의 응달 부분(즉, 휘도가 낮은 부분)이 노면의 양달 부분(즉, 휘도가 높은 부분) 이외의 물체로서 오인식될 수도 있다. 이러한 오인식의 결과로서, 예컨대, ACC를 실행하는 경우에는, 오인식된 응달 부분을 도로 끝에 존재하는 측벽 등의 장해물로서 잘못 인식하여, 충돌 방지 동작을 실행할 수도 있다. 즉, 오인식에 의해 잘못된 제어 또는 잘못된 처리가 초래될 수도 있다.

일본 특허 출원 2009-295963호에서, 본원의 출원인은, 촬상 유닛에 의해 촬상된 2개의 편광 화상을 소정의 처리 영역으로 분할하는 방법을 제안하고 있다. 각각의 처리 영역에 대하여, 차분 편광도를 산출한다. 차분 편광도는 휘도 합계치에 대한 휘도 차분치의 비율을 나타낸다. 휘도 합계치는 두 편광 화상에 있어서의 휘도값의 합계를 나타내고, 휘도 차분치는 두 편광 화상 사이의 휘도값의 차를 나타낸다. 차분 편광도의 산출 결과를 이용함으로써, 노면상의 입체물이 식별된다. 구체적으로, 이러한 방법에 있어서는, 산출된 차분 편광도에 기초하여 식별 대상물에 대응하는 처리 영역을 특정한다. 이어서, 식별 대상물에 대응하는 처리 영역으로서 특정된, 서로 인접한 복수의 처리 영역을 식별 대상물에 대응하는 화상 영역으로서 식별한다. 이러한 방법에 따르면, 촬상 화상에 있어서 명확한 휘도 차이의 부족으로 인하여 종래의 방법을 사용해서는 충분한 식별 정밀도를 얻을 수 없는 상황에서도, 촬상 화상 중의 입체물을 고정밀도로 식별할 수 있게 된다.

그러나 연구 결과로서, 본원의 발명자들은, 차분 편광도를 이용하여 촬상 화상에 있어서 입체물 등의 식별 대상물에 대응하는 화상 영역을 식별하는 경우에, 촬상 상황에 따라서는 높은 식별 정밀도를 얻지 못할 수도 있다는 사실을 알았다. 보다 구체적으로, 본원의 발명자들은, 산출한 차분 편광도에 의해 얻어진 차분 편광도 화상의 콘트라스트가 낮은 상황에서의 촬상에 의해 얻어진 촬상 화상에 있어서는, 차분 편광도를 이용하더라도, 그 촬상 화상에 있어서 식별 대상물에 대응하는 화상 영역을 높은 정밀도로 식별할 수 없을 수도 있다는 문제점이 있는 것을 발견하였다. 예컨대, 맑은 날이나 순광시(front-lit condition)에 노면 상의 도로 끝 장해물 및 차선을 식별하는 경우에는, 차분 편광도를 이용하더라도 높은 식별 정밀도로 식별할 수 없는 경우가 있다(높은 정밀도를 얻을 수 없는 경우가 있다).

이상의 문제는, 운전자 지원 시스템에 이용되는 물체 식별 장치뿐만 아니라, 로봇 제어에 이용되는 물체 식별 장치를 포함한 임의의 물체 식별 장치에서도 발생할 수 있다.

또한, 촬상 유닛과는 별도의 검출기기를 새로이 준비하여 문제를 해결하는 것은, 비용이 증가하기 때문에 바람직하지 않을 수 있다. 즉, 비용의 관점에서는, 종래의 물체 식별 장치에 있어서 물체로부터의 반사광 강도(휘도)를 검출하는 검출 기기로서 일반적으로 이용되고 있는 촬상 유닛을 이용하여, 상기 문제를 해결하는 것이 유리할 수 있다.

본 발명은 상기 문제를 감안하여 이루어진 것으로, 차분 편광도를 이용하여 촬상 화상에 있어서의 식별 대상물의 화상 영역을 식별하는 것이 곤란한 상황 하에서도, 그 촬상 화상에 있어서의 식별 대상물의 화상 영역을 높은 정밀도로 식별하는 물체 식별 장치를 제공할 수 있다.

상기 물체 식별 장치를 제공하기 위하여, 본 발명의 제1 양태에 따르면, 촬상 영역 내의 식별 대상물을 촬상한 촬상 화상에 있어서의 식별 대상물의 화상 영역을 식별하는 물체 식별 장치가 제공된다. 물체 식별 장치는 촬상 영역 내에 존재하는 물체로부터의 반사광에 포함되며 각각의 편광 방향이 서로 상이한 2개의 편광을 수광하고, 각각의 편광 화상을 촬상하는 촬상 유닛과, 상기 촬상 유닛에 의해 촬상된 2개의 편광 화상을 각각 정해진 처리 영역으로 분할하고, 각 처리 영역에 대하여 상기 2개의 편광 화상 사이에 있어서의 휘도 합계치를 산출하는 휘도 산출 유닛과, 각 처리 영역에 대하여, 상기 휘도 합계치에 대한 상기 2개의 편광 화상 사이에 있어서의 휘도 차분치의 비율을 나타내는 차분 편광도를 산출하는 차분 편광도 산출 유닛과, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 정해진 선택 조건을 만족하는가 여부를 판단하는 선택 조건 판단 유닛과, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하는 것으로 판단한 경우에는, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하거나, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하지 않는 것으로 판단한 경우에는, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하고, 상기 식별 대상물에 대응하는 처리 영역으로서 특정되고 서로 근접하는 복수의 처리 영역을 상기 식별 대상물의 화상 영역으로서 식별하는 물체 식별 처리를 행하는 물체 식별 처리 유닛을 포함한다.

본 발명의 제2 양태에 따르면, 제1 양태에 따른 물체 식별 장치는, 상기 선택 조건 판단 유닛은, 상기 촬상 유닛에 의해 촬상된 2개의 편광 화상을 구분함으로써 얻어지는 복수의 선정 영역 각각에 대하여 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 상기 정해진 선택 조건을 만족하는가 여부를 판단하고, 상기 물체 식별 처리 유닛은, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하는 것으로 판단한 선정 영역에 대해서는, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하거나, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하지 않는 것으로 판단한 선정 영역에 대해서는, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 것을 특징으로 한다.

본 발명의 제3 양태에 따르면, 제1 또는 제2 양태에 따른 물체 식별 장치는, 상기 촬상 유닛에 의해 촬상된 2개의 편광 화상 내에 설정되는 정해진 개소의 휘도 합계치 및 차분 편광도 중 적어도 하나에 대하여, 상기 정해진 선택 조건에 이용되는 차분 편광도 임계치를 설정하는 임계치 설정 유닛을 더 포함한다. 또한, 상기 정해진 선택 조건은, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 상기 차분 편광도 임계치 이상이라는 조건을 포함한다.

본 발명의 제4 양태에 따르면, 제3 양태에 따른 물체 식별 장치는, 상기 정해진 선택 조건은, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치가 정해진 임계치 미만이라는 조건을 포함하는 것을 특징으로 한다.

본 발명의 제5 양태에 따르면, 제1 내지 제4 양태 중 어느 하나에 따른 물체 식별 장치는, 상기 식별 대상물에 대응하는 처리 영역을 특정하는 처리로서, 상기 물체 식별 처리 유닛은, 서로 인접하는 처리 영역 사이의 휘도 또는 차분 편광도의 차이의 크기를 나타내는 에지값(edge value)을 산출하고, 추출한 에지값에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 에지 추출 처리를 행하는 것을 특징으로 한다.

본 발명의 제6 양태에 따르면, 제5 양태에 따른 물체 식별 장치는, 상기 촬상 영역 내의 상황을 판별하는 상황 판별 유닛과, 에지 임계치를 결정하는 에지 임계치 결정 유닛을 더 포함한다. 또한, 상기 물체 식별 처리 유닛은, 상기 에지 추출 처리에 의해 추출한 에지값을 정해진 임계치를 이용하여 2치화 처리하고, 그 2치화 처리 후의 값에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 처리를 하며, 상기 상황 판별 유닛은, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도 및 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치 중 적어도 하나에 기초하여 촬상 영역 내의 상황을 판별하며, 상기 에지 임계치 결정 유닛은 상기 상황 판별 유닛에 의해 판별된 상황에 따라서 상기 에지 임계치를 결정한다.

본 발명의 제7 양태에 따르면, 제6 양태에 따른 물체 식별 장치는, 상기 에지 임계치 결정 유닛은, 각 상황에 대한 과거의 차분 편광도 및 과거의 휘도 합계치 중 적어도 한쪽을 학습(평가)함으로써 얻어지는 결과를 이용하여 상기 에지 임계치를 결정하는 것을 특징으로 한다.

본 발명의 제8 양태에 따르면, 제5 내지 제7 양태 중 어느 하나에 따른 물체 식별 장치는, 상기 식별 대상물을 상기 촬상 유닛에 의해 촬상한 때의 형상을 나타내는 형상 정보를 기억하는 형상 정보 기억 유닛을 더 포함한다. 또한, 상기 물체 식별 처리 유닛은, 상기 식별 대상물에 대응하는 처리 영역으로서 특정되며 서로 근접한 복수의 처리 영역에 의해 표시되는 형상이 상기 형상 정보 기억 유닛에 기억되어 있는 형상 정보의 형상에 근사한지 여부를 판단하는 형상 근사 판단 처리를 행하고, 상기 형상 근사 판단 처리에 의해 형상이 서로 근사한 것으로 판단한 때에는, 상기 복수의 처리 영역을 상기 식별 대상물의 화상 영역으로서 식별한다.

본 발명의 제9 양태에 따르면, 제8 양태에 따른 물체 식별 장치는, 상기 물체 식별 처리 유닛에 의해 실행된 상기 형상 근사 판단 처리에서는, 상기 2개의 편광 화상을 각각의 촬상 거리에 따라서 적어도 2개 이상의 구역으로 구분하고, 형상이 서로 근사한지 여부를 판단하는 처리를 실행하고, 촬상 거리가 먼 구역에 포함되는 부분보다 촬상 거리가 가까운 구역에 포함되는 부분이 판단 결과에 부여하는 영향이 크도록 가중치를 두는 것을 특징으로 한다.

본 발명의 제10 양태에 따르면, 제1 내지 제9 양태 중 어느 하나에 따른 물체 식별 장치는, 상기 물체 식별 처리 유닛에 의해 이전에 실행된 상기 물체 식별 처리의 결과를 기억하는 식별 처리 결과 기억 유닛을 더 포함한다. 또한, 상기 물체 식별 처리 유닛은, 상기 식별 처리 결과 기억 유닛에 기억된 물체 식별 처리의 결과를 이용하여 상기 물체 식별 처리를 행한다.

연구 결과, 본원의 발명자들은, 차분 편광도를 이용하여 촬상 화상에 있어서의 식별 대상물의 화상 영역을 식별하는 것이 곤란한 상황 하에서도, 휘도를 이용하여 식별함으로써, 차분 편광도를 이용하여 식별하는 경우보다 높은 정밀도로 식별을 행할 수 있다는 사실을 알았다. 이러한 사실에 기초하여, 본 발명의 실시예에서는, 차분 편광도 산출 유닛이 산출하는 차분 편광도가 소정의 선택 조건을 만족하는가 여부를 판단한다. 소정의 선택 조건이 만족되는 것으로 판단한 경우에는, 차분 편광도에 기초하여 식별 대상물에 대응하는 처리 영역을 특정한다. 이와 달리, 소정의 조건이 만족되지 않은 것으로 판단한 경우에는, 휘도에 기초하여 식별 대상물에 대응하는 처리 영역을 특정한다. 이와 같이 함으로써, 차분 편광도를 이용한 경우에는 높은 식별 정밀도를 얻을 수 없는 상황 하에서는, 휘도를 이용하여 식별을 행할 수 있다. 또한, 그러한 상황 하에서도, 차분 편광도를 이용하는 경우보다 높은 식별 정밀도를 얻는 것이 가능해진다.

또한, 본 발명의 실시예에 따르면, 차분 편광도를 산출하기 위해서, 촬상 유닛이 촬상한 2개의 편광 화상 사이의 휘도 합계치를 사용하고 있다. 이러한 특징 때문에, 식별에 이용하는 휘도를 얻기 위해서 검출기기를 추가로 설치할 필요가 없다.

또한, 차분 편광도를 이용해서는 높은 식별 정밀도를 얻을 수 없는 상황이 촬상 화상의 일부분에서 존재하는 경우에는, 이들 일부분에 있어서는 휘도를 이용하여 식별 대상물에 대응하는 처리 영역을 특정하고, 나머지의 부분에 있어서는 차분 편광도를 이용하여 식별 대상물에 대응하는 처리 영역을 특정할 수도 있다.

전술한 바와 같이, 본 발명의 실시예에 따르면, 차분 편광도를 이용하여 촬상 화상에 있어서의 식별 대상물의 화상 영역을 식별하는 것이 곤란한 상황 하에서도, 촬상 화상에 있어서의 식별 대상물의 화상 영역을 높은 정밀도로 식별하는 것이 가능하게 된다.

도 1은 본 발명의 실시예에 따른 운전자 지원 시스템의 기능 블록도이다.
도 2는 운전자 지원 시스템에 이용 가능한 편광 카메라의 구성예를 도시하는 도면이다.
도 3은 운전자 지원 시스템용 편광 카메라의 다른 구성예를 도시하는 도면이다.
도 4는 운전자 지원 시스템용 편광 카메라의 또 다른 구성예를 도시하는 도면이다.
도 5는 운전자 지원 시스템용 편광 카메라의 또 다른 구성예를 도시하는 도면이다.
도 6은 운전자 지원 시스템용 편광 카메라의 또 다른 구성예를 도시하는 도면이다.
도 7은 운전자 지원 시스템용 편광 카메라의 또 다른 구성예를 도시하는 도면이다.
도 8a 내지 도 8d는 비오는 날 또는 어두운 날의 대낮(조건)에, 차량에 탑재한 편광 카메라를 이용하여 차량으로부터 주행 방향의 전방을 촬영했을 때의 각종 화상을 도시하는 도면이다.
도 9a 내지 도 9d는, 맑은 날의 대낮(조건)에, 차량에 탑재한 편광 카메라를 이용하여 차량으로부터 주행 방향의 전방을 촬영했을 때의 각종 화상을 도시하는 도면이다.
도 10a 내지 도 10d는, 맑은 날의 대낮에 응달인 장소에서, 차량에 탑재한 편광 카메라를 이용하여 차량으로부터 주행 방향의 전방을 촬영했을 때의 각종 화상을 도시하는 도면이다.
도 11은 아스팔트 면에 대한 광원의 위치를 변화시키면서, 고정된 카메라로 P 편광 화상과 S 편광 화상을 촬영하는 실험실에서의 실험을 나타내는 도면이다.
도 12는 이 실험으로 얻어진 차분 편광도의 변화의 일례를 도시하는 그래프이다.
도 13은 태양으로부터의 광의 산란광 성분을 광원으로 한 때의 노면의 차분 편광도를 도시하는 그래프이다.
도 14는 도로 끝의 에지부와 백선 에지부를 식별하는 처리의 흐름을 도시하는 플로차트이다.
도 15는 화상 선택 처리의 흐름을 도시하는 플로차트이다.
도 16a 내지 도 16d는, 촬영 상황이 다른 경우의 모노크롬 화상을 도시하는 도면이다.
도 17은 물체 식별 처리의 흐름을 도시하는 플로차트이다.
도 18은 변형예 1에 있어서의 물체 식별 처리에 이용되는 차분 편광도 임계치의 설정 변경용 테이블이다.
도 19a 내지 도 19c는, 도 18의 테이블에 표시되어 있는 노면 상태에 있어서 외광의 다양한 반사 특성을 설명하기 위한 도면이다.
도 20은 노면 상태를 판별하는 판별 처리의 흐름의 일례를 도시하는 플로차트이다.
도 21a 내지 도 21d는, 촬영 상황이 다른 촬상 영역을 나타낸다.
(부호의 설명)
10: 편광 카메라
11: 수평 편광 화상 메모리
12: 수직 편광 화상 메모리
13: 모노크롬 화상 처리부
14: 백선 식별부
15: 차분 편광도 화상 처리부
16: 화상 선택부
17: 형상 기억부
18: 물체 식별부

이하에서는, 본 발명에 따른 물체 식별 장치를 기초로 하여 본 발명의 실시예를 설명한다. 이하의 설명에서는, 물체 식별 장치로서, 운전자 지원 시스템을 예시적으로 설명한다. 운전자 지원 시스템은 식별 대상물로서의 도로 끝 에지부나 백선 에지부를 식별하고, 그 식별 결과를 이용하여 차량 운전자의 운전 부하를 경감시킨다. 이 경우에, 식별 대상물은, 주행 노면과 도로 끝 장해물 사이의 경계이다.

도 1은 본 발명의 실시예에 따른 운전자 지원 시스템의 기능 블록도이다. 차량(도시 생략)에 탑재된 촬상 유닛으로서 기능하는 편광 카메라(10)를 이용함으로써, 이동체로서의 차량이 주행하는 노면(이동면)을 포함한 자차 주위의 풍경을 촬영하여, 화소(처리 영역)마다의 수직 편광 강도(이하, 단순히 “S 편광 강도”라고 함) 및 수평 편광 강도(이하, 단순히 “P 편광 강도”라고 함)를 포함한 편광 RAW 화상 데이터를 취득한다. 편광 RAW 화상 데이터에 포함되는 P 편광 강도 데이터로부터 얻어지는 수평 편광 화상 데이터는 수평 편광 화상 메모리(11)에 저장되고, 편광 RAW 화상 데이터에 포함되는 S 편광 강도 데이터로부터 얻어지는 수직 편광 화상 데이터는 수직 편광 화상 메모리(12)에 저장된다. 이들 화상 데이터는, 휘도 산출 유닛으로서 기능하는 모노크롬 화상 처리부(13)와, 차분 편광도 산출 유닛으로서 기능하는 차분 편광도 화상 처리부(15)에 송신된다.

편광 카메라(1O)는, 수광 소자인 CCD(charge-coupled device), CMOS(Complementary Metal Oxide Semiconductor)를 포함한 촬상 소자이며, 예컨대 메가픽셀 사이즈의 주위 화상을 촬상한다. 편광 카메라(10)는, 리얼 타임에 가까운 짧은 시간 간격으로 주위 화상을 연속적으로 취득하는 것이 바람직하다. 예컨대, 편광 카메라(10)는 룸 미러 등에 설치되고, 차량 전방의 풍경(노면을 포함하는 정면)을 촬상할 수도 있다. 대안으로, 편광 카메라(10)는 사이드 미러 등에 설치되어 차량 측방의 풍경을 촬상할 수도 있다. 다른 대안으로, 편광 카메라(10)는 백 도어 등에 설치되어 차량 후방의 풍경을 촬상할 수도 있다. 본 실시예에서는, 룸 미러에 설치되어 차량 전방의 풍경(노면을 포함하는 정면)을 촬상하는 경우를 설명한다.

도 2는, 편광 카메라(10)의 일 구성예를 도시하는 도면이다.

도 2에 도시된 바와 같이, 편광 카메라(10A)에 있어서는, CCD 등의 촬상 소자를 갖춘 1대의 카메라(101)의 전면에 회전 편광자(102)가 배치되어 있다. 따라서 이러한 편광 카메라(10A)에 있어서는, 회전 편광자(102)의 회전에 따라서 회전 편광자(102)를 통과하는 광의 편광 방향이 변화된다. 이러한 특징을 이용함으로써, 카메라(101)는, 회전 편광자(102)를 회전시키면서 풍경을 촬상하여 P 편광 화상과 S 편광 화상을 교대로 취득한다.

도 3은, 편광 카메라(10)의 다른 구성예를 도시하는 도면이다.

도 3에 개략적으로 도시된 바와 같이, 편광 카메라(10B)에 있어서는, CCD 등의 촬상 소자를 각각 구비하는 2대의 개별적인 카메라(111, 112)가 사용된다. 카메라(111, 112)의 전면측에는, S 편광을 투과시키는 S 편광 필터(113)와 P 편광을 투과시키는 P 편광 필터(114)가 각각 배치되어 있다. 도 2의 편광 카메라(10A)에 있어서는, 1대의 카메라(101)로 P 편광 화상과 S 편광 화상을 교대로 촬상한다. 따라서 P 편광 화상과 S 편광 화상을 동시에 획득할 수는 없다. 다른 한편으로, 도 3의 편광 카메라(B)는 P 편광 화상과 S 편광 화상을 동시에 획득한다.

도 4는, 편광 카메라(10)의 또 다른 구성예를 도시한다.

도 4에 개략적으로 도시된 바와 같이, 편광 카메라(10C)는, P 편광 화상용 촬상 소자와 S 편광 화상용 촬상 소자가 개별적으로 설치되어 있다는 점에서 도 3에 도시된 편광 카메라(10B)와 유사하다. 그러나 편광 카메라(10C)는, 편광 카메라(10C)의 촬상 소자들이 편광 카메라(10B)의 촬상 소자보다 서로 근접하여 배치되어 있다는 점에서 도 3에 도시된 편광 카메라(10B)와는 크게 다르다. 이러한 특징의 편광 카메라(10C)에 따르면, 편광 카메라(10B)보다 사이즈를 훨씬 줄일 수도 있다. 도 4에 개략적으로 도시된 바와 같이, 편광 카메라(10C)는 렌즈 어레이(122)와, 차광 스페이서(123)와, 편광 필터(124)와, 스페이서(125)와, 고체 촬상 유닛(126)을 적층함으로써 형성된다. 렌즈 어레이(122)는, 2개의 촬상 렌즈(122a, 122b)를 구비한다. 2개의 촬상 렌즈(122a, 122b)는, 비구면 렌즈 등과 같이 동일한 형상을 갖는 싱글 렌즈로 각각 이루어진다. 2개의 촬상 렌즈(122a, 122b)는, 서로 평행한 각각의 광축(121a, 121b)을 구비한다. 또한, 2개의 촬상 렌즈(122a, 122b)는, 동일 평면 상에 배치되어 있다. 차광 스페이서(123)는, 2개의 개구부(123a, 123b)를 갖고, 렌즈 어레이(122)에 대하여 피사체측과는 반대측에 배치된다. 2개의 개구부(123a, 123b)는 소정 크기의 관통 구멍이며, 그 중심이 각각의 광축(121a, 121b) 상에 배치되어 있다. 또한, 개구부(123a, 123b)의 내벽에는, 블랙 코팅, 조면화, 무광택 처리 등을 포함한 광 반사 방지 처리가 실시되어 있다. 편광 필터(124)는, 각각의 편광면이 서로 90도 다른 2개의 편광자 영역(124a, 124b)을 갖는 영역 분할형의 편광자 필터이다. 편광자 필터(124)는 차광 스페이서(123)에 대하여 렌즈 어레이(122)와는 반대측에 배치된다. 편광자 영역(124a, 124b)은, 각각의 편광면을 따른 방향의 진동 성분(편광 성분)만을 투과시키도록, 불특정의 방향으로 전계 및 자계가 진동하는 무편광을 직선으로 편광시킨다. 이 경우에, 금속의 미세 요철 형상으로 형성된 와이어 그리드 방식이나, 오토클로닝형의 포토닉 결정 방식을 이용함으로써 경계부가 명료한 영역 분할형의 편광자 필터를 얻을 수 있다. 스페이서(125)는 편광 필터(124)의 편광자 영역 편광(a) 및 편광자 영역 편광(b)에 대응하는 관통 구멍인 개구부(125a)를 갖는 사각형 프레임 형상을 갖도록 형성된다. 스페이서(125)는 편광 필터(124)에 대하여 차광 스페이서(123)와는 반대측에 배치된다. 고체 촬상 유닛(126)은 기판(127)에 탑재된 2개의 고체 촬상 소자를 구비한다. 고체 촬상 유닛(126)은 스페이서(125)에 대하여 편광 필터(124)와는 반대측에 배치된다. 본 실시예에서는, 모노크롬의 센싱이 실시되는 것으로 한다. 따라서 이들 고체 촬상 소자(126a, 126b)는 컬러 필터를 갖추고 있지 않다. 다만, 고체 촬상 소자(126a, 126b)에 의해 컬러 화상을 센싱할 때에는, 컬러 필터를 배치한다.

도 5는, 편광 카메라(10)의 또 다른 구성예를 도시한다.

도 5 에 개략적으로 도시한 바와 같이, 편광 카메라(10D)는 하프 미러(131), 반사 미러(132), S 편광 필터(133), P 편광 필터(134), S 편광 CCD (135), P 편광 CCD(136)를 구비한다. 상기 하프 미러(131)는, 도 5에 개략적으로 도시한 바와 같이 1:1의 투과성(즉, 50%의 광은 통과하고, 50%의 광은 반사함)을 갖는다. S 편광 CCD(135)는 S 편광 필터(133)를 통하여 S 편광을 수광한다. P 편광 CCD(136)는 P 편광 필터(134)를 통하여 P 편광을 수광한다. 편광 카메라(10B, 10C)에 있어서는, S 편광 화상 및 P 편광 화상을 동시에 촬상할 수 있지만, 시차가 발생할 수도 있다. 이에 대하여, 도 5의 편광 카메라(10D)에 있어서는, 동일한 촬상 광학계(도시 생략)를 통해 수광되는 동일한 광을 사용하여 S 편광과 P 편광을 동시에 촬영하기 때문에 시차가 발생하지 않는다. 따라서 시차의 보정을 포함한 처리를 실행할 필요가 없게 된다.

또한, 하프 미러(131)를 이용하는 대신에, P 편광을 반사하고 S 편광을 투과시키는 프리즘 등의 편광빔 스플리터를 사용할 수도 있다. 편광빔 스플리터를 사용하는 경우에는, S 편광 필터(133) 및 P 편광 필터(134)를 생략할 수 있게 된다. 그 결과, 광학계의 구성을 간소화할 수 있으며, 광사용 효율을 향상시킬 수 있게 된다.

도 6은 편광 카메라(10)의 또 다른 구성예를 도시한다.

도 6에 개략적으로 도시하는 바와 같이, 편광 카메라(10E)는, 카메라의 구성 요소가 촬상 렌즈(142a)의 광축(141)을 따라 적층되어 있는 점에서 도 4의 편광 카메라(10C)와 유사하다. 그러나 편광 카메라(10E)는, 단일의 촬상 렌즈(촬상 렌즈는 복수의 렌즈를 포함할 수도 있고, 복수의 렌즈는 광축에 적층되어 있다)를 이용하여 S 편광 화상과 P 편광 화상을 촬상하는 점에서 편광 카메라(10C)와 상이하다. 편광 카메라(10E)에 따르면, 도 5의 편광 카메라(10D)와 마찬가지로, S 편광 화상과 P 편광 화상 사이에는 시차가 발생하지 않는다. 또한, 편광 카메라(10E)의 크기가 도 5의 편광 카메라(10D)의 크기보다 작을 수도 있다. 도 6의 편광 카메라(10E)에 있어서, 편광 필터(144)는, 각각 2개의 편광자 영역을 갖는 2가지의 편광자 영역(144a, 144b)을 구비하는 영역 분할형의 편광자 필터이다. 편광자 영역(144a, 144b)은 각각 서로 90도 상이한 편광면을 갖는다. 이러한 구성에 따르면, 4개의 고체 촬상 소자(126a, 126b, 126c, 126d)가 설치된다.

도 7은, 편광 카메라(10)의 또 다른 구성예를 도시한다.

도 7에 개략적으로 도시하는 바와 같이, 편광 카메라(1OF)는 영역 분할형의 편광 필터를 구비한다. 도 7에 있어서, 좌우 및 상하의 양 방향으로 배치된 정방형이 각각의 수광 소자의 수광부(151)를 나타낸다. 수직선으로 표시되는 영역이 S 편광 필터(152)의 영역을 나타내고, 수평선으로 표시되는 영역이 P 편광 필터(153)의 영역을 나타낸다. 이러한 편광 카메라(10F)에 있어서, 필터(152, 153)의 영역은, 수광 소자의 화소에 대응하는 것이 아니라, 경사진 띠 형상을 갖는 데, 상기 띠 형상은, 횡방향으로 수광 소자 하나분의 폭을 갖고, 상기 띠 형상의 편광 필터 영역(152 및 153) 사이의 경계의 기울기 값이 2이며, (즉, 횡방향으로 하나의 화소를 진행하고 종방향으로 두 화소를 진행하는 경우), 즉 경사의 각도가 횡방향에서의 하나의 화소의 폭과 종방향에서의 두 화소의 길이에 의해 정해진다. 이러한 특수한 필터 배치 패턴과 신호 처리 기술을 조합하여 이용함으로써, 촬상 소자의 레이아웃이 영역 분할 필터에 접합될 때에 충분한 위치 정렬 정밀도를 얻을 수 없는 경우에도, 전체 화면에 걸쳐 필터 투과 화상을 재현할 수 있게 되고, 이로써 S 편광 화상 및 P 편광 화상을 촬상하는 저비용의 카메라를 구현할 수 있다.

다시 도 1을 참조해 보면, 모노크롬 화상 처리부(13)는, 수평 편광 화상 메모리(11) 및 수직 편광 화상 메모리(12)에 저장된 P 편광 강도 데이터 및 S 편광 강도 데이터에 기초하여, 화소마다 모노크롬 휘도[즉, 화소의 (P 편광 강도)+(S 편광 강도)]를 각각 산출한다. 이 모노크롬 휘도 데이터에 기초하여, 모토크롬 화상이 생성된다. 모노크롬 화상 처리부(13)에 의해 산출된 모노크롬 휘도 데이터는, 라인 검출 유닛의 역할을 하는 백선 식별부(14)에 출력된다.

차분 편광도 화상 처리부(15)는, 수평 편광 화상 메모리(11) 및 수직 편광 화상 메모리(12)에 저장된 P 편광 강도 데이터 및 S 편광 강도 데이터에 기초하여, 화소마다 차분 편광도(식별 지표치)를 각각 산출한다. 이 차분 편광도에 기초하여, 차분 편광도 화상이 생성된다. 차분 편광도는, 하기의 식 (1)에 기초하여 구해진다. 즉, 차분 편광도는, P 편광 강도와 S 편광 강도의 합계치(휘도 합계치)에 대한 P 편광 강도와 S 편광 강도 사이의 차분치(휘도 차분치)의 비율이다. 또한, 차분 편광도는, 휘도 합계치에 대한 P 편광 강도의 비율(P 편광비)과, 휘도 합계치에 대한 S 편광 강도의 비율(S 편광비) 사이의 차분치로서도 정해질 수 있다. 또한, 본 실시예에서는, P 편광 강도로부터 S 편광 강도를 빼는 경우를 설명한다. 그러나 S 편광 강도로부터 P 편광 강도를 뺄 수도 있다. 차분 편광도 화상 처리부(15)에 의해 산출된 차분 편광도의 데이터는 화상 선택부(16)에 출력된다.

차분 편광도=(P 편광 강도-S 편광 강도)/(P 편광 강도+S 편광 강도) (1)

모노크롬 화상 처리부(13)에 의해 산출된 모노크롬 휘도 데이터에 기초하여, 백선 식별부(14)는 후술하는 방법을 이용하여 주행 노면 상의 백선을 식별한다. 여기서 용어 백선은, 황색선 등의 임의의 색상의 선, 실선, 파선, 점선, 이중선 등과 같은 도로의 구획(폭)을 정하는 모든 선을 포함할 수 있다.

통상의 도로 상의 차선(이하에서는 간단히 “레인“이라 함)은, 예를 들어 운전자가 차선을 쉽게 시각적으로 인식할 수 있도록, 아스팔트 등으로 이루어진 흑색 부분에 대하여 콘트라스트가 높은 색상(백선)을 이용하여 형성되어 있다. 따라서 이러한 레인(여기서는 백선으로 함)의 휘도는, 그 밖의 장소에 존재하는 아스팔트 등의 물체의 휘도보다도 충분히 크다. 이러한 특징으로 인하여, 모노크롬 휘도 데이터가 소정의 임계치 이상인 부분이 백선으로 판정될 수 있다. 본 실시예에서는, 모노크롬 휘도 데이터로서, 전술한 편광 카메라(10)에 의해 얻은 P 편광 강도와 S 편광 강도의 합계치를 이용한다.

백선 식별부(14)에 의해 백선 에지부를 식별한 결과가 여러 처리에 사용될 수 있다.

예를 들어, 모노크롬 화상 처리부(13)에 의해 산출된 휘도 데이터를 이용하여 모노크롬 화상(정면 화상)을 생성하는 처리가 있으며, 이렇게 생성된 모노크롬 화상(정면 화상)이 CRT(음극선관)나 액정 등 차내에서 정보 통지 유닛의 역할을 하는 표시부(디스플레이)에 표시된다. 그리고 이러한 처리에서는, 운전자가 백선 부분을 운전자에게 유익한 정보로서 쉽게 시각적으로 인식할 수 있도록, 화상에서 백선 부분의 정보에 처리를 행한다. 이러한 처리에 따르면, 예를 들어 운전자가 백선을 시각적으로 거의 인식할 수 없는 경우라도, 운전자는 표시부에서 정면 화상을 봄으로써, 차량과 백선 사이의 상대적인 위치 관계를 인식할 수 있다. 그 결과, 운전자는 백색으로 표시된 주행 레인을 따라 차량을 계속 운전할 수 있게 된다.

또한, 예를 들어, 백선 식별부(14)에 의해 식별된 백선의 위치 정보에 기초하여, 차량과 백선 사이의 상대적인 위치 관계를 확보하는 처리를 포함하는 다른 처리가 있다. 이러한 경우에, 차량이 백색으로 표시된 주행 레인을 따르는 적정 주행 위치로부터 떨어져 주행하고 있는가를 판정하고, 차량이 백색으로 표시된 주행 레인을 따르는 적정 주행 위치로부터 떨어져 주행하고 있다고 판정한 경우에는, 경보음 등을 발한다. 대안으로서, 차량이 적정 주행 위치로부터 떨어져 주행하고 있다고 판정한 경우에, 자동 제동 기능을 실행하여 차량의 주행 속도를 낮추는 다른 처리도 있다.

본 실시예에서는, 백선 식별부(14)에 의해 백선 에지부가 식별된 경우, 화상에 있어서 백선 에지부의 위치를 특정하기 위한 정보가 화상 선택부(16)에 출력된다. 이러한 경우에, 대안으로서, 모노크롬 화상 처리부(13)에 의해 처리된 모노크롬 화상으로부터 백선 부분을 제거하여 백선이 없는 모노크롬 화상이, 화상 선택부(16)에 출력될 수도 있다.

한편, 백선 식별부(14)에 의해 백선 에지부가 식별되지 않은 경우, 화상에 있어서 백선 에지부의 위치를 특정하기 위한 정보는 화상 선택부(16)에 출력되지 않는다.

화상 선택부(16)는, 백선 식별부(14)로부터 출력된 모노크롬 화상, 또는 차분 편광도 화상 처리부(15)에 의해 처리된 차분 편광도 화상을 소정의 선택 조건에 기초하여 선택하며, 이렇게 선택된 화상은 후술하는 물체 식별부(18)에 사용된다. 이러한 처리의 상세한 내용에 대해서는 후술한다.

물체 식별부(18)는, 화상 선택부(16)에 의해 선택된 모노크롬 화상의 모노크롬 휘도 또는 차분 편광도 화상의 차분 편광도를 이용하여 도로 끝 에지부를 특정하고, 이 도로 끝 에지부의 특정 결과를 형상 기억부(17)에 기억되어 있는 형상 템플릿과 비교하여, 최종적으로 도로 끝의 화상 영역(위치)을 식별한다. 또한, 본 실시예에서는, 식별 대상물이 도로 끝 에지부와 도로 끝 장해물인 경우를 설명하고 있다. 도로 끝 에지부는 도로 끝 장해물과 주행 노면 사이의 경계이다. 도로 끝 장해물로는 도로 끝에 존재하는 측벽 및 가드레일과, 도로 끝에서의 높이차 등의 도로 끝 장해물 등이 있다. 그러나 본 발명은 임의의 물체를 식별 대상물로 할 수 있다. 상기 물체로는 전신주, 가로등 및 도로 표지판 등의 장해물, 도로에서 주행 중인 다른 차량, 주행 노면 또는 갓길 등에 있는 사람, 동물, 자전거 등의 충돌 회피 대상물이 있다. 또한, 본 실시예에서, 백선 식별부(14)에 의해 백선 에지부가 식별되지 않은 경우에는, 백선 에지부는 식별 대상물에 포함될 것이다. 본 실시예에서는, 도로 끝 에지부를 식별함으로써, 백선 식별부(14)에 의해 식별된 백선과 같이, 도로 끝 에지부의 식별 결과가 운전자 지원 시스템에서 실행되는 여러 처리에 사용된다.

예컨대, 모노크롬 화상 처리부(13)에 의해 산출된 휘도 데이터를 이용하여 모노크롬 화상(정면 화상)을 생성하는 처리가 있으며, 이렇게 생성된 모노크롬 화상(정면 화상)은, CRT 또는 액정을 포함하는 차내에서 정보 통지 유닛의 역할을 하는 표시부(디스플레이)에 표시된다. 그리고 이러한 처리에서는, 운전자가 도로 끝 에지부를 운전자에게 유익한 정보로서 쉽게 시각적으로 인식할 수 있도록, 화상에서 도로 끝 에지부를 나타내는 정보에 처리를 행한다. 이러한 처리에 따르면, 예를 들어 운전자가 도로 끝을 시각적으로 거의 인식할 수 없는 경우라도, 운전자는 표시부에서 정면 화상을 봄으로써, 차량과 도로 끝 사이의 상대적인 위치 관계를 인식할 수 있다. 그 결과, 운전자는 도로 끝 장해물과 충돌하는 일 없이 안전하게 차량을 운전할 수 있게 된다.

또한, 예를 들어, 물체 식별부(18)에 의해 식별된 도로 끝 에지부의 위치 정보에 기초하여, 차량과 도로 끝 에지부 사이의 상대적인 위치 관계를 확보하는 처리를 포함하는 다른 처리가 있다. 이때, 차량이 도로 끝에 접근하고 있는가를 판정하고, 차량이 도로 끝에 접근하고 있다고 판정한 경우에는, 자동 제동 기능을 작동시켜 차량의 주행 속도를 낮춘다.

형상 정보 기억 유닛의 역할을 하는 형상 기억부(17)에는, 물체 식별부(18)에서 사용되는 형상 정보로서의 각종 형상 템플릿 데이터가 기억되어 있다. 여기서, 형상 기억부(17)에 기억된 형상 템플릿(데이터)은, 물체 식별부(18)에 의해 식별된 식별 대상물인 도로 끝 에지부를 편광 카메라(10)로 촬상하였을 때의 형상(즉, 촬상된 화상에 있어서 식별 대상물의 형상)을 나타낸다. 따라서 본 실시예에서의 형상 템플릿은, 주행 레인에 실질적으로 평행한 방향으로 연장되는 직선 형상을 갖는다. 형상 템플릿은 사이즈 정보를 포함할 수도 있다. 형상 템플릿은 식별 대상물의 형상에 따라서 적절하게 선택된다. 예를 들어, 형상 템플릿으로는, 맨홀 커버를 특정하기 위한 형상 템플릿, 봇츠 도트(Bott's dots) 또는 캣츠 아이(Cat's eyes) 등의 금속제 구간선을 특정하기 위한 형상 템플릿, 고속도로 또는 육교에 존재하는 금속제의 도로 연결부를 특정하기 위한 형상 템플릿, 다른 차량을 특정하기 위한 형상 템플릿, 전신주 및 가로등을 특정하기 위한 형상 템플릿 등이 있다.

이어서, 화상 선택 처리를 설명한다. 화상 선택 처리에서, 화상 선택부(16)는 물체 식별부(18)에 사용되는 화상을 선택한다.

날씨에 따라서 또는 양달, 응달에 따라서, 모노크롬 화상 및 차분 편광도 화상의 콘트라스트가 달라질 수 있다. 모노크롬 화상은 모노크롬 화상 처리부(13)에 의해 산출된다. 차분 편광도 화상은 차분 편광도 화상 처리부(15)에 의해 산출된다. 도로 끝의 라인, 백선 등의 라인이 검출되면, 모노크롬 화상 및 차분 편광도 화상은, 장면의 종류에 따라 식별 정밀도가 낮게 될 수 있는 특정의 특징을 갖는다. 즉, 모노크롬 화상 및 차분 편광도 화상을 취득할 때에, 어떤 종류의 장면에서는 높은 식별 정밀도가 얻어지지만, 다른 종류의 장면에서는 보다 낮은 식별 정밀도만이 얻어진다. 또한, 보다 중요하게는, 촬상 실험 등을 통하여, 본원의 발명자들은, 어떤 종류의 장면에서는, 모노크롬 화상에서 보다 높은 식별 정밀도가 얻어지지만, 차분 편광도 화상에서는 보다 낮은 식별 정밀도만이 얻어지고, 다른 종류의 장면에서는 차분 편광도 화상에서 보다 높은 식별 정밀도가 얻어지지만, 모노크롬 화상에서는 보다 낮은 식별 정밀도만이 얻어진다는 것을 알았다. 요약하면, 본원의 발명자들은 모노크롬 화상과 차분 편광도 화상 사이에 상호 보간 관계가 있는 것을 알았다. 본 실시예에 있어서는, 모노크롬 화상과 차분 편광도 화상 사이의 보간 관계를 이용함으로써, 식별 대상물(도로 끝 에지부)를 식별할 때의 식별 정밀도를 향상시키는 적절한 데이터를 선택할 수 있다. 이를 위하여, 예컨대 차분 편광도 화상에 의해서는 보다 높은 식별 정밀도를 얻을 수 없는 경우에는, 모노크롬 화상이 이용된다.

도 8a 내지 도 8d는, 비오는 날 또는 어두운 날의 대낮에, 차량에 탑재한 편광 카메라(10)로 주행 차량으로부터 주행 방향 전방을 촬영했을 때의 각종 화상을 도시한다. 구체적으로, 도 8a는 모노크롬 화상을 도시하고, 도 8b는 차분 편광도 화상을 도시하고, 도 8c는 도 8a의 모노크롬 화상으로부터 생성한 에지 화상을 도시하고, 도 8d는 도 8b의 차분 편광도 화상으로부터 생성한 다른 에지 화상을 도시한다.

도 8c 및 도 8d에 따르면, 비오는 날 또는 어두운 날의 대낮에는, 도 8d의 차분 편광도를 기초로 한 에지 화상에 있어서는, 도 8c의 모노크롬 화상을 기초로 한 에지 화상보다, 도로 끝(R)의 경계 위치를 나타내는 콘트라스트[즉, 도로 끝(R)의 경계 위치가 백색으로 표시되고, 그 주위가 흑색으로 표시됨]가 명료하다. 그 결과, 도 8d의 에지 화상을 이용함으로써 도로 끝 에지부(R_E)의 인식율이 높아질 수 있다.

한편, 백선(W)의 경계 위치를 나타내는 콘트라스트[백선(W)의 외부 모서리 에지가 백색으로 표시되고, 그 주위가 흑색으로 표시됨]와 관련해서는, 도 8c의 화상 에지에 있어서의 콘트라스트의 명료성이 도 8d의 에지 화상에 있어서의 콘트라스트와 동등하다. 따라서 백선 에지부(W_E)의 식별율과 관련해서는, 모노크롬 화상과 차분 편광도 화상 사이에 차이가 거의 없다.

도 9a 내지 도 9d는, 맑은 날의 대낮(상황)에, 차량에 탑재된 편광 카메라(10)로 주행 차량으로부터 주행 방향 전방을 촬영했을 때의 각종 화상을 도시한다. 구체적으로, 도 9a는 모노크롬 화상을 도시하고, 도 9b는 차분 편광도 화상을 도시하고, 도 9c는 도 9a의 모노크롬 화상으로부터 생성한 에지 화상을 도시하고, 도 9d는 도 9b의 차분 편광도 화상으로부터 생성한 다른 에지 화상을 도시한다.

도 9c 및 도 9d에 따르면, 맑은 날의 대낮에 있어서는, 모노크롬 화상에 기초한 도 9c의 에지 화상에 있어서의 도로 끝 에지부(R_E) 및 백선 에지부(W_E)의 인식율이, 차분 편광도 화상에 기초한 도 9d의 에지 화상에 있어서의 인식률보다 높다.

도 10a 내지 도 10d는, 맑은 날의 대낮에, 응달로 되어 있는 장소에서, 차량에 탑재한 편광 카메라(10)를 이용하여 주행 차량으로부터 주행 방향 전방을 촬영했을 때의 각종 화상을 도시한다. 구체적으로, 도 10a는 모노크롬 화상을 도시하고, 도 10b는 차분 편광도 화상을 도시하고, 도 10c는 도 10a의 모노크롬 화상에 기초하여 생성한 에지 화상을 도시하고, 도 10d는 도 10b의 차분 편광도 화상에 기초하여 생성한 다른 에지 화상을 도시한다.

도 10c 및 도 10d에 따르면, 응달인 장소에서의 물체에 있어서는, 차분 편광도에 기초하는 도 10d의 에지 화상에 있어서의 도로 끝 에지부(R_E) 및 백선 에지부(W_E)의 인식률이, 모노크롬 화상에 기초하는 도 10c의 에지 화상에 있어서의 인식률보다 높다.

전술한 측정 결과를 근거로 하여, 본 실시예에서는, 상황에 따라, 모노크롬 화상과 차분 편광도 화상을 적절하게 선택하여 사용함으로써, 이들 상황에 있어서의 도로 끝 에지부(R_E) 및 백선 에지부(W_E)를 식별할 때의 식별 정밀도를 향상시킬 수 있고, 또한 식별 결과의 신뢰성을 향상시킬 수 있다.

여기서, 일반적으로, 모노크롬 화상에 이용되는 휘도와 관련해서는, 대낮의 양달의 장면(즉, 태양으로부터의 직사광이 지배적인 조명 상황)에서는 콘트라스트가 커지게 되고, 응달이나 비오는 날 또는 어두운 날과 같이 햇빛이 없는 장면(즉, 태양으로부터의 광의 산란광 성분이 지배적인 조명 상황)에서는, 콘트라스트가 낮게 되는 것은, 일상생활에서 인간이 감지할 수 있다. 이에 대하여, 차분 편광도 화상에 이용하는 차분 편광도의 정보는, 인간이 지각하는 정보가 아니다. 따라서 이하에서는, 차분 편광도 화상의 콘트라스트가 모노크롬 화상의 콘트라스트와는 다른 이유를 설명한다.

도 11은, 광원의 위치를 아스팔트면에 대하여 변화시키면서, 고정 카메라를 이용하여 P 편광 화상과 S 편광 화상을 촬영하는 실험의 개요를 도시한다.

도 12는, 이 실험으로 얻어진 차분 편광도의 변화의 일례를 도시하는 그래프이다.

도 12의 그래프에서는, 횡축이 입사각도(광원 위치)를 나타내고, 종축이 차분 편광도를 나타낸다. 카메라 앙각은 수평으로부터 10도이다. 이 차분 편광도는, 각 입사 각도의 촬영 화상의 대략 중앙부에서의 P 편광 성분(Rp)과 S 편광 성분(Rs)에 기초하여 상기 식 (1)에 의해 산출한 것이다. 따라서 S 편광 성분보다 P 편광 성분이 강한 경우에는, 차분 편광도는 플러스의 값을 갖는다. 이와 달리, P 편광 성분보다 S 편광 성분이 강한 경우에는, 차분 편광도는 마이너스의 값을 갖게 된다.

도 12를 참고로, 도 8 내지 도 10에 도시한 상황에 있어서의 차분 편광도 화상과 모노크롬 화상의 콘트라스트의 차이에 관하여 설명한다.

먼저, 맑은 날의 대낮(양달)의 장면을 설명한다.

맑은 날의 대낮의 노면에 조사되는 광의 광원은 2개의 광원으로 분류된다. 그 중 하나는 태양(즉, 태양으로부터의 직사광)이고, 다른 하나는 하늘(즉, 태양으로부터의 광의 산란광 성분)이다. 그러나 이 장면에서는, 노면에 조사되는 광의 성분으로서는, 태양으로부터의 직사광이 지배적이다. 즉, 이 상황은 전술한 실험 상황과 거의 동일하다. 따라서 도 12의 실험 결과를 그대로 적용하는 것이 가능하다. 실험 결과에 따르면, 차분 편광도는, 광원(태양)이 카메라의 앞에 있는 역광시에는, 마이너스측으로 커지는 특성을 갖는다. 한편, 광원(태양)이 카메라의 뒤에 있는 순광시에는, 아스팔트면[노면(S)]의 차분 편광도가 제로(0)로 된다. 또한, 측벽을 포함한 도로 끝 장해물도, 노면(S)과 같이 확산 반사체이기 때문에, 도로 끝 장해물의 차분 편광도가 제로(O)로 된다. 그 결과, 차분 편광도 화상의 콘트라스트는 전체 화상에서 저하될 수 있고, 노이즈가 많은 화상을 얻을 수 있다.

이에 대하여, 모노크롬 화상에서는, 카메라에 의해 수광되는 휘도의 차이가 그대로 콘트라스트에 반영된다. 이러한 특징 때문에, 노면(S), 도로 끝(R)의 외측에 배치된 도로 끝 장해물 및 백선(W)의 반사 특성에 대응하는 적절한 콘트라스트 데이터를 얻을 수 있다.

따라서 맑은 날의 대낮의 양달에서는, 모노크롬 화상을 이용하여 백선 에지부나 도로 끝 에지부를 식별함으로써, 차분 편광도 화상을 이용하는 경우보다 높은 식별 정밀도를 얻을 수 있다.

다음으로, 맑은 날의 대낮(응달)의 장면을 설명한다.

응달에서는, 노면(S)이나 측벽 등의 도로 끝 장해물에 조사되는 빛의 광원이 태양으로부터의 직사광이 아니라, 하늘로부터의 광(즉, 태양으로부터의 광의 산란광 성분)이다. 태양으로부터의 직사광을 광원으로 한 경우에는, 차분 편광도가 광원(태양)의 방위에 따라서 변화된다. 따라서 차분 편광도는, 도 12의 그래프에 도시한 바와 같은 입사각 의존성을 갖는다. 한편, 하늘로부터의 광은, 다양한 고도 및 방위로 균등하게 노면(S)이나 도로 끝 장해물에 조사된다. 따라서 이 경우에는, 차분 편광도는, 도 12의 그래프에 나타낸 바와 같은 입사각 의존성은 없다. 이러한 특징 때문에, 하늘로부터의 광(태양으로부터의 광의 산란광 성분)을 광원으로 한 경우에, 노면(S)의 차분 편광도의 그래프를 그리면, 도 13에 도시한 바와 같이, 차분 편광도는 일정값(즉, 도 12의 그래프의 평균치에 해당하는 값)을 갖게 된다.

마찬가지로, 도로 끝 장해물(예컨대 측벽)이나 백선의 차분 편광도도 일정값을 갖는다. 그러나 도로 끝 장해물이나 백선(특히 백선의 에지부)의 광 반사면은 노면(S)에 대하여 각도를 갖는다. 따라서 P 편광 성분과 S 편광 성분의 비율이 노면(S)에서와 다르다. 그 결과, 도로 끝 장해물(예컨대 측벽)의 차분 편광도의 일정값은, 노면(S)의 차분 편광도의 값과 다르게 된다. 특히, 도로 끝 장해물이 노면(S)에 직교하는 광 반사면을 갖는 경우에는, 도로 끝 장해물의 차분 편광도의 일정값이 노면(S)의 일정값과는 역의 극성을 갖는다. 그 결과, 맑은 날의 대낮의 응달에 있어서는, 노면(S)과 도로 끝 장해물 사이나 노면(S)과 백선 에지부의 사이에 콘트라스트가 있는 차분 편광도 화상을 얻을 수 있다.

전술한 바와 같이, 맑은 날의 대낮의 응달에서는, 하늘로부터의 광(태양으로부터의 광의 산란광 성분)이 지배적인 상황에서 화상이 촬영된다. 따라서 모노크롬 화상의 콘트라스트는 저하될 수 있다. 한편, 차분 편광도 화상에 있어서는, 식별을 행하는데 필요한 콘트라스트를 얻을 수 있다.

따라서 맑은 날의 대낮의 응달에서는, 차분 편광도 화상을 이용하여 백선 에지부나 도로 끝 에지부를 식별함으로써, 모노크롬 화상을 이용하는 경우보다 높은 식별 정밀도를 얻을 수 있다.

다음으로, 도 8의 비오는 날이나 어두운 날의 장면을 설명한다.

비오는 날이나 어두운 날에는, 도 10에 도시한 응달의 장면과 유사하게, 태양으로부터의 직사광이 존재하지 않는다. 따라서 차분 편광도 화상에 관해서는, 응달의 장면과 유사하게 콘트라스트가 얻어진다. 특히, 노면(S)과 측벽 등의 도로 끝 장해물이 비로 젖으면, 노면(S)과 도로 끝 장해물의 반사면의 경면 반사 성분이 강하게 된다. 따라서 콘트라스트가 보다 높은 차분 편광도 화상을 얻는 것이 가능해진다. 이에 대하여, 모노크롬 화상에서는, 응달의 장면과 마찬가지로, 콘트라스트가 낮다. 특히, 비로 인해 노면이 젖은 경우에는, 전체 대응 에지 화상은 칼라가 어두워지고, 콘트라스트가 대폭 저하된다. 따라서 비오는 날이나 어두운 날, 특히 비오는 날에는, 차분 편광도 화상을 이용하여 백선 에지부나 도로 끝 에지부를 식별함으로써, 모노크롬 화상을 이용하는 경우보다 높은 식별 정밀도를 얻을 수 있다.

전술한 바와 같이, 모노크롬 화상의 콘트라스트가 생기기 어려운 비오는 날이나 어두운 날에 또는 직사광이 촬상 영역에 조사되지 않는 응달의 상황에서는, 모노크롬 화상보다 차분 편광도 화상 쪽에서 콘트라스트를 높게 할 수 있다. 따라서 이 경우에는, 차분 편광도 화상을 이용하여, 도로 끝 에지부나 백선 에지부 등의 식별 대상물을 높은 정밀도로 식별할 수 있다. 또한, 차분 편광도 화상은 촬상 방향(방위)에 따른 차이가 없다. 따라서 차량의 주행 방향에 관계없이 도로 끝 에지부나 백선 에지부를 안정적으로 식별할 수 있게 된다. 따라서 이러한 상황에서는, 차분 편광도 화상을 이용하여 식별을 행할 때에, 신뢰성이 높은 식별 결과를 얻을 수 있다.

그러나 맑은 날의 대낮(양달)에, 특히 순광시와 같이 태양으로부터의 직사광이 촬상 영역에 조사되는 상황에서는, 차분 편광도 화상을 이용해서는, 충분한 콘트라스트를 얻을 수 없는 경우가 있다. 한편, 이러한 상황에서는, 모노크롬 화상을 이용함으로써, 높은 식별 정밀도를 얻는 것이 가능하다. 따라서 이러한 경우에는, 모노크롬 화상을 이용함으로써, 신뢰성이 높은 식별 결과를 얻을 수 있다.

다음으로, 본 실시예의 운전자 지원 시스템에 있어서 식별 대상물인 도로 끝 에지부와 백선 에지부를 식별하기 위한 처리를 설명한다.

도 14는, 도로 끝 에지부와 백선 에지부를 식별하는 처리를 도시하는 플로차트이다.

편광 카메라(10)에 의해 편광 RAW 화상 데이터를 취득하면, 그 편광 RAW 화상 데이터에 포함되는 P 편광 강도로부터 얻어지는 수평 편광 화상 데이터를 수평 편광 화상 메모리(11)에 저장하고, 그 편광 RAW 화상 데이터에 포함되는 S 편광 강도로부터 얻어지는 수직 편광 화상 데이터를 수직 편광 화상 메모리(12)에 저장한다(단계 S1). 그 후, 차분 편광도 화상 처리부(15)는, 수평 편광 화상 메모리(11) 및 수직 편광 화상 메모리(12)에 각각 기억된 P 편광 강도 데이터 및 S 편광 강도 데이터에 기초하여, 상기 식 (1)을 이용하여 화소마다 차분 편광도(식별 지표치)를 산출한다(단계 S2). 이 산출 결과로부터 얻어지는 차분 편광도 화상의 데이터는, 차분 편광도 화상 처리부(15) 내의 화상 메모리(도시 생략)에 저장된다. 또한, 모노크롬 화상 처리부(13)는, 수평 편광 화상 메모리(11) 및 수직 편광 화상 메모리(12)에 각각 기억된 P 편광 강도 데이터 및 S 편광 강도 데이터로부터, 화소마다 모노크롬 휘도(즉, 화소의 P 편광 강도 + S 편광 강도)를 산출한다(단계 S3). 이 산출 결과에 기초하여 얻어지는 모노크롬 화상의 데이터는, 모노크롬 화상 처리부(13) 내의 화상 메모리(도시 생략)에 저장된다. 그리고 백선 식별부(14)는, 모노크롬 화상 처리부(13) 내의 화상 메모리(도시 생략)에 저장된 모노크롬 화상의 데이터를 이용하여, 상기 방법에 기초하여 백선 인식 처리를 행한다(S4).

다음으로, 화상 선택부(16)에 의해 행해지는 화상 선택 처리(S5)를 설명한다.

도 15는, 화상 선택 처리를 도시하는 플로차트이다.

본 실시예에 있어서는, 하나의 촬상 화상(1 프레임의 화상)을 좌우 2개의 선정 영역으로 구분한다. 그리고 각 선정 영역마다, 식별에 이용하는 화상을 선택하도록 하고 있다. 그 이유는, 자차가 주행하는 우측 영역과 좌측영역 사이에서 촬영 상황이 상이할 수 있기 때문이다. 구체적으로는, 예컨대, 자차가 주행하는 우측 영역은 양달 상황이고, 좌측 영역은 응달 상황이다. 전술한 바와 같이, 양달과 응달 상황에 따라, 식별에 사용되는 화상의 적절한 종류(즉, 모노크롬 화상 또는 차분 편광도 화상)가 다르다. 따라서 각 선정 영역에 대하여, 식별에 적절한 종류의 화상이 사용되도록 하나의 촬상 화상을 복수의 선정 영역으로 분할하는 것이 유리할 수 있다. 이와 같이 함으로써, 화상 전체로서의 식별 정밀도를 향상시킬 수 있다.

물론, 화상을 복수의 선정 영역으로 구분하는 것이 필수적인 것은 아니다. 이 경우에, 하나의 촬상 화상 전체에 대해서 모노크롬 화상과 차분 편광도 화상 중 어느 하나를 이용하여 식별을 할 수도 있다.

또한, 용도에 따라 적절한 구분 방법을 설정할 수 있다. 즉, 구분 방법은, 본 실시예에서 설명한 바와 같이 촬상 화상을 좌우 2개의 선정 영역으로 구분하는 방법으로 한정되지 않는다.

도 16a 내지 도 16d는, 각각 촬영 상황이 다른 경우의 모노크롬 화상을 도시한다.

도 16a는, 촬상 영역 전체가 맑은 날의 양달인 상황의 경우를 도시한다. 이 경우에, 백선 식별부(14)에 의해 모노크롬 화상에 기초하여 백선을 식별할 수 있다. 따라서 화상 선택부(16)는, 백선 식별부(14)에 의해 식별된 백선 위치를 기준으로 하여, 그 백선의 외측(즉, 화상의 좌우 방향 외측) 근방에 판정 기준 영역(P1, P2)을 설정한다(단계 S11). 판정 기준 영역(P1, P2)은, 하나의 촬상 화상(1 프레임의 화상)을 좌우 2개로 구분함으로써 얻어지는 좌우 선정 영역에 각각 설정된다. 판정 기준 영역(P1, P2)은 노면(S)일 가능성이 높은 개소에 설정된다.

도 16b는, 촬상 영역 전체가 맑은 날의 응달로 되어 있는 경우(비오는 날 또는 어두운 날의 경우도 마찬가지)의 예이다. 이 경우에는, 백선 식별부(14)에 의해 모노크롬 화상을 이용하여 백선을 식별할 수 없다. 따라서 화상 선택부(16)는, 백선 식별부(14)에 의해 식별된 백선 위치를 기준으로 하여 판정 기준 영역(P1, P2)을 설정할 수 없다. 따라서 이 경우에는, 각각의 선정 영역 내의 위치에 판정 기준 영역(P1, P2)을 설정한다. 이들 위치는 미리 실험 등에 의해 결정된다[촬상 화상 내의 노면(S)에 대응하는 위치가 설정된다](단계 S11).

도 16c는, 맑은 날의 양달 상황에 있어서 촬상 화상의 좌측 선정 영역에 응달이 있는 경우를 도시한다. 이 경우에, 우측 선정 영역에 있어서는, 도 16a의 경우와 마찬가지로, 화상 선택부(16)는, 백선 식별부(14)에 의해 식별된 백선의 위치를 기준으로 하여 백선의 외측 근방에 판정 기준 영역(P2)을 설정한다. 이와 달리, 좌측 선정 영역에 있어서는, 도 16b의 경우와 마찬가지로, 미리 실험 등에 의해 결정된 개소에 판정 기준 영역(P1)을 설정한다(단계 S11).

도 16d는, 맑은 날의 양달 상황에서 촬상 화상의 우측 선정 영역 내에 응달이 있는 경우를 도시한다. 이 경우에, 좌측 선정 영역에 있어서는, 도 16a의 경우와 마찬가지로, 화상 선택부(16)는, 백선 식별부(14)에 의해 식별된 백선의 위치를 기준으로 하여 백선의 외측 근방에 판정 기준 영역(P1)을 설정한다. 이와 달리, 우측 선정 영역에 있어서는, 도 16b의 경우와 마찬가지로, 실험 등에 기초하여 결정된 개소에 판정 기준 영역(P2)을 설정한다(단계 S11).

화상 선택부(16)는, 이상에서 설명한 바와 같이 설정되는 판정 기준 영역(P1, P2)의 모노크롬 휘도와 차분 편광도의 데이터를 취득한다(단계 S12). 그리고 각 판정 기준 영역(P1, P2)의 모노크롬 휘도가, 미리 설정된 모노크롬 임계치 이상인지 여부를 판단한다(단계 S13). 그리고 판정 기준 영역(P1, P2)의 모노크롬 휘도가 모노크롬 임계치 미만인 것으로 판정된(단계 S13의 No) 선정 영역에 대해서는, 화상 선택부(16)는, 물체 식별부(18)에 의한 식별에 이용하는 화상으로서 차분 편광도 화상을 선택한다(단계 S14). 여기서 이용하는 모노크롬 임계치는, 모노크롬 화상이 맑은 날의 양달의 경우에서와 같이 사용될 때에 높은 식별 정밀도를 얻을 수 있는지 여부를 판별하기 위한 기준을 나타낸다. 또한, 모노크롬 임계치는 실험 등에 의해 미리 설정될 수도 있다. 이러한 특징 때문에, 모노크롬 휘도가 모노크롬 임계치 미만인 것으로 판정된(단계 S13의 NO) 선정 영역은, 맑은 날의 양달의 상황(차분 편광도 화상이 사용될 때에 식별 정밀도가 낮아지는 상황)이 아니다. 따라서 이 경우에는, 차분 편광도 화상이 선택된다.

한편, 각 판정 기준 영역(P1, P2)의 모노크롬 휘도가 미리 설정된 모노크롬 임계치 이상인 것으로 판정된(단계 S13의 YES) 선정 영역에 대해서는, 화상 선택부(16)는, 각 판정 기준 영역(P1, P2)의 차분 편광도가 미리 설정된 차분 편광도 임계치 이상인지 여부를 또한 판단한다(단계 S15). 각 판정 기준 영역(P1, P2)의 차분 편광도가 차분 편광도 임계치 이상인 것으로 판단된(단계 S15의 YES) 선정 영역에 대해서는, 화상 선택부(16)는, 물체 식별부(18)에 의한 식별에 이용하는 화상으로서 차분 편광도 화상을 선택한다(S14). 여기서 이용하는 차분 편광도 임계치는, 차분 편광도 화상이 그 선정 영역에 사용될 때에 충분한 콘트라스트를 얻을 수 있는지 여부를 판별하기 위한 기준을 나타낸다. 차분 편광도 임계치는, 실험 등에 의해 미리 설정될 수도 있다. 이러한 특징 때문에, 차분 편광도가 미리 설정된 차분 편광도 임계치 이상인 것으로 판정된(단계 S15의 YES) 선정 영역에 있어서는, 차분 편광도 화상에 충분한 콘트라스트를 얻을 수 있고, 맑은 날의 양달에서의 경우와 같이 차분 편광도 화상이 사용될 때에 식별 정밀도가 낮아지는 일은 없다. 따라서 이 경우에는, 차분 편광도 화상이 선택된다.

한편, 각 판정 기준 영역(P1, P2)의 차분 편광도가 차분 편광도 임계치 미만인 것으로 판정된(단계 S15의 NO) 선정 영역에 대해서는, 물체 식별부(18)에 의한 식별에 이용되는 화상으로서 모노크롬 화상을 선택한다(단계 S16). 이 경우에, 그 선정 영역에 있어서는, 차분 편광도 화상에 충분한 콘트라스트를 얻을 수 없고, 또한 맑은 날의 양달의 경우에서와 같이 모노크롬 화상에 충분한 콘트라스트를 얻을 수 있다. 따라서 모노크롬 화상이 선택된다.

이상과 같은 화상 선택 처리에 따르면, 도 16a의 경우(촬상 영역 전체가 맑은 날의 양달로 되어 있는 경우)에서는, 좌우 선정 영역 모두가, 모노크롬 화상을 이용하여 인식이 행해진다.

또한, 도 16b의 경우(촬상 영역 전체가 맑은 날의 응달로 되어 있는 경우)에서는, 좌우 선정 영역 모두가, 차분 편광도 화상을 이용하여 인식이 행해진다.

또한, 도 16c의 경우(맑은 날의 양달에 있어서 촬상 화상의 좌측 선정 영역 내에 응달이 있는 경우)에서는, 좌측의 선정 영역에 대해서는 차분 편광도 화상을 이용하여 인식이 행해지고, 우측의 선정 영역에 대해서는 모노크롬 화상을 이용하여 인식이 행해진다.

또한, 도 16d의 경우(맑은 날의 양달에 있어서 촬상 화상의 우측 선정 영역 내에 응달이 있는 경우)에서는, 우측의 선정 영역에 대해서는 차분 편광도 화상을 이용하여 인식이 행해지고, 좌측의 선정 영역에 대해서는 모노크롬 화상을 이용하여 인식이 행해진다.

다시 도 14를 참조하면, 화상 선택 처리를 종료한 후에, 물체 식별부(18)는, 화상 선택 처리에서 선택된 화상을 이용하여 식별 대상물을 식별하는 물체 식별 처리를 행한다(단계 S6). 이하의 설명에서는, 식별 대상물이 도로 끝 에지부인 경우를 설명한다. 그러나 이하의 설명은, 식별 대상물이 백선 에지부이거나 그 외의 물체인 경우에도 동일하게 적용될 수 있다. 또한, 후술하는 에지 판별 처리의 내용은, 모노크롬 화상을 이용하는 경우와 차분 편광도 화상을 이용하는 경우에 있어서 실질적으로 공통이다. 따라서 이하에서는, 차분 편광도 화상을 이용하는 경우를 설명한다.

도 17은, 물체 식별 처리를 나타내는 플로차트이다.

본 실시예의 물체 식별 처리에서는, 각각의 선정 영역에 대하여 화상 선택 처리에서 선택된 화상(여기서는 차분 편광도 화상)을 입력한다(단계 S21). 그리고 이 선정 화상에 대하여 에지 판별 처리를 한다. 이 에지 판별 처리에서는, 먼저, 화상 선택 처리에서 선택된 차분 편광도 화상에 기초하여 에지 화상을 작성한다(단계 S22). 이 경우에, 에지 화상은, 처리 대상으로서 입력된 차분 편광도 화상에 대하여 공지의 에지 추출 처리를 실시함으로써 작성된다. 에지 추출 처리를 실시함으로써, 차분 편광도가 급격히 변경되는 부분의 변화 정도에 따른 에지값(에지 강도)을 얻을 수 있다. 그리고 그 에지값의 차이를 휘도의 차이를 이용하여 표현한 에지 화상(도 8 내지 도 10 참조)을 얻을 수 있다.

구체적으로, 좌표 (X, y)에 있어서의 농도의 경사를 나타내는 일차 미분의 값을 벡터값 (fx, fy)[fx는 x 방향의 미분을, fy는 y 방향의 미분을 나타냄]으로 나타내면, 에지 강도는 하기의 식 (2)로 표시된다. 이 경우의 미분 오퍼레이터로서는, 식 (3) 및 (4)에 나타낸 바와 같은 로버츠(Roberts) 오퍼레이터를 이용할 수 있다.

전술한 바와 같이 에지 화상을 작성한 후에, 에지 화상에 대하여 2치화 처리를 행한다(단계 S23). 이러한 처리에 이용되는 에지 임계치로서는, 전술한 판정 기준 영역(P1, P2)에 있어서의 모노크롬 휘도 및 차분 편광도에 기초하여 적절하게 결정된 값이 이용된다.

또한, 전술한 화상 선택 처리에서의 단계 S13 및 S15의 판단 결과를 이용함 으로써, 촬상 영역 내의 상황(예컨대, 노면의 건습 상태, 날씨 등)을 추측할 수 있다. 따라서 그 판단 결과에 기초하여, 노면의 건습 상태를 추측하고, 과거의 차분 편광도 화상 및 모노크롬 화상의 샘플 화상을 젖은 상태와 건조 상태로 구분하고 학습한다(평가한다). 그 결과, 추측한 노면의 건습 상태에 따라서 적절한 에지 임계치가 결정된다. 비 등에 의해 노면이 젖은 경우, 경면 반사 성분이 커지게 된다. 따라서 경면 반사 성분의 변경을 고려하여 적절한 에지 임계치를 설정하는 것이 가능해진다.

또한, 촬상 화상의 상측 부분과 하측 부분 사이에는, 물체로부터의 반사광의 강도에 차가 있을 수 있다. 그 이유는, 촬상 화상의 상측 부분이 멀리 위치하는 물체를 촬영함으로써 얻은 화상이기 때문이다. 따라서 인근에 위치하는 물체를 촬영한 하측 부분에서의 반사광의 강도보다, 상측 부분에서의 반사광의 강도가 작을 수 있다. 그 결과, 촬상 화상의 상측 부분과 하측 부분의 사이에 콘트라스트가 상이하다. 따라서 이 차이를 고려하여, 촬상 화상의 상측 부분과 하측 부분 사이에서 사용하는 에지 임계치를 상이하게 할 수도 있다.

다음으로, 물체 식별부(18)는, 작성한 2치화 에지 화상에 기초하여 식별 대상물의 도로 끝 에지부의 후보점을 추출한다(단계 S24). 이 처리에서는, 우선, 2치화한 에지 화상에 대하여 복수의 처리 라인을 설정한다. 본 실시예의 처리 라인은, 2치화 에지 화상 내의 가로 1열로 나란한 화소열마다 설정된다. 그러나 처리 라인의 방향은, 가로 방향으로 한정되지 않는다. 예컨대, 처리 라인은 세로 방향으로 연장될 수도 있고 임의의 경사 방향으로 연장될 수도 있다. 또한, 각 처리 라인에 대응하는 화소의 수는, 서로 동일할 수도 있고 상이할 수도 있다. 또한, 처리 라인을 2치화 에지 화상 내의 전 화소에 대하여 설정할 필요는 없다. 즉, 2치화 에지 화상 내의 적절히 선택된 일부의 화소에 대해서 대응하도록 설정할 수도 있다. 또한, 처리 라인을 설정하는 대신에, 처리 블록(종횡 각각 2 화소 이상으로 이루어지는 블록)으로 설정될 수도 있다. 이 경우, 예컨대, 각 처리 블록에 대하여, 2치화 에지 화상의 분산 정도(흩어짐 정도)를 나타내는 표준 편차를 산출하고, 산출한 표준 편차가 기준 편차 임계치 이상인지 여부를 판정한다. 산출한 표준 편차가 기준 편차 임계치 이상인 것으로 판정된 때에는, 그 처리 블록 내에 에지가 존재하는 것으로 판정할 수 있다. 또한, 처리 블록 형상은 사각형일 수도 있고, 임의의 다른 형사일 수도 있다. 예컨대, 처리 블록의 크기는 대략 10×10 화소일 수 있다. 또한, 처리 블록의 크기는 서로 동일할 수도 있고 상이할 수도 있다. 또한, 표준 편차를 사용하는 대신에, 분산이나 평균 편차 등의 통계량이 이용될 수도 있다.

여기서, 식별 대상물의 도로 끝 에지부는, 백선의 외측에 위치한다. 따라서 백선 식별부(14)가 주행 레인의 양측에 위치하는 2개의 백선을 식별한 때에는, 처리의 간소화를 위해서, 각 처리 라인에 대하여, 각 백선 위치로부터 외측을 향하여 에지를 탐색하는 처리를 행할 수 있다. 그리고 이 처리를 각 처리 라인에 대해서 행할 수 있다. 이와 같이 함으로써, 각 백선의 외측에 위치하는 에지부가 도로 끝 에지부의 후보점으로서 추출된다.

한편, 백선 식별부(14)가 백선을 식별할 수 없는 때에는, 각 처리 라인에 대해서, 예컨대 화상의 중앙으로부터 좌우 방향을 향해서 외측 방향으로 에지를 탐색하는 처리를 한다. 그리고 이 처리를 각 처리 라인에 관해서 행한다. 이와 같이 함으로써, 이 처리에서 얻어지는 에지부가 도로 끝 에지부의 후보점으로서 추출된다.

또한, 백선 식별부(14)가 하나의 백선만을 식별한 때에는, 각 처리 라인에 대해서, 그 백선의 내측 부분으로부터 각 좌우 방향을 향해서 외측 방향으로 에지를 탐색하는 처리를 행한다. 그리고 이 처리를 각 처리 라인에 대하여 행한다. 이와 같이 함으로써, 그 백선을 제외한 화상 부분에 존재하는 에지부가 도로 끝 에지부의 후보점으로서 추출된다.

전술한 바와 같이 도로 끝 에지부의 후보점을 추출한 후에, 물체 식별부(18)는, 도로 끝 에지부의 후보점에 대해서 형상 근사 인식처리를 실시하여 (단계 S25), 도로 끝 에지부를 특정한다. 구체적으로는, 먼저, 물체 식별부(18)는, 도로 끝 에지부의 후보점에 기초하여 형성된 형상 덩어리(piece of shape)를 인식하고, 이것을, 형상 기억부(17)에 기억되어 있는 도로 끝 에지부의 형상 템플릿과 비교한다. 그리고 도로 끝 에지부의 후보점에 기초한 형상이 형상 템플릿과 일치(근사)한 경우에는, 물체 식별부(18)는, 도로 끝 에지부의 후보점을 도로 끝 에지부로서 특정하고, 그 위치를 기억시킨다.

이러한 형상 근사 인식 처리에서는, 추출한 도로 끝 에지부의 후보점에 대하여 형상 근사 인식에 의해 근사 곡선을 취득한다. 형상을 인식하는 수법으로서는, 최소 제곱법이나 휴 변환(Hough transformation)이나 모델 방정식 등을 이용할 수 있다. 도로 끝 에지부의 후보점의 위치가 낮을수록, 촬상 화상의 신뢰도가 높아진다. 이러한 특징 때문에, 근사 곡선을 취득할 때에는, 도로 끝 에지부의 후보점의 하측 위치에서의 형상 근사에 대하여 보다 큰 가중치를 두는 것이 바람직하다. 이와 같이 가중치를 두는 것에 의하여, 도로 끝 에지부의 후보점이, 신뢰도가 낮은 촬상 화상의 상측 부분에서 오인식된 경우에도, 촬상 화상의 하측 부분에서 정상으로 인식된 도로 끝 에지부의 후보점이 있는 한은, 도로 끝 에지부를 적절하게 특정(식별)할 수 있다.

또한, 도로 끝 에지부의 특정 정밀도를 높이기 위해서, 다음과 같은 처리를 추가적으로 실시할 수도 있다.

편광 카메라(10)를 이용하여 소정의 시간 간격으로 연속적으로 촬영하여 얻어지는 편광 화상 데이터에 대하여 전술한 물체 식별 처리(단계 S21～S25)를 실행할 수 있다. 도로 끝 에지부로서 특정된 영역에 대해서는, 그 처리 결과가 소정의 메모리에 기억된다. 이 메모리에 기억된 과거의 처리 결과(예컨대, 직전에 촬상된 편광 화상 데이터에 대한 처리 결과)를 이용함으로써, 이번의 처리에서 특정된 도로 끝 에지부가, 과거의 처리 결과에서 도로 끝 에지부로서 특정된 것으로 판정된 때에는, 이번의 처리 결과가 신뢰도가 높은 것이라고 판단할 수 있다. 이 신뢰도는 도로 끝 에지부로서 특정할 때에 이용된다. 예컨대, 이번의 처리 결과의 영역에 대응하는 과거의 처리결과는, 이번의 처리 결과의 영역의 위치와 자차의 진행 방향에 기초하여, 대응하는 과거의 처리 결과의 영역의 위치를 검색함으로써, 특정될 수 있다.

변형예 1

다음으로, 차분 편광도 임계치를 다양하게 설정할 수 있는 변형예를 설명한다. 차분 편광도 임계치는, 상기 실시예의 물체 식별 장치에 있어서의 미리 설정된 선정 조건에 이용된다. 이하, 본 변형예는 “변형예 1”로서 지칭한다.

이하에 있어서는, 본 변형예 1에 있어서의 물체 식별 장치의 구성이나 동작에 있어서 상기 실시예의 것과 동일한 부분에 대해서는 설명을 생략한다.

본 변형예 1에 있어서도, 하나의 촬상 화상(1 프레임의 화상)이 좌우 2개의 선정 영역으로 구분된다. 각 선정 영역마다, 식별에 이용되는 화상이 선택된다. 구체적으로, 백선 식별부(14)에 의해 식별된 백선의 위치를 기준으로 사용함으로써, 화상 선택부(16)는, 그 백선의 외측(화상의 좌우 방향의 외측)근방에 판정 기준 영역(P1, P2)을 설정한다. 화상 선택부(16)는, 판정 기준 영역(P1, P2)의 모노크롬 휘도와 차분 편광도의 데이터를 취득한다. 판정 기준 영역(P1, P2)의 모노크롬 휘도가 미리 설정된 모노크롬 임계치 미만인 것으로 판정된 경우에는, 화상 선택부(16)는, 대응 선정 영역에 대해서는, 물체 식별부(18)에 의한 식별에 이용되는 화상으로서 차분 편광도 화상을 선택한다. 한편, 판정 기준 영역(P1, P2)의 모노크롬 휘도가 미리 설정된 모노크롬 임계치 이상인 것으로 판정된 경우에는, 화상 선택부(16)는, 그 판정 기준 영역(P1, P2)의 차분 편광도가 미리 설정된 차분 편광도 임계치 이상인지 여부를 판단한다. 판정 기준 영역(P1, P2)의 차분 편광도가 미리 설정된 차분 편광도 임계치 이상인지 여부를 판단할 때에, 화상 선택부(16)는, 대응하는 선정 영역에 대해서는 물체 식별부(18)에 의한 식별에 사용되는 화상으로서 차분 편광도 화상을 선택한다. 한편, 판정 기준 영역(P1, P2)의 차분 편광도가 미리 설정된 차분 편광도 임계치 미만인 것으로 판단된 선정 영역에 대해서는, 화상 선택부(16)는, 물체 식별부(18)에 의한 식별 처리에 이용하는 화상으로서 모노크롬 화상을 선택한다.

여기서, 편광 카메라(10)를 이용하여 판정 기준 영역(P1, P2)으로부터의 반사광을 수광함으로써 P 편광 강도 및 S 편광 강도가 얻어진다. 판정 기준 영역(P1, P2)은 노면(S)일 가능성이 높다. P 편광 강도, S 편광 강도 및 이들 편광 강도의 합계치인 모노크롬 휘도는, 판정 기준 영역(P1, P2)이 서로 동일한 경우에도 그 노면 상태에 따라서 다른 값을 갖는다. 따라서 판정 기준 영역(P1, P2)에 대응하는 노면 상태에 따라 차분 편광도 임계치의 최적치가 변경될 수 있다. 차분 편광도 임계치는, 차분 편광도를 이용하는 물체 식별부(18)에 의한 식별에 적합한 화상으로서 차분 편광도 화상 또는 모노크롬 화상을 선택하는데 사용된다. 차분 편광도는 판정 기준 영역(P1, P2)의 P 편광 강도 및 S 편광 강도를 기초로 한다. 따라서 본 변형예 1에서는, 판정 기준 영역(P1, P2)의 노면 상태에 따라서 차분 편광도 임계치를 조정하도록 하고 있다.

도 18은, 본 변형예 1에 있어서의 물체 식별 처리에 이용하는 차분 편광도 임계치의 다양한 설정치를 갖는 테이블(설정 변경용 테이블)이다.

본 변형예 1에 있어서는, 노면 상태가 건조 상태, 젖은 상태, 적설 상태의 3 종류로 구분된다. 각각의 상태에 대하여, 적절한 차분 편광도 임계치가 설정 변경용 테이블에 저장된다. 노면 상태는, 하나의 촬상 화상(1 프레임의 화상) 내의 복수의 샘플 개소의 P 편광 강도나 S 편광 강도 또는 차분 편광도를 기초로 판별 가능하다.

도 19a 내지 도 19c는, 설정 변경용 테이블에서 설명하는 각 노면 상태에 있어서의 외광의 반사 특성을 개략적으로 도시한다.

도 19b는, 노면이 젖은 상태로 있을 때의 외광의 반사 특성을 도시한다. 이러한 습기가 많은(젖은) 노면에 있어서는, 오목부에 물이 저류됨으로 인하여, 경면에 가까운 상태가 된다. 이 때문에, 반사광은, 경면의 편광 특성을 나타낸다. 즉, 경면에서의 반사광의 S 편광 성분에 있어서는, 입사각이 브류스터각(Brewster's angle)과 동일한 때에, 반사광 강도가 O로 된다. 이와 달리, P 편광 성분에 있어서는, 입사각의 증대에 따라 그 반사광 강도가 증가한다.

도 19a는, 노면이 건조 상태인 때의 외광의 반사 특성을 도시한다. 건조 상태의 노면에서는, 그 표면이 거칠다. 따라서 확산반사(난반사)가 지배적으로 된다. 이러한 특징 때문에, 건조 상태의 노면으로부터의 반사광에 있어서는, 반사광의 편광 특성이 젖은 상태의 경우보다 작아지게 되어, P 편광 성분이 S 편광 성분보다 약간 많아지게 된다.

도 19c는, 노면이 적설 상태인 때의 외광의 반사 특성을 도시한다. 젖은 상태 또는 건조 상태의 노면으로부터의 반사광은 도 19a 및 도 19b에 도시된 바와 같이 강한 지향성을 나타낸다. 이에 대하여, 노면이 적설 상태인 경우에는, 도 19c에 도시한 바와 같이, 노면으로부터의 반사광이 산란되고, 그 반사광은 편광 특성을 나타내지 않으며, 각 편광 성분의 반사율은 거의 동일하게 된다.

상이한 상태에 있어서의 반사광의 편광 특성의 차이에 기초하여, 노면 상태를 판별할 수도 있다. 예컨대, 젖은 상태의 노면에서는, 차분 편광도가 최대값을 갖는다. 한편, 적설 상태의 노면에서는, 차분 편광도가 최소값을 갖는데, 그 이유는 적설 상태에서의 노면에서의 차분 편광도가 거의 0이기 때문이다.

도 18의 설정 변경용 테이블에 있어서의 각 조건에 적절한 차분 편광도 임계치는, 예컨대, 각 노면 상태에 있어서의 차분 편광도 화상 및 모노크롬 휘도 화상의 샘플 화상을 복수 준비하고, 이들 샘플 화상을 학습함으로써 결정된다. 설정 변경용 테이블은, 소정의 메모리에 기억해 둔다.

본 변형예 1에 있어서, 차분 편광도 임계치를 이용한 판단에 앞서서, 화상 선택부(16)는, 촬상 화상 내의 복수의 샘플 개소의 P 편광 강도나 S 편광 강도 또는 차분 편광도에 기초하여, 노면 상태가, 젖은 상태인지, 건조 상태인지, 또는 적설 상태인지를 판별한다. 그리고 화상 선택부(16)는, 그 판별 결과에 대응하는 차분 편광도 임계치를 판독하여, 판정 기준 영역(P1, P2)의 차분 편광도가 차분 편광도 임계치 이상인가 여부를 판단한다.

도 20은 노면 상태를 판별하는 판별 처리의 흐름의 일례를 도시하는 플로차트이다.

먼저, 상기 단계 S11과 마찬가지로, 판정 기준 영역(P1, P2)을 설정한다(단계 S31). 판정 기준 영역(P1, P2)의 모노크롬 휘도 및 차분 편광도의 데이터를 취득한다(단계 S32). 그리고 취득한 모노크롬 휘도가 미리 설정된 제1 임계치 이상인지 여부를 판단한다(단계 S33). 취득한 모노크롬 휘도가 미리 설정된 제1 임계치 이상인 것으로 판정된 경우(단계 S33의 YES), 대응 선정 영역의 노면 상태는, 건조한 상태 또는 적설 상태의 노면일 가능성이 높거나, 노면 상태가 젖은 상태일 가능성이 낮다. 이러한 특징 때문에, 취득한 모노크롬 휘도가 미리 설정된 제1 임계치 미만인 것으로 판단된 경우에는(단계 S33의 NO), 대응 선정 영역에 대하여 취득한 차분 편광도가 미리 설정된 제2 임계치 이상인지 여부를 판단한다(단계 S34). 그 결과, 취득한 차분 편광도가 제2 임계치 이상인 것으로 판단된 경우에는(단계 S34에서의 YES), 그 노면이 젖은 상태인 것으로 판정한다(단계 S35).

한편, 취득한 모노크롬 휘도가 미리 정해진 제1 임계치 이상인 것으로 판단된 경우나(단계 S33에서의 YES), 차분 편광도가 제2 임계치 미만인 것으로 판단된 경우에는(단계 S34에서의 NO), 다음에, 취득한 차분 편광도가 미리 설정된 제3 임계치 이상인지 여부를 판단한다(단계 S36). 취득한 차분 편광도가 미리 정해진 제3 임계치 이상인 것으로 판단된 경우에는(단계 S36의 YES), 그 노면이 건조한 상태인 것으로 판정된다(단계 S37).

한편, 취득한 차분 편광도가 미리 설정된 제3 임계치 미만인 것으로 판정된 경우에는(단계 S36의 NO), 그 노면이 적설 상태인 것으로 판정된다(스텝 S38).

본 변형예 1에 있어서, 차분 편광도 화상과 모노크롬 화상 중 어느 하나가 물체 식별부(18)에 의한 식별에 사용되는 화상인 경우에, 노면 상태의 차이에 의해서 부적절한 화상이 선택될 가능성을 줄일 수 있으며, 그 결과 물체 식별 정밀도를 더욱 향상시킬 수 있다.

또한, 본 변형예 1에서는, 차분 편광도뿐만 아니라 모노크롬 휘도에 기초하여 노면 상태를 판정하는 경우를 설명하고 있다. 그러나 차분 편광도만을 기초로 하여 동일하게 노면 상태를 판정할 수도 있다.

변형예 2

다음으로, 상기 실시예의 물체 식별 장치에 있어서 판정 기준 영역(P1, P2)의 위치를 변경한 다른 변형예를 설명한다. 이하에서는, 이 변형예를 “변형예 2”로서 지칭한다.

이하에 있어서는, 본 변형예 2에 있어서의 물체 식별 장치의 구성이나 동작에 있어서 상기 실시예의 것과 동일한 부분에 대해서는 설명을 생략한다.

전술한 바와 같이, 촬상 화상의 상측 부분과 하측 부분을 비교하면, 하측 부분에서의 반사광의 강도가 상측 부분에서의 반사광의 강도보다 강하다. 따라서 하측 부분의 화상이 상측 부분의 화상보다 신뢰도가 높다. 그 이유는, 인접하여 배치된 물체가 하측 부분에 촬영되고, 멀리 배치된 물체가 상측 부분에 촬영되기 때문이다. 이러한 특징 때문에, 본 변형예 2에서는, 판정 기준 영역(P1, P2)이 하측 부분에 설정된다. 판정 기준 영역(P1, P2)에 있어서, P 편광 강도 및 S 편광 강도가 얻어진다. P 편광 강도와 S 편광 강도는, 물체 식별부(18)에 의한 식별에 사용되는 화상으로서 차분 편광도 화상 또는 모노크롬 화상을 선택하는 데에 사용된다.

도 21a 내지 도 21d는 촬영 상황이 다른 촬상 영역을 모식적으로 도시한다.

본 변형예 2에 있어서는, 판정 기준 영역(P1, P2)을 설정하기 전에, 먼저, 화상 선택부(16)는, 촬상 화상의 하측 부분을 분할하여, 복수의 판정 기준 대상 블록을 작성한다. 예컨대, 촬상 화상의 화상 사이즈가 752×480 [화소]인 경우에, 화상 선택부(16)는, 화상의 상단으로부터 360번째 라인과 400번째 라인의 사이에 구획된 화상 부분을, 5×5 [화소]로 각각 이루어지는 복수의 판정 기준 대상 블록으로 분할한다.

도 21a는, 자차의 주행 레인의 양측에 백선이 검출되는 경우(즉, 2개의 백선이 검출되는 경우)의 예를 도시한다. 이 경우에, 화상 선택부(16)는, 2개의 백선의 외측(화상의 좌우 방향의 외측) 근방에 판정 기준 영역(P1, P2)을 설정한다. 2개의 백선의 위치가 기준으로서 사용된다. 백선은 백선 식별부(14)에 의해 식별된다. 구체적으로, 먼저, 화상 선택부(16)는, 판정 기준 대상 블록을 촬상 화상의 하측으로부터 상측을 향해서 주사하고, 백선 식별부(14)에 의해 식별된 2개의 백선의 위치를 특정한다. 2개의 백선의 위치가 검출되면, 화상 선택부(16)는 백선으로부터 각각의 외측(화상의 좌우 방향의 외측)을 향해서 주사한다. 그리고 대상의 판정 기준 대상 블록에 있어서, P 편광 강도 및 S 편광 강도 또는 차분 편광도가 그 주위의 판정 기준 대상 블록의 P 편광 강도 및 S 편광 강도 또는 차분 편광도의 막대그래프 분포와 유사한 막대그래프 분포를 갖는 때에, 대상의 판정 기준 대상 블록이 판정 기준 영역(P1, P2)으로서 설정된다.

도 21b는 자차의 주행 레인의 우측에 백선이 검출되는 경우의 예를 도시한다. 이 경우에, 먼저, 화상 선택부(16)는, 판정 기준 대상 블록을 촬상 화상의 하측으로부터 상측을 향해서 주사하고, 백선 식별부(14)에 의해 식별된 백선(화상의 우측)의 위치를 특정한다. 백선의 위치가 검출되면, 화상의 우측의 선정 영역에 대응하는 판정 기준 영역(P2)을 특정하기 위한 주사로서, 화상 선택부(16)는 백선으로부터 그 외측(화상의 우측)을 향해서 주사한다. 이와 달리, 화상의 좌측의 선정 영역에 대응하는 판정 기준 영역(P1)을 특정하기 위한 주사로서, 화상 선택부(16)는 화상의 좌우 방향의 중앙으로부터 좌측을 향해서 주사한다. 또한, 판정 기준 영역(P1, P2)으로서 설정되는 판정 기준 대상 블록의 결정 방법으로는, 도 21a의 경우에 사용된 방법이 사용된다. 즉, 대상의 판정 기준 대상 블록에 있어서, P 편광 강도 및 S 편광 강도 또는 차분 편광도가 그 주위의 판정 기준 대상 블록의 P 편광 강도 및 S 편광 강도 또는 차분 편광도의 막대그래프 분포와 유사한 막대그래프 분포를 갖는 때에, 대상의 판정 기준 대상 블록이 판정 기준 영역(P1, P2)으로서 설정된다.

도 21c는 자차의 주행 레인의 좌측에 백선이 검출되는 예를 도시한다. 이 경우에, 먼저, 화상 선택부(16)는, 촬상 화상의 하측으로부터 상측을 향하여 판정 기준 대상 블록을 주사하고, 백선 식별부(14)에 의해 식별된 백선(화상의 좌측)의 위치를 특정한다. 백선의 위치가 검출되면, 화상의 좌측의 선정 영역에 대응하는 판정 기준 영역(P1)을 특정하기 위한 주사로서, 화상 선택부(16)는 백선으로부터 그 외측(화상의 좌측)을 향해서 주사한다. 이와 달리, 화상의 우측의 선정 영역에 대응하는 판정 기준 영역(P2)을 특정하기 위한 주사로서, 화상 선택부(16)는 화상의 좌우 방향의 중앙으로부터 우측을 향해서 주사한다. 또한, 판정 기준 영역(P1, P2)으로서 설정되는 판정 기준 대상 블록의 결정 방법으로는, 도 21a의 경우에 사용된 방법이 사용된다. 즉, 대상의 판정 기준 대상 블록에 있어서, P 편광 강도 및 S 편광 강도 또는 차분 편광도가 그 주위의 판정 기준 대상 블록의 P 편광 강도 및 S 편광 강도 또는 차분 편광도의 막대그래프 분포와 유사한 막대그래프 분포를 갖는 때에, 대상의 판정 기준 대상 블록이 판정 기준 영역(P1, P2)으로서 설정된다.

도 21d는 백선이 검출되지 않는 경우의 예를 도시한다. 이 경우, 화상 선택부(16)는 화상의 좌우 방향 중앙으로부터 우측 및 좌측으로 개별적으로 주사한다. 또한, 판정 기준 영역(P1, P2)으로서 설정되는 판정 기준 대상 블록을 판정하는 방법으로서, 도 21a의 경우에 사용되는 방법이 사용된다. 즉, 대상의 판정 기준 대상 블록에 있어서는, P 편광 강도 및 S 편광 강도 또는 차분 편광도가 그 주위의 판정 기준 대상 블록의 P 편광 강도 및 S 편광 강도 또는 차분 편광도의 막대그래프 분포와 유사한 막대그래프 분포를 갖는 때에, 대상의 판정 기준 대상 블록이 판정 기준 영역(P1, P2)으로서 설정된다.

또한, 판정 기준 대상 블록을 주사하여 얻은 백선의 위치가, 가까운 과거(예컨대, 직전 5 프레임의 촬상 데이터)의 촬상 화상 중 하나 이상의 촬영 화상에 있어서의 백선의 위치와 동일한 경우에는, 해당하는 과거의 촬영 화상에서 설정된 판정 기준 영역(P1, P2)을 그대로 이용할 수도 있다. 이 경우에, 판정 기준 대상 블록을 주사하여 얻은 백선의 위치가, 예컨대 직전 5 프레임의 촬상 데이터 모두에 있어서의 백선의 위치와 동일하지 않은 경우에는, 도 21a 내지 도 21d를 참고로 설명한 상기 방법에 따라 판정 기준 영역(P1, P2)을 설정한다.

전술한 바와 같이, 본 발명의 실시예에 따른 물체 식별 장치는, 촬상 영역 내에 존재하는 식별 대상물의 도로 끝 에지부를 촬상한 촬상 화상에 있어서의 도로 끝 에지부의 화상 영역을 식별한다. 이 물체 식별 장치는, 촬상 유닛으로서의 편광 카메라(10)와, 휘도 산출 유닛으로서의 모노크롬 화상 처리부(13)와, 차분 편광도 산출 유닛으로서의 차분 편광도 화상 처리부(15)와, 선택 조건 판단 유닛으로서의 화상 선택부(16)와, 물체 식별 처리 유닛으로서의 물체 식별부(18)를 갖는다. 편광 카메라(10)는, 촬상 영역 내에 존재하는 물체로부터의 반사광에 포함되며 편광 방향이 서로 상이한 2개의 편광을 수광하고, 각각의 편광 화상(즉, P 편광 화상 및 S 편광 화상)을 촬상한다. 모노크롬 화상 처리부(13)는 편광 카메라(10)가 촬상한 2개의 편광 화상을 각각 소정의 처리 영역(화소)으로 분할하고, 화소마다 2개의 편광 화상 사이의 모노크롬 휘도를 산출한다. 차분 편광도 화상 처리부(15)는 화소마다 휘도 합계치에 대한 P 편광 화상 및 S 편광 화상 사이의 휘도 차분치의 비율을 나타내는 차분 편광도를 산출한다. 화상 선택부(16)는 차분 편광도 화상 처리부(15)가 산출하는 차분 편광도가 소정의 선택 조건을 만족하는가 여부를 판단한다. 물체 식별부(18)는, 화상 선택부(16)가 소정의 선택 조건이 만족되는 것으로 판단한 경우에는, 차분 편광도 화상 처리부(15)가 산출한 차분 편광도에 기초하여 도로 끝 에지부에 대응하는 화소를 특정하거나, 화상 선택부(16)가 소정의 선택 조건이 만족되지 않는 것으로 판단한 경우에는, 모노크롬 화상 처리부(13)가 산출한 모노크롬 휘도에 기초하여 도로 끝 에지부에 대응하는 화소를 특정하고, 도로 끝 에지부에 대응하는 화소로서 특정되고 서로 근접하는 복수의 화소를 도로 끝 에지부의 화상 영역으로서 식별하는 물체 식별 처리를 행한다. 이와 같이 함으로써, 맑은 날이나, 맑은 날의 응달이나, 비오는 날이나 어두운 날을 포함한 상황에 관계없이, 높은 식별 정밀도로 도로 끝 에지부를 식별할 수 있게 된다.

또한, 본 발명의 실시예에 따르면, 화상 선택부(16)는, 편광 카메라(10)가 촬상한 P 편광 화상 및 S 편광 화상을 구분하여 얻어지는 복수의 선정 영역(화상을 좌우 2개로 구분하여 얻어지는 선정 영역)마다, 차분 편광도 화상 처리부(15)가 산출하는 차분 편광도가 소정의 선택 조건을 만족하는지 여부를 판단한다. 물체 식별부(18)는, 화상 선택부(16)가 소정의 선택 조건이 만족되는 것으로 판단한 선정 영역에 대해서는, 차분 편광도 화상 처리부(15)가 산출한 차분 편광도에 기초하여 도로 끝 에지부에 대응하는 화소를 특정하고, 화상 선택부(16)가 소정의 선택 조건이 만족되지 않는 것으로 판단한 선정 영역에 대해서는, 모노크롬 화상 처리부(13)가 산출한 모노크롬 휘도에 기초하여 도로 끝 에지부에 대응하는 화소를 특정한다. 이와 같이 함으로써, 선정 영역마다 상황이 다른 경우에도, 선정 영역의 상황에 따른 화상을 이용하여 도로 끝 에지부를 식별할 수 있게 된다. 그 결과, 전체로서 높은 식별 정밀도를 얻을 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 변형예 1에 설명한 바와 같이, 화상 선택부(16)는, 편광 카메라(10)가 촬상한 P 편광 화상 및 S 편광 화상 내에 설정되는 소정 개소에서의 모노크롬 휘도 및 차분 편광도 중 적어도 하나에 대하여 상기 소정의 선택 조건에 이용되는 차분 편광도 임계치를 설정하는 임계치 설정 유닛으로서 기능할 수도 있다. 또한, 상기 소정의 선택 조건은, 차분 편광도 화상 처리부(15)가 산출하는 차분 편광도가 상기 차분 편광도 임계치 이상이라고 하는 조건을 포함할 수도 있다. 이와 같이 함으로써, 차분 편광도 화상에 있어서 높은 콘트라스트가 얻어지는 경우에는, 차분 편광도 화상을 이용하여 도로 끝 에지부의 식별이 행해진다. 따라서 도로 끝 에지부를 높은 정밀도로 식별할 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 소정의 선택 조건은, 휘도 산출 유닛에 의해 산출된 모노크롬 휘도가 소정의 임계치보다 작은 조건을 더 포함할 수도 있다. 이와 같이 함으로써, 모노크롬 화상을 이용하여 충분한 콘트라스트를 얻을 수 없는 상황 하에서는, 차분 편광도 화상을 이용하여 도로 끝 에지부의 식별이 행해진다. 많은 경우에, 모노크롬 화상을 이용하여 충분한 콘트라스트를 얻을 수 없는 상황 하에서는, 차분 편광도 화상을 이용하는 것이 모노크롬 화상을 이용하는 것보다 높은 콘트라스트를 얻을 수 있다. 따라서 그러한 상황 하에서도, 높은 식별 정밀도를 얻는 것이 가능해진다.

또한, 본 발명의 실시예에 따르면, 물체 식별부(18)는, 도로 끝 에지부에 대응하는 화소를 특정하는 처리로서, 서로 인접하는 처리 영역 사이의 휘도 또는 차분 편광도의 차이의 크기를 나타내는 에지값을 산출하는 에지 추출 처리를 행하여, 추출한 에지값에 기초하여 도로 끝 에지부에 대응하는 처리 영역을 특정한다. 이와 같이 함으로써, 신속하고 높은 정밀도로 도로 끝 에지부를 식별할 수 있다.

특히, 본 발명의 상기 실시예에서 설명한 바와 같이, 물체 식별부(18)는 소정의 에지 임계치를 이용하여 에지 추출 처리에 의해 추출한 에지값에 대하여 2치화 처리를 행하고, 2치화 처리 후의 값에 기초하여 식별 대상에 대응하는 처리 영역을 특정한다. 또한, 물체 식별부(18)는 차분 편광도 화상 처리부(15)에 의해 산출된 차분 편광도 및 모노크롬 화상 처리부(13)에 의해 산출된 모노크롬 휘도 중 적어도 하나에 기초하여 촬상 영역 내의 상황을 판별하는 상황 판별 유닛 및 판별한 상황에 따라서 에지 임계치를 결정하는 에지 임계치 결정 유닛으로서 기능한다. 이와 같이 함으로써, 상황에 대한 의존성이 크지 않아 안정적으로 식별이 가능해진다.

이 경우에, 본 발명의 상기 실시예에서 설명한 바와 같이, 상황마다의 과거의 차분 편광도 및 과거의 휘도 합계치 중 적어도 하나를 학습하여 결과를 이용하여 에지 임계치를 결정함으로써, 보다 적절한 에지임계치를 사용할 수 있어, 보다 높은 정밀도로 도로 끝 에지부를 식별할 수 있다.

또한, 본 발명의 실시예에 따르면, 도로 끝 에지부를 편광 카메라(10)에 의해 촬상했을 때의 형상을 나타내는 형상 정보를 기억하는 형상 기억부(17)가 설치된다. 물체 식별부(18)는, 도로 끝 에지부에 대응하는 화소로서 특정되고 서로 인접하는 복수의 화소에 의해 표시되는 형상이 형상 기억부(17)에 기억되어 있는 도로 끝 에지부의 형상 정보의 형상에 근사한지 여부를 판단하는 형상 근사 판단 처리를 실행하고, 그 형상 근사 판단 처리에서 형상들이 서로 근사한 것으로 판단된 때에는 복수의 화소를 도로 끝 에지부의 화상 영역으로서 식별한다.

이 경우, 상기 형상 근사 판단 처리에 있어서, P 편광 화상 및 S 편광 화상을 각각, 각각의 촬상 거리에 따라서 2개 이상의 구역(상하 2개)으로 구분하고, 형상이 서로 근사한가를 판단하는 처리를 실행하고, 촬상 거리가 짧은 구역에 포함되는 부분이 촬상 거리가 긴 구역에 포함되는 부분보다 판단 결과에 큰 영향을 미치는 식으로 가중치를 둔다. 이와 같이 함으로써, 보다 높은 정밀도로 도로 끝 에지부를 식별할 수 있다.

또한, 과거에 물체 식별부(18)에 의해 실행된 물체 식별 처리의 결과를 식별 처리 결과 기억 유닛으로서의 메모리에 저장한다. 그리고 물체 식별부(18)는, 메모리에 저장된 물체 식별 처리의 결과를 이용하여 물체 식별 처리를 행한다. 이와 같이 함으로써, 과거와 동일한 결과를 얻을 수 있는지 여부를 판단하여 식별 결과의 신뢰성을 판단하는 것이 가능할 수도 있다.

또한, 이상의 설명에 따르면, 본 발명의 실시예에 따른 전체 운전자 지원 시스템이 차량에 탑재되는 경우를 설명하고 있다. 그러나 본 발명은 이러한 구성으로 한정되지 않는다. 예컨대 편광 카메라(10)만이 차량에 탑재될 수 있고, 그 외의 구성요소는 다른 위치에 원격 배치될 수도 있다. 이 경우에는, 차량의 주행 상태를 운전자 이외의 사람이 알 수 있는 시스템을 제공할 수도 있다.

완전하고 명확한 개시를 위하여 특정의 실시예를 참고로 하여 본 발명을 설명하였지만, 첨부의 청구범위는 그러한 실시예로 한정되지 않으며, 본원 명세서에서 설명된 기본 교시 내에서 당업자에 의해 변형 및 수정될 수 있는 것으로 해석되어야 한다.

본 발명은 2010년 7월 1일자로 출원된 일본 특허 출원 2010-151334 및 2011년 5월 23일자로 출원된 일본 특허 출원 2011-114337호를 우선권으로 주장하며, 이들 특허 출원의 전체 내용은 본원 명세서에 참고로 인용된다.

Claims

촬상 영역 내의 식별 대상물을 촬상한 촬상 화상에 있어서의 식별 대상물의 화상 영역을 식별하는 물체 식별 장치로서,
촬상 영역 내에 존재하는 물체로부터의 반사광에 포함되며 각각의 편광 방향이 서로 상이한 2개의 편광을 수광하고, 각각의 편광 화상을 촬상하는 촬상 유닛과,
상기 촬상 유닛에 의해 촬상된 2개의 편광 화상을 각각 정해진 처리 영역으로 분할하고, 각 처리 영역에 대하여 상기 2개의 편광 화상 사이에 있어서의 휘도 합계치를 산출하는 휘도 산출 유닛과,
각 처리 영역에 대하여, 상기 휘도 합계치에 대한 상기 2개의 편광 화상 사이에 있어서의 휘도 차분치의 비율을 나타내는 차분 편광도를 산출하는 차분 편광도 산출 유닛과,
상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 정해진 선택 조건을 만족하는가 여부를 판단하는 선택 조건 판단 유닛과,
상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하는 것으로 판단한 경우에는, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하거나, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하지 않는 것으로 판단한 경우에는, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하고, 상기 식별 대상물에 대응하는 처리 영역으로서 특정되고 서로 근접하는 복수의 처리 영역을 상기 식별 대상물의 화상 영역으로서 식별하는 물체 식별 처리를 행하는 물체 식별 처리 유닛
을 포함하는 것을 특징으로 하는 물체 식별 장치.
제1항에 있어서, 상기 선택 조건 판단 유닛은, 상기 촬상 유닛에 의해 촬상된 2개의 편광 화상을 구분함으로써 얻어지는 복수의 선정 영역 각각에 대하여 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 상기 정해진 선택 조건을 만족하는가 여부를 판단하고,
상기 물체 식별 처리 유닛은, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하는 것으로 판단한 선정 영역에 대해서는, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하거나, 상기 선택 조건 판단 유닛이 상기 정해진 선택 조건을 만족하지 않는 것으로 판단한 선정 영역에 대해서는, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 것을 특징으로 하는 물체 식별 장치.
제1항 또는 제2항에 있어서, 상기 촬상 유닛에 의해 촬상된 2개의 편광 화상 내에 설정되는 정해진 개소의 휘도 합계치 및 차분 편광도 중 적어도 하나에 대하여, 상기 정해진 선택 조건에 이용되는 차분 편광도 임계치를 설정하는 임계치 설정 유닛을 더 포함하고,
상기 정해진 선택 조건은, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도가 상기 차분 편광도 임계치 이상이라는 조건을 포함하는 것을 특징으로 하는 물체 식별 장치.
제3항에 있어서, 상기 정해진 선택 조건은, 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치가 정해진 임계치 미만이라는 조건을 포함하는 것을 특징으로 하는 물체 식별 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 식별 대상물에 대응하는 처리 영역을 특정하는 처리로서, 상기 물체 식별 처리 유닛은, 서로 인접하는 처리 영역 사이의 휘도 또는 차분 편광도의 차이의 크기를 나타내는 에지값(edge value)을 산출하고, 추출한 에지값에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 에지 추출 처리를 행하는 것을 특징으로 하는 물체 식별 장치.
제5항에 있어서, 상기 촬상 영역 내의 상황을 판별하는 상황 판별 유닛과,
에지 임계치를 결정하는 에지 임계치 결정 유닛을 더 포함하며,
상기 물체 식별 처리 유닛은, 상기 에지 추출 처리에 의해 추출한 에지값을 정해진 임계치를 이용하여 2치화 처리하고, 그 2치화 처리 후의 값에 기초하여 상기 식별 대상물에 대응하는 처리 영역을 특정하는 처리를 하며,
상기 상환 판별 유닛은, 상기 차분 편광도 산출 유닛에 의해 산출된 차분 편광도 및 상기 휘도 산출 유닛에 의해 산출된 휘도 합계치 중 적어도 하나에 기초하여 촬상 영역 내의 상황을 판별하며, 상기 에지 임계치 결정 유닛은 상기 상황 판별 유닛에 의해 판별된 상황에 따라서 상기 에지 임계치를 결정하는 것을 특징으로 하는 물체 식별 장치.
제6항에 있어서, 상기 에지 임계치 결정 유닛은, 각 상황에 대한 과거의 차분 편광도 및 과거의 휘도 합계치 중 적어도 한쪽을 평가함으로써 얻어지는 결과를 이용하여 상기 에지 임계치를 결정하는 것을 특징으로 하는 물체 식별 장치.
제5항 내지 제7항 중 어느 한 항에 있어서, 상기 식별 대상물을 상기 촬상 유닛에 의해 촬상한 때의 형상을 나타내는 형상 정보를 기억하는 형상 정보 기억 유닛을 더 포함하고,
상기 물체 식별 처리 유닛은, 상기 식별 대상물에 대응하는 처리 영역으로서 특정되며 서로 근접한 복수의 처리 영역에 의해 표시되는 형상이 상기 형상 정보 기억 유닛에 기억되어 있는 형상 정보의 형상에 근사한지 여부를 판단하는 형상 근사 판단 처리를 행하고, 상기 형상 근사 판단 처리에 의해 형상이 서로 근사한 것으로 판단한 때에는, 상기 복수의 처리 영역을 상기 식별 대상물의 화상 영역으로서 식별하는 것을 특징으로 하는 물체 식별 장치.
제8항에 있어서, 상기 물체 식별 처리 유닛에 의해 실행된 상기 형상 근사 판단 처리에서는, 상기 2개의 편광 화상을 각각의 촬상 거리에 따라서 적어도 2개 이상의 구역으로 구분하고, 형상이 서로 근사한지 여부를 판단하는 처리를 실행하고, 촬상 거리가 먼 구역에 포함되는 부분보다 촬상 거리가 가까운 구역에 포함되는 부분이 판단 결과에 부여하는 영향이 크도록 가중치를 두는 것을 특징으로 하는 물체 식별 장치.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 물체 식별 처리 유닛에 의해 이전에 실행된 상기 물체 식별 처리의 결과를 기억하는 식별 처리 결과 기억 유닛을 더 포함하고,
상기 물체 식별 처리 유닛은, 상기 식별 처리 결과 기억 유닛에 기억된 물체 식별 처리의 결과를 이용하여 상기 물체 식별 처리를 행하는 것을 특징으로 하는 물체 식별 장치.