KR101710295B1

KR101710295B1 - 화상 처리 시스템

Info

Publication number: KR101710295B1
Application number: KR1020157032677A
Authority: KR
Inventors: 료스케 가사하라; 고이치로 나카무라
Original assignee: 가부시키가이샤 리코
Priority date: 2013-05-15
Filing date: 2014-05-08
Publication date: 2017-02-24
Also published as: JP2015109625A; EP2997726A1; CN105247847B; JP6417666B2; BR112015028772A2; CN105247847A; BR112015028772B1; KR20150142055A; WO2014185479A1; EP2997726A4; US20160094771A1; US9674459B2; EP2997726B1

Abstract

화상 처리 시스템은 휘도 편광 중첩 유닛(20)을 구비한다. 휘도 편광 중첩 유닛(20)은, 편광 정보를 포함하는 화상(IMP)의 상기 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시킨다. 화상 처리 시스템은, 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을, 출력 화상(IMO)로서 출력하는 기능을 갖는다.

Description

화상 처리 시스템{IMAGE PROCESSING SYSTEM}

본 발명은, 화상 처리 시스템에 관한 것으로, 구체적으로는, 편광 정보를 포함하는 화상을 처리하는 화상 처리 시스템에 관한 것이다.

편광 정보를 화상 처리에 이용하는 것이 알려져 있다(일본 특허 공개 제2011-29903호 공보, 일본 특허 제4563513호 공보, 일본 특허 공개 제2012-185602호 공보 및 일본 특허 공개 제2002-286862호 공보 등).

예컨대, 카메라 등의 촬상 장치에 있어서, 촬상 소자 상에 "영역 분할된 편광 필터"를 배치하고, 화소가 취득하는 광의 편광 방향을 변경하여 촬상하는 것이 알려져 있다.

또한, 얻어진 휘도 정보를 휘도 화상으로 이용하고, 얻어진 편광 정보를 컬러 정보로서 이용하여 "1장의 그림(a picture)"을 출력하는 방법도 알려져 있다.

예컨대, 일본 특허 공개 제2011-29903호 공보는, 편광 필터를 이용하여 "편광 정보를 포함하는 화상"을 취득하고, 편광 정보의 법선 벡터를 화살표의 방향으로서 출력하는 방법을 개시하고 있다.

일본 특허 공개 제2011-29903호 공보는, 편광 각도에 가시광선 스펙트럼을 대응시켜 규정하고, 편광 각도에 대응하여 "컬러 코딩(color coding)에 의해 각 화소를 재구축하는" 방법을 또한 개시하고 있다.

일본 특허 공개 제2011-29903호 공보에 개시된 방법에서는, 출력 화상의 편광 정보가 "화살표나 칼라"로 표현된다. 이 때문에, 편광 정보를 이용할 때에, "휘도 화상에 관한 통상의 처리"를 이용할 수 없다.

예컨대, "노면 상의 백선의 인식"에 대한 차량 탑재 카메라의 편광 정보를 포함한 화상을 이용하고자 하는 경우에도, "휘도를 이용한 백선 인식의 알고리즘"에 기초한 처리를 실행할 수 없다.

달리 말하면, "칼라로서 표현된 편광 정보용으로 이용하는 백선 인식 처리"를 새로이 개발할 필요가 있다.

이상의 상황을 고려하여, 휘도 화상에 관한 처리를 이용하여 편광 정보를 이용할 수 있게 하는 신규의 화상 처리 시스템을 제공할 필요가 있다.

본 발명에 따른 화상 처리 시스템은, 편광 정보를 포함하는 화상의 상기 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛을 구비한다. 화상 처리 시스템은, 휘도 편광 중첩 유닛에 의해 중첩된 화상을 출력 화상으로서 출력하는 기능을 갖는다.

본 발명의 화상 처리 시스템에 따르면, 편광 정보가, 각 화소의 휘도의 변화로서 휘도 화상에 중첩되고 출력 화상으로서 출력된다.

따라서 출력되는 출력 화상에 대하여, 휘도 화상에 관한 통상의 화상 처리가 실행될 수 있다.

도 1은, 화상 처리 시스템의 실시형태를 설명하기 위한 도면이다.
도 2는, 물체에 의한 반사의 모델을 설명하기 위한 도면이다.
도 3은, 화상 처리 시스템의 다른 실시형태를 설명하기 위한 도면이다.
도 4A 및 도 4B는, 동일 촬상 대상의 휘도 화상과 휘도 편광 중첩 화상의 일례를 도시하는 도면이다.
도 5A 및 도 5B는, 동일 촬상 대상의 휘도 화상과 휘도 편광 중첩 화상의 다른 예를 도시하는 도면이다.
도 6A 및 도 6B는, 동일 촬상 대상의 휘도 화상과 휘도 편광 중첩 화상의 또 다른 예를 도시하는 도면이다.
도 7은, 휘도 화상의 포화도를 구하는 흐름도이다.
도 8은, 화상 처리 시스템을 차량의 제어에 이용하는 경우를 설명하기 위한 도면이다.
도 9는, 화상 처리 시스템의 하드웨어의 일례를 설명하기 위한 도면이다.

이하, 발명의 실시형태를 설명한다.

도 1a는, 화상 처리 시스템의 실시형태를 설명하기 위한 개념도이다.

도 1a에 있어서, 부호 10은 "촬상 유닛"을 나타내고, 부호 20은 "휘도 편광 중첩 유닛"을 나타내며, 부호 30은 "화상 처리/화상 인식 유닛"을 나타낸다.

촬상 유닛(10), 휘도 편광 중첩 유닛(20), 화상 처리/화상 인식 유닛(30) 중에서, 본 발명의 화상 처리 시스템에 필수적인 것은 휘도 편광 중첩 유닛(20)이다.

달리 말하면, 휘도 편광 중첩 유닛(20)은, 단독으로, 본 발명의 화상 처리 시스템을 구성할 수도 있다.

촬상 유닛(10)은, 본 발명의 화상 처리 시스템과는 별개로, 휘도 편광 중첩 유닛(20)에 조합될 수도 있고, 화상 처리 시스템의 일부를 구성할 수도 있다.

마찬가지로, 화상 처리/화상 인식 유닛(30)도, 본 발명의 화상 처리 시스템과는 별체일 수도 있고, 화상 처리 시스템의 일부를 구성할 수도 있다.

촬상 유닛(10)은, 휘도 편광 중첩 유닛(20)에 의해 중첩 처리가 실시되는 "편광 정보를 포함하는 화상"을 촬상한다. 도 1a의 부호 IMP는 "편광 정보를 포함하는 화상"을 나타낸다.

이하, 화상(IMP)을 "편광 화상(IMP)"이라 한다.

촬상 유닛(10)은, 화상 처리 시스템과는 독립적으로 마련된 소위 "편광 카메라"를 이용할 수 있다. 이 경우에는, 편광 화상(IMP)을, 편광 카메라의 "촬상 화상"으로서 얻을 수 있다.

도 1a, 도 1b 및 도 1c를 참조하여 촬상 유닛(10)의 구성의 일례를 설명한다.

도 1a에 도시한 바와 같이, 촬상 유닛(10)은, 결상 렌즈(11), 촬상 소자(12) 및 광학 필터(13)를 갖고 있다.

도 1c는, 촬상 소자(12)와 광학 필터(13)를 가로 방향에서 본 상태를 도시한다.

촬상 소자(12)에 있어서는, 화소가 기판(ST) 상에 2차원으로 배열되어 있다. 설명 중인 예에서는, 화소가 정방형 매트릭스에 따라 배열되어 있다.

광학 필터(13)에 있어서는, 편광 필터(132)가, 투명 기판(131)과 충전층(133)의 사이에 개재되어 있다.

도 1c는, 광학 필터(13)와 찰상 소자(12)가 서로 분리되어 있는 것처럼 나타내고 있다. 그러나 실제로는, 광학 필터(13)가 촬상 소자(12)에 밀착되어 있다.

즉, 편광 필터(132)와 촬상 소자(12) 사이의 근접부에, "접착제"로서 작용하는 충전층(133)이 채워져 있다. 그 결과, 편광 필터(132)와 촬상 소자(12)는 일체화되어 있다.

편광 필터(132)는, 소위 "영역 분할 편광 필터"이다. 구체적으로, 각각 상이한 편광 방향을 갖는 복수 종의 편광 필터 소자가 촬상 소자(12)의 화소에 따라 2차원적으로 배열되어 있다.

도 1b에 있어서, 4개의 인접하는 화소(PC1, PC2, PC3, PC4)는 대응하는 편광 필터 소자(POL1, POL2, POL3, POL4)와 각각 중첩되어 있다.

2종류의 편광 필터 소자가 편광 필터(132)에 이용된다. 제1 유형의 편광 필터 소자는 P 편광을 투과시킨다. 제2 유형의 편광 필터 소자는 S 편광을 투과시킨다.

2종류의 편광 필터 소자는 사각형 형상으로 되어 있다. 도 1b에 있어서, 편광 필터 소자의 길이 방향은 촬상 소자(12)의 화소 배열의 세로 방향(2차원 행렬 배열의 열 방향)에 대응한다.

직사각형의 편광 필터 소자는, 가로 방향(행 방향)으로 교대로 배열되어 있다.

도 1b에 도시된 바와 같이, 화소(PC1, PC2)는 세로 방향으로 배열되어 있다. S 편광을 투과시키는 편광 필터 소자(POL1, POL2)는 세로 방향으로 배열되어 있다. 이에 따라, 편광 필터 소자(POL1, POL2)는 화소(PC1, PC2)에 각각 대응한다.

마찬가지로, 화소(PC3, PC4)는 세로 방향으로 배열되어 있다. P 편광을 투과시키는 편광 필터 소자(POL3, POL4)는 세로 방향으로 배열되어 있다. 이에 따라, 편광 필터 소자(POL3, POL4)는 화소(PC3, PC4)에 각각 대응한다.

촬상 유닛(10)에 의해 촬상된 피사체의 상은 편광 필터(132) 위에 형성된다. 화상은 각 편광 필터 소자를 투과함으로써 P 또는 S 편광으로 되고, 촬상 소자(12)에 의해 수광된다.

이와 같이 하여, 촬상 소자(12)에 의해, 각 화소마다, P 편광 또는 S 편광의 상이 촬상된다.

이와 같이 촬상된 화상은 "편광 정보를 포함하는 화상"으로, 도 1에 도시한 바와 같이, 편광 화상(IMP)으로서 출력된다.

화상에 대한 정보로서, 편광 화상(IMP)은, "휘도 화상 및 편광 정보"를 포함한다.

편광 화상(IMP)은, 휘도 편광 중첩 유닛(20)에 입력된다.

휘도 편광 중첩 유닛(20)은, 실체로서는 CPU 및 마이크로컴퓨터를 포함한다. 후술하는 알고리즘에 기초한 프로그램 연산에 의해, 휘도 화상과 편광 정보가 중첩된다.

전술한 바와 같이, 화상에 대한 정보로서, 편광 화상(IMP)은, "휘도 화상 및 편광 정보"를 포함하고, 편광 화상(IMP)으로부터 "휘도 화상" 및 "편광 정보"가 추출된다.

이와 같이 추출된 편광 정보는 휘도 화상에 중첩된다. 구체적으로, 편광 화상(IMP)의 편광 정보는, "각 화소의 휘도의 변화로서 휘도 화상에 중첩"된다.

휘도 화상과 편광 정보는 이러한 식으로 중첩된 후에, 도 1a에 도시하는 출력 화상(IMO)으로서 출력된다.

휘도 화상과 편광 정보를 중첩함으로써 얻어진 화상은 "휘도 편광 중첩 화상"으로 지칭된다.

출력 화상(IMO)에 대해서는, "LDW 및 AHB에 대한 처리"와 같은 "종래 기술의 통상의 휘도 화상 처리"가 차량 탑재용으로 가능하다.

전술한 바와 같이, 종래 기술의 휘도 화상 처리가 출력 화상(IMO)에 대해 실행될 수 있다. 도 1a의 예에서는, 출력 화상(IMO)이 화상 처리/화상 인식 유닛(30)에 입력된다.

출력 화상(IMO)의 입력을 접수하면, 화상 처리/화상 인식 유닛(30)은, 원하는 화상 처리 및 화상 인식 처리를 한다.

예컨대, 도 1a에 도시된 화상 처리 시스템이 "차량 제어용"으로 탑재되는 경우에는, 화상 처리/화상 인식 유닛(30)은, 예컨대, 인식 물체를 추출하는 처리를 행한다.

상기 처리의 결과를 받은 차량 제어 유닛은, 차량의 브레이크 및 스티어링휠의 조작의 어시스트 등의 차량 제어를 행한다.

출력 화상(IMO)은, "종래의 휘도 화상 처리"에 의해 처리될 수 있다. 이에 따라, "편광 화상용의 화상 처리나 화상 인식 처리를 새롭게 개발"할 필요가 없다.

도 1의 화상 처리 시스템을 이용함으로써, 인식율을 향상시킬 수 있고 오검지를 저감시킬 수 있다.

촬상 유닛(10)에 대하여 약간 추가로 설명한다. 도 1에 도시하는 촬상 유닛(10)은, 편광 필터(132)를 갖는다.

편광 필터(132)는 "P 편광을 투과시키는 편광 필터 소자와, S 편광을 투과시키는 편광 필터 소자"의 2차원적인 배열에 의해 얻어지는 "영역 분할 편광 필터"이다.

"촬상 유닛"은, 이러한 구성을 갖는 것으로 한정되지 않는다.

예컨대, 촬상 유닛은, 일본 특허 공개 제2011-29903호 공보에 기재된 "복수의 편광 방향의 편광자를 조합시킴으로써 얻어진 편광자 플레이트를 결상 렌즈의 앞에 배치하고, 편광자 플레이트가 회전하는 동안에 촬상을 행하는 구성"을 가질 수도 있다.

대안으로, "S 편광을 투과시키는 편광 필터"를 2대의 촬상 카메라 중 하나와 조합하고, "P 편광을 투과시키는 편광 필터"를 다른 하나의 촬상 카메라와 조합시킬 수도 있다.

구체적으로, 카메라 중 하나는 "S 편광 정보를 포함하는 화상 정보"를 촬상하고, 다른 하나의 카메라는 "P 편광 정보를 포함하는 화상 정보"를 촬상한다. 그 후, 각 카메라의 화상 정보를 조합하여 편광 화상을 얻는다.

전술한 바와 같이, 여러 가지의 촬상 유닛에 의해 취득되는 "편광 화상"에 대하여, 본 발명에서와 같이 "휘도 화상에 대한 편광 정보의 중첩"에 의한 화상 처리를 실시할 수 있다.

전술한 편광 필터(132)는, 예컨대 "서브 파장 구조(SWS)"를 가질 수도 있다는 점에 유의한다.

상기 예에서는, 촬상 소자(12)로서, "흑백 이미지 센서"가 상정되어 있다. 대안으로, 컬러 이미지 센서를 이용할 수도 있다.

편광 필터(132)가 형성되어 있는 촬상 소자(12)의 영역에서는, 영역 P, S의 편광 화상이 각각 촬상된다.

후술하는 바와 같이, P, S의 편광 화상은, "편광 정보를 포함하는 화상 및 휘도 화상"으로서 각종 정보를 검지하는 데에 사용된다.

편광 정보와 그 휘도 화상에 대한 중첩의 기본을 이하에서 설명한다.

물체 표면의 반사 특성은, 양방향 반사 분포 함수(Bi-directional Reflectance Distribution Function; 이하 "BRDF"라 지칭)에 의해 표현된다.

물체 표면 상의 "어떤 점에서의 BRDF"는 입사 방향과 반사 방향의 양방향에 의존하며, 조명 방향으로부터의 입사광의 강도에 대한 관측 방향에서의 반사광의 강도의 비로서 정의된다.

"편광 현상"을 기술하는 다양한 반사 모델이 제안되어 있다.

이하에서는, 경면 반사 성분으로서 "Torrance Sparrow 모델"을 이용하고, 확산 반사 성분으로서 "Lambert 모델"을 이용한다.

도 2는, 물체(OB)에 의한 반사의 모델을 나타내고 있다. 도 2에 있어서, "N"은 물체(OB)의 반사 위치에 있어서의 "외향 법선 벡터"를 나타낸다.

"L"은, 상기 반사 위치로부터 광원을 향하고 "광원 벡터"로 지칭되는 벡터를 나타낸다. "V"는, 상기 반사 위치로부터 관찰 위치를 향하고 "시선 방향 벡터"로 지칭되는 벡터를 나타낸다.

"H"는, 광원 벡터(L)와 시선 방향 벡터(V)가 이루는 각도를 2등분하는 방향의 벡터를 나타낸다. 이러한 벡터는, 간단히 "2등분 방향 벡터"로 지칭된다.

각 벡터(N, L, V, H)는 "동일 평면" 상에 위치한다.

동일 평면 상에서, 각도 y, q_L, a, q_i 및 q를 도 2에 나타내는 바와 같이 정의한다.

물체(OB)에 의한 "S 편광 BRDF: r_S(y, q)"는, 이하와 같이 주어진다.

r_S(y, q) = k_SR_S(q_i)D + k_dcosq_L (A)

마찬가지로, "P 편광 BRDF: r_P(y, q)"은, 이하와 같이 주어진다.

r_P(y, q) = k_PR_P(q_i)D + k_dcosq_L (B)

식 (A) 및 (B)에 있어서의 우측의 제1항은 경면 반사 모델 항(Torrance Sparrow 모델)이고, 제2항이 확산 반사 모델 항(Lambert 모델)이다.

식 (A) 및 (B)에 있어서, "k_S"는 S 편광의 경면 반사 계수를 나타내고, "k_P"는 P 편광의 경면 반사 계수를 나타내며, "k_d"는 확산 반사 계수를 나타낸다.

"R_S(θ_i) 및 R_P(θ_i)"은, 각각 S 편광, P 편광에 대한 "프레넬 반사율"이며, 이하의 식에 의해 주어진다.

RS(θ_i)

={(n₁cosθ_i-n₂cosθ_i')/(n₁cosθ_i+n₂cosθ_i')}²

RP(θi)

={(n₁cosθ_i'-n₂cosθ_i)/(n₁cosθ_i'+n₂cosθ_i)}²

여기서, n₁, n₂은, 각각 공기 및 물체(OB)의 굴절율이다.

각도 θ_i'는, 각도 θ_i 및 굴절율 n₁, n₂와 이하의 관계를 갖는다.

sinθ_i'=(n₁/n₂)sinθ_i

이에 따라, θ_i'=arcsin{(n₁/n₂)sinθ_i} 이다.

이다.

상기 프레넬 반사율의 항에 의해, 반사 모델의 거동으로서 편광 의존성이 반영된다.

상기 식 (A), (B)에 있어서의 "D"는, 반사 위치에서의 미소 면적의 "법선 분포항"이다.

법선 분포항 D는, 이하와 같이 표시된다.

D= exp(-α²/2a²)

여기서, "α"는 분포 함수의 중심 좌표치이고, 도 2에 있어서의 각도 파라미터 α에 대응한다. 또한, "α"는 분포 함수에 있어서의 표준 편차이다.

"α"는 미소 면적의 "각도 분포에 관한 파라미터"이다. 법선 분포항 D는, 정규 분포를 나타내는 가우스 분포이다.

다음으로, 휘도 화상에 중첩되는 편광 정보를 설명한다. 다양한 유형의 편광 정보를 고려할 수 있다. 이하에는, 다음 3종류의 편광 정보를 설명한다.

구체적으로, 3종류의 편광 정보는, "편광도", "차분 편광도" 및 "편광비"이다.

"편광도(degree of polarization)"는, 편광 현상에 관련한 주지의 Stokes 파라미터 S₀, S₁, S₂, S₃를 이용하여 정의되는 양이며, 이하에서, "DOP"로 지칭한다.

DOP는, Stokes 파라미터 S₀ 내지 S₃를 이용하여 이하의 식에 의해 정의된다.

DOP={√(S1²+S2²+S3²)}/S₀

"차분 편광도(Sub-DOP)"는, Stokes 파라미터 S₀, S₁를 이용하여 이하와 같이 정의되는 양이다. 이하, Sub-DOP는 "SDOP"로 지칭한다.

SDOP=S₁/S₀={I(0,φ)-I(90,φ)}/{I(0,φ)+I(90,φ)}

여기서, I(0,φ)는, 축 각도를 0도로 했을 때의 "편광 필터를 통과시킨 광 강도"이고, I(90,φ)는 축 각도를 90도로 했을 때의 편광 필터를 통과시킨 광 강도이다.

전술한 "영역 분할 편광 필터"의 예에서, I(0,φ)은 S 성분 투과광을 수광한 화소의 수광 강도이다.

마찬가지로, I(90,φ)은 P 성분 투과광을 수광한 화소의 수광 강도이다.

Stokes 파라미터 S2=S3=0의 경우에는, 이하의 관계가 성립한다.

DOP=|SDOP|

이에 따라, 이 경우의 SDOP도 "편광도"로 지칭한다.

"편광비"는 I(0,φ)와 I(90,φ)의 비이며, 이하와 같이 정의된다.

편광비=I(0,φ)/I(90,φ)

전술한 바와 같이, 편광비는 "I(0,φ)과 I(90,φ)의 비"이다. 이 때문에, 상기한 것 대신에, 이하와 같이 표시할 수도 있다.

편광비=I(90,φ)/I(0,φ)

그리고 전술한 바와 같이 정의되는 3종의 편광 정보, 즉 DOP, SDOP 및 편광비 중 임의의 것을 휘도 화상에 중첩한다. 이에 따라, 전술한 출력 화상(IMO)을 얻을 수 있다.

"휘도 화상"은, 이하와 같이 구할 수도 있다.

전술한 실시형태에서는, 촬상 유닛(10)에 있어서의 편광 필터(132)는 "영역 분할 편광 필터"이다.

즉, 편광 필터(132)는, P 편광을 투과시키는 편광 필터 소자와, S 편광을 투과시키는 편광 필터 소자를 2차원적으로 배열함으로써 얻어진다.

여기서, 촬상 소자(12)의 촬상 영역을 2차원 좌표(x, y)로 나타내고, 위치 (x, y)의 화소가 수광한 S 편광 및 P 편광의 강도를 각각 "I_S(x, y) 및 I_P(x, y)"으로 나타낸다.

강도를 이용하면, 휘도 화상 I_bright(x, y)은, 용이한 이해를 위하여 이하의 식 (C)로 나타낼 수 있다.

I_bright(x, y)={I_S(x, y)+I_P(x, y)}/2 (C)

"중첩의 연산"을 기호 [SPI]로 나타내면, 휘도 화상과 편광 정보의 중첩은, 이하와 같이 나타낼 수 있다.

I_bright(x, y)[SPI](편광 정보)

편광 정보로서는, 전술한 "DOP, SDOP 및 편광비" 중 임의의 것을 이용할 수도 있다.

다양한 유형의 중첩 연산을 고려할 수 있으며, 이하의 2가지 유형이 특히 간단하다.

즉, 두 유형 중 하나는 "선형 합"에 의해 행하는 방법이며, 다음과 같이 나타낸다.

I_bright(x, y)[SPI](편광 정보)=I_bright(x, y)+{K×(편광 정보)}

다른 유형은 "곱 연산"에 의해 행하는 방법이며, 다음과 같이 나타낸다.

I_bright(x, y)[SPI](편광 정보)= I_bright(x, y)×{K×(편광 정보)

편광 정보는 "각 화소의 휘도의 변화로서 휘도 화상에 중첩된다".

따라서, 상기 중첩 연산의 각 식의 우측에서, 가산 또는 곱해진 화소는 같은 좌표(x, y)를 갖는다.

상기 중첩 식에 있어서, 우측의 "K"는, 중첩도를 나타내는 상수이고, 구체적인 중첩 조건에 따라서, 적절히 설정 가능하다.

도 1에 도시된 실시형태의 화상 처리 시스템은 이하와 같이 구성되어 있다.

즉, 화상 처리 시스템은, 화상(IMP)에 포함되는 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩하는 휘도 편광 중첩 유닛(20)을 갖는다.

또한, 화상 처리 시스템은 휘도 편광 중첩 유닛(20)에 의해 중첩된 출력 화상(IMO)을 출력하는 기능을 갖는다.

도 1에 도시한 화상 처리 시스템은 촬상 유닛(10)을 갖는다. 촬상 유닛(10)은 휘도 편광 중첩 유닛(20)에 의해 중첩 처리되며 편광 정보를 포함하는 화상(IMP)을 촬상한다.

휘도 편광 중첩 유닛(20)은 편광 정보와 휘도 화상을 중첩시킨다. 이 중첩은, 이들 선형 합으로서 행해질 수도 있고, 이들의 곱으로서 행해질 수도 있다.

중첩되는 편광 정보는, 편광도(DOP)일 수도 있고, 차분 편광도(SDOP)일 수도 있고, "편광비"일 수도 있다.

화상 처리 시스템은, 휘도 화상에 대한 중첩에 앞서, 편광 정보로부터 노이즈를 제거하는 노이즈 저감 수단을 구비할 수 있다.

전술한 반사 모델에서는, 반사광의 편광 상태는, 물체(OB)의 재질(굴절율, 표면 상태, 내부 산란 계수), 광원과 물체의 각도, 물체와 관측점의 각도 등의 변수로 나타낼 수 있다.

달리 말하면, 상기 편광 상태는, 이하의 식 (D)에 의해 나타낼 수 있다.

편광 상태= F(광원, 재질 및 각도) (D)

여기서, F는 함수를 나타낸다.

이 식에서, 각 변수는 이하와 같다.

광원 상태=ψ의 각도 분포

재질= k_S, k_P, k_d, n₂등

각도=θ

식 (D)는, 좌측의 "편광 정보"와, 우측의 "광원 재료, 재질, 각도"를 관련짓고 있다.

따라서, 우측의 "광원·재질·각도" 중에서, 임의의 2개가 결정되면, 나머지 하나가 정해진다.

도 1을 참고로 전술한 바에 따르면, "광원은 불변"인 것을 전제로 하고 있다.

따라서 상기 실시형태는, "조명 상태가 불변인 실내"에서의 촬상에 의해 얻어지는 편광 화상의 중첩에 대하여 유효하다.

전술한 반사 모델에서는, 물체(OB)의 표면에서의 "정반사에 의한 경면 광"을 나타내는 항(R_s, R_p의 항)이 편광 상태를 특징짓는 중요한 양이다.

관찰 대상 물체(OB)가 촬상 유닛(10) 및 광원과 동일한 각도를 형성하는 경우에는, 경면 광은 거의 되돌아오지 않는다. 그 결과, "편광 정보를 얻을 수 없을 수도 있다".

광원의 상태를 컨트롤할 수 없는 곤란이 존재한다. 이 때문에, 화상 처리 시스템을 광원을 고정할 수 없는 차량 탑재용으로 적용하는 경우에는, 이하와 같은 고찰이 필요하다.

편광 상태는 식 (D)로 나타내는 바와 같은 관계에 있다. 이 때문에, 조사광을 투사하지 않는 차량 탑재 카메라에서는, 광원 상태에 의존하여 "편광 화상에 포함되는 편광 정보"가 변화된다.

예컨대, "상이한 재질로 형성된 노면과 백선"을 구별할 경우에도, 편광 정보(예컨대 SDOP)는 광원의 상태에 따라서 변화된다.

편광 정보는 각도에 따라서도 변화되지만, "차량의 정해진 위치에 촬상 유닛을 고정하고, 동일한 각도를 갖는 노면 상의 물체"를 촬상하는 경우에는, 각도에 의한 편광 정보의 변화는 무시할 수 있다.

휘도 화상에 편광 정보를 중첩한 출력 화상(IMO)을 이용하여 "물체 인식"을 행하는 경우에는, 물체를 특징짓는 어떤 유형의 "특징량"을 이용하여 물체를 인식할 필요가 있다.

이 경우, 물체에 의한 편광 상태를 단독으로 특징량으로 고려하면, 특징량이"광원 상태의 영향"을 받게 된다.

이 경우에는, 광원의 상태에 의존하지 않고 "편광을 활용하는 특징량"을 이용할 필요가 있다.

전술한 식 (A), (B)에 따르면, (도 2에 있어서의 각도 ψ, 또는, 각도 θ_L에 의해 정해지는) 광원의 고도에 의해, S 편광과 P 편광의 반사 강도의 크기가 변화된다.

P 편광의 반사 강도의 크기는 항상 S 편광의 반사 강도의 크기보다 크다.

또한, 표면 반사가 클수록(즉, 내부 산란이 작을수록), S 편광과 P 편광 사이의 "반사 강도의 차"가 크다.

화상 처리 시스템을 실제로 차량에 장착할 때에는, "순광에 의한 촬상의 경우에, 거의 모든 물체가 순광 조명을 받는" 것으로 고려된다.

역으로, "역광에 의한 촬상의 경우에는, 거의 모든 물체가 역광 조명을 받는" 것으로 고려된다.

이 점을 감안하면, 여러 가지의 물체가 촬상될 때, 전술한 SDOP(차분 편광도) 등의 편광 정보는, 평균으로는, "순광과 역광 사이의 값의 편차"가 생기는 것으로 고려된다.

이러한 사정을 고려하면, 상기 "특징량"은 이하와 같은 방침에 기초하여 선택되는 것이 바람직할 수 있다.

(1) "화면 전체의 SDOP 등의 편광 정보에 있어서의 오프셋"을 제거함으로써, 순광 및 역광 등의 광원의 상태의 영향을 대략 캔슬하고 있다.

"오프셋"은, 편광 정보에 있어서의 상기 "순광과 역광 사이에 생기는 값의 편차"이다.

(2) 순광 상태, 즉, 촬상 유닛과 물체 사이의 각도와, 광원과 물체 사이의 각도가 유사한 경우에는, 본질적으로, "편광 정보가 작게 된다".

따라서, 이 경우에는, "편광 정보가 없는" 것으로 추정된다. 편광 정보를 이용 가능한 경우에만, 편광 정보를 특징량에 부가한다.

그 결과, 편광 정보를 이용할 수 있는 경우에는, 편광 정보의 중첩에 의해 "통상의 휘도 화상을 이용하는 경우보다 화상 인식을 더 양호하게 할 수 있다".

(3) 전술한 식 (A), (B)에 따르면, 순광에 의한 촬상에서는, I(0,φ)은 I(90,φ)와 같고, 이에 따라, "SDOP=0"으로 된다. 그러나 실측 결과에 따르면, SDOP는 0이 되지 않는다.

또한, 반사 물체의 재질에 따라서 SDOP가 상이하다.

이 사실을 감안하여, 순광의 경우와 역광의 경우에 "SDOP로 하여금 특징량에 기여하게 하는 계수"를 조정할 수 있다.

"순광인지 또는 순광 이외의 광인지의 판단"에는, 화면 전체의 SDOP(편광도)를 사용한다.

(4) 통상의 휘도 정보를 이용한 알고리즘을 사용할 수 있도록 "휘도에 가까운 특징량"으로 하고 있다.

개략적으로 말하면, 편광도로서, 절대량 대신에 "상대량만"이 고려된다.

광원의 상태에 의존하지 않고, "물체의 표면 반사의 대소(산란의 대소)에 대한 정보"를, 사용 상황에 따라서 휘도 정보에 부가하여 특징량을 얻는다.

SDOP(편광도)는, 광원의 각도(ψ)에 따라서 크게 변화된다.

그러나, 도 2에 있어서의 각도 θ_i 및 θ_L에 관해서, 어떤 각도 θ_i1, θ_L1에서 보았을 때에 재질 A와 B 사이의 SDOP의 대소 관계가 A>B로 되어 있을 경우에는, 다른 각도 θ_i2, θ_L2에서 본 경우에도 SDOP의 대소 관계가 A>B로 되는 경우가 많다.

이하에서는, "어떤 각도로 보았을 때에 재질 A와 재질 B 사이의 SDOP의 대소 관계가 A> B로 되어 있을 경우에, 다른 각도에서 볼 때에도 A>B로 되어 있는 조건"을 설명한다.

재질을 나타내는 파라미터로의 예로는, 전술한 k_p, k_s, k_d, n₂, a를 포함한다.

따라서, 파라미터가 변화된 경우에, SDOP의 값의 변화의 방향(즉, 값의 증가 방향 또는 감소 방향)이 각도에 의존하지 않는 조건을 도출한다.

전술한 바와 같이, "SDOP"는 이하와 같이 나타낼 수 있다.

SDOP= S₁/S₀={I(0,φ)-I(90,φ)}/{I(0,φ)+I(90,φ)}

이 식을, 전술한 n₁, n₂, θ_i, θ_i', θ_L, k_s, k_d, α, a를 이용하여 나타내면, 이하와 같이 된다.

SDOP

=[k_s{(n₁cosθ_i-n₂cosθ_i')/(n₁cosθ_i-n₂cosθ_i')}exp{(-α²)/2a²}+k_dcosθ_L-k_s{(n₁cosθ_i-n₂cosθ_i')/(n₁cosθ_i+n₂cosθ_i')}exp{(-α²)/2a²}-k_dcosθ_L]/[k_s{(n₁cosθ_i-n₂cosθ_i')/(n₁cosθ_i-n₂cosθ_i')}exp{(-α²)/2a²}+k_dcosθ_L+k_s{(n₁cosθ_i-n₂cosθ_i')/(n₁cosθ_i+n₂cosθ_i')}exp{(-α²)/2a²}-k_dcosθ_L] (4-1)

설명을 간단하기 하기 위해서, "기하 감쇠 항"은 무시한다.

다음으로, 광선이 "공기 중에서 입사"한다는 가정하에서, 전술한 프레넬 반사율:

R_S(θ_i)={(n₁cosθi-n₂cosθ_i')/(n₁cosθ_i+n₂cosθ_i')}²

R_P(θ_i)={(n₁cosθ_i'-n₂cosθ_i)/(n₁cosθ_i'+n₂cosθ_i)}²에서, n₁=1이 만족된다. 이때의 프레넬 반사율에 있어서, R_S에 대해서 "R_S(n₂)"이고, R_P에 관해서 "R_P(n₂)"이다.

이와 같이 하면, 이들은 이하와 같이 된다.

R_S(n₂)

={(cosθ_i-n₂cosθ_i')/(cosθ_i+n₂cosθ_i')}²

R_P(n₂)

={(cosθ_i'-n₂cosθ_i)/(cosθ_i'+n₂cosθ_i)}²

R_S(n₂) 및 R_P(n₂)를 이용하면, 상기 (4-1) 식은, 이하와 같이 된다.

SDOP

=[k_s·exp{(-α²)/2a²}·{R_S(n₂)-R_P(n₂)}/[k_s·exp{(-α²)/2a²}·{R_S(n₂)+R_P(n₂)}+2k_dcosθ_L] (4-2)

식 (4-2)는, 전술한 모델에 있어서의 "SDOP의 이론식"이다.

여기서, "경면 반사 성분과 확산 성분의 비"를 나타내는 파라미터 k= k_s/k_d를 도입한다. 이 파라미터 k를 이용하면, 식(4-2)는 이하와 같이 된다.

SDOP

=[k·exp{(-α²)/2a²}·{R_S(n₂)-R_P(n₂)}/[k·exp{(-α₂)/2a₂}·{R_S(n₂)+ R_P(n₂)}+2cosθ_L] (4-3)

식 (4-3)는, 반사 물체의 재질에 관련된 파라미터로서, k, n₂, a를 포함한다. 이들 파라미터의 변화에 의한 SDOP의 변화를 관찰한다.

이 목적을 위하여, 우선, 식 (4-3)을 파라미터 k에 의해 편미분한다.

또한, 설명 중인 파라미터 k는, 후술하는 "편광 정보 중첩 계수(k)"와는 다르다는 것에 유의한다.

간략화를 위해, 이하의 기호를 도입한다.

f1= exp{(-α²)/2a²}·{R_S(n₂)-R_P(n₂)}

g1= 2cosθ_L

h1= exp{(-α₂)/2a₂}·{R_S(n₂)+R_P(n₂)}

기호를 이용하면, 식 (4-3)은, 이하와 같이 될 수 있다.

SDOP= k·f1/[k·h1+g1]

따라서, 이하와 같이 된다. SDOP의 k에 의한 편미분:

∂{SDOP}/∂k

=∂{k·f1/[k·h1+g1]}/∂k

=(h1/f1)[(g1/f1)/{(g1/f1)+k}²] (4-4)

각도 θ_L은, -2/π≤θ_L≤2/π의 범위에 있다. 따라서 상기 f1, g1, h1 중 어느 것은, θ_L의 변동 범위 내에서 플러스의 값만을 취할 수도 있다.

따라서, 식 (4-4)는, ∂{SDOP}/∂k≥0이 된다.

다음으로, SDOP를 파라미터 a에 의해 편미분한다.

식을 간단히 하기 위해서, 이하의 기호를 또한 도입한다.

f2= k{R_S(n₂)-R_P(n₂)}

g2= k{R_S(n₂)+R_P(n₂)}

h2= 2cosθ_L

이와 같이 하면,

∂(SDOP)/∂a

=∂{exp{(-α²)/2a²}/[exp{(-α²)/2a²}+h2]}/∂a

=(f2/g2)[(h2/g2)α²exp{(-α²)/2a²}/{a³{exp{(-α²)/2a²}+(h2/g2)}] (4-5)

이 경우에도, f2, g2, h2는, 단지 플러스의 값만을 취한다. 또한, "a"는 분포 함수에 있어서의 표준 편차이므로, 플러스이다.

따라서, 식 (4-5)의 우측도 항상 플러스이다.

마찬가지로, SDOP를 파라미터 a에 의해 편미분한다.

이 경우에도, 식을 간단히 하기 위해서, 이하의 기호를 도입한다.

f3= k·exp{(-α²)/2a²}

g3= 2cosθ_L

이와 같이 하면,

∂(SDOP)/∂n₂

=∂[{f3{R_S(n₂)-R_P(n₂)}}/{f3{R_S(n₂)+R_P(n₂)}+g2}]/∂n₂

=[{(g3/f3)+2R_P(n₂)}{∂R_S(n₂)/∂n₂}-{(g3/f3)+2R_S(n₂)}{∂R_P(n₂)/∂n₂}]/[R_S(n₂)+R_P(n₂)+(g3/f3)] (4-6)

G3/f3>> 2R_P(n₂)이고, 또한, G3/f3>>2R_S(n₂)의 경우를 고려하면, 식 (4-6)의 분자는, 이하와 같이 된다.

[{(g3/f3)·∂R_S(n₂)/∂n₂}-{(g3/f3)·∂R_P(n₂)/∂n₂}]

또한, ∂R_S(n₂)/∂n₂과 ∂R_P(n₂)/∂n₂의 사이에는, ∂R_S(n₂)/∂n₂>∂R_P(n₂)/∂n₂의 관계가 성립한다.

따라서, G3/f3>>2R_P(n₂)이고, 또한, G3/f3>>2R_S(n₂)이면, ∂(SDOP)/∂n₂는 항상 플러스로 된다.

여기서, g3/f3= 2cosθ_L/k·exp{(-α²)/2a²}= 2k_dcosθ_L/k_S·exp{(-α²)/2a²}이다. 분자는 "확산 반사 성분"을 나타내고, 분모는 경면 성분(마이크로 패싯(facet)에 의한 분포를 포함)를 나타낸다.

또한, R_P(n₂)≤1이고, R_S(n₂)≤1인 것을 고려하면, 확산 성분이 경면 성분에 대하여 일정량 이상이면, 양자는 근사하게 된다.

달리 말하면, ∂(SDOP)/∂n₂≥0이다.

달리 말하면, 확산 성분이 경면 성분(specular component)에 대하여 일정량 이상이면, 파라미터 k, a, n₂의 변화에 대하여, SDOP의 편 부분 계수(partial differential coefficient)는 플러스이다.

따라서, 파라미터 k, a, n₂의 변화에 대하여, SDOP의 변화는 단조롭고, 각도θ_i 및 θ_L에 의존하지 않는다.

일반적으로, "경면 이외의 표면을 갖는 물체"에서는, "확산 성분이 경면 성분에 비하여 크고", 이 조건을 만족하는 물체가 많다.

따라서, 어떤 각도 θ_i1 및 θ_L1로 보았을 때에 재질 A와 B 사이의 SDOP의 대소 관계가 A>B로 되어 있으면, 다른 각도 θ_i2 및 θ_L2로 보았을 때도 SDOP의 대소 관계가 A>B로 되는 경우가 많다.

SDOP는, 촬상되는 물체의 재질 k_d 및 "k_d의 크기"에 크게 의존한다.

예컨대, 재질 A의 SDOP를 기준으로 하여 오프셋을 0으로 되게 하면, 재질 B의 SDOP가 플러스로 될 것인지 마이너스로 될 것인지는 광원의 각도에 의존하지 않는 경우가 많다.

이 점을 감안하면, 화면 전체의 SDOP의 오프셋을 제거함으로써, 광원의 각도에 상관없이 "각 재질마다의 상대 관계만"을 추출할 수 있다.

상기 식 (A) 및 (B)에 의한 반사 모델 이론에 따르면, 촬상 상황이 순광에 가까울수록, SDOP는 0에 근접한다.

이 때문에, 편광 정보로서 SDOP를 이용하면, 광원 상태가 순광에 근접할수록, 이론상으로는 SDOP이 작아진다. 그 결과, "편광의 특징량에 대한 기여"가 없다.

그러나 실제 실험 결과에 따르면, 순광 시에도 재질에 따라 SDOP의 값이 변동된다.

순광 시의 SDOP의 값의 변동의 대소 관계는 "역광 시의 대소 관계"와 상이하다. 이 때문에, 순광 시에는, 변동을 검출하고, 편광 정보를 특징량에 기여하게 하는 계수를 변화시킨다.

또한, 촬상 대상 물체의 재질이 다른 경우에도, "광원 각도 ψ에 따라서 SDOP가 변화되는 경향"은 유사하다.

그리고 촬상 화면 전체가 "동일한 각도로부터의 광원 광"을 수광한다는 가정에 기초하여, 화면 전체의 SDOP의 값을 이용하여 순광인지 역광인지를 판단한다.

상기 방침을 감안하여, 화상 인식에 이용하는 상기 "특징량"을 이하와 같이 정한다.

도 1을 참고로 설명한 편광 필터(13)를 갖는 촬상 유닛(10)에 의해 휘도 화상 I_bright(x, y)이 얻어진다. 휘도 화상은 전술한 식 (C)로 표현된다.

휘도 화상 I_bright(x, y)의 "S 편광 휘도 화상 I_S(x, y)" 및 "P 편광 휘도 화상 I_P(x, y)"은 전술한 바와 같다.

우선, 편광 정보를 더한 특징량(출력 화상) I_bright _{_} _por(x, y)을 이하의 "수학식 1"로서 정한다.

수학식 1에 있어서, "SDOP(x, y)"는, 다음 식으로 정의된다.

SDOP(x, y)={I_S(x, y)-I_P(x, y)}/{I_S(x, y)+ I_P(x, y)}

도 3은, 이 경우에 정보 처리를 행할 때의 휘도 편광 중첩 유닛(20)의 구성예를 나타낸다.

단순화하기 위하여, 휘도 편광 중첩 유닛에는 도 1에서와 같이 부호 20을 부여한다.

촬상 유닛(도시 생략; 도 1의 촬상 유닛(10)과 동일한 것)으로부터 얻어지는 편광 화상(IMP)은, 휘도 편광 중첩 유닛(20)의 분리 유닛(21)에 입력된다.

분리 유닛(21)은, 입력되는 편광 화상(IMP)을, 휘도 화상과 편광 정보로 분리한다.

휘도 화상은 전술한 식 (C)에 의해 표현되는 화상 정보이며, 중첩 유닛(23)에 입력된다.

한편, 분리 유닛(21)에 의해 분리된 편광 정보는, 전술한 "DOP, SDOP, 편광비 중 어느 것"이지만, 여기서는"SDOP"로 가정한다.

편광 정보인 "SDOP"는, 오프셋 제거 유닛(22)에 입력되는 동시에, 순광/역광 판단 유닛(24)에 입력된다.

"순광/역광 판단 유닛(24)"의 기능을 후술한다.

입력되는 편광 정보(SDOP)에 대하여, 오프셋 제거 유닛(22)은, 상기 "수학식 1"의 우측의 제2항의 "괄호 내의 제2항"의 연산을 행한다.

연산 결과를, 입력된 편광 정보(SDOP)로부터 감산한다.

수학식 1의 우측의 "괄호 내의 제2항"은, 화상 상에서 X, Y에 의해 정해지는 "어떤 영역 범위" 안에서의 "SDOP의 평균"을 부여한다.

X, Y에 의해 정해지는 "영역 범위"에 대해서는, 임의의 선택 방법이 적용될 수 있다.

설명 중인 예에서는, 전술한 바와 같이, "화면 전체를 이용하여 광원 상태의 영향을 캔슬한다".

X, Y에 의해 정해지는 화상 영역은 "화면 전체로부터 빈 영역"을 제외한 영역에 대응한다.

이러한 화상 영역에 대하여 전술한 바와 같이 연산되는 SDOP의 평균이 "오프셋"이며, 오프셋 제거 유닛(22)이 이 오프셋을 감산한다.

이와 같이 하여 "오프셋이 제거된 편광 정보"는, 중첩 유닛(23)에 입력되어 휘도 화상과 중첩된다. 이하에 있어서, "휘도 화상"을 "휘도 정보"로 지칭하는 경우도 있다는 점에 유의한다.

수학식 1의 우측에 도시한 바와 같이, 이 중첩은, 오프셋이 제거된 "수학식 1의 우측의 괄호 내의 양"의 선형 합을 취함으로써 휘도 화상 I_bright(x, y)에 대하여 행해진다.

이때, 수학식 1의 우측의 제2항의 괄호 앞에 있는 계수(k)가 "괄호 내의 양"과 곱해져 가산된다. 이 계수(k)를 "편광 정보 중첩 계수"라고 칭한다.

편광 정보 중첩 계수(k)는, 조명이 "순광인지" 또는 "순광 이외의 광인지"에 따라서, 이하의 수학식 2 및 수학식 3으로서 정해진다.

순광/역광 판단 유닛(24)은 수학식 2 및 수학식 3의 "k의 값"을 결정하도록 연산한다. 순광/역광 판단 유닛(24)은 "순광/역광 판단 유닛"이다.

여기서, k₁와 k₂는 "편광 정보 중첩 계수"이다.

"TH"는"임계치"이며, "순광을 인식할 수 있도록" 설정된다.

전술한 바와 같이, 식 (A) 및 (B)에 의한 반사 모델 이론에 따르면, 촬상 상황이 순광에 가까울수록, SDOP은 0에 보다 근접한다.

따라서, 촬상 상황이 순광에 가까울수록, 상기 "소정의 화상 영역 내에서의 SDOP의 평균치"인 오프셋량도 작아진다.

그리고 임계치(TH)와 오프셋량의 대소 관계를 판정한다. 오프셋량이 임계치(TH)보다 작을 때는, 광원 상태(촬상 상황)이 순광인 것으로 판단한다.

이와 달리, 오프셋량이 임계치(TH)보다 클 때는, 광원 상태가, 역광과 같이 "순광이 아닌 광"이라고 판단한다.

달리 말하면, 전술한 "오프셋"이 임계치(TH)보다 작을 때는, 순광/역광 판단 유닛(24)은, 광원의 상태가 순광인 것으로 판단하고, 편광 정보 중첩 계수(k)를 k₂로 설정한다.

이와 달리, 전술한 "오프셋"이 임계치(TH)보다 클 때는, 순광/역광 판단 유닛(24)은, 광원의 상태가 순광이 아닌 것으로 판단하고, 편광 정보 중첩 계수(k)를 k₁으로 설정한다.

오프셋의 산출에 있어서의 평균 연산을 "X, Y에 의한 화상 영역"에 대하여 실행한다. 화상 영역은, 빈 영역을 포함하는 화면 전체일 수도 있다.

그러나 빈 영역에서는, "태양의 위치에 따라 편광 상태가 다르다". 이 때문에, 좋은 결과를 얻기 위하여 빈 영역을 제거하는 것이 바람직하다.

예컨대 화상 처리 시스템이 도로의 "노면 상의 백선"을 검출할 목적으로 이용되는 경우에는, 광이 순광 이외의 광일 때에, 백선의 표면 반사가 노면보다 작고, 백선의 SDOP가 더 작다.

따라서, 이 경우에는, "편광 정보 중첩 계수(k₁)를 마이너스로 설정함으로써", 백선과 (백선보다 휘도가 낮은) 아스팔트의 휘도 차를 "강조할 수 있다".

광이 순광인 경우에는, "백선과 아스팔트 사이의 SDOP 관계"가 반전된다. 이에 따라, "편광 정보 중첩 계수(k₂)는 플러스 값이거나 0인 것"이 바람직하다.

k₂를 0으로 설정한 경우에는, "편광 정보의 중첩이 행해지지 않는다".

이상에서는, 편광 정보로서 SDOP를 이용했지만, 상기 수학식 1 내지 수학식 3에서 "SDOP" 대신에 전술한 DOP나 편광비를 이용할 수 있는 것은 물론이다.

편광 정보를 얻기 위하여, "감산 및 제산"이 이용된다. 이에 따라, 노이즈가 증폭되기 쉽다.

따라서, 얻어진 "SDOP 등의 편광 정보"를 나타내는 화상에, 가중평균이나 median필터 또는 "ε 필터"등의 노이즈 저감처리를 하는 것이 바람직하다.

예컨대, 취득한 편광 화상이 "포화 영역"을 가질 수도 있다.

수광량이 일정 레벨을 넘으면, 수광량이 그 레벨을 넘어 증가하더라도, 촬상 소자의 각 화소가 출력하는 출력값은 일정하고 변하지 않는다.

따라서, I_S(x, y) 및 I_P(x, y)가 "표현 가능한 최대치 이상, 또는 표현 가능한 최소치 이하"이면, 편광 정보를 연산에 의해 정상적으로 얻을 수 없다.

이 경우에는, "해당 영역에 대한 중첩"을 방지하도록, 편광 정보 중첩 계수(k)의 값을 0으로 설정하거나 또는 연산 불능으로 인하여 "일정한 상수를 출력"하는 것이 바람직하다.

도 3에 도시하는 실시형태에 있어서, 순광/역광 판단 유닛(24)을 생략할 수 있고, 수학식 1의 우측의 괄호에 곱해지는 편광 정보 중첩 계수(k)를 고정할 수 있다.

이 경우의 실시형태(화상 처리 시스템)는, 화상(IMP)에 포함된 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛(20)을 갖는다.

또한, 화상 처리 시스템은, 휘도 편광 중첩 유닛(20)에 의해 중첩됨으로써 얻어진 화상을 출력 화상(IMO)로서 출력하는 기능을 갖는다.

휘도 편광 중첩 유닛(20)은, 화상 상의 소정 범위에 있어서의 화상(IMP)의 편광 정보의 평균치를 고려하여, 이 값을 편광 정보로부터 감산한다.

이에 따라, 오프셋이 제거된 출력 화상(IMO)을 얻을 수 있다.

본 실시형태의 화상 처리 시스템에 따르면, "화면 전체의 편광 정보의 오프셋의 제거"에 의해, 순광과 역광 등의 광원의 상태의 영향을 대략 캔슬할 수 있다.

따라서, 광원 의존성을 유효하게 저감시켜 편광 정보를 이용할 수 있다.

전술한 실시형태에 따르면, 오프셋 제거 유닛(22)은, 편광 정보를 포함하는 화상의 차분 편광도(SDOP)를 편광 정보로서 고려하고, 수학식 1 내지 수학식 3의 연산에 기초한 화상 처리를 행한다.

그러나 전술한 바와 같이, 오프셋량을 연산하는 편광 정보로서는, 차분 편광도에 한정되지 않고 편광도(DOP)나 "편광비"를 이용할 수도 있다.

오프셋 제거 유닛(22)은, 화상의 편광 정보의 평균치를 연산하는 "소정 범위"로서, 화상의 전면으로부터 빈 영역을 제거함으로써 얻어진 영역을 채용하고 있다.

그러나 이로 한정되지 않으며, 상기 "소정 범위"는 "편광 정보를 포함하는 화상의 전면"일 수도 있다.

화상 처리 시스템의 실시형태를 설명하였으며, 이 화상 처리 시스템은 "순광/역광 판단 유닛"으로서 순광/역광 판단 유닛(24)을 갖는다.

순광/역광 판단 유닛(24)은, 편광 정보를 포함하는 화상의 편광 정보를 이용하여, 촬상 상태가 순광인지 역광인지를 판단하고 있다.

전술한 실시형태에 따르면, 순광/역광 판단 유닛(24)은 차분 편광도(SDOP)의 평균치를 이용하여, 촬상 상태가 순광인지 역광인지를 판단하고 있다.

그러나 이로 한정되지 않으며, 편광도(DOP)의 평균치 또는 편광비의 평균치를 이용하여, 촬상 상태가 순광인지 또는 역광인지를 판단할 수도 있다.

촬영 상태를 순광이라고 판단했을 때, 순광/역광 판단 유닛(24)은 휘도 화상에 대한 편광 정보의 중첩량(k)을 변화시킨다.

이 경우에, 촬영 상태를 순광이라고 판단했을 때, 순광/역광 판단 유닛(24)은, 휘도 화상에 대한 편광 정보의 중첩량을 0으로 변경할 수도 있다.

전술한 바와 같이, 편광 화상에 노이즈 저감 처리를 실시한 결과로서, 각 연산을 행하는 것이 바람직하다.

구체예를 이하에서 설명한다.

"구체예 1"

도 4a 및 도 4b는, 휘도 화상 I_bright(x, y)과 휘도 편광 중첩 화상 I_{bright_por}(x, y)을 도시한다.

이들 화상은, 수학식 1을 이용하여 연산된 것이며, 편광 정보 중첩 계수(k)를 연산하는 수학식 2 및 수학식 3에 있어서의 임계치(TH)는 "TH=-∞"이다.

수학식 2 및 수학식 3에 의해 연산되는 계수 k₁ 및 k₂에 대해서는, k₁=-300, k₂= 0을 만족하고 있다.

달리 말하면, 임계치(TH)가 -∞로 설정됨으로써, 편광 정보(SDOP)의 임의의 평균치는 임계치를 넘고, 임계치(TH)보다 작은 평균치는 존재하지 않는다.

따라서, k₂= 0이다.

달리 말하면, 구체예 1에서는, 촬상 상태가 "순광인지 또는 순광 이외의 광인지"는 판단되지 않는다.

도 4b는 이때의 휘도 화상 I_bright(x, y)을 도시한다. 도 4a는, 휘도 편광 중첩 화상 I_{bright_por}(x, y)을 도시한다.

휘도 편광 중첩 화상 I_bright _{_} _por(x, y)의 연산에서는, "광이 순광인지 또는 그 이외의 광인지 판별하지 않으며", 계수 k₁(순광 이외의 광) 및 k₂(광이 순광인 경우)는, 각각 일정하다.

전술한 바와 같이, k₁=-300이고, k₂=0이다. 이 때문에, 수학식 1에 있어서의 편광 정보 중첩 계수(k)를 k₁로 고려하고, 항상 동일한 양의 편광도(SDOP)가 휘도 화상에 중첩된다.

도 4b의 휘도 화상 I_bright(x, y)에서는, 노면 상의 "백선"은 보이지 않는다.

그러나, 도 4a에 도시하는 휘도 편광 중첩 화상 I_bright _{_} _por(x, y)에서는, "백선"이 분명히 보이고, 화상 내에서 인식될 수 있다.

또한, 갓길에서의 "아스팔트와 눈의 경계"도 확실히 인식된다.

도 4a에 도시하는 바와 같이, 휘도 화상에 편광 정보를 중첩시킴으로써, 도로 끝의 콘트라스트와 음영부의 콘트라스트가 향상되고, 습기가 많은 노면에 의한 불필요한 반사가 제거된다.

또한, "육안으로는 보이지 않는 블랙 아이스 등의 물체"도 검출된다.

따라서, 통상의 촬상 장치와 비교하여, 이 시스템은 보다 가혹한 상황에 대응할 수 있다.

출력되는 휘도 편광 중첩 화상에 대한 "백선 인식 등의 후속의 알고리즘"은, 종래 기술의 "휘도 화상에 대한 알고리즘"을 변경하지 말고 사용할 수 있다.

상기 예에서는, "편광 정보와 휘도 화상의 선형 합(수학식 1)"으로서 휘도 편광 중첩 화상을 생성한다. 그러나, "편광 정보와 휘도 화상의 곱"으로서 휘도 편광 중첩 화상을 생성하는 방법도 있다.

이 경우의 일례로서, 예컨대, 전술한 SDOP(x, y)를 편광 정보로서 이용하면, 중첩 연산은 다음의 수학식 4와 같게 된다.

그리고, 편광을 더한 특징량(화상)인 편광 휘도 중첩 화상 I_bright _- _por(x, y)를 얻는다.

달리 말하면, 수학식 4의 우측의 괄호 내의 양은 "편광 정보"로서 여겨진다. 이러한 편광 정보는, 휘도 편광 중첩 계수(k)를 이용하여 휘도 화상 I_bright(x, y)에 중첩된다.

연산은 각 화소마다 행해지고, SDOP(x, y)와 I_bright(x, y)의 "동일 좌표의 화소"로 곱 연산이 실행된다.

이하에 설명하는 바와 같이, X, Y에 의한 화상 영역에 있어서, "편광비의 평균치에 대하여, 순광시와 순광시 이외의 시간을 구별할 수 있는 임계치(TH)"를 휘도 편광 중첩 계수(k)에 대하여 설정한다.

이 임계치를 이용하여, 이하의 수학식 5 및 수학식 6에 따라서 k를 설정한다.

이 예에서는, SDOP 대신에 "편광비의 평균치"의 대소에 기초하여, 광이 순광인지 또는 순광 이외의 광(예컨대, 역광)인지를 판단하고 있다.

촬상 상황과 관련하여, 주간과 야간에서 "광원의 상태"가 다르다.

달리 말하면, 대낮은 태양 광선에 의한 조명 상태이고, 야간은 차의 전조등이나 가로등에 의한 조명 상태로 있다.

이 점을 고려하면, 휘도 편광 중첩 계수(k₁, k₂)의 값을 "주간과 야간에서 변경하는" 것이 바람직하다.

주간과 야간의 판별은, 전조등의 스위치의 온/오프 정보와, 자동 노광 조정을 하는 경우에는, 노광량에 기초하여 주위의 밝기를 검지하여 행할 수 있다.

또한, "직사 일광하인지 또는 어두운 부분인지" 등의 날씨 상태에 따라서 k₁, k₂의 값을 전환하면, 보다 좋은 효과를 얻을 수 있다.

직사 일광하에서는, 대상물의 조도가 높다. 따라서 자동 노광 조정을 하는 경우에는, 그 노광량의 검출에 기초하여 "직사 일광하인지 또는 어두운 부분에서의 조명인지"를 판단할 수 있다.

도 3 및 도 4를 참고로 설명한 실시형태에 따르면, 화상 처리 시스템은, 휘도 편광 중첩 유닛(20)에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛(도 3에 미도시)을 갖는다.

또한, 화상 처리 시스템은 광원 상황 판단 유닛(24)을 구비한다. 광원 상황 판단 유닛(24)은 "광원의 상황을 추정하고 판단"한다.

휘도 편광 중첩 유닛(20)은, 광원 정보 판단 유닛(24)의 출력에 따라서, 휘도 화상에 편광 정보를 중첩시키는 방법을 변화시킨다.

또한, 화상 처리 시스템은 "주야 판단 유닛"을 구비할 수도 있다. "주야 판단 유닛"은 촬상 유닛에 의한 촬상 시기가 주간인지 또는 야간인지를 추정하고 판단한다.

휘도 편광 중첩 유닛은, 주야 판단 유닛의 출력에 따라서, 휘도 화상에 편광 정보를 중첩시키는 방법을 변화시킬 수 있다.

주야 판단 유닛은, "전조등의 스위치의 온/오프 정보"를 취득하는 유닛과, 자동 노광 조정을 행할 때에, 노광량에 기초하여 주위의 밝기를 검지하는 유닛을 이용할 수 있다.

또한, 직사 일광이나 흐린 날씨 등의 날씨에 따라서, 휘도 편광 중첩 계수(k₁, k₂)의 값을 전환하여 중첩 방법을 변화시킬 수 있다.

이 경우의 "광원 정보 판단 수단"은, 자동 노광 제어에 있어서의 노광량의 검출에 기초하여 판단을 할 수도 있다.

도 3 및 도 4에 도시하는 실시형태에 따르면, 화상 처리 시스템은, "편광 정보 오프셋 제거 유닛"으로서 오프셋 제거 유닛(22)을 갖는다.

편광 정보를 포함하는 화상의 "소정 범위에 있어서의 편광 정보의 평균치"를 편광 정보로부터 감산함으로써 오프셋을 제거한다.

"오프셋을 제거한 편광 정보"가 휘도 화상에 중첩된다.

편광 정보 오프셋 제거 유닛은, 편광 정보를 포함하는 화상의 소정 범위에 있어서의 편광도 또는 차분 편광도의 평균치를, 편광도 또는 차분 편광도로 나눈다.

"편광 정보의 평균치를 구하는 소정 범위"는, 편광 정보를 포함하는 화상의 전면일 수도 있고, "편광 정보를 포함하는 화상의 전면으로부터 빈 영역을 제외한 영역"일 수도 있다.

또한, 화상 처리 시스템은 순광/역광 판단 유닛을 구비할 수도 있다. 순광/역광 판단 유닛은, 촬상된 화상의 정보에 기초하여, 편광 정보를 포함하는 화상의 촬상 상태가 순광인지 또는 역광인지를 추정하고 판단한다.

"순광/역광 판단 유닛"은, 편광 정보를 포함하는 촬상된 화상의 편광도 또는 차분 편광도에 기초하여, 촬상 상태를 판단할 수 있다(상기 수학식 2 및 수학식 3).

순광/역광 판단 유닛은, 편광 정보를 포함하는 화상의 "화면 전체의 편광비의 평균치"에 기초하여, 촬상이 순광으로 행해졌는지 또는 역광으로 행해졌는지를 판단할 수 있다(상기 수학식 5 및 수학식 6).

전술한 바와 같이, 순광/역광 판단 유닛이 촬상 상태가 순광이라고 판단했을 때, 휘도 화상에 대한 편광 정보의 중첩량을 0로 변경하는 것이 바람직하다.

순광/역광 판단 유닛이 촬상 상태가 순광이라고 판단했을 때, 휘도 화상에 대한 편광 정보의 중첩량을 변화시킬 수 있다.

이하의 실시형태에서와 같이, 휘도 편광 중첩 유닛은, 편광 정보를 포함하는 화상의 각 영역의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다.

이 실시형태에서는, 전술한 알고리즘과는 다른 알고리즘에 기초하여, 편광 정보를 휘도 화상에 중첩한다.

각종의 물체 인식 처리를 행할 때에 "인식 물체 이외의 불필요한 물체를 제거할 수 있으면", 오인식을 저감할 수 있다.

이와 같이 하면, 물체 인식 처리의 성능 향상 및 "처리량의 저감"이 가능하다.

이 경우의 "휘도 편광 중첩의 알고리즘"에 의해, "SDOP 등의 편광 정보의 값이 소정의 범위 내에 있는 휘도 화상을 출력한다".

편광 정보로서 SDOP(x, y)를 이용하여 상기 방법을 행하기 위한 식을 이하에 나타낸다.

I_bright _{_} _por(x, y)=k·I_bright(x, y) (E)

k=k₁ if SDOP(x, y)≥ TH (F)

k=k₂ if SDOP(x, y)<TH (G)

식 (E) 내지 (G)에 있어서, SDOP(x, y), I_bright _{_} _por(x, y), I_bright(x, y)는 전술한 바와 같이 정의된다.

임계치(TH)를 "편광 정보를 이용하여 검출 물체 이외의 물체를 출력 화상으로부터 제외"하도록 설정하고, SDOP(x, y)와 TH의 대소 관계에 따라, 편광 정보 중첩 계수(k)를 전환한다.

광원의 상태의 영향을 제거하기 위해서, 미리 "편광 정보 오프셋 제거 유닛"을 이용하여, 수학식 1에 기초하여 설명한 "오프셋의 감산"을 행한 결과를 이용할 수 있다는 점에 유의한다.

이와 같이, 오프셋을 감산한 후의 편광 정보를 이용하여 상기 식 (E) 내지 (G)를 연산하면, "광원의 각도의 영향"을 받기 어렵게 된다.

따라서, 옥외에서의 촬상 시에, "태양의 위치의 영향"을 줄일 수 있다.

식 (E) 내지 (G)의 연산에서는, 편광 정보로서 SDOP를 이용했지만, 물론 전술한 DOP나 편광비를 이용할 수도 있다.

SDOP 등의 "편광 정보를 나타내는 화상"에, 가중 평균, 미디언 필터(median filter) 및 ε 필터 등의 노이즈 저감 처리를 실행하여 얻은 결과에 기초한 연산을 하는 것이 바람직하다.

"얻어진 화상에 포화 영역"이 있는 경우에는, 이 영역에 대해서 "중첩을 그만두도록", k의 값을 0으로 설정하거나 연산 불능으로 간주하여 일정한 상수를 출력하는 것이 바람직하다.

전술한 실시형태의 구체적인 예를 이하에서 설명한다.

"구체예 2"

구체예 2는, 상기 연산식 (E) 내지 (G)에서, k₁=0, k₂=1, TH=0.15로 했을 때를 나타낸다.

달리 말하면, 이 예에서는, SDOP가 임계치(TH)보다 작게 되는 화소로부터는 "휘도 화상 자체"를 출력한다.

SDOP가 임계치(TH)보다 큰 화소에서는, "편광 정보의 중첩"을 행하지 않는다.

이 예는, 도로 상의 "차량의 수를 카운트하는 경우"를 상정한 것이다.

도 5a 및 도 5b는 얻어진 휘도 화상과 휘도 편광 중첩 화상을 도시한다.

도 5a는 휘도 편광 중첩 화상을 나타내고, 도 5b는 휘도 화상을 나타낸다.

도 5b에 도시하는 휘도 화상에서는, 차량의 광과 노면에 의한 반사광이 "차량 검출의 장애물"이 된다.

"차량의 광 및 노면에 의한 반사광"은 역광이다. 촬상 대상에 대한 편광 화상에서는, "SDOP"가 크다.

SDOP가 임계치(TH)를 넘을 정도로 큰 화소에서는, 휘도 화상의 출력을 0으로 설정한다.

SDOP가 임계치(TH)보다 작은 화소에서는, k₂=1이고, "휘도 화상 자체"를 출력한다.

이와 같이 "SDOP가 일정한 범위(TH<0.15) 내에 있는 화소"에서는, 휘도 화상에 휘도 편광 중첩 계수(k₂(=1))를 곱한다.

달리 말하면, 임계치(TH)를 적절한 상수로 설정한다. 이에 따라, "편광 정보를 이용하여, 검출 물체 이외의 물체"를 출력 화상으로부터 제외할 수 있다.

도 5a에 나타내는 휘도 편광 중첩 화상에서는, 휘도 화상에 있어서의 광과 노면에 의한 반사광이 SPOD를 이용한 연산에 의해 양호하게 제거되어 있다.

전술한 바와 같이, "SDOP가 일정한 범위(TH<0.15)로만 있는" 휘도 화상에 대하여 연산(식 E)을 행하면, "연산용 인식 알고리즘을 이용하기 전"에 불필요한 검출물체를 배제할 수 있다.

이에 따라, "인식되는 물체의 오인식"을 줄일 수 있다.

별도의 구체예를 설명한다.

"구체예 3"

구체예 3은, 연산식 (E) 내지 (G)에 있어서의 연산 파라미터로서, k₁=0, k₂=5, TH= 0.05로 한 경우이다. 도 6a 및 도 6b는 이 경우의 화상을 도시한다.

달리 말하면, 이 예에서는, 임계치(TH)를 0.05로 낮게 설정한다. 임계치(TH)를 넘는 SDOP의 화소에 대해서는, 휘도 정보를 곱한 휘도 편광 중첩 계수(k₁)를 0으로 설정한다.

또한, 임계치(TH)를 넘지 않는 SDOP의 화소에 대해서는, 휘도 정보를 곱한 휘도 편광 중첩 계수(k₂)를 5로 크게 설정한다.

도 6a는 휘도 편광 중첩 화상을 나타내고, 도 6b는 휘도 화상을 나타낸다.

도 6b의 휘도 화상은, "검출 대상의 차량 이외에, 배경을 포함한 다수의 것"을 나타내고 있다.

차량의 도장이 백색인지 흑색인지에 상관없이, "검출 대상으로서, 차량은 동일하게 고려된다". 그러나 휘도 화상에서는, 화상이 크게 다르다.

달리 말하면, 휘도 화상에 있어서의 앞쪽의 "거무스름한 차량"은, 휘도가 작고 "물체 인식이 어려워지기" 쉽다.

이와 같이, 휘도 화상의 "휘도"를 그대로 검출용의 특징량으로서 이용하면, 검출 정밀도를 향상시키기 어렵다.

도 6b의 휘도 화상으로부터 분명한 바와 같이, 촬상 상황은 역광이 아니다. 따라서, 편광 정보인 SDOP은, 차량의 도장의 컬러에 상관없이 작다.

따라서 SDOP가 작아지는 화소에서는, 휘도 화상에 대한 정보를 휘도 편광 중첩 계수(k₂(=5))로 강조한다. 이에 따라 화상을 "휘도가 큰 화상"으로 표현할 수 있다.

도 6a에 도시하는 "휘도 편광 중첩 화상"에서는, SDOP를 이용한 휘도 편광 중첩에 의해, "차량 이외의 많은 부분"을 삭제할 수 있다.

흑색 차량과 백색 차량이 함께 "동일하게 백색으로 보인다". 휘도 편광 중첩 화상에서의 휘도치를 그대로 "검출용의 특징량"으로 사용할 수 있다.

차량의 검출에 이용될 때에, 휘도 편광 중첩 유닛은, 차량으로부터의 반사광 이외의 광이 제거되도록, 휘도 화상에 기초하는 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다.

전술한 예에서는, 휘도 편광 중첩 유닛은, 편광 정보를 포함하는 화상의 각 영역의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다(식 (F),(G)).

각 영역의 차분 편광도(SDOP)의 값에 기초하여, 휘도 편광 중첩 유닛은, 휘도 화상에 기초하는 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단한다.

그러나 한정의 의도는 없이, 휘도 편광 중첩 유닛은, 편광도(DOP) 및 편광비에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다.

구체예 3에서와 같이, 휘도 편광 중첩 유닛은, "반사광이 제거되도록 휘도 화상에 기초한 값"을 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다.

차량의 검출에 이용될 때에, 휘도 편광 중첩 유닛은, 차량으로부터의 반사광 이외의 광이 제거되도록 휘도 화상에 기초한 휘도를 출력할 것인지 또는 고정치를 출력할 것인지를 판단할 수 있다.

전술한 각 실시형태에서는, "휘도 화상에 있어서의 포화 영역을 판단하는 포화 영역 판단 유닛"을 구비할 수 있다.

이 경우, 휘도 편광 중첩 유닛은, 포화 영역에 대해서 중첩 방법을 변경할 수 있고, 포화 영역에 대해서는 편광 정보의 중첩량을 0으로 설정할 수 있다.

대안으로, 포화 영역에 대해서는, 휘도 편광 중첩 유닛은, "출력 화상의 대응 영역에 상수를 출력"할 수 있다.

도 1을 참조로 설명한 촬상 유닛(10)은, 촬상 소자(12) 상에 영역 분할된 편광 필터(132)를 갖는다.

따라서, 상기 각 실시형태에 기초하여, "편광 정보를 포함하는 화상에 대하여, 편광 정보를 각 화소의 휘도의 변화로서 휘도 화상에 중첩하고, 중첩된 화상을 출력 화상으로서 출력하는 화상 처리 방법"을 실시할 수 있다.

상기 설명에 따르면, 촬상 소자에의 입사광이 촬상 소자의 촬영 범위를 넘는 경우(화소의 출력값이 포화되 경우)에는, 편광 정보가 휘도 화상에 중첩되지 않는다.

그러나, 편광 화상으로부터 얻어지는 휘도 화상에는, 포화 영역뿐만 아니라 "포화되어 있지 않지만, 포화에 가까운 영역"도 존재한다.

"포화에 가까운 영역"의 휘도 화상에 대하여, 편광 정보를 중첩시키면, 적정한 휘도 편광 중첩 화상을 얻을 수 없는 것으로 여겨진다.

이러한 상황에 대처하기 위해서는, 상기 "포화되어 있지 않지만, 포화에 가까운 영역"에 대하여 이하의 조치가 유효하다.

달리 말하면, 포화에 가까운 영역과 함께 그 영역의 "포화도"를 판단한다.

포화에 가까운 영역에서는 "포화도에 기초하여, 휘도 화상과 편광 정보의 중첩에 있어서의 비율을, 포화에 가까울수록 휘도 화상의 비율이 커지도록 변화시킨다".

전술한 바와 같이, 휘도 화상 I_bright(x, y)는, 다음의 식 (C)에 의해서 주어진다.

I_bright(x, y)={I_S(x, y)+ I_P(x, y)}/2 (C)

달리 말하면, 휘도 화상 I_bright(x, y)는, 위치(x, y)에 의해 특정되는 화소의 휘도에 의해 특정된다.

그리고, 각 화소마다, I_bright(x, y)가 포화되어 있는가 포화에 가까운가를 판단하고, 포화도를 추가로 판단한다.

설명을 간단하게 하기 위해, 위치(x, y)에의 화소의 휘도 I_bright(x, y)가 포화되어 있을 때의 값을 "1"로 설정한다. I_bright(x, y)가 0과 1 사이에서 변화되는 것으로 한다.

"I_bright(x, y)≥0.95"의 영역은 "포화에 극히 가까운 영역"으로 여겨진다.

"I_bright(x, y)≥0.85"의 영역은 "포화에 가까운 영역"으로 여겨진다.

"I_bright(x, y)<0.85"의 영역은 "포화되지 않은 영역"으로 여겨진다.

도 7을 참조하면, 스타트 후에, 우선 스텝 S1에서 "화소", 즉, (x, y)의 위치의 화소"가 포화되어 있는가 아닌가가 판단된다.

"I_bright(x, y)= 1"이면, 화소는 포화되어 있다.

화소가 포화되어 있으면, 공정은 스텝 S3으로 진행하고, 이 경우 "그 화소에 있어서는, 편광 정보의 중첩"은 행하지 않는다.

화소가 포화되지 않은 경우에는, 공정은 스텝 S2로 진행하고, "화소"가 "포화에 극히 가까운 영역인가 아닌가"가 판단된다.

"1>I_bright(x, y)≥0.95"이면, 화소는 "포화에 극히 가까운 영역"이다. 이 경우에도, 공정은 스텝 S3으로 진행하고, 이 영역(화소)에서도, "편광 정보의 중첩"은 행하지 않는다.

"I_bright(x, y)<0.95"이면, 공정은 스텝 S4로 진행하고, 화소가 "포화에 가까운 영역인가 아닌가"가 판단된다.

"I_bright(x, y)<0.85"이면, 화소는 "포화에 가까운 영역이 아닌" 것으로 판단된다. 그 후, 공정은 스텝 S5로 진행하여, "편광 정보의 중첩"을 행한다.

"0.95>I_bright(x, y)≥0.85"이면, 화소는 "포화에 가까운 영역인" 것으로 판단된다.

이 경우에, 공정은 스텝 S6으로 진행하고, 편광 정보의 중첩의 비율을 변화시킨다.

달리 말하면, I_bright(x, y)의 값이 상한 0.95에 근접할수록, 휘도 화상의 비율이 커지도록, 중첩 비율을 변화시킨다.

연산식에 의해 "중첩 비율"을 변화시키는 일례를 설명한다.

우선, 화소가 "포화에 가까운 영역"이 아닌 것으로 판단된 경우에는, 전술한 바와 같이, 편광 정보의 중첩을 행한다.

달리 말하면, 이 경우의 화소에서의 휘도 편광 화상으로서의 출력 Output(x, y)는, 수학식 1의 우측에 주어지는 "Ibright_por(x, y)"이다.

화소가 "포화 영역" 또는 "포화에 매우 가까운 영역"인 경우에는, 전술한 바와 같이, "편광 정보의 중첩"은 행하지 않는다.

따라서, 이 경우의 대응 화소에서의 출력 Output(x, y)은 "I_bright(x, y)"이다.

화소가 "포화에 가까운 영역"인 경우에는, I_bright(x, y)의 값이 상한 0.95에 근접할수록, 휘도 화상의 비율이 커지도록, 중첩 비율을 변화시킨다.

이를 행하기 위하여, 예컨대, 다음의 함수 ratio(x, y)를 정의한다.

Ratio(x, y)={I_bright(x, y)-a}/b

출력 Output(x, y)는, 이하의 바와 같이 연산되어 결정된다.

Output(x, y)=ratio(x, y)·I_bright(x, y)+{1-ratio(x, y)}·I_bright _{_} _por(x, y)

상기 a와 b는 "화소의 휘도에 의해 포화를 정의하는 상수"이다.

"a 및 b"가 클수록, 포화도는 작다. 반대로, "a 및 b"가 작을수록 포화도는 크다.

"a 및 b"를 "0.95>I_bright(x, y)≥0.85"의 범위 내에 있는 I_bright(x, y)에 따라 설정하고, 전술한 바와 같이, "중첩 비율"을 변화시킨다.

전술한 바와 같이, 포화 영역 판단 유닛은, 각 화소마다 "포화도(화소가 포화되어 있는가, 포화에 매우 가까운가, 또는 포화에 가까운가)"를 판단할 수 있다.

도 1에 있어서의 휘도 편광 중첩 유닛(20)은 이러한 기능을 갖는다.

수학식 1에 있어서의 편광 정보 중첩 계수(k)를 환경에 따라 변경하는 경우, 예컨대, 편광 정보 중첩 계수(k)를 광이 순광일 때와 역광일 때에 전환하는 경우에 대해 설명하였다.

그러나, 환경 대신에, 피사체의 종류에 따라서 편광 정보 중첩 계수(k)를 변경하는" 것이 바람직한 경우도 있다.

예컨대, 차량 탑재 카메라 등은, 노면 및 신호기를 검지하는 것이 중요하다.

노면과 같이 "백선을 포함하는 편광 의존성이 있는 물체"에 대해서는, 노이즈가 다소 증가하더라도 편광 정보 중첩 계수(k)를 증가시키는 것이 바람직하다.

반면, 신호기와 같이 편광 의존성이 없는 물체에 대해서는, 노이즈를 줄이는 것이 바람직하기 때문에, 편광 정보 중첩 계수(k)를 줄이는 것이 바람직하다.

이를 위한 조치의 하나의 유형으로서, "각 피사체가 전형적으로 존재하는 화면 상의 위치"에 따라서 편광 정보 중첩 계수(k)를 변경한다.

전술한 예의 노면과 신호기를 고려하면, 촬상 유닛에 의해 촬상되는 화상에 있어서, 노면은 일반적으로 "화상의 하부"에 존재한다.

따라서, 예컨대, 노면이 존재하는 "화상 하부"에서는 편광 정보 중첩 계수(k)를 크게 설정하고, 화면 상부에서는, 편광 정보 중첩 계수(k)를 작게 설정한다.

이와 같이 배열함으로써, 필요한 노면 영역에서 편광 정보를 유효하게 활용할 수 있다. 편광 정보가 의미를 갖지 않는 다른 영역에서는, 편광 정보를 이용하지 않고, 휘도 화상을 그대로 사용할 수 있다.

이와 같이 배열함으로써 "노이즈가 적은 화상"을 취득할 수 있다.

이 예에서는, 촬상 화상의 상부와 하부 사이에서 편향 정보 중첩 계수(k)를 변경하고 있다. 그러나 물론, 편향 정보 중첩 계수(k)를 변경하는 영역이 이로 한정되는 것은 아니다.

화상 상에서 "편광 정보 중첩 계수(k)를 연속적으로 변경하는" 것에 의해, 변경의 경계에서의 불연속의 영향을 피할 수 있다.

도 8은, 화상 처리 시스템(100)을 차량(500)에 탑재하여 차량 제어를 행하는 실시형태를 도시한다.

화상 처리 시스템(100)은, 전술한 "촬상 유닛, 휘도 편광 중첩 유닛, 화상 처리/화상 인식 유닛"를 구비하고, 전술한 바와 같이, 화상 인식을 행한다.

화상 처리 시스템(100)의 촬상 유닛은, 차량(500)의 고정 위치에 설치되어 도로 상황을 촬상한다.

촬상 유닛에 의해 촬상된 휘도 정보는, 전술한 바와 같이 편광 정보에 중첩된다. 이와 같이 얻어진 결과에 기초하여, 화상 처리/화상 인식 유닛이 소정의 인식 작업을 행한다.

화상 처리/화상 인식 유닛에 의한 인식 결과는, 기기 제어 유닛으로서의 차량 제어 유닛(200)에 송출된다.

입력된 인식 결과에 기초하여, 차량 제어 유닛(200)은, 차량(500)의 브레이크 및 스티어링 조작의 어시스트 등의 차량 제어를 행한다.

"화상 처리/화상 인식 유닛"은, 화상 처리 시스템과 일체로 형성될 수도 있고, 화상 처리 시스템과는 별도로 제공될 수도 있다는 점에 유의한다.

"화상 처리/화상 인식 유닛"을 화상 처리 시스템과 별개로 제공하는 경우에는, 화상 처리/화상 인식 유닛은, 화상 처리 시스템으로부터 신호(IMO)를 받아 필요한 화상 처리/화상 인식을 행하고, 얻어진 결과를 차량 제어 유닛(200)에 출력한다.

도 8은, 촬상 처리 시스템을 차량 제어에 이용하는 경우를 나타내고 있다. 그러나 촬상 처리 시스템의 용도는 이로 한정되지 않고, 예컨대 차량 이외의 이동체(예컨대, 이동 로봇, 선박, 항공기), 공장 자동화(FA)용 로봇, 농업 시스템에도 적용 가능하다.

도 9는, 화상 처리 시스템을 실현하는 하드웨어인 컴퓨터 시스템의 일례를 도시하는 블록도이다.

컴퓨터 시스템(1000)은, 버스(110), CPU(120), ROM(130), RAM(140), HDD(하드디스크)(150), 및 I/O(160)을 갖추고 있다.

CPU(120), ROM(130), RAM(140), HDD(150) 및 I/O(160)는 모두 버스(110)에 접속되고, 버스(110)를 통하여 정보를 교환한다.

I/O(160)에는, 도 1에 도시된 촬상 유닛(10)이 접속된다.

RAM(140)은, CPU(120)의 작업 영역으로서 이용된다.

ROM(130; 개서 가능한 것을 포함)은, 각종 제어 프로그램, 테이블, 파라미터 등의 고정 정보의 기록 영역으로서 이용된다.

"화상 처리 프로그램"이, 전술한 휘도 편광 중첩 유닛(20), 화상 처리/화상 인식 유닛(30) 및 차량 제어 유닛(200)의 기능을 실현한다. 광학 드라이브 장치(도시 생략)에 DVD-ROM 등의 기록 매체를 세트된다. 상기 화상 처리 프로그램은 HDD(250)에 일단 저장된 후에, 필요에 따라서 RAM(140)에 로드된다.

화상 처리의 대상으로 되는 화상은 촬상 유닛(10)으로부터 I/O(160)에 입력된다.

전술한 바와 같이, 발명에 따르면, 이하에 설명하는 바와 같은 "화상 처리 시스템" 및 "화상 처리 방법"을 제공할 수 있다.

[1-1]

화상의 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛을 구비하고,

상기 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을 출력 화상으로서 출력하는 기능을 갖는 화상 처리 시스템.

[1-2]

1-1에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛을 구비하는 화상 처리 시스템.

[1-3]

1-1 또는 1-2에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보와 휘도 화상의 선형 합으로서 중첩을 실행하는 것인 화상 처리 시스템.

[1-4]

1-1 또는 1-2에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보와 휘도 화상의 곱으로서 중첩을 실행하는 것인 화상 처리 시스템.

[1-5]

1-1 내지 1-4 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 휘도 화상에 중첩되는 편광 정보는 편광도 또는 차분 편광도인 것인 화상 처리 시스템.

[1-6]

1-1 내지 1-4 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 휘도 화상에 중첩되는 편광 정보는 편광비인 것인 화상 처리 시스템.

[1-7]

1-1 내지 1-6 중 어느 하나에 따른 화상 처리 시스템에 있어서, 휘도 화상에의 중첩에 앞서, 편광 정보의 노이즈를 제거하는 노이즈 저감 유닛을 구비하는 화상 처리 시스템.

[1-8]

1-1 내지 1-7 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛과,

상기 촬상 유닛에 의한 촬상에 있어서의 광원의 상황을 추정하고 판단하는 광원 상황 판단 유닛을 구비하고,

상기 휘도 편광 중첩 유닛은, 상기 광원 정보 판단 유닛의 출력에 따라서, 휘도 화상에 대하여 편광 정보를 중첩시키는 방법을 변화시키는 것인 화상 처리 시스템.

[1-9]

1-1 내지 1-8 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛과,

상기 촬상 유닛에 의한 촬상의 시기가 주간인가 야간인가를 추정하고 판단하는 주야 판단 유닛을 구비하고,

상기 휘도 편광 중첩 유닛은, 상기 주야 판단 유닛의 출력에 따라서, 휘도 화상에 편광 정보를 중첩시키는 방법을 변화시키는 것인 화상 처리 시스템.

[1-10]

1-1 내지 1-9 중 어느 하나에 따른 화상 처리 시스템에 있어서, 편광 정보를 포함하는 화상의 소정 범위에 있어서 편광 정보의 평균치를, 상기 편광 정보로부터 감산하여 오프셋을 제거하는 편광 정보 오프셋 제거 유닛을 구비하고,

상기 편광 정보 오프셋 제거 유닛에 의해 오프셋이 제거된 편광 정보를 휘도 화상에 중첩하는 것인 화상 처리 시스템.

[1-11]

1-10에 따른 화상 처리 시스템에 있어서, 상기 편광 정보 오프셋 제거 유닛은, 편광 정보를 포함하는 화상 상의 소정의 범위에 있어서 편광도 또는 차분 편광도의 평균치를, 편광도 또는 차분 편광도로 나누는 것인 화상 처리 시스템.

[1-12]

1-10 또는 1-11에 따른 화상 처리 시스템에 있어서, 편광 정보의 평균치를 구하는 소정 범위는, 편광 정보를 포함하는 화상의 전면(entire area)인 것인 화상 처리 시스템.

[1-13]

1-10 또는 1-11에 따른 화상 처리 시스템에 있어서, 편광 정보의 평균치를 구하는 소정 범위는, 편광 정보를 포함하는 화상의 전면으로부터 빈 영역을 제거함으로써 얻어지는 영역인 것인 화상 처리 시스템.

[1-14]

1-1 내지 1-13 중 어느 하나에 따른 화상 처리 시스템에 있어서, 편광 정보를 포함하는 화상이 순광으로 촬상되었는지 또는 역광으로 촬상되었는지를, 촬상된 화상의 정보에 기초하여, 추정하고 판단하는 순광/역광 판단 유닛을 구비하는 화상 처리 시스템.

[1-15]

1-14에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛은, 편광 정보를 포함하는 촬상된 화상의 편광도 또는 차분 편광도에 기초하여, 촬상이 순광으로 행해졌는지 또는 역광으로 행해졌는지를 판단하는 것인 화상 처리 시스템.

[1-16]

1-14에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛은, 편광 정보를 포함하는 촬상된 화상의 화면 전체의 편광비의 평균치에 기초하여, 촬상이 순광으로 행해졌는지 또는 역광으로 행해졌는지를 판단하는 것인 화상 처리 시스템.

[1-17]

1-14 내지 1-16 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛이 촬상이 순광으로 행해진 것으로 판단했을 때, 휘도 화상에 대한 편광 정보의 중첩량이 0으로 설정되는 것인 화상 처리 시스템.

[1-18]

1-14 내지 1-16 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛이 촬상이 순광으로 행해진 것으로 판단했을 때, 휘도 화상에 대한 편광 정보의 중첩량을 변화시키는 화상 처리 시스템.

[1-19]

1-1 내지 1-18 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보를 포함하는 화상의 각 영역의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.

[1-20]

1-19에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 각 영역의 편광도의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.

[1-21]

1-19에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 각 영역의 차분 편광도의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.

[1-22]

1-19에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 각 영역의 편광비의 값에 기초하여, 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.

[1-23]

1-19에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 반사광이 제거되도록 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.

[1-24]

1-19에 따른 화상 처리 시스템에 있어서, 차량의 검출에 이용되며, 상기 휘도 편광 중첩 유닛은, 차량으로부터의 반사광 이외의 광이 제거되도록 휘도 화상에 기초한 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 화상 처리 시스템.

[1-25]

1-1 내지 1-19 중 어느 하나에 따른 화상 처리 시스템에 있어서, 휘도 화상에 있어서의 포화 영역을 판단하는 포화 영역 판단 유닛을 구비하고,

상기 휘도 편광 중첩 유닛은, 포화 영역에 대해서는, 중첩 방법을 변경하는 것인 화상 처리 시스템.

[1-26]

1-25에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 포화 영역에 대해서는, 편광 정보의 중첩량을 0로 설정하는 것인 화상 처리 시스템.

[1-27]

1-25에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛은, 포화 영역에 대해서는, 출력 화상의 대응 영역에 상수를 출력하는 것인 화상 처리 시스템.

[1-28]

1-25 내지 1-27 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 포화 영역 판단 유닛은, 휘도 화상에 있어서의 포화 영역에 더하여, 포화에 가까운 영역과 이 영역에서의 포화도를 판단하는 기능을 갖고,

상기 포화에 가까운 영역에서는, 상기 포화도에 따라서, 휘도 화상과 편광 정보 사이의 중첩 비율을, 포화에 가까울수록 휘도 화상의 비율이 커지도록 변화시키는 것인 화상 처리 시스템.

[1-29]

1-1 내지 1-28 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛을 구비하고,

상기 휘도 편광 중첩 유닛은, 촬상 유닛에 의해 촬상된 화상의 위치에 따라서, 휘도 화상에 편광 정보를 중첩시키는 방법을 변화시키는 것인 화상 처리 시스템.

[1-30]

1-1 내지 1-29 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛을 구비하고,

상기 촬상 유닛은, 촬상 소자 상에 영역 분할된 편광 필터를 갖는 것인 화상 처리 시스템.

[1-31]

1-1 내지 1-30 중 어느 하나에 따른 화상 처리 시스템을 이용하여 실행되는 화상 처리 방법으로서,

편광 정보를 포함하는 화상에 대하여, 상기 편광 정보를 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 단계와,

중첩된 화상을 출력 화상으로서 출력하는 단계

를 포함하는 화상 처리 방법.

[2-1]

상기 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을 출력 화상으로서 출력하는 기능을 갖는 화상 처리 시스템에 있어서,

상기 휘도 편광 중첩 유닛은, 편광 정보로부터 오프셋량을 감산함으로써 오프셋을 제거하는 오프셋 제거 유닛을 구비하고, 상기 오프셋량은 편광 정보를 포함하는 화상 상의 소정 범위에서의 편광 정보의 평균치인 것인 화상 처리 시스템.

[2-2]

2-1에 따른 화상 처리 시스템에 있어서, 상기 오프셋 제거 유닛은, 편광 정보를 포함하는 화상의 편광도 또는 차분 편광도를 편광 정보로 하고, 상기 화상 상의 소정 범위에서의 상기 편광 정보의 평균치를 오프셋량으로 하여, 상기 편광 정보로부터 오프셋량을 감산하는 것인 화상 처리 시스템.

[2-3]

2-1에 따른 화상 처리 시스템에 있어서, 상기 오프셋 제거 유닛은, 편광 정보를 포함하는 화상의 편광비를 편광 정보로 하고, 상기 화상 상의 소정 범위에서의 상기 편광 정보의 평균치를 오프셋량으로 하여, 상기 편광 정보로부터 오프셋량을 감산하는 것인 화상 처리 시스템.

[2-4]

2-1 내지 2-3 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 오프셋 제거 유닛은, 편광 정보를 포함하는 화상의 전면을 소정 범위로 하고, 상기 편광 정보의 평균치를 오프셋량으로 하는 것인 화상 처리 시스템.

[2-5]

2-1 내지 2-3 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 오프셋 제거 유닛은, 편광 정보를 포함하는 화상의 전면으로부터 빈 영역을 제거함으로써 얻어진 영역을 소정 범위로 하고, 상기 편광 정보의 평균치를 오프셋량으로 하는 것인 화상 처리 시스템.

[2-6]

2-1 내지 2-5 중 어느 하나에 따른 화상 처리 시스템에 있어서, 화상의 편광 정보를 이용하여, 촬상 상태가 순광인지 또는 역광인지를 판단하는 순광/역광 판단 유닛을 구비하는 화상 처리 시스템.

[2-7]

2-6에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛은, 편광도 또는 차분 편광도의 평균치를 이용하여, 촬상 상태가 순광인지 또는 역광인지를 판단하는 것인 화상 처리 시스템.

[2-8]

2-6에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛은, 편광비의 평균치를 이용하여, 촬상 상태가 순광인지 또는 역광인지를 판단하는 것인 화상 처리 시스템.

[2-9]

2-6 내지 2-8 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 순광/광 판단 유닛이 촬영 상태를 순광으로 판단했을 때, 휘도 화상에의 편광 정보의 중첩량을 변화시키는 것인 화상 처리 시스템.

[2-10]

2-9에 따른 화상 처리 시스템에 있어서, 상기 순광/역광 판단 유닛이 촬영상태를 순광으로 판단했을 때, 휘도 화상에의 편광 정보의 중첩량을 0으로 설정하는 것인 화상 처리 시스템.

[2-11]

2-1 내지 2-10 중 어느 하나에 따른 화상 처리 시스템에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛을 구비하고,

[2-11]

2-1 내지 2-11 중 어느 하나에 따른 화상 처리 시스템을 이용하여 실행되는 화상 처리 방법으로서,

편광 정보를 포함하는 화상에 대하여, 상기 편광 정보를 각 화소의 휘도의 변화로서 휘도 화상에 중첩하는 단계와,

중첩된 화상을 출력 화상으로서 출력하는 단계

를 포함하는 화상 처리 방법.

또한, 화상 처리 시스템 및 화상 처리 방법을 이용하여, 전술한“차량 제어”를 행하는 기기 제어 시스템 및 기기 제어 방법을 실현할 수 있다.

완벽하고 명확한 개시를 위하여 특정의 실시형태와 관련하여 본 발명을 설명하였지만, 첨부의 청구범위가 그와 같이 한정되는 것은 아니며, 청구범위는, 본원 명세서에서 설명하는 기본 교시 내에서 당업자가 알 수 있는 모든 변형예 및 수정예를 구체화하는 것으로 해석되어야 한다.

Claims

화상 처리 시스템에 있어서,
편광 정보를 포함하는 화상의 상기 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛;
상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛; 및
상기 촬상 유닛에 의한 촬상에 있어서의 광원 상황을 추정 및 판단하는 광원 상황 판단 유닛
을 포함하고,
상기 화상 처리 시스템은, 상기 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을 출력 화상으로서 출력하는 기능을 갖고,
상기 휘도 편광 중첩 유닛은, 상기 광원 상황 판단 유닛의 출력에 따라서, 휘도 화상에 대한 편광 정보를 중첩시키는 방법을 변화시키는 것인 화상 처리 시스템.
화상 처리 시스템에 있어서,
편광 정보를 포함하는 화상의 상기 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛; 및
편광 정보를 포함하는 화상의 미리 정해진 범위에 있어서의 편광 정보의 평균치를, 상기 편광 정보로부터 감산하는 편광 정보 오프셋 제거 유닛
을 포함하고,
상기 화상 처리 시스템은, 상기 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을 출력 화상으로서 출력하는 기능을 갖고,
상기 편광 정보 오프셋 제거 유닛에 의해 상기 미리 정해진 범위에 있어서의 편광 정보의 평균치가 감산된 편광 정보가 휘도 화상에 중첩되는 것인 화상 처리 시스템.
제1항 또는 제2항에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보와 휘도 화상의 선형 합으로서 중첩을 실행하는 것인 화상 처리 시스템.
제1항 또는 제2항에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보와 휘도 화상의 곱으로서 중첩을 실행하는 것인 화상 처리 시스템.
제1항 또는 제2항에 있어서, 상기 휘도 편광 중첩 유닛에 의해 휘도 화상에 중첩되는 편광 정보는, 편광도 또는 차분 편광도 또는 편광비인 것인 화상 처리 시스템.
제2항에 있어서, 상기 휘도 편광 중첩 유닛에 의해 중첩 처리되며 편광 정보를 포함하는 화상을 촬상하는 촬상 유닛을 포함하는 화상 처리 시스템.
삭제
제2항에 있어서, 상기 편광 정보의 평균치를 구하는 미리 정해진 범위가, 편광 정보를 포함하는 화상의 전면인 것인 화상 처리 시스템.
제2항에 있어서, 편광 정보의 평균치를 구하는 미리 정해진 범위가, 편광 정보를 포함하는 화상의 전면으로부터 빈 영역을 제거함으로써 얻은 영역인 것인 화상 처리 시스템.
제1항 또는 제2항에 있어서, 촬상된 상기 화상의 정보에 기초하여, 편광 정보를 포함하는 화상이 순광으로 촬상되었는지 또는 역광으로 촬상되었는지를 추정 및 판단하는 순광/역광 판단 유닛을 포함하는 화상 처리 시스템.
제10항에 있어서, 상기 순광/역광 판단 유닛은, 편광 정보를 포함하는 촬상 화상의 편광도 또는 차분 편광도에 기초하여, 촬상이 순광으로 행해졌는지 또는 역광으로 행해졌는지를 판단하는 것인 화상 처리 시스템.
제10항에 있어서, 상기 순광/역광 판단 유닛은, 편광 정보를 포함하는 촬상 화상의 화면 전체의 편광비의 평균치에 기초하여, 촬상이 순광으로 행해졌는지 또는 역광으로 행해졌는지를 판단하는 것인 화상 처리 시스템.
제10항에 있어서, 상기 순광/역광 판단 유닛이 촬상이 순광으로 행해진 것으로 판단했을 때, 휘도 화상에 대한 편광 정보의 중첩량을 변화시키는 것인 화상 처리 시스템.
제1항 또는 제2항에 있어서, 상기 휘도 편광 중첩 유닛은, 편광 정보를 포함하는 화상의 각 영역의 값에 기초하여, 휘도 화상에 기초하는 값을 출력할 것인지 또는 고정치를 출력할 것인지를 판단하는 것인 화상 처리 시스템.
화상 처리 시스템에 있어서,
편광 정보를 포함하는 화상의 상기 편광 정보를, 각 화소의 휘도의 변화로서 휘도 화상에 중첩시키는 휘도 편광 중첩 유닛; 및
휘도 화상에 있어서의 포화 영역을 판단하는 포화 영역 판단 유닛
을 포함하고,
상기 화상 처리 시스템은, 상기 휘도 편광 중첩 유닛에 의해 중첩됨으로써 얻어진 화상을 출력 화상으로서 출력하는 기능을 갖고,
상기 휘도 편광 중첩 유닛은, 포화 영역에 대하여 중첩 방법을 변경하는 것인 화상 처리 시스템.
제15항에 있어서, 상기 휘도 편광 중첩 유닛은, 포화 영역에 대해서는, 편광 정보의 중첩량을 0으로 하는 것인 화상 처리 시스템.
제15항에 있어서, 상기 휘도 편광 중첩 유닛은, 포화 영역에 대해서는, 출력 화상의 대응 영역에 상수를 출력하는 것인 화상 처리 시스템.
제15항에 있어서, 상기 포화 영역 판단 유닛은, 휘도 화상에 있어서의 포화 영역에 추가로, 포화에 근접한 영역과 이 영역에서의 포화도를 판단하는 기능을 갖고,
상기 포화에 근접한 영역에서는, 상기 포화도에 따라서, 휘도 화상과 편광 정보 사이의 중첩 비율을, 포화에 가까울수록 휘도 화상의 비율이 커지도록 변화시키는 것인 화상 처리 시스템.
제1항 또는 제6항에 있어서,
상기 휘도 편광 중첩 유닛은, 촬상 유닛에 의해 촬상된 화상의 위치에 따라서, 휘도 화상에 편광 정보를 중첩시키는 방법을 변화시키는 것인 화상 처리 시스템.
제1항 또는 제6항에 있어서,
상기 촬상 유닛은, 촬상 소자 상에 영역 분할된 편광 필터를 갖는 것인 화상 처리 시스템.