KR20190033560A - 화상 처리 장치, 화상 처리 방법, 및 촬상 장치 - Google Patents

Abstract

본 기술은, 개별 조정 공정을 필요로 하지 않고, 각 렌즈 고유의 특성에 따라 화상을 보정할 수 있도록 하는 화상 처리 장치, 화상 처리 방법, 및 촬상 장치에 관한 것이다. 본 기술의 제1 측면인 화상 처리 장치는, 취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와, 산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여 촬상된 화상을 보정하는 보정부를 구비한다. 본 기술은, 디지털 카메라에 적용할 수 있다.

Description

화상 처리 장치, 화상 처리 방법, 및 촬상 장치

본 기술은, 화상 처리 장치, 화상 처리 방법, 및 촬상 장치에 관한 것으로, 특히, 부분 블러(partial blur) 등의 렌즈 고유의 화상 열화를 보정할 수 있도록 한 화상 처리 장치, 화상 처리 방법, 및 촬상 장치에 관한 것이다.

촬상 장치의 각 렌즈 고유의 문제에 기인하는 화상 열화로 부분 블러가 알려져 있다. 부분 블러는, 렌즈/카메라 모듈의 제조 공정에 있어서 렌즈의 제조 오차나 각 부재의 조립 오차가 주요인이며, 각 개체에 따라 그 정도가 다르므로, 이를 효과적으로 보정하기 위해서는, 제조 공정 중에 개별 조정 공정이 필요하다. 구체적으로는, 소정의 모양을 촬영함으로써 각 렌즈 고유의 특성을 측정하여, 측정 결과에 따른 개별적 해상도 보정을 행하게 된다(예를 들면, 특허문헌 1 참조).

일본특허공개공보 특개2015-216576호

상술한 것처럼, 제조 공정에 개별 조정 공정을 포함하면 비용이 높아지게 된다. 또한, 렌즈를 부딪치거나 낙하시키는 등 출하 후의 사고에 기인하여 생길 수 있는 부분 블러 등의 화상 열화에 대하여, 이를 보정할 수 없었다.

본 기술은 이러한 상황을 감안하여 이루어진 것으로, 제조 공정의 개별적인 조정 공정이 불필요하여 비용이 삭감되며, 출하 후의 사고에 기인하여 생길 수 있는 화상 열화를 보정할 수 있다.

본 기술의 제1 측면인 화상 처리 장치는, 취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와, 산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정부를 구비한다.

상기 정량치 산출부는, 상기 샘플 화상을 복수의 영역으로 구분하여 상기 영역마다 상기 정량치를 산출할 수 있으며, 상기 평균치 산출부는 복수의 상기 샘플 화상의 상기 영역마다 산출된 상기 정량치의 평균치를 산출할 수 있다.

상기 보정부는, 상기 평균치에 기초하여 화상 보정치를 산출하고, 산출된 상기 화상 보정치에 기초하여 촬상된 화상을 보정할 수 있다.

상기 평균치 산출부는, 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 산출할 수 있으며, 상기 보관 유지부는 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 보관 유지할 수 있고, 상기 보정부는, 보관 유지되고 있는 다른 영역간의 상기 정량치의 상기 평균치의 비에 따라, 촬상된 화상을 보정할 수 있다.

상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 파워 스펙트럼을 산출할 수 있으며, 상기 보정부는, 보관 유지되고 있는 상기 정량치로서의 상기 파워 스펙트럼의 상기 평균치에 기초하여, 촬상된 화상을 보정할 수 있다.

상기 보정부는, 촬상된 화상의 해상도를 보정할 수 있다.

상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출할 수 있고, 상기 보정부는 보관 유지되고 있는 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 촬상된 화상의 부분 블러를 보정할 수 있다.

상기 평균치 산출부는, 상기 샘플 화상의 중심 영역과 주변 영역 사이의 상기 파워 스펙트럼의 상기 평균치의 비를 산출할 수 있고, 상기 보정부는 보관 유지되고 있는 상기 샘플 화상의 중심 영역과 주변 영역 사이의 상기 파워 스펙트럼의 상기 평균치의 비에 따라 촬상된 화상의 주변 영역에서의 해상도를 보정할 수 있다.

상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 각 색 성분의 화소치를 산출할 수 있고, 상기 보정부는 보관 유지되고 있는 상기 정량치로서의 상기 각 색 성분의 화소치의 평균치에 기초하여, 촬상된 화상의 컬러 쉐이딩(shading)을 보정할 수 있다.

상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비를 산출할 수 있고, 상기 보정부는 보관 유지되고 있는 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비에 따라, 촬상된 화상의 컬러 쉐이딩을 보정할 수 있다.

상기 보정부는, 상기 샘플 화상의 수가 임계값 이상이 된 후, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정할 수 있다.

취득된 상기 화상으로부터 상기 샘플 화상을 선별하는 선별부를 더 구비할 수 있다.

상기 선별부는, 취득된 상기 화상으로부터, 소정의 ISO값보다 높은 ISO값으로 촬상된 화상, 소정의 노출값보다 높은 또는 낮은 노출값으로 촬상된 화상, 및 연사된 화상을 제외함으로써, 상기 샘플 화상을 선별할 수 있다.

상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상부의 구성요소에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지할 수 있다.

광학 렌즈 및 상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자를 포함하는 상기 촬상부를 더 구비할 수 있다.

상기 평균치 산출부는 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출할 수 있으며, 상기 보정부는 보관 유지되고 있는 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 다른 복수의 촬상 장치에 의해 촬상된 화상의 해상도를 보정할 수 있다.

상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상 장치에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지할 수 있다.

본 기술의 제1 측면인 화상 처리 방법은, 화상 처리 장치에 의해 취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출 스텝과, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출 스텝과, 산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지 스텝과, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정 스텝을 포함한다.

본 기술의 제1 측면에서, 취득된 화상에 기초한 샘플 화상의 정량치가 산출되고, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치가 산출되어 보관 유지되며, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여 촬상된 화상이 보정된다.

본 기술의 제2의 측면인 촬상 장치는, 광학 렌즈와, 상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자와, 상기 화소 신호로 이루어진 화상을 취득한 취득부와, 취득된 상기 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와, 산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여 촬상된 화상을 보정하는 보정부를 구비한다.

상기 광학 렌즈 또는 상기 촬상 소자의 적어도 일방은, 착탈 교환 가능하게 할 수 있다.

본 기술의 제2의 측면에서, 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호가 생성되고, 상기 화소 신호로 이루어진 화상이 취득되며, 취득된 상기 화상에 기초한 샘플 화상의 정량치가 산출되고, 복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치가 산출되어 보관 유지되며, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상이 보정된다.

본 기술의 제1 및 제2의 측면에 의하면, 제조 공정의 개별 조정 공정이 불요하여 비용을 삭감함과 함께, 출하 후의 사고에 기인하여 생길 수 있는 화상 열화를 보정할 수 있다.

[도 1] 본 기술을 적용한 촬상 장치의 구성예를 나타내는 블록도이다.
[도 2] 화상 처리부의 구성예를 나타내는 블록도이다.
[도 3] 중력 방향의 종류를 나타내는 도면이다.
[도 4] 샘플이 되는 화상을 복수의 영역으로 분할한 예를 나타내는 도면이다.
[도 5] 1매의 샘플 화상에서 중력 방향에 대하여 좌우 대칭이 되는 영역의 파워 스펙트럼을 나타내는 도면이다.
[도 6] 샘플 화상수의 변화에 대한 중력 방향에 대하여 좌우 대칭이 되는 영역간의 파워 스펙트럼의 평균치의 비의 변화를 나타내는 도면이다.
[도 7] 1매의 샘플 화상에서 중력 방향에 대하여 좌우 대칭이 아닌 영역의 파워 스펙트럼을 나타내는 도면이다.
[도 8] 샘플 화상수의 변화에 대한 중력 방향에 대하여 좌우 대칭이 아닌 영역간의 파워 스펙트럼의 평균치의 비의 변화를 나타내는 도면이다.
[도 9] 비교 해석부의 동작을 설명하는 도면이다.
[도 10] 비교 해석부의 동작을 설명하는 도면이다.
[도 11] 비교 해석부의 동작을 설명하는 도면이다.
[도 12] 비교 해석부의 동작을 설명하는 도면이다.
[도 13] 제1 DB 갱신 처리를 설명하는 흐름도이다.
[도 14] 제2의 DB 갱신 처리를 설명하는 흐름도이다.
[도 15] 부분 블러 보정 처리를 설명하는 흐름도이다.
[도 16] 스테레오 카메라 시스템의 개요를 나타내는 도면이다.
[도 17] 본 기술을 적용한 스테레오 카메라 시스템의 구성예를 나타내는 블록도이다.
[도 18] 스테레오 카메라 시스템에서 화상 처리 장치의 DB 갱신 처리를 설명하는 도면이다.
[도 19] 스테레오 카메라 시스템에 대하여 화상 처리 장치의 DB 갱신 처리를 설명하는 흐름도이다.
[도 20] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
[도 21] 차외(車外) 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.

이하, 본 기술을 행하기 위한 최선의 형태(이하, 실시형태라고 칭한다)에 대해, 도면을 참조하면서 상세하게 설명한다.

＜본 기술의 실시형태인 촬상 장치의 구성예＞

도 1은, 본 기술의 실시형태인 촬상 장치의 구성예를 나타내는 블록도이다.

이 촬상 장치(10)는, 광학 렌즈(11), 촬상 소자(12), 화상 처리부(13), 표시부(14), 기록부(15), 조작부(16), 촬상 제어부(17), 및 센서부(18)를 구비한다.

광학 렌즈(11)는, 복수의 렌즈와 조리개 등을 가지고 있어 피사체의 광학상을 집광해 후단의 촬상 소자(12)에 입사시킨다.

촬상 소자(12)는, 예를 들면, 이면 조사형 CMOS 이미지 센서 등으로부터 이루어지고, 광학 렌즈(11)에 의해 집광된 입사광에 따라 광전 변환을 행함으로써, 각 화소의 화소 신호를 생성하여 화상 처리부(13)에 출력한다.

또한 광학 렌즈(11) 및 촬상 소자(12)는, 각각 촬상 장치(10)에 대하여 착탈 교환이 가능하여도 된다. 그 경우, 촬상 장치(10)에서는, 장착된 광학 렌즈(11)나 촬상 소자(12)의 식별 정보를 취득하여, 메모리(27)(도 2)에 보관 유지될 수 있도록 한다.

화상 처리부(13)는, CPU 등의 신호 처리 회로로 구성되며, 촬상 소자(12)로부터 입력된 화소 신호에 대해, 소정의 화상 처리(현상 처리, 각종의 보정 처리 등)를 행하여, 그 결과 얻어진 화상 데이터를 표시부(14) 및 기록부(15)에 출력한다. 또한 화상 처리부(13)에 있어서의 각종 보정 처리의 상세한 것에 대하여는 후술한다.

다만, 화상 처리부(13)에 의한 부분 블러 보정 처리, 주변 해상도 보정 처리, 및 컬러 쉐이딩 보정 처리는, 유저의 설정에 따라 캔슬하는 것이 가능하다. 이에 의해, 예를 들면, 광학 특성에 편차 등이 생긴 낡은 광학 렌즈(11)를 촬상 장치(10)에 장착했을 경우 등에 있어서, 그 낡은 광학 렌즈(11)의 광학 특성에 생긴 편차 등을 의도적으로 화상에 남길 수 있다.

표시부(14)는, 구도 확인용 스루 화상(through image)이나 촬상(기록)한 화상, 재생한 화상 등을 표시한다. 또한, 표시부(14)는, 각종 설정 정보 등을 표시한다. 기록부(15)는, 촬상된 화상의 화상 데이터를 반도체 메모리 등에 기록, 재생한다. 조작부(16)는, 케이스에 형성된 버튼이나 다이얼, 표시부(14)에 적층된 터치 패널 등으로 이루어지며, 유저로부터 조작 입력을 받아들여 이에 대응하는 조작 신호를 화상 처리부(13) 및 촬상 제어부(17)에 통지한다.

촬상 제어부(17)는, CPU 등의 제어 회로로 구성되며, 조작부(16)로부터 통지된 조작 신호에 따라 광학 렌즈(11) 및 촬상 소자(12)의 구동을 제어한다.

센서부(18)는, 촬상 장치(10)의 위치(위도, 경도, 고도), 촬상 방향, 중력 방향 등을 검출한다.

＜화상 처리부(13)의 구성예＞

다음으로, 도 2는, 화상 처리부(13)가 실행하는 각종 보정 처리 가운데, 본 기술에 관련된 부분 블러 보정 처리, 주변 해상도 보정 처리, 및 컬러 쉐이딩 보정 처리를 실행하기 위한 구성예를 나타낸다.

즉, 화상 처리부(13)는, 부분 블러 보정 처리, 주변 해상도 보정 처리, 및 컬러 쉐이딩 보정 처리를 실행하기 위한 데이터베이스(DB)부(20) 및 보정부(30)를 가진다.

DB부(20)는, 상술한 부분 블러 보정 처리 등을 실행하기 위한 정보를 축적, 갱신하는 것으로, 화상 취득부(21), 샘플 조건 판정부(22), 라벨 부여부(23), 주파수 특성 산출부(24), 색별 화소 평균치 산출부(25), 비교 해석부(26), 및 메모리(27)를 가진다.

화상 취득부(21)는, 촬상 할 때마다 촬상 소자(12)로부터 출력되는, 화상 처리 전의 1 프레임 분의 화소 신호(이하, 화상이라고 칭한다)를 취득하여 샘플 조건 판정부(22)에 공급한다. 샘플 조건 판정부(22)는, 공급된 화상이 샘플로서 메모리(27)의 갱신에 사용하는 것이 적절한지 여부를 판정하여, 샘플로서 사용할 수 있는 화상(이하, 샘플 화상이라고 칭한다)을 라벨 부여부(23)에 공급한다.

여기서, 샘플로서 사용할 수 있는 화상이란, 소정의 모양 등을 촬상한 화상이 아닌, 임의의 피사체를 촬상한 일반적인 화상을 의미한다. 다만, 소정의 ISO값보다 높은 ISO값으로 촬상되었기 때문에 노이즈가 많은 화상, HDR(High Dynamic Range) 합성용 등으로 촬영된 소정의 노출값보다 높은(또는 낮다) 노출값으로 촬상된 화상, 연사된 화상 등, 다수의 화상의 화소치의 평균치를 산출하는 피사체의 파워 스펙트럼을 캔슬한다는 목적에 효과가 없는 것, 역효과가 되는 것은 샘플로부터 제외한다. 또한 예를 들면, 드라이브 레코더 등과 같이 연속하여 계속적으로 촬상되고 있는 경우에는, 주기적으로 화상을 추출하여 샘플로서 사용할 수 있다.

라벨 부여부(23)는, 센서부(18)의 검출 결과에 기초하여, 샘플 화상에서 중력 방향을 판정하고, 해당 화상에 대하여 중력 방향을 나타내는 라벨을 부여한다. 또한, 라벨 부여부(23)는, 샘플 화상의 촬영 환경에 있어서 광원(태양광, 전구, 형광등 등, 또는 색온도)을 추정하여, 해당 화상에 대하여 광원을 나타내는 라벨을 부여한다.

또한, 라벨 부여부(23)는, 광학 렌즈(11)나 촬상 소자(12)가 각각 촬상 장치(10)에 대해 착탈, 교환이 가능한 경우, 광학 렌즈(11)나 촬상 소자(12)의 식별 정보를 나타내는 라벨도 샘플 화상에 부여할 수 있다.

도 3은, 라벨 부여부(23)에 의한 중력 방향을 판정하는 모습을 나타낸다. 중력 방향의 판정은, 적어도, 도 3의 A에 도시한 것처럼 샘플 화상을 가로로 길게 두었을 경우의 아래방향이 중력 방향이 되는 경우(0^°방향)와, 도 3의 B에 도시한 것처럼 샘플 화상을 세로로 길게 두었을 경우의 아래방향이 중력 방향이 되는 경우(90^°방향)의 2 종류 중 어느 한 쪽으로 판정한다.

또한, 도 3의 C에 도시한 것처럼, 샘플 화상을 비스듬하게 두었을 경우 아래방향이 중력 방향이 되는 경우(45о방향)를 추가한 3 종류 중 어느 하나로 판정해도 된다. 다만, 중력 방향을 3 종류로 했을 경우, 보정시의 정밀도는 향상되나, 계산 코스트도 증가하게 된다. 따라서, 정밀도를 중시할지, 계산 코스트 삭감을 중시할지에 따라, 중력 방향의 종류를 2 종류로 할지, 3 종류로 할지를 유저가 선택할 수 있도록 해도 된다. 물론 보다 정밀도를 올리기 위해서는 4 종류 이상으로 해도 된다.

도 2로 되돌아온다. 주파수 특성 산출부(24)는, 샘플 화상을 복수의 영역으로 분할하여, 영역마다 파워 스펙트럼을 산출해 비교 해석부(26)에 출력한다. 파워 스펙트럼의 산출은, 샘플 화상의 화소 신호가 복수의 색을 가지는 경우, 그 중 1 종류 이상을 사용하여 산출하면 된다.

도 4는, 주파수 특성 산출부(24)에서, 샘플 화상을 복수의 영역으로 분할하는 예를 나타낸다. 도 4의 경우, 샘플 화상을 3×3 영역으로 분할하고 있다. 이하의 설명에서는, 샘플 화상을 3×3의 영역으로 분할했을 경우를 예로 설명한다. 또한, 샘플 화상의 중력 방향을 아래로 하고, 좌상의 영역을 LH, 중상의 영역을 CH, 우상의 영역을 RH, 좌중의 영역을 LC, 중중의 영역을 CC, 우중의 영역을 RC, 좌하의 영역을 LL, 중하의 영역을 CL, 우하의 영역을 RL이라고 한다.

다만, 샘플 화상을 분할하는 영역의 수는 2이상의 임의의 수이며, 각 영역의 면적은, 해당 영역에 있어서 파워 스펙트럼을 검출할 수 있는 정도까지 작게 할 수 있다. 샘플 화상을 분할하는 영역의 수를 많게 했을 경우, 보정시의 정밀도는 향상하지만, 계산 코스트도 증가하게 된다. 따라서, 정밀도를 중시하는지, 계산 코스트 삭감을 중시하는지에 따라, 샘플 화상을 분할하는 영역의 수를 결정하는 것이 좋다. 또한, 샘플 화상을 분할하는 영역의 수를 유저가 선택할 수 있도록 해도 된다.

여기서, 중력 방향에 대하여 좌우 대칭이 되는 영역의 파워 스펙트럼에 대해, 도 5 및 도 6을 참조하여 설명한다.

도 5는, 어느 1매의 샘플 화상에 있어서, 중력 방향에 대하여 좌우 대칭이 되는 영역 LC와 영역 RC의 파워 스펙트럼을 나타낸다.

도 5의 A는, 영역 LC의 파워 스펙트럼을 3차원 그래프화한 것이다. 도 5의 B는, 영역 RC의 파워 스펙트럼을 3차원 그래프화한 것이다. 도 5의 A 및 B에 나타낸 것처럼, 영역 LC와 영역 RC의 파워 스펙트럼은, 각 영역의 피사체에 의존하므로, 통상은 다른 것이 된다.

도 5의 C는, 중력 방향에 대하여 좌우 대칭이 되는 영역 LC와 영역 RC의 파워 스펙트럼의 비(영역 LC의 파워 스펙트럼/영역 RC의 파워 스펙트럼)를 3차원 그래프화한 것이다.

도 6은, 샘플 화상의 수 n을 서서히 증가했을 경우, 영역 LC와 영역 RC의 파워 스펙트럼의 평균치의 비의 변화를 나타낸다.

중력 방향에 대하여 좌우 대칭이 되는 영역간의 파워 스펙트럼의 비는, 샘플 화상의 수 n이 1인 경우, 도 5의 C에 나타낸 것처럼, 각 영역의 피사체의 파워 스펙트럼의 차이가 명확하게 나타난다. 그러나, 도 6의 A 내지 도 6의 F에 나타낸 것처럼, 샘플 화상의 수 n을 서서히 증가시키면, 중력 방향에 대하여 좌우 대칭이 되는 각 영역의 피사체의 파워 스펙트럼의 차이는 캔슬되어, 촬상 장치(10)의 광학 렌즈(11)의 파워 스펙트럼만이 추출되게 된다. 따라서, 촬상 장치(10)의 광학 렌즈(11)에 해상도의 좌우차이가 없으면, 중력 방향에 대하여 좌우 대칭이 되는 영역간의 파워 스펙트럼의 비가 1로 수렴하게 된다. 바꿔 말하면, 샘플 화상의 수 n을 충분히 크게 한 상태에서 해당 비가 1에서 벗어나 있으면, 이는 광학 렌즈(11)에 생긴 해상도의 좌우차이에 기인하는 부분 블러가 원인이다. 따라서, 이를 없앨 방향으로, 광축에 대해 비대칭으로 강도를 조정할 수 있는 해상도 보정 처리를 행하면, 부분 블러를 보정하는 것이 가능해진다.

다음으로, 중력 방향에 대하여 좌우 대칭이 되지 않는 영역의 파워 스펙트럼에 대해, 도 7 및 도 8을 참조하여 설명한다.

도 7은, 1매의 샘플 화상에서, 중력 방향에 대하여 좌우 대칭이 되지 않는 영역 CL과 영역 CH의 파워 스펙트럼을 나타낸다.

도 7의 A는, 영역 CL의 파워 스펙트럼을 3차원 그래프화한 것이다. 도 7의 B는, 영역 CH의 파워 스펙트럼을 3차원 그래프화한 것이다. 도 7의 A 및 B에 나타낸 것처럼, 영역 CH와 영역 CH의 파워 스펙트럼은, 각 영역의 피사체에 의존하므로, 통상은 다른 것이 된다.

도 7의 C는, 중력 방향에 대하여 좌우 대칭이 되지 않는 영역 CL과 영역 CH의 파워 스펙트럼의 비(영역 CL의 파워 스펙트럼/영역 CH의 파워 스펙트럼)를 3차원 그래프화한 것이다.

도 8은, 샘플 화상의 수를 서서히 증가했을 경우, 영역 CL과 영역 CH의 파워 스펙트럼의 평균치의 비의 변화를 나타낸다.

중력 방향에 대하여 좌우 대칭이 되지 않는 영역간의 파워 스펙트럼의 비는, 샘플 화상의 수 n이 1인 경우, 도 7의 C에 도시한 것처럼, 도 5에 나타난 중력 방향에 대하여 좌우 대칭이 되는 영역간의 파워 스펙트럼의 비와 마찬가지로, 각 영역의 피사체의 파워 스펙트럼의 차이가 명확하게 나타난다. 다만, 도 8의 A 내지 도 8의 F에 도시한 것처럼, 샘플 화상의 수 n을 서서히 증가시켜도, 중력 방향에 대하여 좌우 대칭이 되지 않는 각 영역의 피사체의 파워 스펙트럼의 차이는 캔슬되지 않음을 알 수 있다. 따라서, 샘플 화상의 수 n을 충분히 크게 해도, 중력 방향에 대하여 좌우 대칭이 되지 않는 영역간의 파워 스펙트럼의 비는 1에 수렴하지 않는다.

따라서, 샘플 화상의 수 n이 충분히 큰 경우, 중력 방향에 대하여 좌우 대칭이 되는 영역간의 파워 스펙트럼의 비가 1에서 벗어나 있으면, 그 차이는 광학계(광학 렌즈(11)) 고유의 특성에서 유래하며, 부분 블러의 원인이 되는 것으로 판단할 수 있다.

도 2로 돌아온다. 색별 화소 평균치 산출부(25)는, 주파수 특성 산출부(24)와 마찬가지로, 샘플 화상을 복수의 영역으로 분할하여, 영역마다 각 색 성분의 평균치를 산출하여 비교 해석부(26)에 출력한다. 또한 평균치의 산출에 있어서, 상가평균(산술 평균), 기하 평균(기하 평균), 조화 평균, 조정 평균(트림 평균) 등에서 어느 하나를 적용하면 된다.

비교 해석부(26)는, 주파수 특성 산출부(24)로부터 샘플 화상의 영역 별 파워 스펙트럼이 입력될 때마다, 메모리(27)에 중력 방향의 라벨마다 등록되어 있는, 샘플 화상의 각 영역의 파워 스펙트럼의 평균치와 샘플 화상의 수 n을 읽어내어, 주파수 특성 산출부(24)로부터의 입력을 사용하여 해당 평균치를 다시 계산하고, 다시 계산한 평균치와 1을 인크리먼트(increment)한 샘플 화상수 n＋1을 메모리(27)에 등록, 갱신한다.

또한, 비교 해석부(26)는, 중력 방향에 대하여 좌우 대칭이 되는 영역(영역 LH와 영역 RH, 영역 LC와 영역 RC, 및 영역 LL과 영역 RL)에 있어서 파워 스펙트럼의 평균치의 비를 산출해 메모리(27)에 등록, 갱신한다. 이 비는, 부분 블러가 생긴 경우에는 1로부터 떨어진 값이 되며, 부분 블러 보정 처리를 행할 때에 참조된다. 또한 비교 해석부(26)는, 파워 스펙트럼의 평균치의 비를 산출하는 영역으로서 중력 방향에 대하여 좌우 대칭이 되는 영역으로 한정되지 않고, 좌우 방향으로 늘어선 복수의 영역으로 해도 된다.

도 9는, 중력 방향에 대하여 좌우 대칭이 되는 영역의 예로서 영역 LC와 영역 RC에 있어서 파워 스펙트럼의 평균치의 비를 산출하는 경우를 나타낸다.

또한, 비교 해석부(26)는, 화상 중앙의 영역과 좌측의 영역(영역 CH와 영역 LH, 영역 CC와 영역 LC, 및 영역 CL과 영역 LL), 및 중앙의 영역과 우측의 영역(영역 CH와 영역 RH, 영역 CC와 영역 RC, 및 영역 CL과 영역 RL)에 있어서 파워 스펙트럼의 평균치의 비(영역 CH/영역 CC 등)를 산출하여 메모리(27)에 등록, 갱신한다. 일반적으로 중앙 영역이 가장 해상도가 높고, 주변 영역에서 해상도가 낮아진다. 그 때문에 이 비는, 1보다 작아질수록, 주변의 영역에 큰 블러가 생겨 있다는 것이 되므로, 주변 해상도 보정 처리를 행할 때 참조된다.

도 10은, 중앙 영역과 좌측 영역의 예로서 영역 CC와 영역 LC, 중앙 영역과 우측 영역의 예로서 영역 CC와 영역 RC 각각에 대한 파워 스펙트럼의 평균치의 비(LC/CC와 RC/CC)를 산출하는 경우를 나타낸다.

또한, 비교 해석부(26)는, 색별 화소 평균치 산출부(25)로부터 샘플 화상의 각 영역의 각 색 성분의 평균치가 입력될 때 마다, 메모리(27)에 중력 방향과 광원의 라벨마다 등록되어 있는, 복수의 샘플 화상의 각 영역의 각 색 성분의 평균치와 샘플수 n을 읽어내어, 색별 화소 평균치 산출부(25)로부터의 입력을 사용해 해당 평균치를 다시 계산하고, 다시 계산한 평균치와 1을 인크리먼트한 샘플 화상수 n＋1을 메모리(27)에 등록, 갱신한다.

도 11은, 메모리(27)에서 중력 방향과 광원을 나타내는 라벨마다, 복수의 샘플 화상의 각 영역의 각 색 성분의 평균치가 메모리(27)에 등록되어 있는 상태를 나타낸다.

또한, 비교 해석부(26)는, 메모리(27)에서 중력 방향과 광원의 라벨마다 등록된, 복수의 샘플 화상의 각 영역의 각 색 성분의 평균치를 읽어내어, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역간(예를 들면, 영역 CC와 영역 LC, 영역 CC와 영역 RC등)에 대해 동일한 색 성분의 평균치의 비를 산출하여 메모리(27)에 등록, 갱신한다. 이 비는, 컬러 쉐이딩 보정 처리를 행할 때에 참조된다.

도 12는, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역간의 예로서 영역 CC와 영역 LC, 및, 영역 CC와 영역 RC에서 같은 색 성분의 평균치의 비를 산출하는 경우를 나타낸다.

또한 샘플 화상의 수 n이 충분히 큰 경우, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역 사이의 피사체의 색 성분의 차이는 캔슬되며, 촬상 장치(10)의 광학 렌즈(11)나 촬상 소자(12)에 기인하는 변화만이 추출된다. 따라서, 광학 렌즈(11)나 촬상 소자(12)에 쉐이딩이 없으면, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역간의 동일한 색 성분의 평균치의 비가 1에 수렴하게 된다. 환언하면, 샘플 화상의 수 n을 충분히 크게 한 상태에서, 해당 비가 1에서 벗어나 있으면, 이는 광학 렌즈(11)나 촬상 소자(12) 등에 기인하는 쉐이딩이 원인이다. 따라서, 이를 없애는 방향으로 광축에 대하여 비대칭으로 강도 조정이 가능한 게인(gain)을 설정하면, 해당 쉐이딩을 적절히 보정할 수 있다.

메모리(27)는, 불휘발성 메모리 등으로 구성되며, 비교 해석부(26)로부터 입력되는 샘플 화상의 각 영역의 파워 스펙트럼의 평균치나 영역간의 비를 기억함과 함께, 그 산출에 사용한 샘플의 수를 기억한다. 또한, 메모리(27)는, 비교 해석부(26)로부터 입력되는, 샘플 화상의 각 영역의 각 색 성분의 평균치나 영역간의 비를 기억함과 함께, 그 산출에 사용된 샘플의 수도 기억한다.

또한 메모리(27)는, 샘플 화상의 화상 데이터 그 자체를 기억하는 것이 아니라, 상술한 각종의 정보를 기억할 수 있는 정도의 용량이 있으면 된다.

보정부(30)는, 해상도 보정부(31) 및 쉐이딩 보정부(32)를 가진다. 해상도 보정부(31)는, 메모리(27)를 참조하여, 부분 블러 보정 처리, 및 주변 해상도 보정 처리를 실행한다. 쉐이딩 보정부(32)는, 메모리(27)를 참조하여, 컬러 쉐이딩 보정 처리를 실행한다.

＜DB부(20)에 의한 DB 갱신 처리에 대하여＞

다음으로, 촬상 장치(10)의 화상 처리부(13)에 있어서 DB부(20)에 의한 DB 갱신 처리에 대하여 설명한다.

도 13은, 제1 DB 갱신 처리를 설명하는 흐름도이다. 해당 제1 DB 갱신 처리는, 부분 블러 보정 처리, 및 주변 해상도 보정 처리를 실행할 때에 참조되는 DB부(20)의 메모리(27)의 정보를 등록, 갱신하기 위한 것이다.

스텝 S1에서, 화상 취득부(21)는, 촬상을 할 때마다 촬상 소자(12)로부터 출력되는 화상 처리 전의 화상을 취득하여 샘플 조건 판정부(22)에 공급한다. 스텝 S2에서, 샘플 조건 판정부(22)는, 공급된 화상이 샘플 화상으로 사용될 수 있는지 여부를 판정한다. 해당 화상을 샘플 화상으로 사용할 수 있다고 판정한 경우, 화상 취득부(21)는, 해당 화상을 샘플 화상으로서 라벨 부여부(23)에 공급하고, 처리는 스텝 S3으로 진행한다. 반대로, 해당 화상을 샘플 화상에 사용할 수가 없다고 판정했을 경우, 처리는 스텝 S1으로 되돌려진다.

스텝 S3에서, 라벨 부여부(23)는, 센서부(18)의 검출 결과에 기초하여, 샘플 화상에 있어서 중력 방향을 판정하여, 해당 화상에 대하여 중력 방향을 나타내는 라벨을 부여한다.

스텝 S4에서, 주파수 특성 산출부(24)는, 샘플 화상을 복수의 영역으로 분할하고, 영역마다 파워 스펙트럼을 산출하여 비교 해석부(26)에 출력한다.

스텝 S5에서, 비교 해석부(26)는, 주파수 특성 산출부(24)로부터 샘플 화상의 각 영역의 파워 스펙트럼이 입력될 때마다, 메모리(27)에 중력 방향의 라벨마다 등록되어 있는, 샘플 화상의 각 영역의 파워 스펙트럼의 평균치와 샘플 화상의 수 n을 읽어내고, 주파수 특성 산출부(24)으로부터의 입력을 사용해 해당 평균치를 다시 계산하고, 다시 계산한 평균치와 1을 인크리먼트한 샘플 화상수 n＋1을 메모리(27)에 등록, 갱신한다.

스텝 S6에서, 비교 해석부(26)는, 중력 방향에 대하여 좌우 대칭이 되는 영역간, 중앙의 영역과 좌측의 영역, 및 중앙의 영역과 우측의 영역의 각 영역간에 있어서 파워 스펙트럼의 평균치의 비를 산출하여 메모리(27)에 등록한다. 이 후, 처리는 스텝 S1으로 돌아가며, 그 이후는 반복된다.

또한, 해당 제1 DB 갱신 처리는, 촬상 장치(10)의 전원이 온으로 되어 있는 동안에 계속하여 실행되어도 되고, 예를 들면, 매일 01：00에 실행하는 등과 같이 소정의 주기로 소정의 타이밍에 실행하도록 해도 된다. 또한, 유저로부터의 조작에 따라 실행해도 된다.

다음으로, 도 14는, 제2 DB 갱신 처리를 설명하는 흐름도이다. 해당 제2 DB 갱신 처리는, 컬러 쉐이딩 보정 처리를 실행할 때에 참조되는 DB부(20)의 메모리(27)의 정보를 등록, 갱신하기 위한 것이다.

스텝 S11에서, 화상 취득부(21)는, 촬상을 행할 때마다 촬상 소자(12)로부터 출력되는, 화상 처리 전의 화상을 취득하여 샘플 조건 판정부(22)에 공급한다. 스텝 S12에서, 샘플 조건 판정부(22)는, 공급된 화상이 샘플 화상에 사용될 수 있는지 여부를 판정한다. 해당 화상을 샘플 화상에 사용할 수 있다고 판정했을 경우, 화상 취득부(21)는, 해당 화상을 샘플 화상으로서 라벨 부여부(23)에 공급하고, 처리는 스텝 S13으로 진행한다. 반대로, 해당 화상을 샘플 화상에 사용할 수 없다고 판정했을 경우, 처리는 스텝 S11으로 되돌려진다.

스텝 S13에서, 라벨 부여부(23)는, 센서부(18)의 검출 결과에 기초하여, 샘플 화상에 있어서 중력 방향을 판정해, 해당 화상에 대하여 중력 방향을 나타내는 라벨을 부여한다. 또한, 광원을 추정하여 광원을 나타내는 라벨을 부여한다.

또한 스텝 S11 내지 S13의 처리는, 상술한 제1 DB 갱신 처리에 있어서 스텝 S1 내지 S3의 처리 결과를 유용해도 된다.

스텝 S14에서, 색별 화소 평균치 산출부(25)는, 샘플 화상을 복수의 영역으로 분할해, 영역마다 각 색 성분의 평균치를 산출하여 비교 해석부(26)에 출력한다.

스텝 S15에서, 비교 해석부(26)는, 색별 화소 평균치 산출부(25)로부터 샘플 화상의 각 영역의 각 색 성분의 평균치가 입력될 때마다, 메모리(27)에 중력 방향과 광원의 라벨마다 등록되어 있는, 샘플 화상의 각 영역의 각 색 성분의 평균치와 샘플 화상의 수 n을 읽어내고, 색별 화소 평균치 산출부(25)에서 입력을 사용해 해당 평균치를 다시 계산하고, 다시 계산한 평균치와 1을 인크리먼트한 샘플 화상수 n＋1을 메모리(27)에 등록, 갱신한다.

스텝 S16에서, 비교 해석부(26)는, 중력 방향에 대하여 좌우 대칭이 되는 영역간, 중앙의 영역과 좌측의 영역, 및 중앙의 영역과 우측의 영역의 각 영역간에 있어서 각 색 성분의 평균치의 비를 산출하여 메모리(27)에 등록한다. 이 후, 처리는 스텝 S11로 되돌아가며, 그 이후는 반복된다.

또한 해당 제2 DB 갱신 처리는, 촬상 장치(10)의 전원이 온으로 되어 있는 동안 계속해서 실행되어도 되고, 예를 들면, 매일 01：00에 실행하는 등과 같이 소정의 주기로 소정의 타이밍에 실행되어도 된다. 또한, 유저로부터의 조작에 따라 실행시키도록 해도 된다.

또한 상술한 제1 DB 갱신 처리와 해당 제2 DB 갱신 처리는, 동시에 병행하여 실행해도 되고, 각각 개별적으로 실행해도 된다.

＜보정부(30)에 의한 보정 처리에 대하여＞

촬상 장치(10)의 화상 처리부(13)에서 보정부(30)에 의한 보정 처리에 대하여 설명한다.

도 15는, 보정부(30)의 해상도 보정부(31)에 의한 부분 블러 보정 처리를 설명하는 흐름도이다.

스텝 S21에서, 해상도 보정부(31)는, 촬상을 할 때마다 촬상 소자(12)로부터 출력되는 화상 처리전의 화상을 취득한다. 스텝 S22에서, 해상도 보정부(31)는, 취득한 화상의 중력 방향을 판단하고, 대응되는 중력 방향을 나타내는 라벨이 부여되어 있는 샘플 화상수 n과, 중력 방향에 대하여 좌우 대칭이 되는 영역간에 있어서의 파워 스펙트럼의 평균치의 비를 DB부(20)의 메모리(27)로부터 취득한다.

스텝 S23에서, 해상도 보정부(31)는, DB부(20)의 메모리(27)로부터 취득한 정보가, 보정의 조건에 합치하는지 여부를 판정한다. 구체적으로는, 해상도 보정부(31)는, 샘플 화상수 n이 미리 설정되어 있는 임계값 α 이상이며, 한편, 중력 방향에 대하여 좌우 대칭이 되는 영역간에 있어서 파워 스펙트럼의 평균치의 비가 1.0±소정의 임계값 β의 범위를 넘는 경우에만, 보정의 조건에 합치한다고 판단한다.

스텝 S23에서 보정의 조건에 합치한다고 판단되었을 경우, 처리는 스텝 S24에서 진행된다. 스텝 S24에서, 해상도 보정부(31)는, 중력 방향에 대하여 좌우 대칭이 되는 영역간에 있어서 파워 스펙트럼의 평균치의 비에 기초하여 광축에 대하여 비대칭인 해상도 보정을 행한다. 구체적으로는, 해당 비에 기초하여, 기존의 영역마다 게인을 조정할 수 있는 해상도 복원 처리, 예를 들면 상술한 특허문헌 1에 기술된 처리의 설정치에 해당 비를 반영시키거나 하는 방법을 적용할 수 있다. 또한 해상도 보정부(31)는, 파워 스펙트럼의 평균치의 비에 기초하여 해상도 보정치를 산출하고, 산출된 해상도 보정치에 기초하여 광축에 대하여 비대칭인 해상도 보정을 행해도 된다.

또한 스텝 S23에서, 보정의 조건에 합치하지 않는다고 판단되었을 경우, 스텝 S24는 스킵된다. 이상으로, 부분 블러 보정 처리의 설명을 마친다.

다음으로, 보정부(30)의 해상도 보정부(31)에 의한 주변 해상도 보정 처리에 대하여 설명한다. 주변 해상도 보정 처리는, 상술한 부분 블러 보정 처리와 마찬가지로 실행할 수 있다. 다만, 부분 블러 보정 처리에서는, 중력 방향에 대하여 좌우 대칭이 되는 영역간에 있어서 파워 스펙트럼의 평균치의 비를 참조한 것에 비하여, 주변 해상도 보정 처리에서는, 화상의 중앙의 영역과 좌측의 영역, 및, 중앙의 영역과 우측의 영역에 있어서 파워 스펙트럼의 평균치의 비를 참조한다.

그리고, 샘플 화상수 n이 미리 설정되어 있는 임계값 α이상이며, 한편, 해당 비가 1보다 작은 경우에만, 보정의 조건에 합치된다고 판단한다. 또한 주변 해상도 보정에서도, 광축에 대하여 비대칭인 해상도 보정을 행한다. 구체적으로는, 해당 비에 기초하여, 기존의 영역마다 게인을 조정할 수 있는 해상도 복원 처리, 예를 들면 상술한 특허문헌 1에서 기술된 처리의 설정치에 해당 비를 반영시키거나 하는 방법을 적용할 수 있다.

또한 부분 블러 보정의 조건이 되는 샘플 화상수 n에 대한 임계값 α와 주변 해상도 보정의 조건이 되는 샘플 화상수 n에 대한 임계값 α는, 동일한 값이어도 되고, 다른 값이어도 된다.

다음으로, 보정부(30)의 쉐이딩 해상도 보정부(32)에 의한 컬러 쉐이딩 보정 처리에 대하여 설명한다. 컬러 쉐이딩 보정 처리도, 상술한 부분 블러 보정 처리와 같이 실행할 수 있다. 다만, 컬러 쉐이딩 보정 처리에서는, 추정한 중력 방향과 광원을 나타내는 라벨이 부여된 샘플 화상수 n과, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역간(예를 들면, 영역 CC와 영역 LC, 영역 CC와 영역 RC 등)에 있어서 동일 색 성분의 평균치의 비를 참조한다.

그리고, 샘플 화상수 n이 미리 설정되어 있는 임계값 α이상이며, 한편, 중력 방향에 대하여 직교하는 방향으로 늘어선 영역간에 있어서 각 색 성분의 평균치의 비가 1.0±소정의 임계값γ의 범위를 넘는 경우에만, 보정의 조건에 합치하고 있다고 판단하여, 보정을 행한다. 구체적으로는, 해당 비를 없애는 방향으로 광축에 대하여 비대칭으로 강도 조정 가능한 게인을 설정해, 해당 쉐이딩을 보정한다.

또한 컬러 쉐이딩 보정 처리에 있어서 샘플 화상수 n에 대한 임계값 α는, 부분 블러 보정 처리의 경우나 주변 해상도 보정 처리의 경우와 동일한 값을 설정해도 되고, 다른 값을 설정해도 된다.

＜응용예＞

다음으로, 본 실시형태인 촬상 장치(10)의 응용예에 대하여 설명한다.

시차(視差)를 활용한 측거나 3D촬상 등을 행하는 스테레오 카메라 시스템과 같이, 동일한 광학 렌즈와 동일한 촬상 소자를 탑재한 복수의 촬상 장치를 사용하는 복안 카메라 시스템에서는, 각 촬상 장치의 특성을 일치시키는 것이 바람직하다.

또한 동일한 촬상 장치이어도 그 특성에는 다소의 차이가 있는데, 각 촬상 장치를 개별 조정하면, 코스트가 높아지나 특성을 일치시키는 것이 가능하다. 다만, 출하 시에 각 촬상 장치의 특성이 일치하고 있었다 하여도, 촬상 장치를 부딪히거나 낙하시키는 등 출하 후의 사고에 기인하여 특성에 차이가 생겼을 경우, 이를 보정할 수 없었다.

이러한 불편에 대하여, 스테레오 카메라 시스템에 본 실시형태인 촬상 장치(10)를 채용하고, 또한 본 기술을 적용하면, 출하 후의 사고에 기인한 복수의 촬상 장치에 생긴 특성의 차이를 일치시킬 수 있다.

도 16은, 본 실시형태인 촬상 장치(10)를 스테레오 카메라 시스템에 채용했을 경우의 개요를 나타낸 것이다. 스테레오 카메라 시스템의 경우, 촬상 장치(10-1)와 촬상장치(10-2)에는 시차가 있으므로 같은 피사체를 촬상해도 완전히 같은 화상은 되지 않는다. 촬상 장치(10)에 가까운 피사체일수록 이 화상의 차이는 커진다. 거기서, 다수의 샘플 화상을 사용해 피사체의 특징을 캔슬하고, 촬상 장치(10-1)와 촬상장치(10-2)의 특성을 비교하도록 한다.

도 17은, 본 실시형태인 촬상 장치(10)를 채용한 스테레오 카메라 시스템의 구성예를 나타낸다. 해당 스테레오 카메라 시스템은, 촬상 장치(10-1) 및 촬상장치(10-2) 이외에, 화상 처리 장치(50)를 구비한다.

화상 처리 장치(50)에는, 도 2에 나타난 DB부(20) 및 보정부(30)와 같은 구성이 탑재되고 있는 것으로 한다. 화상 처리 장치(50)에 대하여, 촬상 장치(10-1) 및 촬상장치(10-2)로 촬영된 화상이 입력된다. 그 입력 화상은, 소정의 화상 처리(상술한 부분 블러 보정 처리, 주변 해상도 보정 처리, 및 컬러 쉐이딩 보정 처리를 포함한다)가 행해져 있어도 된다.

＜화상 처리 장치(50)에 있어서 DB 갱신 처리에 대하여＞

화상 처리 장치(50)에서, 촬상 장치(10-1)로부터 취득한 화상에 라벨을 부여한 후, 복수의 영역으로 분할하여, 각 영역의 파워 스펙트럼을 산출하고, 영역 마다 평균치를 계산하여 메모리(도시하지 않음)에 등록, 갱신한다. 마찬가지로 촬상 장치(10-2)로부터 취득한 화상에 라벨을 부여한 후, 복수의 영역으로 분할하여, 각 영역의 파워 스펙트럼을 산출하고, 영역 마다 평균치를 계산하여 메모리에 등록, 갱신한다. 또한 촬상 장치(10-1)로부터의 화상과 촬상 장치(10-2)로부터의 화상의 동일한 위치의 영역에서의 파워 스펙트럼의 평균치의 비를 산출하여 메모리에 등록, 갱신한다.

도 18은, 촬상 장치(10-1)로부터의 화상과 촬상 장치(10-2)로부터의 화상의 동일한 위치의 영역의 예로서 영역 LH1과 영역 LH2, 및, 영역 LL1와 영역 LL2에 있어서의 파워 스펙트럼의 평균치의 비를 산출하는 경우를 나타낸다.

샘플 화상의 수 n이 충분히 큰 경우, 해당 비는 1에 수렴한다. 따라서, 이 비가 1에서 벗어나 있으면, 그 차이는 촬상 장치(10-1)와 촬상 장치(10-2)의 특성의 차이에서 유래하는 것이라고 판단할 수 있다. 따라서, 이를 없애는 방향으로(통상은 해상도가 나쁜 방향에서 좋은 방향으로 가까와진다) 해상도 보정 처리를 행하면, 촬상 장치(10-1)와 촬상장치(10-2)의 특성의 차이에 기인하는 해상차분을 억제할 수 있다.

도 19는, 화상 처리 장치(50)에 있어서 DB 갱신 처리를 설명하는 흐름도이다. 해당 DB 갱신 처리는, 촬상 장치(10-1)와 촬상장치(10-2)의 특성의 차이를 보정하는 보정 처리를 실행할 때에 참조되는 정보를 등록, 갱신하기 위한 것이다.

스텝 S31에서, 화상 처리 장치(50)는, 촬상 장치(10-1)와 촬상장치(10-2)가 촬상한 화상을 취득한다. 스텝 S32에서, 화상 처리 장치(50)는, 취득한 화상이 샘플 화상에 사용할 수 있는지 여부를 판정한다. 해당 화상을 샘플 화상에 사용할 수 있다고 판정한 경우, 화상 처리 장치(50)는, 스텝 S33으로 처리를 진행한다. 반대로, 해당 화상을 샘플 화상에 사용할 수 없다고 판정한 경우, 처리는 스텝 S31으로 되돌아간다.

스텝 S33에서, 화상 처리 장치(50)는, 샘플 화상에 있어서 중력 방향을 판정하고, 해당 화상에 대하여 중력 방향과 촬상 장치(10-1) 또는 촬상장치(10-2) 중 어느 하나를 나타내는 라벨을 부여한다.

스텝 S34에서, 화상 처리 장치(50)는, 샘플 화상을 복수의 영역으로 분할하여, 영역마다 파워 스펙트럼을 산출한다. 스텝 S35에서, 화상 처리 장치(50)는, 메모리에 라벨마다 등록되어 있는, 샘플 화상의 각 영역의 파워 스펙트럼의 평균치와 샘플 화상의 수 n을 읽어내고, 스텝 S34의 산출 결과를 사용하여 해당 평균치를 다시 계산하고, 다시 계산한 평균치와 1을 인크리먼트한 샘플 화상수 n＋1을 메모리에 등록, 갱신한다.

스텝 S36에서, 화상 처리 장치(50)는, 촬상 장치(10-1)로부터의 화상과, 촬상 장치(10-2)로부터의 화상의 동일한 위치의 영역에서의 파워 스펙트럼의 평균치의 비를 산출하고 메모리에 등록, 갱신한다. 이 후, 처리는 스텝 S31으로 되돌아가며, 그 이후는 반복된다.

또한 해당 DB 갱신 처리는, 촬상 장치(10-1) 및 촬상 장치(10-2)가 촬상을 행하고 있는 동안에 계속해서 실행해도 되고, 예를 들면, 매일 01：00에 실행하는 등과 같이 소정의 주기로 소정의 타이밍에 실행해도 된다. 또한, 유저의 조작에 따라 실행해도 된다.

＜화상 처리 장치(50)에 있어서 보정 처리에 대하여＞

다음으로, 화상 처리 장치(50)에 있어서 보정 처리에 대하여 설명한다. 해당 보정 처리는, 상술한 부분 블러 보정 처리와 마찬가지로 실행할 수 있다. 즉, 샘플 화상수 n이 미리 설정되어 있는 임계값 α 이상이며, 한편, 촬상 장치(10-1)로부터의 화상과 촬상 장치(10-2)로부터의 화상의 동일한 위치의 영역에서의 파워 스펙트럼의 평균치의 비가 1.0±소정의 임계값 β의 범위를 넘는 경우에만, 보정의 조건에 합치하고 있다고 판단하여 해상도 보정 처리를 실행한다.

구체적으로는, 그 차이를 없애는 방향으로, 해상도가 나쁜 방향에서 좋은 방향으로 가까와지도록 (반대로, 해상도가 좋은 방향에서 나쁜 방향으로 가까와져도 된다)하여 해상도 보정 처리를 행한다. 이에 의해, 촬상 장치(10-1)와 촬상 장치(10-2)의 특성의 차이에 기인하는 해상 차분을 억제할 수 있다.

또한 상술한 화상 처리 장치(50)에 있어서 DB 갱신 처리와 보정 처리는, 2대의 촬상 장치(10)를 사용하는 스테레오 카메라 시스템에 한정하지 않고, 3대 이상의 촬상 장치(10)를 사용하는 시스템에도 적용할 수 있다.

＜정리＞

본 실시형태에 의하면, 제조 공정에서 개별 조정 공정을 생략할 수 있으므로, 개별 조정 공정을 행했던 경우와 비교하여 제조 비용을 억제할 수 있다.

또한, 출하 후에 발생한 낙하 등의 사고에 기인한 부분 블러 등의 화질 열화를 보정하는 것이 가능해진다.

또한 본 실시형태에 의하면, 다른 광원에 각각 대응하여 DB를 구축하므로, 컬러 쉐이딩 보정 처리의 정밀도를 향상시킬 수 있다.

다만, 본 실시형태는, 충분한 샘플 화상수를 촬상하여 DB를 구축한 후에 상술한 효과를 얻을 수 있다. 따라서, 특히, 유저가 의식적으로 촬상 조작을 행하지 않아도 다수의 화상이 촬상되는 웨어러블(wearable) 라이프 로그를 기록하는 것 같은 카메라나, 드라이브 레코더를 비롯한 머신 비전에 사용되는 카메라 등 촬상 장치에 매우 적합하다.

＜그 외의 적용예＞

본 개시와 관련된 기술은, 여러가지 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련된 기술은, 자동차, 전기 자동차, 하이브리드(hybrid) 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설기계, 농업기계(트랙터) 등의 몇 가지 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.

도 20은, 본 개시와 관련된 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 나타내는 블록도이다. 차량 제어 시스템(7000)은, 통신 네트워크(7010)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 20에 나타낸 예에서는, 차량 제어 시스템(7000)은, 구동계 제어 유닛(7100), 보디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500), 및 통합 제어 유닛(7600)을 구비한다. 이러한 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들면, CAN(Controller　Area　Network), LIN(Local　Interconnect　Network), LAN(Local　Area　Network) 또는 FlexRay(등록상표) 등 임의의 규격에 준거한 차재(車載) 통신 네트워크이어도 된다.

각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로 컴퓨터와, 마이크로 컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통해 다른 제어 유닛과의 사이에 통신을 행하기 위한 네트워크 I/F를 갖추는 것과 동시에, 차내외의 장치 또는 센서 등과의 사이에, 유선 통신 또는 무선통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 20에서는, 통합 제어 유닛(7600)의 기능 구성으로서 마이크로 컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘(beacon) 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차재 네트워크 I/F(7680) 및 기억부(7690)가 도시되고 있다. 다른 제어 유닛과 마찬가지로 마이크로 컴퓨터, 통신 I/F 및 기억부 등을 구비한다.

구동계 제어 유닛(7100)은, 각종 프로그램에 따라 차량의 구동계와 관련된 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(7100)은, 내연기관 또는 구동용 모터 등 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차의 바퀴에 전달하기 위한 구동력 전달 기구, 차량의 타각(舵角)을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어장치로서 기능한다. 구동계 제어 유닛(7100)은, ABS(Antilock　Brake　System) 또는 ESC(Electronic　Stability　Control) 등의 제어장치로서의 기능을 가져도 된다.

구동계 제어 유닛(7100)에는, 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들면, 차체의 축회전운동의 각속도를 검출하는 자이로 센서(gyro sensor), 차량의 가속도를 검출하는 가속도 센서, 또는, 가속 페달의 조작량, 브레이크 페달의 조작량, 핸들의 조타각, 엔진 회전수 또는 차의 바퀴의 회전 속도 등을 검출하기 위한 센서 가운데 적어도 1개가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 사용해 연산 처리를 행하여, 내연기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.

보디계 제어 유닛(7200)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(7200)은, 키리스 엔트리 시스템(keyless entry system), 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(7200)에는, 열쇠를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(7200)은, 이러한 전파 또는 신호의 입력을 받아들여 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

배터리 제어 유닛(7300)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 이차 전지(7310)를 제어한다. 예를 들면, 배터리 제어 유닛(7300)에는, 이차 전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은, 이러한 신호를 사용하여 연산 처리를 행하며, 2차 전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.

차외 정보 검출 유닛(7400)은, 차량 제어 시스템(7000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(7400)에는, 촬상부(7410) 및 차외 정보 검출부(7420) 가운데 적어도 일방이 접속된다. 촬상부(7410)에는, ToF(Time　Of　Flight) 카메라, 스테레오 카메라, 단안(單眼)카메라, 적외선 카메라 및 그 외의 카메라 가운데 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는, 예를 들면, 현재의 기후 또는 기상을 검출하기 위한 환경 센서, 또는, 차량 제어 시스템(7000)을 탑재한 차량의 주위의 다른 차량, 장애물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 가운데 적어도 하나가 포함된다.

환경 센서는, 예를 들면, 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서, 및 강설을 검출하는 눈 센서 가운데 적어도 하나이어도 된다. 주위 정보 검출 센서는, 초음파 센서, 레이더 장치 및 LIDAR(Light　Detection　and　Ranging, Laser　Imaging　Detection　and　Ranging) 장치 중 적어도 하나이어도 좋다. 이러한 촬상부(7410)및 차외 정보 검출부(7420)는, 각각 독립한 센서 내지 장치로서 구비해도 되고, 복수의 센서 내지 장치가 통합된 장치로서 구비되어도 된다.

여기서, 도 21은, 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들면, 차량(7900)의 프런트 노즈(front nose), 사이드 미러, 리어 범퍼(rear bumper), 백 도어(back door) 및 차실내의 자동차 앞유리의 상부 가운데 적어도 하나의 위치에 설치된다. 프런트 노즈에 구비될 수 있는 촬상부(7910) 및 차실내의 자동차 앞유리의 상부에 구비될 수 있는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드 미러에 구비될 수 있는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비될 수 있는 촬상부(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 차실내의 자동차 앞유리의 상부에 구비될 수 있는 촬상부(7918)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다.

또한, 도 21에는, 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 나타나고 있다. 촬상 범위 a는, 프런트 노즈에 설치된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위 b, c는, 각각 사이드 미러에 설치된 촬상부(7912, 7914)의 촬상 범위를 나타내며, 촬상 범위 d는, 리어 범퍼 또는 백 도어에 설치된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(7910, 7912, 7914, 7916)로 촬상된 화상 데이터가 겹쳐짐으로써, 차량(7900)을 위쪽에서 본 부감 화상을 얻을 수 있다.

차량(7900)의 프런트, 리어, 사이드, 코너 및 차실내의 자동차 앞유리의 상부에 설치되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들면 초음파 센서 또는 레이더 장치이어도 된다. 차량(7900)의 프런트 노즈, 리어 범퍼, 백 도어 및 차실내의 자동차 앞유리의 상부에 설치되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들면 LIDAR 장치이어도 된다. 이러한 차외 정보 검출부(7920 내지 7930)는, 주로 선행 차량, 보행자 또는 장애물 등의 검출에 사용된다.

도 20으로 돌아와 설명을 계속한다. 차외 정보 검출 유닛(7400)은, 촬상부(7410)에 차외의 화상을 촬상시키는 것과 동시에, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은, 접속되고 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은, 초음파 또는 전자파 등을 발신시키는 것과 동시에, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등 물체 검출 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.

또한, 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 기초하여, 사람, 차, 장애물, 표지 또는 노면상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대하여 왜곡 보정 또는 위치 맞춤 등의 처리를 행하는 것과 동시에, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성해, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 사용해, 시점 변환 처리를 행해도 된다.

차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들면, 운전자 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들면, 좌면 또는 핸들 등에 설치되어 좌석에 앉은 탑승자 또는 핸들을 잡는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 앉아서 졸고있는지 여부를 판별해도 된다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대하여 노이즈 캔슬링 처리 등의 처리를 행해도 된다.

통합 제어 유닛(7600)은, 각종 프로그램에 따라 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되고 있다. 입력부(7800)는, 예를 들면, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성인식 함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들면, 적외선 또는 그 외의 전파를 사용한 원격 조작(remote control) 장치이어도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대전화 또는 PDA(Personal　Digital　Assistant) 등의 외부 접속 기기이어도 된다. 입력부(7800)는, 예를 들면 카메라이어도 되고, 그 경우 탑승자는 제스쳐에 의해 정보를 입력할 수 있다. 혹은, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻을 수 있던 데이터가 입력되어도 된다. 또한 입력부(7800)는, 예를 들면, 상기의 입력부(7800)를 사용하여 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은, 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대하여 각종의 데이터를 입력하거나 처리 동작을 지시하거나 한다.

기억부(7690)는, 마이크로 컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read　Only　Memory), 및 각종 파라미터, 연산 결과 또는 센서값 등을 기억하는 RAM(Random　Access　Memory)을 포함하고 있어도 된다. 또한, 기억부(7690)는, HDD(Hard　Disc　Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광기억 디바이스 또는 광자기 기억 디바이스 등에 의해 실현되어도 된다.

범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 여러 가지 기기 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(Global　System　of　Mobile　communications), WiMAX, LTE(Long　Term　Evolution) 또는 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록상표)라고도 한다), Bluetooth(등록상표) 등 그 외의 무선통신 프로토콜을 실장해도 좋다. 범용 통신 I/F(7620)는, 예를 들면, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들면, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들면, 어플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들면 P2P(Peer　To　Peer) 기술을 사용해, 차량의 근방에 존재하는 단말(예를 들면, 운전자, 보행자 또는 점포의 단말, 또는 MTC(Machine　Type　Communication) 단말)과 접속해도 된다.

전용 통신 I/F(7630)는, 차량에서의 사용을 목적으로 하여 책정된 통신 프로토콜을 서포트하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들면, 하위 레이어의 IEEE802.11p와 상위 레이어의 IEEE1609의 조합인 WAVE(Wireless　Access　in　Vehicle　Environment), DSRC(Dedicated　Short　Range　Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장해도 좋다. 전용 통신 I/F(7630)는, 전형적으로는, 차량과 차량 간(Vehicle　to　Vehicle) 통신, 차량과 인프라 간(Vehicle　to　Infrastructure) 통신, 차량과 집 간(Vehicle　to　Home)의 통신 및 차량과 보행자 간(Vehicle　to　Pedestrian) 통신 가운데 하나 이상을 포함한 개념인 V2X 통신을 수행한다.

측위부(7640)는, 예를 들면, GNSS(Global　Navigation　Satellite　System) 위성으로부터의 GNSS 신호(예를 들면, GPS(Global　Positioning　System) 위성으로부터의 GPS 신호)를 수신하여 측위를 실행해, 차량의 위도, 경도 및 고도를 포함한 위치 정보를 생성한다. 또한 측위부(7640)는, 무선 액세스 포인트와의 신호의 교환에 의해 현재 위치를 특정해도 되고, 또는 측위 기능을 가지는 휴대전화, PHS 또는 스마트 폰과 같은 단말로부터 위치 정보를 취득하여도 된다.

비콘 수신부(7650)는, 예를 들면, 도로상에 설치된 무선국 등으로부터 발신되는 전파 또는 전자파를 수신해, 현재 위치, 정체, 통행금지 또는 소요 시간 등의 정보를 취득한다. 또한 비콘 수신부(7650)의 기능은, 상술한 전용 통신 I/F(7630)에 포함되어도 된다.

차내 기기 I/F(7660)는, 마이크로 컴퓨터(7610)와 차내에 존재하는 여러 가지 차내 기기(7760) 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록상표), NFC(Near　Field　Communication) 또는 WUSB(Wireless　USB)와 같은 무선통신 프로토콜을 사용하여 무선 접속을 확립해도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해, USB(Universal　Serial　Bus), HDMI(High-Definition　Multimedia　Interface), 또는 MHL(Mobile　High-definition　Link) 등의 유선 접속을 확립해도 된다. 차내 기기(7760)는, 예를 들면, 탑승자가 가지는 모바일 기기 또는 웨어러블 기기, 또는 차량에 반입되거나 장착되는 정보 기기 가운데 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 행하는 네비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이러한 차내 기기(7760)의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.

차재 네트워크 I/F(7680)는, 마이크로 컴퓨터(7610)와 통신 네트워크(7010) 사이의 통신을 중개하는 인터페이스이다. 차재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 서포트되는 소정의 프로토콜에 준거하여, 신호 등을 송수신 한다.

통합 제어 유닛(7600)의 마이크로 컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 가운데 적어도 하나를 통해 취득된 정보에 기초하여, 각종 프로그램에 따라, 차량 제어 시스템(7000)을 제어한다. 예를 들면, 마이크로 컴퓨터(7610)는, 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산해, 구동계 제어 유닛(7100)에 대하여 제어 지령을 출력해도 된다. 예를 들면, 마이크로 컴퓨터(7610)는, 차량의 충돌 회피 또는 충격 완화, 차간거리에 기초한 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함한 ADAS(Advanced　Driver　Assistance　System) 기능 실현을 목적으로 하는 협조 제어를 행해도 된다. 또한, 마이크로 컴퓨터(7610)는, 취득되는 차량 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의지하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 하는 협조 제어를 행해도 된다.

마이크로 컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 가운데 적어도 하나를 통해 취득된 정보에 기초하여, 차량과 주변의 구조물이나 인물 등 물체 사이의 3차원 거리 정보를 생성해, 차량의 현재 위치의 주변 정보를 포함한 로컬 지도 정보를 작성해도 된다. 또한, 마이크로 컴퓨터(7610)는, 취득된 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행금지 도로로의 진입 등의 위험을 예측하여, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들면, 경고음을 발생시키거나 경고 램프를 점등시키기 위한 신호여도 된다.

음성 화상 출력부(7670)는, 차량의 탑승자 또는 차 외부에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치에 음성 및 화상 가운데 적어도 하나의 출력 신호를 송신한다. 도 20의 예에서는, 출력장치로서 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(instrument panel)(7730)이 예시되고 있다. 표시부(7720)는, 예를 들면, 온보드 디스플레이 및 헤드업 디스플레이의 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는, AR(Augmented　Reality) 표시 기능을 가지고 있어도 된다. 출력장치는, 이러한 장치 이외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등 다른 장치이어도 된다. 출력장치가 표시장치인 경우, 표시장치는, 마이크로 컴퓨터(7610)가 행하는 각종 처리에 의해 얻을 수 있던 결과 또는 다른 제어 유닛으로부터 수신된 정보를, 텍스트, 이미지, 표, 그래프 등, 여러 가지 형식으로 시각적으로 표시한다. 또한, 출력장치가 음성 출력장치의 경우, 음성 출력장치는, 재생된 음성 데이터 또는 음향 데이터 등으로 이루어진 오디오 신호를 아날로그 신호로 변환해 청각적으로 출력한다.

또한 도 20에 나타낸 예에서, 통신 네트워크(7010)를 통해 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로 일체화되어도 된다. 혹은, 개개의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 또한 차량 제어 시스템(7000)이, 도시되어 있지 않은 다른 제어 유닛을 구비해도 된다. 또한, 상기의 설명에서, 몇 가지의 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 구비하게 하여도 된다. 즉, 통신 네트워크(7010)를 통해 정보의 송수신이 되면, 소정의 연산 처리가, 몇 가지의 제어 유닛으로 행해지게 되어도 된다. 마찬가지로 몇 가지의 제어 유닛에 접속되고 있는 센서 또는 장치가, 다른 제어 유닛에 접속되는 것과 동시에, 복수의 제어 유닛이, 통신 네트워크(7010)를 통해 서로 검출 정보를 송수신해도 된다.

또한 도 2를 사용하여 설명한 본 실시형태와 관련된 DB부(20) 및 보정부(30)의 각 기능을 실현하기 위한 컴퓨터 프로그램을, 몇 가지의 제어 유닛 등에 실장할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다. 기록 매체는, 예를 들면, 자기 디스크, 광디스크, 광학 자기 디스크, 플래시 메모리 등이다. 또한, 상기의 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들면 네트워크를 통해 전달되어도 된다.

또한 본 기술의 실시형태는, 상술한 실시형태로 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러 가지의 변경이 가능하다.

본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와,

복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와,

산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와,

보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정부

를 구비하는 화상 처리 장치.

(2)

상기 (1)에 있어서,

상기 정량치 산출부는, 상기 샘플 화상을 복수의 영역으로 구분하고 상기 영역마다 상기 정량치를 산출하고,

상기 평균치 산출부는, 복수의 상기 샘플 화상의 상기 영역마다 산출된 상기 정량치의 평균치를 산출하는

화상 처리 장치.

(3)

상기 (1)에 있어서,

상기 보정부는, 상기 평균치에 기초하여 화상 보정치를 산출하고, 산출된 상기 화상 보정치에 기초하여 촬상된 화상을 보정하는

화상 처리 장치.

(4)

상기 (1) 또는 상기 (2)에 있어서,

상기 평균치 산출부는, 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 산출하고,

상기 보관 유지부는, 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 보관 유지하며,

상기 보정부는, 보관 유지되고 있는 다른 영역간의 상기 정량치의 상기 평균치의 비에 따라, 촬상된 화상을 보정하는

화상 처리 장치.

(5)

상기 (1) 또는 상기 (2)에 있어서,

상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 파워 스펙트럼을 산출하고,

상기 보정부는, 보관 유지되고 있는 상기 정량치로서의 상기 파워 스펙트럼의 상기 평균치에 기초하여, 촬상된 화상을 보정하는

화상 처리 장치.

(6)

상기 (5)에 있어서,

상기 보정부는, 촬상된 화상의 해상도를 보정하는

화상 처리 장치.

(7)

상기 (5) 또는 (6)에 있어서,

상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,

상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 촬상된 화상의 부분 블러를 보정하는

화상 처리 장치.

(8)

상기 (5) 또는 (6)에 있어서,

상기 평균치 산출부는, 상기 샘플 화상의 중심의 영역과 주변의 영역의 사이의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,

상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중심의 영역과 주변의 영역의 사이의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 촬상된 화상의 주변의 영역에서의 해상도를 보정하는

화상 처리 장치.

(9)

상기 (1) 또는 (2)에 있어서,

상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 각 색 성분의 화소치를 산출하고,

상기 보정부는, 보관 유지되고 있는 상기 정량치로서 상기 각 색 성분의 화소치의 평균치에 기초하여, 촬상된 화상의 컬러 쉐이딩을 보정하는

화상 처리 장치.

(10)

상기 (9)에 있어서,

상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비를 산출하고,

상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비에 따라, 촬상된 화상의 컬러 쉐이딩을 보정하는

화상 처리 장치.

(11)

상기 (1) 내지 (10) 중 어느 하나에 있어서,

상기 보정부는, 상기 샘플 화상의 수가 임계값 이상이 된 후, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는

화상 처리 장치.

(12)

상기 (1) 내지 (11) 중 어느 하나에 있어서,

취득된 상기 화상으로부터 상기 샘플 화상을 선별하는 선별부를 더 구비하는

화상 처리 장치.

(13)

상기 (12)에 있어서,

상기 선별부는, 취득된 상기 화상으로부터, 소정의 ISO값보다 높은 ISO값으로 촬상된 화상, 소정의 노출값보다 높은 또는 낮은 노출값으로 촬상된 화상, 및 연사된 화상을 제외함으로써, 상기 샘플 화상을 선별하는

화상 처리 장치.

(14)

상기 (1)에 있어서,

상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상부의 구성요소에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지하는

화상 처리 장치.

(15)

상기 (14)에 있어서,

광학 렌즈 및 상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자를 포함하는 상기 촬상부를 더 구비하는

화상 처리 장치.

(16)

상기 (5)에 있어서,

상기 평균치 산출부는, 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,

상기 보정부는, 보관 유지되고 있는, 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 다른 복수의 촬상 장치에 의해 촬상된 화상의 해상도를 보정하는

화상 처리 장치.

(17)

상기 (16)에 있어서,

상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상 장치에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지하는

화상 처리 장치.

(18)

화상 처리 장치의 화상 처리 방법에 있어서,

상기 화상 처리 장치에 의하여,

취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출 스텝과,

복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출 스텝과,

산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지 스텝과,

보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정 스텝

을 포함하는 화상 처리 방법.

(19)

광학 렌즈와,

상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자와,

상기 화소 신호로 이루어지는 화상을 취득하는 취득부와,

취득된 상기 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와,

복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와,

산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와,

보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정부

를 구비하는 촬상 장치.

(20)

상기 (19)에 있어서,

상기 광학 렌즈 또는 상기 촬상 소자의 적어도 일방은, 착탈 교환 가능한

촬상 장치.

10: 촬상 장치
11: 광학 렌즈
12: 촬상 소자
13: 화상 처리부
14: 표시부
15: 기록부　
16: 조작부
17: 촬상 제어부
18: 센서부
20: DB부
21: 화상 취득부　
22: 샘플 조건 판정부　
23: 중력 판정부
24: 주파수 특성 산출부　
25: 색별 화소 평균치 산출부　
26: 비교 해석부
27: 메모리
30: 보정부
31: 해상도 보정부
32: 쉐이딩 보정부
50: 화상 처리 장치

Claims (20)

1. 취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와,
   복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와,
   산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와,
   보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정부
   를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 정량치 산출부는, 상기 샘플 화상을 복수의 영역으로 구분하고 상기 영역마다 상기 정량치를 산출하고,
   상기 평균치 산출부는, 복수의 상기 샘플 화상의 상기 영역마다 산출된 상기 정량치의 평균치를 산출하는
   화상 처리 장치.
3. 제1항에 있어서,
   상기 보정부는, 상기 평균치에 기초하여 화상 보정치를 산출하고, 산출된 상기 화상 보정치에 기초하여 촬상된 화상을 보정하는
   화상 처리 장치.
4. 제2항에 있어서,
   상기 평균치 산출부는, 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 산출하고,
   상기 보관 유지부는, 또한 다른 영역간의 상기 정량치의 상기 평균치의 비를 보관 유지하며,
   상기 보정부는, 보관 유지되고 있는 다른 영역간의 상기 정량치의 상기 평균치의 비에 따라, 촬상된 화상을 보정하는
   화상 처리 장치.
5. 제2항에 있어서,
   상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 파워 스펙트럼을 산출하고,
   상기 보정부는, 보관 유지되고 있는 상기 정량치로서의 상기 파워 스펙트럼의 상기 평균치에 기초하여, 촬상된 화상을 보정하는
   화상 처리 장치.
6. 제5항에 있어서,
   상기 보정부는, 촬상된 화상의 해상도를 보정하는
   화상 처리 장치.
7. 제5항에 있어서,
   상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,
   상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중력 방향에 대하여 좌우로 늘어선 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 촬상된 화상의 부분 블러(partial blur)를 보정하는
   화상 처리 장치.
8. 제5항에 있어서,
   상기 평균치 산출부는, 상기 샘플 화상의 중심의 영역과 주변의 영역의 사이의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,
   상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중심의 영역과 주변의 영역의 사이의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 촬상된 화상의 주변의 영역에서의 해상도를 보정하는
   화상 처리 장치.
9. 제2항에 있어서,
   상기 정량치 산출부는, 상기 샘플 화상의 정량치로서 각 색 성분의 화소치를 산출하고,
   상기 보정부는, 보관 유지되고 있는 상기 정량치로서의 상기 각 색 성분의 화소치의 평균치에 기초하여, 촬상된 화상의 컬러 쉐이딩을 보정하는
   화상 처리 장치.
10. 제9항에 있어서,
    상기 평균치 산출부는, 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비를 산출하고,
    상기 보정부는, 보관 유지되고 있는, 상기 샘플 화상의 중력 방향에 대하여 직교하는 방향으로 배치된 영역간의 상기 각 색 성분의 화소치의 평균치의 비에 따라, 촬상된 화상의 컬러 쉐이딩을 보정하는
    화상 처리 장치.
11. 제2항에 있어서,
    상기 보정부는, 상기 샘플 화상의 수가 임계값 이상이 된 후, 보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는
    화상 처리 장치.
12. 제2항에 있어서,
    취득된 상기 화상으로부터 상기 샘플 화상을 선별하는 선별부를 더 구비하는
    화상 처리 장치.
13. 제12항에 있어서,
    상기 선별부는, 취득된 상기 화상으로부터, 소정의 ISO값보다 높은 ISO값으로 촬상된 화상, 소정의 노출값보다 높은 또는 낮은 노출값으로 촬상된 화상, 및 연사된 화상을 제외함으로써, 상기 샘플 화상을 선별하는
    화상 처리 장치.
14. 제1항에 있어서,
    상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상부의 구성요소에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지하는
    화상 처리 장치.
15. 제14항에 있어서,
    광학 렌즈 및 상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자를 포함하는 상기 촬상부를 더 구비하는
    화상 처리 장치.
16. 제5항에 있어서,
    상기 평균치 산출부는, 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비를 산출하고,
    상기 보정부는, 보관 유지되고 있는, 다른 복수의 촬상 장치에 의해 촬상된 상기 샘플 화상의 동일한 위치의 영역간의 상기 파워 스펙트럼의 상기 평균치의 비에 따라, 다른 복수의 촬상 장치에 의해 촬상된 화상의 해상도를 보정하는
    화상 처리 장치.
17. 제16항에 있어서,
    상기 보관 유지부는, 상기 샘플 화상의 촬상에 사용한 촬상 장치에 대응지어, 산출된 상기 정량치의 상기 평균치를 보관 유지하는
    화상 처리 장치.
18. 화상 처리 장치의 화상 처리 방법에 있어서,
    상기 화상 처리 장치에 의한,
    취득된 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출 스텝과,
    복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출 스텝과,
    산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지 스텝과,
    보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정 스텝
    을 포함한 화상 처리 방법.
19. 광학 렌즈와,
    상기 광학 렌즈에 의해 집광된 입사광에 따라 화소 신호를 생성하는 촬상 소자와,
    상기 화소 신호로 이루어지는 화상을 취득하는 취득부와,
    취득된 상기 화상에 기초한 샘플 화상의 정량치를 산출하는 정량치 산출부와,
    복수의 상기 샘플 화상으로부터 산출된 상기 정량치의 평균치를 산출하는 평균치 산출부와,
    산출된 상기 정량치의 상기 평균치를 보관 유지하는 보관 유지부와,
    보관 유지되고 있는 상기 정량치의 상기 평균치에 기초하여, 촬상된 화상을 보정하는 보정부
    를 구비하는 촬상 장치.
20. 제19항에 있어서,
    상기 광학 렌즈 또는 상기 촬상 소자의 적어도 일방은, 착탈 교환 가능한
    촬상 장치.

Images