KR102388259B1

KR102388259B1 - 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법

Info

Publication number: KR102388259B1
Application number: KR1020197027667A
Authority: KR
Inventors: 아키라 아소마
Original assignee: 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date: 2017-03-30
Filing date: 2017-12-20
Publication date: 2022-04-18
Also published as: US11089230B2; TWI775808B; JP2018170656A; US20200036881A1; KR20190133002A; TW201837594A; WO2018179623A1

Abstract

복수의 촬상 소자를 설치한 복안의 촬상 장치에 있어서, 화질이 동일한 복수의 화상 데이터를 촬상한다. 제1 화소 어레이부에는, 제1 화소 신호를 생성하는 제1 화소가 배열된다. 제2 화소 어레이부에는, 제2 화소 신호를 생성하는 제2 화소가 배열된다. 제1 설정부는, 적정 노출값에 기초하여 노광 시간과 제1 화소 신호에 대한 제1 게인을 설정한다. 제2 설정부는, 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 제1 게인을 조정하여 제2 화소 신호에 대한 제2 게인으로서 설정한다. 제어부는, 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시킨다. 증폭부는, 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭한다.

Description

촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법

본 기술은, 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법에 관한 것이다. 상세하게는, 복수의 촬상 소자를 설치한 복안(複眼)의 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법에 관한 것이다.

종래부터, 복수의 화상 데이터를 동시에 촬상하기 위해서, 복수의 촬상 소자를 설치한 복안형의 촬상 장치가 이용되고 있다. 예를 들면, 2개의 촬상 소자에 의해, 동일한 아날로그 게인 및 셔터 스피드를 이용해 2매의 촬상 데이터를 동시에 촬상하는 이안형의 촬상 장치가 제안되어 있다(예를 들면, 특허문헌 1 참조).

일본 특허 공개 제2006－295506호 공보

상술한 종래 기술에서는, 2개의 촬상 소자의 화소의 감도가 동일한 경우에는, 동일한 촬상 조건에 의해, 동일한 화질의 2매의 화상 데이터를 촬상할 수 있다. 그러나, 컬러 필터의 유무 등의 광학적 조건의 상이나, 제품 편차 등에 기인하여 촬상 소자의 각각의 화소의 감도가 다른 경우에는, 2매의 화상 데이터의 밝기가 같지 않을 우려가 있다. 또한, 감도 외에, 2개의 광학계의 각각의 F값이 다른 경우에도 밝기가 같지 않을 우려가 있다. 양자의 화소의 감도나 F값이 다른 경우이어도 일방의 셔터 스피드를 변경하여 밝기를 동일하게는 할 수 있으나, 그 경우, 셔터 스피드의 상이에 의해 동피사체의 블러(blur)의 정도가 다른 화상이 되어 버린다. 이와 같이, 2개의 촬상 소자의 각각의 감도나 각 광학계의 광학 특성이 다른 경우에, 같은 화질의 2매의 화상 데이터를 촬상하는 것이 곤란하게 되는 문제가 있다.

본 기술은 이러한 상황을 감안하여 이루어진 것으로, 복수의 촬상 소자를 설치한 복안의 촬상 장치에 있어서, 화질이 동일한 복수의 화상 데이터를 촬상하는 것을 목적으로 한다.

[0006]

본 기술은, 상술한 문제점을 해소하기 위하여 이루어진 것으로, 그 제1 측면은, 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와, 제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와, 적정 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와, 상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와, 상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와, 상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부를 구비하는 촬상 장치 및, 그 제어 방법이다. 이에 의해, 제1 및 제2 단안 카메라 모듈의 감도차에 기초하여 조정된 게인에 의해 화소 신호가 증폭되는 작용을 가져온다.

[0007]

또한, 이 제1 측면에 있어서, 상기 적정 노출값은, 상기 제1 화소 신호로부터 연산된 제1 적정 노출값과 상기 제2 화소 신호로부터 연산된 제2 적정 노출값을 포함하고, 상기 제1 설정부는, 상기 제1 적정 노출값에 기초하여 상기 노광 시간과 상기 제1 게인을 설정하고, 상기 제2 설정부는, 상기 제1 적정 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산해도 된다. 이에 의해, 제1 적정 노출값과 감도차와 노광 시간으로부터 연산된 제2 게인에 의해 제2 화소 신호가 증폭되는 작용을 가져온다.

[0008]

또한, 이 제1 측면에 있어서, 상기 제2 설정부는, 상기 제1 적정 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고, 상기 제1 설정부는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 적정 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정해도 된다. 이에 의해, 게인이 마이너스값이 되는 경우에는, 그 게인과 노광 시간으로부터 새로운 노광 시간이 취득되는 작용을 가져온다.

[0009]

또한, 이 제1 측면에 있어서, 상기 제2 설정부는, 상기 제1 적정 노출값과 상기 감도차를 노출값으로 환산한 감도차 환산값으로부터 기준 노출값을 연산하는 연산기와, 상기 기준 노출값에 기초하여 상기 제2 적정 노출값을 보정하여 보정완료 적정 노출값으로서 출력하는 보정부와, 상기 보정완료 적정 노출값과 상기 노광 시간을 노출값으로 환산한 값의 차분으로부터 상기 제2 게인을 연산하는 게인 연산부를 구비해도 된다. 이에 의해, 제1 적정 노출값과 감도차 환산값의 차분에 기초하여 제2 게인이 연산되는 작용을 가져온다.

[0010]

또한, 이 제1 측면에 있어서, 상기 보정부는, 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 상기 제2 적정 노출값을 보정해도 된다. 이에 의해, 허용 범위 내에 보정된 적정 노출값에 의해 제2 게인이 연산되는 작용을 가져온다.

[0011]

또한, 이 제1 측면에 있어서, 상기 보정부는, 상기 기준 노출값과 상기 제2 적정 노출값을 가중치 가산한 값을 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 보정해도 된다. 이에 의해, 가중치 가산한 값이 허용 범위 내의 값으로 보정되는 작용을 가져온다.

[0012]

또한, 이 제1 측면에 있어서, 상기 제1 화소는, 서로 다른 파장의 광을 수광하는 복수의 화소를 포함하고, 상기 제2 화소의 각각은, 동일한 파장의 광을 수광해도 된다. 이에 의해, 흑백 화상 데이터와 컬러 화상 데이터가 촬상되는 작용을 가져온다.

[0013]

또한, 이 제1 측면에 있어서, 광을 집광하여 상기 제1 화소 어레이부로 가이드하는 제1 촬상 렌즈와, 광을 집광하여 상기 제2 화소 어레이부로 가이드하는 제2 촬상 렌즈를 더 구비하고, 상기 제1 촬상 렌즈는, 상기 제2 촬상 렌즈와 화각이 다른 것이어도 된다. 이에 의해, 화각이 다른 2매의 화상 데이터가 촬상되는 작용을 가져온다.

[0014]

또한, 이 제1 측면에 있어서, 상기 제1 및 제2 화소 신호를 제1 및 제2 화소 데이터로 변환하는 아날로그 디지털 변환부를 더 구비하고, 상기 제1 게인은, 제1 아날로그 게인과 제1 디지털 게인을 포함하고, 상기 제2 게인은, 제2 아날로그 게인과 제2 디지털 게인을 포함하고, 상기 증폭부는, 상기 제1 및 제2 화소 신호를 제1 및 제2 아날로그 게인에 의해 증폭하는 아날로그 신호 증폭부와, 상기 제1 및 제2 화소 데이터를 제1 및 제2 디지털 게인에 의해 증폭하는 디지털 신호 증폭부를 구비해도 된다. 이에 의해, 아날로그 게인에 의해 증폭된 화소 신호를 아날로그 디지털 변환한 화소 데이터가 디지털 게인에 의해 증폭되는 작용을 가져온다.

[0015]

또한, 본 기술의 제2 측면은, 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와, 제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와, 적정 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와, 상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여, 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와, 상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와, 상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부와, 상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 출력하는 화상 출력부를 구비하는 촬상 모듈이다. 이에 의해, 제1 및 제2 단안 카메라 모듈의 감도차에 기초하여 조정된 게인에 의해 증폭된 화상 신호로부터 생성된 화상 데이터가 출력되는 작용을 가져온다.

[0016]

또한, 본 기술의 제3 측면은, 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와, 제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와, 적정 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와, 상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여, 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와, 상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와, 상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부와, 상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 기록하는 기록부를 구비하는 촬상 시스템이다. 이에 의해, 제1 및 제2 단안 카메라 모듈의 감도차에 기초하여 조정된 게인에 의해 증폭된 화상 신호로부터 생성된 화상 데이터가 기록되는 작용을 가져온다.

본 기술에 의하면, 복수의 촬상 소자를 설치한 복안의 촬상 장치에 있어서, 화질이 동일한 복수의 화상 데이터를 촬상할 수 있다고 하는 뛰어난 효과를 얻을 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어떠한 효과이어도 된다.

[도 1] 본 기술의 제1 실시형태에 있어서의 촬상 장치의 일 구성예를 나타내는 블록도이다.
[도 2] 본 기술의 제1 실시형태에 있어서의 이안(2眼) 카메라 모듈의 외관의 구성예를 나타내는 도면이다.
[도 3] 본 기술의 제1 실시형태에 있어서의 이안 카메라 모듈의 일 구성예를 나타내는 블록도이다.
[도 4] 본 기술의 제1 실시형태에 있어서의 서브측 고체 촬상 소자의 일 구성예를 나타내는 블록도이다.
[도 5] 본 기술의 제1 실시형태에 있어서의 메인측 고체 촬상 소자의 일 구성예를 나타내는 블록도이다.
[도 6] 본 기술의 제1 실시형태에 있어서의 서브측 화소 어레이부 및 메인측 화소 어레이부의 평면도의 일례이다.
[도 7] 본 기술의 제1 실시형태에 있어서의 노광 제어부의 일 구성예를 나타내는 블록도이다.
[도 8] 본 기술의 제1 실시형태에 있어서의 프로그램선도의 일례를 나타내는 도면이다.
[도 9] 본 기술의 제1 실시형태에 있어서의 서브측 노광 파라미터 설정부의 일 구성예를 나타내는 블록도이다.
[도 10] 본 기술의 제1 실시형태에 있어서의 화상 합성부의 일 구성예를 나타내는 블록도이다.
[도 11] 본 기술의 제1 실시형태에 있어서의 노광 제어에 관련하는 구성을 정리한 블록도이다.
[도 12] 본 기술의 제1 실시형태에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다.
[도 13] 비교예에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다.
[도 14] 본 기술의 제1 실시형태에 있어서의 이안 카메라 모듈의 동작의 일례를 나타내는 흐름도이다.
[도 15] 본 기술의 제1 실시형태에 있어서의 메인측 노광 제어 처리를 나타내는 흐름도이다.
[도 16] 본 기술의 제1 실시형태에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다.
[도 17] 본 기술의 제1 실시형태에 있어서의 서브측 적정 노출값 보정 처리를 나타내는 흐름도이다.
[도 18] 본 기술의 제1 실시형태의 변형예에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다.
[도 19] 본 기술의 제2 실시형태에 있어서의 노광 제어부의 일 구성예를 나타내는 블록도이다.
[도 20] 본 기술의 제2 실시형태에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다.
[도 21] 본 기술의 제2 실시형태에 있어서의 이안 카메라 모듈의 동작의 일례를 나타내는 흐름도이다.
[도 22] 본 기술의 제2 실시형태에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다.
[도 23] 본 기술의 제2 실시형태에 있어서의 절환 제어 처리를 나타내는 흐름도이다.
[도 24] 본 기술의 제3 실시형태에 있어서의 이안 카메라 모듈의 일 구성예를 나타내는 블록도이다.
[도 25] 본 기술의 제4 실시형태에 있어서의 촬상 시스템의 일 구성예를 나타내는 블록도이다.
[도 26] 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
[도 27] 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.

[0019]

이하, 본 기술을 실시하기 위한 형태(이하, 실시형태라고 칭한다)에 대해 설명한다. 설명은 이하의 순서에 의해 행한다.

1. 제1 실시형태(감도차에 기초하여 게인을 조정하는 예)

2. 제2 실시형태(메인측과 서브측을 절환하고, 감도차에 기초하여 게인을 조정하는 예)

3. 제3 실시형태(감도차에 기초하여 게인을 조정하여 2매의 컬러 화상을 촬상하는 예)

4. 제4 실시형태(삼안 이상의 촬상 시스템에 있어서 감도차에 기초하여 게인을 조정하는 예)

5. 이동체에의 응용예

[0020]

＜1. 제1 실시형태＞

[촬상 장치의 구성예]

도 1은, 본 기술의 제1 실시형태에 있어서의 촬상 장치(100)의 일 구성예를 나타내는 블록도이다. 이 촬상 장치(100)는, 화상 데이터를 촬상할 수가 있는 장치이며, 카메라 모듈 제어부(110), 이안 카메라 모듈(200) 및 기록부(120)를 구비한다. 촬상 장치(100)로서, 촬상 기능을 갖는 스마트 폰이나 퍼스널 컴퓨터 등의 범용형 기기나, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 디지털 카메라가 상정된다.

[0021]

카메라 모듈 제어부(110)는, 유저의 조작에 따라 이안 카메라 모듈(200)을 제어하는 것이다. 예를 들면, 카메라 모듈 제어부(110)는, 유저의 조작에 따라, 촬상의 개시나 정지를 지시하는 제어 신호를 생성하고, 신호선(119)을 거쳐서 이안 카메라 모듈(200)에 공급한다.

[0022]

이안 카메라 모듈(200)은, 2개의 고체 촬상 소자에 의해 2매의 화상 데이터를 동시에 촬상하는 것이다. 이 이안 카메라 모듈(200)은, 촬상한 화상 데이터를 신호선(209)을 거쳐서 기록부(120)에 공급한다. 기록부(120)는, 화상 데이터를 기록하는 것이다. 또한, 이안 카메라 모듈(200)은, 특허 청구범위에 기재된 촬상 모듈의 일례이다.

[이안 카메라 모듈의 구성예]

도 2는, 본 기술의 제1 실시형태에 있어서의 이안 카메라 모듈의 외관의 구성예를 나타내는 도면이다. 동 도면에 있어서의 a는, 이안 카메라 모듈(200)의 사시도이고, 동 도면에 있어서의 b는, 이안 카메라 모듈(200)의 정면도이다.

[0023]

이안 카메라 모듈(200)은, 복안 방식의 카메라 모듈로서, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)이, 직사각형의 판상 형상으로 이루어지는 연결 부재(203)에 의해 고정됨으로써 구성된다.

[0024]

단안 카메라 모듈(201)에는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 고체 촬상 소자나 렌즈 유닛 등이 탑재되고 있다.

[0025]

단안 카메라 모듈(201)에 있어서, 고체 촬상 소자는, 복수의 화소가 이차원 형상으로 배열되는 화소부나, 화소의 구동이나 A/D(Analog/Digital) 변환 등을 행하는 주변 회로부 등으로부터 구성되어 있다. 이 고체 촬상 소자에서는, 렌즈 유닛 내의 렌즈로부터 입사되는 광(이미지광)이 화소부의 수광면에 결상되고, 결상된 상의 광이 광전 변환됨으로써, 화소 신호가 생성된다.

[0026]

단안 카메라 모듈(202)은, 단안 카메라 모듈(201)과 마찬가지로, CMOS 이미지 센서나 렌즈 유닛 등이 탑재되어 구성된다. 예를 들면, 이안 카메라 모듈(200)에 있어서는, 단안 카메라 모듈(202)을 메인 카메라로 하는 한편으로, 단안 카메라 모듈(201)을 서브 카메라로 할 수 있다.

[0027]

연결 부재(203)는, 단안 카메라 모듈(201)의 렌즈 유닛과, 단안 카메라 모듈(202)의 렌즈 유닛을 배열한 때의 평면 방향의 사이즈보다 큰 윤곽의 직사각형의 판상 형상으로 이루어진다. 또한, 연결 부재(203)에는, 단안 카메라 모듈(201)의 렌즈 유닛이 삽입되는 직사각형의 삽입홀부와, 단안 카메라 모듈(202)의 렌즈 유닛이 삽입되는 직사각형의 삽입홀부가, 대칭으로 관통 형성되어 있다.

[0028]

이안 카메라 모듈(200)에 있어서는, 연결 부재(203)에 관통 형성된 2개의 직사각형의 삽입홀부에 대해, 단안 카메라 모듈(201)의 렌즈 유닛과, 단안 카메라 모듈(202)의 렌즈 유닛이 각각 삽입되어 고정되고 있다. 이에 의해, 이안 카메라 모듈(200)은, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)을 갖는, 복안 방식의 카메라 모듈로서 구성된다. 이안 카메라 모듈(200)은, 이상과 같이 구성된다.

[0029]

또한, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)은, 연결 부재(203)에 의해 연결되는, 복수의 단안 카메라 모듈의 일례로서, 이하, 그들을 특히 구별할 필요가 없는 경우에는, 단순히, 단안 카메라 모듈(201)로 칭하여 설명한다.

[0030]

또한, 단안 카메라 모듈은, 1개의 고체 촬상 소자(이미지 센서)가 탑재된 카메라 모듈이다. 한편, 이안 카메라 모듈은, 2개의 단안 카메라 모듈을 연결시킴으로써, 2개의 고체 촬상 소자(이미지 센서)가 탑재된 카메라 모듈이다. 다만, 모듈은, 패키지 등의 다른 명칭으로 불리는 경우가 있다.

[0031]

도 3은, 본 기술의 제1 실시형태에 있어서의 이안 카메라 모듈(200)의 일 구성예를 나타내는 블록도이다. 이 이안 카메라 모듈(200)은, 촬상 렌즈(211 및 212)와, 서브측 고체 촬상 소자(220), 메인측 고체 촬상 소자(240), 측광부(260), 노광 제어부(270), 동기 신호 공급부(280), 화상 합성부(290), 및 화상 출력부(213)를 구비한다.

[0032]

도 3에 있어서의 촬상 렌즈(211) 및 서브측 고체 촬상 소자(220)는, 도 2에 있어서의 단안 카메라 모듈(201) 내에 배치되고, 도 3에 있어서의 촬상 렌즈(212) 및 메인측 고체 촬상 소자(240)는, 도 2에 있어서의 단안 카메라 모듈(202) 내에 배치된다. 또한, 도 3에 있어서의 측광부(260) 내의 메인측의 회로와 서브측의 회로는, 도 2에 있어서의 단안 카메라 모듈(201 및 202)에 분산하여 배치된다. 도 3에 있어서의 노광 제어부(270), 동기 신호 공급부(280), 화상 합성부(290) 및 화상 출력부(213)는, 도 2에 있어서의 단안 카메라 모듈(201 및 202)의 어느 것에 배치해도 된다.

[0033]

촬상 렌즈(211)는, 피사체로부터의 광을 집광하여 서브측 고체 촬상 소자(220)로 가이드하는 것이다. 촬상 렌즈(212)는, 피사체로부터의 광을 집광하여 메인측 고체 촬상 소자(240)로 가이드하는 것이다. 촬상 렌즈(211 및 212)의 각각의 조리개의 조리개값은, 예를 들면, 고정값이다. 또한, 조리개값이 가변으로, 그 값을 노광 제어부(270)가 제어하는 구성이어도 된다. 조리개값이 가변인 경우에 있어서는, 메인측 및 서브측의 각각의 화각 및 피사계심도를 고려하고, 메인측 및 서브측의 각각에 있어서 적절한 값이 되도록 조리개값이 제어된다.

[0034]

서브측 고체 촬상 소자(220)는, 화상 데이터를 촬상하는 것이다. 이 서브측 고체 촬상 소자(220)는, 색 정보를 포함하지 않는 화소 데이터로 이루어지는 화상 데이터인 흑백 화상 데이터를 촬상한다. 그리고, 서브측 고체 촬상 소자(220)는, 흑백 화상 데이터를 측광부(260) 및 화상 합성부(290)에 공급한다.

[0035]

메인측 고체 촬상 소자(240)는, 화상 데이터를 촬상하는 것이다. 이 메인측 고체 촬상 소자(240)는, 색 정보를 포함한 화소 데이터로 이루어지는 화상 데이터인 컬러 화상 데이터를 촬상한다. 이 컬러 화상 데이터는, R(Red), G(Green) 및 B(Blue)의 화소 데이터가 베이어 배열에 의해 배열된 것으로, RAW 화상 데이터라고도 불린다. 또한, 컬러 화상 데이터의 총 화소수는, 흑백 화상 데이터와 같은 것으로 한다. 메인측 고체 촬상 소자(240)는, 컬러 화상 데이터를 측광부(260) 및 화상 합성부(290)에 공급한다.

[0036]

측광부(260)는, 화상 데이터의 휘도값의 적산이나 가중 평균 등에 의해, 광량을 측정하는 것이다. 이 측광부(260)는, 흑백 화상 데이터를 이용하여 서브측의 광량을 서브측 측광량으로서 측정하고, 컬러 화상 데이터를 이용하여 메인측의 광량을 메인측 측광량으로서 측정한다. 그리고, 측광부(260)는, 서브측 측광량 및 메인측 측광량을 노광 제어부(270)에 공급한다.

[0037]

노광 제어부(270)는, 측광부(260)로부터의 측광량에 기초하여, 노광 제어를 행하는 것이다. 이 노광 제어부(270)는, 측광량으로부터 적정 노출값을 연산하고, 그 적정 노출값에 기초하여 노광 시간(바꾸어 말하면, 셔터 스피드)과 화소 신호에 대한 게인을 구한다. 노광 제어부(270)의 기능은, 예를 들면, MPU(Micro-Processing Unit)가 프로그램을 실행함으로써 실현될 수 있다.

[0038]

여기서, 게인은, 아날로그의 화소 신호에 대한 아날로그 게인과, 디지털의 화소 데이터에 대한 디지털 게인의 적어도 일방을 포함한다. 또한, 디지털 게인은, 서브측 고체 촬상 소자(220) 및 메인측 고체 촬상 소자(240)의 내부에서 이용되는 디지털 게인과, 그들의 외부에서 이용되는 디지털 게인의 적어도 일방을 포함한다. 이하, 서브측의 아날로그 게인을 SAG로 하고, 메인측의 아날로그 게인을 MAG로 한다. 또한, 서브측 고체 촬상 소자(220)의 내부의 디지털 게인을 SDG_IMG로 하고, 화상 합성부(290)에서 이용되는 서브측의 디지털 게인을 SDG_DSP로 한다. 메인측 고체 촬상 소자(240)의 내부의 디지털 게인을 MDG_IMG로 하고, 화상 합성부(290)로 이용되는 메인측의 디지털 게인을 MDG_DSP로 한다.

[0039]

노광 제어부(270)는, 아날로그 게인 SAG 및 디지털 게인 SDG_IMG와 노광 시간의 각각의 설정값을 서브측 고체 촬상 소자(220)에 공급한다. 또한, 노광 제어부(270)는, 아날로그 게인 MAG 및 디지털 게인 MDG_IMG와 노광 시간의 각각의 설정값을 메인측 고체 촬상 소자(240)에 공급한다. 그리고, 노광 제어부(270)는, 디지털 게인 SDG_DSP 및 MDG_DSP를 화상 합성부(290)에 공급한다.

[0040]

동기 신호 공급부(280)는, 모듈 제어 신호에 따라 소정 주파수(예를 들면, 60헤르츠)의 수직 동기 신호 VSYNC를 생성하는 것이다. 이 동기 신호 공급부(280)는, 생성한 수직 동기 신호 VSYNC를 서브측 고체 촬상 소자(220) 및 메인측 고체 촬상 소자(240)에 공급한다.

[0041]

화상 합성부(290)는, 흑백 화상 데이터와 컬러 화상 데이터를 합성하는 것이다. 베이어 배열의 컬러 화상 데이터는, 디모자이크 처리에 의해 보간을 행할 필요가 있고, 이 처리에 의해, G의 해상도는, 총 화소수의 1/2이 되고, R 및 B의 해상도는, 총 화소수의 1/4이 된다. 한편, 흑백 화상 데이터에서는, 디모자이크 처리는 불필요하기 때문에, 디모자이크 후의 컬러 화상 데이터보다 해상도가 높다. 따라서, 흑백 화상 데이터의 합성에 의해, 컬러 화상 데이터에서 부족한 화소 정보를 보충하여, 합성 화상 데이터의 화질을, 합성하지 않은 경우보다 향상시킬 수 있다. 화상 합성부는, 합성 화상 데이터를 화상 출력부(213)에 공급한다.

[0042]

화상 출력부(213)는, 합성 화상 데이터를 기록부(120)에 출력하는 것이다. 예를 들면, DisplayPort 등의 내부 인터페이스의 규격에 따라, 데이터를 전송하는 회로가 화상 출력부(213)로서 이용된다.

[0043]

[서브측 고체 촬상 소자의 구성예]

도 4는, 본 기술의 제1 실시형태에 있어서의 서브측 고체 촬상 소자(220)의 일 구성예를 나타내는 블록도이다. 이 서브측 고체 촬상 소자(220)는, 드라이버(221), 서브측 화소 어레이부(230), 아날로그 신호 증폭부(222), AD(Analog to Digital) 변환부(223) 및 디지털 신호 증폭부(224)를 구비한다.

[0044]

드라이버(221)는, 서브측 화소 어레이부(230)를 주사하는 것이다. 이 드라이버(221)에는, 수직 동기 신호 VSYNC에 동기한 타이밍 신호와, 서브측 노광 시간이 입력된다. 드라이버(221)는, 타이밍 신호에 동기하여 서브측 화소 어레이부(230) 내의 라인을 차례대로 선택하고, 그 라인을 서브측 노광 시간에 걸쳐 노광시킨다.

[0045]

서브측 화소 어레이부(230)에는, 이차원 격자 형상으로 복수의 화소가 배열된다. 화소의 각각은, 드라이버(221)의 제어에 따라, 아날로그의 화소 신호를 생성하여 아날로그 신호 증폭부(222)에 공급한다. 또한, 서브측 화소 어레이부(230)는, 특허 청구범위에 기재된 제2 화소 어레이부의 일례이다.

[0046]

아날로그 신호 증폭부(222)는, 화소 신호를 증폭하는 것이다. 이 아날로그 신호 증폭부(222)에는, 아날로그 게인 SAG가 입력된다. 아날로그 신호 증폭부(222)는, 그 아날로그 게인 SAG에 의해, 서브측 화소 어레이부(230)로부터의 화소 신호를 증폭하여 AD 변환부(223)에 공급한다.

[0047]

AD 변환부(223)는, 아날로그의 화소 신호의 각각을, 디지털의 화소 데이터로 변환하는 것이다. 이 AD 변환부(223)는, 화소 데이터의 각각을 디지털 신호 증폭부(224)에 공급한다.

[0048]

디지털 신호 증폭부(224)는, 화소 데이터를 증폭하는 것이다. 이 디지털 신호 증폭부(224)에는, 디지털 게인 SDG_IMG가 입력된다. 디지털 신호 증폭부(224)는, 그 디지털 게인 SDG_IMG에 의해 화소 데이터를 증폭하여 측광부(260) 및 화상 합성부(290)에 출력한다.

[0049]

또한, 서브측 고체 촬상 소자(220)는, 상술한 증폭 처리 및 AD 변환 외에, 필요에 따라 상관 이중 샘플링(CDS：Correlated Double Sampling) 처리 등의 신호 처리를 실행하여 흑백 화상 데이터를 생성한다.

[0050]

[메인측 고체 촬상 소자의 구성예]

도 5는, 본 기술의 제1 실시형태에 있어서의 메인측 고체 촬상 소자(240)의 일 구성예를 나타내는 블록도이다. 이 메인측 고체 촬상 소자(240)는, 드라이버(241), 메인측 화소 어레이부(250), 아날로그 신호 증폭부(242), AD 변환부(243) 및 디지털 신호 증폭부(244)를 구비한다.

[0051]

드라이버(241)는, 메인측 노광 시간을 이용하는 점 이외는, 서브측의 드라이버(221)와 마찬가지의 구성이다. 메인측 화소 어레이부(250)에는, R, G 및 B 화소가 베이어 배열에 의해 설치된다. 아날로그 신호 증폭부(242)는, 아날로그 게인 MAG에 의해 증폭하는 점 이외는, 서브측의 아날로그 신호 증폭부(222)와 마찬가지의 구성이다. 디지털 신호 증폭부(244)는, 디지털 게인 MDG_IMG에 의해 증폭하는 점 이외는, 서브측의 디지털 신호 증폭부(224)와 마찬가지의 구성이다. 또한, 메인측 화소 어레이부(250)는, 특허 청구범위에 기재된 제1 화소 어레이부의 일례이다.

[0052]

[화소 어레이부의 구성예]

도 6은, 본 기술의 제1 실시형태에 있어서의 서브측 화소 어레이부(230) 및 메인측 화소 어레이부(250)의 평면도의 일례이다. 동 도면에 있어서의 a는, 서브측 화소 어레이부(230)의 평면도의 일례이며, 동 도면에 있어서의 b는, 메인측 화소 어레이부(250)의 평면도의 일례이다.

[0053]

서브측 화소 어레이부(230)에는, 복수의 화소(231)가 이차원 격자 형상으로 배열된다. 그리고, 화소(231)의 각각에는, 컬러 필터가 설치되지 않는다. 이 때문에, 이 서브측 화소 어레이부(230)에 의해, 색 정보를 포함하지 않는 흑백 화상 데이터가 촬상된다.

[0054]

한편, 메인측 화소 어레이부(250)에는, 소정수의 R 화소(251), G 화소(252) 및 B 화소(253)가 베이어 배열에 의해 이차원 격자 형상으로 배열된다. 메인측 화소 어레이부(250)의 총 화소수는, 서브측 화소 어레이부(230)와 같다. R 화소(251)에는, 적색의 광을 투과하는 컬러 필터가 설치되고, G 화소(252)에는, 녹색의 광을 투과하는 컬러 필터가 설치된다. 또한, B 화소(253)에는, 청색의 광을 투과하는 컬러 필터가 설치된다. 컬러 필터의 투과율은, 100%가 되지 않기 때문에, 컬러 필터를 설치한 R 화소(251), G 화소(252) 및 B 화소(253)의 광감도는, 화소(231)보다 낮다.

[0055]

이와 같이 메인측과 서브측의 화소의 광감도가 다르기 때문에, 메인측과 서브측의 각각의 단안 카메라 모듈 전체의 감도는 다르다. 또한, 메인측과 서브측의 각각의 광학계의 광학 특성(F값 등)이 다른 경우에는, 그 특성의 상이도 단안 카메라 모듈의 감도차에 영향을 준다.

[0056]

[노광 제어부의 구성예]

도 7은, 본 기술의 제1 실시형태에 있어서의 노광 제어부(270)의 일 구성예를 나타내는 블록도이다. 이 노광 제어부(270)는, 적정 노출값 연산부(271), 메인측 노광 파라미터 설정부(272), 메모리(273) 및 서브측 노광 파라미터 설정부(274)를 구비한다.

[0057]

적정 노출값 연산부(271)는, 메인측 측광량 및 서브측 측광량으로부터, 메인측 및 서브측의 각각의 적정 노출값을 연산하는 것이다. 적정 노출값 연산부(271)는, 메인측 측광량을 소정의 함수에 입력하여, 메인측 적정 노출값을 연산한다. 또한, 적정 노출값 연산부(271)는, 서브측 측광량을, 그 함수에 입력하여, 서브측 적정 노출값을 연산한다.

[0058]

여기서, 「적정 노출값」이란, 화상 데이터를 소망한 밝기로 하기 위하여 필요한 노출값을 의미한다. 그리고, 노출값은, 일반적으로, 조리개값, 노광 시간, 및, 게인에 의해 결정된다. 여기서, 전술한 것처럼 조리개값은 고정이기 때문에, 적정 노출값 연산부(271)는, 그 고정의 조리개값을 노출값으로 환산한 값을 오프셋으로 하여, 메인측 적정 노출값 및 서브측 적정 노출값으로부터 오프셋을 감산한다.

[0059]

적정 노출값 연산부(271)는, 오프셋 감산 후의 메인측 적정 노출값을 메인측 노광 파라미터 설정부(272) 및 서브측 노광 파라미터 설정부(274)에 공급하고, 오프셋 감산 후의 서브측 적정 노출값을 서브측 노광 파라미터 설정부(274)에 공급한다.

[0060]

메인측 노광 파라미터 설정부(272)는, 메인측의 노광 시간 및 게인을 설정하는 것이다. 이 메인측 노광 파라미터 설정부(272)는, 프로그램선도(線圖)를 참조하여, 메인측 적정 노출값으로부터, 메인측 노광 시간 및 게인을 구한다. 이 게인은, 아날로그 게인 MAG와, 디지털 게인 MDG_IMG 및 MDG_DSP의 적어도 하나를 포함한다. 이들 가운데 예를 들면, 아날로그 게인 MAG가 우선적으로 설정된다. 아날로그 게인 MAG만으로 필요한 게인에 이르는 경우에는, 아날로그 게인 MAG만에 의미가 있는 값이 설정된다. 바꾸어 말하면, 아날로그 게인 MAG에 「0」데시벨보다 큰 값이 설정되고, 디지털 게인에는 「0」데시벨로 설정된다. 또한, 아날로그 게인 MAG만으로는 게인이 부족한 경우에는, 디지털 게인 MDG_IMG나 MDG_DSP가 더 설정된다.

[0061]

메인측 노광 파라미터 설정부(272)는, 메인측 노광 시간을 서브측 노광 파라미터 설정부(274)와, 메인측 고체 촬상 소자(240)에 공급한다. 또한, 메인측 노광 파라미터 설정부(272)는, 아날로그 게인 MAG 및 디지털 게인 MDG_IMG를 메인측 고체 촬상 소자(240)에 공급하고, 디지털 게인 MDG_DSP를 화상 합성부(290)에 공급한다. 또한, 메인측 노광 파라미터 설정부(272)는, 특허 청구범위에 기재된 제1 설정부의 일례이다.

[0062]

서브측 노광 파라미터 설정부(274)는, 서브측의 노광 시간 및 게인을 설정하는 것이다. 이 서브측 노광 파라미터 설정부(274)는, 메인측 노광 시간과 동일한 값을 서브측 노광 시간으로서 설정한다. 또한, 서브측 노광 파라미터 설정부(274)는, 다음의 식에 의해 기준 노출값을 연산한다.

SEB=ME－D ··· 식 1

위 식에 있어서, SEB는, 기준 노출값을 나타낸다. ME는, 메인측 적정 노출값을 나타내고, D는, 단안 카메라 모듈(201)과 단안 카메라 모듈(202)의 감도차를 노출값으로 환산한 값을 나타낸다.

[0063]

그리고, 서브측 노광 파라미터 설정부(274)는, 기준 노출값 SEB±dE를 허용 범위로서 설정하고, 그 허용 범위 내의 값에 서브측 적정 노출값 SE1을 보정하여 보정이 끝난 서브측 적정 노출값 SE3로 한다. 다음으로, 서브측 노광 파라미터 설정부(274)는, 다음의 식을 사용하여 서브측 게인 환산값을 구한다. 이 서브측 게인 환산값은, 서브측의 화소 신호에 대한 게인을 노출값으로 환산한 값이다.

SGA=SE3－SST ··· 식 2

위 식에 있어서, SGA는, 서브측 게인 환산값이고, SST는, 서브측 노광 시간 환산값이다. 이 서브측 노광 시간 환산값은, 서브측의 노광 시간을 노출값으로 환산한 값이다. 또한, 위 식에서는, 서브측이 감도가 높은 것을 전제로 하여 감산을 행하고 있으나, 반대로 메인측이 감도가 높은 경우에는 가산을 행한다.

[0064]

서브측 노광 파라미터 설정부(274)는, 서브측 게인 환산값 SGA로부터, 서브측의 아날로그 게인 SAG, 디지털 게인 SDG_IMG 및 디지털 게인 SDG_DSP를 구하여 설정한다. 그리고, 서브측 노광 파라미터 설정부(274)는, 아날로그 게인 SAG 및 디지털 게인 MDG_IMG를 서브측 고체 촬상 소자(220)에 공급하고, 디지털 게인 SDG_DSP를 화상 합성부(290)에 공급한다.

[0065]

메모리(273)는, 감도차 환산값 D, dE 및 프로그램선도를 보관하는 것이다.

[0066]

도 8은, 본 기술의 제1 실시형태에 있어서의 프로그램선도의 일례를 나타내는 도면이다. 동 도면에 있어서의 세로축은, 노광 시간 또는 게인을 나타내고, 가로축은 적정 노출값을 나타낸다. 또한, 일점 쇄선은, 노광 시간의 궤적을 나타내고, 실선은, 게인의 궤적을 나타낸다. 메인측 노광 파라미터 설정부(272)는, 이 프로그램선도를 참조하여, 메인측 적정 노출값에 대응하는, 메인측의 노광 시간 및 게인을 취득할 수 있다. 또한, 프로그램선도상의 궤적을 함수로 나타내고, 그 함수의 계수만을 메모리(273)가 보관하는 구성이어도 된다. 또한, 프로그램선도에 기초하여, 적정 노출값마다 노광 시간 및 게인의 조합을 기재한 테이블을 메모리(273)에 보관하는 구성이어도 된다.

[0067]

도 9는, 본 기술의 제1 실시형태에 있어서의 서브측 노광 파라미터 설정부(274)의 일 구성예를 나타내는 블록도이다. 이 서브측 노광 파라미터 설정부(274)는, 연산기(275), 서브측 적정 노출값 보정부(276) 및 서브측 게인 연산부(277)를 구비한다.

[0068]

연산기(275)는, 식 1을 이용하여 기준 노출값 SEB를 연산하는 것이다. 이 연산기(275)는, 기준 노출값 SEB를 서브측 적정 노출값 보정부(276)에 공급한다.

[0069]

서브측 적정 노출값 보정부(276)는, 기준 노출값 SEB±dE를 허용 범위로서 설정하고, 그 허용 범위 내의 값에 서브측 적정 노출값 SE1을 보정하는 것이다. 이 서브측 적정 노출값 보정부(276)는, 서브측 적정 노출값 SE1이 허용 범위 외의 값이면, 기준 노출값＋dE 또는 기준 노출값-dE를 보정이 끝난 서브측 적정 노출값 SE3로서 서브측 게인 연산부(277)에 공급한다. 한편, 서브측 적정 노출값 SE1이 허용 범위 내의 값이면, 서브측 적정 노출값 보정부(276)는, 서브측 적정 노출값 SE1을 그대로, 보정이 끝난 서브측 적정 노출값 SE3로서 서브측 게인 연산부(277)에 공급한다. 또한, 서브측 적정 노출값 보정부(276)는, 특허 청구범위에 기재된 보정부의 일례이다.

[0070]

서브측 게인 연산부(277)는, 식 2에 의해, 서브측의 게인을 연산하는 것이다. 또한, 서브측 게인 연산부(277)는, 특허 청구범위에 기재된 게인 연산부의 일례이다.

[0071]

[화상 합성부의 구성예]

도 10은, 본 기술의 제1 실시형태에 있어서의 화상 합성부(290)의 일 구성예를 나타내는 블록도이다. 이 화상 합성부(290)는, 디지털 신호 증폭부(291 및 292)와, 합성 처리부(293)를 구비한다. 디지털 신호 증폭부(291 및 292)는, 예를 들면, DSP(Digital Signal Processing) 회로에 의해 실현된다.

[0072]

디지털 신호 증폭부(291)는, 서브측의 흑백 화상 데이터 내의 화소 데이터의 각각을 디지털 게인 SDG_DSP에 의해 증폭하는 것이다. 이 디지털 신호 증폭부(291)는, 증폭 후의 흑백 화상 데이터를 합성 처리부(293)에 공급한다.

[0073]

디지털 신호 증폭부(292)는, 서브측의 컬러 화상 데이터 내의 화소 데이터의 각각을 디지털 게인 MDG_DSP에 의해 증폭하는 것이다. 이 디지털 신호 증폭부(292)는, 증폭 후의 컬러 화상 데이터를 합성 처리부(293)에 공급한다. 또한, 화상 합성부(290)에 있어서는, 디지털 신호 증폭부(291 및 292)에 의한 증폭 합성의 외, 화이트 밸런스 보정이나, 디모자이크 처리 등의 다양한 디지털 신호 처리가 필요에 따라서 실행된다.

[0074]

합성 처리부(293)는, 증폭 후의 흑백 화상 데이터 및 컬러 화상 데이터를 합성하여 합성 화상 데이터를 생성하는 것이다. 합성 처리부(293)는, 합성 화상 데이터를 화상 출력부(213)에 공급한다.

[0075]

도 11은, 본 기술의 제1 실시형태에 있어서의 노광 제어에 관련하는 구성을 정리한 블록도이다. 적정 노출값 연산부(271)는, 서브측 측광량 및 메인측 측광량에 기초하여, 서브측 적정 노출값 및 메인측 적정 노출값을 연산한다.

[0076]

메인측 노광 파라미터 설정부(272)는, 메인측 적정 노출값으로부터, 메인측의 노광 시간 및 게인을 구하여 설정한다. 서브측 노광 파라미터 설정부(274)는, 메인측과 동일한 노광 시간을 서브측에 설정하고, 감도차에 기초하여 게인을 조정하여 서브측에 설정한다.

[0077]

드라이버(221)는, 서브측 노광 시간에 걸쳐 서브측 화소 어레이부(230)를 노광시키고, 드라이버(241)는, 메인측 노광 시간에 걸쳐 메인측 화소 어레이부(250)를 노광시킨다. 또한, 드라이버(221 및 241)를 포함한 회로는, 특허 청구범위에 기재된 제어부의 일례이다.

[0078]

그리고, 아날로그 신호 증폭부(222)는, 서브측 화소 어레이부(230)로부터의 화소 신호를 서브측의 아날로그 게인에 의해 증폭하고, 아날로그 신호 증폭부(242)는, 메인측 화소 어레이부(250)로부터의 화소 신호를 메인측의 아날로그 게인에 의해 증폭한다. 또한, 아날로그 신호 증폭부(222 및 242)를 포함한 회로는, 특허 청구범위에 기재된 증폭부의 일례이다.

[0079]

도 12는, 본 기술의 제1 실시형태에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다. 적정 노출값 연산부(271)는, 서브측 적정 노출값 및 메인측 적정 노출값을 연산한다. 메인측 노광 파라미터 설정부(272)는, 프로그램선도를 참조하여, 메인측 적정 노출값에 대응하는 노광 시간 및 게인을 구하여 메인측에 설정한다.

[0080]

또한, 서브측 노광 파라미터 설정부(274)는, 메인측 적정 노출값으로부터 감도차 환산값을 감산하여 기준 노출값으로 한다. 그리고, 이 기준 노출값±dE의 허용 범위 내의 값으로 서브측 적정 노출값을 보정한다. 예를 들면, 도 12에 있어서는, 서브측 적정 노출값이, 허용 범위의 최대값보다 크다. 이 경우에 서브측 노광 파라미터 설정부(274)는, 그 최대값으로 노출값을 제한하여 보정완료 적정 노출값으로 한다.

[0081]

메인측과 서브측의 시차나 화각의 차이에 의해, 서브측과 메인측의 밝기의 차이가 커지는 경우가 있으나, 이러한 경우이어도 허용 범위 내에 적정 노출값을 제한함으로써, 메인측과 서브측의 노출값의 괴리를 억제할 수 있다. 또한, 화상 합성부(290)의 사양에 의해, 메인측과 서브측의 노출량의 차이가 일정 이하가 아니면 합성할 수 없는 경우, 사양에 따른 허용 범위의 설정에 의해, 그 사양의 요구를 만족할 수 있다.

[0082]

또한, 서브측 노광 파라미터 설정부(274)는, 메인측 노광 시간과 같은 값을 서브측 노광 시간으로 설정한다. 그리고, 서브측 노광 파라미터 설정부(274)는, 보정완료 적정 노출값으로부터, 서브측 노광 시간의 환산값을 감하여 서브측 게인 환산값을 구하고, 서브측의 게인을 설정한다.

[0083]

상술한 노광 제어에 의해, 메인측과 동일한 노광 시간이 서브측에 설정된다. 또한, 감도차에 기초하여 메인측의 게인을 조정한 값이, 서브측의 게인으로서 설정된다. 이에 의해, 촬상 장치(100)는, 동일한 밝기의 흑백 화상 데이터 및 컬러 화상 데이터를 촬상할 수 있다.

[0084]

또한, 서브측 노광 파라미터 설정부(274)는, 서브측 적정 노출값을, 허용 범위 내로 제한하고 있으나, 서브측 적정 노출값을 이용하지 않고, 메인측 적정 노출값으로부터 감도차 환산값 및 서브측 노광 시간 환산값을 감산한 값을 그대로 서브측 게인 환산값으로서 이용해도 된다.

[0085]

도 13은, 비교예에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다. 이 비교예에서는, 촬상 장치는, 감도차를 고려하지 않고, 메인측과 서브측에서 별개로, 적정 노출값으로부터 노광 시간 및 게인을 설정하는 것으로 한다.

[0086]

비교예의 촬상 장치는, 프로그램선도를 참조하여, 메인측 적정 노출값에 대응하는 노광 시간 및 게인을 구하여 메인측에 설정한다. 또한, 이 촬상 장치는, 프로그램선도를 참조하여, 서브측 적정 노출값에 대응하는 노광 시간 및 게인을 구하여 서브측에 설정한다.

[0087]

메인측과 서브측에서 감도가 다른 경우, 같은 촬상 조건이어도, 메인측과 서브측에서 다른 측광량을 얻을 수 있기 때문에, 메인측 적정 노출값과 서브측 적정 노출값은 다른 값이 된다. 이 때문에, 메인측과 서브측에서 다른 노광 시간이 설정되는 경우가 있다. 이 경우에는, 밝기가 대략 동일하되, 노광 시간의 상이에 의해, 동피사체의 블러량이 다른 2매의 화상 데이터가 촬상된다. 이 결과, 합성 화상 데이터의 화질이 저하해 버린다.

[0088]

촬상 장치가, 메인측의 적정 노출값을 그대로 서브측에 적용하면, 노광 시간 및 게인을 메인측과 서브측에서 동일하게 할 수 있다. 그러나, 메인측과 서브측에서 감도차가 있기 때문에, 동일한 노광 시간 및 게인을 설정하면, 2매의 화상 데이터의 밝기가 다른 것이 되어 버린다.

[0089]

이에 대하여, 촬상 장치(100)에서는, 메인측과 서브측에서 노광 시간을 같은 값으로 설정하고, 감도차에 기초하여 서브측의 게인을 조정하기 때문에, 메인측과 서브측에서, 화상 데이터의 밝기와 노광 시간을 대략 동일하게 맞출 수 있다. 이에 의해, 합성 화상 데이터의 화질을 향상시킬 수 있다.

[0090]

[이안 카메라 모듈의 동작예]

도 14는, 본 기술의 제1 실시형태에 있어서의 이안 카메라 모듈(200)의 동작의 일례를 나타내는 흐름도이다. 이 동작은, 예를 들면, 카메라 모듈 제어부(110)에 의해 촬상 개시가 지시된 때에 개시된다.

[0091]

이안 카메라 모듈(200)은, 메인측과 서브측에서 측광하고, 메인측 측광량 및 서브측 측광량을 생성한다(스텝(S901)). 그리고, 이안 카메라 모듈(200)은, 메인측의 노광 파라미터를 설정하기 위한 메인측 노광 제어 처리를 실행하고(스텝(S910)), 서브측의 노광 파라미터를 설정하기 위한 서브측 노광 제어 처리를 실행한다(스텝(S920)).

[0092]

그리고, 이안 카메라 모듈(200)은, 설정한 노광 파라미터에 기초하여, 컬러 화상 및 흑백 화상을 촬상한다(스텝(S902)). 이안 카메라 모듈(200)은, 설정된 게인에 의해 화소 신호를 증폭하고(스텝(S903)), 2매의 화상을 합성하는 합성 처리를 실행한다(스텝(S904)).

[0093]

도 15는, 본 기술의 제1 실시형태에 있어서의 메인측 노광 제어 처리를 나타내는 흐름도이다. 노광 제어부(270)는, 메인측 측광량으로부터 메인측 적정 노출값을 연산한다(스텝(S911)). 그리고, 노광 제어부(270)는, 프로그램선도를 참조하여, 메인측 적정 노출값에 대응하는 게인을 구하여 메인측에 설정하고(스텝(S912)), 또한, 대응하는 노광 시간을 구하여 메인측에 설정한다(스텝(S913)). 스텝(S913)의 후에 노광 제어부(270)는, 메인측 노광 제어 처리를 종료한다.

[0094]

도 16은, 본 기술의 제1 실시형태에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다. 노광 제어부(270)는, 서브측 측광량으로부터 서브측 적정 노출값을 연산한다(스텝(S921)). 그리고, 노광 제어부(270)는, 메인측 적정 노출값과 감도차 환산값의 차분을 기준 노출값으로서 연산하고(스텝(S922)), 서브측 적정 노출값을 보정하기 위한 서브측 적정 노출값 보정 처리를 실행한다(스텝(S930)). 노광 제어부(270)는, 메인측과 같은 노광 시간을 서브측에 설정하고(스텝(S923)), 보정완료 서브측 적정 노출값과 서브측 노광 시간 환산값의 차분으로부터 서브측의 게인을 구하여 설정한다(스텝(S924)). 스텝(S924)의 후에 노광 제어부(270)는, 서브측 노광 제어 처리를 종료한다.

[0095]

도 17은, 본 기술의 제1 실시형태에 있어서의 서브측 적정 노출값 보정 처리를 나타내는 흐름도이다. 노광 제어부(270)는, 서브측 적정 노출값이, 기준 노출값＋dE보다 큰지 아닌지를 판단한다(스텝(S931)). 서브측 적정 노출값이 기준 노출값＋dE보다 큰 경우에(스텝(S931)：예), 노광 제어부(270)는, 기준 노출값＋dE의 값을 보정완료 서브측 적정 노출값으로 한다(스텝(S932)).

[0096]

한편, 서브측 적정 노출값이 기준 노출값＋dE 이하인 경우에(스텝(S931)：아니오), 노광 제어부(270)는, 서브측 적정 노출값이 기준 노출값-dE보다 작은지 아닌지를 판단한다(스텝(S933)). 서브측 적정 노출값이 기준 노출값-dE보다 작은 경우에(스텝(S933)：예), 노광 제어부(270)는, 기준 노출값-dE의 값을 보정완료 서브측 적정 노출값으로 한다(스텝(S934)).

[0097]

한편, 서브측 적정 노출값이 기준 노출값-dE 이상인 경우에(스텝(S933)：아니오), 노광 제어부(270)는, 서브측 적정 노출값을 그대로 보정완료 서브측 적정 노출값으로 한다(스텝(S935)). 스텝(S932, S934 또는 S935)의 후에 노광 제어부(270)는, 서브측 적정 노출값 보정 처리를 종료한다.

[0098]

이와 같이, 본 기술의 제1 실시형태에 의하면, 촬상 장치(100)는, 메인측 및 서브측의 노광 시간을 동일하게 하고, 감도차에 기초하여 조정하여 게인을 조정하기 때문에, 동일한 노광 시간에 의해 같은 밝기의 2매의 화상을 촬상할 수 있다.

[0099]

[변형예]

상술한 제1 실시형태에서는, 촬상 장치(100)는, 메인측 적정 노출값으로부터 구한 기준 노출값±dE 내로 서브측 적정 노출값을 보정하고 있었으나, 이 방법으로는, 서브측의 게인의 설정에 있어서 서브측 적정 노출값의 반영의 정도를 조정할 수 없다. 촬상 장치(100)가 기준 노출값과 서브측 적정 노출값을 가중치 가산하면, 가중치 계수의 조정에 의해, 서브측 적정 노출값의 반영의 정도를 변경할 수 있다. 이 제1 실시형태의 변형예의 촬상 장치(100)는, 기준 노출값과 서브측 적정 노출값을 가중치 가산하는 점에 있어서 제1 실시형태와 다르다.

[0100]

도 18은, 본 기술의 제1 실시형태의 변형예에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다. 이 제1 실시형태의 변형예의 서브측 노광 제어 처리는, 스텝(S925)을 더 실행하는 점에 있어서 제1 실시형태와 다르다.

[0101]

노광 제어부(270)는, 식 1에 의해 기준 노출값 SEB를 계산하고(스텝(S922)), 다음의 식에 의한 가중치 가산을 행하여 가중치 가산값 SE2를 연산한다(스텝(S925)).

SE2=(A×SEB＋B×SE1)/(A＋B) ··· 식 3

위 식에 있어서, A 및 B는, 가중치 계수이고, 실수가 설정된다.

[0102]

또한, 노광 제어부(270)는, 서브측 적정 노출값 보정 처리에 있어서, 기준 노출값 SEB±dE 내의 값으로 가중치 가산값 SE2를 보정하여 보정완료 서브측 적정 노출값 SE3로 한다(스텝(S930)).

[0103]

메인측과 서브측의 시차나 화각의 영향에 의해, 메인측과 서브측의 측광 에어리어가 어긋나 버리는 경우가 있어, 그 영향을 억제하기 위하여 가중치 계수가 조정된다. 예를 들면, 서브측의 측광 에어리어가 메인측에 대해 어긋나 있으나, 에어리어의 일부가 일치하는 경우에는, 그 편차량에 따라, 가중치 계수 A 및 B가 설정된다. 예를 들면, 가중치 계수 A에 「1」, 가중치 계수 B에 「2」가 설정된다.

[0104]

또한, 서브측의 측광 에어리어가, 메인측에 대해 완전하게 어긋나 있는 경우에는, 가중치 계수 A에 「0」, 가중치 계수 B에 「1」이 설정된다. 또한, 메인측의 측광 에어리어가 서브측에서 일치하고 있는 경우에는, 가중치 계수 A에 「1」, 가중치 계수 B에 「0」이 설정된다.

[0105]

또한, 메인측과 서브측의 시차나 화각의 영향 외에, 화상 합성부(290)의 사양에 따라, 가중치 계수가 조정된다. 예를 들면, 화상 합성부(290)의 사양상, 메인측과 서브측의 노출량의 완전 일치가 요구되고 있는 경우, 가중치 계수 A에 「1」, 가중치 계수 B에 「0」이 설정된다. 또한, 서브측의 노출량이 중시되는 경우에는, 가중치 계수 B에 「0」이외의 값이 설정된다. 예를 들면, 가중치 계수 A에 「0」이나 「2」, 가중치 계수 B에 「1」이 설정된다.

[0106]

이와 같이, 본 기술의 제1 실시형태의 변형예에서는, 촬상 장치(100)는, 메인측 적정 노출값 SEB 및 서브측 적정 노출값 SE1의 가중치 가산을 행하기 때문에, 서브측의 설정에 있어서의 서브측 적정 노출값의 반영의 정도를 조정할 수 있다.

[0107]

＜2. 제2 실시형태＞

상술한 제1 실시형태에서는, 메인측 적정 노출값으로부터 메인측의 노광 시간 및 게인을 연산하고, 노광 시간에 맞추어 서브측의 게인을 연산하고 있었다. 그러나, 이 연산 방법에서는, 서브측의 게인을 마이너스값으로 하지 않으면 노출값이 메인측에 일치하지 않게 되는 경우가 있다. 일반적인 고체 촬상 소자에서는, 증폭을 위한 앰프는 설치되어 있으나, 감쇠를 위한 소자나 회로는 설치되지 않기 때문에, 마이너스값의 게인을 설정할 수 없다. 이 경우에는, 서브측에서 게인이 마이너스값이 되지 않도록 노광 시간을 설정하고, 그 서브측의 노광 시간을 메인측에 적용하면 된다. 이 제2 실시형태의 촬상 장치(100)는, 서브측의 게인이 마이너스값이 될 때에 서브측의 노광 시간을 메인측에 적용하는 점에 있어서 제1 실시형태와 다르다.

[0108]

도 19는, 본 기술의 제2 실시형태에 있어서의 노광 제어부(270)의 일 구성예를 나타내는 블록도이다. 이 제2 실시형태의 노광 제어부(270)의 구성은, 메인측 노광 파라미터 설정부(272) 대신에 메인측 노광 파라미터 설정부(278)를 구비하는 점에 있어서 제1 실시형태와 다르다. 또한, 제2 실시형태의 노광 제어부(270)의 구성은, 서브측 노광 파라미터 설정부(274)의 대신에 서브측 노광 파라미터 설정부(279)를 구비하는 점에 있어서 제1 실시형태와 다르다.

[0109]

서브측 노광 파라미터 설정부(279)는, 제1 실시형태와 마찬가지의 방법으로 서브측의 게인을 구하여, 그 게인이 마이너스값이 되는지 아닌지를 판단한다. 마이너스값이 되는 경우에 서브측 노광 파라미터 설정부(279)는, 그 마이너스의 서브측 게인 환산값과, 메인측 노광 시간 환산값을 가산한 값을 서브측 노광 시간 환산값으로서 구한다. 즉, 서브측 노광 파라미터 설정부(279)는, 마이너스의 게인만큼, 노광 시간을 짧게 한다. 또한, 서브측의 게인은 「0」데시벨(dB)로 설정된다. 그리고, 서브측 노광 파라미터 설정부(279)는, 메인측 노광 파라미터 설정부(278)에, 서브측 노광 시간 환산값을 공급한다.

[0110]

서브측 노광 시간 환산값을 수취하면 메인측 노광 파라미터 설정부(278)는, 서브측과 같은 노광 시간을 메인측에 설정한다. 그리고, 메인측 노광 파라미터 설정부(278)는, 메인측 적정 노출값과 메인측 노광 시간 환산값의 차분에 대응하는 게인을 메인측에 설정한다.

[0111]

도 20은, 본 기술의 제2 실시형태에 있어서의 노광 파라미터의 설정 방법에 대해 설명하기 위한 도면이다. 노광 제어부(270)는, 프로그램선도를 참조하여 메인측 적정 노출값으로부터 메인측의 노광 시간 및 게인을 설정한다. 그리고, 노광 제어부(270)는, 서브측의 노광 시간을 서브측과 동일로 했을 때의 서브측의 게인을 연산한다. 여기서, 서브측의 게인이 마이너스값이 되는 경우가 있다. 예를 들면, 메인측 노광 시간 환산값이 서브측 적정 노출값보다 크면, 서브측의 아날로그 게인을 마이너스값으로 하지 않으면 노출값이 메인측에 일치하지 않게 되어 버린다.

[0112]

이러한 경우에 노광 제어부(270)는, 마이너스의 서브측 게인 환산값과, 메인측 노광 시간 환산값을 가산한 값을 서브측 노광 시간 환산값으로서 구한다. 다음으로 노광 제어부(270)는, 서브측 노광 시간 환산값에 대응하는 노광 시간을 서브측에 설정하고, 메인측에도 서브측과 동일한 노광 시간을 설정한다. 그리고, 노광 제어부(270)는, 메인측 적정 노출값과 메인측 노광 시간 환산값의 차분에 대응하는 게인을 메인측에 설정한다. 또한, 노광 제어부(270)는, 서브측의 게인을 「0」데시벨(dB)로 설정한다.

[0113]

도 21은, 본 기술의 제2 실시형태에 있어서의 이안 카메라 모듈(200)의 동작의 일례를 나타내는 흐름도이다. 이 제2 실시형태의 이안 카메라 모듈(200)의 동작은, 스텝(S905) 및 스텝(S950)을 더 실행하는 점에 있어서 제1 실시형태와 다르다.

[0114]

이안 카메라 모듈(200)은, 서브측 노광 제어 처리(스텝(S920))의 후에, 절환 플래그가 온인지 아닌지를 판단한다(스텝(S905)). 절환 플래그가 온인 경우에(스텝(S905)：예), 이안 카메라 모듈(200)은, 서브측의 노광 시간을 메인측에 적용하기 위한 절환 제어 처리를 실행한다(스텝(S950)).

[0115]

절환 플래그가 오프인 경우에(스텝(S905)：아니오), 또는 스텝(S950)의 후에 이안 카메라 모듈(200)은, 스텝(S902) 이후의 처리를 실행한다.

[0116]

도 22는, 본 기술의 제2 실시형태에 있어서의 서브측 노광 제어 처리를 나타내는 흐름도이다. 이 제2 실시형태의 서브측 노광 제어 처리는, 스텝(S924 내지 S928)을 더 실행하는 점에 있어서 제1 실시형태와 다르다. 노광 제어부(270)는, 서브측의 게인을 설정하고(스텝(S924)), 그 게인이 마이너스값인지 아닌지를 판단한다(스텝(S925)).

[0117]

게인이 마이너스값이 아닌 경우에(스텝(S925)：아니오), 노광 제어부(270)는, 절환 플래그를 오프로 하고(스텝(S926)), 메인측과 같은 노광 시간을 서브측에 설정한다(스텝(S923)). 한편, 게인 환산값이 마이너스값인 경우에(스텝(S925)：예), 노광 제어부(270)는, 절환 플래그를 온으로 한다(스텝(S927)). 그리고, 노광 제어부(270)는, 메인측 적정 노출값과 감도차 환산값의 차분에 대응하는 게인을 서브측에 설정하고, 서브측의 게인을 「0」데시벨(dB)로 설정한다(스텝(S928)). 스텝(S923) 또는 스텝(S928)의 후에 노광 제어부(270)는, 메인측 노광 제어 처리를 종료한다. 또한, 제2 실시형태에 있어서, 가중치 가산을 행하는 변형예를 적용할 수도 있다.

[0118]

도 23은, 본 기술의 제2 실시형태에 있어서의 절환 제어 처리를 나타내는 흐름도이다. 노광 제어부(270)는, 서브측과 동일한 노광 시간을 메인측에 설정한다(스텝(S951)). 또한, 노광 제어부(270)는, 메인측 적정 노출값과 메인측 노광 시간 환산값의 차분에 대응하는 게인을 메인측에 설정한다(스텝(S952)). 스텝(S952)의 후에 노광 제어부(270)는, 절환 제어 처리를 종료한다.

[0119]

이와 같이, 본 기술의 제2 실시형태에서는, 노광 제어부(270)는, 서브측의 게인이 마이너스값이 되는 경우에, 서브측의 노광 시간을 짧게 하여 메인측에 적용하기 때문에, 서브측의 게인이 마이너스값이 되는 경우이어도 밝기를 동일하게 할 수 있다.

[0120]

＜3. 제3 실시형태＞

상술한 제1 실시형태에서는, 촬상 장치(100)는, 컬러 필터를 설치하지 않는 서브측 고체 촬상 소자(220)와 컬러 필터를 설치한 메인측 고체 촬상 소자(240)에 의해 흑백 화상 데이터 및 컬러 화상 데이터를 촬상하여 합성하고 있었다. 그러나, 이 구성에서는, 합성하는 2매의 화상의 양쪽을 어느 것도 컬러 화상으로 하는 어플리케이션을 실행할 수가 없다. 2매의 컬러 화상 데이터를 촬상하는 때에는, 서브측 고체 촬상 소자(220)에도 컬러 필터를 설치하면 된다. 이 제3 실시형태의 이안 카메라 모듈(200)은, 2매의 컬러 화상 데이터를 촬상하여 합성하는 점에 있어서 제1 실시형태와 다르다.

[0121]

도 24는, 본 기술의 제3 실시형태에 있어서의 이안 카메라 모듈(200)의 일 구성예를 나타내는 블록도이다. 이 제3 실시형태의 이안 카메라 모듈(200)은, 촬상 렌즈(211 및 212) 대신에, 망원 렌즈(214) 및 광각 렌즈(215)를 설치하고, 서브측 고체 촬상 소자(220)에 컬러 필터를 설치한 점에 있어서 제1 실시형태와 다르다.

[0122]

망원 렌즈(214)는, 광각 렌즈(215)보다 화각이 좁은 렌즈이다. 이 망원 렌즈(214)는, 집광한 광을 서브측 고체 촬상 소자(220)로 가이드한다. 광각 렌즈(215)는, 망원 렌즈(214)보다 화각이 넓은 렌즈이다. 이 광각 렌즈(215)는, 집광한 광을 메인측 고체 촬상 소자(240)로 가이드한다.

[0123]

또한, 서브측 고체 촬상 소자(220) 및 메인측 고체 촬상 소자(240)의 어느 것에도 컬러 필터가 설치되어 있으나, 메인측과 서브측에서 화소의 감도가 다른 것으로 한다.

[0124]

제3 실시형태의 화상 합성부(290)는, 유저가 소정값 Th1 이상으로 줌 배율을 올리는 조작을 행한 때에, 합성하지 않고 망원측의 컬러 화상 데이터를 선택하여 출력한다. 또한, 유저가 소정값 Th2 이하로 줌 배율을 내리는 조작을 행한 때에, 화상 합성부(290)는, 광각측의 컬러 화상 데이터를 선택해 출력한다. 유저가 소정값 Th1으로부터 Th2의 사이로 줌 배율을 조작한 때에, 화상 합성부(290)는, 광각측의 컬러 화상 데이터 내에, 망원측의 컬러 화상 데이터를 감입하는 처리를 행하고, 그 줌 배율에 따른 화상을 생성한다.

[0125]

이와 같이, 본 기술의 제3 실시형태에서는, 서브측 고체 촬상 소자(220)에도 컬러 필터를 설치하기 때문에, 촬상 장치(100)는, 2매의 컬러 화상 데이터를 촬상하여 합성할 수 있다.

[0126]

＜4. 제4 실시형태＞

상술한 제1 실시형태에서는, 이안의 촬상 장치(100)에 있어서, 게인의 조정에 의해 2매의 화상 데이터의 밝기를 동일하게 하고 있었으나, 삼안 이상의 복안의 촬상 시스템에 있어서, 3매 이상의 화상 데이터의 밝기를 동일하게 할 수도 있다. 이 제4 실시형태의 촬상 시스템은, 복안의 촬상 시스템에 있어서, 3매 이상의 화상 데이터의 밝기를 동일하게 제어하는 점에 있어서 제1 실시형태와 다르다.

[0127]

도 25는, 본 기술의 제4 실시형태에 있어서의 촬상 시스템의 일 구성예를 나타내는 블록도이다. 이 촬상 소자 시스템은, 단안 촬상 장치(301, 302 및 303) 등의 3개 이상의 단안 촬상 장치와, 동기 제어 장치(304)와, 기록 장치(305)를 구비한다.

[0128]

동기 제어 장치(304)는, 수직 동기 신호 VSYNC의 공급에 의해, 단안 촬상 장치(301) 등의 동작을 동기시키는 것이다.

[0129]

단안 촬상 장치(301)의 구성은, 제1 실시형태의 메인측의 단안 카메라 모듈(201)과 마찬가지이다. 단안 촬상 장치(302) 등의 다른 단안 촬상 장치의 구성은, 제1 실시형태의 서브측의 단안 카메라 모듈(202)과 마찬가지이다. 다만, 제4 실시형태의 단안 촬상 장치(301) 등에는, 기록부(120), 동기 신호 공급부(280) 및 화상 합성부(290)는 설치되지 않는다.

[0130]

기록 장치(305)는, 단안 촬상 장치(301) 등으로 촬상된 화상 데이터를 기록하는 것이다. 또한, 기록 장치(305)는, 특허 청구범위에 기재된 기록부의 일례이다.

[0131]

예를 들면, 공장 내의 소정의 감시 위치에 단안 촬상 장치(301) 등을 배치하고, 화상 데이터를 해석함으로써, 촬상 시스템은, 공장 내의 이상을 검지할 수 있다. 이 촬상 시스템에서는, 노광 시간 및 밝기가 동일한 3매 이상의 화상 데이터를 촬상할 수 있기 때문에, 화상 데이터의 해석의 정밀도를 높게 할 수 있다.

[0132]

이와 같이, 본 기술의 제4 실시형태에서는, 3개 이상의 단안 촬상 장치(301) 등에 있어서 게인을 조정하기 위하여, 노광 시간 및 밝기가 동일한 3매 이상의 화상 데이터를 촬상할 수 있다.

[0133]

＜5. 이동체에의 응용예＞

본 개시와 관련되는 기술(본 기술)은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.

[0134]

도 26은, 본 개시와 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.

[0135]

차량 제어 시스템(12000)은, 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 26에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040), 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052), 및 차재 네트워크 I/F(interface)(12053)가 도시되어 있다.

[0136]

구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.

[0137]

보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키레스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는, 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이들 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

[0138]

차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차 밖의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 된다.

[0139]

촬상부(12031)는, 광을 수광하고, 그 광의 수광량에 따른 전기 신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기 신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.

[0140]

차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 앉아서 졸고 있지 않은지를 판별해도 된다.

[0141]

마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 일탈 경고 등을 포함하는 ADAS(Advanced　Driver　Assistance　System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.

[0142]

또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

[0143]

또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)으로 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하여, 하이 빔을 로우 빔으로 절환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.

[0144]

음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 가운데 적어도 일방의 출력 신호를 송신한다. 도 26의 예에서는, 출력 장치로서 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온보드 디스플레이 및 헤드 업 디스플레이 중 적어도 하나를 포함하고 있어도 된다.

[0145]

도 27은, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.

[0146]

도 27에서는, 차량(12100)은, 촬상부(12031)로서 촬상부(12101, 12102, 12103, 12104, 12105)를 갖는다.

[0147]

촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프론트노즈, 사이드 미러, 리어범퍼, 백 도어 및 차실내의 프런트 글래스의 상부 등의 위치에 설치된다. 프론트노즈에 구비되는 촬상부(12101) 및 차실내의 프런트 글래스의 상부에 구비되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어범퍼 또는 백 도어에 구비되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)로 취득되는 전방의 화상은, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.

[0148]

또한, 도 27에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는, 프론트노즈에 설치된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는, 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는, 리어범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)로 촬상된 화상 데이터가 중첩됨으로써, 차량(12100)을 상방으로부터 본 부감 화상을 얻을 수 있다.

[0149]

촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104) 중 적어도 하나는, 복수의 촬상 소자로 이루어지는 스테레오 카메라여도 되고, 위상차이 검출용의 화소를 갖는 촬상 소자여도 된다.

[0150]

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114) 내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행로 상에 있는 가장 가까운 입체물로, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0 km/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차와의 사이에서 미리 확보해야 할 차간거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

[0151]

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 바탕으로, 입체물에 관한 입체물 데이터를, 이륜차, 보통 차량, 대형 차량, 보행자, 전주 등 그 밖의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정값 이상으로 충돌 가능성이 있는 상황일 때는, 오디오 스피커(12061)나 표시부(12062)를 거쳐 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 거쳐 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.

[0152]

촬상부(12101 내지 12104) 중 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지 아닌지를 판별하는 절차에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는, 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.

[0153]

이상, 본 개시와 관련되는 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 중, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 도 3의 이안 카메라 모듈(200)을 도 26의 촬상부(12031)에 적용할 수 있다. 촬상부(12031)에 본 개시와 관련되는 기술을 적용함으로써, 동일한 화질의 복수의 화상 데이터를 촬상할 수 있기 때문에, 합성 화상 데이터의 화질을 향상시킬 수 있다.

[0154]

또한, 상술한 실시형태는 본 기술을 구현화하기 위한 일례를 나타낸 것으로, 실시형태에 있어서의 사항과 특허 청구범위에 있어서의 발명 특정 사항과는 각각 대응 관계를 가진다. 마찬가지로, 특허 청구범위에 있어서의 발명 특정 사항과, 이와 동일 명칭이 붙은 본 기술의 실시형태에 있어서의 사항과는 각각 대응 관계를 갖는다. 다만, 본 기술은 실시형태로 한정되는 것은 아니고, 그 요지를 일탈하지 않는 범위에서 실시형태에 다양한 변형을 가함으로써 구현화될 수 있다.

[0155]

또한, 상술한 실시형태에서 설명한 처리 절차는, 이들 일련의 절차를 갖는 방법으로서 파악해도 되고, 또한, 이들 일련의 절차를 컴퓨터에 실행시키기 위한 프로그램 내지 그 프로그램을 기억하는 기록 매체로서 파악해도 된다. 이 기록 매체로서 예를 들면, CD(Compact Disc), MD(MiniDisc), DVD(Digital Versatile Disc), 메모리 카드, 블루 레이 디스크(Blu-ray(등록상표) Disc) 등을 이용할 수 있다.

[0156]

또한, 본 명세서에 기재된 효과는 어디까지나 예시로서, 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.

[0157]

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,

제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와,

적정 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와,

상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,

상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와,

상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부

를 구비하는 촬상 장치.

(2) 상기 (1)에 있어서,

상기 적정 노출값은, 상기 제1 화소 신호로부터 연산된 제1 적정 노출값과 상기 제2 화소 신호로부터 연산된 제2 적정 노출값을 포함하고,

상기 제1 설정부는, 상기 제1 적정 노출값에 기초하여 상기 노광 시간과 상기 제1 게인을 설정하고,

상기 제2 설정부는, 상기 제1 적정 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하는

촬상 장치.

(3) 상기 (2)에 있어서,

상기 제2 설정부는, 상기 제1 적정 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고,

상기 제1 설정부는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 적정 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정하는

촬상 장치.

(4) 상기 (2) 또는 (3)에 있어서,

상기 제2 설정부는,

상기 제1 적정 노출값과 상기 감도차를 노출값으로 환산한 감도차 환산값으로부터 기준 노출값을 연산하는 연산기와,

상기 기준 노출값에 기초하여 상기 제2 적정 노출값을 보정하여 보정완료 적정 노출값으로서 출력하는 보정부와,

상기 보정완료 적정 노출값과 상기 노광 시간을 노출값으로 환산한 값의 차분으로부터 상기 제2 게인을 연산하는 게인 연산부

를 구비하는 촬상 장치.

(5) 상기 (4)에 있어서, 상기 보정부는, 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 상기 제2 적정 노출값을 보정하는 촬상 장치.

(6) 상기 (4)에 있어서, 상기 보정부는, 상기 기준 노출값과 상기 제2 적정 노출값을 가중치 가산한 값을 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 보정하는

촬상 장치.

(7) 상기 (1) 내지 (6) 중 어느 하나에 있어서, 상기 제1 화소는, 서로 다른 파장의 광을 수광하는 복수의 화소를 포함하고,

상기 제2 화소의 각각은, 동일한 파장의 광을 수광하는

촬상 장치.

(8) 상기 (1) 내지 (7) 중 어느 하나에 있어서, 광을 집광하여 상기 제1 화소 어레이부로 가이드하는 제1 촬상 렌즈와,

광을 집광하여 상기 제2 화소 어레이부로 가이드하는 제2 촬상 렌즈

를 더 구비하고,

상기 제1 촬상 렌즈는, 상기 제2 촬상 렌즈와 화각이 다른

촬상 장치.

(9) 상기 (1) 내지 (8) 중 어느 하나에 있어서,

상기 제1 및 제2 화소 신호를 제1 및 제2 화소 데이터로 변환하는 아날로그 디지털 변환부를 더 구비하고,

상기 제1 게인은, 제1 아날로그 게인과 제1 디지털 게인을 포함하고,

상기 제2 게인은, 제2 아날로그 게인과 제2 디지털 게인을 포함하고,

상기 증폭부는,

상기 제1 및 제2 화소 신호를 제1 및 제2 아날로그 게인에 의해 증폭하는 아날로그 신호 증폭부와,

상기 제1 및 제2 화소 데이터를 제1 및 제2 디지털 게인에 의해 증폭하는 디지털 신호 증폭부를 구비하는

촬상 장치.

(10) 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,

상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부와,

상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 출력하는 화상 출력부

를 구비하는 촬상 모듈.

(11) 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,

상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여, 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,

상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 기록하는 기록부

를 구비하는 촬상 시스템.

(12) 제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와 제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부 중 상기 제2 화소 어레이부로부터의 상기 제1 화소 신호에 대한 제1 게인과 노광 시간을 적정 노출값에 기초하여 설정하는 제1 설정 단계와,

상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정 단계와,

상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어 단계와,

상기 출력된 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭 단계

를 구비하는 촬상 장치의 제어 방법.

100: 촬상 장치
110: 카메라 모듈 제어부
120: 기록부
200: 이안 카메라 모듈
201, 202: 단안 카메라 모듈
203: 연결 부재
211, 212: 촬상 렌즈
213: 화상 출력부
214: 망원 렌즈
215: 광각 렌즈
220: 서브측 고체 촬상 소자
221, 241: 드라이버
222, 242: 아날로그 신호 증폭부
223, 243: AD 변환부
224, 244, 291, 292: 디지털 신호 증폭부
230: 서브측 화소 어레이부
231: 화소
240: 메인측 고체 촬상 소자
250: 메인측 화소 어레이부
251: R 화소
252: G 화소
253: B 화소
260: 측광부
270: 노광 제어부
271: 적정 노출값 연산부
272, 278: 메인측 노광 파라미터 설정부
273: 메모리
274, 279: 서브측 노광 파라미터 설정부
275: 연산기
276: 서브측 적정 노출값 보정부
277: 서브측 게인 연산부
280: 동기 신호 공급부
290: 화상 합성부
293: 합성 처리부
301, 302, 303: 단안 촬상 장치
304: 동기 제어 장치
305: 기록 장치
12101, 12102, 12103, 12104, 12105: 촬상부

Claims

제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,
제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와,
상기 제1 화소 신호로부터 연산된 제1 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와,
상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,
상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와,
상기 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부를 구비하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고,
상기 제1 설정부는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정하는 촬상 장치.
삭제
삭제
제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,
제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와,
상기 제1 화소 신호로부터 연산된 제1 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와,
상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,
상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와,
상기 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부를 구비하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하고,
상기 제2 설정부는,
상기 제1 노출값과 상기 감도차를 노출값으로 환산한 감도차 환산값으로부터 기준 노출값을 연산하는 연산기와,
상기 기준 노출값에 기초하여, 상기 제2 화소 신호로부터 연산되는 제2 노출값을 보정하여, 보정완료 노출값으로서 출력하는 보정부와,
상기 보정완료 노출값과 상기 노광 시간을 노출값으로 환산한 값의 차분으로부터 상기 제2 게인을 연산하는 게인 연산부
를 구비하는 촬상 장치.
제4항에 있어서,
상기 보정부는, 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 상기 제2 노출값을 보정하는 촬상 장치.
제4항에 있어서,
상기 보정부는, 상기 기준 노출값과 상기 제2 노출값을 가중치 가산한 값을 상기 기준 노출값을 포함한 소정의 허용 범위 내의 값으로 보정하는
촬상 장치.
제1항에 있어서,
상기 제1 화소는, 서로 다른 파장의 광을 수광하는 복수의 화소를 포함하고,
상기 제2 화소의 각각은, 동일한 파장의 광을 수광하는
촬상 장치.
제1항에 있어서,
광을 집광하여 상기 제1 화소 어레이부로 가이드하는 제1 촬상 렌즈와,
광을 집광하여 상기 제2 화소 어레이부로 가이드하는 제2 촬상 렌즈
를 더 구비하고,
상기 제1 촬상 렌즈는, 상기 제2 촬상 렌즈와 화각이 다른
촬상 장치.
제1항에 있어서,
상기 제1 및 제2 화소 신호를 제1 및 제2 화소 데이터로 변환하는 아날로그 디지털 변환부를 더 구비하고,
상기 제1 게인은, 제1 아날로그 게인과 제1 디지털 게인을 포함하고,
상기 제2 게인은, 제2 아날로그 게인과 제2 디지털 게인을 포함하고,
상기 증폭부는,
상기 제1 및 제2 화소 신호를 제1 및 제2 아날로그 게인에 의해 증폭하는 아날로그 신호 증폭부와,
상기 제1 및 제2 화소 데이터를 제1 및 제2 디지털 게인에 의해 증폭하는 디지털 신호 증폭부를 구비하는
촬상 장치.
제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,
제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와,
상기 제1 화소 신호로부터 연산된 제1 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와,
상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여, 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,
상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와,
상기 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부와,
상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 출력하는 화상 출력부를 구비하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고,
상기 제1 설정부는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정하는 촬상 모듈.
제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와,
제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부와,
상기 제1 화소 신호로부터 연산된 제1 노출값에 기초하여 노광 시간과 상기 제1 화소 신호에 대한 제1 게인을 설정하는 제1 설정부와,
상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여, 상기 제1 게인을 조정하여 상기 제2 화소에 의해 생성된 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정부와,
상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어부와,
상기 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭부와,
상기 제1 및 제2 화소 신호로부터 생성된 화상 데이터를 기록하는 기록부를 구비하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하고,
상기 제2 설정부는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고,
상기 제1 설정부는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정하는 촬상 시스템.
제1 화소 신호를 생성하는 제1 화소가 배열된 제1 화소 어레이부와 제2 화소 신호를 생성하는 제2 화소가 배열된 제2 화소 어레이부 중 상기 제1 화소 어레이부로부터의 상기 제1 화소 신호에 대한 제1 게인과 노광 시간을 상기 제1 화소 신호로부터 연산된 제1 노출값에 기초하여 설정하는 제1 설정 단계와,
상기 제1 화소 어레이부가 설치된 제1 단안 카메라 모듈과 상기 제2 화소 어레이부가 설치된 제2 단안 카메라 모듈의 감도차에 기초하여 상기 제1 게인을 조정하여 상기 제2 화소 신호에 대한 제2 게인으로서 설정하는 제2 설정 단계와,
상기 노광 시간에 걸쳐 상기 제1 및 제2 화소 어레이부를 노광시키는 제어 단계와,
상기 제1 및 제2 화소 신호를 상기 제1 및 제2 게인에 의해 증폭하는 증폭 단계를 구비하고,
상기 제2 설정 단계는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 상기 제2 게인을 연산하고,
상기 제2 설정 단계는, 상기 제1 노출값과 상기 감도차와 상기 노광 시간으로부터 연산된 게인이 마이너스값이 되는 경우에는 해당 연산된 게인과 상기 노광 시간으로부터 새로운 노광 시간을 취득함과 함께 상기 제2 게인을 영으로 설정하고,
상기 제1 설정 단계는, 상기 새로운 노광 시간이 취득된 경우에는 상기 새로운 노광 시간과 상기 제1 노출값으로부터 연산된 게인을 상기 제1 게인으로서 설정하는 촬상 장치의 제어 방법.