KR20180121879A - 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치 - Google Patents

촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치 Download PDF

Info

Publication number
KR20180121879A
KR20180121879A KR1020187021360A KR20187021360A KR20180121879A KR 20180121879 A KR20180121879 A KR 20180121879A KR 1020187021360 A KR1020187021360 A KR 1020187021360A KR 20187021360 A KR20187021360 A KR 20187021360A KR 20180121879 A KR20180121879 A KR 20180121879A
Authority
KR
South Korea
Prior art keywords
imaging
imaging device
image pickup
raw data
exposure
Prior art date
Application number
KR1020187021360A
Other languages
English (en)
Inventor
마사유키 타치
히로아키 야마조
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180121879A publication Critical patent/KR20180121879A/ko

Links

Images

Classifications

    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H04N5/2258—
    • H04N5/23296—
    • H04N5/2352—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 촬상 제어 장치는, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비한다.

Description

촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치
본 개시는, 복수의 촬상 디바이스의 제어에 관한 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치에 관한 것이다.
종래로부터, 2개의 촬상 장치를 이용하여, 높은 시야(高視野)이면서 고해상도의 화상을 촬상하는 촬상 시스템이 제안되어 있다(예를 들면, 특허문헌 1 참조).
일본 특개2003-134375호 공보
복수의 촬상 디바이스를 이용한 촬상을 행하는 경우, 각 촬상 디바이스 사이에서 노광 타이밍이 적절하게 제어되어 있는 것이 바람직하다.
복수의 촬상 디바이스에서 동일 피사체를 개략 동일한 노광 타이밍에서 촬상할 수 있도록 한 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시의 형태에 관한 촬상 제어 장치는, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 촬상 조건에 의거하여 동기(同期)시키는 촬상 제어부를 구비하는 것이다.
본 개시의 한 실시의 형태에 관한 촬상 제어 방법은, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 촬상 조건에 의거하여 동기 제어하도록 하는 것이다.
본 개시의 한 실시의 형태에 관한 촬상 장치는, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스와, 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스와, 제1의 촬상 디바이스의 노광 타이밍과 제2의 촬상 디바이스의 노광 타이밍을, 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비하는 것이다.
본 개시의 한 실시의 형태에 관한 촬상 제어 장치, 촬상 제어 방법, 또는 촬상 장치에서는, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍이, 촬상 조건에 의거하여 적절하게 동기 제어된다.
본 개시의 한 실시의 형태에 관한 촬상 제어 장치, 촬상 제어 방법, 또는 촬상 장치에 의하면, 제1의 촬상 디바이스의 노광 타이밍과 제2의 촬상 디바이스의 노광 타이밍을 촬상 조건에 의거하여 적절하게 동기 제어하도록 하였기 때문에, 복수의 촬상 디바이스에서 동일 피사체를 개략 동일한 노광 타이밍에서 촬상할 수 있다.
또한, 여기에 기재한 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재한 어느 하나의 효과라도 좋다.
도 1은 본 개시의 제1의 실시의 형태에 관한 촬상 장치의 제1의 개략 구성을 도시하는 구성도.
도 2는 제1의 실시의 형태에 관한 촬상 장치의 제2의 개략 구성을 도시하는 구성도.
도 3은 제1의 실시의 형태에 관한 촬상 장치의 기능 블록의 한 예를 도시하는 블록도.
도 4는 촬상 소자의 화소 배열의 한 예를 도시하는 설명도.
도 5는 도 3의 합성 처리부의 신호 처리의 개념의 한 예를 도시하는 설명도.
도 6은 도 3의 합성 처리부의 기능 블록의 한 예를 도시하는 블록도.
도 7은 도 6의 합성 처리부에서의 신호 처리 순서의 한 예를 도시하는 흐름도.
도 8은 화소 보간의 한 예를 도시하는 설명도.
도 9는 중심화소가 G화소일 때의 보간 필터의 한 예를 도시하는 설명도.
도 10은 중심화소가 R화소 또는 B화소일 때의 보간 필터의 한 예를 도시하는 설명도.
도 11은 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 설명도.
도 12는 도 6의 상관 처리부에서의 상관 처리의 한 예를 도시하는 설명도.
도 13은 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 설명도.
도 14는 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 타이밍도.
도 15는 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 설명도.
도 16은 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 타이밍도.
도 17은 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 설명도.
도 18은 화각의 차이에 의거하여 도 16의 노광 타이밍을 최적화한 예를 도시하는 타이밍도.
도 19는 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 다른 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 도면.
도 20은 제1 및 제2의 촬상 디바이스에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 다른 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하는 타이밍도.
도 21은 해상도(화소수)의 차이에 의거하여 도 20의 노광 타이밍을 최적화한 예를 도시하는 타이밍도.
도 22는 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제1의 구성례를 도시하는 블록도.
도 23은 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제2의 구성례를 도시하는 블록도.
도 24는 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제3의 구성례를 도시하는 블록도.
도 25는 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제4의 구성례를 도시하는 블록도.
도 26은 제1 및 제2의 촬상 디바이스의 적어도 일방이 주밍을 행하는 경우의 노광 타이밍의 동기 제어의 한 예를 도시하는 흐름도.
도 27은 제1 및 제2의 촬상 디바이스가 쌍방 모두 고정초점으로 촬상을 행하는 경우의 노광 타이밍의 동기 제어의 한 예를 도시하는 흐름도.
도 28은 제1의 실시의 형태의 변형례에 관한 촬상 장치의 개략 구성을 도시하는 구성도.
도 29는 제2의 실시의 형태에 관한 촬상 장치 개략 구성을 도시하는 구성도.
도 30은 도 29의 촬상 장치의 기능 블록의 한 예를 도시하는 블록도.
도 31은 도 30의 합성 처리부의 기능 블록의 한 예를 도시하는 블록도.
이하, 본 개시의 실시의 형태에 관해 도면을 참조하여 상세히 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1의 실시의 형태(2개의 촬상 디바이스에 의해 서로 화각이 다른 2개의 화상 데이터를 생성하고, 합성하는 촬상 장치)
1. 1 촬상 장치의 개요(도 1∼도 5)
1. 2 합성 처리부의 상세 설명(도 5∼도 12)
1. 3 2개의 촬상 디바이스 사이의 동기 제어의 설명(도 13∼도 27)
1. 4 효과
1. 5 제1의 실시의 형태의 변형례(도 28)
2. 제2의 실시의 형태(3개의 촬상 디바이스에 의해 서로 화각이 다른 3개의 화상 데이터를 생성하고, 합성하는 촬상 장치)(도 29∼도 31)
3. 기타의 실시의 형태
<1. 제1의 실시의 형태>
[1. 1 촬상 장치의 개요]
도 1 및 도 2는, 본 개시의 제1의 실시의 형태에 관한 촬상 장치(1)의 개략 구성의 한 예를 도시하고 있다.
본 실시의 형태에 관한 촬상 장치(1)는, 제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)의 2개의 촬상 디바이스를 이용하여, 화각(畵角)이 넓은, 고해상도의 화상을 얻는 것을 가능하게 하는 것이다.
제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 제1의 촬상 디바이스(10)의 광축(AX1)과 제2의 촬상 디바이스(20)의 광축(AX2)은, 예를 들면, 도 1에 도시한 바와 같이, 서로 평행하게 되어 있어도 좋다. 또는, 예를 들면 도 2에 도시한 바와 같이, 광축(AX1)과 광축(AX2)이 서로 비평행하게 되어 있어도 좋다. 광축(AX1)과 광축(AX2)이 서로 비평행한 경우, 촬상 장치(1)로부터 떨어짐에 따라 광축(AX1)과 광축(AX2)의 간극이 좁아지는 방향을 향하고 있는 것이 바람직하다.
제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)는, 동일한 피사체를, 촬상 영역이 서로 다르도록 하여 촬상하는 것이 가능하게 되어 있다. 예를 들면, 도 1 및 도 2에 도시한 바와 같이, 제2의 촬상 디바이스(20)는, 제1의 촬상 디바이스(10)의 촬상 영역(R1) 중 외연(外緣)을 제외한 영역을 촬상 영역(R2)으로 하는 것이 가능하게 되어 있다. 이에 의해, 제1 및 제2의 촬상 디바이스(10, 20)는, 화상 데이터(촬상 데이터)로서, 각각에서 화각이 서로 다른 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)를 생성하는 것이 가능하게 되어 있다. 촬상 디바이스(10)는, 예를 들면, 상대적으로 화각이 넓은 제1의 RAW 데이터(Iraw1)를 촬상에 의해 생성한다. 촬상 디바이스(20)는, 예를 들면, 제1의 RAW 데이터(Iraw1)보다도 화각이 좁은 제2의 RAW 데이터(Iraw2)를 촬상에 의해 생성한다. 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 구체례에 관해서는, 후에 상세히 기술한다.
도 3은, 촬상 장치(1)의 기능 블록의 한 예를 도시하는 것이다. 촬상 장치(1)는, 예를 들면, 제1 및 제2의 촬상 디바이스(10, 20)와, 신호 처리부(30)와, 제어부(40)를 구비하고 있다. 제어부(40)는, 제1 및 제2의 촬상 디바이스(10, 20)와 신호 처리부(30)를 제어한다.
(제1의 촬상 디바이스(10))
제1의 촬상 디바이스(10)는, 예를 들면, 제1의 촬상 소자(11) 및 제1의 광학 렌즈(12)를 갖고 있다. 제1의 광학 렌즈(12)는, 제1의 피사체광(L1)을 집광하여, 제1의 촬상 소자(11)의 광입사면에 입사시킨다. 제1의 광학 렌즈(12)는, 예를 들면, 제1의 촬상 디바이스(10)에서 고정되어 있다. 이때, 제1의 촬상 디바이스(10)의 초점 거리가 일정치로 고정되어 있다. 제1의 촬상 디바이스(10)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF(로우패스 필터)를, 제1의 촬상 소자(11)의 광입사면측에 갖고 있어도 좋다. 제1의 촬상 소자(11)의 구성에 관해서는 후술한다.
(제2의 촬상 디바이스(20))
제2의 촬상 디바이스(20)는, 예를 들면, 제2의 촬상 소자(21) 및 제2의 광학 렌즈(22)를 갖고 있다. 제2의 광학 렌즈(22)는, 제2의 피사체광(L2)을 집광하여, 제2의 촬상 소자(21)의 광입사면에 입사시킨다. 제2의 광학 렌즈(22)는, 예를 들면, 제2의 촬상 디바이스(20)에서 고정되어 있다. 이때, 제2의 촬상 디바이스(20)의 초점 거리가 일정치로 고정되어 있다. 제2의 촬상 디바이스(20)는, 또한, 예를 들면, 아이리스나 가변 광학 LPF를, 제2의 촬상 소자(21)의 광입사면측에 갖고 있어도 좋다.
제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)는, 예를 들면 제1의 광학 렌즈(12)와 제2의 광학 렌즈(22)에 의해, 광학적으로 각각의 화각을 다르게 하는 것이 가능하게 되어 있다. 예를 들면, 후술하는 도 22 등에 도시하는 바와 같이, 제1의 광학 렌즈(12)와 제2의 광학 렌즈(22)를 쌍방 모두 줌렌즈로 함에 의해, 광학적으로 각각의 화각을 다르게 하는 것이 가능하게 되어 있다. 또는, 후술하는 도 24에 도시하는 바와 같이, 제1의 광학 렌즈(12)와 제2의 광학 렌즈(22)의 어느 일방을 줌렌즈로 하고, 타방을 단초점(單焦點) 렌즈로 함에 의해, 광학적으로 각각의 화각을 다르게 하는 것을 가능하게 하여도 좋다. 또는, 후술하는 도 25에 도시하는 바와 같이, 제1의 광학 렌즈(12)와 제2의 광학 렌즈(22)를 화각이 서로 다른 단초점 렌즈(고정초점 렌즈)로 구성하여도 좋다.
(제1 및 제2의 촬상 소자(11, 21))
다음에, 제1 및 제2의 촬상 소자(11, 21)에 관해 설명한다. 제1 및 제2의 촬상 소자(11, 21)는, 예를 들면, 복수의 광전 변환 소자가 소정의 간격으로 2차원 배치된 수광부와, 수광부의 광입사면에 배치된 컬러 필터 어레이를 갖고 있다. 제1 및 제2의 촬상 소자(11, 21)는, 예를 들면 단판식(單板式)의 고체 촬상 소자이고, 예를 들면, 단판식의 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서에 의해 구성되어 있다. 제1 및 제2의 촬상 소자(11, 21)에서, 컬러 필터 어레이는, 예를 들면, 도 4에 도시한 바와 같이, R(적), G(녹), B(청)의 3개의 색의 배열로 이루어지는 베이어 배열로 되어 있다. 또한, 컬러 필터 어레이는, 예를 들면, R, G, B에 W(백)를 가한 RGBW 배열로 되어 있어도 좋다. 또는, Y(옐로), C(시안), M(마젠타) 등의 배열로 되어 있어도 좋다. 또한, 이하에서는, 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우를 예로 하여 설명한다.
제1 및 제2의 촬상 소자(11, 21)는, 예를 들면, 제1 및 제2의 광학 렌즈(12, 22) 등을 경유하여 입사하여 온 제1 및 제2의 피사체광(L1, L2)을, 수광부 및 컬러 필터 어레이에서 이산적(離散的)으로 샘플링함에 의해, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)를 생성한다.
제1의 촬상 소자(11)는, 예를 들면, 상대적으로 화각이 넓은 제1의 RAW 데이터(Iraw1)를 생성한다. 제1의 촬상 디바이스(10)에서는, 예를 들면, 제1의 광학 렌즈(12)의 초점 거리를 상대적으로 짧게 함에 의해, 화각이 상대적으로 넓은 제1의 RAW 데이터(Iraw1)를 얻을 수 있다.
제2의 촬상 소자(21)는, 예를 들면, 제1의 RAW 데이터(Iraw1)보다도 화각이 좁은 제2의 RAW 데이터(Iraw2)를 생성한다. 제2의 촬상 디바이스(20)에서는, 예를 들면, 제2의 광학 렌즈(22)의 초점 거리를 상대적으로 길게 함에 의해, 화각이 상대적으로 좁은 제2의 RAW 데이터(Iraw2)를 얻을 수 있다.
제1 및 제2의 RAW 데이터(Iraw1, Iraw2)는, 각각, 예를 들면, 컬러 필터 어레이에 포함되는 복수종류의 색정보 중의 어느 1종류의 색정보가 화소마다 설정된 모자이크 데이터이다. 예를 들면, 컬러 필터 어레이가, RGB 배열로 이루어지는 베이어 배열로 되어 있는 경우에는, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)는, 컬러 필터 어레이에 포함되는 적색 정보, 녹색 정보 및 청색 정보 중의 어느 1종류의 색정보가 화소마다 설정된 모자이크 데이터로 되어 있다. 이 경우, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)로부터 컬러 화상 데이터(Icol)를 생성하기 위해서는, 모든 화소에 관해 모든 색정보를, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)로부터 생성하는 디모자이크 처리가 필요해진다. 본 실시의 형태에서는, 디모자이크 처리를 행하기 전의 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에서 합성이 행하여진다. 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 합성에 관해서는, 후에 상세히 기술한다.
(신호 처리부(30))
다음에, 신호 처리부(30)에 관해 설명한다. 신호 처리부(30)는, 예를 들면, 도 3에 도시한 바와 같이, 합성 처리부(31) 및 카메라 신호 처리부(32)를 갖고 있다. 합성 처리부(31)는, 제1 및 제2의 촬상 디바이스(10, 20)에 의해 생성된 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)를 서로 합성함에 의해, 합성 RAW 데이터(Iraw)를 생성한다. 카메라 신호 처리부(32)는, 합성 처리부(31)에서 생성된 합성 RAW 데이터(Iraw)에 대해 디모자이크 처리를 행함에 의해, 컬러 화상 데이터(Icol)를 생성한다. 컬러 화상 데이터(Icol)는, 예를 들면, 컬러 필터 어레이에 포함되는 모든 종류의 색정보를 화소마다 포함하여 구성되어 있다. 컬러 필터 어레이가 RGB의 베이어 배열로 되어 있는 경우에는, 컬러 화상 데이터(Icol)는, 예를 들면, 화소마다 RGB의 색정보를 포함하여 구성되어 있다.
도 5는, 합성 처리부(31)에서의 신호 처리의 개념의 한 예를 도시하는 것이다. 도 5는, 합성 처리부(31)에서의 신호 처리의 알기 쉬움이 우선되어 있는 관계에서, 간결한 설명으로 되어 있다. 그때문에, 도 5에서는, 상기한 부호와는 다른 부호가 사용되고 있다.
합성 처리부(31)는, 제1의 촬상 디바이스(10)로부터 와이드 화상 데이터(Iwide)를 취득하고, 제2의 촬상 디바이스(20)로부터 텔레 화상 데이터(Itele)를 취득한다. 텔레 화상 데이터(Itele)는, 와이드 화상 데이터(Iwide)에 비하여, 화각이 작게 되어 있다. 텔레 화상 데이터(Itele)는, 와이드 화상 데이터(Iwide)의 외연을 제외한 소정의 영역(α)과 대응하고 있다. 합성 처리부(31)는, 제1 및 제2의 촬상 디바이스(10, 20)의 배율과, 와이드 화상 데이터(Iwide) 및 텔레 화상 데이터(Itele)의 화상 사이즈에 의거하여, 소정의 영역(α)을 설정한다.
합성 처리부(31)는, 와이드 화상 데이터(Iwide)로부터, 소정의 영역(α)을 절출(切出)함에 의해, 화상 데이터(Iwide')를 생성한다. 합성 처리부(31)는, 제1 및 제2의 촬상 디바이스(10, 20)의 배율에 의거하여, 텔레 화상 데이터(Itele)를 축소함에 의해, 화상 데이터(Itele')를 생성한다. 합성 처리부(31)는, 화상 데이터(Iwide')와 화상 데이터(Itele')를 서로 합성함에 의해, 합성 화상 데이터(Ifusion)를 생성한다. 여기서, 제1의 촬상 디바이스(10)의 배율이 1배로 되어 있고, 제2의 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, 와이드 화상 데이터(Iwide)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, 텔레 화상 데이터(Itele)를 유저에 의해 지정된 배율로 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, 와이드 화상 데이터(Iwide)에서, 소정의 영역(α)을 합성 화상 데이터(Ifusion)로 치환한 합성 화상 데이터(Imerge)를, 합성 RAW 데이터(Iraw)로서 출력한다.
또한, 실제로는, 화상 데이터(Iwide')와 화상 데이터(Itele')에는, 시차(視差)에 기인하는 위치 어긋남이나, 제1 및 제2의 촬상 디바이스(10, 20) 사이의 감도 차이 및 노광 차이가 있는 경우가 있다. 또한, 합성 화상 데이터(Ifusion)에는, 제1 및 제2의 촬상 디바이스(10, 20)의 나이키스트 주파수를 초과하는 고주파 성분이 포함되어 있는 경우도 있다. 원래, 화상 데이터(Iwide')나 화상 데이터(Itele')는 모자이크 데이터이기 때문에, 화상 데이터(Iwide')와 화상 데이터(Itele')를 서로 정밀도 좋게 합성하기 위해서는, 화상 데이터(Iwide')나 화상 데이터(Itele')에 대해 화소 보간을 행하는 것이 바람직하다. 따라서, 합성 처리부(31)는, 화상 데이터(Iwide')나 화상 데이터(Itele')에 대해, 이하에 나타내는 바와 같은 각종의 신호 처리를 행하는 것이 바람직하다.
[1. 2 합성 처리부의 상세 설명]
도 6은, 합성 처리부(31)의 기능 블록의 한 예를 도시하는 것이다. 도 7은, 합성 처리부(31)에서, 신호 처리 순서의 한 예를 도시하는 것이다.
합성 처리부(31)는, 위치맞춤부(130) 및 합성부(140)를 갖고 있다. 위치맞춤부(130)는, 제1 및 제2의 촬상 디바이스(10, 20)에 의해 생성된 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 의거하여, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 위치맞춤 데이터를 생성한다. 합성부(140)는, 위치맞춤부(130)에 의해 생성된 위치맞춤 데이터에 의거하여 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)를 서로 합성한다.
위치맞춤부(130)는, 예를 들면, 절출부(131), 게인 보정부(132), 화소 보정부(133, 134), 축소부(135) 및 시차 산출부(136)를 갖고 있다.
절출부(131)는, 제1의 RAW 데이터(Iraw1)에서, 제2의 RAW 데이터(Iraw2)와의 합성을 행하는 퓨전 영역(β)(도 5의 영역(α)에 상당)을 지정한다. 구체적으로는, 절출부(131)는, 제1 및 제2의 촬상 디바이스(10, 20)의 배율과, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, 퓨전 영역(β)을 지정한다. 절출부(131)는, 예를 들면, 제1 및 제2의 촬상 디바이스(10, 20)의 배율과, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 화상 사이즈에 의거하여, 제1의 RAW 데이터(Iraw1)에서의, 퓨전 영역(β)의 좌표를 지정한다. 절출부(131)는, 예를 들면, 지정한 좌표에 의거하여, 퓨전 영역(β)에 대응하는 RAW 데이터(Iraw1a)를, 제1의 RAW 데이터(Iraw1)로부터 절출한다(스텝 S101).
또한, 합성 처리부(31)는, RAW 데이터(Iraw1a) 및 제2의 RAW 데이터(Iraw2)에 대해, OPB(Optical Black) 감산을 행하여도 좋다. OPB 감산이란, 암전류 등에 기인하여 생기는 노이즈 성분을 제외하는 것을 가리키고 있다. 합성 처리부(31)는, 예를 들면, RAW 데이터(Iraw1a) 및 제2의 RAW 데이터(Iraw2)로부터, 제1 및 제2의 촬상 디바이스(10, 20)가 차광되어 있을 때에 생기는 노이즈 성분을 제외하여도 좋다. 이때, 노이즈 성분의 제외에 의해, RAW 데이터(Iraw1a) 및 제2의 RAW 데이터(Iraw2)에서 값이 부(負)가 되는 화소가 있는 경우에는, 합성 처리부(31)는, 그 화소의 좌표를 기억하여 둔다.
게인 보정부(132)는, RAW 데이터(Iraw1a) 및 제2의 RAW 데이터(Iraw2)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a) 내의 평균치를 색정보마다 산출함과 함께, 제2의 RAW 데이터(Iraw2) 내의 평균치를 색정보마다 산출한다. 게인 보정부(132)는, 예를 들면, RAW 데이터(Iraw1a, Iraw2)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(132)는, 산출한 보정 게인에 의거하여, 제2의 RAW 데이터(Iraw2)를 보정하고(스텝 S102), 이에 의해, RAW 데이터(Iraw2a)를 생성한다.
화소 보정부(133)는, RAW 데이터(Iraw1a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw1a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다(스텝 S103). 화소 보정부(134)는, RAW 데이터(Iraw2a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw2a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다.
화소 보정부(133)는, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw1a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw1b)를 생성한다. 화소 보정부(133)는, 또한, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw2a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw2b)를 생성한다. 이때, 중심화소(보간 대상의 화소)가 G화소일 때에는, 화소 보정부(133)는, 예를 들면, 도 9에 도시하는 바와 같은 보간 필터(F)를 이용하여, 중심화소의 녹색 정보를 보정한다. 또한, 중심화소(보간 대상의 화소)가 R화소 또는 B화소일 때에는, 화소 보정부(133)는, 중심화소의 색정보를, 예를 들면, 도 10에 도시하는 바와 같은 보간 필터(F)를 이용하여 생성한 녹색 정보로 치환한다.
축소부(135)는, 제1 및 제2의 촬상 디바이스(10, 20)의 배율에 의거하여, 보간 RAW 데이터(Iraw2b)를 축소한다(스텝 S104). 시차 산출부(136)는, 보간 RAW 데이터(Iraw1b, Iraw2c)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다(스텝 S105). 시차 정보(Disp)는, 제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)의 위치가 서로 일치하지 않아서 생기는 화상상의 위치 어긋남량에 상당하는 것이다. 시차 산출부(136)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 보간 RAW 데이터(Iraw1b, Iraw2c)로부터 시차 정보(Disp)를 생성한다.
합성부(140)는, 예를 들면, 퓨전부(141), LPF(로우패스 필터)부(142), 상관(相關) 처리부(143), 머지(merge)부(144) 및 선택부(145)를 갖고 있다.
퓨전부(141)는, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다(스텝 S106). 구체적으로는, 퓨전부(141)는, 시차 정보(Disp)에 의거하여 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다.
LPF부(142)는, 합성 RAW 데이터(Iraw3a)에 포함되는, 제1 및 제2의 촬상 디바이스(10, 20)의 각각의 나이키스트 주파수를 초과하는 고주파 성분을 감쇠시킴에 의해, 합성 RAW 데이터(Iraw3b)를 생성한다(스텝 S107). 이에 의해, 위색(僞色)의 발생이 억제된다.
상관 처리부(143)는, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행한 합성 RAW 데이터(Iraw3b)에 대해, 상관 처리를 행한다(스텝 S108). 상관 처리부(143)는, 예를 들면, 도 11에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, 제1의 RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 차분인 색차 성분(Iraw1-Iraw1b)을 부가한다. 상관 처리에는 색비를 이용하는 것도 가능하다. 상관 처리부(143)는, 예를 들면, 도 12에 도시한 바와 같이, 합성 RAW 데이터(Iraw3a) 또는 합성 RAW 데이터(Iraw3b)에 대해, 제1의 RAW 데이터(Iraw1)와 보간 RAW 데이터(Iraw1b)와의 비(比)인 색비(色比) 성분(Iraw1/Iraw1b)을 곱하여도 좋다. 이에 의해, 상관 처리부(143)는, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)의 배열에 대응하는 배열의 RAW 데이터(Iraw3c)를 생성한다.
머지부(144)는, 제1의 RAW 데이터(Iraw1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해, 디모자이크 처리용의 RAW 데이터(Iraw3d)를 생성한다(스텝 S109). 이때, 머지부(144)는, 예를 들면, RAW 데이터(Iraw3c)의 주연(周緣)에, 색정보 제로의 액자형상의 영역을 마련함에 의해, RAW 데이터(Iraw3c)의 화상 사이즈를, 제1의 RAW 데이터(Iraw1)의 화상 사이즈로 정돈한다. 계속해서, 머지부(144)는, 예를 들면, 제1의 RAW 데이터(Iraw1) 중의 퓨전 영역(α)의 색정보를 제로로 한다. 또한, 머지부(144)는, 예를 들면, 제1의 RAW 데이터(Iraw1)에, 제1의 RAW 데이터(Iraw1)의 화상 사이즈로 정돈한 RAW 데이터(Iraw3c)를 서로 더한다. 즉, 머지부(144)는, 예를 들면, 제1의 RAW 데이터(Iraw1) 중의 퓨전 영역(α)을, RAW 데이터(Iraw3c)로 치환한다.
또한, 합성 처리부(31)가 OPB 감산을 행한 경우에는, 머지부(144)는, 합성 처리를 행하기 전에, OPB 감산에 의해 제외한 노이즈 성분을, 부호도 고려하고 나서, RAW 데이터(Iraw3c)에 가산하여도 좋다.
선택부(145)는, 유저에 의해 지정되는 배율에 응하여, 출력하는 합성 RAW 데이터(Iraw)를 선택한다. 제1의 촬상 디바이스(10)의 배율이 1배로 되어 있고, 제2의 촬상 디바이스(20)의 배율이 2배로 되어 있다고 한다. 이때, 선택부(145)는, 예를 들면, 유저에 의해 지정된 배율이 1배일 때에는, 제1의 RAW 데이터(Iraw1)를, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 2배 이상일 때에는, 제2의 RAW 데이터(Iraw2)를 유저에 의해 지정된 배율로 확대한 것을, 합성 RAW 데이터(Iraw)로서 출력한다. 합성 처리부(31)는, 예를 들면, 유저에 의해 지정된 배율이 1배∼2배일 때에는, RAW 데이터(Iraw3d)를, 합성 RAW 데이터(Iraw)로서 출력한다.
(촬상 장치(1)에서의 합성 처리의 효과)
본 실시의 형태에 관한 촬상 장치(1)에서는, 제1의 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 제2의 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있다. 또한, 촬상 장치(1)에서는, 상대적으로 화각이 넓은 제1의 RAW 데이터(Iraw1)와, 제1의 RAW 데이터(Iraw1)보다도 화각이 좁은 제2의 RAW 데이터(Iraw2)가, 제1 및 제2의 촬상 디바이스(10, 20)에 의해 생성된다. 이에 의해, 합성 RAW 데이터(Iraw) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, 제2의 RAW 데이터(Iraw2)가 서로 합성된다. 환언하면, 테두리형상의 제1의 RAW 데이터(Iraw1)에, 제2의 RAW 데이터(Iraw2)가 감입(嵌入)된다. 그 결과, 제1 및 제2의 촬상 디바이스(10, 20)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻을 수 있다. 또한, 제1 및 제2의 촬상 디바이스(10, 20)에서의 제1 및 제2의 광학 렌즈(12, 22)의 쌍방을 고정초점 렌즈로 구성하였다고 하여도, 기계적인 줌 기구를 이용하지 않고서 광학 줌을 실현할 수 있다.
또한, 촬상 장치(1)에서는, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 포함되는 소정 종류의 색정보에 의거하여, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 포함되는 모든 화소의 보간이 행하여진다. 이에 의해, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 대해 디모자이크 처리를 행하고 나서 합성 처리를 행할 때와 같은 정도의 정밀도로, 합성 처리를 행할 수가 있다.
또한, 촬상 장치(1)에서는, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)로부터 생성한 2개의 보간 RAW 데이터(Iraw1b, Iraw2b)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)가 생성된다. 이에 의해, 시차 정보(Disp)를 이용함에 의해, 보간 RAW 데이터(Iraw1b)와 보간 RAW 데이터(Iraw2c)의 합성 정밀도를 높게 할 수 있다.
또한, 촬상 장치(1)에서는, 합성 RAW 데이터(Iraw3a)에 포함되는, 제1 및 제2의 촬상 디바이스(10, 20)의 각각의 나이키스트 주파수를 초과하는 고주파 성분이 LPF부(142)에 의해 감쇠된다. 이에 의해, RAW 데이터(Irawa1)와, RAW 데이터(Iraw3c)를 서로 합성한 때에, 위색의 발생을 억제할 수 있다.
또한, 촬상 장치(1)에서는, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3a)에 소정의 처리를 행한 것(합성 RAW 데이터(Iraw3b))에 대해, 색차 성분(Iraw1-Iraw1b)이 부가된다. 이와 같이, 촬상 장치(1)에서는, 색정보를 적게 하여 합성 처리가 행하여진 후에, 합성 RAW 데이터(Iraw3c) 또는 합성 RAW 데이터(Iraw3b)에 대해, 잃어버린 색정보가 되돌려진다. 따라서, 촬상 장치(1)에서는, 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감하면서, 합성 정밀도를 높게할 수 있다.
또한, 촬상 장치(1)에서는, 제1의 RAW 데이터(Iraw1)와, RAW 데이터(Iraw3c)를 서로 합성함에 의해 생성한 RAW 데이터(Iraw3d)에 대해 디모자이크 처리가 행하여진다. 이와 같이, 촬상 장치(1)에서는, RAW 데이터에서의 합성이 이루어진 후에 디모자이크 처리가 행하여지기 때문에, 디모자이크 처리가 행하여진 후에 합성이 이루어지는 경우에 비하여, 처리 비용이나 소비 전력을 저감할 수 있다.
[1. 3 2개의 촬상 디바이스 사이의 동기 제어의 설명]
상기한 촬상 장치(1)와 같이, 제1 및 제2의 촬상 디바이스(10, 20)를 이용한 촬상을 행하는 경우, 각 촬상 디바이스 사이에서 노광 타이밍이 적절하게 제어되어 있는 것이 바람직하다. 일반적으로, CMOS 등의 이미지 센서를 구비하는 촬상 디바이스에 있어서의 전자 셔터의 방식으로서는, 글로벌 셔터 방식과 롤링 셔터 방식이 알려져 있다. 글로벌 셔터 방식에서는, 모든 화소에 동시에 전자 셔터 동작을 행한다. 이 때문에, 글로벌 셔터 방식에서는 노광의 타이밍이 전 화소에서 같다. 한편, 롤링 셔터 방식에서는, 예를 들면 1수평 라인씩 전자 셔터 동작을 행한다. 이 때문에, 롤링 셔터 방식에서는, 노광의 타이밍이 예를 들면 1수평 라인씩, 시프트한 상태가 된다. 이 때문에, 특히, 제1 및 제2의 촬상 디바이스(10, 20)에서 롤링 셔터 방식에 의해 노광을 행하는 경우, 각 촬상 디바이스 사이에서 노광 타이밍이 적절하게 제어되어 있는 것이 바람직하다.
또한, 이하에서는, 적절히, 도 1 내지 도 3 등에 도시한 촬상 장치(1)의 구성에 대응시켜진 설명을 행하는데, 본 개시에 의한 동기 제어의 기술은, 도 1 내지 도 3 등에 도시한 촬상 장치(1)의 구성 이외에도 적용 가능하다. 예를 들면, 본 개시에 의한 동기 제어의 기술은, 제1 및 제2의 촬상 디바이스(10, 20)에서 생성된 화상 데이터를, 상기한 본 실시의 형태의 화상 합성 처리 기술 이외의 방법으로 합성하는 경우에도 적용 가능하다. 또한, 본 개시에 의한 동기 제어의 기술은, 단지 2개의 화상 데이터를 생성할 뿐으로 화상 합성을 행하지 않는 경우에도, 적용 가능하다. 또한, 이하에서는, 2개의 촬상 디바이스 사이의 동기 제어를 예로 하여 설명하지만, 후술하는 제2의 실시의 형태와 같이, 3개의 촬상 디바이스를 이용하는 경우, 또는 4개 이상의 촬상 디바이스를 이용하는 경우에도 본 개시에 의한 동기 제어의 기술을 적용하는 것이 가능하다.
(동일 화각, 또한 동일 해상도(화소수)로 촬상하는 경우)
도 13 및 도 14는, 제1 및 제2의 촬상 디바이스(10, 20)에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하고 있다. 도 13의 좌측에는, 제1의 촬상 디바이스(10)의 제1의 촬상 소자(11)에 의해 생성되는 화상 데이터 및 노광 타이밍을 모식적으로 도시한다. 도 13의 우측에는, 제2의 촬상 디바이스(20)의 제2의 촬상 소자(12)에 의해 생성되는 화상 데이터 및 노광 타이밍을 모식적으로 도시한다. 도 14에는, 제1 및 제2의 촬상 디바이스(10, 20)에서의 촬상의 동기 신호(XVS)의 타이밍과, 제1의 촬상 소자(11) 및 제2의 촬상 소자(12)에서의 각각의 셔터 타이밍(리셋 타이밍) 및 화소 데이터의 판독 타이밍을 나타낸다. 후술하는 도 17 내지 도 21에도 같은 타이밍을 나타낸다.
도 13 및 도 14에 도시한 바와 같이, 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체를 서로 동일 화각으로 촬상하는 경우, 촬상 영역은 서로 개략 동일하다. 이 경우, 촬상(노광)의 시작 위치는 피사체에서의 개략 동일한 위치(p1)이다. 이 때문에, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 셔터 타이밍 및 화소 데이터의 판독 타이밍을 같게 하면, 동일한 피사체 위치를 서로 같은 타이밍에서 촬상(노광)할 수 있다. 또한, 그 경우, 제2의 촬상 소자(12)에서의 판독 기간 및 노광 기간은, 제1의 촬상 소자(11)에서의 판독 기간(Tr1) 및 노광 기간(Te1)과 같게 된다.
(다른 화각으로 촬상하는 경우)
도 15 및 도 16은, 제1 및 제2의 촬상 디바이스(10, 20)에서 롤링 셔터 방식에 의해 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하고 있다.
도 15 및 도 16에 도시한 바와 같이, 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체를 서로 다른 화각으로 촬상하는 경우, 촬상 영역은 서로 다르다. 도 15 및 도 16의 예에서는, 제1의 촬상 디바이스(10)는 상대적으로 화각이 넓은 와이드 화각으로 촬상을 행하고, 제2의 촬상 디바이스(20)는 상대적으로 화각이 좁은 텔레 화각으로 촬상을 행하고 있다. 이 경우, 제2의 촬상 디바이스(20)의 촬상 영역은, 제1의 촬상 디바이스(10)에 비하여 상대적으로 좁다. 제1의 촬상 디바이스(10)의 촬상(노광)의 시작 위치가 피사체에서의 위치(p1)라고 하면, 제2의 촬상 디바이스(20)의 촬상(노광)의 시작 위치는 피사체에서의 위치(p1)보다도 내측의 위치(p2)가 된다. 이 때문에, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 셔터 타이밍 및 화소 데이터의 판독 타이밍을 같게 하고, 또한, 판독 기간(Tr1) 및 노광 기간(Te1)도 제1 및 제2의 촬상 소자(11, 21)에서 같게 하면, 제1의 촬상 소자(11)와 제2의 촬상 소자(21)에서, 동일한 피사체 위치를 다른 타이밍에서 촬상(노광)하게 된다. 이와 같이, 동일한 피사체 위치를 서로 다른 타이밍에서 촬상(노광)하면, 예를 들면 손떨림이 있는 경우나, 피사체에 움직임이 있는 경우에, 제1 및 제2의 촬상 디바이스(10, 20)에서 촬상된 서로의 화상 사이로 상관이 취하여지지 않게 될 우려가 있다.
도 17 및 도 18은, 제1 및 제2의 촬상 디바이스(10, 20)에서 롤링 셔터 방식에 의해 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하고 있다.
도 18에서는, 제1 및 제2의 촬상 디바이스(10, 20)에서의 화각의 차이에 의거하여 도 16의 노광 타이밍을 최적화한 예를 도시하고 있다. 제1 및 제2의 촬상 디바이스(10, 20)에서 서로 다른 화각, 또한 동일 해상도(화소수)로 촬상하는 경우, 도 18에 도시한 바와 같이, 상대적으로 화각이 좁은 촬상을 행하는 제2의 촬상 소자(21)의 노광 시작 타이밍을, 상대적으로 화각이 넓은 촬상을 행하는 제1의 촬상 소자(11)의 노광 시작 타이밍에 대해 지연시키는 것이 바람직하다. 또한, 화각이 좁은 촬상을 행하는 제2의 촬상 소자(21)에서의 화소 데이터의 판독 속도를, 화각이 넓은 촬상을 행하는 제1의 촬상 소자(11)에서의 화소 데이터의 판독 속도보다도 고속으로 하는 것이 바람직하다. 도 18의 예에서는 제1의 촬상 소자(11)의 판독 시작 타이밍은 시간(t1)이다. 제2의 촬상 소자(21)의 판독 시작 타이밍은 시간(t1)부터, 화각의 차이에 응하여 지연시켜진 시간(t2)으로 되어 있다. 또한, 제2의 촬상 소자(21)의 판독 기간은, 제1의 촬상 소자(11)의 판독 기간(Tr1)에 대해, 화각의 차이에 응하여 고속화된 기간(Tr2)으로 되어 있다. 이와 같은 타이밍 제어를 행함에 의해, 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체 위치를 서로 동일한 타이밍에서 촬상(노광)할 수 있다.
또한, 판독 속도의 고속화는, 비닝(binning)에 의해 행하여도 좋다. 비닝이란, 부근에 있는 복수의 같은 색 화소를 아날로그적으로 가산하는 기술이다. 비닝에 의해 판독 화소수를 줄임으로써, 판독 속도의 고속화를 도모할 수 있다.
(다른 해상도(화소수)로 촬상하는 경우)
도 19 및 도 20은, 제1 및 제2의 촬상 디바이스(10, 20)에서 롤링 셔터 방식에 의해 서로 동일 화각, 또한 다른 해상도(화소수)로 촬상하는 경우의 노광 타이밍의 한 예를 도시하고 있다.
도 19 및 도 20에 도시한 바와 같이, 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체를 서로 동일 화각, 또한 다른 해상도(화소수)로 촬상하는 경우, 촬상 영역 자체는 서로 개략 동일하다. 이 경우, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 화소 데이터의 판독 속도를 같게 하면, 화소수가 다르기 때문에, 촬상 영역이 같음에도 불구하고, 판독 기간에 차이가 생겨 버린다. 도 20의 예에서는, 제1의 촬상 소자(11)는 상대적으로 화소수가 많고 고해상도로 촬상을 행하고, 제2의 촬상 소자(21)는 상대적으로 화소수가 적고 저해상도로 촬상을 행하고 있다. 이 경우, 제2의 촬상 소자(21)의 판독 기간은, 제1의 촬상 소자(11)의 판독 기간(Tr1)에 대해, 화소수의 차이에 응하여 고속화된 기간(Tr2)으로 된다. 이 때문에, 제1의 촬상 소자(11)와 제2의 촬상 소자(21)에서, 동일한 피사체 위치를 다른 타이밍으로 촬상(노광)하게 된다.
도 21은, 제1 및 제2의 촬상 디바이스(10, 20)에서, 해상도(화소수)의 차이에 의거하여 도 20의 노광 타이밍을 최적화한 예를 도시하고 있다. 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체를 서로 동일 화각, 또한 다른 해상도(화소수)로 촬상하는 경우, 도 21에 도시한 바와 같이, 상대적으로 화소수가 적은 제2의 촬상 소자(21)에서의 화소 데이터의 판독 속도를, 상대적으로 화소수가 많은 제1의 촬상 소자(11)에서의 화소 데이터의 판독 속도보다도 느리게 하는 것이 바람직하다. 역으로 말하면, 화소수가 많은 제1의 촬상 소자(11)에서의 화소 데이터의 판독 속도를, 화소수가 적은 제2의 촬상 소자(21)에서의 화소 데이터의 판독 속도보다도 고속으로 하는 것이 바람직하다. 이와 같은 타이밍 제어를 행함에 의해, 제1 및 제2의 촬상 디바이스(10, 20)에서, 동일한 피사체 위치를 서로 동일한 타이밍에서 촬상(노광)할 수 있다.
(노광 타이밍의 동기 제어를 행하기 위한 제어부의 구성례)
도 22 및 도 23은, 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제1 및 제2의 구성례를 도시하고 있다. 도 22 및 도 23은, 제1의 촬상 디바이스(10)의 제1의 광학 렌즈(12)와, 제2의 촬상 디바이스(20)의 제2의 광학 렌즈(22)가, 쌍방 모두 줌렌즈를 갖는 경우의 구성례이다.
도 22에 도시한 바와 같이, 제어부(40)는, 초기치 격납부(41)와, 촬상 제어부(60)와, 렌즈 제어부(70)를 갖고 있어도 좋다. 또한, 도 23에 도시한 바와 같이, 초기치 격납부(41), 촬상 제어부(60), 및 렌즈 제어부(70)를, 제어부(40)의 밖에 마련하여도 좋다.
촬상 제어부(60)는, 판독 제어부(61)와, 셔터 제어부(62)를 포함하여도 좋다. 판독 제어부(61)는, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 화소 데이터의 판독 타이밍을 제어한다. 셔터 제어부(62)는, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 셔터 타이밍을 제어한다.
렌즈 제어부(70)는, 포커스 제어부(71)와, 줌 제어부(72)를 포함하여도 좋다. 포커스 제어부(71)는, 제1 및 제2의 광학 렌즈(12, 22)의 포커싱의 제어를 행한다. 줌 제어부(72)는, 제1 및 제2의 광학 렌즈(12, 22)의 주밍의 제어를 행한다. 줌 제어부(72)는, 제1 및 제2의 광학 렌즈(12, 22)의 줌 배율의 정보를, 판독 제어부(61)와 셔터 제어부(62)에 송신한다.
초기치 격납부(41)는, 제1의 촬상 디바이스(10) 및 제2의 촬상 디바이스(20)에서의 초기의 촬상 조건의 정보를 격납한다. 초기의 촬상 조건은, 예를 들면, 화각, 화소수, 클록 속도, 프레임 레이트, 노광 시간, 및 동작 모드 등의 노광 타이밍에 영향을 주는 파라미터를 포함하고 있어도 좋다.
촬상 제어부(60)는, 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스(10)의 노광 타이밍과, 제1의 촬상 디바이스(10)와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스(20)의 노광 타이밍을, 촬상 조건에 의거하여 동기시킨다.
여기서, 촬상 조건은, 화각 및 화소수의 적어도 하나를 포함하고 있어도 좋다. 제2의 촬상 디바이스(20)의 촬상 조건은, 제1의 촬상 디바이스(10)의 촬상 조건에 대해 화각 및 화소수의 적어도 일방이 달라도 좋다.
또한, 촬상 조건은, 줌렌즈의 줌 배율을 포함하고 있어도 좋다. 촬상 제어부(60)는, 제1의 촬상 디바이스(10)의 노광 타이밍과 제2의 촬상 디바이스(20)의 노광 타이밍을, 줌 배율에 의거하여 동적으로 동기시켜도 좋다.
촬상 제어부(60)는, 상술한 도 18에 도시한 예와 같이, 제1의 촬상 디바이스(10) 및 제2의 촬상 디바이스(20) 중, 상대적으로 화각이 좁은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍을, 상대적으로 화각이 넓은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍에 대해 지연시키는 제어를 행하여도 좋다. 이 경우, 촬상 제어부(60)는, 화각이 좁은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도를, 화각이 넓은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속화시키는 제어를 행하여도 좋다.
또한, 촬상 제어부(60)는, 상술한 도 21에 도시한 예와 같이, 제1의 촬상 디바이스(10) 및 제2의 촬상 디바이스(20) 중, 상대적으로 화소수가 많은 촬상 디바이스에서의 화소 데이터의 판독 속도를, 상대적으로 화소수가 적은 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속으로 하는 제어를 행하여도 좋다.
도 24는, 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제3의 구성례를 도시하고 있다. 도 24의 구성례는, 도 22의 구성례에서의 제1의 광학 렌즈(12)에 대신하여 제1의 광학 렌즈(12A)를 구비하고 있다. 제1의 광학 렌즈(12A)는, 줌렌즈에 대신하여 고정초점 렌즈를 포함하고 있다. 이 구성례에서는, 줌 제어부(72)는, 제2의 광학 렌즈(22)의 주밍의 제어를 행한다. 기타의 구성은, 도 22의 구성례와 개략 같아도 좋다.
도 25는, 노광 타이밍의 동기 제어를 행하기 위한 제어부의 제4의 구성례를 도시하고 있다. 도 25의 구성례는, 도 22의 구성례에서의 제1의 광학 렌즈(12)에 대신하여 제1의 광학 렌즈(12A)를 구비하고 있다. 또한, 도 22의 구성례에서의 제2의 광학 렌즈(22)에 대신하여 제2의 광학 렌즈(22A)를 구비하고 있다. 제1 및 제2의 광학 렌즈(12A, 22A)는, 줌렌즈에 대신하여 고정초점 렌즈를 포함하고 있다.
도 25의 구성례에서는, 렌즈 제어부(70)로부터 줌 제어부(72)를 생략한 렌즈 제어부(70A)를 구비한 구성으로 할 수 있다. 이 구성례에서는, 촬상 제어부(60)는, 제1의 촬상 디바이스(10)의 노광 타이밍과 제2의 촬상 디바이스(20)의 노광 타이밍을, 초기치 격납부(41)에 격납된 초기의 촬상 조건에 의거하여 동기시킨다. 기타의 구성은, 도 22의 구성례와 개략 같아도 좋다.
도 26은, 제1 및 제2의 촬상 디바이스의 적어도 일방이 주밍을 행하는 경우(도 22 내지 도 24의 구성례)에서의 노광 타이밍의 동기 제어의 한 예를 도시하고 있다.
촬상 제어부(60)는, 전원이 온 되면(스텝 S201), 초기치 격납부(41)로부터 초기 파라미터를 판독한다(스텝 S202). 초기 파라미터는, 예를 들면, 화소수, 클록 속도, 프레임 레이트, 노광 시간, 및 동작 모드 등의 노광 타이밍에 영향을 주는 초기의 촬상 조건이라도 좋다. 줌 배율에 의해 화각은 동적으로 변하기 때문에, 다음에, 촬상 제어부(60)는, 줌 제어부(72)로부터 줌렌즈의 줌 배율의 정보를 판독한다(스텝 S203). 이에 의해, 줌 배율에 응한 화각이 결정된다. 다음에, 촬상 제어부(60)는, 취득한 화각 등의 촬상 조건에 의거하여, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 화소 데이터의 판독 타이밍을 결정한다(스텝 S204). 다음에, 촬상 제어부(60)는, 취득한 화각 등의 촬상 조건에 의거하여, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 셔터 타이밍을 결정한다(스텝 S205). 다음에, 촬상 제어부(60)는, 결정한 셔터 타이밍 및 판독 타이밍에서, 제1 및 제2의 촬상 소자(11, 21)에 촬상을 시작시킨다(스텝 S206).
도 27은, 제1 및 제2의 촬상 디바이스가 쌍방 모두 고정초점으로 촬상을 행하는 경우(도 25의 구성례)에서의 노광 타이밍의 동기 제어의 한 예를 도시하고 있다.
촬상 제어부(60)는, 전원이 온 되면(스텝 S201), 초기치 격납부(41)로부터 초기 파라미터를 판독한다(스텝 S202A). 초기 파라미터는, 예를 들면, 화각, 화소수, 클록 속도, 프레임 레이트, 노광 시간, 및 동작 모드 등의 노광 타이밍에 영향을 주는 초기의 촬상 조건이라도 좋다. 다음에, 촬상 제어부(60)는, 취득한 화각 등의 촬상 조건에 의거하여, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 화소 데이터의 판독 타이밍을 결정한다(스텝 S204). 다음에, 촬상 제어부(60)는, 취득한 화각 등의 촬상 조건에 의거하여, 제1 및 제2의 촬상 소자(11, 21)에서의 각각의 셔터 타이밍을 결정한다(스텝 S205). 다음에, 촬상 제어부(60)는, 결정한 셔터 타이밍 및 판독 타이밍에서, 제1 및 제2의 촬상 소자(11, 21)에 촬상을 시작시킨다(스텝 S206).
[1. 4 효과]
이상과 같이, 본 실시의 형태에 의하면, 제1의 촬상 디바이스(10)의 노광 타이밍과 제2의 촬상 디바이스(20)의 노광 타이밍을 촬상 조건에 의거하여 적절하게 동기 제어하도록 하였기 때문에, 복수의 촬상 디바이스에서 동일 피사체를 개략 동일한 노광 타이밍에서 촬상할 수 있다.
또한, 본 명세서에 기재한 효과는 어디까지나 예시이고 한정되는 것이 아니고, 또한 다른 효과가 있어도 좋다. 이후의 다른 실시의 형태의 효과에 대해서도 마찬가지이다.
[1. 5 제1의 실시의 형태의 변형례]
도 28은, 제1의 실시의 형태의 변형례에 관한 촬상 장치(200)의 개략 구성을 도시하고 있다.
상기한 촬상 장치(1)에서는, 합성 처리부(31)의 후단에 카메라 신호 처리부(32)를 마련한 구성으로 되어 있지만, 도 28에 도시한 촬상 장치(200)와 같이, 제1 및 제2의 카메라 신호 처리부(230, 240)의 후단에 합성 처리부(250)를 마련한 구성이라도 좋다.
촬상 장치(200)는, 제1의 촬상 디바이스(10)에서 얻어진 제1의 RAW 데이터(Iraw1)를 컬러 화상(Icol1)으로 변환하는 카메라 신호 처리부(230)와, 제2의 촬상 디바이스(20)에서 얻어진 제2의 RAW 데이터(Iraw2)를 컬러 화상(Icol2)으로 변환하는 카메라 신호 처리부(240)를 구비하고 있다. 촬상 장치(200)는, 또한, 제1 및 제2의 카메라 신호 처리부(230, 240)에서 얻어진 컬러 화상(Icol1, Icol2)를 서로 합성함에 의해, 컬러 화상(Icol3)을 생성하는 합성 처리부(250)를 구비하고 있다. 이와 같이, 촬상 장치(200)에서는, 컬러 화상화(디모자이크 처리)가 제1 및 제2의 촬상 디바이스(10, 20)마다 행하여짐과 함께, 컬러 화상화(디모자이크 처리)가 이루어진 후에, 화상 합성이 이루어진다.
또한, 상기한 촬상 장치(1)에서는, 화각이 서로 다른 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)가 서로 합성된다. 즉, 상기한 촬상 장치(1)에서는, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리의 회수를 1회에 줄일 수 있다. 또한, 상기한 촬상 장치(1)에서는, 합성 대상인 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)는, 본 변형례의 촬상 장치(200)의 합성 대상인 컬러 화상 데이터(Icol1, Icol2)에 비하여, 화소마다의 색정보가 적기 때문에, 합성을 위해 필요한 연산량을 억제할 수 있다. 따라서, 상기한 촬상 장치(1)에서는, 본 변형례의 촬상 장치(200)에 비하여, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
또한, 상기한 촬상 장치(1)에서는, 합성 처리부(31)로부터는 RAW 데이터(Iraw)가 출력된다. 이에 의해, 합성 처리부(31)의 후단인 카메라 신호 처리부(32)에는, 통상의 카메라 신호 처리부 등을, 개변(改變)을 가하지 않고 그대로 이용할 수도 있다. 즉, 상기한 촬상 장치(1)에서는, 카메라 신호 처리부(32)에 대해, 단일한 촬상 디바이스의 RAW 출력에 대한, 디모자이크 처리 이후의 처리 구성에 일체의 변경을 행하지 않은 것을 적용할 수 있다. 따라서, 상기한 촬상 장치(1)에서는, 단일한 촬상 디바이스를 사용한 때와 같은 간편함으로, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
<2. 제2의 실시의 형태>
다음에, 본 개시의 제2의 실시의 형태에 관해 설명한다. 이하에서는, 상기 제1의 실시의 형태와 개략 같은 구성 및 작용을 갖는 부분에 관해서는, 적절히 설명을 생략한다.
상기 제1의 실시의 형태에서는, 촬상 장치(1)는 제1 및 제2의 촬상 디바이스(10, 20)를 구비하고 있지만, 3개 이상의 촬상 디바이스를 구비하고 있어도 좋다. 예를 들면, 도 29 및 도 30에 도시한 바와 같이, 촬상 장치(1)는 제1 및 제2의 촬상 디바이스(10, 20)와 제3의 촬상 디바이스(50)의 3개의 촬상 디바이스를 구비하고 있어도 좋다. 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)는, 예를 들면, 물리적인 배치가 서로 수평하게 되도록 배치되어 있다. 제1의 촬상 디바이스(10)의 광축(AX1)과, 제2의 촬상 디바이스(20)의 광축(AX2)과, 제3의 촬상 디바이스(50)의 광축(AX3)은, 예를 들면, 도 29 도한 바와 같이, 서로 비평행하게 되어 있다. 이때, 광축(AX1, AX2, AX3)은, 촬상 장치(1)로부터 떨어짐에 따라 광축(AX1, AX2, AX3)의 각각의 간극이 서로 좁아지는 방향을 향하고 있는 것이 바람직하다. 광축(AX1, AX2, AX3)은, 서로 평행하게 되어 있어도 좋다.
본 실시의 형태에서는, 위치맞춤부(130)는, 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)의 각각에 의해 생성된 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)에 의거하여, 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)의 위치맞춤 데이터를 생성한다. 합성부(140)는, 위치맞춤부(130)에 의해 생성된 위치맞춤 데이터에 의거하여 3개 이상의 RAW 데이터(Iraw1, Iraw2, Iraw4)를 서로 합성한다.
본 실시의 형태에서는, 제2의 촬상 디바이스(20)는, 제1의 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역을 촬상 영역(R2)으로 하고 있다. 제3의 촬상 디바이스(50)는, 제3의 촬상 소자(51) 및 제3의 광학 렌즈(52)를 갖고 있고, 제2의 촬상 디바이스(20)의 촬상 영역(R2) 중 외연을 제외한 영역을 촬상 영역(R3)으로 하고 있다. 제3의 광학 렌즈(52)는, 제3의 피사체광(L3)을 집광하여, 제3의 촬상 소자(51)의 광입사면에 입사시킨다. 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)는, 각각에서 화각이 서로 다른 제1, 제2 및 제3의 RAW 데이터(Iraw1, Iraw2, Iraw4)를 생성한다. 제1의 촬상 디바이스(10)는, 가장 화각이 넓은 제1의 RAW 데이터(Iraw1)를 촬상에 의해 생성한다. 제2의 촬상 디바이스(20)는, 제1의 RAW 데이터(Iraw1)보다도 화각이 좁은 제2의 RAW 데이터(Iraw2)를 촬상에 의해 생성한다. 제3의 촬상 디바이스(50)는, 제2의 RAW 데이터(Iraw2)보다도 화각이 좁은 제3의 RAW 데이터(Iraw4)를 촬상에 의해 생성한다.
본 실시의 형태에서는, 합성 처리부(31)는, 제1의 RAW 데이터(Iraw1) 중 외연을 제외한 소정의 영역과, RAW 데이터(Irawa2)와의 합성과, RAW 데이터(Irawa2) 중 외연을 제외한 소정의 영역과, 제3의 RAW 데이터(Iraw4)와의 합성을 행한다.
도 31은, 본 실시의 형태에서의 합성 처리부(31)의 기능 블록의 한 예를 도시하는 것이다. 본 실시의 형태에서는, 위치맞춤부(130)는, 제3의 RAW 데이터(Iraw4)용의 신호 처리 블록을 갖고 있고, 예를 들면, 게인 보정부(137), 화소 보정부(138) 및 축소부(139)를 갖고 있다.
게인 보정부(137)는, 제2 및 제3의 RAW 데이터(Iraw2, Iraw4)에서의 색정보마다의 게인비(예를 들면, RGB 게인비)를 산출한다. 게인 보정부(137)는, 예를 들면, 제2의 RAW 데이터(Iraw2) 내의 평균치를 색정보마다 산출함과 함께, 제3의 RAW 데이터(Iraw4) 내의 평균치를 색정보마다 산출한다. 게인 보정부(137)는, 예를 들면, 제2 및 제3의 RAW 데이터(Iraw2, Iraw4)에서의, 색정보마다의 평균치의 비로부터, 보정 게인을 색정보마다 산출한다. 게인 보정부(137)는, 산출한 보정 게인에 의거하여, 제3의 RAW 데이터(Iraw4)를 보정하고, 이에 의해, RAW 데이터(Iraw4a)를 생성한다.
화소 보정부(138)는, RAW 데이터(Iraw4a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw4a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다. 화소 보정부(138)는, RAW 데이터(Iraw4a)에 포함되는 소정 종류의 색정보(예를 들면, 녹색 정보)에 의거하여, RAW 데이터(Iraw4a)에 포함되는 모든 화소의 보간을 행함에 의해, 위치맞춤 데이터로서, 소정 종류의 색정보(예를 들면, 녹색 정보)로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다.
화소 보정부(138)는, 예를 들면, 도 8에 도시한 바와 같이, RGB 배열로 이루어지는 베이어 배열을 갖는 RAW 데이터(Iraw4a)로부터, 녹색 정보로 이루어지는 보간 RAW 데이터(Iraw4b)를 생성한다. 이때, 중심화소(보간 대상의 화소)가 G화소일 때에는, 화소 보정부(138)는, 예를 들면, 도 9에 도시하는 바와 같은 보간 필터(F)를 이용하여, 중심화소의 녹색 정보를 보정한다. 또한, 중심화소(보간 대상의 화소)가 R화소 또는 B화소일 때에는, 화소 보정부(133)는, 중심화소의 색정보를, 예를 들면, 도 10에 도시하는 바와 같은 보간 필터(F)를 이용하여 생성한 녹색 정보로 치환한다.
축소부(139)는, 제2 및 제3의 촬상 디바이스(20, 50)의 배율에 의거하여, 보간 RAW 데이터(Iraw4b)를 축소한다. 시차 산출부(136)는, 보간 RAW 데이터(Iraw1b, Iraw2c, Iraw4c)에 의거하여, 위치맞춤 데이터로서의 시차 정보(Disp)를 산출한다. 시차 정보(Disp)는, 제1의 촬상 디바이스(10)와 제2의 촬상 디바이스(20)와의 위치가 서로 일치하지 않아서 생기는 화상상의 위치 어긋남량과, 제2의 촬상 디바이스(20)와 제3의 촬상 디바이스(50)와의 위치가 서로 일치하지 않아서 생기는 화상상의 위치 어긋남량에 상당하는 것이다. 시차 산출부(136)는, 예를 들면, 2개의 화상 사이에서의 움직임 벡터 추정법 등을 이용하여, 보간 RAW 데이터(Iraw1b, Iraw2c, Iraw4c)로부터 시차 정보(Disp)를 생성한다.
본 실시의 형태에서는, 퓨전부(141)는, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함과 함께, 2개의 보간 RAW 데이터(Iraw2c, Iraw4c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다. 구체적으로는, 퓨전부(141)는, 시차 정보(Disp)에 의거하여, 2개의 보간 RAW 데이터(Iraw1b, Iraw2c)를 합성함과 함께, 2개의 보간 RAW 데이터(Iraw2c, Iraw4c)를 합성함에 의해 합성 RAW 데이터(Iraw3a)를 생성한다.
본 실시의 형태에서는, 화각이 서로 다른 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 제1 및 제2의 RAW 데이터(Iraw1, Iraw2)가 서로 합성된다. 또한, 화각이 서로 다른 제2 및 제3의 RAW 데이터(Iraw2, Iraw4)에 의거하여 생성된 위치맞춤 데이터에 의거하여, 제2 및 제3의 RAW 데이터(Iraw2, Iraw4)가 서로 합성된다. 즉, 본 실시의 형태에서는, 디모자이크 처리가 행하여지기 전의 RAW 데이터의 단계에서 합성이 행하여지기 때문에, 디모자이크 처리의 회수를 줄일 수 있다. 또한, 본 실시의 형태에서의 합성 대상인 제1, 제2 및 제3의 RAW 데이터(Iraw1, Iraw2, Iraw4)는, 종래의 합성 대상인 컬러 화상 데이터에 비하여, 화소마다의 색정보가 적다. 따라서, 디모자이크 처리 및 합성 처리에 필요로 하는 처리 비용이나 소비 전력을 저감할 수 있다.
또한, 본 실시의 형태에서는, 제1의 촬상 디바이스(10)의 촬상 영역(R1) 중 외연을 제외한 영역이 제2의 촬상 디바이스(20)의 촬상 영역(R2)으로 되어 있고, 제2의 촬상 디바이스(20)의 촬상 영역(R2) 중 외연을 제외한 영역이 제3의 촬상 디바이스(50)의 촬상 영역(R3)으로 되어 있다. 또한, 본 실시의 형태에서는, 상대적으로 화각이 넓은 제1의 RAW 데이터(Iraw1)와, 제1의 RAW 데이터(Iraw1)보다도 화각이 좁은 제2의 RAW 데이터(Iraw2)와, 제2의 RAW 데이터(Iraw2)보다도 화각이 좁은 제3의 RAW 데이터(Iraw4)가 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)에 의해 생성된다. 이에 의해, 합성 RAW 데이터(Iraw) 중 외연을 제외한 소정의 영역(퓨전 영역(β))과, 제2의 RAW 데이터(Iraw2)가 서로 합성된다. 또한, 제2의 RAW 데이터(Iraw2) 중 외연을 제외한 소정의 영역과, 제3의 RAW 데이터(Iraw4)가 서로 합성된다. 환언하면, 테두리형상의 제1의 RAW 데이터(Iraw1)에, 제2의 RAW 데이터(Iraw2)가 감입됨과 함께, 테두리형상의 제2의 RAW 데이터(Iraw2)에, 제3의 RAW 데이터(Iraw4)가 감입된다. 그 결과, 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)를 이용하여, 화각이 넓은, 고해상도의 화상을 얻을 수 있다. 또한, 제1, 제2 및 제3의 촬상 디바이스(10, 20, 50)에서, 제1, 제2 및 제3의 광학 렌즈(12, 22, 520의 전부를 고정초점 렌즈로 구성하였다고 하여도, 기계적인 줌 기구를 이용하지 않고 광학 줌을 실현할 수 있다.
기타의 구성 및 동작, 및 효과는, 상기 제1의 실시의 형태와 개략 같아도 좋다.
<3. 기타의 실시의 형태>
본 개시에 의한 기술(技術)은, 상기 각 실시의 형태의 설명으로 한정되지 않고 여러가지의 변형 실시가 가능하다.
도 1에 도시한 촬상 장치(1) 등이 적용된 카메라로서의 베리에이션은 다양한 형태를 생각할 수 있다. 제1의 광학 렌즈(12) 등은, 고정식이라도 교환식이라도 좋다. 제1의 광학 렌즈(12) 등이 교환식의 렌즈부인 경우, 도 22 및 도 23 등에 도시한 렌즈 제어부(70) 및 촬상 제어부(60)는, 카메라 본체측에 마련되어 있어도 좋고, 교환식의 렌즈부측에 마련되어 있어도 좋다.
또한, 도 1에 도시한 촬상 장치(1) 등에서, 신호 처리부(30)에서 생성된 컬러 화상 데이터(Icol)를, 외부 메모리에 보존하거나, 디스플레이에 표시하도록 하여도 좋다. 또한, 보존이나 표시 대신에, 컬러 화상 데이터(Icol)를 네트워크로 다른 장치에 전송하여도 상관없다. 또한, 도 1에 도시한 신호 처리부(30)가, 촬상 장치(1)의 본체와는 별개라도 상관없다. 예를 들면, 신호 처리부(30)가, 촬상 장치(1)에 접속된 네트워크의 상대측에 있어도 상관없다. 또한, 촬상 장치(1)의 본체에서는 화상 처리를 행하지 않고, 외부 메모리에 화상 데이터를 보존하여 PC(퍼스널 컴퓨터) 등의 다른 장치에서 화상 처리를 행하여도 상관없다.
또한, 신호 처리부(30)의 처리는, 컴퓨터에 의한 프로그램으로서 실행하는 것이 가능하다. 본 개시의 프로그램은, 예를 들면, 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대해 예를 들면 기억 매체에 의해 제공되는 프로그램이다. 이와 같은 프로그램을 정보 처리 장치나 컴퓨터·시스템상의 프로그램 실행부에서 실행함으로써 프로그램에 응한 처리가 실현된다.
또한, 본 기술에 의한 일련의 화상 처리는 하드웨어, 또는 소프트웨어, 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 조립된 컴퓨터 내의 메모리에 인스톨하여 실행시키든지, 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들면, 프로그램은 기록 매체에 미리 기록하여 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 외에, LAN(Local Area Network), 인터넷이라는 네트워크를 통하여 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 예를 들면, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1)
롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비한 촬상 제어 장치.
(2)
상기 촬상 조건은, 화각 및 화소수의 적어도 하나를 포함하고,
상기 제2의 촬상 디바이스의 촬상 조건은, 상기 제1의 촬상 디바이스의 촬상 조건에 대해 화각 및 화소수의 적어도 일방이 다른 상기 (1)에 기재한 촬상 제어 장치.
(3)
상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스의 초기의 상기 촬상 조건의 정보를 격납하는 격납부를 또한 구비하고,
상기 촬상 제어부는, 상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 초기의 촬상 조건에 의거하여 동기시키는 상기 (1) 또는 (2)에 기재한 촬상 제어 장치.
(4)
상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스의 적어도 일방은, 줌렌즈를 가지며,
상기 촬상 조건은, 적어도 상기 줌렌즈의 줌 배율을 포함하고,
상기 촬상 제어부는, 상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 줌 배율에 의거하여 동기시키는 상기 (1) 내지 (3)의 어느 하나에 기재한 촬상 제어 장치.
(5)
상기 촬상 조건은, 적어도 화각을 포함하고,
상기 촬상 제어부는, 상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스 중, 상대적으로 화각이 좁은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍을, 상대적으로 화각이 넓은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍에 대해 지연시키는 상기 (1) 내지 (4)의 어느 하나에 기재한 촬상 제어 장치.
(6)
상기 촬상 제어부는, 상기 화각이 좁은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도를, 상기 화각이 넓은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속으로 하는 상기 (5)에 기재한 촬상 제어 장치.
(7)
상기 촬상 조건은, 적어도 화소수를 포함하고,
상기 촬상 제어부는, 상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스 중, 상대적으로 화소수가 많은 촬상 디바이스에서의 화소 데이터의 판독 속도를, 상대적으로 화소수가 적은 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속으로 하는 상기 (1) 내지 (4)의 어느 하나에 기재한 촬상 제어 장치.
(8)
롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기 제어하는 촬상 제어 방법.
(9)
롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스와,
상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스와,
상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비한 촬상 장치.
(10)
상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스에서 서로 다른 화각으로 촬상됨에 의해 생성된, 서로 촬상 영역이 다른 2개의 화상 데이터를 합성하는 합성부를 또한 구비한 상기 (9)에 기재한 촬상 장치.
(11)
상기 합성부는,
상기 2개의 화상 데이터 중 상대적으로 화각이 넓은 화상 데이터에서의 외연을 제외한 소정의 영역 내에, 상대적으로 화각이 좁은 화상 데이터가 포함되도록, 상기 2개의 화상 데이터를 합성하는 상기 (10)에 기재한 촬상 장치.
본 출원은, 일본 특허청에서 2016년 3월 17일에 출원된 일본 특허출원 번호 제2016-053995호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여, 여러 가지의 수정, 콤비네이션, 서브 콤비네이션, 및 변경을 상도 할 수 있는데, 그것들은 첨부한 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (11)

  1. 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비한 것을 특징으로 하는 촬상 제어 장치.
  2. 제1항에 있어서,
    상기 촬상 조건은, 화각 및 화소수의 적어도 하나를 포함하고,
    상기 제2의 촬상 디바이스의 촬상 조건은, 상기 제1의 촬상 디바이스의 촬상 조건에 대해 화각 및 화소수의 적어도 일방이 다른것을 특징으로 하는 촬상 제어 장치.
  3. 제1항에 있어서,
    상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스의 초기의 상기 촬상 조건의 정보를 격납하는 격납부를 또한 구비하고,
    상기 촬상 제어부는, 상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 초기의 촬상 조건에 의거하여 동기시키는 것을 특징으로 하는 촬상 제어 장치.
  4. 제1항에 있어서,
    상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스의 적어도 일방은, 줌렌즈를 가지며,
    상기 촬상 조건은, 적어도 상기 줌렌즈의 줌 배율을 포함하고,
    상기 촬상 제어부는, 상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 줌 배율에 의거하여 동기시키는 것을 특징으로 하는 촬상 제어 장치.
  5. 제1항에 있어서,
    상기 촬상 조건은, 적어도 화각을 포함하고,
    상기 촬상 제어부는, 상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스 중, 상대적으로 화각이 좁은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍을, 상대적으로 화각이 넓은 촬상을 행하는 촬상 디바이스의 노광 시작 타이밍에 대해 지연시키는 것을 특징으로 하는 촬상 제어 장치.
  6. 제5항에 있어서,
    상기 촬상 제어부는, 상기 화각이 좁은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도를, 상기 화각이 넓은 촬상을 행하는 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속으로 하는 것을 특징으로 하는 촬상 제어 장치.
  7. 제1항에 있어서,
    상기 촬상 조건은, 적어도 화소수를 포함하고,
    상기 촬상 제어부는, 상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스 중, 상대적으로 화소수가 많은 촬상 디바이스에서의 화소 데이터의 판독 속도를, 상대적으로 화소수가 적은 촬상 디바이스에서의 화소 데이터의 판독 속도보다도 고속으로 하는 것을 특징으로 하는 촬상 제어 장치.
  8. 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스의 노광 타이밍과, 상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기 제어하는 것을 특징으로 하는 촬상 제어 방법.
  9. 롤링 셔터 방식에 의해 노광을 행하는 제1의 촬상 디바이스와,
    상기 제1의 촬상 디바이스와는 다른 촬상 조건으로 롤링 셔터 방식에 의해 노광을 행하는 제2의 촬상 디바이스와,
    상기 제1의 촬상 디바이스의 노광 타이밍과 상기 제2의 촬상 디바이스의 노광 타이밍을, 상기 촬상 조건에 의거하여 동기시키는 촬상 제어부를 구비한 것을 특징으로 하는 촬상 장치.
  10. 제9항에 있어서,
    상기 제1의 촬상 디바이스 및 상기 제2의 촬상 디바이스에서 서로 다른 화각으로 촬상됨에 의해 생성된, 서로 촬상 영역이 다른 2개의 화상 데이터를 합성하는 합성부를 또한 구비한 것을 특징으로 하는 촬상 장치.
  11. 제10항에 있어서,
    상기 합성부는,
    상기 2개의 화상 데이터 중 상대적으로 화각이 넓은 화상 데이터에서의 외연을 제외한 소정의 영역 내에, 상대적으로 화각이 좁은 화상 데이터가 포함되도록, 상기 2개의 화상 데이터를 합성하는 것을 특징으로 하는 촬상 장치.
KR1020187021360A 2016-03-17 2017-01-17 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치 KR20180121879A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016053995A JP2017169111A (ja) 2016-03-17 2016-03-17 撮像制御装置、および撮像制御方法、ならびに撮像装置
JPJP-P-2016-053995 2016-03-17
PCT/JP2017/001384 WO2017159027A1 (ja) 2016-03-17 2017-01-17 撮像制御装置、および撮像制御方法、ならびに撮像装置

Publications (1)

Publication Number Publication Date
KR20180121879A true KR20180121879A (ko) 2018-11-09

Family

ID=59852217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187021360A KR20180121879A (ko) 2016-03-17 2017-01-17 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치

Country Status (5)

Country Link
US (1) US11290619B2 (ko)
JP (1) JP2017169111A (ko)
KR (1) KR20180121879A (ko)
CN (1) CN108781250B (ko)
WO (1) WO2017159027A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810751B2 (en) * 2017-06-23 2020-10-20 Panasonic Intellectual Property Corporation Of America Distance measuring apparatus and distance measuring method
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
KR102418852B1 (ko) * 2018-02-14 2022-07-11 삼성전자주식회사 이미지 표시를 제어하는 전자 장치 및 방법
JP7242332B2 (ja) 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP2020167626A (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 撮像装置およびその制御方法
CN110290322A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP2005175970A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像システム
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
EP2495594A3 (en) * 2009-06-16 2012-11-28 Intel Corporation Camera applications in a handheld device
US20120075489A1 (en) * 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
CN112911252B (zh) * 2012-11-28 2023-07-04 核心光电有限公司 多孔径成像系统
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
CN108769497B (zh) * 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机

Also Published As

Publication number Publication date
CN108781250B (zh) 2021-02-19
JP2017169111A (ja) 2017-09-21
US20190098180A1 (en) 2019-03-28
CN108781250A (zh) 2018-11-09
WO2017159027A1 (ja) 2017-09-21
US11290619B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
KR20180121879A (ko) 촬상 제어 장치, 및 촬상 제어 방법, 및 촬상 장치
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
EP2181349B1 (en) Image sensing apparatus
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
JP5739640B2 (ja) 撮像素子及び撮像装置
JP5701785B2 (ja) カメラモジュール
JP6711612B2 (ja) 画像処理装置、画像処理方法、および撮像装置
EP2882183B1 (en) Electronic apparatus and method of controlling the same
KR20160012743A (ko) 촬영 장치 및 그 촬영 방법
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
ES2287962T3 (es) Dispositivo para recoger imagenes.
JP2010271670A (ja) 撮像装置
US10075640B2 (en) Motion compensation for image sensor with a block based analog-to-digital converter
TW201143384A (en) Camera module, image processing apparatus, and image recording method
JP2015169722A (ja) 撮像装置
JP2007243917A (ja) 撮像装置および画像処理プログラム
KR102619738B1 (ko) 신호 처리 장치 및 촬상 장치
US20200389596A1 (en) Image sensor and image processing system including thereof
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP2010272957A (ja) 画像補正装置及びそのプログラム
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US11218679B2 (en) Image processing device, image processing method, and imaging device
JP2014109767A (ja) 画像処理装置およびその制御方法、並びに撮像装置およびその制御方法
JP2008066910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016158106A (ja) 撮像装置および撮像装置の制御方法