KR101514502B1 - 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법 - Google Patents

촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법 Download PDF

Info

Publication number
KR101514502B1
KR101514502B1 KR1020120109915A KR20120109915A KR101514502B1 KR 101514502 B1 KR101514502 B1 KR 101514502B1 KR 1020120109915 A KR1020120109915 A KR 1020120109915A KR 20120109915 A KR20120109915 A KR 20120109915A KR 101514502 B1 KR101514502 B1 KR 101514502B1
Authority
KR
South Korea
Prior art keywords
imaging
angle
view
units
image pickup
Prior art date
Application number
KR1020120109915A
Other languages
English (en)
Other versions
KR20130039676A (ko
Inventor
카즈히로 야하타
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011224814A external-priority patent/JP5896680B2/ja
Priority claimed from JP2012002929A external-priority patent/JP5911307B2/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20130039676A publication Critical patent/KR20130039676A/ko
Application granted granted Critical
Publication of KR101514502B1 publication Critical patent/KR101514502B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

촬영 후에 화상의 줌 배율을 변경하면, 카메라의 집광 능력의 차이에 기인하여 화각들 간에 밝기, 노이즈량, 노광 시간을 일치시킬 수 없다. 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛(130 내지 161)의 개수를, 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛(101 내지 105)의 개수보다 많게 한다. 또한, 제1 화각을 갖는 1개 이상의 촬상 유닛(130 내지 161)에 의한 전체 수광량을, 제2 화각을 갖는 1개 이상의 촬상 유닛(101 내지 105)에 의한 전체 수광량과 대략 동일하게 한다.

Description

촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법{IMAGE-CAPTURING DEVICE, IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND METHOD OF MANUFACTURING IMAGE-CAPTURING DEVICE}
본 발명은 복수의 촬상 유닛을 갖는 촬상 디바이스에 관한 것이다.
사진 촬영 후에 사진 화상의 포커스, 조리개, 또는 줌 배율 등을 변경하는 방법이 제안되어 있다. 예를 들어 "High performance imaging using large camera arrays", ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2005는 피사계 심도가 깊은 복수의 소형 카메라를 포함하는 다중 카메라(multiple camera)에 의해 촬상된 화상 데이터로부터, 피사계 심도가 보다 얕은 화상 데이터를 생성하는 기술을 개시한다.
이와 같은 다중 카메라에 있어서 줌 처리를 행할 경우, 가장 단순한 방법은 개개의 소형 카메라들에 줌 광학계들을 각각 제공하는 것이다. 그러나, 줌 광학계를 모든 소형 카메라 각각에 제공하면 매우 고가가 된다. 한편, 일본 공개 특허 제2005-109623호 공보에서는 각각 상이한 화각(angle of view)을 갖는 복수의 단초점 카메라(single focus cameras)를 포함하는 다중 카메라를 이용하여, 화각에 따라 이용할 화상들을 스위칭함으로써, 광학계에 의한 줌을 생략하고, 저렴하게 줌 처리를 실현하는 방법을 개시한다. 즉, 일본 공개 특허 제2005-109623호 공보의 기술에 따르면, 화각들이 상이한 다중 카메라들을 하나의 줌 카메라로서 간주할 수 있다.
또한, 일부 카메라 배열에 있어서, F 넘버가 크게 변하지 않는 큰 대구경 줌 렌즈를 갖는 통상의 카메라에 의해 얻어진 화상들에 비하여, 망원 화상의 피사계 심도와 광각 화상의 피사계 심도 간의 밸런스가 나쁘다.
그러나, 카메라의 집광 능력은 화각마다 상이하게 된다. 이 경우, 노광 시간을 화각에 상관없이 일치시켜서 촬영하면, 화각들 간에 밝기 또는 노이즈량이 상이하다는 과제가 있다. 또한, 밝기가 일치하도록 노광 시간을 화각마다 변경하면, 카메라 흔들림 또는 모션 흔들림이 발생할 수 있거나, 또는 본질적으로 노광 시간이 상이함에 기인하여 다른 줌들에서는 의도한 사진이 획득될 수 없고, 따라서 사실상 촬영 후에 줌 처리를 실행하는 것이 불가능하다는 과제가 있다.
본 발명에 따른 촬상 디바이스는 복수의 촬상 유닛을 갖고, 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛의 개수는 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛의 개수보다 많다.
본 발명에 따르면, 촬영 후의 사진 화상에 대하여 줌 배율을 변경할 때 노이즈량과 노광 시간에 대한 민감성이 감소될 수 있다.
본 발명의 다른 특징들은 (첨부 도면을 참조하여) 하기의 예시적인 실시 형태들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 제1 실시 형태에 있어서의 촬상 디바이스의 외관의 예를 도시한다.
도 2는 본 발명의 실시 형태에 있어서의 촬상 디바이스의 구성의 예를 도시하는 블록도이다.
도 3은 본 발명의 실시 형태에 있어서의 촬상 유닛의 구성의 예를 도시하는 블록도이다.
도 4는 본 발명의 제1 실시 형태에 있어서의 촬상 동작의 예를 도시하는 흐름도이다.
도 5는 본 발명의 제1 실시 형태에 있어서의 촬영 후에 줌을 변경하는 처리의 예를 도시하는 흐름도이다.
도 6a 및 도 6b는 본 발명의 제1 실시 형태에 있어서의 화상 합성의 개념을 설명하는 도면이다.
도 7은 본 발명의 제1 실시 형태에 있어서의 화상 합성의 예를 도시한다.
도 8은 본 발명의 제2 실시 형태에 있어서의 촬상 디바이스의 외관의 예를 도시한다.
도 9는 본 발명의 제2 실시 형태에 있어서의 촬상 유닛의 설정을 바꿀 때의 동작의 예를 도시하는 흐름도이다.
도 10은 본 발명의 제2 실시 형태에 있어서의 촬상 파라미터 산출 처리의 데이터의 흐름의 예를 도시한다.
도 11은 본 발명의 제3 실시 형태에 있어서의 촬상 디바이스의 외관의 예를 도시한다.
도 12는 본 발명의 제3 실시 형태에 있어서의 각 촬상 유닛의 화각과 출력 화상 화각 간의 관계의 예를 도시한다.
도 13은 본 발명의 제4 실시 형태에 있어서의 촬상 디바이스의 외관의 예를 도시한다.
도 14는 본 발명의 제4 실시 형태에 있어서의 촬상 디바이스의 구성의 예를 도시하는 블록도이다.
도 15는 본 발명의 제4 실시 형태에 있어서의 촬상 유닛의 구성의 예를 도시하는 블록도이다.
도 16은 본 발명의 제4 실시 형태에 있어서의 촬상 동작의 예를 도시하는 흐름도이다.
도 17은 본 발명의 제4 실시 형태에 있어서의 촬영 후에 줌을 변경하는 처리의 예를 도시하는 흐름도이다.
도 18a 내지 도 18c는 화각과 동공 간의 관계의 예를 도시한다.
도 19는 카메라 어레이의 화각마다의 실효적인 동공의 크기의 예를 도시한다.
도 20은 본 발명의 제4 실시 형태를 적용할 수 있는 촬상 유닛들의 배치의 예를 도시한다.
도 21은 본 발명의 제1 실시 형태에 있어서의 촬상 유닛의 배치의 예를 도시한다.
[제1 실시 형태]
우선, 제1 실시 형태의 개략에 대해서 설명한다. 제1 실시 형태는, 예를 들어, 광각 촬상 유닛들보다 더 많은 개수의 망원 촬상 유닛들을 제공함으로써, 각각의 촬상 유닛에 의해 얻어지는 화각마다의 화상 데이터의 밝기의 밸런스를 조절하는 것에 관한 것이다.
<촬상 디바이스의 구성>
도 1은 제1 실시 형태의 촬상 디바이스(100)의 개략적인 외관을 도시한다. 도 1에 도시된 촬상 디바이스(100)는 전면측(피사체측)에 61개의 촬상 유닛들(101-161)을 갖는 소위 카메라 어레이(카메라 어레이 시스템 및 다중 렌즈 카메라 등으로서 알려져 있음)이다. 도 1에 도시된 촬상 유닛들(101-161)의 해칭들의 차이는 후술하는 바와 같이 화각들의 차이를 나타낸다. 촬상 디바이스(100)는 플래시(162)와 촬영 버튼(163)을 더 구비한다. 또한, 도 1에는 도시되지 않았지만, 촬상 디바이스(100)는 그의 배면에 조작 유닛 및 표시 유닛 등을 갖는다. 이하, 본 실시 형태에서는 61개의 촬상 유닛을 가질 경우를 설명하지만, 촬상 유닛의 개수는 61개에 한정되지 않고, 3개 이상의 촬상 유닛이면 된다. 3개 이상의 촬상 유닛을 준비하는 이유는, 예를 들어, 2종류의 화각을 갖는 촬상 유닛들이 있을 경우에, 하나의 화각을 갖는 촬상 유닛의 개수를 다른 하나의 화각을 갖는 촬상 유닛의 개수보다 많이 제공하기 위해서이다. 또한, 복수의 촬상 유닛은, 그들이 동일한 피사체 또는 거의 동일한 영역을 거의 동시에 촬영할 수 있도록 배치하는 것으로 충분하다. "거의 동일한 영역" 및 "거의 동시에"란 문구는, 예를 들어, 복수의 촬상 유닛에 의해 촬영된 화상 데이터를 합성할 경우에, 다른 촬상 유닛들에 의해 촬상된 화상 데이터와 유사한 화상이 얻어지는 범위를 나타낸다. 도 1에 도시된 바와 같이, 촬상 유닛들은 동일 평면에 배치되고, 또한 촬상 유닛들의 광축들은 평행한 것이 화상 처리가 용이하게 되어 바람직하지만, 본 실시 형태는 이러한 배치에 한정되지 않는다. 본 실시 형태에 따른 촬상 유닛들의 더욱 상세한 구성 및 배치에 대해서는 후술한다.
도 2는 촬상 디바이스(100)의 구성의 예를 도시하는 블록도이다. CPU(201)는 RAM(202)을 워크 메모리(work memory)로서 이용하여, ROM(203)에 저장된 OS 및 각종 프로그램들을 실행한다. 또한, CPU(201)는 시스템 버스(200)를 통하여 촬상 디바이스(100)의 각 컴포넌트를 제어한다. RAM(202)은 촬상 광학계의 제어 결과를 나타내는 포커스 설정 또는 조리개 설정 등 촬상 유닛들(101-161)의 상태를 나타내는 정보인 촬상 파라미터들 등을 저장한다. ROM(203)은 촬상 유닛들(101-161)의 상대적인 위치 관계 및 각 촬상 유닛들의 촬상 소자들의 화소 피치들, 광 에너지의 수광 효율, 및 촬상 유닛들이 촬상할 수 있는 화각들(입체각들)을 나타내는 카메라 설계 파라미터들 등을 저장한다. 도시되지 않았지만, 촬상 유닛들(101-161)의 ROM들에 각각 당해 촬상 유닛의 카메라 설계 파라미터들을 저장할 수 있다.
CPU(201)는 컴퓨터 그래픽(CG) 생성 유닛(207) 및 표시 제어 유닛(204)을 제어하여 모니터(213)에 유저 인터페이스(UI)를 표시시킨다. 또한, CPU(201)는 촬영 버튼(163) 및 조작 유닛(164)을 통해서 유저 지시를 수신한다. 그리고, CPU(201)는 유저 지시에 따라 촬상시의 피사체 거리, 초점 거리, 조리개, 노광 시간, 및 플래시의 발광 등의 촬영 조건들을 설정할 수 있다. 또한, CPU(201)는 유저 지시에 따라, 촬상의 지시 및 촬상된 화상의 표시 설정을 행할 수 있다. CG 생성 유닛(207)은 UI를 실현하기 위한 문자 및 그래픽 등의 데이터를 생성한다.
유저에 의해 촬영이 지시되면, CPU(201)는 유저의 지시에 대응하는 광학계의 제어 방법을 광학계 제어 방법 생성 유닛(209)으로부터 취득한다. 그 다음에, CPU(201)는 취득된 광학계의 제어 방법에 기초하여 광학계 제어 유닛(210)에 촬상을 행하도록 지시한다. 이 촬상 지시를 수신하면, 광학계 제어 유닛(210)은 포커스를 맞추거나, 조리개를 조절하거나, 또는 셔터를 열거나 닫는 등의 촬상 광학계의 제어를 행한다. 또한, 광학계 제어 유닛(210)은 촬상 광학계의 제어 결과를 나타내는 포커스 설정 또는 조리개 설정 등 촬상 유닛들(101-161)의 상태를 나타내는 정보인 촬상 파라미터들을 RAM(202)에 저장한다. 또한, 하나의 광학계 제어 유닛(210)에 의해 촬상 유닛들(101-161) 각각의 촬상 광학계를 제어하는 것 대신에, CPU(201)와 통신 가능한 광학계 제어 유닛을 촬상 유닛들(101-161) 각각에 제공할 수도 있다.
촬상 유닛들(101-161)은 각각 피사체로부터의 광을 CCD나 CMOS 등의 촬상 센서(307)에서 수광한다. 상세한 사항은 도 3과 관련하여 후술한다. 촬상 유닛들(101-161)은 촬상 센서(307)로부터 출력되는 아날로그 신호를 아날로그-디지털(A/D) 변환한 결과의 촬상 데이터(이하, RAW 데이터라고 일컬음)를 일시적으로 촬상 유닛들(101-161) 내의 버퍼 메모리들에 보유한다. 버퍼 메모리들에 보유된 RAW 데이터는 CPU(201)의 제어에 의해 순차 RAM(202)의 소정 영역에 저장된다.
디지털 신호 처리 유닛(208)은 RAM(202)의 소정 영역에 저장된 복수의 RAW 데이터(이하, RAW 데이터 세트라고 일컬음)로부터 화상 데이터를 생성하는 현상 처리를 행한다. 또한, 디지털 신호 처리 유닛(208)은 RAW 데이터 세트 및 생성된 화상 데이터를 RAM(202)의 소정 영역에 저장한다. 현상 처리는 복수의 RAW 데이터를 합성하는 합성 처리, 디모자이킹 처리(demosaicing process), 화이트 밸런스 처리, 감마 처리, 및 노이즈 저감 처리를 포함한다. 또한, 디지털 신호 처리 유닛(208)은 촬영 후의 화상 데이터에 대하여 줌 배율을 변경하고, 변경 후의 화상 데이터를 생성하는 처리를 행할 수 있다. 생성된 화상 데이터에는 초점 거리, 줌 배율, 또는 피사계 심도 등을 나타내는 현상 처리시의 파라미터들(이하, 화상 생성 파라미터들이라고 일컬음)이 부가된다. 화상 생성 파라미터들은, 예를 들어, 유저에 의해 지정된 값들에 기초하여 생성된다. 또한, 예를 들어, 첫회 현상시에 있어서는 초기 설정 값을 화상 생성 파라미터로서 이용할 수 있다. 또한, RAW 데이터 세트에는 적어도 촬상 파라미터들이 부가되지만, 외부의 화상 처리 장치를 이용하는 현상 처리를 고려하여, 카메라 설계 파라미터들이 부가될 수도 있다.
CPU(201)는 표시 제어 유닛(204)을 제어하여, RAM(202)의 소정 영역에 저장된 화상 데이터를 모니터(213)에 표시한다. 압축/압축해제 유닛(212)은 RAM(202)의 소정 영역에 저장된 화상 데이터를 JPEG 또는 MPEG 등의 포맷으로 변환하는 인코딩 처리(encoding process)를 행한다. 또한, 압축/압축해제 유닛(212)은, 필요하다면, RAW 데이터 세트를 손실 없이 압축하는 처리를 행한다.
인터페이스(I/F)(205)는, 예를 들어, 메모리 카드 또는 USB 메모리 등의 기록 매체(206)로부터 판독하고 그것에 기입하는 기능, 및 유선 또는 무선 네트워크들에 접속하는 기능을 갖는다. I/F(205)는 CPU(201)의 지시에 따라, 예를 들어, RAM(202)에 저장된 JPEG 또는 MPEG 포맷의 화상 데이터 및 RAW 데이터 세트를 외부 매체나 서버 디바이스에 출력하거나, 또는 외부 기록 매체나 서버 디바이스로부터 각종 데이터를 입력한다.
화상 생성 파라미터 생성 유닛(211)은 디지털 신호 처리 유닛(208)에 있어서의 현상 처리에 필요한 화상 생성 파라미터들을 생성한다.
도 2에 도시된 촬상 디바이스(100)는 촬상 유닛들(101-161)과 그 밖의 컴포넌트들을 하나의 유닛으로서 통합시켰지만, 촬상 유닛들(101-161)과 그 밖의 컴포넌트들(화상 처리 장치)은 분리될 수도 있다. 그러한 경우, 촬상 유닛들(101-161)과 화상 처리 장치 각각에, 예를 들어, USB 또는 IEEE 1394 등의 시리얼 버스 I/F, 또는 무선 네트워크 카드 등의 통신 유닛이 제공될 수 있어서, 통신 유닛을 통해서 제어 신호의 송신 및 수신, 또는 데이터의 입력 및 출력을 행한다.
<각 촬상 유닛의 구성의 예>
도 3의 블록도는 촬상 유닛들(101-161)의 구성의 예를 도시한다. 도 3은 촬상 유닛(101)의 구성의 예를 도시하지만, 다른 촬상 유닛들(102-161)도 거의 마찬가지의 구성을 갖는다. 그러나, 촬상 유닛들(101-161)의 화각들, 포커스들, 및 조리개들 등의 설정은 반드시 전부 동일하도록 구성될 필요는 없다. 상세한 사항은 후술한다.
피사체로부터의 광은 포커스 렌즈 그룹(301), 조리개(302), 고정 렌즈 그룹(303), 셔터(304), 적외선 차단 필터(305), 및 컬러 필터(306)를 통과하여, CMOS 센서 또는 CCD 등의 촬상 센서(307)에 결상한다. 아날로그-디지털 변환 유닛(308)은 촬상 센서(307)로부터 출력되는 아날로그 신호의 아날로그-디지털 변환을 행한다. 버퍼(309)는 아날로그-디지털 변환 유닛(308)으로부터 출력되는 RAW 데이터를 일시적으로 저장하고, CPU(201)의 요구에 따라 RAW 데이터를 시스템 버스(200)를 통해서 RAM(202)에 전송한다.
도 3에 도시된 렌즈 그룹과 조리개의 배치는 예이며, 다른 배치들로 대체될 수 있다. 예를 들어, 일부의 또는 모든 촬상 유닛들이 텔레센트리시티(telecentricity) 등의 렌즈 성능을 향상시키기 위한 고정 렌즈 그룹(303)을 구비할 필요는 없다.
<촬상 유닛들의 구성들 및 그의 조합>
저렴한 줌 기능을 제공하기 위해서, 본 실시 형태에 있어서의 촬상 유닛들의 화각들은 모두 동일한 것은 아니다. 예를 들어, 도 1에 도시된 61개의 렌즈를 갖는 카메라 어레이의 예에 있어서, 촬상 유닛들(101-161)의 화각이 4종류 존재하고, 촬상 유닛들(101-105), 촬상 유닛들(106-113), 촬상 유닛들(114-129), 촬상 유닛들(130-161)이 각각 동일한 화각을 갖는다. 그러나, 화각이 동일하더라도, 촬상 유닛들(101-161)이 모두 동일한 크기의 촬상 센서를 가질 필요는 없다. 즉, 다른 크기들의 촬상 센서들이 있는 경우에도, 촬상 유닛의 초점 거리에 의해 커버될 수 있는 거리에 따라 화각들은 동일하게 된다. 화각이 동일한 촬상 유닛들은 동일한 화소 수를 갖는 것이 화상 처리가 간단해지기 때문에 바람직하다. 또한, 본 실시 형태에서 촬상 유닛들(101-161)에 연관된 광학계들의 입사 동공(
Figure 112012080332643-pat00001
렌즈 전방측으로부터 본 조리개)의 크기는 대략 동일하게 설계된다고 가정한다.
본 실시 형태에서는, 화각들이 상이한 촬상 유닛들에 의해 촬상된 화상들 간에 있어서 밝기, 노이즈, 및 노광 시간을 동시에 조절하기 위해서, 촬상 유닛들(101-161)은 화각마다 합계의 집광 능력들이 대략 동일하게 되도록 구성된다. 예를 들면, 촬상 유닛들(101-105)과 촬상 유닛들(106-113)은 그들의 합계의 집광 능력들이 대략 동일하게 되도록 구성된다. 또한, 다른 촬상 유닛 그룹들에 대해서도 마찬가지이다. 구체적으로, j를 화각의 인덱스라고 하면, 촬상 유닛들(101-161)은 화각마다 다음의 수학식에 의해 계산되는 평가값들 Ej에 대하여 합계의 집광 능력들이 대략 동일하게 되도록 구성된다.
Figure 112012080332643-pat00002
여기서, Nj는 화각 j를 갖는 촬상 유닛의 개수이다. 또한, Ωj는 화각 j를 갖는 촬상 유닛이 촬상을 행하는 영역의 입체각이다. 입체각 Ωj는 직접 측정되는 것이 바람직하지만, 다음의 수학식에 의해 계산될 수도 있다.
Figure 112012080332643-pat00003
여기서, fj ,i는 화각 j를 갖는 촬상 유닛 i의 초점 거리이며, x, y는 촬상 유닛에 연관된 촬상 센서에 있어서의 좌표이다. 적분 범위는 촬상 센서의 크기이다. 촬상 센서들의 크기들이 상이한 촬상 유닛들은 그들의 화각들이 동일하기만 하면, 그들의 입체각들이 동일하므로, 화각 j를 갖는 복수의 촬상 유닛 중 어느 하나의 촬상 유닛의 입체각을 계산하는 것으로 충분하다. 촬상 유닛에 연관된 광학계에 왜곡 수차(distortion)가 존재할 경우에는, 왜곡 수차를 보정한 후의 좌표계 x', y'으로 치환해서 입체각을 계산할 수 있다. 또한, 왜곡 보정의 결과로서 화상 합성에 이용되지 않는 영역이 존재할 경우에는, 적분 범위로부터 그 영역을 생략할 수 있다.
도 1에 도시된 예에서는 4종류의 화각이 존재하기 때문에, 평가값 Ej도 4종류가 계산된다. 평가값 Ej는 화각 j를 갖는 복수의 촬상 유닛이 단위 시간당 받는 광 에너지의 합계에 비례하는 양이다. 이에 따라, Ej가 화각 j에 상관없이 동일할 경우에는, 노이즈의 주요 원인인 샷 노이즈(shot noise)의 파워가 거의 동일하게 된다. 따라서, 화각들이 상이한 화상들 간의 노이즈의 불균일성(irregularity)도 거의 동일하게 된다.
각 촬상 유닛들은 그들의 평가값들 Ej가 가능한 한 동일하게 되도록 구성되는 것이 바람직하지만, 평가값 Ej를 완전히 일치시키는 것은 어려울 경우가 있을 수 있다. 이에 따라, Ej의 변동의 허용 범위(tolerance)를 정의할 필요가 있을 수 있다. 예를 들어, 화각들 간에 SN의 차이를 20% 정도까지 억제하는 것이 바람직할 경우에는, 신호 값이 2배가 되면 노이즈 값은 √2배가 되는 관계가 있으므로, 평가값들 Ej 간의 차이는 40% 정도로 억제하도록 설계한다. 보다 바람직하게는, 유저에 의해 조절할 수 있는 노광 시간의 변동 폭보다 Ej의 차이가 작게 되도록 촬상 유닛이 구성될 수 있다. 즉, 유저가 노광 시간을 1/3 노치(notch) 스텝만큼 제어할 수 있을 경우, 화각 j와 화각 k에 관한 평가값 Ej와 평가값 Ek 간의 비율은 다음 수학식을 충족시키는 것이 바람직하다.
Figure 112012080332643-pat00004
이와 같이 각 화각에 있어서의 평가값이 대략 동일하게 되도록 촬상 유닛들의 개수를 조절함으로써, 각 화각에서의 집광 능력을 대략 동일하게 할 수 있다. 구체적으로, 제1 화각을 갖는 제1 촬상 유닛 그룹의 촬상 유닛들의 개수를, 제1 촬상 유닛 그룹에 연관된 화각보다 작은 제2 화각을 갖는 제2 촬상 유닛 그룹의 촬상 유닛들의 개수보다 작게 되도록 구성한다. 예를 들어, 망원 촬상 유닛의 개수를 광각 촬상 유닛의 개수보다 많이 제공함으로써, 각 화각들의 평가값들을 대략 동일하게 할 수 있다. 이러한 각 화각들에 있어서의 평가값들이 대략 동일하게 되도록 촬상 유닛의 개수를 조절하는 것은, 예를 들어, 촬상 디바이스를 제조할 때 행할 수 있다.
<촬상 동작>
도 4는 제1 실시 형태의 촬상 동작의 예를 도시하는 흐름도이다. 또한, 각 화각들의 평가값들은 전술한 바와 같이 대략 동일하게 되도록 설계된다고 가정한다. 도 4에 도시된 처리는, 예를 들어, ROM(203)에 저장된 프로그램을 CPU(201)에 의해 판독해서 실행함으로써 실현된다. 유저가 조작 유닛(164) 및 촬영 버튼(163)을 조작하면, 도 4에 도시된 촬상 동작이 개시된다. CPU(201)는 조작 유닛(164) 및 촬영 버튼(163)을 통해서 유저 지시를 수신하고, 유저의 조작을 판정한다(단계 S101).
유저가 조작 유닛(164)을 조작해서 포커스 및 조리개 등 촬상 광학계의 설정을 변경할 경우, CPU(201)는 광학계 제어 방법 생성 유닛(209)으로부터 각 촬상 유닛에 연관된 광학계의 제어 방법을 취득한다(단계 S102). 단계 S102에서, 광학계 제어 방법 생성 유닛(209)은, 유저에 의해 미리 설정된 동작 모드에 기초하여, 촬상 유닛의 광학계의 제어 방법을 산출한다. 예를 들어, 모든 촬상 유닛들이 동일한 포커스에 맞춰서 촬영하는 동작 모드에서는, 광학계 제어 방법 생성 유닛(209)은 모든 촬상 유닛들의 포커스를 유저에 의해 지정된 값으로 설정한다. 반대로, 복수의 촬상 유닛이 각각 상이한 포커스들에 맞춰서 촬영하는 동작 모드에서는, 광학계 제어 방법 생성 유닛(209)은 유저에 의해 지정된 것 이외의 촬상 유닛의 포커스를 유지하도록 설정값을 산출한다. 광학계 제어 방법 생성 유닛(209)은 조리개에 대해서도 마찬가지의 동작을 행한다. 전술한 바와 같이, 본 실시 형태에서는 촬상 유닛의 입사 동공(
Figure 112012080332643-pat00005
렌즈 전방측으로부터 본 조리개)의 크기들은 대략 동일하게 되도록 설계된다. 단계 S102에 있어서, 예를 들어, 유저가 조리개의 값을 변경하면, 모든 촬상 유닛들이 동일한 조리개에 맞춰서 촬영하는 동작 모드에서는, 모든 촬상 유닛들의 입사 동공들의 크기들이 마찬가지의 방식으로 변화하므로, 화각들 각각의 평가값들은 대략 동일하게 된다. 한편, 복수의 촬상 유닛이 각각 상이한 포커스들에 맞춰서 촬영하는 동작 모드에서는, 유저가 조리개의 값을 변경하면, 입사 동공의 크기가 변경된다. 이러한 경우에는, 후술하는 제2 실시 형태에서 설명하게 되는 바와 같이, 산출된 평가값에 기초하여 촬상 유닛의 조리개를 조절하는 처리가 행해진다. 본 처리의 상세한 설명은 제2 실시 형태에서 제공한다.
CPU(201)는 산출된 조리개 값 및 포커스의 값들에 기초하여 광학계 제어 유닛(210)을 제어하여, 촬상 유닛들(101-161)의 각각의 렌즈 그룹들 및 조리개들의 상태를 변경한다(단계 S103). 광학계 제어 유닛(210)은 촬상 유닛들(101-161)의 각각의 렌즈 그룹들 및 조리개들의 상태를 나타내는 촬상 파라미터들을 CPU(201)에 송신하고, CPU(201)는 수신된 촬상 파라미터들을 RAM(202)의 소정 영역에 저장한다(단계 S104).
유저가 촬영 버튼(163)을 반정도 누르면, 유저에 의한 설정에 기초하여, 포커스를 자동적으로 설정하는 오토포커스, 및 조리개를 자동적으로 설정하여 노광량을 조절하는 오토익스포저(autoexposure)가 행해진다. 이 조작에 의해 촬상 유닛의 포커스 및 조리개가 자동적으로 변경되기 때문에, 이것도 촬상 광학계의 변경 동작이다. 오토익스포저가 행해질 경우에도 단계 S102 내지 S104에서 설명된 처리가 행해진다.
유저가 촬영 버튼(163)을 완전히 누르면, 단계 S101에서 CPU(201)는 촬영 조작이 행해졌다고 판단한다. CPU(201)는 광학계 제어 유닛(210)을 제어하여, 촬상 유닛들(101-161)의 셔터(304)를 미리 설정된 시간 동안 열어서 촬상 센서(307)를 노광한다(단계 S105).
그 후, CPU(201)는 촬상 유닛들(101-161)의 버퍼(309)를 제어하여 RAW 데이터 세트를 RAM(202)의 소정 영역에 저장한다(단계 S106).
다음에, CPU(201)는 화상 생성 파라미터 생성 유닛(211)을 제어하여 줌 배율, 초점 거리, 또는 피사계 심도 등의 화상 생성 파라미터들을 취득하고, 그들을 RAM(202)의 소정 영역에 저장한다(단계 S107). 그리고, CPU(201)는 디지털 신호 처리 유닛(208)을 제어하여 RAW 데이터 세트의 현상 처리를 실행시킨다(단계 S108).
디지털 신호 처리 유닛(208)은 RAW 데이터 세트들, 촬상 파라미터들, 카메라 설계 파라미터들, 및 화상 생성 파라미터들을 수신하고, 이들 데이터와 파라미터들에 기초하여 현상 처리를 실행하여 화상 데이터(이하, 첫회 화상 데이터라고 일컬음)를 생성한다. 그 후, 디지털 신호 처리 유닛(208)은 RAW 데이터 세트에 촬상 파라미터들(필요하면, 카메라 설계 파라미터들)을 부가하고, 또한 첫회 화상 데이터에 대한 현상 처리에 이용된 화상 생성 파라미터들을 부가한다. CPU(201)는 디지털 신호 처리 유닛(208)에 의해 출력된 첫회 화상 데이터 및 RAW 데이터 세트를 RAM(202)의 소정 영역에 저장한다(단계 S109).
다음에, CPU(201)는 압축/압축해제 유닛(212)을 제어하여 첫회 화상 데이터를 인코딩 처리한다(단계 S110). 그리고, CPU(201)는 I/F(205)를 제어하여, 인코딩된 첫회 화상 데이터 및 RAW 데이터 세트를 하나의 파일로서 출력한다(단계 S111). 또한, 데이터의 출력처는, 예를 들어, 기록 매체(206)이거나 또는 도시되지 않은 서버 디바이스이다. 또한, 압축/압축해제 유닛(212)에 의해 손실 없이 압축을 실시한 RAW 데이터 세트를 출력할 수도 있다.
<줌 배율 변경 처리>
다음에, 촬영 후의 화상의 줌 배율을 변경하는 처리(이하, 배율 변경 처리라고 일컬음)를 설명한다. 도 5는 배율 변경 처리의 예를 도시하는 흐름도이다. 도 5에 도시된 처리는, 예를 들어, ROM(203)에 저장된 프로그램을 CPU(201)에 의해 판독해서 실행함으로써 실현된다. 또한, 배율 변경 처리는 일반적으로 조작 유닛(164)을 통한 유저 지시에 의해 개시되지만, 촬영 후에 자동적으로 개시될 수 있다.
CPU(201)는 배율 변경 처리를 행하도록 지시되면(단계 S501), 유저에 의해 지정된 화상 데이터 및 그에 대응하는 RAW 데이터 세트를, 예를 들어, 기록 매체(206)로부터 취득한다(단계 S502). 그리고, CPU(201)는 압축/압축해제 유닛(212)을 제어하여 화상 데이터를(필요하면, RAW 데이터 세트도) 디코딩 처리하고, 디코딩된 화상 데이터와 RAW 데이터 세트를 RAM(202)의 소정 영역에 저장한다(단계 S503).
단계 S502에서 취득된 데이터는 촬상 디바이스(100)에 의해 촬영된 촬상 데이터이거나 또는 촬상 디바이스(100)에 의해 생성된 화상 데이터일 필요는 없고, 다른 촬상 디바이스 또는 다른 화상 처리 장치에 의해, 예를 들어, 기록 매체(206)에 저장된 데이터일 수도 있다. 그러한 경우에는, 취득되는 RAW 데이터에 관련되는 촬상 파라미터들 및 카메라 설계 파라미터들을 별도로 취득할 필요가 있다.
다음에, CPU(201)는 RAW 데이터 세트로부터 촬상 파라미터들과 카메라 설계 파라미터들을, 그리고 화상 데이터로부터 화상 생성 파라미터들을 판독한다(단계 S504). 그리고, CPU(201)는 화상 생성 파라미터 생성 유닛(211)으로부터 화상 생성 파라미터들이 변경될 수 있는 범위를 취득한다(S505). 화상 생성 파라미터들은 촬영 후의 화상의 줌 배율을 포함한다.
다음에, CPU(201)는 CG 생성 유닛(207) 및 표시 제어 유닛(204)을 제어하여, 화상 데이터에 의해 표현되는 화상을 표시하고, 변경 가능한 범위에서 화상 생성 파라미터들을 변경하기 위한 그래피컬 유저 인터페이스(GUI)를 모니터(213)에 표시한다(단계 S506). 유저는 모니터(213)에 표시되는 화상을 참조하여, 원하는 화상이 제공되는 경우에는, 예를 들어, GUI의 결정 버튼을 누르고, 화상 생성 파라미터들을 변경할 경우에는, GUI를 조작하고, 예를 들어, GUI의 변경 버튼을 누른다.
CPU(201)는 유저 조작이 결정 버튼을 누른 것인지, 또는 줌 배율 변경 버튼을 누른 것인지를 판정한다(단계 S507). 결정 버튼이 눌러진 경우에는, CPU(201)는 유저가 원하는 화상 데이터가 촬상된다고 판단하고 배율 변경 처리를 종료한다.
줌 배율 변경 버튼이 눌러진 경우, CPU(201)는 디지털 신호 처리 유닛(208)을 제어하여, 유저에 의해 GUI를 통해서 지정된 화상 생성 파라미터들에 따라 RAW 데이터 세트를 현상 처리하여 얻은 화상 데이터(이하, 재현상 화상 데이터라고 일컬음)를 생성시킨다(단계 S508). 그리고, CPU(201)는 처리를 단계 S506으로 복귀시켜, 재현상 화상 데이터에 의해 표현되는 화상을 GUI에 표시한다.
CPU(201)는 단계 S507의 판정에 따라, 배율 변경 처리 후에 결정 버튼이 눌러졌는지 여부를 판단한다(단계 S509). CPU(201)는 단계 S509에서 배율 변경 처리 후에 결정 버튼이 눌러졌다고 판단하면, 첫회 화상 데이터를 출력할 경우와 마찬가지의 처리에 의해 재현상 화상 데이터를 출력한다(단계 S510). 그리고, 배율 변경 처리를 종료한다.
<화상 처리>
디지털 신호 처리 유닛(208)에 의한 현상 처리들 중 복수의 RAW 데이터를 합성하는 처리(이하, 화상 합성 처리라고 일컬음)를 간단히 설명한다. 본 실시 형태에 있어서의 화상 합성 처리는 다중-시점 화상으로부터 피사계 심도가 얕은 화상을 생성하는 개구 합성법(synthetic aperture method)과 전자 줌을 조합함으로써, 이 화상 합성 처리에 의해 피사계 심도를 제어하면서 줌 배율을 변경한다.
도 1에 도시된 바와 같이, 촬상 유닛들(101-161)의 위치들은 각각 상이하고, 촬상 유닛들(101-161)로부터 출력되는 RAW 데이터 세트는 소위 다중-시점 화상들을 형성한다. 디지털 신호 처리 유닛(208)은 RAW 데이터 세트의 촬상 데이터를 취득한다(촬상 데이터 취득 처리). 그리고 디지털 신호 처리 유닛(208)은, 개개의 화상 데이터에 대해 필요에 따라 필터링 처리를 실행하고, 포커스를 원하는 거리(이하, 초점 거리라고 일컬음)에 맞춘 후, 화상 데이터를 서로 더하여, 피사계 심도가 얕은 합성 화상을 생성한다. 피사계 심도의 조절은, 일반적으로 필터링 처리에 이용되는 필터를 변경하거나, 또는 합성에 이용되는 화상 수를 변경함으로써 행할 수 있다. 또한, 화상의 매칭에 필요한 변위량은, 각 촬상 유닛의 위치 및 방향 등의 카메라 설계 파라미터들과, 초점 거리 등의 화상 생성 파라미터들로부터 산출될 수 있다.
줌 배율을 변경하기 위해, 이용할 촬상 유닛들의 스위칭과 일반적인 전자 줌의 조합을 이용할 수 있다. 즉, 줌 배율에 따라 적절한 화각을 갖는 촬상 유닛을 선택하고, 또한 전자 줌 처리를 행함으로써, 줌 배율을 거의 연속적으로 변경할 수 있다. 일반적인 전자 줌 처리에서는, 화상에 필터링 처리를 행하면서 원하는 영역에서 화소들의 리샘플링(resampling)을 행하여 원하는 줌 배율의 화상을 얻는다. 합성에 이용할 화상들로서, 출력해야 할 줌 배율에 대응하는 화각보다 넓은 화각을 갖는 화상들 중에서, 가장 작은 화각을 갖는 복수의 화상들을 이용할 수 있다.
개구 합성 처리와 전자 줌 처리에 대하여, 개구 합성 처리를 먼저 행하는 것이, 전자 줌 처리가 하나의 이터레이션(iteration)에서 완료되기 때문에 효율적이다. 그러나, 줌 배율이 크면, 출력에 필요없는 영역의 화상들에 대하여도 개구 합성 처리를 행하게 된다는 점에서 비효율적이다. 그러한 경우, 반대로 전자 줌 처리를 먼저 행하는 것이 바람직하다. 전자 줌 처리를 행할 경우, 화상의 매칭을 고려하면서 화상의 리샘플링 처리를 행할 수 있다. 이에 의해, 매칭이 이루어지고, 원하는 화각에서 원하는 화소 수를 갖는 화상들의 그룹이 생성된다. 개구 합성 처리에서는, 화상들에 필터링 처리를 행한 후에 화상들을 더하는 것으로 충분하다.
<합성 처리의 예>
도 6a, 도 6b, 및 도 7을 참조하여, 디지털 신호 처리 유닛(208)에 의한 화상 합성의 개념에 대해서 설명한다. 도 6a는 상이한 거리들에 있는 피사체들을 촬상 유닛들(601 내지 603)에 의해 촬영한 것을 도시한다.
도 6a에 있어서, 촬상 유닛들(601 내지 603)은 촬상 유닛들(101 내지 161) 중에서 대표적인 3개의 촬상 유닛이다. 점선(604 내지 606)은 가상적인 초점들(포커스를 맞추려고 하는 위치) 중에서 대표적인 3개의 가상적인 초점을 도시한다. 도 6a에 도시된 바와 같이, 피사체들(607 내지 609)은 각각 거리가 상이한 위치들에 놓여 있다.
도 6b는 촬상 유닛(601)에 의해 취득된 화상(610)을 도시한다. 촬상 유닛들(602, 603)에 의해 취득된 화상들은, 화상(610)에 있어서, 각 피사체들(604 내지 606)의 거리들에 대응하는 시차(parallax)만큼 피사체가 변위된 화상들이 된다.
도 7은 디지털 신호 처리 유닛(208)에 의해 재구성된(합성된) 화상의 개념도이다. 화상(701)은 가상적인 초점을 점선(606)에 설정할 때 재구성 후의 화상이다. 화상(701)에서는, 피사체(607)에 포커스가 맞춰지어, 피사체들(608, 609)은 흐릿해진다(blurred).
화상(702)은 가상적인 초점을 점선(605)에 맞출 때, 화상(703)은 가상적인 초점을 점선(604)에 맞출 때 각각의 재구성 후의 화상이다. 화상(702)은 피사체들(608)에, 화상(703)은 피사체(609)에 각각 포커스를 맞춘 것이다. 이렇게 가상적인 초점을 움직임으로써, 원하는 피사체에 포커스를 맞춘 화상을 얻을 수 있다.
합성 처리의 예에서는, 가상적인 초점을 제어함으로써, 소정의 피사체에 포커스를 맞춤과 동시에 다른 피사체들을 흐릿해지게 하는 것이 가능하게 된다. 합성 처리의 예들은 이것에 한정되지 않고, 예를 들어, 다이내믹 레인지(dynamic range)를 넓히는 HDR 처리나, 또는 해상도를 올리는 고해상도화 처리를 포함할 수 있다.
이상 설명한 제1 실시 형태의 구성에 따르면, 화각마다 수광량들을 대략 동일하게 할 수 있다. 이에 따라, 화각들이 상이한 화상들 간에 있어서 밝기, 노이즈, 및 노광 시간을 동시에 조절할 수 있다. 이에 의해, 유저는 밝기, 노이즈, 및 노광 시간의 큰 변동 없이, 촬영 후의 화상 데이터에 관한 줌의 변경을 행할 수 있다.
[제2 실시 형태]
제1 실시 형태에서는, 각 촬상 유닛들의 입사 동공들의 크기들이 모두 서로 대략 동일할 경우의 구성에 대해서 설명했다. 본 실시 형태에서는, 각 촬상 유닛들의 입사 동공들의 크기들이 서로 상이한 경우의 구성에 대해서 설명한다. 제1 실시 형태와 공통인 부분들에 대해서는 설명을 생략한다.
<촬상 디바이스의 구성>
도 8은 제2 실시 형태의 촬상 디바이스(800)의 외관의 예를 도시한다. 촬상 디바이스(800)는 전방측(피사체측)에 16개의 촬상 유닛(801-816)을 갖는, 소위, 카메라 어레이이다. 촬상 디바이스(800)는 플래시(162)와 촬영 버튼(163)을 구비한다. 또한, 도 8에는 도시되지 않았지만, 촬상 디바이스(800)는 그 배면에 조작 유닛 또는 표시 유닛 등을 갖는다. 이하, 본 실시 형태에서는 16개의 촬상 유닛을 갖는 경우를 설명하지만, 촬상 유닛의 개수는 16개에 한정되는 것이 아니고, 2개 이상의 촬상 유닛이면 된다. 제2 실시 형태에서는 촬상 유닛들의 입사 동공들의 크기들을 조절하는 예를 나타내고 있기 때문에, 화각들이 상이한 적어도 2종류의 촬상 유닛을 이용하여 촬상 디바이스를 실현할 수 있다. 그 밖의 구성은 제1 실시 형태와 마찬가지이다.
<촬상 유닛들의 구성들 및 그의 조합>
제1 실시 형태와 마찬가지로, 본 실시 형태에 있어서도 촬상 유닛들의 화각들은 모두 동일한 것은 아니다. 예를 들어, 도 8에 도시된 16-렌즈 카메라 어레이의 예에 있어서, 촬상 유닛들(801-816)의 화각은 4종류가 존재하고, 촬상 유닛들(801-804), 촬상 유닛들(805-808), 촬상 유닛들(809-812), 촬상 유닛들(813-816)이 각각 동일한 화각을 갖는다. 제1 실시 형태에서는 촬상 유닛들(101-161)에 연관된 광학계의 입사 동공들의 크기들이 대략 동일하게 되도록 설계되는 예를 설명했으나, 본 실시 형태에서는 촬상 유닛들(801-816)에 연관된 광학계들의 입사 동공들의 크기들이 상이한 예를 설명한다.
제2 실시 형태에 있어서도, 화각들이 상이한 화상들 간에 있어서 밝기, 노이즈, 및 노광 시간을 동시에 조절하기 위해서, 촬상 유닛들(801-816)은 화각마다 합계의 집광 능력들이 대략 동일하게 되도록 구성된다. 구체적으로, j를 화각의 인덱스라고 하면, 촬상 유닛들(801-816)은 화각마다 다음의 수학식에 의해 계산되는 평가값들 Ej에 대하여, 합계의 집광 능력들이 대략 동일하게 되도록 구성된다.
Figure 112012080332643-pat00006
여기서, Σ는 화각들 j를 갖는 촬상 유닛들에 대해 합을 취하는 것을 의미한다. 또한, Si는 i번째의 촬상 유닛에 연관된 광학계의 입사 동공의 면적이다. 입사 동공의 면적은 광학계의 설계 데이터(설계 파라미터들)로부터 계산될 수 있다. 또한, τi는 i번째의 촬상 유닛의 광 에너지 수광 효율이다. τi는 직접 측정되는 것이 바람직하지만, 촬상 유닛에 연관된 렌즈 그룹 및 컬러 필터들의 투과율들, 및 촬상 센서의 수광 효율로부터 계산될 수도 있다. Ωj는 화각 j를 갖는 촬상 유닛이 촬상을 행하는 영역의 입체각이며, 제1 실시 형태와 마찬가지이다.
도 8에 도시된 예에서는 4종류의 화각이 존재하기 때문에, 평가값 Ej도 4종류가 계산된다. 제2 실시 형태의 평가값 Ej도, 화각 j를 갖는 복수의 촬상 유닛이 단위 시간당 받는 광 에너지의 합계에 비례하는 양이다. 이 때문에, Ej가 화각 j에 상관없이 동일할 경우에는, 제1 실시 형태와 같이, 노이즈의 주요 원인인 샷 노이즈의 파워가 거의 동일하게 된다.
제1 실시 형태와 마찬가지로, 각 촬상 유닛들은 그들의 평가값들 Ej가 가능한 한 동등하게 되도록 구성되는 것이 바람직하지만, 평가값들 Ej를 완전히 일치시키는 것은 어렵다. 본 실시 형태에 있어서도 제1 실시 형태와 마찬가지로 Ej의 비의 허용 범위를 정의할 수 있다.
또한, 촬상 유닛 i의 입사 동공 면적 Si는 촬상 유닛의 조리개 값에 따라 변화된다. 이로 인해, 유저의 지시 또는 오토익스포저 기능에 의해 촬상 유닛의 조리개 값이 변화되는 경우에는, 평가값 Ej도 변화된다. 맑은 낮 동안 등의 매우 밝은 씬(scene)에서 촬영하는 경우에는, 게인의 조절만으로는 센서의 포화를 방지할 수 없고, 조리개를 좁힘으로써만 센서의 포화를 방지할 수 있는 경우가 있을 수 있다. 그러한 씬에 있어서 과제를 해결하기 위해서, 어떤 촬상 유닛의 설정을 바꾼 경우, 평가값들 Ej가 대략 동일하게 되도록 다른 촬상 유닛들의 설정도 바꾸는 것이 바람직하다. 상세한 사항은 후술하지만, 본 실시 형태에서는 어떤 촬상 유닛의 조리개 설정값을 변화시킨 경우에, 평가값들 Ej가 대략 동일하게 되도록 다른 촬상 유닛들의 조리개 설정값들을 광학계 제어 방법 생성 유닛(209)에서 산출한다.
<촬상 유닛의 설정 변경시의 동작>
도 9의 흐름도를 참조하여 촬상 동작의 예를 설명한다. 도 9에 도시된 처리는, 예를 들어, ROM(203)에 저장된 프로그램을 CPU(201)에 의해 판독해서 실행함으로써 실현된다. 유저가 조작 유닛(164) 및 촬영 버튼(163)을 조작하면, 촬상 동작이 개시된다. CPU(201)는 조작 유닛(164) 및 촬영 버튼(163)을 통해서 유저 지시를 수신하고, 유저의 조작이 촬상 광학계의 설정 변경인지의 여부를 판정한다(단계 S901).
유저가 조작 유닛(164)을 조작해서 포커스 및 조리개 등의 촬상 광학계의 설정을 변경할 경우, CPU(201)는 광학계 제어 방법 생성 유닛(209)으로부터 각 촬상 유닛에 연관된 광학계의 제어 방법을 취득한다(단계 S902).
단계 S902에 있어서, 유저의 조작이 모든 촬상 유닛들에서 포커스를 균일하게 맞춰서 촬영하게 하는 모드에서는, 모든 촬상 유닛들의 포커스들은 유저에 의해 지정된 값을 취한다. 촬상 유닛마다 상이한 포커스들로 촬영할 경우, 유저에 의해 지정된 촬상 유닛만을 지정된 포커스 값을 갖도록 설정한다. 광학계 제어 방법 생성 유닛(209)은 조리개에 대해서도 마찬가지의 동작을 행한다. 이 경우, 광학계 제어 방법 생성 유닛(209)은 제1 화각 k의 평가값 Ek가 제2 화각 j의 평가값 Ej와 대략 일치하도록, 다른 촬상 유닛들의 조리개 값들을 산출한다. 예를 들어, 모든 촬상 유닛들이 균일한 조리개로 촬영하는 모드에서 유저가 조리개 값을 20%만큼 증가시킬 경우, 다른 모든 촬상 유닛들의 조리개 값들도 20%만큼 증가시키면, 평가값들 Ej는 서로 대략 일치한다. 한편, 촬상 유닛마다 상이한 조리개 값으로 촬영할 경우에는, 유저에 의해 지정된 촬상 유닛만을 지정된 조리개 값을 갖도록 설정한다. 그리고, 다른 촬상 유닛들에 대해서는, 다른 화각들 k의 평가값들 Ek가 유저에 의해 지정된 촬상 유닛의 화각의 평가값 Ej와 대략 일치하도록, 다른 촬상 유닛들의 조리개 값들을 산출한다.
또한, 조리개 대신 포커스를 변경함에 의해 입사 동공 면적 Si가 변경되는 광학계에서도, 다른 화각들 k의 평가값들 Ek가 평가값 Ej와 일치하도록 조리개 값과 포커스를 산출한다.
CPU(201)는 산출된 조리개 값 및 포커스에 기초하여 광학계 제어 유닛(210)을 제어하여, 촬상 유닛들(101-161)의 각 렌즈 그룹들 및 조리개들의 상태를 변경한다(단계 S903). 광학계 제어 유닛(210)은 촬상 유닛들(101-161)의 각 렌즈 그룹들 및 조리개들의 상태를 나타내는 촬상 파라미터들을 CPU(201)에 송신하고, CPU(201)는 수신된 촬상 파라미터들을 RAM(202)의 소정 영역에 저장한다(단계 S904).
또한, 유저가 촬영 버튼(163)을 반정도 누르면, 유저에 의한 설정에 기초하여, 포커스를 자동적으로 설정하는 오토포커스, 및 조리개를 자동적으로 설정하여 노광량을 조절하는 오토익스포저가 행해진다. 이 조작에 의해 촬상 유닛의 포커스와 조리개가 자동적으로 변경되기 때문에, 이것도 촬상 광학계의 변경 동작이며, 단계 S902 내지 단계 S904의 동작이 행해진다.
도 10은 도 9의 흐름도의 단계 S902 내지 단계 S904에서 설명한 촬상 파라미터들을 산출하는 데이터 흐름의 예를 도시한다. 광학계 제어 방법 생성 유닛(209)은 평가값 산출 유닛(1003)과 촬상 파라미터 산출 유닛(1004)을 갖는다. 설계 파라미터 저장 유닛(1001) 및 촬상 파라미터 저장 유닛(1002)은, 예를 들어, RAM(202)으로 형성된다. 평가값 산출 유닛(1003)은 설계 파라미터 저장 유닛(1001)으로부터 화각들의 값들을 포함하는 각 촬상 유닛들의 설계 파라미터들을 취득한다(설계 파라미터 취득 처리). 또한, 평가값 산출 유닛(1003)은 촬상 파라미터 저장 유닛(1002)으로부터 조리개 또는 포커스의 값들을 포함하는 각 촬상 유닛들의 촬상 파라미터들을 취득한다(촬상 파라미터 취득 처리). 촬상 파라미터 저장 유닛(1002)으로부터 취득되는 촬상 파라미터들은 유저 조작에 의해 변경된 촬상 파라미터들을 포함한다. 평가값 산출 유닛(1003)은 취득된 설계 파라미터들 및 촬상 파라미터들을 이용하여 화각들 각각의 평가값들 Ej를 산출한다. 촬상 파라미터 산출 유닛(1004)은 산출된 평가값들 Ej를 취득해서 조리개 또는 포커스의 값들을 포함하는 촬상 파라미터들을 산출한다. 즉, 전술한 바와 같이, 촬상 파라미터 산출 유닛(1004)은 화각들 각각의 평가값들 Ej가 동일하게 되도록 소정의 화각을 갖는 촬상 유닛들의 조리개 또는 포커스의 값들을 산출한다. 그리고, 촬상 파라미터 산출 유닛(1004)은 산출된 촬상 파라미터들을 촬상 파라미터 저장 유닛(1002)에 저장한다. 그 후, 유저에 의해 지정된 조리개 또는 포커스의 값들이 설정된 촬상 유닛들과, 촬상 파라미터 산출 유닛에 의해 산출된 조리개 또는 포커스의 값들이 설정된 촬상 유닛들에 의해 촬상이 행해진다.
<촬상 동작, 줌 배율 변경 처리, 및 화상 처리>
본 실시 형태의 촬상 동작, 줌 배율 변경 처리, 및 화상 처리에 대해서는 제1 실시 형태와 동등하기 때문에, 설명을 생략한다.
전술한 제2 실시 형태의 구성에 따르면, 화각마다 수광량들을 대략 동일하게 할 수 있다. 제2 실시 형태에서는 촬상 유닛들이 상이한 크기의 입사 동공들을 갖는 경우에도 화각마다 수광량들을 대략 동일하게 할 수 있다. 또한, 유저 조작에 의해 조리개 값이 조절된 경우에도, 다른 촬상 유닛들의 조리개 값들을 조절함으로써 화각마다 수광량들을 대략 동일하게 할 수 있다.
[제3 실시 형태]
제1 실시 형태 및 제2 실시 형태에서는, 각 촬상 유닛의 화각의 종류가 2개 이상 존재하고, 각 화각에 대해서 1개 이상의 촬상 유닛이 존재하고, 화상 합성 시에 동일한 화각을 갖는 복수의 촬상 데이터를 이용할 경우의 예에 대해서 설명했다. 제3 실시 형태에서는, 화상 합성 시에 상이한 화각들을 갖는 복수의 촬상 데이터를 이용할 경우의 구성에 대해서 설명한다.
<촬상 디바이스의 구성>
도 11은 제3 실시 형태에 있어서의 촬상 디바이스(1100)의 외관의 예를 도시한다. 촬상 디바이스(1100)는 전방측(피사체측)에 18개의 촬상 유닛(1101-1118)을 갖는 소위 카메라 어레이이다. 촬상 디바이스(1100)는 플래시(162)와 촬영 버튼(163)을 구비한다. 제1 실시 형태 및 제2 실시 형태와 같이, 촬상 디바이스(1100)는 그 배면에 조작 유닛 또는 표시 유닛을 갖는다. 이하, 본 실시 형태에서는 18개의 촬상 유닛을 갖는 경우를 설명하지만, 촬상 유닛의 개수는 18개에 한정되는 것이 아니고, 2개 이상의 촬상 유닛이면 된다. 그 밖의 구성은 제1 실시 형태와 마찬가지이다.
<촬상 유닛들의 구성들 및 그의 조합>
제1 실시 형태의 구성과 마찬가지로, 본 실시 형태에 있어서도 촬상 유닛들의 화각들은 모두 동일한 것은 아니다. 예를 들어, 도 11에 도시된 18-렌즈 카메라 어레이의 화각들은 도 12의 촬상 유닛 화각에 도시된 바와 같이 상이하다. 또한, 제2 실시 형태와 같이, 본 실시 형태에서는 촬상 유닛들(1101-1118)에 연관된 광학계들의 입사 동공들의 크기들이 상이하다고 가정한다.
본 실시 형태에서, 촬상 유닛들(1101-1118)의 구성은 다음의 수학식에 의해 계산되는 평가값 G(f)에 대하여, 그것들이 대략 동일하게 되도록 설계된다.
Figure 112012080332643-pat00007
여기서, Si, τi, Ωi는 각각 i번째의 촬상 유닛의 입사 동공 면적, 광 에너지 수광 효율, 입체각이며, 제2 실시 형태와 마찬가지이다. 또한, f는 합성 후의 화상 데이터의 화각(이하, 출력 화상 화각라고 일컬음)에 대응하는 35mm 버전으로 변환된 초점 거리이다. 또한, Σ는 제2 실시 형태에서 화각 j를 갖는 촬상 유닛들에 대한 합을 나타내지만, 본 실시 형태에서는 출력 화상 화각의 화상을 합성할 때 이용되는 촬상 유닛들에 대한 합을 취한다. 즉, 본 실시 형태에 있어서, 촬상 유닛들의 화각들이 아니라, 출력 화상 화각들의 밝기를 대략 동일하게 하기 위해 평가값을 출력 화상 화각마다 산출한다. 도 12는 출력 화상 화각과 이용하는 촬상 유닛 간의 관계의 예를 도시한다. 본 실시 형태에서는, 어떤 출력 화상 화각을 갖는 화상을 합성할 때, 도 12의 출력 화상 화각 란들에 대하여 음영이 이루어진 촬상 유닛들을 선택해서 이용한다. 예를 들어, 출력 화상 화각이 30mm인 경우에는, 촬상 유닛 번호 4 내지 7로 식별되는 촬상 유닛들(1104 내지 1107)에 의해 촬상된 촬상 데이터 세트를 이용하게 된다. 도 12에 도시된 바와 같이, 출력 화상 화각이 좁아짐(즉, 초점 거리가 길어짐)에 따라, 서서히 더 좁은 화각을 갖는 촬상 유닛으로 스위칭한다. 본 실시 형태에서는, 예를 들어, 촬상 유닛 번호 1 내지 4로 식별되는 제1 촬상 데이터 세트와, 촬상 유닛 번호 4 내지 7로 식별되는 제2 촬상 데이터 세트의 집광 능력들을 대략 동일하게 한다.
적어도 이용하는 촬상 유닛들의 조합들의 종류의 개수만큼의 평가값들 G(f)가 계산된다. 평가값 G(f)도 복수의 촬상 유닛에 의해 단위 시간당 받는 광 에너지의 합계에 비례하는 양이다. 이 때문에, G(f)가 출력 화상 화각들에 상관없이 동일할 경우, 제1 실시 형태와 같이 노이즈의 주요 원인인 샷 노이즈의 파워가 거의 동일하게 된다.
평가값 G(f)를 대략 동일하게 하기 위한 촬상 유닛의 설계 방법에 대해서 설명한다. 우선, 각 촬상 유닛의 화각, 즉, 입체각 Ωi는 출력 화상 화각 등의 다른 요건들에 의해 부여된다. 또한, 제1 실시 형태에서 설명한 바와 같이 입체각 Ωi를 산출할 수 있다. 또한, τi도 제2 실시 형태에서 설명한 바와 같이, 각 촬상 유닛에서 이용하는 광학 글라스와 컬러 필터의 특성, 또는 촬상 센서의 특성에 의해 결정된다고 가정한다. 여기서, 평가값 G(f)를 대략 동일하게 하기 위해서 조절 가능한 항목은 입사 동공 면적 Si이다. 입사 동공 면적 Si는 화각들의 내림 차순으로 결정될 수 있다. 도 11에서, 이용하는 촬상 유닛들의 조합들은 출력 화상 화각들에 따라 14가지가 존재한다. 이들을 출력 화상 화각들의 내림 차순으로 1, 2, .., 14 등과 같이 번호를 붙이고, 그에 대응한 평가값들을 G(1), G(2), .., G(14)로 표기한다. 가장 넓은 출력 화상 화각을 갖는 화상을 합성하기 위해 1번째로부터 4번째까지의 촬상 유닛들을 이용하기 때문에, 평가값 G(1)는 다음의 수학식으로서 표현된다.
Figure 112012080332643-pat00008
마찬가지로, 평가값 G(2)는 2번째로부터 5번째까지의 촬상 유닛들을 이용하므로, 다음과 같이 표현된다.
Figure 112012080332643-pat00009
G(1)와 G(2)를 대략 동일하게 하기 위해서는 다음의 수학식이 성립해야 한다.
Figure 112012080332643-pat00010
여기서, τ1, τ5, Ω1, Ω5는 이미 부여되어 있기 때문에, 5번째의 촬상 유닛의 입사 동공 면적 S5는 1번째의 촬상 유닛의 입사 동공 면적 S1에 의해 결정된다. 마찬가지로, 6번째의 입사 동공 면적 S6은 2번째의 촬상 유닛의 입사 동공 면적 S2에 의해 결정된다. 또한, 입사 동공 면적 S7은 입사 동공 면적 S3에 의해 결정되고, 입사 동공 면적 S8은 입사 동공 면적 S4에 의해 결정된다. 입사 동공 면적 S9는 입사 동공 면적 S4에 의해 결정되며, 즉, S1에 의해 결정된다. 마찬가지로, 도 9에 도시된 예에서 S16까지의 입사 동공 면적이 결정된다. 그리고, 13번째의 평가값 G(13)와 14번째의 평가값 G(14)는 다음과 같이 주어진다.
Figure 112012080332643-pat00011
Figure 112012080332643-pat00012
여기서, G(13)와 G(14)는 대략 동일하기 때문에, 다음의 수학식이 얻어진다.
Figure 112012080332643-pat00013
이 경우, 입사 동공 면적 S17과 입사 동공 면적 S18에 대해서는 자유도가 1개만 있기 때문에, 어느 하나는 자유롭게 정할 수 있다. 보통, 입사 동공 면적 S17과 입사 동공 면적 S18은 대략 동일하게 하는 것으로 충분하다. 또한, 14번째의 출력 화상 화각에서는 새롭게 이용하는 촬상 유닛이 17번째의 촬상 유닛과 18번째의 촬상 유닛의 2개가 있기 때문에, 이와 같은 자유도가 나타난다는 것을 유의해야 한다. 반대로 새롭게 이용하는 촬상 유닛의 개수가 증가하지 않을 경우에는, 그러한 자유도는 나타나지 않는다.
결국, 화상 합성에 이용되는 촬상 유닛들을 1개씩 바꾸는 한, 입사 동공 면적 Si를 화각이 넓은 몇 개의 촬상 유닛들에만 지정하면, 나머지는 자동적으로 결정된다. 촬상 유닛의 개수를 한번에 2개 이상 증가시킬 경우에는, 증가시킨 촬상 유닛의 개수에 따라 지정될 수 있는 입사 동공의 개수가 증가한다. 도 11에 도시된 예에서는 S1, S2, S3, S4의 4개의 값과, S17 또는 S18 중 1개만이 자유롭게 설정될 수 있는 값들이다. 이러한 제약에도, 전술한 수순에 따라 평가값 G(f)가 대략 동일하도록 각 촬상 유닛들을 설계하는 것이 가능하다.
도 12의 예에서, 출력 화상 화각들에 대응하는 촬상 유닛들을 화각의 크기에 따라 순서대로 채택하는 예를 설명한다. 그러나, 출력 화상 화각에 대응하는 합성 화상을 출력할 수 있는 한, 화각의 크기 순서대로 이용할 촬상 유닛들을 선택할 필요는 없다. 또한, 본 실시 형태에서는 촬상 유닛들에 연관된 출력 화상 화각들의 내림 차순으로 평가값들을 산출하는 예를 설명했으나, 촬상 유닛들에 연관된 출력 화상 화각들의 오름 차순으로 평가값들을 산출할 수도 있다.
<촬상 동작, 줌 배율 변경 처리, 및 화상 처리>
제3 실시 형태에 있어서의 촬상 동작, 줌 배율 변경 처리, 및 화상 처리는 제1 실시 형태 또는 제2 실시 형태와 동등하기 때문에, 그 설명을 생략한다.
전술한 제3 실시 형태의 구성에 따라, 화각마다 수광량들을 대략 동일하게 할 수 있고, 화각들이 상이한 화상 데이터를 합성하는 경우에 있어서도 밝기, 노이즈, 및 노광 시간을 동시에 조절하는 것이 가능하게 된다.
[제4 실시 형태]
광각 카메라들 및 망원 카메라들을 모두 균일하게 배열한 카메라 어레이를 고려할 경우, 다양한 화각에 있어서, 개개의 카메라들에 의해 얻어지는 화상들의 피사계 심도보다 얕은 피사계 심도를 갖는 화상들을 생성할 수 있다. 그러나, F 넘버가 매우 많이 변화되지 않는 대구경 줌 렌즈(zoom lens)를 구비한 통상적인 카메라와 비교하면, 전술한 카메라 배치를 갖는 카메라 어레이는 광각 카메라들에 의해 얻어지는 피사계 심도에 대하여 망원 카메라들에 의해 얻어지는 피사계 심도의 밸런스가 나쁘다는 과제가 있다.
본 실시 형태는 광각 카메라들에 의해 얻어지는 피사계 심도와 망원 카메라들에 의해 얻어지는 피사계 심도의 밸런스를, 대구경 줌 렌즈를 구비한 통상적인 카메라에 의해 얻어지는 피사계 심도의 밸런스에 맞추는 방법을 제공한다.
<촬상 디바이스의 구성>
도 13은 제4 실시 형태의 촬상 디바이스(1300)의 외관의 예를 도시한다. 도 13에 도시된 촬상 디바이스(1300)는 전방측(피사체측)에 69개의 촬상 유닛(1301-1369)을 갖는 소위 카메라 어레이이다. 도 13에 도시된 촬상 유닛들(1301-1369)의 상이한 해칭들은 상이한 화각들을 나타낸다. 예를 들어, 촬상 유닛들(1301-1304), 촬상 유닛들(1305-1309), 촬상 유닛들(1310-1323), 촬상 유닛들(1324-1369)이 각각 동일한 화각을 갖는다. 촬상 유닛들의 배치의 상세한 설명에 대해서는 후술한다. 촬상 디바이스(1300)는 플래시(1370)와 촬영 버튼(1371)을 더 구비한다. 또한, 도 13에는 도시되지 않았지만, 촬상 디바이스(1300)는 그 배면에 조작 유닛 및 표시 유닛을 갖는다. 이하, 제4 실시 형태에서는 촬상 유닛을 69개 갖는 경우를 설명하지만, 촬상 유닛의 개수는 69개에 한정되지 않는다. 복수의 촬상 유닛은, 그들이 동일한 피사체 또는 거의 동일한 영역을 촬영할 수 있도록 배치된다. "거의 동일한 영역" 및 "거의 동시에"라는 문구는, 예를 들어, 복수의 촬상 유닛에 의해 촬상된 화상 데이터를 합성할 경우에, 다른 촬상 유닛들에 의해 촬상된 화상 데이터와 마찬가지의 화상이 얻어지는 범위를 나타낸다.
도 14는 촬상 디바이스(1300)의 구성의 예를 도시하는 블록도이다. CPU(1401)는 RAM(1402)을 워크 메모리로서 이용하여, ROM(1403)에 저장된 OS 및 각종 프로그램들을 실행한다. 또한, CPU(1401)는 시스템 버스(1400)를 통하여 촬상 디바이스(1300)의 각 컴포넌트를 제어한다. RAM(1402)은 포커스 설정 또는 조리개 설정 등 촬상 유닛들(1301-1369)의 상태를 나타내는 정보인 촬상 파라미터들 등을 저장한다. ROM(1403)은 촬상 유닛들(1301-1369)의 상대적인 위치 관계, 및 각 촬상 유닛들의 촬상 소자들의 화소 피치들, 광 에너지의 수광 효율, 및 촬상 유닛이 촬상할 수 있는 화각들(입체각들) 등을 나타내는 카메라 설계 파라미터들 등을 저장한다. 도시되지 않았지만, 각 촬상 유닛들(1301-1369)의 ROM들에 당해 촬상 유닛의 카메라 설계 파라미터들을 저장할 수 있다.
CPU(1401)는 컴퓨터 그래픽(CG) 생성 유닛(1407) 및 표시 제어 유닛(1404)을 제어하여 모니터(1413)에 유저 인터페이스(UI)를 표시시킨다. 또한, CPU(1401)는 촬영 버튼(1371) 및 조작 유닛(1372)을 통해서 유저 지시를 수신한다. 그리고, CPU(1401)는 유저 지시에 따라 촬상 시의 피사체 거리, 초점 거리, 조리개, 노광 시간, 및 플래시의 발광 등의 촬영 조건들을 설정할 수 있다. 또한, CPU(1401)는 유저 지시에 따라 촬상의 지시 및 촬상된 화상의 표시 설정을 행할 수 있다. CG 생성 유닛(1407)은 UI를 실현하기 위한 문자들 및 그래픽들 등의 데이터를 생성한다.
유저에 의해 촬영을 행하도록 지시되면, CPU(1401)는 유저의 지시에 대응하는 광학계의 제어 방법을 광학계 제어 방법 생성 유닛(1409)으로부터 취득한다. 그 다음에, CPU(1401)는 취득된 광학계의 제어 방법에 기초하여, 광학계 제어 유닛(1410)에 촬상을 행하도록 지시한다. 이 촬상 지시를 수신하면, 광학계 제어 유닛(1410)은 포커스를 맞추거나, 조리개를 조절하거나, 또는 셔터를 열거나 닫는 등의 촬상 광학계의 제어를 행한다. 또한, 광학계 제어 유닛(1410)은 촬상 광학계의 제어 결과를 나타내는 포커스 설정 또는 조리개 설정 등 촬상 유닛들(1301-1369)의 상태를 나타내는 정보인 촬상 파라미터들을 RAM(1402)에 저장한다. 하나의 광학계 제어 유닛(1410)에 의해 각 촬상 유닛들(1301-1369)의 촬상 광학계를 제어하는 것 대신에, CPU(1401)와 통신 가능한 광학계 제어 유닛을 촬상 유닛들(1301-1369) 각각에 제공할 수도 있다.
촬상 유닛들(1301-1369)은 각각 피사체로부터의 광을 CCD나 CMOS 등의 촬상 센서(1507)에서 수광한다. 상세한 사항은 도 15와 관련하여 후술한다. 촬상 유닛들(1301-1369)은 각각 촬상 센서(1507)로부터 출력되는 아날로그 신호를 아날로그-디지털(A/D) 변환하여 얻은 촬상 데이터(이하, RAW 데이터라고 일컬음)를 일시적으로 촬상 유닛들(1301-1369) 각각 내의 버퍼 메모리에 보유한다. 버퍼 메모리에 보유된 RAW 데이터는 CPU(1401)의 제어에 의해 순차 RAM(1402)의 소정 영역에 저장된다.
디지털 신호 처리 유닛(1408)은 RAM(1402)의 소정 영역에 저장된 복수의 RAW 데이터(이하, RAW 데이터 세트라고 일컬음)로부터 화상 데이터를 생성하는 현상 처리를 행하고, RAW 데이터 세트 및 생성된 화상 데이터를 RAM(1402)의 소정 영역에 저장한다. 또한, 디지털 신호 처리 유닛(1408)은 촬상 후의 화상 데이터에 대하여 줌 배율을 변경하고, 변경 후의 화상 데이터를 생성하는 처리를 행할 수 있다. 현상 처리는 복수의 RAW 데이터를 합성하는 합성 처리, 디모자이킹 처리, 화이트 밸런스 처리, 감마 처리, 및 노이즈 저감 처리를 포함한다. 생성된 화상 데이터에는 초점 거리, 줌 배율, 또는 피사계 심도 등을 나타내는 현상 처리 시의 파라미터들(이하, 화상 생성 파라미터들이라고 일컬음)이 부가된다. 화상 생성 파라미터들은, 예를 들어, 유저에 의해 지정된 값들에 기초하여 생성된다. 또한, 예를 들어, 첫회 현상 시에 있어서는 초기 설정 값을 화상 생성 파라미터로서 이용할 수 있다. 또한, RAW 데이터 세트에는 적어도 촬상 파라미터들이 부가되지만, 외부의 화상 처리 장치를 이용하는 현상 처리를 고려하여, 카메라 설계 파라미터들이 부가될 수도 있다.
CPU(1401)는 표시 제어 유닛(1404)을 제어하고, RAM(1402)의 소정 영역에 저장된 화상 데이터를 모니터(1413)에 표시한다. 압축/압축해제 유닛(1412)은 RAM(1402)의 소정 영역에 저장된 화상 데이터를 JPEG이나 MPEG 등의 포맷으로 변환하는 인코딩 처리를 행한다. 또한, 압축/압축해제 유닛(1412)은, 필요하다면, RAW 데이터 세트를 손실 없이 압축하는 처리를 행한다.
인터페이스(I/F)(1405)는, 예를 들어, 메모리 카드 또는 USB 메모리 등의 기록 매체(1406)로부터 판독하고 그것에 기입하는 기능, 및 유선 또는 무선 네트워크에 접속하는 기능을 갖는다. I/F(1405)는 CPU(1401)의 지시에 따라, 예를 들어, RAM(1402)에 저장된 JPEG 또는 MPEG 포맷의 화상 데이터 및 RAW 데이터 세트를 외부 매체나 서버 디바이스에 출력하거나, 또는 외부 기록 매체나 서버 디바이스로부터 각종 데이터를 입력한다.
화상 생성 파라미터 생성 유닛(1411)은 디지털 신호 처리 유닛(1408)에 있어서의 현상 처리에 필요한 화상 생성 파라미터들을 생성한다.
도 14에 도시된 촬상 디바이스(1300)는 촬상 유닛(1301-1369)과 그 밖의 컴포넌트들을 하나의 유닛으로서 통합시켰지만, 촬상 유닛들(1301-1369)과 그 밖의 컴포넌트들(화상 처리 장치)은 분리될 수도 있다. 그러한 경우, 촬상 유닛들(1301-1369)과 화상 처리 장치 각각에, 예를 들어, USB 또는 IEEE 1394 등의 시리얼 버스 I/F, 또는 무선 네트워크 카드 등의 통신 유닛을 제공할 수 있어서, 통신 유닛을 통해서 제어 신호의 송신 및 수신, 또는 데이터의 입력 및 출력을 행할 수 있다.
<각 촬상 유닛의 구성의 예>
도 15의 블록도는 촬상 유닛들(1301-1369)의 구성의 예를 도시한다. 도 15는 촬상 유닛(1301)의 구성의 예를 도시하지만, 다른 촬상 유닛들(1302-1369)도 거의 마찬가지의 구성을 갖는다. 그러나, 촬상 유닛들(1301-1369)의 화각들은 전부 동일하게 구성되지는 않는다. 상세한 사항은 후술한다.
피사체로부터의 광은 포커스 렌즈 그룹(1501), 조리개(1502), 고정 렌즈 그룹(1503), 셔터(1504), 적외선 차단 필터(1505), 및 컬러 필터(1506)를 통과하여, CMOS 센서 또는 CCD 등의 촬상 센서(1507)에 결상한다. 아날로그-디지털 변환 유닛(1508)은 촬상 센서(1507)로부터 출력되는 아날로그 신호의 아날로그-디지털 변환을 행한다. 버퍼(1509)는 아날로그-디지털 변환 유닛(1508)으로부터 출력되는 RAW 데이터를 일시적으로 저장하고, CPU(1401)의 요구에 따라 RAW 데이터를 시스템 버스(1400)를 통해서 RAM(1402)에 전송한다.
도 15에 도시된 렌즈 그룹과 조리개의 배치는 예이며, 상이한 배치로 될 수 있다. 예를 들어, 일부의 또는 모든 촬상 유닛들이 텔레센트리시티 등의 렌즈 성능을 향상시키기 위한 고정 렌즈 그룹(1503)을 구비할 필요는 없다.
<촬상 동작>
도 16은 제4 실시 형태의 촬상 동작의 예를 도시하는 흐름도이다. 또한, 도 16에 도시된 처리는, 예를 들어, ROM(1403)에 저장된 프로그램을 CPU(1401)에 의해 판독해서 실행함으로써 실현된다. 유저가 조작 유닛(1372) 및 촬영 버튼(1371)을 조작하면, 도 16에 도시된 촬상 동작이 개시된다. CPU(1401)는 조작 유닛(1372) 및 촬영 버튼(1371)을 통해서 유저 지시를 수신하고, 유저의 조작을 판정한다(단계 S1601).
유저가 조작 유닛(1372)을 조작해서 포커스 및 조리개 등 촬상 광학계의 설정을 변경할 경우, CPU(1401)는 광학계 제어 방법 생성 유닛(1409)으로부터 각 촬상 유닛에 연관된 광학계의 제어 방법을 취득한다(단계 S1602). 단계 S1602에서, 광학계 제어 방법 생성 유닛(1409)은 유저에 의해 미리 설정된 동작 모드에 기초하여, 촬상 유닛의 광학계의 제어 방법을 산출한다. 예를 들어, 모든 촬상 유닛들이 동일한 포커스에 맞춰서 촬영하는 동작 모드에서는, 광학계 제어 방법 생성 유닛(1409)은 모든 촬상 유닛들의 포커스를 유저에 의해 지정된 값으로 설정한다. 반대로, 복수의 촬상 유닛이 각각 상이한 포커스에 맞춰서 촬영하는 동작 모드에서는, 광학계 제어 방법 생성 유닛(1409)은 유저에 의해 지정된 것 이외의 촬상 유닛의 포커스를 유지하도록 설정값을 산출한다. 광학계 제어 방법 생성 유닛(1409)은 조리개에 대해서도 마찬가지의 동작을 행한다.
CPU(1401)는 산출된 조리개 값 및 포커스의 값에 기초하여 광학계 제어 유닛(1410)을 제어하여, 촬상 유닛들(1301-1369)의 각 렌즈 그룹들 및 조리개들의 상태를 변경한다(단계 S1603). 광학계 제어 유닛(1410)은, 촬상 유닛들(1301-1369)의 각각의 렌즈 그룹들 및 조리개들의 상태를 나타내는 촬상 파라미터들을 CPU(1401)에 송신하고, CPU(1401)는 수신된 촬상 파라미터를 RAM(1402)의 소정 영역에 저장한다(단계 S1604).
유저가 촬영 버튼(1371)을 반정도 누르면, 유저에 의한 설정에 기초하여, 포커스를 자동적으로 설정하는 오토포커스, 및 조리개를 자동적으로 설정하여 노광량을 조절하는 오토익스포저가 행해진다. 이 조작에 의해 촬상 유닛의 포커스 및 조리개가 자동적으로 변경되기 때문에, 이것도 촬상 광학계의 변경 동작이다.
유저가 촬영 버튼(1371)을 완전히 누르면, 단계 S1601에 있어서 CPU(1401)는 촬영 조작이 행해졌다고 판단한다. CPU(1401)는 광학계 제어 유닛(1410)을 제어하여, 촬상 유닛들(1301-1369)의 셔터(1504)를 미리 설정된 시간 동안 열어서 촬상 센서(1507)를 노광한다(단계 S1605).
그 후, CPU(1401)는 촬상 유닛들(1301-1369)의 버퍼(1509)를 제어하여 RAW 데이터 세트를 RAM(1402)의 소정 영역에 저장한다(단계 S1606).
다음에, CPU(1401)는 화상 생성 파라미터 생성 유닛(1411)을 제어하여 줌 배율, 초점 거리, 또는 피사계 심도 등의 화상 생성 파라미터들을 취득하고, 그들을 RAM(1402)의 소정 영역에 저장한다(단계 S1607). 그리고, CPU(1401)는 디지털 신호 처리 유닛(1408)을 제어하여 RAW 데이터 세트의 현상 처리를 실행시킨다(단계 S1608).
디지털 신호 처리 유닛(1408)은 RAW 데이터 세트들, 촬상 파라미터들, 카메라 설계 파라미터들, 및 화상 생성 파라미터들을 수신하고, 이들 데이터와 파라미터들에 기초하여 현상 처리를 실행하여 화상 데이터(이하, 첫회 화상 데이터라고 일컬음)를 생성한다. 그 후, 디지털 신호 처리 유닛(1408)은, RAW 데이터 세트에 촬상 파라미터들(필요하면, 카메라 설계 파라미터들)을 부가하고, 또한 첫회 화상 데이터에 대한 현상 처리에 이용된 화상 생성 파라미터들을 부가한다. CPU(1401)는 디지털 신호 처리 유닛(1408)에 의해 출력된 첫회 화상 데이터 및 RAW 데이터 세트를 RAM(1402)의 소정 영역에 저장한다(단계 S1609).
다음에, CPU(1401)는 압축/압축해제 유닛(1412)을 제어하여 첫회 화상 데이터를 인코딩 처리한다(단계 S1610). 그리고, CPU(1401)는 I/F(1405)를 제어하여, 인코딩된 첫회 화상 데이터 및 RAW 데이터 세트를 하나의 파일로서 출력한다(단계 S1611). 또한, 데이터의 출력처는, 예를 들어, 기록 매체(1406)이거나 또는 도시되지 않은 서버 디바이스이다. 또한, 압축/압축해제 유닛(1412)에 의해 손실 없이 압축을 실시한 RAW 데이터 세트를 출력할 수도 있다.
<재합성 처리>
다음에, 촬영 후에 줌 배율 또는 피사계 심도 등 화상 생성 파라미터들을 변경하여 화상을 재합성하는 처리(이하, 재합성 처리라고 일컬음)를 설명한다. 도 17은 재합성 처리의 예를 도시하는 흐름도이다. 또한, 도 17에 도시된 처리는, 예를 들어, ROM(1403)에 저장된 프로그램을 CPU(1401)가 판독해서 실행함으로써 실현된다. 또한, 재합성 처리는 일반적으로 조작 유닛(1372)을 통한 유저 지시에 의해 개시되지만, 촬영 후에 자동적으로 개시될 수 있다.
CPU(1401)는 재합성 처리를 행하도록 지시되면(단계 S1701), 유저에 의해 지정된 화상 데이터 및 그에 대응하는 RAW 데이터 세트를, 예를 들어, 기록 매체(1406)로부터 취득한다(단계 S1702). 그리고, CPU(1401)는 압축/압축해제 유닛(1412)을 제어하여 화상 데이터를(필요하면 RAW 데이터 세트도) 디코딩 처리하고, 디코딩된 화상 데이터와 RAW 데이터 세트를 RAM(1402)의 소정 영역에 저장한다(단계 S1703).
단계 S1702에서 취득된 데이터는 촬상 디바이스(1300)에 의해 촬상된 촬상 데이터이거나 또는 생성된 화상 데이터일 필요는 없고, 다른 촬상 디바이스 또는 다른 화상 처리 장치에 의해, 예를 들어, 기록 매체(1406)에 저장된 데이터일 수도 있다. 그러한 경우에는, 취득되는 RAW 데이터에 관련되는 촬상 파라미터들 및 카메라 설계 파라미터들을 별도로 취득할 필요가 있다.
다음에, CPU(1401)는 RAW 데이터 세트로부터 촬상 파라미터들과 카메라 설계 파라미터들을, 그리고 화상 데이터로부터 화상 생성 파라미터들을 판독한다(단계 S1704). 그리고, CPU(1401)는 화상 생성 파라미터 생성 유닛(1411)으로부터 화상 생성 파라미터들이 변경될 수 있는 범위를 취득한다(단계 S1705). 화상 생성 파라미터들은 촬영 후의 화상의 줌 배율 또는 피사계 심도(또는 실효적인 F 넘버)를 포함한다.
다음에, CPU(1401)는 CG 생성 유닛(1407) 및 표시 제어 유닛(1404)을 제어하여, 화상 데이터에 의해 표현되는 화상을 표시하고, 변경 가능한 범위에서 화상 생성 파라미터들을 변경하기 위한 그래피컬 유저 인터페이스(GUI)를 모니터(1413)에 표시한다(단계 S1706). 유저는 모니터(1413)에 표시되는 화상을 참조하여, 원하는 화상이 제공되는 경우에는, 예를 들어, GUI의 결정 버튼을 누르고, 화상 생성 파라미터들을 변경할 경우에는, GUI를 조작하고, 예를 들어, GUI의 변경 버튼을 누른다.
CPU(1401)는 유저 조작이 결정 버튼을 누른 것인지, 또는 화상 생성 파라미터의 변경인지를 판정한다(단계 S1707). 결정 버튼이 눌러진 경우에는, CPU(1401)는 유저가 원하는 화상 데이터가 촬상되었다고 판단하여 재합성 처리를 종료한다.
유저 조작이 화상 생성 파라미터를 변경하는 것인 경우에는, CPU(1401)는 디지털 신호 처리 유닛(1408)을 제어하여, 유저에 의해 GUI를 통해서 지정되는 화상 생성 파라미터들에 따라 RAW 데이터 세트를 현상하고 합성해서 얻은 화상 데이터를 생성시킨다(단계 S1708). 그리고, CPU(201)는 처리를 단계 S1706으로 복귀시켜, 재합성된 화상 데이터에 의해 표현되는 화상을 GUI에 표시한다.
CPU(1401)는, 단계 S1707의 판정에 따라, 재합성 처리 후에 결정 버튼이 눌러졌는지 여부를 판단한다(단계 S1709). CPU(1401)는 단계 S1709에서 재합성 처리 후에 결정 버튼이 눌러졌다고 판단하면, 첫회 화상 데이터를 출력할 경우와 마찬가지의 처리에 의해 재합성된 화상 데이터를 출력한다(단계 S1710). 그리고, 재합성 처리를 종료한다.
<화상 합성 처리>
디지털 신호 처리 유닛(1408)에 의한 현상 처리들 중 복수의 RAW 데이터를 합성하는 처리(이하, 화상 합성 처리라고 일컬음)를 간단히 설명한다. 본 실시 형태에 있어서의 화상 합성 처리에서는, 다중-시점 화상으로부터 피사계 심도가 얕은 화상을 생성하는 개구 합성법과 전자 줌을 조합함으로써, 원하는 피사계 심도와 줌 배율을 갖는 화상을 합성한다.
도 13에 도시된 바와 같이, 촬상 유닛들(1301-1369)의 위치들은 각각 상이하고, 촬상 유닛들(1301-1369)로부터 출력되는 RAW 데이터 세트는 소위 다중-시점 화상을 형성한다. 개개의 화상 데이터에 필요에 따라 필터링 처리를 행하고, 포커스를 원하는 거리(이하, 초점 거리라고 일컬음)에 맞춘 후, 화상 데이터를 더하여, 피사계 심도가 얕은 합성 화상을 생성한다. 피사계 심도의 조절은, 일반적으로 필터링 처리에 이용되는 필터를 변경하거나, 또는 합성에 이용되는 화상 수를 변경함으로써 행할 수 있다. 또한, 화상의 매칭에 필요한 변위량은, 각 촬상 유닛의 위치 및 방향 등의 카메라 설계 파라미터들과, 초점 거리 등의 화상 생성 파라미터들로부터 산출될 수 있다.
전자 줌 처리는 일반적으로 화상의 리샘플링 처리이다. 리샘플링 처리에서는 리샘플링 전과 후의 화상들 간의 화소들의 위치 관계에 따라 어느 정도 블러(blur)가 발생하는 것이 일반적이다. 이 블러의 영향을 줄이기 위해서, 출력해야 할 줌 배율에 대응하는 화각보다 넓은 화각을 갖는 화상들 중에서, 가장 작은 화각을 갖는 복수의 화상을 이용하는 것이 바람직하다. 그러나, 블러의 영향을 줄이는 것보다 노이즈를 줄이는 것을 우선할 경우에는, 전술한 것 이외의 복수의 화각들을 갖는 화상을 이용할 수 있다.
개구 합성 처리의 매칭과 전자 줌 처리는 모두 본질적으로는 화상들을 리샘플링해서 서로 더하는 처리이기 때문에, 이들은 동시에 행해질 수 있다. 즉, 화상들의 매칭을 고려하면서 화상들의 리샘플링 처리를 행하는 것으로 충분하다. 이 경우, 출력 화상들의 화각들의 범위 외의 영역의 처리는 생략할 수 있다. 리샘플링 처리는, 매칭이 이루어지고 또한 원하는 화각들에서 원하는 화소 수를 갖는 화상들의 그룹을 생성한다. 이 화상 그룹에 필터링 처리를 행한 후에 또한 화상 그룹을 더함으로써 출력 화상을 얻는다. 복수의 화각을 갖는 화상들을 이용할 경우, 블러의 영향을 줄이기 위해서 화상들을 더할 경우에 가중치를 제공할 수 있다. 예를 들면, 출력 화상에 대응하는 화각보다 넓은 화각들을 갖는 화상들, 즉 해상도가 낮고 흐릿해진 화상들에 대해 상대적으로 작은 가중치를 제공함으로써, 블러의 영향을 줄일 수 있다.
<실시 형태의 기본적인 아이디어>
이상, 제4 실시 형태의 구성, 촬상 처리, 및 촬상 후의 화상 데이터의 재합성 처리를 포함하는 전반적인 처리에 대해서 설명했다. 이하에서는, 본 실시 형태의 기본적인 아이디어에 대해서 설명한다. 도 18a 내지 도 18c는 통상의 대구경 줌 렌즈에 있어서의 화각, 초점 거리, 및 동공 직경 간의 관계를 도시한다. 도 18a는 줌을 행해도 F 넘버가 변화되지 않는 줌 렌즈의 경우를 도시한다. F 넘버는 동공 직경에 대한 초점 거리의 비이기 때문에, F 넘버가 일정할 경우에는 초점 거리에 비례해서 동공 직경이 증가한다. 도 18b는 망원측에 접근함에 따라서 약간 F 넘버가 증가하는 줌 렌즈의 경우를 도시한다. 이 경우에도, 초점 거리가 길어짐에 따라, 동공 직경이 커진다. 도 18c는 줌에 상관없이 동공 직경이 일정한 줌 렌즈의 경우를 도시한다. 이 경우, F 넘버는 초점 거리에도 비례하기 때문에, 예를 들어, 10배 줌이면, F 넘버는 광각 단부에 대하여 10배 증가한다. 카메라의 줌 렌즈로서는 도 18a 또는 도 18b에 도시된 것이 일반적이다. 도 18b에 도시된 바와 같이 F 넘버들이 변화 가능한 통상의 줌 렌즈의 광각 단부와 망원 단부 간의 F 넘버의 차이는 많아야 1.7배 정도이다.
카메라에 의해 얻어지는 화상의 피사계 심도, 즉, 포커스가 맞지 않는 위치에서의 블러의 크기는 동공의 크기에 따라 결정된다. 단순하게는, 동일한 화각에 대해 동공의 크기가 1/10로 줄어들면, 블러의 크기도 1/10로 줄어든다. 이로 인해, 예를 들어, 10배의 줌 렌즈의 망원 단부에서의 화상에 있어서, 도 18c에 도시된 줌 렌즈를 이용한 화상의 블러의 크기는, 도 18a에 도시된 통상의 줌 렌즈를 이용한 화상의 블러의 크기의 1/10이 된다. 광각 단부는 도 18a에 도시된 것과 마찬가지의 블러의 크기를 제공할 수 있기 때문에, 도 18c에 도시된 바와 같은 줌 렌즈의 피사계 심도의 밸런스는 나빠진다. 이로 인해, 도 18c에 도시된 바와 같은 줌 렌즈는 사진 용도의 렌즈로서는 바람직하지 않다. 이상은, 통상의 1개의 카메라의 경우의 예이다.
동공의 크기에 따라 블러의 크기가 결정되는 것은 카메라 어레이에 대해서도 마찬가지이다. 카메라 어레이의 경우, 동공이 작은 몇 개의 소형 카메라가 모여서 큰 동공을 형성하는 것을 생각할 수 있다. 도 19는 화각들이 상이한 단초점 카메라들이 배열되어 있는 통상의 카메라 어레이를 하나의 줌 카메라로서 간주하고, 이것이 또한 복수개 배열된 구성을 갖는 카메라의 외관을 도시한다. 도 19에 있어서 실선으로 그려진 원들은 각 촬상 유닛들을 나타낸다. 원들의 크기들은 화각들의 차이를 나타내고, 큰 원들은 망원 렌즈들을 나타낸다. 2×2 매트릭스의 화각들이 상이한 4개의 촬상 유닛은 하나의 유닛을 형성하고, 이것은 1개의 줌 카메라에 대응한다. 도 19에 도시된 촬상 디바이스에는 12개의 그러한 유닛이 열십자 형태로 배열되어 있다. 그리고, 동일한 화각을 갖는 촬상 유닛들의 세트를 바꿈으로써 줌이 상이한 화상들을 촬상할 수 있다. 파선들로 그려진 원들은, 화각마다의 촬상 유닛 그룹들의 확대(spread)를 나타내고, 1901이 가장 먼 망원의 촬상 유닛 그룹이며, 1902가 그 다음 줌 배율이 높은 화각을 갖는 촬상 유닛 그룹이다. 1903은 또한 그 다음 줌 배율의 화각을 갖는 촬상 유닛 그룹의 확대이고, 1904는 가장 넓은 화각을 갖는 촬상 유닛 그룹의 확대를 나타낸다. 이 촬상 유닛들의 그룹들의 확대가, 예를 들어, 도 18a 내지 도 18c에 도시된 바와 같은 동공들의 크기에 대응한다. 도 19에 도시된 일반적인 촬상 유닛의 구성에서는, 촬상 유닛 그룹들의 확대가 화각들에 상관없이 거의 일정해서, 도 18c의 구성에 의해 도시된 바와 같다. 즉, 이 카메라 어레이의 피사계 심도들은 밸런스가 나쁘다.
도 18a 또는 도 18b에 도시된 줌 렌즈에 연관된 피사계 심도의 밸런스를 카메라 어레이에 제공하기 위해서, 화각들이 보다 좁은 카메라들을 보다 넓은 범위에 배치하여, 화각이 좁은 카메라가 보다 큰 실효적인 동공 직경을 갖도록 하는 것으로 충분하다. 이것이 본 실시 형태의 기본적인 아이디어이다. 예를 들어, 제1 화각을 갖는 1개 이상의 제1 촬상 유닛 그룹들에 의해 형성되는 동공 직경이, 제1 화각보다 넓은 제2 화각을 갖는 1개 이상의 제2 촬상 유닛 그룹들에 의해 형성되는 동공 직경보다 크게 되도록 촬상 유닛들을 배치할 수 있다.
또한, 도 18a 내지 도 18c에 도시되지 않은 예로서, 화각이 좁아질수록 F 넘버가 작아지는 경우도 생각할 수 있다. 이러한 대구경 줌 렌즈를 제조하는 것은 매우 어렵지만, 카메라 어레이에서는 화각들이 좁은 카메라들을 보다 넓은 범위에 배치함으로써, 그러한 줌 렌즈를 지원하는 것도 가능하게 할 수 있다. 일반적으로, 넓은 렌즈는 풍경을 촬영하기 위해 이용되기 때문에 피사계 심도가 깊을 수도 있지만, 표준으로부터 망원측까지의 범위에서의 화각들에서는 피사체를 강조하기 위해서 피사계 심도가 얕은 렌즈가 바람직하다. 이에 따라, 망원측의 F 넘버가 광각측의 F 넘버보다 어느 정도 작은 렌즈는 사진용 렌즈로서 그다지 부적당하지는 않다.
<촬상 유닛들의 구성들 및 그의 조합>
저렴하게 줌 기능을 제공하기 위해서, 본 실시 형태에 있어서의 촬상 유닛들의 화각들은 모두 동일한 것은 아니다. 예를 들어, 도 13에 도시된 69개 렌즈를 갖는 카메라 어레이의 예에 있어서, 촬상 유닛들(1301-1369)의 화각은 4종류가 존재하고, 촬상 유닛들(1301-1304), 촬상 유닛들(1305-1309), 촬상 유닛들(1310-1323), 촬상 유닛들(1324-1369)이 각각 동일한 화각을 갖는다. 그러나, 화각이 동일하여도, 촬상 유닛들(1301-1369)이 모두 동일한 크기의 촬상 센서를 가질 필요는 없다. 즉, 상이한 크기들의 촬상 센서들이 존재하는 경우에도, 촬상 유닛의 초점 거리에 의해 커버될 수 있는 거리들에 따라 화각들이 동일하게 된다. 또한, 화각이 동일한 촬상 유닛들이 동일한 화소 수를 갖는 것이 화상 처리가 간단해지기 때문에 바람직하다. 또한, 각 촬상 유닛들의 F 넘버들이 상이할 수 있고, 각 촬상 유닛들의 렌즈의 크기들이 상이할 수 있다. 도 13의 예에서는, 촬상 유닛들(1301-1304), 촬상 유닛들(1305-1309), 촬상 유닛들(1310-1323), 촬상 유닛들(1324-1369)의 순서로 좁은 것으로부터 넓은 것으로 화각들이 배치된다.
본 실시 형태에서는, 도 13에 도시된 바와 같이, 화각이 좁을수록 더 넓은 범위에 촬상 유닛들을 배치한다. 촬상 유닛들이 배치되는 범위는 동일한 화각을 갖는 촬상 유닛들의 무게 중심으로부터의 위치들의 표준 편차 (σxj, σyj)에 의해 평가될 수 있다. 화각 j를 갖는 i번째의 촬상 유닛의 위치를 (xji, yji)라고 하면, 화각 j를 갖는 촬상 유닛의 위치의 무게 중심 (xgj, ygj)는 다음과 같이 계산될 수 있다.
Figure 112012080332643-pat00014
Figure 112012080332643-pat00015
표준 편차 (σxj, σyj)는 다음의 수학식에 의해 계산될 수 있다.
Figure 112012080332643-pat00016
Figure 112012080332643-pat00017
길이의 차원을 갖는 양인 표준 편차는 화각 j를 갖는 복수의 촬상 유닛에 의해 형성되는 동공의 크기와 연관된다. 따라서, 화각 j가 좁을수록 각 표준 편차들 (σxj, σyj)이 크게 되도록 촬상 유닛들을 배치한다. 또한, 통상의 카메라의 동공의 형태는 원형 또는 다각형이기 때문에, 촬상 유닛들의 배치도 대략 원형 또는 다각형인 것이 바람직하다. 반대로, 촬상 유닛들이 직선적으로 배치되는 경우에는, 합성 후의 화상들이 노이즈에 민감하다는 점에서, 바람직하지 않다. 즉, 촬상 유닛의 위치 xji와 yji의 연관 계수가 작게 되도록 촬상 유닛들이 배열되는 것이 바람직하다. 여기서, 무게 중심이나 표준 편차의 계산에 이용되는 x축과 y축은 서로 직교한다고 가정한다.
또한, 도 20에 도시된 바와 같이, 주로 3D 화상의 생성 또는 거리 계측을 위하여, 다른 촬상 유닛들과는 약간 떨어진 위치에 촬상 유닛(1373)을 설치할 경우가 있다. 촬상 유닛(1373)에 의해 촬상된 화상들을 직접 개구 합성 처리에 이용하지 않거나, 또는 매우 작은 가중치로 출력 화상에 더하기만 하는 경우가 있을 수 있다. 이러한 경우에는, 무게 중심의 계산으로부터 촬상 유닛(1373)을 제외하는 것이 바람직하다. 즉, 예를 들어, 도 20에 도시된 바와 같이 촬상 유닛(1373)이 배치되더라도, 합성되는 화상에 대한 영향이 경미할 경우에는 촬상 유닛(1373)의 존재를 고려할 필요가 없다. 즉, 도 20에 도시된 바와 같은 양태이더라도, 본 실시 형태의 카테고리에 포함될 수 있다.
또한, 각 촬상 유닛들은 도 13에 도시된 바와 같이 격자상에 배치될 필요는 없고, 도 21에 도시된 바와 같이 랜덤하게 배치될 수 있다. 도 21의 원들은 각 촬상 유닛들을 나타내고, 원이 클수록 촬상 유닛의 화각이 넓은 것을 나타낸다.
전술한 바와 같이, 보다 화각이 좁은 촬상 유닛들을 보다 넓은 범위에 배치해서 실효적인 동공의 크기가 망원측에서 보다 크게 되도록 함으로써, 광각측에서보다 망원측에서 실효적인 F 넘버를 작게 할 수 있거나 또는 거의 동일하게 할 수 있다. 이에 의해, 일반적인 줌 렌즈와 마찬가지의 피사계 심도를 갖는 화상들을 제공할 수 있고, 이에 의해 망원측에 있어서 광각측에서보다 피사계 심도가 깊고 피사계 심도의 밸런스가 나쁘다는 과제를 해결할 수 있다.
(기타 실시 형태들)
또한, 본 발명은 하기의 처리를 행함으로써 실시될 수도 있다. 즉, 전술한 실시 형태들의 기능들을 실시하는 소프트웨어(프로그램)가 네트워크 또는 다양한 저장 매체를 통해 시스템 또는 디바이스에 제공되고, 시스템 또는 디바이스의 컴퓨터(CPU 또는 MPU 등)가 프로그램을 판독해서 실행하는 처리가 그것이다.
본 발명의 특징들은, 전술한 실시 형태들의 기능들을 수행하기 위해 메모리 디바이스에 기록된 프로그램을 판독하여 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 또는 MPU 등과 같은 디바이스들)에 의해 구현될 수도 있고, 또한 전술한 실시 형태들의 기능들을 수행하기 위해 메모리 디바이스에 기록된 프로그램을 판독하여 실행하는, 예를 들면, 시스템 또는 장치의 컴퓨터에 의해 수행되는 단계들을 포함하는 방법에 의해 구현될 수도 있다. 이를 위해, 프로그램은, 예를 들면, 네트워크를 통해 또는 메모리 디바이스로서 기능하는 다양한 종류의 기록 매체(예를 들면, 컴퓨터 판독가능 매체)로부터 컴퓨터에 제공된다.
본 발명은 예시적인 실시 형태들을 참조하여 설명되었지만, 본 발명은 개시된 예시적인 실시 형태들에 한정되지 않는다는 것을 이해할 것이다. 하기의 청구항들의 범위는 그러한 변경 및 등가의 구조와 기능을 모두 포괄하도록 최광의의 해석에 따라야 한다.

Claims (28)

  1. 동일 평면상에 정렬된 복수의 촬상 유닛을 포함하는 촬상 디바이스로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛의 개수는, 상기 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛의 개수보다 많은, 촬상 디바이스.
  2. 제1항에 있어서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 촬상 디바이스.
  3. 동일 평면상에 정렬된 복수의 촬상 유닛으로부터 얻어진 촬상 데이터를 합성해서 화상 데이터를 생성하도록 구성된 생성 유닛을 포함하는 화상 처리 장치로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛의 개수는, 상기 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛의 개수보다 많은, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 화상 처리 장치.
  5. 복수의 촬상 유닛을 포함하는 촬상 디바이스로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 촬상 디바이스.
  6. 제5항에 있어서,
    수광량에 관련되는, 각 촬상 유닛들에 있어서의 촬상 파라미터들을 취득하도록 구성된 촬상 파라미터 취득 유닛, 및
    상기 제1 화각을 갖는 촬상 유닛들에 있어서의 취득된 촬상 파라미터를 변경함으로써, 상기 제1 화각을 갖는 촬상 유닛들에 의한 전체 수광량의, 상기 제2 화각을 갖는 촬상 유닛들에 의한 전체 수광량에 대한 비가, 상기 조정 가능한 노광 시간의 변동 폭 내에 있도록 제어를 행하는 제어 유닛을 더 포함하는, 촬상 디바이스.
  7. 제6항에 있어서,
    상기 제2 화각을 갖는 촬상 유닛에 있어서의 촬상 파라미터가 변경된 경우에, 상기 제어 유닛에 의한 상기 제어가 행해지는, 촬상 디바이스.
  8. 제6항에 있어서,
    상기 촬상 파라미터들은 조리개 및 포커스를 나타내는 값들 중 1개 이상을 포함하는, 촬상 디바이스.
  9. 복수의 촬상 유닛으로부터 얻어진 촬상 데이터를 합성해서 화상 데이터를 생성하도록 구성된 생성 유닛을 포함하는 화상 처리 장치로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 화상 처리 장치.
  10. 제9항에 있어서,
    수광량에 관련되는, 각 촬상 유닛들에 있어서의 촬상 파라미터들을 취득하도록 구성된 촬상 파라미터 취득 유닛, 및
    상기 제1 화각을 갖는 촬상 유닛들에 있어서의 취득된 촬상 파라미터를 변경함으로써, 상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량에 대한 비가, 상기 조정 가능한 노광 시간의 변동 폭 내에 있도록 제어를 행하는 제어 유닛을 더 포함하는, 화상 처리 장치.
  11. 제10항에 있어서,
    상기 제2 화각을 갖는 촬상 유닛에 있어서의 촬상 파라미터가 변경된 경우에, 상기 제어 유닛에 의한 상기 제어가 행해지는, 화상 처리 장치.
  12. 제10항에 있어서,
    상기 촬상 파라미터들은 조리개 및 포커스를 나타내는 값들 중 1개 이상을 포함하는, 화상 처리 장치.
  13. 화상 처리 장치로서,
    복수의 촬상 유닛으로부터 얻어진 복수의 촬상 데이터를 취득하도록 구성된 촬상 데이터 취득 유닛,
    취득된 제1 촬상 데이터 세트를 촬상한 상기 제1 화각을 갖는 1개 이상의 촬상 유닛들에 의한 전체 수광량의, 상기 제1 촬상 데이터 세트와는 다른 제2 촬상 데이터 세트를 촬상한 제1 화각과는 다른 제2 화각을 갖는 1개 이상의 촬상 유닛들에 의한 전체 수광량에 대한 비가, 조정 가능한 노광 시간의 변동 폭 내에 있도록, 취득된 상기 복수의 촬상 데이터로부터 상기 제1 촬상 데이터 세트를 선택하는 선택 유닛, 및
    선택된 상기 제1 촬상 데이터 세트의 촬상 데이터를 합성해서 화상 데이터를 생성하도록 구성된 생성 유닛을 포함하는, 화상 처리 장치.
  14. 동일 평면상에 정렬된 복수의 촬상 유닛으로부터 얻어진 촬상 데이터를 합성해서 화상 데이터를 생성하는 단계를 포함하는 화상 처리 방법으로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛의 개수는, 상기 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛의 개수보다 많은, 화상 처리 방법.
  15. 복수의 촬상 유닛으로부터 얻어진 촬상 데이터를 합성해서 화상 데이터를 생성하는 단계를 포함하는 화상 처리 방법으로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛으로부터 얻어진 촬상 데이터에 의해 얻어진 전체 광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 화상 처리 방법.
  16. 화상 처리 방법으로서,
    복수의 촬상 유닛으로부터 얻어진 복수의 촬상 데이터를 취득하는 단계,
    취득된 제1 촬상 데이터 세트를 촬상한 상기 제1 화각을 갖는 1개 이상의 촬상 유닛들에 의한 전체 수광량의, 상기 제1 촬상 데이터 세트와는 다른 제2 촬상 데이터 세트를 촬상한 제1 화각과는 다른 제2 화각을 갖는 1개 이상의 촬상 유닛들에 의한 전체 수광량에 대한 비가, 조정 가능한 노광 시간 내에 있도록, 취득된 상기 복수의 촬상 데이터로부터 상기 제1 촬상 데이터 세트를 선택하는 단계, 및
    선택된 상기 제1 촬상 데이터 세트의 촬상 데이터를 합성해서 화상 데이터를 생성하는 단계를 포함하는, 화상 처리 방법.
  17. 동일 평면상에 정렬된 복수의 촬상 유닛을 갖는 촬상 디바이스의 제조 방법으로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛의 개수는, 상기 제1 화각보다 넓은 화각을 갖는 1개 이상의 촬상 유닛의 개수보다 많게 하는, 촬상 디바이스의 제조 방법.
  18. 복수의 촬상 유닛을 갖는 촬상 디바이스의 제조 방법으로서,
    상기 복수의 촬상 유닛 중 제1 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량의, 상기 제1 화각과 다른 제2 화각을 갖는 1개 이상의 촬상 유닛에 의한 전체 수광량에 대한 비는, 조정 가능한 노광 시간의 변동 폭 내에 있는, 촬상 디바이스의 제조 방법.
  19. 동일 평면상에 정렬된 복수의 촬상 유닛을 포함하는 촬상 디바이스로서,
    상기 촬상 유닛들 중 제1 화각을 갖는 1개 이상의 제1 촬상 유닛 그룹이, 상기 제1 화각보다 좁은 제2 화각을 갖는 1개 이상의 제2 촬상 유닛 그룹이 배치된 범위보다 좁은 범위에 배치된, 촬상 디바이스.
  20. 동일 평면상에 정렬된 복수의 촬상 유닛을 포함하는 촬상 디바이스로서,
    상기 촬상 유닛들 중 제1 화각을 갖는 1개 이상의 제1 촬상 유닛 그룹의 무게 중심으로부터의 표준 편차가, 상기 제1 화각보다 좁은 제2 화각을 갖는 1개 이상의 제2 촬상 유닛 그룹의 무게 중심으로부터의 표준 편차보다 작게 되도록 상기 복수의 촬상 유닛이 배치된, 촬상 디바이스.
  21. 제19항에 있어서,
    상기 복수의 촬상 유닛은 원형 형상으로 배치된, 촬상 디바이스.
  22. 제19항에 있어서,
    상기 복수의 촬상 유닛은 다각형 형상으로 배치된, 촬상 디바이스.
  23. 제19항에 있어서,
    상기 복수의 촬상 유닛에 의해 촬상된 복수의 촬상 데이터를 합성하도록 구성된 합성 유닛을 더 포함하는, 촬상 디바이스.
  24. 제19항에 있어서,
    상기 복수의 촬상 유닛에 대한 광축은 서로 평행하며, 상기 제1 화각에 대응하는 제1 초점 거리의, 상기 제1 촬상 유닛 그룹이 배치된 범위를 나타내는 직경에 대한 비는, 상기 제2 화각에 대응하는 제2 초점 거리의, 상기 1개 이상의 제2 촬상 유닛 그룹이 배치된 범위를 나타내는 직경에 대한 비 이상인, 촬상 디바이스.
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020120109915A 2011-10-12 2012-10-04 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법 KR101514502B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011224814A JP5896680B2 (ja) 2011-10-12 2011-10-12 撮像装置、画像処理装置、及び画像処理方法
JPJP-P-2011-224814 2011-10-12
JP2012002929A JP5911307B2 (ja) 2012-01-11 2012-01-11 撮像装置
JPJP-P-2012-002929 2012-01-11

Publications (2)

Publication Number Publication Date
KR20130039676A KR20130039676A (ko) 2013-04-22
KR101514502B1 true KR101514502B1 (ko) 2015-04-22

Family

ID=47115267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120109915A KR101514502B1 (ko) 2011-10-12 2012-10-04 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법

Country Status (4)

Country Link
US (1) US20130093842A1 (ko)
EP (2) EP2592823A3 (ko)
KR (1) KR101514502B1 (ko)
CN (1) CN103051833B (ko)

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
CN107230236B (zh) 2011-09-28 2020-12-08 快图有限公司 用于编码和解码光场图像文件的系统及方法
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (en) 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
WO2014107634A2 (en) 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus relating to the use of multipe optical chains
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
EP3008890A4 (en) 2013-06-13 2016-05-04 Corephotonics Ltd ZOOM OF A DIGITAL CAMERA WITH DUAL IRIS
EP3779564B1 (en) 2013-07-04 2024-04-10 Corephotonics Ltd. Miniature telephoto lens assembly
US9571731B2 (en) 2013-08-01 2017-02-14 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9851527B2 (en) 2013-10-18 2017-12-26 Light Labs Inc. Methods and apparatus for capturing and/or combining images
US9578252B2 (en) * 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
JP6239993B2 (ja) * 2014-02-07 2017-11-29 オリンパス株式会社 撮像装置、表示装置、及び制御方法
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
KR102269599B1 (ko) 2014-04-23 2021-06-25 삼성전자주식회사 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치
CN103986867B (zh) * 2014-04-24 2017-04-05 宇龙计算机通信科技(深圳)有限公司 一种图像拍摄终端和图像拍摄方法
EP3164831A4 (en) 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) * 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
JP6478511B2 (ja) * 2014-08-01 2019-03-06 キヤノン株式会社 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的系统和方法
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US10288840B2 (en) 2015-01-03 2019-05-14 Corephotonics Ltd Miniature telephoto lens module and a camera utilizing such a lens module
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
ES2907810T3 (es) 2015-04-16 2022-04-26 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
EP3304161B1 (en) 2015-05-28 2021-02-17 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization in a digital camera
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
EP3787281A1 (en) 2015-08-13 2021-03-03 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
KR102143730B1 (ko) 2015-09-06 2020-08-12 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
KR102369223B1 (ko) 2015-12-29 2022-03-02 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
JP2017158123A (ja) * 2016-03-04 2017-09-07 ソニー株式会社 信号処理装置および撮像装置
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
EP3292685B1 (en) 2016-05-30 2019-06-05 Corephotonics Ltd. Rotational ball-guided voice coil motor
KR102521406B1 (ko) 2016-06-19 2023-04-12 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US10845565B2 (en) 2016-07-07 2020-11-24 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
CN106131448B (zh) * 2016-07-22 2019-05-10 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
CN107071291B (zh) * 2016-12-28 2020-08-18 南昌黑鲨科技有限公司 图像处理方法、装置及电子设备
WO2018122650A1 (en) 2016-12-28 2018-07-05 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
EP3789810B1 (en) 2017-01-12 2022-09-28 Corephotonics Ltd. Compact folded camera
KR101963547B1 (ko) 2017-02-23 2019-03-28 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
CN110582724B (zh) 2017-03-15 2022-01-04 核心光电有限公司 具有全景扫描范围的照相装置
DE102017206442B4 (de) 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
US10972672B2 (en) 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10951817B2 (en) * 2017-06-26 2021-03-16 Mitsubishi Electric Corporation Compound-eye imaging device, image processing method, and recording medium
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
US11175568B2 (en) * 2017-10-20 2021-11-16 Sony Corporation Information processing apparatus, information processing method, and program as well as in interchangeable lens
EP3513110B1 (en) 2017-11-23 2023-08-23 Corephotonics Ltd. Compact folded camera structure
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
EP4191315A1 (en) 2018-02-12 2023-06-07 Corephotonics Ltd. Folded camera with optical image stabilization
CN108391035B (zh) * 2018-03-26 2020-04-21 华为技术有限公司 一种拍摄方法、装置与设备
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN114153107A (zh) 2018-04-23 2022-03-08 核心光电有限公司 相机及致动器
CN110691198B (zh) * 2018-07-05 2021-05-25 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及电子设备
KR102289149B1 (ko) 2018-08-04 2021-08-12 코어포토닉스 리미티드 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템
TWI761576B (zh) * 2018-08-16 2022-04-21 先進光電科技股份有限公司 光學成像模組、成像系統及其製造方法
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11120528B1 (en) 2018-09-11 2021-09-14 Apple Inc. Artificial aperture adjustment for synthetic depth of field rendering
TWI768125B (zh) * 2018-09-21 2022-06-21 先進光電科技股份有限公司 光學成像模組及其成像系統、製造方法
US11423570B2 (en) 2018-12-26 2022-08-23 Intel Corporation Technologies for fusing data from multiple sensors to improve object detection, identification, and localization
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
JP7271220B2 (ja) * 2019-02-26 2023-05-11 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
CN113891059B (zh) 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
CN112788201A (zh) * 2019-11-07 2021-05-11 虹软科技股份有限公司 摄像系统
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
US11770618B2 (en) 2019-12-09 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
EP4068756A4 (en) * 2019-12-20 2023-01-11 Sony Group Corporation IMAGE DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
JP2021136511A (ja) * 2020-02-25 2021-09-13 キヤノン株式会社 撮像装置、撮像システム、制御方法、プログラム、および、記憶媒体
CN114144898B (zh) 2020-04-26 2022-11-04 核心光电有限公司 用于霍尔棒传感器校正的温度控制
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
KR102617779B1 (ko) 2020-05-30 2023-12-22 코어포토닉스 리미티드 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4065934A4 (en) 2020-07-31 2023-07-26 Corephotonics Ltd. LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY
CN114424104B (zh) 2020-08-12 2023-06-30 核心光电有限公司 扫描折叠相机中的光学防抖
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270387A1 (en) 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
US20110188843A1 (en) 2010-02-03 2011-08-04 Shigeru Oouchida Distance measurement and photometry device, and imaging apparatus

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7151801B2 (en) * 2002-03-25 2006-12-19 The Trustees Of Columbia University In The City Of New York Method and system for enhancing data quality
US20040032525A1 (en) * 2002-05-09 2004-02-19 Oren Aharon Video camera with multiple fields of view
KR100826243B1 (ko) * 2002-11-20 2008-04-29 삼성전자주식회사 화각 조정이 가능한 촬영장치 및 그의 제어방법
JP2005031466A (ja) * 2003-07-07 2005-02-03 Fujinon Corp 撮像装置および撮像方法
JP2005109623A (ja) 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
US7880794B2 (en) * 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
JP4943695B2 (ja) * 2005-11-21 2012-05-30 富士フイルム株式会社 多焦点カメラの撮影光学系
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
JP4956401B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
WO2010119447A1 (en) * 2009-04-16 2010-10-21 Doron Shlomo Imaging system and method
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
CN102025922A (zh) * 2009-09-18 2011-04-20 鸿富锦精密工业（深圳）有限公司 影像匹配系统及方法
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050270387A1 (en) 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
US20110188843A1 (en) 2010-02-03 2011-08-04 Shigeru Oouchida Distance measurement and photometry device, and imaging apparatus

Also Published As

Publication number Publication date
KR20130039676A (ko) 2013-04-22
CN103051833A (zh) 2013-04-17
US20130093842A1 (en) 2013-04-18
CN103051833B (zh) 2015-11-25
EP2582128A3 (en) 2013-06-19
EP2592823A2 (en) 2013-05-15
EP2582128A2 (en) 2013-04-17
EP2592823A3 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
KR101514502B1 (ko) 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
CN107959778B (zh) 基于双摄像头的成像方法和装置
US10009540B2 (en) Image processing device, image capturing device, and image processing method for setting a combination parameter for combining a plurality of image data
KR101888470B1 (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
JP5854984B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5725975B2 (ja) 撮像装置及び撮像方法
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
CN108055452A (zh) 图像处理方法、装置及设备
JP2012253748A (ja) 画像処理装置およびその方法
JP2013201752A5 (ko)
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
CN102984448A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
TW201200959A (en) One-eyed stereo photographic device
JPWO2014050699A1 (ja) 画像処理装置及び方法並びに撮像装置
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN108024054A (zh) 图像处理方法、装置及设备
JP5896680B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN104580921A (zh) 摄像设备及其控制方法
JP2017005689A (ja) 画像処理装置および画像処理方法
JP2000112019A (ja) 電子３眼カメラ装置
CN103227899B (zh) 摄像设备及其控制方法
JP6257260B2 (ja) 撮像装置及びその制御方法
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 5