KR101428635B1 - 듀얼 이미지 캡쳐 프로세싱 - Google Patents

Abstract

본 명세서의 이미징 디바이스들의 실시예들은 이미지 프로세싱 파이프라인에서 동시 이미지 캡쳐를 자동으로 이용한다. 일 실시예에서, 제어 프로세싱 회로는 제 1 이미지 센서에 의한 제 1 이미지 및 상기 제 2 이미지 센서에 의한 제 2 이미지의 동시 캡쳐를 개시하고, 그리고 이미지 프로세싱 회로는 적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 포함하는 증강된 모노스코픽 이미지를 생성한다.

Description

듀얼 이미지 캡쳐 프로세싱{DUAL IMAGE CAPTURE PROCESSING}

관련된 출원에 대한 상호 참조(CROSS-REFERENCE TO RELATEED APPLICATION)

본 출원은 2011년 7월 20일자로 출원된 시리얼 번호 61/509,747 를 갖는 "이미지 캡쳐 디바이스 시스템들 및 방법들" 제목의 동시 계속중인(copending) 미국 가출원에 대한 우선권을 주장한 것이며, 그것은 참조로써 명세서에 전체로서 통합된다.

기술 분야

본 발명은 디지털 카메라 또는 디지털 비디오 카메라에 이미지 프로세싱 파이프라인(pipeline)에서 동시 이미지 캡쳐들(simultaneous image capture)을 자동으로 이용하기 위해 프로그램된 디바이스, 방법, 컴퓨터 사용 가능한 매체 및 프로세서에 관한 것이다.

하이 다이나믹 레인지(HDR : High Dynamic Range) 이미지 프로세싱과 같은 이미지 프로세싱(image processing)의 여러 타입들은 한 카메라의 순차적인(sequential) 스틸 이미지(still image) 출력(예,각각이 노출을 달리함)을 더 높은 다이나믹 레인지를 가진 단일 스틸 이미지(즉, 밝은 이미지와 어두운 이미지 영역들 사이에서 더 큰 레인지(range)의 휘도 변화(luminance variation)을 가진 이미지)으로 결합하는 것을 수반한다. 이 처리 방법(approach)은 노출 브라케팅(exposure bracketing)으로 종종 불리우고 그리고 통상의 카메라들에서 발견될 수 있다.

본 발명은 디지털 카메라 또는 디지털 비디오 카메라에 이미지 프로세싱 파이프라인(pipeline)에서 동시 이미지 캡쳐들(simultaneous image capture)을 자동으로 이용하기 위해 프로그램된 디바이스, 방법, 컴퓨터 사용 가능한 매체 및 프로세서에 관한 것이다.

일 측면에 따라, 이미지 캡쳐 디바이스는

제 1 이미지 레코딩(recording)을 위한 제 1 이미지 센서;

제 2 이미지 레코딩(recording)을 위한 제 2 이미지 센서;

상기 제 1 이미지 센서에 의한 상기 제 1 이미지 및 상기 제 2 이미지 센서에 의한 상기 제 2 이미지의 동시 캡쳐(simultaneous capture)를 개시하는 제어 프로세싱 회로(control processing circuitry); 및

적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 포함하는 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 이미지 프로세싱 회로(image processing circuitry);를 포함한다.

바람직하게는, 상기 증강된 모노스코픽 이미지는

상기 제 1 이미지로부터 획득된 제 1 부분 및 상기 제 2 이미지로부터 획득된 제 2 부분을 포함하고,

상기 제 1 부분은 상기 제 2 부분과 다른 노출 레벨을 가지는 것 또는 상기 제 2 부분과 다른 피사계 심도(depth of field)를 가지는 것 중에 적어도 하나를 포함한다.

바람직하게는, 상기 증강된 모노스코픽 이미지의 해상도(resolution)는

상기 제 1 이미지 및 상기 제 2 이미지의 개별 해상도들 보다 더 크다.

바람직하게는,상기 제 2 이미지는 상기 제 1 이미지에서 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되며,

상기 증강된 모노스코픽 이미지는 상기 결함이 제거된 상기 제 1 이미지의 보정된 버전(version)이다.

바람직하게는, 상기 제어 프로세싱 회로는

스테레오스코픽 이미지(stereoscopic image)를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 스테레오스코픽 모드에서 동작하고, 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서의 단일 동작을 이용하는 모노스코픽 모드에서 동작하고, 상기 증강된 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 증강된 모노스코픽 모드에서 동작하도록 구성된다.

바람직하게는, 상기 제어 프로세싱 회로는

상기 모노스코픽 모드, 상기 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 구성된다.

바람직하게는, 상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 이용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지의 적어도 하나의 이미지 특성을 증가하기 위한 증강 데이터(enhancement data)로서 사용되고, 상기 증강된 모노스코픽 이미지는 상기 적어도 하나의 개선된 특징을 가지는 상기 제 1 이미지를 포함한다.

바람직하게는, 상기 이미지 프로세싱 회로는 제 1 프로세싱 경로에서 상기 제 1 이미지 및 상기 제 2 이미지에 의해 공유된 유사한 픽셀들(similar pixels)을 처리하고, 제 2 프로세싱 경로에서 상기 제 2 이미지의 비유사한 픽셀들(dissimilar pixels)을 처리한다.

바람직하게는, 상기 제 1 이미지 센서는 상기 동시 캡쳐(simultaneous capture) 동안에 상기 제 2 이미지 센서가 동작하는 제 2 비닝 레벨(binning level)과 다른 상기 동시 캡쳐 동안에 제 1 비닝 레벨(binning level)에서 동작한다.

일 측면에 따라, 이미지 프로세싱 방법은

제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩(recording)하는 단계;

제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩(recording)하는 단계로서, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐되는 상기 제 2 이미지를 레코딩(recording)하는 단계;

적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교하는 단계; 및

상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 단계;를 포함한다.

바람직하게는, 상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 사용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지의 적어도 하나의 이미지 특성을 증가하기 위한 증강 데이터(enhancement data)로서 사용되고,

상기 증강된 모노스코픽 이미지는 상기 적어도 하나의 개선된 특성을 가지는 상기 제 1 이미지를 포함한다.

바람직하게는, 상기 적어도 하나의 개선된 특성은

개선된 피사계 심도(depth of field), 개선된 해상도(resolution) 또는 개선된 노출 레벨(exposure level) 중 적어도 하나를 포함한다.

바람직하게는, 상기 제 2 이미지는 상기 제 1 이미지에서 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되며,

상기 증강된 모노스코픽 이미지는 상기 결함이 제거된 상기 제 1 이미지의 보정된 버전(version)이다.

바람직하게는, 상기 결함은 렌즈 음영 결함(lens shading defect)을 포함한다.

바람직하게는, 이미지 캡쳐 디바이스는 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서를 포함하고, 상기 방법은

스테레오스코픽 이미지를 생성하기 위해 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 스테레오스코픽 모드; 모노스코픽 이미지를 생성하기 위해 상기 제 1 이미지 센서의 단일 동작을 이용하는 모노스코픽 모드; 상기 증강된 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 증강된 모노스코픽 모드 사이에서 이미지 캡쳐 디바이스의 동작을 스위칭하는 단계;를 더 포함한다.

바람직하게는, 상기 제 1 이미지 센서는 레드(red), 그린(green) 또는 블루(blue) 빛을 센서 픽셀들에 통과하는 이미지 센서를 포함하고, 상기 제 2 이미지 센서는 상기 제 1 이미지 센서와 다른 타입의 이미지 센서를 포함한다.

일 측면에 따라, 컴퓨터 판독 가능한 매체는 하드웨어 프로세서에 의해 실행될때 상기 하드웨어 프로세서가

제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩;

제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩하고, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐;

적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교; 및

상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성하도록 하는 이미지 프로세싱 프로그램을 가지는 것이 제공된다.

바람직하게는, 이미지 캡쳐 디바이스는 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서를 포함하고, 상기 이미지 프로세싱 프로그램은

상기 하드웨어 프로세서가 추가로

스테레오스코픽 이미지를 생성하기 위해 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 스테레오스코픽 모드; 모노스코픽 이미지를 생성하기 위해 상기 제 1 이미지 센서의 단일 동작을 이용하는 모노스코픽 모드; 상기 증강된 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 증강된 모노스코픽 모드 사이에서 이미지 캡쳐 디바이스의 동작을 스위칭하게 한다.

바람직하게는, 상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 사용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지에서 결함(defect)를 보정하기 위한 지원 데이터(support data)로서 사용된다.

바람직하게는, 상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 이용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지의 적어도 하나의 이미지 특성을 증가하기 위한 증강 데이터(enhancement data)로서 사용되고, 상기 증강된 모노스코픽 이미지는 상기 적어도 하나의 개선된 특징을 가지는 상기 제 1 이미지를 포함한다.

일 측면에 따라, 이미지 캡쳐 디바이스는
제 1 이미지 레코딩(recording)을 위한 제 1 이미지 센서;
제 2 이미지 레코딩(recording)을 위한 제 2 이미지 센서;
상기 제 1 이미지 센서에 의한 상기 제 1 이미지 및 상기 제 2 이미지 센서에 의한 상기 제 2 이미지의 동시 캡쳐(simultaneous capture)를 개시하는 제어 프로세싱 회로(control processing circuitry); 및
적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 포함하는 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 이미지 프로세싱 회로(image processing circuitry);를 포함하되,
상기 제어 프로세싱 회로는
스테레오스코픽 이미지(stereoscopic image)를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 스테레오스코픽 모드에서 동작하고, 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서의 단일 동작을 이용하는 모노스코픽 모드에서 동작하고, 상기 증강된 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 증강된 모노스코픽 모드에서 동작하도록 구성되며, 상기 모노스코픽 모드, 상기 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 구성되며,
상기 이미지 프로세싱 회로는
상기 제 1 이미지를 이용하여 상기 모노스코픽 이미지를 생성하고, 상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 상기 스테레오스코픽 이미지(stereoscopic image)를 추가로 생성하며,
상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되는 것을 특징으로 한다.

일 측면에 따라, 이미지 프로세싱 방법은
제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩(recording)하는 단계;
제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩(recording)하는 단계로서, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐되는 상기 제 2 이미지를 레코딩(recording)하는 단계;
적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교하는 단계;
상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 증강된 모노스코픽 모드 단계;
상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 스테레오스코픽 이미지(stereoscopic image)를 생성하는 스테레오스코픽 모드 단계; 및
상기 제 1 이미지를 이용하여 모노스코픽 이미지를 생성하는 모노스코픽 모드 단계;를 포함하되
상기 모노스코픽 모드, 상기 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 구성되며,
상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되는 것을 특징으로 한다.

일 측면에 따라, 컴퓨터 판독 가능한 매체는 하드웨어 프로세서에 의해 실행될때 상기 하드웨어 프로세서가
제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩하고;
제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩하되, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐되며;
적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교하고; 및
상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성;
상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 스테레오스코픽 이미지(stereoscopic image)를 생성; 및
상기 제 1 이미지를 이용하여 모노스코픽 이미지를 생성;하도록 동작하고,
상기 모노스코픽 이미지를 생성하는 모노스코픽 모드, 상기 스테레오스코픽 이미지를 생성하는 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 이미지를 생성하는 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 동작하며,
상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되도록 한다.

본 발명에 따른 듀얼 이미지 캡쳐 프로세싱에 의하면, 동시에 캡쳐된 다수 이미지들의 결합을 이용하여 임의의 특성이 개선된 이미지를 용이하게 생성할 수 있는 효과가 있다.

본 발명에 따른 듀얼 이미지 캡쳐 프로세싱에 의하면, 이미지 신호 프로세싱 파이프라인의 다중화(multiplexing)를 통하여 이미지 프로세싱의 레이턴시(latency)를 줄일 수 있는 효과가 있다.

본 명세서의 많은 측면들은 아래의 도면들에 참조를 가지고 더 잘 이해할 수 있다. 도면들에 컴포넌트들(components)은 본 명세서의 원리들을 명확하게 예시하는 것 대신에 반드시 크기를 변경하고, 강조하는 것은 아니다. 거기다가, 도면들에서 같은 참조 번호들(reference numerals)은 몇 개의 도면들에 거쳐 대응하는 부분들을 지정한다.
도 1 은 본 명세서에 따른 이미지 프로세싱 회로 일 실시예의 블럭 다이어그램이다.
도 2 내지 도 5 는 도 1 의 이미지 프로세싱 회로로부터 파이프라인 프로세싱 로직에 의해 실행되는 이미지 신호 프로세싱 파이프라인의 실시예들의 블럭 다이어그램들이다.
도 6 은 도 1 의 이미지 프로세싱 회로를 채용하는 전자 디바이스 일 실시예를 예시하는 블럭 다이어그램이다.
도 7 내지 도 9 는 도 1 의 이미지 프로세싱 회로의 실시예들의 다양한 기능성들을 묘사하는 플로우챠트 다이어그램들이다.

본 명세서는 디지털 카메라 또는 디지털 비디오 카메라에 이미지 프로세싱 파이프라인(pipeline)에서 동시 이미지 캡쳐들(simultaneous image capture)을 자동으로 이용하기 위해 프로그램된 디바이스, 방법, 컴퓨터 사용 가능한 매체 및 프로세서에 관한 것이다. 당업자들은 개시된 기술들이 다른 상황(contexts) 및 응용들(applications)에서 또한 적용될 수 있는 것을 인식할 것이다.

더 시각적으로 만족스러운 이미지들을 생산하기 위해, 예를 들어, 디지털 카메라들, 디지털 비디오 카메라들, 모바일 폰들, 개인용 정보 단말기들(PDAs : personal data assistants), 태블릿들(tablets), 휴대용 음악 플레이어들(portable music players) 및 데스크탑(desktop) 또는 랩탑 컴퓨터들 같은, 내장된 디바이스들에 카메라들을 위해, 명세서에서 개시된 것들 같은 기술들이 상당한 컴퓨터의(computational) 부담(overhead) 또는 전력 소비(power costs)를 초래함 없이 이미지 질(quality)을 개선시킬 수 있다.

이미지 데이터를 획득하기 위해서, 디지털 이미지 디바이스는 이미지 센서에 의해 감지된 빛을 전기적 신호로 변환하도록 구성된 많은 빛-감지 요소들(elements)(예, 광검출기들(photodetectors))을 제공하는 이미지 센서를 포함할 수 있다. 이미지 센서는 컬러 정보를 캡쳐하기 위해서 이미지 센서에 의해 캡쳐된 빛을 여과시키는 컬러 필터 어레이(color filter array)를 또한 포함할 수 있다. 이미지 센서에 의해 캡쳐된 이미지 데이터는 이미지 프로세싱 파이프라인 회로(image processing pipeline circuitry)에 의해 처리될 수 있고, 그것은 모니터와 같은 디스플레이 디바이스 상의 시청을 위해 디스플레이 될 수 있는 풀 컬러 이미지(full color image)을 생성하기 위해서 이미지 데이터에 많은 다양한 이미지 프로세싱 동작들을 적용할 수 있다.

통상의 하이 다이나믹 레인지(HDR) 이미지 프로세싱과 같은 통상의 이미지 프로세스들은 순차적으로(sequentially) 캡쳐된 다수의 이미지들을 필요로 하고, 그런다음 증강된(enhanced) 이미지 특성들(characteristics)을 가진 하이 다이나믹 레인지(HDR)을 산출하기 위해서 결합된다. 통상의 HDR 이미지 프로세싱에서, 다수의 이미지들은 상이한 노출들에서 하나의 이미지 센서에 의해 순차적으로 캡쳐되고, 그리고 단일 이미지 캡쳐를 가지고 가능한 것보다 더 높은 다이나믹 레인지를 가진 하나의 이미지를 생산하기 위해서 결합된다. 예를 들어, 네온 사인(neon sign)를 가진 야외 밤 시간 샷(shot)의 캡쳐는 네온 사인의 노출 과다(over-exposure) 또는 장면의 다른 영역들의 노출 부족(under-exposure)으로 귀결될 수 있다. 그러나, 노출 과다 이미지 및 노출 부족 이미지, 양자(both)를 캡쳐하는 것과 다수의 이미지를 결합 것은 네온 사인(sign)과 장면(scene) 모두를 위해 양자의 적절한 노출을 가진 HDR 이미지를 산출할 수 있다. 이런 처리 방법(approach)은 종종 노출 브라케팅(exposure bracketing)이라고 불리우지만, 그러나 설사 사실상(substantial) 블러링(blurring) 또는 고스팅(ghosting)의 도입을 막기 위해서 순차적으로 얻어진 것일지라도 캡쳐된 이미지들이 실제적으로 유사해야만 한다는 것이 요건(requirement)이다.

본 명세서의 실시예들은 동시에 캡쳐된 다수의 이미지들을 이용함으로써 증강된 이미지 프로세싱을 제공한다. 도 1와 관련하여, 이미지 프로세싱 회로(100)의 일 실시예인 블럭 다이어그램은 이미징 디바이스(150)에 대해 보여준다. 예시된 이미징 디바이스(150)는 스틸 이미지들과 동적 이미지들(예,비디오)을 획득하기 위해 구성된 디지털 카메라로서 제공될 수 있다. 디바이스(150)은 다수의 렌즈들(110) 그리고 캡쳐하고 빛을 전기적 신호로 변환하도록 구성된 다수의 이미지 센서들(101)을 포함할 수 있다. 단지 예제로서, 개별 이미지 센서는 상보성 금속 산화물 반도체(CMOS : complementary metal-oxide-semiconductor) 이미지 센서(예, CMOS 액티브-픽셀 센서(APS)) 또는 전하-결합 디바이스(CCD : charge-coupled device) 센서를 포함할 수 있다.

다수의 카메라들 또는 이미지 센서들을 가진 이미징 디바이스(150)의 한가지 유망한 이용(prospective use)은 디스플레이 되는 이미지에 표시되는 차원들(dimensions)의 수를 증가시키는 것이다. 이런 타입의 기능의 예는 전형적으로 두개의 카메라들을(예, 두개 이미지 센서들) 가지는 입체 카메라(stereoscopic camera)이다. 본 명세서의 실시예들은,그러나, 두개 이상의 카메라들 또는 이미지 센서들을 가질 수 있다. 추가하여, 이미징 디바이스(150)의 실시예들은 동작 모드들(modes of operations)을 가질 수 있어서 제 1 모드는 이미징 디바이스(150)가 2차원(2D) 이미지를 캡쳐하도록 할 수 있고, 제 2 모드는 이미징 디바이스가 멀티-차원 이미지(예, 3차원 이미지)를 캡쳐하도록 할 수 있고, 그리고 제 3 모드는 이미지 디바이스가 동시에 다수의 이미지들을 캡쳐하도록 할 수 있고, 이미지 프로세싱 효과들이 적용되어서 하나 이상의 2D 증강된 이미지들을 생산하기 위해서 그것들을 사용할 수 있다. 따라서, 본 명세서의 어떤 실시예들은 설정가능하고(configurable) 그리고 적응할 수 있는(adaptable) 스테레오스코픽(3D) 모드(stereoscopic mode), 모노스코픽(monoscopic)(단일 이미저 2D) 모드 또는 조합 모노스코픽(다수 이미저 2D) 모드에서 동작하는 멀티-이미저 카메라 구성(multi-imager camera architecture)을 망라한다(encompass). 일 실시예에서, 모드 구성은 유저 선택(user selection)을 수반하는 반면, 적응(adaptation)은 자동으로 또는 유발된 모드 동작일 수 있다. 예를 들어, 모노스코픽 모드는 보통때는 충분한 환경(situation)에 이용될 수 있지만 요구(need)가 제어 로직(control logic)(105)에 의해 감지 되었을때에는 조합 모노스코픽 동작들(combinational monoscopic operations)로 스위치된다.

어떤 실시예들에서, 이미지 프로세싱 회로(100)는 다양한 이미지 프로세싱 단계들의 각각을 수행하기 위해서 전체로서 이미지 프로세싱 "파이프라인(pipeline)"을 형성하는 여러가지 서브컴포넌트들 및/또는 로직의 분산 유닛들(discrete units)을 포함할 수 있다. 이런 서브컴포넌트들은 하드웨어(예, 디지털 신호 프로세서(digital signal processor) 또는 에이직들(ASICs : application-specific integrated circuits)) 또는 소프트웨어 또는 하드웨어 및 소프트웨어 컴포넌트들의 조합을 통하여 실행될 수 있다. 다양한 이미지 프로세싱 동작들은 이미지 프로세싱 회로(100)에 의해 제공될 수 있다.

이미지 프로세싱 회로(100)는 프론트-엔드(front-end) 프로세싱 로직(103), 파이프라인 프로세싱 로직(104) 및 특히, 제어 로직(105)을 포함할 수 있다. 이미지 센서(들)(101)은 컬러 필터 어레이(예, 베이어 필터(Bayer filter))를 포함할 수 있고, 따라서 프론트-엔드 프로세싱 로직(103)에 의해 처리될 수 있는 미가공(raw) 이미지 데이터 집합을 허용하기 위해서 이미지 센서들(101)의 각 이미지 픽셀에 의해 캡쳐되는 빛 강도(light intensity) 및 파장 정보(wavelength information)을 제공할 수 있다.

프론트-엔드 프로세싱 로직(103)은 메모리(108)로부터 픽셀 데이터를 수신할 수 있다. 예를 들어, 미가공(raw) 픽셀 데이터는 이미지 센서(101)로부터 메모리(108)로 전송될 수 있다. 메모리(108)에 있는 미가공(raw) 픽셀 데이터는 다음에 프로세싱을 위해서 프론트-엔드 프로세싱 로직(103)으로 제공될 수 있다.

미가공(raw) 이미지 데이터(이미지 센서(101)로부터 또는 메모리(108)로부터)를 수신할 때까지, 프론트-엔드 프로세싱 로직(103)은 하나 이상의 이미지 프로세싱 동작들을 수행할 수 있다. 처리된 이미지 데이터는 디스플레이 되기(예, 디스플레이 디바이스(106)상에서) 전에 추가적인 처리를 위해서 파이프라인 프로세싱 로직(104)에 제공되거나 메모리(108)로 전송될 수 있다. 파이프라인 프로세싱 로직(104)은 "프론트-엔드" 처리된 데이터,프론트-엔드 프로세싱 로직(103)로부터 직접 또는 메모리(108)로부터,를 수신하고, 경우에 따라서는 RGB 및 YCbCr 컬러 공간들에서 뿐만 아니라 미가공(raw) 도메인에서 이미지 데이터의 추가적인 프로세싱을 허용할 수 있다. 파이프라인 프로세싱 로직(104)에 의해 처리된 이미지 데이터는 유저에 의해 시청을 위해 디스플레이(106)(또는 뷰파인더(viewfinder))로 출력될 수 있고/있거나 그래픽 엔진들에 의해 추가적으로 처리될 수 있다. 추가적으로, 파이프라인 프로세싱 로직(104)으로부터의 출력은 메모리(108)로 전송될 수 있고 그리고 디스플레이(106)는 메모리(108)로부터 이미지 데이터를 판독할 수 있다. 거기다가, 어떤 구현에서는, 파이프라인 프로세싱 로직(104)는 디스플레이(106)에 의해 판독되기 전에 이미지 데이터를 엔코딩하기 위해 압축 엔진(compression engine)과 같은 엔코더(107)를 또한 포함할 수 있다.

엔코더(107)는 스틸 이미지들 엔코딩을 위해서 JPEG(Joint Photographic Experts Group) 압축 엔진, 비디오 이미지들 엔코딩을 위해서 H.264 압축 엔진 또는 그것의 어떤 조합일 수 있다. 또한, 파이프라인 프로세싱 로직(104)은 메모리(108)로부터 미가공(raw) 이미지 데이터를 또한 수신할 수 있는 것에 주목하여야 한다.

제어 로직(105)는 파이프라인 프로세싱 로직(104)을 위해서 제어 파라미터들(parameters) 뿐만 아니라 이미징 디바이스(150)를 위한 제어 파라미터들을 결정하기 위해 구성될 수 있는 하나이상의 루틴들(routines)을 실행하도록 구성된 프로세서(620)(도 6) 및/또는 마이크로프로세서를 포함할 수 있다. 단지 예제로서, 제어 파라미터들(control parameters)은 센서 제어 파라미터들, 카메라 플래쉬 제어 파라미터들, 렌즈들 제어 파라미터들(예,포커싱 또는 줌(zoom)을 위한 초점 거리(focal length)), 또는 이미지 센서(들)(101)을 위한 그런 파라미터들의 조합을 포함할 수 있다. 제어 파라미터들은 파이프라인 프로세싱 로직(104)을 위한 음영 보정 파라미터들(shading correction parameters) 뿐만 아니라 자동화이트 밸런스(autowhite balance), 자동포커스(autofocus), 자동노출(autoexposure), 및 컬러 조정들(adjustments)과 같은 이미지 프로세싱 명령들(commands)을 또한 포함할 수 있다. 제어 파라미터들은 파이프라인 프로세싱 로직(104)을 위한 신호들 또는 명령들 다중화(multiplexing)를 추가적으로 포함할 수 있다.

이제 도 2와 관련하여, 파이프라인 프로세싱 로직(104)의 일 실시예는 이미지 센서(도 1)에 의해 생산된 미가공(raw) 데이터를 얻을 수 있는 제 1 프로세스 요소(201)에 이미지 정보를 먼저 전송함으로써 이미지 신호 프로세싱 파이프라인의 프로세스들을 수행할 수 있고 그리고 후속 프로세스 요소(downstream process element)에 의해 추가적인 프로세싱을 수행하거나 유저에 의해 시청될 디지털 이미지를 생성한다. 따라서, 프로세싱 파이프라인은 실시간(real-time) 이미지 데이터를 조정할 수 있는 일련의 전문화된 알고리즘들(specialized algorithms)로 간주될 수 있고 그리고 시스템-온-칩(SoC : system-on-chip)의 통합 컴포넌트(integrated component)로서 종종 실행될 수 있다. 하드웨어에서 실행될 수 있는 이미지 신호 프로세싱 파이프라인을 가진 프론트-엔드 이미지 프로세싱은 메인 응용 프로세서(main application processor)(620)(도 6)에 어떤 프로세싱 부담 없이 완성될 수 있다.

일 실시예에서, 이미지 신호 프로세싱 파이프라인내에 제 1 프로세스 요소(201)는 노이즈 감소(noise reduction), 결함 픽셀 감지/보정(defective pixel detection/correction), 렌즈 음영 보정(lens shading correction), 렌즈 왜곡 보정(lens distortion correction), 디모자이킹(demosaicing), 이미지 샤프닝(image sharpening), 컬러 균일도(color uniformity), RGB(red, green, blue) 콘트라스트(contrast), 채도 부스트 프로세스(saturation boost process)등와 같은 특정 이미지 프로세스를 수행할 수 있다. 위에서 논의된 것처럼, 파이프라인은 제 2 프로세스 요소(202)를 포함할 수 있다. 일 실시예에서, 제 2 프로세스 요소(202)는 노이즈 감소(noise reduction), 결함 픽셀 감지/보정(defective pixel detection/correction), 렌즈 음영 보정(lens shading correction), 디모자이킹(demosaicing), 이미지 샤프닝(image sharpening), 컬러 균일도(color uniformity), RGB(red, green, blue) 콘트라스트(contrast), 채도 부스트 프로세스(saturation boost process)등와 같은 특정된 그리고 다른 이미지 프로세스를 수행할 수 있다. 이미지 데이터는 경우에 따라서는 파이프라인의 추가적인 요소(들)로 전송될 수 있고, 메모리(108)에 저장될 수 있고/있거나 디스플레이(106)를 위해 입력된다.

일 실시예에서, 이미지 신호 프로세싱 파이프라인내에 프로세스 요소(201,202)에 의해 수행되는 이미지 프로세스는 증강된 하이 다이나믹 레인지 프로세스이다.증강된 하이 다이나믹 레인지 프로세스를 위한 동작 모드는 이미지 센서들(101)에 의해 동시 이미지들(simultaneous images)이 캡쳐되도록 한다. 다수의 이미지들을 동시에 얻음으로써, 촬영되는 피사체(object)의 다수의 사진들이 각 이미지에서 동시에 캡쳐될 수 있다. 증강된 하이 다이나믹 레인지 프로세스를 위한 동작 모드하에서, 다수 이미지들은 상이한 노출 레벨들(예,상이한 게인 설정들) 또는 어떤 다른 특징들에서 캡쳐될 것이고 그런다음 특정 특징에 대해 증강된 레인지를 가지는 이미지를 생산하기 위해서 결합될 것이다. 예를 들어, 증강된 이미지는 동시에 캡쳐되는 이미지들의 수에 기반하여 낮은 노출(low exposure)을 가지는 일부 영역, 중간 노출(medium exposure)을 가지는 다른 영역, 높은 노출(high exposure)을 가지는 또 다른 영역으로 생산될 수 있다. 다른 시나리오에서, 동시 이미지들은 상이한 초점 레벨들에서 캡쳐될 수 있다.

다른 실시예에서, 이미지 신호 프로세스 파이프라인내에 프로세스 요소(201,202)에 의해 수행되는 다른 이미지 프로세스는 증강된 연속 오토포커싱(enhanced continuous autofocusing)을 포함하여 많은 상황들(contexts)에서 이용될 수 있는 증강된 오토포커싱 프로세스이다. 증강된 하이 다이나믹 레인지 프로세서를 위한 동작 모드는 이미지 센서들(101)에 의해 동시 이미지들(simultaneous images)이 캡쳐되도록 한다. 이미지 센서들(101) 중 하나(보조 역할(assistive role)에서)는 피사체 초점을 맞출 수 있고, 그런 다음에 제 1 이미지 센서를 위한 최적의 초점을 찾기 위해 전체 초점 레인지(range)를 스캔 할 수 있다. 최적의 초점 레인지는 피사체 이미지를 캡쳐하기 위해 주된 이미지 센서(primary image sensor) 에 의해 사용될 수 있다. 일 시나리오에서, 주된 이미지 센서(101)는 피사체의 비디오 또는 피사체를 포함하는 장면(scene)을 캡쳐할 수 있다. 따라서, 제 2 또는 보조 이미지 센서(101) 덕분에 최적 초점 레인지는 장면 변화들에 따라서 변할 수 있고, 따라서, 주된 이미지 센서(101)에 의해 사용되는 초점은 비디오 캡쳐될 때 조정될 수 있다.

추가적인 실시예들에서, 이미지 신호 프로세싱 파이프라인내에 프로세스 요소들에 의해 수행되는 이미지 프로세스는 증강된 피사계 심도(depth of field) 프로세서이다. 증강된 프로세스를 위한 동작 모드는 이미지 센서들(101)에 의해 동시 이미지들(simultaneous images)이 캡쳐되도록 한다. 이미지 센서들(101)들의 포커싱은 제어 로직(105)에 의해 독립적으로 제어될 수 있다. 따라서, 제 1 이미지 센서는 장면 피사체에 가깝게 초점을 맞추거나 줌(zoom) 될 수 있고 제 2 이미지 센서는 장면 다른 측면의 다른 레벨에서 초점을 맞출 수 있다. 그런다음 이미지 신호 프로세싱 파이프라인내에 이미지 프로세싱은 캡쳐된 이미지를 얻을 수 있고 더 큰 피사계 심도를 가지는 증강된 이미지를 생산하기 위해서 그것들을 결합할 수 있다. 따라서, 다수의 이미지들은 피사계 심도를 효과적으로 확대하기 위해서 결합될 수 있다. 또한 어떤 실시예들에서는 두개이상의 이미저들 또는 이미지 센서들(101)로부터 이미지들을 이용할 수 있다.

다양한 실시예들에서, 다수의 이미지 센서들(101)들은 한 장면에서 동일한 피사체에 초점을 맞추지 않을 수 있다. 예를 들어, 주된 이미저는 한 장면을 캡쳐하고 제 2 카메라는 다른 각도 또는 다른 노출, 다른 게인(gain)등에서 장면을 캡쳐하며, 제 2 이미지는 주된 이미지를 보정 또는 증강하기 위해 사용되는 이미지 센서들(101) 또는 이미저들에 순서(order)가 적용될 수 있다. 대표적인 동작들은 ,한정하는 것이 아닌 포함하는 것인 HDR 캡쳐 및 증가된 디노이즈(denoise)동작들은 한 예로서, 한 프레임을 이용함으로써 다른 것 디노이즈를 돕는 것을 포함한다. 일 실시예로 예시하기 위해서, 두개 동시 이미지들에 캡쳐되는 장면은 캡쳐된 장면을 위한 신호 대 잡음비(signal-to-noise ratio)를 증가하도록 두개 이미지들에 대한 픽셀 값들을 평균함으로써 증강될 수 있다. 또한, 다른 각도들에서 동시에 캡쳐된 다수의 이미지들을 가짐으로써 렌즈 음영(lens shading)의 곡선은 계산(두개(이상) 이미지 센서들 사이에서 이미지 캡쳐들에 동일한 피사체(들)의 위치 차이를 이용)될 수 있고 영향 픽셀들을 보정하는데 이용될 수 있다.

따라서, 추가적인 실시예에서, 이미지 신호 프로세싱 파이프라인내에 프로세스 요소(201,202)에 의해 수행되는 이미지 프로세스는 보정 프로세스(corrective process)이다. 증강된 프로세스를 위한 동작 모드는 이미지 센서들(101)에 의해 동시 이미지들(simultaneous images)이 캡쳐되도록 한다. 각각의 이미저들(101)의 렌즈들은 다른 화각(angle of view)들을 가질 수 있다. 따라서, 이미지 프로세스에서, 다른 화각들에서 캡쳐된 이미지들은 두 이미지들에 차이점을 결정하기 위해서 비교될 수 있다. 예를 들어, 결함이 있는(defective) 하드웨어 또는 장비(equipment)는 캡쳐된 이미지에 가시적인 결함(defect)을 유발할 수 있다. 따라서, 다수의 이미지 센서들(101)로부터 캡쳐된 이미지들에 결함은 상이한 화각들 때문에 두 시야(view)들/이미지들에서 동일한 위치에 있지 않을 것이다. 사소한 차이일 것이고, 그리고 이미지 신호 프로세싱 파이프라인은 실제 이미지로부터 결함을 구별할 수 있고 그리고 어떤 형태의 보정(correction)을 적용할 수 있다.

추가적인 실시예에서, 이미지 신호 프로세싱 파이프라인내에 프로세스 요소(201,202)에 의해 수행되는 이미지 프로세스는 증강된 이미지 해상도(resolution) 프로세스이다. 증강된 프로세스를 위한 동작 모드는 특정 해상도(예, 10메가픽셀(Megapixels))에서 이미지 센서들(101)에 의해 동시 이미지들(simultaneous) 이미지들이 캡쳐되도록 한다. 그런 다음,이미지 신호 프로세싱 파이프라인내에 이미지 프로세싱은 캡쳐된 이미지들을 얻을 수 있고, 증가된 또는 슈퍼(super) 해상도(예, 20메가픽셀)을 가진 증강된 이미지를 생산하기 위해서 그들을 결합할 수 있다. 추가하여, 어떤 실시예들에서는, 캡쳐된 이미지들 중 하나는 다른 캡쳐된 이미지를 개선하기 위해서 사용될 수 있고, 그리고 역으로 사용될 수 있다. 따라서, 다수의 증강된 모노스코픽(monoscopic) 이미지들은 이미지들의 동시 캡쳐(simultaneous capture)로부터 생산될 수 있다.

추가적인 실시예들에서, 이미지 신호 프로세싱 파이프라인내에 프로세스 요소에 의해 수행되는 이미지 프로세스는 증강된 이미지 해상도(resolution) 프로세스이다. 증강된 프로세스를 위한 동작 모드는 낮은 조명(lighting) 조건동안에 이미지 센서들(101)에 의해 동시 비디오 스트림 이미지들을 캡쳐하도록 한다.

카메라 이미지 질(quality)은 낮은 빛 조건들동안에 종종 나빠지는 것을 고려한다. 주변 조명(lighting)은 종종 낮고(low) 그리고 적절한 조명 조건들을 위해 설계된 이미지 센서 어레이들을 위해 적절하지 않다. 그래서, 그런 센서 어레이들은 좋은 노출을 가진 이미지들을 캡쳐하기에는 불충분한 광을 받아서, 어두운 이미지를 초래한다. 아날로그 또는 디지털 게인(analog or digital gain)을 통하여 이것을 보정하기 위한 시도는 다소 도움이 되지만, 근본적인 노이즈(underlying noise)(낮은 조명 조건들에서 더 우세한)를 지나치게 증폭하는 경향이 또한 있다. 한가지 가능한 해결책은 노출 시간을 연장하는 것이지만, 그러나 이것은 손떨림(hand shaking)이 블러링(blurring)을 도입할 수 있기 때문에 실현 가능하지(feasible) 않을 수 있다.다른 통상의 해결책은 큰 개구 렌징(lensing) 및 외부 플래쉬(external flash)를 추가하는 것이다. 전자는 매우 비싸고 그리고 사이즈 낭비 문제 (size consuming proposition)가 있는 반면, 후자는 허용되지 않을 수 있고(예를 들어, 박물관에서) 또는 효과적이지 않을 수 있다(예를 들어, 디스턴스 샷(distance shots)를 위해서). 플래쉬 시스템들(flash systems)은 또한 비용이 많이 들고 그리고 많은 전력을 소모한다.

본 명세서의 선택 실시예들은 다양한 이미지 센서들(101)(예, 적외선(infrared), RGB, 팬크로매틱(panchromatic))의 조합을 이용한다. 예를 들어, 한 이미지 센서는 다른 이미지 센서에 의해 제공되지 않는 이미지 정보를 유리하게 보상할 수 있고, 역일 수도 있다. 따라서, 대부분의 이미지 정보는 주된 이미지 센서에 의해 획득되고, 추가적인 이미지 정보는 필요할 때, 추가적인 이미지 센서(들)로부터 제공되어 이미지 센서들은 동시에 이미지들을 캡쳐할 수 있다.

일 실시예에서, 낮은 빛 이미지 센서들(101) 또는 표준 RGB(베이어 패턴(Bayer pattern)) 이미지 센서 어레이와 협력하여 팬크로매틱(panchromatic) 이미지 센서들(101)이 사용될 수 있다. 팬크로매틱 센서들은 컬러 식별을 위해 RGB 이웃화소(neighbors)에 의존하지만, 더 작은 이미저 다이 사이즈(imager die size) 때문에 단일 RGB 센서 광(photon)의 세 배까지 수신한다. 그런 센서 어레이 설계는 더 큰 이미지 다이 사이즈 때문에 높은 조명 레벨들에서 통상의 RGB 센서를 능가한다. 이미징 디바이스(150)의 일 실시예는 높은 조명 환경(situations)을 위해 RGB 타입 CMOS 또는 CCD 타입 센서 어레이를 이용하고, 두번째 낮은 빛 타입의 센서는 낮은 조명 조건을 위해서 설계된다(예, 완전 팬크로매틱- 단지 흑색 및 백색 휘도(black and white luma only) 또는 인퍼스퍼스트 팬크로매틱(interspersed panchromatic)). 그런 다음, 이미징 디바이스(150)는 현재 조명 조건하에서 이미지를 가장 잘 캡쳐하기 위해서 두 센서들 사이에서 자동으로 스위치한다. 추가하여, 일 일시예에서, 낮은 조명 동안에 동시 이미지들(simultaneous images)이 캡쳐될 수 있다. 특별히, 팬크로매틱 이미저(101) 및 일반 조명 이미지(101)을 이용하여 다수의 이미지들을 캡쳐함으로써, 더 생생한 낮은 빛 이미지를 생산하기 위해서 캡쳐된 이미지들은 서로 관련시키고 결합시킬 수 있다.

예로서, 팬크로매틱 이미지 센서(101)는 낮은 조명 조건하에서 더 높은 프레임 레이트(higher frame rate)로 비디오 스트림(stream)을 캡쳐하는데 사용될 수 있고, 그러나 채도(chroma) 데이터는 그 레이트 절반(half)에서 단지 샘플링된다. 이것은 휘도(luma)보다 더 작은 해상도를 가진 채도를 취급하여 공간적 처리 방법(spatial approach)에 대응관계(counterpart)에 있는 시간적 압축 처리방법(temporal compression approach)에 부합된다. 프로세스 요소(201,202)의 출력은 단일 프레임 시퀀스일 수 있고 또는 후(post) 프로세싱 액세스를 위해 두개의 분리 스트림들을 실제로 포함할 수 있다.

다른 시나리오에서, 모션 블러(motion blur)는 팬크로매틱 이미저(101) 및 일반 조명 이미저(101)을 이용하여 감소될 수 있다. 모션 블러는 피사체가 이미징 디바이스(150) 앞에서 그리고 낮은 빛 조건에서 움직이고 있을때, 예를 들어 낮은 빛 조건을 위해 선택된 노출(exposure)이 촬영되는 피사체의 움직임 또는 이미징 디바이스(150) 자체의 흔들임의 움직임을 캡쳐할 수 있을 때이다. 따라서, 판크로매틱 이미저는 일반 조명 이미저에 의해 캡쳐되는 제 2 이미지보다 작은 노출에서 캡쳐하는데 사용된다. 캡쳐된 이미지들은 보정된 모션 블러를 가지는 이미지를 생산하기 위해서 서로 관련시키고 그리고 결합될 수 있다.

이미징 디바이스(150)의 실시예들은 두개 이미지 센서들을 가지는 것에 한정되지 않고 훨씬 많은 이미지 센서들(101)에 적용될 수 있다. 예를 들어, 태블릿 디바이스는 전단(the front)에 두개의 이미저들을 그리고 디바이스의 후단(the back)에 두개의 이미저들을 가지며 이미저들의 각각으로부터의 이미지(비디오 포함)들은 동시에 캡쳐되고 결과 이미지(resulting image)로 결합된다.

다음 도 3에 관련하여, 일 실시예에서, 파이프라인 프로세싱 로직(104)에 의해 실행되는 이미지 신호 프로세싱 파이프라인은 단일 직선 경로(single linear path) 대신에 병렬 경로들(parallel paths)을 수용한다. 예를 들어, 병렬 경로들은 제 1 경로 및 제 2 경로를 제공할 수 있다. 추가하여, 일 실시예에서, 제 1 경로는 메인 프로세싱 경로(main processing path)를 포함하고, 제 2 경로는 추가 프로세싱 경로(supplemental processing path)를 포함한다. 따라서, 제 1 이미지 센서(101)로부터의 이미지 데이터는 제 1 경로에서 처리되는 동안에, 제 2 이미지 센서(101)로부터의 미가공(raw) 이미지 데이터는 제 2 및 병렬 경로에서 처리될 수 있다. 제 2 경로는 제 1 경로보다 더 작은 스테이지들(stages) 또는 요소들(321,322)을 수용하는 것일 수 있다. 이에 대신하여, 제 1 경로는 제 2 경로에 비교 되었을때 동일한 수의 또는 작은 수의 스테이지들 또는 요소들(311,312)을 수용할 수 있다. 추가하여, 제 2 경로는 파이프라인내에 이미지 분석(image analysis)과 같은 이미지 프로세싱 동안에 처리될 필요가 있는 픽셀들의 양을 줄이기 위해서 이미지의 해상도 다운 변환(resolution down-conversion)을 수반할 수 있다. 병렬 경로들의 장점들은 이미지 센서(들)(101)에 의해 캡쳐된 비디오 이미지들 뿐만 아니라 스틸 이미지들에 적용할 수 있다. 이미지 신호 프로세싱 파이프라인내에 병렬 경로들의 사용은 최종 이미지 질(quality)을 최대화하는 동안에 다수 이미지 데이터의 프로세싱을 동시에 가능하게 한다.

도 4에 관련하여, 이미지 프로세싱 파이프라인의 일 실시예에서, 프로세싱 요소들(411,412)은 메인 이미지(main image)을 위해 적합한 요소들과 제 2 이미지를 위해 적합한 프로세싱 요소들(421,422) 사이에 분할될 수 있다. 따라서, 제 2 이미지는 후속(downstream) 요소들을 위하여 예를들어,작게 또는 크기를 변경하도록 하는 것을 처음에 처리될 수 있다. 일 예로서, 제 2 의 이미지의 경로는 제 2 이미지가 노이즈 감소를 경험하는 것이 요구되는 후속 요소(downstram element) 때문에 노이즈 필터링 요소(noise filtering element)를 수용할 수 있다.

어떤 실시예들에서, 제 1 및 제 2 경로들에 의해 생성되는 이미지들은 메모리(108)에 저장될 수 있고 그리고 뒤를 잇는 다른 절차들(procedures) 및 요소들에 의해 후속 사용이 가능하게 만들 수 있다. 따라서, 일 실시예에서, 메인 이미지가 파이프라인의 메인 경로에서 처리되는 동안에 그 이미지 또는 이전 이미지의 다운사이즈 또는 크기 변경되는 다른 이미지는 메인 경로에 의해 판독될 수 있다. 이것은 파이프라인내에 보다 강력한 프로세싱,예를 들어 노이즈 필터링동안에, 을 가능하게 할 수 있다.

또한, 어떤 실시예들에서, 다수 이미지들에 유사한 픽셀들은 한번에 처리될 수 있고, 그런 다음에 이질적인(disparate) 픽셀들은 별도로 처리될 수 있다. 서로 아주 근접한 두개 이미지 센서들로부터의 동시 캡쳐한 이미지들은 아주 유사할 것이라는 것에 주목한다. 따라서, 제 1 캡쳐된 이미지의 픽셀들은 파이프라인의 메인 경로에서 처리될 수 있다. 추가적으로, 유사한 픽셀들이 제 1 캡쳐된 이미지(이미 처리된)에 또한 수용될 수 있어서 제 2 캡쳐된 이미지에서 유사한 픽셀들은 유사한 마스크(similarity mask)로 식별될 수 있다. 제 2 캡쳐된 이미지에서 유사한 픽셀들의 제거 후에, 잔존하는 픽셀들은 파이프라인의 제 2 경로에서 처리될 수 있다. 중복 처리를 제거함으로써, 이미지 신호 프로세싱 파이프라인에서 상당한 전력 절약이 실현될 수 있다.

추가하여, 어떤 실시예들에서, 제 1 및 제 2 경로들에 생성된 이미지들은 동시에 디스플레이 될 수 있다. 예를 들어, 디스플레이(106)의 한 디스플레이 영역은 비디오(예, 제 1 경로로부터 출력된)를 보여주는데 사용하고 그리고 디스플레이(106)의 제 2 디스플레이 영역은 이미징 디바이스(150)의 인터페이스 상의 정지 버튼(pause button)에 반응하여 그 비디오로부터 스틸 이미지 또는 "스냅-샷(snap-shot)"(제 2 경로로부터 출력된)을 보여주는데 사용할 수 있다. 대안으로, 이미지 프레임은 디스플레이의 분리 스크린(예, 왼쪽 섹션)에서 보여질 수 있고, 다른 이미지 프레임은 디스플레이의 오른쪽 섹션에서 보여질 수 있다. 이미지 디바이스는 유저가 프레임들의 조합(예, 분리 스크린에서 디스플레이 되는 프레임들)을 선택하는 것을 허용하도록 구성될 수 있고 그런 다음 이미지 질(quality) 및 해상도를 개선한 증강된 이미지를 생성하기 위해서 프로세싱 로직(103,104,105)에 의해 비교되고 그리고 결합된다.

위에서 언급한 것처럼, 이미징 디바이스(150)의 실시예들은 디바이스의 인터페이스 요소들로부터 선택 가능한(selectable) 동작 모드들을 사용할 수 있다. 인터페이스 요소들은 디스플레이(106)로부터 선택가능한 그래픽 인터페이스 요소들 또는 이미징 디바이스(150)의 하우징(housing)으로부터 선택가능한 또는 스위치가능한 기계적 버튼들 또는 스위치들을 포함할 수 있다. 일 실시예에서, 유저는 스테레오스코픽(stereoscopic) 동작 모드를 활성화할 수 있고, 거기에서 이미징 디바이스(150)의 프로세싱 로직(103,104,105)은 디스플레이(106) 상에서 볼 수 있는 또는 메모리(108)에 저장될 수 있는, 캡쳐된 이미지들을 이용한 3D 이미지를 생산한다. 유저는 단일 이미지가 캡쳐되고 디스플레이 되거나 또는 메모리(108)에 저장되는 2D 동작 모드를 또한 활성화할 수 있다. 추가하여, 유저는 다수의 이미지들이 캡쳐되고 그리고 볼 수 있거나 메모리(108)에 저장될 수 있는 증강된 특징들(개선된 피사계 심도(depth of field), 증강된 초점(enhanced focus), HDR, 슈퍼-해상도(super-resolution 등)을 가지는 2D 이미지를 생산하기 위해 이용되는 증강된 2D 동작 모드를 활성화 할 수 있다.

이미지 프로세싱에서, 감소된 공간 해상도(spatial resolution)의 손실(expense)이기는 할지라도 개선된 신호 대 잡음비(signal-to-noise ratios)을 제공할 수 있는 비닝(binning)은 인접한 픽셀들로부터 전하가 결합되는 것을 허용한다. 다양한 실시예들에서, 상이한 비닝(binning) 레벨들은 다수의 이미지 센서들의 각각에서 사용될 수 있다. 따라서, 더 나은 해상도는 더 낮은 비닝 레벨을 가지는 이미지 센서로부터 획득할 수 있고, 더 나은 신호 대 잡음비는 더 높은 비닝 레벨을 가지는 이미지 센서로부터 획득될 수 있다. 그런 다음에, 캡쳐된 장면 또는 이미지의 두 버전들(versions)은 이미지의 증강된 버전을 생산하기 위해서 결합될 수 있다.

특별히, 일 실시예에서, 다수 이미지 센서들(101)은 각기 상이한 노출 레벨들을 가지는 다수의 이미지들을 캡쳐한다. 이미지 신호 프로세싱 파이프라인의 프로세스 요소(201,202)는 서로 관련되고 그리고 캡쳐된 이미지들의 상이한 조합들 상에서 하이 다이나믹 레인지를 수행한다. 상이한 조합들로부터의 결과 이미지들은 유저에 디스플레이 될 수 있고 그리고 원하는 최종 이미지로 저장될 수 있고 및/또는 디스플레이 될 수 있을때 유저에 의한 선택을 위해 제공된다. 어떤 실시예들에서, 상이한 노출들을 가지는 이미지들 사이에서 점진적인 또는 계단식의 이동(shifting)이 상이한 가중 조합들을 제공하게 하는 그래픽 인터페이스 슬라이드-바(slide-bar)(또는 다른 유저 인터페이스 제어 요소)가 또한 표시될 수 있다. 비디오를 위해서, 그런 설정(setting)은 모든 프레임들에 걸쳐서 유지될 수 있다.

이미지 신호 프로세싱 파이프라인의 다중화(multiplexing)은 다수의 이미지 센서들(101)을 이용하는 실시예에서 또한 실행될 수 있다. 예를 들어, 도 5에 표시된 것처럼, 단일 이미지 신호 프로세싱 파이프라인에 피사체의 왼쪽 이미지 및 오른쪽 이미지를 전달하는 스테레오스코픽 이미징 디바이스(예,이미징 디바이스(150)의 일 예)를 고려한다. 따라서, 파이프라인 프로세싱 로직(104)내에 단일 이미지 파이프라인은 파이프라인에 병렬로 입력되는 왼쪽 및 오른쪽 이미지들 사이에서 프론트-엔드 프로세싱 로직(103)에 의해 다중화될 수 있다. 대안으로, 증강된 2D 이미지 프로세싱에서, 동시 이미지 캡쳐들은 이미지들 사이에서 다중화(multiplexing)를 통하여 파이프라인에 병렬로 또한 입력될 수 있다.

따라서, 다른 것이 그 전체로서 처리된 후에 이미지들의 하나가 전체로서 처리되는 대신에, 프로세싱 타임이 프론트-엔드 프로세싱 로직(103)에 의해 허용될때 서로들 사이에서 이미지들의 프로세싱을 스위칭함으로써 이미지들이 동시에 처리될 수 있다. 이것은 다른 이미지의 완성까지 이미지의 처리를 지연하지 않음으로써 레이턴시(latency)를 줄일 수 있고 그리고 두 이미지들의 처리를 더 빨리 마친다.

상기 점들을 명심하면서, 도 6 은 위에서 간단하게 언급한 하나 이상의 이미지 프로세싱 기술들을 이용한 이미지 데이터의 처리를 허용할 수 있는 전자 디바이스(650)의 예를 예시하는 블럭 다이어그램이다. 전자 장치(650)은 하나이상의 이미지 센싱 컴포넌트들을 이용하여 획득한 데이터 같은 이미지 데이터를 수신하고 그리고 처리하도록 구성된, 예를 들어 랩탑 또는 데스크탑 컴퓨터, 모바일 폰, 태블릿, 디지털 미디어 플레이어등과 같은, 어떤 형태의 전자 장치일 수 있다.

그것의 형태(예, 휴대용 또는 비-휴대용)에 관계없이, 무엇보다도 위에서 간단하게 논의된 하나이상의 이미지 처리를 이용한 이미지 데이터의 프로세싱을 허용할 수 있는 것을 이용하여야 한다. 어떤 실시예들에서, 전자 장치(650)는 전자 장치(650)의 메모리에 저장된 이미지 데이터에 그런 이미지 프로세싱 기술들을 적용할 수 있다. 추가 실시예들에서, 전자 장치(650)는 하나 이상의 위에서 언급된 이미지 프로세싱 기술들을 이용하는 전자 장치(650)에 의해 처리될 수 있는 이미지 데이터를 획득하도록 구성된, 통합된 또는 외부의 디지털 카메라 또는 이미저(101)과 같은, 다수의 이미징 디바이스들을 포함할 수 있다.

도 6에 보여지는 것처럼, 전자 장치(605)는 디바이스(605)의 기능에 기여하는 다양한 내부의 및/또는 외부의 컴포넌트들을 포함할 수 있다. 도6에서 보여지는 다양한 기능 블럭들은 하드웨어 요소들(회로를 포함하는), 소프트웨어 요소들(컴퓨터 판독 매체에 저장된 컴퓨터 코드를 포함하는) 또는 하드웨어와 소프트웨어 요소들의 조합을 포함할 수 있는 것을 당업자들은 인식할 것이다. 예를 들어, 현재 예시된 실시예에서, 전자 장치(605)는 입력/출력(I/O) 포트들(610), 하나이상의 프로세서들(620), 메모리 디바이스(630), 비휘발성 메모리(non-volatile memory)(640), 네트워킹 디바이스(650), 파워 소스(660) 및 디스플레이(670)를 포함할 수 있다. 추가적으로, 전자 디바이스(605)는 디지털 카메라들 또는 이미저들(101)들 같은 이미징 디바이스(680) 및 이미지 프로세싱 회로(690)를 포함할 수 있다. 아래에 추가로 논의될 것처럼, 이미지 프로세싱 회로(690)는 이미지 데이터를 처리할 때 하나이상의 위에서 논의한 이미지 프로세싱 기술들을 실행하도록 구성될 수 있다. 인식될 수 있는 것처럼, 이미지 프로세싱 회로(690)에 의해 처리되는 이미지 데이터는 메모리(630) 및/또는 비휘발성 저장 디바이스(들)(640)로부터 검색될 수 있고 또는 이미징 디바이스(680)을 이용하여 획득될 수 있다.

계속하기 전에, 도 6에 보여지는 디바이스(605)의 시스템 블럭 다이어그램은 그런 디바이스(605)에 포함될 수 있는 다양한 컴포넌트들을 묘사하는 하이-레벨 제어 다이어그램일 수 있는 것을 이해하여야 한다. 즉, 도 6에서 보여지는 각각의 개별 컴포넌트 사이에 연결 라인들은 디바이스(605)의 다양한 컴포넌트들 사이에서 데이터가 흐르거나 또는 송신되는 경로들 또는 방향들을 반드시 나타내는 것은 아니다. 실제로, 위에서 논의된 것처럼, 묘사된 프로세서(들)(620)는 , 어떤 실시예들에서, 예를 들어 메인 프로세서(예,CPU) 및 전용 이미지 및/또는 비디오 프로세서들와 같은 다수의 프로세서들을 포함할 수 있다. 그런 실시예들에서, 이미지 데이터의 프로세싱은 이런 전용 프로세서들에 의해 우선적으로 취급될 수 있고, 따라서 메인 프로세서(CPU)로부터 그런 과제들(tasks)을 효과적으로 오프로딩(offload)할 수 있다.

다음 도 7와 관련하여, 다양한 실시예들에 따라 이미지 프로세싱 회로(100) 부분의 동작의 일 예를 제공하는 플로우챠트를 보여준다. 도7의 플로우챠트는 명세서에서 서술된 이미지 프로세싱 회로(100)의 부분의 동작을 실행하기 위해 채용될 수 있는 많은 상이한 타입의 기능 방식들(arrangements)의 일 예를 단순히 제공하는 것을 이해하여야 한다. 하나의 대안으로서, 도7의 플로우챠트는 하나이상의 실시예들에 따라 전자 디바이스(605)(도 6)에서 실행되는 방법의 단계들의 일 예를 묘사하는 것으로 보여질 수 있다.

Step 702에 시작은, 다수의 이미지들은 적어도 제 1 이미지와 제 2 이미지를 포함하여 제어 로직(105)은 이미지 센서들(101)로부터 다수 이미지들의 동시 캡쳐를 트리거하거나 개시한다. 제 1 이미지는 제 2 이미지의 이미징 특징과 다른 이미징 특징 또는 설정(setting)을 수용한다. 가능한 이미징 특징들은 노출 레벨들(exposure levels), 초점 레벨들(focus levels), 피사계 심도 설정들(depth of field settings), 화각(angle of views 등을 포함한다. Step 704에서, 프로세싱 로직(103,104)는 제 1 및 제 2 이미지들의 질(quality)을 가지는 증강된 이미지를 생산하기 위해서 최소한 제 1 및 제 2 이미지들 또는 제 1 및 제 2 이미지들의 부분들을 결합한다. 예로서, 증강된 이미지는 제 1 및 제 2 이미지들로부터 피사계 심도, 제 1 및 제 2 이미지들로부터 노출 레벨들, 제 1 및 제 2 이미지들의 결합된 해상도를 가지는 부분들을 수용할 수 있다. Step 706에서, 증강된 이미지는 프로세싱 로직의 이미지 신호 프로세싱 파이프라인으로부터 출력되고 그리고 디스플레이를 위해서 제공된다.

다음 도 8과 관련하여, 다양한 실시예들에 따라 이미지 프로세싱 회로(100)부분의 동작의 추가적인 예를 제공하는 플로우 챠트를 보여준다. Step 802에 시작에서, 다수 이미지들은 적어도 제 1 이미지 및 제 2 이미지를 포함하여 제어 로직(105)은 이미지 센서들(101)로부터 다수 이미지들의 동시 캡쳐를 트리거한다. 제 1 이미지는 제 2 이미지의 이미징 특징과 다른 이미징 특징 또는 설정(setting)을 수용한다. 추가하여, 다른 특징 또는 설정 때문에, 한 이미지는 다른 이미지에 존재하지 않는 이미지 저하(degradation)을 수용할 수 있다. 예를 들어, 만약 한 이미지가 다른 이미지보다 더 긴 노출을 가지면, 그러면 비록 다른 이미지가 낮은 조명 레벨들과 같은 다른 원하지 않은 특징들을 가질 수 있을지라도, 긴 노출을 가지는 이미지는 다른 이미지에서 캡쳐되지 않는 모션 블러(motion blur) 저하(degradation)를 아마 가질 수 있다. Step 804에서, 프로세싱 로직(104)은 제 1 이미지에서 이미지 저하를 감지하기 위해서 적어도 제 1 및 제 2 이미지들 또는 제 1 및 제 2 이미지들의 부분을 비교하고, 다음 Step 806에서, 파이프라인 프로세싱 로직(104)은 제 1 및 제 2 이미지들의 질(quality)을 가지는 증강된 이미지를 생산하고 이미지 저하를 보상한다. 증강된 이미지는 파이프라인 프로세싱 로직(104)의 이미지 신호 프로세싱 파이프라인으로부터 출력되고 그리고 Step 808에서 디스플레이를 위해서 제공된다. 대안적인 실시예에서, 하나의 캡쳐된 이미지는 제 2 이미지에서 이미지 저하 또는 결함을 감지하기 위해서 사용될 수 있고, 그리고 제 2 이미지는 제 1 이미지에서 이미지 저하/결함을 감지하기 위해서 사용될 수 있어서 다수의 증강된 이미지들은 출력될 수 있다.

도 9에서, 다양한 실시예들에 따라 이미지 프로세싱 회로(100) 부분의 동작의 추가적인 예를 제공하는 플로우 챠트를 보여준다. Step 902에 시작에서, 제어 로직(105)은 캡쳐된 이미지들이 디스플레이(106) 상에 보여질 수 있거나 또는 메모리(108)에 저장될 수 있는 3D 이미지를 생산하기 위해서 사용되는 이미징 디바이스(150)을 위한 스테레오스코픽 모드 동작을 활성화한다. 일 실시예에서는 유저는 스테레오스코픽 모드 동작을 활성화하는 제어 로직(105)을 위한 명령어를 생성할 수 있다. 대안적인 실시예에서, 제어 로직(105)은 스테레오스코픽 동작 모드를 자동으로 활성화할 수 있도록 구성할 수 있다.

부응하여, Step 904에서, 제어로직(105)은 단일 이미지가 캡쳐되고, 디스플레이 되거나 또는 메모리(108)에 저장되는 이미징 디바이스(150)을 위한 2D 또는 모노스코픽 모드 동작을 활성화한다. 일 실시예에서, 유저는 2D 모드 동작의 활성화하는 제어 로직(105)을 위한 명령어를 생성할 수 있다. 대안적인 실시예에서, 제어 로직(105)은 유저의 프롬프팅(prompting) 없이 2D 동작 모드를 자동으로 활성화할 수 있도록 구성할 수 있다.

추가로, Step 906에서, 제어 로직(105)는 볼 수 있거나 또는 메모리(108)에 저장될 수 있는 증강된 특징(예, 개선된 피사계 심도(depth of field), 증강된 초점, HDR, 슈퍼-해상도(resolution))을 가지는 2D 이미지를 생산하기 위해서 다수 이미지들이 캡쳐되고 그리고 사용되는 이미징 디바이스(150)를 위한 증강된 2D 또는 모노스코픽 모드 동작을 활성화한다. 추가적으로, 다양한 실시예들에서, 이미지 프로세싱의 출력들 중 하나는 증강된 이미지가 아닐 수 있고, 그리고 증강된 이미지를 위한 피사계 심도(depth of field)와 같은 이미지 정보일 수 있다. 일 실시예에서, 유저는 증강된 2D 증강 모드를 활성화하기 위해서 제어 로직(105)를 위한 명령어를 생성할 수 있다. 대안적인 실시예에서, 제어 로직(105)는 유저의 프롬프팅(prompting)없이 증강된 2D 동작 모드를 자동으로 활성화하도록 구성할 수 있다.

플로우챠트들에서 임의의 프로세스 서술 또는 블럭들은 프로세스에서 특정 논리적인 기능들을 실행하기 위한 하나이상의 실행 가능한 지시들(instructions)을 포함하는 모듈들, 세그먼트들, 코드의 부분들을 나타내는 것으로 이해되어야 하고, 그리고 대안적인 실행들은 당업자에게 이해되는 것처럼 수반된 기능성(functionality)에 기반하여 보여지거나 논의된 것으로부터 순서가 바뀌어서(out of order),실제적으로 동시에 또는 역순(reverse order)을 포함, 기능들이 실행될 수 있는 본 명세서의 실시예들의 범위(scope)에 포함될 수 있다.

본 명세서의 내용(context)에서, "컴퓨터 판독 매체(computer readable medium)"는 지시(instruction) 실행 시스템, 장치 또는 디바이스와 연결하거나 또는 지시 실행 시스템, 장치 또는 디바이스에 의한 사용을 위해 프로그램을 수용(contain),저장(store), 통신(communicate) 또는 전송(transport)할 수 있는 어떤 수단들 일 수 있다. 컴퓨터 판독 매체는 ,한정하는 것은 아니지만 예로서, 전자(electronic), 자기(magnetic), 광(optical), 전자기(electromagnetic), 적외선(infrared) 또는 반도체 시스템, 장치 또는 디바이스일 수 있다. 컴퓨터 판독 매체의 더 특정한 예(비완전 목록(nonexhaustive list)들은 아래 : 하나 이상의 와이어들(wires)을 가지는 전기 연결(전자), 휴대용 컴퓨터 디스켓(자기), 랜덤 액세스 메모리(RAM : Random Access Memory)(전자), 판독전용 메모리(ROM : Read-Only Memory)(전자), 이피롬 또는 플래쉬 메모리(EPROM : erasable programmable read-only memory or Flash memory)(전자), 광 파이버(optical fiber)(광), 휴대용 시디롬(CDROM : Compact Disc Read-0nly Memory)(광)을 포함한다. 추가하여,어떤 실시예들의 범위는 하드웨어 또는 소프트웨어-구성 매체들에 로직 구체화된 실시예들의 기능성을 구체화하는 것을 포함한다.

상기-서술된 실시예들은 단순히 실행들의 가능한 예들이고, 단순히 본 명세서의 원리들의 명확한 이해를 위해 제시된 것이 강조되어야 한다. 많은 변화들 및 변경(modifications)들이 실제적으로 본 명세서의 사상 및 원리에서 벗어나지 않고 상기 서술된 실시예들로 만들어 질 수 있다. 모든 그런 변경들 및 변화들은 본 명세서의 범위내에 포함되어야 하고 그리고 다음 청구항에 의해 보호되어야 함을 주장한다.

Claims (15)

1. 제 1 이미지 레코딩(recording)을 위한 제 1 이미지 센서;
   제 2 이미지 레코딩(recording)을 위한 제 2 이미지 센서;
   상기 제 1 이미지 센서에 의한 상기 제 1 이미지 및 상기 제 2 이미지 센서에 의한 상기 제 2 이미지의 동시 캡쳐(simultaneous capture)를 개시하는 제어 프로세싱 회로(control processing circuitry); 및
   적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 포함하는 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 이미지 프로세싱 회로(image processing circuitry);를 포함하되,
   상기 제어 프로세싱 회로는
   스테레오스코픽 이미지(stereoscopic image)를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 스테레오스코픽 모드에서 동작하고, 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서의 단일 동작을 이용하는 모노스코픽 모드에서 동작하고, 상기 증강된 모노스코픽 이미지를 생성하기 위해서 상기 제 1 이미지 센서 및 상기 제 2 이미지 센서의 동시 동작을 이용하는 증강된 모노스코픽 모드에서 동작하도록 구성되며, 상기 모노스코픽 모드, 상기 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 구성되며,
   상기 이미지 프로세싱 회로는
   상기 제 1 이미지를 이용하여 상기 모노스코픽 이미지를 생성하고, 상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 상기 스테레오스코픽 이미지(stereoscopic image)를 추가로 생성하며,
   상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되는, 이미지 캡쳐 디바이스.
2. 청구항 1 에 있어서, 상기 증강된 모노스코픽 이미지는
   상기 제 1 이미지로부터 획득된 제 1 부분 및 상기 제 2 이미지로부터 획득된 제 2 부분을 포함하고,
   상기 제 1 부분은 상기 제 2 부분과 다른 노출 레벨을 가지는 것 또는 상기 제 2 부분과 다른 피사계 심도(depth of field)를 가지는 것 중에 적어도 하나를 포함하는, 이미지 캡쳐 디바이스.
3. 청구항 1 에 있어서,
   상기 증강된 모노스코픽 이미지의 해상도(resolution)는
   상기 제 1 이미지 및 상기 제 2 이미지의 개별 해상도들 보다 더 큰 것인, 이미지 캡쳐 디바이스.
4. 삭제
5. 삭제
6. 삭제
7. 청구항 1 에 있어서,
   상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 이용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지의 적어도 하나의 이미지 특성을 증가하기 위한 증강 데이터(enhancement data)로서 사용되고,
   상기 증강된 모노스코픽 이미지는 적어도 하나의 개선된 특징을 가지는 상기 제 1 이미지를 포함하는, 이미지 캡쳐 디바이스.
8. 청구항 1 에 있어서,
   상기 이미지 프로세싱 회로는 제 1 프로세싱 경로에서 상기 제 1 이미지 및 상기 제 2 이미지에 의해 공유된 유사한 픽셀들(similar pixels)을 처리하고, 제 2 프로세싱 경로에서 상기 제 2 이미지의 비유사한 픽셀들(dissimilar pixels)을 처리하는, 이미지 캡쳐 디바이스.
9. 청구항 1 에 있어서,
   상기 제 1 이미지 센서는 상기 동시 캡쳐(simultaneous capture) 동안에 상기 제 2 이미지 센서가 동작하는 제 2 비닝 레벨(binning level)과 다른 상기 동시 캡쳐 동안에 제 1 비닝 레벨(binning level)에서 동작하는, 이미지 캡쳐 디바이스.
10. 제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩(recording)하는 단계;
    제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩(recording)하는 단계로서, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐되는 상기 제 2 이미지를 레코딩(recording)하는 단계;
    적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교하는 단계;
    상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성하는 증강된 모노스코픽 모드 단계;
    상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 스테레오스코픽 이미지(stereoscopic image)를 생성하는 스테레오스코픽 모드 단계; 및
    상기 제 1 이미지를 이용하여 모노스코픽 이미지를 생성하는 모노스코픽 모드 단계;를 포함하되
    상기 모노스코픽 모드, 상기 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 구성되며,
    상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되는, 이미지 프로세싱 방법.
11. 청구항 10 에 있어서,
    상기 제 1 이미지는 상기 증강된 모노스코픽 이미지를 위한 이미지 데이터로서 사용되고 그리고 상기 제 2 이미지는 상기 제 1 이미지의 적어도 하나의 이미지 특성을 증가하기 위한 증강 데이터(enhancement data)로서 사용되고,
    상기 증강된 모노스코픽 이미지는 적어도 하나의 개선된 특성을 가지는 상기 제 1 이미지를 포함하는, 이미지 프로세싱 방법.
12. 청구항 11 에 있어서,
    상기 적어도 하나의 개선된 특성은
    개선된 피사계 심도(depth of field), 개선된 해상도(resolution) 또는 개선된 노출 레벨(exposure level) 중 적어도 하나를 포함하는, 이미지 프로세싱 방법.
13. 삭제
14. 청구항 10 에 있어서,
    상기 결함은 렌즈 음영 결함(lens shading defect)을 포함하는, 이미지 프로세싱 방법.
15. 하드웨어 프로세서에 의해 실행될때
    상기 하드웨어 프로세서가
    제 1 이미지 센서에 의해 캡쳐된 제 1 이미지를 레코딩하고;
    제 2 이미지 센서에 의해 캡쳐된 제 2 이미지를 레코딩하되, 상기 제 1 이미지 및 상기 제 2 이미지는 동시에 캡쳐되며;
    적어도 상기 제 1 이미지 및 상기 제 2 이미지의 부분들을 비교하고; 및
    상기 제 1 이미지 및 상기 제 2 이미지의 비교 결과에 반응하여 증강된 모노스코픽 이미지(monoscopic image)를 생성;
    상기 제 1 이미지 및 상기 제 2 이미지를 이용하여 스테레오스코픽 이미지(stereoscopic image)를 생성; 및
    상기 제 1 이미지를 이용하여 모노스코픽 이미지를 생성;하도록 동작하고,
    상기 모노스코픽 이미지를 생성하는 모노스코픽 모드, 상기 스테레오스코픽 이미지를 생성하는 스테레오스코픽 모드 또는 상기 증강된 모노스코픽 이미지를 생성하는 증강된 모노스코픽 모드의 적어도 두 개를 포함하는 동작 모드들 사이에서 자동으로 스위치하도록 동작하며,
    상기 증강된 모노스코픽 이미지는 상기 제 1 이미지에서의 결함(defect)이 제거된 상기 제 1 이미지의 보정된 버전(version)으로, 상기 제 2 이미지는 상기 제 1 이미지에서의 상기 결함(defect)을 격리하기 위해서 상기 제 1 이미지와 비교되고 그리고 분석되도록 하는, 이미지 프로세싱 프로그램을 가지는 컴퓨터 판독 가능한 매체.

Images