KR20210035369A

KR20210035369A - 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치

Info

Publication number: KR20210035369A
Application number: KR1020190116781A
Authority: KR
Inventors: 이수영; 이정욱; 김대중; 성환순; 양현석; 이은직; 이주형; 정수만
Original assignee: 삼성전자주식회사
Priority date: 2019-09-23
Filing date: 2019-09-23
Publication date: 2021-04-01
Also published as: CN112543291A; US11288782B2; US20210090222A1; JP2021052396A

Abstract

복수의 이미지 센서 블록들을 이용하여 HDR 처리를 수행하는 전자 장치가 개시된다. 제 1 이미지 센서 블록은 제 1 화각으로 객체를 촬영하여 제 1 신호를 생성한다. 제 2 이미지 센서 블록은 상기 제 1 화각보다 큰 제 2 화각으로 객체를 촬영하여 제 2 신호를 생성한다. 이미지 신호 프로세서는 제 1 신호에 기반하여 제 1 이미지 데이터를 생성하고 제 2 신호에 기반하여 제 2 이미지 데이터를 생성한다. 메인 프로세서는 제 2 이미지 데이터 중 제 1 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하고, 제 1 이미지 데이터와 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행한다.

Description

복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 HDR 처리를 수행하기 위한 전자 장치{ELECTRONIC DEVICE FOR PERFORMING VIDEO HDR PROCESS BASED ON IMAGE DATA OBTAINED BY PLURALITY OF IMAGE SENSORS}

본 발명은 전자 장치에 관한 것으로, 좀 더 상세하게는, 복수의 이미지 센서들에 기반하여 비디오 HDR을 구현하기 위한 전자 장치에 관한 것이다.

이미지 촬영 장치는 객체(Object) 및 배경(Background)을 포함하여 사용자에 의해 의도되는 이미지를 촬영하기 위해 이용된다. 이미지 촬영 장치는 빛을 수집하고 이미지와 관련되는 신호를 생성하기 위해 다양한 전자 회로를 포함하고, 전자 회로들의 동작들에 따라 이미지를 촬영하는 서비스를 사용자에게 제공한다.

한편, 이미지 촬영 장치가 널리 보급되고 많은 사용자에 의해 이용되고 있다. 따라서, 이미지 촬영 장치의 성능 및 용도와 관련하여 사용자들의 다양한 요구사항을 충족시키는 것이 필요하게 되었다.

예로서, 사용자의 만족도를 높이기 위해, 이미지 촬영 장치의 처리 성능 및 동작 속도를 높이는 것이 요구될 수 있다. 예로서, 이미지 촬영 장치에 의해 소모되는 전력을 줄이기 위해, 이미지 촬영 장치의 동작 방식을 적절하게 제어하는 것이 요구될 수 있다. 이처럼, 사용자들의 다양한 요구사항을 충족시키기 위해, 이미지 촬영 장치의 구조 및 동작을 개선하기 위한 방법들이 제안되고 있다.

본 발명은 복수의 이미지 센서에 의해 획득되는 이미지 데이터에 기초하여 비디오 HDR(High Dynamic Range) 처리를 수행하도록 구성되는 전자 장치를 제공할 수 있다.

본 발명의 실시 예에 따른 전자 장치는 제 1 이미지 센서, 제 2 이미지 센서, 및 프로세서를 포함할 수 있다. 제 1 이미지 센서는, 대상 이미지에 대한 제 1 밝기 값의 제 1 이미지 데이터를 출력할 수 있다. 제 2 이미지 센서는, 대상 이미지에 대한 제 2 밝기 값의 제 2 이미지 데이터를 출력할 수 있다. 프로세서는, 제 1 이미지 데이터에 대한 제 1 동작을 수행하여 획득되는 제 3 이미지 데이터, 및 제 2 이미지 데이터에 대한 제 2 동작을 수행하여 획득되는 제 4 이미지 데이터에 기초하여, HDR 처리를 수행할 수 있다. 제 1 동작이 제 1 이미지 데이터의 크기를 변경하는 동작을 포함하거나 제 2 동작이 제 2 이미지 데이터의 크기를 변경하는 동작을 포함할 수 있다.

본 발명의 실시 예에 따르면, 복수의 이미지 센서에 의해 HDR(High Dynamic Range) 처리에 사용될 이미지 데이터가 획득됨으로써 HDR 처리가 효율적으로 수행될 수 있다.

도 1은 본 발명의 실시 예에 따른 전자 회로를 포함하는 전자 장치의 예시적인 구성을 보여주는 블록도 이다.
도 2는 도 1의 이미지 처리 블록의 예시적인 구성을 도시한다.
도 3은 도 2의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도 이다.
도 4는 도 도 3의 이미지 센서 블록들의 예시적인 특성을 보여주는 개념도 이다.
도 5는 도 2의 이미지 센서 블록들 및 메인 프로세서의 동작을 설명하기 위한 타이밍도 이다.
도 6은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 7은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 8은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 9는 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 10은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 11은 본 개시의 HDR 처리를 위한 동작들을 개념적으로 도시한다.
도 12는 본 개시의 이미지 처리 방법을 도시하는 순서도이다.
도 13은 도 1의 이미지 처리 블록의 예시적인 구성을 보여주는 블록도 이다.
도 14는 도 13의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도이다.
도 15는 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 16은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.
도 17은 줌 팩터에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다.
도 18은 제 1 줌 모드에서의 이미지 센서 블록들의 동작을 개념적으로 도시한다.
도 19은 제 2 줌 모드에서의 이미지 센서 블록들의 동작을 개념적으로 도시한다.
도 20은 도 13의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도 이다.
도 21은 줌 팩터에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다.
도 22은 줌 팩터에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다.
도 23 은 도 13의 유저 인터페이스를 통해 입력되는 명령에 따라 배율이 조정되는 예시적인 방법을 설명하기 위한 개념도이다.

이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 본 명세서에서, 객체(object), 배경(background), 풍경(scenery) 등은 도 1 내지 도 18을 참조하여 설명될 전자 장치에 의해 획득될 이미지 데이터의 대상(예컨대, 촬영 동작의 대상)이 될 대상 이미지를 의미할 수 있다.

도 1은 본 발명의 실시 예에 따른 전자 회로를 포함하는 전자 장치의 예시적인 구성을 보여주는 블록도 이다.

전자 장치(1000)는 다양한 전자 회로를 포함할 수 있다. 예로서, 전자 장치(1000)의 전자 회로들은 이미지 처리 블록(1100), 통신 블록(1200), 오디오 처리 블록(1300), 버퍼 메모리(1400), 불휘발성 메모리(1500), 유저 인터페이스(1600), 센서(1700), 메인 프로세서(1800), 및 전력 관리기(1900)를 포함할 수 있다.

이미지 처리 블록(1100)은 렌즈(1110), 이미지 센서(1120), 및 이미지 신호 프로세서(1150)를 포함할 수 있다. 예로서, 빛이 사용자에 의해 의도되는 외부 객체, 배경, 풍경 등에 의해 반사될 수 있고, 렌즈(1110)는 반사된 빛을 수신할 수 있다. 이미지 센서(1120)는 렌즈(1110)를 통해 수신되는 빛에 기초하여 전기 신호를 생성할 수 있다. 이미지 신호 프로세서(1150)는 이미지 센서(1120)에 의해 생성되는 전기 신호를 적절히 처리하여 외부 객체, 배경, 풍경 등의 이미지와 관련되는 이미지 데이터를 생성할 수 있다. 이하 설명의 용이함을 위해, '객체'라 함은 촬영의 대상이 되는 객체뿐만 아니라, 배경, 풍경 등을 모두 일컫는 것으로 한다.

이미지 센서(1120)는 행들 및 열들을 따라 배열되고 빛을 전기 신호로 변환할 수 있는 픽셀들을 포함할 수 있다. 전기 신호의 특성(예컨대, 전류 세기, 전압 크기 등)은 수신되는 빛의 특성(예컨대, 세기)에 따라 가변할 수 있다. 예로서, 이미지 센서(1120)는 CCD(Charge Coupled Device) 센서, CMOS(Complementary Metal Oxide Semiconductor) 센서 등일 수 있다.

도 1은 하나의 렌즈(1110) 및 하나의 이미지 센서(1120)를 보여준다. 그러나, 몇몇 실시 예에서, 이미지 처리 블록(1100)은 복수의 렌즈 및 복수의 이미지 센서를 포함할 수 있다. 복수의 이미지 센서는 상이한 기능들, 상이한 성능들, 및/또는 상이한 특성들을 갖도록 제공될 수 있다. 예로서, 복수의 이미지 센서들은 서로 다른 화각(field of view; FOV)을 갖는 복수의 렌즈들을 각각 포함할 수 있다.

이미지 신호 프로세서(1150)는 본 개시에서 설명되는 동작들을 수행하도록 구성되는 하드웨어 회로(예컨대, 아날로그 회로 및 논리 회로 등)를 포함할 수 있다. 추가로 또는 대안적으로, 이미지 신호 프로세서(1150)는 하나 이상의 프로세서 코어를 포함할 수 있고, 본 개시에서 설명되는 동작들을 제공하도록 구성되는 프로그램 코드를 실행할 수 있다

도 1은 이미지 신호 프로세서(1150)가 이미도 처리 블록(1100)에 포함되는 것을 보여준다. 그러나, 몇몇 실시 예에서, 이미지 신호 프로세서(1150)는 이미지 센서(1120)의 일부분으로서 제공되거나, 이미지 처리 블록(1100)과 별개인 회로 또는 칩 상에 제공되거나, 및/또는 메인 프로세서(1800)의 일부분으로서 제공될 수 있다. 본 개시가 도 1의 도시로 한정됨 없이 다양하게 변경 또는 수정될 수 있음이 잘 이해될 것이다.

통신 블록(1200)은 안테나(1210)를 통해 외부 장치/시스템과 신호를 교환할 수 있다. 통신 블록(1200)의 송수신기(1220) 및 MODEM(Modulator/Demodulator, 1230)은 다양한 통신 규약에 따라, 교환되는 신호를 처리할 수 있다. 예로서, 통신 블록(1200)의 송수신기(1220) 및 MODEM(1230)은 LTE(Long Term Evolution), WIMAX(Worldwide Interoperability for Microwave Access), GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), Bluetooth, NFC(Near Field Communication), Wi-Fi(Wireless Fidelity), RFID(Radio Frequency Identification) 등과 같은 무선 통신 규약에 따라, 외부 장치/시스템과 교환되는 신호를 처리할 수 있다.

오디오 처리 블록(1300)은 오디오 신호 처리기(1310)를 이용하여 소리 정보를 처리할 수 있다. 오디오 처리 블록(1300)은 마이크(1320)를 통해 오디오 입력을 수신하거나, 스피커(1330)를 통해 오디오를 출력할 수 있다.

버퍼 메모리(1400)는 전자 장치(1000)의 동작에 이용되는 데이터(예컨대, 메인 프로세서(1800)에 의해 처리된 또는 처리될 데이터)를 일시적으로 저장할 수 있다. 예로서, 버퍼 메모리(1400)는 SRAM(Static Random Access Memory), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM), PRAM(Phase-change RAM), MRAM(Magneto-resistive RAM), ReRAM(Resistive RAM), FRAM(Ferro-electric RAM) 등과 같은 휘발성/불휘발성 메모리를 포함할 수 있다. 예로서, 이미지 처리 블록(1100)에 의해 촬영된 이미지 또는 이미지들로 구성된 비디오는 버퍼 메모리(1400)에 저장될 수 있다. 버퍼 메모리(1400)에 저장된 이미지 또는 비디오는 메인 프로세서(1800)에 의해 HDR 처리될 수 있다.

불휘발성 메모리(1500)는 전력 공급에 관계없이 데이터를 저장할 수 있다. 예로서, 불휘발성 메모리(1500)는 플래시 메모리, PRAM, MRAM, ReRAM, FRAM 등과 같은 불휘발성 메모리를 포함할 수 있다. 예로서, 불휘발성 메모리(1500)는 HDD (Hard Disk Drive), SSD (Solid State Drive), SD (Secure Digital) 카드, 및 UFS (Universal Flash Storage) 카드 등과 같은 착탈식 메모리, 및/또는 eMMC (Embedded Multimedia Card) 등과 같은 내장(Embedded) 메모리를 포함할 수 있다.

유저 인터페이스(1600)는 사용자와 전자 장치(1000) 사이의 통신을 중재할 수 있다. 예로서, 유저 인터페이스(1600)는 키패드, 버튼, 터치 스크린, 터치 패드, 비전 센서, 모션 센서, 자이로스코프 센서 등과 같은 입력 인터페이스를 포함할 수 있다. 예로서, 유저 인터페이스(1600)는 LCD(Liquid Crystal Display) 장치, LED(Light Emitting Diode) 표시 장치, OLED(Organic LED) 표시 장치, AMOLED(Active Matrix OLED) 표시 장치, 모터, LED 램프 등과 같은 출력 인터페이스를 포함할 수 있다.

센서(1700)는 전자 장치(1000)의 외부에서 제공되는 다양한 형태의 물리 에너지를 감지할 수 있다. 예로서, 센서(1700)는 온도, 음성, 빛과 같은 물리 에너지의 전달 매체를 감지할 수 있다. 예로서, 센서(1700)는 조도(illuminance)를 감지하여 감지된 조도를 나타내는 데이터를 메인 프로세서(1800)로 전달할 수 있다.

메인 프로세서(1800)는 전자 장치(1000)의 전반적인 동작들을 제어하기 위해 다양한 연산을 처리할 수 있다. 예로서, 메인 프로세서(1800)는 범용 프로세서, 전용 프로세서, 또는 어플리케이션 프로세서(Application Processor)로 구현될 수 있고, 하나 이상의 프로세서 코어를 포함할 수 있다. 예로서, 메인 프로세서(1800)는 전자 장치(1000) 외부의 객체에 대한 이미지 데이터를 획득하기 위해 이미지 처리 블록(1100)을 제어할 수 있다. 예로서, 메인 프로세서(1800)는 센서(1700)로부터 제공되는 정보에 기초하여 이미지 처리 블록(1100)을 제어할 수 있다.

전력 관리기(1900)는 배터리 및/또는 외부 전원으로부터 수신되는 전력을 적절하게 변환할 수 있다. 전력 관리기(1900)는 변환된 전력을 전자 장치(1000)의 구성 요소들로 공급할 수 있다.

다만, 도 1에 나타낸 예시적인 구성 요소들은 더 나은 이해를 가능하게 하기 위해 제공되고, 본 개시를 한정하도록 의도되지는 않는다. 전자 장치(1000)는 도 1에 나타낸 구성 요소들 중 하나 이상을 포함하지 않을 수 있고, 또는 도 1에 나타내지 않은 적어도 하나의 구성 요소를 더 포함할 수 있다.

도 2는 도 1의 이미지 처리 블록의 예시적인 구성을 도시한다.

이미지 처리 블록(1100)은 이미지 센서 블록들(1101, 1102) 및 이미지 신호 프로세서(1150)를 포함할 수 있다. 이미지 처리 블록(1100)의 동작을 용이하게 설명하기 위해, 사용자 인터페이스(1600), 조도 센서(1710), 및 메인 프로세서(1800)도 함께 도시되었다. 예로서, 조도 센서(1710)는 도 1의 센서(1700)의 일부로서 구현될 수 있다.

이미지 처리 블록(1100)은 이미지 센서들(1121, 1122)을 포함하는 듀얼(Dual) 센서 구조로 구현될 수 있다. 예로서 제 1 이미지 센서 블록(2100)은 제 1 렌즈(1111), 제 1 액츄에이터(Actuator)(1141), 및 제 1 이미지 센서(1121)를 포함할 수 있다. 제 2 이미지 센서 블록(1102)은 제 2 렌즈(1112), 제 2 액츄에이터(1142), 및 제 2 이미지 센서(1122)를 포함할 수 있다.

예로서, 객체(10)는 전자 장치(1000)의 사용자가 촬영하고자 의도하는 대상일 수 있다. 사용자의 요청에 응답하여, 이미지 처리 블록(1100)은 메인 프로세서(1800)의 제어에 따라 객체(10)의 이미지와 관련되는 신호 및 데이터를 생성할 수 있다. 빛이 객체(10)로부터 반사될 수 있고, 반사된 빛은 렌즈들(1111, 1112)을 통해 수신될 수 있다. 예로서, 제 1 렌즈(1111)에 의해 수집되는 제 1 이미지 센서(1121)로 제공될 수 있고, 제 2 렌즈(1112)에 의해 수집되는 빛은 제 2 이미지 센서(1122)로 제공될 수 있다.

렌즈들(1111, 1112)은 다양한 화각으로 촬영의 대상이 되는 객체로부터 빛을 수집하도록 구성될 수 있다. 예로서, 제 1 렌즈(1111)에 의해 빛이 수신되는 화각과 제 2 렌즈(1112)에 의해 빛이 수신되는 화각은 서로 다를 수 있다. 제 1 렌즈(1111)는 제 2 렌즈(1112)에 비해 좁은 화각으로 빛을 수신할 수 있다. 반면, 제 2 렌즈(1112)는 제 1 렌즈(1111)에 비해 넓은 화각으로 빛을 수신할 수 있다.

제 1 이미지 센서(1121)는 제 1 렌즈(1111)로부터 수신된 빛에 기반하여 제　1 신호(D1)를 생성할 수 있으며, 제 2 이미지 센서(1122)는 제 2 렌즈(1112)로부터 수신된 빛에 기반하여 제　2 신호(D2)를 생성할 수 있다. 예로서, 제 1 신호(D1)에 기반하는 제 1 이미지는 객체(10)를 포함하는 비교적 좁은 화각의 이미지와 관련될 수 있으며, 제 2 신호(D2)에 기반하는 제 2 이미지는 비교적 넓은 화각의 이미지와 관련될 수 있다.

이미지 센서들(1121, 1122)은 상이한 기능들, 상이한 성능들, 및/또는 상이한 특성들을 갖도록 제공될 수 있다. 예를 들어, 제 1 이미지 센서(1121)는 상대적으로 좁은 화각을 갖는 제 1 렌즈(1111)에 의해 수신된 빛을 처리할 수 있도록 상대적으로 저해상도의 픽셀 어레이를 포함할 수 있다. 반면, 제 2 이미지 센서(1122)는 상대적으로 넓은 화각을 갖는 제 2 렌즈(1112)에 의해 수신된 빛을 처리할 수 있도록 상대적으로 고해상도의 픽셀 어레이를 포함할 수 있다. 또는 제 1 이미지 센서(1121)의 픽셀 어레이의 해상도와 제 2 이미지 센서(1122)의 픽셀 어레이의 해상도는 동일할 수 있다.

그 결과, 제 1 이미지 센서(1121)로부터 출력된 제 1 신호(D1)에 기반하는 제 1 이미지와 제 2 이미지 센서(1122)에 의해 처리된 제 2 신호(D2)에 기반하는 제 2 이미지의 동적 범위(dynamic range)는 서로 다를 수 있다. 예를 들어, 제 1 신호(D1)에 기반하는 제 1 이미지는 상대적으로 어두운 영역을 많이 포함할 수 있으며, 제 2 신호(D2)에 기반하는 제 2 이미지는 상대적으로 밝은 영역을 많이 포함할 수 있다. 그러나, 제 1 이미지와 제 2 이미지가 가질 수 있는 동적 범위의 속성은 이에 한정되지 않으며, 이미지 센서들(1121, 1122)의 해상도, 조도, 노출 시간 등 다양한 요소에 의존할 수 있다.

몇몇 실시 예에서, 이미지 처리 블록(1100)은 렌즈들(1111, 1112)의 초점 거리들을 조절하기 위해 액츄에이터들(1141, 1142)을 더 포함할 수 있다. 제 1 액츄에이터(1141)는 제 1 렌즈(1111)의 위치를 이동시킬 수 있고, 이에 따라 제 1 렌즈(1111)의 초점 거리가 조절될 수 있다. 제 2 액츄에이터(1142)는 제 2 렌즈(1112)의 위치를 이동시킬 수 있고, 이에 따라 제 2 렌즈(1112)의 초점 거리가 조절될 수 있다. 예를 들어, 액츄에이터들(1141, 1142) 각각은 모바일 액츄에이터일 수 있다.

예로서, 렌즈들(1111, 1112)의 초점 거리들이 상이하도록 액츄에이터들(1141, 1142)에 의해 렌즈들(1111, 1112)의 초점 거리들이 조절될 수 있다. 예로서, 액츄에이터들(1141, 1142)은 렌즈들(1111, 1112)을 이동시키기 위해 모터와 같은 물리 장치를 포함할 수 있다.

그 외에도, 이미지 신호 프로세서(1150)는 신호들(D1, D2)에 대한 다양한 처리를 수행할 수 있다. 예로서, 이미지 신호 프로세서(1150)는 불량 픽셀 보정(Bad Pixel Correction), 디모자이크(Demosaic), 노이즈 제거(Noise Reduction), 렌즈 쉐이딩 보정(Lens Shading Correction), 감마 보정(Gamma Correction), 엣지 인핸스먼트(Edge Enhancement) 등과 같은 다양한 신호 처리를 수행할 수 있다. 이미지 신호 프로세서(1150)에 의해 처리된 신호들은 프로세서(1800)로 출력될 수 있다.

메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 수신되는 신호들에 기초하여 HDR(High Dynamic Range) 처리를 수행할 수 있으며, 그 결과 최종 이미지 데이터가 생성될 수 있다. 메인 프로세서(1800)에 의해 수행되는 예시적인 HDR 처리들은 좀 더 구체적으로 후술될 것이다.

HDR 처리된 이미지 데이터는 메인 프로세서(1800) 내부의 메모리, 버퍼 메모리(1400), 및/또는 불휘발성 메모리(1500)에 저장될 수 있다. HDR 처리된 이미지 데이터는 객체(10)의 형상, 색, 움직임 등과 같은 속성들을 나타낼 수 있다. HDR 처리된 이미지 데이터는 유저 인터페이스(1600)의 출력 인터페이스(예컨대, 표시 장치)를 통하여 사용자에게 제공될 수 있다.

메인 프로세서(1800)는 이미지 센서들(1121, 1122), 이미지 신호 프로세서(1150), 및 액츄에이터들(1141, 1142)의 동작들을 제어할 수 있다. 예로서, 메인 프로세서(1800)는 유저 인터페이스(1600)를 통해 인식되는 사용자 요청(예컨대, 버튼 누름, 화면 터치, 움직임(Motion), 제스처(Gesture) 등)에 응답하여 이미지 센서들(1121, 1122), 이미지 신호 프로세서(1150), 및 액츄에이터들(1141, 1142)의 동작 타이밍들을 제어할 수 있다.

예로서, 촬영 환경의 조도는 조도 센서(1710)에 의해 감지될 수 있다. 메인 프로세서(1800)는 조도 센서(1710)로부터 조도와 관련되는 데이터를 제공받고, 제공되는 데이터에 기초는 제어 신호(FB1, FB2)를 이용하여 이미지 센서 블록들(1101, 1102)을 제어할 수 있다.

예로서, 사용자는 이미지를 촬영하기 위해 "줌-인(Zoom-in)" 또는 "줌-아웃(Zoom-out)"의 정보를 유저 인터페이스(1600)의 입력 인터페이스로 입력할 수 있다. 줌-인 정보는 객체를 좁은 화각으로 촬영하는 것과 관련될 수 있고, 줌-아웃의 정보는 객체를 넓은 화각으로 촬영하는 것과 관련될 수 있다.

예로서, 줌-인 또는 줌-아웃의 정보는 줌 배율의 정보를 포함할 수 있다. 줌 배율은 얼마나 먼 객체가 촬영될 것인지 또는 얼마나 넓은 영역의 객체가 촬영될 것인지 나타내는 값일 수 있다. 메인 프로세서(1800)는 줌 배율의 정보에 기초하여 액츄에이터들(1141, 1142)을 제어할 수 있다.

예로서, 사용자는 줌 배율의 값을 서서히(예컨대, 단계적으로 또는 점진적으로) 증가 또는 감소시키거나 줌 배율의 특정 값을 선택함으로써, 의도된 이미지를 촬영하기 위한 줌 조건을 설정할 수 있다. 이를 위해, 유저 인터페이스(1600)의 입력 인터페이스는 사용자로부터 줌 배율을 수신할 수 있다. 이러한 사용자 줌 팩터(user zoom factor)에 기반하는 HDR 처리는 상세하게 후술될 것이다.

메인 프로세서(1800)는 다양한 프로그램 코드의 명령어 집합들을 실행할 수 있다. 예로서, 메인 프로세서(1800)는 어플리케이션(AP), 카메라 하드웨어 추상화(Abstraction) 계층(HAL), 카메라 드라이버(DRV), 이미지 처리 라이브러리(LIB) 등의 명령어 집합들을 실행할 수 있다. 어플리케이션(AP)은 사용자의 요청에 응답하여 실행될 수 있고, 예로서, 카메라 어플리케이션, 동영상 제작 어플리케이션 등일 수 있다.

도 3은 도 2의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도 이다.

도 2 및 도 3을 참조하면, 제 1 이미지 센서 블록(1101)은 제 1 화각(FOV1)으로 촬영된 이미지를 생성하기 위한 제 1 이미지 센서(1121) 및 제 2 화각(FOV2)으로 촬영된 이미지를 생성하기 위한 제 2 이미지 센서(1122)를 포함할 수 있다. 나아가, 본 명세서에서, '특정 화각을 갖는 (또는, 특정 화각의) 이미지 또는 이미지 데이터'라 함은, '특정 화각을 갖는 렌즈를 포함하는 이미지 센서로부터 출력되는 이미지 데이터 또는 이미지'를 의미할 수 있다.

실시 예에 있어서, 제 2 화각(FOV2)은 제 1 화각(FOV1)보다 클 수 있다. 따라서, 제 1 이미지 센서 블록(1101)은 비교적 좁은 화각의 이미지를 감지하기 위해 동작하고, 제 2 이미지 센서 블록(1102)은 비교적 넓은 화각의 이미지를 감지하기 위해 동작할 수 있다. 예로서, 제 1 렌즈(1111)는 광각(wide) 렌즈일 수 있으며, 제 2 렌즈(1112)는 초광각(ultra-wide) 렌즈일 수 있다. 또는, 제 1 렌즈(1111)는 망원(tele) 렌즈 일 수 있으며, 제 2 렌즈(1112)는 광각(wide) 렌즈일 수 있다.

예로서, 제 1 이미지 센서 블록(1101)은 제 1 화각(FOV1)에 대응하는 영역(R1) 내의 객체에 의해 반사된 빛을 수신하고, 수신된 빛에 기초하여 제 1 신호(D1)를 생성할 수 있다. 제 2 이미지 센서 블록(1102)은 제 2 화각(FOV2)에 대응하는 영역(R2) 내의 객체에 의해 반사된 빛을 수신하고, 수신된 빛에 기초하여 제 2 신호(D2)를 생성할 수 있다.

이미지 신호 프로세서(1150)는 제 1 신호(D1) 및 제 2 신호(D2)에 기초하여 각각 제 1 이미지 데이터(IDAT1) 및 제 2 이미지 데이터(IDAT2)를 생성할 수 있다. 제 1 이미지 데이터(IDAT1)의 동적 범위와 제 2 이미지 데이터(IDAT2)의 동적 범위는 다를 수 있다. 예를 들어, 제 1 이미지 데이터(IDAT1)는 상대적으로 어두운 밝기 값들을 포함할 수 있으며, 제 2 이미지 데이터(IDAT2)는 상대적으로 밝은 밝기 값들을 포함할 수 있다.

이후, 메인 프로세서(1800)는 상이한 밝기 값들을 갖는 제 1 이미지 데이터(IDAT1) 및 제 2 이미지 데이터(IDAT2)에 기초하여 HDR 처리를 수행할 수 있다. 결과적으로, HDR 처리에 의하여 더 넓은 동적 범위를 갖는 이미지를 획득할 수 있으므로, 이미지 또는 이미지들로 구성된 비디오의 품질이 향상될 수 있다.

예로서, 이미지 센서 블록들(1101, 1102)은 메인 프로세서(1800)의 제어에 기초하여 전자 장치(1000)의 외부로부터 수신되는 빛의 양을 조절할 수 있다. 일 실시 예로서, 전자 장치(1000)의 외부로부터 수집되는 빛의 양을 조절하기 위해 메인 프로세서(1800)는 이미지 센서들(1121, 1122)의 셔터 스피드들을 조절할 수 있다. 또 다른 실시 예로서, 전자 장치(1000)의 외부로부터 수집되는 빛의 양을 조절하기 위해 메인 프로세서(1800)는 이미지 센서들(1121, 1122)의 조리개 값들을 조절할 수 있다.

이미지 센서들(1121, 1122)의 셔터 스피드들 및/또는 조리개 값들을 조절하기 위해, 메인 프로세서(1800)는 이미지 센서들(1121, 1122)에 포함된 기계 장치들을 제어하거나, 이미지 센서들(1121, 1122)에 포함된 픽셀들을 제어할 수 있다. 예로서, 메인 프로세서(1800)는 이미지 센서들(1121, 1122)의 픽셀들에 포함된 트랜지스터들의 동작들을 제어할 수 있다.

도 4는 도 도 3의 이미지 센서 블록들의 예시적인 특성을 보여주는 개념도 이다. 이하, 도 2 및 도 4를 참조하여 서로 다른 동작 특성들을 갖는 이미지 센서 블록들(1101, 1102)의 동작들이 설명될 것이다. 도 4의 예에서, x축은 특성 값을 나타낸다.

특성 값은 이미지 센서로부터 출력되는 신호에 기반하는 이미지 데이터의 밝기 값과 관련될 수 있다. 특성 값의 예로서, 제 1 이미지 센서 블록(1101)으로부터 출력된 제 1 신호(D1)에 기반하는 제 1 이미지 데이터의 휘도 범위(luminance range)는 제 2 이미지 센서 블록(1102)으로부터 출력된 제 2 신호(D2)에 기반하는 제 2 이미지 데이터의 휘도 범위와 다를 수 있다. 예로서, 제 1 이미지 데이터의 휘도 범위의 최대값(즉, 값 'c')은 제 2 이미지 데이터의 휘도 범위의 최대값(즉, 값 'd')보다 작을 수 있다. 예로서, 제 1 이미지 데이터의 휘도 범위의 적어도 일부는 제 2 이미지 데이터의 휘도 범위의 적어도 일부와 중첩되거나 중첩되지 않을 수 있다.

특성 값의 다른 예로서, 제 1 이미지 센서 블록(1101)으로부터 출력된 제 1 신호(D1)에 기반하는 제 1 이미지 데이터의 동적 범위(dynamic range)는 제 2 이미지 센서 블록(1102)으로부터 출력된 제 2 신호(D2)에 기반하는 제 2 이미지 데이터의 동적 범위와 다를 수 있다. 예로서, 제 1 이미지 데이터의 동적 범위의 최대값(즉, 값 'c')은 제 2 이미지 데이터의 동적 범위의 최대값(즉, 값 'd')보다 작을 수 있다. 동적 범위의 값이 크다는 것은 이미지 내의 밝은 영역의 비율이 큰 것을 의미할 수 있다. 예로서, 제 1 이미지 데이터의 동적 범위의 적어도 일부는 제 2 이미지 데이터의 동적 범위의 적어도 일부와 중첩되거나 중첩되지 않을 수 있다.

특성 값의 또 다른 예로서, 특성 값은 이미지 센서 자체의 물리적인 특성과 관련된 값일 수 있다. 예로서, 특성 값은 픽셀 어레이를 구성하는 물리적인 픽셀들의 개수와 관련될 수 있다. 이 경우, 도 4에서 특성 값이 범위로 도시된 것과는 달리, 특성 값은 고정된 하나의 값일 수 있다. 예로서, 제 1 이미지 센서 블록(1101)의 픽셀 어레이의 해상도는 제 2 이미 센서 블록(1102)의 픽셀 어레이의 해상도와 같거나 다를 수 있다. 예로서, 제 1 이미지 센서 블록(1101)은 상대적으로 좁은 화각을 갖는 제 1 렌즈(1111)를 통해 입사된 빛을 처리하기에 적합한 픽셀 어레이를 포함할 수 있다. 제 2 이미지 센서 블록(1102)은 상대적으로 넓은 화각을 갖는 제 2 렌즈(1112)을 통해 입사된 빛을 처리하기에 적합한 픽셀 어레이를 포함할 수 있다.

도 5는 도 2의 이미지 센서 블록들 및 메인 프로세서의 동작을 설명하기 위한 타이밍도 이다.

시점 t1 내지 t3 사이에서, 이미지 센서 블록들(1101, 1102)은 현재의 비디오 프레임에 대응하는 이미지 데이터를 획득하기 위해 동작할 수 있다. 이미지 센서 블록들(1101, 1102)은 획득되는 이미지 데이터를 나타내는 신호들(D1, D2)를 각각 출력할 수 있다.

시점 t1 이후, 이미지 신호 프로세서(1150)는 이미지 센서 블록들(1101, 1102)로부터 신호들(D1, D2)을 수신할 수 있다. 이미지 신호 프로세서(1150)는 신호들(D1, D2)에 기초하여 제 1 이미지 데이터 및 제 2 이미지 데이터를 획득할 수 있다. 시점 t2와 t4 사이에서, 메인 프로세서(1800)는 서로 다른 화각들에 각각 대응하는 제 1 이미지 데이터 및 제 2 이미지 데이터에 기초하여 HDR 처리를 수행할 수 있다.

도 5의 예에서, HDR 처리에 사용될 서로 다른 밝기 값들을 갖는 이미지 데이터를 획득하기 위해 이미지 센서 블록들(1101, 1102)은 동일한 시간 구간 동안 동작할 수 있다. 이미지 센서 블록들(1101, 1102)이 동일한 시간 구간 동안 동작함에 따라, 비디오 HDR 처리에 사용될 이미지 데이터가 실시간으로 획득될 수 있다. 따라서, 전자 장치(1000)는 이미지 센서 블록들(1101, 1102) 및 이미지 신호 프로세서(1150)의 동작들에 의해 HDR 처리된 이미지 데이터를 실시간으로 획득할 수 있다.

도 6은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

도 2, 도 4, 및 도 6을 참조하여, 서로 다른 화각들을 갖는 두 이미지에 대한 HDR 처리가　설명된다. 이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 수신되는 제 1 신호(D1)에 기초하여 제 1 이미지 데이터(IDAT1)를 획득하고, 제 2 이미지 센서 블록(1102)으로부터 수신되는 제 2 신호(D2)에 기초하여 제 2 이미지 데이터(IDAT2)를 획득할 수 있다. 예로서, 이미지 센서 블록들(1101, 1102)은 서로 다른 화각들을 갖는 렌즈들로부터 수신된 빛을 감지하여 제 1 이미지 데이터(IDAT1) 및 제 2 이미지 데이터(IDAT2)를 각각 획득할 수 있다.

예로서, 제 1 이미지 센서(1121)는 M개의 픽셀들을 각각 포함하는 N개의 컬럼들로 구성되는(또는, N개의 픽셀들을 각각 포함하는 M개의 로우들로 구성되는) 픽셀 어레이를 포함할 수 있다. 따라서, 제 1 이미지 데이터(IDAT1)의 크기는 "M 픽셀×N 픽셀"일 수 있다. 예시적으로, P는 M보다 클 수 있으며, Q는 N보다 클 수 있다. 즉, 제 2 이미지 데이터(IDAT2)의 해상도는 제 1 이미지 데이터(IDAT1)보다 클 수 있다. 따라서, 제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 2 이미지 데이터(IDAT2)의 밝기 값(또는 밝기 값들의 범위)은 상이할 수 있다.

그러나, 다른 실시 예에서, P와 M은 동일할 수 있으며, Q와 N은 동일할 수 있다. 이 경우, 제 1 이미지 데이터(IDAT1)의 해상도는 제 2 이미지 데이터(IDAT2)의 해상도와 동일할 수 있으며, 제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 2 이미지 데이터(IDAT2)의 밝기 값(또는 밝기 값들의 범위)은 상이할 수 있다. 다만, 본 명세서에서 설명의 용이함을 위해, 이미지 센서 블록들로부터 출력되는 이미지 데이터의 해상도는 서로 다른 것으로 가정하여 설명될 것이다. 나아가, 더 넓은 동적 범위를 획득하기 위한 HDR 처리의 전제로서, 이미지 센서 블록들로부터 출력되는 이미지 데이터의 밝기 값(또는 밝기 값들의 범위)은 상이한 것으로 가정될 것이다.

이하, 더 나은 이해를 위해, 이미지 데이터의 크기 "M 픽셀×N 픽셀"은 "M×N"으로서 지칭된다. 본 명세서에서, 이미지 데이터의 크기가 "M×N" 등으로 표현되는 경우, 그 이미지 데이터가 M개의 컬럼들과 N개의 로우들에 포함된 불연속적인 단위(예컨대, 픽셀)에 의해 표현되는 이미지를 나타냄을 의미한다.

유사하게, 제 2 이미지 센서(1122)는 P개의 픽셀들을 각각 포함하는 Q개의 컬럼들로 구성되는(또는, N개의 픽셀들을 각각 포함하는 P개의 로우들로 구성되는) 픽셀 어레이를 포함할 수 있다. 즉, 제 2 이미지 데이터(IDAT2)의 크기는 P×Q일 수 있다.

메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 일부를 크롭핑(cropping) 할 수 있다. 메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분을 크롭핑 할 수 있다. 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 이미지 데이터의 크기는 M×N일 수 있다. 예를 들어, 크롭핑 되는 영역의 크기(M×N)는 제 2 이미지 데이터(IDAT2)의 크기(P×Q)의 1/2이거나 그 이하일 수 있으나, 이에 한정되지 않는다. 크롭핑 결과, M×N의 제 3 이미지 데이터(IDAT3)가 생성될 수 있다.

도 4를 참조하여 설명된 바와 같이, 이미지 센서 블록들(1101, 1102)은, 이미지 센서 블록 자체의 특성에 의하여, 상이한 밝기 값들을 갖는 제 1 이미지 데이터(IDAT1) 및 제 2 이미지 데이터(IDAT2)를 각각 출력할 수 있다. 결과적으로, 제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 3 이미지 데이터(IDAT3)의 밝기 값(또는 밝기 값들의 범위)도 상이할 수 있다. 메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 제 1 이미지 데이터(IDAT1)와 제 3 이미지 데이터(IDAT3)를 수신하고, 수신된 이미지 데이터에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 현재의 비디오 프레임에 대응하는 이미지 데이터(IOUT)를 획득할 수 있다.

HDR 처리된 이미지 데이터(IOUT)에 의해 나타나는 이미지는 제 1 이미지 데이터(IDAT1)의 동적 범위와 제 3 이미지 데이터(IDAT3)의 동적 범위를 포함할 수 있다. 다시 말해, HDR 처리를 통하여, 제 1 이미지 데이터(IDAT1)의 동적 범위(즉, a~c) 또는 제 3 이미지 데이터(IDAT3)의 동적 범위(즉, b~d)보다 넓은 동적 범위를 갖는 이미지(즉, a~d)가 획득될 수 있다.

한편, 본 실시 예는 기본적으로 비디오에 대한 HDR 처리에 관한 것이다. 다만, 본 개시의 HDR 처리 방법을 사진 촬영에 적용하는 경우, 노출 값을 인위적으로 조절함으로써 이미지 데이터의 밝기 값을 인위적으로 조절할 수도 있다. 예컨대, 주변부의 밝기가 너무 밝은 경우, 조도 센서(도2, 1710)는 이를 감지하여 주변부의 밝기에 관한 정보를 메인 프로세서(1800)에 전달할 수 있다. 메인 프로세서(1800)는 주변부의 밝기 정보에 기반하여 이미지 센서 블록들(1101, 1102)중 적어도 하나의 노출 값을 조절할 수 있다. 그 결과, HDR 처리를 통하여 더욱 넓은 동적 범위를 갖는 이미지가 획득될 수 있다.

도 7은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

이하 도 2 및 도 7을 참조하여, 서로 다른 화각들을 갖는 두 이미지에 대한 HDR 처리가　설명된다. 이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 수신되는 제 1 신호(D1)에 기초하여 제 1 이미지 데이터(IDAT1)를 획득하고, 제 2 이미지 센서 블록(1102)으로부터 수신되는 제 2 신호(D2)에 기초하여 제 2 이미지 데이터(IDAT2)를 획득할 수 있다. 제 1 이미지 데이터(IDAT1)의 크기는 M'×N'일 수 있으며, 제 2 이미지 데이터(IDAT2)의 크기는 P×Q일 수 있다. 예시적으로, P는 M'보다 클 수 있으며, Q는 N'보다 클 수 있다. 즉, 제 2 이미지 데이터(IDAT2)의 해상도는 제 1 이미지 데이터(IDAT1)보다 클 수 있다. 예로서, 제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 2 이미지 데이터(IDAT2)의 밝기 값(또는 밝기 값들의 범위)은 상이할 수 있다.

실시 예에 있어서, 제 1 이미지 데이터(IDAT1)의 해상도(M'×N')는, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 해상도(즉, M×N)보다 클 수 있다. 즉, M은 M'보다 작을 수 있으며, N은 N'보다 작을 수 있다. 이 경우, HDR 처리를 수행하기에 앞서, HDR 처리의 기본이 되는 이미지 데이터의 해상도를 조절할 필요가 있다.

예로서, 메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)에 대한 비닝(binning)을 수행할 수 있다. 메인 프로세서(1800)는 다양한 유형의 알고리즘에 따라 비닝을 수행할 수 있다. 메인 프로세서(2300)는 M'×N'의 제 1 이미지 데이터(IDAT1)에 대한 비닝을 수행하여 M×N의 제 3 이미지 데이터(IDAT3)를 획득할 수 있다.

메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 일부를 크롭핑(cropping) 할 수 있다. 메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 제 3 이미지 데이터(IDAT3)에 대응하는 이미지 데이터를 크롭핑 할 수 있다. 도 7을 통하여 설명된 크롭핑은 도 6을 통하여 설명된 크롭핑과 대체로 유사하므로, 상세한 설명은 생략한다. 크롭핑 결과, M×N의 제 4 이미지 데이터(IDAT4)가 생성될 수 있다.

제 3 이미지 데이터(IDAT3)는 제 1 이미지 데이터(IDAT1)에 대응하는 영역을 비닝하여 얻어지고, 제 4 이미지 데이터(IDAT4)는 제 2 이미지 데이터(IDAT2)에 대한 크롭핑을 수행하여 얻어지므로, 제 3 이미지 데이터(IDAT3)에 의해 나타나는 이미지와 제 4 이미지 데이터(IDAT4)에 의해 나타나는 이미지는 서로 대응할 수 있다. 예로서, 제 3 이미지 데이터(IDAT3)에 의해 나타나는 이미지와 제 4 이미지 데이터(IDAT4)에 의해 나타나는 이미지는, 밝기 값을 제외하고, 대체로 유사 수 있다.

제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 2 이미지 데이터(IDAT2)의 밝기 값(또는 밝기 값들의 범위)이 상이하기 때문에, 제 3 이미지 데이터(IDAT3)의 밝기 값(또는 밝기 값들의 범위)과 제 4 이미지 데이터(IDAT4)의 밝기 값(또는 밝기 값들의 범위)이 상이할 수 있다. 메인 프로세서(1800)는 상이한 밝기 값들을 각각 갖는 제 3 이미지 데이터(IDAT3)와 제 4 이미지 데이터(IDAT4)에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

도 7의 실시 예에 의하면, HDR 연산에 앞서 제 1 이미지 데이터에 대한 비닝이 실행되기 때문에, HDR 연산 시 처리되는 데이터의 양이 감소한다. 따라서, HDR 처리 속도가 빨라질 수 있으며, 메인 프로세서(1800)에 의해 소모되는 전력이 감소할 수 있다.

도 8은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

앞서 도 7의 실시 예에서는, 제 1 이미지 데이터(IDAT1)의 해상도가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 해상도(즉, M×N)보다 큰 경우의 HDR 처리에 대해 설명되었다. 반면, 본 실시 예는 제 1 이미지 데이터(IDAT1)의 해상도(즉, M×N)가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 해상도(즉, M'×N')보다 작은 경우의 HDR 처리에 관한 것이다. (즉, M<M', N<N')

이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 출력된 제 1 신호(D1)에 기반하여 M×N의 제 1 이미지 데이터(IDAT1)를 생성할 수 있다. 이미지 신호 프로세서(1150)는 제 2 이미지 센서 블록(1102)으로부터 출력된 제 2 신호(D2)에 기반하여 P×Q의 제 2 이미지 데이터(IDAT2)를 생성할 수 있다.

메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 이미지 데이터를 크롭핑 할 수 있다. 크롭핑 결과, M'×N'의 제 3 이미지 데이터(IDAT3)가 생성될 수 있다. 다만, 제 1 이미지 데이터(IDAT1)의 해상도와, 제 3 이미지 데이터(IDAT3)의 해상도는 다르기 때문에, 곧바로 HDR 처리를 수행할 수 없다. 따라서, 제 3 이미지 데이터(IDAT3)에 대한 추가적인 동작이 요구될 수 있다. 예로서, 메인 프로세서(1800)는 M'×N'의 제 3 이미지 데이터(IDAT3)에 대한 비닝을 수행하여 M×N의 제 4 이미지 데이터(IDAT4)를 획득할 수 있다. 크롭핑 및 비닝의 결과, 제 1 이미지 데이터(IDAT1)의 크기와 제 4 이미지 데이터(IDAT4)의 크기는 M×N으로 서로 동일해질 수 있다.

제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 2 이미지 데이터(IDAT2)의 밝기 값(또는 밝기 값들의 범위)이 상이하기 때문에, 제 1 이미지 데이터(IDAT1)의 밝기 값(또는 밝기 값들의 범위)과 제 4 이미지 데이터(IDAT4)의 밝기 값(또는 밝기 값들의 범위)이 상이할 수 있다. 메인 프로세서(1800)는 상이한 밝기 값들을 각각 갖는 제 1 이미지 데이터(IDAT1)와 제 4 이미지 데이터(IDAT4)에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

도 9는 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

앞서 도 8의 실시 예에서는, 제 1 이미지 데이터(IDAT1)의 해상도가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 해상도 보다 작은 경우, 제 2 이미지 데이터(IDAT2)에 대해 수행되는 추가적인 동작에 대해 설명되었다. 그러나, 본 실시 예에서는, 제 1 이미지 데이터(IDAT1)의 해상도가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 해상도 보다 작은 경우, 제 1 이미지 데이터(IDAT1)에 대해 수행되는 추가적인 동작이 설명될 것이다. (즉, M>M', N>N')

이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 출력된 제 1 신호(D1)에 기반하여 M'×N' 의 제 1 이미지 데이터(IDAT1)를 생성할 수 있다. 이미지 신호 프로세서(1150)는 제 2 이미지 센서 블록(1102)으로부터 출력된 제 2 신호(D2)에 기반하여 P×Q의 제 2 이미지 데이터(IDAT2)를 생성할 수 있다.

메인 프로세서(1800)는 M'×N'의 제 1 이미지 데이터(IDAT1)에 대한 업스케일링을 수행하여 M×N의 제 4 이미지 데이터(IDAT4)를 획득할 수 있다. 메인 프로세서(1800)는 다양한 유형의 알고리즘에 기초하여 업스케일링을 수행할 수 있다. 메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 일부를 크롭핑 할 수 있다. 메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 제 3 이미지 데이터(IDAT3)에 대응하는 이미지 데이터를 크롭핑 할 수 있다. 크롭핑 결과, M×N의 제 4 이미지 데이터(IDAT4)가 생성되며, 제 3 이미지 데이터(IDAT3)의 크기와 제 4 이미지 데이터(IDAT4)의 크기는 서로 동일해질 수 있다.

제 1 이미지 데이터(IDAT1)의 밝기 값과 제 2 이미지 데이터(IDAT2)의 밝기 값이 상이하기 때문에, 제 3 이미지 데이터(IDAT3)의 밝기 값과 제 4 이미지 데이터(IDAT4)의 밝기 값이 상이할 수 있다. 메인 프로세서(1800)는 상이한 밝기 값들을 각각 갖는 제 3 이미지 데이터(IDAT3)와 제 4 이미지 데이터(IDAT4)에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

도 10은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

본 실시 예는 앞서 도 7의 실시 예와 대체로 유사하다. 다만, 본 실시 예는 HDR 처리에 앞서 제 2 이미지 데이터(IDAT2)에 대한 크롭핑이 실행되지 않는다. 따라서, 앞서 도 7 내지 도 9의 실시 예들에서는 제 1 이미지 센서(1101)에 의해 촬영된 이미지의 크기(또는, 그로부터 비닝된 이미지의 크기)에 따라 HDR 처리 결과가 사용자 인터페이스(예컨대, 디스플레이)를 통하여 사용자에게 제공된다. 반면, 도 10의 실시 예에서는 제 2 이미지 센서(1102)에 의해 촬영된 이미지의 크기에 따라 HDR 처리 결과가 사용자 인터페이스를 통하여 사용자에게 제공된다.

이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 수신되는 제 1 신호(D1)에 기초하여 M'×N'의 제 1 이미지 데이터(IDAT1)를 획득하고, 제 2 이미지 센서 블록(1102)으로부터 수신되는 제 2 신호(D2)에 기초하여 P×Q의 제 2 이미지 데이터(IDAT2)를 획득할 수 있다. 다만, 제 1 이미지 데이터(IDAT1)의 크기와, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역의 크기는 다르기 때문에, 제 1 이미지 데이터(IDAT1)에 대한 추가 처리가 필요하다.

예로서, 메인 프로세서(1800)는 M'×N'의 제 1 이미지 데이터(IDAT1)에 대한 비닝을 수행하여 M×N의 제 3 이미지 데이터(IDAT3)를 획득할 수 있다. 메인 프로세서(1800)는 제 3 이미지 데이터(IDAT3) 와 제 2 이미지 데이터(IDAT2)에 기초하여 HDR 처리를 수행할 수 있으며, HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

도 11은 본 개시의 HDR 처리를 위한 동작들을 개념적으로 도시한다.

우선, 도 6 내지 도 9를 통하여 설명된 실시 예들은 실시간으로 촬영되는 비디오의 각 프레임의 HDR 처리, 또는 순간적으로 촬영되는 이미지의 HDR 처리와 관련될 수 있다. 그러나, 본 실시 예는 순간적으로 촬영되는 이미지의 HDR 처리와 관련될 수 있다. 또는, 미리 촬영된 비디오로부터 추출된 복수의 이미지들의 HDR 처리와 관련될 수 있다.

제 1 이미지 센서 블록(1101)에 의해 제 1 이미지 데이터(IDAT1)가 획득되는 시점과 제 3 이미지 데이터(IDAT3)가 획득되는 시점 사이의 시간 구간이 충분히 짧은 경우, 제 1 이미지 데이터(IDAT1)에 의해 나타나는 이미지와 제 3 이미지 데이터(IDAT3)에 의해 나타나는 이미지는 서로 대응할 수 있다. 유사하게, 제 2 이미지 데이터(IDAT2)에 의해 나타나는 이미지와 제 4 이미지 데이터(IDAT4)에 의해 나타나는 이미지는 서로 대응할 수 있다.

이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 순차적으로 수신되는 신호들(D1, D3)에 기초하여 이미지 데이터(IDAT1, IDAT3)를 순차적으로 획득할 수 있다. 이미지 신호 프로세서(1150)는 제 2 이미지 센서 블록(1102)으로부터 순차적으로 수신되는 신호들(D2, D4)에 기초하여 이미지 데이터(IDAT2, IDAT4)를 순차적으로 획득할 수 있다.

제 1 이미지 데이터(IDAT1)와 제 3 이미지 데이터(IDAT3)의 크기는 M'×N'일 수 있으며, 제 2 이미지 데이터(IDAT2)와 제 4 이미지 데이터(IDAT4)의 크기는 P×Q일 수 있다. 예를 들어, 제 1 이미지 데이터(IDAT1)의 밝기 값 내지 제 4 이미지 데이터(IDAT4)의 밝기 값은 상이할 수 있다.

메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1) 및 제 3 이미지 데이터(IDAT3)에 대한 비닝을 수행할 수 있다. 메인 프로세서(1800)는 M'×N'의 제 1 이미지 데이터(IDAT1)에 대한 비닝을 수행하여 M×N의 제 5 이미지 데이터(IDAT5)를 획득하고, 'M×N'의 제 3 이미지 데이터(IDAT3)에 대한 비닝을 수행하여 M×N의 제 7 이미지 데이터(IDAT7)를 획득할 수 있다. 메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중, 제 5 이미지 데이터(IDAT5) 또는 제 7 이미지 데이터(IDAT7)에 대응하는 M×N의 이미지 데이터를 크롭핑하여 제 6 이미지 데이터(IDAT6)를 획득할 수 있다. 메인 프로세서(1800)는 제 4 이미지 데이터(IDAT4) 중, 제 5 이미지 데이터(IDAT5) 또는 제 7 이미지 데이터(IDAT7)에 대응하는 M×N의 이미지 데이터를 크롭핑하여 제 8 이미지 데이터(IDAT8)를 획득할 수 있다.

제 1 이미지 데이터(IDAT1)의 밝기 값 내지 제 4 이미지 데이터(IDAT4)의 밝기 값이 상이하기 때문에, 제 5 이미지 데이터(IDAT5)의 밝기 값 내지 제 8 이미지 데이터(IDAT8)의 밝기 값도 상이할 수 있다. 메인 프로세서(1800)는 상이한 밝기 값들을 각각 갖는 제 5 이미지 데이터(IDAT5) 내지 제 8 이미지 데이터(IDAT8)에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

다만, 메인 프로세서(1800)에 의한 HDR 처리 방법은 이에 한정되지 않는다. 예로서, 메인 프로세서(1800)는 제 5 이미지 데이터(IDAT5) 내지 제 8 이미지 데이터(IDAT8) 중 일부(예컨대, IDAT5, IDAT7, IDAT8)에 기반하여 HDR 처리를 수행할 수 있다. 예로서, 메인 프로세서(1800)는 제 5 이미지 데이터(IDAT5)와 제 6 이미지 데이터(IDAT6)에 대해 제 1 HDR 처리를 수행하고, 제 7 이미지 데이터(IDAT7)와 제 8 이미지 데이터(IDAT8)에 대해 제 2 HDR 처리를 수 있다. 그리고, 메인 프로세서(1800)는 제 1 HDR 처리 결과와 제 2 HDR 처리 결과에 기반하여 제 3 HDR 처리를 수행할 수 있다. 그 외에도, 이미지 데이터(IDAT5, IDAT6, IDAT7, IDAT8)로부터 조합 가능한 다양한 이미지 데이터에 기반하여 HDR 처리가 수행될 수 있다.

한편 본 실시 예에서는, 도 7에서 설명된 크롭핑과 비닝에 기반하여 HDR 처리가 수행되는 것이 설명되었으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 도 6, 도 8~10을 통하여 설명된 HDR 처리들 중 적어도 하나가 도 11의 실시 예에 적용될 수 있을 것이다.

도 12는 본 개시의 이미지 처리 방법을 도시하는 순서도이다.

도 2, 도 3 및 도 12를 함께 참조하여, S110 단계에서, 제 1 이미지 센서 블록(1101)은 제 1 화각(FOV1)에 대응하는 제 1 신호(D1)를 생성한다. 예로서, 제 1 신호(D1)는 상대적으로 좁은 제 1 화각(FOV1)을 갖는 제 1 렌즈(1111)를 통하여 입사된 빛에 기반할 수 있다. 이미지 신호 프로세서(1150)는 제 1 신호(D1)에 기반하여 제 1 이미지 데이터(IDAT1)를 생성한다.

S120 단계에서, 제 2 이미지 센서 블록(1102)은 제 2 화각(FOV2)에 대응하는 제 2 신호(D2)를 생성한다. 제 2 이미지 데이터(IDAT2)를 생성한다. 예로서, 제 2 신호(D2)는 상대적으로 넓은 제 2 화각(FOV2)을 갖는 제 2 렌즈(1112)를 통하여 입사된 빛에 기반할 수 있다. 이미지 신호 프로세서(1150)는 제 2 신호(D2)에 기반하여 제 2 이미지 데이터(IDAT2)를 생성한다. 예로서, 제 2 이미지 데이터(IDAT2)의 밝기 값들의 범위는 제 1 이미지 데이터(IDAT1)의 밝기 값들의 범위와 다를 수 있다.

S130 단계에서, 제 1 이미지 데이터(IDAT1)의 해상도와, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도가 동일한지 여부가 판별된다. 만일 동일하다면, HDR 처리에 앞서 HDR 처리에 앞서, 해상도를 조정하기 위한 추가적인 처리가 필요하지 않음을 의미한다. 그러므로, 절차는 S140 단계로 이동한다.

S140 단계에서, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에　대응하는 부분에 대한 크롭핑이 수행된다.

S150 단계에서, 제 1 이미지 데이터(IDAT1)와 크롭핑 된 제 2 이미지 데이터(IDAT2)에 대한 HDR 처리가 실행된다. 제 1 이미지 데이터(IDAT1)의 동적 범위와 제 2 이미지 데이터(IDAT2)의 동적 범위가 서로 다르기 때문에, HDR 처리를 통하여 더욱 넓어진 동적 범위가 획득될 수 있다.

한편, 다시 S130 단계를 참조하여, 제 1 이미지 데이터(IDAT1)의 해상도와, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도가 동일하지 않으면, HDR 처리에 앞서 HDR 처리에 앞서, 해상도를 조정하기 위한 추가적인 처리가 필요할 수 있다. 그러므로, 절차는 S160 단계로 이동한다.

S160 단계에서, 메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)의 해상도를 조절한다. 예를 들어, 제 1 이미지 데이터(IDAT1)의 해상도가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도보다 크다면, 메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)에 대한 비닝을 수행할 수 있다. 반면, 제 1 이미지 데이터(IDAT1)의 해상도가, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도보다 작다면, 메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)에 대한 업스케일링을 수행할 수 있다. 메인 프로세서(1800)에 의한 해상도 조절의 결과, 제 1 이미지 데이터(IDAT1)의 해상도는, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도와 동일해질 것이다.

S170 단계에서, 제 2 이미지 데이터(IDAT2) 중, 해상도가 조절된 제 1 이미지 데이터(IDAT1)에　대응하는 부분에 대한 크롭핑이 수행된다.

S180 단계에서, 해상도가 조절된 제 1 이미지 데이터(IDAT1)와 크롭핑 된 제 2 이미지 데이터(IDAT2)에 대한 HDR 처리가 실행된다. 제 1 이미지 데이터(IDAT1)의 동적 범위와 제 2 이미지 데이터(IDAT2)의 동적 범위가 서로 다르기 때문에, HDR 처리를 통하여 더욱 넓어진 동적 범위가 획득될 수 있다.

한편, 본 발명은 전술된 실시 예에 한정되지 않는다. 제 1 이미지 데이터(IDAT1)의 해상도와, 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 부분의 해상도가 다른 경우, 도 7 뿐만 아니라, 도 8 및 도 9를 통하여 설명된 실시 예들이 도 13의 실시 예에도 적용될 수 있을 것이다.

도 13은 도 1의 이미지 처리 블록의 예시적인 구성을 보여주는 블록도 이다.

이미지 처리 블록(1100)은 이미지 센서 블록들(1101~110n) 및 이미지 신호 프로세서(1150)를 포함할 수 있다. 이미지 처리 블록(1100)의 설명 용이를 위해, 사용자 인터페이스(1600), 조도 센서(1710), 및 메인 프로세서(1800)도 함께 도시되었다. 예로서, 조도 센서(1710)는 도 1의 센서(1700)의 일부로서 구현될 수 있다.

제 1 이미지 센서 블록(1101)은 제 1 렌즈(1111), 제 1 액츄에이터(1141), 및 제 1 이미지 센서(1121)를 포함할 수 있다. 제 2 이미지 센서 블록(1102)은 제 2 렌즈(1112), 제 2 액츄에이터(1142), 및 제 2 이미지 센서(1122)를 포함할 수 있다. 제 n 이미지 센서 블록(110n)은 제 n 렌즈(111n), 제 n 액츄에이터(114n), 및 제 n 이미지 센서(112n)를 포함할 수 있다(n은 3 또는 그보다 큰 정수). 도 13의 이미지 센서 블록들(1101 내지 110n)의 구성들 및 동작들은 도 2의 이미지 센서 블록들(1101, 1102) 각각의 구성 및 동작들과 유사하므로, 중복되는 설명은 생략된다.

도 14는 도 13의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도이다.

예시적으로, 이미지 처리 블록(1100)은 제 1 내지 제 3 이미지 센서 블록들(1101, 1102, 1103)을 포함할 수 있다. 제 1 이미지 센서 블록(1101)은 제 1 화각(FOV1)에 대응하는 영역(R1)의 이미지를 생성하기 위한 제 1 이미지 센서(1121), 제 2 화각(FOV2)에 대응하는 영역(R2)의 이미지를 생성하기 위한 제 2 이미지 센서(1122), 및 제 3 화각(FOV3)에 대응하는 영역(R3)의 이미지를 생성하기 위한 제 3 이미지 센서(1123)를 포함할 수 있다.

제 3 화각(FOV3)은 제 2 화각(FOV2)보다 클 수 있으며, 제 2 화각(FOV2)은 제 1 화각(FOV1)보다 클 수 있다. 예로서, 제 1 렌즈(1111)는 망원(tele) 렌즈일 수 있으며, 제 2 렌즈(1112)는 광각(wide) 렌즈일 수 있으며, 제 3 렌즈(1113)는 초광각(ultra-wide) 렌즈일 수 있다. 예로서, 제 1 렌즈(1111)의 화각은 10~15도일 수 있으며, 제 2 렌즈(1112)의 화각은 70~90도일 수 있으며, 제 3 렌즈(1113)의 화각은 100~130도일 수 있다. 그러나, 렌즈들(1111, 1112, 1113)의 화각은 이에 한정되지 않는다.

예로서, 제 1 이미지 센서 블록(1101)은 상대적으로 저해상도의 픽셀 어레이를 포함하고, 제 3 이미지 센서 블록(1103)은 상대적으로 고해상도의 픽셀 어레이를 포함하고, 제 2 이미지 센서 블록(1102)는 그 사이의 해상도의 픽셀 어레이를 포함할 수 있다. 예로서, 제 1 이미지 센서 블록(1101)은 비교적 좁은 화각의 영역(R1)의 이미지를 감지하기 위해 동작하고, 제 3 이미지 센서 블록(1103)은 비교적 넓은 화각의 영역(R3)의 이미지를 감지하기 위해 동작하고, 제 2 이미지 센서 블록(1102)은 중간 화각의 영역(R2)의 이미지를 감지하기 위해 동작할 수 있다.

예로서, 전술된 실시 예들과 마찬가지로, 이미지 센서 블록들(1101, 1102, 1103)의 적어도 둘의 픽셀 어레이들의 해상도들은 서로 동일하거나, 이미지 센서 블록들(1101, 1102, 1103)의 픽셀 어레이들의 해상도들은 상이할 수 있다. 다만, 설명의 용이함을 위해, 이미지 센서 블록들(1101, 1102, 1103)의 픽셀 어레이들의 해상도들은 상이한 것으로 가정하여 설명한다. 나아가, 더 넓은 동적 범위를 획득하기 위한 HDR 처리의 전제로서, 이미지 센서 블록들로부터 출력되는 이미지 데이터의 밝기 값(또는 밝기 값들의 범위)은 상이한 것으로 가정될 것이다.

이미지 신호 프로세서(1150)는 제 1 이미지 센서 블록(1101)으로부터 수신되는 제 1 신호(D1)에 기초하여 제 1 이미지 데이터(IDAT1)를 획득하고, 제 2 이미지 센서 블록(1102)으로부터 수신되는 제 2 신호(D2)에 기초하여 제 2 이미지 데이터(IDAT2)를 획득하고, 제 3 이미지 센서 블록(1103)으로부터 수신되는 제 3 신호(D3)에 기초하여 제 3 이미지 데이터(IDAT3)를 획득할 수 있다. 이미지 센서 블록들(1101, 1102, 1103)은 이미지 데이터(IDAT1, IDAT2, IDAT3)를 각각 획득할 수 있다.

한편, 도 14의 이미지 처리 블록은 3개의 이미지 센서 블록들을 포함한다는 것을 제외하고는, 도 3의 실시 예와 대체로 유사하다. 그러므로, 더 이상의 상세한 설명은 생략하기로 한다.

도 15는 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

도 13, 도 14, 및 도 15를 참조하여, 서로 다른 화각들을 갖는 세 이미지들에 대한 HDR 처리가　설명된다. 이미지 신호 프로세서는, 이미지 센서 블록들(1101, 1102, 1103)로부터 출력된 신호들(D1, D2, D3)에 기반하여 J×K의 제 1 이미지 데이터(IDAT1), M×N의 제 2 이미지 데이터(IDAT2), 및 P×Q의 제 3 이미지 데이터(IDAT3)를 생성한다.

메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역에 대한 크롭핑을 수행함으로써 J×K의 제 4 데이터를 생성할 수 있다. 메인 프로세서는 제 3 이미지 데이터(IDAT3) 중 제 1 이미지 데이터(IDAT1)에 대응하는 영역에 대한 크롭핑을 수행함으로써 J×K의 제 5 데이터를 생성할 수 있다.

제 1 이미지 데이터(IDAT1)의 밝기 값, 제 2 이미지 데이터(IDAT2)의 밝기 값, 및 제 3 이미지 데이터(IDAT3)의 밝기 값이 상이하기 때문에, 제 1 이미지 데이터(IDAT1)의 밝기 값과 제 4 이미지 데이터(IDAT4)의 밝기 값과 제 5 데이터(IDAT5)의 밝기 값이 상이할 수 있다. 메인 프로세서(1800)는 상이한 밝기 값들을 각각 갖는 제 1 이미지 데이터(IDAT1), 제 4 이미지 데이터(IDAT4), 및 제 5 이미지 데이터(IDAT5)에 기초하여 HDR 처리를 수행할 수 있다. 메인 프로세서(1800)는 HDR 처리를 통해 이미지 데이터(IOUT)를 획득할 수 있다.

한편, 본 실시 예에서는, 제 1 이미지 데이터(IDAT1), 크롭핑된 제 4 이미지　데이터(IDAT4), 및 크롭핑된 제 5 이미지 데이터(IDAT5)의 해상도가 J×K로써 서로 동일한 것으로 가정되었다. 그러나, 제 1 이미지 데이터(IDAT1), 제 4 이미지　데이터(IDAT4), 및 제 5 이미지 데이터(IDAT5)의 해상도가 상이한 경우, HDR 처리에 앞서 추가적인 처리가 더 요구될 수 있다. 이러한 경우에 요구되는 처리를 도 16을 통하여 설명하기로 한다.

도 16은 본 개시의 HDR 처리를 위한 동작을 개념적으로 도시한다.

예로서, 제 1 이미지 데이터(IDAT1)의 해상도가 제 5 이미지 데이터(IDAT5)의 해상도가 및/또는 제 6 이미지 데이터(IDAT6)의 해상도보다 큰 경우, HDR 처리를 수행하기에 앞서, 메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)에 대한 추가 처리를 실행할 수 있다. 예로서, 메인 프로세서(1800)는 J×K의 제 1 이미지 데이터(IDAT1)에 대한 비닝을 실행하여 G×H의 제 4 이미지 데이터(IDAT4)를 획득할 수 있다(즉, J>G, H>K). 따라서, 제 4 이미지 데이터(IDAT4)의 해상도, 제 5 이미지 데이터(IDAT5)의 해상도, 및 제 6 이미지 데이터(IDAT6)의 해상도는 서로 동일해질 것이다.

한편, 도 16을 통하여 설명된 케이스 외에도, 제 1 이미지 데이터(IDAT1)의 해상도, 제 4 이미지 데이터(IDAT4)의 해상도, 및 제 5 이미지 데이터(IDAT5)의 해상도가 서로 다른 다양한 케이스들이 있을 수 있으며, 각각의 케이스에 대하여 해상도를 동일하게 조정하기 위한 다양한 처리들이 수행될 수 있다. 다만, 해상도가 서로 다른 다양한 케이스들에 있어서, 해상도를 동일하게 조정하기 위한 다양한 처리들은 도 7~9의 실시 예들 및 이들의 조합에 의해 충분히 도출 가능할 것이다. 그러므로, 더 이상의 상세한 설명은 생략한다.

도 17은 줌 팩터(zoom factor)에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다. 도 18은 제 1 줌 모드에서의 이미지 센서 블록들의 동작을 개념적으로 도시한다. 도 19은 제 2 줌 모드에서의 이미지 센서 블록들의 동작을 개념적으로 도시한다.

우선 도 17의 실시 예는 도 13의 이미지 센서 블록들의 개수가 3인 경우(즉, n=3)와 관련된다. 줌 팩터는 촬영되는 객체의 확대 또는 축소와 관련될 수 있다. 예로서, 사용자는 줌 팩터의 값을 서서히 증가/감소시키거나 특정 값을 선택함으로써, 의도된 이미지를 촬영하기 위한 줌 조건을 설정할 수 있다. 도 15의 예에서, X축에 의해 나타나는 줌 팩터는 사용자에 의해 의도된 줌 배율을 의미할 수 있다. 예를 들어, 줌 팩터는 최소값(ZF_min)과 최대값(ZF_max) 사이에서 가변할 수 있다. 최소값(ZF_min)은 '1'일 수 있으나, 이에 한정되지 않으며, '0'보다 크고 '1'보다 작은 실수일 수 있다. 최대값(ZF_max)은 '1'보다 큰 실수일 수 있다. 줌 팩터의 범위는 줌 모드의 변경을 야기하는 문턱 값(ZF_th)을 포함할 수 있다.

사용자는 다양한 범위의 거리에 위치한 객체를 촬영하기 위해 유저 인터페이스(도 13, 1600)를 통해 줌 배율을 변경하기 위한 명령을 입력할 수 있다. 메인 프로세서(도 13, 1800)는 사용자의 명령에 응답하여 이미지 센서 블록들(도 13, 1101 내지 1103)의 동작들을 제어할 수 있다.

계속하여 도 17 및 도 18을 참조하여, 제 1 줌 모드에서의 이미지 처리 블록(1100)은 동작이 설명된다. 사용자에 의해 조절되는 줌 팩터가 최소값(ZF_min)과 문턱 값(ZF_th) 사이인 경우, 이미지 처리 블록(1100)은 제 1 줌 모드에서 동작한다. 제 1 줌 모드에서, 제 1 이미지 센서 블록(1101)은 동작하지 않으며, 제 2 이미지 센서 블록(1102) 및 제 3 이미지 센서 블록(1103)이 동작할 수 있다. 예를 들어, 제 2 이미지 센서 블록(1102)은 영역(R2)에 대응하는 객체를 촬영하여 제 2 신호(D2)를 출력할 수 있다. 제 3 이미지 센서 블록(1103)은 영역(R3)의 객체를 촬영하여 제 3 신호(D3)를 출력할 수 있다.

이미지 신호 프로세서(1150)는 제 2 신호(D2)에 기반하여 제 2 이미지 데이터(IDAT2)를 생성할 수 있으며, 제 3 신호(D3)에 기반하여 제 3 이미지 데이터(IDAT3)를 생성할 수 있다. 예로서, 제 3 이미지 데이터(IDAT3)에 대응하는 이미지는 제 2 이미지 데이터(IDAT2)에 대응하는 이미지를 포함할 수 있다. 예로서, 상대적으로 고해상도의 제 3 이미지 데이터(IDAT3)는 상대적으로 고해상도의 픽셀 어레이와 관련되고, 상대적으로 중해상도의 제 2 이미지 데이터(IDAT2)는 상대적으로 중해상도의 픽셀 어레이와 관련된다. 예로서, 제 3 이미지의 밝기 값은 제 2 이미지의 밝기 값보다 클 수 있다.

메인 프로세서(1800)는 제 2 이미지 데이터(IDAT2)와 제 3 이미지 데이터(IDAT3)에 대하여 HDR 처리를 수행할 수 있다. HDR 처리는 도 6 내지 도 11을 통하여 설명된 실시 예들 중 적어도 하나를 포함할 수 있다.

한편, 전자 장치(도 13, 1000)의 사용자가 객체에 대한 비디오를 촬영하는 도중, 사용자는 객체를 확대하기 위하여 줌 배율을 증가킬 수 있다. 줌 배율을 증가시킴으로써 줌 팩터는 증가할 것이다. 줌 팩터가 증가하는 것은, 도 18에 점선 화살표로써 개념적으로 도시되었다. 만일, 줌 팩터가 특정한 문턱 값에 도달하면, 이미지 처리 블록(1100)의 줌 모드가 제 1 줌 모드로부터 제 2 줌 모드로 변경될 수 있다.

도 17 및 도 19을 참조하여, 제 2 줌 모드에서의 이미지 처리 블록(1100)은 동작이 설명된다. 사용자에 의해 조절되는 줌 팩터가 문턱 값(ZF_th)과 최대값(ZF_max)과 사이인 경우, 이미지 처리 블록(1100)은 제 2 줌 모드에서 동작한다. 제 2 줌 모드에서, 제 3 이미지 센서 블록(1103)은 동작하지 않으며, 제 1 이미지 센서 블록(1101) 및 제 2 이미지 센서 블록(1102)이 동작할 수 있다. 예를 들어, 제 1 이미지 센서 블록(1101)은 영역(R1)의 객체를 촬영하여 제 1 신호(D1)를 출력할 수 있다. 제 2 이미지 센서 블록(1102)은 영역(R2)의 객체를 촬영하여 제 2 신호(D2)를 출력할 수 있다.

이미지 신호 프로세서(1150)는 제 1 신호(D1)에 기반하여 제 1 이미지 데이터(IDAT1)를 생성할 수 있고, 제 2 신호(D2)에 기반하여 제 2 이미지 데이터(IDAT2)를 생성할 수 있다. 예로서, 제 2 이미지 데이터(IDAT2)에 대응하는 이미지는 제 1 이미지 데이터(IDAT1)에 대응하는 이미지를 포함할 수 있다. 예로서, 상대적으로 중해상도의 제 2 이미지 데이터(IDAT2)는 상대적으로 중해상도의 픽셀 어레이와 관련되고, 상대적으로 저해상도의 제 1 이미지 데이터(IDAT1)는 상대적으로 저해상도의 픽셀 어레이와 관련된다. 예로서, 제 2 이미지의 밝기 값은 제 1 이미지의 밝기 값보다 클 수 있다.

메인 프로세서(1800)는 제 1 이미지 데이터(IDAT1)와 제 2 이미지 데이터(IDAT2)에 대하여 HDR 처리를 수행할 수 있다. HDR 처리는 도 6 내지 도 11을 통하여 설명된 실시 예들 중 적어도 하나를 포함할 수 있다.

도 20은 도 13의 이미지 센서 블록들의 예시적인 동작들을 설명하기 위한 블록도 이다.

이미지 처리 블록(1100)은 제 1 내지 제 5 이미지 센서 블록들(1101~1105)을 포함할 수 있다(즉, n=5). 제 1 이미지 센서 블록(1101) 내지 제 5 이미지 센서 블록(1105)은 제 1 화각(FOV1)의 제 1 렌즈 내지 제 5 화각(FOV5)의 제 5 렌즈를 각각 포함할 수 다. 제 1 렌즈의 화각이 가장 작으며, 제 5 렌즈로 갈수록 화각이 커질 수 있다(즉, FOV1 <FOV2 < FOV3 < FOV4 < FOV5). 예로서, 제 1 렌즈(1111)는 망원(tele) 렌즈일 수 있다. 제 2 렌즈(1112) 및 제　3 렌즈(1113)는 서로 다른 화각을 갖는 광각(wide) 렌즈들일 수 있다. 제 4 렌즈(1114) 및 제 5 렌즈(1115)는 서로 다른 화각을 갖는 초광각(ultra-wide) 렌즈들일 수 있다.

제 1 이미지 센서 블록(1101)은 제 1 화각(FOV1)에 대응하는 영역(R1)의 이미지와 관련된 제 1 신호(D1)를 생성할 수 있으며, 제 2 화각(FOV2)에 대응하는 영역(R2)의 이미지와 관련된 제 2 신호(D2)를 생성할 수 있으며, 제 3 화각(FOV2)에 대응하는 영역(R3)의 이미지와 관련된 제 3 신호(D3)를 생성할 수 있으며, 제 4 화각(FOV4)에 대응하는 영역(R4)의 이미지와 관련된 제 4 신호(D4)를 생성할 수 있으며, 제 5 화각(FOV5)에 대응하는 영역(R5)의 이미지와 관련된 제 5 신호(D5)를 생성할 수 있다.

한편, 도 20의 이미지 처리 블록은 5개의 이미지 센서 블록들을 포함한다는 것을 제외하고는, 도 3의 실시 예와 대체로 유사하다. 그러므로, 더 이상의 상세한 설명은 생략하기로 한다.

도 21은 줌 팩터(zoom factor)에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다. 도 20 및 도 21을 참조하여, 복수의 줌 모드들에서 동작하는 이미지 처리 블록이 설명된다.

사용자에 의해 조절되는 줌 팩터가 최소값(ZF_min)과 제 1 값(ZF1) 사이인 경우, 이미지 처리 블록(1100)은 제 1 줌 모드에서 동작한다. 제 1 줌 모드에서, 이미지 센서 블록들(1104, 1105)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 이미지 신호 프로세서(1150)는 이미지 센서 블록들(1104, 1105)로부터 출력된 신호에 기반하여 이미지 데이터를 생성한다. 메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 출력된 이미지 데이터에 기반하여 도 6 내지 도 11의 HDR 처리를 수행할 수 있다.

사용자가 줌 배율을 증가시킴으로써 줌 팩터가 제 1 값(ZF1)과 제 2 값(ZF2) 사이의 값이 되면, 이미지 처리 블록(1100)은 제 2 줌 모드에서 동작한다. 제 2 줌 모드에서, 이미지 센서 블록들(1103, 1104)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 이미지 신호 프로세서(1150)는 이미지 센서 블록들(1103, 1104)로부터 출력된 신호에 기반하여 이미지 데이터를 생성한다. 메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 출력된 이미지 데이터에 기반하여 도 6 내지 도 11의 HDR 처리를 수행할 수 있다.

한편, 사용자가 줌 배율을 계속하여 증가시켜 줌 팩터가 제 2 값(ZF2)과 제 3　값(ZF3) 사이의 값이 되면, 이미지 처리 블록(1100)은 제 3 줌 모드에서 동작한다. 제 3 줌 모드에서, 이미지 센서 블록들(1102, 1103)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 제 3 줌 모드에서 메인 프로세서(1800)는 해당 이미지 데이터에 기반하여 HDR 처리를 수행한다. 계속하여 줌 팩터가 증가함으로써, 이미지 처리 블록(1100)이 제 3 줌 모드 또는 제 4 줌 모드에서 동작할 것이다. 이 경우들에 있어서, 메인 프로세서(1800)는 해당 이미지 데이터에 기반하여 HDR 처리들을 수행할 것이다.

도 22는 줌 팩터(zoom factor)에 따른 이미지 센서 블록들의 동작을 개념적으로 도시한다. 도 20 및 도 22를 참조하여, 복수의 줌 모드들에서 동작하는 이미지 처리 블록이 설명된다.

사용자에 의해 조절되는 줌 팩터가 최소값(ZF_min)과 제 1 값(ZF1) 사이인 경우, 이미지 처리 블록(1100)은 제 1 줌 모드에서 동작한다. 제 1 줌 모드에서, 이미지 센서 블록들(1103, 1104, 1105)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 이미지 신호 프로세서(1150)는 이미지 센서 블록들(1103, 1104, 1105)로부터 출력된 신호에 기반하여 이미지 데이터를 생성한다. 메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 출력된 이미지 데이터에 기반하여 도 15 및 도 16에서 설명된 HDR 처리들 중 적어도 하나를 수행할 수 있다.

사용자가 줌 배율을 증가시킴으로써 줌 팩터가 제 1 값(ZF1)과 제 2 값(ZF2) 사이의 값이 되면, 이미지 처리 블록(1100)은 제 2 줌 모드에서 동작한다. 제 2 줌 모드에서, 이미지 센서 블록들(1102, 1103, 1104)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 이미지 신호 프로세서(1150)는 이미지 센서 블록들(1102, 1103, 1104)로부터 출력된 신호에 기반하여 이미지 데이터를 생성한다. 메인 프로세서(1800)는 이미지 신호 프로세서(1150)로부터 출력된 이미지 데이터에 기반하여 HDR 처리를 수행할 수 있다.

사용자가 줌 배율을 계속하여 증가시켜 줌 팩터가 제 2 값(ZF2)과 제 3　값(ZF3) 사이의 값이 되면, 이미지 처리 블록(1100)은 제 3 줌 모드에서 동작한다. 제 3 줌 모드에서, 이미지 센서 블록들(1101, 1102, 1103)이 동작하며, 나머지 이미지 센서 블록들은 동작하지 않는다. 제 3 줌 모드에서 메인 프로세서(1800)는 해당 이미지 데이터에 기반하여 HDR 처리를 수행한다.

한편, 도 20 내지 22의 실시 예들에서, 이미지 센서 블록들의 개수가 5개로 가정된 것은 예시적인 것이며, 본 발명은 이에 한정되지 않는다. 즉, 더 많은 개수의 이미니 센서 블록들이 채택될 수 있으며, 이 경우에도 도 20 내지 도 22의 기술 사상이 동일하게 적용된다.

도 23은 도 13의 유저 인터페이스를 통해 입력되는 명령에 따라 배율이 조정되는 예시적인 방법을 설명하기 위한 개념도 이다.

몇몇 경우, 사용자(30)는 줌 배율을 서서히 증가 또는 감소시키면서 줌 배율을 유저 인터페이스(1600)로 입력하고자 의도할 수 있다. 예로서, 사용자는 두 손가락들을 유저 인터페이스(1600)의 터치 스크린(1610) 상에 접촉할 수 있다. 그 다음, 사용자(20)는 줌 배율의 값을 서서히 조절하기 위해 두 손가락들 사이의 거리를 넓히거나 또는 좁히는 행동을 취할 수 있다(핀치(Pinch) 줌-인 또는 핀치 줌-아웃).

다른 예에서, 사용자(30)는 줌 배율의 값을 조절하기 위해 유저 인터페이스(1600)의 표시 장치 상에 표시되는 그래픽 인터페이스(B1)를 이용할 수 있다. 사용자(20)는 그래픽 인터페이스(B1)의 슬라이드 바(Slide Bar)를 따라 손가락을 슬라이드함으로써 줌 배율의 값을 서서히 조절할 수 있다. 또 다른 예에서, 사용자(30)는 줌 배율의 값을 서서히 증가 또는 감소시키기 위해 유저 인터페이스(1600)의 버튼들(1620)을 누를 수 있다.

다만, 터치를 통한 줌 배율의 조정은 예시적인 것이고, 본 발명을 한정하도록 의도되지는 않는다. 예로서, 음성, 사용자의 제스처, 펜을 이용한 제스처 등을 통한 줌 배율의 조정이 채택될 수 있다.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

1000: 전자 장치
1100: 이미지 처리 블록

Claims

제 1 화각으로 객체를 촬영하여 제 1 신호를 생성하는 제 1 이미지 센서 블록;
상기 제 1 화각보다 큰 제 2 화각으로 객체를 촬영하여 제 2 신호를 생성하는 제 2 이미지 센서 블록;
상기 제 1 신호에 기반하여 제 1 이미지 데이터를 생성하고 상기 제 2 신호에 기반하여 제 2 이미지 데이터를 생성하는 이미지 신호 프로세서; 그리고
상기 제 2 이미지 데이터 중 상기 제 1 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하고, 상기 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 메인 프로세서를 포함하는 전자 장치.
제 1 항에 있어서,
상기 메인 프로세서는, 상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 큰 경우, 상기 제 1 이미지 데이터에 대한 비닝을 실행하는 전자 장치.
제 2 항에 있어서,
상기 비닝된 제 1 이미지 데이터의 크기와 상기 크롭핑된 제 2 이미지 데이터의 크기는 동일한 전자 장치.
제 1 항에 있어서,
상기 메인 프로세서는, 상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 작은 경우, 상기 크롭핑된 제 2 이미지 데이터에 대하여 비닝을 실행하는 전자 장치.
제 4 항에 있어서,
상기 제 1 이미지 데이터의 크기와 상기 비닝된 제 2 이미지 데이터의 크기는 동일한 전자 장치.
제 1 항에 있어서,
상기 메인 프로세서는, 상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 큰 경우, 상기 제 1 이미지 데이터에 대하여 업스케일링을 실행하는 전자 장치.
제 6 항에 있어서,
상기 업스케일링된 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터의 크기는 동일한 전자 장치.
제 1 항에 있어서,
상기 제 1 이미지 센서 블록은 상기 객체를 촬영한 후 상기 제 1 화각으로 상기 객체를 재촬영하여 제 3 신호를 생성하고,
상기 제 2 이미지 센서 블록은 상기 객체를 촬영한 후 상기 제 2 화각으로 상기 객체를 재촬영하여 제 4 신호를 생성하고,
상기 이미지 신호 프로세서는 상기 제 3 신호에 기반하여 제 3 이미지 데이터를 생성하고 상기 제 4 신호에 기반하여 제 4 이미지 데이터를 생성하고,
상기 메인 프로세서는 상기 제 4 이미지 데이터 중 상기 제 1 이미지 데이터 또는 상기 제 3 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하되,
상기 메인 프로세서는, 상기 제 1 이미지 데이터 내지 상기 제 4 이미지 데이터 중 적어도 일부에 기반하여 HDR 처리를 수행하는 전자 장치.
제 8 항에 있어서,
상기 메인 프로세서는, 상기 제 1 이미지 데이터의 크기 및 상기 제 3 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기 및 상기 크롭핑된 제 4 이미지의 크기보다 큰 경우, 상기 제 1 이미지 데이터 및 상기 제 3 이미지 데이터에 대한 비닝을 실행하는 전자 장치.
제 1 항에 있어서,
상기 제 1 이미지 센서 블록은 제 1 복수의 픽셀들로 구성된 제 1 픽셀 어레이를 포함하고,
상기 제 2 이미지 센서 블록은 상기 제 1 복수의 픽셀들의 개수보다 큰 제 2 복수의 픽셀들로 구성된 제 2 픽셀 어레이를 포함하는 전자 장치.
제 1 항에 있어서,
상기 크롭핑된 제 2 이미지 데이터의 크기는 상기 제 2 이미지 데이터의 크기의 1/2 이하인 전자 장치.
제 1 화각으로 객체를 촬영하여 제 1 신호를 생성하는 제 1 이미지 센서 블록;
상기 제 1 화각보다 큰 제 2 화각으로 객체를 촬영하여 제 2 신호를 생성하는 제 2 이미지 센서 블록;
상기 제 2 화각보다 큰 제 3 화각으로 객체를 촬영하여 제 3 신호를 생성하는 제 3 이미지 센서 블록;
상기 제 1 신호에 기반하여 제 1 이미지 데이터를 생성하고, 상기 제 2 신호에 기반하여 제 2 이미지 데이터를 생성하고, 상기 제 3 신호에 기반하여 제 3 이미지 데이터를 생성하는 이미지 신호 프로세서; 그리고
상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터, 및 상기 제 3 이미지 데이터 중 적어도 일부에 기반하여 HDR 처리를 수행하는 메인 프로세서를 포함하되,
상기 메인 프로세서는, 제 1 줌 팩터 구간에서, 상기 제 3 이미지 데이터 중 상기 제 2 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하고, 상기 제 2 이미지 데이터와 상기 크롭핑된 제 3 이미지 데이터에 기반하여 HDR 처리를 수행하는 전자 장치.
제 12 항에 있어서,
상기 메인 프로세서는, 상기 제 2 이미지 데이터의 크기가 상기 크롭핑된 제 3 이미지 데이터의 크기보다 큰 경우, 상기 제 2 이미지 데이터에 대한 비닝을 실행하는 전자 장치.
제 12 항에 있어서,
상기 메인 프로세서는, 상기 제 1 줌 팩터 구간보다 큰 제 2 줌 팩터 구간에서, 상기 제 2 이미지 데이터 중 상기 제 1 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하고, 상기 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 전자 장치.
제 14 항에 있어서,
상기 메인 프로세서는, 상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 큰 경우, 상기 제 1 이미지 데이터에 대한 비닝을 실행하는 전자 장치.
서로 다른 화각을 갖는 제 1 이미지 센서 블록 및 제 2 이미지 센서 블록을 이용하여 이미지를 처리하는 방법에 있어서:
제 1 화각을 갖는 상기 제 1 이미지 센서 블록에 의해, 객체를 촬영하여 제 1 신호를 생성하는 단계;
상기 제 1 화각보다 큰 제 2 화각을 갖는 상기 제 2 이미지 센서 블록에 의해, 상기 객체를 촬영하여 제 2 신호를 생성하는 단계;
상기 제 1 신호에 기반하여 제 1 이미지 데이터를 각각 생성하는 단계;
상기 제 2 신호에 기반하여 제 2 이미지 데이터를 각각 생성하는 단계;
상기 제 2 이미지 데이터 중 상기 제 1 이미지 데이터에 대응하는 이미지 데이터를 크롭핑 하는 단계; 그리고
상기 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 단계를 포함하는 방법.
제 16 항에 있어서,
상기 제 1 이미지 데이터의 크기와 상기 크롭핑된 제 2 이미지 데이터의 크기를 비교하는 단계를 더 포함하는 방법.
제 17 항에 있어서,
상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 큰 경우,
상기 제 1 이미지 데이터에 대하여 비닝을 실행하는 단계; 및
상기 비닝된 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 단계를 더 포함하는 방법.
제 17 항에 있어서,
상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 작은 경우,
상기 크롭핑된 제 2 이미지 데이터에 대하여 비닝을 실행하는 단계; 및
상기 제 1 이미지 데이터와 상기 비닝된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 단계를 더 포함하는 방법.
제 17 항에 있어서,
상기 제 1 이미지 데이터의 크기가 상기 크롭핑된 제 2 이미지 데이터의 크기보다 작은 경우,
상기 제 1 이미지 데이터에 대하여 업스케일링을 실행하는 단계; 및
상기 업스케일링된 제 1 이미지 데이터와 상기 크롭핑된 제 2 이미지 데이터에 기반하여 HDR 처리를 수행하는 단계를 더 포함하는 방법.