KR20220122317A - 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템 - Google Patents

Abstract

동시에 오토 줌 및 오토 포커스를 수행하여 이미지를 처리하는 이미지 시그널 프로세서(image signal processor: ISP)가 개시된다. 본 개시의 예시적 실시 예에 따른 이미지 센서로부터 제1 이미지를 수신하도록 구성되는 이미지 시그널 프로세서(image signal processor: ISP)는 뎁스 맵(depth map)을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 정보를 산출하도록 구성되는 오토 포커스 모듈 및 상기 뎁스 맵을 이용하여 상기 객체에 기초한 제1 외곽 점 및 제2 외곽 점을 연산하여 제1 영역을 설정하고, 상기 제1 외곽 점 및 제2 외곽 점에 기초하여 결정되는 비율에 따라 제2 영역을 설정하고, 상기 제2 영역의 크기에 대응하는 줌 배율을 연산하여 오토 줌 정보를 산출하도록 구성되는 오토 줌 모듈을 포함한다.

Description

오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 이미지 프로세싱 시스템 {IMAGE SIGNAL PROCCESSOR, IMAGE PROCESSING SYSTEM OF PERFORMING AUTO ZOOM AND AUTO FOCUS, IMAGE PROCESSING METHOD OF THE IMAGE SIGNAL PROCCESSOR HAVING THE SAME}

본 개시의 기술적 사상은 이미지 처리에 관한 것으로, 보다 상세하게는 동시에 오토 줌 및 오토 포커스를 수행하는 이미지 시그널 프로세서, 이미지 시그널 프로세서의 프로세싱 방법 및 이미지 프로세싱 시스템에 관한 것이다.

카메라, 스마트 폰 등과 같은 촬상 장치에 구비되는 이미지 시그널 프로세서는, 이미지 센서로부터 제공되는 이미지를 처리하여 변환된 이미지를 생성할 수 있다. 이미지 센서를 이용하여 3차원 영상을 획득하기 위해서는 색상뿐만 아니라 물체와 이미지 센서 간의 거리에 관한 정보, 예를 들면 뎁스 맵(depth map)을 얻을 필요가 있다. 2차원 영상 이미지에 대한 사용자의 시각(viewpoint)으로부터 장면의 물체들(scene objects)의 표면까지의 거리에 관련된 정보를 포함하는 뎁스 맵(depth map)은 복수 개의 카메라 및, 예를 들어, PDAF(phase detection auto focus) 센서 등을 이용하여 추출될 수 있다.

사용자가 촬상 장치를 이용하여 근접해 있는 물체를 촬영하고자 하는 경우, 물체를 중심으로 촬상 장치의 화면을 터치 한 뒤 수동으로 줌 인(zoom in) 또는 줌 아웃(zoom out)을 수 차례 반복하여 화각을 조정하고, 주밍(zooming) 및 포커싱(focusing)을 완료한 후 촬영하는 방식이 사용되고 있다. 주밍을 완료한 뒤 포커싱을 수행할 때, 줌이 되어 있는 상태에서는 이미지 센서의 PD(phase-difference detection) 픽셀의 수가 줄어 들어 정확한 포커싱에 어려움이 있다. 사용자의 한 번의 터치로 주밍 및 포커싱을 동시에 수행하고, 자동으로 줌 영역을 설정하여 보다 단순한 방법으로 깨끗한 이미지를 촬영할 수 있는 방법이 요구된다.

본 개시의 기술적 사상이 해결하려는 과제는, 동시에 오토 줌 및 오토 포커스를 수행하여 이미지를 처리할 수 있는 이미지 시그널 프로세서, 상기 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 상기 이미지 시그널 프로세서를 포함하는 이미지 프로세싱 시스템을 제공하는 데에 있다.

본 개시의 예시적 실시 예에 따른 이미지 센서로부터 제1 이미지를 수신하도록 구성되는 이미지 시그널 프로세서(image signal processor: ISP)는 뎁스 맵(depth map)을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 정보를 산출하도록 구성되는 오토 포커스 모듈 및 상기 뎁스 맵을 이용하여 상기 객체에 기초한 제1 외곽 점 및 제2 외곽 점을 연산하여 제1 영역을 설정하고, 상기 제1 외곽 점 및 제2 외곽 점에 기초하여 결정되는 비율에 따라 제2 영역을 설정하고, 상기 제2 영역의 크기에 대응하는 줌 배율을 연산하여 오토 줌 정보를 산출하도록 구성되는 오토 줌 모듈을 포함한다.

본 개시의 예시적 실시 예에 따른 이미지 시그널 프로세서의 이미지 시그널 프로세싱 방법은, 뎁스 맵(depth map) 정보를 이용하여 제1 이미지 상의 객체에 기초하여 제1 외곽 점 및 제2 외곽 점을 연산하는 단계, 상기 제1 외곽 점 및 상기 제2 외곽 점을 이용하여 제1 영역을 설정하는 단계, 상기 제1 외곽 점 및 상기 제2 외곽 점에 기초하여 결정되는 비율에 따라 제2 영역에 대응하는 제2 이미지가 출력되도록 오토 줌 정보를 산출하는 단계 및 상기 뎁스 맵을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 정보를 산출하는 단계를 포함하고, 상기 오토 줌 정보를 산출하는 단계 및 상기 오토 포커스 정보를 산출하는 단계는 동시에 동작하는 것을 특징으로 한다.

본 개시의 예시적 실시 예에 따른 이미지 프로세싱 시스템은, 제1 이미지를 어플리케이션 프로세서에 전송하도록 구성되는 이미지 센서를 포함하는 카메라 모듈과, 상기 이미지 센서로부터 상기 제1 이미지를 수신하고, 뎁스 맵을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 파라미터를 연산하고, 상기 뎁스 맵을 이용하여 제1 이미지에 포함된 객체를 중심으로 제1 스퀘어를 설정하고, 상기 제1 스퀘어에 기초하여 결정되는 비율에 따라 제2 스퀘어를 설정하고, 상기 제2 스퀘어가 상기 제1 이미지보다 작은 경우 상기 제2 스퀘어에 대응하는 제2 이미지에 대한 오토 줌 파라미터를 연산하도록 구성되는 어플리케이션 프로세서를 포함한다.

본 개시의 기술적 사상에 따른 이미지 시그널 프로세서, 상기 이미지 시그널 프로세서의 이미지 프로세싱 방법 및 상기 이미지 시그널 프로세서를 포함하는 이미지 프로세싱 시스템에 따르면, 뎁스 맵을 이용하여 오토 포커스 기승과 오토 줌 기능이 동시에 수행되어 촬영하고자 하는 객체를 포함하는 영역을 설정함으로써, 줌 영역을 자동으로 설정하여 선명한 이미지를 빠르고 쉽게 제공할 수 있다.

도 1은 본 개시의 예시적 실시 예들에 따른 이미지 시그널을 프로세싱하는 전자 장치를 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시 예에 따른 터치 스크린 모듈 및 터치 스크린 모듈을 통한 물체 인식 방법을 나타낸다.
도 3a는 본 개시의 예시적 실시 예에 따라 도 2의 터치 스크린에 디스플레이 되는 이미지를 나타내고, 도 3b 내지 3c는 뎁스 맵 및 물체를 식별하기 위해 분리된 이미지를 나타낸다.
도 4는 본 개시의 예시적 실시 예의 전자 장치가 이미지를 프로세싱하는 방법을 나타내는 순서도이다.
도 5는 본 개시의 예시적 실시 예에 따른 오토 포커스을 수행하는 전자 장치의 블록도이다.
도 6a 내지 도 6b 본 개시의 예시적 실시 예에 따른 오토 주밍 수행 시 설정된 제1 영역 및 제2 영역을 나타낸다.
도 7a는 본 개시의 예시적 실시 예에 따른 오토 줌을 수행하는 방법을 나타내는 순서도이고, 도 7b는 본 개시의 예시적 실시 예에 따른 오토 줌을 수행하여 출력된 이미지를 나타낸다.
도 8a는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이고, 도 8b는 도 8a의 카메라 모듈의 상세 블록도이다.
도 9는 본 개시의 실시 예에 따른 전자 장치를 나타내는 블록도이다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해 상세히 설명한다.

도 1은 본 개시의 예시적 실시 예들에 따른 이미지 시그널을 프로세싱하는 전자 장치를 설명하는 도면이다.

본 개시의 일 실시 예에 따른 전자 장치는, 예를 들어, PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC(personal computer), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등일 수 있다.

도 1을 참조하면, 전자 장치(100)는 카메라 모듈(110), 어플리케이션 프로세서(application processor: AP)(120)를 포함할 수 있다.

카메라 모듈(110)은 렌즈(102), 이미지 센서(104) 및 액츄에이터(106)를 포함할 수 있다. 렌즈(102)는 액츄에이터(106)에 의해 특정 위치로 이동될 수 있고, 이미지 센서(104)는 렌즈를 통해 제공되는 광을 이용하여 센싱 대상의 이미지를 센싱 할 수 있다.

이미지 센서(104)는 광학 렌즈를 통하여 입사된 피사체(object)의 광학적 신호를 전기적 신호 또는 이미지(즉, 이미지 데이터)로 변환할 수 있다. 이미지 센서(104)는 예를 들어, 2차원적으로 배열된 복수의 픽셀들을 포함하는 픽셀 어레이 및 센싱 회로를 포함할 수 있으며, 픽셀 어레이는 수신되는 광 신호들을 전기적 신호들로 변환할 수 있다. 픽셀 어레이는 예를 들면, CCD(Charge Coupled Devices) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전 변환 소자로 구현될 수 있으며 이외에도 다양한 종류의 광전 변환 소자로 구현될 수 있다. 센싱 회로는 픽셀 어레이로부터 제공되는 전기적 신호를 이미지로 변환하고, 변환된 이미지를 출력할 수 있다. 이미지 센서(104)는 픽셀 어레이 및 센싱 회로를 포함하는 반도체 칩으로서 구현될 수 있다.

어플리케이션 프로세서(120)는 깊이 정보 생성기(depth information generator)(108)와 통신적으로 연결(communicatively connected)될 수 있다. 깊이 정보란 이미지 센서로부터 또는 관찰 지점으로부터 물체 표면과의 거리 및 거리와 관련된 정보로 정의할 수 있다. 깊이 정보 생성기(108)는 TOF(time of flight) 센서 또는 라이다(light detection and ranging: LiDAR) 센서 중 하나를 포함할 수 있다. PDAF(phase detection auto focus) 센서는 이미지 센서 내부의 PD(phase detection) 픽셀에서 추출된 위상 차(즉, 이미지 차이)를 이용하여 피사체의 초점을 맞추는 기능이 있는 센서로 정의될 수 있다. TOF 센서란 광자가 센서에서 물체로, 그리고 그 반대로 이동할 때 소요된 왕복 시간을 계산하여 대상 물체까지의 거리를 인식하는 기능이 있는 센서로 정의될 수 있다. 라이다 센서란 레이저를 물체에 비춤으로써 사물까지의 거리, 방향 등을 감지할 수 있는 센서로 정의될 수 있다.

실시 예로서, 뎁스 맵은 어플리케이션 프로세서(120)에서 생성될 수 있다. 어플리케이션 프로세서(120)가 이미지 센서(104)의 PD(phase detection)픽셀로부터 신호를 수신하여 뎁스 맵을 생성할 수 있다. 또는, 도 1에 도시된 바에 따르면, TOF 센서나 라이다 센서를 포함하는 깊이 정보 생성기(108)는 센싱을 통해 획득한 거리 정보를 이용한 깊이 정보를 생성하여 어플리케이션 프로세서(120)에 제공하고, 이에 기초하여 어플리케이션 프로세서(120)가 뎁스 맵을 생성할 수 있다.

실시 예로서, 뎁스 맵은 이미지 센서(104)에서 생성될 수도 있다. PD(phase detection) 픽셀이 포함된 이미지 센서(104)인 경우, 이미지 센서의 PD 픽셀로부터의 신호를 기초로 이미지 센서(104)가 뎁스 맵을 생성할 수 있다. 또는, TOF 센서나 라이다 센서를 포함하는 깊이 정보 생성기(108)는 센싱을 통해 획득한 거리 정보를 이용한 깊이 정보를 생성하여 이미지 센서(104)에 제공하고, 이미지 센서(104)가 뎁스 맵을 생성할 수 있다. 이 경우, 깊이 정보 생성기(108)는 카메라 모듈(110)과 통신적으로 연결될 수도 있다.

근거리 및 원거리를 구분하는 향상된 멀티 포인트 능력을 가진 깊이 정보 생성기(108)를 사용함으로써, 사용자가 원하는 물체를 포함하는 영역을 정확하고 빠르게 획득할 수 있다. 명세서 전반에 걸쳐, 객체 및 물체는 사용자가 촬영하고자 하는 대상을 가리키는 용어로 사용될 수 있다.

실시 예에서, 어플리케이션 프로세서(120)는 카메라 인터페이스(122), 메모리(124), 이미지 시그널 프로세서(126)를 포함할 수 있다. 어플리케이션 프로세서(120)는 이미지 프로세싱의 전반적인 동작을 제어하며, 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(system on chip: SoC)으로 구현될 수 있다. 어플리케이션 프로세서(120)는 카메라 모듈(110)로부터 제공되는 이미지 데이터를 이미지 시그널 프로세서(126)를 통해 변환 또는 가공하여 디스플레이 장치를 포함하는 터치 스크린 모듈(206)에 제공하거나 메모리(124)에 저장할 수 있다. 어플리케이션 프로세서(120)는 이미지 센서(104)로부터 이미지 (또는 뎁스 맵)을 카메라 인터페이스(122)를 통해 수신할 수 있다.

이미지 시그널 프로세서(126)는 이미지 센서(104)으로부터 제공되는 이미지(일 예로, 제1 이미지)를 프로세싱하여 변환된 이미지(일 예로, 제2 이미지)를 생성할 수 있다. 실시 예에서, 터치 스크린 모듈(206)을 통한 사용자의 터치 입력에 의해 설정된 영역, 즉 사용자의 터치 입력이 입력되는 순간 터치 스크린 모듈(206)에 디스플레이 되는 이미지를 제1 이미지로 정의할 수 있다. 제1 이미지를 기초로 최종적으로 사용자에게 출력할 영역 에 해당하는 이미지를 제2 이미지로 정의할 수 있다.

예를 들어서, 이미지 시그널 프로세서(126)는 설정된 화이트 밸런스, 파라미터 및 색 공간 등에 기초하여 이미지를 처리할 수 있다. 변환된 이미지는 RGB, YUV 등과 같은 색 공간 이미지일 수 있다. 변환된 이미지의 사이즈, 예컨대 해상도는 변환 전 이미지(예를 들어, 제1 이미지)와 동일할 수 있다. 변환된 이미지는 메모리(124)에 저장될 수 있다. 메모리(124)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM)과 같은 휘발성 메모리 또는 PRAM(Phase Change RAM), ReRAM(Resistive RAM), 플래시 메모리와 같은 비 휘발성 메모리일 수 있다. 메모리(124)에 저장된 변환된 이미지는 추후 이미지 시그널 프로세싱에 사용되거나 스토리지 장치에 저장될 수 있다.

실시 예에 따르면, 이미지 시그널 프로세서(126)는 오토 포커스 모듈(128) 및 오토 줌 모듈(130)을 포함할 수 있다. 오토 포커스 모듈(128)은 이미지 센서로부터 수신한 이미지와 뎁스 맵을 통해 오토 포커스 정보를 산출할 수 있다. 오토 포커스 정보는 오토 포커싱 기능을 위해 필요한 정보로 정의될 수 있고, 일 예로, 위상 차 연산을 통해 위상 검출 신호 쌍에 포함되는 두 위상 검출 신호의 신호 세기(intensity)가 일치하는 초점의 위치, 초점의 방향 및/또는 물체와 이미지 센서(104) 사이의 거리 등을 포함할 수 있다. 실시 예에 따라, 오토 포커스 정보는 오토 포커스 기능을 위해 필요한 파라미터일 수 있다. 이미지 시그널 프로세서(126)는 산출 된 오토 포커스 정보를 기초로 하여 렌즈(102)의 위치를 이동시키도록 제어하는 제어 신호를 생성하고, 제어 신호를 액츄에이터(106)로 출력할 수 있다. 오토 줌 모듈(130)은 이미지 센서로부터 수신한 이미지(또는 뎁스 맵)를 통해 오토 줌 정보를 산출할 수 있다. 오토 줌 정보는 오토 줌 기능을 위해 필요한 정보로 정의될 수 있고, 일 예로, 사용자가 촬상 장치를 이용하여 근접해 있는 물체를 촬영하고자 하는 경우, 물체에 기초한 제1 외곽 점 및 제2 외곽 점, Adaptive Area의 크기, Adaptive Area의 크기에 따른 줌 비율 등을 포함할 수 있다. 실시 예에 따라, 오토 줌 정보는 오토 줌 기능을 위해 필요한 파라미터를 포함할 수 있다. 제1 이미지 상의 임의의 점은 2차원 평면을 서로 수직한 x축, y축으로 나타낼 수 있으며, 제1 외곽 점 및 제2 외곽 점은 제1 이미지 상의 x축, y축 상의 값으로 이루어진 좌표(예를 들어, (3,3))로 정의될 수 있다. 또한, 제1 외곽 점 및 제2 외곽 점은 물체의 샘플링 값들 중 x축 및 y축 성분의 최소 값 및 최대 값을 포함할 수 있다. 제1 외곽 점 및 제2 외곽 점으로 이루어진 직사각형 영역은 명세서 전반에 걸쳐서 제1 영역으로 지칭될 수 있으며, 도 6a에서 상세히 후술한다. Adaptive Area는 제1 영역에 기초하여 일정한 비율에 따라 설정되어 최종적으로 사용자에게 출력할 영역을 의미하고, 명세서 전반에 걸쳐서 제2 영역 또는 제2 이미지로 지칭될 수 있으며, 도 6b에서 상세히 후술한다. 이미지 시그널 프로세서(126)는 산출 된 오토 줌 정보를 기초로 하여 아날로그 줌 또는 디지털 줌을 수행할 수 있다.

어플리케이션 프로세서(120)는 터치 스크린 모듈(206)과 통신적으로 연결(communicatively connected)될 수 있다. 이미지 시그널 프로세서(126)는 이미지 또는 변환된 이미지를 터치 스크린 모듈(206)에 제공할 수 있다. 터치 스크린 모듈(206)은 사용자에 의한 터치를 센싱할 수 있고, 수신된 이미지를 디스플레이 할 수 있다.

도 1에서 도시하는 이미지 시그널을 프로세싱하는 전자장치에 따르면, 뎁스 맵을 이용하여 오토 포커스 기능과 오토 줌 기능이 동시에 수행되어 촬영하고자 하는 객체를 포함하는 영역을 설정함으로써, 줌 영역을 자동으로 설정하여 선명한 이미지를 빠르고 쉽게 제공할 수 있다.

일부 예는 "연결된(connected)" 및/또는 "결합된(coupled)" 이라는 표현을 그들의 파생어들과 함께 사용하여 설명될 수 있다. 이들 용어가 서로에 대해 꼭 동의어로서 의도된 것은 아니다. 예를 들어, "연결된" 및/또는 "결합된" 이라는 용어들을 이용한 설명은, 2개 이상의 요소가 서로 직접적으로 물리적 또는 전기적 접촉하는 것을 나타낼 수 있다. 또한, 용어 "연결" 및/또는 "결합"은 2개 이상의 요소가 서로 직접 접촉하고 있지 않지만 여전히 서로 협력하거나 상호 작용하는 것도 의미할 수 있다.

도 2는 본 개시의 예시적 실시 예에 따른 터치 스크린 모듈을 통한 물체 인식 방법을 나타낸다. 설명의 편의를 위하여 이미지 센서(202), 라이다 센서(204) 및 어플리케이션 프로세서(222)를 함께 도시하기로 한다.

터치 스크린 모듈(206)은 터치 스크린(208) 및 터치 스크린 구동 회로(210)를 포함할 수 있다. 터치 스크린(208)은 디스플레이 패널(212) 및 터치 센서(214)를 포함할 수 있으며, 터치 스크린 구동 회로(210)는 터치 센서 컨트롤러(216) 및 디스플레이 구동 회로(display driving circuit: DDI)를 포함할 수 있다. 터치 센서 컨트롤러(216) 및 DDI(218)는 하나의 반도체 칩에 집적되거나 또는 복수의 반도체 칩에 별개로 구현될 수 있다. 또는 터치 센서 컨트롤러(216) 및 DDI(218)는 하나의 반도체 모듈로 구현될 수 있다.

도 2의 실시 예에 따르면, 사용자(220)가 전자 장치(100)의 카메라를 실행하고, 사용자(220)가 터치 스크린(208)을 통해 디스플레이 된 사용자가 원하는 영역을 손가락 등으로 터치할 수 있다. 터치 스크린(208)은 이미지를 표시할 수 있으며, 사용자의 터치(또는 터치 입력)를 수신할 수 있다. 터치 스크린(208)은 전자 기기의 입/출력 장치로서 동작할 수 있으며, 전도성 물체가 접근하는 것을 센싱하는 근접 센서로서 동작할 수 있다. 실시예에 있어서, 터치 스크린(208)은 지문 센서를 더 포함할 수 있으며, 터치 스크린 모듈(206)이 포함된 전자장치는 지문 인식 기능을 수행할 수 있다.

사용자의 터치 입력을 터치 스크린(208)이 수신하면, 터치 센서(214)는 터치 스크린(208) 상의 터치를 센싱하고 센싱 신호들을 출력할 수 있다. 이 때, 터치 스크린(208) 상에 전도성 물체가 직접 접촉하는 것뿐만이 아니라 상기 전도성 물체가 터치 스크린(208)에 근접하는 것을 포함한다. 예를 들어, 전도성 물체는 사용자의 신체(예컨대, 손가락, 손바닥, 얼굴, 귀), 터치 펜, 스타일러스 펜 등을 포함할 수 있다. 도2에는 터치 센서(214)와 디스플레이 패널(212)이 별개의 구성인 것으로 도시되었으나, 이에 제한되는 것은 아니다. 터치 센서(214)는 디스플레이 패널(212) 상에 적층 될 수 있으며, 디스플레이 패널(212)의 전면(예컨대 광 신호들이 방출되는 면)에 부착될 수 있다. 실시 예에 있어서, 터치 센서(214)는 디스플레이 패널(212)의 전면을 덮을 수 있다.

디스플레이 패널(212)은 LCD(liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, ECD(Electrochromic Display), DMD(Digital Mirror Device), AMD(Actuated Mirror Device), GLV(Grating Light Valve), PDP(Plasma Display Panel), ELD(Electro Luminescent Display), VFD(Vacuum Fluorescent Display) 중 하나로 구현될 수 있고, 그 밖에 다른 종류의 평판 패널 또는 플렉서블 패널로 구현될 수 있다

터치 센서 컨트롤러(216)는 터치 센서(214)를 스캔(예컨대 구동 및 센싱)할 수 있다. 다시 말해서, 터치 센서 컨트롤러(216)는 터치 센싱을 수행할 수 있다. 실시 예에 있어서, 터치 센서 컨트롤러(216)는 아날로그 신호인 센싱 신호들을 디지털 신호인 터치 값들로 변환하고, 터치 값들을 포함하는 터치 데이터를 생성할 수 있다. 터치 센서 컨트롤러(216)는 터치 데이터를 기초로 터치 스크린(208) 상의 적어도 하나의 특정 위치에 터치 입력이 발생하였음을 판단하고, 터치 입력이 발생한 위치, 즉 터치 좌표(Txy)를 산출할 수 있다.

디스플레이 구동 회로(218)는 어플리케이션 프로세서(222)로부터 이미지를 수신하고, 디스플레이 패널(212)에 이미지가 표시되도록 디스플레이 패널(212)을 구동할 수 있다.

도 2의 실시 예에 따르면, 터치 스크린 모듈(206)은 사용자의 터치 입력을 인식하고 터치 좌표(Txy)를 계산할 수 있으며, 이미지 시그널 프로세서(224)는 터치 스크린 모듈(206)로부터 수신한 터치 좌표(Txy)에 기초하여 이미지 센서(202)로부터 수신된 이미지 데이터 중 특정 이미지 상의 물체를 식별할 수 있다. 예시적으로, 이미지 센서(202)가 생성한 이미지 데이터 및 뎁스 맵을 이용하여, 또는 이미지 센서(202)가 생성한 이미지 데이터 및 어플리케이션 프로세서(222)가 생성한 뎁스맵을 이용하여, 사용자가 원하는 물체를 식별할 수 있다.

도 3a는 본 개시의 예시적 실시 예에 따라 도 2의 터치 스크린에 디스플레이 되는 이미지를 나타내고, 도 3b 내지 3c는 본 개시의 예시적 실시 예에 따른 뎁스 맵 및 물체를 식별하기 위해 분리된 이미지를 나타낸다.

도 3a 내지 도 3c는 도 2에서 서술한 터치 스크린 모듈을 통한 물체 인식 방법에서 사용되는 이미지들 및 뎁스 맵을 나타낸다.

도 3 a에 따르면, 터치 스크린(208)에 표시된 화면은 사용자의 터치 입력에 의해 인식된 영역 또는 이미지(300a)일 수 있다. 사용자의 터치 입력에 의해 인식된 이미지(300a)는 이미지 센서(104)로부터 제공되는 이미지 데이터 중 하나에 해당되며, 제1 이미지로 지칭될 수 있다.

실시 예로서, 사용자가 촬영하고자 하는 물체는 토끼(304a)에 해당하며, 터치 좌표(Txy)(302a)는 (x0, y0)로 정의될 수 있다. 터치 좌표(Txy)(302a)는 터치 센서(214) 및 터치 센서 컨트롤러(216)를 통해 산출될 수 있다. 사용자의 터치 입력에 의해 인식된 이미지(300a)에는 토끼(302a), 식물들(306a), 언덕(308a) 및 이외의 영역인 배경(310a)을 포함할 수 있다.

도 3b는 제1 이미지에 대응하는 뎁스 맵(depth map)을 나타낸다.

뎁스 맵(300b)은 이미지 센서로부터 또는 관찰 지점으로부터 물체 표면과의 거리 및 거리와 관련된 정보가 담긴 영상 또는 영상의 한 채널로 정의할 수 있고, 2차원 영상의 각 부분의 깊이 정보를 나타낸다. 여기서, 사용자의 시각(또는, 이미지 센서)으로부터 화면에 담긴 물체들의 표면까지의 거리를 깊이(depth) 정보로 정의할 수 있다.

뎁스 맵(300b)의 각 점은 깊이 정보 및 그 점의 2차원 위치 정보에 의해 고유의 3차원 좌표를 가질 수 있다. 도 3b는 깊이 정보를 명암으로 표시하였는데, 밝을수록 (또는, 백색에 가까울수록) 깊이가 적은 값을 갖는 부분, 어두울수록 (또는, 흑색에 가까울수록) 깊이가 큰 값을 갖는 부분인 것으로 정의할 수 있다. 도 3b를 참조하면, 언덕(308b) 위의 식물들(306b)은 사용자의 시각을 기준으로 토끼(304b) 보다 먼 거리에 위치하므로 토끼(304b) 보다 어둡게 표시될 수 있다. 배경(310b)은 가장 먼 거리에 위치하므로 검정색으로 표시될 수 있고, 토끼(304b)는 가장 가까운 거리에 위치하므로 흰색으로 표시될 수 있다.

도 3c는 물체(즉, 토끼(304c))를 식별하기 위해 도 3b에서 도시하는 뎁스 맵(300b)을 이용하여 분리된 이미지(300c)를 나타낸다. 도 3c는 어플리케이션 프로세서의 이미지 시그널 프로세서에서 생성될 수 있으며, 제 3이미지로 지칭 될 수 있다.

터치 센서(214) 및 터치 센서 컨트롤러(216)를 통해 산출된 터치 좌표(Txy)(302c) 및 뎁스 맵(300b)을 이용하여, 이미지 시그널 프로세서는 터치 좌표(Txy)(302c)에서의 깊이 정보를 획득할 수 있다. 또한, 이미지 시그널 프로세서는 터치 좌표(Txy)(302c)에서의 깊이 정보와 동일한 깊이 정보를 갖는 영역(304c)을 분리할 수 있으며, 터치 좌표(Txy)(302c)를 기준으로 제1 이미지의 블러 특성(일 예로, 점 퍼짐 함수(point spread function: PSF))을 이용하여 제3 이미지(300c)의 물체(즉, 토끼(304c))를 식별할 수 있다. 실시 예로서, 터치 좌표는 제1 이미지의 중앙에 위치할 수 있으며, 터치 좌표에 대응하는 픽셀과 동일한 뎁스 맵의 속성을 가지는 영역을 분리한 제3 이미지가 생성될 수 있다. 동일한 깊이 정보를 갖는 영역은 동일한 뎁스 맵의 속성을 가지는 영역으로 정의될 수 있다. 점 퍼짐 함수란 점이 어떻게 퍼지는지를 수학적 또는 수치상으로 나타낸 함수로 정의될 수 있다.

도 4는 본 개시의 예시적 실시 예의 전자 장치가 이미지를 프로세싱 하는 방법을 나타내는 순서도이다.

본 개시의 일 실시 예에 따르면, 카메라 모듈(110)의 렌즈(102)를 통하여 광이 제공되고, 이미지 센서(104)는 렌즈를 통해 제공되는 광을 이용하여 사용자의 터치 입력에 의해 설정되는 영역에 대응하는 제1 이미지를 센싱 및 획득할 수 있다(S402). 이미지 센서(104) 또는 어플리케이션 프로세서(120)는 획득한 제1 이미지의 뎁스 맵을 생성할 수 있다. 이미지 센서(104)가 뎁스 맵을 생성한 경우, 어플리케이션 프로세서(120)는 카메라 인터페이스(122)를 통해 제1 이미지 및 뎁스 맵을 수신할 수 있다. 어플리케이션 프로세서(120)는 수신한 제1 이미지(또는 뎁스 맵)를 사용하여 제1 이미지 상의 물체를 식별하기 위한 제3 이미지를 생성할 수 있다. 사용자가 촬영하고자 하는 물체는 PSF(point spread function)을 사용하여 식별할 수 있고, 이는 도 3c에서 상술한 바와 같다. 어플리케이션 프로세서(120)에 포함된 오토 포커스 모듈(128) 및 오토 줌 모듈(130)은 카메라 인터페이스(122)를 통해 제1 이미지 및 뎁스 맵을 수신할 수 있다.

오토 포커스 모듈(128)은 뎁스 맵을 이용하여 이미지 센서로부터 제1 이미지 상의 물체 표면과의 거리를 확인하여(S406), 제1 이미지 상의 물체에 대한 오토 포커스 정보를 산출할 수 있다(S408). 오토 포커스 모듈(128)은 산출된 오토 포커스 정보를 기초로 하여 렌즈(102)의 위치를 이동시키도록 제어하는 제어 신호를 생성할 수 있다(S410). 예를 들어, 오토 포커스 모듈(128)은 초점의 위치 및 방향, 이미지 센서와 물체 사이의 거리 정보 등을 포함하는 오토 포커스 정보에 기초하여 렌즈를 이동시키기 위한 파라미터를 계산하고, 계산된 파라미터를 액츄에이터(106)로 전달하기 위한 제어 신호를 생성할 수 있다.

오토 줌 모듈(130)은 제1 이미지를 샘플링(sampling)하여 샘플링 된 제1 이미지의 물체를 기초로 제1 외곽 점 및 제2 외곽 점을 연산할 수 있다(S412). 물체는 뎁스 맵을 이용하여 제1 이미지 상에서 식별될 수 있다(도3a 내지 도 3c 참조). 여기서, 좌표의 원점인 (0,0)은 제1 이미지의 왼쪽 위 꼭지점에 위치하는 것으로 전제한다. 제1 외곽 점이란 샘플링 된 물체의 최 외곽 점들 중 x좌표 성분의 최소 값 및 y좌표 성분의 최소 값을 포함하는 좌표 (x1, y1)으로 정의할 수 있다. 제1 외곽 점은 샘플링 된 물체 상에 위치할 수도 있고, 샘플링 된 물체 상에 위치하지 않을 수도 있다. 제2 외곽 점이란 샘플링 된 물체의 최 외곽 점들 중 x좌표의 최대 값 및 y좌표의 최대 값을 포함하는 좌표 (x2, y2)로 정의할 수 있다. 제2 외곽 점은 샘플링 된 물체 상에 위치할 수도 있고, 샘플링 된 물체 상에 위치하지 않을 수도 있다.

오토 줌 모듈(130)은 제1 외곽 점 및 제2 외곽 점을 꼭지점으로 하는 직사각형 모양의 제1 영역을 설정할 수 있다(S414).

오토 줌 모듈(130)은 제1 외곽 점 및 제2 외곽 점의 x좌표 및 y 좌표를 기준으로 제3 외곽 점 및 제4 외곽 점을 연산할 수 있다(S416). 제3 외곽 점 및 제4 외곽 점의 좌표들은 제1 외곽 점 및 제2 외곽 점의 좌표들을 일정 비율로 곱셈하여 구한 값들로 정의될 수 있고, 도 6b에서 상세히 후술한다.

오토 줌 모듈(130)은 제3외곽 점 및 제4 외곽 점을 꼭지점으로 하는 직사각형 모양의 제2 영역을 설정할 수 있다(S414). 제2 영역은 Adaptive Area또는 제2 이미지로 지칭될 수 있으며, 최적의 비율에 따라 설정되어 최종적으로 사용자에게 출력할 영역 또는 이미지를 의미할 수 있다.

오토 줌 모듈(130)은 제1 영역 및 제2 영역에 기초하여 줌 배율을 계산하고, 제1 이미지 상의 물체에 대한 오토 줌 정보를 산출할 수 있다(S420). 오토 줌 모듈(130)은 산출된 오토 줌 정보를 기초로 하여 아날로그 줌 또는 디지털 줌을 수행하도록 제어하는 제어 신호를 생성할 수 있다(S422).

본 개시의 실시 예에 따르면, 오토 포커스 모듈(128) 및 오토 줌 모듈(130)은 뎁스 맵을 수신한 후 동시에 병렬적으로 동작할 수 있다. 오토 포커스 모듈(128)에서의 오토 포커스 동작 및 오토 줌 모듈(130)에서의 오토 줌 동작이 함께 종료할 수도 있고, 둘 중 하나의 동작이 먼저 종료할 수도 있다. 오토 포커스 및 오토 줌 동작이 모두 종료되면, 전자 장치(100)는 디스플레이 패널(212)에 디스플레이 된 제2 이미지를 캡처하고(S424), 메모리(124)에 제2 이미지를 저장할 수 있다(S426).

본 개시의 실시 예에 따른 전자 장치(100)는 사용자의 한 번의 터치로 오토 포커스 및 오토 줌을 수행하여 사용자가 촬영하고자 하는 물체를 포함하는 최적의 영역을 자동으로 선택하고, 이미지를 캡처하고 저장하기까지 one-stop으로 수행될 수 있다.

도 5는 본 개시의 예시적 실시 예에 따른 오토 포커스를 수행하는 전자 장치의 블록도이다.

본 개시의 예시적 실시 예에 따른 전자 장치(500)는 촬상부(504), 이미지 센서(506) 및 어플리케이션 프로세서(522)를 포함할 수 있다. 전자 장치(500)는 오토 포커싱(auto focusing; 이하 AF라고 함) 기능을 구비할 수 있다.

어플리케이션 프로세서(5220)는 렌즈 구동부(512), 조리개 구동부(514), 제어부(518) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공할 수 있다.

촬상부(504)는 광을 수신하는 구성 요소로서, 렌즈(508), 렌즈 구동부(512), 조리개(510), 조리개 구동부(514)를 포함할 수 있다. 렌즈(508)는 복수의 렌즈들을 구비할 수 있다.

렌즈 구동부(512)는 어플리케이션 프로세서(522)와 초점 검출에 관한 정보를 통신할 수 있고, 어플리케이션 프로세서(522)에서 제공된 제어 신호에 따라 렌즈(508)의 위치를 조절할 수 있다. 렌즈 구동부(512)는 렌즈(508)를 이동시킴으로써, 렌즈(508)의 위치를 조절할 수 있다. 예를 들어, 렌즈 구동부(512)는 렌즈(508)를 객체(502)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동시킬 수 있고, 렌즈(508)와 객체(502) 사이의 거리가 조절될 수 있다. 렌즈(508)의 위치에 따라 객체(502)에 대한 초점이 맞거나 흐려질 수 있다.

이미지 센서(506)는 입사되는 광을 이미지 신호로 변환할 수 있다. 이미지 센서(506)는 픽셀 어레이(516), 제어부(518) 및 신호 처리부(520)를 포함할 수 있다. 렌즈(508) 및 조리개(510)를 투과한 광학 신호는 픽셀 어레이(516)의 수광면에 이르러 피사체의 상을 결상할 수 있다.

픽셀 어레이(516)는 광학 신호를 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 픽셀 어레이(516)는 제어부(518)에 의해 감도 등이 조절될 수 있다. 픽셀 어레이(516)는 행열로 배치된 복수의 픽셀을 포함할 수 있으며, 복수의 픽셀 각각은 마이크로 렌즈 및 마이크로 렌즈 아래에 나란하게 배치된 적어도 두 개의 광전 변환 소자를 포함할 수 있다. 복수의 픽셀 각각은 나란하게 배치된 적어도 하나의 제1 광전 변환 소자 및 적어도 하나의 제2 광전 변환 소자를 포함할 수 있다. 픽셀은 제1 광전 변환 소자로부터 생성되는 제1 이미지 신호 또는 제2 광전 변환 소자로부터 생성되는 제2 이미지 신호를 출력할 수 있다. 또한, 픽셀은 제1 광전 변환 소자 및 제2 광전 변환 소자로부터 생성되는 합산 이미지 신호를 출력할 수 있다. 픽셀 어레이(516)에 포함된 픽셀이 PD 픽셀인 경우, 이미지 센서(506)는 PD 픽셀로부터의 신호를 이용하여 뎁스 맵을 생성할 수 있다. 다른 실시 예로, 라이다 센서(526)를 포함하는 깊이 정보 생성기(108)로부터 깊이 정보를 추출하여 이미지 센서(506) 또는 어플리케이션 프로세서(522)가 뎁스 맵을 생성할 수 있다.

신호 처리부(520)는 픽셀 어레이(516) 상에서 인접한 서로 다른 로우(row) 및 동일한 컬럼에 배치되는 적어도 두 개의 픽셀에서 출력되는 제1 이미지 신호 및 제2 이미지 신호를 기초로, 위상 차 연산에 이용되는 위상 검출 신호 쌍을 생성할 수 있다. 초점이 맞지 않을 때, 제1 이미지 신호 및 제2 이미지 신호의 위상이 상이할 수 있다. 예컨대, 제1 이미지 신호 및 제2 이미지 신호의 신호 세기가 상이할 수 있다. 초점이 맞을 때, 제1 이미지 신호 및 제2 이미지 신호의 위상이 동일할 수 있다.

신호 처리부(520)는 픽셀 어레이(516)로부터 출력되는 복수의 제1 이미지 신호 및 복수의 제2 이미지 신호를 기초로 복수의 위상 검출 신호 쌍을 생성할 수 있다. 복수의 위상 검출 신호 쌍, 또는 복수의 위상 검출 신호 쌍에 의하여 생성되는 한 쌍의 이미지가 오토 포커스 정보로서 어플리케이션 프로세서(522)로 제공될 수 있다.

어플리케이션 프로세서(522)는 이미지 센서(506)로부터 이미지 데이터를 수신할 수 있다. 이미지 데이터는 프레임 단위의 이미지 및/또는 오토 포커스 정보를 포함할 수 있다. 어플리케이션 프로세서(522)는 오토 포커스 정보를 이용하여 AF 기능을 위한 위상 차 연산을 수행할 수 있다. 실시 예에 있어서, 어플리케이션 프로세서(522)는 오토 포커스 정보에 포함되는 복수의 위상 검출 신호 쌍을 기초로 위상 차 연산을 수행할 수 있다. 예를 들어, 어플리케이션 프로세서(522)는 복수의 위상 검출 신호 쌍 중 복수의 제1 위상 검출 신호를 기초로 이미지 A를 생성하고 복수의 제2 위상 검출 신호를 기초로 이미지 B를 생성하며, 이미지 A와 이미지 B 간 위상 차를 산출할 수 있다.

어플리케이션 프로세서(522)는 위상 차 연산을 통해 위상 검출 신호 쌍에 포함되는 두 위상 검출 신호의 신호 세기(intensity)가 일치하는(다시 말해서 제1 이미지 및 제2 이미지의 위상이 일치하는) 초점의 위치, 초점의 방향 및/또는 객체(502)와 이미지 센서(506) 사이의 거리 등을 구할 수 있다.

어플리케이션 프로세서(522)는 위상 차 연산 결과를 기초로 하여, 렌즈 구동부(512)가 렌즈(508)의 위치를 이동시키도록 제어하는 제어 신호를 생성하고, 제어 신호를 렌즈 구동부(512)로 출력할 수 있다.

도 6a 내지 도 6b 본 개시의 예시적 실시 예에 따른 오토 주밍 수행 시 설정된 제1 영역 및 제2 영역을 나타낸다.

도 3a 및 도 6a를 참조하면, 사용자가 촬영하고자 하는 객체는 토끼(304a)이며 오토 줌 모듈(130)은 제1 이미지를 샘플링하여 샘플링 된 물체의 최 외곽 점들(612)을 획득할 수 있다.

도 6a는 도 4의 S412 내지 S414를 수행한 결과 샘플링 된 제1 이미지의 물체를 기초로 설정된 제1 영역(608)을 나타낸다. 일 예로, 샘플링 된 물체의 최 외곽 점들(612) 중 하나인 점 C(606)와 점 D(604)의 좌표 값은 제1 외곽 점 (x1, y1)(602)의 연산에 사용될 수 있다. 여기서, 좌표의 원점인 (0,0)은 샘플링 된 이미지의 왼쪽 위에 위치하는 것으로 전제한다.

제1 외곽 점(602)의 x좌표 값인 x1은 샘플링 된 물체의 최 외곽 점들(312) 중 x좌표의 최소 값으로 정의될 수 있고, 오토 줌 모듈(130)은 샘플링 된 물체의 최 외곽 점들(612)의 x 좌표 값이 최소가 되는 좌표 값을 연산할 수 있다. x좌표 값이 최소가 되는 좌표 값을 갖는 최 외곽점은 다수가 될 수 있고, 그 중 점 C(606)의 x 좌표 값이 연산 될 수 있다. 마찬가지로, 제1 외곽 점(602)의 y좌표 값인 y1은 샘플링 된 물체의 최 외곽 점들(612) 중 y좌표의 최소 값으로 정의될 수 있고, 오토 줌 모듈(130)은 샘플링 된 물체의 최 외곽 점들(612)의 y 좌표 값이 최소가 되는 좌표 값을 연산할 수 있다. y좌표 값이 최소가 되는 좌표 값을 갖는 최 외곽 점은 다수가 될 수 있고, 그 중 점 D(604)의 y 좌표 값이 연산 될 수 있다. 제1 외곽 점(302)은 점 C(606)의 x 좌표 값과 점 D(604)의 y좌표 값으로 설정될 수 있다. 실시 예에 따르면, 제1 외곽 점은 샘플링 된 물체 상에 위치하지 않을 수 있다. 본 개시의 실시 예에 따르면, 샘플링 된 이미지의 모든 샘플링 값을 이용하는 것이 아니라 최 외곽 점들 만을 이용하여 연산하므로, 사용자가 촬영하고자 하는 물체의 사이즈가 크더라도 상대적으로 적은 수치의 연산으로 빠르게 오토 줌을 수행할 수 있다.

제1 외곽 점을 연산하는 방법과 마찬가지로, 샘플링 된 물체의 최 외곽 점들(612) 중 하나 이상의 점은 제2 외곽 점 (x2, y2)(610)의 연산에 제공될 수 있다.

도 6b는 도 4의 S416 내지 S418을 수행한 결과 제1 영역(608)을 기초로 설정된 제2 영역(620)을 나타낸다. 일 예로, 연산 된 제1 외곽 점(306)과 제2 외곽 점(310)은 제3 외곽 점 (x3, y3)(314)과 제4 외곽 점(x4, y4)(316)의 연산에 사용될 수 있다. 여기서, 좌표의 원점인 (0, 0)(618)은 샘플링 된 이미지의 왼쪽 위에 위치하는 것으로 전제한다. 또한, 터치 스크린(208)의 디스플레이 패널(212)의 해상도가 4:3인 것을 전제한다. 좌표의 원점의 위치와 디스플레이 패널의 해상도는 다른 값을 가질 수 있으며, 본 개시의 범위가 이에 한정되는 것은 아니다.

제2 영역(620)은 물체를 중심으로 한 제1 영역(608)을 기준으로 최적의 구도를 만들기 위해 설정될 수 있다. 참고로, 화면의 구도를 정할 때 또는 프레임을 분할할 때 일반적으로 사용하는 3분할 법은 황금 비율(또는 황금 분할)인 1:1.618로 결정되며, 사용자가 촬영하고자 하는 객체와 배경과의 비율을 고려했을 때 사용자가 촬영하고자 하는 객체를 1:1.618 비율이 되는 곳에 위치시키는 기법을 의미한다.

본 개시의 실시 예에 따르면, 일반적으로 사용하는 3분할 법과는 달리, 배경을 고려하지 않고 물체의 크기를 기준으로 하는 새로운 3분할 법을 적용하여 제2 영역의 크기가 설정될 수 있다. 제1 외곽 점에 대응하는 좌표의 성분들에 일정 비율을 곱하여 제3 외곽 점에 대응하는 좌표의 성분들을 연산하고 제2 외곽 점에 대응하는 좌표의 성분들에 일정 비율을 곱하여 제4 외곽 점에 대응하는 좌표의 성분들을 연산하므로, 보다 단순한 방법으로 제2 이미지를 생성할 수 있다.

제2 영역(620)을 설정하기 위해 제3 외곽 점 및 제4 외곽 점을 연산하는 소스 코드의 일 예는 다음과 같다.

A(x1, y1), B(x2, y2)

If x1>2 and x2 and y1>2 and y2

Start point(INT{Min(x1)/2}, INT{Min(y1)/2})

End point(INT{Max(x2)*1.3}, INT{Max(y2)*1.3})

Else()

소스 코드를 참조하면, 점A(x1, y1)(602)은 제1 외곽 점, B(x2, y2)(610)는 제2 외곽 점에 대응하는 것으로 정의할 수 있다. 도 6b에 따르면, A(6,6), B(9,9)에 해당한다. 실시 예에서, 제1 영역을 설정한 후 오토 줌을 수행하여 제2 영역을 설정하기 위해서는 제1 외곽 점에 대응하는 좌표의 성분들인 x1, y1은 2보다 큰 정수 값이어야 한다(if x1>2 and y1>2)는 조건을 만족해야 한다. 여기서, 디스플레이 상 배치된 픽셀 단위로 좌표가 정해질 수 있으므로, 제1 외곽 점의 좌표 값인 x1, y1과 제2 외곽 점의 좌표 값인 x2, y2는 양의 정수 값 임을 전제한다. 상술한 조건이 필요한 이유는, 예를 들어, x1 값이 2보다 크지 않은 1 이라면, 물체가 제1 이미지 상에서 최 외곽에 존재하는 것이므로, 오토 줌을 수행할 수 없는 이미지에 해당하기 때문이다. 제2 영역을 만들기 위한 제3 외곽 점은 양의 정수 값으로 계산되어야 하므로 수치적으로 계산이 불가능하게 된다.

또한, 소스 코드를 참조하면, Start point는 제3 외곽 점, End point는 제4 외곽 점에 대응하는 것으로 정의할 수 있다. 실시 예에서, 제3 외곽 점은 제1 외곽 점에 대응하는 좌표의 성분들의 0.5배의 값을 갖는 것으로 정의할 수 있고, 제4 외곽 점은 제2 외곽 점에 대응하는 좌표의 성분들의 1.3배의 값을 갖는 것으로 정의할 수 있다. 도 6b에 따르면, Start point(3,3), End point(12,12)에 해당한다. 실시 예에서, 해상도가 4:3일 때 최적의 비율로써 제1 외곽 점 및 제2 외곽 점 각각에 대해 0.5배 및 1.3배의 비율에 해당하는 값으로 설정하였으나, 이에 한정 되지 않는다.

도 7a는 본 개시의 예시적 실시 예에 따른 오토 줌을 수행하는 방법을 나타내는 순서도이며, 도 7b는 본 개시의 예시적 실시 예에 따른 오토 줌을 수행하여 출력된 이미지를 나타낸다.

도 7a를 참조하면, 이미지 센서(104)로부터 뎁스 맵(도 3b 참조)을 수신한 후, 도 4의 S412 내지 S422에 해당하는 오토 줌을 수행하기 위한 방법을 구체적으로 나타낸다.

오토 줌 모듈(130)은 수신한 뎁스 맵을 이용하여, 샘플링 된 제1 이미지의 물체를 기초로 제1 외곽 점 및 제2 외곽 점을 연산할 수 있다(S702). 오토 줌 모듈(130)은 제1 외곽 점 및 제2 외곽 점을 이용하여 제1 영역을 설정할 수 있다(S704). S702 내지 S704는 도 6a에 대한 설명에서 기술한 바와 같다. 오토 줌 모듈(130)은 제1 외곽 점 및 제2 외곽 점에 대응하는 좌표의 성분들을 기준으로 제3 외곽 점 및 제4 외곽 점을 연산할 수 있고(S706), 제3 외곽 점 및 제4 외곽 점을 이용하여 제2 영역을 설정할 수 있다(S708). S706 내지 S708은 도 6b에 대한 설명에서 기술한 바와 같다.

제 2 영역에 대응하는 제2 이미지를 생성한 뒤, 제2 영역의 크기와 제1 이미지의 크기를 비교하여, 제 2 영역의 크기가 제1 이미지의 크기보다 작은지 판단할 수 있다(S710). 제2 영역의 크기가 제1 이미지의 크기와 같거나 제1 이미지의 크기보다 큰 경우, 오토 줌을 수행할 할 필요가 없기 때문에 프로세스를 종료한다. 제2 영역의 크기가 제1 이미지의 크기보다 작은 경우, 오토 줌 모듈(130)은 제1 영역 및 제2 영역에 기초하여 줌 배율을 계산하고, 제1 이미지 상의 물체를 기준으로 줌을 수행하기 위한 아날로그 줌 파라미터를 산출할 수 있다.

실시 예에서, 줌은 전자 장치의 구성, 설정에 따라 아날로그 줌 또는 디지털 줌으로 나뉠 수 있다. 아날로그 줌은 광학 렌즈를 앞뒤로 이동하여 이미지를 물리적으로 확대 및 축소하는 광학 줌(optical zoom)을 의미할 수 있다. 아날로그 줌이 적용되는 경우, 예를 들어, 오토 줌 모듈(130)은 주밍의 위치 및 방향, 이미지 센서와 물체 사이의 거리 정보 등을 포함하는 오토 줌 정보에 기초하여 렌즈를 이동시키기 위한 아날로그 줌 파라미터를 연산하고(S712), 연산된 파라미터를 카메라 모듈(110)(또는 액츄에이터(106))로 전송할 수 있다(S714). 오토 줌 모듈(130)은 아날로그 줌 파라미터에 기초하여 렌즈의 이동을 제어하는 광학 줌을 수행할 수 있다(S716).

디지털 줌은 이미지 센서(104)에서 보여지는 디지털 이미지를 디지털 시그널링을 통해 확대 또는 축소하는 방식을 의미할 수 있다. 디지털 줌이 적용되는 경우, 예를 들어, 오토 줌 모듈(130)은 제1 이미지 상의 줌의 기준이 되는 중심 위치, 줌 배율 등을 포함하는 오토 줌 정보에 기초하여 제1 이미지를 확대하기 위한 디지털 줌 파라미터를 연산하고(S718), 연산된 파라미터를 이미지 센서(104)로 전송 할 수 있다(S720). 오토 줌 모듈(130)은 아날로그 줌 파라미터에 기초하여 제1 이미지를 확대하는 디지털 줌을 수행할 수 있다(722).

아날로그 줌 또는 디지털 줌을 수행하고 난 후, 선택적인 단계로써 물체 이외의 영역은 블러(blur)를 적용할 수 있다(S724). 도 7b를 참조하면, 블러링 된 이미지를 사용자에게 출력할 최종 이미지(즉, 제2 이미지)로써 생성할 수 있다(S726).

도 8a는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이고, 도 8b는 도 8a의 카메라 모듈의 상세 블록도이다.

도 8a를 참조하면, 전자 장치(100)는 카메라 모듈 그룹(802), 어플리케이션 프로세서(800), PMIC(850) 및 외부의 스토리지(840)를 포함할 수 있다.

카메라 모듈 그룹(802)은 복수의 카메라 모듈(802a, 802b, 802c)을 포함할 수 있다. 도 1의 실시 예에서, 카메라 모듈(110)은 복수의 카메라 모듈(802a, 802b, 802c)을 포함하는 카메라 모듈 그룹(802)으로 구성될 수 있다. 비록 도면에는 3개의 카메라 모듈(802a, 802b, 802c)이 배치된 실시 예가 도시되어 있으나, 실시 예들이 이에 제한되는 것은 아니다. 몇몇 실시 예에서, 카메라 모듈 그룹(802)은 2개의 카메라 모듈 만을 포함하거나, k개(k는 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수 있다.

이하, 도 8b를 참조하여, 카메라 모듈(802b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(802a, 802c)에 대해서도 동일하게 적용될 수 있다.

도 8b를 참조하면, 카메라 모듈(802b)은 프리즘(862), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ½OPFE½)(860), 액츄에이터(880), 이미지 센싱 장치(870) 및 저장부(890)를 포함할 수 있다.

프리즘(862)은 광 반사 물질의 반사면(864)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

몇몇 실시 예에서, 프리즘(862)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(862)은 광 반사 물질의 반사면(864)을 중심축(866)을 중심으로 A방향으로 회전시키거나, 중심축(866)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(860)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

몇몇 실시 예에서, 도시된 것과 같이, 프리즘(862)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

몇몇 실시 예에서, 프리즘(862)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다

몇몇 실시 예에서, 프리즘(862)은 광 반사 물질의 반사면(864)을 중심축(866)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

몇몇 실시 예에서, 카메라 모듈(802b)은 2개 이상의 프리즘으로 구성될 수 있으며, 이를 통해 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로, 다시 제1 방향(X) 혹은 제3 방향(Z) 그리고 다시 제2 방향(Y)등으로 다양하게 변화시킬 수 있다.

OPFE(860)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(802b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(802b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(860)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(802b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다. 실시 예에서, 도 1의 렌즈(102)는 m개의 렌즈를 포함하는 OPFE(860)로 구성될 수 있고, 산출된 오토 포커스 정보 및/또는 산출된 오토 줌 정보에 따라 이동할 수 있다.

액츄에이터(880)는 OPFE(860) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(880)는 정확한 센싱을 위해 이미지 센서(872)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다. 실시 예에서, 액츄에이터(880)는 산출된 오토 포커스 파라미터 및/또는 산출된 오토 줌 파라미터를 전달하기 위한 제어 신호를 수신하고, 렌즈의 이동을 제어할 수 있다.

이미지 센싱 장치(870)는 이미지 센서(872), 제어 로직(874) 및 메모리(876)를 포함할 수 있다.

이미지 센서(872)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(874)은 카메라 모듈(802b)의 전반적인 동작의 제어 및 센싱된 이미지를 처리(Processing) 할 수 있다. 예를 들어, 제어 로직(874)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(802b)의 동작을 제어할 수 있으며, 센싱된 이미지에서 특정 이미지에 해당되는 이미지 데이터(예를 들면, 이미지 내의 사람의 얼굴, 팔, 다리 등)를 추출하거나 또는 노이즈 제거 등의 이미지 프로세싱을 수행할 수 있다.

실시 예에 있어서, 제어 로직(874)은 인코더(미도시)를 포함할 수 있으며, 센싱 된 이미지 또는 이미지 처리된 이미지를 압축(Encoding)할 수 있다. 인코더는 이미지를 픽셀 그룹 단위로 압축할 수 있으며, 고립 영역의 픽셀 그룹에 대하여 HV 밸런스 인코딩 방식에 따라 압축할 수 있다.

메모리(876)는 캘리브레이션 데이터(878)와 같은 카메라 모듈(802b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(878)는 카메라 모듈(802b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보로, 예를 들어, 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(802b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(878)는 광학 렌즈의 각 위치 별(또는 스테이트 별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

몇몇 실시 예에 있어서, 압축된 데이터가 메모리(876)에 저장될 수 있고, 제1 이미지나 제2 이미지가 압축되어 메모리(876)에 저장될 수 있다.. 또한, 메모리(876)는 인코더의 참조 버퍼(125)로 이용될 수 있다.

저장부(890)는 이미지 센서(872)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(890)는 이미지 센싱 장치(870)의 외부에 배치될 수 있으며, 이미지 센싱 장치(870)를 구성하는 센서 칩과 스택 된(stacked) 형태로 구현될 수 있다. 몇몇 실시 예에서, 이미지 센서(872)는 첫번째 칩으로 구성되고, 제어 로직(874)과 저장부(890)와 메모리(876)는 두번째 칩으로 구성되어 두 개의 칩이 스택 된 형태로 구현될 수 있다. 몇몇 실시 예에서, 저장부(890)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시 예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 이미지 센서(872)는 픽셀 어레이로 구성이 되어있고, 제어 로직(874)은 아날로그 디지털 컨버터(Analog to digital converter) 및 센싱 된 이미지 처리를 위한 이미지 신호 처리부를 포함할 수 있다.

도 15a와 도 15b를 함께 참조하면, 몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 각각은 액츄에이터(880)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(802a, 802b, 802c) 각각은 그 내부에 포함된 액츄에이터(880)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(878)를 포함할 수 있다.

몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 중 하나의 카메라 모듈(예를 들어, 802b)은 앞서 설명한 프리즘(862)과 OPFE(860)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 802a, 802c)은 프리즘(862)과 OPFE(860)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 중 하나의 카메라 모듈(예를 들어, 802c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 어플리케이션 프로세서(800)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 802a 또는 802b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있고, 여기서 3차원 깊이 이미지는 도 3b에서 도시하는 뎁스 맵의 일 예에 해당한다.

몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 중 적어도 두 개의 카메라 모듈(예를 들어, 802a, 802b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(802a, 802b, 802c) 중 적어도 두 개의 카메라 모듈(예를 들어, 802a, 802b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 각각의 시야 각은 서로 다를 수 있다. 예를 들어, 카메라 모듈(802a)은 울트라-와이드(ultra-wide) 카메라이고, 카메라 모듈(802b)은 와이드(wide) 카메라이고, 카메라 모듈(802c)은 텔레(tele) 카메라일 수 있으나, 이에 제한되는 것은 아니다. 이 경우, 복수의 카메라 모듈(802a, 802b, 802c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시 예에서, 복수의 카메라 모듈(802a, 802b, 802c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(872)의 센싱 영역을 복수의 카메라 모듈(802a, 802b, 802c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(802a, 802b, 802c) 각각의 내부에 독립적인 이미지 센서(872)가 배치될 수 있다.

다시 도 15a를 참조하면, 어플리케이션 프로세서(800)는 이미지 처리 장치(810), 메모리 컨트롤러(820), 내부 메모리(830)를 포함할 수 있다. 어플리케이션 프로세서(800)는 복수의 카메라 모듈(802a, 802b, 802c)과 예를 들어 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(810)는 복수의 서브 이미지 프로세서(812a, 812b, 812c), 이미지 생성기(814) 및 카메라 모듈 컨트롤러(816)를 포함할 수 있다.

이미지 처리 장치(810)는 복수의 카메라 모듈(802a, 802b, 802c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(812a, 812b, 812c)를 포함할 수 있다.

카메라 모듈(802a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(812a)에 제공되고, 카메라 모듈(802b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(812b)에 제공되고, 카메라 모듈(802c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(812c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(camera serial interface: CSI)를 이용하여 수행될 수 있으나, 이에 제한되는 것은 아니다.

실시 예에 있어서, 복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 적어도 하나는 디코더(미도시)를 포함할 수 있다. 복수의 서브 이미지 프로세서(812a, 812b, 812c)는 대응하는 카메라 모듈(802a, 802b, 802c)이 인코더를 포함할 경우, 압축된 이미지 데이터를 압축 해제하기 위하여 디코더를 포함할 수 있다.

한편, 몇몇 실시 예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(812a)와 서브 이미지 프로세서(812c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(802a)과 카메라 모듈(802c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다. 이 때, 서브 이미지 프로세서(812b)는 통합되지 않고, 카메라 모듈(802b)로부터 이미지 데이터를 제공받을 수 있다. 실시 예에 있어서, 복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 적어도 하나는 오토 포커스 모듈(미도시)을 포함할 수 있다. 오토 포커스 모듈은 뎁스 맵을 이용하여 각 서브 이미지 프로세서에 연결된 카메라 모듈로부터 수신한 이미지 상의 객체에 대한 오토 포커스 정보 또는 오토 포커스 파라미터를 산출할 수 있고, 이미지 생성기(814)에 제공 될 수 있다.

복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 적어도 하나에 포함된 오토 포커스 모듈 및 오토 줌 모듈은 동시에 동작할 수 있다.

실시 예에 있어서, 복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 적어도 하나는 오토 줌 모듈(미도시)을 포함할 수 있다. 오토 줌 모듈은 뎁스 맵을 이용하여 각 서브 이미지 프로세서에 연결된 카메라 모듈로부터 수신한 이미지 상의 객체에 기초한 제1 외곽 점 및 제2 외곽 점을 연산하여 제 1 영역을 설정하고, 제1 영역에 기초하여 결정되는 비율에 따라 제2 영역을 설정하고, 제2 영역의 크기에 대응하는 줌 배율을 연산하여 오토 줌 정보 또는 오토 줌 파라미터를 산출할 수 있고, 이미지 생성기(814)에 제공 될 수 있다.

또한, 몇몇 실시 예에서, 카메라 모듈(802a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(812a)에 제공되고, 카메라 모듈(802b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(812b)에 제공되고, 카메라 모듈(802c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(812c)에 제공될 수 있다. 그리고, 서브 이미지 프로세서(812b)에서 처리된 이미지 데이터는 이미지 생성기(814)에 바로 제공되나, 서브 이미지 프로세서(812a)에서 처리된 이미지 데이터와 서브 이미지 프로세서(812c)에서 처리된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 어느 하나가 선택된 후, 이미지 생성기(814)에 제공될 수 있다.

각각의 서브 이미지 프로세서(812a, 812b, 812c)는 카메라 모듈(802a, 802b, 802c)로부터 제공된 이미지 데이터에 대해, 불량 픽셀 보정(bad pixel correction), 3A 조정(Auto-focus correction, Auto-white balance, Auto-exposure), 노이즈 제거(noise reduction), 샤프닝(sharpening), 감마 조정(gamma control), 리모자익(remosaic) 등의 이미지 처리를 수행할 수 있다.

몇몇 실시 예에서, 리모자익(remosaic) 신호 처리는 각각의 카메라 모듈(802a, 802b, 802c)에서 수행된 후, 서브 이미지 프로세서(812a, 812b, 812c)에 제공될 수도 있다.

각각의 서브 이미지 프로세서(812a, 812b, 812c)에서 처리된 이미지 데이터는 이미지 생성기(814)에 제공될 수 있다. 이미지 생성기(814)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(812a, 812b, 812c)로부터 제공받은 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(814)는 이미지 생성 정보 또는 모드 신호에 따라, 서브 이미지 프로세서(812a, 812b, 812c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(814)는 이미지 생성 정보 또는 모드 신호에 따라, 서브 이미지 프로세서(812a, 812b, 812c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

몇몇 실시 예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호이고, 각각의 카메라 모듈(802a, 802b, 802c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(814)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 서브 이미지 프로세서(812a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(812c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(812a)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(812b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(814)는 서브 이미지 프로세서(812a)로부터 출력된 이미지 데이터와 서브 이미지 프로세서(812c)로부터 출력된 이미지 데이터 중, 서브 이미지 프로세서(812c)로부터 출력된 이미지 데이터와, 서브 이미지 프로세서(812b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 및 제2 신호와 다른 제3 신호일 경우, 이미지 생성기(814)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 서브 이미지 프로세서(812a, 812b, 812c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시 예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

몇몇 실시 예에서, 이미지 처리 장치(810)는 서브 이미지 프로세서(812a, 812b, 812c)의 출력을 선택하여 이미지 생성기(814)에 전달하는 선택부(미도시)를 더 포함할 수 있다.

이 경우, 선택부는 줌 신호 또는 줌 팩터에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 선택부는 줌 신호가 제4 신호(예를 들어, 줌 배율이 제1 배율)일 경우, 복수의 서브 이미지 프로세서(812a, 812b, 812c)의 출력 중 어느 하나를 선택하여 이미지 생성기(814)에 전달할 수 있다.

또한, 선택부는 줌 신호가 제4 신호와 다른 제5 신호(예를 들어, 줌 배율이 제2 배율)일 경우, 복수의 서브 이미지 프로세서(812a, 812b, 812c)의 출력 중 p개(p는 2이상의 자연수)의 출력을 순차적으로 이미지 생성기(814)에 전달할 수 있다. 예를 들어, 선택부는 서브 이미지 프로세서(812b)와 서브 이미지 프로세서(812c)의 출력을 순차적으로 이미지 생성기(814)에 전달할 수 있다. 또한, 선택부는 서브 이미지 프로세서(812a)와 서브 이미지 프로세서(812b)의 출력을 순차적으로 이미지 생성기(814)에 전달할 수 있다. 이미지 생성기(814)는 순차적으로 제공받은 p개의 출력을 병합하여 하나의 출력 이미지를 생성할 수 있다.

여기서, 디모자익(demosaic), 비디오/프리뷰(video/preview) 해상도 사이즈로 다운 스케일링(down scaling), 감마 보정, HDR(High Dynamic Range) 처리 등의 이미지 처리는 복수의 서브 이미지 프로세서(812a, 812b, 812c)에서 미리 수행된 후, 처리된 이미지 데이터가 이미지 생성기(814)에 전달된다. 따라서, 처리된 이미지 데이터가 선택부를 통해 하나의 신호 라인으로 이미지 생성기(814)에 제공되어도 이미지 생성기(814)의 이미지 병합 동작이 고속으로 수행될 수 있다.

몇몇 실시예에서, 이미지 생성기(814)는 복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(816)는 각각의 카메라 모듈(802a, 802b, 802c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(816)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(802a, 802b, 802c)에 제공될 수 있다.

복수의 카메라 모듈(802a, 802b, 802c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라 모듈(예를 들어, 802b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 802a, 802c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(802a, 802b, 802c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(802a)의 시야각이 카메라 모듈(802b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(802a)이 마스터로서 동작하고, 카메라 모듈(802b)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(802b)이 마스터로서 동작하고, 카메라 모듈(802a)이 슬레이브로서 동작할 수 있다.

몇몇 실시 예에서, 카메라 모듈 컨트롤러(816)로부터 각각의 카메라 모듈(802a, 802b, 802c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(802b)이 마스터 카메라이고, 카메라 모듈들(802a, 802c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(816)는 카메라 모듈(802b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(802b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(802a, 802c)에 제공할 수 있다. 카메라 모듈(802b)과 카메라 모듈들(802a, 802c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 어플리케이션 프로세서(800)에 전송할 수 있다.

몇몇 실시 예에서, 카메라 모듈 컨트롤러(816)로부터 복수의 카메라 모듈(802a, 802b, 802c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(802a, 802b, 802c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(802a, 802b, 802c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 어플리케이션 프로세서(800)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

어플리케이션 프로세서(800)는 수신된 이미지 신호, 다시 말해서 인코딩 된 이미지 신호를 내부에 구비되는 메모리(830) 또는 어플리케이션 프로세서(800) 외부의 스토리지(840)에 저장하고, 이후, 메모리(830) 또는 스토리지(840)로부터 인코딩 된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이 할 수 있다. 예를 들어, 이미지 처리 장치(810)의 복수의 서브 이미지 프로세서(812a, 812b, 812c) 중 대응하는 서브 이미지 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩 된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(802a, 802b, 802c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 어플리케이션 프로세서(800)에 전송할 수 있다. 어플리케이션 프로세서(800)에 제공되는 이미지 신호는 인코딩 되지 않은 신호일 수 있다. 어플리케이션 프로세서(800)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(830) 또는 스토리지(840)에 저장할 수 있다.

PMIC(850)는 복수의 카메라 모듈(802a, 802b, 802c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(850)는 어플리케이션 프로세서(800)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(802a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(802b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(802c)에 제3 전력을 공급할 수 있다.

PMIC(850)는 어플리케이션 프로세서(800)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(802a, 802b, 802c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(802a, 802b, 802c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(802a, 802b, 802c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

도 9는 본 개시의 실시 예에 따른 휴대용 단말기를 나타내는 블록도이다.

도 9를 참조하면, 휴대용 단말기(900)는 본 개시의 예시적 실시 예에 따른 전자 장치(100)에 해당할 수 있으며, 이미지 처리부(910), 무선 송수신부(920), 오디오 처리부(930), 유저 인터페이스(940), 비휘발성 메모리 장치(950) 및 컨트롤러(960)를 포함할 수 있다.

이미지 처리부(910)는 렌즈(908), 이미지 센서(902), 디스플레이 장치(904), 메모리(906) 및 이미지 시그널 프로세서(970)를 포함할 수 있다. 실시 예에 있어서 도시된 바와 같이 이미지 시그널 프로세서(970)는 컨트롤러(960)의 일부로서 구현될 수 있다.

이미지 시그널 프로세서(970)는 이미지 센서(902)로부터 제공되는 이미지에 대하여 이미지 처리를 수행함으로써, 변환된 이미지를 생성하고, 변환된 이미지를 메모리(906)에 저장하거나, 변환된 이미지를 스케일링하여 스케일링 된 이미지를 디스플레이 장치(904)에 제공할 수 있다.

무선 송수신부(1920는 안테나(912), 트랜시버(914), 모뎀(916)을 포함한다. 오디오 처리부(930)는 오디오 프로세서(922), 마이크(924), 그리고 스피커(926)를 포함할 수 있다. 비휘발성 메모리 장치(950)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다.

유저 인터페이스(940)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 컨트롤러(960)에 제공할 수 있다.

컨트롤러(960)는 휴대용 단말기(900)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 제공될 수 있다. 시스템 온 칩에서 구동되는 운영 체제의 커널(Kernel)에는 입출력 스케줄러(I/O Scheduler) 및 비휘발성 메모리 장치(950)를 제어하기 위한 장치 드라이버(Device Driver)가 포함될 수 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구 범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

1. 이미지 센서로부터 제1 이미지를 수신하도록 구성되는 이미지 시그널 프로세서(image signal processor: ISP)로서,
   상기 이미지 시그널 프로세서는,
   뎁스 맵(depth map)을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 정보를 산출하도록 구성되는 오토 포커스 모듈; 및
   상기 뎁스 맵을 이용하여 상기 객체에 기초한 제1 외곽 점 및 제2 외곽 점을 연산하여 제1 영역을 설정하고, 상기 제1 외곽 점 및 제2 외곽 점에 기초하여 결정되는 비율에 따라 제2 영역을 설정하고, 상기 제2 영역의 크기에 대응하는 줌 배율을 연산하여 오토 줌 정보를 산출하도록 구성되는 오토 줌 모듈을 포함하는,
   이미지 시그널 프로세서.
2. 제1항에 있어서,
   상기 오토 포커스 모듈 및 상기 오토 줌 모듈은 동시에 동작하는,
   이미지 시그널 프로세서.
3. 제1항에 있어서,
   상기 오토 줌 모듈은,
   상기 제1 이미지를 샘플링하여 상기 객체의 샘플링 값을 획득하고,
   상기 샘플링 값 중 제1 외곽 점에 대응하는 좌표의 성분들에 해당하는 x축 성분의 최소 값 및 y축 성분의 최소 값을 연산하고,
   상기 샘플링 값 중 제2 외곽 점에 대응하는 좌표의 성분들에 해당하는 x축 성분의 최대 값 및 y축 성분의 최대 값을 연산하도록 구성되는,
   이미지 시그널 프로세서.
4. 제1항에 있어서,
   상기 오토 줌 모듈은,
   상기 제2 영역이 상기 제1 이미지보다 작은 경우, 상기 제2 영역의 크기에 대응하는 줌 배율을 연산하여 오토 줌 정보를 산출하도록 구성되는,
   이미지 시그널 프로세서.
5. 뎁스 맵(depth map) 정보를 이용하여 제1 이미지 상의 객체에 기초하여 제1 외곽 점 및 제2 외곽 점을 연산하는 단계;
   상기 제1 외곽 점 및 상기 제2 외곽 점을 이용하여 제1 영역을 설정하는 단계;
   상기 제1 외곽 점 및 상기 제2 외곽 점에 기초하여 결정되는 비율에 따라 제2 영역에 대응하는 제2 이미지가 출력되도록 오토 줌 정보를 산출하는 단계; 및
   상기 뎁스 맵을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 정보를 산출하는 단계;를 포함하고,
   상기 오토 줌 정보를 산출하는 단계 및 상기 오토 포커스 정보를 산출하는 단계는 동시에 동작하는,
   이미지 시그널 프로세서(image signal processor: ISP)의 이미지 프로세싱 방법.
6. 제5항에 있어서,
   상기 제1 외곽 점 및 제2 외곽 점을 연산하는 단계는,
   상기 제1 이미지를 샘플링하여 상기 객체의 샘플링 값을 획득하는 단계;
   상기 샘플링 값 중 제1 외곽 점에 대응하는 좌표의 성분들에 해당하는 x축 성분의 최소 값 및 y축 성분의 최소 값을 연산하는 단계; 및
   상기 샘플링 값 중 제2 외곽 점에 대응하는 좌표의 성분들에 해당하는 x축 성분의 최대 값 및 y축 성분의 최대 값을 연산하는 단계;를 포함하는,
   이미지 시그널 프로세서의 이미지 프로세싱 방법.
7. 제5항에 있어서,
   오토 줌 정보를 산출하는 단계는,
   제1 외곽 점에 대응하는 좌표의 성분들의 0.5배의 값을 갖는 제3 외곽 점을 연산하는 단계;
   제2 외곽 점에 대응하는 좌표의 성분들의 1.3배의 값을 갖는 제4 외곽 점을 연산하는 단계; 및
   상기 제3 외곽 점 및 상기 제4 외곽 점을 이용하여 상기 제2 영역을 설정하는 단계;를 포함하는,
   이미지 시그널 프로세서의 이미지 프로세싱 방법.
8. 제1 이미지를 어플리케이션 프로세서에 전송하도록 구성되는 이미지 센서를 포함하는 카메라 모듈; 및
   상기 이미지 센서로부터 상기 제1 이미지를 수신하고, 뎁스 맵을 이용하여 상기 제1 이미지 상의 객체에 대한 오토 포커스 파라미터를 연산하고, 상기 뎁스 맵을 이용하여 제1 이미지에 포함된 객체를 중심으로 제1 스퀘어를 설정하고, 상기 제1 스퀘어에 기초하여 결정되는 비율에 따라 제2 스퀘어를 설정하고, 상기 제2 스퀘어가 상기 제1 이미지보다 작은 경우 상기 제2 스퀘어에 대응하는 제2 이미지에 대한 오토 줌 파라미터를 연산하도록 구성되는 어플리케이션 프로세서;를 포함하는,
   이미지 프로세싱 시스템.
9. 제8항에 있어서,
   상기 어플리케이션 프로세서는,
   상기 오토 포커스 파라미터 및 상기 오토 줌 파라미터는 동시에 연산하도록 구성되는,
   이미지 프로세싱 시스템.
10. 제8항에 있어서,
    상기 어플리케이션 프로세서는,
    상기 오토 줌 파라미터에 의해 결정된 줌 배율에 따라 제1 이미지를 확대하여 디지털 줌을 수행하도록 구성되는,
    이미지 프로세싱 시스템.

Images