KR20220141971A

KR20220141971A - 이미지 장치 및 동작 방법

Info

Publication number: KR20220141971A
Application number: KR1020210048135A
Authority: KR
Inventors: 김영웅
Original assignee: 삼성전자주식회사
Priority date: 2021-04-14
Filing date: 2021-04-14
Publication date: 2022-10-21
Also published as: CN115209076A; US11601612B2; US20220337775A1

Abstract

본 발명에 따른 이미징 장치는, 픽셀들로부터 이미지 신호들을 수신하고, 수신된 이미지 신호들을 디지털로 변환하고, 변환된 이미지 데이터를 출력하는 이미지 센싱부, 및 디지털 클록에 동기하여 상기 이미지 데이터를 처리하는 디지털 처리부를 포함하고, 상기 디지털 처리부는 상기 디지털 클록을 생성하는 디지털 클록 생성기를 포함하고, 상기 이미지 센싱부에서 상기 이미지 신호들을 상기 이미지 데이터로 변환할 때, 상기 디지털 클록 생성기는 상기 디지털 클록을 분산시키는 것을 특징으로 한다.

Description

이미지 장치 및 동작 방법{IMAGING DEVICE AND OPERATING METHOD THEREOF}

본 발명은 이미지 장치 및 그것의 동작 방법에 관한 것이다.

일반적으로, 이미지 센서(image sensor)는 대상물의 2차원적 혹은 3차원적 이미지를 캡쳐(capture)한다. 이미지 센서는 대상물로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용해 대상물의 이미지를 생성한다. 최근 CMOS (complementary metal-oxide semiconductor)를 이용한 이미지 센서가 널리 사용되고 있다. 종래의 이미지 센서는 전력 변동(power fluctuation)의 영향에 따른 픽셀 노이즈를 야기하고 있다.

본 발명의 목적은 전력 변동에 영향이 적은 이미지 장치 및 그것의 동작 방법을 제공하는 데 있다.

본 발명의 실시 예에 따른 이미징 장치는, 픽셀들로부터 이미지 신호들을 수신하고, 수신된 이미지 신호들을 디지털로 변환하고, 변환된 이미지 데이터를 출력하는 이미지 센싱부; 및 디지털 클록에 동기하여 상기 이미지 데이터를 처리하는 디지털 처리부를 포함하고, 상기 디지털 처리부는 상기 디지털 클록을 생성하는 디지털 클록 생성기를 포함하고, 상기 이미지 센싱부에서 상기 이미지 신호들을 상기 이미지 데이터로 변환할 때, 상기 디지털 클록 생성기는 상기 디지털 클록을 분산시키는 것을 특징으로 한다.

본 발명의 실시 예에 따른 이미징 장치의 동작 방법은, 이미지 신호와 램프 전압이 동일할 때까지 카운트 동작을 수행함으로써 상기 이미지 신호를 이미지 데이터로 변환하는 단계; 및 상기 카운트 동작을 수행할 때, 클록 분산 방식을 이용하여 디지털 전력 소비를 줄이는 단계를 포함할 수 있다.

본 발명의 실시 예에 따른 이미지 장치는, 복수의 로우 라인들과 복수의 컬럼 라인들에 배열된 복수의 픽셀들을 갖는 픽셀 어레이; 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 로우 드라이버; 상기 픽셀 어레이로부터 출력된 아날로그 신호들을 디지털 데이터로 변환하는 아날로그 디지털 변환회로; 상기 디지털 데이터를 이미지 신호 프로세서로 전송하기 위한 전송 클록을 발생하는 디지털 클록 생성기; 및 상기 픽셀 어레이, 상기 로우 드라이버, 상기 아날로그 디지털 변환회로, 및 디지털 클록 생성기의 타이밍을 제어하는 타이밍 제어기를 포함하고, 상기 아날로그 디지털 변환회로는, 상기 픽셀 어레이로부터 출력되는 픽셀 신호들과 램프 전압을 비교하는 비교기들을 갖는 비교 회로; 및 상기 비교기들의 각각의 출력을 카운팅하는 카운터들을 갖는 카운터 회로를 포함하고, 상기 디지털 클록 생성기는 타이밍 제어기로부터 수신된 수평 동기 신호 혹은 카운터 활성화 신호에 응답하여 전송 클록을 분산시키는 것을 특징으로 한다.

본 발명의 실시 예에 따른 이미지 센서, 그것을 갖는 이미지 장치 및 그것의 동작 방법은, 이미지 센서에서 아날로그 동작을 수행할 때 디지털 클록을 분산시킴으로써, 디지털 전력 변화를 최소화시킬 수 있다.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다.
도 1은 본 발명의 개념을 설명하기 위한 이미징 장치를 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 이미지 센서를 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 차단 클록 방식의 디지털 클록의 타이밍을 예시적으로 보여주는 도면이다.
도 4a 및 도4b는 본 발명의 실시 예에 따른 직렬 연결된 복수의 ISP들로 구현된 디지털 처리부 및 그것의 디지털 클록의 타이밍을 예시적으로 보여주는 도면들이다.
도 5는 본 발명의 다른 실시 예에 따른 분할 클록 방식의 디지털 클록의 타이밍을 예시적으로 보여주는 도면이다.
도 6a, 도 6b, 도 6c, 도 6d는 본 발명의 실시 예에 따른 ADC 일부 구간에 디지털 클록 분산을 적용하는 디지털 클록의 타이밍을 예시적으로 보여주는 도면들이다.
도 7은 본 발명의 실시 예에 따른 이미징 장치의 디지털 전류 소비를 예시적으로 보여주는 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 이미징 장치의 디지털 전류 소비를 예시적으로 보여주는 도면이다.
도 9a는 본 발명의 다른 실시 예에 따른 이미징 장치를 예시적으로 보여주는 도면이고, 도 9b는 본 발명의 다른 실시 예에 따른 병렬 연결된 ISP들로 구현된 디지털 처리부를 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 이미징 장치의 동작 방법을 보여주는 흐름도이다.
도 11은 멀티 카메라 모듈을 갖는 전자 장치를 예시적을 보여주는 도면이다.
도 12는 도 11의 카메라 모듈의 상세 구성을 보여주는 도면이다.

아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시 할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.

도 1은 본 발명의 개념을 설명하기 위한 이미징 장치(10)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 이미징 장치(10)는 이미지 센싱부(100) 및 디지털 처리부(200)를 포함할 수 있다.

이미지 센싱부(100)는 픽셀로부터 이미지를 수신하고, 수신된 이미지를 디지털 값으로 변환하고, 변환된 이미지 데이터(IDATA)를 디지털 처리부(200)로 출력하도록 구현될 수 있다. 또한, 이미지 센싱부(100)는 이미지 센싱부(100)의 내부의 구성 요소들을 제어하기 위한 타이밍을 생성하는 타이밍 제어기(170)를 포함할 수 있다.

디지털 처리부(200)는 이미지 센싱부(100)로부터 출력된 이미지 데이터(IDATA)를 수신하고, 이미지 데이터(IDATA)를 사람의 눈에 적합하도록 처리하고, 처리된 이미지 데이터(PDATA)를 외부의 장치(예를 들어, 디스플레이 장치)로 출력하도록 구현될 수 있다. 또한, 디지털 처리부(200)는 디지털 클록 생성기(201) 및 적어도 하나의 이미지 신호 프로세서(ISP(s), 210)를 포함할 수 있다.

디지털 클록 생성기(201)는 이미지 센싱부(100)의 아날로그 화질에 영향을 주는 디지털 전력의 변동을 제어하기 위하여 이미지 센싱부(100)의 아날로그 동작에 따라 최적의 디지털 클록(DCLK)을 생성하도록 구현될 수 있다. 예를 들어, 디지털 클록 생성기(201)는 이미지 센싱부(100)의 아날로그 디지털 변환(Analog to Digital Conversion; ADC) 동작을 수행하기 위한 카운터 활성화 신호(CNT_EN) 혹은 수평 동기 신호(H_SYN)에 응답하여 사전에 결정된 클록 타이밍 시퀀스에 디지털 클록(DCLK)을 생성할 수 있다. 이러한 디지털 클록(DCLK)에 대한 사전에 결정된 시퀀스는 ADC 동작 구간에서 디지털 클록(DCLK)을 바이패스/차단/분한(bypass/gated/divided) 시킴으로써, 디지털 전력 변동을 제어 가능하다. 이러한 디지털 클록(DCLK)의 출력을 제어함으로써, 이미지 센싱부(100)의 픽셀 노이즈는 감소될 수 있다. 즉, 이미징 장치(10)의 디지털 도메인의 디지털 클록(DCLK)을 제어함으로써, 아날로그 도메인의 영향을 최소화시킬 수 있다.

또한, 이미지 센싱부(100)에서 이미지를 감지 및 출력하는 동안에, 디지털 클록 생성기(201)는 차단(gated) 혹은 분할(divided) 되는 복수의 클록 분산 구간들을 갖는 디지털 클록(DCLK)을 생성할 수 있다. 복수의 클록 분산 구간들의 각각의 시작 시점과 종료 지점은 사용자 설정에 의해 결정될 수 있다. 예를 들어, 디지털 클록 생성기(201)는 이미지 센싱부(100)의 ADC 동작에 사용되는 카운터 활성화 신호(CNT_EN)의 역방향으로　디지털 클록(DCLK)을 출력할 수 있다. 이 경우에 모든 시작과 종료 지점의 사이에서 클록 차단 구간, 클록 분할 구간, 혹은 클록 분할 비율은 사용자 설정(user setting)에 의해 결정될 수 있다.

실시 예에 있어서, 디지털 클록 생성기(201)는 수평 동기 신호(H_SYN)에 응답하여 수평 구간의 기준점(ADC 동작의 카운터 활성화 영역을 설정하는 것과 같은 기준점)을 기준으로 디지털 클록(DCLK)을 출력할 수 있다. 이 경우, 디지털 클록(DCLK)의 분산 제어를 위한 복수의 클록 분산 구간들이 존재할 수 있다. 복수의 클록 분산 구간들의 각각의 시작 지점과 종료 지점의 위치(cycle count)는 사용자 설정에 의해 결정될 수 있다. 예를 들어, 복수의 클록 분산 구간들의 각각은 ADC 동작의 카운터 활성화 신호(CNT_EN)의 설정 영역을 참고하여 카운터 활성 신호(CNT_EN)보다 빠른 시간에 시작할 수 있고, 종료 지점도 카운터 활성화 신호(CNT_EN)가 클리어(clear) 되기 전으로 설정될 수 있다. 이 경우에 복수의 클록 분산 구간들의 각각의 시작과 종료 지점의 영역에 대해　각각 클록 차단 및 클록 분할 비율은 사용자 설정에 의해 결정될 수 있다.

적어도 하나의 이미지 신호 프로세서(210)는, 디지털 클록(DCLK)에 동기하여 이미지 센싱부(100)로부터 수신된 이미지 데이터(IDATA)를 처리하고, 처리된 데이터(PDATA)를 외부로 출력하도록 구현될 수 있다. 실시 예에 있어서, 이미지 신호 프로세서(210)는 이미지 데이터(IDATA)에 대하여 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 혹은 소프트닝(softening)을 수행할 수 있다. 일반적인 이미징 장치는 ADC 구간에서 픽셀 신호의 전압 값을 디지털 값으로 변환할 때 칩 전체의 전력 변동에 따라 노이즈 성분을 야기하고 있다. 반면에 본 발명의 이미징 장치(10)는 이미지 센싱부(100)의 ADC 구간에서 디지털 처리부(200)의 디지털 클록(DCLK)을 클록 차단 방식(gated clock scheme) 혹은 클록 분할 방식(divided clock scheme)으로 분산(scattering)시킴으로써, 디지털 전력 변동의 영향을 최소화시킬 수 있다.

도 2는 본 발명의 실시 예에 따른 이미지 센싱부(100)를 예시적으로 보여주는 도면이다. 도 2를 참조하면, 이미지 센싱부(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그 디지털 변환회로(130), 램프 전압 발생기(160), 타이밍 제어기(170), 및 버퍼(180)를 포함할 수 있다.

픽셀 어레이(110)는 각각이 복수의 로우 라인들 및 복수의 컬럼(column) 라인(CL)들과 연결된 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들의 각각은 광 감지 소자를 포함할 수 있다. 예를 들어, 광 감지 소자는 포토 다이오드, 포토 트랜지스터, 포트 게이트 혹은 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 복수의 픽셀들의 각각은 적어도 하나의 광 감지 소자를 포함할 수 있다. 실시 예에 있어서, 복수의 픽셀들의 각각은 복수의 광 감지 소자들을 포함할 수 있다. 복수의 광 감지 소자들의 각각은 서로 적층 될 수 있다.

복수의 픽셀들의 각각은 광 감지 소자를 이용하여 빛을 감지하고, 이를 전기적 신호인 픽셀 신호로 변환할 수 있다. 복수의 픽셀들의 각각은 특정 스펙트럼 영역의 빛을 감지할 수 있다. 예를 들어, 복수의 픽셀들은 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환하는 레드 픽셀, 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 그린 픽셀, 및 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 블루 픽셀을 포함할 수 있다. 복수의 픽셀들의 각각의 상부에 특정 스펙트럼 영역의 빛을 투과시키기 위한 컬러 필터가 배치될 수 있다.

로우 드라이버(120)는 픽셀 어레이(110)를 로우 단위로 구동하도록 구현될 수 있다. 로우 드라이버(120)는 타이밍 제어기(170)에서 생성된 로우 제어신호(예를 들어, 어드레스 신호)를 디코딩하고, 디코딩된 행 제어신호에 응답하여 픽셀 어레이(110)를 구성하는 로우 라인들 중에서 적어도 어느 하나의 로우 라인을 선택할 수 있다. 예를 들어, 로우 드라이버(120)는 로우 선택 신호를 생성할 수 있다. 그리고, 픽셀 어레이(110)는 로우 드라이버(120)로부터 제공된 로우 선택 신호에 의해 선택되는 로우로부터 픽셀 신호를 출력한다. 픽셀 신호는 리셋 신호와 이미지 신호를 포함할 수 있다.

아날로그 디지털 변환회로(130)는 ADC 활성화 신호(ADC_EN)에 응답하여 픽셀 어레이(110)로부터 입력되는 아날로그 픽셀 신호를 디지털 데이터로 변환하도록 구현될 수 있다. 아날로그 디지털 변환회로(130)는 비교 회로(140, CDB) 및 카운터 회로(150, DBS)을 포함할 수 있다.

비교 회로(140)는 픽셀 어레이(110)를 구성하는 컬럼 라인(CL)들 중에서 어느 하나의 컬럼 라인에 접속된 단위 픽셀로부터 출력되는 픽셀 신호를 램프 전압(RAMP)와 비교하도록 구현될 수 있다. 비교 회로(140)은 각각의 컬럼에 대응하여 구비 되는 복수의 비교기(141)들을 포함할 수 있다, 각각의 비교기(141)는 픽셀 어레이(110) 및 램프 전압 발생기(160)와 연결될 수 있다.

비교기(141, CMP)는 픽셀 신호와 램프 전압 발생기(160)로부터 발생된 램프 전압(RAMP)를 입력 받아 비교하고, 비교 결과 신호를 출력단으로 출력하도록 구현될 수 있다. 또한, 비교기(141)는 상관 이중 샘플링(correlated double sampling; CDS) 기법이 적용되는 비교 결과 신호를 생성할 수 있다. 복수의 픽셀들로부터 출력되는 픽셀 신호들은 각 픽셀마다 가지는 픽셀 고유의 특성(예를 들어, FPN(fixed pattern noise) 등)에 의한 편차 혹은 픽셀(PX)로부터 픽셀 신호를 출력하기 위한 로직의 특성 차이에 기인한 편차를 가질 수 있다. 상관 이중 샘플링 기법은 이러한 픽셀 신호들간의 편차를 보상하기 위하여 픽셀 신호들의 각각에 대하여 리셋 성분(혹은 리셋 신호) 및 이미지 성분(혹은 이미지 신호)을 계산하고, 그 차이를 유효한 신호 성분으로 추출하는 방식이다. 비교기(141)는 상관 이중 샘플링 기법이 적용되는 비교 결과 신호를 출력할 수 있다.

또한, 비교기(141)는 2-스테이지 증폭기로 구현될 수 있다. 예를 들어, 비교기(141)는 픽셀 신호와 램프 전압을 비교하는 제 1 증폭기 및 제 1 증폭기의 출력을 증폭하여 출력하는 제 2 증폭기를 포함할 수 있다. 실시 예에 있어서, 제 1 증폭기는 오토 제로 단계에서 비교 동작 단계보다 적은 양의 바이어스 전류를 기초로 동작할 수 있다. 이에 따라, 노이즈가 감소되면서 입력 레인지가 증가될 수 있다. 실시 예에 있어서, 제 2 증폭기는, 바이어스 전류를 생성하는 전류 소스들을 동작 단계별로 적응적으로 제어하며, 디시젼 전후에 최소한의 바이어스 전류를 생성할 수 있다. 이에 따라, 제 2 증폭기의 동작에 따른 전원 변동을 방지할 수 있다. 실시 예에 있어서, 제 1 증폭기는 출력단자와 공통 노드를 연결하는 제한 회로를 포함할 수 있다. 여기서 제한 회로는 공통 노드의 전압 레벨이, 제 1 증폭기가 정상적으로 동작할 수 있는 최저값 이하로 낮아지는 것을 방지하고, 출력 노드에 발생하는 전압 변동을 보상할 수 있다.

또한, 비교 회로(140)는 컬럼 라인 그룹에 따라 서로 다른 시점에서 디시젼 신호(예를 들어, 비교기의 출력 신호)를 출력하도록 구현될 수 있다.

카운터 회로(150)는 복수의 카운터들을 포함할 수 있다. 복수의 카운터들의 각각(151, CNT)은 비교기(141)들의 출력단에 연결되고, 각 비교기(141)의 출력에 기초하여 카운트하도록 구현될 수 있다. 카운터 제어 신호(CTCS)는 카운터 활성화 신호(CNT_EN), 카운터 클록 신호, 복수의 카운터(151)들의 리셋(reset) 동작을 제어하는 카운터 리셋 신호, 및 복수의 카운터들의 각각의 내부 비트를 반전시키는 반전 신호 등을 포함할 수 있다. 카운터 회로(150)는 카운터 클록 신호에 따라 비교 결과 신호를 카운팅 함으로써 디지털 데이터로 출력할 수 있다. 실시 예에 있어서, 복수의 카운터들의 각각은 카운터 활성화 신호(CNT_EN, 도 1 참조)에 의해 활성화 될 수 있다.

카운터(151, CNT)는 업/다운 카운터(up/down counter) 혹은 비트-와이즈 카운터(bit-wise counter)를 포함할 수 있다. 이때, 비트-와이즈 카운터는 업/다운 카운터와 비슷한 동작을 수행할 수 있다. 예를 들어, 비트-와이즈 카운터는 업 카운트만 수행하는 기능 및 특정 신호가 들어오면 카운터 내부의 모든 비트를 반전하여 1의 보수(1's complement)로 만드는 기능을 수행할 수 있다. 비트-와이즈 카운터는 리셋 카운트(reset count)를 수행한 후, 이를 반전하여 1의 보수, 즉, 음수 값으로 변환할 수 있다.

램프 전압 발생기(160)는 램프 전압(혹은 ADC 기준 전압)를 생성하도록 구현될 수 있다. 램프 전압 발생기(160)는 타이밍 제어기(170)로부터 제공되는 램프 제어 신호(CTRP)에 기초해 동작할 수 있다. 램프 제어 신호(CTRP)는 램프 인에이블 신호, 모드 신호 등을 포함할 수 있다. 램프 전압 발생기(160)는 램프 인에이블 신호가 활성화되면, 모드 신호에 기초하여 설정되는 기울기를 가지는 램프 전압(RAMP)를 생성할 수 있다.

타이밍 제어기(170)는 로우 드라이버(120), 아날로그 디지털 변환회로(130), 및 램프 전압 발생기(160) 각각에 제어 신호 혹은 클록 신호를 출력함으로써, 로우 드라이버(120), 아날로그 디지털 변환회로(130), 및 램프 전압 발생기(160)의 동작 혹은 타이밍을 제어하도록 구현될 수 있다.

실시 예에 있어서, 타이밍 제어기(170)는 이미지 센싱부(100)의 ADC 동작 구간에 관련된 정보를 디지털 처리부(200, 도 1 참조)로 전송할 수 있다. 예를 들어, 타이밍 제어기(170)는 ADC 활성화 신호(ADC_EN), 수평 동기 신호(H_SYN), 혹은 카운터 활성화 신호(CNT_EN)를 디지털 처리부(200)로 전송할 수 있다.

또한, 타이밍 제어기(170)는 컬럼 라인 그룹에 따라 디시젼 속도를 서로 다르게 하도록 비교 회로(140)에 제공되는 스위칭 제어 신호들을 생성할 수 있다.

버퍼(180)는 아날로그 디지털 변환회로(130)로부터 출력된 디지털 데이터를 임시 저장하고, 증폭하여 출력하도록 구현될 수 있다. 버퍼(180)는 컬럼 메모리 블록(181, MEM) 및 센스 앰프(182, SA)를 포함할 수 있다.

컬럼 메모리 블록(181, MEM)은 복수의 메모리들을 포함할 수 있다. 복수의 메모리들 각각(183)은 복수의 카운터들의 각각(151)으로부터 출력되는 디지털 데이터를 임시 저장 한 후 센스 앰프(182)로 출력할 수 있다.

센스 앰프(182, SA)는 복수의 메모리들로부터 출력되는 디지털 데이터들을 감지 및 증폭하도록 구현될 수 있다. 센스 앰프(182)는 증폭된 디지털 데이터들을 이미지 데이터(IDATA)로서 출력할 수 있다.

아래에서는 본 발명의 실시 예에 따른 디지털 클록(DCLK)의 분산 제어에 대하여 자세하게 설명하도록 하겠다.

도 3은 본 발명의 실시 예에 따른 차단 클록 방식의 디지털 클록(DCLK)의 타이밍을 예시적으로 보여주는 도면이다. 도 3에 도시된 바와 같이, ADC 활성화 신호(ADC_EN)는 제 1 ADC 구간(A1) 및 제 2 ADC 구간(A2)에서 하이 레벨을 가질 수 있다. 여기서 제 1 ADC 구간(A1)은 리셋 전압을 변환시키는 구간이고, 제 2 ADC 구간(A2)은 픽셀 전압을 변환시키는 구간일 수 있다. 실시 예에 있어서, 제 2 ADC 구간(A2)은 제 1 ADC 구간(A1)보다 길 수 있다.

디지털 클록(DCLK)은 제 1 및 제 2 ADC 구간들(A, B)의 각각의 전/후에서 차단(gated) 될 수 있다. 예를 들어, 디지털 클록(DCLK)은 제 1 클록 차단 구간(G1)와 제 2 클록 차단 구간(G2)을 포함할 수 있다. 여기서 제 1 클록 차단 구간(G1)은 제 1 ADC 구간(A1)을 포함하고, 제 2 클록 차단 구간(G2)은 제 2 ADC 구간(A2)을 포함할 수 있다. 즉, 디지털 클록(DCLK)은 제 1 및 제 2 클록 차단 구간들(G1, G2)을 제외한 구간에서 정상적으로 출력될 수 있다.

실시 예에 있어서, 디지털 클록(DCLK)은 ADC 활성화 신호(ADC_EN)에 응답하여 사전에 결정된 타이밍에 따라 출력될 수 있다. 예를 들어, 디지털 클록(DCLK)은 ADC 동작을 위한 카운터 활성화 신호에 응답하여 차단 구간을 설정 할 수 있다.

이미지 데이터 활성화 신호(IDATA_EN)는 도 3에 도시된 바와 같이, 디지털 처리부(200)의 이미지 신호 프로세서(210)에서 수신된 이미지 데이터(IDATA)가 유효하다는 것을 지시하기 위하여 사전에 결정된 구간에서 하이 레벨을 가질 수 있다. 실시 예에 있어서, 이미지 데이터 활성화 신호(IDATA_EN)는 타이밍 제어기(170, 도 1 참조)로부터 생성될 수 있다. 다른 실시 예에 있어서, 이미지 데이터 활성화 신호(IDATA_EN)는 ADC 활성화 신호(ADC_EN)에 응답하여 디지털 처리부(200, 도 1 참조)의 내부에서 생성될 수 있다. 도 3에 도시된 블랭크(Blank) 구간은 이미지 센싱부(100, 도 1 참조)에서 신호 판독을 수행하지 않는 구간이다. 이미지 데이터 활성화 신호(IDATA_EN)는 제 1 스톨(stall) 구간(S1)과 제 2 스톨 구간(S2)를 가질 수 있다. 여기서 제 1 스톨 구간(S1)는 제 1 클록 차단 구간(G1)에 대응하고, 제 2 스톨 구간(S2)은 제 2 클록 차단 구간(G2)에 대응할 수 있다. 실시 예에 있어서, 제 1 및 제 2 스톨 구간들(S1, S2)에서, 변환된 이미지 데이터(IDATA)의 출력이 없다.

실시 예에 있어서, 이미지 데이터 활성화 신호(IDATA_EN)가 하이 레벨이면서, 제 1 및 제 2 스톨 구간들(S1, S2)을 제외한 구간에서, 처리된 데이터(PDATA, 도 1 참조)가 외부로 출력될 수 있다.

본 발명의 실시 예에 따른 디지털 클록(DCLK)의 제어 방법은 ADC 동작에 대응하는 구간에서 클록 차단 시킴으로써, ADC 동작에서 디지털 영향을 최소화 시킬 수 있다.

한편, 이미지 센싱부(100)의 변환된 디지털 데이터(IDATA)는 직렬 연결된 복수의 ISP(Image Signal Processor)들로 출력될 수 있다.

도 4a 및 도 4b는 본 발명의 실시 예에 따른 직렬 연결된 복수의 ISP들로 구현된 디지털 처리부(200) 및 그것의 디지털 클록(DCLK)의 타이밍을 예시적으로 보여주는 도면들이다. 도 4b를 참조하면, 디지털 클록(DCLK)에 동기하여 4개의 직렬 연결된 ISP들(ISP1 ~ ISP4; 211 ~ 124)에 의해 이미지 데이터(IDATA)가 디지털 처리될 수 있다.

도 4b에서, ISP들(211 ~ 214)의 각각에 대응하는 이미지 데이터 활성화 신호(IDATA_EN)는 공통의 제 1 및 제 2 스톨 구간들(S1, S2)을 가질 수 있다. 실시 예에 있어서, ISP들(211 ~ 214))의 각각은 수신된 데이터를 제 1 및 제 2 스톨 구간들(S1, S2)을 제외한 구간에서 적절한 레이턴시들(LT1 ~ LT3)을 갖고 처리할 수 있다. 예를 들어, 제 2 ISP(212)는 제 1 ISP(211)에서 처리된 데이터를 수신하고, 수신된 데이터에 대한 사전에 결정된 처리 동작을 수행할 수 있다. 이때, 제 2 ISP(212)의 이미지 데이터 활성화 신호(IDATA_EN2)는 제 1 ISP(211)의 이미지 데이터 활성화 신호(IDATA_EN1)보다 제 1 레인턴시(LT1) 후에 하이 레벨을 갖는다.

한편, 처리된 데이터(PDATA)에 대한 출력 구간에서 블랭크 구간이 충분하지 않을 때, 클록 분할 방식(divided clock scheme)이 적용될 수도 있다.

도 5는 본 발명의 다른 실시 예에 따른 분할 클록 방식의 디지털 클록(DCLK)의 타이밍을 예시적으로 보여주는 도면이다. 도 5을 참조하면, 디지털 클록(DCLK)의 타이밍은 도 3에 도시된 그것과 비교하여 제 1 ADC 구간(A1)에 대응하는 제 1 클록 분할 구간(D1)과 제 2 ADC 구간(A2)에 대응하는 제 2 클록 분할 구간(D2)을 갖는다. 즉, 제 1 ADC 구간(A1) 및 제 2 ADC 구간(A2)에서 디지털 클록(DCLK)은 분할 될 수 있다.

실시 예에 있어서, 클록 분할 비율을 설정 하면, 디지털 클록 생성기(201)는 클록 분할 구간의 시작 시점부터 n-1 개의 클록 게이트하고, 1개를 클록 바이패스(clock 통과)시킬 수 있다. 또한, 분할 클록의 종료 지점부터　클록은 바이패스 될 수 있다.

본 발명의 실시 예에 따른 디지털 클록(DCLK)의 제어 방법은 ADC 동작에 대응하는 구간에서 클록 분할 시킴으로써, 블랭크 구간을 확보하면서 ADC 동작에서 디지털 영향을 최소화 시킬 수 있다.

한편, 본 발명의 실시 예에 따른 차단 클록 방식과 분할 클록 방식은 ADC 구간의 일부에서만 적용될 수 있다.

도 6a, 도 6b, 도 6c, 및 도 6d는 본 발명의 실시 예에 따른 ADC 일부 구간에 디지털 클록 분산을 적용하는 디지털 클록(DCLK)의 타이밍을 예시적으로 보여주는 도면들이다.

도 6a을 참조하면, 제 1 ADC 구간(A1)의 일부에 대응하는 제 3 클록 차단 구간(G3)이 존재하고, 제 2 ADC 구간(A2)의 일부에 대응하는 제 4 클록 차단 구간(G4이 존재할 수 있다. 예를 들어, 제 1 ADC 구간(A1)의 처음 25%에 대응하는 구간은 제 3 클록 차단 구간(G3)에 포함되고, 제 2 ADC 구간(A2)의 처음 25%에 대응하는 구간은 제 4 클록 차단 구간(G4)에 포함될 수 있다. 여기서 처음 25% 대응하는 구간은 화질 특성에 민감한 어두운 영역일 수 있다.

도 6b을 참조하면, 제 1 ADC 구간(A1)의 일부에 대응하는 제 3 클록 분할 구간(D3)이 존재하고, 제 2 ADC 구간(A2)의 일부에 대응하는 제 4 클록 분할 구간(D4)이 존재할 수 있다. 예를 들어, 제 1 ADC 구간(A1)의 처음 25%에 대응하는 구간은 제 3 클록 분할 구간(D3)에 포함되고, 제 2 ADC 구간(A2)의 처음 25%에 대응하는 구간은 제 4 클록 분할 구간(D4)에 포함될 수 있다.

도 6c을 참조하면, 제 1 ADC 구간(A1)에 대응하는 제 5 클록 차단 구간(G5)과 제 5 클록 분할 구간(D5)이 존재하고, 제 2 ADC 구간(A2)에 대응하는 제 6 클록 차단 구간(G6)과 제 6 클록 분할 구간(D6)이 존재할 수 있다. 예를 들어, 제 1 ADC 구간(A1)의 처음 25%에 대응하는 구간은 제 5 클록 차단 구간(G5)이고, 나머지 75%에 대응하는 구간은 제 5 클록 분할 구간(D5)일 수 있다. 유사하게, 제 2 ADC 구간(A2)의 처음 25%에 대응하는 구간은 제 6 클록 차단 구간(G6)이고, 나머지 75%에 대응하는 구간은 제 6 클록 분할 구간(D6)일 수 있다.

도 6d을 참조하면, 제 1 ADC 구간(A1)에 대응하는 2개의 클록 분할 구간들(G7, D7)이 존재하고, 제 2 ADC 구간(A2)에 대응하는 2개의 클록 분할 구간들(G8, D8)이 존재할 수 있다. 예를 들어, 제 1 ADC 구간(A1)의 처음 25%에 대응하는 구간은 제 1 클록 분할 비율에 따른 클록 분할 구간(G7)이고, 나머지 75%에 대응하는 구간은 제 2 클록 분할 비율에 따른 클록 분할 구간(D7)일 수 있다. 여기서 제 2 클록 분할 비율은 제 1 클록 분할 비율보다 클 수 있다. 하지만, 본 발명이 여기에 제한되지 않는다고 이해되어야 할 것이다.

유사하게, 제 2 ADC 구간(A1)의 처음 25%에 대응하는 구간은 제 1 클록 분할 비율에 따른 클록 분할 구간(G8)이고, 나머지 75%에 대응하는 구간은 제 2 클록 분할 비율에 따른 클록 분할 구간(D8)일 수 있다.

한편, 본 발명의 클록 차단 구간 혹은 클록 분할 구간의 비율은 여기에 제한되지 않는다고 이해되어야 할 것이다.

도 7은 본 발명의 실시 예에 따른 이미징 장치(10)의 디지털 전류 소비를 예시적으로 보여주는 도면이다. 도 7을 참조하면, 수평 구간 동안에, ADC 기준 전압의 변화에 따라 아날로그 카운터 클록은 제 1 램프 구간(R1)과 제 2 램프 구간(R2)에서 활성화될 수 있다. 여기서 제 1 램프 구간(R1)은 리셋 전압에 대응하는 제 1 카운트 동작이 수행되고, 제 2 램프 구간(R2)은 픽셀 전압에 대응하는 제 2 카운트 동작이 수행될 수 있다.

디지털 클록(DCLK)은 수평 동기 신호(H_SYN)에 응답하여 출력될 수 있다. 또한, 디지털 클록(DCLK)은 카운터 클록에 응답하여 출력되지 않을 수 있다. 예를 들어, 디지털 클록(DCLK)은 제 1 및 제 2 램프 구간들(R1, R2)에 대응하는 구간들에서 차단 될 수 있다. 이때, 디지털 처리부(200)에서 소비되는 디지털 전류 소비는 램프 구간들(R1, R2)에서 현저하게 줄일 수 있다. 이로써, ADC 동작을 위한 카운트 동작은 디지털 전력의 영향을 덜 받을 수 있다.

도 8은 본 발명의 다른 실시 예에 따른 이미징 장치(10)의 디지털 전류 소비를 예시적으로 보여주는 도면이다. 도 8을 참조하면, 디지털 클록(DCLK)은 수평 동기 신호(H_SYN)에 응답하여 출력되고, 카운터 클록에 응답하여 출력되지 않을 수 있다. 예를 들어, 디지털 클록(DCLK)은 제 1 및 제 2 램프 구간들(R1, R2)에 대응하는 구간들에서 분할 될 수 있다. 이때, 디지털 처리부(200)에서 소비되는 디지털 전류 소비는 램프 구간들(R1, R2)에서 줄일 수 있다.

한편, 도 1 내지 도 8에서 이미징 장치(10)는, 디지털 처리부(200)에서 사용하는 디지털 클록(DCLK)의 분산 제어를 설명하고 있다. 하지만, 본 발명이 여기에 제한될 필요는 없다. 본 발명은 이미지 센싱부의 내부에서 사용하는 디지털 클록의 분산 제어에 적용 가능하다.

도 9a는 본 발명의 다른 실시 예에 따른 이미징 장치(20)를 예시적으로 보여주는 도면이다. 도 9를 참조하면, 이미징 장치(20)는 이미지 센싱부(100a) 및 디지털 처리부(300)를 포함할 수 있다.

이미지 센싱부(100a)는 디지털 클록 생성기(101) 및 타이밍 제어기(170)를 포함할 수 있다. 디지털 클록 생성기(101)는 전달 클록(TCLK)를 발생하도록 구현될 수 있다. 이미지 센싱부(100a)는 이미지 데이터(IDATA)를 전달 클록(TCLK)에 동기하여 디지털 처리부(300)로 출력할 수 있다.

디지털 클록 생성기(101)는, 이미지 센서(100a)의 아날로그 동작(예를 들어, ADC 동작)일 때, 클록 분산(차단/분할)된 전달 클록(TCLK)을 생성할 수 있다. 여기서 클록 분산된 전달 클록(TCLK)은 도 1 내지 도 8에 설명된 차단 클록 혹은 분할 클록과 유사할 수 있다.

디지털 처리부(300)는 적어도 하나의 이미지 신호 프로세서(ISP(s), 310)를 포함할 수 있다. 이미지 신호 프로세서(310)는 전달 클록(TCLK)에 동기하여 수신된 이미지 데이터(IDATA)에 대한 처리 동작을 수행할 수 있다.한편, 본 발명의 실시 예에 따른 디지털 처리부의 복수의 ISP들은 병렬로 연결될 수도 있다.

도 9b는 본 발명의 다른 실시 예에 따른 디지털 처리부(400)를 예시적으로 보여주는 도면이다. 도 9b를 참조하면, 디지털 처리부(400)는, 디지털 클록 생성기(401), 라인 버퍼(402), 복수의 ISP들(411 ~ 414), 머징 모듈(420), 저장 모듈(430)을 포함할 수 있다. 디지털 클록 생성기(401)는 도 1 내지 도 8에서 설명된 바와 같이, 이미지 센싱부의 ADC 구간에서 디지털 클록(DCLK)을 분산하도록 구현될 수 있다.

라인 버퍼(402), 이미지 센싱부로부터 획득된 이미지 데이터를 라인 단위로 저장하도록 구현될 수 있다. 라인 버퍼(402)에 저장되는 데이터의 적어도 일부는 이미지 센싱부의 2차원 배열에 따라 배치된 복수의 포토 다이오드들의 배치된 연관된 데이터일 수 있다. 복수의 포토 다이오드들은 서로 수직인 두 개의 축들에 따라 2차원으로 배치된 픽셀들에 기반하여 이미지 센싱부 내에 배치될 수 있다. 라인은 이미지 센싱부 내에 배치된 픽셀들의 그룹으로 두 개의 축들 중에서 어느 한 축을 따라 배치된 픽셀들의 그룹에 대응할 수 있다. 실시 예에 있어서, 라인 버퍼(401)의 저장된 데이터는 복수로 구분될 수 있다. 구분된 복수의 데이터는 대응하는 버퍼를 통하여 대응하는 ISP에 전송될 수 있다.

복수의 ISP들(411 ~ 414)의 각각은 디지털 클록(DCLK)에 동기하여 버퍼로부터 저장된 데이터에 대한 디지털 처리 동작을 수행하도록 구현될 수 있다. 이러한 디지털 처리 동작은 컬러 인터폴레이션(Color Interpolation, CI), 감마 보정, 경계 강화(Edge Enhancement, EE), 노이즈 감소(Noise Reduction, NR)를 포함할 수 있다. 머징 모듈(420)은 복수의 ISP들(411 ~ 414)로부터 출력된 데이터의 일부 혹은 전부를 병합하도록 구현될 수 있다. 저장 모듈(430)은 머징 모듈(420)로부터 병합된 데이터를 저장하도록 구현될 수 있다. 저장된 데이터는 이미지 센싱부에서 획득된 이미지 데이터에 대응하는 프레임 데이터일 수 있다. AP(Application Processor)는 실행 중인 어플리케이션에 기반하여, 이러한 프레임 데이터를 처리할 수 있다. 예를 들어, AP는 식별된 프레임 데이터에 기반하여 지정된 포맷(예를 들어, JPEG 포맷 또는 MPEG 포맷)의 이미지 파일 혹은 비디오 파일을 생성할 수 있다.

도 10은 본 발명의 실시 예에 따른 이미징 장치의 동작 방법을 보여주는 흐름도이다. 도 1 내지 도 10을 참조하면, 이미징 장치(10)의 동작 방법은 다음과 같이 진행될 수 있다.

이미지 센싱부(100)는 아날로그 디지털 변환 동작을 수행할 수 있다(S110). 아날로그 디지털 변환 동작을 수행하는 동안에, 디지털 처리부(200) 혹은 이미지 센싱부(100)는 클록 분산 방식을 이용하여 디지털 전력 소비를 줄일 수 있다(S120). 여기서 클록 분산 방식은, 차단 클록 방식(클록 차단 방식) 혹은 분할 클록 방식(클록 분할 방식)으로 구현될 수 있다.

실시 예에 있어서, 클록 분산 방식은 ADC 구간 전체 혹은 일부에 클록을 차단시키거나 클록을 분할시킬 수 있다. 예를 들어, ADC 구간의 일부 구간,　예를 들어 앞쪽의 25% 구간 정도, 화질 특성에 민감한 어두운 영역에 클록이 차단되거나 분할 클록이 출력될 수 있다. 또한, ADC 구간의 앞쪽의 25% 구간은 클록이 차단 되고, 뒤쪽의 75% 구간은 분할 클록이 출력될 수 있다.

실시 예에 있어서, ADC 구간은 복수의 클록 분산 구간들로 설정될 수 있다. 실시 예에 있어서, 설정된 클록 분산 구간들은 서로 겹칠 수 있다. 실시 예에 있어서, 사용자에 의해 구간들의 각각에 우선 순위가 부여될 수 있다. 서로 겹치는 경우 우선 순위에 대응하는 클록이 출력될 수 있다. 실시 예에 있어서, 시간적으로 앞쪽 구간의 종료 지점보다, 뒤쪽 구간의 시작 지점이 같거나 앞설 수 있다.

도 11은 멀티 카메라 모듈을 갖는 전자 장치를 예시적을 보여주는 도면이다. 도 11을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈들(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈들(1100a, 1100b, 1100c)이 배치된 실시 예가 도시되어 있으나, 실시 예들이 이에 제한되는 것은 아니다. 실시 예에 있어서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈들만을 포함하도록 변형되어 실시될 수 있다. 또한, 실시 예에 있어서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈들을 포함하도록 변형되어 실시될 수도 있다.

도 12는 도 11의 카메라 모듈(1100b)의 상세 구성을 보여주는 도면이다. 이하의 설명은 실시 예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다. 도 12를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element; OPFE)(1110), 액츄에이터(1130), 이미징 장치(1140) 및 저장부(1150)를 포함할 수 있다.

프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

실시 예에 있어서, 프리즘(1105)은 제 1 방향(X)으로 입사되는 광(L)의 경로를 제 1 방향(X)에 수직인 제 2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제 1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제 2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제 1 방향(X)및 제 2 방향(Y)과 수직인 제 3 방향(Z)로 이동할 수 있다.

실시 예에 있어서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

실시 예에 있어서, 프리즘(1105)은 플러스(+) 혹은 마이너스(-) B방향으로 20도 내외, 혹은 10도에서 20도, 혹은 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 혹은 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

실시 예에 있어서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제 3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제 2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고 할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 혹은 5Z 혹은 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(1130)는 OPFE(1110) 혹은 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미징 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱 할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별 (혹은 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미징 장치(1140)의 외부에 배치될 수 있으며, 이미징 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 실시 예에 있어서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시 예들이 이에 제한되는 것은 아니다.

도 11과 도 12를 함께 참조하면, 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액츄에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액츄에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.

실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티컬(vertical) 형태의 카메라 모듈일 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 혹은 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 또한, 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.

다시 도 11을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 제어기(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 제어기(1216)를 포함할 수 있다. 또한, 이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.

각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.

한편, 실시 예에 있어서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 혹은 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다. 구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 혹은 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 혹은 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

실시 예에 있어서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 실시 예에 있어서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다. 이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제 1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제 1 신호와 다른 제 2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시 예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

실시 예에 있어서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다. 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나는 도 1 내지 도 10에 설명된 바와 같이, 카메라 모듈들(1100a, 1100b, 1100c) 중 적어도 하나에서 아날로그 동작을 수행할 때 디지털 클록 분산을 수행하도록 구현될 수 있다.

카메라 모듈 제어기(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 제어기(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다. 또한, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 혹은 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 혹은 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.

실시 예에 있어서, 카메라 모듈 제어기(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 제어기(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

실시 예에 있어서, 카메라 모듈 제어기(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제 1 동작 모드 및 제 2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제 1 동작 모드에서, 제 1 속도로 이미지 신호를 생성(예를 들어, 제 1 프레임 레이트의 이미지 신호를 생성)하여 이를 제 1 속도보다 높은 제 2 속도로 인코딩(예를 들어, 제 1 프레임 레이트보다 높은 제 2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제 2 속도는 제 1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 혹은 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 혹은 스토리지(1400)로부터 인코딩된 이미지 신호를 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이 할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈들(1100a, 1100b, 1100c)은 제 2 동작 모드에서, 제 1 속도보다 낮은 제 3 속도로 이미지 신호를 생성(예를 들어, 제 1 프레임 레이트보다 낮은 제 3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩 되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 혹은 이미지 신호를 메모리(1230) 혹은 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제 1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제 2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제 3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 혹은 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

한편, 상술된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용 할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함 할 것이다.

10, 20: 이미지 장치
100, 110a: 이미지 센싱부
200, 300, 400: 디지털 처리부
170: 타이밍 제어기
101, 201: 디지털 클록 생성기
A1, A2: 아날로그 디지털 변환 구간
G1, G2: 클록 차단 구간
D1, D2: 클록 분할 구간
S1, S2: 스톨 구간

Claims

픽셀들로부터 이미지 신호들을 수신하고, 수신된 이미지 신호들을 디지털로 변환하고, 변환된 이미지 데이터를 출력하는 이미지 센싱부; 및
디지털 클록에 동기하여 이미지 데이터를 처리하는 디지털 처리부를 포함하고,
상기 디지털 처리부는 상기 디지털 클록을 생성하는 디지털 클록 생성기를 포함하고,
상기 이미지 센싱부에서 상기 이미지 신호들을 상기 이미지 데이터로 변환할 때, 상기 디지털 클록 생성기는 상기 디지털 클록을 분산시키는 것을 특징으로 하는 이미징 장치.
제 1 항에 있어서,
상기 이미지 센싱부는
상기 수신된 이미지 신호들과 램프 전압을 비교하고, 비교 결과들에 대응하는 카운트 동작들을 수행함으로써 상기 이미지 신호들을 상기 이미지 데이터로 변환하는 아날로그 디지털 변환회로; 및
상기 카운트 동작들에 관련된 카운터 활성화 신호를 생성하는 타이밍 제어기를 포함하는 이미징 장치.
제 2 항에 있어서,
상기 디지털 클록 생성기는 상기 카운터 활성화 신호에 응답하여 사전에 결정된 타이밍 시퀀스에 따라 상기 디지털 클록을 분산시키는 것을 특징으로 하는 이미징 장치.
제 2 항에 있어서,
상기 디지털 클록 생성기는 상기 타이밍 제어기의 수평 동기 신호에 응답하여 사전에 결정된 타이밍 시퀀스에 따라 상기 디지털 클록을 분산시키는 것을 특징으로 하는 이미징 장치.
제 1 항에 있어서,
상기 이미지 센싱부는 리셋 전압에 대응하는 제 1 ADC(Analog-to-Digital Conversion) 동작을 수행하고 픽셀 전압에 대응하는 제 2 ADC 동작을 수행하고,
상기 디지털 클록 생성기는 상기 제 1 ADC 동작에 대응하는 제 1 ADC 구간 및 상기 제 2 ADC 동작에 대응하는 제 2 ADC 구간들 각각의 전체 혹은 일부 구간에서 상기 디지털 클록을 차단(gated) 시키는 것을 특징으로 하는 이미징 장치.
제 1 항에 있어서,
상기 이미지 센싱부는 리셋 전압에 대응하는 제 1 ADC(Analog-to-Digital Conversion) 동작을 수행하고 픽셀 전압에 대응하는 제 2 ADC 동작을 수행하고,
상기 디지털 클록 생성기는 상기 제 1 ADC 동작에 대응하는 제 1 ADC 구간 및 상기 제 2 ADC 동작에 대응하는 제 2 ADC 구간들 각각의 전체 혹은 일부 구간에서 상기 디지털 클록을 분할(divided) 시키는 것을 특징으로 하는 이미징 장치.
제 1 항에 있어서,
상기 이미지 센싱부는 리셋 전압에 대응하는 제 1 ADC(Analog-to-Digital Conversion) 동작을 수행하고 픽셀 전압에 대응하는 제 2 ADC 동작을 수행하고,
상기 디지털 클록 생성기는 상기 제 1 ADC 동작에 대응하는 제 1 ADC 구간 및 상기 제 2 ADC 동작에 대응하는 제 2 ADC 구간들 각각의 일부 구간에서 상기 디지털 클록을 차단(gated) 시키고, 상기 제 1 ADC 구간 및 상기 제 2 ADC 구간들 각각의 나머지 구간에서 상기 디지털 클록을 분할(divided) 시키는 것을 특징으로 하는 이미징 장치.
제 1 항에 있어서,
상기 이미지 센싱부는 리셋 전압에 대응하는 제 1 ADC(Analog-to-Digital Conversion) 동작을 수행하고 픽셀 전압에 대응하는 제 2 ADC 동작을 수행하고,
상기 디지털 클록 생성기는 상기 제 1 ADC 동작에 대응하는 제 1 ADC 구간을 포함하는 제 1 스톨 구간과 상기 제 2 ADC 동작에 대응하는 제 2 ADC 구간을 포함하는 제 2 스톨 구간에서 상기 디지털 클록을 분산시키는 것을 특징으로 하는 이미징 장치.
제 8 항에 있어서,
상기 제 1 ADC 구간 및 상기 제 2 ADC 구간의 각각은 복수의 클록 분산 구간들로 구분되고,
상기 복수의 클록 분산 구간들은 서로 다른 방식에 따라 상기 디지털 클록이 분산되는 것을 특징으로 하는 이미징 장치.
이미징 장치의 동작 방법에 있어서,
이미지 신호와 램프 전압이 동일할 때까지 카운트 동작을 수행함으로써 상기 이미지 신호를 이미지 데이터로 변환하는 단계; 및
상기 카운트 동작을 수행할 때, 클록 분산 방식을 이용하여 디지털 전력 소비를 줄이는 단계를 포함하는 방법.