KR20210092964A - 이미지 센서 및 이를 포함하는 카메라 모듈 - Google Patents

이미지 센서 및 이를 포함하는 카메라 모듈 Download PDF

Info

Publication number
KR20210092964A
KR20210092964A KR1020200006513A KR20200006513A KR20210092964A KR 20210092964 A KR20210092964 A KR 20210092964A KR 1020200006513 A KR1020200006513 A KR 1020200006513A KR 20200006513 A KR20200006513 A KR 20200006513A KR 20210092964 A KR20210092964 A KR 20210092964A
Authority
KR
South Korea
Prior art keywords
time
image
memory
data
signal
Prior art date
Application number
KR1020200006513A
Other languages
English (en)
Inventor
타카히코 이나다
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200006513A priority Critical patent/KR20210092964A/ko
Priority to US16/941,981 priority patent/US11284030B2/en
Publication of KR20210092964A publication Critical patent/KR20210092964A/ko
Priority to US17/687,764 priority patent/US11627270B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617—Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • H04N5/379—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/2253—
    • H04N5/2257—
    • H04N5/357—
    • H04N5/3745—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이, 로직 회로, 및 메모리를 포함한다. 로직 회로는 제1 시간 동안 픽셀 어레이로부터 생성된 이미지 신호를 이미지 데이터로 변환한다. 제1 시간과 적어도 일부 중첩하는 제2 시간 동안 이미지 데이터가 메모리에 쓰여진다. 로직 회로는 제1 시간과 중첩하고 제2 시간과 비중첩하는 제3 시간 동안 더미 데이터를 메모리에 쓴다.

Description

이미지 센서 및 이를 포함하는 카메라 모듈 {IMAGE SENSOR AND CAMERA MODULE INCLUDING THE SAME}
본 발명은 이미지 센서 및 이를 포함하는 카메라 모듈에 관한 것으로, 좀 더 상세하게는 노이즈를 감소시키기 위한 이미지 센서 및 이를 포함하는 카메라 모듈에 관한 것이다.
스마트폰, PC, 디지털 카메라, 또는 디지털 캠코더와 같이 다양한 전자 장치에 이미지를 획득하고 처리하기 위한 이미지 센싱 시스템이 구비되고 있다. 이미지 센싱 시스템은 외광을 전기 신호로 변환하여 이미지를 캡처하기 위한 이미지 센서또는 카메라 모듈을 포함할 수 있다. 이미지 센서는 2차원적으로 배열된 픽셀 어레이를 포함할 수 있다.
이미지 센서는 픽셀 어레이의 라인 단위로 이미지 신호를 처리할 수 있다. 라인들 각각의 이미지 신호의 처리 속도가 느릴수록, 객체의 변화가 이미지 신호에 반영될 수 있고, 이미지 왜곡이 발생할 수 있다. 이에 따라, 이미지 신호를 고속으로 처리하기 위한 요구가 제기되고 있다. 그러나, 이미지 신호 프로세서의 데이터 처리 속도는 한계를 가지므로, 이미지 센서에 메모리를 추가하는 방안이 제기되고 있다. 일례로, 이미지 센서에 픽셀 어레이, 로직 회로, 및 메모리가 쌓여(stack)서 구현될 수 있다.
본 발명은 이미지의 노이즈를 감소시킬 수 있는 이미지 센서 및 이를 포함하는 카메라 모듈을 제공할 수 있다.
본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이, 로직 회로, 및 메모리를 포함한다. 로직 회로는 제1 시간 동안 픽셀 어레이로부터 생성된 이미지 신호를 이미지 데이터로 변환한다. 메모리에 제1 시간과 적어도 일부 중첩하는 제2 시간 동안 이미지 데이터가 쓰여진다. 로직 회로는 제1 시간과 중첩하고 제2 시간과 비중첩하는 제3 시간 동안 더미 데이터를 상기 메모리에 쓴다.
본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이 및 로직 회로를 포함한다. 로직 회로는 제1 시간 동안 픽셀 어레이로부터 생성된 이미지 신호를 이미지 데이터로 변환하고, 제1 시간과 적어도 일부 중첩하는 제2 시간 동안 이미지 데이터를 메모리로 출력하고, 제1 시간 중 제2 시간과 중첩하지 않는 제3 시간 동안 더미 데이터를 메모리로 출력한다.
본 발명의 실시예에 따른 카메라 모듈은 렌즈 유닛, 픽셀 어레이, 로직 회로, 및 메모리를 포함한다. 렌즈 유닛은 외부의 광을 전달한다. 픽셀 어레이는 전달된 광에 기초하여 이미지 신호를 생성한다. 로직 회로는 제1 시간 동안 이미지 신호를 이미지 데이터로 변환하고, 제2 시간 동안 이미지 데이터를 출력한다. 메모리는 제1 모드에서 제2 시간 동안 출력된 이미지 데이터를 저장한다. 로직 회로는 제1 모드에서, 제2 시간 동안 이미지 데이터를 메모리로 출력하고, 제1 시간과 중첩하고 제2 시간과 비중첩하는 제3 시간 동안 더미 데이터를 메모리로 출력한다. 로직 회로는 제2 모드에서, 제2 시간 동안 이미지 데이터를 외부로 출력한다.
본 발명의 실시예에 따른 이미지 센서 및 이를 포함하는 카메라 모듈은 아날로그 이미지 신호를 디지털 신호로 변환하는 과정에서 발생되는 노이즈를 감소시켜 이미지의 품질을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 시스템의 블록도이다.
도 2는 도 1의 카메라 모듈의 예시적인 블록도이다.
도 3은 도 1의 이미지 센싱 시스템의 동작을 구체적으로 설명하기 위한 블록도이다.
도 4는 도 1 내지 도 3에서 설명된 이미지 센서의 예시적인 구조를 설명하기 위한 도면이다.
도 5는 도 2 내지 도 4에서 설명된 픽셀 및 아날로그-디지털 변환기의 동작을 설명하기 위한 예시적인 회로도이다.
도 6은 도 5의 아날로그-디지털 변환기의 동작을 설명하기 위한 타이밍도이다.
도 7은 도 1 내지 도 6에서 설명된 이미지 센서의 동작을 설명하기 위한 타이밍도이다.
도 8은 도 1 내지 도 6에서 설명된 로직 회로의 동작을 설명하기 위한 타이밍도이다.
도 9 및 도 10은 도 8에서 설명된 오프셋을 제거하는 로직 회로의 동작을 설명하기 위한 타이밍도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 본 발명의 실시예에 따른 이미지 센싱 시스템의 블록도이다. 도 1을 참조하면, 이미지 센싱 시스템(100)은 제1 카메라 모듈(110), 제2 카메라 모듈(120), 어플리케이션 프로세서(130), 전력 관리 집적 회로(PMIC, 140), 및 시스템 메모리(제2 메모리, 150)를 포함할 수 있다. 이미지 센싱 시스템(100)은 디지털 카메라, 스마트 폰, 테블릿 PC, 웨어러블 디바이스 등과 같은 다양한 전자 장치에 구현될 수 있다. 이미지 센싱 시스템(100)의 적어도 일부 구성은 집적 회로(IC; Integrated Circuit) 또는 시스템 온 칩(SoC; System On Chip) 등으로 구현될 수 있다.
제1 카메라 모듈(110) 및 제2 카메라 모듈(120)은 외부의 광을 수신하여 아날로그 신호와 같은 전기 신호를 생성할 수 있다. 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에서, 초점 거리, 시야각, 픽셀들의 개수, 및 감지한 광의 파장 대역 중 적어도 하나는 서로 다를 수 있다. 일례로, 제1 카메라 모듈(110)은 와이드(wide) 카메라 모듈일 수 있고, 제2 카메라 모듈(120)은 텔레(tele) 카메라 모듈일 수 있다. 제1 카메라 모듈(110)의 시야각은 제2 카메라 모듈(120)의 시야각보다 클 수 있다.
제1 카메라 모듈(110) 및 제2 카메라 모듈(120)은 아날로그 신호인 이미지 신호를 디지털 신호인 이미지 데이터로 변환할 수 있다. 일례로, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)은 유효 신호 성분을 추출하기 위하여 이미지 신호에 대한 상관 이중 샘플링(CDS; correlated double sampling)을 수행할 수 있다. 이미지 데이터는 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 내부에 구비된 메모리에 저장될 수 있다. 저장된 또는 생성된 이미지 데이터는 어플리케이션 프로세서(130)로 출력될 수 있다.
제1 카메라 모듈(110)은 어플리케이션 프로세서(130)로부터 생성된 제1 카메라 제어 신호(CS1)에 기초하여 제1 이미지 데이터(I1)를 생성, 저장, 및, 출력할 수 있다. 제2 카메라 모듈(120)은 어플리케이션 프로세서(130)로부터 생성된 제2 카메라 제어 신호(CS2)에 기초하여 제2 이미지 데이터(I2)를 생성, 저장, 및, 출력할 수 있다. 제1 및 제2 이미지 데이터(I1, I2)는 직렬 카메라 인터페이스들을 통하여 독립적으로 동시에 어플리케이션 프로세서(130)로 전달할 수 있다. 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)의 구체적인 내용은 후술된다.
어플리케이션 프로세서(130)는 이미지 센싱 시스템(100)의 구성 요소들의 전반적인 동작들을 제어할 수 있다. 그리고, 어플리케이션 프로세서(130)는 제1 및 제2 카메라 모듈들(110, 120)로부터 생성된 이미지 데이터(I1, I2)에 기초하여 다양한 이미지 처리를 수행할 수 있다. 어플리케이션 프로세서(130)는 제1 이미지 신호 프로세서(131), 제2 이미지 신호 프로세서(132), 이미지 생성기(133), 메모리 컨트롤러(134), 및 제1 메모리(135)를 포함할 수 있다.
제1 이미지 신호 프로세서(131)는 제1 이미지 데이터(I1)의 처리를 위한 다양한 연산 동작을 수행할 수 있다. 제2 이미지 신호 프로세서(132)는 제2 이미지 데이터(I2)의 처리를 위한 다양한 연산 동작을 수행할 수 있다. 일례로, 제1 및 제2 이미지 신호 프로세서들(131, 132)은 제1 및 제2 이미지 데이터(I1, I2)의 품질 개선을 위한 노이즈 제거, 보정 동작 등을 수행할 수 있다. 이외에도, 제1 및 제2 이미지 신호 프로세서들(131, 132)은 제1 및 제2 이미지 데이터(I1, I2)를 기초하여, 깊이 측정 또는 객체 인식 등 다양한 동작 등을 수행하기 위하여 사용될 수 있다.
이미지 생성기(133)는 제1 및 제2 이미지 신호 프로세서들(131, 132)에 의하여 처리된 이미지들을 병합할 수 있다. 일례로, 이미지 생성기(133)는 제1 이미지 데이터(I1)에 기초하여 생성된 와이드 이미지에 제2 이미지 데이터(I2)에 기초하여 생성된 텔레 이미지를 이용하여, 이미지의 품질을 개선할 수 있다. 이러한 이미지는 전자 장치의 디스플레이(미도시) 등 다양한 목적의 구성들에 제공될 수 있다.
메모리 컨트롤러(134)는 제1 메모리(135)의 동작을 제어한다. 메모리 컨트롤러(134)는 제1 및 제2 이미지 데이터(I1, I2)를 수신할 수 있다. 메모리 컨트롤러(134)는 제1 및 제2 이미지 신호 프로세서들(131, 132) 또는 이미지 생성기(133)에 의하여 생성된 이미지를 수신할 수 있다. 메모리 컨트롤러(134)는 수신된 이미지 또는 데이터를 부호화하여 제1 메모리(135)에 쓸 수 있다. 메모리 컨트롤러(134)는 제1 메모리(135)에 저장된 이미지 또는 데이터를 읽고, 읽혀진 이미지 또는 데이터를 복호화하여 제1 및 제2 이미지 신호 프로세서들(131, 132) 또는 이미지 생성기(133)로 전달할 수 있다. 메모리 컨트롤러(134)는 읽혀진 이미지 또는 데이터 제2 메모리(136) 또는 외부 장치 (일례로, 디스플레이)로 전달할 수 있다.
제1 메모리(135)는 제1 및 제2 이미지 데이터(I1, I2) 또는 제1 및 제2 이미지 데이터(I1, I2)의 처리 결과 등을 저장하도록 구성될 수 있다. 일례로, 제1 메모리(135)는 SRAM(Static Random Access Memory)이나 DRAM(Dynamic Random Access Memory)과 같은 휘발성 메모리일 수 있으나, 이에 제한되지 않고, 불휘발성 메모리일 수 있다.
전력 관리 집적 회로(140)는 이미지 센싱 시스템(100)의 구성들 각각에 전압을 제공할 수 있다. 일례로, 전력 관리 집적 회로(140)는 어플리케이션 프로세서(130)로부터 제공되는 전력 제어 신호에 기초하여 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 각각의 구동을 위한 전압 레벨을 조절할 수 있다. 전력 관리 집적 회로(140)는 제1 카메라 모듈(110)에 제1 전압 신호(CP1)를 제공하고, 제2 카메라 모듈(120)에 제2 전압 신호(CP2)를 제공할 수 있다.
제2 메모리(150)는 제1 및 제2 이미지 데이터(I1, I2) 또는 제1 및 제2 이미지 데이터(I1, I2)의 처리 결과 등을 저장하도록 구성될 수 있다. 제2 메모리(150)는 응용 프로그램들(Application Program), 운영 체제 이미지(OS Image) 및 각종 데이터를 저장하도록 구성될 수 있다. 일례로, 제2 메모리(150)는 낸드 플래시 메모리(NAND-type Flash memory)를 포함할 수 있다. 또는, 제2 메모리(150)는 PRAM, MRAM, ReRAM, FRAM 등의 차세대 불휘발성 메모리나 NOR 플래시 메모리를 포함할 수도 있다.
도 2는 도 1의 카메라 모듈의 예시적인 블록도이다. 도 2의 카메라 모듈(110)은 도 1의 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 대응될 수 있다. 도 2를 참조하면, 카메라 모듈(110)은 반사 요소(111), 렌즈 유닛(112), 픽셀 어레이(113), 로직 회로(114), 메모리(115), 및 EEPROM(116)을 포함할 수 있다. 도 2의 카메라 모듈(110)의 구조는 예시적인 것으로, 제1 및 제2 카메라 모듈들(110, 120)이 도 2에 제한되지 않는다. 예를 들어, 도 2와 달리, 도 1의 제1 및 제2 카메라 모듈들(110, 120)은 별도의 반사 요소(111)를 포함하지 않고, 렌즈 유닛(112)을 통하여 광을 수신할 수도 있다.
반사 요소(111)는 외부의 광을 수신하여 렌즈 유닛(112)으로 광을 제공할 수 있다. 반사 요소(111)는 광이 수신되는 방향과 다른 방향으로 광을 출력하도록 구성되는 OPFE(Optical path folding element)일 수 있다. 이에 따라, 카메라 모듈(110)의 두께가 감소될 수 있고, 카메라 모듈(110)의 두께에 따른 초점 거리의 제한을 줄일 수 있다. 일례로, 반사 요소(111)는 광 경로의 변경을 위한 반사경(reflector)를 포함할 수 있고, 반사경은 카메라 모듈(110)의 흔들림 등에 의한 이미지의 불안정성을 줄이기 위하여 움직일 수 있다. 일례로, 반사경은 광을 출력하는 방향에 수직한 방향으로 움직일 수 있다. 다만, 이에 제한되지 않고, 반사경의 기울기가 조절될 수도 있다. 이러한 움직임을 위하여, 반사 요소(111)는 코일 및 마그넷을 포함할 수 있다.
렌즈 유닛(112)은 반사 요소(111)로부터 전달된 광을 굴절시켜 픽셀 어레이(113)로 전달할 수 있다. 렌즈 유닛(112)에 의하여 이미지 캡처를 위한 초점 거리가 결정될 수 있다. 렌즈 유닛(112)에 포함된 렌즈들 중 적어도 일부는 초점 거리를 조절하기 위하여 (일례로, 오토 포커스) 움직일 수 있다. 일례로, 렌즈들은 광이 입사되는 방향을 기준으로 움직일 수 있다. 이러한 움직임을 위하여, 렌즈 유닛(112)에 액츄에이터가 제공될 수 있다.
픽셀 어레이(113)는 2차원적으로 배열된 복수의 픽셀들을 포함한다. 복수의 픽셀들 각각은 반사 요소(111) 및 렌즈 유닛(112)을 통하여 전달된 광을 감지하여 전기 신호인 픽셀 신호로 변환할 수 있다. 픽셀 어레이(113)는 복수의 픽셀 신호들을 포함하는 아날로그 신호인 이미지 신호를 생성할 수 있다. 픽셀 어레이(113)는 로직 회로(114)로부터 제공되는 픽셀 제어 신호들에 의해 제어되어 이미지 신호를 생성할 수 있다. 이미지 신호는 로직 회로(114)로 제공될 수 있다.
로직 회로(114)는 픽셀 어레이(113)에 포함된 픽셀들 중 하나 이상의 행(row) 또는 라인을 선택할 수 있다. 선택된 라인에 포함된 픽셀들은 픽셀 신호들을 생성하여 로직 회로(114)로 제공할 수 있다. 이를 위하여, 로직 회로(114)는 선택된 행에 대응되는 픽셀 제어 신호들을 생성할 수 있다. 일례로, 픽셀 제어 신호들은 픽셀들의 다양한 트랜지스터들에 제공되는 제어 신호들을 포함할 수 있다.
로직 회로(114)는 아날로그 신호인 이미지 신호를 디지털 신호인 이미지 데이터로 변환할 수 있다. 로직 회로(114)는 선택된 라인로부터 생성된 픽셀 신호들을 병렬로 수신하고, 수신된 픽셀 신호들을 디지털 신호들로 변환할 수 있다. 로직 회로(114)는 아날로그 신호를 디지털 신호로 변환하기 위한 다양한 동작을 수행할 수 있다. 일례로, 로직 회로(114)는 유효 신호 성분을 추출하기 위해 상관 이중 샘플링(CDS; correlated double sampling)을 수행할 수 있다.
로직 회로(114)는 쓰기 동작을 위하여, 이미지 데이터를 메모리(115)로 출력할 수 있다. 로직 회로(114)는 메모리(115)에 쓰기 적합하도록 이미지 데이터를 부호화할 수 있다. 로직 회로(114)는 쓰기 동작을 위한 메모리(115)의 영역을 선택할 수 있다. 이를 위하여, 로직 회로(114)는 선택된 영역에 대응되는 쓰기 동작을 위한 제어 신호를 생성할 수 있다.
로직 회로(114)는 읽기 동작을 위하여, 저장된 이미지 데이터를 메모리(115)로부터 입력 받을 수 있다. 로직 회로(114)는 메모리(115)에 저장된 이미지 데이터를 복호화하여 이미지 데이터를 생성할 수 있다. 로직 회로(114)는 읽기 동작을 위한 메모리(115)의 영역을 선택할 수 있다. 이를 위하여, 로직 회로(114)는 선택된 영역에 대응되는 읽기 동작을 위한 제어 신호를 생성할 수 있다.
로직 회로(114)는 픽셀 어레이(113), 메모리(115), 및 도 1의 어플리케이션 프로세서(130) 사이의 인터페이스를 제공할 수 있다. 픽셀 어레이(113)에 의하여 생성된 이미지 신호는 로직 회로(114)에 의하여 이미지 데이터로 변환되고, 이미지 데이터는 로직 회로(114)를 통하여 메모리(115)에 쓰여질 수 있다. 이미지 데이터의 변환 시간과 메모리(115)의 쓰기 시간은 적어도 일부 중첩할 수 있다.
메모리(115)에 저장된 데이터는 로직 회로(114)를 통하여 메모리(115)로부터 읽혀지고, 어플리케이션 프로세서(130)로 전달될 수 있다. 메모리(115)의 읽기 시간과 어플리케이션 프로세서(130)로 출력하는 시간은 적어도 일부 중첩할 수 있다. 일반적인 동작 모드에서, 이미지 데이터는 메모리(150)를 경유하여 어플리케이션 프로세서(130)로 전달될 수 있으나, 저잡음 모드와 같은 동작 모드에서, 이미지 데이터는 메모리(115)를 경유하지 않고 직접 어플리케이션 프로세서(130)로 전달될 수 있다.
메모리(115)는 쓰기 동작 시에 로직 회로(114)로부터 이미지 데이터를 제공받을 수 있다. 메모리(115)는 이미지 데이터를 저장하기 위한 메모리 셀 어레이를 포함한다. 또한, 메모리(115)는 감지 증폭기를 더 포함할 수 있고, 이미지 데이터는 감지 증폭기를 통하여 메모리 셀 어레이에 쓰여지거나, 메모리 셀 어레이로부터 읽혀질 수 있다. 일례로, 메모리(150)는 DRAM일 수 있으나, 이에 제한되지 않는다.
픽셀 어레이(113), 로직 회로(114), 및 메모리(115)는 이미지 센서를 구성할 수 있다. 일례로, 픽셀 어레이(113), 로직 회로(114), 및 메모리(115)는 합쳐진(merged) 멀티 스택 구조로 구현될 수 있다. 다만, 이에 제한되지 않고, 픽셀 어레이(113) 및 로직 회로(114)가 멀티 스택 구조로 합쳐지고, 메모리(115)는 별도로 카메라 모듈(110) 내에 구비될 수 있다.
EEPROM(116)은 카메라 모듈(110)의 동작을 위한 다양한 제어 데이터를 장기간 저장하도록 구성될 수 있다. EEPROM(116)에 저장된 제어 데이터는 반사 요소(111), 렌즈 유닛(112), 및 이미지 센서 등의 동작을 위하여 이용될 수 있다. 일례로, 제어 데이터는 카메라 모듈(110)의 회전각, 초점 거리, 위상 차이, 및 오토 포커스 특성 등과 관련된 데이터를 포함할 수 있다.
도 3은 도 1의 이미지 센싱 시스템의 동작을 구체적으로 설명하기 위한 블록도이다. 도 3을 참조하면, 이미지 센싱 시스템(200)은 카메라 모듈(210) 및 어플리케이션 프로세서(230)를 포함한다. 이미지 센싱 시스템(200)은 도 1의 이미지 센싱 시스템(100)에 대응되고, 카메라 모듈(210)은 도 1의 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 대응되고, 어플리케이션 프로세서(230)는 도 1의 어플리케이션 프로세서(130)에 대응된다.
카메라 모듈(210)은 픽셀 어레이(213), 로직 회로(214), 및 메모리(215)를 포함한다. 픽셀 어레이(213), 로직 회로(214), 및 메모리(215)는 각각 도 2의 픽셀 어레이(113), 로직 회로(114), 및 메모리(115)에 대응된다. 픽셀 어레이(213), 로직 회로(214), 및 메모리(215)는 이미지 센서를 구성할 수 있다. 픽셀 어레이(213)는 외부의 광을 감지하여 이미지 신호를 생성하고, 생성된 이미지 신호를 로직 회로(214)로 출력할 수 있다.
로직 회로(214)는 아날로그-디지털 변환기(217), 인터페이스 회로(218), 인코더(ENC), 및 디코더(DEC)를 포함할 수 있다. 아날로그-디지털 변환기(217)는 아날로그 신호인 이미지 신호를 디지털 신호인 이미지 데이터로 변환할 수 있다. 일반적인 동작 모드에서, 아날로그-디지털 변환기(217)는 라인 단위로 이미지 신호를 수신하고, 라인 단위로 이미지 신호를 이미지 데이터로 변환할 수 있다. 슬로우 모션과 같은 고속의 동작 모드에서, 아날로그-디지털 변환기(217)는 일반적인 동작 모드보다 빠른 속도로 이미지 신호를 이미지 데이터로 변환할 수 있다.
인터페이스 회로(218)는 제1 동작 모드에서, 아날로그-디지털 변환기(217)로부터 라인 단위로 이미지 데이터를 수신하고, 라인 단위로 이미지 데이터를 인코더(ENC)로 전달할 수 있다. 일례로, 제1 동작 모드는 일반적인 동작 모드이거나, 고속의 동작 모드일 수 있다. 인터페이스 회로(218)는 이미지 데이터를 라인 단위로 정렬할 수 있다. 이미지 데이터는 인코더(ENC)를 통하여 부호화되고, 메모리(215)에 저장될 수 있다. 메모리(215)에 저장된 데이터는 디코더(DEC)를 통하여 복호화되고, 인터페이스 회로(218)를 통하여 어플리케이션 프로세서(230)로 전달될 수 있다.
로직 회로(214) 또는 인터페이스 회로(218)는 메모리(215)로 이미지 데이터를 쓰기 위한 물리 계층을 포함할 수 있다. 로직 회로(214) 또는 인터페이스 회로(218)는 메모리(215)로부터 이미지 데이터를 읽기 위한 물리 계층을 포함할 수 있다. 로직 회로(214) 또는 인터페이스 회로(218)는 이미지 데이터를 어플리케이션 프로세서(230)로 전달하기 위한 물리 계층을 포함할 수 있다.
아날로그-디지털 변환기(217)가 이미지 신호를 이미지 데이터로 변환하는 시간은 이미지 데이터가 메모리(215)로 쓰여지는 시간의 적어도 일부와 중첩할 수 있다. 일례로, 픽셀 어레이(213)의 제1 라인에 대응되는 이미지 신호가 이미지 데이터로 변환되고, 소정의 지연 시간 이후에, 이미지 데이터가 메모리(215)에 쓰여질 수 있다. 제1 라인에 대응되는 이미지 데이터가 메모리(215)에 쓰여질 때, 제1 라인과 다른 라인 (일례로, 제2 라인)에 대응되는 이미지 신호가 이미지 데이터로 변환될 수 있다.
이미지 데이터의 쓰기 동작은 이미지 신호의 디지털 변환에 영향을 미칠 수 있다. 일례로, 쓰기 동작이 발생될 때 아날로그-디지털 변환기(217)의 디지털 변환 동작을 위한 램프 신호는 쓰기 동작이 없을 때의 램프 신호와 다를 수 있다. 이 경우, 동일한 이미지 신호를 변환하더라도, 쓰기 동작이 발생될 때의 이미지 데이터와 쓰기 동작이 없을 때의 이미지 데이터는 서로 다를 수 있다. 이러한 라인 별 데이터 차이를 감소시키기 위하여, 로직 회로(214)는 쓰기 동작과 변환 동작이 중첩하지 않는 시간 동안 더미 데이터를 메모리(215)에 쓸 수 있다. 이에 대한 구체적인 내용은 후술된다.
인터페이스 회로(218)는 제2 동작 모드에서, 아날로그-디지털 변환기(217)로부터 수신된 이미지 데이터를 메모리(215)에 쓰지 않고, 직접 어플리케이션 프로세서(230)로 전달할 수 있다. 일례로, 제2 동작 모드는 저 잡음 모드일 수 있다. 저 잡음 모드에서, 로직 회로(214)는 이미지 데이터의 부호화/복호화 동작을 수행하지 않고, 이미지 신호의 디지털 변환 동작에 영향을 주는 쓰기 동작을 수행하지 않으므로, 이미지 데이터에 제공되는 노이즈가 감소할 수 있다.
도 4는 도 1 내지 도 3에서 설명된 이미지 센서의 예시적인 구조를 설명하기 위한 도면이다. 도 4의 이미지 센서(310)는 도 1 내지 도 3에서 설명된 카메라 모듈의 일부일 수 있다. 도 4를 참조하면, 이미지 센서(310)는 픽셀 어레이(313), 로직 회로(314), 및 메모리(315)를 포함할 수 있다.
픽셀 어레이(313)는 제1 기판에 구현되고, 로직 회로(314)는 제2 기판에 구현되고, 메모리(315)는 제3 기판에 구현될 수 있다. 제1 내지 제3 기판들은 스택 구조로 구성될 수 있다. 이미지 센서(310)는 메모리가 합쳐진(merged) 멀티 스택 구조로 구현된 하나의 실시예로 이해될 것이나, 이에 제한되지 않는다. 예를 들어, 메모리(315)는 별도의 구성으로 카메라 모듈에 존재하고, 픽셀 어레이(313) 및 로직 회로(314)가 스택 구조로 구성될 수도 있다.
픽셀 어레이(313)는 액티브 픽셀들을 포함하는 액티브 영역(AA) 및 옵티컬 블랙 픽셀들을 포함하는 블랙 영역(BA)을 포함할 수 있다. 액티브 픽셀들은 외부로부터 수신된 광에 기초하여 이미지 신호를 생성할 수 있다. 옵티컬 블랙 픽셀들은 외부로부터 광의 수신이 차단되어, 블랙 이미지 신호를 생성할 수 있다. 블랙 영역(BA)은 액티브 영역(AA)의 바운더리에 형성될 수 있다. 블랙 영역(BA)에서 생성된 블랙 이미지 신호는 이미지 데이터의 캘리브래이션을 위하여 사용될 수 있다. 일례로, 로직 회로(314)는 액티브 영역(AA)에 대응되는 이미지 신호에서 블랙 이미지 신호를 감산함으로써, 이미지 신호의 다크 신호 및 노이즈를 제거할 수 있다.
로직 회로(314)는 픽셀 어레이(313) 및 메모리(315) 사이에 배치될 수 있다. 로직 회로(314)는 이미지 신호를 이미지 데이터로 변환하기 위한 아날로그-디지털 변환기(317)를 포함할 수 있다. 이외에도, 로직 회로(314)는 도 3 등에서 설명한 바와 같이, 메모리(315) 또는 어플리케이션 프로세서 등과의 인터페이스를 위한 물리 계층 또는 인터페이스 회로를 포함할 수 있다.
메모리(315)는 적어도 하나의 DRAM을 포함할 수 있으나, 이에 제한되지 않는다. 메모리(315)는 로직 회로(314)로부터 수신된 이미지 데이터를 저장할 수 있다. 메모리(315)는 저장된 이미지 데이터를 로직 회로(314)로 출력할 수 있다.
도 5는 도 2 내지 도 4에서 설명된 픽셀 및 아날로그-디지털 변환기의 동작을 설명하기 위한 예시적인 회로도이다. 도 5를 참조하면, 픽셀(PX)은 도 2 내지 도 4의 픽셀 어레이(113, 213, 313)에 포함되는 픽셀로 이해될 것이다. 아날로그-디지털 변환기(ADC)는 도 3 및 도 4의 아날로그-디지털 변환기(217, 317)의 일부로 이해될 것이다.
픽셀(PX)은 광전 변환 소자(PD), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 선택 트랜지스터(SX), 및 구동 트랜지스터(DX)를 포함할 수 있다. 픽셀(PX)의 구조는 예시적인 것으로, 도 5에 제한되지 않는다. 일례로, 픽셀(PX)은 전송 트랜지스터(TX) 및 플로팅 확산 영역(FD) 사이에 연결되는 스토리지 트랜지스터(미도시)를 더 포함할 수 있다.
광전 변환 소자(PD)는 입사된 광의 광량이나 광의 세기에 따라 전하들을 생성 및 축적한다. 일례로, 광전 변환 소자(PD)는 포토 다이오드(photo diode), 포토 트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토 다이오드(Pinned Photo Diode; PPD) 또는 이것들의 조합일 수 있다.
전송 트랜지스터(TX)는 광전 변환 소자(PD)로부터 생성 및 축적된 전하들을 플로팅 확산 영역(FD)으로 전달할 수 있다. 전송 트랜지스터(TX)는 광전 변환 소자(PD) 및 플로팅 확산 영역(FD) 사이에 연결될 수 있다. 일례로, 전송 트랜지스터(TX)는 전송 제어 신호(TG)에 기초하여 턴-온 또는 턴-오프 될 수 있다. 일례로, 전송 제어 신호(TG)는 상술된 로직 회로에 의하여 생성될 수 있다. 전송 트랜지스터(TX)가 턴-온 되면, 광전 변환 소자(PD)로부터 생성 및 축적된 전하들이 플로팅 확산 영역(FD)으로 전달될 수 있다. 전송 트랜지스터(TX)가 턴-오프 되면, 광전 변환 소자(PD)는 전하들을 축적할 수 있다.
플로팅 확산 영역(FD)은 전송 트랜지스터(TX)를 통하여 광전 변환 소자들(PD)로부터 전달된 전하들을 축적할 수 있다. 플로팅 확산 영역(FD)에 축적된 전하의 양에 따라 구동 트랜지스터(DX)가 제어될 수 있다.
리셋 트랜지스터(RX)는 플로팅 확산 영역(FD)에 축적된 전하들을 리셋시킬 수 있다. 리셋 트랜지스터(RX)는 플로팅 확산 영역(FD) 및 픽셀 전원 전압(VD1) 사이에 연결될 수 있다. 리셋 트랜지스터(RX)는 리셋 신호(RG)에 기초하여 턴-온 또는 턴-오프 될 수 있다. 일례로, 리셋 신호(RG)는 상술된 로직 회로에 의하여 생성될 수 있다. 리셋 트랜지스터(RX)가 턴-온 되면, 픽셀 전원 전압(VD1)이 플로팅 확산 영역(FD)으로 전달될 수 있다. 이 경우 플로팅 확산 영역(FD)에 축적된 전하들이 방출되고, 플로팅 확산 영역(FD)은 리셋될 수 있다.
구동 트랜지스터(DX)는 게이트 전극으로 입력되는 플로팅 확산 영역(FD)의 전하량에 비례하여 소스-드레인 전류를 발생시키는 소스 팔로워 버퍼 증폭기(Source Follower Buffer Amplifier)일 수 있다. 구동 트랜지스터(DX)는 플로팅 확산 영역(FD)에서의 전위 변화를 증폭하고 선택 트랜지스터(SX)를 통해 증폭된 신호를 열 라인으로 출력할 수 있다. 이러한 신호는 픽셀 신호(PO)로 정의될 수 있다.
선택 트랜지스터(SX)는 라인 단위로 읽어낼 픽셀(PX)을 선택하는데 사용된다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 기초하여 턴-온 또는 턴-오프 될 수 있다. 일례로, 선택 신호(SEL)는 상술된 로직 회로에 의하여 생성될 수 있다. 선택 트랜지스터(SX)가 턴-온 되면, 픽셀 신호(PO)가 열 라인으로 출력될 수 있다.
아날로그-디지털 변환기(ADC)는 샘플링 회로(SC) 및 카운터(CNT)를 포함할 수 있다. 샘플링 회로(SC)는 픽셀 신호(PO)와 램프 신호(RAMP)의 차이에 기초한 신호를 카운터(CNT)로 출력할 수 있다. 램프 신호(RAMP)는 카운터(CNT)가 인에이블 될 때, 슬로프를 가질 수 있다.
카운터(CNT)는 인에이블 시에, 픽셀 신호(PO)가 램프 신호(RAMP)보다 큰 시간을 카운트하여 픽셀 데이터(PID)를 출력할 수 있다. 이러한 픽셀 데이터(PID)는 상술된 이미지 데이터에 포함될 수 있다. 카운터(CNT)은 인에이블 신호(CEN)에 기초하여 활성화될 수 있다. 활성화 시간 동안, 램프 신호(RAMP)는 감소하는 슬로프를 가질 수 있다.
픽셀(PX)의 리셋 동작에 기초하여 생성된 픽셀 신호(PO)가 램프 신호(RAMP)보다 큰 시간 동안, 카운터(CNT)는 카운팅 동작을 수행할 수 있다. 리셋 동작에 따른 카운팅 값 2의 보수 원리에 기초하여 변환될 수 있다. 변환된 카운팅 값은 픽셀 데이터(PID)의 하한일 수 있다. 이후에, 픽셀(PX)의 광전 변환에 의하여 축적된 전하에 기초하여 생성된 픽셀 신호(PO)가 램프 신호(RAMP)보다 큰 시간 동안, 카운터(CNT)는 카운팅 동작을 수행할 수 있다. 카운터(CNT)는 리셋 동작에 따라 변환된 카운팅 값으로부터 해당 시간 동안 카운팅을 수행함으로써, 픽셀(PX)에 대응되는 픽셀 데이터(PID)를 생성할 수 있다.
도 6은 도 5의 아날로그-디지털 변환기의 동작을 설명하기 위한 타이밍도이다. 도 6은 시간에 따른 픽셀 신호(PO), 램프 신호(RAMP), 인에이블 신호(CEN), 및 카운팅 결과를 도시한다. 도 6의 타이밍도는 하나의 수평 시간에 대응된다. 설명의 편의상, 도 5의 도면 부호를 참조하여, 도 6이 설명된다.
아날로그-디지털 변환기(ADC)는 리셋 동작에 따른 카운팅 값을 생성할 수 있다. 리셋 신호(RG)가 리셋 트랜지스터(RX)를 턴-온시킴에 따라, 플로팅 확산 영역(FD)은 리셋될 수 있다. 리셋된 플로팅 확산 영역(FD)에 의하여 픽셀 신호(PO)의 레벨이 결정될 수 있다. 아날로그-디지털 변환기(ADC)는 리셋 동작에 따른 픽셀 신호(PO)에 기초하여, 카운팅 동작을 수행할 수 있다. 이를 위하여, 인에이블 신호(CEN)에 의하여 카운터(CNT)가 인에이블되는 동안, 램프 신호(RAMP)는 슬로프를 가질 수 있다. 카운터(CNT)는 램프 신호(RAMP)의 레벨이 픽셀 신호(PO)의 레벨보다 큰 구간 동안, 카운팅 값(카운팅 결과)을 증가시킬 수 있다.
리셋 동작에 따른 카운팅 결과는 2의 보수 원리에 기초하여 변환될 수 있다. 비트 정밀도를 기준으로, 카운팅 결과는 음수로 표현되도록 변환될 수 있다. 일례로, 카운팅 결과에 표현 가능한 디지털 값의 최대값이 감산될 수 있다. 이와 같이, 변환된 카운팅 결과는 생성 가능한 픽셀 데이터(PID)의 최소값일 수 있다. 이러한 동작에 따라, 하나의 카운터(CNT)가 리셋 동작에 따른 픽셀 신호(PO)의 처리와 광전 변환 동작에 따른 픽셀 신호(PO)의 처리를 모두 수행할 수 있다.
아날로그-디지털 변환기(ADC)는 리셋 동작에 따른 카운팅 값에 광전 변환 동작에 따른 카운팅 값을 반영하여 픽셀 데이터(PID)를 생성할 수 있다. 전송 제어 신호(TG)가 전송 트랜지스터(TX)를 턴-온 시킴에 따라, 플로팅 확산 영역(FD)에 전하들이 축적될 수 있다. 축적된 전하들에 의하여 픽셀 신호(PO)의 레벨이 결정될 수 있다. 일례로, 축적된 전하들의 양에 의존하여 픽셀 신호(PO)의 레벨이 감소할 수 있다.
아날로그-디지털 변환기(ADC)는 축적된 전하들에 따라 결정된 픽셀 신호(PO)에 기초하여, 카운팅 동작을 수행할 수 있다. 인에이블 신호(CEN)에 의하여 카운터(CNT)가 인에이블되는 동안, 램프 신호(RAMP)는 슬로프를 가질 수 있다. 카운터(CNT)는 램프 신호(RAMP)의 레벨이 픽셀 신호(PO)의 레벨보다 큰 구간 동안, 카운팅 값을 증가시킬 수 있다. 그 결과, 픽셀(PX)이 수신한 광에 따른 픽셀 데이터(PID)의 값이 결정될 수 있다.
상술한 바와 같이, 아날로그-디지털 변환기(ADC)가 픽셀 데이터(PID)를 포함하는 이미지 데이터를 생성할 때, 이전에 생성된 이미지 데이터가 메모리에 쓰여질 수 있다. 이러한 쓰기 동작은 램프 신호(RAMP)에 영향을 미칠 수 있다. 일례로, 쓰기 동작이 수행되는 시간 동안 아날로그-디지털 변환기(ADC)에 제공되는 램프 신호(RAMP)는 쓰기 동작이 없는 시간 동안 아날로그-디지털 변환기(ADC)에 제공되는 램프 신호(RAMP)와 다를 수 있다. 이러한 램프 신호(RAMP)들의 차이에 의하여 특정 라인에서의 이미지 데이터에 오프셋이 발생할 수 있다.
아날로그-디지털 변환기(ADC)는 라인 단위로 이미지 신호를 처리할 수 있다. 특정 라인에서 쓰기 동작이 없고, 다른 라인들에서 쓰기 동작이 존재하는 경우, 특정 라인의 이미지 데이터에 오프셋이 발생할 수 있다. 이 경우, 이미지의 품질이 감소할 수 있다. 본 발명에 따르면, 이러한 오프셋을 감소시키기 위하여, 모든 변환 동작에서 쓰기 동작이 수행될 수 있게 할 수 있다.
도 7은 도 1 내지 도 6에서 설명된 이미지 센서의 동작을 설명하기 위한 타이밍도이다. 도 7을 참조하면, 가로축은 시간으로 정의되고, 세로축은 픽셀 어레이의 라인들로 정의된다. 픽셀 어레이는 로직 회로에 의하여 라인 단위로 동작할 수 있다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 7이 설명된다.
처음 라인부터 마지막 라인까지 순차적으로, 노출 시간이 진행될 수 있다. 노출 시간 동안, 픽셀 어레이(113)의 라인들 각각에 대응되는 픽셀들은 광을 감지하여 전기 신호를 생성할 수 있다. 픽셀 어레이(113)의 라인들 각각은 이미지 신호의 일부인 라인 신호를 생성할 수 있다. 노출 시간 이후에, 처음 라인부터 마지막 라인까지 순차적으로, 아날로그 디지털 변환 시간이 진행될 수 있다. 순차적으로 출력된 라인 신호들은 램프 신호에 기초하여, 디지털 신호인 라인 데이터로 변환될 수 있다. 이러한 라인 데이터는 이미지 데이터의 일부일 수 있다.
일반적인 동작 모드에서, 처음 라인과 마지막 라인 사이 사이의 시간 지연은 제1 지연 시간(Td1)으로 정의될 수 있다. 일례로, 일반적인 동작 모드에서, 픽셀 어레이(113)로부터 이미지 신호를 수신하여 이미지 데이터를 생성하는 속도는 30fps(frame per second)일 수 있다. 그러나 빠르게 움직이는 객체를 갭쳐할 때, 일반적인 동작 모드에서는 라인들 각각의 시간 지연에 따른 이미지의 왜곡 (셔터 왜곡)이 발생될 수 있다. 객체의 빠른 움직임에 따라, 제1 라인을 처리할 때의 객체와 제1 라인을 처리할 때의 객체가 변화하기 때문이다.
고속의 동작 모드에서, 처음 라인과 마지막 라인 사이의 시간 지연은 제2 지연 시간(Td2)으로 정의될 수 있다. 제2 지연 시간(Td2)은 제1 지연 시간(Td1)보다 짧을 수 있다. 일례로, 고속의 동작 모드에서, 복수의 라인들이 함께 노출되고, 함께 아날로그 디지털 변환될 수 있다. 그리고, 라인들 각각의 노출 시간의 지연이 감소할 수 있다. 일례로, 고속의 동작 모드에서, 이미지 데이터를 생성하는 속도는 120fps일 수 있으나, 이에 제한되지 않고 슈퍼 슬로우 모션과 같이 초고속 동작 모드의 경우, 속도는 960fps 정도 까지 증가할 수 있다.
고속의 동작 모드의 경우, 이미지의 왜곡이 감소할 수 있으나, 이미지 신호를 이미지 데이터로 변환하는 시간이 감소한다. 즉, 램프 신호의 슬로프를 이용하여 카운팅 동작을 수행하기 위하여 주어진 여유 시간이 감소할 수 있다. 상술하였듯이, 램프 신호는 이미지 데이터를 메모리(115)로 쓰는 과정에 영향을 받을 수 있다. 여유 시간이 감소함에 따라, 램프 신호가 슬로프를 갖는 시간을 피하여 쓰기 동작을 수행하기 어려울 수 있다.
도 8은 도 1 내지 도 6에서 설명된 로직 회로의 동작을 설명하기 위한 타이밍도이다. 도 8은 시간에 따른 아날로그 디지털 변환 동작, 쓰기 동작, 읽기 동작, 및 프로세서 인터페이스 동작의 타이밍을 예시적으로 도시한다. 예시적으로 도 8의 타이밍도는 하나의 프레임에 대응된다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 8이 설명된다.
쓰기 시간(TW) 동안, 로직 회로(114)는 이미지 신호를 이미지 데이터로 변환한다. 일례로, 로직 회로(114)는 옵티컬 블랙 픽셀 라인들로부터 이미지 신호를 수신하고, 수신된 이미지 신호를 이미지 데이터로 변환할 수 있다. 여기에서, 옵티컬 블랙 픽셀 라인들은 도 4의 블랙 영역(BA)의 옵티컬 블랙 픽셀들을 포함할 수 있다. 이후에, 로직 회로(114)는 액티브 픽셀 라인들로부터 이미지 신호를 수신하고, 수신된 이미지 신호를 이미지 데이터로 변환할 수 있다. 여기에서, 액티브 픽셀 라인들은 도 4의 액티브 영역(AA)의 액티브 픽셀들을 포함할 수 있다. 옵티컬 블랙 픽셀 라인들에 대응되는 아날로그 디지털 변환 동작으로부터 소정의 시간 이후에, 액티브 픽셀 라인들에 대응되는 아날로그 디지털 변환 동작이 진행될 수 있다.
쓰기 시간(TW) 동안, 로직 회로(114)는 이미지 데이터를 메모리(115)로 쓸 수 있다. 아날로그 디지털 변환 동작으로부터 소정의 지연 시간 이후에, 쓰기 동작이 진행될 수 있다. 일례로, 로직 회로(114)는 옵티컬 블랙 픽셀 라인들에 대응되는 이미지 데이터를 메모리(115)로 출력할 수 있다. 이후에, 로직 회로(114)는 액티브 픽셀 라인들에 대응되는 이미지 데이터를 메모리(115)로 출력할 수 있다.
아날로그 디지털 변환 동작을 수행하는 제1 시간과 쓰기 동작을 수행하는 제2 시간은 적어도 일부 중첩한다. 그러나, 아날로그 디지털 변환 동작과 쓰기 동작 사이의 시간 지연으로 인하여, 제1 시간과 제2 시간이 중첩하지 않는 제3 시간(비중첩 시간, TNO)이 발생할 수 있다. 일례로, 제2 시간이 시작하기 전이 비중첩 시간(TNO)에 포함될 수 있다. 일례로, 블랙 이미지 데이터를 메모리(115)로 출력하는 시간과 액티브 이미지 데이터를 메모리(115)로 출력하는 시간 사이의 시간이 비중첩 시간(TNO)에 포함될 수 있다.
상술한 바와 같이, 아날로그 디지털 변환을 위한 램프 신호는 쓰기 동작에 영향을 받을 수 있다. 이에 따라, 제2 시간과 중첩하는 제1 시간(중첩 시간)에서의 램프 신호는 비중첩 시간(TNO)에서의 램프 신호와 다를 수 있다. 중첩 시간에서 생성된 이미지 데이터는 비중첩 시간(TNO)에서 생성된 이미지 데이터와 다른 램프 신호를 기준으로 카운팅 동작이 수행될 수 있다. 그 결과, 비중첩 시간(TNO)에서 아날로그 디지털 변환된 이미지 신호들에 오프셋이 발생할 수 있다. 오프셋에 기초하여, 이미지 데이터에 행 대역 노이즈(Row Band Noise)가 발생할 수 있고, 이미지의 품질이 감소할 수 있다.
읽기 시간(TR) 동안, 로직 회로(114)는 메모리(115)에 저장된 이미지 데이터를 읽을 수 있다. 그리고, 로직 회로(114)는 읽혀진 이미지 데이터를 도 1의 어플리케이션 프로세서(130) 또는 이미지 신호 프로세서(131, 132)로 출력할 수 있다. 일례로, 액티브 이미지 데이터가 이미지 신호 프로세서(131, 132)로 출력될 수 있다. 이러한 이미지 데이터는 상술된 오프셋을 가질 수 있다. 이러한 오프셋을 제거하기 위한 동작은 도 9 및 도 10에서 후술된다.
고속의 동작 모드에서, 쓰기 시간(TW)에서의 쓰기 속도는 읽기 시간(TR)에서의 읽기 속도보다 빠를 수 있다. 일례로, 고속의 동작 모드에서 쓰기 속도는 120fps 내지 960fps일 수 있고, 읽기 속도는 30fps 내지 240fps일 수 있다. 이미지의 왜곡을 방지하기 위하여 아날로그 디지털 변환 속도가 증가하는 경우, 생성되는 데이터의 양이 증가한다. 이 경우, 생성되는 데이터의 양이 이미지 신호 프로세서(131, 132)로 출력 가능한 데이터의 양을 초과할 수 있다. 로직 회로(114)는 생성된 이미지 데이터를 메모리(115)에 저장함으로써, 이미지 신호 프로세서(131, 132)로 이미지 데이터를 안정적으로 출력할 수 있다.
도 9 및 도 10은 도 8에서 설명된 오프셋을 제거하는 로직 회로의 동작을 설명하기 위한 타이밍도이다. 도 9는 시간에 따른 본 발명의 아날로그 디지털 변환 동작 및 쓰기 동작의 타이밍을 예시적으로 도시한다. 도 10은 시간에 따른 본 발명의 로직 회로의 동작을 예시적으로 도시한다. 설명의 편의상 도 2의 도면 부호를 참조하여, 도 9 및 도 10이 설명된다.
도 9를 참조하면, 로직 회로(114)는 제1 시간 동안, 이미지 신호를 수신하고, 수신된 이미지 신호를 이미지 데이터로 변환할 수 있다. 일례로, 로직 회로(114)는 옵티컬 블랙 픽셀 라인들로부터 블랙 이미지 신호를 수신하고, 블랙 이미지 신호를 블랙 이미지 데이터(ob)로 변환할 수 있다. 일례로, 로직 회로(114)는 옵티컬 블랙 픽셀들의 바텀 라인들에 대응되는 블랙 이미지 데이터(obb)를 생성하고, 옵티컬 블랙 픽셀들의 탑 라인들에 대응되는 블랙 이미지 데이터(obt)를 생성할 수 있다. 그리고 소정의 시간 이후에, 로직 회로(114)는 액티브 픽셀 라인들로부터 액티브 이미지 신호를 수신하고, 액티브 이미지 신호를 액티브 이미지 데이터로 변환할 수 있다.
로직 회로(114)는 제2 시간 동안, 이미지 데이터를 메모리(115)에 쓸 수 있다. 제2 시간의 적어도 일부는 제1 시간과 중첩할 수 있다. 제2 시간은 제1 시간이 지연된 시간일 수 있다. 로직 회로(114)는 블랙 이미지 데이터(ob)를 메모리(115)로 출력할 수 있다. 그리고 소정의 시간 이후에, 로직 회로(114)는 액티브 이미지 데이터를 메모리(115)로 출력할 수 있다.
로직 회로(114)는 제1 시간 중 제2 시간과 중첩하지 않는 시간 동안 더미 데이터를 메모리(115)에 쓸 수 있다. 더미 데이터를 쓰는 시간은 도 8에서 설명된 비중첩 시간(TNO)과 같을 수 있다. 이에 따라, 로직 회로(114)가 이미지 신호를 이미지 데이터로 변환하는 시간 동안, 적어도 더미 데이터 또는 이미지 데이터가 메모리(115)에 쓰여질 수 있다. 그 결과, 램프 신호는 아날로그 디지털 변환 동작 전반에 걸쳐 일정한 파형을 가질 수 있다. 따라서, 도 8의 제1 시간 중 제2 시간과 중첩하지 않는 시간 동안, 오프셋이 발생하지 않을 수 있고, 이미지의 품질이 개선될 수 있다.
도 10을 참조하면, 도 9에서 설명된 바와 같이, 쓰기 시간(TW) 동안 더미 데이터가 제2 시간과 중첩하지 않는 제1 시간 동안 메모리(115)에 쓰여질 수 있다. 읽기 시간(TR) 동안, 로직 회로(114)는 메모리(115)에 저장된 이미지 데이터를 읽을 수 있다. 그리고, 로직 회로(114)는 읽혀진 이미지 데이터를 도 1의 어플리케이션 프로세서(130) 또는 이미지 신호 프로세서(131, 132)로 출력할 수 있다. 더미 데이터에 의하여, 또는 이미지 신호 프로세서(131, 132)로 출력되는 이미지 데이터는 오프셋을 갖지 않을 수 있다. 더미 데이터는 아날로그 디지털 변환 시의 노이즈를 감소시키기 위한 것이므로, 읽기 동작 시에, 더미 데이터는 메모리(115)로부터 읽혀지지 않을 수 있다. 더미 데이터는 이미지 신호 프로세서(131, 132)로 출력되지 않을 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100: 이미지 센싱 시스템 110, 120, 210: 카메라 모듈
310: 이미지 센서 113, 213, 313: 픽셀 어레이
114, 214, 314: 로직 회로 115, 215, 315: 메모리
130, 230: 어플리케이션 프로세서 131, 132: 이미지 신호 프로세서

Claims (10)

  1. 픽셀 어레이;
    제1 시간 동안 상기 픽셀 어레이로부터 생성된 이미지 신호를 이미지 데이터로 변환하는 로직 회로; 및
    상기 제1 시간과 적어도 일부 중첩하는 제2 시간 동안 상기 이미지 데이터가 쓰여지는 메모리를 포함하되,
    상기 로직 회로는 상기 제1 시간과 중첩하고 상기 제2 시간과 비중첩하는 제3 시간 동안 더미 데이터를 상기 메모리에 쓰는 이미지 센서.
  2. 제1 항에 있어서,
    상기 이미지 신호는 상기 픽셀 어레이의 라인들로부터 각각 생성되는 라인 신호들을 포함하고,
    상기 로직 회로는,
    램프 신호 및 상기 라인 신호들에 기초하여 상기 픽셀 어레이의 라인들 각각에 대응되는 라인 데이터를 포함하는 상기 이미지 데이터를 생성하는 이미지 센서.
  3. 제2 항에 있어서,
    상기 로직 회로는,
    상기 라인 신호들 중 상기 픽셀 어레이로부터 최초로 출력된 라인 신호를 라인 데이터로 변환할 때로부터 상기 변환된 라인 데이터를 상기 메모리에 쓰기 전까지, 상기 더미 데이터를 상기 메모리에 쓰는 이미지 센서.
  4. 제1 항에 있어서,
    상기 로직 회로는,
    상기 이미지 데이터의 라인 데이터를 생성할 때, 상기 라인 데이터 이전에 생성된 라인 데이터를 상기 메모리에 쓰거나 상기 더미 데이터를 상기 메모리에 쓰는 이미지 센서.
  5. 제1 항에 있어서,
    상기 픽셀 어레이는,
    외부로부터 수신된 광에 기초하여 상기 이미지 신호의 제1 신호를 생성하는 액티브 픽셀들; 및
    상기 광이 차단됨에 따라 상기 이미지 신호의 제2 신호를 생성하는 옵티컬 블랙 픽셀들을 포함하고,
    상기 로직 회로는,
    상기 제1 시간 동안, 상기 제1 신호를 변환하여 상기 이미지 데이터의 제1 데이터를 생성하고 상기 제2 신호를 변환하여 상기 이미지 데이터의 제2 데이터를 생성하는 이미지 센서.
  6. 제5 항에 있어서,
    상기 제1 시간은, 상기 제1 데이터를 생성하는 제4 시간, 및 상기 제2 데이터를 생성하는 제5 시간을 포함하고,
    상기 제3 시간은, 상기 제2 시간 이전의 제6 시간, 및 상기 제4 시간 및 상기 제5 시간 사이의 제7 시간을 포함하는 이미지 센서.
  7. 제6 항에 있어서,
    상기 제5 시간은 상기 제4 시간 이전이고, 상기 제6 시간은 상기 제5 시간과 적어도 일부 중첩하고, 상기 제7 시간은 상기 제4 시간과 중첩하는 이미지 센서.
  8. 제5 항에 있어서,
    상기 로직 회로는, 상기 제2 시간 이후에 상기 메모리로부터 상기 이미지 데이터를 읽고, 상기 제1 데이터를 프로세서로 출력하는 이미지 센서.
  9. 제1 항에 있어서,
    상기 픽셀 어레이는 제1 기판에 형성되고, 상기 로직 회로는 제2 기판에 형성되고, 상기 메모리는 상기 제2 기판을 기준으로 상기 제1 기판에 대향하는 제3 기판에 형성되는 이미지 센서.
  10. 픽셀 어레이; 및
    제1 시간 동안 상기 픽셀 어레이로부터 생성된 이미지 신호를 이미지 데이터로 변환하고, 상기 제1 시간과 적어도 일부 중첩하는 제2 시간 동안 상기 이미지 데이터를 메모리로 출력하고, 상기 제1 시간 중 상기 제2 시간과 중첩하지 않는 제3 시간 동안 더미 데이터를 상기 메모리로 출력하는 로직 회로를 포함하는 이미지 센서.
KR1020200006513A 2020-01-17 2020-01-17 이미지 센서 및 이를 포함하는 카메라 모듈 KR20210092964A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200006513A KR20210092964A (ko) 2020-01-17 2020-01-17 이미지 센서 및 이를 포함하는 카메라 모듈
US16/941,981 US11284030B2 (en) 2020-01-17 2020-07-29 Image sensor and camera module including the same
US17/687,764 US11627270B2 (en) 2020-01-17 2022-03-07 Image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200006513A KR20210092964A (ko) 2020-01-17 2020-01-17 이미지 센서 및 이를 포함하는 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20210092964A true KR20210092964A (ko) 2021-07-27

Family

ID=76858299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006513A KR20210092964A (ko) 2020-01-17 2020-01-17 이미지 센서 및 이를 포함하는 카메라 모듈

Country Status (2)

Country Link
US (2) US11284030B2 (ko)
KR (1) KR20210092964A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142219A (ko) 2019-06-12 2020-12-22 삼성전자주식회사 전자 장치 및 그의 저장 공간 이용 방법
JP2022114353A (ja) * 2021-01-26 2022-08-05 キヤノン株式会社 撮像装置、電子機器、および、画像生成装置
JP2022119374A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、光電変換システム、移動体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3239087B2 (ja) * 1997-07-15 2001-12-17 三洋電機株式会社 撮像装置
JP2000151899A (ja) 1998-11-17 2000-05-30 Olympus Optical Co Ltd 画像読み取り装置及び画像読み取り制御用集積回路装置
US7948531B2 (en) * 2004-08-24 2011-05-24 Panasonic Corporation Imaging apparatus and correction method of image data
JP5133751B2 (ja) * 2008-03-26 2013-01-30 オリンパス株式会社 固体撮像装置
JP5229148B2 (ja) * 2009-07-28 2013-07-03 ソニー株式会社 撮像素子、撮像装置、信号処理方法及びプログラム
JP5523065B2 (ja) * 2009-11-13 2014-06-18 キヤノン株式会社 撮像装置及びその制御方法
JP5403369B2 (ja) * 2010-03-31 2014-01-29 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
JP2013106225A (ja) 2011-11-15 2013-05-30 Canon Inc 撮像装置及び撮像システム
KR102003909B1 (ko) 2013-06-14 2019-07-25 에스케이하이닉스 주식회사 픽셀 신호 처리 장치 및 그를 이용한 씨모스 이미지 센서
TWI737592B (zh) * 2015-03-23 2021-09-01 日商新力股份有限公司 影像感測器、影像處理方法及電子機器
KR102474575B1 (ko) 2015-05-20 2022-12-06 삼성전자주식회사 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
KR102382860B1 (ko) 2017-12-13 2022-04-06 삼성전자주식회사 이미지 센싱 시스템 및 이의 동작 방법

Also Published As

Publication number Publication date
US20220191420A1 (en) 2022-06-16
US20210227168A1 (en) 2021-07-22
US11284030B2 (en) 2022-03-22
US11627270B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
US10658405B2 (en) Solid-state image sensor, electronic apparatus, and imaging method
US9749557B2 (en) Solid-state image pickup device in which charges overflowing a memory during a charge transfer period are directed to a floating diffusion and method of driving same
US11627270B2 (en) Image sensor
CN110072069B (zh) 图像传感器
US9099367B2 (en) Image sensor and image processing device including the same
JP7520505B2 (ja) イメージ処理システム、イメージセンサ、イメージセンサの駆動方法
JP6614133B2 (ja) 撮像素子、制御方法、並びに、撮像装置
US11206367B1 (en) Image sensors having pixels with dual-output circuits therein
US11032476B2 (en) Image sensor and electronic device comprising the same
US11950011B2 (en) Image sensor
CN115225836A (zh) 包括dram电容器的图像传感器及其操作方法
US20240121526A1 (en) Image sensor, method of operating the image sensor, and image processing device
KR20220125887A (ko) 이미지 센서
JP2019062399A5 (ko)
JP5426891B2 (ja) 撮像センサ及び撮像装置
US20230154945A1 (en) Image sensor
US20220408038A1 (en) Image sensing device
EP4344243A1 (en) Image sensor comprising pixels usable in both rolling shutter and global shutter mode and image processing device including the same
US20230008501A1 (en) Image sensor and operating method thereof
KR20240041793A (ko) 이미지 센서 및 이를 포함하는 이미지 처리 장치
JP2015005880A (ja) 撮像素子および撮像装置
CN118714473A (zh) 像素阵列和包括该像素阵列的图像传感器
CN117768797A (zh) 图像传感器和包括图像传感器的图像处理装置
CN114567735A (zh) 图像传感器和包括该图像传感器的图像感测系统

Legal Events

Date Code Title Description
A201 Request for examination