KR20230008496A - 이미지 센서 및 이미지 센서의 동작 방법 - Google Patents

이미지 센서 및 이미지 센서의 동작 방법 Download PDF

Info

Publication number
KR20230008496A
KR20230008496A KR1020210089205A KR20210089205A KR20230008496A KR 20230008496 A KR20230008496 A KR 20230008496A KR 1020210089205 A KR1020210089205 A KR 1020210089205A KR 20210089205 A KR20210089205 A KR 20210089205A KR 20230008496 A KR20230008496 A KR 20230008496A
Authority
KR
South Korea
Prior art keywords
signal
image sensor
image
transistor
shutter
Prior art date
Application number
KR1020210089205A
Other languages
English (en)
Inventor
심은섭
박창현
이경호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210089205A priority Critical patent/KR20230008496A/ko
Priority to US17/853,032 priority patent/US20230008501A1/en
Publication of KR20230008496A publication Critical patent/KR20230008496A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

이미지 센서 및 이미지 센서의 동작 방법이 개시된다. 본 개시의 기술적 사상의 일측면에 따른 복수의 프레임들을 포함하는 영상을 촬영하는 이미지 센서는 복수의 픽셀들을 포함하는 픽셀 어레이와 상기 영상의 첫번째 프레임인 제1 프레임을 촬영하는 제1 셔터 동작이 수행되기 전에, 상기 복수의 픽셀들 중 적어도 하나에 존재하는 잔여 전자를 제거하는 프리-셔터 동작을 수행하도록, 프리-셔터 구동 신호를 생성하는 제어부와 상기 프리-셔터 구동 신호를 기초로, 상기 복수의 픽셀들로 제어 신호를 제공하는 로우 드라이버를 포함하는 것을 특징으로 한다.

Description

이미지 센서 및 이미지 센서의 동작 방법{IMAGE SENSOR AND OPERATING METHOD THEREOF}
본 개시의 기술적 사상은 이미지 센서에 관한 것으로서, 상세하게는 이미지 센서 및 이미지 센서의 동작 방법에 관한 것이다.
이미지 센서는 대상물로부터 반사되는 빛의 세기에 따라 반응하는 광전 변환 소자를 이용해 대상물의 이미지를 센싱하고, 이미지 데이터를 생성한다. 최근 CMOS(Complementary Metal-Oxide Semiconductor) 기술이 발전하면서, CMOS 이미지 센서가 널리 사용되고 있다.
이미지 센서를 포함하는 디지털 영상 처리장치는 일정한 시간 간격의 프레임 단위로 동영상 촬영을 수행할 수 있다. 즉 이미지 센서는 이미지를 캡쳐하여 연속되는 동영상을 생성할 수 있다. 이때 각 프레임을 생성하는 이미지 센서의 동작 조건이 일정하게 유지되지 않거나, 각 프레임을 구성하는 이미지가 노이즈 등에 의해 왜곡되는 경우 동영상의 품질이 저하될 우려가 있다.
본 개시의 기술적 사상이 해결하려는 과제는, 각 프레임 구간에서 이미지 센서의 동작 조건을 일치시키기 위한 이미지 센서 및 이미지 센서의 동작 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 복수의 프레임들을 포함하는 영상을 촬영하는 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이와 상기 영상의 첫번째 프레임인 제1 프레임을 촬영하는 제1 셔터 동작이 수행되기 전에, 상기 복수의 픽셀들 중 적어도 하나에 존재하는 잔여 전자를 제거하는 프리-셔터 동작을 수행하도록, 프리-셔터 구동 신호를 생성하는 제어부와 상기 프리-셔터 구동 신호를 기초로, 상기 복수의 픽셀들로 제어 신호를 제공하는 로우 드라이버를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 센서의 동작 방법은 영상을 촬영하기 위한 제1 커맨드를 수신함으로써 웨이크-업 모드로 전환되는 단계와 복수의 픽셀들 중 적어도 하나에 존재하는 잔여 전자를 제거하기 위하여, 상기 영상의 첫번째 프레임을 촬영하기 이전에 프리-셔터 동작을 수행하는 단계와 상기 첫번째 프레임을 촬영하기 위한 메인 셔터 동작 및 메인 리드 동작을 수행하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 센서는, 복수의 픽셀들을 포함하는 픽셀 어레이와 상기 복수의 픽셀들에 대한 구동 신호를 생성하는 로우 드라이버와 제1 및 제2 프레임을 포함하는 영상을 촬영하기 위한 요청 신호를 프로세서로부터 수신하고, 상기 픽셀 어레이에서 더미 신호를 출력하기 위한 제1 제어 신호를 생성하고, 상기 제1 및 제2 프레임에 대응되는 제1 및 제2 픽셀 신호를 출력하기 위한 제2 및 제3 제어 신호를 각각 생성하도록 구성되는 제어부를 포함하고, 상기 더미 신호는, 상기 픽셀 어레이에 포함된 잔여 전자에 의해 생성된 신호인 것을 특징으로 한다.
본 개시의 기술적 사상의 이미지 센서 및 이미지 센서의 동작 방법에 따르면, 첫번째 프레임을 촬영하기 이전에 프리-셔터 동작을 수행함으로써 픽셀 어레이의 잔여 전자를 처리하여 향상된 품질의 동영상을 얻을 수 있다.
또한 본 개시의 기술적 사상의 이미지 센서 및 이미지 센서의 동작 방법에 따르면, 두번째 프레임 및 이후 프레임들에 포함된 NIT 구간을 첫번째 프레임에도 생성시킴으로써 첫번째 프레임과 그 이후의 프레임들 간의 동작 조건을 통일하여 안정된 품질의 동영상을 얻을 수 있다.
도 1은 본 개시의 예시적인 실시예에 따른 디지털 촬상 장치의 구조를 나타낸 블록도이다.
도 2는 본 개시의 예시적인 실시예에 따른 이미지 센서의 구성을 나타내는 블록도이다.
도 3은 본 개시의 예시적인 실시예에 따른 이미지 센서의 동작을 나타내는 흐름도이다.
도 4는 본 개시의 예시적인 실시예에 따른 신호를 나타내는 예시도이다.
도 5는 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다.
도 6은 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다.
도 7은 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다.
도 8 및 도 9는 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다.
도 10은 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다.
도 11 및 도 12는 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다.
도 13은 본 개시의 예시적인 실시예에 따른 이미지 센서의 동작을 나타내는 흐름도이다.
도 14는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다.
도 15는 도 14의 카메라 모듈의 상세 블록도이다.
이하, 첨부한 도면을 참조하여 본 개시의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적인 실시예에 따른 디지털 촬상 장치의 구조를 나타낸 블록도이다.
도 1을 참조하면, 본 개시의 실시예에 따른 디지털 촬상 장치(10)는 촬상부(11), 이미지 센서(100) 및 프로세서(12)를 포함할 수 있다. 디지털 촬상 장치(10)는 동영상 촬영 기능을 구비할 수 있다.
프로세서(12)는 디지털 촬상 장치(10)의 전체 동작을 제어할 수 있다. 프로세서(12)는 렌즈 구동부(11_2), 조리개 구동부(11_4), 제어부(120) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공할 수 있다.
촬상부(11)는 광을 수신하는 구성 요소로서, 렌즈(11_1), 렌즈 구동부(11_2), 조리개(11_3), 조리개 구동부(11_4)를 포함할 수 있다. 렌즈(11_1)는 복수의 렌즈들을 구비할 수 있다.
렌즈 구동부(11_2)는 프로세서(12)와 초점 검출에 관한 정보를 통신할 수 있고, 프로세서(12)에서 제공된 제어 신호에 따라 렌즈(11_1)의 위치를 조절할 수 있다. 렌즈 구동부(11_2)는 렌즈(11_1)를 객체(20)로부터의 거리가 증가하는 방향 또는 감소하는 방향으로 이동시킬 수 있다. 이로써, 렌즈(11_1)와 객체(20) 사이의 거리가 조절될 수 있다. 렌즈(11_1)의 위치에 따라 객체(20)에 대한 초점이 맞거나 흐려질 수 있다.
이미지 센서(100)는 입사되는 광을 이미지 신호로 변환할 수 있다. 이미지 센서(100)는 픽셀 어레이(110), 제어부(120) 및 신호 처리부(130)를 포함할 수 있다. 렌즈(11_1) 및 조리개(11_3)를 투과한 광학 신호는 픽셀 어레이(110)의 수광면에 이르러 피사체의 상을 결상할 수 있다.
픽셀 어레이(110)는 광학 신호를 전기 신호로 변환하는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 픽셀 어레이(110)는 제어부(120)에 의해 감도 등이 조절될 수 있다. 픽셀 어레이(110)는 광학 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들은 각각 감지된 빛의 세기에 따라 픽셀 신호를 생성할 수 있다.
이미지 센서(100)는 프로세서(12)로 이미지 정보를 제공할 수 있고, 프로세서(12)는 이미지 정보를 처리할 수 있다.
프로세서(12)는 입력된 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 이미지 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 이미지 신호 처리를 하여 생성한 이미지 데이터를 압축 처리하여 이미지 파일을 생성할 수 있으며, 또는 상기 이미지 파일로부터 이미지 데이터를 복원할 수 있다.
프로세서(12)는 복수의 프레임들을 포함하는 동영상을 촬영하도록 이미지 센서(100)를 제어할 수 있다. 예를 들어 프로세서(12)는 동영상 촬영 요청 신호를 생성할 수 있다. 이미지 센서(100)가 프로세서(12)로부터 동영상 촬영 요청 신호를 수신하기 이전에, 이미지 센서(100)는 파워 세이브 모드 또는 슬립 모드로 동작할 수 있다. 이미지 센서(100)는 프로세서(12)로부터 동영상 촬영 요청 신호를 수신하고, 웨이크-업 모드로 동작할 수 있다. 이미지 센서(100)는 웨이크-업 모드에서 복수의 프레임들을 촬영하기 위한 제어 신호들을 생성할 수 있다. 이미지 센서(100)는 각 프레임을 촬영하여 생성된 영상 신호를 순차적으로 프로세서(12)로 전송할 수 있고, 프로세서(12)는 영상 신호를 기초로 동영상을 생성할 수 있다. 이미지 센서(100)는 셔터 동작과 리드 동작을 순차적으로 수행함으로써 하나의 프레임에 대한 영상 신호를 생성할 수 있다. 복수의 프레임들로 구성되는 동영상을 촬영하기 위해, 이미지 센서(100)는 복수의 셔터 동작들과 리드 동작들을 반복하여 수행할 수 있다.
이미지 센서(100)는 파워 세이브 모드 또는 슬립 모드에서 웨이크-업 모드로 전환된 이후, 동영상의 첫번째 프레임을 촬영할 수 있다. 이때 픽셀 어레이(110)에 파워 세이브 모드 또는 슬립 모드에서 쌓인 잔여 전자들이 존재할 수 있다. 이로 인해 첫번째 프레임을 촬영하는 픽셀 어레이(110)의 상태와 두번째 프레임을 촬영하는 픽셀 어레이(110)의 상태가 서로 다를 수 있다. 잔여 전자들은 첫번째 프레임에 대한 영상 신호에 영향을 미칠 수 있다.
또한, 도 6을 참조하면 두번째 프레임 및 이후 프레임들은 NIT(Non-effective Integration Time) 구간을 포함할 수 있다. 해당 구간에서는 포토 다이오드에서 플로팅 디퓨전으로 이동하지 못한 전자로 인한 효과가 발생할 수 있다. 비교예에 따른 실시예어서 첫번째 프레임은 NIT 구간을 포함하지 않으므로 이후의 프레임들과의 동작 조건이 서로 다를 수 있다. 이로 인해 첫번째 프레임의 색감과 두번째 프레임 간 색감차가 발생할 수 있다.
본 개시의 실시예에 따르면, 이미지 센서(100)는 첫번째 프레임을 촬영하기 이전에 프리-셔터 동작을 수행함으로써 픽셀 어레이(110)의 잔여 전자를 처리할 수 있다. 제어부(120)는 프리-셔터 동작을 위한 프리-셔터 구동 신호(PRE)를 생성하여 픽셀 어레이(110)에 제공할 수 있다. 이미지 센서(100)가 프리-셔터 동작을 수행함으로써, 첫번째 프레임의 동작 조건이 이후의 프레임들의 동작 조건과 통일되어 안정된 품질의 영상을 얻을 수 있다.
본 명세서에서, 프리-셔터 동작 이후에 영상의 첫번째 프레임 및 그 이후의 프레임들을 촬영하기 위한 동작을 메인 셔터 동작 및 메인 리드 동작이라 호칭할 수 있다. 예를 들어 이미지 센서(100)는 프리-셔터 동작, 첫번째 프레임에 대한 제1 메인 셔터 동작 및 제1 리드 동작, 두번째 프레임에 대한 제2 메인 셔터 동작 및 제2 리드 동작을 순차적으로 진행할 수 있다.
도 2는 본 개시의 예시적인 실시예에 따른 이미지 센서의 구성을 나타내는 블록도이다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 제어부(120), 신호 처리부(130), 로우 드라이버(140) 및 신호 독출부(150)를 포함할 수 있다.
픽셀 어레이(110)는 복수의 행(row) 라인, 복수의 컬럼(column) 라인 및 각각이 로우 라인과 컬럼 라인에 접속되며 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 로우 라인은 연결된 픽셀에 로우 선택 신호 및 픽셀 제어 신호를 전송하기 위한 복수의 라인들을 포함할 수 있다.
각 픽셀은 광 감지 소자를 포함하고, 광 감지 소자를 이용하여 빛을 감지하고, 감지된 빛을 전기적 신호인 픽셀 신호로 변환할 수 있다. 예를 들어, 광 감지 소자는 포토(photo) 다이오드, 포토 트랜지스터, 포트 게이트 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 각 픽셀은 적어도 하나의 광 감지 소자를 포함할 수 있으며, 한 실시예에 있어서, 각 픽셀은 복수의 광 감지 소자를 포함할 수 있다. 복수의 광 감지 소자는 서로 적층될 수 있다.
본 개시의 실시예에 따르면, 픽셀 어레이(110)는 액티브 픽셀(111)과 옵티컬 블랙 픽셀(112)을 포함할 수 있다. 액티브 픽셀(111)은 외부로부터의 빛의 파장들에 대응되는 픽셀 신호(이하 액티브 신호(SIG_A)로 지칭함)를 생성하는 픽셀을 의미할 수 있다. 옵티컬 블랙 픽셀(112)은 외부로부터의 빛이 차단될 수 있다. 옵티컬 블랙 픽셀(112)은 암전류를 측정하거나, 공급 전원에 의한 노이즈를 측정하여 픽셀 신호(이하 레퍼런스 신호(SIG_REF)로 지칭함)를 생성할 수 있다.
한 실시예에 따르면, 픽셀 어레이(110)는 하나의 플로팅 디퓨전을 공유하는 복수의 픽셀들을 포함할 수도 있다. 이러한 픽셀은 공유 구조의 픽셀이라 지칭될 수 있다.
한 실시예에 따르면, 픽셀 어레이(110)의 각 픽셀은 풀-모드로 동작할 수 있다. 한 실시예에 따르면, 픽셀 어레이(110)의 적어도 2 이상의 픽셀들은 비닝-모드로 동작할 수 있다. 비닝-모드에서 이미지 센서(100)는 복수의 픽셀들로부터 출력되는 픽셀 신호들을 합산할 수 있다.
제어부(120)는 픽셀 어레이(110)가 빛을 흡수하여 전하를 축적하게 하거나, 축적된 전하를 임시로 저장하게 하고, 저장된 전하에 따른 전기적 신호를 픽셀 어레이(110)의 외부로 출력하게 하도록, 로우 드라이버(140)를 제어할 수 있다. 또한, 제어부(120)는 픽셀 어레이(110)가 제공하는 픽셀 신호의 레벨을 측정하도록, 신호 독출부(150)를 제어할 수 있다.
본 개시의 실시예에 따른 제어부(120)는, 이미지 센서(100)의 각 구성들이 프리-셔터 동작을 수행하도록 프리-셔터 구동 신호(PRE)를 생성할 수 있다. 예를 들어, 제어부(120)는 첫번째 프레임을 촬영하기 이전에 프리-셔터 구동 신호(PRE)를 로우 드라이버(140)로 전송함으로써, 픽셀 어레이(110)가 프리-셔터 동작을 수행하게 할 수 있다. 도시되지는 않았으나, 제어부(120)는 프리-셔터 동작 이후 첫번째 및 두번째 프레임을 촬영하기 위한 구동 신호를 생성하여 로우 드라이버(140)로 더 제공할 수 있다.
신호 독출부(150)는 상관 이중 샘플러(Correlated-Double Sampling, CDS)(151), 아날로그-디지털 컨버터(Analog-Digital Converter, ADC)(153) 및 버퍼(155)를 포함할 수 있다.
CDS(151)는 픽셀 어레이(110)에서 제공한 픽셀 신호를 샘플링 및 홀드할 수 있다. CDS(151)는 특정한 노이즈의 레벨과 픽셀 신호에 따른 레벨을 이중으로 샘플링하여, 그 차이에 해당하는 레벨을 출력할 수 있다. 또한, CDS(151)는 램프 신호 생성기(157)가 생성한 램프 신호를 입력 받아 서로 비교하여 비교 결과를 출력할 수 있다. 아날로그-디지털 컨버터(153)는 CDS(151)로부터 수신하는 레벨에 대응하는 아날로그 신호를 디지털 신호로 변환할 수 있다. 버퍼(155)는 디지털 신호를 래치(latch)할 수 있고, 래치된 신호는 순차적으로 신호 처리부(130) 또는 이미지 센서(100)의 외부로 출력될 수 있다.
본 개시의 실시예에 따르면, 프리-셔터 동작을 통해 생성된 픽셀 신호 및 메인 셔터 동작을 통해 생성된 픽셀 신호가 신호 독출부(150)로 출력될 수 있다. 프리-셔터 동작을 통해 생성된 픽셀 신호는 영상의 프레임을 구성하지 않는바 더미 신호로 지칭될 수 있다. 픽셀 어레이(110)에서 생성된 픽셀 신호는 제1 내지 제n 컬럼 출력 라인(CLO_0~CLO_n-1)을 통해 신호 독출부(150)로 출력될 수 있다. 예를 들어 액티브 픽셀(111)에서 생성된 픽셀 신호 및 옵티컬 블랙 픽셀(112)에서 생성된 픽셀 신호가 신호 독출부(150)로 출력될 수 있다.
로우 드라이버(140)는 픽셀 어레이(110)를 제어하기 위한 신호들(RSs, TSs, SELSs)을 생성하고, 복수의 픽셀들(PX)에 제공할 수 있다. 로우 드라이버(140)는 제어부(120)로부터 프리-셔터 구동 신호(PRE)를 수신하고, 응답으로서 픽셀 어레이(110)의 복수의 픽셀들이 프리-셔터 동작을 수행하도록 제어 신호들을 생성할 수 있다. 구체적으로, 로우 드라이버(140)는 프리-셔터 동작을 수행하기 위해 복수의 픽셀들로 제공되는 리셋 제어 신호들(RSs), 전송 제어 신호들(TSs), 선택 신호들(SELSs)의 활성화 및 비활성화를 결정할 수 있다. 예를 들어, 로우 드라이버(140)는 동영상의 첫번째 프레임을 촬영하기 위한 리셋 제어 신호들(RSs), 전송 제어 신호들(TSs), 선택 신호들(SELSs)에 앞서, 프리-셔터 동작을 수행하기 위한 리셋 제어 신호들(RSs), 전송 제어 신호들(TSs), 선택 신호들(SELSs)을 생성할 수 있다.
신호 처리부(130)는 수신되는 복수의 픽셀들로부터 출력되는 픽셀 신호들에 기초하여, 신호 처리를 수행할 수 있다. 예를 들어, 신호 처리부(130)는 노이즈 저감 처리, 게인 조정, 파형 정형화 처리, 보간 처리, 화이트밸런스 처리, 감마 처리, 에지 강조 처리 등을 수행할 수 있다.
한 실시예에서, 신호 처리부(130)는 프리-셔터 동작을 통해 액티브 픽셀(111) 및 옵티컬 블랙 픽셀(112)에서 각각 생성된 액티브 신호(SIG_A) 및 레퍼런스 신호(SIG_REF)에 기초하여 신호 처리를 수행할 수 있다. 예를 들어, 신호 처리부는 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)의 차이를 기초로 하는 차분 신호를 생성할 수 있다. 한편, 도 1 및 도 2에서 신호 처리부(130)가 이미지 센서(100) 내에 구비된 것으로 도시되었으나, 이에 제한되지 않고 신호 처리부(130)는 프로세서(예를 들어, 도 1의 12)에 구비될 수도 있다. 이 경우 신호 처리부(130)는 액티브 신호(SIG_A) 및 레퍼런스 신호(SIG_REF)를 프로세서(12)로 제공할 수 있다.
도 3은 본 개시의 예시적인 실시예에 따른 이미지 센서의 동작을 나타내는 흐름도이다.
도 2 및 도 3을 함께 참조하면, 이미지 센서(100)는 웨이크-업 모드로 동작할 수 있다(S110). 한 예로서, 이미지 센서(100)는 프로세서(도 1의 12)로부터 수신한 동영상 촬영 요청 신호에 응답하여, 파워 세이브 모드 또는 슬립 모드에서 웨이크-업 모드로 전환될 수 있다.
이미지 센서(100)는 프리-셔터 동작을 수행할 수 있다(S120). 한 예로서, 이미지 센서(100)는 첫번째 프레임을 촬영하기 이전에 프리-셔터 동작을 수행할 수 있다. 예를 들어, 이미지 센서(100)는 액티브 픽셀(111) 및 옵티컬 블랙 픽셀(112) 각각이 프리-셔터 동작을 수행하도록 제어할 수 있다.
이미지 센서(100)는 동영상의 제1 프레임을 촬영하기 위한 제1 셔터 동작을 수행할 수 있다(S130). 예를 들어 제1 프레임은 동영상의 첫번째 프레임에 대응될 수 있다. 제1 셔터 동작을 통해 각 픽셀의 플로팅 디퓨전에 유효한 광전하들이 축적되기 시작할 수 있다.
이미지 센서(100)는 동영상의 제1 프레임에 대한 제1 리드 동작을 수행할 수 있다(S140). 예를 들어, 제1 셔터 동작 이후 축적된 유효한 광전하들에 의해 픽셀 신호가 생성되면, 제1 리드 동작을 통해 신호 독출부(150)를 통해 픽셀 신호가 출력될 수 있다. 예를 들어 제1 프레임에 대한 액티브 신호(SIG_A) 및 레퍼런스 신호(SIG_REF)가 각각 출력될 수 있다.
이미지 센서(100)는 동영상의 제2 프레임을 촬영하기 위한 제2 셔터 동작을 수행할 수 있다(S150). 예를 들어 제2 프레임은 제1 프레임 다음으로서, 동영상의 두번째 프레임에 대응될 수 있다. 제1 리드 동작을 통해 각 픽셀의 플로팅 디퓨전에 축적된 광전하들이 이동하고, 제2 셔터 동작을 통해 다시 각 픽셀의 플로팅 디퓨전에 유효한 광전하들이 축적될 수 있다.
이미지 센서(100)는 동영상의 제2 프레임에 대한 제2 리드 동작을 수행할 수 있다(S160). 예를 들어, 제2 셔터 동작 이후 축적된 유효한 광전하들에 의해 픽셀 신호가 생성되면, 제2 리드 동작을 통해 신호 독출부(150)를 통해 픽셀 신호가 출력될 수 있다. 예를 들어 제2 프레임에 대한 액티브 신호(SIG_A) 및 레퍼런스 신호(SIG_REF)가 각각 출력될 수 있다.
한편, 동영상의 프레임을 촬영하고, 영상 신호를 생성하기 위한 제1 및 제2 셔터 동작을 메인 셔터 동작으로 지칭하고, 제1 및 제2 리드 동작을 메인 리드 동작으로 지칭할 수 있다.
한 실시예에 따르면, 이미지 센서(100)는 동영상 촬영을 종료하기 위한 요청 신호를 수신하기 전까지, 메인 셔터 동작 및 메인 리드 동작을 순차적으로 반복할 수 있다.
한편 프리-셔터 동작은 하나의 동영상 촬영 동작에서 복수번 수행될 수 있다. 예를 들어 프리-셔터 동작은 첫번째 프레임을 촬영하기 이전에 수행되고, 미리 정해진 횟수의 프레임들을 촬영한 이후 다시 수행될 수 있다.
도 4는 본 개시의 예시적인 실시예에 따른 신호를 나타내는 예시도이다.
도 2 및 도 4를 함께 참조하면, 액티브 픽셀(111) 및 옵티컬 블랙 픽셀(112)은 로우 드라이버(140)의 제어 신호에 따라, 각각 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)를 출력할 수 있다. 레퍼런스 신호(SIG_REF)는 기준이 되는 블랙 레벨을 결정하는데 이용될 수 있다. 한편, 도 4의 각 신호 레벨은 예시적인 것일 뿐, 외부 환경, 노이즈 등에 의해 각 신호의 레벨은 일정하지 않을 수 있다.
프리-셔터 동작이 수행되는 프리-셔터 구간(pre-shutter)에서, 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)가 생성될 수 있다. 차분 신호(SIG_DIFF)는 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)의 차이(difference)를 기초로 생성된 신호일 수 있다. 프리-셔터 구간(pre-shutter)의 액티브 신호(SIG_A)는, 액티브 픽셀(111)의 플로팅 디퓨전에 존재하는 잔여 전자로 인한 신호를 포함할 수 있다. 잔여 전자로 인해 액티브 픽셀(111)과 옵티컬 블랙 픽셀(112)의 구동 환경이 달라질 수 있다. 따라서 프리-셔터 구간(pre-shutter)에서 생성된 액티브 신호(SIG_A) 및 차분 신호의 신뢰도가 낮을 수 있다.
제1 프레임이 촬영되는 제1 프레임 구간(frame1)에서, 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)가 생성될 수 있다. 프리-셔터 동작을 통해 잔여 전자가 제거됨으로써, 액티브 픽셀(111)과 옵티컬 블랙 픽셀(112)의 구동 환경이 통일될 수 있다.
유사하게, 제2 프레임이 촬영되는 제2 프레임 구간(frame2)에서, 액티브 신호(SIG_A)와 레퍼런스 신호(SIG_REF)가 생성될 수 있다. 제1 프레임 구간(frame1)에서의 리드 동작을 통해 잔여 전자가 제거됨으로써, 액티브 픽셀(111)과 옵티컬 블랙 픽셀(112)의 구동 환경이 통일될 수 있다.
즉, 프리-셔터 동작은 리드 동작과 유사할 수 있다. 제1 프레임을 촬영하기 이전에, 프리-셔터 동작을 통해 리드 동작을 수행함으로써, 제1 프레임의 촬영 환경과 제2 프레임의 촬영 환경을 통일시킬 수 있다. 이에 따라 제1 프레임과 제2 프레임 간 색감 차이를 줄일 수 있다.
도 5는 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다. 도 5의 픽셀(PX)은 액티브 픽셀(도 2의 111) 및/또는 옵티컬 블랙 픽셀(도 2의 112)의 예시적인 실시예일 수 있다.
도 5를 참조하면, 픽셀(PX)은 포토 다이오드(PD), 전송 트랜지스터(TX), 플로팅 디퓨젼 (FD), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 포토 다이오드(PD)는 광전 변환 소자의 예시로서, 다른 종류의 광전 변환 소자로 대체될 수 있다.
포토 다이오드(PD)는 입사되는 광의 세기에 따라 가변되는 광전하를 생성한다. 전송 트랜지스터(TX)는 로우 드라이버(도 2의 140)로부터 제공되는 전송 제어 신호(TS)에 따라 광전하를 플로팅 디퓨젼(FD)으로 전송할 수 있다. 플로팅 디퓨젼(FD)에 축적된 광전하에 따른 전위에 따라 드라이브 트랜지스터(DX)는 선택 트랜지스터(SX)로 광전하를 증폭하여 전송할 수 있다. 선택 트랜지스터(SX)의 드레인이 상기 드라이브 트랜지스터(DX)의 소스에 연결되고, 로우 드라이버(140)로부터 출력되는 선택 신호(SEL)에 따라 픽셀(PX)에 연결된 컬럼 라인(COL)으로 픽셀 신호(PS)를 출력할 수 있다. 리셋 트랜지스터(RX)는 로우 드라이버(140)로부터 제공되는 리셋 제어 신호(RS)에 따라 플로팅 디퓨젼(FD)을 전원 전압(VDD) 레벨로 리셋할 수 있다.
도 5는 하나의 포토다이오드(PD)와 4개의 MOS 트랜지스터들(TX, RX, DX, 및 SX)을 포함하는 4T 구조의 픽셀(PX)을 예시적으로 설명하나, 픽셀(PX)의 구조가 이에 제한되는 것은 아니다. 예를 들어, 픽셀(PX)은 3T 및 5T 단위 픽셀로 구현될 수 있으며, 픽셀(PX)은 광량 또는 광의 세기에 따라 광전하를 생성하는 광전 변환 소자, 및 광전 변환 소자에 의해 생성된 광전하를 전류 또는 전압 신호로 출력할 수 있는 적어도 하나의 트랜지스터를 포함하는 회로로 구현될 수 있다.
도 6은 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다. 도 6의 타이밍도에서, 신호가 로직 하이 레벨인 경우 활성화된 것으로 지칭하고, 신호가 로직 로우 레벨인 경우 비활성화된 것으로 지칭한다. 한편, 전송 제어 신호(TS)는 리셋 제어 신호(RS) 및 선택 신호(SEL)에 비해 짧은 펄스 형태일 수 있다. 따라서 이하 명세서에서는, 전송 제어 신호(TS)가 활성화되어 전송 트랜지스터(TX)가 턴-온되고, 펄스폭만큼의 시간이 지난 이후 곧바로 전송 제어 신호(TS)가 비활성화되어 전송 트랜지스터(TX)가 턴-오프되는 것으로 설명한다.
도 2, 도 5 및 도 6을 함께 참조하면, 제1 시점(t1) 이전에서 이미지 센서(100)는 웨이크-업 모드로 동작할 수 있다. 웨이크-업 모드에서, 리셋 제어 신호(RS)는 활성화되고, 전송 제어 신호(TS) 및 선택 신호(SEL)는 비활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-온되고, 전송 트랜지스터(TX) 및 선택 트랜지스터(SX)는 턴-오프될 수 있다. 제1 시점(t1)까지 픽셀 어레이(110)에 잔여 전자가 쌓일 수 있으며, 이후 프리-셔터 동작을 통해 잔여 전자가 제거될 수 있다.
프리-셔터 구간(t1~t2)에서, 리셋 제어 신호(RS)가 비활성화되고, 전송 제어 신호(TS) 및 선택 신호(SEL)는 활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-오프되고, 전송 트랜지스터(TX) 및 선택 트랜지스터(SX)는 턴-온될 수 있다.
제2 시점 내지 제3 시점(t2~t3)에서, 리셋 제어 신호(RS)는 활성화되고, 전송 제어 신호(TS) 및 선택 신호(SEL)는 비활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-온되고, 전송 트랜지스터(TX) 및 선택 트랜지스터(SX)는 턴-오프될 수 있다.
제3 시점 내지 제4 시점(t3~t4)에서, 리셋 제어 신호(RS) 및 선택 신호(SEL)는 유지되고, 전송 제어 신호(TS)가 활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-온을 유지하고, 전송 트랜지스터(TX)는 턴-온되고, 선택 트랜지스터(SX)는 턴-오프를 유지할 수 있다.
제4 시점 내지 제5 시점(t4~t5)에서, 리셋 제어 신호(RS)가 비활성화되고, 전송 제어 신호(TS)가 활성화되고, 선택 신호(SEL)는 비활성화로 유지될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-오프되고, 전송 트랜지스터(TX)는 턴-온되고, 선택 트랜지스터(SX)는 턴-오프를 유지할 수 있다.
제5 시점 내지 제6 시점(t5~t6)에서, 리셋 제어 신호(RS)는 활성화되고, 전송 제어 신호(TS) 및 선택 신호(SEL)는 비활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-온되고, 전송 트랜지스터(TX) 및 선택 트랜지스터(SX)는 턴-오프될 수 있다.
제6 시점 내지 제7 시점(t6~t7)에서, 리셋 제어 신호(RS)가 비활성화되고, 전송 제어 신호(TS) 및 선택 신호(SEL)는 활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-오프되고, 전송 트랜지스터(TX) 및 선택 트랜지스터(SX)는 턴-온될 수 있다.
본 실시예에 따르면, 제6 시점 내지 제7 시점(t6~t7)에서의 제어 신호들의 동작은 프리-셔터 구간(t1~t2)에서의 제어 신호들의 동작과 유사할 수 있다. 즉, 프리-셔터 동작은 메인 리드 동작과 유사할 수 있다.
제1 프레임 구간(t2~t7)에서, 제2 시점 내지 제3 시점(t2~t3)은 NIT(Non-effective Integration Time) 구간에 대응될 수 있고, 제3 시점 내지 제5 시점(t3~t5)은 셔터 구간에 대응될 수 있고, 제5 시점 내지 제6 시점(t5~t6)은 EIT(Effective Integration Time) 구간에 대응될 수 있고, 제6 시점 내지 제7 시점(t6~t7)은 리드 구간에 대응될 수 있다. 한 예로서, 메인 셔터 동작은 셔터 구간에서, 메인 리드 동작은 리드 구간에서 수행될 수 있다.
한 실시예로서, 제2 시점 내지 제3 시점(t2~t3)은 NIT 구간을 포함할 수 있다. 본 개시의 실시예에 따르면, 프리-셔터 구간(t1~t2)이 존재함으로써 제1 프레임 구간(t2~t7)에 NIT 구간이 포함될 수 있다. 즉 제1 프레임 구간(t2~t7)은 프리-셔터 동작을 통해 생성되는 NIT 구간(예를 들어 제2 시점 내지 제3 시점(t2~t3)), 제1 셔터 동작이 수행되는 셔터 구간(예를 들어 제3 시점 내지 제5 시점(t3~t5)) 및 제1 셔터 동작으로 인해 생성된 제1 신호를 리드하는 리드 구간(예를 들어 제6 시점 내지 제7 시점(t6~t7)))을 순차적으로 포함할 수 있다. 이에 따라 제1 프레임 구간(t2~t7)과 제2 프레임 구간(t7~t12)의 동작 조건 및/또는 동작 환경이 일치될 수 있다.
제2 프레임 구간(t7~t12)에서의 제어 신호들의 동작은 제1 프레임 구간과 유사하므로 설명을 생략한다.
도 7은 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다.
도 7을 참조하면, 액티브 픽셀(111) 및/또는 옵티컬 블랙 픽셀(112)은 각각 공유 구조를 갖는 제1 픽셀 그룹(GPX1)을 포함할 수 있다. 예를 들어 제1 픽셀 그룹(GPX1)은 공유 구조인 제1 및 제2 픽셀을 포함할 수 있다.
제1 픽셀 그룹(GPX1)의 제1 픽셀은 제1 포토 다이오드(PD1), 제1 전송 트랜지스터(TX1), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제1 전송 트랜지스터(TX1)는 제1 전송 제어 신호(TS1)에 의해 제어될 수 있다. 제1 픽셀 그룹(GPX1)의 제2 픽셀은 제2 포토 다이오드(PD2), 제2 전송 트랜지스터(TX2), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제2 전송 트랜지스터(TX2)는 제2 전송 제어 신호(TS2)에 의해 제어될 수 있다.
제1 픽셀 및 제2 픽셀은 플로팅 디퓨젼(FD)을 서로 공유하고, 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 서로 공유할 수 있다. 예시적인 실시예에서, 선택 트랜지스터(SX), 드라이브 트랜지스터(DF) 및 리셋 트랜지스터(RX) 중 적어도 하나는 생략될 수 있다.
도 8 및 도 9는 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다. 타이밍도는 도 7의 제1 픽셀 그룹(GPX1)에 대한 제어 신호를 나타낼 수 있으나 이에 제한되는 것은 아니다. 즉 제1 및 제2 전송 제어 신호(TS1, TS2)는 공유 구조가 아닌 픽셀의 포토 다이오드를 제어할 수도 있다.
도 8 및 도 9를 함께 참조하면, 제어 신호들의 동작은 도 6과 유사할 수 있는바, 중복되는 설명은 생략하고, 프리-셔터 구간(t1~t2) 및 제6 시점 내지 제7 시점(t6~t7)을 중심으로 설명한다.
프리-셔터 구간(t1~t2)에서, 리셋 제어 신호(RS)가 비활성화되고, 제1 및 제2 전송 제어 신호(TS1, TS2)가 활성화되고, 선택 신호(SEL)는 활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-오프되고, 제1 및 제2 전송 트랜지스터(TX1, TX2)와 선택 트랜지스터(SX)는 턴-온될 수 있다.
한 실시예로서 도 8을 참조하면, 프리-셔터 구간(t1~t2)에서, 제1 및 제2 전송 제어 신호(TS1, TS2)는 순차적으로 활성화될 수 있다. 이에 따라 제1 및 제2 전송 트랜지스터(TX1, TX2)가 순차적으로 턴-온될 수 있다. 즉 제1 기간에 제1 전송 트랜지스터(TX1)가 구동되고, 제1 기간과 서로 다른 제2 기간에 제2 전송 트랜지스터(TX2)가 구동될 수 있다. 한편 제1 전송 제어 신호(TS1)는 제2 전송 제어 신호(TS2)보다 먼저 활성화될 수 있고, 이후 제2 전송 제어 신호(TS2)가 활성화되는 시점에 한번 더 활성화될 수 있다. 즉 프리-셔터 구간(t1~t2)에서, 제1 전송 제어 신호(TS1)가 먼저 활성화되고, 이후 제1 및 제2 전송 제어 신호(TS1, TS2)가 같이 활성화될 수 있다.
제6 시점 내지 제7 시점(t6~t7)에서, 제어 신호들의 동작은 프리-셔터 구간(t1~t2)에서와 유사할 수 있다. 구체적으로, 제1 및 제2 전송 제어 신호(TS1, TS2)가 순차적으로 활성화됨에 따라 제1 및 제2 전송 트랜지스터(TX1, TX2)가 순차적으로 턴-온될 수 있다. 예를 들어, 제1 전송 제어 신호(TS1)는 제2 전송 제어 신호(TS2)보다 먼저 활성화될 수 있고, 이후 제2 전송 제어 신호(TS2)가 활성화되는 시점에 한번 더 활성화될 수 있다.
한 실시예로서 도 9를 참조하면, 프리-셔터 구간(t1~t2)에서, 제1 및 제2 전송 제어 신호(TS1, TS2)는 동시에 활성화될 수 있다. 이에 따라 제1 및 제2 전송 트랜지스터(TX1, TX2)가 동시에 턴-온될 수 있다. 즉 제1 기간에 제1 및 제2 전송 트랜지스터(TX1, TX2)가 구동될 수 있다. 한편 프리-셔터 구간(t1~t2)에서, 제1 및 제2 전송 제어 신호(TS1, TS2)는 복수번 활성화될 수 있다. 이때 제1 및 제2 전송 제어 신호(TS1, TS2)가 활성화되는 시점이 동일할 수 있다. 이에 따라 제1 및 제2 전송 트랜지스터(TX1, TX2)가 동시에 복수번 턴-온될 수 있다.
제6 시점 내지 제7 시점(t6~t7)에서, 제어 신호들의 동작은 프리-셔터 구간(t1~t2)에서와 유사할 수 있다. 구체적으로, 제1 및 제2 전송 제어 신호(TS1, TS2)가 동시에 활성화됨에 따라 제1 및 제2 전송 트랜지스터(TX1, TX2)가 동시에 턴-온될 수 있다. 예를 들어, 제1 전송 제어 신호(TS1)는 제2 전송 제어 신호(TS2)보다 먼저 활성화될 수 있고, 이후 제2 전송 제어 신호(TS2)가 활성화되는 시점에 한번 더 활성화될 수 있다.
도 10은 본 개시의 예시적인 실시예에 따른 픽셀의 회로도이다.
도 10을 참조하면, 액티브 픽셀(111) 및/또는 옵티컬 블랙 픽셀(112)은 공유 구조를 갖는 제2 픽셀 그룹(GPX1)을 포함할 수 있고, 제2 픽셀 그룹(GPX2)은 공유 구조인 제1 내지 제4 픽셀을 포함할 수 있다.
제2 픽셀 그룹(GPX2)의 제1 픽셀은 제1 포토 다이오드(PD1), 제1 전송 트랜지스터(TX1), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제1 전송 트랜지스터(TX1)는 제1 전송 제어 신호(TS1)에 의해 제어될 수 있다. 제2 픽셀 그룹(GPX1)의 제2 픽셀은 제2 포토 다이오드(PD2), 제2 전송 트랜지스터(TX2), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제2 전송 트랜지스터(TX2)는 제2 전송 제어 신호(TS2)에 의해 제어될 수 있다. 제2 픽셀 그룹(GPX2)의 제3 픽셀은 제3 포토 다이오드(PD3), 제3 전송 트랜지스터(TX3), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제3 전송 트랜지스터(TX3)는 제3 전송 제어 신호(TS3)에 의해 제어될 수 있다. 제2 픽셀 그룹(GPX1)의 제4 픽셀은 제4 포토 다이오드(PD4), 제4 전송 트랜지스터(TX4), 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 포함할 수 있다. 제4 전송 트랜지스터(TX4)는 제4 전송 제어 신호(TS4)에 의해 제어될 수 있다. 제1 내지 제4 픽셀은 플로팅 디퓨젼(FD)을 서로 공유하고, 선택 트랜지스터(SX), 드라이브 트랜지스터(DX) 및 리셋 트랜지스터(RX)를 서로 공유할 수 있다.
도 11 및 도 12는 본 개시의 예시적인 실시예에 따른 제어 신호들을 나타내는 타이밍도이다. 타이밍도는 도 10의 제2 픽셀 그룹에 대한 제어 신호를 나타낼 수 있으나 이에 제한되는 것은 아니다. 즉 제1 내지 제4 전송 제어 신호(TS1~TS4)는 공유 구조가 아닌 픽셀의 포토 다이오드를 제어할 수도 있다.
도 11 및 도 12를 함께 참조하면, 제어 신호들의 동작 타이밍은 도 8 및 도 9와 유사할 수 있는바, 중복되는 설명은 생략하고, 프리-셔터 구간(t1~t2) 및 제6 시점 내지 제7 시점(t6~t7)을 중심으로 설명한다.
프리-셔터 구간(t1~t2)에서, 리셋 제어 신호(RS)가 비활성화되고, 제1 내지 제4 전송 제어 신호(TS1~TS4)가 활성화되고, 선택 신호(SEL)는 활성화될 수 있다. 이에 따라 리셋 트랜지스터(RX)는 턴-오프되고, 제1 내지 제4 전송 트랜지스터(TX1~TX4)와 선택 트랜지스터(SX)는 턴-온될 수 있다.
한 실시예로서 도 11을 참조하면, 프리-셔터 구간(t1~t2)에서, 제1 내지 제4 전송 제어 신호(TS1~TS4)는 순차적으로 활성화될 수 있다. 이에 따라 제1 내지 제4 전송 트랜지스터(TX1~TX4)가 순차적으로 턴-온될 수 있다. 즉 제1 기간에 제1 전송 트랜지스터(TX1)가 구동되고, 제2 기간에 제2 전송 트랜지스터(TX2)가 구동되고, 제3 기간에 제3 전송 트랜지스터(TX3)가 구동되고, 제4 기간에 제4 전송 트랜지스터(TX4)가 구동될 수 있다.
제6 시점 내지 제7 시점(t6~t7)에서, 제어 신호들의 동작은 프리-셔터 구간(t1~t2)에서와 유사할 수 있다. 구체적으로, 제1 내지 제4 전송 제어 신호(TS1~TS4)가 순차적으로 활성화됨에 따라 제1 내지 제4 전송 트랜지스터(TX1~TX4)가 순차적으로 턴-온될 수 있다.
한 실시예로서 도 12를 참조하면, 프리-셔터 구간(t1~t2)에서, 제1 내지 제4 전송 제어 신호(TS1~TS4)는 동시에 활성화될 수 있다. 이에 따라 제1 내지 제4 전송 트랜지스터(TX1~TX4)가 동시에 턴-온될 수 있다. 즉 제1 기간에 제1 내지 제4 전송 트랜지스터(TX1~TX4)가 구동될 수 있다.
제6 시점 내지 제7 시점(t6~t7)에서, 제어 신호들의 동작은 프리-셔터 구간(t1~t2)에서와 유사할 수 있다. 구체적으로, 제1 내지 제4 전송 제어 신호(TS1~TS4)가 동시에 활성화됨에 따라 제1 내지 제4 전송 트랜지스터(TX1~TX4)가 동시에 턴-온될 수 있다.
도 13은 본 개시의 예시적인 실시예에 따른 이미지 센서의 동작을 나타내는 흐름도이다. 이미지 센서(100)의 동작은 도 3과 유사할 수 있는바 중복되는 설명은 생략한다.
도 13을 참조하면, 이미지 센서(100)는 웨이크-업 모드로 동작할 수 있다(S210). 이미지 센서(100)는 프리-셔터 동작을 수행할 수 있다(S220).
이미지 센서(100)는 프리-셔터 동작을 통해 생성된 더미 신호를 읽는 더미 리드 동작을 수행할 수 있다(S230). 이미지 센서(100)는 더미 신호를 프로세서(도 1의 12)로 출력할 수 있다. 이때 이미지 센서(100)는, 더미 신호와 함께, 더미 신호가 프리-셔터 동작을 통해 생성된 신호임을 나타내는 정보를 출력할 수 있다. 한편 이미지 센서(100)는 더미 신호의 출력을 생략할 수도 있다.
이후 메인 셔터 동작 및 메인 리드 동작인 S240 단계 내지 S270 단계는 도 3의 S130 내지 S160 단계와 유사하므로 자세한 설명은 생략한다.
도 14는 멀티 카메라 모듈을 포함하는 전자 장치의 블록도이다. 도 15는 도 14의 카메라 모듈의 상세 블록도이다.
도 14를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.
이하, 도 15를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.
도 15를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.
몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.
몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.
몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
본 개시의 실시예에 따른 이미지 센서(1142)는 도 1 내지 도 13을 통해 전술한 이미지 센서(도 1의 100)에 대응될 수 있고, 제어 로직(1144)은 도 1 내지 도 13을 통해 전술한 제어부(도 1의 120)에 대응될 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.
도 14와 도 15를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액츄에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액츄에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.
몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
다시 도 14를 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.
이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.
이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.
한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.
각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.
구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.
이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.
카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부 메모리(1400)에 저장하고, 이후, 메모리(1230) 또는 외부 메모리(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 외부 메모리(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.
PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 복수의 프레임들을 포함하는 영상을 촬영하는 이미지 센서에 있어서,
    복수의 픽셀들을 포함하는 픽셀 어레이;
    상기 영상의 첫번째 프레임인 제1 프레임을 촬영하는 제1 셔터 동작이 수행되기 전에, 상기 복수의 픽셀들 중 적어도 하나에 존재하는 잔여 전자를 제거하는 프리-셔터 동작을 수행하도록, 프리-셔터 구동 신호를 생성하는 제어부; 및
    상기 프리-셔터 구동 신호를 기초로, 상기 복수의 픽셀들로 제어 신호를 제공하는 로우 드라이버;
    를 포함하는 것을 특징으로 하는 이미지 센서.
  2. 제1항에 있어서,
    상기 복수의 픽셀들은 제1 및 제2 픽셀을 포함하고,
    상기 제1 픽셀은 제1 포토 다이오드, 상기 제1 포토 다이오드를 제어하는 제1 전송 트랜지스터를 포함하고,
    상기 제2 픽셀은 제2 포토 다이오드, 상기 제2 포토 다이오드를 제어하는 제2 전송 트랜지스터를 포함하고,
    상기 제1 및 제2 픽셀은 제1 플로팅 디퓨전 영역을 공유하는 것을 특징으로 하는 이미지 센서.
  3. 제2항에 있어서,
    상기 제어부는,
    제1 기간에 상기 제1 전송 트랜지스터를 구동하고, 상기 제1 기간과 서로 다른 제2 기간에 상기 제2 전송 트랜지스터를 구동하도록 상기 프리-셔터 구동 신호를 생성하는 것을 특징으로 하는 이미지 센서.
  4. 제2항에 있어서,
    상기 제어부는,
    제1 기간에 상기 제1 및 제2 전송 트랜지스터를 구동하도록 상기 프리-셔터 구동 신호를 생성하는 것을 특징으로 하는 이미지 센서.
  5. 제1항에 있어서,
    상기 이미지 센서는,
    상기 프리-셔터 동작을 통해 상기 픽셀 어레이에서 생성된 더미 신호를 출력하는 독출 회로;
    를 더 포함하는 것을 특징으로 하는 이미지 센서.
  6. 제5항에 있어서,
    상기 더미 신호는,
    상기 프리-셔터 동작을 통해 생성된 신호임을 나타내는 정보를 포함하는 것을 특징으로 하는 이미지 센서.
  7. 이미지 센서의 동작 방법으로서,
    영상을 촬영하기 위한 제1 커맨드를 수신함으로써 웨이크-업 모드로 전환되는 단계;
    복수의 픽셀들 중 적어도 하나에 존재하는 잔여 전자를 제거하기 위하여, 상기 영상의 첫번째 프레임을 촬영하기 이전에 프리-셔터 동작을 수행하는 단계; 및
    상기 첫번째 프레임을 촬영하기 위한 메인 셔터 동작 및 메인 리드 동작을 수행하는 단계;
    를 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  8. 제7항에 있어서,
    상기 복수의 픽셀들 각각은,
    리셋 제어 신호로 제어되는 리셋 트랜지스터, 펄스 신호를 포함하는 전송 제어 신호로 제어되는 전송 트랜지스터 및 선택 신호로 제어되는 선택 트랜지스터를 포함하고,
    상기 메인 셔터 동작 및 메인 리드 동작을 수행하는 단계는,
    상기 리셋 트랜지스터를 턴-온하고, 상기 전송 트랜지스터 및 상기 선택 트랜지스터를 턴-오프하는 제1 구간;
    상기 리셋 트랜지스터 및 상기 선택 트랜지스터의 상태를 유지하고 상기 전송 트랜지스터를 턴-온하는 제2 구간;
    상기 리셋 트랜지스터를 턴-오프하고, 상기 전송 트랜지스터를 턴-온하고, 상기 선택 트랜지스터의 상태를 유지하는 제3 구간;
    상기 리셋 트랜지스터를 턴-온하고, 상기 전송 트랜지스터 및 상기 선택 트랜지스터를 턴-오프하는 제4 구간; 및
    상기 리셋 트랜지스터를 턴-오프하고, 상기 전송 트랜지스터를 턴-온하고, 상기 선택 트랜지스터를 턴-온하는 제5 구간;
    을 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  9. 제8항에 있어서,
    상기 프리-셔터 동작을 수행하는 단계는,
    상기 제5 구간을 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
  10. 제7항에 있어서,
    상기 복수의 픽셀들로부터 상기 프리-셔터 동작을 통해 더미 신호를 생성하는 단계; 및
    상기 더미 신호를 상기 이미지 센서 외부로 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
KR1020210089205A 2021-07-07 2021-07-07 이미지 센서 및 이미지 센서의 동작 방법 KR20230008496A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210089205A KR20230008496A (ko) 2021-07-07 2021-07-07 이미지 센서 및 이미지 센서의 동작 방법
US17/853,032 US20230008501A1 (en) 2021-07-07 2022-06-29 Image sensor and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089205A KR20230008496A (ko) 2021-07-07 2021-07-07 이미지 센서 및 이미지 센서의 동작 방법

Publications (1)

Publication Number Publication Date
KR20230008496A true KR20230008496A (ko) 2023-01-16

Family

ID=84798111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089205A KR20230008496A (ko) 2021-07-07 2021-07-07 이미지 센서 및 이미지 센서의 동작 방법

Country Status (2)

Country Link
US (1) US20230008501A1 (ko)
KR (1) KR20230008496A (ko)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5598126B2 (ja) * 2010-07-09 2014-10-01 ソニー株式会社 固体撮像素子およびカメラシステム
EP3057309B1 (en) * 2015-02-12 2020-10-21 Samsung Electronics Co., Ltd. Method for controlling camera system, electronic device, and storage medium
KR102344871B1 (ko) * 2015-06-22 2021-12-29 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
CN117982251A (zh) * 2015-11-13 2024-05-07 塔根公司 用于将物质注射到动物体内的自动系统和方法
US10334193B2 (en) * 2016-02-11 2019-06-25 Samsung Electronics Co., Ltd. Read-out circuits of image sensors and image sensors including the same
JP2018101966A (ja) * 2016-12-22 2018-06-28 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、電子機器、および、固体撮像素子の制御方法
JP6971767B2 (ja) * 2017-10-16 2021-11-24 キヤノン株式会社 撮像装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
US20230008501A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
US11825227B2 (en) CDS circuit, operating method thereof, and image sensor including CDS circuit
US11425323B2 (en) Image sensor and operating method thereof
US11950011B2 (en) Image sensor
US20210400214A1 (en) Image sensors having pixels with dual-output circuits therein
KR20210156458A (ko) 이미지 센싱 장치 및 이를 포함하는 전자 장치
US20220277423A1 (en) Image signal processing method, image sensing device including an image signal processor
CN115037890A (zh) 图像传感器
US11729531B2 (en) Image sensor using multiple transfer, and operating method of the image sensor
KR20230008496A (ko) 이미지 센서 및 이미지 센서의 동작 방법
KR20230000673A (ko) 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US20240040281A1 (en) Image sensor, operating method of the same, and pixel including plurality of photodiodes
US20230154945A1 (en) Image sensor
US20240147089A1 (en) Image sensor for reducing noise
KR20240050051A (ko) 이미지 센서, 상기 이미지 센서의 동작 방법 및 이미지 처리 장치
US11792549B2 (en) Image sensor with a row driver including a transmission control signal generator
US20220408038A1 (en) Image sensing device
US20230199345A1 (en) Image sensing device, method for sensing image, and electronic device
US20240244343A1 (en) Image sensor and image processing device comprising image sensor
US20240214703A1 (en) Image sensor
US20230011827A1 (en) Image sensor using transfer gate signal having three voltage levels, and method of operating the same
US20230011310A1 (en) Image sensor including pixel array
KR20230073069A (ko) 증폭기, 이를 포함하는 아날로그-디지털 변환기, 이미지 센싱 장치 및 이미지 센싱 장치의 신호 처리 방법
CN117425092A (zh) 图像感测装置和包括其的成像装置