KR20180031288A - 이미지 센서 및 이를 포함하는 촬상 장치 - Google Patents

이미지 센서 및 이를 포함하는 촬상 장치 Download PDF

Info

Publication number
KR20180031288A
KR20180031288A KR1020160119559A KR20160119559A KR20180031288A KR 20180031288 A KR20180031288 A KR 20180031288A KR 1020160119559 A KR1020160119559 A KR 1020160119559A KR 20160119559 A KR20160119559 A KR 20160119559A KR 20180031288 A KR20180031288 A KR 20180031288A
Authority
KR
South Korea
Prior art keywords
pixel
data
unit
sensing
illumination
Prior art date
Application number
KR1020160119559A
Other languages
English (en)
Inventor
박진섭
서재훈
서종석
정일윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160119559A priority Critical patent/KR20180031288A/ko
Priority to US15/661,747 priority patent/US10469731B2/en
Publication of KR20180031288A publication Critical patent/KR20180031288A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H04N5/2354—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H04N5/2351—
    • H04N5/2353—
    • H04N5/2356—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor

Abstract

이미지 센서 및 이를 포함하는 촬상 장치가 개시된다. 본 개시에 따른 이미지 센서는 복수의 단위 픽셀들을 구비하는 픽셀 어레이를 포함하며, 상기 픽셀 어레이에 조사되는 상기 광 신호를 센싱하고, 센싱된 광 신호에 대응하는 픽셀 데이터를 생성하는 센싱 모듈, 및 상기 픽셀 데이터에 기초하여 주변 광에 상응하는 조도 데이터를 생성하는 조도 데이터 생성부를 포함하고, 상기 조도 데이터 생성부는 상기 광 신호의 초점이 상기 픽셀 어레이에 맞지 않을 때의 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 할 수 있다.

Description

이미지 센서 및 이를 포함하는 촬상 장치{IMAGE SENSOR AND IMAGING DEVICE INCLUDING THE SAME}
본 개시의 기술적 사상은 이미지 센서에 관한 것으로서, 더욱 상세하게는 주변 광의 조도를 측정할 수 있는 이미지 센서 및 이를 포함하는 촬상 장치에 관한 것이다.
피사체의 영상을 촬상하기 위한 장치로서 CCD(Charge Coupled Device) 이미지 센서와 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 널리 사용되고 있다. 이미지 센서는 피사체의 영상 정보를 포함하는 광 신호를 전기적인 신호로 변환할 수 있다. 이미지 센서는 다양한 전자 기기에 포함될 수 있으며, 최근에는 전자 기기가 피사체의 영상을 촬상하는 기능뿐 아니라 피사체가 존재하는 환경에 대한 주변 광의 조도를 측정하는 기능을 가질 수 있다.
본 개시의 기술적 사상이 해결하고자 하는 과제는 피사체의 영상을 촬상하는 기능 및 주변 광의 조도를 측정하는 기능을 함께 가지는 이미지 센서를 제공하는 것이다.
본 개시의 기술적 사상이 해결하고자 하는 또 다른 과제는 피사체의 영상을 촬상하는 기능 및 주변 광의 조도를 측정하는 기능을 함께 가지는 이미지 센서를 구비하는 촬상 장치를 제공하는 것이다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 이미지 센서는 복수의 단위 픽셀들을 구비하는 픽셀 어레이를 포함하며, 상기 픽셀 어레이에 조사되는 광 신호를 센싱하고, 센싱된 광 신호에 대응하는 픽셀 데이터를 생성하는 센싱 모듈, 및 상기 픽셀 데이터에 기초하여 주변 광에 상응하는 조도 데이터를 생성하는 조도 데이터 생성부를 포함하고, 상기 조도 데이터 생성부는 상기 광 신호의 초점이 상기 픽셀 어레이에 맞지 않을 때의 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 촬상 장치는 피사체의 영상 정보 및 주변 광의 정보를 포함하는 광 신호를 집광하는 렌즈, 상기 광 신호의 초점을 조절하는 초점 조절 모듈, 및 적어도 두 개의 단위 픽셀을 포함하는 복수의 센싱 유닛들을 구비하는 픽셀 어레이를 포함하며, 상기 픽셀 어레이에 조사되는 상기 광 신호를 센싱하고, 센싱된 광 신호에 대응하는 픽셀 데이터를 생성하는 센싱 모듈 및 상기 픽셀 데이터에 기초하여 주변 광에 상응하는 조도 데이터를 생성하는 조도 데이터 생성부를 포함하는 이미지 센서를 포함하고, 상기 조도 데이터 생성부는 상기 픽셀 어레이에 대한 서브 샘플링(Sub-Sampling) 동작을 수행하여 상기 복수의 센싱 유닛들 중 유효 센싱 유닛들을 선택하고, 상기 광 신호의 초점이 상기 픽셀 어레이에 맞지 않았을 때의 상기 유효 센싱 유닛들에 상응하는 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 할 수 있다.
본 개시의 기술적 사상에 따르면, 조도 측정 기능을 위한 별도의 기능 블록을 구비하지 않고 복수의 단위 픽셀들을 구비하는 하나의 센싱 모듈에 의한 픽셀 데이터를 서브 샘플링(Sub-sampling) 시킴으로써 이미지 데이터 및 조도 데이터를 발생할 수 있다. 또한, 상기 조도 데이터를 발생시킬 때 렌즈를 디포커싱(Defocusing) 시킴으로써, 광 신호에 대한 정보를 잃어버리지 않을 수 있고, 서브 샘플링(Sub-sampling) 수를 줄여서 조도 데이터를 발생할 때 필요한 소비 전력을 줄일 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 5는 본 발명의 단위 픽셀의 일 예를 나타내는 회로도이다.
도 6a 및 6b는 본 개시의 예시적 실시예에 따른 디포커싱을 설명하기 위한 도면이다.
도 7은 본 개시의 예시적 실시예에 따른 픽셀 어레이를 나타내는 블록도이다.
도 8a 및 도 8b은 은 본 개시의 예시적 실시예에 따른 디포커싱(defocusing) 후 서브 샘플링(Sub-sampling)을 설명하기 위한 도면이다.
도 9는 본 개시의 예시적 실시예에 따른 픽셀 어레이를 나타내는 도면이다.
도 10a 및 도 10b는 도 9의 픽셀 어레이의 일 예를 나타내는 도면이다.
도 11은 본 개시의 예시적 실시예에 따른 촬상 장치가 명암이 있는 피사체를 촬상한 경우를 나타내는 도면이다.
도 12는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 13은 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 14는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 15는 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 16a은 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 16b은 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 17은 본 개시의 예시적 실시예에 따른 이미지 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다.
도 1은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 1을 참조하면, 촬상 장치(ID)는 이미지 센서(1) 및 렌즈(2)를 포함할 수 있다. 이미지 센서(1)는 센싱 모듈(10) 및 조도 데이터 생성부(20)를 포함할 수 있다. 이미지 센서(1)는 렌즈(2)로부터 집광된 광 신호(CLS)를 수신하고 이를 처리하여 조도 데이터(ILD)를 생성할 수 있다.
렌즈(2)는 주변의 조도 정보 및 이미지 정보를 포함하는 광 신호(LS)를 수신하고 이를 집광하여 집광된 광 신호(CLS)를 이미지 센서에 출력할 수 있다. 렌즈(2)는 광 신호(LS)의 초점을 조절할 수 있고, 집광된 광 신호(CLS)는 이미지 센서(1)에 포함되는 픽셀 어레이(110)에 초점이 맞은 광 신호이거나 초점이 맞지 않은 광 신호일 수 있다.
센싱 모듈(10)은 픽셀 어레이(110), 로우 드라이버(120), 상관 이중 샘플링(Correlated Double Sampling; CDS)부(130), 아날로그-디지털 변환(Analog-to-Digital Converting; ADC)부(140) 및 타이밍 컨트롤러(150)를 포함할 수 있다.
픽셀 어레이(110)는 복수의 단위 픽셀들을 포함할 수 있다. 복수의 단위 픽셀들(PX)은 복수의 행(Row)들과 복수의 열(Column)들로 이루어진 매트릭스 형태로 배열될 수 있다. 픽셀 어레이(110)는 피사체의 영상 정보 및 주변 광의 정보를 포함하는 집광된 광 신호(CLS)에 기초하여 복수의 아날로그 픽셀 신호를 생성할 수 있다.
로우 드라이버(120)는 픽셀 어레이(110)의 각 로우에 연결되고, 각 로우를 구동하는 구동 신호를 생성할 수 있다. 로우 드라이버(120)는 픽셀 어레이(110)에 포함되는 복수의 단위 픽셀들(PX)을 로우 단위로 구동할 수 있다.
상관 이중 샘플링부(130)는 픽셀 어레이(110)가 생성한 복수의 아날로그 픽셀 신호에 대한 상관 이중 샘플링 동작을 수행하여 복수의 상관 이중 샘플링 신호들을 생성할 수 있다. 예를 들어, 상관 이중 샘플링부(130)는 아날로그 픽셀 신호들의 리셋 성분을 나타내는 아날로그 리셋 신호와 아날로그 픽셀 신호들의 이미지 성분 및 주변 광 성분을 나타내는 아날로그 데이터 신호의 차이를 구하여 상관 이중 샘플링을 수행하고, 유효한 신호 성분에 상응하는 상관 이중 샘플링 신호들을 출력할 수 있다. 상관 이중 샘플링부(130)는 픽셀 어레이(110)의 컬럼 라인들과 각각 연결된 복수의 상관 이중 샘플링 회로들을 포함하며, 상기 유효한 신호 성분에 상응하는 상관 이중 샘플링 신호들을 각 컬럼마다 출력할 수 있다.
아날로그-디지털 변환부(140)는 상관 이중 샘플링 신호들에 대한 아날로그-디지털 변환 동작을 수행하여 픽셀 데이터(PD)를 발생한다. 도시하지는 않았지만, 아날로그-디지털 변환부(140)는 카운터 및 버퍼부를 포함할 수 있다. 카운터는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호에 대한 카운팅 동작을 수행하여 카운팅 신호를 생성하고, 상기 카운팅 신호를 상기 버퍼부에 제공할 수 있다. 상기 버퍼부는 컬럼 라인들과 각각 연결된 복수의 래치 회로들을 포함하고, 상기 카운팅 신호를 각 컬럼마다 래치하며, 래치된 카운팅 신호를 픽셀 데이터(PD)로서 출력할 수 있다.
타이밍 컨트롤러(150)는 로우 드라이버(120), 상관 이중 샘플링부(130) 및 아날로그-디지털 변환부(140)를 제어할 수 있다. 타이밍 컨트롤러(150)는 로우 드라이버(120), 상관 이중 샘플링부(130) 및 아날로그-디지털 변환부(140)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 타이밍 컨트롤러(150)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.
도시하지는 않았지만, 센싱 모듈(10)는 기준 전압, 램프 전압 등과 같은 다양한 구동 전압을 발생하는 전압 발생부를 더 포함할 수 있다. 또한, 도 1에서는 센싱 모듈(10)이 아날로그 더블 샘플링(Analog Double Sampling)을 수행하는 것을 설명하였으나, 실시예에 따라서, 센싱 모듈(10)은 아날로그 리셋 신호와 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효한 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수도 있고, 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수도 있다.
조도 데이터 생성부(20)는 센싱 모듈(10)로부터 수신한 픽셀 데이터(PD)에 기초하여 주변 광에 상응하는 조도 데이터(ILD)를 생성할 수 있다. 본 발명의 일 실시예에서, 조도 데이터 생성부(20)는 이미지 센서(1)의 외부 또는 내부로부터 수신하는 조도 데이터 발생 신호(ILGS)에 대응하여 조도 데이터(ILD)를 생성할 수 있다. 조도 데이터 발생 신호(ILGS)는 집광된 광 신호(CLS)가 픽셀 어레이(110)에 초점이 맞지 않을 때에 조도 데이터 생성부(20)에 출력될 수 있다. 이에 따라, 조도 데이터 생성부(20)는 초점이 맞지 않은 광 신호에 대응하는 픽셀 데이터(PD)를 이용하여 조도 데이터(ILD)를 생성할 수 있다.
조도 데이터 생성부(20)는 조도 데이터(ILD)를 생성하는 과정에서 크롭 동작 및/또는 서브 샘플링 동작을 수행할 수 있다. 또한, 조도 데이터 생성부(20)는 서브 샘플링 동작을 통해 샘플링된 유효 센싱 유닛에 대해 서로 다른 방법으로 유효 픽셀 데이터를 생성할 수 있고, 이를 이용하여 조도 데이터(ILD)를 생성할 수 있다. 이에 대한 자세한 내용은 도 7 내지 11에서 후술한다.
도 2는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 촬상 장치(ID)는 이미지 센서(1) 및 렌즈(2)를 포함할 수 있고, 이미지 센서(1)는 센싱 모듈(10), 조도 데이터 생성부(20), 이미지 데이터 생성부(30) 및 초점 감지부(40)를 포함할 수 있다. 렌즈(2), 센싱 모듈(10) 및 조도 데이터 생성부(20)에 대한 설명은 도 1과 중복되는 바 생략한다.
이미지 데이터 생성부(30)는 센싱 모듈(10)로부터 픽셀 데이터(PD)를 수신하여 이미지 데이터(IMD)를 생성할 수 있다. 일 실시예에서, 이미지 데이터 생성부(30)는 픽셀 데이터(PD)에 대한 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 수행하여 이미지 데이터(IMD)를 생성할 수 있다. 이미지 데이터 생성부(30)의 이미지 데이터(IMD) 생성과 조도 데이터 생성부(160)의 조도 데이터(ILD) 생성은 동시에 이루어지거나 다른 시간에 이루어질 수 있다. 일 예로서, 이미지 데이터 생성부(30)는 초점이 맞은 광 신호에 대한 픽셀 데이터(PD)를 처리하여 이미지 데이터(IMD)를 생성하고, 조도 데이터 생성부(20)는 초점이 맞지 않은 광 신호에 대한 픽셀 데이터(PD)를 처리하여 조도 데이터(ILD)를 생성할 수 있다. 이 경우, 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 안 맞은 상태에서 조도 데이터(ILD)가 먼저 생성되고, 그 이후 렌즈(2)가 초점을 조절하여 픽셀 어레이(110)에 초점이 맞으면 이미지 데이터(IMD)가 생성될 수 있다.
초점 감지부(40)는 이미지 센서(1)의 내부 또는 외부로부터 초점 정보(FI)를 수신하여 조도 데이터 생성부(20)에 조도 데이터 생성 신호(ILGS)를 출력할 수 있다. 초점 정보(FI)는 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 맞았는지 여부를 나타내는 정보를 포함할 수 있다. 본 발명의 일 실시예에서, 초점 감지부(40)는 초점 정보(FI)를 수신하여 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 맞는 지 여부를 판단하고, 맞지 않는 경우에 조도 데이터 생성 신호(ILGS)를 조도 데이터 생성부(20)에 출력할 수 있다. 또 다른 실시예로서, 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 맞는 경우, 초점 감지부(40)는 이미지 데이터 생성부(30)에 이미지 데이터 생성 신호를 출력할 수 있다(미도시).
도 3은 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 1 내지 도 3을 참조하면, 촬상 장치(ID)는 이미지 센서(1) 및 렌즈(2)를 포함할 수 있고, 이미지 센서(1)는 센싱 모듈(10), 조도 데이터 생성부(20), 이미지 데이터 생성부(30), 초점 감지부(40) 및 초점 조정부(50)를 포함할 수 있다. 렌즈(2), 센싱 모듈(10), 조도 데이터 생성부(20), 데이터 발생부(30) 및 초점 감지부(40)에 대한 설명은 도 1 또는 도 2와 중복되는 바 생략한다.
초점 조정부(50)는 초점 정보(FI)를 수신하고, 이에 대응하여 초점 조정 신호(FAS)를 렌즈(2)에 출력할 수 있다. 렌즈(2)는 초점 조정 신호(FAS)에 대응하여 집광된 광 신호(CLS)의 초점을 조정할 수 있다. 초점 조정 신호(FAS)는 초점이 맞지 않도록 조정하는 디포커스(defocus) 신호 및 초점을 맞도록 조정하는 포커스(focus) 신호를 포함할 수 있다.
일 실시예에서, 초점 조정부(50)는 조도 데이터(ILD) 생성 전 초점이 맞았다는 초점 정보(FI)를 수신한 경우, 초점 조정부(50)는 초점을 맞지 않도록 하는 디포커스(defocus) 신호를 초점 조정 신호(FAS)로서 렌즈(2)에 출력할 수 있다. 이에 대응하여, 렌즈(2)는 초점이 픽셀 어레이(110)에 맞지 않도록 조정할 수 있고, 조도 데이터 생성부(20)는 그 때의 픽셀 데이터(PD)를 이용하여 조도 데이터(ILD)를 생성할 수 있다.
또 다른 실시예로서, 초점 조정부(50)는 미리 결정된 순차적인 초점 조정 신호(FAS)를 렌즈(2)에 출력할 수 있다. 렌즈(2)가 피사체를 포착하면, 우선 초점 조정부(50)는 초점 조정 신호(FAS)로서 디포커스(defocus) 신호를 출력할 수 있다. 렌즈(2)는 이에 대응하여 초점을 픽셀 어레이(110)에 맞지 않도록 조정할 수 있고, 조도 데이터 생성부(20)는 그 때의 픽셀 데이터(PD)를 이용하여 조도 데이터(ILD)를 생성할 수 있다. 그 후, 초점 조정부(50)는 초점 조정 신호(FAS)로서 포커스(focus) 신호를 출력할 수 있다. 렌즈(2)는 이에 대응하여 초점을 픽셀 어레이(110)에 맞도록 조정할 수 있고, 이미지 데이터 생성부(30)는 초점이 맞았을 때의 픽셀 데이터(PD)를 이용하여 이미지 데이터(IMD)를 생성할 수 있다.
도 3에서는 초점 조정부(50)가 렌즈(2)에 초점 조정 신호(FAS)를 출력하여 초점을 조정하는 것으로 도시되어 있으나, 실질적으로 초점 조정부(50)가 제어하는 것은 렌즈(2)와 픽셀 어레이(110)간의 거리를 조정하여 초점을 조정할 수 있는 모터 등의 장치를 말하는 것으로 이해되어야 할 것이다.
도 4는 본 개시의 예시적 실시예에 따른 촬상 장치를 나타내는 블록도이다.
도 1, 도 2 및 도 4를 참조하면, 촬상 장치(ID)는 이미지 센서(1) 및 렌즈(2)를 포함할 수 있고, 이미지 센서(1)는 센싱 모듈(10), 조도 데이터 생성부(20), 이미지 데이터 생성부(30), 초점 감지부(40) 및 모드 선택부(60)를 포함할 수 있다. 렌즈(2), 센싱 모듈(10), 조도 데이터 생성부(20), 이미지 데이터 발생부(30) 및 초점 감지부(40)에 대한 설명은 도 1 또는 도 2와 중복되는 바 생략한다.
모드 선택부(60)는 초점 감지부(40)로부터 모드 선택 신호(MSS)를 수신하고 이에 대응하여, 센싱 모듈(10)로부터 수신하는 픽셀 데이터(PD)를 조도 데이터 생성부(20) 또는 이미지 데이터 생성부(30)에 전송 할 수 있다. 본 발명의 일 실시예에서, 초점 감지부(40)는 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 맞지 않는 경우, 모드 선택 신호(MSS)로서 조도 데이터 생성 모드 선택 신호를 출력할 수 있다. 모드 선택부(60)는 이에 대응하여, 픽셀 데이터(PD)를 조도 데이터 생성부(20)에 전송할 수 있다. 초점 감지부(40)는 집광된 광 신호(CLS)의 초점이 픽셀 어레이(110)에 맞는 경우, 모드 선택 신호(MSS)로서 이미지 데이터 생성 모드 선택 신호를 출력할 수 있다. 모드 선택부(60)는 이에 대응하여, 픽셀 데이터(PD)를 이미지 데이터 생성부(30)에 전송할 수 있다. 이에 따라, 픽셀 데이터(PD)는 선택적으로 조도 데이터 생성부(20) 및 이미지 데이터 생성부(30) 중 어느 하나에 전송될 수 있다.
도 5는 본 발명의 단위 픽셀의 일 예를 나타내는 회로도이다.
도 5를 참조하면, 단위 픽셀(PX)은 광전 변환부(111) 및 신호 생성부(112)를 포함할 수 있다.
광전 변환부(111)는 광전 변환을 수행할 수 있다. 즉, 광전 변환부(111)는 광 집적 모드(integration mode)에서 입사광을 변환하여 광전하들을 발생할 수 있다. 단위 픽셀(PX)이 CMOS 이미지 센서의 단위 픽셀인 경우에, 상기 광 집적 모드에서 CMOS 이미지 센서의 셔터가 개방되어 입사광에 의해 전자-정공 쌍과 같은 전하 캐리어가 광전 변환부(111)에 생성되어 피사체의 영상에 관한 정보 및 주변 광에 대한 정보가 수집될 수 있다.
신호 생성부(112)는 독출 모드(readout mode)에서 상기 광전 변환에 의해 생성된 광전하들에 기초하여 픽셀 출력 신호(VOUT)를 발생할 수 있다. 단위 픽셀(PX)이 CMOS 이미지 센서의 단위 픽셀인 경우에, 상기 광 집적 모드 후의 독출 모드에서 상기 셔터가 폐쇄되고, 전하 캐리어의 형태로 수집된 상기 피사체의 이미지에 관한 정보 및 상기 주변 광에 대한 정보에 기초하여 픽셀 출력 신호(VOUT)가 발생된다. 아날로그 픽셀 신호들은 하나의 단위 픽셀에서 제공되는 픽셀 출력 신호(VOUT)의 조합일 수 있다.
단위 픽셀(PX)은 신호 생성부(112)에 포함되는 트랜지스터들의 개수에 따라 1-트랜지스터 구조, 3-트랜지스터 구조, 4-트랜지스터 구조 및 5-트랜지스터 구조 등으로 구분될 수 있으며, 복수의 픽셀들이 일부 트랜지스터를 공유하는 구조를 가질 수도 있다. 도 6에는 하나의 예시로서 4-트랜지스터 구조가 도시되어 있다. 즉, 신호 생성부(112)는 전송 트랜지스터(TTr), 리셋 트랜지스터(RTr), 드라이브 트랜지스터(DTr) 및 선택 트랜지스터(STr)를 포함할 수 있으며, 플로팅 확산 노드(FDN)를 포함할 수 있다. 전송 트랜지스터(TTr)는 광전 변환부(111)와 연결된 제1 단자, 플로팅 확산 노드(FDN)와 연결된 제2 단자 및 전송 신호(TX)가 인가되는 게이트를 포함할 수 있다. 리셋 트랜지스터(RTr)는 전원 전압(VDD)이 인가되는 제1 단자, 플로팅 확산 노드(FDN)와 연결된 제2 단자 및 리셋 신호(RST)가 인가되는 게이트를 포함할 수 있다. 드라이브 트랜지스터(DTr)는 전원 전압(VDD)이 인가되는 제1 단자, 플로팅 확산 노드(FDN)와 연결된 게이트 및 제2 단자를 포함할 수 있다. 선택 트랜지스터(STr)는 상기 드라이브 트랜지스터(DTr)의 제2 단자와 연결된 제1 단자, 선택 신호(SEL)가 인가되는 게이트 및 픽셀 출력 신호(VOUT)를 출력하는 제2 단자를 포함할 수 있다.
도 6a 및 6b는 본 개시의 예시적 실시예에 따른 디포커싱을 설명하기 위한 도면이다.
도 1, 도 6a 및 도 6b를 참조하면, 도 6a 은 집광된 단일 광 신호(CLS)가 픽셀 어레이(110)에 초점이 맞지 않은 경우, 즉, 디포커싱(defocusing)된 경우를 나타낼 수 있다. 도 6b는 집광된 단일 광 신호(CLS)가 픽셀 어레이(110)에 초점이 맞은 경우, 즉, 포커싱(focusing)된 경우를 나타낼 수 있다. 포커싱(focusing)된 경우에는 표시한 바와 같이, 상이 픽셀 어레이(110)에 맺히는 범위가 디포커싱(defocusing)된 경우보다 작게 된다.
집광된 단일 광 신호(CLS)가 픽셀 어레이(110)에 조사되면, 복수의 단위 픽셀들(PX)이 집광된 단일 광 신호(CLS)를 수신할 수 있다. 집광된 단일 광 신호(CLS)는 그 지점의 조도 정보를 갖기 때문에, 단일 광 신호(LS)를 수신한 모든 복수의 단위 픽셀들(PX)은 그 지점의 조도 정보를 수신할 수 있다.
도 6a와 도 6b를 비교하면, 도 6b에서 조도 정보를 수신하는 복수의 단위 픽셀들(PX)의 수는 상이 픽셀 어레이(110)에 맺히는 범위의 차이로 인해 도 6a에서 조도 정보를 수신하는 복수의 단위 픽셀들(PX)의 수보다 적을 수 있다. 하지만, 촬상 장치(ID)가 피사체를 촬상할 때 복수의 집광된 광 신호들(CLS)이 픽셀 어레이(110)에 수신되기 때문에, 도 6a의 단일 단위 픽셀(PX)이 수신하는 복수의 집광된 광 신호들(CLS)의 수는 도 6b의 단일 단위 픽셀(PX)보다 더 많을 수 있다. 따라서, 도 6a의 단일 단위 픽셀(PX)은 도 6b의 단일 단위 픽셀(PX)보다 더 많은 지점의 조도 정보를 수신할 수 있다. 이에 따라 후술할 바와 같이, 조도 데이터 생성부(20)가 샘플링 하는 유효 센싱 유닛의 숫자를 적게 하여도 주변 광의 조도 정보를 충분히 가질 수 있다.
또한, 도 6b에서 단일 단위 픽셀(PX)이 수신하는 집광된 광 신호(CLS)의 양은 도 6a에서 단일 단위 픽셀(PX)이 수신하는 집광된 광 신호(CLS)의 양보다 더 많을 수 있다. 포토 다이오드의 한계로 단일 단위 픽셀(PX)이 수신할 수 집광된 광 신호(CLS)의 양이 정해져 있으므로 너무 많은 집광된 광 신호(CLS)를 수신하면 조도 정보의 일부를 잃어버릴 수 있다. 따라서, 포커싱(focusing)되는 도 6b의 단일 단위 픽셀(PX)보다 조도 정보를 잃어버릴 가능성이 높은 반면, 디포커싱(defocusing)되는 도 6a의 단일 단위 픽셀(PX)은 도 6b의 경우에 비해 조도 정보를 더 안 잃어버릴 수 있다.
도 7은 본 개시의 예시적 실시예에 따른 픽셀 어레이를 나타내는 블록도이다.
도 1 및 도 7을 참조하면, 픽셀 어레이(110)는 복수의 센싱 유닛들(SU)을 포함할 수 있다. 복수의 센싱 유닛들(SU) 각각은 복수의 단위 픽셀들(PX) 중 서로 인접한 적어도 두개의 단위 픽셀들을 포함할 수 있다. 일 예로서, 복수의 센싱 유닛들(SU) 각각은 2 x 2 형태로 배치된 4개의 단위 픽셀들로 구성될 수 있다.
또한, 조도 데이터 생성부(20)는 조도 데이터(ILD) 생성을 위해 픽셀 어레이(110)에 대한 크롭 동작 및/또는 서브 샘플링 동작을 수행하여 복수의 센싱 유닛들(SU) 중 유효 센싱 유닛들을 선택할 수 있다. 도 7는 크롭 동작 및 서브 샘플링 동작을 설명하기 위한 도면일 수 있다.
도 7을 참조하면, 조도 데이터 생성부(20)는 크롭 동작을 수행하여 센싱 윈도우(SW)를 설정할 수 있다. 예를 들어, 픽셀 어레이(110)는 1412 x 1412의 크기를 가질 수 있고, 센싱 윈도우(SW)는 1280 x 1024의 크기를 가질 수 있다. 또한 조도 데이터 생성부(20)는 센싱 윈도우(SW)에 대한 상기 서브 샘플링 동작을 수행하여 복수의 센싱 유닛들(SU) 중 유효 센싱 유닛들을 선택할 수 있다. 예를 들어, 1280 x 1024의 크기를 가지는 센싱 윈도우(SW)에 대하여 1/16의 서브 샘플링 동작을 수행하여 80 x 64개의 유효 센싱 유닛들을 선택할 수 있다. 조도 데이터 생성부(20)는 픽셀 데이터(PD) 중에서 유효 센싱 유닛들에 상응하는 유효 픽셀 데이터를 추출할 수 있다. 픽셀 데이터(PD)는 복수의 단위 픽셀들(PX)에 상응하는 복수의 픽셀 값들을 포함할 수 있으며, 이에 따라 유효 픽셀 데이터는 유효 센싱 유닛들에 포함되는 단위 픽셀들에 상응하는 픽셀 값들을 포함할 수 있다. 그러나 본 발명은 이에 한정되지 않고, 일부 실시예에서 조도 데이터 생성부(20)는 크롭 동작 없이 서브 샘플링 동작 만으로 유효 센싱 유닛들을 선택할 수 있다.
본 발명의 일 실시예에서, 조도 데이터 생성부(20)는 미리 결정된 기준에 따라 일부 유효 센싱 유닛으로부터 수신한 유효 픽셀 데이터는 조도 데이터(ILD)를 생성할 때 기초로 삼지 않을 수 있다. 일 예로서, 조도 데이터 생성부(20)는 미리 결정된 조도 기준 이상의 조도 정보가 포함된 광 신호(LS)를 수신하는 유효 센싱 유닛으로부터 수신한 유효 픽셀 데이터는 조도 데이터(ILD)를 생성하는 데 기초로 삼지 않을 수 있다. 이에 따르면, 조도 데이터 생성부(20)가 조도 데이터(ILD)를 생성하는 데 유효 픽셀 데이터를 일정한 기준에 따라 선택할 수 있고, 정확한 조도 데이터(ILD)를 생성할 수 있게 된다.
도 8a 및 도 8b은 본 개시의 예시적 실시예에 따른 디포커싱(defocusing) 후 서브 샘플링(Sub-sampling)을 설명하기 위한 도면이다.
도 1, 도 6 내지 도 8a 및 도 8b를 참조하면, 도 8a는 도 6a와 같이 디포커싱(defocusing)된 이미지 데이터를 나타낼 수 있고, 도 8b는 도 6b와 같이 포커싱(focusing)된 이미지 데이터를 나타낼 수 있다. 또한, 점선 원은 조도 데이터 생성부(20)가 서브 샘플링(sub-sampling)을 통해 선택한 유효 센싱 유닛(VSU)을 나타낼 수 있다. 도 8에 도시된 유효 센싱 유닛(VSU)들의 개수 및 모양은 설명의 편의를 위한 것이며 본 발명은 이에 제한되지 않음은 이해되어야 할 것이다.
도 8a의 경우와 같이 디포커싱(defocusing)된 경우에는 상이 흐릿하게 맺혀 포커싱(focusing)된 도 8b의 경우보다 더 많은 수의 복수의 광 신호들(LS)이 단위 픽셀(PX)에 수신될 수 있다. 디포커싱(defocusing)된 도 8a는 이미지 데이터(IMD)를 생성하는 경우에는 선명하지 못한 이미지 데이터(IMD)가 나오는 결과를 초래할 수 있으나, 조도 데이터(ILD)를 생성하는 경우에는 복수의 광 신호들(LS)의 조도 정보를 활용할 수 있기 때문에 비교적 적은 샘플링 수 만으로 충분한 조도 정보를 얻을 수 있다.
반면, 도 8b의 경우와 같이 포커싱(focusing)된 경우에는 상이 선명하게 맺혀 도 8a의 경우보다 더 선명한 이미지 데이터를 생성할 수 있으나, 각 단위 픽셀(PX)이 수신하는 광 신호(LS)의 양은 도 8a보다 적기 때문에, 조도 데이터(ILM)를 생성하기에 더 많은 유효 센싱 유닛(VSU)이 필요할 수 있다. 또한, 일정 조도 이상의 빛에 노출되는 센싱 유닛(SU)은 각 단위 픽셀(PX)이 과노출되어 광 신호(LS)에 포함되는 조도 정보 중 일부를 잃을 수도 있다. 이런 측면에서, 도 8a에 비해 더 많은 정보를 수신하는 도 8b의 경우에는 일정 조도 이상의 빛에 과노출되는 단일 픽셀(PX)의 수가 도 8a보다 더 많을 수 있다.
따라서, 본 발명의 일 실시예에 따라, 조도 데이터 생성부(20)가 디포커싱(defocusing) 후 조도 데이터(ILM)를 생성하게 되면, 서브 샘플링(Sub-sampling)을 통한 유효 센싱 유닛(VSU)이 더 적게 필요할 수 있고, 일정 조도 이상의 빛에 과노출되는 단일 픽셀(PX)의 수가 감소될 수 있다. 이에 따라, 이미지 센서(1)의 소비 전력이 줄어들 수 있고, 정확한 조도 데이터(ILM)이 생성될 수 있다.
도 9는 본 개시의 예시적 실시예에 따른 픽셀 어레이를 나타내는 도면이다.
도 1 및 도 9를 참조하면, 전술한 바와 같이, 픽셀 어레이(110a)는 다수의 행(row)들 및 열(Column)들에 따라 배치되는 다수의 단위 픽셀들(PX)을 포함하며, 예컨대 2 개의 행들 및 2 개의 열들에 배치되는 픽셀들로 정의되는 하나의 센싱 유닛(SU)은 4 개의 픽셀들을 포함할 수 있다. 또한, 픽셀 어레이(110a)는 다수 개의 장시간 노광 픽셀(LPX)들 및 다수 개의 단시간 노광 픽셀(SPX)들을 포함할 수 있다. 장시간 노광 픽셀(SPX)은 단시간 노광 픽셀(SPX)에 비해 노광이 더 많이 되는 픽셀일 수 있다. 또한, 픽셀 어레이는 다수 개의 화이트 픽셀들 및 다수 개의 다른 칼라 픽셀들(예컨대, 제1 내지 제3 칼라 픽셀들)을 포함할 수 있다. 상기 제1 내지 제3 칼라 픽셀들은 레드, 그린 및 블루 칼라 픽셀들일 수 있다. 그러나, 이는 하나의 실시예에 불과한 것으로서, 다른 칼라 픽셀들(예컨대, Cy, Mg, Ye 칼라 등)이 제1 내지 제3 칼라 픽셀들에 적용되어도 무방하다.
픽셀 어레이(110a)는 일정한 간격에 따라 동일한 종류의 픽셀들이 반복하여 배치될 수 있다. 예컨대 도 9에 도시된 바와 같이, 4*4 픽셀들(예컨대, 16 개의 픽셀들)을 포함하는 센싱 유닛 그룹을 기준으로 하여 동일한 종류의 픽셀들이 반복하게 배치될 수 있다. 센싱 유닛 그룹은 제1 내지 제4 센싱 유닛(SU4)들을 포함할 수 있다.
제1 센싱 유닛(SU1)은 하나의 화이트 픽셀 및 세 개의 칼라 픽셀들(이하, 제1 내지 제3 픽셀들로 지칭함)을 포함할 수 있다. 또한, 상기 픽셀들 중 일부는 장시간 노광 픽셀(LPX)이며, 나머지 일부의 픽셀들은 단시간 노광 픽셀(SPX)일 수 있다. 제1 센싱 유닛(SU1)의 경우, 화이트 픽셀이 장시간 노광 픽셀(LPX)에 해당하고, 제1 내지 제3 칼라 픽셀들이 단시간 노광 픽셀(SPX)들에 해당할 수 있다.
한편, 제1 센싱 유닛(SU1)에 수평 또는 수직하게 인접하여 제2 센싱 유닛(SU2) 및 제3 센싱 유닛(SU3)이 배치될 수 있다. 제2 센싱 유닛(SU2) 및 제3 센싱 유닛(SU3) 각각은 화이트 픽셀을 포함할 수 있다. 일 실시예로서, 제2 센싱 유닛(SU2) 및 제3 센싱 유닛(SU3) 각각은 단시간 노광 픽셀(SPX)에 해당하는 화이트 픽셀을 포함할 수 있다. 이와 함께, 제2 센싱 유닛(SU2)은 장시간 노광 픽셀(LPX)들에 해당하는 제1 내지 제3 칼라 픽셀들을 포함할 수 있으며, 제3 센싱 유닛(SU3) 또한 장시간 노광 픽셀(LPX)들에 해당하는 제1 내지 제3 칼라 픽셀들을 포함할 수 있다.
한편, 제4 센싱 유닛(SU4) 또한 화이트 픽셀을 포함할 수 있으며, 제4 센싱 유닛(SU4)에 포함되는 화이트 픽셀은 장시간 노광 픽셀(LPX)에 해당할 수 있다. 또한, 제4 센싱 유닛(SU4)은 제1 내지 제3 칼라 픽셀들을 포함하며, 상기 제1 내지 제3 칼라 픽셀들은 단시간 노광 픽셀(SPX)들에 해당할 수 있다.
장시간 노광 픽셀(LPX)과 단시간 노광 픽셀(SPX)들은 서로 다른 시간 동안 빛에 노출되도록 제어될 수 있다. 예컨대, 장시간 노광 픽셀(LPX)에 대해 상대적으로 긴 시간 동안 선택적으로 빛에 노출시킨 후, 순차적으로 나머지 단시간 노광 픽셀들에 상대적으로 짧은 시간 동안 빛에 선택적으로 노출시키도록 제어될 수 있다. 또는, 픽셀별로 별도의 노광 제어를 통하여, 일부의 픽셀들(장시간 노광 픽셀(LPX)들)에 대해 상대적으로 긴 시간 동안 빛에 노출시키는 반면에, 다른 일부의 픽셀들(단시간 노광 픽셀(SPX)들)에 대해 상대적으로 짧은 시간 동안 빛에 노출시키도록 제어될 수 있다. 상기와 같은 제어를 통하여 하나의 이미지 프레임 내에서 서로 다른 노광 시간을 갖는 픽셀 데이터(PD)가 얻어질 수 있다.
한편, 화이트 픽셀을 배치함에 있어서, 장시간 노광 픽셀(LPX)에 해당하는 화이트 픽셀과 단시간 노광 픽셀(SPX)에 해당하는 화이트 픽셀이 번갈아 배치되도록 할 수 있다. 예컨대, 센싱 유닛 당 하나의 화이트 픽셀이 배치되는 경우, 픽셀 어레이의 가로 방향으로 센싱 유닛마다 장시간 노광 픽셀(LPX)에 해당하는 화이트 픽셀과 단시간 노광 픽셀에 해당하는 화이트 픽셀이 번갈아 배치될 수 있다. 이와 유사한 방식에 따라, 픽셀 어레이의 세로 방향으로 센싱 유닛마다 장시간 노광 픽셀(LPX)에 해당하는 화이트 픽셀과 단시간 노광 픽셀(SPX)에 해당하는 화이트 픽셀이 번갈아 배치될 수 있다. 상기와 같은 장시간 노광 픽셀(LPX) 및 단시간 노광 픽셀(SPX)을 번갈아 배치하는 방법은 다른 칼라 픽셀들에 대해서도 동일 또는 유사하게 적용될 수 있다. 예컨대, 도 9에 도시된 바와 같이, 제1 내지 제3 칼라 픽셀들의 경우, 어느 하나의 센싱 유닛(예컨대, 제1 센싱 유닛(SU1))에 단시간 노광 픽셀(SPX)에 해당하는 칼라 픽셀들이 배치되는 경우, 이에 인접하는 센싱 유닛(예컨대, 제2 및 제3 센싱 유닛(SU2, SU3)에는 장시간 노광 픽셀에 해당하는 칼라 픽셀들이 배치될 수 있다.
본 발명의 일 실시예에서, 도 9에 실선으로 표시된 바와 같이 조도 데이터 생성부(20)는 센싱 유닛 그룹 중 하나의 센싱 유닛(SU)을 유효 센싱 유닛(VSU)으로 선택할 수 있다. 또한, 조도 데이터 생성부(20)는 모든 센싱 유닛 그룹에서 유효 센싱 유닛(VSU)을 선택하지 않을 수 있고, 각 센싱 유닛 그룹에서 선택하는 유효 센싱 유닛(VSU)의 종류(제1 내지 제4 센싱 유닛(SU1~4))는 인접한 유효 센싱 유닛(VSU)과 다르게 선택 할 수 있다. 일 예로서, 특정 센싱 유닛 그룹에서 제1 센싱 유닛(SU1)이 유효 센싱 유닛(VSU)으로 선택된 경우, 인접한 유효 센싱 그룹에서는 제2 센싱 유닛(SU2) 혹은 제3 센싱 유닛(SU3)이 유효 센싱 유닛(VSU)로 선택될 수 있다.
또한, 본 발명의 일 실시예에서, 조도 데이터 생성부(20)는 각 유효 센싱 유닛(VSU) 마다 조도 데이터(PD)를 서로 다른 단위 픽셀(PX)을 기초로 생성할 수 있다. 예를 들어, 조도 데이터 생성부(20)는 밝은 빛에 노출되는 라이트 센싱 유닛의 경우에는 단시간 노출 픽셀(SPX)을 기초로 조도 데이터(ILD)를 생성하고, 어두운 빛에 노출되는 쉐이드 센싱 유닛의 경우에는 장시간 노출 픽셀(LPX)을 기준으로 조도 데이터(ILD)를 생성할 수 있다. 이에 대해서는 도 12에서 자세하게 후술한다.
비록, 본 명세서에서 장시간 노광 픽셀(LPX)은 크게, 단시간 노광 픽셀(SPX)은 작게 도시되어 있지만, 이는 표현상의 차이일 뿐 실제로 장시간 노광 픽셀(LPX)이 큰 사이즈의 픽셀이고 단시간 노광 픽셀(SPX)이 작은 사이즈의 픽셀인 데에 본 발명의 권리범위가 한정되지 않음은 이해되어야 할 것이다.
도 10a,b는 도 9의 픽셀 어레이의 일 예를 나타내는 도면이다.
도 10a,b를 참조하면, 픽셀 어레이는 다수의 화이트 픽셀들 및 다수의 R, G, B 픽셀들을 포함할 수 있다. 도 10a에서는 하나의 단위 픽셀 그룹이 화이트 픽셀 및 R, G, B 픽셀들을 포함하며, 화이트 픽셀이 장시간 노광 픽셀에 해당되고, R, G, B 픽셀들은 단시간 노광 픽셀들에 해당될 수 있다. 반면에, 화이트 픽셀이 단시간 노광 픽셀에 해당되는 경우, R, G, B 픽셀들은 장시간 노광 픽셀들에 해당될 수 있다.
도 10b에서는 하나의 픽셀 그룹에 배치되는 화이트 픽셀이 장시간 노광 픽셀에 해당되는 경우, R, G, B 픽셀들 중 일부가 장시간 노광 픽셀에 해당되고, 나머지 일부가 단시간 노광 픽셀에 해당될 수 있다. 또는, 화이트 픽셀이 단시간 노광 픽셀에 해당되는 경우, R, G, B 픽셀들 중 일부가 단시간 노광 픽셀에 해당되고, 나머지 일부가 장시간 노광 픽셀에 해당될 수 있다. 예컨대, 하나의 센싱 유닛에 포함되는 화이트 픽셀과 그린 칼라 픽셀이 서로 다른 종류의 픽셀에 해당될 수 있으며, 이에 따라 하나의 단위 픽셀 그룹에서 화이트 픽셀이 장시간 노광 픽셀에 해당되는 경우 그린 칼라 픽셀은 단시간 노광 픽셀에 해당될 수 있다. 도 10a,b에 도시된 픽셀 배치는 하나의 일 예에 불과한 것으로서, 본 발명의 실시예에 따른 픽셀 어레이의 픽셀들의 배치는 다양하게 변형이 가능할 수 있다.
도 11은 본 개시의 예시적 실시예에 따른 촬상 장치가 명암이 있는 피사체를 촬상한 경우를 나타내는 도면이다.
도 1, 도 9 및 도 11을 참조하면, 조도 데이터 생성부(20)는 미리 결정된 조도 기준에 따라, 라이트 영역(LA), 쉐이드 영역(SA) 및 기타 영역을 구분할 수 있다. 즉, 조도 데이터 생성부(20)는 미리 결정된 제1 조도 기준보다 더 높은 조도 정보가 포함된 광 신호(LS)를 수신하는 영역은 라이트 영역(LA), 미리 결정된 제2 조도 기준보다 더 낮은 조도 정보가 포함된 광 신호(LS)를 수신하는 영역은 쉐이드 영역(SA), 나머지 영역은 기타 영역으로 픽셀 어레이(110)를 구분할 수 있다. 라이트 센싱 유닛(LSU)은 라이트 영역(LA)에 포함되는 센싱 유닛(SU)일 수 있고, 쉐이드 센싱 유닛(SSU)은 쉐이드 영역(SA)에 포함되는 센싱 유닛(SU)일 수 있다.
또한, 각 센싱 유닛(SU)은 도 9에서 상술한 바와 같이 적어도 하나의 장시간 노광 픽셀(LPX) 및 적어도 하나의 단시간 노광 픽셀(SPX)을 포함할 수 있다. 본 발명의 일 실시예에서, 조도 데이터 생성부(20)는 라이트 영역(LA)에 대해서는 라이트 센싱 유닛(LSU)에 포함되는 단위 픽셀(PX)에 대한 픽셀 데이터(PD) 중 단시간 노광 픽셀(SPX)에 대한 픽셀 데이터(PD)를 기초로 조도 데이터(ILM)를 생성할 수 있다. 또한 조도 데이터 생성부(20)는 쉐이드 영역(SA)에 대해서는 쉐이드 센싱 유닛(SSU)에 포함되는 단위 픽셀(PX)에 대한 픽셀 데이터(PD) 중 장시간 노광 픽셀(LPX)에 대한 픽셀 데이터(PD)를 기초로 조도 데이터(ILM)를 생성할 수 있다. 이렇게 영역 별로 서로 다른 단위 픽셀(PX)에 대한 픽셀 데이터(PD)를 선택함으로써, 조도 데이터 생성부(20)는 광 신호(LS)에 과노출 되는 단위 픽셀(PX)의 조도 정보를 보상하여 정확한 조도 데이터(ILM)를 생성할 수 있다.
도 12는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 2 및 도 12를 참조하면, 촬상 장치(ID)가 피사체를 포착하면(S110), 렌즈가 픽셀 어레이(110)에 초점이 맞도록 오토 포커싱 동작을 시작할 수 있다(S130). 초점 감지부(40)가 오토 포커싱 동작 완료 전 초점이 맞지 않았을 때를 감지하여 조도 데이터 생성부(20)에 조도 데이터 생성 신호(ILDS)를 출력할 수 있다(S150). 조도 데이터 생성부(20)는 조도 데이터 생성 신호(ILDS)에 대응하여 초점이 맞지 않았을 때의 픽셀 데이터를 이용하여 조도 데이터(ILD)를 생성할 수 있다(S170).
도 13은 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 3, 도 4 및 도 13을 참조하면, 촬상 장치(ID)가 피사체를 포착하면(S210), 초점 조정부(50)가 렌즈(2)의 초점이 픽셀 어레이에 맞지 않도록 조정할 수 있다(S220). 초점 감지부(40)가 모드 선택부(60)에 모드 선택 신호(MSS)로 조도 데이터 생성 모드 선택 신호를 출력하고(S230), 모드 선택부(60)가 이에 대응하여 조도 데이터 생성부(20)에 픽셀 데이터(PD)를 전송할 수 있다(S240). 그러면 조도 데이터 생성부(20)가 수신한 픽셀 데이터(PD)를 이용하여 조도 데이터(ILD)를 생성할 수 있다(S250). 그 후 초점 조정부(50)가 렌즈(2)의 초점이 픽셀 어레이에 맞도록 조정하고(S260), 초점 감지부(40)가 모드 선택부(60)에 모드 선택 신호(MSS)로 이미지 데이터 생성 모드 선택 신호를 출력할 수 있다(S270). 모드 선택부(60)는 이에 대응하여 이미지 데이터 생성부(30)에 픽셀 데이터(PD)를 전송할 수 있고(S280), 이미지 데이터 생성부(30)는 수신한 픽셀 데이터(PD)를 이용하여 이미지 데이터(IMD)를 생성할 수 있다(S290).
도 14는 본 개시의 예시적 실시예에 따른 촬상 장치의 동작 방법을 나타내는 흐름도이다.
도 4 및 도 14를 참조하면, 촬상 장치(ID)가 피사체를 포착하면(S310), 초점 감지부(40)가 초점이 픽셀 어레이에 맞았는지 판단할 수 있다(S320). 초점이 맞은 경우(S330), 초점 감지부(40)가 모드 선택부(60)에 모드 선택 신호(MSS)로 이미지 데이터 생성 모드 선택 신호를 출력할 수 있다(S340). 모드 선택부(60)는 이에 대응하여 이미지 데이터 생성부(30)에 픽셀 데이터(PD)를 전송할 수 있고(S350), 이미지 데이터 생성부(30)가 수신한 픽셀 데이터(PD)를 이용하여 이미지 데이터(IMD)를 생성할 수 있다.
초점이 맞지 않은 경우(S330), 초점 감지부(40)가 모드 선택부(60)에 모드 선택 신호(MSS)로 조도 데이터 생성 모드 선택 신호를 출력할 수 있다(S370). 모드 선택부(60)는 이에 대응하여 조도 데이터 생성부(20)에 픽셀 데이터(PD)를 전송할 수 있고(S380), 조도 데이터 생성부(20)가 수신한 픽셀 데이터(PD)를 이용하여 조도 데이터(ILD)를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 조도 데이터 생성부(20)가 조도 데이터(ILD)를 생성한 이후에 모드 선택부(60)는 이미지 데이터 생성 모드로 전환할 수 있다. 이에 따라, 모드 선택부(60)는 이미지 데이터 생성부(30)에 픽셀 데이터(PD)를 전송할 수 있다. 또한, 본 발명의 또 다른 실시예에 따르면, 이미지 데이터 생성부(30)가 이미지 데이터(IMD)를 생성한 이후에 모드 선택부(60)는 조도 데이터 생성 모드로 전환하여 조도 데이터 생성부(20)에 픽셀 데이터(PD)를 전송할 수 있다.
도 15는 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 1 및 도 15를 참조하면, 조도 데이터 생성부(20)는 센싱 모듈(10)로부터 픽셀 데이터(PD)를 수신할 수 있다(S410). 조도 데이터 생성부(20)는 수신한 픽셀 데이터(PD)에 대해 센싱 유닛(SU) 단위로 서브 샘플링(Sub-sampling) 동작을 수행할 수 있다(S420). 이 때, 조도 데이터 생성부(20)는 크롭(Crop) 동작을 수행하고 서브 샘플링(Sub-sampling) 동작을 수행 할 수 있다. 조도 데이터 생성부(20)는 서브 샘플링(Sub-sampling) 동작을 수행하여 얻은 유효 픽셀 데이터를 이용하여 조도 데이터(ILD)를 생성할 수 있다(S430).
도 16a은 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 1, 도 11 및 도 16a를 참조하면, 조도 데이터 생성부(20)가 센싱 모듈(10)로부터 픽셀 데이터(PD)를 수신하면(S510), 조도 데이터 생성부(20)는 수신한 픽셀 데이터(PD)에 대해 센싱 유닛(SU) 단위로 서브 샘플링(Sub-sampling) 동작을 수행할 수 있다(S520). 조도 데이터 생성부(20)는 서브 샘플링(Sub-sampling) 동작을 수행하여 얻은 유효 픽셀 데이터를 기준으로 라이트 센싱 유닛(LSU)인지 쉐이드 센싱 유닛(SSU)인지 판단할 수 있다(S530). 도 11에서 상술한 바와 같이, 조도 데이터 생성부(20)는 유효 픽셀 데이터에 포함된 조도 정보가 미리 결정된 제1 조도 기준 이상인 경우 라이트 센싱 유닛(LSU)으로 판단할 수 있고, 제2 조도 기준 이하인 경우 쉐이드 센싱 유닛(SSU)으로 판단할 수 있다.
조도 데이터 생성부(20)가 라이트 센싱 유닛(LSU)으로 판단한 경우(S540), 라이트 센싱 유닛(LSU)에 포함된 단시간 노광 픽셀의 유효 픽셀 데이터에 기초하여 조도 데이터(ILD)를 생성할 수 있다(S550). 조도 데이터 생성부(20)가 쉐이드 센싱 유닛(SSU)으로 판단한 경우(S560), 쉐이드 센싱 유닛(SSU)에 포함된 장시간 노광 픽셀의 유효 픽셀 데이터에 기초하여 조도 데이터(ILD)를 생성할 수 있다(S570). 조도 데이터 생성부(20)가 라이트 센싱 유닛(LSU) 및 쉐이드 센싱 유닛(SSU) 중 어느 것도 아니라고 판단한 경우(S560), 유효 센싱 유닛에 포함된 모든 단위 픽셀(PX)의 유효 픽셀 데이터에 기초하여 조도 데이터(ILD)를 생성할 수 있다(S580).
도 16b은 본 개시의 예시적 실시예에 따른 조도 데이터 생성부의 조도 데이터 생성 과정을 나타내는 흐름도이다.
도 1, 도 7 및 도 16b를 참조하면, 조도 데이터 생성부(20)가 센싱 모듈(10)로부터 픽셀 데이터(PD)를 수신하면(S610), 조도 데이터 생성부(20)는 수신한 픽셀 데이터(PD)에 대해 센싱 유닛(SU) 단위로 서브 샘플링(Sub-sampling) 동작을 수행할 수 있다(S620). 조도 데이터 생성부(20)는 서브 샘플링(Sub-sampling) 동작을 수행하여 얻은 유효 픽셀 데이터에 포함되는 조도 정보와 미리 결정된 조도 기준을 비교할 수 있다(S630).
유효 픽셀 데이터에 포함되는 조도 정보가 조도 기준보다 더 높은 경우(S640), 조도 데이터 생성부(20)는 조도 데이터(ILD)를 생성할 때, 상기 유효 픽셀 데이터를 제외할 수 있다(S650). 유효 픽셀 데이터에 포함되는 조도 정보가 조도 기준보다 더 낮거나 같은 경우(S640), 조도 데이터 생성부(20)는 조도 데이터(ILD)를 생성할 때, 상기 유효 픽셀 데이터를 포함할 수 있다(S660).
도 16b는 조도 데이터 생성부(20)가 유효 픽셀 데이터를 유효 픽셀 데이터에 포함되는 조도 정보에 따라 조도 데이터(ILD)를 생성할 때 포함시킬지 여부를 결정하는 예시이지만, 본 발명의 기술적 사상은 이에 제한되지 않고 조도 데이터 생성부(20)가 조도 데이터(ILD)를 생성할 때 유효 픽셀 데이터를 미리 결정된 기준에 따라 취사 선택하는 경우는 모두 포함될 수 있다.
도 17은 본 개시의 예시적 실시예에 따른 이미지 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다.
도 17을 참조하면, 전자 시스템(3000)은 MIPI(Mobile Industry Processor Interface)에 의한 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP 또는 스마트 폰으로 구현될 수 있다. 전자 시스템(3000)은 어플리케이션 프로세서(3010), 이미지 센서 칩(3040) 및 디스플레이(3050)를 포함할 수 있다. 이미지 센서 칩(3040)은 도 1 내지 도 18에서 설명한 이미지 센서(1)를 포함할 수 있다.
어플리케이션 프로세서(3010)에 구현된 CSI 호스트(3012)는 카메라 시리얼 인터페이스(camera serial interface; CSI)를 통하여 이미지 센서(3040)의 CSI 장치(3041)와 시리얼 통신할 수 있다. 이때, 예컨대, 상기 CSI 호스트(3012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(3041)에는 광 시리얼라이저가 구현될 수 있다. 어플리케이션 프로세서(3010)에 구현된 DSI 호스트(3011)는 디스플레이 시리얼 인터페이스(display serial interface; DSI)를 통하여 디스플레이(3050)의 DSI 장치(3051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(3011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(3051)에는 광 디시리얼라이저가 구현될 수 있다.
전자 시스템(3000)은 어플리케이션 프로세서(3010)와 통신할 수 있는 RF 칩(3060)을 더 포함할 수 있다. 전자 시스템(3000)의 PHY(3013)와 RF 칩(3060)의 PHY(3061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다. 전자 시스템(3000)은 GPS(3020), 스토리지(3070), 마이크(3080), DRAM(3085) 및 스피커(3090)를 더 포함할 수 있으며, 상기 전자 시스템(3000)은 Wimax(3030), WLAN(3100) 및 UWB(3110) 등을 이용하여 통신할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 피사체의 영상 정보 및 주변 광의 정보를 포함하는 광 신호를 수신하여 조도 데이터를 생성하는 이미지 센서에 있어서,
    복수의 단위 픽셀들을 구비하는 픽셀 어레이를 포함하며, 상기 픽셀 어레이에 조사되는 상기 광 신호를 센싱하고, 센싱된 광 신호에 대응하는 픽셀 데이터를 생성하는 센싱 모듈; 및
    상기 픽셀 데이터에 기초하여 주변 광에 상응하는 조도 데이터를 생성하는 조도 데이터 생성부를 포함하고,
    상기 조도 데이터 생성부는 상기 광 신호의 초점이 상기 픽셀 어레이에 맞지 않을 때의 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 하는 이미지 센서.
  2. 제1항에 있어서,
    상기 광 신호의 초점이 상기 픽셀 어레이에 맞는지 여부를 감지하고, 맞지 않는 경우 상기 조도 데이터 생성부에 조도 데이터 생성 신호를 출력하는 초점 감지부를 더 포함하는 이미지 센서.
  3. 제1항에 있어서,
    상기 픽셀 데이터에 기초하여 상기 피사체에 상응하는 이미지 데이터를 생성하는 이미지 데이터 생성부를 더 포함하는 이미지 센서.
  4. 제1항에 있어서,
    상기 픽셀 어레이는 적어도 두 개의 단위 픽셀들을 포함하는 복수의 센싱 유닛들을 포함하고,
    상기 조도 데이터 생성부는 상기 픽셀 어레이에 대한 서브 샘플링(Sub-Sampling) 동작을 수행하여 상기 복수의 센싱 유닛들 중 유효 센싱 유닛들을 선택하고, 선택된 상기 유효 센싱 유닛들에 상응하는 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 하는 이미지 센서.
  5. 제4항에 있어서,
    상기 유효 센싱 유닛들 각각은 적어도 하나의 장시간 노광 픽셀 및 적어도하나의 단시간 노광 픽셀을 포함하는 것을 특징으로 하는 이미지 센서.
  6. 제5항에 있어서,
    상기 픽셀 어레이는 적어도 하나의 제1 센싱 유닛 및 적어도 하나의 제2 센싱 유닛을 포함하고,
    상기 제1 센싱 유닛은 한 개의 장시간 노광 픽셀 및 세 개의 단시간 노광 픽셀을 포함하고, 상기 제2 센싱 유닛은 한 개의 단시간 노광 픽셀 및 세 개의 장시간 노광 픽셀을 포함하는 것을 특징으로 하는 이미지 센서.
  7. 제5항에 있어서,
    상기 픽셀 어레이는 미리 결정된 기준 조도보다 밝은 빛에 노광되는 라이트 센싱 유닛 및 상기 기준 조도보다 어두운 빛에 노광되는 쉐이드 센싱 유닛을 포함하고,
    상기 조도 데이터 생성부는 상기 라이트 센싱 유닛에 대해서는 상기 라이트 센싱 유닛에 포함되는 단시간 노광 픽셀의 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하고, 상기 쉐이드 센싱 유닛에 대해서는 상기 쉐이드 센싱 유닛에 포함되는 장시간 노광 픽셀의 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 하는 이미지 센서.
  8. 제4항에 있어서,
    상기 조도 데이터 생성부는 상기 유효 픽셀 데이터에 포함되는 조도 정보와 미리 결정된 조도 정보를 비교하여 상기 유효 픽셀 데이터 중 적어도 일부는 상기 조도 데이터를 생성하는데 사용하지 않는 것을 특징으로 하는 이미지 센서.
  9. 피사체의 영상 정보 및 주변 광의 정보를 포함하는 광 신호를 집광하는 렌즈;
    상기 광 신호의 초점을 조절하는 초점 조절 모듈; 및
    적어도 두 개의 단위 픽셀을 포함하는 복수의 센싱 유닛들을 구비하는 픽셀 어레이를 포함하며, 상기 픽셀 어레이에 조사되는 상기 광 신호를 센싱하고, 센싱된 광 신호에 대응하는 픽셀 데이터를 생성하는 센싱 모듈 및 상기 픽셀 데이터에 기초하여 주변 광에 상응하는 조도 데이터를 생성하는 조도 데이터 생성부를 포함하는 이미지 센서를 포함하고,
    상기 조도 데이터 생성부는 상기 픽셀 어레이에 대한 서브 샘플링(Sub-Sampling) 동작을 수행하여 상기 복수의 센싱 유닛들 중 유효 센싱 유닛들을 선택하고, 상기 광 신호의 초점이 상기 픽셀 어레이에 맞지 않았을 때의 상기 유효 센싱 유닛들에 상응하는 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
  10. 제9항에 있어서,
    상기 초점 조절 모듈은 상기 광 신호의 초점이 상기 픽셀 어레이에 맞도록 자동으로 조절하는 오토-포커싱(auto-focusing)을 수행하고,
    상기 이미지 센서는 상기 오토-포커싱(auto-focusing) 수행이 완료되기 전, 초점이 맞지 않았을 때 상기 조도 데이터 생성부에 조도 데이터 생성 신호를 출력하는 초점 감지부를 더 포함하고,
    상기 조도 데이터 생성부는 상기 조도 데이터 생성 신호에 응답하여, 상기광 신호의 초점이 상기 센싱 모듈에 맞지 않을 때의 유효 픽셀 데이터에 기초하여 상기 조도 데이터를 생성하는 것을 특징으로 하는 촬상 장치.
KR1020160119559A 2016-09-19 2016-09-19 이미지 센서 및 이를 포함하는 촬상 장치 KR20180031288A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160119559A KR20180031288A (ko) 2016-09-19 2016-09-19 이미지 센서 및 이를 포함하는 촬상 장치
US15/661,747 US10469731B2 (en) 2016-09-19 2017-07-27 Image sensor and imaging device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160119559A KR20180031288A (ko) 2016-09-19 2016-09-19 이미지 센서 및 이를 포함하는 촬상 장치

Publications (1)

Publication Number Publication Date
KR20180031288A true KR20180031288A (ko) 2018-03-28

Family

ID=61620860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160119559A KR20180031288A (ko) 2016-09-19 2016-09-19 이미지 센서 및 이를 포함하는 촬상 장치

Country Status (2)

Country Link
US (1) US10469731B2 (ko)
KR (1) KR20180031288A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US10411798B2 (en) * 2017-07-13 2019-09-10 Qualcomm Incorporated Power optimized VLC signal processing with efficient handling of ISP/VFE
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100613063B1 (ko) 2003-10-27 2006-08-16 주식회사 팬택앤큐리텔 이미지 센서를 이용한 조도 감지 장치 및 방법
JP4727534B2 (ja) * 2006-08-28 2011-07-20 富士フイルム株式会社 撮像装置
JP2008242226A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp 撮影装置、及び撮影レンズの合焦制御方法
JP2010220035A (ja) 2009-03-18 2010-09-30 Ricoh Co Ltd 撮像装置、生体認証装置及び電子機器
JP2010262242A (ja) 2009-05-11 2010-11-18 Panasonic Corp カメラ及び携帯端末装置
KR101598533B1 (ko) 2009-06-05 2016-02-29 엘지이노텍 주식회사 이미지센서 및 이를 이용한 조도 측정 방법
KR20120000264A (ko) 2010-06-25 2012-01-02 주식회사 하이닉스반도체 씨모스 이미지 센서
US8735795B2 (en) 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
KR20140024707A (ko) 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
JP2014093754A (ja) 2012-11-07 2014-05-19 Sony Corp 撮像素子、撮像方法
KR20150053189A (ko) 2013-11-07 2015-05-15 삼성전기주식회사 카메라 모듈 및 그 제어 방법
US9392160B2 (en) * 2014-06-20 2016-07-12 Samsung Electronics Co., Ltd. Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
US10303973B2 (en) * 2015-04-15 2019-05-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data

Also Published As

Publication number Publication date
US10469731B2 (en) 2019-11-05
US20180084187A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
US10750097B2 (en) Varying exposure time of pixels in photo sensor using motion prediction
US20190109165A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
US9124837B2 (en) Solid-state image pickup device and driving method thereof, and electronic apparatus
US8553124B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
KR101435964B1 (ko) 촬상장치 및 고체 촬상소자의 구동방법
TWI382757B (zh) 提供多像素整合週期之方法，裝置以及系統
US7135665B2 (en) Solid-state image sensing apparatus including a noise suppressing circuit
KR101741499B1 (ko) 페데스탈 레벨 보상 방법 및 이를 수행할 수 있는 장치들
US9826185B2 (en) High signal to noise ratio of image based on signals with different sensitivities
TW200814289A (en) Wide dynamic range image sensor and method of use
KR20180031288A (ko) 이미지 센서 및 이를 포함하는 촬상 장치
TWI788972B (zh) 暗電流校準方法及相關像素電路
US10051216B2 (en) Imaging apparatus and imaging method thereof using correlated double sampling
EP1805801B1 (en) Image sensor with expanding dynamic range
JP6594048B2 (ja) 撮像装置及びその制御方法
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
JP2006197229A (ja) 撮像装置およびカメラ
WO2022107641A1 (ja) 固体撮像素子、電子機器、及び撮像方法
US20240107195A1 (en) Image sensor and image processing device including the same
US20230007204A1 (en) Pixel circuit, image sensor, and image pickup device and method for using the same
KR100494100B1 (ko) Cmos 이미지 센서
KR100771117B1 (ko) 이미지 센서 및 이의 제어 방법
JP2022064801A (ja) 画像センサー及び電子デバイス
JP2021016201A (ja) 固体撮像素子及び撮像装置