KR101597785B1 - 이미지 센서 및 영상 처리 방법 - Google Patents

이미지 센서 및 영상 처리 방법 Download PDF

Info

Publication number
KR101597785B1
KR101597785B1 KR1020090064115A KR20090064115A KR101597785B1 KR 101597785 B1 KR101597785 B1 KR 101597785B1 KR 1020090064115 A KR1020090064115 A KR 1020090064115A KR 20090064115 A KR20090064115 A KR 20090064115A KR 101597785 B1 KR101597785 B1 KR 101597785B1
Authority
KR
South Korea
Prior art keywords
low
illuminance
signal
pixel
unit
Prior art date
Application number
KR1020090064115A
Other languages
English (en)
Other versions
KR20110006470A (ko
Inventor
한상욱
송현철
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090064115A priority Critical patent/KR101597785B1/ko
Priority to US12/834,320 priority patent/US8508637B2/en
Publication of KR20110006470A publication Critical patent/KR20110006470A/ko
Application granted granted Critical
Publication of KR101597785B1 publication Critical patent/KR101597785B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

비닝 기법을 통해 감도를 증가시키면서 공간 해상도 손실을 최소화하기 위한 이미지 센서 및 로컬 비닝 방법이 개시된다. 일 실시예에 따른 이미지 센서는 조도가 낮아 영상 정보를 획득할 수 없었던 픽셀 영역만 공간 해상도를 희생하면서 비닝을 수행하여 영상 정보를 획득하고, 그 외의 픽셀 영역은 공간해상도의 희생없이 고해상도 고품질의 영상을 획득하도록 구성된다. 이미지 센서를 구성하는 단위 픽셀은 이전 영상 프레임에서 판독된 영상 신호가 저조도인지 여부를 나타내는 저조도 정보를 저장하도록 구성된다.
비닝, 해상도, 이미지 센서, 픽셀, 다이나믹 레인지

Description

이미지 센서 및 영상 처리 방법{Image sensor and image processing method}
하나 이상의 양상은 이미지 센서에 관한 것으로, 더욱 상세하게는 고감도 영상을 획득하기 위한 이미지 센서에 관한 것이다.
최근 이미지 센서 분야에서 많이 요구되는 성능 중 하나가 고감도이다. 고감도 센서는 빛이 어두운 상태에서도 양질의 영상을 얻을 수 있을 뿐만 아니라 빠르게 움직이는 물체를 촬영하기 위해 프레임 속도를 증가시켰을 때에도 상대적으로 고품질의 영상을 얻을 수 있다.
고감도 센서를 위해 많이 채용되는 기술이 비닝(Binning) 기법이다. 비닝 기법은 기본적으로 인접 픽셀들의 값을 합쳐서 고품질 고감도의 영상을 얻는 방법이다. 비닝 동작은 인접한 픽셀의 신호 값을 픽셀 안에서 누적된 전하(charge)를 합치는 동작으로 구현할 수도 있고 컬럼(column) 회로에서 픽셀의 아날로그 출력값을 합치는 동작으로도 구현할 수 있다. 또는 비닝은 디지털 영상 처리부에서 수행될 수도 있다. 이러한 전통적인 비닝 기법은 효과적으로 감도를 올릴 수 있지만 영상 전체에 공통적으로 적용되어 공간 해상도가 줄어드는 단점이 있다.
비닝 기법을 통해 감도를 증가시키면서 공간 해상도 손실을 최소화하기 위하여 저조도 영역에서만 비닝 기법을 도입하고 일반 조도 영역은 해상도 손실이 없도록 비닝 기법을 도입하지 않는 로컬 비닝 이미지 센서를 제안하고 이를 위한 로컬 비닝을 위한 영상 처리 방법이 제공된다.
일 양상에 따른 이미지 센서는 비닝 기법을 통해 감도를 증가시키면서 공간 해상도 손실을 최소화하도록 구성된다. 이미지 센서는 픽셀 어레이 및 컬럼 리드아웃 회로를 포함한다. 픽셀 어레이는 매트릭스 배열된 다수의 단위 픽셀을 포함한다. 컬럼 리드아웃 회로는 다수의 단위 픽셀의 컬럼마다 구성되며, 픽셀 어레이로부터 영상 프레임을 획득하는 복수 개의 컬럼 판독부를 포함한다. 컬럼 리드아웃 회로는 입력된 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성하고, 다음 프레임 기간에 입력되는 다음 영상 프레임에 대하여 이전 프레임에서 생성된 저조도 영역 정보에 따라서 국부적인 비닝 동작이 수행되도록 제어한다.
다른 양상에 따른 영상 처리 방법은, 매트릭스 배열된 다수의 단위 픽셀을 포함하는 픽셀 어레이로부터 입력되는 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성하는 동작과, 생성된 저조도 영역 정보를 저장하는 동작과, 다음 영상 프레임에 대하여 저조도 영역 정보에 따라서 결정되는 저조도인 영역에 대해서 국부적인 비닝 동작을 수행하는 동작을 포함한다.
일 실시예에 따르면, 조도가 낮아 영상 정보를 획득할 수 없었던 픽셀 영역만 공간 해상도를 희생하면서 영상 정보를 획득하고, 그 외의 픽셀 영역은 공간해상도의 희생없이 고해상도 고품질의 영상을 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 로컬 비닝 기법에 대한 개념을 나타내는 도면이다.
일 실시예에 따른 로컬 비닝 방법은 조도가 낮아 영상 정보를 획득할 수 없었던 픽셀 영역만 공간 해상도를 희생하면서 영상 정보를 획득하고, 그 외의 픽셀 영역은 공간해상도의 희생없이 고해상도 고화질의 영상을 얻는 방법이다.
저조도 픽셀 영역만 로컬 비닝을 하기 위해서는 어떤 픽셀이 저조도 픽셀 영역인지 판단해야 한다. 판단 기준은 매 프레임마다 각 픽셀의 출력값을 확인하고 그 출력 값이 너무 작아 고품질의 영상을 얻을 수 없는 픽셀이면 저조도 픽셀로 판단한다.
여기에서, 프레임은 픽셀 어레이의 픽셀 값이 전체적으로 출력되어 생성되는 이미지를 의미한다. 또한, 저조도는 수광량이 소정의 경계값보다 작은 것을 의미 한다. 예를 들어, 소정의 픽셀의 출력값이 주위 픽셀 영역의 출력값 또는 주위 픽셀 영역의 출력값보다 소정의 픽셀 값 이하인 값보다 낮은 출력값을 가지는 경우 저조도 영역으로 결정될 수 있다.
판단 결과를 바탕으로 저조도 픽셀이 어떤 픽셀인지를 기록한 저조도 맵을 만든다. 그런 다음, 다음 프레임의 영상을 출력할 때 각 픽셀이 이전 프레임에서 저조도 픽셀로 표시되었을 경우에는 비닝을 수행하고 그 출력 영상에 기초하여 다시 저조도 픽셀 영역을 판단하고 판단 결과를 저조도 맵에 업데이트한다. 그래서 다시 그 다음 프레임에서 비닝 동작은 업데이트된 저조도 맵에 따라 제어될 수 있도록 한다. 이러한 동작을 매 프레임마다 반복적으로 수행한다.
한편, 저조도 맵은 픽셀 단위로 픽셀 어레이의 모든 픽셀들의 픽셀 값이 소정의 경계값보다 작은지 여부를 판단하여 생성될 필요는 없다. 즉, 픽셀 어레이 중 일부 픽셀들의 픽셀 값을 이용하여 저해상도로 영상을 생성하여, 생성된 영상으로 저해상도의 저조도 맵을 생성한 다음, 저조도 맵 정보를 이용하여 2차적으로 획득되는 고해상도의 영상에 대하여 로컬 비닝이 수행될 수 있다.
도 1을 참조하면, 매트릭스 형태로 배열된 픽셀 어레이(1)에 입사된 광에 의해 출력되는 제1 영상 프레임을 획득하고(10), 제1 영상 프레임에서 저조도 영역 정보를 생성하고, 생성된 저조도 영역 정보를 기록한다(20).
제2 영상 프레임을 획득하고(30), 제2 영상 프레임에 대하여 제1 영상 프레임으로부터 결정된 저조도 영역에 대응하는 영역에 대하여 비닝을 수행하여, 저조도 영역에 대해서만 로컬 비닝이 수행된 제2 영상 프레임을 획득한다(40). 획득된 제2 영상 프렘임에 기초하여 다음 입력되는 영상 프레임에 적용될 저조도 영역을 판단하고 기록한다(50).
제3 영상 프레임을 획득하고(60), 제3 영상 프레임에 대하여 제2 영상 프레임으로부터 결정된 저조도 영역에 대응하는 영역에 대하여 비닝을 수행하여, 저조도 영역에 대해서만 로컬 비닝이 수행된 제3 입력 영상을 획득한다(70). 획득된 제3 입력 영상에 기초하여 다음 입력되는 영상 프레임에 적용될 저조도 영역을 판단하고 기록한다(80).
비닝 동작은 픽셀 내부에서 아날로그 리드아웃 회로에서 또는 디지털 알고리즘 상에서 구현 가능하지만 비닝 효과 측면에서 보면 픽셀 내부 또는 아날로그 리드아웃 회로에서 비닝하는 것이 효과적이다. 일 실시예에 따른 로컬 비닝 기법은 픽셀 내부, 컬럼 리드아웃 회로 또는 디지털 도메인에서 국부적으로 비닝하는 방법 모두를 포함한다.
일반적인 글로벌 비닝은 감도를 증가시키지만 공간해상도의 손실이 큰 데 비하여, 일 실시예에 따른 로컬 비닝은 공간 해상도의 손실이 저조도 영역에서만 발생하고 일반 조도 영역에서는 손실이 없다. 또한, 저조도 영역의 감도만 증가시키므로 저조도 영역으로의 다이나믹 레인지가 확장되는 효과도 얻을 수 있다.
도 2는 일 실시예에 따른 이미지 센서 구조의 일예를 나타내는 도면이다.
이미지 센서(200)는 픽셀 어레이(210), 로우 드라이버(220), 컬럼 리드아웃 회로(230) 및 컬럼 디코더(240)를 포함한다.
픽셀 어레이(210)는 빛 신호를 아날로그 신호로 변환하며 매트릭스 형태로 배열된 다수 개의 단위 픽셀을 포함한다.
로우 드라이버(220)는 픽셀 어레이(210)의 로우 라인(row line)을 선택하고 픽셀 구동 신호를 생성한다.
컬럼 리드아웃 회로(230)는 픽셀 어레이(210)로부터 신호를 판독한다.
컬럼 디코더(240)는 컬럼 방향의 어드레스 신호를 디코딩하여 컬럼 리드아웃 회로(230)에서 판독된 신호를 순차적으로 출력할 수 있게 해준다. 여기에서, 컬럼은 픽셀이 판독되는 방향을 나타내고, 수직 방향의 배열을 의미하는 것은 아니다.
컬럼 리드아웃 회로(230)는 입력된 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성하고, 다음 프레임 기간에 입력되는 다음 영상 프레임에 대하여 저조도 영역 정보에 따라서 결정되는 저조도 영역에 대해서 국부적인 비닝 동작이 수행되도록 제어한다. 저조도 영역 정보는 다수 개의 단위 픽셀의 전부 또는 일부에 대응하는 이전 영상 프레임의 영상 신호가 저조도를 나타내는지 여부를 나타내는 저조도 정보로서 다수 개의 단위 픽셀에 저장될 수 있다. 저조도 영역 정보는 모든 단위 픽셀 각각에 대하여 생성될 필요가 없으므로 일부 단위 픽셀의 픽셀 값으로 생성될 수 있다.
컬럼 리드아웃 회로(230)에는 픽셀 어레이(210)의 각 컬럼마다 컬럼 판독부(231)가 배치된다. 컬럼 판독부(231)는 통상적으로 노이즈를 제거하기 위한 아날로그 회로 및 아날로그 디지털 컨버터(Aanalog to Digital Converter, 이하 ADC라 함)가 존재한다. 예를 들어, 한 로우의 픽셀 신호가 각 컬럼 판독부(231, 232)의 입력으로 들어오면, 먼저 노이즈 제거 회로를 통해 노이즈를 제거한 후 ADC를 통해 디지털 값으로 변환되고, 디지털 값은 래치에 저장된다. 여기까지의 동작은 컬럼 패러럴하게 동작한다. 이후에 각 컬럼에 순차적으로 인가되는 컬럼 디코딩 신호가 들어오면 해당 픽셀 출력이 센서 출력으로 하나씩 나가게 된다. 이에 비해, 일 실시예에 따른 컬럼 판독부(231)는 통상적인 픽셀의 영상 신호의 판독하는 동작 이외에 저조도 정보를 저장하고 판독하는 동작을 더 수행한다.
일 실시예에 따른 로컬 비닝 기능을 지원하는 컬럼 판독부의 예시는 도 3에 도시된 바와 같다.
도 3은 일 실시예에 따른 컬럼 판독부의 구성을 나타내는 도면이다.
이전 영상 프레임의 해당 픽셀이 저조도인지를 나타내는 저조도 정보가 먼저 비닝 결정부(311)에 인가된다. 이전 프레임의 해당 픽셀이 저조도인지를 나타내는 저조도 정보는 해당 픽셀 내부에 저장될 수도 있으며, 이미지 센서(200) 내부 또는 외부의 별도의 메모리에 저장될 수도 있다. 따라서, 비닝 결정부(311)는 해당 픽셀로부터 또는 별도의 메모리로부터 저조도 정보를 입력받고, 저조도 정보가 해당 픽셀이 저조도임을 나타내면, 비닝 동작을 수행하는 것으로 결정하고, 저조도 정보가 해당 픽셀이 저조도가 아님을 나타내면 비닝 동작을 수행하지 않는 것으로 결정한다. 일 실시예에 따라, 비닝 결정부(311)는 픽셀 어레이(210)로부터 영상 신호들(또는 픽셀 값)들을 입력받아 아날로그 도메인에서 직접 비닝을 수행할 수도 있고, 픽셀 어레이(210)에서 전하 도메인(charge domain)에서 비닝이 수행되도록 제어하고 비닝 수행 결과를 입력받도록 구성될 수도 있다.
픽셀 어레이(210)가 컬러 정보를 획득하기 위하여 컬러 필터를 포함하여 구 성된 경우, 비닝 동작은 주변 컬럼과 같은 색깔의 픽셀끼리 수행될 수 있다. 이를 위해, 비닝 결정부(311)는 소정의 컬럼 픽셀이 저조도 영역의 픽셀인 경우 주변 컬럼의 같은 색의 픽셀로부터 출력된 영상 신호를 입력받아 아날로그 비닝 동작을 수행할 수 있다. 또는, 비닝 결정부(311)는 동일한 색의 픽셀끼리 픽셀 값이 합쳐지도록 전하 도메인에서의 비닝을 위한 제어 동작을 수행할 수 있다. 비닝 결정부(311)는 대응하는 컬럼의 픽셀의 출력값에 따라서 비닝 동작 수행 여부를 결정할 수 있는 한 다양한 방식으로 구현될 수 있다.
비닝 결정부(311)에서 비닝이 수행되거나, 수행되지 않은 픽셀 신호는 노이즈 제거부(312)로 전달된다. 노이즈 제거부(312)는 CDS(Correlated Double Sampling)를 수행한다. 상세하게는, 노이즈 제거부(312)는 픽셀의 리셋에 따른 리셋 신호와 픽셀에서 광전하 축적에 따라 생성된 전하량에 따른 영상 신호 사이의 차를 수행하여 노이즈를 제거하고, 노이즈가 제거된 영상 신호를 ADC부(313)로 전달한다. ADC부(313)에서 전달된 영상 신호를 디지털 변환하고, 디지털 변환된 신호는 래치(314)에 저장된다.
저조도 판단부(315)에서는 래치(314)에 저장된 영상 신호를 바탕으로 판독된 영상 신호가 저조도인지 여부를 판단하고, 저조도 정보 업데이트부(316)는 판단 결과를 이용하여 저조도 정보를 업데이트한다. 저조도 정보는 영상 신호가 판독된 픽셀의 아날로그 메모리에 저장될 수 있다. 예를 들어, 저조도 판단부(315)는 해당 픽셀이 저조도 픽셀인 경우에는 "High" 전압을 일반 조도 픽셀인 경우에는 "Low" 전압을 픽셀 내에 기록할 수 있다. 위 동작은 컬럼 패러럴하게 이루어진다.
여기에서, 저조도 정보를 픽셀 안에 저장하는 것으로 설명하였지만, 저조도 정보는 이미지 센서(200) 내부에 포함될 수 있는 별도의 프레임 메모리(도시되지 않음)에 저장하여 활용할 수도 있고 이미지 센서(200) 외부의 프레임 메모리(도시되지 않음)에 저장하여 활용할 수도 있다.
한편, 전하 도메인에서의 비닝이 가능한 픽셀 구조를 채택한 센서에서는 컬럼 리드아웃 회로에서 수행하는 아날로그 비닝도 함께 구현할 수 있다. 아날로그 도메인 및 전하 도메인 모두에서 비닝을 실행하면, 감도 증가의 효과를 더 크게 볼 수 있다. 아날로그 비닝 설명에서 기술한 컬럼 리드아웃 회로를 사용하고 전하 도메인 비닝의 동작 방법을 이용하면 2 기법 모두 사용 가능하다.
도 4는 일 실시예에 따른 아날로그 로컬 비닝이 가능한 픽셀 구조를 나타내는 도면이다.
픽셀(400)은 포토다이오드(PD), 전송 트랜지스터(T), 플로팅 확산 노드 커패시터(CFD), 리셋 트랜지스터(R), 소스 팔로워 트랜지스터(SF) 및 선택 트랜지스터(S)를 포함한다.
포토다이오드(PD)은 수광하여 광전하를 생성한다.
전송 트랜지스터(T)는 포토다이오드(PD)에 접속되고 신호 TX에 따라 광전하를 플로팅 확산 노드(FD)로 전송한다.
플로팅 확산 노드 커패시터(CFD0)는 전송 트랜지스터(T)를 통하여 전송된 광 전하를 축적한다. 일 실시예에 따른 저조도 정보는 플로팅 확산 노드(FD) 노드의 플로팅 확산 노드 커패시터(CFD0)에 저장될 수 있다. 플로팅 확산 노드 커패시터(CFD0)는 FD 노드에 커패시터를 추가하여 형성할 수도 있고 FD 노드의 기생 커패시터를 이용할 수도 있다. 기생 커패시터를 이용하면 부가적인 하드웨어의 추가가 필요없게 된다.
리셋 트랜지스터(R)는 플로팅 확산 노드(FD)에 축적된 광전하는 배출시킨다.
소스 팔로워 트랜지스터(SF)는 플로팅 확산 노드 커패시터(CFD)내의 광 전하를 전압 신호로 증폭 변환한다.
선택 트랜지스터(S)는 선택 신호(SEL)에 따라 선택적으로 출력 전압을 출력한다.
일 실시예에 따른 픽셀(400)이 일반적인 4Tr 구조와 다른 점은 RST 트랜지스터의 드레인 노드가 전원(VDD)에 연결되지 않고 RST_col 신호라인에 연결된다는 점이다. RST_col 라인의 전압은 동작 순서에 따라 가변된다. RST_col라인에는 리셋 전압(예를 들어, VDD), 저조도임을 나타내는 저조도 정보에 대응하는 전압(VHIGH) 또는 저조도가 아님을 나타내는 저조도 정보를 나타내는 전압(VLOW)이 인가될 수 있다.
또한, 플로팅 확산 노드 커패시터(CFD0)에는 이전 영상 프레임에서의 해당 단위 픽셀의 값이 저조도인지를 나타내는 저조도 정보가 포토다이오드(PD)의 광 전하가 전달되는 시각과 다른 시간에 임시 저장되고, 광전하에 때한 영상 신호가 출 력되는 시간과 다른 시간에 출력될 수 있다.
도 5는 도 4의 아날로그 로컬 비닝이 가능한 픽셀의 동작 방법을 나타낸 타이밍도이다.
일 실시예에 따른 픽셀의 동작 방법은 일반 센서 동작과 다르게 저조도 정보 판독을 위한 CFD READ 구간과 저조도 정보 기록을 위한 CFD WRITE 구간이 필요하다.
FD 커패시터(CFD0)에 이전 영상 프레임에서의 픽셀(400)의 영상 신호가 저조도인지를 나타내는 정보가 저장되어 있다고 가정한다. 리셋 트랜지스터(R)의 신호 RST를 하이 레벨로 하여 리셋 신호를 읽기 전에, CFD READ 구간에서 선택 트랜지스터(S)를 하이 레벨로 하여 FD 커패시터(CFD0)에 저장된 이전 영상 프레임에서의 픽셀(400)의 영상 신호가 저조도인지를 나타내는 저조도 정보를 판독한다.
RST READ, Signal READ, CDS&ADC 구간의 동작은 일반 이미지 센서의 동작과 동일하게 수행된다. 상세하게는 RST_col를 하이 레벨로 하고, 리셋 트랜지스터(R)의 게이트 신호 RST를 하이 레벨로 하여 리셋 신호를 출력한다. 그런 다음, Signal READ 기간에서는 전달 트랜지스터(T)의 게이트 신호 TX를 하이 레벨로 하여, 빛에 의해 축적된 광전하에 의한 영상 신호를 출력한다.
CDS&ACD 구간에서 컬럼 판독부(231)의 비닝 결정부(311)에서 저조도 정보를 받아들이고 만약 저조도 픽셀이면 동일한 행의 주변 픽셀로부터 판독된 영상 신호를 이용하여 아날로그 비닝 동작을 수행하고, 일반 픽셀이면 영상 신호를 비닝없이 노이즈 제거부(312)로 전달한다. 노이즈 제거부(312)에서 리셋 신호 및 영상 신호 를 이용하여 노이즈를 제거하고, ADC(313)에서 노이즈 제거된 영상 신호를 디지털 신호로 변환하고, 디지털 변환된 영상 신호는 래치(314)에 저장된다. 디지털 변환된 영상 신호는 컬럼 디코더(240)에 의해 출력된다.
디지털 변환된 영상 신호는 저조도 정보 판단부(315)로 입력되어, 저조도인지가 판단된다. 저조도 판단 여부에 따라서 저조도 정보 업데이트부(316)는 저조도 정보를 업데이트하고, 업데이트된 저조도 정보를 CFD WRITE 구간에서 RST_col 신호로 픽셀 아날로그 메모리에 기록한다. CFD WRITE 구간에서 신호 RST도 하이 레벨로 되어, RST_col 신호는 플로팅 확산 노드(FD)에 전달된다. 판독된 영상 신호가 저조도인지 여부에 따라 CFD WRITE 구간에서 신호 RST_col의 신호 레벨은 조정될 수 있다. 위 동작은 반복하여 수행된다.
즉, 플로팅 확산 노드(FD)에 저장된 이전 영상 프레임에 대한 영상 신호가 저조도인지를 나타내는 저조도 정보는 리셋 트랜지스터(R)가 온이 되어 리셋 신호가 출력되기 전에 플로팅 확산 노드로부터 판독되고, 현재 영상 프레임에 대한 포토다이오드의 광 전하 축적에 따르는 영상 신호가 출력한 이후에 현재 영상 프레임에 대한 영상 신호가 저조도인지 여부를 나타내는 저조도 정보가 기록된다.
다음으로, 도 6 내지 도 13을 참조하여 전하 도메인에서의 비닝 동작에 대하여 설명한다.
비닝을 통한 감도 증가의 효과는 전하 도메인에서 이루어질 때 가장 크게 얻을 수 있다. 일반 4T 구조의 이미지 센서에서는 행 방향의 컨트롤만 가능하다. 전하 도메인에서 로컬 비닝이 가능하려면, 동일한 행에 있는 픽셀들에 대해서도 별도의 제어가 필요하다. 그러나, 앞서 설명한 아날로그 비닝의 실시예에서는 픽셀별 제어가 불가능하다. 따라서, 단위 픽셀 및 컬럼 판독부(231)는 전하 도메인에서 국부적인 비닝 동작이 수행되도록 변형되어야 한다.
도 6는 일 실시예에 따른 전하 도메인에서 로컬 비닝 설명을 위한 단위 픽셀의 구조를 나타내는 도면이다.
도 6에 도시된 바와 같이, 단위 픽셀(600)은 전송 트랜지스터(T1)의 게이트에 전송 제어 트랜지스터 하나(T2)를 더 포함하고, 컬럼 버스 라인(Tx_col)이 더 포함되어 있어 컬럼 방향의 컨트롤도 가능하다. 포토다이오드(PD)에 의해 축적된 전하는 전송 제어 트랜지스터(T2) 및 전송 트랜지스터(T1)가 모두 온일 때, 플로팅 확산 노드(FD)로 전달된다. 저조도 정보는 플로팅 확산 노드(FD)의 커패시터에 저장된다.
따라서, 단위 픽셀(600)은 결과적으로 픽셀별 비닝 컨트롤이 가능하다. 또한, 전하 도메인에서 비닝이 수행되도록 플로팅 확산 노드(FD)는 다른 픽셀의 포토다이오드로부터 전송되는 광 전하를 수신하는 노드에 연결된다. Tx_col과 RST_col에 대한 신호는 시간적으로 겹치지 않으므로 하나의 라인으로 구현될 수도 있다.
최근 픽셀의 소형화를 위해 공유(Shared) 픽셀 구조가 널리 사용되고 있다. 도 7 내지 도 13을 참조하여 공유 픽셀 구조에서의 전하 도메인의 로컬 비닝 동작을 설명한다.
도 7은 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 공유 픽셀의 구조를 나타내는 도면이다.
도 7에 도시된 바와 같이, 리셋 트랜지스터(R(n)), 소스 팔로워 트랜지스터(SF(n)), 및 선택 트랜지스터(S(n))이 2개의 픽셀에서 공유된다. 선택 트랜지스터(S(n))의 게이트 신호 SEL, 리셋 트랜지스터 R(n)의 게이트 신호 RST, 전송 제어 트랜지스터 T2(n)의 게이트 신호 TX0 및 전송 트랜지스터 T1(n)의 게이트 신호 TX1는 각 로우 별로 인가되며, 리셋 트랜지스터의 드레인단 신호 RST_col 및 전송 제어 트랜지스터 T2(n)의 드레인단 신호 TX_col는 컬럼 판독부(231)에서 제공된다.
이하에서, 신호 TX0와 연결되어 있는 포토다이오드들(PD(n))의 행을 n번째 행이라고 하고, 신호 TX1와 연결되어 있는 포토다이오드들(PD(n+1))의 행을 n+1번째 행이라고 한다.
도 8a는 도 7의 공유 픽셀 구조에서 비닝 동작이 수행되는 경우의 타이밍도이다.
도 8a를 참조하면, n번째 행의 동작에서, 신호 SEL이 하이 레벨이 되면, CFD READ 기간에 이전 영상 프레임의 영상 신호에 따라 결정된 저조도 정보가 컬럼 판독부(231)로 출력된다. 여기에서, 컬럼 판독부(231)는 판독된 저조도 정보가 저조도임을 나타내는 경우, 비닝이 수행되도록 RST_col 신호 및 TX_col 신호를 제어한다.
RST READ 기간에 신호 RST_col로 리셋 신호가 인가되어 RST 신호가 하이 레 벨이 되며, 리셋 신호가 출력된다. 신호 RST 및 신호 RST_col는 다시 로우 레벨로 되며, Sig READ 기간에, 신호 TX_col가 하이 레벨로 유지된다. 또한, Sig READ 기간에, 신호 TX0가 Sig READ 기간의 초반에 하이 레벨로 되어 포토다이오드(PD(n))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달되고, 신호 TX1는 Sig READ 기간의 후반에 하이 레벨로 되어, 포토다이오드(PD(n+1))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달됨으로써 전하 도메인에서의 비닝이 수행된다. 비닝 수행 결과에 대응하는 영상 신호(n)가 출력된다.
CDS&ACD 기간에는 출력된 리셋 신호 및 영상 신호(n)를 이용하여 영상 신호(n)에서 노이즈를 제거하고, 노이즈가 제거된 영상 신호(n)를 디지털 신호로 변환하여 이미지 센서(200) 외부로 출력한다. 또한, 컬럼 판독부(231)에서 디지털 신호로 변환된 영상 신호(n)가 저조도를 나타내는지에 대하여 판단 동작이 수행되고, 저조도 정보 업데이트가 수행될 수 있다.
n+1번째 행의 동작은 n번째 행의 동작에서 판독된 저조도 정보에 따라서 이루어지므로, n번째 행의 동작에서 CFD READ 기간이 없으며, 동작 끝에 영상 신호(n)에 대한 저조도 정보가 CFD에 기록되는 CFD WRITE 기간이 있다. 또한, n+1번째 행의 동작에서 Sig READ 기간에 TX_col 신호는 로우 레벨로 유지되어 포토다이오드(PD(n)) 및 포토다이오드(PD(n+1))에 축적된 광전하의 전송이 이루어지지 않는다.
업데이트된 저조도 정보는 n+1번째 행의 CFD WRITE 구간에서 신호 RST 및 신 호 RST_col를 이용하여 플로팅 확산 노드(FD)에 기록된다. 저조도 정보는 저조도 여부에 따라 하이 또는 로우가 될 수 있으므로, CFD WRITE 구간에서 RST_col의 값은 변동가능하다.
도 8b는 도 7의 공유 픽셀 구조에서 비닝 동작이 수행되지 않는 경우의 타이밍도이다.
비닝 동작이 수행되지 않는 경우의 동작은 Sig READ 기간의 동작을 제외하고는, 비닝 동작이 수행되는 경우의 동작과 유사하다. 도 8b를 참조하면, n번째 행의 동작에서, 신호 SEL이 하이 레벨이 되면, CFD READ 기간에 플로팅 확산 노드(FD(n))에 저장되어 있던, 이전 영상 프레임의 영상 신호에 따라 결정된 저조도 정보가 컬럼 판독부(231)로 출력된다. 여기에서, 컬럼 판독부(231)는 판독된 저조도 정보가 저조도가 아님을 나타내는 경우, 비닝이 수행되지 않도록 신호 RST_col 및 신호 TX_col를 제어한다.
RST READ 기간에 신호 RST_col로 리셋 신호가 인가되고 신호 RST가 하이 레벨이 되며, 리셋 신호가 출력된다. Sig READ 기간에, 신호 TX_col는 신호 TX0이 하이 레벨인 동안에만 하이 레벨이 된다. 따라서, 신호 TX_col 및 신호 TX0가 모두 하이 레벨인 구간에 포토다이오드(PD(n))에 축적된 광전하가 플로팅 확산 노드(FD(n))로 전달되어, 포토다이오드(PD(n))에 축적된 광전하에 대응하는 영상 신호(n)가 출력된다.
이후, CDS&ACD 기간에는 출력된 리셋 신호 및 영상 신호(n)를 이용하여 영상 신호(n)에서 노이즈를 제거하고, 노이즈가 제거된 영상 신호(n)를 디지털 신호로 변환하여 이미지 센서 외부로 출력한다.
n+1번째 행의 동작에서, RST READ 기간에 리셋 신호가 출력되고, sig READ 기간에 신호 TX_col는 신호 TX1이 하이 레벨인 동안에만 하이 레벨이 된다. 그러면, 포토다이오드(PD(n+1))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달되어, 포토다이오드(PD(n+1))에 축적된 광전하에 대응하는 영상 신호(n+1)가 출력된다.
이후, CDS&ACD 기간에는 출력된 리셋 신호 및 영상 신호(n+1)를 이용하여 영상 신호(n+1)에서 노이즈를 제거하고, 노이즈가 제거된 영상 신호(n+1)를 디지털 신호로 변환하여 이미지 센서 외부로 출력한다. 또한, 디지털 신호로 변환된 영상 신호(n) 및 영상 신호(n+1)를 모두 고려하여, 저조도를 나타내는지에 대하여 판단 동작이 수행되고, 저조도 정보 업데이트가 수행될 수 있다. 업데이트된 저조도 정보는 n+1번째 행의 CFD WRITE 구간에서 플로팅 확산 노드(FD(n))에 기록된다. 저조도 정보는 저조도 여부에 따라 하이 또는 로우가 될 수 있으므로, CFD WRITE 구간에서 RST_col의 값은 변동가능하다.
도 9는 일 실시예에 따른 도 8의 전하 도메인에서 로컬 비닝을 위한 공유 픽셀의 구조를 열 방향으로 확장시킨 구조를 나타내는 도면이다.
도 2 및 도 9를 참조하면, 컬럼 0은 컬럼 판독부(231)에 의해 제어되는 신호 TX_col0 및 신호 RST_col0에 의해 전하 도메인에서 비닝 동작이 수행되고, 컬럼 1은 컬럼 판독부(232)에 의해 제어되는 신호 TX_col1 및 신호 RST_col1에 의해 전하 도메인에서 비닝 동작이 수행되지 않는 경우에 대하여 도 10의 타이밍도를 참조하여 설명한다.
도 10은 도 9의 픽셀 구조에 대한 타이밍도이다.
컬럼 0의 동작을 설명하면, n번째 행의 동작에서, 신호 SEL이 하이 레벨이 되면, CFD READ 기간에 이전 영상 프레임의 영상 신호에 따라 결정된 저조도 정보가 제0 컬럼 판독부(231)로 출력된다. 여기에서, 제0 컬럼 판독부(231)는 판독된 저조도 정보가 저조도임을 나타내는 경우, 비닝이 수행되도록 신호 RST_col0 및 신호 TX_col0를 제어한다.
RST READ 기간에 RST_col0 신호로 리셋 신호가 인가되고 RST 신호가 하이 레벨이 되며, 리셋 신호가 출력된다. RST 신호 및 RST_col은 다시 로우 레벨로 되며, Sig READ 기간에, TX_col0 신호가 하이 레벨로 유지되고, TX0 신호가 Sig READ 기간의 초반에 하이 레벨로 되어 포토다이오드(PD(n))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달되고, TX1 신호는 Sig READ 기간의 후반에 하이 레벨로 되어, 포토다이오드(PD(n+1))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달됨으로써, 전하 도메인에서의 비닝이 수행된다. 비닝 수행 결과에 대응하는 영상 신호(n)가 출력된다.
n+1번째 행의 동작은 n번째 행의 동작에서 판독된 저조도 정보에 따라서 이루어지므로, n번째 행의 동작에서 CFD READ 기간이 없으며, 동작 끝에 영상 신호(n)에 대한 저조도 정보가 CFD에 기록되는 CFD WRITE 기간이 있다. 또한, n+1번째 행의 동작에서 Sig READ 기간에 TX_col 신호는 로우 레벨로 유지되어 포토다이오드(PD(n)) 및 포토다이오드(PD(n+1))에 축적된 광전하의 전송이 이루어지지 않는다.
업데이트된 저조도 정보는 n+1번째 행의 CFD WRITE 구간에서 플로팅 확산 노드(FD)에 기록된다. 저조도 정보는 저조도 여부에 따라 하이 또는 로우가 될 수 있으므로, CFD WRITE 구간에서 RST_col의 값은 변동가능하다.
컬럼 1의 동작을 살펴보면, 신호 SEL이 하이 레벨이 되면, CFD READ 기간에 이전 영상 프레임의 영상 신호에 따라 결정된 저조도 정보가 제1 컬럼 판독부(232)로 출력된다. 여기에서, 제1 컬럼 판독부(232)는 판독된 저조도 정보가 저조도가 아님을 나타내는 경우, 비닝이 수행되지 않도록 신호 RST_col1 및 신호 TX_col1를 제어한다.
RST READ 기간에 리셋 신호가 출력되고, sig READ 기간에 TX_col1 신호는 신호 TX1(n1)이 하이 레벨인 동안에만 하이 레벨이 된다. 포토다이오드(PD(n1))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달되어, 포토다이오드(PD(n1))에 축적된 광전하에 대응하는 영상 신호(n1)가 출력된다. 이후, CDS&ACD 기간에는 출력된 리셋 신호 및 영상 신호(n1)를 이용하여 영상 신호(n1)에서 노이즈를 제거하고, 노이즈가 제거된 영상 신호(n1)를 디지털 신호로 변환하여 이미지 센서 외부로 출력한다. 또한, 디지털 신호로 변환된 영상 신호(n1)가 저조도를 나타내는지에 대하여 판단 동작이 수행되고, 저조도 정보 업데이트가 수행될 수 있다.
n+1번째 행의 동작에서, RST READ 기간에 리셋 신호가 출력되고, sig READ 기간에 TX_col1 신호는 신호 TX1(n1+1)이 하이 레벨인 동안에만 하이 레벨이 된다. 포토다이오드(PD(n1+1))에 축적된 광전하가 플로팅 확산 노드(FD)로 전달되어, 포토다이오드(PD(n1+1))에 축적된 광전하에 대응하는 영상 신호(n1+1)가 출력된다. 이후, CDS&ACD 기간에는 출력된 리셋 신호 및 영상 신호(n1+1)를 이용하여 영상 신호(n1+1)에서 노이즈를 제거하고, 노이즈가 제거된 영상 신호(n1+1)를 디지털 신호로 변환하여 이미지 센서 외부로 출력한다. 또한, 디지털 신호로 변환된 영상 신호(n1+1))가 저조도를 나타내는지에 대하여 판단 동작이 수행된다. 저조도 정보 업데이트는 영상 신호(n1) 및 영상 신호(n1+1)을 고려하여 수행될 수 있다.
도 11은 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 2×2의 공유 픽셀 구조를 나타내는 도면이다.
도 11에 도시된 바와 같이, 리셋 트랜지스터 R(n), 소스 팔로워 트랜지스터 SF(n), 및 선택 트랜지스터 S(n)이 4개의 전송 제어 트랜지스터(T2(n), T2(n+1), T2(n1), T2(n1+1)), 4개의 전송 트랜지스터(T1(n), T1(n+1), T1(n1), T1(n1+1)), 4개의 포토 다이오드(PD(n), PD(n+1), PD(n1), PD(n1+1))에 의해서 공유된다.
도 12는 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 1×4의 공유 픽셀 구조를 나타내는 도면이다.
도 12의 구조에서 이 동작에서는 첫번 째 열의 픽셀과 3번째 열의 픽셀이 같은 색깔이고, 두번째 열의 픽셀과 4번째 열의 픽셀이 같은 색깔이라고 가정하고 같은 색깔끼리의 픽셀들끼리 비닝하는 동작을 수행할 수 있으며, 도 13은 이러한 비 닝 동작을 나타내는 타이밍도이다.
도 13은 도 12의 공유 픽셀 구조에서 컬럼 0에서는 비닝 동작이 수행되고, 컬럼 1에서는 비닝 동작이 수행되지 않는 경우의 타이밍도이다.
도 13을 참조하면, n번째 행 및 컬럼 0에서 Sig READ 기간에 신호 TX_col0은 하이 레벨로 유지되고, 신호 TX0 및 신호 TX2가 하이레벨로 되어, 포토다이오드(PD(n)) 및 포토다이오드(PD(n+2))에 축적된 전하가 플로팅 확산 노드(FD(n))로 전달되어, 비닝이 수행된 영상 신호가 출력된다. 한편, n번째 행의 컬럼 1에서 Sig Read 기간에 TX_col1은 신호 TX0가 하이 레벨인 구간에서만 하이 레벨로 되어, 포토다이오드(PD(n1))에서 축적된 전하가 플로팅 확산 노드(FD(n1))로 전달되어, 비닝이 수행되지 않은 영상 신호가 출력된다.
n+1번째 행 및 컬럼 0에서 Sig READ 기간에 TX_col0은 하이 레벨로 유지되고, 신호 TX1 및 신호 TX3이 하이레벨로 되어, 포토다이오드(PD(n+1)) 및 포토다이오드(PD(n+3))에 축적된 전하가 플로팅 확산 노드(FD(n))로 전달되어, 비닝이 수행된 영상 신호가 출력된다. 한편, n+1번째 행 및 컬럼 1에서 Sig Read 기간에 TX_col1은 신호 TX1이 하이 레벨인 구간에서만 하이 레벨로 되어, 포토다이오드(PD(n1+1))에서 축적된 전하가 플로팅 확산 노드(FD(n1))로 전달되어, 비닝이 수행되지 않은 영상 신호가 출력된다.
n+2번째 행 및 컬럼 0에서 Sig READ 기간에 TX_col 신호는 로우 레벨로 유지되어 TX0 신호 및 TX2에 하이 레벨 신호가 인가되더라도 포토다이오드(PD(n)) 및 포토다이오드(PD(n+2))에 축적된 광전하의 전송이 이루어지지 않는다. 한편, n+2 번째 행 및 컬럼 1에서 Sig Read 기간에 TX_col1은 신호 TX2가 하이 레벨인 구간에서만 하이 레벨로 되어, 포토다이오드(PD(n1+2))에서 축적된 전하가 플로팅 확산 노드(FD(n1))로 전달되어, 비닝이 수행되지 않은 영상 신호가 출력된다.
n+3번째 행 및 컬럼 0에서 Sig READ 기간에 TX_col 신호는 로우 레벨로 유지되어 TX1 신호 및 TX3에 하이 레벨 신호가 인가되더라도 포토다이오드(PD(n+1)) 및 포토다이오드(PD(n+3))에 축적된 광전하의 전송이 이루어지지 않는다. 한편, n+3번째 행 및 컬럼 1에서 Sig Read 기간에 TX_col1은 신호 TX3이 하이 레벨인 구간에서만 하이 레벨로 되어, 포토다이오드(PD(n1+3))에서 축적된 전하가 플로팅 확산 노드(FD(n1))로 전달되어, 비닝이 수행되지 않은 영상 신호가 출력된다.
나머지 구간의 동작은 이전 타이밍도에서의 동작과 유사하게 수행되므로 상세한 설명은 생략한다. 이와 같이 일 실시예에 따르면, 단위 픽셀당 하나의 트랜지스터를 추가하여 각 픽셀마다 비닝을 제어할 수 있으며, 동일한 색의 컬러들에 대한 영상 정보를 비닝할 수 있다.
도 14는 일 실시예에 따른 로컬 비닝을 위한 영상 처리 방법을 나타내는 도면이다.
매트릭스 배열된 다수의 단위 픽셀을 포함하는 픽셀 어레이로부터 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성한다(1410). 생성된 저조도 영역 정보를 저장한다(1420). 저조도 영역 정보는 이미지 센서에 포함된 각 픽셀 또는 별도의 메모리에 저장될 수 있다.
다음 영상 프레임이 입력되면, 저조도 영역 정보에 따라서 결정되는 저조도 인 영역에 대해서 다음 영상 프레임에 대한 국부적인 비닝 동작을 수행한다(1430). 비닝을 수행하는 동작은 전하 도메인, 아날로그 도메인 및 디지털 도메인 중 적어도 하나에서 수행될 수 있다. 새로운 영상 프레임이 입력될 때마다 저조도 영역 정보를 업데이트할 수 있다.
일 실시예에 따른 로컬 비닝 기법을 활용하면, 저조도 영역에서만 비닝을 수행할 수 있게 되어 일반 조도 영역의 공간 해상도 희생 없이 고감도의 영상을 획득할 수 있다. 아날로그 로컬 비닝의 경우 픽셀 내의 추가적인 하드웨어가 없고 컬럼쪽에만 최소한의 부가 회로가 필요하기 때문에 폰 카메라 및 DSC(Digital Still Camera)와 같이 소형 픽셀이 중요한 이슈인 응용분야에서도 성공적으로 적용될 수 있다.
픽셀 내의 전하 로컬 비닝의 경우 픽셀에 추가되는 트랜지스터가 있기 때문에 시큐리티 또는 오토모빌 응용 센서와 같이 상대적으로 큰 픽셀 구조가 필요한 센서에 좀 더 효과적으로 적용될 수 있다. 아울러 2 기법 모두를 사용하면 더 큰 감도 증가 효과를 얻을 수 있다. 추가적으로 저조도 영역만 국부적 비닝을 통해 감도를 향상시킬 수 있는 구조는 저조도 영역의 다이나믹 레인지가 증가하는 부가 효과도 얻을 수 있다. 또한, 최근 이미지 센서에서 요구되는 특성 중 가장 중요한 고감도의 성능을 일반 조도 영역에서의 공간 해상도 희생없이 구현할 수 있으로 여러 응용 분야에 적용될 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그 먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 일 실시예에 따른 로컬 비닝 기법에 대한 개념을 나타내는 도면이다.
도 2는 일 실시예에 따른 이미지 센서 구조를 나타내는 도면이다.
도 3은 일 실시예에 따른 컬럼 판독부의 구성을 나타내는 도면이다.
도 4는 일 실시예에 따른 아날로그 로컬 비닝이 가능한 픽셀 구조를 나타내는 도면이다.
도 5는 도 4의 아날로그 로컬 비닝이 가능한 픽셀의 동작을 나타내는 타이밍도를 나타내는 도면이다.
도 6은 일 실시예에 따른 전하 도메인에서 로컬 비닝 설명을 위한 단위 픽셀의 구조를 나타내는 도면이다.
도 7은 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 공유 픽셀의 구조를 나타내는 도면이다.
도 8a는 도 7의 공유 픽셀 구조에서 비닝 동작이 수행되는 경우의 타이밍도를 나타내고, 도 8b는 도 7의 공유 픽셀 구조에서 비닝 동작이 수행되지 않는 경우의 타이밍도이다.
도 9는 일 실시예에 따른 도 8의 전하 도메인에서 로컬 비닝을 위한 공유 픽셀의 구조를 열 방향으로 확장시킨 구조를 나타내는 도면이다.
도 10은 도 9의 픽셀 구조에 대한 타이밍도이다.
도 11은 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 2×2의 공유 픽셀 구조를 나타내는 도면이다.
도 12는 일 실시예에 따른 전하 도메인에서 로컬 비닝을 위한 1×4의 공유 픽셀 구조를 나타내는 도면이다.
도 13은 도 12의 공유 픽셀 구조에서 컬럼 0에서는 비닝 동작이 수행되고, 컬럼 1에서는 비닝 동작이 수행되지 않는 경우의 타이밍도이다.
도 14는 일 실시예에 따른 로컬 비닝을 위한 영상 처리 방법을 나타내는 도면이다.

Claims (20)

  1. 매트릭스 배열된 다수의 단위 픽셀을 포함하는 픽셀 어레이; 및
    상기 다수의 단위 픽셀의 컬럼마다 구성되며, 상기 픽셀 어레이로부터 영상 프레임을 획득하는 컬럼 판독부를 포함하는 컬럼 리드아웃 회로를 포함하고,
    상기 컬럼 리드아웃 회로는 상기 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성하고, 다음 프레임 기간에 입력되는 다음 영상 프레임이 입력되면, 상기 저조도 영역 정보에 따라서 결정되는 저조도 영역에 대해서 국부적인 비닝 동작이 수행되도록 제어하고,
    상기 영상 프레임에 대한 저조도 영역 정보는 상기 다수의 단위 픽셀의 전부 또는 일부에 대응하는 이전 영상 프레임의 영상 신호가 저조도를 나타내는지 여부를 나타내는 저조도 정보를 포함하는 이미지 센서.
  2. 제1항에 있어서,
    상기 영상 프레임에 대한 저조도 영역 정보는 상기 다수의 단위 픽셀에 저장되고, 상기 컬럼 판독부에 의해서 상기 다수의 단위 픽셀로부터 상기 저조도 정보가 판독되는 이미지 센서.
  3. 제2항에 있어서,
    상기 컬럼 리드아웃 회로는 상기 다음 영상 프레임에 대한 영상 신호를 이용하여 아날로그 도메인에서 상기 저조도 영역에 대해서 국부적인 비닝 동작을 수행 하는 이미지 센서.
  4. 제3항에 있어서,
    상기 컬럼 판독부는,
    상기 단위 픽셀로부터 판독된 저조도 정보에 기초하여 상기 단위 픽셀로부터 출력된 영상 신호에 대하여 다른 단위 픽셀의 영상 신호와 비닝이 수행되어야 하는지 여부를 결정하고, 상기 결정에 따라 동일한 행의 다른 단위 픽셀로부터 판독된 영상 신호를 이용하여 비닝을 수행하는 비닝 결정부;
    상기 영상 신호에 대한 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된 영상 신호를 디지털 신호로 변환하는 아날로그 디지털 컨버터;
    상기 디지털 변환된 영상 신호를 저장하는 래치;
    상기 디지털 변환된 영상 신호를 이용하여 상기 단위 픽셀에서 출력된 영상 신호가 저조도를 나타내는지 판단하는 저조도 판단부; 및
    상기 저조도 판단 여부에 따라 이전에 저장된 저조도 정보를 업데이트하는 저조도 정보 업데이트부를 포함하는 이미지 센서.
  5. 제4항에 있어서,
    상기 업데이트된 저조도 정보는 상기 단위 픽셀에 저장되고, 다음 영상 프레임 처리 기간에 상기 비닝 결정부에 의해 상기 다음 영상 프레임의 영상 신호에 대 하여 비닝을 수행할지 여부를 결정하는데 이용되는 이미지 센서.
  6. 제3항에 있어서,
    상기 단위 픽셀은,
    수광하여 광전하를 생성하는 포토다이오드;
    상기 포토 다이오드에 접속되고 상기 광전하를 전송하는 전송 트랜지스터;
    상기 전송 트랜지스터를 통하여 상기 광 전하가 전송되는 플로팅 확산 노드;
    상기 플로팅 확산 노드에 축적된 광전하는 배출시키는 리셋 트랜지스터;
    상기 플로팅 확산 노드 내의 광 전하를 전압 신호로 증폭 변환하는 소프 팔로워 트랜지스터; 및
    선택적으로 상기 단위 픽셀의 신호를 출력하는 선택 트랜지스터를 포함하고,
    상기 리셋 트랜지스터의 드레인단은 이전 프레임에서 상기 컬럼 판독부에서 상기 포토다이오드로부터 출력된 값이 저조도인지 여부를 나타내는 저조도 정보를 전달하는 신호 라인에 연결되는 이미지 센서.
  7. 제6항에 있어서,
    상기 저조도 정보는 상기 플로팅 확산 노드의 커패시터에 저장되는 이미지 센서.
  8. 제6항에 있어서,
    상기 플로팅 확산 노드에 저장된 이전 영상 프레임에 대한 영상 신호가 저조도인지를 나타내는 저조도 정보는 상기 리셋 트랜지스터가 온이 되어 리셋 신호가 출력되기 전에 상기 플로팅 확산 노드로부터 판독되고,
    현재 영상 프레임에 대한 상기 포토다이오드의 광 전하 축적에 따르는 영상 신호가 출력한 이후에 상기 현재 영상 프레임에 대한 영상 신호가 저조도인지 여부를 나타내는 저조도 정보가 기록되는 이미지 센서.
  9. 제2항에 있어서,
    상기 컬럼 판독부는 상기 픽셀 어레이의 각 단위 픽셀을 제어하여, 전하 도메인에서 국부적인 비닝 동작이 수행되도록 구성되는 이미지 센서.
  10. 제9항에 있어서,
    상기 컬럼 판독부는,
    상기 단위 픽셀로부터 판독된 저조도 정보에 기초하여 상기 단위 픽셀로부터 출력된 영상 신호에 대하여 다른 단위 픽셀의 영상 신호와 비닝이 수행되어야 하는지 여부를 결정하고, 상기 결정에 따라 전하 도메인에서 국부적인 비닝이 수행되도록 하기 위한 제어 신호를 생성하는 비닝 결정부;
    상기 영상 신호에 대한 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된 영상 신호를 디지털 신호로 변환하는 아날로그 디지털 컨버터;
    상기 디지털 변환된 영상 신호를 저장하는 래치;
    상기 디지털 변환된 영상 신호를 이용하여 상기 단위 픽셀에서 출력된 영상 신호가 저조도를 나타내는지 판단하는 저조도 판단부; 및
    상기 저조도 판단 여부에 따라 저조도 정보를 업데이트하는 저조도 정보 업데이트부를 포함하는 이미지 센서.
  11. 제9항에 있어서,
    상기 단위 픽셀은, 픽셀 단위로 비닝이 제어되도록 구성되는 이미지 센서.
  12. 제11항에 있어서,
    상기 단위 픽셀은,
    수광하여 광전하를 생성하는 포토다이오드;
    상기 포토 다이오드에 접속되고 상기 광전하를 전송하는 전송 트랜지스터;
    상기 전송 트랜지스터를 제어하는 전송 제어 트랜지스터;
    상기 전송 트랜지스터를 통하여 상기 광 전하가 전송되는 플로팅 확산 노드;
    상기 플로팅 확산 노드에 축적된 광전하는 배출시키는 리셋 트랜지스터;
    상기 플로팅 확산 노드 내의 광 전하를 전압 신호로 증폭 변환하는 소프 팔로워 트랜지스터; 및
    선택적으로 상기 단위 픽셀의 신호를 출력하는 선택 트랜지스터를 포함하고,
    상기 리셋 트랜지스터의 드레인단이 저조도인지 여부를 나타내는 저조도 정 보를 전달하는 신호 라인에 연결되고,
    상기 플로팅 확산 노드는 다른 포토 다이오드로부터 전송되는 광 전하를 수신하는 노드에 연결되는 이미지 센서.
  13. 제12항에 있어서,
    상기 전송 제어 트랜지스터 및 상기 전송 트랜지스터가 모두 온일 때, 상기 포토다이오드에 의해 축적된 전하가 상기 플로팅 확산 노드으로 전달되는 이미지 센서.
  14. 제12항에 있어서,
    상기 저조도 정보는 상기 플로팅 확산 노드의 커패시터에 저장되는 이미지 센서.
  15. 제12항에 있어서,
    상기 플로팅 확산 노드에 저장된 이전 영상 프레임에 대한 영상 신호가 저조도인지를 나타내는 저조도 정보는 상기 리셋 트랜지스터가 온이 되어 리셋 신호가 출력되기 전에 상기 플로팅 확산 노드로부터 판독되고,
    현재 영상 프레임에 대한 상기 포토다이오드의 광 전하 축적에 따르는 영상 신호가 출력한 이후에 상기 현재 영상 프레임에 대한 영상 신호가 저조도인지 여부를 나타내는 저조도 정보가 기록되는 이미지 센서.
  16. 매트릭스 배열된 다수의 단위 픽셀을 포함하는 픽셀 어레이로부터 입력되는 영상 프레임에 대한 저조도 영역을 나타내는 저조도 영역 정보를 생성하는 단계;
    상기 생성된 저조도 영역 정보를 저장하는 단계; 및
    다음 영상 프레임이 입력되면, 상기 저조도 영역 정보에 따라서 결정되는 저조도 영역에 대해서 국부적인 비닝 동작을 수행하는 단계를 포함하고,
    상기 영상 프레임에 대한 저조도 영역 정보는 상기 다수의 단위 픽셀의 전부 또는 일부에 대응하는 이전 영상 프레임의 영상 신호가 저조도를 나타내는지 여부를 나타내는 저조도 정보를 포함하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 영상 프레임에 대한 저조도 영역 정보는 상기 다수의 단위 픽셀에 저장되는 영상 처리 방법.
  18. 제16항에 있어서,
    상기 저조도 영역 정보는 이미지 센서에 포함된 각 픽셀 또는 별도의 메모리에 저장되는 영상 처리 방법.
  19. 제16항에 있어서,
    새로운 영상 프레임이 입력될 때마다 상기 저조도 영역 정보를 업데이트하는 단계를 더 포함하는 영상 처리 방법.
  20. 제16항에 있어서,
    상기 비닝을 수행하는 동작은 전하 도메인, 아날로그 도메인 및 디지털 도메인 중 적어도 하나에서 수행되는 영상 처리 방법.
KR1020090064115A 2009-07-14 2009-07-14 이미지 센서 및 영상 처리 방법 KR101597785B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090064115A KR101597785B1 (ko) 2009-07-14 2009-07-14 이미지 센서 및 영상 처리 방법
US12/834,320 US8508637B2 (en) 2009-07-14 2010-07-12 Image sensor and image processing method to acquire a high-sensitivity image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090064115A KR101597785B1 (ko) 2009-07-14 2009-07-14 이미지 센서 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20110006470A KR20110006470A (ko) 2011-01-20
KR101597785B1 true KR101597785B1 (ko) 2016-02-25

Family

ID=43465011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090064115A KR101597785B1 (ko) 2009-07-14 2009-07-14 이미지 센서 및 영상 처리 방법

Country Status (2)

Country Link
US (1) US8508637B2 (ko)
KR (1) KR101597785B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
JP5822508B2 (ja) * 2011-04-05 2015-11-24 キヤノン株式会社 撮像装置及びその制御方法
US8657200B2 (en) 2011-06-20 2014-02-25 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
KR101838894B1 (ko) * 2011-07-08 2018-03-16 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
US8773562B1 (en) 2013-01-31 2014-07-08 Apple Inc. Vertically stacked image sensor
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9041837B2 (en) 2013-03-05 2015-05-26 Apple Inc. Image sensor with reduced blooming
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) * 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
CN110753192B (zh) * 2013-03-15 2022-04-08 拉姆伯斯公司 一种集成电路图像传感器
US10045702B2 (en) 2013-10-17 2018-08-14 Koninklijke Philips N.V. Automatic camera adjustment for remote photoplethysmography
US9596423B1 (en) 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9232150B2 (en) 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9883130B2 (en) 2015-03-09 2018-01-30 Rambus Inc. Image sensor with feedthrough-compensated charge-binned readout
US11297258B2 (en) 2015-10-01 2022-04-05 Qualcomm Incorporated High dynamic range solid state image sensor and camera system
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
CN109716525B (zh) 2016-09-23 2020-06-09 苹果公司 堆叠式背面照明spad阵列
WO2018140522A2 (en) 2017-01-25 2018-08-02 Apple Inc. Spad detector having modulated sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
JP2020048018A (ja) * 2018-09-18 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR102580271B1 (ko) * 2021-02-25 2023-09-20 삼성전자주식회사 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
KR20220144014A (ko) * 2021-04-16 2022-10-26 삼성전자주식회사 카메라 모듈 및 카메라 모듈의 동작 방법
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173269A (ja) * 2002-11-15 2004-06-17 Agilent Technol Inc Ａｐｓ画像センサの画素回路が生成する画像信号のサブサンプリングモードでのサンプリング方法
WO2008016504A1 (en) * 2006-07-31 2008-02-07 Hewlett-Packard Development Company, L.P. Adaptive binning method and apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233354B2 (en) * 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
CN101478646B (zh) 2004-02-23 2012-08-08 索尼株式会社 固态图像拾取设备及其驱动的方法
JP4503481B2 (ja) 2005-04-05 2010-07-14 浜松ホトニクス株式会社 固体撮像装置
JP2007116479A (ja) 2005-10-20 2007-05-10 Matsushita Electric Ind Co Ltd 固体撮像装置及びその信号読み出し方法
JP2008098971A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2008206143A (ja) 2007-01-23 2008-09-04 Kanazawa Univ 画像処理機能を備える撮像装置
JP2009005318A (ja) 2007-05-22 2009-01-08 Panasonic Corp 固体撮像装置およびその駆動方法、撮像装置
JP4337911B2 (ja) * 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
JP2008300898A (ja) 2007-05-29 2008-12-11 Olympus Corp 固体撮像装置とそれを用いた撮像システム
JP4359634B2 (ja) 2007-06-21 2009-11-04 シャープ株式会社 カラー固体撮像装置、および画素信号の読み出し方法
KR20090005843A (ko) 2007-07-10 2009-01-14 삼성전자주식회사 촬상 장치 및 촬상 장치의 감도 개선 방법
US8098372B2 (en) * 2007-07-23 2012-01-17 Applied Materials South East Asia Pte. Ltd. Optical inspection tool featuring multiple speed modes
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173269A (ja) * 2002-11-15 2004-06-17 Agilent Technol Inc Ａｐｓ画像センサの画素回路が生成する画像信号のサブサンプリングモードでのサンプリング方法
WO2008016504A1 (en) * 2006-07-31 2008-02-07 Hewlett-Packard Development Company, L.P. Adaptive binning method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method

Also Published As

Publication number Publication date
US8508637B2 (en) 2013-08-13
US20110013040A1 (en) 2011-01-20
KR20110006470A (ko) 2011-01-20

Similar Documents

Publication Publication Date Title
KR101597785B1 (ko) 이미지 센서 및 영상 처리 방법
JP6267348B2 (ja) 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法
CN107409179B (zh) 固态成像装置、固态成像装置的驱动方法和电子设备
KR100981797B1 (ko) 이미저의 전자 안정화를 위해 픽셀 저장 게이트 전하감지를 제공하는 방법 및 장치
US20190288020A1 (en) Solid-state imaging apparatus and imaging apparatus
JP5085140B2 (ja) 固体撮像装置
JP4609428B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7586523B2 (en) Amplification-type CMOS image sensor of wide dynamic range
JP3976754B2 (ja) 選択読取りによる広ダイナミックレンジ撮像デバイス
US20170078557A1 (en) Imaging device and imaging system
US9826185B2 (en) High signal to noise ratio of image based on signals with different sensitivities
KR101497821B1 (ko) 고체 촬상 장치
US9363455B2 (en) Solid-state imaging device, electronic device and driving method thereof with selective second reading
JP2009272820A (ja) 固体撮像装置
JP2008263546A (ja) 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム
JP2010004146A (ja) 固体撮像素子およびカメラシステム
KR101639385B1 (ko) 이미지 센서
US8094220B2 (en) Solid-state imaging apparatus and driving method of solid-state imaging apparatus
TWI833194B (zh) 固態攝像裝置、固態攝像裝置的驅動方法、以及電子設備
KR101867345B1 (ko) 픽셀의 구동방법 및 이를 이용하는 cmos 이미지센서
CN103517003B (zh) 固态成像装置及其驱动方法和电子设备
JP2020108022A (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
US20110007201A1 (en) Solid state imaging device suppressing blooming
JP6635700B2 (ja) 撮像装置、撮像システム及び信号処理方法
WO2013027326A1 (ja) 固体撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 5