KR20210003918A - 이미지 센서 - Google Patents

이미지 센서 Download PDF

Info

Publication number
KR20210003918A
KR20210003918A KR1020207034927A KR20207034927A KR20210003918A KR 20210003918 A KR20210003918 A KR 20210003918A KR 1020207034927 A KR1020207034927 A KR 1020207034927A KR 20207034927 A KR20207034927 A KR 20207034927A KR 20210003918 A KR20210003918 A KR 20210003918A
Authority
KR
South Korea
Prior art keywords
pixel
signal
image sensor
column
selection unit
Prior art date
Application number
KR1020207034927A
Other languages
English (en)
Other versions
KR102441628B1 (ko
Inventor
아키라 마츠자와
히로후미 수미
Original Assignee
테크 아이디어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테크 아이디어 컴퍼니 리미티드 filed Critical 테크 아이디어 컴퍼니 리미티드
Publication of KR20210003918A publication Critical patent/KR20210003918A/ko
Application granted granted Critical
Publication of KR102441628B1 publication Critical patent/KR102441628B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H04N5/3559—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H04N5/353—
    • H04N5/374—
    • H04N5/376—
    • H04N5/378—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Glass Compositions (AREA)

Abstract

프레임 레이트를 낮추지 않고 높은 다이나믹 레인지를 얻는 것이 가능한 이미지 센서를 제공한다. 이미지 센서(10)를, 자연계에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘 복수의 화소가 행방향 및 열방향에 2차원 배치된 화소 영역(1)과, 화소 영역(1)의 임의의 화소를 행 단위로 선택해, 화소로부터의 전기 신호의 독출 및 축적 전하의 리셋에 기여하는 행 선택부(2)와, 행 선택부(2)에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 화소 독출부(3)와, 행 선택부(3)에 의해 선택된 화소 행 중에서 임의의 열의 화소를 선택해, 선택된 화소의 축적 전하량을 제어하는 열 선택부(4)를 갖추는 구성으로 한다.

Description

이미지 센서
본 발명은, 이미지 센서에 관한 것이다.
이미지 센서는, 스마트 폰 뿐만 아니라, 드라이브 레코더, 전자 미러, 자동 운전, 로봇 및 내시경 등 많은 용도로 대량 사용되고 있고, 그 용도는 앞으로도 계속 확대될 것이 예상된다. 또, 이미지 센서는, 지금까지는 인간의 눈에 다가갈 수 있도록 해상도나 화질을 향상시켜 왔지만, 앞으로는 물체 인식이나 동체 인식 등과 같이, 인간의 눈으로는 할 수 없는 고속 인식이나 판단까지 요구되는 것을 생각할 수 있다.
도 29는 종래의 대표적인 이미지 센서인 CMOS(Complementary Metal Oxide Semiconductor: 상보성 금속산화막 반도체) 이미지 센서의 구성을 나타내는 블록도이다. 도 29에 도시한 것처럼, CMOS 이미지 센서(100)에서는, 복수의 화소(101)가 행방향 및 열방향에 2차원 배치되어 있다. 행 선택 회로(102)는 행 단위로 화소를 선택하는 것이며, 행 선택 회로(102)에 의해 선택된 화소(독출 화소)(101a)는, 각 화소에서 검출한 광의 조도에 따른 전압을 일제히 출력한다.
열 독출 회로(103)는, 화소로부터 출력된 전압을 디지털값으로 변환하는 것이며, 아날로그·디지털 변환기(이하, A/D 변환기라고 한다.) 등으로 구성되어 있다. 그리고, 열 독출 회로(103)에서 변환된 신호는, 전송 회로(104)를 통해서 순차 출력된다. 펄스 발생 회로(105)는, 클록 신호가 입력되어, 동작에 필요한 타이밍 신호를 발생하는 것이며, 발생한 타이밍 신호는 행 선택 회로(102), 열 독출 회로(103) 및 전송 회로(104)에 입력된다.
도 30은 종래의 CMOS 이미지 센서(100)에서의 전하 축적 시간 제어의 설명도이며, 도 31은 그 독출 타이밍과 리셋 타이밍을 나타내는 도면이다. 도 30에 도시한 것처럼, 종래의 CMOS 이미지 센서(100)에서는, 도면 중 상방의 화소로부터 순서대로 전압을 독출(讀出, readout)한다. 또, 독출 화소(101a)가 독출되는 타이밍에서, 그 두 행 아래의 화소(리셋 화소)(101b)가 리셋된다.
도 31에 도시한 것처럼, 종래의 COMS 이미지 센서는, 독출의 조금 앞 타이밍에 리셋을 하는 것에 의해, 일단 축적되고 있던 전하를 리셋시키고 재차 전하 축적을 시작한다. 이 방법에서는, 축적 시간이 짧고, 신호량도 적어지기 때문에, 고조도(高照度)의 신호에 대해서도 포화(saturation)하지 않고 양호한 화질을 얻을 수 있지만, 프레임 내에서 동일한 전하 축적 시간 밖에 실현할 수 없기 때문에, 통상적으로는 리셋을 하지 않는 저조도(低照度)용 프레임과 리셋을 하는 고조도용 프레임을 교대로 반복할 필요가 있다.
이와 같이 종래의 CMOS 이미지 센서(100)는, 화소나 열 독출 회로(103)의 파라미터가 일률적으로 설정되어 있기 때문에, 성능에 한계가 있다. 구체적으로는, 종래의 이미지 센서에서는, 전하 축적 시간이나 전하 축적 용량을 화소 마다 최적화하고 있지 않기 때문에, 축적 전하가 최적화되지 않아, 필요한 다이나믹 레인지를 확보할 수 없는 문제점이 있다.
이미지 센서는, 다이나믹 레인지가 큰 센싱 정보를, 적확하게 취득하는 것이 요구된다. 예를 들면, 포토 다이오드의 경우, 통상 촬영에서의 다이나믹 레인지는 60~80 dB이지만, 역광(逆光) 시나 맑은 날의 터널 출구 등의 촬영에서는 120~150 dB로 극히 높은 다이나믹 레인지가 요구된다.
이러한 지나치게 가혹한 상황에서의 촬상에 대처하기 위해, 종래 다양한 방법이 제안되고 있다(특허문헌 1, 2 및 비특허문헌 1, 2 참조). 그 중에서도 대표적인 것은, 특허문헌 1에 기재되어 있는 2종류의 다른 노광 시간에 각 프레임을 촬상하고, 그 신호(저조도 신호·고조도 신호)를 합성함으로써 다이나믹 레인지의 확대를 도모하는 방법이다. 도 32의 A, B는 특허문헌 1에 기재된 방법으로 취득되는 신호를 나타내는 도면이며, 도 32의 A는 저조도용 프레임의 신호, 도 32의 B는 고조도용 프레임의 신호이다. 또, 도 33은 저조도용 및 고조도용의 각 프레임 구성을 나타내는 도면이다.
도 32의 A, B에 도시한 것처럼, 포토 다이오드의 리셋 신호와 리셋 신호의 사이의 기간이 신호 전하의 축적 시간이다. 각 화소에서 얻어지는 신호 전압은 조도(照度)와 신호 축적 시간의 곱(積, product)에 비례하므로, 신호 전하 축적 시간을 제어함으로써 다이나믹 레인지의 확대를 도모할 수 있다. 종래의 이미지 센서에서는, 신호 전하 축적 시간의 제어는 프레임 단위로 실시되고 있고, 도 33에 도시한 것처럼 축적 시간이 긴 저조도용 프레임(110)과 축적 시간이 짧은 고조도용 프레임(111)을 교대로 출력하고, 이들 2개의 프레임 신호를 합성함으로써 적절한 화상을 얻고 있다.
또, 다이나믹 레인지를 확대하기 위한 다른 방법도 제안되고 있다. 도 34는 종래의 이미지 센서에서 이용되고 있는 다이나믹 레인지 확대를 위한 회로도이다. 도 34에 도시한 회로에서는, 광에 의해 발생한 포토 다이오드(120)의 축적 전하를 전압으로 변환하는 용량(容量)으로서, 통상의 수fF의 플로팅 디퓨전 용량(FD 용량)(122)에 더하여, 고조도 신호용으로 수백fF~수pF의 대용량의 용량(121)도 마련하고 있다. 이 회로에서는, 용량 선택을 위해 신호의 적절한 독출이 필요하기 때문에, 간편하게는, FD 용량(122)을 이용한 저조도용의 프레임과, 대용량의 용량(121)을 이용한 고조도용의 프레임을 교대로 출력한다.
도 35는 종래의 이미지 센서에서 이용되고 있는 다이나믹 레인지 확대를 위한 화소 구성을 나타내는 도면이다. 도 35에 도시한 화소(130)는, 면적이 큰 저조도용 화소(131)와, 면적이 작은 고조도용 화소(132)를 갖추고 있다. 이 화소(130)에서는, 필요에 따라 전하를 전압으로 변환하는 용량도 작은 용량과 큰 용량으로 구성함으로써, 저조도 신호에 적합한 신호와 고조도용에 적합한 신호의 출력을 가능하게 하고 있다.
게다가, 특허문헌 2에는, 화소 영역의 임의 형상의 영역에 대하여 선택적으로 전자 셔터 동작을 실행 가능한 이미지 센서가 개시되어 있다. 도 36은 특허문헌 2에 기재된 이미지 센서의 개요를 나타내는 도면이다. 도 36에 도시한 이미지 센서(200)는, 수직 방향에, 신호의 취출을 실시하는 전하 전송용 스캐너(201)와, 축적 전하의 리셋을 실시하는 전자 셔터용 스캐너(202)가 설치되어 있고, 수평 방향에는 수평 방향 화소 선택 스캐너(203)가 배치되어 있다.
이 이미지 센서(200)에서는, 타이밍 신호 발생 회로(204)로부터, 전하 전송용 스캐너(201)와 전자 셔터용 스캐너(202)에, 타이밍 신호가 입력된다. 그리고, 전자 셔터용 스캐너(202)로부터 출력된 신호와 외부 입력 신호와의 논리곱(logical product)이 취해져, 화소 영역(205)의 화소가 선택된다. 또, 수평 방향 화소 선택 스캐너(203)에 의해서, 수평 방향으로 화소가 선택된다.
도 37은 도 36에 도시한 이미지 센서(200)의 단위 화소 구조를 나타내는 도면이다. 도 37에 도시한 화소(210)에서는, 신호 독출 시는, 먼저, m번째 화소의 신호를 독출하기 전에 HSEL(m-1)의 신호가 "H"가 되고, m번째 화소의 리셋 트랜지스터(Tr)가 동작해, 플로팅 디퓨전노드(FD)의 전압이 리셋 레벨까지 상승한다. 다음으로, HSS(m)의 신호가 "H"가 되는 동시에, VSOUT(n)의 신호가 "H"가 되어, 전송 제어 트랜지스터(Ty)를 온으로 하고, 화소(n, m)의 리셋 레벨의 신호가 신호 출력으로서 외부에 취출(取出)되어, CDS(상관 2중 검출)의 기준 신호로서 이용된다.
다음으로, HSEL(m-1)이 "L", HSEL(m)이 "H"가 된다. 이 상태에서 VSEL(n)이 "H"가 되면, 트랜지스터(Txy)가 온이 되고, 트랜지스터(Tt)를 통해서, 포토 다이오드(PD)에 축적되고 있던 전하가 플로팅 디퓨전노드(FD)에 토출(吐出)된다. 그리고, 소스 팔로워(Source follower)를 구성하는 트랜지스터(Ta)에서 버퍼된 화소(n, m)의 레벨의 신호가 신호 출력으로서 외부에 취출되어, DS(상관 2중 검출)의 신호로서 이용된다.
한편, 전자 셔터를 위한 전하의 리셋 시는, 전자 셔터용 스캐너(202)의 신호와 외부 입력 신호와의 논리곱이 취해져, 신호 VSEL(n)이 된다. 리셋 대상의 경우, VSEL(n)은 "H"가 되어 있고, VSOUT(n)은 "L"이 되어 있다. 그리고, HSEL(m)이 "H"가 되면, VSEL(n)이 "H"일 때에 트랜지스터(Txy)가 온이 되고, 트랜지스터(Tt)를 통해서, 포토 다이오드(PD)에 축적되고 있던 전하가 플로팅 디퓨전노드(FD)에 토출된다.
이때, 그때까지 축적되고 있던 전하에 대응한 전압이 SIG(n)에 나타나지만, VSOUT(n)은 "L"이므로, 이 전압이 출력 신호에 나타나는 경우는 없다. 또, 다음의 수평 선택 동작에서는 HSEL(m)은 "L"이 되므로, VSEL(n)의 논리 상태에 관계없이 트랜지스터(Txy)는 오프가 되어, 포토 다이오드(PD)는 광량에 따른 전하 축적을 개시한다. 이미지 센서(200)는, 이상의 동작을 기본으로 하여, VSEL의 신호를 수평 방향 화소 선택 스캔 신호에 동기해, 동일한 속도로 외부 입력 신호로 변조를 걸면, 화소 영역(205)의 임의 형상의 영역에 대하여 선택적으로 전자 셔터 동작을 실행할 수 있다.
[특허문헌 1] 일본 특허공개 2003-250094호 공보 [특허문헌 2] 일본 특허공개 2003-143485호 공보
[비특허문헌 1] S. Sugawa, et al., "A 100 dB dynamic range CMOS image sensor using a lateral overflow integration capacitor", ISSCC (IEEE International Solid-State Circuits Conference) Digest of Technical Papers, IEEE, 2005년 2월, pp.352-353 [비특허문헌 2] K. Nishimura, et al., "An Over 120dB Simultaneous-Capture Wide-Dynamic-Range 1.6e- Ultra-Low-Reset-Noise Organic Photoconductive-Film CMOS Image Sensor", ISSCC Digest of Technical Papers, IEEE, 2016년 2월, pp.110-111
그렇지만, 전술한 노출 시간이 다른 신호를 합성하는 방법은, 실효적인 프레임 레이트가 절반이 되기 때문에, 고속 촬상에는 적용할 수 없고, 또, 저조도용 프레임의 신호는 축적 시간이 절반이 되기 때문에, 화상의 신호대잡음비(S/N 비)가 저하되는 과제가 있다.
이 과제를 해결하고, 실효적인 프레임 레이트를 종래와 동일하게 하려면, 2배의 데이터 레이트로 신호를 처리해 전송하면 좋지만, 그러기 위해서는 화소 수나 프레임 레이트를 늘릴 필요가 있어, 현실적이지 않다. 예를 들면, 8K 대응의 이미지 센서의 경우, 프레임 수를 60 프레임/초, A/D 변환기의 분해능(分解能)을 12 bit로 하면, 출력 신호의 데이터 레이트는 약 24 Gbit/초가 되기 때문에, 더 이상 출력 신호의 데이터 레이트를 올리는 것은 곤란하다.
또, 도 34에 도시한 회로를 이용하는 방법은, 전술한 과제 외에, 화소의 축소에 수반해 고조도 신호용의 용량의 집적이 곤란해지는 과제가 있다. 게다가, 도 35에 도시한 화소 구성을 이용하는 방법은, 화소로부터의 신호가 2조(組, set)가 되기 때문에, A/D 변환기 등의 화소 신호의 처리 회로가 2배가 되는 것 외에, 이미지 센서로부터의 데이터 출력 레이트가 2배가 되기 때문에, 고속화 및 저소비 전력화의 관점에서 바람직하지 않다. 이 때문에, 저조도용의 프레임과 대용량을 이용한 고조도용의 프레임을 교대로 출력하는 경우는, 먼저 언급한 2개의 방법과 마찬가지의 과제가 있다. 게다가, 도 35에 도시한 화소의 면적에서 다이나믹 레인지를 확대하는 방법도, 화소의 축소에 수반해 적용이 어려워지고 있다.
한편, 특허문헌 2에 기재된 이미지 센서와 같이, 화소 영역의 임의 형상의 영역에 대하여 선택적으로 전자 셔터 동작을 실행하는 방법은, 수직 화소 선택 신호가 높은 주파수로 변동해, 소비 전력 및 세트 링(set ring)이나 노이즈 등의 관점에서 바람직하지 않다. 예를 들면, 화소를 수평 방향에 NH개, 수직 방향에 NV개, 프레임 수를 Ffl로 하면, 외부 입력 신호로 변조를 걸지 않을 때의 수직 선택 신호(VSEL)의 동작 주파수는, Ffl×NV가 된다. 한편, 외부 입력 신호로 변조를 걸었을 때의 수직 선택 신호(VSEL)의 최대 동작 주파수는, Ffl×NV×(NH/2)가 된다. 따라서, 외부 입력 신호로 변조를 걸었을 때의 수직 선택 신호(VSEL)의 최대 동작 주파수는, (NH/2)배 높아진다.
여기서, 프레임 수 Ffl를 매초 60 프레임으로 한 경우, 풀하이비젼(NH=2000, NV=1000), 4k 카메라(NH=4000, NV=2000), 8k 카메라(NH=8000, NV=4000)의 수직 선택 신호(VSEL)의 동작 주파수는, 외부 입력 신호로 변조를 걸지 않을 때는, 각각 60 kHz, 120 kHz, 240 kHz이지만, 외부 입력 신호로 변조를 걸었을 때는, 각각 60 MHz, 240 MHz, 960 MHz가 된다.
각 화소의 소비 전력은, 용량, 동작 주파수, 전압 진폭의 2승의 곱에 비례하지만, 각각의 수직 선택 신호(VSEL)에는 수천의 트랜지스터가 접속되어, 3 V 정도의 진폭으로 스윙시키기 때문에, 소비 전력이 현저하게 증대하고, 외부 입력 신호로 변조를 걸지 않는 경우의 수천 배에 달한다. 게다가, 이 방법에서는, 세트 링 특성의 악화나 기생 용량, 기생 인덕턴스 등에 의한 아날로그 특성의 열화가 생긴다. 즉, 특허문헌 2에 기재된 이미지 센서와 같이 화소 영역의 임의 형상의 영역에 대하여 선택적으로 전자 셔터 동작을 실행하는 방법에는, 동작 주파수와 소비 전력의 현저한 증대를 초래하는 동시에, 아날로그 특성을 열화시켜, 화질의 열화를 초래하는 문제가 있다. 이 문제는, 해상도나 프레임 레이트를 향상시키면, 보다 심각해진다.
근래에는, 자동 운전의 실현이나 자동차의 안전성을 높이기 위해, 혹은 얼굴 인식을 위해, 이미지 센서의 이용이 활발해지고 있다. 이러한 용도에서는, 높은 화소 수 및 높은 프레임 레이트가 요구되는 한편, 역광이나 터널의 출구 등에서도 확실하게 인식하는 것이 필요하기 때문에, 높은 다이나믹 레인지가 요구된다.
그래서, 본 발명은, 프레임 레이트를 낮추지 않고 높은 다이나믹 레인지를 얻는 것이 가능한 이미지 센서를 제공하는 것을 목적으로 한다.
본 발명자는, 전술한 과제를 해결하기 위해 열심히 검토를 실시한 결과, 이하에 나타내는 지견(知見)을 얻었다. 현재의 CMOS 이미지 센서의 구조는, 텔레비전 화면의 구성의 영향을 받고 있어, 화소의 순차 스캔에 의해, 규칙적이고 일방적으로 화상을 촬상해, 독출 전송하는 구조로 되어 있다. 종래의 이미지 센서에서는, 독출된 화상에 의한 제어도 실시되고 있지만, 평균 노광 시간의 제어와 같이 전체 화소 일률적으로 실시되어, 화소 마다의 제어는 이루어지고 있지 않다.
그래서, 본 발명자는, CMOS 이미지 센서는 행 마다 화소를 선택해 각 열의 화소 독출 회로에 대해서 병렬적으로 일제히 화소 신호의 출력 및 화소 신호의 리셋을 실시하지만, 행 마다 화소를 선택했을 때 각 화소에 열 정보를 부여하면 화소 마다의 축적 전하의 제어가 가능해지는 것을 발견하여, 본 발명에 이르렀다. 이 구성에 의하면, 화소 마다 전하 축적 시간이나 전하 축적 용량을 변화시킴으로써 축적 전하량의 제어가 가능해지기 때문에, 각 화소의 휘도에 따라 축적 전하를 적정량으로 하여, 높은 다이나믹 레인지를 얻을 수 있다.
또, 본 발명자는, 각 화소에 대응하는 화소 독출 회로에 대해서도, 열 마다 제어가 가능하다는 것을 발견하였다. 구체적으로는, 화소 독출 회로에서의 소비 전류나 A/D 변환기의 분해능을 제어함으로써, 독출 불필요한 화소에 대응하는 화소 독출 회로의 소비 전력을 저감할 수 있다. 게다가, A/D 변환기의 분해능을, 화소 신호가 작은 경우는 높게, 화소 신호가 큰 경우는 낮게 하는 것으로, 화질을 향상시키면서 소비 전력을 저감시킬 수 있다. 게다가 또, 독출 불필요한 화소의 데이터를 전송하지 않도록 함으로써, 데이터 레이트를 실효적으로 저감할 수 있기 때문에, 화상 처리 회로의 연산 속도를 높이는 동시에 데이터 전송 회로를 포함한 소비 전력을 저감하는 것이 가능하게 된다.
즉, 본 발명에 따른 이미지 센서는, 자연계(自然界)에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘 복수의 화소가 행방향 및 열방향에 2차원 배치된 화소 영역과, 상기 화소 영역의 임의의 화소를 행 단위로 선택해, 상기 화소로부터의 전기 신호의 독출 및 축적 전하의 리셋에 기여(寄與)하는 행 선택부와, 상기 행 선택부에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 화소 독출부와, 상기 행 선택부에 의해 선택된 화소 행 중에서 임의의 열의 화소를 선택해, 선택된 화소의 축적 전하량을 제어하는 열 선택부를 가진다.
상기 열 선택부는, 예를 들면, 선택하지 않은 화소에 대하여 축적 전하의 리셋을 실시한다.
그 경우, 상기 화소는, 상기 행 선택부에 접속되어 축적 전하의 리셋에 이용되는 행 선택선에 소스가 접속되는 동시에, 상기 열 선택부에 접속된 열 선택선에 게이트가 접속되고, 포토 다이오드의 축적 전하를 용량으로 전송하는 전송 트랜지스터의 게이트에 드레인이 접속된 MOS 트랜지스터를 갖추고, 상기 MOS 트랜지스터에 의해 상기 축적 전하의 리셋을 제어해도 무방하다.
또는, 상기 열 선택부는, 선택하지 않은 화소의 축적 전하를 용량으로 전송할 수도 있다.
그 경우, 상기 화소는, 상기 행 선택부에 접속되어 축적 전하의 전송에 이용되는 행 선택선에 소스가 접속되는 동시에, 상기 열 선택부에 접속된 열 선택선에 게이트가 접속되고, 포토 다이오드의 축적 전하를 용량으로 전송하는 전송 트랜지스터의 게이트에 드레인이 접속된 MOS 트랜지스터를 갖추고, 상기 MOS 트랜지스터에 의해 상기 축적 전하의 전송을 제어해도 무방하다.
또는, 상기 열 선택부는, 선택한 화소의 전하 축적 용량을 변경함으로써 전하 축적량을 제어해도 무방하다.
본 발명의 이미지 센서는, 상기 화소 영역을 사이에 두고 행방향 측에 제1 행 선택부 및 제2 행 선택부가, 열방향 측에 제1 열 선택부 및 제2 열 선택부가 각각 설치되어 있고, 상기 제1 행 선택부 및 상기 제2 행 선택부는, 상기 화소 영역의 화소 중 각 행 선택부에 가까운 쪽의 단부로부터 행방향 중앙까지의 화소를 선택하고, 상기 제1 열 선택부 및 제2 열 선택부는, 상기 화소 영역의 화소 중 각 열 선택부에 가까운 쪽의 단부로부터 열방향 중앙까지의 화소를 선택하는 구성으로 할 수도 있다.
본 발명의 이미지 센서는, 상기 열 선택부에는 시프트 레지스터가 설치되어 있고, 상기 열 선택부에 입력된 화소 제어 신호는 상기 시프트 레지스터에 의해 행방향에 전송되고, 상기 열 선택부에 입력된 판독(讀入) 타이밍 신호에 의해 상기 시프트 레지스터로부터 일제히 열 선택 신호가 출력되는 구성으로 해도 무방하다.
그 경우, 상기 열 선택부는, 모든 열이 선택되지 않음을 나타내는 제어 코드를 가지는 화소 제어 신호가 입력되었을 경우, 상기 시프트 레지스터에 의한 신호의 전송을 정지해도 무방하다.
본 발명의 이미지 센서는, 상기 화소 제어 신호를 생성하는 화소 제어 신호 생성부를 가지고, 상기 화소 제어 신호 생성부에 있어서 앞(先)의 출력 신호가 임계치 이상인지 임계치 미만인지를 판정하고, 그 판정 정보를 프레임 단위로 메모리에 기입(書入, write)하고, 다음(次)의 프레임의 타이밍에 동기해 상기 판정 정보를 상기 메모리로부터 독출함으로써 상기 화상 제어 신호를 생성해도 무방하다.
또는, 본 발명의 이미지 센서는, 상기 화소 제어 신호를 생성하는 화소 제어 신호 생성부를 가지고, 상기 화소 제어 신호 생성부에서는, 앞의 출력 신호가 임계치 이상인지 임계치 미만인지를 판정하고, 그 판정 정보를 프레임 단위로 메모리에 기입하고, 상기 메모리에 기입된 연속하는 2 이상의 프레임의 정보의 차분(差分)으로부터 피사체의 움직임(Motion)을 예측하고, 이 예측된 움직임에 근거해 보정한 정보를 상기 메모리에 기입하고, 다음의 프레임의 타이밍에 동기해 상기 보정한 정보를 상기 메모리로부터 독출함으로써 상기 화상 제어 신호를 생성할 수도 있다.
본 발명에 따른 다른 이미지 센서는, 자연계에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘 복수의 화소가 행방향 및 열방향에 2차원 배치된 화소 영역과, 상기 화소 영역의 임의의 화소를 행 단위로 선택해, 상기 화소로부터 전자 신호의 독출에 기여하는 행 선택부와, 화소 열 마다 독출 회로가 설치되어, 상기 행 선택부에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 동시에, 상기 독출 회로를 제어하는 독출 제어부를 가진다.
이러한 다른 이미지 센서에서는, 상기 독출 제어부에 의해 상기 독출 회로의 동작을 선택적으로 정지시켜도 무방하다.
또는, 상기 독출 제어부에 의해 상기 독출 회로를 구성하는 아날로그·디지털 변환기의 분해능을 제어할 수도 있다.
또는, 상기 독출 제어부에 의해 상기 독출 회로를 구성하는 아날로그·디지털 변환기로부터의 데이터 전송을 제어해도 무방하다.
본 발명에 의하면, 화소의 축적 전하가 적정량이 되도록 각 화소를 개별적으로 제어하고 있기 때문에, 프레임 레이트의 감소를 초래하지 않고 다이나믹 레인지를 큰 폭으로 확대할 수 있다.
[도 1] 본 발명의 제1 실시 형태의 이미지 센서의 구성을 나타내는 블록도이다.
[도 2] 도 1에 도시한 화소(1)의 구성 예를 나타내는 회로도이다.
[도 3] 도 1에 도시한 화소(1)의 다른 구성 예를 나타내는 회로도이다.
[도 4] 도 1에 도시한 열 선택부(4)의 구성 예를 나타내는 회로도이다.
[도 5] 도 2에 도시한 회로 구성을 가지는 화소의 제어 방법을 나타내는 도면이다.
[도 6] 본 발명의 제1 실시 형태의 이미지 센서에서의 각 행의 동작 타이밍을 나타내는 도면이다.
[도 7] 도 1에 도시한 열 선택부(4)에 입력되는 각 신호의 타이밍 차트를 나타내는 도면이다.
[도 8] 입사광이 저조도인 경우의 화소의 제어 방법을 나타내는 도면이다.
[도 9] 본 발명의 제1 실시 형태의 이미지 센서에서의 화소의 전환(switching)를 나타내는 도면이다.
[도 10] 본 발명의 제1 실시 형태의 이미지 센서의 고조도 영역 및 저조도 영역을 나타내는 도면이다.
[도 11] 본 발명의 제1 실시 형태의 이미지 센서의 리셋 영역을 나타내는 도면이다.
[도 12] A, B는 화소 제어 신호를 형성하는 방법을 나타내는 도면이며, A는 논리회로 블록도, B는 플로우 차트이다.
[도 13] 본 발명의 제1 실시 형태의 이미지 센서의 화상 처리 회로의 구성을 나타내는 블록도이다.
[도 14] 촬상 화상에 움직임이 있는 피사체가 포함되어 있는 경우의 제어 예를 나타내는 도면이다.
[도 15] 촬상 화상에 움직임이 있는 피사체가 포함되어 있는 경우의 다른 제어 예를 나타내는 도면이다.
[도 16] A~E는 메모리에 기입된 제어 정보의 차분으로부터 움직임을 검출하는 방법을 나타내는 개념도이다.
[도 17] A~D는 움직임 보상(motion compensation)된 화소 제어 데이터의 형성 방법을 나타내는 개념도이다.
[도 18] 본 발명의 제1 실시 형태의 제1 변형 예의 이미지 센서에서의 화소의 구성 예를 나타내는 회로도이다.
[도 19] 도 18에 도시한 회로 구성을 가지는 화소의 제어 방법을 나타내는 도면이다.
[도 20] 본 발명의 제1 실시 형태의 제2 변형 예의 이미지 센서의 구성을 나타내는 블록도이다.
[도 21] 도 20에 도시한 이미지 센서의 제어 방법을 나타내는 도면이다.
[도 22] 본 발명의 제2 실시 형태의 이미지 센서에서의 신호 독출 영역을 나타내는 도면이다.
[도 23] 신호 전압과 A/D 변환기의 분해능과의 관계를 나타내는 도면이다.
[도 24] 신호 전압과 A/D 변환기의 소비 에너지와의 관계를 나타내는 도면이다.
[도 25] 본 발명의 제2 실시 형태의 이미지 센서의 화소와 독출 제어부의 구성을 나타내는 회로도이다.
[도 26] 선택된 화소와 그 분해능을 나타내는 도면이다.
[도 27] 본 발명의 제2 실시 형태의 이미지 센서(20)의 독출 제어부(23)의 구성을 나타내는 회로도이다.
[도 28] 본 발명의 제2 실시 형태의 이미지 센서(20)의 독출 제어부(23)의 다른 구성을 나타내는 회로도이다.
[도 29] 종래의 CMOS 이미지 센서의 구성을 나타내는 블록도이다.
[도 30] 종래의 CMOS 이미지 센서(100)에서의 전하 축적 시간 제어 방법을 나타내는 도면이다.
[도 31] 종래의 CMOS 이미지 센서(100)의 독출 타이밍과 리셋 타이밍을 나타내는 도면이다.
[도 32] 특허문헌 1에 기재된 방법으로 취득되는 신호를 나타내는 도면이며, A는 저조도용 프레임의 신호, B는 고조도용 프레임의 신호이다.
[도 33] 저조도용 및 고조도용의 각 프레임 구성을 나타내는 도면이다.
[도 34] 종래의 이미지 센서에서 이용되고 있는 다이나믹 레인지 확대를 위한 회로도이다.
[도 35] 종래의 이미지 센서에서 이용되고 있는 다이나믹 레인지 확대를 위한 화소 구성을 나타내는 도면이다.
[도 36] 특허문헌 2에 기재된 이미지 센서의 개요를 나타내는 도면이다.
[도 37] 특허문헌 2에 기재된 이미지 센서의 단위 화소 구조를 나타내는 도면이다.
이하, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면을 참조해 상세히 설명한다. 덧붙여, 본 발명은, 이하에 설명하는 실시 형태로 한정되는 것은 아니다.
(제1 실시 형태)
먼저, 본 발명의 제1 실시 형태에 따른 이미지 센서에 대해 설명한다. 도 1은 본 실시 형태의 이미지 센서의 구성을 나타내는 블록도이다. 도 1에 도시한 것처럼, 본 실시 형태의 이미지 센서(10)는, 복수의 화소(1)가 행방향 및 열방향에 2차원 배치된 화소 영역의 주위에, 행 선택부(2), 화소 독출부(3), 열 선택부(4) 및 타이밍 발생부(4) 등이 설치되어 있다.
[화소(1)]
화소 영역의 각 화소(1)는, 각각 자연계에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘다. 여기서, 자연계에 존재하는 물리량이란, 가시광, 적외광, 자외선, X선, 전자파, 전계(電界), 자계(磁界), 온도, 압력 등을 말한다.
화소(1)의 구성은 특별히 한정되는 것은 아니지만, 예를 들면, 가시광을 검출하는 CMOS 센서의 경우, PIN 포토 다이오드와 완전 전송 기술을 이용한 구성을 적용할 수 있다. 도 2, 3은 도 1에 도시한 이미지 센서(10)의 화소(1)의 구성 예를 나타내는 회로도이다. 구체적으로는, 도 2에 도시한 것처럼, 화소(1)는, 일반적인 화소에 대해서, 트랜지스터(M1)와, 열 마다 설치된 제어선(CS)을 추가해, PIN 포토 다이오드(11)의 전하를 FD 용량(12)으로 전송하는 트랜지스터(M2)의 게이트를 제어하는 구성으로 할 수 있다. 또, 도 3에 도시한 것처럼, 화소(1)에, PIN 포토 다이오드(11)의 축적 전하를 리셋하는 행 선택선(SG)과 트랜지스터(M1)를 마련해, PIN 포토 다이오드(11)의 축적 전하를 리셋하는 트랜지스터(M3)의 게이트를 제어하는 구성으로 해도 무방하다.
[행 선택부(2)]
행 선택부(2)는, 화소 행 마다 설치된 행 선택선에 접속되어, 화소 영역의 임의의 화소를 행 단위로 선택해, 화소로부터의 전기 신호의 독출이나 축적 전하의 리셋에 기여하는 것이며, 행 마다 행 선택 회로가 설치되어 있다. 행 선택부(2)의 각 행 선택 회로의 구성은, 특별히 한정되지 않으며, 종래의 이미지 센서와 마찬가지의 구성으로 할 수 있다.
[화소 독출부(3)]
화소 독출부(3)는, 행 선택부(2)에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 것이며, 화소(1a)로부터 출력된 전압을 디지털값으로 변환하는 아날로그·디지털 변환 회로가 설치되어 있다. 화소 독출부(3)의 아날로그·디지털 변환 회로에서 변환된 신호는, 순차적으로 외부에 출력된다.
[열 선택부(4)]
열 선택부(4)는, 화소 열 마다 설치된 열 선택선에 접속되어, 외부로부터 입력되는 화소 제어 신호에 근거해 행 선택부(2)에 의해 선택된 화소 행 중에서 독출 화소(1a)를 선택하고, 선택된 화소(1a)의 축적 전하량을 개별적으로 제어하는 것이다. 도 4는 열 선택부(4)의 구성 예를 나타내는 회로도이다. 도 4에 도시한 것처럼, 열 선택부(4)에는, 화소 열 마다 클록 신호에 동기해 동작하는 시프트 레지스터를 구성하는 복수의 플립플롭(F/F)(31)이 설치되어 있고, 각 플립플롭(F/F)(31)은 직렬로 접속되어 있다.
그리고, 화소 제어 신호는, 예를 들면, 도면 중 좌단의 플립플롭(F/F)(31)에 입력되고, 클록 신호에 동기해, 순차적으로 도면 중 우측의 플립플롭(F/F)(31)에 전송된다. 게다가, 열 선택부(4)에는, 각 플립플롭(F/F)(31)의 레지스터가 되는 플립플롭(F/F)(32)이 설치되어 있고, 판독 타이밍 신호에 근거해 각 플립플롭(F/F)(32)으로부터 화소(1a)를 제어하기 위한 신호가 일제히 출력된다.
[타이밍 신호 발생부(5)]
타이밍 신호 발생부(5)는, 기준이 되는 클록 신호에 근거해 동작에 필요한 타이밍 신호를 생성하고, 각종 타이밍 신호 및 클록 신호를 행 선택부(2), 화소 독출부(3) 및 열 선택부(4)에 출력하는 것이며, 펄스 발생 회로 등으로 구성되어 있다. 타이밍 신호 발생부(5)의 펄스 발생 회로의 구성은, 특별히 한정되지 않으며, 종래의 이미지 센서와 마찬가지의 구성으로 할 수 있다.
[동작]
다음으로, 도 1에 도시한 이미지 센서(10)의 동작에 대해서, 각 화소의 전하 축적 시간을 개별적으로 제어하는 경우를 예로 설명한다. 도 5는 화소(1)가 도 2에 도시한 회로 구성을 가지는 경우의 제어 방법을 나타내는 도면이다. 화소(1)의 독출 동작에서는, 행 선택선에 공급되는 복수의 신호 중 하나인 RST 신호가 High(이하, "H"라고 한다.)가 되어, FD 용량(12)의 노드를 VDD까지 인상한다. 이때, 도 5에 도시한 것처럼, 행 선택선에 공급되는 복수의 신호 중 하나인 RS 신호도 "H"가 되어, Sig 신호로서 화소 독출 회로에 리셋 레벨의 신호가 보내지고, 상관 이중 검출(CDS)용의 신호로서 사용된다.
다음으로, RST 신호가 Low(이하, "L"이라고 한다.)가 되고, 잠시 후에 행 선택선에 공급되는 복수의 신호 중 하나인 TX 신호가 "H"가 되어, PIN 포토 다이오드(11)의 전하가 FD 용량(12)으로 전송된다. 전하는, FD 용량(12)에서 전압으로 변환되어 Sig 신호로서 화소 독출부(3)에 보내진다. FD 용량(12)으로부터 출력된 Sig 신호는, 상관 이중 검출(CDS)용의 신호로서 사용되고, 리셋 레벨의 신호와의 차분이 취해져, 화소 독출부(3)의 아날로그·디지털 변환 회로에서 디지털 신호로 변환되어, 신호 출력단에 순차적으로 출력된다.
상술한 동작에서는, 열 선택선에 공급되는 CS 신호는 "H"가 되고 있고, 트랜지스터(M1)는 온 상태가 되기 때문에, 행 선택선에 공급되는 복수의 신호 중 하나인 TX 신호가 "H"가 되는 것으로, PIN 포토 다이오드(11)의 전하의 FD 용량(12)으로의 전송을 방해하지 않도록 되어 있다.
한편, 전하 축적 시간을 단축하기 위해 실시하는 전하 리셋 동작에서는, 먼저 전하 리셋을 실시하는 화소 행의 행 선택선에 공급되는 복수의 신호 중 하나인 RST 신호가 "H"가 된다. 동시에, 전하 리셋을 실시하는 화소의 열 선택선에 공급되는 CS 신호를 "H"로 하고, 전하 리셋을 실시하지 않는 화소의 열 선택선에 공급되는 CS 신호를 "L"로 한다. 이 상태에서, 약간 늦은 타이밍에 행 선택선에 공급되는 복수의 신호 중 하나인 TX 신호를 "H"로 한다.
TX 신호는, CS 신호에 의해 제어된 트랜지스터(M1)를 통해, PIN 포토 다이오드(11)의 전하를 전송하는 트랜지스터(M2)의 게이트에 접속되고 있으므로, CS 신호가 "H"일 때는 트랜지스터(M1)가 온 상태가 되고, TX 신호의 "H"의 전압이 트랜지스터(M2)의 게이트에 인가되어, 트랜지스터(M2)가 온이 된다. 이에 따라, PIN 포토 다이오드(11)에 축적된 전하가 리셋된다.
한편, CS 신호가 "L"일 때는 트랜지스터(M1)가 오프 상태가 되고, 트랜지스터(M2)의 게이트 전압은 CS 신호가 "L"이 되기 전의 TX 신호의 전압("L") 그대로이므로, 트랜지스터(M2)는 오프 상태가 되어, PIN 포토 다이오드(11)의 전하는 리셋되지 않는다. 상술한 동작에서는, 트랜지스터(M1)를 이용함으로써 행 선택선에 공급되는 복수의 신호 중 하나인 TX 신호와, 열 선택선에 공급되는 CS 신호의 논리곱에 근거해 축적 전하를 리셋하는 화소를 결정하고 있다.
다음으로, TX 신호가 "L"이 되어, 재차 입사광에 의해 PIN 포토 다이오드(11)의 전하의 축적이 개시된다. 잠시 후에 RST 신호가 "L"이 되고, CS 신호가 "H"가 된다. 이 전하 리셋 동작은 RS 신호가 "L"이 된 상태에서 실시되고, 독출 시에는 CS 신호는 상시 "H"가 되어 있으므로, 독출 동작에 영향을 주는 경우는 없다. 본 실시 형태의 이미지 센서(10)는, 전술한 동작에 의해, 필요한 화소에 대해서만 축적 전하의 리셋을 실시할 수 있다.
덧붙여, 화소(1)가 도 3에 도시한 회로 구성을 가지는 경우도 마찬가지이며, PIN 포토 다이오드(11)의 축적 전하를 리셋하는 타이밍에서, 행 선택선에 공급되는 복수의 신호 중 하나인 SG 신호가 "H"가 되지만, 리셋을 실시하지 않는 화소에 대해서는 그 전후의 타이밍에 CS 신호를 "L"로 하고, 리셋을 실시하는 화소에 대해서는 CS 신호를 계속 "H"로 하면 무방하다. 상술한 동작에서는, 트랜지스터(M1)를 이용함으로써, 행 선택선에 공급되는 복수의 신호 중 하나인 SG 신호와, 열 선택선에 공급되는 CS 신호의 논리곱에 근거해, 전하 리셋을 실시하는 화소를 선택하고 있다.
도 6은 본 실시 형태의 이미지 센서(10)에서의 각 행의 동작 타이밍을 나타내는 도면이다. 덧붙여, 도 6에 도시한 L1~L8은 화소 행의 번호이며, 숫자가 작은 것일수록 도면 중 상방의 화소 열을 나타낸다. 도 6에 도시한 것처럼, 본 실시 형태의 이미지 센서에서는, L1부터 L8까지 순차적으로 리셋과 신호 독출, 리셋에 의한 전하 축적 시간의 제어가 실시되어, 전하의 리셋 동작이 신호의 독출에 영향을 주지 않도록 되어 있다.
또, 본 실시 형태의 이미지 센서(10)에서는, 타이밍 신호 발생부(5)에 클록 신호가 입력되어, 동작에 필요한 판독 타이밍 신호 및 DS 타이밍 신호 등의 타이밍 신호를 생성한다. 타이밍 신호 발생부(5)에서 생성한 타이밍 신호나 클록 신호는, 행 선택부(2), 화소 독출부(3) 및 열 선택부(4)에 입력된다.
열 선택부(4)에는, 클록 신호 및 판독 타이밍 신호와 함께, 화소 제어 신호가 입력된다. 이러한 신호는, 예를 들면, 도 7에 도시한 타이밍에서 열 선택부(4)에 입력된다. 한편, 행 선택부(2)의 행 선택 회로에는, 각 행의 화소를 순차적으로 선택하는 TX 신호, RS 신호, RST 신호가 입력되어, 이 신호에 근거해 임의의 화소가 행 단위로 선택된다.
도 4에 도시한 것처럼, 화소 제어 신호는 클록 신호에 동기해 동작하는 플립플롭(31)에 입력되어, 도면 중 우측 단에 전송된다. 그리고, 화소 제어 신호는, 전체 열의 플립플롭(31)에 널리 퍼진 후, 판독 타이밍 신호의 엣지에서 일제히 각 열의 레지스터가 되는 플립플롭(32)에 취입(取入)되어 열 선택선에 공급되는 CS 신호가 되고, 독출 화소(1a)의 제어에 이용된다.
[입사광이 저조도인 경우의 화소 제어]
이상의 설명에서는, 입사광이 고조도인 경우의 화소의 제어 방법에 대해 언급하였지만, 본 실시 형태의 이미지 센서는, 입사광이 저조도인 경우에도 적용할 수 있다. 이하, 입사광이 저조도인 경우의 화소 제어 방법에 대해 설명한다. 도 8은 입사광이 저조도인 경우의 화소의 제어 방법을 나타내는 도면이다. 입사광이 저조도인 경우는, 축적되는 전자수가 적기 때문에, 전하 축적 시간을 길게 취하지 않으면, 신호에 대한 노이즈의 비율인 S/N 비가 낮아져, 화질이 열화한다.
한편, 움직임의 적은 화상이면, 축적 시간을 길게 취함으로써 화질을 향상시킬 수 있다. 그래서, 도 8에 도시한 것처럼, 본 실시 형태의 이미지 센서(10)에서는, PIN 포토 다이오드(11)의 축적 전하의 전송을 실시하는 TX 신호가 "H"여도, 화소 제어 신호의 CS 신호를 "L"로 함으로써, PIN 포토 다이오드(11)의 축적 전하의 용량으로의 전송을 실시하지 않고, 전하 축적 시간을 연장시켜도 무방하다. 이 제어 방법에 의하면, PIN 포토 다이오드(11)의 축적 전하를 증대시킬 수 있기 때문에, 입사광이 저조도여도 높은 화질을 확보할 수 있다.
또, 화소 제어 신호는, 주로 저조도 화소와 고조도 화소를 전환하는 역할을 담당한다. 도 9는 본 실시 형태의 이미지 센서(10)에서의 화소의 전환을 나타내는 도면이다. 도 9에 도시한 것처럼, 본 실시 형태의 이미지 센서(10)에서는, 예를 들면, 저조도 화소의 다이나믹 레인지가 80 dB인 경우는, 고조도 화소의 전하 축적 시간을 50 dB 낮춰, 고조도 화소의 전하 축적 시간을 약 1/300로 단축한다. 이와 같이, 저조도 화소에의 입사광이 70 dB 이상일 때는, 고조도 화소로 전환하도록 화소 제어 신호로 독출 화소(1a)를 제어하면, 전체의 다이나믹 레인지는 130 dB로 향상된다.
도 10은 고조도 영역 및 저조도 영역을 나타내는 도면이며, 도 11은 리셋 영역을 나타내는 도면이다. 예를 들면, 터널 내부에서 출구를 촬영하면, 도 10에 도시한 것처럼, 화소 영역의 중심부는 터널 외부의 고조도 영역(1h)이 되고, 그 주위는 터널 내부의 저조도 영역(1l)이 된다. 이러한 경우에는, 도 11에 도시한 것처럼, 대응하는 중심의 화소를 리셋 대상의 화소(리셋 화소)(1r)로서 제어함으로써, 보다 적절한 화상 신호를 얻을 수 있다.
도 12는 화소 제어 신호를 형성하는 방법을 나타내는 도면이며, 도 12A는 논리회로 블록도이며, 도 12B는 플로우 차트이다. 도 12A에 도시한 것처럼, 이미지 센서의 출력 신호는 임계치 처리 회로에 의해 리셋 영역을 나타내는 "1"과, 비 리셋 영역을 나타내는 "0"을 출력한다. 도 12B에 도시한 것처럼, 화소 제어 신호는 처음에 이미지 센서로부터 출력 신호 D(i, j)를 독출한다. 다음으로, 화소 제어용 프레임 메모리로부터 화소 제어 신호 C(i, j)를 독출한다.
그리고, C(i, j)가 "0"인지 "1"인지에 대해 평가한다. 평가 결과, C(i, j)가 "0"인 경우는 D(i, j)를 그대로 하고, C(i, j)가 "1"인 경우는 D(i, j)에 설정된 이득(G)을 곱한 것을 D(i, j)로 한다. 다음으로, 이 D(i, j)가 임계치(VTH) 보다 큰지 작은지를 평가한다. 평가 결과, D(i, j)가 임계치(VTH) 보다 크면 새로운 C(i, j)를 "1"로 하고, D(i, j)가 임계치(VTH) 보다 작으면 새로운 C(i, j)를 "0"으로 하여 화소 제어용 프레임 메모리에 기입한다. 이 새로운 D(i, j)는, 화상 처리 회로에 출력된다. 또, 새로운 C(i, j)는, 화소 제어 신호가 되어, 이미지 센서의 각 화소의 축적 전하 제어에 이용된다.
도 13은 화상 처리 회로의 동작을 나타내는 도면이다. 제어 대상 영역의 설정은, 도 13에 도시한 프레임 메모리를 가지는 화상 처리 회로(6)를 이용해 실시할 수 있다. 화상 처리 회로(6)는, 예를 들면, 이미지 센서(10)의 외부에 설치되고, 이미지 센서(10)로부터의 출력 신호가 입력되어, 화소 제어 신호를 만들어 낸다. 이 화소 제어 신호는, 예를 들면, 1 프레임 이상 전의 화상 또는 화상군의 화소 정보에 근거해 생성할 수 있다. 그 때, 화상 또는 화상군으로서는, 예를 들면, 휘도 정보, 움직임 벡터(motion vector) 및 가치 정보(독출할 가치가 있는지 여부) 중 적어도 1종을 이용할 수 있다. 그리고, 화상 처리 회로(6)에서 생성된 화소 제어 신호는, 이미지 센서(10)에 출력된다.
각 화소의 제어에서는, 예측이 필요한 경우도 상정된다. 도 14 및 도 15는 촬상 화상에 움직임이 있는 피사체가 포함되어 있는 경우의 제어 예를 나타내는 도면이다. 도 14에 도시한 것처럼, 대상 프레임(51)에서 리셋 대상의 화소로서 제어하는 피사체가 움직이고 있는 경우는, 1개 전의 프레임(51a) 및 2개 전의 프레임(51b) 등을 이용해 움직임 벡터(52)를 추출하고, 이 움직임 벡터(52)를 이용해 대상 프레임(51)의 화소를 고조도 화소로 해야 할지 저조도 화소로 해야 할지를 예측한다. 이에 따라, 보다 정확한 제어가 가능하게 된다.
도 15는 차가 터널의 출구를 향해 나아가는 상태를 나타내고 있고, 중심부의 빗금(hatching)을 치지 않은 영역이 터널의 출구에 해당하는 부분이며, 고조도 화소로 해야 할 영역이다. 대상 프레임(53)의 각 화소를 제어하기 위해서는, 중심부의 빗금을 치지 않은 영역의 경시 변화를 검출해, 예측함으로써, 보다 정확한 제어가 가능해진다. 구체적으로는, 화상 제어 신호 생성부에 있어서, 대상 프레임(53), 1개 전의 프레임(53a) 및 2개 전의 프레임(53b) 등을 이용해 얻은 광 강도의 분석 결과나 움직임 벡터(52)로부터, 화소 제어 신호를 결정한다.
종래, 화상 처리에서의 움직임 벡터의 검출은, 프레임 사이에서 좌표를 이동하면서 차분의 제곱의 합이 최소가 되는 좌표의 벡터를 탐색에 의해 구할 수 있기 때문에, 연산량이 많아져, 동작 속도의 저하나 소비 전력의 증대를 초래하는 과제가 있다. 그래서, 본 실시 형태의 이미지 센서에서는, 제어 신호가 저장되어 있는 전후하는 프레임 메모리 간의 차분을 이용함으로써 이 과제를 해결하고 있다.
도 16A~E는 메모리에 기입된 화소 제어 정보의 차분으로부터 움직임을 검출하는 방법을 나타내는 개념도이다. 도 16A는, 리셋 영역이 X방향으로 움직였을 때의 (n-1)번째의 프레임과 (n)번째의 프레임의 차분을 나타내고 있다. 도면 중 우측이 차분 +1, 중앙이 차분 0, 좌측이 차분 -1이 된다. 그래서, 차분 +1 또는 차분 -1의 영역의 X방향의 이동의 범위로부터 움직임의 값을 알 수 있다.
도 16B는, 리셋 영역이 Y방향으로 움직였을 때의 (n-1)번째의 프레임과 (n)번째의 프레임의 차분을 나타내고 있다. 도면 중 상측이 차분 +1, 중앙이 차분 0, 하측이 차분 -1이 된다. 그래서, 차분 +1 또는 차분 -1의 영역의 Y방향의 이동의 범위로부터 움직임의 값을 알 수 있다. 도 16C는, 리셋 영역이 경사 방향으로 움직였을 때의 (n-1)번째의 프레임과 (n)번째의 프레임의 차분을 나타내고 있다. 도면 중 상측과 우측이 차분 +1, 중심이 차분 0, 하측과 좌측이 차분 -1이 된다. 그래서, 차분 +1 또는 차분 -1의 영역의 X방향 및 Y방향의 이동의 범위로부터 움직임의 벡터값을 알 수 있다.
도 16D는, 리셋 영역이 확장하고 있을 때의 (n-1)번째의 프레임과 (n)번째의 프레임의 차분을 나타내고 있다. 이 경우, 도면 중 좌우상하, 즉 주변부의 모든 차분이 +1이 된다. 그래서, 차분 +1의 X방향 및 Y방향의 이동의 범위로부터 확장하는 움직임의 벡터값을 알 수 있다. 도 16E는, 리셋 영역이 수축하고 있을 때의 (n-1)번째의 프레임과 (n)번째의 프레임의 차분을 나타내고 있다. 이 경우, 도면 중 좌우상하, 즉 주변부의 모든 차분이 -1이 된다. 그래서, 차분 -1의 X방향 및 Y방향의 이동의 범위로부터 수축하는 움직임의 벡터값을 알 수 있다.
이에 따라, (n-1)번째의 프레임과 (n)번째의 프레임의 차분으로부터 움직임 벡터를 구할 수 있다. 이 방법은, 프레임 간의 차분을 취해, 이동의 범위를 구할 뿐이므로, 연산량이 극히 적어서, 고속이고 저전력으로 리셋 영역의 움직임 벡터를 구할 수 있다.
전술한 방법으로 구해진 움직임 벡터를 이용함으로써, 다음의 프레임의 리셋 영역의 예측 정밀도를 향상시키는 것이 가능하다. 도 17A~D는 움직임 보상된 화소 제어 신호의 형성 방법을 나타내는 개념도이다. 움직임 벡터를 이용하는 경우는, 현행 프레임(n)에 대해서 1 프레임 전의 (n-1)의 화소 제어 프레임 메모리를 남겨 둔다. 그리고, 먼저, 도 12에 도시한 방법을 이용해 현행 프레임(n)의 화소 제어 데이터를 작성한다. 이때, 도 17A~D에 도시한 것처럼, 프레임(n)의 데이터 C(n)과 프레임(n-1)의 데이터 C(n-1)의 차분 데이터를 구하여 차분 프레임의 데이터 C(n)-C(n-1)을 작성한다.
다음으로, 현행 프레임(n)의 데이터에 대해서 차분 프레임의 데이터 C(n)-C(n-1)을 이용하여, 움직임 보상된 다음의 프레임의 화소 제어 데이터를 작성한다. 이 예에서는, 리셋 영역(7r)은 우측으로 움직이고 있으므로, 현행 프레임의 데이터 C(n)에 대해서 차분 프레임의 움직임분 만큼 우측으로 리셋 영역을 추가하고, 좌측의 리셋 영역을 삭제하면 무방하다.
덧붙여, 본 실시 형태에서는, 축적 전하량을 제어하여 다이나믹 레인지를 확대하는 방법에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 도 35에 도시한 저조도 화소와 고조도 화소를 이용하는 경우는, 화소 제어 신호에 의해 어느 한쪽의 신호 출력을 선택하면 무방하다.
이상 상술한 것처럼, 본 실시 형태의 이미지 센서는, 각 화소의 전하 축적 시간을 저조도인 경우는 길어지게, 고조도인 경우는 짧아지게 설정할 수 있기 때문에, 프레임 레이트의 감소나 해상도의 감소를 초래하지 않고 다이나믹 레인지를 큰 폭으로 확대할 수 있다.
덧붙여, 전술한 본 발명의 구성은, 이미지 센서의 고 다이나믹 레인지화, 고 신뢰화, 고속화, 저소비 전력화, 저 노이즈화, 다 화소화에 이용 가능하고, 가시광의 이미지 센서에 한정하지 않고, 적외선 센서, 테라헤르쯔 센서, 자기 센서, 압력 센서 등에 유효하다.
(제1 실시 형태의 제1 변형 예)
전술한 제1 실시 형태에서는, 전하 축적 시간을 바꾸는 것으로 축적 전하량을 제어해 다이나믹 레인지를 확대하는 방법에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 전하 축적 용량을 바꾸는 것으로 축적 전하량을 제어해도 무방하다. 도 18은 본 발명의 제1 실시 형태의 제1 변형 예에 따른 이미지 센서에서의 화소의 구성 예를 나타내는 회로도이며, 도 19는 도 18에 도시한 회로 구성을 가지는 화소의 제어 방법을 나타내는 도면이다.
도 18에 도시한 것처럼, 본 변형 예에 따른 이미지 센서의 화소는, 통상의 FD 용량(12)에 더하여, 그 수십배의 용량을 가지는 대용량의 용량(13)이 설치되어 있고, 이 용량(13)을 이용해 고조도일 때의 전압의 포화를 막는 구성으로 되어 있다. 도 18에 도시한 화소에서는, 리셋 신호(RST)와 용량(13)을 선택하는 MOST 트랜지스터(M4)의 게이트 사이에 트랜지스터(M1)가 삽입되고, 그 게이트는 화소 제어 신호(CS)에 접속되어 있다. 또, 트랜지스터(M4)의 게이트에는 게이트 전압을 일정 기간 보유(保持)하는 용량(CH)이 접속되어 있고 보유 전하는 MOS 트랜지스터(M5)에 의해 방전되도록 되어 있다.
다음으로, 도 18에 도시한 회로 구성을 가지는 화소의 제어 방법에 대해 설명한다. 본 변형 예의 이미지 센서에서는, 도 19에 도시한 것처럼, 리셋 신호(RST)가 "H"인 리셋 시에 용량(12) 또는 용량(13)을 선택하지만, 예를 들면, 저조도인 경우는 용량(12)을 선택하고, 고조도인 경우는 용량(13)을 선택한다. 즉, 리셋 신호(RST)가 "H"의 상태일 때, 화소 제어 신호(CS)는 "H" 또는 "L"을 선택한다.
화소 제어 신호(CS)를 "L"로 하면 트랜지스터(M1)는 오프 상태가 되고, TX 신호가 "H"인 신호의 독출 기간에서, MOS 트랜지스터(M4)의 그 전 상태의 게이트 전압이 보유된다. 그리고, 독출이 종료하면, 전하 방전 신호(RSTG)를 "H"로 하여 트랜지스터(M5)를 온 상태로 하고, 용량(CH)을 방전해 MOS 트랜지스터(M4)를 오프 상태로 한다. 그 후 전하 방전 신호(RSTG)를 "L"로 하여 다음의 동작에 대비한다.
본 변형 예의 이미지 센서와 같이, 전하 축적 용량을 바꾸는 것으로 축적 전하량을 제어한 경우에서도, 프레임 레이트의 감소나 해상도의 감소를 초래하지 않고 다이나믹 레인지를 큰 폭으로 확대할 수 있다. 덧붙여, 본 변형 예에서의 상기 이외의 구성 및 효과는, 전술한 제1 실시 형태와 마찬가지이다.
(제1 실시 형태의 제2 변형 예)
다음으로, 본 발명의 제1 실시 형태의 제2 변형 예에 따른 이미지 센서에 대해 설명한다. 도 20은 본 변형 예의 이미지 센서의 구성을 나타내는 블록도이며, 도 21은 도 20에 도시한 이미지 센서의 제어 방법을 나타내는 도면이다. 행 선택을 실시하는 제어선 및 열 선택을 실시하는 제어선은 용량이 크기 때문에, 제어선의 논리의 천이에 수반하여 전기 에너지를 소비하고, 소비 전력이 증가한다.
그래서, 본 변형 예의 이미지 센서에서는, 도 20에 도시한 것처럼, 화소 영역의 좌우에 행 선택부(2a, 2b)를 배치해, 각각의 행 선택선에 의해 화소 영역의 중앙 보다 도면 중 우측 부분 또는 좌측 부분을 맡는 구성으로 되어 있다. 한편, 열 선택을 실시하는 열 선택부(4a, 4b)는, 화소 영역의 상하에 배치해, 각각의 열 선택선에 의해 화소 영역의 중앙 보다 도면 중 상측 부분 또는 하측 부분을 맡는 구성으로 되어 있다. 이에 따라, 제어 대상의 화소 영역이 4분할되기 때문에, 이러한 구성을 취하지 않는 경우에 비해, 이 부분의 소비 전력을 1/4 정도까지 저감하는 것이 가능하게 된다.
전술한 구성을 유효하게 이용하기 위해, 본 변형 예의 이미지 센서에서는, 도 21에 도시한 것처럼, 시리얼 데이터인 화소 제어 신호가, 열(列)의 제어 신호 전에 2 비트 정도의 제어 비트를 가지는 것이 바람직하다. 이에 따라, 좌우의 열에 있어서 어느 열이 선택되는지, 혹은 모든 열이 선택되지 않는지의 제어 코드를 가지고, 그 정보가 입력되면, 그에 대응하는 열 선택 신호를 발생시키는 동시에, 선택되지 않는 경우는 시프트 레지스터를 이용한 데이터 전송을 정지시킴으로써 소비 전력을 저감시킬 수 있다. 덧붙여, 본 변형 예에서의 상기 이외의 구성 및 효과는, 전술한 제1 실시 형태와 마찬가지이다.
(제2 실시 형태)
다음으로, 본 발명의 제2 실시 형태에 따른 이미지 센서에 대해 설명한다. 도 22는 본 실시 형태의 이미지 센서의 구성을 나타내는 블록도이다. 종래의 이미지 센서는, 촬상 화상을 충실히 재생하는 것이 목적이었기 때문에, 전체 화소의 신호를 이용해 화상을 생성하고 있었다. 한편, 물체 인식이나 동체 인식을 목적으로 한 이미지 센서의 경우, 인식 대상 부분의 화상 정보만 화상 처리 회로에 취입하면 충분하고, 그 외의 부분의 화상 정보를 취입할 필요는 없다.
각 화소로부터 아날로그 화상 신호를 취출해, A/D 변환기에서 디지털 신호로 변환하고, 이 디지털 신호를 화상 처리 회로에 전송하려면 일정한 전력 소비가 수반되기 때문에, 종래의 이미지 센서를 이용해 물체 인식이나 동체 인식을 실시하면, 많은 불필요한 전력을 소비하게 된다. 그리고, 근래에는, 움직임이 있는 화소 영역의 신호만 독출할 필요가 있는 경우, 물체 인식이나 동체 인식이 필요한 화소 영역의 신호만 독출할 필요가 있는 경우가 증가하고 있다.
또, 어두운 장면(scene)의 미약한 신호는, A/D 변환기의 독출 노이즈가 크면 화질이 큰 폭으로 열화하기 때문에, A/D 변환기에는 높은 분해능(N)이 요구된다. 그렇지만, 회로 이론상 A/D 변환기의 소비 전력은 22N에 비례하기 때문에, 부주의하게 높은 분해능으로 A/D 변환기를 실시하는 것은 소비 전력의 현저한 증대를 초래한다. 이 때문에, 화소 신호의 상태에 따라 A/D 변환기의 분해능을 최적화하는 것이 요구된다.
그래서, 본 실시 형태의 이미지 센서(20)에서는, 행 마다 각 열의 화소 독출 회로를 제어해, 독출 선택된 화소(독출 화소)(1a)에 대응하는 화소 독출 회로만 동작시키고, 선택되고 있지 않은 화소에 대응하는 화소 독출 회로의 소비 전력을 가능한 한 저감시키도록 제어한다. 이에 따라, 이미지 센서 전체의 소비 전력을 큰 폭으로 저감하는 것이 가능해진다.
화소의 신호 레벨에 따라 A/D 변환기의 분해능을 최적화하는 것도 중요하다. 도 23은 신호 전압과 A/D 변환기의 분해능과의 관계를 나타내는 도면이다. 도 23은 CMOS 이미지 센서의 화소의 신호 레벨과, 광자(光子)로부터 전자의 변환에 수반해 필연적으로 발생하는 쇼트 노이즈, 독출 회로의 A/D 변환기의 필요 분해능을 나타내고 있다. 도 23에 도시한 것처럼, A/D 변환기의 독출 노이즈는, 쇼트 노이즈를 하회(下回)하면 눈에 띄지 않게 되므로, 화질을 손상시키지 않도록 하려면, A/D 변환기의 독출 노이즈가 쇼트 노이즈의 절반 정도가 되도록 A/D 변환기의 분해능을 설정하면 무방하다.
또, 신호 레벨이 높은 곳에서는 A/D 변환기는 10 bit 정도의 분해능이 필요하고, 신호 레벨이 낮은 곳에서는 14 bit 정도의 분해능이 필요하다. 어느 신호 레벨에서도 고화질을 얻기 위해서는, 14 bit 정도의 분해능을 이용하는 쪽이 좋다고 생각되지만, 그 경우, 소비 전력이 현저히 증대한다. 도 24는 신호 전압과 A/D 변환기의 소비 에너지와의 관계를 나타내는 도면이다. 도 24에 도시한 것처럼, 신호 레벨이 낮아짐에 따라, A/D 변환기의 분해능을 올릴 필요가 있지만, A/D 변환기의 소비 에너지는, 그 분해능을 N으로 하면 22N에 비례하는 것이 알려져 있다.
따라서, A/D 변환기의 분해능이 14 bit인 경우는, 분해능이 10 bit에 비해 256배의 에너지 소비가 수반된다. 이로부터, 화소의 신호 레벨 마다 화질과 저소비 전력을 양립하기 위해 최적의 분해능이 있다는 것을 알 수 있다. 한편, 본 실시 형태의 이미지 센서에서는, 화소 및 대응하는 화소 독출 회로 마다 화질과 소비 전력을 제어하는 것이 가능하다.
도 25는 본 실시 형태의 이미지 센서(20)의 화소와 화소 독출 회로의 구성을 나타내는 회로도이다. 도 25에 도시한 것처럼, 본 실시 형태의 이미지 센서(20)는, 화소(1)의 내부에 소스 팔로워 트랜지스터가 설치되어 있고, 독출 회로 마다 갖추어진 싱크 전류로 소스 팔로워 트랜지스터에 전류를 흘리는 것으로, 신호의 독출이 가능하게 된다. 이 독출 전압은, 비교기(43)의 일방의 입력에 입력되고, 비교기(43)의 타방의 입력은 시간과 함께 직선적으로 전압이 변화하는 참조 전압이 입력되고 있다.
또, 클록 발생 회로(41)에서는, 입력 클록 신호의 주파수의 '정수 배' 또는 '정수 분의 1'의 주파수의 클록 펄스가 생성되어, 카운터(44)에 입력된다. 카운터(44)는, 클록을 카운트한다. 예를 들면, 입력 신호와 참조 신호가 일치했을 때는, 비교기(43)로부터 스톱 신호가 발생해, 카운터(44)를 정지시키고, 그 때의 카운트값이 화소로부터의 신호 출력 전압에 대응한 A/D 변환 출력값으로서 출력된다.
상술한 회로에서, 도 22에 도시한 독출 선택된 화소(독출 화소)(1a)에 대응하는 독출 회로만을 동작시키고, 독출 선택되지 않는 화소에 대응하는 독출 회로의 동작을 정지하면 대폭적인 전력 삭감을 기대할 수 있다. 예를 들면, 도 25에 도시한 화소 독출 회로의 경우는, 소스 팔로워를 동작시키기 위한 싱크 전류, 비교기(43)의 바이어스 전류를 차단하고, 카운터(44)에 입력되는 클록을 정지시키면, 화소 독출 회로의 전력 소비는 거의 제로가 된다.
화소의 신호 강도에 따라 독출 회로를 구성하는 A/D 변환기의 분해능을 변화시키는 것은, 화질과 소비 전력을 최적화하기 위해서 유효하다. 도 26은 선택된 화소와 그 분해능을 나타내는 도면이다. 도 26에 도시한 선택된 각 화소의 분해능은, 분해능 A가 10 bit, 분해능 B를 12 bit, 분해능 C를 14 bit로 한다. 이러한 분해능에 따라 도 25에 도시한 카운터(44)에 입력하는 클록을, 여러가지의 주파수로 이루어진 클록군 중에서 클록 선택 회로(42)에서 선택하면 무방하다.
분해능이 낮을 때는, 낮은 주파수의 클록이 선택되고, 분해능이 높을 때는 높은 주파수의 클록이 선택된다. 분해능 A, B, C에 따라, 1:4:16의 주파수의 클록이 선택된다. 카운터(44)의 소비 전력은, 클록 주파수에 비례하므로, 분해능이 낮을수록 소비 전력 삭감을 도모할 수 있다. 다만, 신호에 대한 노이즈는, 분해능이 높을수록 낮기 때문에, 화질의 요구와 소비 전력의 요구의 양방을 감안해 최적화를 도모할 필요가 있다.
도 27은 본 실시 형태의 이미지 센서(20)의 독출 제어부(23)의 구성을 나타내는 회로도이다. 독출 회로 제어 신호는, 클록 신호에 동기한 시프트 레지스터를 구성하는 플립플롭(F/F)(31)에 입력되어, 순차적으로 우측에 전송되고, 판독 타이밍 신호에 동기해 일제히 플립플롭(32)에 입력되어, 독출 회로를 구성하는 A/D 변환 회로(33)를 제어하도록 되어 있다.
게다가, 본 실시 형태의 이미지 센서(20)는, A/D 변환기로부터의 데이터 전송을 제어함으로써 데이터 전송에 따라 생기는 소비 전력을 저감할 수 있다. 도 28은 본 실시 형태의 이미지 센서(20)의 독출 제어부(23)의 구성을 나타내는 다른 회로도이다. 독출 제어부(23)가 도 28에 도시한 구성의 이미지 센서(20)에서는, 데이터 전송 제어 신호는, 클록 신호에 동기한 시프트 레지스터를 구성하는 플립플롭(F/F)(31)에 입력되어, 도면 중 우측으로 순차적으로 전송된 후, 판독 타이밍 신호에 동기해 일제히 플립플롭(32)에 입력된다. 이 이미지 센서(20)에서는, 게이트 회로(34)를 제어함으로써, A/D 변환 회로(33)로부터의 데이터 전송을 제어하도록 되어 있다.
이상 상술한 것처럼, 본 실시 형태의 이미지 센서는, 행 마다 각 열의 화소 독출 회로를 제어해, 독출 선택된 화소(독출 화소)에 대응하는 화소 독출 회로만 동작시키고, 선택되고 있지 않은 화소에 대응하는 화소 독출 회로의 소비 전력을 가능한 한 저감시키도록 제어함으로써, 이미지 센서 전체의 소비 전력을 큰 폭으로 저감시키는 것이 가능하다. 게다가, 본 실시 형태의 이미지 센서는, 화소의 신호 강도에 따라 독출 회로를 구성하는 A/D 변환기의 분해능을 변화시키고 있기 때문에, 화질과 소비 전력을 최적화할 수 있다. 게다가, 본 실시 형태의 이미지 센서에서는, A/D 변환기로부터의 데이터 전송을 제어함으로써, 데이터 전송에 의해 생기는 소비 전력을 저감할 수 있다.
덧붙여, 본 실시 형태에서의 상기 이외의 구성 및 효과는, 전술한 제1 실시 형태와 마찬가지이다. 또, 이상의 설명에서는 COMS 이미지 센서를 예로 설명했지만, 본 발명은 이것에 한정되지 않으며, 다른 용도의 2차원 이미지 센서에 대해서도 적용 가능하다. 게다가, 이미지 센서는, 적외선 센서, 테라헤르쯔 센서, 자기 센서, 압력 센서를 포함한다.
1, 101, 130, 210: 화소
1a, 101a: 독출 화소
1h: 고조도 영역
1l: 저조도 영역
1r, 101b: 리셋 화소
2, 2a, 2b: 행 선택부
3: 화소 독출부
4, 4a, 4b: 열 선택부
5: 타이밍 신호 발생부
6: 화상 처리 회로
7r: 리셋 영역
10, 20, 100, 200: 이미지 센서
11, 120: 포토 다이오드
12, 13, 121, 122: 용량
23: 독출 제어부
31, 32: 플립플롭
33: 아날로그·디지털 변환 회로
34: 게이트 회로
41: 클록 발생 회로
42: 클록 선택 회로
43: 비교기
44: 카운터
51, 53: 대상 프레임
51a, 53a: 1개 전의 프레임
51b, 53b: 2개 전의 프레임
52: 움직임 벡터
102: 행 선택 회로
103: 열 독출 회로
104, 204: 타이밍 신호 발생 회로
105: 전송 회로
110: 저조도용 프레임
111: 고조도용 프레임
131: 저조도용 화소
132: 고조도용 화소
201: 전하 전송용 스캐너
202: 전자 셔터용 스캐너
203: 수평 방향 화소 선택 스캐너
205: 화소 영역
M1~M4: 트랜지스터

Claims (15)

  1. 자연계에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘 복수의 화소가 행방향 및 열방향에 2차원 배치된 화소 영역과,
    상기 화소 영역의 임의의 화소를 행 단위로 선택해, 상기 화소로부터의 전기 신호의 독출 및 축적 전하의 리셋에 기여하는 행 선택부와,
    상기 행 선택부에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 화소 독출부와,
    상기 행 선택부에 의해 선택된 화소 행 중에서 임의의 열의 화소를 선택해, 선택된 화소의 축적 전하량을 제어하는 열 선택부
    를 가지는 이미지 센서.
  2. 제1항에 있어서,
    상기 열 선택부는,
    선택하지 않은 화소에 대하여 축적 전하의 리셋을 실시하는
    이미지 센서.
  3. 제2항에 있어서,
    상기 화소는, 상기 행 선택부에 접속되어 축적 전하의 리셋에 이용되는 행 선택선에 소스가 접속되는 동시에, 상기 열 선택부에 접속된 열 선택선에 게이트가 접속되고, 포토 다이오드의 축적 전하를 용량으로 전송하는 전송 트랜지스터의 게이트에 드레인이 접속된 MOS 트랜지스터
    를 갖추고,
    상기 MOS 트랜지스터에 의해 상기 축적 전하의 리셋을 제어하는
    이미지 센서.
  4. 제1항에 있어서,
    상기 열 선택부는,
    선택하지 않은 화소의 축적 전하를 용량으로 전송하는
    이미지 센서.
  5. 제4항에 있어서,
    상기 화소는, 상기 행 선택부에 접속되어 축적 전하의 전송에 이용되는 행 선택선에 소스가 접속되는 동시에, 상기 열 선택부에 접속된 열 선택선에 게이트가 접속되고, 포토 다이오드의 축적 전하를 용량으로 전송하는 전송 트랜지스터의 게이트에 드레인이 접속된 MOS 트랜지스터
    를 갖추고,
    상기 MOS 트랜지스터에 의해 상기 축적 전하의 전송을 제어하는
    이미지 센서.
  6. 제1항에 있어서,
    상기 열 선택부는,
    선택한 화소의 전하 축적 용량을 변경함으로써 전하 축적량을 제어하는
    이미지 센서.
  7. 제1항에 있어서,
    상기 화소 영역을 사이에 두고 행방향 측에 제1 행 선택부 및 제2 행 선택부가, 열방향 측에 제1 열 선택부 및 제2 열 선택부가 각각 설치되어 있고,
    상기 제1 행 선택부 및 상기 제2 행 선택부는, 상기 화소 영역의 화소 중 각 행 선택부에 가까운 쪽의 단부로부터 행방향 중앙까지의 화소를 선택하고,
    상기 제1 열 선택부 및 제2 열 선택부는, 상기 화소 영역의 화소 중 각 열 선택부에 가까운 쪽의 단부로부터 열방향 중앙까지의 화소를 선택하는
    이미지 센서.
  8. 제1항에 있어서,
    상기 열 선택부에는 시프트 레지스터가 설치되어 있고,
    상기 열 선택부에 입력된 화소 제어 신호는 상기 시프트 레지스터에 의해 행방향에 전송되고,
    상기 열 선택부에 입력된 판독 타이밍 신호에 의해 상기 시프트 레지스터로부터 일제히 열 선택 신호가 출력되는
    이미지 센서.
  9. 제8항에 있어서,
    상기 열 선택부는,
    모든 열이 선택되지 않음을 나타내는 제어 코드를 가지는 화소 제어 신호가 입력되었을 경우는, 상기 시프트 레지스터에 의한 신호의 전송을 정지하는
    이미지 센서.
  10. 제8항에 있어서,
    상기 화소 제어 신호를 생성하는 화소 제어 신호 생성부
    를 가지고,
    상기 화소 제어 신호 생성부에서는,
    앞의 출력 신호가 임계치 이상인지 임계치 미만인지를 판정하고, 그 판정 정보를 프레임 단위로 메모리에 기입하고, 다음의 프레임의 타이밍에 동기해 상기 판정 정보를 상기 메모리로부터 독출함으로써 상기 화상 제어 신호를 생성하는
    이미지 센서.
  11. 제8항에 있어서,
    상기 화소 제어 신호를 생성하는 화소 제어 신호 생성부
    를 가지고,
    상기 화소 제어 신호 생성부에서는,
    앞의 출력 신호가 임계치 이상인지 임계치 미만인지를 판정하고, 그 판정 정보를 프레임 단위로 메모리에 기입하고, 상기 메모리에 기입된 연속하는 2 이상의 프레임의 정보의 차분으로부터 피사체의 움직임을 예측하고, 이 예측된 움직임에 근거해 보정한 정보를 상기 메모리에 기입하고, 다음의 프레임의 타이밍에 동기해 상기 보정한 정보를 상기 메모리로부터 독출함으로써 상기 화상 제어 신호를 생성하는
    이미지 센서.
  12. 자연계에 존재하는 물리량을 검출하여 전기 신호로 변환하는 센서 소자를 갖춘 복수의 화소가 행방향 및 열방향에 2차원 배치된 화소 영역과,
    상기 화소 영역의 임의의 화소를 행 단위로 선택해, 상기 화소로부터의 전자 신호의 독출에 기여하는 행 선택부와,
    화소 열 마다 독출 회로가 설치되어, 상기 행 선택부에 의해 선택된 각 화소의 전기 신호를 열 병렬로 독출하는 동시에, 상기 독출 회로를 제어하는 독출 제어부
    를 가지는 이미지 센서.
  13. 제12항에 있어서,
    상기 독출 제어부는,
    상기 독출 회로의 동작을 선택적으로 정지시키는
    이미지 센서.
  14. 제12항에 있어서,
    상기 독출 제어부는,
    상기 독출 회로를 구성하는 아날로그·디지털 변환기의 분해능을 제어하는
    이미지 센서.
  15. 제12항에 있어서,
    상기 독출 제어부는,
    상기 독출 회로를 구성하는 아날로그·디지털 변환기로부터의 데이터 전송을 제어하는
    이미지 센서.
KR1020207034927A 2018-10-01 2019-08-21 이미지 센서 KR102441628B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018186486 2018-10-01
JPJP-P-2018-186486 2018-10-01
PCT/JP2019/032573 WO2020070994A1 (ja) 2018-10-01 2019-08-21 イメージセンサ

Publications (2)

Publication Number Publication Date
KR20210003918A true KR20210003918A (ko) 2021-01-12
KR102441628B1 KR102441628B1 (ko) 2022-09-08

Family

ID=70055729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034927A KR102441628B1 (ko) 2018-10-01 2019-08-21 이미지 센서

Country Status (4)

Country Link
US (1) US11758304B2 (ko)
JP (1) JPWO2020070994A1 (ko)
KR (1) KR102441628B1 (ko)
WO (1) WO2020070994A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143485A (ja) 2001-11-02 2003-05-16 Sony Corp 固体撮像素子
JP2003250094A (ja) 2002-02-25 2003-09-05 Toshiba Corp 撮像装置
KR20100033399A (ko) * 2007-03-02 2010-03-29 캐논 가부시끼가이샤 촬상 장치 및 촬상 시스템
KR20140044289A (ko) * 2011-02-18 2014-04-14 소니 주식회사 촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램
JP2017200135A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 撮像装置及び放射線撮像システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503481B2 (ja) 2005-04-05 2010-07-14 浜松ホトニクス株式会社 固体撮像装置
JP5730030B2 (ja) 2011-01-17 2015-06-03 浜松ホトニクス株式会社 固体撮像装置
WO2014065055A1 (ja) 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2014220644A (ja) * 2013-05-08 2014-11-20 コニカミノルタ株式会社 固体撮像装置
JP6399749B2 (ja) 2013-12-19 2018-10-03 キヤノン株式会社 撮像装置および撮像システム
JP7082503B2 (ja) * 2018-03-08 2022-06-08 浜松ホトニクス株式会社 光検出装置及び光検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143485A (ja) 2001-11-02 2003-05-16 Sony Corp 固体撮像素子
JP2003250094A (ja) 2002-02-25 2003-09-05 Toshiba Corp 撮像装置
KR20100033399A (ko) * 2007-03-02 2010-03-29 캐논 가부시끼가이샤 촬상 장치 및 촬상 시스템
KR20140044289A (ko) * 2011-02-18 2014-04-14 소니 주식회사 촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램
JP2017200135A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 撮像装置及び放射線撮像システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[비특허문헌 1] S. Sugawa, et al., "A 100 dB dynamic range CMOS image sensor using a lateral overflow integration capacitor", ISSCC (IEEE International Solid-State Circuits Conference) Digest of Technical Papers, IEEE, 2005년 2월, pp.352-353
[비특허문헌 2] K. Nishimura, et al., "An Over 120dB Simultaneous-Capture Wide-Dynamic-Range 1.6e- Ultra-Low-Reset-Noise Organic Photoconductive-Film CMOS Image Sensor", ISSCC Digest of Technical Papers, IEEE, 2016년 2월, pp.110-111

Also Published As

Publication number Publication date
WO2020070994A1 (ja) 2020-04-09
JPWO2020070994A1 (ja) 2021-09-02
KR102441628B1 (ko) 2022-09-08
US20210266486A1 (en) 2021-08-26
US11758304B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
US10771718B2 (en) Imaging device and imaging system
US10798322B2 (en) High dynamic-range image sensor
KR102209660B1 (ko) 확장된 동적 범위를 갖는 이미지 센서
US7586523B2 (en) Amplification-type CMOS image sensor of wide dynamic range
US8089522B2 (en) Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US8729451B2 (en) Multilevel reset voltage for multi-conversion gain image sensor
US9088726B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
US6927796B2 (en) CMOS image sensor system with self-reset digital pixel architecture for improving SNR and dynamic range
KR100737916B1 (ko) 이미지 센서 그리고 그것을 위한 테스트 시스템 및 테스트방법
US9986172B2 (en) Semiconductor device including control signal generating circuit
US20060262205A1 (en) Column analog-to-digital conversion apparatus and method supporting a high frame rate in a sub-sampling mode
CN110753192A (zh) 阈值监测的有条件重置的图像传感器
KR20200085943A (ko) 조건부-리셋, 멀티-비트 판독 이미지 센서
JP5149687B2 (ja) 撮像センサ、撮像システム、及び撮像センサの制御方法
KR20110016401A (ko) 고체 촬상 장치, 고체 촬상 장치의 구동 방법 및 전자 기기
JP2010148138A (ja) インターリーブされたイメージ出力を持つイメージ・センサ
JP2010538561A (ja) 広ダイナミックレンジｃｍｏｓ画像センサ
CN114422725B (zh) 一种图像输出方法、图像传感器及其应用
JP4770618B2 (ja) 固体撮像装置
CN112004037B (zh) 图像传感器像素结构
KR102441628B1 (ko) 이미지 센서
US9386242B2 (en) Imaging device and method having a control circuit to shift charges of the photodiode of each pixel simultaneously to a first storage node or a second storage node for capturing a moving object without distortion and achieving a wide dynamic range
US20100033601A1 (en) Solid-state imaging device with a sensor core unit and method of driving the same
US20150029370A1 (en) Solid-state imaging device
KR102141107B1 (ko) 이미징 장치 및 그 구동방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant