KR20130050911A - 다중 스펙트럼 감광소자 및 그 샘플링 방법 - Google Patents

다중 스펙트럼 감광소자 및 그 샘플링 방법 Download PDF

Info

Publication number
KR20130050911A
KR20130050911A KR1020127024252A KR20127024252A KR20130050911A KR 20130050911 A KR20130050911 A KR 20130050911A KR 1020127024252 A KR1020127024252 A KR 1020127024252A KR 20127024252 A KR20127024252 A KR 20127024252A KR 20130050911 A KR20130050911 A KR 20130050911A
Authority
KR
South Korea
Prior art keywords
pixel
sampling
merging
row
merged
Prior art date
Application number
KR1020127024252A
Other languages
English (en)
Other versions
KR101473424B1 (ko
Inventor
시아오핑 후
Original Assignee
볼리 미디어 커뮤니케이션스 (센젠) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 볼리 미디어 커뮤니케이션스 (센젠) 캄파니 리미티드 filed Critical 볼리 미디어 커뮤니케이션스 (센젠) 캄파니 리미티드
Publication of KR20130050911A publication Critical patent/KR20130050911A/ko
Application granted granted Critical
Publication of KR101473424B1 publication Critical patent/KR101473424B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명에서는 다중 스펙트럼 감광소자 미츠그 샘플링 방법을 제공하는 바, 상기 방법에는, 상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 과정; 제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정; 제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함된다. 본 발명은 단일층 채색 감광칩, 단일면 이중층 다중 스펙트럼 감광칩 및 이중면 이중층 다중 스펙트럼 감광칩의 다중 픽셀 공유 리딩과 증폭 회로에 적용된다. 본 발명은 종래 픽셀 리딩 회로의 핵심을 흡수한 기초 상에서, 그 원리, 기초 회로와 성능 상에서 모두 수량급의 돌파를 가져왔으며, 또 고성능의 서브 샘플링을 구현함과 동시에 간단하고 직접적으로 감광 소자 상에서 서브 샘플링 이미지의 YUV 포멧의 출력을 구현한다.

Description

다중 스펙트럼 감광소자 및 그 샘플링 방법 {MULTISPECTRAL PHOTORECEPTIVE DEVICE AND SAMPLING METHOD THEREOF}
본 발명은 감광칩의 감광 픽셀의 리딩에 관한 것으로서, 특허 대형 어레이 감광칩의 감광 픽셀의 서브 샘플링 데이터 리딩에 관한 것이다. 구체적으로 말하면, 본 발명은 다중 스펙트럼 감광소자 및 그 샘플링 방법에 관한 것이다.
본 발명은 본 발명인의 약간 전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)과 "다중 스펙트럼 감광소자 및 그 제작 방법"(중국 출원번호: 200810217270.2)의 계속으로서, 더욱 구체적이고 바람직한 반도체 회로와 칩 레벨의 구현을 제공하기 위한 것이다.
종래의 감광 소자는 채색 가시광선에 중점을 맞추지 않으면, 적외선에 중점을 두고, 양자를 결합시키는 것은 아주 적다. 기타의 발명과 출원, 예를 들면, 인듐화 카드뮴을 이용한 반도체 기술(“Silicon infrared focal plane arrays”, M. Kimata, in Handbook of Infrared Detection Technologies, edited by M. Henini and M. Razeghi, pp. 352-392, Elsevier Science Ltd., 2002)로 가시광선과 적외선의 동시 감지를 구현하기는 하지만, 이는 채색을 취득할 수 없다. 종래의 채색과 적외선을 동시에 감지하는 방법으로는 하나의 채색 감광 소자와 하나의 적외선 감광 소자를 물리적으로 겹치는 것이다(예를 들면, “Backside-hybrid Photodetector for trans-chip detection of NIR light], by T. Tokuda et al., in IEEE Workshop on Charge-coupled Devices & Advanced Image Sensors, Elmau, Germany, May 2003, and “A CMOS image sensor with eye-safe detection function using backside carrier injection”, T. Tokuda et al., J. Inst Image Information & Television Eng., 60(3):366-372, March 2006) .
본 발명인의 약간 전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)과 "다중 스펙트럼 감광소자 및 그 제작 방법"(중국 출원번호: 200810217270.2)에서는, 동시에 채색과 적외선 이미지를 취득할 수 있는 새로운 다중 스펙트럼 감광 소자의 제작 방법을 제공하는 바, 이러한 새로운 감광 소자는 감광 소자의 동적 범위를 크게 확충시켜 자동차, 보안 등 분야의 고성능 요구를 만족시킬 수 있을 뿐 아니라, 이를 작은 크기의 채색 감광 소자, 예를 들면, 핸드폰용 카메라에 이용하여도 이미지 품질을 크게 향상시킬 수 있으며, 또한 이들은 종래의 COMS, CCD 또는 기타 반도체 감광 소자 제작 기술을 이용하여 제작될 수 있고, 각 기술마다 모두 아주 많고 효과적인 제작 방법과 구조 설계가 있으나, 본 발명은 주요하게 적은 몇 가지 COMS/CCD 반도체 기술을 이용한 제작 방법을 제공한다.
하지만, 이러한 새로운 이중층 또는 다중층 감광 소자는 새로운 문제를 가져오는 바, 즉 데이터 량은 종래의 단일층 감광 소자의 두 배 내지는 이상이라는 것이다. 이중층 감광 소자는 단지 절반의 픽셀만 있으면 단일층 감광 소자와 동일한 해상도를 얻을 수 있기는 하지만, 고속으로 대형 어레이의 감광 소자의 데이터를 처리하는 것은 여전히 개선이 필요한 문제이다.
최근 몇 년에 있어서, 이미 일부 훌륭한 방법을 발명하여 대형 어레이 이미지에 대하여 고성능의 서브 샘플링을 진행하고 있는 바, 예를 들면, 리딩 회로 공유, 행 바인딩(Row Binning) 및 열 바인딩(Column Binning) 샘플링 기술(예를 들면, 미국 특허 US6, 801, 258B1, US6, 693, 670B1, US7, 091, 466B2, US7, 319, 218B2 등)이다. 주목하여야 할 바로는 미국 특허 US6, 693, 670B1, US7, 091, 466B2和 US7, 319, 218B2이다. 이러한 특허들은 효과가 훌륭하고 또 간편하게 구현할 수 있는 수단을 제공하여 N행 또는 M열 또는 M행과 N열의 병용을 구현한다.
하지만 이러한 서브 샘플링 기술은 최적의 효과를 이루지 못하고 있다. 예를 들면, 행 바인딩과 열 바인딩의 서브 샘플링 기술을 이용하여 N 개 점을 하나의 점으로 합치면, 이미지 노이즈 비의 개선은 최고로 단지
Figure pct00001
이다(미국 특허 US7, 091, 466B2, US7, 319, 218B2 참조). 왜냐하면 행 바인딩과 열 바인딩은 단지 신호에 대하여 평균을 낸 것이기 때문에, 무작위 노이즈의 분산을
Figure pct00002
배 낮춘것 뿐이고, 유용한 신호 자체의 강도는 증가되지 않고, 단지 몇 개 점의 평균치로 대체한 것이다. 이미지 신호 중에는 일반적으로 또 완변 저주파수의 고정 노이즈가 있는데, 이 부분 노이즈도 감소되지 않는다.
그리고, 종래의 서브 샘플링 기술은 단지 단독으로 Bayer 배열 또는 CYMG 4색 패턴 배열의 감광칩의 서브 샘플링의 요구만 고려한 것이고, 후속의 계산을 위하여 간략화를 진행하지 않았다. 예를 들면, 하나의 Bayer 패턴의 채색 이미지는 미국 Micron Technologies Inc.의 행 바인딩과 열 바인딩 샘플링 기술(미국 특허 US7, 091, 466B2, US7, 319, 218B2)을 이용한 후, 여전히 하나의 Bayer 패턴으로서, 여전히 복잡한 처리를 거쳐야만 미리보기와 저장 단계에 필요한 YUV 이미지를 얻을 수 있다. 그리고 기타 일부 신호대 잡음비를 개선할 수 있는 서브 샘플링 회로는 복잡한 적분 회로와 비교기가 필요하고, 이로써 보조 회로의 증가와 주파수의 증가를 초래한다.
그리고 종래 서브 샘플링 기술의 다른 하나의 거다란 제약이라면 바로 행 바인딩과 열 바인딩이 단지 동일하고 또 공간 상에서 인접되지 않은(중간에 다른 픽셀이 끼인) 칼러 픽셀 사이에 진행된다는 것이다. Bayer 패턴 또는 CYMG 4색 패턴에 있어서, 동일한 칼러 픽셀은 공간 상에서 인접되지 않고, 행 바인딩과 열 바인딩을 거친 후의 이미지는 원시 이미지의 공간 상의 균일한 분포의 특징을 파괴시켰기 때문에, 후단 처리가 전문적으로 이러한 상황에 적응하지 않는다면 직선 변두리에서 쉽게 톱니 영향이 발생한다.
특히 본 발명에서 관심을 갖는 이중층 또는 다중층 감광 소자에 있어서, 종래의 기술은 모두 별 의미가 없는 바, 왜냐하면 이중층 또는 다중층 감광 소자는 아주 많은 우수한 칼러 패턴 배열을 제공하기 때문에, 신호 리딩이든 서브 샘플링이든 모두 이중층 또는 다중층 감광 소자의 특징에 의하여 개선을 진행하여야 한다.
본 발명은 더욱 훌륭한 서브 샘플링 원리와 선진적인 서브 샘플링 회로를 제공하고, 또 서브 샘플링과 후속 이미지 처리를 결합시켜 최적화 시키는 것을 제공한다. 본 발명에서는 다중 스펙트럼 감광 소자 및 그 샘플링 방법을 제공하여 이중층 또는 다중층 다중 스펙트럼 감광칩의 데이터 량이 비교적 큰 부족점을 미봉한다. 여기에서 샘플링 방법은 주요하게 서브 샘플링이 포함되나, 풀 이미지 샘플링도 포함된다. 본 발명은 이중층 또는 다중층 다중 스펙트럼 감광 소자에 제한되는 것이 아니며, 단일층 감광 소자에 대해서도 마찬가지로 적용되는 것이다.
본 발명을 설명하고 또 종래 기술과의 구별점을 해석하기 위하여, 아래 하기 용어의 정의를 내리는 바, 즉 이중층 감광소자, 이중면 감광소자 및 양방향 감광소자이다. 그 중에서, 이중층 감광소자는 감광 픽셀이 물리적으로 두 층으로 구분되고(예를 들면, 발명인이 약간 이전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)에서 기재한 두 층 감광소자), 각 측에 모두 특정 스펙트럼을 감지하는 감응 픽셀이 있는 것을 말한다. 이중면 감광소자는 감광소자에 두 개의 감광 표면이 있고, 각 면이 적어도 하나의 방향으로부터 빛을 감지할 수 있는 것을 말한다. 양방향 감광소자는 감광소자가 두 방향(일반적으로 상호 180도)으로부터의 빛을 감지할 수 있는 것으로서, 즉 감광소자의 정면과 배면으로 모두 빛을 감지할 수 있는 것을 말한다.
하나의 감광소자는 이중층, 이중면 및 양방향 이 세 가지 특징 중의 한 가지, 두 가지 내지는 모든 세 가지 특징을 구비할 수 있다.
상기 목적을 이루기 위한 본 발명의 기술방안은 하기와 같다.
다중 스펙트럼 감광 소자에는, 행과 열로 배열되는 픽셀 어레이;
상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 유닛;
제1 합병 유닛이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 유닛;이 포함된다.
상기 다중 스펙트럼 감광 소자에는 또, 제2 합병 유닛이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 유닛이 포함된다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 픽셀 합병 방식은 동일하거나 부동한 칼러 픽셀 사이의 전하 누적 방식 또는 두 개의 부동한 칼러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 칼러 픽셀 사이의 픽셀 합병 방식(전하 누적 방식 또는 신호 평균 방식 포함)은 칼러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시킨다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 전하 누적 방식은 리딩 커패시터(FD) 중에서 완성된다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 칼러를 기반으로 하는 합병 샘플링 방식에는 동일 칼러 합병 방식, 다른 칼러 합병 방식, 혼합 합병 방식 또는 불필요한 칼러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 유닛과 제2 합병 유닛이 이용하는 합병 샘플링 방식은 동시에 동일 칼러 합병 방식을 이용하는 것이 아닌 바, 즉 두 개의 합병 유닛에 있어서 적어도 하나의 합병 유닛은 부동 칼러 합병 방식을 이용한다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식이다. 즉 이 몇 가지 위치를 기반으로 하는 합병 샘플링 방식은 단독으로 사용될 수도 있고, 조합되어 사용될 수도 있다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 제3 합병 유닛의 합병 샘플링 방식은 칼러 공간 변환 방식과 후단 디지털 이미지 줌 방식 중의 적어도 한 가지이다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 칼러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R(적색), G(녹색), B(적색)의 어느 한 가지이다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 픽셀 어레이는 복수개의 적어도 하나의 기본 픽셀을 포함하는 매크로 픽셀로 구성되고, 그 중에서, 기본 픽셀은 피동 픽셀 또는 주동 픽셀일 수 있다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀 중의 기본 픽셀은 정방 행렬 또는 허니컴에 따라 배열된다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀의 구성 방식에는 하기 구성 방식 중의 적어도 한 가지가 포함되는 바, 즉 리딩 커패시터(FD)를 구비하지 않는 3T 주동 픽셀 구성 방식, 하나의 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀 구성 방식이다.
상기 다중 스펙트럼 감광 소자에 있어서, 각 매크로 픽셀에 하나의 리딩 커패시터(FD)가 구비된 4T 주동 픽셀은 4 포인트 공유 방식, 6 포인트 공유 방식 또는 8 포인트 공유 방식을 이용한다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀은 또 하기 구성 방식을 포함할 수 있는 바, 즉 4 개의 정방 행렬로 배열된 픽셀과 두 개의 두 행 사이에 위치하는 빛이 투과되지 않는 리딩 커패시터(FD)로 구성되고, 위 행의 픽셀과 아래 행의 픽셀이 공동으로 하나의 리딩 커패시터(FD)를 사용하며, 두 개의 리딩 커패시터(FD) 사이에서는 전하 이동을 구현할 수 있고 또 적어도 하나의 리덩 커패시터 상에는 리딩 회로가 연결된다.
상기 매크로 픽셀은 2 포인트 공유, 3 포인트 고유 또는 4 포인트 공유 리딩 커패시터(FD)를 구비하는 3T 또는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용할 수 있다.
상기 다중 스펙트럼 감광 소자에 있어서, 각 매크로 픽셀은 2 포인트 공유, 3 포인트 고유 또는 4 포인트 공유 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용한다.
상기 다중 스펙트럼 감광 소자에 있어서, 상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식이 포함된다.
본 발명에서는 또 다중 스펙트럼 감광 소자의 샘플링 방법을 제공하는 바,
상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 과정;
제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정;이 포함된다.
상기 샘플링 방법에는 또, 제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함된다.
상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 픽셀 합병 샘플링 방식은 동일하거나 부동한 칼러 픽셀 사이의 전하 더하기 방식 또는 부동한 칼러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 칼러 픽셀 사이의 픽셀 합병 방식(전하 더하기 방식 또는 신호 평균 방식 포함)은 칼러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시킨다.
상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 칼러를 기반으로 하는 합병 샘플링 방식에는 동일 칼러 합병 방식, 다른 칼러 합병 방식, 혼합 합병 방식 또는 불필요한 칼러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 과정과 제2 합병 과정 중의 적어도 하나의 합병 과정은 동일 칼러 합병 방식이 아니다.
상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식이다.
상기 샘플링 방법에 있어서, 상기 제3 합병 샘플링 과정에 진행하는 합병 샘플링 방식에는 칼러 공간 변환 방식, 후단 디지털 이미지 줌 방식이 포함된다.
상기 샘플링 방법에 있어서, 상기 칼러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R(적색), G(녹색), B(적색)의 어느 한 가지이다.
상기 샘플링 방법에 있어서, 상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 포함된다.
본 발명의 유리한 효과는 하기와 같다.
서브 샘플링을 적어도 두 개의 과정으로 분리하는 바, 즉 상술한 제1 합병 샘플링 과정과 제2 합병 샘플링 과정이다. 제1 합병 샘플링 과정과 제2 합병 샘플링 과정은 일반적으로 픽셀의 행(합병) 샘플링과 열(합병) 샘플링 사이에 발생하고, 주요하게 아날로그 신호에 대하여 진행하며, 전하 더하기 부분을 일반적으로 단지 제1 합병 샘플링 과정 중에 완성하는 외, 순서와 내용은 일반적으로 교환할 수 있다. 그리고, 또 제3 합병 샘플링 과정을 포함할 수 있는 바, 제3 합병 샘플링 과정은 아날로그/디지털 전환 후에 발생하며, 주요하게 디지털 신호에 대하여 진행한다.
제1 합병 샘플링 과정은 픽셀 어레이 중의 두 인접된 픽셀을 취하여 합병을 진행하는 것이다. 일 방면으로, 인접된 픽셀의 합병을 완성한 후, 본 명세서에 있어서, 합병 후의 픽셀을 제1 합병 픽셀이라 하는 바, 유의하여야 할 바로는, 제1 합병 픽셀은 단지 본 발명의 설명의 편리를 위하여 이러한 개념을 이용하여 제1 합병 과정을 진행한 후의 픽셀을 지칭하는 것이지, 물리적으로 픽셀 어레이 중에 하나의 "제1 합병 픽셀"이 존재하는 것이 아니며; 두 인접된 픽셀을 합병 샘플링한 후의 데이터를 제1 합병 픽셀의 샘플링 데이터라 칭한다. 인접되었다는 것은 두 픽셀 사이에 수평, 수직 또는 대각선 방향으로 보았을 때 인접되고 중간에 기타 픽셀이 없는 것을 말한다. 인접된 상황으로는 동일 행 다른 열, 다른 행 동일 열 또는 다른 행 다른 열이 포함된다. 일반적으로, 이러한 합병에 있어서, 신호는 적어도 두 픽셀의 신호의 평균이고 노이즈가
Figure pct00003
낮아지기 때문에, 합병 후 적어도 신호대 잡음비를
Figure pct00004
배 높일 수 있고 또 이러한 합병은 동일하거나 부동한 칼러의 픽셀 사이에 진행될 수 있다. 다른 일 방면으로, 두 합병된 칼러가 부동할 수 있는 바, 즉 칼러를 더하거나 평균을 내기 때문에, 칼러의 3원색 원리로부터 알 수 있는 바와 같이, 두 가지 원색을 더하는 것은 다른 한 원색의 보색으로서, 다시 말하면, 두 개의 부동한 원색의 픽셀을 합병시키면 다른 한 가지 원색의 보색이 생성되고, 원색 공간으로부터 보색 공간으로 변한되며, 단지 칼라 공간 변환이 발생한 것이기 때문에 여전히 부동한 보색을 통하여 칼러 재구성을 완성할 수 있다. 즉 본 발명을 통하여 부동한 칼러의 픽셀 합병을 구현하여 신호대 잡음비를 높일 수 있을 뿐 아니라, 아울러 칼러 재구성을 진행할 수 있다. 전반 샘플링 과정도 이로 인하여 최적화 되어 더욱 큰 데이터 량의 픽셀 어레이의 고속 요구에 부합된다. 칼러 공간 변환의 기본 요구로는 변환된 후의 칼러의 조합이 (보간법 등 수단을 통하여) 필요한 RGB(또는 YUV 또는 CYMK) 칼러를 재구성할 수 있어야 한다는 것이다.
일반적으로 픽셀 어레이에 다수의 픽셀이 포함되고, 제1 합병 샘플링은 단지 두 개의 픽셀을 합병시키는 것이므로, 합병 형성된 제1 합병 픽셀도 다수일 수 있다. 부동한 제1 합병 픽셀에 있어서, 이가 이용하는 칼러 합병 방식은 동일할 수도 있고, 부동할 수도 있다. 제1 합병이 모두 동일한 칼러 사이에서 진행될 때, 이를 동일 칼러 합병 방식이라 칭하며; 제1 합병이 모두 부동한 칼러 사이에서 진행될 때, 이를 부동 칼러 합병 방식이라 칭하며; 제1 합병이 일부는 동일한 칼러 사이에서 진행되고, 일부는 부동한 칼러 사이에서 진행될 때, 이를 혼합 합병 방식이라 칭하며; 픽셀 어레이 중의 일부 불필요한 칼러를 포기할 때(포기가 선택적인 것은 물론인 바, 예를 들면, 이로 인하여 칼러 재구성에 영향을 미쳐서는 안된다), 이러한 칼러 합병 방식을 불필요한 칼러 선택적 포기 합병 방식이라 칭한다.
분명한 것은, 제2 합병 과정은 다수의 제1 합병 픽셀에 대한 조작으로서, 마찬가지로, 칼러가 동일한 제1 합병 픽셀을 합병시킬 수도 있고, 또 칼러가 부동한 제1 합병 칼러를 합병할 수도 있다(이러한 상황 하에서, 3원색이 전부 더하여져 칼러를 재구성할 수 없을 수 있다).
상기 동일 칼러 합병, 부동 칼러 합병, 혼합 합병 등 방식은 합병 샘플링에 대하여 칼러를 기반으로 하는 분류를 진행하는 것이고, 또한 합병 샘플링의 위치 선택의 각도에서 보면, 제1 합병 과정과 제2 합병 과정의 합병 샘플링 방식에는직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식 및 이러한 방식의 한 가지 또는 세 가지의 동시 사용이 포함된다. 전하 더하기 부분을 일반적으로 단지 제1 합병 샘플링 과정에 완성하는 외, 제1 합병 과정과 제2 합병 과정은 순서가 부동한 외, 그 방식은 동이하고 교환가능한 것이다.
소위 말하는 직접 버스로 출력하는 신호 자동 평균 방식은 바로 합병된 신호(칼러가 동일하거나 부동함)를 동시에 데이터 채지 버스 상에 출력시켜 (전압) 신호의 자동 평형을 통하여 신호를 합병시켜야 할 평균치를 취득한다. 소위 말하는 행 스킵 또는 열 스킵 방식은 바로 일부 행 또는 열을 스킵하여 데이터 량을 감소시키는 방식을 토하여 (합병) 샘플링을 구현하는 것이다. 소위 말하는 순차적 샘프링 방식은 실제상에서는 아무런 합병도 진행하지 않고 이로써 원래의 픽셀 또는 제1 합병 픽셀을 리딩하는 것이다. 이 세 가지 방식 중의 일부는 동시에 사용할 수 있는 바, 예를 들면, 행 스킵 또는 열 스킵 방식은 직접 버스로 출력하는 신호 자동 평균 방식 또는 순차적 샘플링 방식과 동시에 사용될 수 있다.
제3 합병 샘플링 과정의 서브 샘플링 방식에는 칼러 공간 변환 방식, 후단 디지털 이미지 줌 방식 및 이 두 가지 방식의 직렬 사용이 포함된다. 제1 합병 과정은 주요하게 아날로그 신호 상에 진행되고, 제3 샘플링 과정은 주요하게 디지털 신호 상에 진행되는 바, 즉 아날로그/디지털 전환 후에 진행된다. 부동한 공간 위치에 처한 3 개 또는 4 개 칼러 픽셀을 동일한 포인트 상의 값으로 하여 다른 한 칼러 공간으로 전환시키면, 수평 및/또는 수직 방향 상의 데이터 감소시키고 서브 샘플링의 효과를 얻을 수 있다. 디지털 이미지 줌 방식은 가장 직관적이고 널리 사용되는 샘플링 방식이다.
본 발명에서는 또 최초로 합병 샘플링에서 전하 더하기를 구현한다. 현재의 합병 샘플링은 거의 모두 전압 또는 전류 신호의 평균만 구현하는 바, 이러한 방식은 N 포인트를 합병시킬 때, 최고로 단지 신호대 잡음비를
Figure pct00005
배 향상시킬 수 있을 뿐이다. 왜냐하면 종래의 합병 샘플링은 모두 N 개 동일 칼러의 픽셀이 하나의 출력선을 공동으로 사용하는 방식으로 합병 샘플링을 진행하기 때문에, 이 출력선 상에서 각 픽셀의 전압 또는 전류 신호는 반드시 (자동) 평균을 진행하므로, 이 신호대 잡음비의 향상은 단지 노이즈가 합병 후
Figure pct00006
낮아진 것이기 때문에, 신호대 잡음비의 향상이 최고로
Figure pct00007
배밖에 안된다. 하지만 본 발명의 전하 더하기 방식을 이용하면, 예를 들면, 커패시턴스 저장 전하를 리딩하는 것을 통하여 전하의 더하기를 구현함으로써, 신호로 하여금 중첩될 수 있도록 하여 신호대 잡음비로 하여금 적어도 N배 향상되게 하고, 신호 평균의 방법에 비하여 적어도
Figure pct00008
배 향상시킬 수 있다. 즉 N 개 신호를 전하 더하기 방식으로 합병하는 것은 이론상에서 최고로 N2 개 신호를 평균 내는 것 같거나 더욱 좋은 효과를 얻을 수 있는 바(하기의 설명과 같이), 이는 아주 효과적인 신호대 잡음비를 향상시키는 수단이다.
인접된 픽셀을 더하는 것은 다른 한 현저한 효과를 가져오는 바, 즉 픽셀 사이의 호상 간섭(cross-talking) 효과가 감쇄되는 것이다. 이는 원래 상호 간섭하던 칼러가 현재는 합법적인 일체이기 때문이며, 다시 말하면, 원래 노이즈에 속하던 일부 신호가 현재에는 유효한 신호 부분으로 되었기 때문에, N 개 신호 전하를 더함으로 인한 신호대 잡음비의 개선은 이론상의 상한, 즉 N 배에 달하므로, N3 개 신호를 평균한 효과와 같다.
전하 더하기는 효과가 현저한 합병 샘플링 수단이기는 하지만, 이는 합병되는 픽셀이 공간 상에서 인접될 것이 요구된다. 종래의 서브 샘플링에서 완성할 수 없었던 원인은 종래의 서브 샘플링은 단지 동일 칼러의 픽셀 사이에 진행되고, 합병된 픽셀 사이에 기타 픽셀이 끼우기 때문에 전하 더하기를 구현할 수 없다. 다중 스펙트럼 감광 소자에 있어서, 전하 더하기를 구현하는 것이 상대적으로 쉬운 바, 이는 칼러 패턴이 아주 다양하기 때문이다. 하지만 본 발명을 이용하면 단일층 감광 소자 상에서 전하 더하기를 구현할 수 있는 바, 본 발명의 칼러 공간 변환의 방법을 이용하기만 하면 된다.
본 발명은 풀 이미지 샘플링(즉 한 이미지에 대하여 최고 해상도에 따라 샘플링을 진행하는 것)을 진행할 때, 행에 따른 스캔, 격행 또는 행 점프 리딩 방식을 이용하고, 클럭 속도를 향상시키고 프레임 버퍼를 이용할 필요가 없으며, 대형 어레이 이미지의 풀 이미지 리딩 속도를 단일 이미지 촬영 시 한 배 향상시킨다. 만일 AD 전환기와 행 캐시를 추가하면, 풀 이미지 리딩 속도는 더욱 높아질 수 있다. 이 방법은 기계적 셔터를 생략시킴에 아주 중요한 가치를 갖는다.
유의하여야 할 바로는, 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식은 종래의 TV 시스템 중의 인터리브 스캐닝(interleaved scanning) 방식과 부동하다. 종래의 인터리브 스캐닝 방식은 격행 스캔, 격행 리딩이므로, 홀수 인더리브와 짝수 인더리브(감광이든 리딩이든 무관)는 시간 상에서 한 인터리브, 즉 반 프레임 차이가 난다. 하지만 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 있어서, 픽셀은 감광 시간 순서 상에서 행에 따른 스캔, 행에 따른 리딩 방식과 완전히 일치하고, 단지 행의 리딩 순서에 변화가 있을 뿐이다.
본 발명에서는 실시예를 통하여 새로운 위력이 더욱 강하고 적응면이 더욱 넓은 감광 소자 및 그 샘플링 방법에 대하여 설명하도록 한다. 이러한 바람직한 구현 방법은 단지 예시적으로 본 발명과 본 발명인의 이전의 관련 발명의 장점과 구현 방법을 설명하는 것일 뿐, 이러한 발명의 보호범위를 제한하는 것이 아니다.
당업계의 통상의 지식을 가진 자에게 있어서, 본 발명의 상기 및 기타 목적과 장점은 아래의 도면을 참조한 바람직한 실시예의 설명을 통하여 더욱 명료하게 될 것이다.
도1은 CMOS 피동 픽셀의 리딩(샘플링) 회로도이다.
도2는 CMOS 3T 주동 픽셀의 리딩(샘플링) 회로도이다.
도3은 CMOS 4T 주동 픽셀의 리딩(샘플링) 회로이다.
도4(a)와 (b)는 각각 CMOS 주동 픽셀과 피동 픽셀의 리딩(샘플링) 회로와 행 주소 선택 회로의 관계도이다.
도5는 CMOS 픽셀의 리딩(샘플링) 회로와 행 주소 선택 회로 및 열 주소 서택 회로의 구조도이다.
도6은 전형적인 열 캐시가 구비된 실용 CMOS 픽셀의 리딩(샘플링) 회로도이다.
도7은 CCD 픽셀의 리딩 방식(a)와 CMOS 픽셀의 리딩 방식(b)의 비교도이다. 주목하여야 할 바로는, 도7(a) 중의 CCD 픽셀 사이에 수직 방향에서의 하나씩 전달되는 기능이다.
도8은 미국 특허 US7,091,466B2의 기본 원리를 설명하는 도면이다. 합병하고자 하는 동일 픽셀의 스위치를 동시에 온시키는 것을 통하여 관련 신호를 동시에 샘플링 버스 상에 출력한 후 자체로 평형을 이루어 합병 픽셀의 평균치를 취득한다.
도9는 미국 특허 US7,319,218B2의 기본 원리를 설명하는 도면이다. 합병하고자 하는 동일 픽셀을 부동한 시간에 고속으로 샘플링 하는 것을 통하여 관련 신호 기록이 완전하게 된 후 다시 동시에 샘플링 버스 상에 출력한 후 자체로 평형을 이루어 합병 픽셀의 평균치를 취득한다. 이의 기본 사상은 미국 특허 US7,091,466B2와 동일하나, 단지 부동한 회로를 이용하여 구현한 것 뿐이다.
도10은 종래의 픽셀 동일 칼러 합병 기술의 기본 사상을 요약하여 보여 주는 바, 즉 (신호 평균의 방식에 의해) 인접된 매크로의 칼러가 동일한 픽셀을 합병시키는 것이다. 도10(a)는 열 합병 도면이고, 도10(b)는 행/열이 동시에 합병되는 도면이다.
도11은 현재 비교적 훌륭한 4-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 평균 1.75개 게이트가 이용된다.
도12는 6-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 단지 평균 1.5개 게이트가 이용된다. 이 6-포인트 공유 주동 감광 픽셀의 리딩 회로는 허니컴 배열을 이용하는 이중면 이중층 감광 소자("다중 스펙트럼 감광 소자 및 그 제작 방법", 중국 출원번호 200810217270.2 참조)에 적용되는 바, 즉 한 매크로 픽셀 중의 모든 3 개 복합 픽셀의 상하 두 층의 포토다이오드가 하나의 리딩 커패시터(FD)와 3T 리딩 회로를 공유하도록 하는 것이다.
도13은 8-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 평균 1.375개 게이트가 이용된다. 이 8-포인트 공유 주동 감광 픽셀의 리딩 회로는 4 포인트 픽셀을 기반으로 하는 정방 행렬 배열의 이중면 이중층 감광 소자에 적용되는 바, 즉 한 매크로 픽셀 중의 모든 4 개 복합 픽셀의 상하 두 층의 포토다이오드가 하나의 리딩 커패시터(FD)와 3T 리딩 회로를 공유하도록 하는 것이다.
도14는 본 발명의 부동 칼러 합병과 혼합 합병 기술의 기본 사상을 보여주는 것으로서, (신호 평균 또는 더하기의 방식에 의하여) 동일한 매크로 픽셀 내의 두 개의 부동하거나 동일한 칼러의 픽셀을 합병한 후, 다시 인접되고 또 칼러가 동일한 픽셀 사이의 합병을 진행한다. 도14(a)는 Bayer 패턴 감광 소자의 2열 합병의 한 가지 도면을 보여주고, 도14(b)는 Bayer 패텬 감광 소자의 2열과 2행이 동시에 합병되는 도면을 보여 준다. 그 중에서, 단독으로 G와 B 또는 C와 R의 합병을 관찰하면, 부동 칼러 합병을 구성하며; G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병을 전반적으로 관찰하면, 혼합 합병을 구성하는 바, 왜냐하면 그 중 일부의 합병은 동일 칼러 사이(G와 G)에서 진행되는 것이고, 기타는 부동 칼러 사이에 진행되는 것이다. Bayer 패턴의 RGB 원색 이미지는 잡색 합병을 거친 후 CyYeMgG 보색 이미지로 전환된다. 이 도면에 있어서, G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병은 제1 합병 과정을 구성한다. 제2 합병 과정은 합병 후 취득한 부동한 위치 상의 Cy, Ye, Mg와 G값을 동일 칼러 합병 방싱에 따라 동시에 버스 상으로 출력시키거나, 또는 행 스킵 또는 열 스킵의 방식을 이용하여 일부 픽셀을 스킵하거나, 순차적으로 리딩한다.
도15는 본 발명의 잡색 합병 기술이 일반적인 M행과 N행 합병(도면 중에서는 5x3, 즉 5행과 3열의 합병)에 이용되는 상황을 보여 준다. 행 스킵 또는 행 점프와 행 점프와 열 스킵의 방법을 결하시키면 여러 가지 부동한 도15와 유사한 상황을 얻을 수 있다. 3행 3열의 합병은 2행과 2열의 합병에 행 스킵과 열 스킵을 추가하여 완성할 수 있다.
유의하여야 할 바로는, 제3행과 제4행은 교차 합병을 진행할 때, 동일한 중점 위치에 위치하는 한 쌍의 (Mg, G) 신호를 생성한다. 후속의 열 합병의 편리를 위하여, 인위적으로 Mg 또는 G가 앞에 있다고 여겨 일치성을 유지할 수 있다.
행과 열의 대칭성에 유의하여야 하는 바, 이 도면으로부터 쉽게 3x5, 2x3, 3x2， 2x4, 4x2, 5x2, 2x5, 2x6, 6x2, 3x4, 4x3, 3x6, 6x3, 4x4, 4x5, 5x4, 4x6, 6x4, 5x6, 6x5, 6x6, 7x6, 6x7, 7x7x, 8x8 등 여러 가지 합병 상황을 추이할 수 있다. 비교적 유용한 것은 2x2, 2x4, 4x2, 4x4, 3x6, 6x3, 6,6, 4x8, 8x4 및 8x8의 등 쉽게 이미지 길이/너비 비례를 유지할 수 있는 합병 요소이다. 마찬가지로, 이 도면에 있어서, G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병은 제1 합병 과정을 구성한다. 제2 합병 과정은 합병 후 취득한 부동한 위치 상의 Cy, Ye, Mg와 G값을 동일 칼러 합병 방싱에 따라 동시에 버스 상으로 출력시키고, 또 중간의 일부 이용하지 않은 픽셀(예를 들면, 도면 중의 제5행과 제10행)을 스킵한다. 스킵된 칼러는 만일 감광 소자에 제3 합병 과정이 포함된다면 더는 후속의 제3 합병 과정에 참여하지 않는다.
도16은 칼러 공간 매트릭스 변환으로 인한 추가 2x2 이미지 축소이다. CyYeMgG의 이미지가 원시 이미지이든지 아니면 본 발명의 잡속 합병 방법을 통하여 Bayer RGB 이미지로부터 취득한 것이든지, 이들은 YUV 이미지로 전환시킬 대, 추가로 2x2 축소될 수 있다. 축소 방법은 하나의 CyYeMgG 매크로 픽셀을 공동점의 4개 픽셀로 하여 하나의 (Y, U, V) 픽셀로 전환시킨 후, (수평 방향의) 인접된 두 점의 U와 V값을 평균내면, 미리보기와 JPEG/MPEG 압축에 필요한 YUV422 이미지를 취득한다.
도17은 본 발명의 한 가지 훌륭한 리딩 회로를 보여준다. 이 리딩 회로에 있어서, 홀수 행과 짝수 행의 감광 픽셀은 하나의 빛을 투과하지 않는 리딩 커패시터 FD(예를 들면, 도면 중의 FD1과 FD2)를 공동으로 사용하고, 스위치 TG1은 Gr 포토다이오드 중의 커패시터를 FD1로 전환시키도록 선택한다. 마찬가지로, 스위치 TG2, TG3, TG4는 각각 R, B, Gb 등 커패시턴스 값을 읽어 FD2, FD1 또는 FD2로 가져간다. 다른 한 스위치 TG5는 리딩 커패시턴스 FD1 중의 값을 읽어 더하기 방식으로 FD2 중으로 이동시킨다(또는 FD2로부터 FD1로 이동시킨다). 이러한 배치의 감광 픽셀은 도18에 도시된 바와 같은 4 포인트 브리지식 공유 리딩 회로를 이용할 수 있다. 이 회로에 있어서, 리딩 커패시터 FD가 빛이 투과되지 않아야 한다는 요구는 도21에 도시된 바와 같은 행에 따른 스캔, 격행 또는 행 점프 리딩에 필수적인 것이다.
도18은 4 포인트 매크로 픽셀 정방 행렬 배열 패턴에 이용되는 4 포인트 브리지식 공유 리딩 회로를 보여준다. 이러한 리딩 회로는 각 픽셀에 평균 2개의 트라이오드가 이용된다. 게이트 수가 가장 적은 공유 리딩 회로가 아니기는 하지만, 기타 방면에서 탁월한 장점을 갖고 있다. 첫 번째 장점이라면, 서브 샘플링 시 동시에 TG1/TG3을 온 시키거나 또는 동시에 TG2/TG4를 온 시키는 것을 통하여 홀수 행의 픽셀 값 Gr이 짝수 행의 픽셀 값 B가 더하기 방식으로 FD1 내에 누적되어 신호는 더하여 지고 노이즈는 감하여 지는 이중 효과를 취득할 수 있다. 평균적으로 말하면, FD를 이용하여 두 개의 신호를 융합시킨 후 다시 리딩하는 방식은 신호대 잡음비를 최고로 2
Figure pct00009
배 향상시킬 수 있는 바, 그 중의 2배는 신호의 증가에서 오는 것이고,
Figure pct00010
배는 노이즈의 감소에서 오는 것이다. 이에 비햐여, 종래의 두 신호의 평균을 취하는 방법은 단지 노이즈를 감소시키는 방식을 통하여 신호대 잡음비를 최대로
Figure pct00011
배 향상시킬 수 있다. 마찬가지로, 시간 순서를 제어하는 것을 통하여 동시에 TG1/TG4/TG5或TG2/TG3/TG5를 온 시키는 것을 통하여 또 대각선 상의 픽셀을 신호 더하기 방식으로 리딩할 수 있다. 두 번째 장정미라면, 풀 이미지 샘플링 시, 다음 행 픽셀 값을 FD에 저장하는 방법을 통하여 격행 또는 행 점프 리딩을 구현할 수 있는 바, 도21에 도시된 바와 같다.
도19는 본 발명의 3 포인트 매크로 픽셀 허니컴 배열 패턴 이중층 감광 소자에 이용되는 6 포인트 공유 리딩 회로를 보여준다. 이러한 리딩 회로에 있어서, 꼭대기 층으 3개 픽셀은 하나의 리딩 커패시터 FD1를 공용하고, 저부층의 3개 픽셀은 하나의 리딩 커패시터 FD2를 공용하며, 꼭대기 층의 3 포인트와 저부층의 3 포인트는 하나의 증폭 및 리딩 회로를 공용한다. 이러한 꼭대기 층과 저부층이 리딩 회로를 공용하는 방법은 모두 간략화 디자인이 가능하며, 또 서브 샘플링 시 제어 로직으로 하여금 더욱 간단해지게 할 수 있다. 도12과의 부동점이라면, 꼭대기 층과 저부층의 리딩 커패시터가 공유되지 않기 때문에 이중면 감광 소자의 제작이 편리하다.
도20은 본 발명의 4 포인트 매크로 픽셀 정방 행열 배열 패턴 이중층 감광 소자에 이용되는 8 포인트 공유 리딩 회로를 보여준다. 이러한 리딩 회로에 있어서, 꼭대기 층으 4개 픽셀은 하나의 리딩 커패시터 FD1를 공용하고, 저부층의 4개 픽셀은 하나의 리딩 커패시터 FD2를 공용하며, 꼭대기 층의 4 포인트와 저부층의 4 포인트는 하나의 증폭 및 리딩 회로를 공용한다. 도13과의 부동점이라면, 꼭대기 층과 저부층의 리딩 커패시터가 공유되지 않기 때문에 이중면 감광 소자의 제작이 편리하다.
이중면 이중층 감광 소자에 있어서, 꼭대기 층과 저부층의 4개 매크로 픽셀 포인트도 각각 도18에 도시된 바와 같은 이중 FD 브리지식 공유 리딩 회로를 이용할 수 있으며, 이로써 꼭대기 층과 저부층의 리딩 회로로 하여금 상대적으로 독립적이게 하고 또 각각 경행 또는 행 점프 리딩 방식을 이용하여 풀 이미지 촬영 시의 셔터 속도를 향상시킨다.
도21은 도17에 도시된 바와 같은 샘플링 리딩 회로가 풀 이미지 샘플링 시의 격행 리딩(도21(a)) 또는 행 점프 리딩(도21(b)) 방식에 이용되는 도면을 보여준다.
도21(a)의 격행 리딩에 있어서, 제1행(GrRgGrR …) 리딩 시, 제2행(BGBG…)의 값은 제1행의 상응한 위치의 값이 리딩된 후 바로 이미 빈 FD 구역으로 이동된다. 다시 말하면, 제1행의 제N열 픽셀이 리딩될 때, 제2행의 제N-1(또는 N-2 등)개 픽셀은 수직으로 대응되는 FD 구역으로 이동되는 중이다. 제1행을 리딩 종료한 후, 바로 이어 FD에 저장된 제2행의 값을 읽는 것이 아니라, 계속하여 제3행의 픽셀 값을 리딩한다. 마찬가지로, 제3행의 픽셀 값 리딩 시, 제4행의 픽셀 값도 동시에 FD 구역으로 이동된다. 다시 말하면, 모든 짝수 행의 픽셀 값이 순차적으로 FD 캐시 구역으로 이동되고, 홀수 행의 픽셀 값이 모두 리딩될 때까지 진행한다. 마지막으로 순차적으로 한 행 한 행씩 FD 버퍼 내의 짝수 행 내의 픽셀 값을 리딩한다.
도21(b)의 행점 리딩에 있어서, 제1행(GrRgGrR …) 리딩 시, 제2행(BGBG…)의 값은 제1행의 상응한 위치의 값이 리딩된 후 바로 이미 빈 FD 구역으로 이동된다. 다시 말하면, 제1행의 제N열 픽셀이 리딩될 때, 제2행의 제N-1(또는 N-2 등)개 픽셀은 수직으로 대응되는 FD 구역으로 이동되는 중이다. 제1행을 리딩 종료한 후, 바로 이어 FD에 저장된 제3행의 값을 읽는 것이 아니라, 계속하여 제4행의 픽셀 값을 리딩하고, 또 아울러 제3행의 픽셀 값을 FD 구역으로 이동시킨다. 다시 말하면, 행의 리딩은 1,4,5,8, …, 2,3,6,7의 순서에 따라 진행된다. 도21(b)의 장점이라면, 앞 절반 프레임의 이미지는 여전히 Bayer 패턴 배열이기 때문에 빠르게 촬영 순간의 작은 미리보기를 취득할 수 있다.
도21에 도시된 바와 같은 격행 리딩 방식 또는 행 점프 리딩 방식은 종래의 TV 모델 중의 인터리브 스캐닝 방식과는 다르다. 부동점이라면, 캐시 저장(FD) 구역에 저장된 뒤 절반 프레임의 이미지의 감광 시간은 앞 절반 프레임과 거의 일치하기 때문에, 효과 면에서 셔터 속도를 행에 따른 리딩보다 한 배 향상시키나, TV 모델의 인터리브 방식에 의한 홀수 인터리브와 짝수 인터리브 시간이 한 인터리브(반 프레임) 늦은 상황을 피면할 수 있다. 이러한 상황은 한 장을 촬영하는 상황에 적용되고, 연속적인 비피도 촬영에 적용되지 않는다.
격행 리딩 방식 또는 행 점프 리딩 방식을 이용하여 촬영 시의 전자 셔터의 속도를 한 순간에 한 배 향상시키는 것은 아주 유용한 수단이다. 예를 들면, 픽셀 리딩 클럭을 96MHz, 감광칩에 8M 픽셀이 있다고 가정하면, 풀 이미지 촬영 시의 전자 셔터 속도는 (96/8)=12fps 또는 1/12초이다. 하지만 도19에 도시된 바와 같은 격행 리딩 방식 또는 행 점프 리딩 방식을 이용하면 필요한 단일 프레임을 순간적으로 24fps 또는 1/24초로 향상킬 수 있는 바, 속도를 한 배 향상시킬 수 있다. 1/24초의 촬영 셔터 속도 달한다는 것은 핸드폰 촬영 모듈 상의 기계식 셔터를 생략시킬 수 있음을 뜻하나, 1/12초의 촬영 속도는 기계식 셔터가 있어야만 손의 떨림으로 인한 이미지 비틀림을 피면할 수 있다.
도22는 하나의 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정은 우선 상하 두 층의 중복 칼러 픽셀로부터 합병 또는 포기의 방법을 이용하여 단지 칼러 재구성에 필요한 칼러 요소만 남기는 바, 예를 들면, Cy, Mg(B와 R을 합병시키 취득), G 및 Ye.는 제3 합병 과정 후에 다시 도16에 도시된 바와 같은 칼러 공간 전환 수단을 이용하여 인접된 CyYeMgG 4개 픽셀을 하나의 YUV 칼러로 전환시키고, 다시 인접된 UV 요소를 수평 방향 상의 2분 서브 샘플링을 진행하여 YUYV422 이미지를 취득한다. 이 과정에 하나의 2x2의 서브 샘플링을 완성한다. 만일 이미지가 아직 너무 크다면, 칼러 공간 CyYeMgG로부터 YUV로의 전환을 진행하기 전에, 또 제2 합병 과정에 우선 CyYeMgG 동일 칼러의 평균을 진행하고 도면 중의 풀 칼러 샘플링을 이용하지 않을 수 있다.
이러한 이중층 감광 소자는 풀 이미지 샘플링 시, 일부 픽셀을 포기할 수 있고, 또 전부 리딩한 후 후단 프로세서가 어떻게 처리할지를 결정할 수도 있다. 모두 리딩할 때, 데이터 량은 한 배 증가된다. 만일 도18과 도20에 도시된 바와 같은 격행 또는 행 점프 리딩 방식을 이용하면, 촬영 순간의 프레임 속도를 한 배 향상시킬 수 있는 바, 종래의 단일층 감광 소자의 속도와 동일하다.
도22도 이중층 또는 다중층 감광 소자의 서브 샘플링 시의 복잡성과 다양성을 충분하게 보여준다. 이중층 또는 다중층 감광 소자가 매크로 픽셀의 칼러 분포 상에 몇 천 가지 이상의 가능성을 갖고 있기 때문에, 서브 샘플링도 상응하게 더욱 많은 가능성을 가진다. 아래 아주 적은 몇 가지 방법을 예로 들어 본 발명의 기본 사상을 설명하도록 한다.
도23은 다른 한 가지 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정은 픽셀 더하기(또는 평균)을 통하여 우선 CyYeMgB의 매크로 픽셀을 취득한 후, 제3 합병 과정에서 이 네 포인트에 대하여 칼러 변환 관계를 통하여 YUV 칼러를 취득하여 2x2의 서브 샘플링을 구현한다. 칼러 전환 전에, 또 제2 합병 과정에 우선 (신호 평균의 방식에 의하여) CyYeMgB의 매크로 픽셀에 대하여 풀 이미지 샘플링을 진행하지 않고 동일 칼러의 합병을 진행하여 더욱 높은 배수의 서브 샘플링을 취득할 수 있음은 물론이다. 도면 중의 CyYeMgB의 매크로 픽셀은 BRGB의 Bayer 유사 패턴의 매크로 픽셀로 대체할 수 있다. 여기에서는 CyYeMgB로 설명하였지만, CyYeMgB, CyYeMgG, CyYeMgR을 이용하여도 모두 YUV를 취득하거나 RGB를 재구성 할 수 있다. 다시 말하면, CyYeMgG는 단지 CyYeMgX의 한 특례이고, 그 중에서, X는 R, G 또는 B일 수 있다.
도24는 다른 한 가지 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정에서는 우선 인접된 픽셀을 수평 방향에 따라 (신호 평균 또는 더하기 방식에 의하여) 합병을 진행한 후, 제2 합병 과정에서 다시 합병된 픽셀을 (신호 평균 또는 더하기, 또는 포기 방식에 의하여) 수직 방향에 따라 합병시킨다. 적합한 시간 순서 제어를 통하여 수평 방향과 수직 방향의 합병을 동시에 완성할 수 있다. 이러한 서브 샘플링 방식은 종래의 서브 샘플링 방식에 비하여 더욱 다양할 뿐 아니라 훨씬 후륭한 신호대 잡음비를 제공한다.
도25는 본 발명의 픽셀 리딩 및 서브 샘플링 회로를 구현하는 한 가지 감광 소자의 원리 시스템 블럭도로서, 본 발명의 여러 가지 기능 모듈의 감광 소자 중의 구현 방법을 설명한다. 이 원리 시스템에는 픽셀 어레이, 행 주소 디코딩 제어기, 열 주소 디코딩 제어기, 샘플링 제어 회로, 증폭 및 아날로그/디지털 전환 모듈, 칼러 변환과 서브 샘플림 및 이미지 처리 모듈, 출력 제어 모듈, 칩 총제어 모듈(도25 중의 CC 모듈) 및 기타 가능한 모듈이 포함된다. 픽셀 리딩 및 서브 샘플링 기능은 행 주소 디코딩 제어기와 열 주소 디코딩 제어기를 통하여 상응한 제어 신호(행 선택 신호 Row[i], 행 제어 벡터 신호 RS[i], 열 선택 신호 Col[j], 열 제어 벡터 신호 T[j], 그 중에서, i과 j는 각각 행 번호와 열 번호에 대응됨)를 생성하여 완성한다. 시스템 기타 모듈의 조화는 주요하게 칩 총제어 모듈에 의하여 완성된다. 제3 합병 과정은 있기만 하면, 칼러 변환 및 서브 샘플링 및 이미지 처리 모듈 중에서 완성된다.
도26는 구체적인 실예(도17에 도시된 바와 같은 감광 픽셀)에 의하여 도25 중의 각 제어 신호(행 선택, 행 제어 벡터, 열 선택, 열 제어 벡터)와 대응되는 감광 픽셀 상의 제어 신호의 관계를 설명한다. 도26은 도17 중의 Gr 픽셀과 B 픽셀의 신호 공유 상황을 보여준다(TG5는 생략됨). 행 선택 신호 Row[i]와 Col[j]는 이미 명확하게 표기되어 있다. 이 회로도에 있어서, 리셋 신호 RS1와 이동 게이트 제어 신호 RS2(TG1 또는 TG3)은 행 제어 신호에 속한다. 유의하여야 할 바로는, RS1은 두 행이 공유하는 것이고, RS2 각 행에 하나씩 있으며(예를 들면, TG1는 RS[i]에 속하나, TG3은 RS[i+1]에 속하며), 도17 중의 TG5(도26에서는 생략됨)는 열 제어 신호 T[j]에 속하는 바, 다시 말하면, 될수록 픽셀에 대하여 단지 행 조작(동일 행의 픽셀은 완전히 동일함)과 열 조작(동일 열의 픽셀은 완전히 동일함)만 진행하고 각 픽셀의 부동한 조작을 진행하지 않아 복잡성을 감소시킨다.
아래의 구체적인 실시 방식에 있어서, 도25와 도26을 참조하여 본 발명의 샘플림과 서브 샘플링 방법에 대하여 상세한 설명을 진행하게 될 것이다.
본 발명의 구체적인 실시방식에 의한 다중 스펙트럼 감광 소자에 있어서 부동한 리딩 및 서브 샘플링 회로는 도25에 도시된 것과 유사한 회로에 의하여 구현될 수 있으며, 복수개 매크로 픽셀이 포함된 픽셀 어레이, 행 주소 디코딩 제어기, 열 주소 디코딩 제어기, 샘플링 제어 회로, 증폭 및 아날로그/디지털 전환 모듈, 칼러 변환과 서브 샘플림 및 이미지 처리 모듈, 출력 제어 모듈, 칩 총제어 모듈(도25 중의 CC 모듈) 및 기타 가능한 모듈이 포함된다.
우선 수요에 의하여 정방 행렬 또는 허니컴 형상에 따라 4 포인트 또는 3 포인트 픽셀을 기반으로 하는 매크로 픽셀을 배열한다. 이러한 픽셀은 피동 픽셀일 수도 있고 주동 픽셀일 수도 있으며, 리딩 캐퍼시터 FD를 구비할 수도 있고, 리딩 커패시터 FD를 구비하지 않을 수도 있다.
상기 내용에서 이미 샘플링 과정을 제1 합병 과정, 제2 합병 과정 및 선택가능한 제3 합병 과정으로 구분하였다. 이 몇 개 과정에 대응되게, 제1 합병 유닛, 제2 합병 유닛 및 제3 합병 유닛을 이용하여 상기 몇 개의 합병 과정을 구현한다. 이 몇 개의 유닛은 단지 구현 기능의 각도에서 소자의 모듈에 대한 구분이고, 물리 소자의 각도에서 보면 이러한 기능 유닛은 물리적인 모듈에 의하여 구현될 수 있고, 또는 다수의 물리적인 모듈의 조합에 의하여 구현될 수 있으며, 또는 이러한 기능을 하나의 물리적인 모듈에 집적시킬 수 있다. 총적으로 말하면, 본 명세서 중의 제1 합병 유닛, 제2 합병 유닛과 제3 합병 유닛에 대한 기재는 단지 기능에 대한 묘사이고 구체적으로 물리적인 구현 방식을 제한하는 것이 아니다.
구체적으로 말하면, 본 예시에 잇어서, 필요한 샘플링 기능을 구현하는 것은 행 주소 디코딩 제어기와 열 주소 디코딩 제어기이다. 행 주소 디코딩 제어기는 두 가지 유형의 신호를 출력하는 바, 행 선택 신호 Row[i](각 행에 한 선)과 행 제어 벡터 신호 RS[i](각 행에 하나 또는 다수의 선)이며, 그 중에서, i는 행 번호이다. 이와 유사하게, 열 주소 디코딩 제어기는 두 가지 유형의 신호를 출력하는 바, 열 선택 신호 Col[i](각 열에 한 선)과 열 제어 벡터 신호 T[i](각 열에 하나 또는 다수의 선)이며, 그 중에서, j는 열 번호이다.
행 선택 신호 Row[i]는 행 선택을 진행하고, 열 선택 신호 Col[j]는 열 선택을 진행한다. 이는 두 그룹의 상대적으로 표준적인 신호이다. 행 제어 벡터 신호 RS[i]는 종래의 CMOS 행 제어 신호의 확장이고(각 행에 한 선으로부터 각 행에 다수의 선으로 확장됨), 열 제어 벡터 신호 T[j]는 일부 CMOS 감광 소자에 아예 없고, 있다 할지라도 한 열에 하나씩 밖에 없다. 도26은 도17의 감광 픽셀을 예로 들어 Row[i], RS[i], Col[j]와 T[j]의 하나의 구체적인 구현 방법을 제시하고 있는 바, 그 중에서, Row[i]는 두 행이 공유하는 것이고, RS에는 두 개의 행 제어 신호 RS1[i](리셋 신호, 마찬가지로 두 행이 공유함)과 RS2[2](전하 이동 제어 신호)가 포함된다.
본 발명에 있어서, 동시에 여러 행이 선택될 수 있고, 또 동시에 여러 열이 선택될 수도 있으며, 내지는 동시에 여러 행과 여러 열이 선택될 수도 있다. 종래의 일부 기술(예를 들면, 미국 특허 US6, 801, 258B1, US6, 693, 670B1, US7, 091, 466B2, US7, 319, 218B2 등)에도 동시에 여러 행과 여러 열이 선택되는 상황이 있을 수 있지만, 합병 샘플링 방식이 부동하기 때문에 행 선택 신호와 열 선택 신호의 시간 순서와 파형은 완전히 다른 것이다. 예를 들면, 도14(a) 중의 합병 샘플링을 진행할 때, 제1행 제1열과 제2행 제2 열이 동시에 선택되고, 이러한 상황은 종래의 서브 샘플링 방법에서 나타날 수 없는 것이다.
RS[i]와 T[j]는 감광 픽셀의 리셋, 제로 클리어링, 감광 시간 제어, 전하 이동, 픽셀 합병과 픽셀 리딩을 제어하는 것이다. 행열의 대칭성으로 인하여, RS[i]와 T[j]는 여러 가지 구체적인 구현 방식이 있다. 도17에 도시된 TG1-TG5, Vb1-Vb4 등 신호, 그리고 도18에 도시된 RS, S와 SF 신호는 모두 RS[i]와 T[j]에 포함되어야 하는 것이다. 본 발명은 이러한 신호의 구체적인 구현 방식의 제한을 받지 않는다.
더욱 구체적으로 말하면, 임의 MxN 요소의 서브 샘플링에 있어서(M≥2, N≥2), 우선 2행 또는 2열 또는 2행과 2열의 합병 샘플링의 제1 합병 샘플링 과정을 진행한 후, 다시 제1 합병 샘플링의 기초 상에서 M행xN열의 서브 샘플링을 진행한다.
제1 합병 샘플링 후의 서브 샘플링(총체적인 MxN 서브 샘플링), 즉 제2 합병 샘플링에 있어서, 하기 여러 가지 방식을 통하여 단독으로 또는 연합하여 완성할 수 있는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식이다. 제3 합병 샘플링 과정은 있다면, 하기 두 가지 방식을 통하여 단독으로 또는 연합하여 완성할 수 있는 바, 즉 칼러 공간 변환 방식과 후단 디지털 이미지 줌 방식이다.
한 픽셀 어레이에 있어서, 아주 많은 감광 픽셀을 포함하며, 특히 이중층 또는 다중층 감광 소자에 있어서, 칼러의 종류와 기하적인 분포 상황은 아주 다양하다. 제1 합병 샘플링 과정도 상응하게 다수의 제1 합병 픽셀에 대응되기 때문에, 제1 합병 샘플링을 진행할 때, 이러한 제1 합병 픽셀은 픽셀의 칼러 합병의 각도에서 보면, 합병에 참여하는 칼러의 선택은 다양한 것으로서, 동일 칼러 합병 방식, 부동 칼러 합병 방식, 혼합 합병 방식(일부 픽셀 칼러가 동일하고, 일부가 부동함)을 이용할 수 있고, 또 선택적으로 불필요한 칼러를 포기할 수 있다.
칼러 공간의 변환에는 RGB로부터 CyYeMgG 공간으로의 변환, CyYeMgG로부터 YUV 공간으로의 변환 및 RGB로부터 YUV 공간으로의 변환이 포함된다.
유의하여야 할 바로는, RGB로부터 CyYeMgG 공간으로의 변환은 아날로그 신호 공간에서 완성될 수 있고, 또 디지털 공간에서 완성될 수도 있기 때문에, 이는 제1 합병 과정, 제2 합병 과정 또는 제3 합병 샘플링 과정 중의 임의 과정에서 완성될 수 있다. 하지만 CyYeMgG로부터 YUV 공간으로의 변환과 RGB로부터 YUV 공간으로의 변환은 단지 디지털 신호 공간에서 완성될 수 있는 바, 즉 제3 합병 과정에서 완성될 수 있다.
더욱 구체적으로 말하면, 픽셀 어레이 부분은 복수개의 정방 행렬로 배열된 3개 또는 4개 기본 픽셀 한 그룹의 매크로 픽셀로 구성된다. 그 중에서, 매크로 픽셀 중의 기본 픽셀은 피동 픽셀로 구성될 수 있고, 또 FD가 구비되지 않은 3T 주동 픽셀로 구성될 수도 있으며, 또 하나의 FD가 구비된 4T 주동 픽셀로 구성될 수도 있다.
만일 매크로 픽셀 중의 기본 픽셀을 FD가 구비된 4T 주동 픽셀을 이용한다면, 그 리딩 회로는 4-포인트 공유 방식(도11), 6-포인트 공유 방식(도12)과 8-포인트 공유 방식(도13)을 이용할 수 있다.
더욱 바람직 하게는, 각 매크로 픽셀은 두 개의 빛이 투과되지 않는 FD를 구비하는 4T 주동 픽셀로 구성되고, 이때 그 리딩 회로는 4-포인트 브리지식 공유 방식(도18)을 이용할 수 있다. 상응하게, 이러한 감광 소자는 제1차 2행 또는 2열, 또는 2행과 2열의 합병 서브 샘플링 시의 칼러 합병을 진행할 때, 전하 더하기 방식을 이용한다. 이러한 매크로 픽셀은 아래의 행에 따른 스캔, 격행 또는 행 점프 리딩 풀 이미지 샘플링 방식을 위하여 가능성을 제공한다.
이중층 또는 다중층 감광 소자에 있어서, 제1 합병 샘플링 과정의 칼러 선택이 더욱 다양할 뿐 아니라, 각 매크로 픽셀이 두 개의 FD를 구비한 4T 주동 픽셀로 구성될 때, 그 리딩 회로는 또 4-포인트 브리지식 공유 방식(도18), 6-포인트 브리지식 공유 방식(도19) 또는 8 포링트 브리지식 공유 방식(도20)을 이용할 수 있다. 상응하게, 이러한 감광 소자는 제1차 2행 또는 2열, 또는 2행과 2열의 합병 서브 샘플링 시의 칼러 합병을 진행할 때, 전하 더하기 방식을 이용한다.
유의하여야 할 바로는, N개의 신호가 전하 더하기 방식을 이용하여 합병될 때, 신호대 잡음비의 개선 상한은 N배이고, N개 신호가 신호 평균의 방식을 이용하여 합병될 때, 신호대 잡음비의 개선 상한은 N
Figure pct00012
배이다. 그리고, 이러한 네 개 점이 두 개의 FD를 공유하는(또는 두 행의 픽셀이 한 행의 FD를 공유하는) 감광 소자는 풀 이미지 샘플링을 진행할 때, 정상적인 행에 따른 스캔, 행에 따른 리딩 외, 또 행에 따른 스캔, 격행 리딩의 방식을 이용할 수도 있다.
예를 들면, 풀 이미지 샘플링을 진행할 때, 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 취득한 이미지 구역의 요구에 의하여, 순차적으로 우선 행에 따라 Row[i]와 RS[i] 값을 소자의 요구에 의하여 높거나 낮게 설정하고, 또 이어 순차적으로 Col[j]와 T[j]의 값을 높거나 낮게 설정하여, 필요한 픽셀(전하/전압) 값이 (리딩/라이팅 회로를 거쳐) 리딩 순서에 따라 출력 버스 상에 출력되도록 한다.
서브 샘플링 시, 각 지원하는 MxN 샘플링 요소(행이 M배 축소, 열이 N배 축소)에 대하여 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 MxN 샘플링 요소와 이미지 구역 요구에 의하여, 각 출력 행과 대응되게 동시에 합병하여야 하는 행에 대응되는 모든 Row[i]와 RS[i] 값을 높거나 낮게 설정하고, 또 이어 각 출력 열에 대응되게 동시에 합병하여야 하는 열의 열의 모든 Col[j]와 T[j]의 값을 높거나 낮게 설정하여, 합병하여야 하는 픽셀(전하/전압) 값이 동시에 (리딩/라이팅 회로를 거쳐) 리딩 순서에 따라 출력 버스 상에 출력되도록 한다. 아울러, 필요 시 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 또 MxN 샘플링 요소와 이미지 구역 요구에 의하여 필요한 행 스킵과 열 스킵의 조작을 진행할 것이다.
부동한 MxN 샘플링 요소는 출력 버스 상에서 부동한 시간에 부동한 칼러를 취득할 수 있다. 상응하게, 기타 시스템 기능 모듈, 예를 들면, 증폭 및 아날르고/디지털 전환 모듈, 칼러 변환과 서브 샘플잉 및 이미지 처리 모듈, 그리고 출력 제어 모듈은 모두 상응한 조화 작업이 필요하다. 이 시스템의 전반적인 제어는 칩 총제어 모듈(도25 중의 CC 모듈)을 통하여 완성할 수 있다. 유의하여야 할 바로는, 증폭 및 아날로그/디지털 모듈과 픽셀 어레이 외, 기타 모듈은 모두 주요하게 디지털 처리 회로이기 때문에 비교적 쉽게 소자 외부에서 구현할 수 있으므로, 감광 소자의 배선은 상대적으로 간단한다.
아래, 도17에 도시된 감광 픽셀의 도26에 도시된 리딩 회로 구현 방법 및 도25에 도시된 감광 소자의 기타 모듈을 결합시켜 더욱 구체적인 신호 제어 흐름에 대하여 설명하도록 한다.
우선, 제로 클리어링과 감광 제어를 진행하는 바, 한 가지 간단한 제로 클리어링 제어는 Vb1과 Vb2를 전부 0으로 설정하는 것으로서, 이는 Vb1과 Vb2이 행 제어 벡터의 한 신호로 되어야 한다. 다른 한 가지 방법은 우선 FD1과 FD2를 리셋시키고(도26 중의 RS1dmf 0으로 설정), 또 동시에 TG1과 TG2를 온 시켜(도26 중의 RS2를 높게 설정) 감광 픽셀 Gr과 R 중의 전하를 제거한다. 그 후, RS1을 높게 설정하고, RS2를 0으로 설정한다. 그 후, 빛의 조사하에서 Gr과 R의 포토다이오드가 전하의 누적을 시작한다.
Gr 중의 전하를 읽고자할 때 세 가지 방법이 있다. 첫 번째 방법은 직접 TG1/RS2와 Row[i]를 온 시켜 Gr 중의 전하를 FD1 중으로 이동시키고, 또 그로부터 (전하로부터 전압의 전환을 통하여) Gr 중의 전하 값을 리딩하는 것이다. 두 번째 방법은 첫 번째 방법의 마지막 단계에서 Gr 중의 전하 값을 리딩한 후, 다시 FD1을 리셋시키고 또 FD1의 리셋 상태 하의 전하(전압)을 읽어들여 방금 리딩한 Gr의 전하 값에 대하여 관련 샘플링을 진행한다. 세 번째 방법은 Gr 중의 전하 값을 리딩하기 전에, 우선 FD1에 대하여 리셋 샘플링을 진행하는 바, 이러한 방법은 Gr 중의 값을 간섭하기 대문에 위의 두 가지 방법보다 못하다. 이때, 열 주소 디코딩 제어기는 반드시 Gr에 대응되는 열 선택 신호 Col[j]를 온시켜야 하는 바, 이로써 Gr에 대한 측정(2회일 수 있는 바, 그 중의 한 번은 리셋 상태 하의 측정)을 증폭 및 아날로그/디지털 전환 모듈로 출력한다.
Row[i], Col[j]와 RS2[i]의 값에 의하여 칩 총제어 모듈 CC는 리딩하고 있는 픽셀의 칼러를 산출해낼 수 있고 또 이에 대하여 상응한 처리를 진행할 수 있다. 부동한 칼러는 부동한 증폭 회로로 진입합고 또 부동한 아날로그/디티널 전환 처리를 진행하여 디지털 신호를 취득할 수 있다.
감광 픽셀의 디지털 신호는 캐시에 저장되고, 칼러 변환과 서브 샘플링 및 이미지 처리 모듈에 의하여 진일보 처리된다. 풀 이미지 샘플링 상황 하에서, 서브 샘플링을 진행하지 않고, 대형 어레이 이미지 감광 소자에 대해서도 일반적으로 아무런 칼러 변환도 진행하지 않는다. 그러므로 이 모두 하에서, 칩 총제어 모듈 CC는 상응한 제어를 진행하여 감광 픽셀의 디지털 신호로 하여금 칼러 변환 및 서브 샘플링 모듈을 스킵하여 직접 이미치 처리 모듈로 진입하도록 한다. 감광 소자 내의 이미지 처리를 거친 후, 다시 출력 모듈이 감광 소자의 대외 인터페이스로 출력한다.
풀 이미지 샘플링일 시, 유의하여야 할 바로는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식이다. 이 상황 하에서, 홀수 행과 짝수행의 리셋 제로 클리어링과 감광 시간 제어는 동시에 진행된다. 격행 리딩 시, 짝수 행(제1행)의 픽셀이 전부 리딩된 후, 행 주소 디코딩 제어기는 바로 다음 행을 리딩하는 것이 아니라 우선 뒤의 홀수 행(제2행)을 FD와 짝수 행이 공용하는 FD로 이동시킨 후 다시 제2행의 리딩을 시작한다. 행 점프 리딩 시, 만일 제1행의 번호가 0부터 시작된다면, 앞 절반 프레임의 리딩 순서는 0, 3, 4, 7, 8, 11, 12, 15…이고, 뒤 절반 프레임의 리딩 순서는 1, 2, 5, 6, 9, 10, 13, 14…이다. 더욱 복잡한 순서가 있을 수 있음은 물론이다. 중간에서 앞 절반 프레임 리딩 시, 중간에 점프된 행은 우선 이미 1회 사용된 FD에 잠시 저장되었다가 다음 절반 프레임 리딩 시 리딩된다.
행에 따른 스캔, 격행 또는 행 점프 리딩 방식과 종래의 TV의 인터리브 스캐닝 방식과의 부동점이라면, 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 있어서, 픽셀 감광 순서는 모두 행에 따라 진행되나, 인터리브 스캐닝 방식은 아니다.
서브 샘플링 시, 상황은 훨씬 복잡하다. 구체적인 감광 소자에 있어서, 서브 샘플링 요소 MxN은 단지 적은 수의 몇 가지를 지원한다. 상응하게, 칩 총제어 모듈 CC, 행 주소 디코딩 제어기 및 열 주소 디코딩 제어기는 단지 지원하는 MxN 서브 샘플링 요소만 고려할 수 있다. 예를 들면, 5만 픽셀의 감광 소자에 있어서, 단지 2x2, 2x1, 4x4, 8x8을 지원하는 네 가지 상황만 고려할 수 있다.
제2 합병 샘플링 과정은 일반적으로 전하 더하기와 연관되지 않기 때문에, 일반적으로 하기 세 가지 방식, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식이다. 이 세 가지 방식은 모두 아주 전통적이고 간단한 것으로서, 당업계 통상의 지식을 가진 자들에게 익숙한 것이기 때문에 여기에서는 상세한 설명을 생략하도록 한다. 제3 합병 샘플링 과정은 디지털 이미지 공간에서 완성되는 것으로서, 상대적으로 표준적인 디지털 이미지 줌 기술을 이용한다. 아래, 단지 제1 합병 샘플링 과정의 신호 제어 과정에 대하여 상세한 설명을 진행하여 본 발명의 사용 방법에 대하여 더욱 깊은 이해를 갖도록 한다.
도17에 도시된 매크로 픽셀은 제1 합병 과정에 있어서, 두 가지 합병 방식이 있을 수 있는 바, 첫 번째 방식은 Gr가 B가 합병되고, R과 Gb가 합병되는 것이며; 두 번째 방식은 Gr과 Gb가 합병되고, R과 B가 합병되는 것이다.
제1 합병 방식에 있어서, 시간 순서에 따라 하기 단계가 포함된다.
1. t0 시각: 행 주소 디코딩 제어기가 도26에 도시된 FD1에 대응되는 RS1를 0으로 설정(리셋)한다.
2. t1 시각: TG1과 TG3(RS2[i]와 RS2[i+1])를 온 시키고, Gr과 B 포토다이오드(PD)의 전하를 동시에 FD1로 이동시킨다. 이때, RS1은 높게 설정될 수 있다.
3. t2 시각: 그 후 행 선택 Row[i]와 열 선택 Col[j](Gr이 제i행 제j열에 위치한다고 가정)를 온 시켜 FD1 중의 전하(전압 값)을 출력 버스 상에 출력시킨다.
4. t3 시각: FD1 중의 0 값을 리딩하여 관련 샘플링을 진행한다.
앞 두 단계의 조작은 동시에 제i과 제i+1행의 모든 픽셀에 대하여 진행할 수 있고, 제3과 제4 단계는 합병 후의 픽셀에 대하여 순차적으로 리딩할 수 있다. 그러므로, 관련 샘플링을 진행하지 않는다면 평균 하나의 클럭 펄스에 하나의 픽셀을 리딩할 수 있고, 만일 관련 샘플링을 진행하면 평균 두 클럭 펄스에 하나의 픽셀을 리딩할 수 있다. 이는 픽셀 위치 우선순위에 의하여 진행되는 것이다. 이러한 합병 방식은 하기 칼러 우선순위에 따라 진행할 수 있다.
두 번째 합병 방식에 대하여 시간 순서 상황은 훨신 복잡하다. 때로는 두 가지 처리 방식이 있다. 첫 번째 처리 방식은 칼러 우선순위에 따라 진행하는 것으로서, 우선 전반 행의 Gr과 Gb 합병을 진행하여 샘플링을 완성한 후, 다시 B와 R의 합병 샘플링을 진행하거나 또는 반대 순서로 진행한다. 이러한 방식은 비교적 간단하며, 신호를 제어하는 시간 순서는 하기와 같다.
5. t0 시각: 행 주소 디코딩 제어기가 도 17과 도26에 도시된 FD1와 FD2에 대응되는 RS1를 0으로 설정(리셋)한다.
6. t1 시각: TG1과 TG4(RS2[i]와 RS2[i+1])를 온 시키고, Gr과 Gb 포토다이오드(PD)의 전하를 동시에 각각 FD1과 FD2로 이동시킨다. 이때, RS1은 높게 설정될 수 있다.
7. t2 시각: TG5를 온 시키고, FD2 중의 전하를 FD1로 이동시킨다.
8. t3 시각: 그 후 행 선택 Row[i]와 열 선택 Col[j](Gr이 제i행 제j열에 위치한다고 가정)를 온 시켜 FD1 중의 전하(전압 값)을 출력 버스 상에 출력시킨다.
9. t4 시각: FD1 중의 0 값을 리딩하여 관련 샘플링을 진행한다.
앞 세 단계의 조작은 동시에 제i과 제i+1행의 모든 Gr과 Gb 픽셀에 대하여 진행할 수 있고, 제3과 제4 단계는 합병 후의 픽셀에 대하여 순차적으로 리딩할 수 있다. 그러므로, 관련 샘플링을 진행하지 않는다면 평균 하나의 클럭 펄스에 하나의 픽셀을 리딩할 수 있고, 만일 관련 샘플링을 진행하면 평균 두 클럭 펄스에 하나의 픽셀을 리딩할 수 있다. 이러한 리딩 방식은 픽셀의 위치에 따른 자연적인 순서를 파괴하기 때문에, 후단에서 처리하여 교정하여야 한다. 일치성을 유지하기 위하여, 제1 합병 방식도 칼러 우선순위 방식으로 진행할 수 있다.
두 번째 처리 방식은 위치 우선순위에 따라 진행하는 것으로서, 우선 첫 번째 Gr과 Gb 합병을 진행하여 샘플링을 완성한 후, 다시 첫 번째 B와 R의 합병 샘플링을 진행하거나 또는 반대 순서로 진행한다. 이러한 방식의 신호를 제어하는 시간 순서는 첫 번째 처리 방식과 유사하나, 픽셀 사이에는 단지 직렬 처리만 가능하고 병행 처리를 진행할 수 없다. 다시 말하면, 첫 번째 합병 픽셀을 처리하는 t0-t5 시각에 두 번째 합병 픽셀을 처리할 수 없다. 이는 비교적 높은 시스템 클럭을 필요로 한다. 다행스러운 것은 샘플링을 진행한 후, 픽셀의 수량이 크게 감소되기 때문에 시스템 클럭 주파수는 너무 높지 않다.
본 발명의 바람직한 회로 구변 방법에 있어서, 서브 샘플링을 진행할 때, 관련 샘플링 작용이 크기 않기 때문에 생략할 수 있다. 그러므로, 상기 시간 순서는 훨씬 간단하다.
선택된 픽셀 샘플링 순서에 대하여, 칩 총제어 모듈 CC는 상응하게 증폭 및 아날로그/디지털 모듈, 칼러 변환과 서브 샘플링 및 이미지 처리 모듈, 그리고 출력 제어 모듈을 제어하여 부동한 칼러에 대하여 부동한 처리를 진행한다. 더욱 상세한 설명은 본 발명의 범위를 초과한 것이다.
종래의 샘플링 방식은 주요하게 동일 칼러의 픽셀 사이에 진행되고, 주요하게 픽셀 평균과 행 스킵 또는 열 스킵의 방식을 이용한다. 이러한 방법은 다양한 이중층 또는 다중층 감광 소자에 있어서, 더무 제한적이다. 본 발명에서 제공하는 서브 샘플링 방법은 칼러 공간 변환 방식을 통하여 동일 칼러 사이에 진행할 수도 있고, 부동한 칼러 사이에 진행할 수도 있으며, 또 혼합으로 진행할수도 있다(즉 일부는 동일 칼러 사이에서 진행하고, 일부는 부동 칼러 사이에서 진행). 그리고, 본 발명에서 제공하는 전하 더하기 신호 합병 방식은 n개의 신호를 합병하기만 하면 n3에 가까운 신호를 더한 효과를 거둘 수 있다. 그러므로, 본 발명의 서브 샘플링 방법은 종래의 서브 샘플링 방법에 비하여 더욱 훌륭한 이미지 품질을 가질 수 있고, 특히 본 발명을 이중층 또는 다중층 감광 소자에 이용할 때, 부지기수의 간단하고 훌륭한 서브 샘플링 방식을 생성할 수 있다.
상기 내용은 단지 단일층과 이중층 감광 소자와 소수 3T/4T 주동 픽셀을 예로 본 발명의 기본 사상과 내용을 설명한 것이다. 이러한 구체적인 조건은 본 발명에 대한 제한이 아니다. 이와 반대로, 본 발명을 더욱 복잡한 디자인, 예를 들면, 5T/6T 주동 픽셀 또는 다중층 감광 소자에 이용하면 효과는 더욱 선명할 수 있다.

Claims (23)

  1. 다중 스펙트럼 감광 소자에 있어서, 행과 열로 배열되는 픽셀 어레이;
    상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 유닛;
    제1 합병 유닛이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 유닛;이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  2. 제1항에 있어서,
    또 제2 합병 유닛이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 유닛이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  3. 제2항에 있어서,
    상기 제1 합병 유닛 또는 제2 합병 유닛의 픽셀 합병 방식은 동일하거나 부동한 칼러 픽셀 사이의 전하 누적 방식 또는 두 개의 부동한 칼러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 칼러 픽셀 사이의 픽셀 합병 방식(전하 누적 방식 또는 신호 평균 방식 포함)은 칼러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시키는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  4. 제3항에 있어서,
    상기 전하 누적 방식은 리딩 커패시터(FD) 중에서 완성되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  5. 제1항 내지 제4항의 임의 항에 있어서,
    상기 제1 합병 유닛 또는 제2 합병 유닛의 칼러를 기반으로 하는 합병 샘플링 방식에는 동일 칼러 합병 방식, 다른 칼러 합병 방식, 혼합 합병 방식 또는 불필요한 칼러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 유닛과 제2 합병 유닛이 이용하는 합병 샘플링 방식은 동시에 동일 칼러 합병 방식이 아닌 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  6. 제1항 내지 제5항의 임의 항에 있어서,
    상기 제1 합병 유닛 또는 제2 합병 유닛의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식인 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  7. 제1항 내지 제6항의 임의 항에 있어서,
    상기 제3 합병 유닛의 합병 샘플링 방식은 칼러 공간 변환 방식과 후단 디지털 이미지 줌 방식 중의 적어도 한 가지인 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  8. 제1항 또는 제7항의 임의 항에 있어서,
    상기 칼러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R, G, B 어느 한 가지인 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  9. 제1항 내지 제8항의 임의 항에 있어서,
    상기 픽셀 어레이는 복수개의 적어도 하나의 기본 픽셀을 포함하는 매크로 픽셀로 구성되고, 그 중에서, 기본 픽셀은 피동 픽셀 또는 주동 픽셀인 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  10. 제9항에 있어서,
    상기 매크로 픽셀 중의 기본 픽셀은 정방 행렬 또는 허니컴에 따라 배열되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  11. 제9항 또는 제10항에 있어서,
    상기 매크로 픽셀의 구성 방식에는 하기 구성 방식 중의 적어도 한 가지가 포함되는 바, 즉 리딩 커패시터(FD)를 구비하지 않는 3T 주동 픽셀 구성 방식, 하나의 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀 구성 방식인 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  12. 제11항에 있어서,
    각 매크로 픽셀에 하나의 리딩 커패시터가 구비된 4T 주동 픽셀은 4 포인트 공유 방식, 6 포인트 공유 방식 또는 8 포인트 공유 방식을 이용하는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  13. 제9항에 있어서,
    상기 매크로 픽셀은 또 하기 구성 방식을 포함할 수 있는 바, 즉 4 개의 정방 행렬로 배열된 픽셀과 두 개의 두 행 사이에 위치하는 빛이 투과되지 않는 리딩 커패시터로 구성되고, 위 행의 픽셀과 아래 행의 픽셀이 공동으로 하나의 리딩 커패시터를 사용하며, 두 개의 리딩 커패시터 사이에서는 전하 이동을 구현할 수 있고 또 적어도 하나의 리덩 커패시터 상에는 리딩 회로가 연결되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  14. 제9항에 있어서,
    상기 매크로 픽셀은 2 포인트 공유, 3 포인트 고유 또는 4 포인트 공유 리딩 커패시터를 구비하는 3T 또는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용하는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  15. 제1항 내지 제14항의 임의 항에 있어서,
    상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자.
  16. 다중 스펙트럼 감광소자의 샘플링 방법에 있어서,
    상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 과정;
    제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정;이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  17. 제16항에 있어서,
    제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  18. 제16항 또는 17항에 있어서,
    상기 제1 합병 과정 또는 제2 합병 과정의 픽셀 합병 샘플링 방식은 동일하거나 부동한 칼러 픽셀 사이의 전하 더하기 방식 또는 부동한 칼러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 칼러 픽셀 사이의 픽셀 합병 방식(전하 더하기 방식 또는 신호 평균 방식 포함)은 칼러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시키는 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  19. 제16항 내지 제18항의 임의 항에 있어서,
    상기 제1 합병 과정 또는 제2 합병 과정의 칼러를 기반으로 하는 합병 샘플링 방식에는 동일 칼러 합병 방식, 다른 칼러 합병 방식, 혼합 합병 방식 또는 불필요한 칼러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 과정과 제2 합병 과정 중의 적어도 하나의 합병 과정은 동일 칼러 합병 방식이 아닌 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  20. 제16항 내지 제19항의 임의 항에 있어서,
    상기 제1 합병 과정 또는 제2 합병 과정의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식인 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  21. 제16항 내지 제20항의 임의 항에 있어서,
    상기 제3 합병 샘플링 과정에 진행하는 합병 샘플링 방식에는 칼러 공간 변환 방식, 후단 디지털 이미지 줌 방식이 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  22. 제16항 또는 21항에 있어서,
    상기 칼러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R, G, B 어느 한 가지인 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
  23. 제18항 내지 제22항의 임의 항에 있어서, 상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 포함되는 것을 특징으로 하는 다중 스펙트럼 감광 소자의 샘플링 방법.
KR1020127024252A 2010-06-01 2010-06-01 다중 스펙트럼 감광소자 및 그 샘플링 방법 KR101473424B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/073443 WO2011150554A1 (zh) 2010-06-01 2010-06-01 一种多光谱感光器件及其采样方法

Publications (2)

Publication Number Publication Date
KR20130050911A true KR20130050911A (ko) 2013-05-16
KR101473424B1 KR101473424B1 (ko) 2014-12-24

Family

ID=45066114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024252A KR101473424B1 (ko) 2010-06-01 2010-06-01 다중 스펙트럼 감광소자 및 그 샘플링 방법

Country Status (8)

Country Link
US (1) US9100597B2 (ko)
EP (1) EP2512126B1 (ko)
JP (1) JP5775570B2 (ko)
KR (1) KR101473424B1 (ko)
CA (1) CA2787911C (ko)
HU (1) HUE039688T2 (ko)
RU (1) RU2534018C2 (ko)
WO (1) WO2011150554A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5945463B2 (ja) * 2012-06-28 2016-07-05 オリンパス株式会社 固体撮像装置
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
US9596423B1 (en) 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9232150B2 (en) 2014-03-12 2016-01-05 Apple Inc. System and method for estimating an ambient light condition using an image sensor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
FR3023653B1 (fr) * 2014-07-09 2017-11-24 Commissariat Energie Atomique Capteur d'images cmos a echantillonnage multiple correle
FR3026877B1 (fr) * 2014-10-03 2018-01-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Capteur d'empreintes digitales ou palmaires
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
CN111682039B (zh) 2016-09-23 2021-08-03 苹果公司 堆叠式背面照明spad阵列
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
CN110235024B (zh) 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
FR3064869B1 (fr) * 2017-03-28 2019-05-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Capteur d'images
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
EP3829416B1 (en) * 2018-07-31 2024-05-08 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging in open treatment using multispectral information
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801258B1 (en) 1998-03-16 2004-10-05 California Institute Of Technology CMOS integration sensor with fully differential column readout circuit for light adaptive imaging
US6693670B1 (en) 1999-07-29 2004-02-17 Vision - Sciences, Inc. Multi-photodetector unit cell
RU2152692C1 (ru) * 1999-09-21 2000-07-10 Бобрышев Владимир Дмитриевич Преобразователь столбца теплового изображения в электрический сигнал
JP3515467B2 (ja) * 2000-02-18 2004-04-05 三洋電機株式会社 ディジタルカメラ
US7424207B2 (en) 2000-02-18 2008-09-09 Sanyo Electric Co., Ltd. Digital camera
JP4557540B2 (ja) * 2002-12-20 2010-10-06 パナソニック株式会社 固体撮像装置及びその駆動方法、並びにカメラ
US7154075B2 (en) 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
US7091466B2 (en) 2003-12-19 2006-08-15 Micron Technology, Inc. Apparatus and method for pixel binning in an image sensor
KR100871687B1 (ko) * 2004-02-11 2008-12-05 삼성전자주식회사 서브 샘플링 모드에서 디스플레이 품질을 개선한 고체촬상 소자 및 그 구동 방법
JP4492250B2 (ja) * 2004-08-11 2010-06-30 ソニー株式会社 固体撮像素子
JP4306603B2 (ja) 2004-12-20 2009-08-05 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
US7417670B1 (en) 2005-01-12 2008-08-26 Ambarella, Inc. Digital video camera with binning or skipping correction
US7705900B2 (en) 2005-06-01 2010-04-27 Eastman Kodak Company CMOS image sensor pixel with selectable binning and conversion gain
US8306362B2 (en) * 2005-07-20 2012-11-06 Omnivision Technologies, Inc. Selective pixel binning and averaging based on scene illuminant
JP4894275B2 (ja) * 2006-01-20 2012-03-14 ソニー株式会社 固体撮像装置
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP4855192B2 (ja) * 2006-09-14 2012-01-18 富士フイルム株式会社 イメージセンサ及びデジタルカメラ
KR100818987B1 (ko) 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
US7924332B2 (en) 2007-05-25 2011-04-12 The Trustees Of The University Of Pennsylvania Current/voltage mode image sensor with switchless active pixels
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
JP2009021809A (ja) * 2007-07-11 2009-01-29 Canon Inc 撮像装置の駆動方法、撮像装置、及び撮像システム
US7755121B2 (en) * 2007-08-23 2010-07-13 Aptina Imaging Corp. Imagers, apparatuses and systems utilizing pixels with improved optical resolution and methods of operating the same
US8089522B2 (en) * 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
JP5026951B2 (ja) 2007-12-26 2012-09-19 オリンパスイメージング株式会社 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
US7667169B2 (en) * 2008-05-22 2010-02-23 Omnivision Technologies, Inc. Image sensor with simultaneous auto-focus and image preview
JP5272634B2 (ja) 2008-06-20 2013-08-28 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8471939B2 (en) * 2008-08-01 2013-06-25 Omnivision Technologies, Inc. Image sensor having multiple sensing layers
US7777171B2 (en) * 2008-08-26 2010-08-17 Eastman Kodak Company In-pixel summing of charge generated by two or more pixels having two reset transistors connected in series
JP5253956B2 (ja) * 2008-10-16 2013-07-31 シャープ株式会社 固体撮像装置及びその駆動方法、並びに電子情報機器
US8130302B2 (en) 2008-11-07 2012-03-06 Aptina Imaging Corporation Methods and apparatus providing selective binning of pixel circuits
JP5029624B2 (ja) * 2009-01-15 2012-09-19 ソニー株式会社 固体撮像装置及び電子機器
US8913166B2 (en) * 2009-01-21 2014-12-16 Canon Kabushiki Kaisha Solid-state imaging apparatus
CN101834974B (zh) * 2009-03-09 2013-12-18 博立码杰通讯(深圳)有限公司 一种多光谱感光器件及其采样方法

Also Published As

Publication number Publication date
JP2013529035A (ja) 2013-07-11
JP5775570B2 (ja) 2015-09-09
HUE039688T2 (hu) 2019-01-28
CA2787911A1 (en) 2011-12-08
US9100597B2 (en) 2015-08-04
US20130068934A1 (en) 2013-03-21
EP2512126A4 (en) 2014-01-01
EP2512126A1 (en) 2012-10-17
CA2787911C (en) 2017-07-11
WO2011150554A1 (zh) 2011-12-08
RU2534018C2 (ru) 2014-11-27
EP2512126B1 (en) 2018-07-25
KR101473424B1 (ko) 2014-12-24
RU2012157297A (ru) 2014-07-20

Similar Documents

Publication Publication Date Title
KR101473424B1 (ko) 다중 스펙트럼 감광소자 및 그 샘플링 방법
KR101104617B1 (ko) 고체 촬상 디바이스 및 촬상 장치
US9131178B2 (en) Solid-state imaging apparatus for selectively outputting signals from pixels therein
US9438839B2 (en) Solid state imaging apparatus and imaging system using the same
JP4611296B2 (ja) 電荷ビニング型イメージセンサ
US7521661B2 (en) Driving an image sensor with reduced area and high image quality
US6992714B1 (en) Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
KR100285390B1 (ko) 고체 상태 영상 픽업 장치와 그 장치의 신호 판독 방법
US7564492B2 (en) Solid-state image sensing device and camera using the same
US7521659B2 (en) Driving an image sensor with reduced area and high image quality
US20100128149A1 (en) Color filter array, image sensor including the color filter array and system including the image sensor
CN101834974B (zh) 一种多光谱感光器件及其采样方法
US20100245628A1 (en) Imaging apparatus and imaging system
US20070258004A1 (en) Solid-state imaging device, driving method thereof, and camera
WO2002093939A1 (fr) Dispositif d'imagerie et procede de traitement de signaux associe
JP3501686B2 (ja) カラー撮像装置及びそれを用いた撮像システム
CN103685997A (zh) 固体拍摄装置、拍摄方法及相机模块
JP2001156281A (ja) 固体撮像素子およびその駆動方法並びにカメラシステム
KR101508283B1 (ko) 감광소자 및 그 리딩 방법, 리딩 회로
JP2004221771A (ja) 固体撮像装置、カメラおよびカメラシステム
JP2007074630A (ja) 固体撮像素子
WO2014006882A1 (ja) 固体撮像装置およびその駆動方法、並びに電子情報機器
JP2004236028A (ja) 固体撮像装置、カメラおよびカメラシステム
CN101853861A (zh) 一种感光器件及其读取方法、读取电路
JPH07147683A (ja) 固体撮像素子

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191125

Year of fee payment: 6