KR101473424B1 - 다중 스펙트럼 감광소자 및 그 샘플링 방법 - Google Patents

Abstract

본 발명에서는 다중 스펙트럼 감광소자 미츠그 샘플링 방법을 제공하는 바, 상기 방법에는, 상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 과정; 제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정; 제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함된다. 본 발명은 단일층 채색 감광칩, 단일면 이중층 다중 스펙트럼 감광칩 및 이중면 이중층 다중 스펙트럼 감광칩의 다중 픽셀 공유 리딩과 증폭 회로에 적용된다. 본 발명은 종래 픽셀 리딩 회로의 핵심을 흡수한 기초 상에서, 그 원리, 기초 회로와 성능 상에서 모두 수량급의 돌파를 가져왔으며, 또 고성능의 서브 샘플링을 구현함과 동시에 간단하고 직접적으로 감광 소자 상에서 서브 샘플링 이미지의 YUV 포멧의 출력을 구현한다.

Description

다중 스펙트럼 감광소자 및 그 샘플링 방법 {MULTISPECTRAL PHOTORECEPTIVE DEVICE AND SAMPLING METHOD THEREOF}

본 발명은 감광칩의 감광 픽셀의 리딩에 관한 것으로서, 특히 대형 어레이 감광칩의 감광 픽셀의 서브 샘플링 데이터 리딩에 관한 것이다. 구체적으로 말하면, 본 발명은 다중 스펙트럼 감광소자 및 그 샘플링 방법에 관한 것이다.

본 발명은 본 발명인의 약간 전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)과 "다중 스펙트럼 감광소자 및 그 제작 방법"(중국 출원번호: 200810217270.2)의 계속으로서, 더욱 구체적이고 바람직한 반도체 회로와 칩 레벨의 구현을 제공하기 위한 것이다.

종래의 감광 소자는 채색 가시광선에 중점을 맞추지 않으면, 적외선에 중점을 두고, 양자를 결합시키는 것은 아주 적다. 기타의 발명과 출원, 예를 들면, 인듐화 카드뮴을 이용한 반도체 기술(“Silicon infrared focal plane arrays”, M. Kimata, in Handbook of Infrared Detection Technologies, edited by M. Henini and M. Razeghi, pp. 352-392, Elsevier Science Ltd., 2002)로 가시광선과 적외선의 동시 감지를 구현하기는 하지만, 이는 채색을 취득할 수 없다. 종래의 채색과 적외선을 동시에 감지하는 방법으로는 하나의 채색 감광 소자와 하나의 적외선 감광 소자를 물리적으로 겹치는 것이다(예를 들면, “Backside-hybrid Photodetector for trans-chip detection of NIR light], by T. Tokuda et al., in IEEE Workshop on Charge-coupled Devices & Advanced Image Sensors, Elmau, Germany, May 2003, and “A CMOS image sensor with eye-safe detection function using backside carrier injection”, T. Tokuda et al., J. Inst Image Information & Television Eng., 60(3):366-372, March 2006) .

본 발명인의 약간 전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)과 "다중 스펙트럼 감광소자 및 그 제작 방법"(중국 출원번호: 200810217270.2)에서는, 동시에 채색과 적외선 이미지를 취득할 수 있는 새로운 다중 스펙트럼 감광 소자의 제작 방법을 제공하는 바, 이러한 새로운 감광 소자는 감광 소자의 동적 범위를 크게 확충시켜 자동차, 보안 등 분야의 고성능 요구를 만족시킬 수 있을 뿐 아니라, 이를 작은 크기의 채색 감광 소자, 예를 들면, 핸드폰용 카메라에 이용하여도 이미지 품질을 크게 향상시킬 수 있으며, 또한 이들은 종래의 COMS, CCD 또는 기타 반도체 감광 소자 제작 기술을 이용하여 제작될 수 있고, 각 기술마다 모두 아주 많고 효과적인 제작 방법과 구조 설계가 있으나, 본 발명은 주요하게 적은 몇 가지 COMS/CCD 반도체 기술을 이용한 제작 방법을 제공한다.

하지만, 이러한 새로운 이중층 또는 다중층 감광 소자는 새로운 문제를 가져오는 바, 즉 데이터 량은 종래의 단일층 감광 소자의 두 배 내지는 이상이라는 것이다. 이중층 감광 소자는 단지 절반의 픽셀만 있으면 단일층 감광 소자와 동일한 해상도를 얻을 수 있기는 하지만, 고속으로 대형 어레이의 감광 소자의 데이터를 처리하는 것은 여전히 개선이 필요한 문제이다.

최근 몇 년에 있어서, 이미 일부 훌륭한 방법을 발명하여 대형 어레이 이미지에 대하여 고성능의 서브 샘플링을 진행하고 있는 바, 예를 들면, 리딩 회로 공유, 행 바인딩(Row Binning) 및 열 바인딩(Column Binning) 샘플링 기술(예를 들면, 미국 특허 US6, 801, 258B1, US6, 693, 670B1, US7, 091, 466B2, US7, 319, 218B2 등)이다. 주목하여야 할 바로는 미국 특허 US6, 693, 670B1, US7, 091, 466B2和 US7, 319, 218B2이다. 이러한 특허들은 효과가 훌륭하고 또 간편하게 구현할 수 있는 수단을 제공하여 N행 또는 M열 또는 M행과 N열의 병용을 구현한다.

하지만 이러한 서브 샘플링 기술은 최적의 효과를 이루지 못하고 있다. 예를 들면, 행 바인딩과 열 바인딩의 서브 샘플링 기술을 이용하여 N 개 점을 하나의 점으로 합치면, 이미지 노이즈 비의 개선은 최고로 단지

이다(미국 특허 US7, 091, 466B2, US7, 319, 218B2 참조). 왜냐하면 행 바인딩과 열 바인딩은 단지 신호에 대하여 평균을 낸 것이기 때문에, 무작위 노이즈의 분산을

배 낮춘것 뿐이고, 유용한 신호 자체의 강도는 증가되지 않고, 단지 몇 개 점의 평균치로 대체한 것이다. 이미지 신호 중에는 일반적으로 또 완변 저주파수의 고정 노이즈가 있는데, 이 부분 노이즈도 감소되지 않는다.

그리고, 종래의 서브 샘플링 기술은 단지 단독으로 Bayer 배열 또는 CYMG 4색 패턴 배열의 감광칩의 서브 샘플링의 요구만 고려한 것이고, 후속의 계산을 위하여 간략화를 진행하지 않았다. 예를 들면, 하나의 Bayer 패턴의 채색 이미지는 미국 Micron Technologies Inc.의 행 바인딩과 열 바인딩 샘플링 기술(미국 특허 US7, 091, 466B2, US7, 319, 218B2)을 이용한 후, 여전히 하나의 Bayer 패턴으로서, 여전히 복잡한 처리를 거쳐야만 미리보기와 저장 단계에 필요한 YUV 이미지를 얻을 수 있다. 그리고 기타 일부 신호대 잡음비를 개선할 수 있는 서브 샘플링 회로는 복잡한 적분 회로와 비교기가 필요하고, 이로써 보조 회로의 증가와 주파수의 증가를 초래한다.

그리고 종래 서브 샘플링 기술의 다른 하나의 거다란 제약이라면 바로 행 바인딩과 열 바인딩이 단지 동일하고 또 공간 상에서 인접되지 않은(중간에 다른 픽셀이 끼인) 컬러 픽셀 사이에 진행된다는 것이다. Bayer 패턴 또는 CYMG 4색 패턴에 있어서, 동일한 컬러 픽셀은 공간 상에서 인접되지 않고, 행 바인딩과 열 바인딩을 거친 후의 이미지는 원시 이미지의 공간 상의 균일한 분포의 특징을 파괴시켰기 때문에, 후단 처리가 전문적으로 이러한 상황에 적응하지 않는다면 직선 변두리에서 쉽게 톱니 영향이 발생한다.

특히 본 발명에서 관심을 갖는 이중층 또는 다중층 감광 소자에 있어서, 종래의 기술은 모두 별 의미가 없는 바, 왜냐하면 이중층 또는 다중층 감광 소자는 아주 많은 우수한 컬러 패턴 배열을 제공하기 때문에, 신호 리딩이든 서브 샘플링이든 모두 이중층 또는 다중층 감광 소자의 특징에 의하여 개선을 진행하여야 한다.

본 발명은 더욱 훌륭한 서브 샘플링 원리와 선진적인 서브 샘플링 회로를 제공하고, 또 서브 샘플링과 후속 이미지 처리를 결합시켜 최적화 시키는 것을 제공한다. 본 발명에서는 다중 스펙트럼 감광 소자 및 그 샘플링 방법을 제공하여 이중층 또는 다중층 다중 스펙트럼 감광칩의 데이터 량이 비교적 큰 부족점을 미봉한다. 여기에서 샘플링 방법은 주요하게 서브 샘플링이 포함되나, 풀 이미지 샘플링도 포함된다. 본 발명은 이중층 또는 다중층 다중 스펙트럼 감광 소자에 제한되는 것이 아니며, 단일층 감광 소자에 대해서도 마찬가지로 적용되는 것이다.

본 발명을 설명하고 또 종래 기술과의 구별점을 해석하기 위하여, 아래 하기 용어의 정의를 내리는 바, 즉 이중층 감광소자, 이중면 감광소자 및 양방향 감광소자이다. 그 중에서, 이중층 감광소자는 감광 픽셀이 물리적으로 두 층으로 구분되고(예를 들면, 발명인이 약간 이전의 "다중 스펙트럼 감광소자 및 그 제작 방법"(PCT/CN2007/071262)에서 기재한 두 층 감광소자), 각 측에 모두 특정 스펙트럼을 감지하는 감응 픽셀이 있는 것을 말한다. 이중면 감광소자는 감광소자에 두 개의 감광 표면이 있고, 각 면이 적어도 하나의 방향으로부터 빛을 감지할 수 있는 것을 말한다. 양방향 감광소자는 감광소자가 두 방향(일반적으로 상호 180도)으로부터의 빛을 감지할 수 있는 것으로서, 즉 감광소자의 정면과 배면으로 모두 빛을 감지할 수 있는 것을 말한다.

하나의 감광소자는 이중층, 이중면 및 양방향 이 세 가지 특징 중의 한 가지, 두 가지 내지는 모든 세 가지 특징을 구비할 수 있다.

상기 목적을 이루기 위한 본 발명의 기술방안은 하기와 같다.

다중 스펙트럼 감광 소자에는, 행과 열로 배열되는 픽셀 어레이;

상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 유닛;

제1 합병 유닛이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 유닛;이 포함된다.

상기 다중 스펙트럼 감광 소자에는 또, 제2 합병 유닛이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 유닛이 포함된다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 픽셀 합병 방식은 동일하거나 부동한 컬러 픽셀 사이의 전하 누적 방식 또는 두 개의 부동한 컬러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 컬러 픽셀 사이의 픽셀 합병 방식(전하 누적 방식 또는 신호 평균 방식 포함)은 컬러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시킨다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 전하 누적 방식은 리딩 커패시터(FD) 중에서 완성된다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 컬러를 기반으로 하는 합병 샘플링 방식에는 동일 컬러 합병 방식, 다른 컬러 합병 방식, 혼합 합병 방식 또는 불필요한 컬러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 유닛과 제2 합병 유닛이 이용하는 합병 샘플링 방식은 동시에 동일 컬러 합병 방식을 이용하는 것이 아닌 바, 즉 두 개의 합병 유닛에 있어서 적어도 하나의 합병 유닛은 부동 컬러 합병 방식을 이용한다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 제1 합병 유닛 또는 제2 합병 유닛의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식이다. 즉 이 몇 가지 위치를 기반으로 하는 합병 샘플링 방식은 단독으로 사용될 수도 있고, 조합되어 사용될 수도 있다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 제3 합병 유닛의 합병 샘플링 방식은 컬러 공간 변환 방식과 후단 디지털 이미지 줌 방식 중의 적어도 한 가지이다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 컬러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R(적색), G(녹색), B(적색)의 어느 한 가지이다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 픽셀 어레이는 복수개의 적어도 하나의 기본 픽셀을 포함하는 매크로 픽셀로 구성되고, 그 중에서, 기본 픽셀은 피동 픽셀 또는 주동 픽셀일 수 있다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀 중의 기본 픽셀은 정방 행렬 또는 허니컴에 따라 배열된다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀의 구성 방식에는 하기 구성 방식 중의 적어도 한 가지가 포함되는 바, 즉 리딩 커패시터(FD)를 구비하지 않는 3T 주동 픽셀 구성 방식, 하나의 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀 구성 방식이다.

상기 다중 스펙트럼 감광 소자에 있어서, 각 매크로 픽셀에 하나의 리딩 커패시터(FD)가 구비된 4T 주동 픽셀은 4 포인트 공유 방식, 6 포인트 공유 방식 또는 8 포인트 공유 방식을 이용한다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 매크로 픽셀은 또 하기 구성 방식을 포함할 수 있는 바, 즉 4 개의 정방 행렬로 배열된 픽셀과 두 개의 두 행 사이에 위치하는 빛이 투과되지 않는 리딩 커패시터(FD)로 구성되고, 위 행의 픽셀과 아래 행의 픽셀이 공동으로 하나의 리딩 커패시터(FD)를 사용하며, 두 개의 리딩 커패시터(FD) 사이에서는 전하 이동을 구현할 수 있고 또 적어도 하나의 리덩 커패시터 상에는 리딩 회로가 연결된다.

상기 매크로 픽셀은 2 포인트 공유, 3 포인트 고유 또는 4 포인트 공유 리딩 커패시터(FD)를 구비하는 3T 또는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용할 수 있다.

상기 다중 스펙트럼 감광 소자에 있어서, 각 매크로 픽셀은 2 포인트 공유, 3 포인트 고유 또는 4 포인트 공유 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용한다.

상기 다중 스펙트럼 감광 소자에 있어서, 상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식이 포함된다.

본 발명에서는 또 다중 스펙트럼 감광 소자의 샘플링 방법을 제공하는 바,

상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합볍 과정;

제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정;이 포함된다.

상기 샘플링 방법에는 또, 제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함된다.

상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 픽셀 합병 샘플링 방식은 동일하거나 부동한 컬러 픽셀 사이의 전하 더하기 방식 또는 부동한 컬러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 컬러 픽셀 사이의 픽셀 합병 방식(전하 더하기 방식 또는 신호 평균 방식 포함)은 컬러 공간 변환의 방식을 따르는 바, 이로써 칼라 재구성의 요구를 만족시킨다.

상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 컬러를 기반으로 하는 합병 샘플링 방식에는 동일 컬러 합병 방식, 다른 컬러 합병 방식, 혼합 합병 방식 또는 불필요한 컬러 선택적 포기 합병 방식이 포함되고, 또 제1 합병 과정과 제2 합병 과정 중의 적어도 하나의 합병 과정은 동일 컬러 합병 방식이 아니다.

상기 샘플링 방법에 있어서, 상기 제1 합병 과정 또는 제2 합병 과정의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식이다.

상기 샘플링 방법에 있어서, 상기 제3 합병 샘플링 과정에 진행하는 합병 샘플링 방식에는 컬러 공간 변환 방식, 후단 디지털 이미지 줌 방식이 포함된다.

상기 샘플링 방법에 있어서, 상기 컬러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R(적색), G(녹색), B(적색)의 어느 한 가지이다.

상기 샘플링 방법에 있어서, 상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 포함된다.

본 발명의 유리한 효과는 하기와 같다.

서브 샘플링을 적어도 두 개의 과정으로 분리하는 바, 즉 상술한 제1 합병 샘플링 과정과 제2 합병 샘플링 과정이다. 제1 합병 샘플링 과정과 제2 합병 샘플링 과정은 일반적으로 픽셀의 행(합병) 샘플링과 열(합병) 샘플링 사이에 발생하고, 주요하게 아날로그 신호에 대하여 진행하며, 전하 더하기 부분을 일반적으로 단지 제1 합병 샘플링 과정 중에 완성하는 외, 순서와 내용은 일반적으로 교환할 수 있다. 그리고, 또 제3 합병 샘플링 과정을 포함할 수 있는 바, 제3 합병 샘플링 과정은 아날로그/디지털 전환 후에 발생하며, 주요하게 디지털 신호에 대하여 진행한다.

제1 합병 샘플링 과정은 픽셀 어레이 중의 두 인접된 픽셀을 취하여 합병을 진행하는 것이다. 일 방면으로, 인접된 픽셀의 합병을 완성한 후, 본 명세서에 있어서, 합병 후의 픽셀을 제1 합병 픽셀이라 하는 바, 유의하여야 할 바로는, 제1 합병 픽셀은 단지 본 발명의 설명의 편리를 위하여 이러한 개념을 이용하여 제1 합병 과정을 진행한 후의 픽셀을 지칭하는 것이지, 물리적으로 픽셀 어레이 중에 하나의 "제1 합병 픽셀"이 존재하는 것이 아니며; 두 인접된 픽셀을 합병 샘플링한 후의 데이터를 제1 합병 픽셀의 샘플링 데이터라 칭한다. 인접되었다는 것은 두 픽셀 사이에 수평, 수직 또는 대각선 방향으로 보았을 때 인접되고 중간에 기타 픽셀이 없는 것을 말한다. 인접된 상황으로는 동일 행 다른 열, 다른 행 동일 열 또는 다른 행 다른 열이 포함된다. 일반적으로, 이러한 합병에 있어서, 신호는 적어도 두 픽셀의 신호의 평균이고 노이즈가

낮아지기 때문에, 합병 후 적어도 신호대 잡음비를

배 높일 수 있고 또 이러한 합병은 동일하거나 부동한 컬러의 픽셀 사이에 진행될 수 있다. 다른 일 방면으로, 두 합병된 컬러가 부동할 수 있는 바, 즉 컬러를 더하거나 평균을 내기 때문에, 컬러의 3원색 원리로부터 알 수 있는 바와 같이, 두 가지 원색을 더하는 것은 다른 한 원색의 보색으로서, 다시 말하면, 두 개의 부동한 원색의 픽셀을 합병시키면 다른 한 가지 원색의 보색이 생성되고, 원색 공간으로부터 보색 공간으로 변한되며, 단지 칼라 공간 변환이 발생한 것이기 때문에 여전히 부동한 보색을 통하여 컬러 재구성을 완성할 수 있다. 즉 본 발명을 통하여 부동한 컬러의 픽셀 합병을 구현하여 신호대 잡음비를 높일 수 있을 뿐 아니라, 아울러 컬러 재구성을 진행할 수 있다. 전반 샘플링 과정도 이로 인하여 최적화 되어 더욱 큰 데이터 량의 픽셀 어레이의 고속 요구에 부합된다. 컬러 공간 변환의 기본 요구로는 변환된 후의 컬러의 조합이 (보간법 등 수단을 통하여) 필요한 RGB(또는 YUV 또는 CYMK) 컬러를 재구성할 수 있어야 한다는 것이다.

일반적으로 픽셀 어레이에 다수의 픽셀이 포함되고, 제1 합병 샘플링은 단지 두 개의 픽셀을 합병시키는 것이므로, 합병 형성된 제1 합병 픽셀도 다수일 수 있다. 부동한 제1 합병 픽셀에 있어서, 이가 이용하는 컬러 합병 방식은 동일할 수도 있고, 부동할 수도 있다. 제1 합병이 모두 동일한 컬러 사이에서 진행될 때, 이를 동일 컬러 합병 방식이라 칭하며; 제1 합병이 모두 부동한 컬러 사이에서 진행될 때, 이를 부동 컬러 합병 방식이라 칭하며; 제1 합병이 일부는 동일한 컬러 사이에서 진행되고, 일부는 부동한 컬러 사이에서 진행될 때, 이를 혼합 합병 방식이라 칭하며; 픽셀 어레이 중의 일부 불필요한 컬러를 포기할 때(포기가 선택적인 것은 물론인 바, 예를 들면, 이로 인하여 컬러 재구성에 영향을 미쳐서는 안된다), 이러한 컬러 합병 방식을 불필요한 컬러 선택적 포기 합병 방식이라 칭한다.

분명한 것은, 제2 합병 과정은 다수의 제1 합병 픽셀에 대한 조작으로서, 마찬가지로, 컬러가 동일한 제1 합병 픽셀을 합병시킬 수도 있고, 또 컬러가 부동한 제1 합병 컬러를 합병할 수도 있다(이러한 상황 하에서, 3원색이 전부 더하여져 컬러를 재구성할 수 없을 수 있다).

상기 동일 컬러 합병, 부동 컬러 합병, 혼합 합병 등 방식은 합병 샘플링에 대하여 컬러를 기반으로 하는 분류를 진행하는 것이고, 또한 합병 샘플링의 위치 선택의 각도에서 보면, 제1 합병 과정과 제2 합병 과정의 합병 샘플링 방식에는직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식 및 이러한 방식의 한 가지 또는 세 가지의 동시 사용이 포함된다. 전하 더하기 부분을 일반적으로 단지 제1 합병 샘플링 과정에 완성하는 외, 제1 합병 과정과 제2 합병 과정은 순서가 부동한 외, 그 방식은 동이하고 교환가능한 것이다.

소위 말하는 직접 버스로 출력하는 신호 자동 평균 방식은 바로 합병된 신호(컬러가 동일하거나 부동함)를 동시에 데이터 채지 버스 상에 출력시켜 (전압) 신호의 자동 평형을 통하여 신호를 합병시켜야 할 평균치를 취득한다. 소위 말하는 행 스킵 또는 열 스킵 방식은 바로 일부 행 또는 열을 스킵하여 데이터 량을 감소시키는 방식을 토하여 (합병) 샘플링을 구현하는 것이다. 소위 말하는 순차적 샘프링 방식은 실제상에서는 아무런 합병도 진행하지 않고 이로써 원래의 픽셀 또는 제1 합병 픽셀을 리딩하는 것이다. 이 세 가지 방식 중의 일부는 동시에 사용할 수 있는 바, 예를 들면, 행 스킵 또는 열 스킵 방식은 직접 버스로 출력하는 신호 자동 평균 방식 또는 순차적 샘플링 방식과 동시에 사용될 수 있다.

제3 합병 샘플링 과정의 서브 샘플링 방식에는 컬러 공간 변환 방식, 후단 디지털 이미지 줌 방식 및 이 두 가지 방식의 직렬 사용이 포함된다. 제1 합병 과정은 주요하게 아날로그 신호 상에 진행되고, 제3 샘플링 과정은 주요하게 디지털 신호 상에 진행되는 바, 즉 아날로그/디지털 전환 후에 진행된다. 부동한 공간 위치에 처한 3 개 또는 4 개 컬러 픽셀을 동일한 포인트 상의 값으로 하여 다른 한 컬러 공간으로 전환시키면, 수평 및/또는 수직 방향 상의 데이터 감소시키고 서브 샘플링의 효과를 얻을 수 있다. 디지털 이미지 줌 방식은 가장 직관적이고 널리 사용되는 샘플링 방식이다.

본 발명에서는 또 최초로 합병 샘플링에서 전하 더하기를 구현한다. 현재의 합병 샘플링은 거의 모두 전압 또는 전류 신호의 평균만 구현하는 바, 이러한 방식은 N 포인트를 합병시킬 때, 최고로 단지 신호대 잡음비를

배 향상시킬 수 있을 뿐이다. 왜냐하면 종래의 합병 샘플링은 모두 N 개 동일 컬러의 픽셀이 하나의 출력선을 공동으로 사용하는 방식으로 합병 샘플링을 진행하기 때문에, 이 출력선 상에서 각 픽셀의 전압 또는 전류 신호는 반드시 (자동) 평균을 진행하므로, 이 신호대 잡음비의 향상은 단지 노이즈가 합병 후

낮아진 것이기 때문에, 신호대 잡음비의 향상이 최고로

배밖에 안된다. 하지만 본 발명의 전하 더하기 방식을 이용하면, 예를 들면, 커패시턴스 저장 전하를 리딩하는 것을 통하여 전하의 더하기를 구현함으로써, 신호로 하여금 중첩될 수 있도록 하여 신호대 잡음비로 하여금 적어도 N배 향상되게 하고, 신호 평균의 방법에 비하여 적어도

배 향상시킬 수 있다. 즉 N 개 신호를 전하 더하기 방식으로 합병하는 것은 이론상에서 최고로 N² 개 신호를 평균 내는 것 같거나 더욱 좋은 효과를 얻을 수 있는 바(하기의 설명과 같이), 이는 아주 효과적인 신호대 잡음비를 향상시키는 수단이다.

인접된 픽셀을 더하는 것은 다른 한 현저한 효과를 가져오는 바, 즉 픽셀 사이의 호상 간섭(cross-talking) 효과가 감쇄되는 것이다. 이는 원래 상호 간섭하던 컬러가 현재는 합법적인 일체이기 때문이며, 다시 말하면, 원래 노이즈에 속하던 일부 신호가 현재에는 유효한 신호 부분으로 되었기 때문에, N 개 신호 전하를 더함으로 인한 신호대 잡음비의 개선은 이론상의 상한, 즉 N 배에 달하므로, N³ 개 신호를 평균한 효과와 같다.

전하 더하기는 효과가 현저한 합병 샘플링 수단이기는 하지만, 이는 합병되는 픽셀이 공간 상에서 인접될 것이 요구된다. 종래의 서브 샘플링에서 완성할 수 없었던 원인은 종래의 서브 샘플링은 단지 동일 컬러의 픽셀 사이에 진행되고, 합병된 픽셀 사이에 기타 픽셀이 끼우기 때문에 전하 더하기를 구현할 수 없다. 다중 스펙트럼 감광 소자에 있어서, 전하 더하기를 구현하는 것이 상대적으로 쉬운 바, 이는 컬러 패턴이 아주 다양하기 때문이다. 하지만 본 발명을 이용하면 단일층 감광 소자 상에서 전하 더하기를 구현할 수 있는 바, 본 발명의 컬러 공간 변환의 방법을 이용하기만 하면 된다.

본 발명은 풀 이미지 샘플링(즉 한 이미지에 대하여 최고 해상도에 따라 샘플링을 진행하는 것)을 진행할 때, 행에 따른 스캔, 격행 또는 행 점프 리딩 방식을 이용하고, 클럭 속도를 향상시키고 프레임 버퍼를 이용할 필요가 없으며, 대형 어레이 이미지의 풀 이미지 리딩 속도를 단일 이미지 촬영 시 한 배 향상시킨다. 만일 AD 전환기와 행 캐시를 추가하면, 풀 이미지 리딩 속도는 더욱 높아질 수 있다. 이 방법은 기계적 셔터를 생략시킴에 아주 중요한 가치를 갖는다.

유의하여야 할 바로는, 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식은 종래의 TV 시스템 중의 인터리브 스캐닝(interleaved scanning) 방식과 부동하다. 종래의 인터리브 스캐닝 방식은 격행 스캔, 격행 리딩이므로, 홀수 인더리브와 짝수 인더리브(감광이든 리딩이든 무관)는 시간 상에서 한 인터리브, 즉 반 프레임 차이가 난다. 하지만 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 있어서, 픽셀은 감광 시간 순서 상에서 행에 따른 스캔, 행에 따른 리딩 방식과 완전히 일치하고, 단지 행의 리딩 순서에 변화가 있을 뿐이다.

본 발명에서는 실시예를 통하여 새로운 위력이 더욱 강하고 적응면이 더욱 넓은 감광 소자 및 그 샘플링 방법에 대하여 설명하도록 한다. 이러한 바람직한 구현 방법은 단지 예시적으로 본 발명과 본 발명인의 이전의 관련 발명의 장점과 구현 방법을 설명하는 것일 뿐, 이러한 발명의 보호범위를 제한하는 것이 아니다.

당업계의 통상의 지식을 가진 자에게 있어서, 본 발명의 상기 및 기타 목적과 장점은 아래의 도면을 참조한 바람직한 실시예의 설명을 통하여 더욱 명료하게 될 것이다.

도1은 CMOS 피동 픽셀의 리딩(샘플링) 회로도이다.
도2는 CMOS 3T 주동 픽셀의 리딩(샘플링) 회로도이다.
도3은 CMOS 4T 주동 픽셀의 리딩(샘플링) 회로이다.
도4(a)와 (b)는 각각 CMOS 주동 픽셀과 피동 픽셀의 리딩(샘플링) 회로와 행 주소 선택 회로의 관계도이다.
도5는 CMOS 픽셀의 리딩(샘플링) 회로와 행 주소 선택 회로 및 열 주소 서택 회로의 구조도이다.
도6은 전형적인 열 캐시가 구비된 실용 CMOS 픽셀의 리딩(샘플링) 회로도이다.
도7은 CCD 픽셀의 리딩 방식(a)와 CMOS 픽셀의 리딩 방식(b)의 비교도이다. 주목하여야 할 바로는, 도7(a) 중의 CCD 픽셀 사이에 수직 방향에서의 하나씩 전달되는 기능이다.
도8은 미국 특허 US7,091,466B2의 기본 원리를 설명하는 도면이다. 합병하고자 하는 동일 픽셀의 스위치를 동시에 온시키는 것을 통하여 관련 신호를 동시에 샘플링 버스 상에 출력한 후 자체로 평형을 이루어 합병 픽셀의 평균치를 취득한다.
도9는 미국 특허 US7,319,218B2의 기본 원리를 설명하는 도면이다. 합병하고자 하는 동일 픽셀을 부동한 시간에 고속으로 샘플링 하는 것을 통하여 관련 신호 기록이 완전하게 된 후 다시 동시에 샘플링 버스 상에 출력한 후 자체로 평형을 이루어 합병 픽셀의 평균치를 취득한다. 이의 기본 사상은 미국 특허 US7,091,466B2와 동일하나, 단지 부동한 회로를 이용하여 구현한 것 뿐이다.
도10은 종래의 픽셀 동일 컬러 합병 기술의 기본 사상을 요약하여 보여 주는 바, 즉 (신호 평균의 방식에 의해) 인접된 매크로의 컬러가 동일한 픽셀을 합병시키는 것이다. 도10(a)는 열 합병 도면이고, 도10(b)는 행/열이 동시에 합병되는 도면이다.
도11은 현재 비교적 훌륭한 4-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 평균 1.75개 게이트가 이용된다.
도12는 6-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 단지 평균 1.5개 게이트가 이용된다. 이 6-포인트 공유 주동 감광 픽셀의 리딩 회로는 허니컴 배열을 이용하는 이중면 이중층 감광 소자("다중 스펙트럼 감광 소자 및 그 제작 방법", 중국 출원번호 200810217270.2 참조)에 적용되는 바, 즉 한 매크로 픽셀 중의 모든 3 개 복합 픽셀의 상하 두 층의 포토다이오드가 하나의 리딩 커패시터(FD)와 3T 리딩 회로를 공유하도록 하는 것이다.
도13은 8-포인트 공유 4T 주동 감광 픽셀의 리딩 회로로서, 각 픽셀에 평균 1.375개 게이트가 이용된다. 이 8-포인트 공유 주동 감광 픽셀의 리딩 회로는 4 포인트 픽셀을 기반으로 하는 정방 행렬 배열의 이중면 이중층 감광 소자에 적용되는 바, 즉 한 매크로 픽셀 중의 모든 4 개 복합 픽셀의 상하 두 층의 포토다이오드가 하나의 리딩 커패시터(FD)와 3T 리딩 회로를 공유하도록 하는 것이다.
도14는 본 발명의 부동 컬러 합병과 혼합 합병 기술의 기본 사상을 보여주는 것으로서, (신호 평균 또는 더하기의 방식에 의하여) 동일한 매크로 픽셀 내의 두 개의 부동하거나 동일한 컬러의 픽셀을 합병한 후, 다시 인접되고 또 컬러가 동일한 픽셀 사이의 합병을 진행한다. 도14(a)는 Bayer 패턴 감광 소자의 2열 합병의 한 가지 도면을 보여주고, 도14(b)는 Bayer 패텬 감광 소자의 2열과 2행이 동시에 합병되는 도면을 보여 준다. 그 중에서, 단독으로 G와 B 또는 C와 R의 합병을 관찰하면, 부동 컬러 합병을 구성하며; G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병을 전반적으로 관찰하면, 혼합 합병을 구성하는 바, 왜냐하면 그 중 일부의 합병은 동일 컬러 사이(G와 G)에서 진행되는 것이고, 기타는 부동 컬러 사이에 진행되는 것이다. Bayer 패턴의 RGB 원색 이미지는 잡색 합병을 거친 후 CyYeMgG 보색 이미지로 전환된다. 이 도면에 있어서, G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병은 제1 합병 과정을 구성한다. 제2 합병 과정은 합병 후 취득한 부동한 위치 상의 Cy, Ye, Mg와 G값을 동일 컬러 합병 방싱에 따라 동시에 버스 상으로 출력시키거나, 또는 행 스킵 또는 열 스킵의 방식을 이용하여 일부 픽셀을 스킵하거나, 순차적으로 리딩한다.
도15는 본 발명의 잡색 합병 기술이 일반적인 M행과 N행 합병(도면 중에서는 5x3, 즉 5행과 3열의 합병)에 이용되는 상황을 보여 준다. 행 스킵 또는 행 점프와 행 점프와 열 스킵의 방법을 결하시키면 여러 가지 부동한 도15와 유사한 상황을 얻을 수 있다. 3행 3열의 합병은 2행과 2열의 합병에 행 스킵과 열 스킵을 추가하여 완성할 수 있다.
유의하여야 할 바로는, 제3행과 제4행은 교차 합병을 진행할 때, 동일한 중점 위치에 위치하는 한 쌍의 (Mg, G) 신호를 생성한다. 후속의 열 합병의 편리를 위하여, 인위적으로 Mg 또는 G가 앞에 있다고 여겨 일치성을 유지할 수 있다.
행과 열의 대칭성에 유의하여야 하는 바, 이 도면으로부터 쉽게 3x5, 2x3, 3x2， 2x4, 4x2, 5x2, 2x5, 2x6, 6x2, 3x4, 4x3, 3x6, 6x3, 4x4, 4x5, 5x4, 4x6, 6x4, 5x6, 6x5, 6x6, 7x6, 6x7, 7x7x, 8x8 등 여러 가지 합병 상황을 추이할 수 있다. 비교적 유용한 것은 2x2, 2x4, 4x2, 4x4, 3x6, 6x3, 6,6, 4x8, 8x4 및 8x8의 등 쉽게 이미지 길이/너비 비례를 유지할 수 있는 합병 요소이다. 마찬가지로, 이 도면에 있어서, G와 B의 합병, G와 R의 합병, B와 R의 합병 및 G와 G의 합병은 제1 합병 과정을 구성한다. 제2 합병 과정은 합병 후 취득한 부동한 위치 상의 Cy, Ye, Mg와 G값을 동일 컬러 합병 방싱에 따라 동시에 버스 상으로 출력시키고, 또 중간의 일부 이용하지 않은 픽셀(예를 들면, 도면 중의 제5행과 제10행)을 스킵한다. 스킵된 컬러는 만일 감광 소자에 제3 합병 과정이 포함된다면 더는 후속의 제3 합병 과정에 참여하지 않는다.
도16은 컬러 공간 매트릭스 변환으로 인한 추가 2x2 이미지 축소이다. CyYeMgG의 이미지가 원시 이미지이든지 아니면 본 발명의 잡속 합병 방법을 통하여 Bayer RGB 이미지로부터 취득한 것이든지, 이들은 YUV 이미지로 전환시킬 대, 추가로 2x2 축소될 수 있다. 축소 방법은 하나의 CyYeMgG 매크로 픽셀을 공동점의 4개 픽셀로 하여 하나의 (Y, U, V) 픽셀로 전환시킨 후, (수평 방향의) 인접된 두 점의 U와 V값을 평균내면, 미리보기와 JPEG/MPEG 압축에 필요한 YUV422 이미지를 취득한다.
도17은 본 발명의 한 가지 훌륭한 리딩 회로를 보여준다. 이 리딩 회로에 있어서, 홀수 행과 짝수 행의 감광 픽셀은 하나의 빛을 투과하지 않는 리딩 커패시터 FD(예를 들면, 도면 중의 FD1과 FD2)를 공동으로 사용하고, 스위치 TG1은 Gr 포토다이오드 중의 커패시터를 FD1로 전환시키도록 선택한다. 마찬가지로, 스위치 TG2, TG3, TG4는 각각 R, B, Gb 등 커패시턴스 값을 읽어 FD2, FD1 또는 FD2로 가져간다. 다른 한 스위치 TG5는 리딩 커패시턴스 FD1 중의 값을 읽어 더하기 방식으로 FD2 중으로 이동시킨다(또는 FD2로부터 FD1로 이동시킨다). 이러한 배치의 감광 픽셀은 도18에 도시된 바와 같은 4 포인트 브리지식 공유 리딩 회로를 이용할 수 있다. 이 회로에 있어서, 리딩 커패시터 FD가 빛이 투과되지 않아야 한다는 요구는 도21에 도시된 바와 같은 행에 따른 스캔, 격행 또는 행 점프 리딩에 필수적인 것이다.
도18은 4 포인트 매크로 픽셀 정방 행렬 배열 패턴에 이용되는 4 포인트 브리지식 공유 리딩 회로를 보여준다. 이러한 리딩 회로는 각 픽셀에 평균 2개의 트라이오드가 이용된다. 게이트 수가 가장 적은 공유 리딩 회로가 아니기는 하지만, 기타 방면에서 탁월한 장점을 갖고 있다. 첫 번째 장점이라면, 서브 샘플링 시 동시에 TG1/TG3을 온 시키거나 또는 동시에 TG2/TG4를 온 시키는 것을 통하여 홀수 행의 픽셀 값 Gr이 짝수 행의 픽셀 값 B가 더하기 방식으로 FD1 내에 누적되어 신호는 더하여 지고 노이즈는 감하여 지는 이중 효과를 취득할 수 있다. 평균적으로 말하면, FD를 이용하여 두 개의 신호를 융합시킨 후 다시 리딩하는 방식은 신호대 잡음비를 최고로 2

배 향상시킬 수 있는 바, 그 중의 2배는 신호의 증가에서 오는 것이고,

배는 노이즈의 감소에서 오는 것이다. 이에 비햐여, 종래의 두 신호의 평균을 취하는 방법은 단지 노이즈를 감소시키는 방식을 통하여 신호대 잡음비를 최대로

배 향상시킬 수 있다. 마찬가지로, 시간 순서를 제어하는 것을 통하여 동시에 TG1/TG4/TG5或TG2/TG3/TG5를 온 시키는 것을 통하여 또 대각선 상의 픽셀을 신호 더하기 방식으로 리딩할 수 있다. 두 번째 장정미라면, 풀 이미지 샘플링 시, 다음 행 픽셀 값을 FD에 저장하는 방법을 통하여 격행 또는 행 점프 리딩을 구현할 수 있는 바, 도21에 도시된 바와 같다.
도19는 본 발명의 3 포인트 매크로 픽셀 허니컴 배열 패턴 이중층 감광 소자에 이용되는 6 포인트 공유 리딩 회로를 보여준다. 이러한 리딩 회로에 있어서, 꼭대기 층으 3개 픽셀은 하나의 리딩 커패시터 FD1를 공용하고, 저부층의 3개 픽셀은 하나의 리딩 커패시터 FD2를 공용하며, 꼭대기 층의 3 포인트와 저부층의 3 포인트는 하나의 증폭 및 리딩 회로를 공용한다. 이러한 꼭대기 층과 저부층이 리딩 회로를 공용하는 방법은 모두 간략화 디자인이 가능하며, 또 서브 샘플링 시 제어 로직으로 하여금 더욱 간단해지게 할 수 있다. 도12과의 부동점이라면, 꼭대기 층과 저부층의 리딩 커패시터가 공유되지 않기 때문에 이중면 감광 소자의 제작이 편리하다.
도20은 본 발명의 4 포인트 매크로 픽셀 정방 행열 배열 패턴 이중층 감광 소자에 이용되는 8 포인트 공유 리딩 회로를 보여준다. 이러한 리딩 회로에 있어서, 꼭대기 층으 4개 픽셀은 하나의 리딩 커패시터 FD1를 공용하고, 저부층의 4개 픽셀은 하나의 리딩 커패시터 FD2를 공용하며, 꼭대기 층의 4 포인트와 저부층의 4 포인트는 하나의 증폭 및 리딩 회로를 공용한다. 도13과의 부동점이라면, 꼭대기 층과 저부층의 리딩 커패시터가 공유되지 않기 때문에 이중면 감광 소자의 제작이 편리하다.
이중면 이중층 감광 소자에 있어서, 꼭대기 층과 저부층의 4개 매크로 픽셀 포인트도 각각 도18에 도시된 바와 같은 이중 FD 브리지식 공유 리딩 회로를 이용할 수 있으며, 이로써 꼭대기 층과 저부층의 리딩 회로로 하여금 상대적으로 독립적이게 하고 또 각각 경행 또는 행 점프 리딩 방식을 이용하여 풀 이미지 촬영 시의 셔터 속도를 향상시킨다.
도21은 도17에 도시된 바와 같은 샘플링 리딩 회로가 풀 이미지 샘플링 시의 격행 리딩(도21(a)) 또는 행 점프 리딩(도21(b)) 방식에 이용되는 도면을 보여준다.
도21(a)의 격행 리딩에 있어서, 제1행(GrRgGrR …) 리딩 시, 제2행(BGBG…)의 값은 제1행의 상응한 위치의 값이 리딩된 후 바로 이미 빈 FD 구역으로 이동된다. 다시 말하면, 제1행의 제N열 픽셀이 리딩될 때, 제2행의 제N-1(또는 N-2 등)개 픽셀은 수직으로 대응되는 FD 구역으로 이동되는 중이다. 제1행을 리딩 종료한 후, 바로 이어 FD에 저장된 제2행의 값을 읽는 것이 아니라, 계속하여 제3행의 픽셀 값을 리딩한다. 마찬가지로, 제3행의 픽셀 값 리딩 시, 제4행의 픽셀 값도 동시에 FD 구역으로 이동된다. 다시 말하면, 모든 짝수 행의 픽셀 값이 순차적으로 FD 캐시 구역으로 이동되고, 홀수 행의 픽셀 값이 모두 리딩될 때까지 진행한다. 마지막으로 순차적으로 한 행 한 행씩 FD 버퍼 내의 짝수 행 내의 픽셀 값을 리딩한다.
도21(b)의 행점 리딩에 있어서, 제1행(GrRgGrR …) 리딩 시, 제2행(BGBG…)의 값은 제1행의 상응한 위치의 값이 리딩된 후 바로 이미 빈 FD 구역으로 이동된다. 다시 말하면, 제1행의 제N열 픽셀이 리딩될 때, 제2행의 제N-1(또는 N-2 등)개 픽셀은 수직으로 대응되는 FD 구역으로 이동되는 중이다. 제1행을 리딩 종료한 후, 바로 이어 FD에 저장된 제3행의 값을 읽는 것이 아니라, 계속하여 제4행의 픽셀 값을 리딩하고, 또 아울러 제3행의 픽셀 값을 FD 구역으로 이동시킨다. 다시 말하면, 행의 리딩은 1,4,5,8, …, 2,3,6,7의 순서에 따라 진행된다. 도21(b)의 장점이라면, 앞 절반 프레임의 이미지는 여전히 Bayer 패턴 배열이기 때문에 빠르게 촬영 순간의 작은 미리보기를 취득할 수 있다.
도21에 도시된 바와 같은 격행 리딩 방식 또는 행 점프 리딩 방식은 종래의 TV 모델 중의 인터리브 스캐닝 방식과는 다르다. 부동점이라면, 캐시 저장(FD) 구역에 저장된 뒤 절반 프레임의 이미지의 감광 시간은 앞 절반 프레임과 거의 일치하기 때문에, 효과 면에서 셔터 속도를 행에 따른 리딩보다 한 배 향상시키나, TV 모델의 인터리브 방식에 의한 홀수 인터리브와 짝수 인터리브 시간이 한 인터리브(반 프레임) 늦은 상황을 피면할 수 있다. 이러한 상황은 한 장을 촬영하는 상황에 적용되고, 연속적인 비피도 촬영에 적용되지 않는다.
격행 리딩 방식 또는 행 점프 리딩 방식을 이용하여 촬영 시의 전자 셔터의 속도를 한 순간에 한 배 향상시키는 것은 아주 유용한 수단이다. 예를 들면, 픽셀 리딩 클럭을 96MHz, 감광칩에 8M 픽셀이 있다고 가정하면, 풀 이미지 촬영 시의 전자 셔터 속도는 (96/8)=12fps 또는 1/12초이다. 하지만 도19에 도시된 바와 같은 격행 리딩 방식 또는 행 점프 리딩 방식을 이용하면 필요한 단일 프레임을 순간적으로 24fps 또는 1/24초로 향상킬 수 있는 바, 속도를 한 배 향상시킬 수 있다. 1/24초의 촬영 셔터 속도 달한다는 것은 핸드폰 촬영 모듈 상의 기계식 셔터를 생략시킬 수 있음을 뜻하나, 1/12초의 촬영 속도는 기계식 셔터가 있어야만 손의 떨림으로 인한 이미지 비틀림을 피면할 수 있다.
도22는 하나의 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정은 우선 상하 두 층의 중복 컬러 픽셀로부터 합병 또는 포기의 방법을 이용하여 단지 컬러 재구성에 필요한 컬러 요소만 남기는 바, 예를 들면, Cy, Mg(B와 R을 합병시키 취득), G 및 Ye.는 제3 합병 과정 후에 다시 도16에 도시된 바와 같은 컬러 공간 전환 수단을 이용하여 인접된 CyYeMgG 4개 픽셀을 하나의 YUV 컬러로 전환시키고, 다시 인접된 UV 요소를 수평 방향 상의 2분 서브 샘플링을 진행하여 YUYV422 이미지를 취득한다. 이 과정에 하나의 2x2의 서브 샘플링을 완성한다. 만일 이미지가 아직 너무 크다면, 컬러 공간 CyYeMgG로부터 YUV로의 전환을 진행하기 전에, 또 제2 합병 과정에 우선 CyYeMgG 동일 컬러의 평균을 진행하고 도면 중의 풀 컬러 샘플링을 이용하지 않을 수 있다.
이러한 이중층 감광 소자는 풀 이미지 샘플링 시, 일부 픽셀을 포기할 수 있고, 또 전부 리딩한 후 후단 프로세서가 어떻게 처리할지를 결정할 수도 있다. 모두 리딩할 때, 데이터 량은 한 배 증가된다. 만일 도18과 도20에 도시된 바와 같은 격행 또는 행 점프 리딩 방식을 이용하면, 촬영 순간의 프레임 속도를 한 배 향상시킬 수 있는 바, 종래의 단일층 감광 소자의 속도와 동일하다.
도22도 이중층 또는 다중층 감광 소자의 서브 샘플링 시의 복잡성과 다양성을 충분하게 보여준다. 이중층 또는 다중층 감광 소자가 매크로 픽셀의 컬러 분포 상에 몇 천 가지 이상의 가능성을 갖고 있기 때문에, 서브 샘플링도 상응하게 더욱 많은 가능성을 가진다. 아래 아주 적은 몇 가지 방법을 예로 들어 본 발명의 기본 사상을 설명하도록 한다.
도23은 다른 한 가지 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정은 픽셀 더하기(또는 평균)을 통하여 우선 CyYeMgB의 매크로 픽셀을 취득한 후, 제3 합병 과정에서 이 네 포인트에 대하여 컬러 변환 관계를 통하여 YUV 컬러를 취득하여 2x2의 서브 샘플링을 구현한다. 컬러 전환 전에, 또 제2 합병 과정에 우선 (신호 평균의 방식에 의하여) CyYeMgB의 매크로 픽셀에 대하여 풀 이미지 샘플링을 진행하지 않고 동일 컬러의 합병을 진행하여 더욱 높은 배수의 서브 샘플링을 취득할 수 있음은 물론이다. 도면 중의 CyYeMgB의 매크로 픽셀은 BRGB의 Bayer 유사 패턴의 매크로 픽셀로 대체할 수 있다. 여기에서는 CyYeMgB로 설명하였지만, CyYeMgB, CyYeMgG, CyYeMgR을 이용하여도 모두 YUV를 취득하거나 RGB를 재구성 할 수 있다. 다시 말하면, CyYeMgG는 단지 CyYeMgX의 한 특례이고, 그 중에서, X는 R, G 또는 B일 수 있다.
도24는 다른 한 가지 이중층 감광 소자의 서브 샘플링 시의 간략화 처리 상황을 보여주는 바, 제1 합병 과정에서는 우선 인접된 픽셀을 수평 방향에 따라 (신호 평균 또는 더하기 방식에 의하여) 합병을 진행한 후, 제2 합병 과정에서 다시 합병된 픽셀을 (신호 평균 또는 더하기, 또는 포기 방식에 의하여) 수직 방향에 따라 합병시킨다. 적합한 시간 순서 제어를 통하여 수평 방향과 수직 방향의 합병을 동시에 완성할 수 있다. 이러한 서브 샘플링 방식은 종래의 서브 샘플링 방식에 비하여 더욱 다양할 뿐 아니라 훨씬 후륭한 신호대 잡음비를 제공한다.
도25는 본 발명의 픽셀 리딩 및 서브 샘플링 회로를 구현하는 한 가지 감광 소자의 원리 시스템 블럭도로서, 본 발명의 여러 가지 기능 모듈의 감광 소자 중의 구현 방법을 설명한다. 이 원리 시스템에는 픽셀 어레이, 행 주소 디코딩 제어기, 열 주소 디코딩 제어기, 샘플링 제어 회로, 증폭 및 아날로그/디지털 전환 모듈, 컬러 변환과 서브 샘플림 및 이미지 처리 모듈, 출력 제어 모듈, 칩 총제어 모듈(도25 중의 CC 모듈) 및 기타 가능한 모듈이 포함된다. 픽셀 리딩 및 서브 샘플링 기능은 행 주소 디코딩 제어기와 열 주소 디코딩 제어기를 통하여 상응한 제어 신호(행 선택 신호 Row[i], 행 제어 벡터 신호 RS[i], 열 선택 신호 Col[j], 열 제어 벡터 신호 T[j], 그 중에서, i과 j는 각각 행 번호와 열 번호에 대응됨)를 생성하여 완성한다. 시스템 기타 모듈의 조화는 주요하게 칩 총제어 모듈에 의하여 완성된다. 제3 합병 과정은 있기만 하면, 컬러 변환 및 서브 샘플링 및 이미지 처리 모듈 중에서 완성된다.
도26는 구체적인 실예(도17에 도시된 바와 같은 감광 픽셀)에 의하여 도25 중의 각 제어 신호(행 선택, 행 제어 벡터, 열 선택, 열 제어 벡터)와 대응되는 감광 픽셀 상의 제어 신호의 관계를 설명한다. 도26은 도17 중의 Gr 픽셀과 B 픽셀의 신호 공유 상황을 보여준다(TG5는 생략됨). 행 선택 신호 Row[i]와 Col[j]는 이미 명확하게 표기되어 있다. 이 회로도에 있어서, 리셋 신호 RS1와 이동 게이트 제어 신호 RS2(TG1 또는 TG3)은 행 제어 신호에 속한다. 유의하여야 할 바로는, RS1은 두 행이 공유하는 것이고, RS2 각 행에 하나씩 있으며(예를 들면, TG1는 RS[i]에 속하나, TG3은 RS[i+1]에 속하며), 도17 중의 TG5(도26에서는 생략됨)는 열 제어 신호 T[j]에 속하는 바, 다시 말하면, 될수록 픽셀에 대하여 단지 행 조작(동일 행의 픽셀은 완전히 동일함)과 열 조작(동일 열의 픽셀은 완전히 동일함)만 진행하고 각 픽셀의 부동한 조작을 진행하지 않아 복잡성을 감소시킨다.
아래의 구체적인 실시 방식에 있어서, 도25와 도26을 참조하여 본 발명의 샘플림과 서브 샘플링 방법에 대하여 상세한 설명을 진행하게 될 것이다.

본 발명의 구체적인 실시방식에 의한 다중 스펙트럼 감광 소자에 있어서 부동한 리딩 및 서브 샘플링 회로는 도25에 도시된 것과 유사한 회로에 의하여 구현될 수 있으며, 복수개 매크로 픽셀이 포함된 픽셀 어레이, 행 주소 디코딩 제어기, 열 주소 디코딩 제어기, 샘플링 제어 회로, 증폭 및 아날로그/디지털 전환 모듈, 컬러 변환과 서브 샘플림 및 이미지 처리 모듈, 출력 제어 모듈, 칩 총제어 모듈(도25 중의 CC 모듈) 및 기타 가능한 모듈이 포함된다.

우선 수요에 의하여 정방 행렬 또는 허니컴 형상에 따라 4 포인트 또는 3 포인트 픽셀을 기반으로 하는 매크로 픽셀을 배열한다. 이러한 픽셀은 피동 픽셀일 수도 있고 주동 픽셀일 수도 있으며, 리딩 캐퍼시터 FD를 구비할 수도 있고, 리딩 커패시터 FD를 구비하지 않을 수도 있다.

상기 내용에서 이미 샘플링 과정을 제1 합병 과정, 제2 합병 과정 및 선택가능한 제3 합병 과정으로 구분하였다. 이 몇 개 과정에 대응되게, 제1 합병 유닛, 제2 합병 유닛 및 제3 합병 유닛을 이용하여 상기 몇 개의 합병 과정을 구현한다. 이 몇 개의 유닛은 단지 구현 기능의 각도에서 소자의 모듈에 대한 구분이고, 물리 소자의 각도에서 보면 이러한 기능 유닛은 물리적인 모듈에 의하여 구현될 수 있고, 또는 다수의 물리적인 모듈의 조합에 의하여 구현될 수 있으며, 또는 이러한 기능을 하나의 물리적인 모듈에 집적시킬 수 있다. 총적으로 말하면, 본 명세서 중의 제1 합병 유닛, 제2 합병 유닛과 제3 합병 유닛에 대한 기재는 단지 기능에 대한 묘사이고 구체적으로 물리적인 구현 방식을 제한하는 것이 아니다.

구체적으로 말하면, 본 예시에 잇어서, 필요한 샘플링 기능을 구현하는 것은 행 주소 디코딩 제어기와 열 주소 디코딩 제어기이다. 행 주소 디코딩 제어기는 두 가지 유형의 신호를 출력하는 바, 행 선택 신호 Row[i](각 행에 한 선)과 행 제어 벡터 신호 RS[i](각 행에 하나 또는 다수의 선)이며, 그 중에서, i는 행 번호이다. 이와 유사하게, 열 주소 디코딩 제어기는 두 가지 유형의 신호를 출력하는 바, 열 선택 신호 Col[i](각 열에 한 선)과 열 제어 벡터 신호 T[i](각 열에 하나 또는 다수의 선)이며, 그 중에서, j는 열 번호이다.

행 선택 신호 Row[i]는 행 선택을 진행하고, 열 선택 신호 Col[j]는 열 선택을 진행한다. 이는 두 그룹의 상대적으로 표준적인 신호이다. 행 제어 벡터 신호 RS[i]는 종래의 CMOS 행 제어 신호의 확장이고(각 행에 한 선으로부터 각 행에 다수의 선으로 확장됨), 열 제어 벡터 신호 T[j]는 일부 CMOS 감광 소자에 아예 없고, 있다 할지라도 한 열에 하나씩 밖에 없다. 도26은 도17의 감광 픽셀을 예로 들어 Row[i], RS[i], Col[j]와 T[j]의 하나의 구체적인 구현 방법을 제시하고 있는 바, 그 중에서, Row[i]는 두 행이 공유하는 것이고, RS에는 두 개의 행 제어 신호 RS1[i](리셋 신호, 마찬가지로 두 행이 공유함)과 RS2[2](전하 이동 제어 신호)가 포함된다.

본 발명에 있어서, 동시에 여러 행이 선택될 수 있고, 또 동시에 여러 열이 선택될 수도 있으며, 내지는 동시에 여러 행과 여러 열이 선택될 수도 있다. 종래의 일부 기술(예를 들면, 미국 특허 US6, 801, 258B1, US6, 693, 670B1, US7, 091, 466B2, US7, 319, 218B2 등)에도 동시에 여러 행과 여러 열이 선택되는 상황이 있을 수 있지만, 합병 샘플링 방식이 부동하기 때문에 행 선택 신호와 열 선택 신호의 시간 순서와 파형은 완전히 다른 것이다. 예를 들면, 도14(a) 중의 합병 샘플링을 진행할 때, 제1행 제1열과 제2행 제2 열이 동시에 선택되고, 이러한 상황은 종래의 서브 샘플링 방법에서 나타날 수 없는 것이다.

RS[i]와 T[j]는 감광 픽셀의 리셋, 제로 클리어링, 감광 시간 제어, 전하 이동, 픽셀 합병과 픽셀 리딩을 제어하는 것이다. 행열의 대칭성으로 인하여, RS[i]와 T[j]는 여러 가지 구체적인 구현 방식이 있다. 도17에 도시된 TG1-TG5, Vb1-Vb4 등 신호, 그리고 도18에 도시된 RS, S와 SF 신호는 모두 RS[i]와 T[j]에 포함되어야 하는 것이다. 본 발명은 이러한 신호의 구체적인 구현 방식의 제한을 받지 않는다.

더욱 구체적으로 말하면, 임의 MxN 요소의 서브 샘플링에 있어서(M≥2, N≥2), 우선 2행 또는 2열 또는 2행과 2열의 합병 샘플링의 제1 합병 샘플링 과정을 진행한 후, 다시 제1 합병 샘플링의 기초 상에서 M행xN열의 서브 샘플링을 진행한다.

제1 합병 샘플링 후의 서브 샘플링(총체적인 MxN 서브 샘플링), 즉 제2 합병 샘플링에 있어서, 하기 여러 가지 방식을 통하여 단독으로 또는 연합하여 완성할 수 있는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식이다. 제3 합병 샘플링 과정은 있다면, 하기 두 가지 방식을 통하여 단독으로 또는 연합하여 완성할 수 있는 바, 즉 컬러 공간 변환 방식과 후단 디지털 이미지 줌 방식이다.

한 픽셀 어레이에 있어서, 아주 많은 감광 픽셀을 포함하며, 특히 이중층 또는 다중층 감광 소자에 있어서, 컬러의 종류와 기하적인 분포 상황은 아주 다양하다. 제1 합병 샘플링 과정도 상응하게 다수의 제1 합병 픽셀에 대응되기 때문에, 제1 합병 샘플링을 진행할 때, 이러한 제1 합병 픽셀은 픽셀의 컬러 합병의 각도에서 보면, 합병에 참여하는 컬러의 선택은 다양한 것으로서, 동일 컬러 합병 방식, 부동 컬러 합병 방식, 혼합 합병 방식(일부 픽셀 컬러가 동일하고, 일부가 부동함)을 이용할 수 있고, 또 선택적으로 불필요한 컬러를 포기할 수 있다.

컬러 공간의 변환에는 RGB로부터 CyYeMgG 공간으로의 변환, CyYeMgG로부터 YUV 공간으로의 변환 및 RGB로부터 YUV 공간으로의 변환이 포함된다.

유의하여야 할 바로는, RGB로부터 CyYeMgG 공간으로의 변환은 아날로그 신호 공간에서 완성될 수 있고, 또 디지털 공간에서 완성될 수도 있기 때문에, 이는 제1 합병 과정, 제2 합병 과정 또는 제3 합병 샘플링 과정 중의 임의 과정에서 완성될 수 있다. 하지만 CyYeMgG로부터 YUV 공간으로의 변환과 RGB로부터 YUV 공간으로의 변환은 단지 디지털 신호 공간에서 완성될 수 있는 바, 즉 제3 합병 과정에서 완성될 수 있다.

더욱 구체적으로 말하면, 픽셀 어레이 부분은 복수개의 정방 행렬로 배열된 3개 또는 4개 기본 픽셀 한 그룹의 매크로 픽셀로 구성된다. 그 중에서, 매크로 픽셀 중의 기본 픽셀은 피동 픽셀로 구성될 수 있고, 또 FD가 구비되지 않은 3T 주동 픽셀로 구성될 수도 있으며, 또 하나의 FD가 구비된 4T 주동 픽셀로 구성될 수도 있다.

만일 매크로 픽셀 중의 기본 픽셀을 FD가 구비된 4T 주동 픽셀을 이용한다면, 그 리딩 회로는 4-포인트 공유 방식(도11), 6-포인트 공유 방식(도12)과 8-포인트 공유 방식(도13)을 이용할 수 있다.

더욱 바람직 하게는, 각 매크로 픽셀은 두 개의 빛이 투과되지 않는 FD를 구비하는 4T 주동 픽셀로 구성되고, 이때 그 리딩 회로는 4-포인트 브리지식 공유 방식(도18)을 이용할 수 있다. 상응하게, 이러한 감광 소자는 제1차 2행 또는 2열, 또는 2행과 2열의 합병 서브 샘플링 시의 컬러 합병을 진행할 때, 전하 더하기 방식을 이용한다. 이러한 매크로 픽셀은 아래의 행에 따른 스캔, 격행 또는 행 점프 리딩 풀 이미지 샘플링 방식을 위하여 가능성을 제공한다.

이중층 또는 다중층 감광 소자에 있어서, 제1 합병 샘플링 과정의 컬러 선택이 더욱 다양할 뿐 아니라, 각 매크로 픽셀이 두 개의 FD를 구비한 4T 주동 픽셀로 구성될 때, 그 리딩 회로는 또 4-포인트 브리지식 공유 방식(도18), 6-포인트 브리지식 공유 방식(도19) 또는 8 포링트 브리지식 공유 방식(도20)을 이용할 수 있다. 상응하게, 이러한 감광 소자는 제1차 2행 또는 2열, 또는 2행과 2열의 합병 서브 샘플링 시의 컬러 합병을 진행할 때, 전하 더하기 방식을 이용한다.

유의하여야 할 바로는, N개의 신호가 전하 더하기 방식을 이용하여 합병될 때, 신호대 잡음비의 개선 상한은 N배이고, N개 신호가 신호 평균의 방식을 이용하여 합병될 때, 신호대 잡음비의 개선 상한은 N

배이다. 그리고, 이러한 네 개 점이 두 개의 FD를 공유하는(또는 두 행의 픽셀이 한 행의 FD를 공유하는) 감광 소자는 풀 이미지 샘플링을 진행할 때, 정상적인 행에 따른 스캔, 행에 따른 리딩 외, 또 행에 따른 스캔, 격행 리딩의 방식을 이용할 수도 있다.

예를 들면, 풀 이미지 샘플링을 진행할 때, 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 취득한 이미지 구역의 요구에 의하여, 순차적으로 우선 행에 따라 Row[i]와 RS[i] 값을 소자의 요구에 의하여 높거나 낮게 설정하고, 또 이어 순차적으로 Col[j]와 T[j]의 값을 높거나 낮게 설정하여, 필요한 픽셀(전하/전압) 값이 (리딩/라이팅 회로를 거쳐) 리딩 순서에 따라 출력 버스 상에 출력되도록 한다.

서브 샘플링 시, 각 지원하는 MxN 샘플링 요소(행이 M배 축소, 열이 N배 축소)에 대하여 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 MxN 샘플링 요소와 이미지 구역 요구에 의하여, 각 출력 행과 대응되게 동시에 합병하여야 하는 행에 대응되는 모든 Row[i]와 RS[i] 값을 높거나 낮게 설정하고, 또 이어 각 출력 열에 대응되게 동시에 합병하여야 하는 열의 열의 모든 Col[j]와 T[j]의 값을 높거나 낮게 설정하여, 합병하여야 하는 픽셀(전하/전압) 값이 동시에 (리딩/라이팅 회로를 거쳐) 리딩 순서에 따라 출력 버스 상에 출력되도록 한다. 아울러, 필요 시 행 주소 디코딩 제어기와 열 주소 디코딩 제어기는 또 MxN 샘플링 요소와 이미지 구역 요구에 의하여 필요한 행 스킵과 열 스킵의 조작을 진행할 것이다.

부동한 MxN 샘플링 요소는 출력 버스 상에서 부동한 시간에 부동한 컬러를 취득할 수 있다. 상응하게, 기타 시스템 기능 모듈, 예를 들면, 증폭 및 아날르고/디지털 전환 모듈, 컬러 변환과 서브 샘플잉 및 이미지 처리 모듈, 그리고 출력 제어 모듈은 모두 상응한 조화 작업이 필요하다. 이 시스템의 전반적인 제어는 칩 총제어 모듈(도25 중의 CC 모듈)을 통하여 완성할 수 있다. 유의하여야 할 바로는, 증폭 및 아날로그/디지털 모듈과 픽셀 어레이 외, 기타 모듈은 모두 주요하게 디지털 처리 회로이기 때문에 비교적 쉽게 소자 외부에서 구현할 수 있으므로, 감광 소자의 배선은 상대적으로 간단한다.

아래, 도17에 도시된 감광 픽셀의 도26에 도시된 리딩 회로 구현 방법 및 도25에 도시된 감광 소자의 기타 모듈을 결합시켜 더욱 구체적인 신호 제어 흐름에 대하여 설명하도록 한다.

우선, 제로 클리어링과 감광 제어를 진행하는 바, 한 가지 간단한 제로 클리어링 제어는 Vb1과 Vb2를 전부 0으로 설정하는 것으로서, 이는 Vb1과 Vb2이 행 제어 벡터의 한 신호로 되어야 한다. 다른 한 가지 방법은 우선 FD1과 FD2를 리셋시키고(도26 중의 RS1dmf 0으로 설정), 또 동시에 TG1과 TG2를 온 시켜(도26 중의 RS2를 높게 설정) 감광 픽셀 Gr과 R 중의 전하를 제거한다. 그 후, RS1을 높게 설정하고, RS2를 0으로 설정한다. 그 후, 빛의 조사하에서 Gr과 R의 포토다이오드가 전하의 누적을 시작한다.

Gr 중의 전하를 읽고자할 때 세 가지 방법이 있다. 첫 번째 방법은 직접 TG1/RS2와 Row[i]를 온 시켜 Gr 중의 전하를 FD1 중으로 이동시키고, 또 그로부터 (전하로부터 전압의 전환을 통하여) Gr 중의 전하 값을 리딩하는 것이다. 두 번째 방법은 첫 번째 방법의 마지막 단계에서 Gr 중의 전하 값을 리딩한 후, 다시 FD1을 리셋시키고 또 FD1의 리셋 상태 하의 전하(전압)을 읽어들여 방금 리딩한 Gr의 전하 값에 대하여 관련 샘플링을 진행한다. 세 번째 방법은 Gr 중의 전하 값을 리딩하기 전에, 우선 FD1에 대하여 리셋 샘플링을 진행하는 바, 이러한 방법은 Gr 중의 값을 간섭하기 대문에 위의 두 가지 방법보다 못하다. 이때, 열 주소 디코딩 제어기는 반드시 Gr에 대응되는 열 선택 신호 Col[j]를 온시켜야 하는 바, 이로써 Gr에 대한 측정(2회일 수 있는 바, 그 중의 한 번은 리셋 상태 하의 측정)을 증폭 및 아날로그/디지털 전환 모듈로 출력한다.

Row[i], Col[j]와 RS2[i]의 값에 의하여 칩 총제어 모듈 CC는 리딩하고 있는 픽셀의 컬러를 산출해낼 수 있고 또 이에 대하여 상응한 처리를 진행할 수 있다. 부동한 컬러는 부동한 증폭 회로로 진입합고 또 부동한 아날로그/디티널 전환 처리를 진행하여 디지털 신호를 취득할 수 있다.

감광 픽셀의 디지털 신호는 캐시에 저장되고, 컬러 변환과 서브 샘플링 및 이미지 처리 모듈에 의하여 진일보 처리된다. 풀 이미지 샘플링 상황 하에서, 서브 샘플링을 진행하지 않고, 대형 어레이 이미지 감광 소자에 대해서도 일반적으로 아무런 컬러 변환도 진행하지 않는다. 그러므로 이 모두 하에서, 칩 총제어 모듈 CC는 상응한 제어를 진행하여 감광 픽셀의 디지털 신호로 하여금 컬러 변환 및 서브 샘플링 모듈을 스킵하여 직접 이미치 처리 모듈로 진입하도록 한다. 감광 소자 내의 이미지 처리를 거친 후, 다시 출력 모듈이 감광 소자의 대외 인터페이스로 출력한다.

풀 이미지 샘플링일 시, 유의하여야 할 바로는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식이다. 이 상황 하에서, 홀수 행과 짝수행의 리셋 제로 클리어링과 감광 시간 제어는 동시에 진행된다. 격행 리딩 시, 짝수 행(제1행)의 픽셀이 전부 리딩된 후, 행 주소 디코딩 제어기는 바로 다음 행을 리딩하는 것이 아니라 우선 뒤의 홀수 행(제2행)을 FD와 짝수 행이 공용하는 FD로 이동시킨 후 다시 제2행의 리딩을 시작한다. 행 점프 리딩 시, 만일 제1행의 번호가 0부터 시작된다면, 앞 절반 프레임의 리딩 순서는 0, 3, 4, 7, 8, 11, 12, 15…이고, 뒤 절반 프레임의 리딩 순서는 1, 2, 5, 6, 9, 10, 13, 14…이다. 더욱 복잡한 순서가 있을 수 있음은 물론이다. 중간에서 앞 절반 프레임 리딩 시, 중간에 점프된 행은 우선 이미 1회 사용된 FD에 잠시 저장되었다가 다음 절반 프레임 리딩 시 리딩된다.

행에 따른 스캔, 격행 또는 행 점프 리딩 방식과 종래의 TV의 인터리브 스캐닝 방식과의 부동점이라면, 본 발명의 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 있어서, 픽셀 감광 순서는 모두 행에 따라 진행되나, 인터리브 스캐닝 방식은 아니다.

서브 샘플링 시, 상황은 훨씬 복잡하다. 구체적인 감광 소자에 있어서, 서브 샘플링 요소 MxN은 단지 적은 수의 몇 가지를 지원한다. 상응하게, 칩 총제어 모듈 CC, 행 주소 디코딩 제어기 및 열 주소 디코딩 제어기는 단지 지원하는 MxN 서브 샘플링 요소만 고려할 수 있다. 예를 들면, 5만 픽셀의 감광 소자에 있어서, 단지 2x2, 2x1, 4x4, 8x8을 지원하는 네 가지 상황만 고려할 수 있다.

제2 합병 샘플링 과정은 일반적으로 전하 더하기와 연관되지 않기 때문에, 일반적으로 하기 세 가지 방식, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식, 순차적 샘플링 방식이다. 이 세 가지 방식은 모두 아주 전통적이고 간단한 것으로서, 당업계 통상의 지식을 가진 자들에게 익숙한 것이기 때문에 여기에서는 상세한 설명을 생략하도록 한다. 제3 합병 샘플링 과정은 디지털 이미지 공간에서 완성되는 것으로서, 상대적으로 표준적인 디지털 이미지 줌 기술을 이용한다. 아래, 단지 제1 합병 샘플링 과정의 신호 제어 과정에 대하여 상세한 설명을 진행하여 본 발명의 사용 방법에 대하여 더욱 깊은 이해를 갖도록 한다.

도17에 도시된 매크로 픽셀은 제1 합병 과정에 있어서, 두 가지 합병 방식이 있을 수 있는 바, 첫 번째 방식은 Gr가 B가 합병되고, R과 Gb가 합병되는 것이며; 두 번째 방식은 Gr과 Gb가 합병되고, R과 B가 합병되는 것이다.

제1 합병 방식에 있어서, 시간 순서에 따라 하기 단계가 포함된다.

1. t0 시각: 행 주소 디코딩 제어기가 도26에 도시된 FD1에 대응되는 RS1를 0으로 설정(리셋)한다.

2. t1 시각: TG1과 TG3(RS2[i]와 RS2[i+1])를 온 시키고, Gr과 B 포토다이오드(PD)의 전하를 동시에 FD1로 이동시킨다. 이때, RS1은 높게 설정될 수 있다.

3. t2 시각: 그 후 행 선택 Row[i]와 열 선택 Col[j](Gr이 제i행 제j열에 위치한다고 가정)를 온 시켜 FD1 중의 전하(전압 값)을 출력 버스 상에 출력시킨다.

4. t3 시각: FD1 중의 0 값을 리딩하여 관련 샘플링을 진행한다.

앞 두 단계의 조작은 동시에 제i과 제i+1행의 모든 픽셀에 대하여 진행할 수 있고, 제3과 제4 단계는 합병 후의 픽셀에 대하여 순차적으로 리딩할 수 있다. 그러므로, 관련 샘플링을 진행하지 않는다면 평균 하나의 클럭 펄스에 하나의 픽셀을 리딩할 수 있고, 만일 관련 샘플링을 진행하면 평균 두 클럭 펄스에 하나의 픽셀을 리딩할 수 있다. 이는 픽셀 위치 우선순위에 의하여 진행되는 것이다. 이러한 합병 방식은 하기 컬러 우선순위에 따라 진행할 수 있다.

두 번째 합병 방식에 대하여 시간 순서 상황은 훨신 복잡하다. 때로는 두 가지 처리 방식이 있다. 첫 번째 처리 방식은 컬러 우선순위에 따라 진행하는 것으로서, 우선 전반 행의 Gr과 Gb 합병을 진행하여 샘플링을 완성한 후, 다시 B와 R의 합병 샘플링을 진행하거나 또는 반대 순서로 진행한다. 이러한 방식은 비교적 간단하며, 신호를 제어하는 시간 순서는 하기와 같다.

5. t0 시각: 행 주소 디코딩 제어기가 도 17과 도26에 도시된 FD1와 FD2에 대응되는 RS1를 0으로 설정(리셋)한다.

6. t1 시각: TG1과 TG4(RS2[i]와 RS2[i+1])를 온 시키고, Gr과 Gb 포토다이오드(PD)의 전하를 동시에 각각 FD1과 FD2로 이동시킨다. 이때, RS1은 높게 설정될 수 있다.

7. t2 시각: TG5를 온 시키고, FD2 중의 전하를 FD1로 이동시킨다.

8. t3 시각: 그 후 행 선택 Row[i]와 열 선택 Col[j](Gr이 제i행 제j열에 위치한다고 가정)를 온 시켜 FD1 중의 전하(전압 값)을 출력 버스 상에 출력시킨다.

9. t4 시각: FD1 중의 0 값을 리딩하여 관련 샘플링을 진행한다.

앞 세 단계의 조작은 동시에 제i과 제i+1행의 모든 Gr과 Gb 픽셀에 대하여 진행할 수 있고, 제3과 제4 단계는 합병 후의 픽셀에 대하여 순차적으로 리딩할 수 있다. 그러므로, 관련 샘플링을 진행하지 않는다면 평균 하나의 클럭 펄스에 하나의 픽셀을 리딩할 수 있고, 만일 관련 샘플링을 진행하면 평균 두 클럭 펄스에 하나의 픽셀을 리딩할 수 있다. 이러한 리딩 방식은 픽셀의 위치에 따른 자연적인 순서를 파괴하기 때문에, 후단에서 처리하여 교정하여야 한다. 일치성을 유지하기 위하여, 제1 합병 방식도 컬러 우선순위 방식으로 진행할 수 있다.

두 번째 처리 방식은 위치 우선순위에 따라 진행하는 것으로서, 우선 첫 번째 Gr과 Gb 합병을 진행하여 샘플링을 완성한 후, 다시 첫 번째 B와 R의 합병 샘플링을 진행하거나 또는 반대 순서로 진행한다. 이러한 방식의 신호를 제어하는 시간 순서는 첫 번째 처리 방식과 유사하나, 픽셀 사이에는 단지 직렬 처리만 가능하고 병행 처리를 진행할 수 없다. 다시 말하면, 첫 번째 합병 픽셀을 처리하는 t0-t5 시각에 두 번째 합병 픽셀을 처리할 수 없다. 이는 비교적 높은 시스템 클럭을 필요로 한다. 다행스러운 것은 샘플링을 진행한 후, 픽셀의 수량이 크게 감소되기 때문에 시스템 클럭 주파수는 너무 높지 않다.

본 발명의 바람직한 회로 구변 방법에 있어서, 서브 샘플링을 진행할 때, 관련 샘플링 작용이 크기 않기 때문에 생략할 수 있다. 그러므로, 상기 시간 순서는 훨씬 간단하다.

선택된 픽셀 샘플링 순서에 대하여, 칩 총제어 모듈 CC는 상응하게 증폭 및 아날로그/디지털 모듈, 컬러 변환과 서브 샘플링 및 이미지 처리 모듈, 그리고 출력 제어 모듈을 제어하여 부동한 컬러에 대하여 부동한 처리를 진행한다. 더욱 상세한 설명은 본 발명의 범위를 초과한 것이다.

종래의 샘플링 방식은 주요하게 동일 컬러의 픽셀 사이에 진행되고, 주요하게 픽셀 평균과 행 스킵 또는 열 스킵의 방식을 이용한다. 이러한 방법은 다양한 이중층 또는 다중층 감광 소자에 있어서, 더무 제한적이다. 본 발명에서 제공하는 서브 샘플링 방법은 컬러 공간 변환 방식을 통하여 동일 컬러 사이에 진행할 수도 있고, 부동한 컬러 사이에 진행할 수도 있으며, 또 혼합으로 진행할수도 있다(즉 일부는 동일 컬러 사이에서 진행하고, 일부는 부동 컬러 사이에서 진행). 그리고, 본 발명에서 제공하는 전하 더하기 신호 합병 방식은 n개의 신호를 합병하기만 하면 n³에 가까운 신호를 더한 효과를 거둘 수 있다. 그러므로, 본 발명의 서브 샘플링 방법은 종래의 서브 샘플링 방법에 비하여 더욱 훌륭한 이미지 품질을 가질 수 있고, 특히 본 발명을 이중층 또는 다중층 감광 소자에 이용할 때, 부지기수의 간단하고 훌륭한 서브 샘플링 방식을 생성할 수 있다.

상기 내용은 단지 단일층과 이중층 감광 소자와 소수 3T/4T 주동 픽셀을 예로 본 발명의 기본 사상과 내용을 설명한 것이다. 이러한 구체적인 조건은 본 발명에 대한 제한이 아니다. 이와 반대로, 본 발명을 더욱 복잡한 디자인, 예를 들면, 5T/6T 주동 픽셀 또는 다중층 감광 소자에 이용하면 효과는 더욱 선명할 수 있다.

Claims (23)

1. 다중 스펙트럼 감광 소자에 있어서,
   행과 열로 배열되는 픽셀 어레이;
   상기 픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합병 유닛 ― 상기 합병 샘플링은 적어도 부동한 컬러 픽셀들의 합병을 포함함 ―; 및
   제1 합병 유닛이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 유닛
   을 포함하고,
   상기 제1 합병 유닛 또는 제2 합병 유닛의 픽셀 합병 방식은 동일하거나 부동한 컬러 픽셀 사이의 전하 누적 방식 또는 두 개의 부동한 컬러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 컬러 픽셀 사이의 픽셀 합병 방식(전하 누적 방식 또는 신호 평균 방식 포함)은 컬러 공간 변환의 방식을 따르는,
   다중 스펙트럼 감광 소자.
2. 제 1 항에 있어서,
   제2 합병 유닛이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 유닛을 더 포함하는,
   다중 스펙트럼 감광 소자.
3. 삭제
4. 제 1 항 또는 제 2 항에 있어서,
   상기 전하 누적 방식은 리딩 커패시터(FD) 중에서 완성되는,
   다중 스펙트럼 감광 소자.
5. 제 1 항 또는 제 2 항에 있어서,
   상기 제1 합병 유닛 또는 제2 합병 유닛의 컬러를 기반으로 하는 합병 샘플링 방식에는 동일 컬러 합병 방식, 다른 컬러 합병 방식, 혼합 합병 방식 또는 불필요한 컬러 선택적 포기 합병 방식이 포함되고, 또한 제1 합병 유닛과 제2 합병 유닛이 이용하는 합병 샘플링 방식은 동시에 동일 컬러 합병 방식이 아닌,
   다중 스펙트럼 감광 소자.
6. 제 1 항 또는 제 2 항에 있어서,
   상기 제1 합병 유닛 또는 제2 합병 유닛의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식인,
   다중 스펙트럼 감광 소자.
7. 제 2 항에 있어서,
   상기 제3 합병 유닛의 합병 샘플링 방식은 컬러 공간 변환 방식과 후단 디지털 이미지 줌 방식 중의 적어도 한 가지이고,
   상기 컬러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R, G, B 어느 한 가지인,
   다중 스펙트럼 감광 소자.
8. 제 1 항 또는 제 2 항에 있어서,
   상기 픽셀 어레이는 복수 개의 적어도 하나의 기본 픽셀을 포함하는 매크로 픽셀로 구성되고, 그 중에서, 기본 픽셀은 피동 픽셀 또는 주동 픽셀인,
   다중 스펙트럼 감광 소자.
9. 제 8 항에 있어서,
   상기 매크로 픽셀 중의 기본 픽셀은 정방 행렬 또는 허니컴에 따라 배열되는,
   다중 스펙트럼 감광 소자.
10. 제 8 항에 있어서,
    상기 매크로 픽셀의 구성 방식에는 하기 구성 방식 중의 적어도 한 가지가 포함되는 바, 즉 리딩 커패시터(FD)를 구비하지 않는 3T 주동 픽셀 구성 방식, 하나의 리딩 커패시터(FD)를 구비하는 4T 주동 픽셀 구성 방식인,
    다중 스펙트럼 감광 소자.
11. 제 10 항에 있어서,
    각 매크로 픽셀에 하나의 리딩 커패시터가 구비된 4T 주동 픽셀은 4 포인트 공유 방식, 6 포인트 공유 방식 또는 8 포인트 공유 방식을 이용하는,
    다중 스펙트럼 감광 소자.
12. 제 8 항에 있어서,
    상기 매크로 픽셀은 또한 하기 구성 방식을 포함할 수 있는 바, 즉 4 개의 정방 행렬로 배열된 픽셀과 두 개의 두 행 사이에 위치하는 빛이 투과되지 않는 리딩 커패시터로 구성되고, 위 행의 픽셀과 아래 행의 픽셀이 공동으로 하나의 리딩 커패시터를 사용하며, 두 개의 리딩 커패시터 사이에서는 전하 이동을 구현할 수 있고 또 적어도 하나의 리딩 커패시터 상에는 리딩 회로가 연결되는,
    다중 스펙트럼 감광 소자.
13. 제 8 항에 있어서,
    상기 매크로 픽셀은 2 포인트 공유, 3 포인트 공유 또는 4 포인트 공유 리딩 커패시터를 구비하는 3T 또는 4T 주동 픽셀의 기본 픽셀로 구성되고, 4 포인트 브리지식 공유 방식, 6 포인트 브리지식 공유 방식 또는 8 포인트 브리지식 공유 방식을 이용하는,
    다중 스펙트럼 감광 소자.
14. 다중 스펙트럼 감광소자의 샘플링 방법에 있어서,
    픽셀 어레이 중의 인접된 동일 행 다른 열, 다른 행 동일 열, 또는 다른 행 다른 열의 픽셀 사이에서 두 개씩 합병 샘플링을 진행하여 제1 합병 픽셀의 샘플링 데이터를 취득하는 제1 합병 과정 ― 상기 합병 샘플링은 적어도 부동한 컬러 픽셀들의 합병을 포함함 ―; 및
    제1 합병 과정이 취득한 제1 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제2 합병 픽셀의 샘플링 데이터를 취득하는 제2 합병 과정
    을 포함하고,
    상기 제1 합병 과정 또는 제2 합병 과정의 픽셀 합병 샘플링 방식은 동일하거나 부동한 컬러 픽셀 사이의 전하 더하기 방식 또는 부동한 컬러 픽셀 사이의 신호 평균 방식으로서, 그 중에서, 부동한 컬러 픽셀 사이의 픽셀 합병 방식(전하 더하기 방식 또는 신호 평균 방식 포함)은 컬러 공간 변환의 방식을 따르는,
    다중 스펙트럼 감광 소자의 샘플링 방법.
15. 제 14 항에 있어서,
    제2 합병 과정이 취득한 제2 합병 픽셀의 샘플링 데이터에 대하여 합병 샘플링을 진행하여 제3 합병 픽셀의 샘플링 데이터를 취득하는 제3 합병 과정이 포함되는,
    다중 스펙트럼 감광 소자의 샘플링 방법.
16. 삭제
17. 제 14 항에 있어서,
    상기 제1 합병 과정 또는 제2 합병 과정의 컬러를 기반으로 하는 합병 샘플링 방식에는 동일 컬러 합병 방식, 다른 컬러 합병 방식, 혼합 합병 방식 또는 불필요한 컬러 선택적 포기 합병 방식이 포함되고, 또한 제1 합병 과정과 제2 합병 과정 중의 적어도 하나의 합병 과정은 동일 컬러 합병 방식이 아닌,
    다중 스펙트럼 감광 소자의 샘플링 방법.
18. 제 14 항에 있어서,
    상기 제1 합병 과정 또는 제2 합병 과정의 위치를 기반으로 하는 합병 샘플링 방식에는 하기 몇 가지 방식 중의 적어도 한 가지를 포함하는 바, 즉 직접 버스로 출력하는 신호 자동 평균 방식, 행 스킵 또는 열 스킵 방식 및 순차적 샘플링 방식인,
    다중 스펙트럼 감광 소자의 샘플링 방법.
19. 제 15 항에 있어서,
    상기 제3 합병 샘플링 과정에 진행하는 합병 샘플링 방식에는 컬러 공간 변환 방식, 후단 디지털 이미지 줌 방식이 포함되고,
    상기 컬러 공간 변환에는 RGB로부터 CyYeMgX 공간으로의 변환, RGB로부터 YUV 공간으로의 변환 또는 CyYeMgX로부터 YUV 공간으로의 변환이 포함되고, 그 중에서, X는 R, G, B 어느 한 가지인,
    다중 스펙트럼 감광 소자의 샘플링 방법.
20. 제 14 항, 제 15 항 및 제 17 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 다중 스펙트럼 감광 소자의 풀 이미지 샘플링 방식에는 행에 따른 스캔, 행에 따른 리딩 방식 또는 행에 따른 스캔, 격행 또는 행 점프 리딩 방식에 포함되는,
    다중 스펙트럼 감광 소자의 샘플링 방법.
21. 삭제
22. 삭제
23. 삭제

Images