KR100477318B1 - 이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로 - Google Patents

이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로 Download PDF

Info

Publication number
KR100477318B1
KR100477318B1 KR10-2001-7014183A KR20017014183A KR100477318B1 KR 100477318 B1 KR100477318 B1 KR 100477318B1 KR 20017014183 A KR20017014183 A KR 20017014183A KR 100477318 B1 KR100477318 B1 KR 100477318B1
Authority
KR
South Korea
Prior art keywords
photocell
analog
output
sample
hold amplifier
Prior art date
Application number
KR10-2001-7014183A
Other languages
English (en)
Other versions
KR20020008176A (ko
Inventor
매티슨필립이.
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20020008176A publication Critical patent/KR20020008176A/ko
Application granted granted Critical
Publication of KR100477318B1 publication Critical patent/KR100477318B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

아날로그 신호로서 그것에 입사되는 광 에너지를 포착하기에 적합한 아날로그 포토셀, 상기 포토셀에 연결되며 상기 아날로그 신호를 저장하기에 적합한 샘플-홀드 증폭기, 및 상기 증폭기에 연결되어 상기 아날로그 신호를 디지털 값 - 여기서, 상기 디지털 값은 광 에너지의 양에 비례함 - 으로 변환하기 위한 변환기를 포함하는 장치가 개시되어 있다.

Description

이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를 위한 방법 및 회로{METHODS AND CIRCUITS FOR INTRINSIC PROCESSING OF IMAGE DATA WITHIN IMAGE SENSING DEVICES}
본 발명은 일반적으로 이미지 처리 분야에 관한 것으로서, 특히 이미지 또는 동화상(motion video) 압축에 관한 것이다.
현재의 기술 수준에서, 하나의 장면(scene)에 나타나는 광의 칼라 및/또는 세기에 비례하는 전기 신호에 의해 환경(environment) 또는 장면을 표현하는 이미지 포착(capture) 장치는 종종 CCD(charge coupled device) 기술을 이용하여 제조 및 설계된다. CCD 이미지 포착 장치는 장면으로부터 포토셀(photocells)에 충돌하는 입사광(incident light)에 관련된 전기 신호를 생성하기 위해 소형 포토셀을 이용한다. 이미징 장치는 장면 상에 포커싱되는 전체를 통한 일련의 신호가 포착되어 저장될 수 있도록 하는 포토셀들의 2차원 어레이를 포함한다. 최근에는, 종종 저가이고 덜 복잡하지만 CCD 장치와 동일한 종류의 출력 신호를 제공하는 기능을 하는 CMOS(Complementary Metal Oxide Semiconductor) 이미징 장치가 개발되었다. 일반적인 이미징 장치의 예로는 스캐너, 동화상 카메라 및 디지털 스틸 카메라가 있다.
이들 이미징 장치의 대부분은 그것이 CMOS 기술에 기반을 두고 있든지 또는CCD 기술에 기반을 두고 있는지 간에, NTSC(National Television System Committee)로서 알려진 전송 표준에 따르도록 설계된다. NTSC의 한가지 나쁜 점은 이미지가 (이미징 장치 어레이의) 연속적인 스캔 로우(rows)로 전송되는 것이 아니라, 홀수 로우들이 짝수 로우와 분리되어 전송되어야 한다는 것이다. 이와 같이 홀수 로우와 짝수 로우를 분리하는 프로세스를 일반적으로 비월주사로 부른다. NTSC 신호는 아날로그 전압 레벨로서 인코딩된 광 세기 정보와 칼라 반송파 주파수의 위상 및 진폭으로 인코딩된 칼라 정보 등을 갖고 있다. NTSC 신호가 이미지 처리를 위해 컴퓨터 시스템으로 전송되면, 컴퓨터 시스템은 아날로그 인코딩된 정보를 전송된 이미지에 대한 휘도(luminance) 및 색도(chrominance) 디지털 값으로 변환하기 위해 신호 변환기(converter)를 이용한다. 이미지의 디지털 방식의 표현을 위해 가장 일반적으로 사용되는 휘도-색도 포맷은 YCrCb(CCIR 601 칼라 스페이스로서 불리는 디지털 칼라 시스템)로서 알려져 있다. NTSC로부터 YCrCb로의 변환은 대부분의 상업적으로 입수가능한 마이크로프로세서의 직렬 처리 특징으로 인해 자연적으로 직렬 방식이 된다. 후속의 이미지 처리도 역시 직렬로 수행된다. 직렬 데이터 처리에 대한 잘 알려진 예외로서, SIMD(Single Instruction Multiple Data) 처리를 이용하는 프로세서에 기반한 인텔사의 MMX(상표)가 있다. 이미징 장치와 함께 이러한 프로세서의 이용을 보완하기 위해서는, 디지털 값을 포착하기 위해 셀의 병렬 처리가 이용되는 것이 유익하다. 또한, 디지털 포토셀의 실질적인 응용에서의 중요한 요소는 아날로그 포토셀 부분의 적분 시간(integration time)이 비교적으로 길어, 상대적으로 느리지만 간단한 디지털화 방법을 이용할 수 있도록 한다는 것이다. 픽셀당 차분 계산(per-pixel difference calculations)(원래의 값이 아닌 픽셀 및/또는 프레임 사이의 차분이 인코딩된 경우)과 같은 소정의 고유적으로 직렬방식의 연산을 포함하는 동화상에 있어서, 이러한 계산이 엄밀하게 말해 호스트 프로세서를 통하는 것이 아니라 이미징 장치 상에서 수행될 수 있도록 하는 아키텍처를 구현하는 것이 유익하다.
본 발명의 방법 및 장치의 특징 및 장점은 다음의 설명으로부터 명백해질 것이다.
도1은 본 발명에 사용되는 디지털 포토셀을 도시한 도면.
도2는 종래의 직렬 이미징 장치의 개략적인 블록도.
도3은 더욱 효율적인 이미지 차분표현(differencing)을 위한 아키텍처를 도시한 도면.
도4는 본 발명의 일실시예를 도시한 도면.
도5는 본 발명의 일실시예에 따른 픽셀당 아날로그 차분 엔진을 도시한 도면.
도6은 본 발명의 일실시예에 따른 픽셀당 디지털 차분 엔진을 도시한 도면.
발명의 요약
아날로그 신호로서 그것에 입사되는 광 에너지를 포착하기에 적합한 아날로그 포토셀, 상기 포토셀에 연결되며 상기 아날로그 신호를 저장하기에 적합한 샘플-홀드 증폭기, 및 상기 증폭기에 연결되어 상기 아날로그 신호를 디지털 값 - 여기서, 상기 디지털 값은 광 에너지의 양에 비례함 - 으로 변환하기 위한 디지털 변환기를 포함하는 장치가 개시되어 있다.
본 발명의 한 양태는 장면(scene)을 포착하기 위해 이미징 어레이에 사용되는 각각의 포토셀을 강화시키는(enhancing) 것을 포함한다. 순수 아날로그 포토셀을 이용하는 것이 아니라, CMOS 기술로 제조된 장치에서 아날로그와 디지털 시그널링의 조합을 이용하는 것이 유익할 수 있다. 본 발명의 일실시예에 따르면, 디지털 포토셀을 만들기 위한 변환 회로와 함께 아날로그 포토셀이 삽입될 수 있다. 디지털 포토셀은 입사광에 의해 생성되는 아날로그 신호를 디지털 코드로 변환시켜, 그것이 디지털 도메인에서 이미지 처리될 수 있도록 한다. 도6에 도시된 바와 같이, 이러한 디지털 포토셀의 어레이가 이미징 장치에서 디지털 이미지 처리 시스템을 구현하기 위해 사용될 수 있다.
도1은 본 발명에 사용되는 디지털 포토셀을 도시하고 있다. 아날로그 포토셀(110)은 이미징되는 장면으로부터 그것에 입사되는 광 에너지를 포착한다. 아날로그 포토셀(110)은 대기(ambient) 광 조건에 따라 변화되는 적분 시간 T에 따라 동작한다. 적분 시간은 포토셀을 포화시키는데 필요한 기간보다 적다. 포토셀에서 누적되는 전하는 샘플-홀드 증폭기(sample and hold amplifier)(120)로 입력된다. 포토셀이 그 전하를 방전할 때, 카운터(140)는 리셋되어, 그 다음 적분 주기를 카운팅하기 시작한다. 카운터(140)는 전압 제어 발진기(VCO)(130)에 의해 구동된다. VCO(140)는 샘플-홀드 증폭기(120)에 저장되어 있던 이전에 획득한 전하에 의해 설정되는 입력 레벨을 갖는다. VCO(130)는 카운터(140)가 증가되는 속도를 제어한다. 아날로그 포토셀에서의 광 세기가 클수록, VCO(130)에 의해 카운터(140)가 더욱 빠르게 구동되게 된다. 특정 전하에 대한 적분 주기 동안에, 카운터(140)는 카운트-업되고, 리셋 이전에 그 값이 레지스터(150)로 보내진다. 카운터(140)의 최종 값이 되는 레지스터(150) 내의 디지털 값은 이전의 적분 주기에서 픽셀의 세기 값을 반영한다. 동화상 시스템에 있어서, 레지스터(150)는 이미징에서의 한 "프레임"의 픽셀을 포함한다. 다음 프레임을 나타내는 광전 전하(photoelectric charge)는 카운터(140)가 다음 프레임을 나타내는 디지털 값을 생성하고 있는 동안에 샘플-홀드 증폭기 회로(120)에 있게 된다. 레지스터(150)는 픽셀 값을 그것이 이미지의 일부로서 출력되거나 또는 다른 처리를 위해 출력될 때까지 홀드하게 된다. 이미징 장치 픽셀 어레이를 구성하는 각각의 디지털 포토셀도 동일한 타이밍 및 제어 시퀀스를 이용하여 조정될 수 있으며, 그 이유는 포토셀들이 병렬로 동작하여 완전한 프레임을 주기적으로 출력하기 때문이다.
카운터의 동적 범위(dynamic range)가 포토셀의 동적 범위와 정합하도록 보장하기 위해, 샘플-홀드 증폭기는 VCO(120)로의 입력을 적절하게 스케일링하도록 장착될 수 있다. 포착되고 있는 장면에서의 서로 다른 대기 광 레벨로 인해 동적 범위가 부정합될 수도 있다. 장면의 대기 광 내의 전하로부터 초래될 수 있는 적분 주기의 분산(variance)은 포착된 이미지가 적절한 콘트라스트(contrast)를 갖도록 보장한다. VCO(120)의 동적 범위를 아날로그 포토셀에 정합하도록 조정하기 위해, 각 디지털 포토셀의 샘플-홀드 증폭기에 전역 스케일링 전압(global scaling voltage)이 인가될 수 있으며, 이것은 각 포토셀 내의 VCO 요소를 현재의 대기 광 조건과 일치하는 동적 범위를 갖도록 균일하게 적응시킨다. 도1의 강화된 디지털 포토셀은 직렬 이미징 장치에 이용되거나 또는 병렬 이미지 처리 아키텍처에 사용될 수 있다.
도2는 종래의 직렬 이미징 장치의 개략적인 블록도이다. 전술한 바와 같이, MPEG와 같은 동화상 압축은 이미지 데이터의 연속적인 프레임을 인코딩하기 위해 차분표현법(differencing approach)을 이용한다. 2개의 프레임이 완전하게 포착되거나 이미징된 이후에, 대응하는 픽셀들 사이의 차분이 계산되고, 다음에 이 차분이 인코딩된다. 이것은 매우 상관되어 있거나 여분의 특징들이 가장 적은 수의 비트를 이용하여 인코딩될 수 있도록 한다. 예를 들어, 화상회의 세션에 있어서, 포착된 이미지의 배경은 한 프레임으로부터 그 다음 프레임까지 약간 변화되거나 또는 전혀 변화되지 않을 수도 있다. 이 경우에, 연속한 프레임에서 전체 배경 부분을 전송하는 것이 아니라, 프레임 사이의 픽셀 분산(variance)만이 전송될 수 있다. 도2에서, CCD 이미징 장치에 사용된 직렬 이미징 장치는 하나의 완전한 프레임에 대한 픽셀 정보를 시프트-아웃하고, 다음에 1번째 차분 프레임(difference frame)이 계산될 수 있게 되기 전에 다른 완전한 프레임에 대한 정보를 시프트-아웃(shift out)한다. 따라서, 이러한 종래의 방법은 차분을 나타내는 3번째 프레임을 생성하기 위해 2개의(또는 그 이상의) 완전한 이미지 프레임을 포착하고 저장하는 것을 필요로 한다. 1번째 프레임, 즉 "키(key)" 프레임은 연속적인 프레임으로서 포착되고 디지털화된다. 디지털화된 프레임은 다음에 차분 프레임을 생성하기 위해 분리된다. 종래의 이미지 차분표현 장치에서 지연 및 계산 부하(computational load)를 감소시키기 위해, 도3의 것과 유사한 아키텍처가 사용될 수 있다.
도3은 더욱 효율적인 이미지 차분표현을 위한 아키텍처를 도시하고 있다. 이미징 장치의 종래의 설계는 프레임들이 포착되어 디지털화된 이후에 연속적인 포착된 프레임의 차분표현을 수행하기 위한 것이다. 이러한 종래의 설계를 개선하기 위해, 디지털화 이전에 아날로그 차분표현이 수행되면, 계산 부하가 상당히 감소될 수 있다. 도3의 병렬-시프트 차분표현 장치는 이미지 차분 데이터를 생성하는 목적을 실현하기 위해 시프팅을 이용한다.
8개의 예시적인 아날로그 포토셀 A31,A32,A33,A34,A35 ,A36,A37,A38의 셋트를 고려해보자. 포토셀은 장면내의 일정한 위치에서 아날로그 광 세기를 포착한다. 이들 세기 값은 적분 시간 동안에 포토셀에 누적되는 전하의 양에 의해 표현된다. 포토셀 A31,..., A38은 도1의 포토셀 유닛과 같이 디지털화된 출력을 생성하지 않는다. 오히려, 저장된 전하가 적분 주기의 끝에서(소정의 프레임 순간에서 모든 포토셀에 대해 동일함) 대응하는 시프트 셀로 전달된다. 아날로그 포토셀의 각각의 로우에 대해, 시프트 셀의 2개의 로우가 존재한다. 시프트 셀들의 하나의 로우는 1번째 프레임(키 프레임)에 대한 포토셀 출력을 저장하고, 시프트 셀들의 제2 로우는 후속 프레임의 포토셀 출력을 저장한다. 시프트 셀들의 각각의 로우는 포토셀 데이터를 직렬로 출력한다.
키 프레임 출력에 대한 시프트 셀들의 로우는 S32,S34,S36,S38,S 40,S42,S44,S46으로서 명명된다. 키 프레임 바로 다음에 오는 프레임에 대한 출력을 저장하는 포토셀들의 로우는 S31,S33,S35,S37,S39,S41,S 43,S45로서 명명된다. 이미지 아키텍처가 처음 초기화될 때, 모든 시프트 셀들은 널(null) 또는 제로 세기 값을 저장한다. 1번째 이미지 프레임이 포착되면, 각각의 아날로그 포토셀 A31,..., A38은 포토셀에 입사되는 장면 내의 특정 위치에서의 광 세기를 나타내는 전하를 나타내게 된다. 이 신호 셋트는 시프트 셀 S31,S33,...,S46들의 로우로 전달된다. 키 프레임에 대한 시프트 셀들의 로우는 그 순간에 채워져 있지 않다. 아키텍처는 1번째 프레임 데이터를 출력하는 것이 아니라, 다음 프레임이 포착될 때까지 대기한다. 아날로그 포토셀 A31,..., A38에 의해 다음 이미지 프레임이 포착되면, 이전의 프레임의 결과가 먼저 도3에 도시된 바와 같이 시프트 셀 S31,S33,...,S45로부터 시프트 셀 S 32,S34,...,S46들의 로우로 각각 전달된다. 다음에는, 2번째 프레임의 적분 주기의 끝에서, 아날로그 포토셀 A31,..., A38로부터 시프트 셀 S31,S33,...,S45 로 신호가 전송된다. 이 순간에, 시프트 셀들의 2개의 로우는 모두 이미지 프레임 정보를 포함하고 있다. 1번째 프레임을 저장하는 시프트 셀 S32,S34,...,S46들의 로우는 시프트-아웃된다. 이것은 키 프레임 출력(312)은 차동 연산 증폭기(310)의 한 입력으로 동시에 시프트된다.
시프트 셀 S31,S33,...,S45에 저장된 현재 프레임의 결과는 차동 연산 증폭기(310)의 다른 입력으로 시프트-아웃된다. 차동 연산 증폭기(310)는 현재 프레임으로부터 감산된 이전의 프레임(키 프레임)의 결과인 아날로그 신호 델타 프레임 출력(314)을 생성한다. 아날로그 신호 델타 프레임 출력(314)과 키 프레임 출력(312)은 모두 저장 또는 처리 이전에 디지털화될 수 있다. 직렬 시프팅 연산은 아날로그 키 프레임 및 현재 프레임 출력을 오직 한 픽셀씩 출력하기 때문에, 완전한 현재 프레임 및 키 프레임이 먼저 출력과 차동 연산 증폭기(310)로 시프트되어야 한다. 직렬 시프팅 연산이 완료되고 키 프레임 및 현재 프레임의 마지막 부분이 출력되고 처리된 이후에, 시프트 셀 S31,S33,...,S45에 저장된 현재 프레임은 로우 S32,S34,...,S46로 병렬로 시프트되며, 따라서 다음 키 프레임이 된다.
이러한 설계의 장점은 기본적으로 2개의 완전한 이미지 프레임이 아니라 오직 하나의 아날로그 차분 프레임 출력의 디지털화를 위한 전송 능력에 있다. 수행될 다른 전면적인 처리에 따라, 델타 프레임 출력(314) 및/또는 키 프레임 출력(312)이 디지털화될 수 있다. 종래의 설계에 있어서는, 아날로그 포토셀 정보의 2개의 완전한 프레임이 포착되어 분리적으로 시프트-아웃되고, 그 이후에 디지털화 및 차분표현이 수행된다. 도3의 아키텍처에 있어서는, 키 프레임(312)과 다음 프레임에 대한 차분(델타 프레임 출력 314)이 모두 동시에 출력으로 시프트된다.
도3의 실시예는 동시적임에도 불구하고 다른 프레임이 아날로그 포토셀에 의해 포착될 수 있게 되기 전에 완전한 키 프레임 및 차분 프레임을 시프트-아웃할 것을 여전히 필요로 한다. 본 발명의 또 다른 실시예에 따라, 이러한 아키텍처에 대한 다른 개선안이 도4에 도시되어 있다.
도4는 본 발명의 일실시예를 도시하고 있다. 도4의 실시예에서, 현재 프레임은 즉시 시프트-아웃되고, 또한 연산 증폭기(420)를 경유하여 재생 및 피드백된다.
도4의 아키텍처에서, 현재 이미지 프레임은 N+1개의 아날로그 포토셀 A0,A1,...,AN의 어레이에 의해 포착되며, 이것은 다음에 각각 시프트 셀 C0,C1,...,CN로 병렬로 전달된다. 시프트 셀 C0,C1,...,CN은 포착된 프레임 데이터를 케스케이드 방식으로 CN으로부터 C0까지 시프트-아웃한다. 현재 프레임 데이터는 도시된 바와 같이 연산 증폭기(420)에 의해 재생되어(regenerated), 시프트 셀 SN,...,S0의 어레이로 피드백된다. 재생된 현재 프레임이 피드백됨에 따라, 현재 프레임이 시프트 셀 SN,...,S0의 어레이의 시프트-아웃된 이전의 프레임에 대해 차분표현된다. 현재 프레임과 이전 프레임 사이의 차분표현은 연산 증폭기(410)에 의해 실현되며, 한 프레임씩의 차분 프레임 출력을 발생한다. 이러한 직렬 이미징 시스템은 픽셀 데이터의 하나의 완전한 프레임이 포착되기를 기다리지 않고 현재 프레임과 차분 프레임을 모두 제공한다는 의도된 장점을 갖고 있다. 통상적으로, 2개의 프레임, 즉 1번째 프레임과 2번째 프레임이 모두 차분 프레임이 생성되기 전에 포착되어야 한다. 도4의 아키텍처는 이러한 직렬 이미징에서의 제한을 없앤 것이다. 비록 상세하게 도시되지는 않았지만, 이 기술분야의 당업자에 의해 연산 증폭기(410,420)가 설계될 수 있으며, 그러나 연산 증폭기(420)의 경우에는 신호 보전성(integrity)을 증가시키고 연산 증폭기(410)의 경우에는 2개의 신호를 차분표현하는 기능을 가져야 한다.
도5는 본 발명의 일실시예에 따른 픽셀당(per-pixel) 아날로그 차분 엔진을 도시하고 있다. 도5의 실시예는 키 프레임에 기반하여 복수의 차분 프레임을 전송할 수 있도록 한다. 이미징 장치는 먼저 차동되는 픽셀이 없는 키 프레임을 포착하여 그것을 이미지 출력에서 전송하게 된다. 시프트 셀 S51,S52,...,S54를 통해 시프트-아웃된 키 프레임은 또한 아날로그 홀딩 레지스터 H51,H52,...,H54들의 어레이로 피드백된다. 피드백되고 출력되기 이전에, 각각의 픽셀은 전송 지연의 손실을 피하기 위해 픽셀의 전하 레벨을 재생하는 재생 증폭기 R5로 전달된다. 홀딩 레지스터 H51,...,H54로의 현재 프레임의 이러한 피드백은 프레임이 다음 프레임이 포착될 때 이전 프레임으로서 이용 가능하게 되도록 보장한다. 완성된 프레임이 저장됨에 따라, 차분 프레임을 계산하고, 다음 프레임 사이클에서 이 차분을 전송하는 것이 가능하다.
이것을 실현하기 위해, 각각의 아날로그 홀딩 레지스터 H51,H52,H53,H54 들의 출력은 각각 차동 연산 증폭기 O51,O52,O53,O54들의 입력으로 연결된다. 현재 프레임은 아날로그 포토셀 A51,A52,A53,A54들에 의해 포착되며, 이들 포토셀의 출력은 각각 차동 연산 증폭기 O51,O52,O53,O54들의 다른 입력으로 전달된다. 키 프레임이 전송된 이후에, 출력에서 각각의 후속 프레임이 증폭기 O51,O52,O53,O54들에 의해 계산된 바와 같이 이전 프레임 또는 키 프레임에 대한 차분으로서 전송될 수도 있다. 다음 키 프레임이 요구될 때까지 어떤 수의 후속 차분 프레임도 출력으로 전송될 수 있다. 각각의 시프트 셀 S51,S52,S53,S54로의 입력은 각각 아날로그 셀 A51,A52,A53,A54들에 의해 포착된 완전한 원래의 프레임이거나 또는 연산 증폭기 O51,O52,O53,O 54들의 차분 출력이 된다.
애플리케이션 사용자에 의해 요구되는 바와 같이 적절한 키 프레임 데이터(프레임 A51,A52,A53,A54)이나 또는 차분 프레임 데이터(O51 ,O52,O53,O54)를 시프트 셀 S51,S52,S53,S54들로 각각 라우팅하는 아날로그 멀티플렉서 M51,M52,M53,M54들의 셋트 각각으로 선택 신호(도시 안됨)가 전송된다. 시프트 셀들의 추가적인 로우 및 유사한 아키텍처가 전술한 바와 같이 함께 차례로 연결될 수도 있다.
도6은 본 발명의 일실시예에 따른 픽셀당 디지털 차분 엔진을 도시하고 있다. 도6의 실시예는 키 프레임에 기반하여 복수의 차분 프레임이 전송될 수 있도록 한다. 이미징 장치는 먼저 차동되는 픽셀이 없는 키 프레임을 포착하여 그것을 이미지 출력에서 전송하게 된다. 디지털 포토셀(픽셀) D61,D62,D63,D64 에 의해 포착된 초기의 키 프레임은 출력 버스(600) 상으로 출력된다. 이와 동시에, 디지털 포토셀 D61,D62,D63,D64은 일련의 디지털 홀딩 레지스터 H61,H 62,H63,H64로 각각 피드백된다. 홀딩 레지스터 H61,...,H64로의 현재 프레임의 이러한 피드백은 프레임이 다음 프레임이 포착될 때 이전 프레임으로서 이용 가능하게 되도록 보장한다. 완성된 프레임이 저장됨에 따라, 차분 프레임을 계산하고, 다음 프레임 사이클에서 이 차분을 전송하는 것이 가능하다.
이것을 실현하기 위해, 각각의 디지털 홀딩 레지스터 H61,H62,H63,H64 들의 출력은 각각 감산 유닛 S61,S62,S63,S64들의 입력으로 연결된다. 현재 프레임은 디지털 포토셀 D61,D62,D63,D64들에 의해 포착되며, 이들 포토셀의 출력은 각각 감산 유닛 S61,S62,S63,S64들의 다른 입력으로 전달된다. 키 프레임이 전송된 이후에, 출력에서 각각의 후속 프레임이 감산 유닛 S61,S62,S63,S64들에 의해 계산된 바와 같이 이전 프레임에 대한 차분으로서 전송될 수도 있다. 다음 키 프레임이 요구될 때까지 어떤 수의 후속 차분 프레임도 출력으로 전송될 수 있다.
출력 버스는 신청자/사용자가 원하는 것이 무엇인가에 따라 (D61,D62,D63,D 64들로부터의) 키 프레임 픽셀이나 또는 (감산 유닛 S61,S62,S63,S64들로부터의) 차분 프레임 픽셀을 전송한다. 원하는 모드, 즉 키 또는 차분에 기반하여, (D61,D62,D63 ,D64들로부터의) 키 프레임 픽셀이나 또는 (S61,S62,S63,S64들로부터의) 차분 프레임 픽셀을 지시된 바에 대응하여 라우팅하는 디지털 멀티플렉서 M61,M62,M63,M 64들중 하나로 선택 신호(도시 안됨)가 전송된다. M61,M62,M63,M64들에 의해 제공되는 것과 유사한 추가적인 디지털 출력이 원하는 각 픽셀에 대해 반복적으로 구성될 수도 있다.
전술한 실시예들은 단지 본 발명의 원리를 예시하기 위해 제공된 것이며, 본 발명의 범위를 제한하는 것으로 이해되어서는 안된다. 본 발명의 원리는 전술한 장점을 실현하고 다른 장점 또는 목적을 실현하기 위한 시스템의 넓은 범위까지 적용될 수 있다.

Claims (29)

  1. 아날로그 포토셀;
    샘플-홀드 증폭기 - 상기 샘플-홀드 증폭기로의 제1 입력은 상기 아날로그 포토셀로부터의 출력이고, 상기 샘플-홀드 증폭기로의 제2 입력은 기준 전압이고, 상기 샘플-홀드 증폭기는 상기 아날로그 포토셀의 상기 출력의 스케일링된 버전인 출력을 생성하고, 상기 출력의 스케일링은 상기 기준 전압에 의해 제어됨 - ; 및
    아날로그-디지털 변환기 - 상기 아날로그-디지털 변환기는 상기 샘플-홀드 증폭기의 상기 출력을 디지털 값으로 변환하고, 상기 아날로그 포토셀의 상기 출력의 스케일링된 버전은 상기 아날로그 포토셀의 동적 범위를 상기 아날로그-디지털 변환기의 동적 범위와 정합하도록 선택되고, 적어도 부분적으로 대기 광 조건에 근거함 -
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 아날로그-디지털 변환기는,
    전압 제어 발진기 - 상기 전압 제어 발진기의 입력은 상기 샘플-홀드 증폭기로부터의 출력임 - ; 및
    상기 전압 제어 발진기의 출력에 의해 구동되는 카운터를 포함하는
    장치.
  3. 제2항에 있어서,
    상기 카운터의 출력을 저장하는 메모리
    를 더 포함하는 장치.
  4. 제3항에 있어서,
    상기 카운터는 소정의 시간 주기 후에 리셋되는
    장치.
  5. 제4항에 있어서,
    상기 시간 주기는 상기 아날로그 포토셀에 대한 적분 시간인
    장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 아날로그 포토셀의 전하를 샘플-홀드 증폭기로 입력하는 단계;
    기준 전압을 상기 샘플-홀드 증폭기로 입력하는 단계;
    상기 샘플-홀드 증폭기를 이용하여 상기 아날로그 포토셀 전하의 스케일을 변경하는 단계 - 상기 아날로그 포토셀 전하의 스케일의 변경은 상기 기준 전압에 의해 제어됨 - ; 및
    상기 샘플-홀드 증폭기의 출력을 디지털 값으로 변환하는 단계 - 상기 아날로그 포토셀 전하의 스케일은 상기 샘플-홀드 증폭기에 의해 상기 아날로그 포토셀의 동적 범위를 상기 샘플-홀드 증폭기의 출력을 디지털 값으로 변환하기에 적절한 동적 범위와 정합하도록 변경되고, 상기 아날로그 포토셀 전하의 스케일은 적어도 부분적으로 대기 광 조건에 근거함 -
    를 포함하는 방법.
  17. 제16항에 있어서,
    상기 샘플-홀드 증폭기의 출력을 디지털 값으로 변환하는 단계는,
    상기 샘플-홀드 증폭기의 출력을 전압 제어 발진기에 인가하는 단계; 및
    상기 전압 제어 발진기의 상기 출력을 이용하여 카운터를 구동하는 단계를 포함하는
    방법.
  18. 제17항에 있어서,
    상기 카운터로부터의 카운트(count)는 상기 포토셀에 대한 이전의 적분 시간 주기 동안의 상기 아날로그 포토셀에 대한 광의 세기에 비례하는
    방법.
  19. 제18항에 있어서,
    상기 카운터로부터의 카운트를 레지스터에 저장하는 단계
    를 더 포함하는 방법.
  20. 제19항에 있어서,
    상기 포토셀에 대한 상기 적분 시간 주기의 경과후에 상기 카운터를 리셋하는 단계
    를 더 포함하는 방법.
  21. 아날로그 포토셀;
    샘플-홀드 증폭기 - 상기 샘플-홀드 증폭기로의 제1 입력은 상기 아날로그 포토셀의 출력이고, 상기 샘플-홀드 증폭기로의 제2 입력은 기준 전압임 - ;
    전압 제어 발진기 - 상기 전압 제어 발진기로의 입력은 상기 샘플-홀드 증폭기의 출력이고, 상기 샘플-홀드 증폭기는 상기 전압 제어 발진기로의 상기 입력을 스케일링하고, 상기 전압 제어 발진기로의 상기 입력의 스케일링은 상기 기준 전압에 의해 제어되고, 상기 기준 전압은 적어도 부분적으로 대기 광 조건에 근거하여 상기 입력의 스케일을 상기 전압 제어 발진기로의 상기 전압 제어 발진기 입력의 동적 범위와 정합하도록 설정됨 - ;
    카운터 - 상기 카운터가 동작하는 속도는 상기 전압 제어 발진기의 출력에 의해 제어됨 - ; 및
    상기 카운터의 출력을 저장하는 레지스터
    를 포함하는 디지털 포토셀.
  22. 제21항에 있어서,
    상기 카운터는 특정 시간 주기 동안 카운트하고, 상기 카운터는 상기 시간 주기의 끝에서 리셋되는
    디지털 포토셀.
  23. 제22항에 있어서,
    상기 시간 주기는 상기 아날로그 포토셀에 대한 적분 시간 주기인
    디지털 포토셀.
  24. 제23항에 있어서,
    상기 레지스터에 저장된 상기 출력은 상기 이전의 적분 시간 주기 동안 상기 아날로그 포토셀에 대한 광 입사의 세기를 반영하는 디지털 값인
    디지털 포토셀.
  25. 제24항에 있어서,
    상기 디지털 포토셀은 픽셀 어레이에 포함되는
    디지털 포토셀.
  26. 샘플-홀드 증폭기로의 제1 입력으로서 아날로그 포토셀의 출력을 인가하는 단계;
    상기 샘플-홀드 증폭기로의 제2 입력으로서 기준 전압을 인가하는 단계;
    상기 샘플-홀드 증폭기를 이용하여 상기 아날로그 포토셀의 상기 출력의 스케일을 변경하는 단계 - 상기 아날로그 포토셀의 상기 출력의 스케일의 변경은 상기 기준 전압에 의해 제어되고, 상기 아날로그 포토셀 전하의 스케일은 상기 아날로그 포토셀의 동적 범위를 상기 샘플-홀드 증폭기의 상기 출력을 변환하기에 적절한 동적 범위와 정합하도록 변경되고, 상기 아날로그 포토셀 전하의 스케일은 적어도 부분적으로 대기 광 조건에 근거함 - ;
    상기 샘플-홀드 증폭기의 상기 출력을 전압 제어 발진기에 인가하는 단계;
    상기 전압 제어 발진기의 상기 출력을 이용하여 카운터를 구동하는 단계;
    상기 카운터로부터의 카운트를 세이브(save)하는 단계; 및
    시간 주기의 끝에서 상기 카운터를 리셋하는 단계
    를 포함하는 방법.
  27. 제26항에 있어서,
    상기 시간 주기는 상기 아날로그 포토셀의 적분 주기인
    방법.
  28. 제27항에 있어서,
    상기 카운터로부터의 상기 카운트는 레지스터에 세이브되는
    방법.
  29. 제28항에 있어서,
    상기 카운터로부터의 상기 카운트는 상기 아날로그 포토셀에 대한 광 입사의 세기에 비례하는
    방법.
KR10-2001-7014183A 1999-05-07 2000-05-02 이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로 KR100477318B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/307,574 1999-05-07
US09/307,574 US6777663B2 (en) 1999-05-07 1999-05-07 Enhanced Photocell with sample and hold amplifier

Publications (2)

Publication Number Publication Date
KR20020008176A KR20020008176A (ko) 2002-01-29
KR100477318B1 true KR100477318B1 (ko) 2005-03-17

Family

ID=23190333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-7014183A KR100477318B1 (ko) 1999-05-07 2000-05-02 이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로

Country Status (10)

Country Link
US (4) US6777663B2 (ko)
EP (1) EP1177679B1 (ko)
JP (2) JP4993808B2 (ko)
KR (1) KR100477318B1 (ko)
CN (3) CN1324878C (ko)
AU (1) AU4693400A (ko)
DE (1) DE60013806T2 (ko)
HK (1) HK1047514A1 (ko)
TW (1) TW465228B (ko)
WO (1) WO2000069166A2 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6777663B2 (en) 1999-05-07 2004-08-17 Intel Corporation Enhanced Photocell with sample and hold amplifier
US6704798B1 (en) * 2000-02-08 2004-03-09 Hewlett-Packard Development Company, L.P. Explicit server control of transcoding representation conversion at a proxy or client location
US7106347B1 (en) * 2000-05-31 2006-09-12 Intel Corporation Transforming pixel data and addresses
US7088390B2 (en) * 2000-06-19 2006-08-08 Olympus Optical Co., Ltd. Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode
WO2003001567A2 (en) * 2001-06-20 2003-01-03 R3 Logic, Inc. High resolution, low power, wide dynamic range imager with embedded pixel processor and dram storage
US7443427B2 (en) * 2002-08-23 2008-10-28 Micron Technology, Inc. Wide dynamic range linear-and-log active pixel
US20060033826A1 (en) * 2004-08-12 2006-02-16 Xinqiao Liu Imaging array having variable pixel size
EP1657910A1 (en) * 2004-11-12 2006-05-17 STMicroelectronics Limited Image sensor
KR101003054B1 (ko) * 2005-09-21 2010-12-21 알제이에스 테크놀로지, 인코포레이티드 고 분해능 및 넓은 동작범위의 적분기
JP5021551B2 (ja) * 2007-05-28 2012-09-12 株式会社リコー 画像読取装置および方法
JP2009055479A (ja) * 2007-08-28 2009-03-12 Panasonic Corp イメージセンサ及び電磁波イメージング装置
JP2010010742A (ja) * 2008-06-24 2010-01-14 Olympus Corp 固体撮像装置
JP5392533B2 (ja) * 2008-10-10 2014-01-22 ソニー株式会社 固体撮像素子、光学装置、信号処理装置及び信号処理システム
US8982099B2 (en) * 2009-06-25 2015-03-17 Semiconductor Energy Laboratory Co., Ltd. Touch panel and driving method of the same
JP5343944B2 (ja) * 2010-08-18 2013-11-13 株式会社デンソー 燃料噴射制御装置
US8693772B2 (en) * 2011-10-11 2014-04-08 Tandent Vision Science, Inc. System and method for digital image signal compression using intrinsic images
CN102868865B (zh) * 2012-09-12 2015-09-02 中国科学院西安光学精密机械研究所 一种图像像元合并的电路及方法
JP6284047B2 (ja) * 2013-05-29 2018-02-28 パナソニックIpマネジメント株式会社 撮像装置および撮像方法
FR3008208B1 (fr) 2013-07-02 2016-12-02 Mbda France Procede et dispositif pour la detection de tirs provenant d'armes legeres
CN108548490B (zh) * 2018-04-17 2020-05-05 中科晶源微电子技术(北京)有限公司 用于确定光栅像在成像平面上的移位的方法和设备和用于确定物体高度的方法和设备
CN109005329B (zh) * 2018-09-19 2020-08-11 广东工业大学 一种像素单元、图像传感器以及相机
EP3921666A1 (en) 2019-02-04 2021-12-15 Copious Imaging LLC Computational pixel imager with in-pixel histogram acquisition
US20230007211A1 (en) * 2021-06-30 2023-01-05 Microsoft Technology Licensing, Llc Virtual ambient illuminance sensor system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4864515A (en) * 1987-03-30 1989-09-05 Honeywell Inc. Electronic sensing screen for measuring projectile parameters

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1424360A (en) * 1972-05-22 1976-02-11 Rotaflex Ltd Spotlieghts
US3833903A (en) * 1973-01-02 1974-09-03 Gordon Eng Co Compensated voltage-controlled oscillator particularly for analog to digital converters
SU740085A1 (ru) 1978-07-07 1994-07-30 А.В. Вето Линейный формирователь сигналов изображения
US4724311A (en) * 1985-11-15 1988-02-09 American Sterilizer Company Variably transmissive filter
JPS63296478A (ja) 1987-05-28 1988-12-02 Nippon Hoso Kyokai <Nhk> 固体撮像装置
DE69121627T2 (de) * 1990-04-27 1997-01-23 Canon Kk Vorrichtung zur Detektion von Bewegungsvektor
JPH04360284A (ja) * 1991-06-06 1992-12-14 Nissan Motor Co Ltd 画像処理装置
JP3524112B2 (ja) * 1992-10-09 2004-05-10 キヤノン株式会社 固体撮像装置
JPH0767152B2 (ja) 1993-03-25 1995-07-19 日本電気株式会社 イメージセンサとその駆動方法
US5461425A (en) 1994-02-15 1995-10-24 Stanford University CMOS image sensor with pixel level A/D conversion
US5795300A (en) * 1994-06-01 1998-08-18 Advanced Body Metrics Corporation Heart pulse monitor
JP2551382B2 (ja) * 1994-06-14 1996-11-06 日本電気株式会社 固体撮像装置
US5631704A (en) * 1994-10-14 1997-05-20 Lucent Technologies, Inc. Active pixel sensor and imaging system having differential mode
US5764288A (en) * 1995-01-06 1998-06-09 Integrated Data Systems, Inc. Analog processing element (APE) and related devices
JP3984665B2 (ja) * 1995-12-27 2007-10-03 キヤノン株式会社 画像信号の符号化圧縮装置および方法
JPH09205587A (ja) * 1996-01-29 1997-08-05 Canon Inc 撮像装置
JPH09247519A (ja) * 1996-03-08 1997-09-19 Sony Corp 撮像装置
US5962844A (en) * 1997-09-03 1999-10-05 Foveon, Inc. Active pixel image cell with embedded memory and pixel level signal processing capability
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6529237B1 (en) * 1997-12-02 2003-03-04 Texas Instruments Incorporated Complete CDS/PGA sample and hold amplifier
US6476864B1 (en) * 1998-05-11 2002-11-05 Agilent Technologies, Inc. Pixel sensor column amplifier architecture
US6354733B2 (en) * 1999-01-15 2002-03-12 Ametex, Inc. System and method for determining combustion temperature using infrared emissions
US6777663B2 (en) * 1999-05-07 2004-08-17 Intel Corporation Enhanced Photocell with sample and hold amplifier
US6975355B1 (en) * 2000-02-22 2005-12-13 Pixim, Inc. Multiple sampling via a time-indexed method to achieve wide dynamic ranges

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4864515A (en) * 1987-03-30 1989-09-05 Honeywell Inc. Electronic sensing screen for measuring projectile parameters

Also Published As

Publication number Publication date
US6870150B2 (en) 2005-03-22
DE60013806T2 (de) 2005-09-29
WO2000069166A2 (en) 2000-11-16
US6888121B2 (en) 2005-05-03
US20010050330A1 (en) 2001-12-13
EP1177679A2 (en) 2002-02-06
AU4693400A (en) 2000-11-21
US6777663B2 (en) 2004-08-17
US20020033444A1 (en) 2002-03-21
US20020033445A1 (en) 2002-03-21
JP2002544719A (ja) 2002-12-24
CN1359588A (zh) 2002-07-17
EP1177679B1 (en) 2004-09-15
CN1529494A (zh) 2004-09-15
HK1047514A1 (zh) 2003-02-21
DE60013806D1 (de) 2004-10-21
WO2000069166A3 (en) 2001-07-05
TW465228B (en) 2001-11-21
CN1225889C (zh) 2005-11-02
JP4799680B2 (ja) 2011-10-26
US20030111590A1 (en) 2003-06-19
CN1293744C (zh) 2007-01-03
JP4993808B2 (ja) 2012-08-08
CN1324878C (zh) 2007-07-04
JP2011019264A (ja) 2011-01-27
US6777664B2 (en) 2004-08-17
CN1525737A (zh) 2004-09-01
KR20020008176A (ko) 2002-01-29

Similar Documents

Publication Publication Date Title
KR100477318B1 (ko) 이미지 센싱 장치 내의 이미지 데이터의 고유의 처리를위한 방법 및 회로
US7675561B2 (en) Time delayed integration CMOS image sensor with zero desynchronization
EP1143707B1 (en) Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6734905B2 (en) Dynamic range extension for CMOS image sensors
US20010040632A1 (en) Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6922210B2 (en) Memory updating for digital pixel sensors
JPH10224696A (ja) 固体撮像素子及びこの固体撮像素子を用いる画像システム
US6803947B1 (en) Video camera using mixed-line-pair readout, taking still pictures with full vertical resolution
JP4196029B2 (ja) 撮像回路および撮像装置
JPH09163210A (ja) 撮像システム
US7349126B2 (en) System with a random number generator used to remove contouring in CMOS imager data having an extended dynamic range
JPH0750786A (ja) 撮像素子のダイナミックレンジ拡大方法
KR100272338B1 (ko) 인터라인트랜스퍼시시디의출력신호변환장치
KR0139833B1 (ko) 해상도 향상기능을 갖는 디지탈 비데오 카메라
KR20060129739A (ko) 이미지 센서
JPH07162874A (ja) 単板式高感度カラーカメラ装置
KR980007778A (ko) 칼라 화상 입력 장치
JPH05130622A (ja) 撮像装置
JP2005020503A (ja) 撮像装置
JPH04101568A (ja) イメージセンサの信号処理回路
JPH04287484A (ja) 映像信号処理回路
JPH03212075A (ja) 固体撮像装置
JPH07288730A (ja) テレビジョンカメラ装置
JPH09181941A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160303

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee