KR101502122B1 - 깊이 정보를 생성하는 이미지 센서 - Google Patents

깊이 정보를 생성하는 이미지 센서 Download PDF

Info

Publication number
KR101502122B1
KR101502122B1 KR20130115513A KR20130115513A KR101502122B1 KR 101502122 B1 KR101502122 B1 KR 101502122B1 KR 20130115513 A KR20130115513 A KR 20130115513A KR 20130115513 A KR20130115513 A KR 20130115513A KR 101502122 B1 KR101502122 B1 KR 101502122B1
Authority
KR
South Korea
Prior art keywords
depth
image
voltage
current
capacitor
Prior art date
Application number
KR20130115513A
Other languages
English (en)
Inventor
박광수
Original Assignee
주식회사 비욘드아이즈
박광수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비욘드아이즈, 박광수 filed Critical 주식회사 비욘드아이즈
Priority to KR20130115513A priority Critical patent/KR101502122B1/ko
Priority to PCT/KR2014/007010 priority patent/WO2015046735A1/ko
Application granted granted Critical
Publication of KR101502122B1 publication Critical patent/KR101502122B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 이미지 센서에 관한 것으로, 상세하게는 깊이 정보를 생성하는 이미지 센서에 관한 것이다. 본 발명의 일측면에 따르면, 깊이 정보를 생성하는 이미지 센서에 있어서, 이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류와 깊이 전류를 출력하는 단위 화소, 상기 이미지 전류 및 상기 깊이 전류가 상기 단위 화소로부터 출력되는 검출시간을 제어하는 인티그레이션 트랜지스터, 상기 이미지 전류에 의해 충전되는 제1 커패시터, 상기 깊이 전류에 의해 충전되는 제2 커패시터, 상기 제1 커패시터의 전압을 증폭하여 이미지 전압 신호를 출력하는 증폭기, 및 상기 깊이 정보 검출 과정에 상기 제1 커패시터의 전압 및 상기 제2 커패시터의 전압을 비교하여 디지털 깊이 코드를 생성하기 위한 제어 신호를 출력하는 비교기를 더 포함하되, 동일한 로(row)에 위치한 상기 단위 화소들은 상기 이미지 정보 검출 과정과 상기 깊이 정보 검출 과정을 연속하여 수행하는 이미지 센서가 제공된다.

Description

깊이 정보를 생성하는 이미지 센서{Image Sensor of generating depth information}
본 발명은 이미지 센서에 관한 것으로, 상세하게는 깊이 정보를 생성하는 이미지 센서에 관한 것이다.
촬상한 이미지의 깊이 정보를 생성하는 대표적인 방식으로 TOF(Time of Flight)가 있다. TOF는 반사된 근적외선의 위상 및/또는 세기를 이용하여 깊이 정보를 생성한다. 한편, 일정한 패턴으로 적외선을 조사하고 이를 수신하여 깊이 정보를 생성하는 방식도 있다. 이러한 방식들은 동일한 이미지를 수 회에 걸쳐 촬상하거나 컬러 단위 화소와 근적외선 단위 화소로 구성된 화소 어레이를 이용하여 각각 다른 이미지를 촬상하고, 촬상한 이미지들을 처리하여 이미지의 깊이 정보를 추출하는 방식이다. 그러나, 이러한 방식들은 적외선을 수신하기 위한 구성, 예를 들어, 근적외선을 검출하기 위한 근적외선 단위 화소 등을 구비하여야 하며, 이미지 센서의 후단에 고속 연산 능력을 갖춘 복잡한 처리부를 구비하여야 한다.
한국공개특허 제2005-106192호
단순한 구조를 사용하여 깊이 정보를 생성한다. 피사체와의 거리에 따른 단위 화소의 출력값을 비교함으로써, 이미지 센서의 전체 구조를 단순화한다.
깊이 정보의 생성에 필요한 시간을 단축한다. 각 화소가 디지털 이미지 코드와 디지털 깊이 코드를 연속하여 생성할 수 있어서 깊이 정보를 이미지 정보와 실질적으로 동시에 생성한다.
깊이 정보의 비선형성을 최소화한다. 피사체로부터 반사되는 빛이 거리의 제곱에 반비례하기 때문에 발생하는 깊이 정보의 왜곡을 개선한다.
본 발명의 일측면에 따르면, 깊이 정보를 생성하는 이미지 센서에 있어서, 이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류와 깊이 전류를 출력하는 단위 화소, 상기 이미지 전류 및 상기 깊이 전류가 상기 단위 화소로부터 출력되는 검출시간을 제어하는 인티그레이션 트랜지스터, 상기 이미지 전류에 의해 충전되는 제1 커패시터, 상기 깊이 전류에 의해 충전되는 제2 커패시터, 상기 제1 커패시터의 전압을 증폭하여 이미지 전압 신호를 출력하는 증폭기, 및 상기 깊이 정보 검출 과정에 상기 제1 커패시터의 전압 및 상기 제2 커패시터의 전압을 비교하여 디지털 깊이 코드를 생성하기 위한 제어 신호를 출력하는 비교기를 더 포함하되, 동일한 로(row)에 위치한 상기 단위 화소들은 상기 이미지 정보 검출 과정과 상기 깊이 정보 검출 과정을 연속하여 수행하는 이미지 센서가 제공된다.
여기서, 이미지 센서는 상기 제1 커패시터의 전압이 상기 이미지 정보 검출 과정에는 상기 증폭기에 인가되고, 상기 깊이 정보 검출 과정에는 상기 비교기에 인가되도록 스위칭하는 제1 스위치, 및 상기 제2 커패시터 전압이 상기 깊이 정보 검출 과정에 상기 증폭기에 인가되도록 스위칭 하는 제2 스위치를 더 포함할 수 있다.
한편, 이미지 센서는 전류원, 상기 제어 신호에 의해 상기 전류원의 전류 출력을 제어하는 트랜스퍼 트랜지스터, 상기 트랜스퍼 트랜지스터에 의해 제어된 전류에 의해 충전되는 깊이 전압 커패시터, 및 상기 깊이 전압 커패시터에 의한 깊이 전압 신호를 디지털 깊이 코드로 변환하는 아날로그-디지털 변환기를 더 포함할 수 있다.
여기서, 상기 전류원은 비선형 전류원일 수 있다.
또한, 이미지 센서는 상기 이미지 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함할 수 있다.
또한, 이미지 센서는 상기 이미지 전압 신호 및 상기 깊이 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함할 수 있다.
또한, 상기 아날로그-디지털 변환기는 상기 이미지 전압 신호와 상기 깊이 전압 신호를 연속적으로 디지털 이미지 코드와 상기 디지털 깊이 코드로 변환할 수 있다.
여기서, 상기 아날로그-디지털 변환기는 컬럼 패러럴 아날로그-디지털 변환기일 수 있다.
한편, 이미지 센서는 상기 제어 신호가 변화하는 시점에 검출된 카운트 값을 이용하여 디지털 깊이 코드를 생성하는 깊이 정보 변환기를 더 포함할 수 있다.
또한, 이미지 센서는 상기 이미지 정보 검출 과정에 상기 제1 커패시터를 리셋하고, 상기 깊이 정보 검출 과정에 상기 제2 커패시터를 리셋하는 리셋 트랜지스터를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 깊이 정보를 생성하는 이미지 센서에 있어서, 이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류 및 깊이 전류를 출력하는 복수의 단위 화소로 구성된 화소 어레이, 상기 이미지 정보 검출 과정에 상기 단위 화소의 출력을 이미지 전압 신호로 변환하고, 상기 깊이 정보 검출 과정에 상기 단위 화소의 출력을 제어 신호로 변환하는 전류-전압 변환기, 상기 제어 신호를 이용하여 깊이 전압 신호를 생성하는 깊이 정보 변환기, 및 상기 이미지 전압 신호 및 상기 깊이 전압 신호를 디지털 이미지 코드 및 디지털 깊이 코드로 변환하는 아날로그-디지털 변환기를 포함하는 이미지 센서가 제공된다.
본 발명의 또 다른 측면에 따르면, 깊이 정보를 생성하는 이미지 센서에 있어서, 이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류 및 깊이 전류를 출력하는 복수의 단위 화소로 구성된 화소 어레이, 상기 이미지 정보 검출 과정에 상기 단위 화소의 출력을 이미지 전압 신호로 변환하고, 상기 깊이 정보 검출 과정에 상기 단위 화소의 출력을 제어 신호로 변환하는 전류-전압 변환기, 상기 제어 신호가 변화하는 시점에 검출된 카운트 값을 이용하여 디지털 깊이 코드를 생성하는 깊이 정보 변환기, 및 상기 이미지 전압 신호를 디지털 이미지 코드로 변환하는 아날로그-디지털 변환기를 포함하는 이미지 센서가 제공된다.
여기서, 상기 전류-전압 변환기는, 검출시간 동안 상기 이미지 전류 및 상기 깊이 전류가 상기 단위 화소로부터 출력되도록 하는 인티그레이션 트랜지스터, 상기 이미지 전류에 의해 충전되는 제1 커패시터, 상기 깊이 전류에 의해 충전되는 제2 커패시터, 상기 제1 커패시터의 전압을 증폭하여 상기 이미지 전압 신호를 출력하는 증폭기, 상기 깊이 정보 검출 과정에 상기 제1 커패시터의 전압 및 상기 제2 커패시터의 전압을 비교하여 디지털 깊이 코드를 생성하기 위한 상기 제어 신호를 출력하는 비교기, 상기 제1 커패시터의 전압이 상기 이미지 정보 검출 과정에는 상기 증폭기에 인가되고, 상기 깊이 정보 검출 과정에는 상기 비교기에 인가되도록 스위칭하는 제1 스위치, 및 상기 제2 커패시터 전압이 상기 깊이 정보 검출 과정에 상기 증폭기에 인가되도록 스위칭하는 제2 스위치를 포함할 수 있다.
여기서, 상기 보조광은 상기 깊이 정보 검출 과정동안 턴온된 보조 광원에 의해 조사될 수 있다.
여기서, 상기 아날로그-디지털 변환기는 램프 신호를 생성하는 램프 신호 발생기, 상기 램프 신호가 생성되면 클럭을 카운트하는 디지털 카운터, 상기 램프 신호와 상기 이미지 전압 신호를 비교하는 비교기, 및 상기 비교기에 의해 상기 램프 신호와 상기 이미지 전압 신호가 같아질 때 상기 디지털 카운터의 카운트 값을 상기 디지털 이미지 코드로 저장하는 메모리를 포함하는 컬럼 패러럴 아날로그 디지털 변환기일 수 있다.
여기서, 상기 램프 신호 발생기는 기울기가 감소하는 비선형 램프 신호일 수 있다.
여기서, 상기 아날로그-디지털 변환기는 파이프라인 아날로그-디지털 변환기일 수 있다.
한편, 이미지 센서는 상기 이미지 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함할 수 있다.
한편, 이미지 센서는 상기 이미지 전압 신호 및 상기 깊이 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함할 수 있다.
여기서, 상기 깊이 정보 변환기는 전류원, 상기 제어 신호에 의해 상기 전류원의 전류 출력을 제어하는 트랜스퍼 트랜지스터, 및 상기 트랜스퍼 트랜지스터에 의해 제어된 전류에 의해 충전되는 깊이 전압 커패시터를 포함할 수 있다.
여기서, 상기 전류원은 비선형 전류원일 수 있다.
깊이 정보를 생성하기 위해 피사체와의 거리에 따른 단위 화소의 출력값을 비교함으로써, 이미지 센서의 전체 구조를 단순화한다.
각 화소가 디지털 이미지 코드와 디지털 깊이 코드를 연속하여 생성할 수 있어서 깊이 정보의 생성에 필요한 시간이 단축된다.
피사체로부터 반사되는 빛이 거리의 제곱에 반비례하기 때문에 발생하는 깊이 정보의 왜곡을 개선할 수 있다.
이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다.
도 1은 깊이 정보와 거리간의 관계를 설명하기 위해 도시한 예시도이다.
도 2는 깊이 정보 생성 방식을 설명하기 위한 예시도이다.
도 3은 깊이 정보를 생성하는 이미지 센서의 구조를 예시적으로 도시한 도면이다.
도 4는 도 3에 도시된 IVC의 예시적인 구성을 도시한 도면이다.
도 5는 도 4에 도시된 IVC의 동작을 설명하기 위한 타이밍 차트이다.
도 6a 내지 6c는 도 3에 도시된 깊이 정보 변환기의 예시적인 구성을 설명하기 위한 도면이다.
도 7은 도 3에 도시된 ADC의 예시적인 구성을 설명하기 위한 도면이다.
도 8은 도 9의 램프 신호 발생기로부터 출력되는 램프 신호를 설명하기 위한 도면이다.
도 9는 도 3에 도시된 ADC의 다른 예시적인 구성을 설명하기 위한 도면이다.
도 10은 깊이 정보를 생성하는 이미지 센서의 다른 구조를 예시적으로 도시한 도면이다.
도 11은 깊이 정보를 생성하는 이미지 센서의 또 다른 구조를 예시적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1는 깊이 정보와 거리간의 관계를 설명하기 위해 도시한 예시도이다.
깊이 정보는 피사체와 이미지 센서간 거리를 나타낸다. 피사체는 3차원이지만, 이미지 센서로 촬영된 이미지는 2차원이다. 2차원 이미지 정보에 깊이 정보를 결합하면, 예를 들어, 2차원 이미지를 3차원으로 재생할 수 있다. 도 1을 참조하면, 이미지 센서(미도시)와 피사체 A, B, C와의 거리는 각각 r1, r2, r1이다. 한편, 피사체 주변, 예를 들어, 피사체 너머에 있는 물체나 배경에 대한 깊이 정보는 실제 거리와 상관없이 무한의 값으로 결정될 수 있다. 자연광만 존재하는 상황에서, 피사체 A와 피사체 C는 동일한 거리에 위치하지만, 피사체 A가 어두운 색을 띄고 있기 때문에, 피사체 C에 비해 반사된 빛의 밝기가 낮다. 예를 들어, 밝기를 8비트인 0에서 255사이의 값으로 표현하면, 동일한 거리에 있는 피사체 A와 C는 각각 30과 210으로 표현될 수 있다. 한편, 피사체 B는 피사체 A와 C보다 먼 거리에 위치했지만 밝은 색을 띄고 있기 때문에, 200으로 표현될 수 있다. 밝기는 이미지 센서에 입사되는 광량에 의해 각 단위 화소에 축적된 전하량에 비례할 수 있다. 여기서, 자연광은 깊이 정보 생성을 위해 보조 광원을 사용하지 않은 상태에서 피사체에 조사되는 빛을 의미하는 것으로서, 반드시 태양광만을 의미하는 것은 아니다.
깊이 정보는 자연광에 의한 밝기와 동일한 밝기에 도달하는 시간으로 검출될 수 있다. 깊이 정보를 산출하기 위해, 자연광 및 보조 광원으로부터 조사된 보조광이 피사체에 의해 반사되어 이미지 센서로 입력된다. 이 때 단위 화소는 자연광과 보조광의 광량을 모두 전하로 축적하며, 그 축적 속도는 자연광만 있는 경우보다 빠르다. 따라서 자연광에 의해 축적된 전하량과 자연광 및 보조광에 의해 축적된 전하가 같아질 때까지 걸리는 시간을 산출함으로써 깊이 정보를 생성할 수 있다. 이 때, 피사체가 어둡거나 밝은 정도에 따라 이미지 센서가 검출하는 밝기에는 차이가 있지만, 동일한 밝기에 도달하는 시간은 거리에 연관되어 있다.
도 2는 깊이 정보 생성 방식을 설명하기 위한 예시도이다. 깊이 정보 생성 방식을 쉽게 설명하기 위해, 화소 어레이(200)는 8x8 형태로 배열된 단위 화소를 예를 들어 도 1을 참조하여 설명한다.
선택된 로(Row)에 위치한 단위 화소들은 자연광에 의한 광량을 검출하는 과정(이하, 이미지 정보 검출 과정)과 자연광 및 보조 광원에 의한 광량을 검출하는 과정(이하, 깊이 정보 검출 과정)을 연속하여 수행한다. 현재 선택된 로에 위치한 단위 화소들에 의해 이미지 정보 검출 과정과 깊이 정보 검출 과정이 모두 수행되면, 다음 로에 위치한 단위 화소들이 이미지 정보 검출 과정과 깊이 정보 검출 과정을 수행한다. 도 2를 참조하면, 화소 어레이(200)의 로(Row) 7에 위치한 단위 화소들(210, 220, 230, 240)은 이미지 정보 검출 과정을 동시에 수행할 수 있다. 이미지 정보 검출 과정이 완료된 후 연속해서 단위 화소들(210, 220, 230, 240)이 깊이 정보 검출 과정을 동시에 수행할 수 있다. 이 때 단위 화소(210, 220, 230, 240)의 검출시간 TINT는 이미지 정보 검출 과정과 깊이 정보 검출 과정 모두에서 동일할 수 있다. 한편, 깊이 정보 검출 과정에서는 보조 광원에서 조사된, 예를 들어, 근적외선에 의한 광량이 추가로 검출되기 때문에, 동일한 검출시간 TINT 동안 이미지 정보 검출 과정에서 검출된 광량보다 많은 광량이 검출될 수 있다. 그러나, 깊이 정보를 산출하기 위해서는 동일한 밝기에 도달한 시간만이 필요하므로, 깊이 밝기값이 이미지 밝기값을 초과하는 구간은 무시될 수 있다. 이미지 정보 검출 과정과 깊이 정보 검출 과정을 동일한 로에 대하여 연속하여 수행한 후 다음 로를 선택하는 이유는 움직이는 피사체의 경우, 동일한 지점을 빠르게 검출하여 이미지 정보와 깊이 정보를 실질적으로 동시에 획득하기 위함이다. 이미지 정보는, 예를 들어, 단위 화소에 의해 검출된 색에 대한 정보를 나타내는 Bare RGB 데이터이거나, 밝기의 정도를 나타내는 Grey값일 수 있다.
깊이 정보는 이미지 정보 검출 과정과 깊이 정보 검출 과정을 통해 측정한 시간차 ΔT를 이용하여 생성된다. 아울러, 측정한 시간차 ΔT는 단위 화소와 피사체간의 거리에 연관된다. 또한, 단위 화소가 검출한 밝기는 피사체의 색에 연관되어 있다. 도 1을 참조하면, 피사체 A는 피사체 C와 동일한 거리에 위치하지만, 어두운 색을 띄고 있기 때문에, 이미지 정보 검출 과정에서 검출시간 TINT 동안 누적된 광량에 상응하는 이미지 밝기값은 30(213)이다. 같은 방법으로, 피사체 C에 대한 이미지 정보 검출 과정에서 누적된 광량에 상응하는 이미지 밝기값은 밝기 210(233)이다. 한편, 피사체 A나 피사체 C보다는 더 먼 거리에 위치한 피사체 B는 피사체 A보다 밝은 색을 띄고 있기 때문에, 동일한 검출시간 TINT 동안 누적된 광량에 상응하는 이미지 밝기값은 200(223)이다. 깊이 정보 검출 과정에서 검출시간 TINT 동안 누적되는 광량은 근적외선으로 인해 이미지 정보 검출 과정에서 누적되는 광량보다 많다. 따라서, 깊이 정보 검출 과정에서, 보조광에 대한 피사체의 반사율이 동일한 경우 검출시간 TINT 동안 이미지 정보 검출 과정에서 누적된 광량에 도달하는 시간은 항상 검출시간 TINT 보다 작다.
도 2를 참조하면, 단위 화소(210)의 깊이 밝기값이 30(218)에 도달할 때까지 걸린 시간은 이미지 정보 검출 과정에서 단위 화소(210)가 이미지 밝기값 30(213)에 도달할 때까지 걸린 시간보다 작다. 마찬가지로, 단위 화소(230)의 깊이 밝기값이 210(238)에 도달할 때까지 걸린 시간은 이미지 정보 검출 과정에서 단위 화소(230)가 이미지 밝기값 210(233)에 도달할 때까지 걸린 시간보다 작다. 피사체 A와 피사체 C는 단위 화소(210, 230)로부터 같은 거리에 위치하고 있으므로, 이미지 정보 검출 과정에서 검출한 밝기에 도달할 때까지 걸린 시간차 ΔT1는 동일하다. 한편, 피사체 B는 피사체 A 또는 C보다 멀리 위치하고 있으므로, 단위 화소(220)가 밝기 200(228)에 도달하는 광량이 상대적으로 적게 되어 피사체 A 또는 C의 경우 보다 상대적으로 많은 시간이 걸리며, 시간차 ΔT2는 ΔT1보다 작게 된다. 한편, 피사체까지의 거리가 무한대인 단위 화소(240)는 이미지 정보 검출 과정에서 검출된 밝기가 존재하지만 보조 광원의 반사광이 거의 없기 때문에, 깊이 정보 검출 과정을 수행하더라도 시간차 ΔT가 생성되지 않는다. 따라서, 깊이 밝기값이 이미지 밝기값에 도달하는 시간과 검출시간 TINT간의 시간차 ΔT가 거리에 연관되어 있음을 알 수 있다.
도 3은 깊이 정보를 생성하는 이미지 센서의 구조를 예시적으로 도시한 도면이다.
예시적인 이미지 센서는 화소 어레이(300), 로 디코더(310), 전류-전압 변환기(320), 상관 이중 샘플링(330), 깊이 정보 변환기(340), 아날로그-디지털 변환기(350), 및 타이밍 생성기(360)를 포함할 수 있다.
화소 어레이(Pixel Array, 300)는 m개의 로와 n개의 컬럼(여기서, m과 n은 자연수임)으로 배열된 복수의 단위 화소로 구성된다. 단위 화소는 입사된 광량에 상응하는 화소 전류 Ipixel를 출력한다. 여기서, 화소 전류 Ipixel는 이미지 전류 Iimage 또는 깊이 전류 Idepth이다. 이미지 전류 Iimage는 이미지 정보 검출 과정 동안 자연광에 생성된 전류이며, 깊이 전류 Idepth는 깊이 정보 검출 과정 동안 자연광 및 보조광에 의해 생성된 전류이다. 선택된 로에 위치한 단위 화소들은 연속된 두 번의 검출시간 TINT동안 동작한다. 두 번의 검출시간 TINT를 통해 이미지 정보 검출 과정과 깊이 정보 검출 과정으로 각각 구성된다. 현재 선택된 로에 위치한 단위 화소의 이미지 정보 검출 과정과 깊이 정보 검출 과정이 완료되면, 다음의 로(Row) 단위 화소들이 선택되어 이미지 정보 검출 과정과 깊이 정보 검출 과정을 수행한다. 단위 화소의 구조와 동작은 이하에서 도 4를 참조하여 상세히 설명한다.
로 디코더(Row decoder, 310)는 화소 어레이(300)의 m개의 로 중에서 화소 전류 Ipixel을 출력할 로를 선택한다. 로 디코더(310)는 선택된 로의 모든 단위 화소가 각각 이미지 정보 검출 과정과 깊이 정보 검출 과정을 완료한 후 다음 로를 선택한다. 로 디코더(310)는 타이밍 생성기(360)가 생성한 타이밍 신호에 의해 동작할 수 있다.
전류-전압 변환기(IVC, 320)는 화소 전류 Ipixel에 상응하는 이미지 전압 신호 Vimage 및 제어 신호 Vcontrol을 출력한다. 전류-전압 변환기(320)는 동일한 컬럼에 위치한 모든 단위 화소에 연결된다. 전류-전압 변환기(320)는 검출시간 TINT동안 단위 화소가 출력한 화소 전류 Ipixel에 상응하는 전하를 저장하고, 저장된 전하량에 따라 이미지 전압 신호 Vimage 또는 제어 신호 Vcontrol을 출력한다. 제어 신호 Vcontrol은 이미지 밝기값과 깊이 밝기값의 비교 결과에 의해 생성된다. 이미지 밝기값은 이미지 정보 검출 과정의 검출시간 TINT가 종료되었을 때의 밝기값이고, 깊이 밝기값은 깊이 정보 검출 과정의 검출시간 TINT 동안 증가하는 밝기값이다. 전류-전압 변환기(320)는 깊이 정보 검출 과정동안 이미지 밝기값과 깊이 밝기값을 을 비교하고, 양 값이 같아질 때 제어 신호 Vcontrol이 출력될 수 있다. 반대로, 제어 신호 Vcontrol은 깊이 정보 검출 과정이 시작되면 출력되기 시작하고, 양 값이 같아질 때 출력을 중단할 수도 있다. 양 값이 같아지는 시점을 이용하면, 예를 들어, 피사체까지의 거리에 상응하는 시간차 ΔT가 깊이 정보로서 생성될 수 있다. 전류-전압 변환기(320)는 타이밍 생성기(360)가 생성한 타이밍 신호에 의해 동작할 수 있다. 전류-전압 변환기(320)의 구성은 이하에서 도 5를 참조하여 상세히 설명한다.
상관 이중 샘플링(Correlated Double Sampling, 330)은 이미지 전압 신호 Vimage에 상관 이중 샘플링하여 잡음을 제거하여 잡음이 제거된 이미지 전압 신호 Vimage_cds를 출력한다. 상관 이중 샘플링(330)은 동일한 컬럼에 위치한 모든 단위 화소에 연결된다. 전류-전압 변환기(320)로부터 출력된 리셋 전압 신호 Vreset와 이미지 전압 신호 Vimage를 상관 이중 샘플링한다. 한편, 상관 이중 샘플링은 별도의 커패시터 쌍을 구비하여 깊이 전압 신호 Vdepth에 상관 이중 샘플링하여 잡음을 제거할 수도 있다.
깊이 정보 변환기(Depth data converter, 340)는 깊이 정보 검출 과정에서 출력된 제어 신호 Vcontrol을 이용하여 피사체와의 거리에 연관된 깊이 전압 신호 Vdepth를 출력한다. 한편, 도 3에서는 깊이 전압 신호 Vdepth가 아날로그-디지털 변환기(350)로 입력되는 것으로 도시되어 있으나, 반드시 이러한 방식으로 구성되어야 함을 의미하는 것은 아니다. 예를 들어, 깊이 정보 변환기(340)는 깊이 정보를 디지털 코드로 변환하여 출력할 수도 있다. 또한, 깊이 전압 신호 Vdepth는 상관 이중 샘플링(330)으로 입력되어 잡음이 제거된 후, 아날로그-디지털 변환기(350)로 출력될 수도 있다. 깊이 정보 변환기(340)는 이하에서 도 6a 내지 6c를 참조하여 상세히 설명한다.
아날로그-디지털 변환기(Analog-Digital Converter, 350)는 상관 이중 샘플링(330)에 의해 잡음 제거된 이미지 전압 신호 Vimage_cds를 디지털 이미지 코드로 변환한다. 추가적으로, 아날로그-디지털 변환기(350)는 깊이 정보 변환기(340)로부터 출력된 깊이 전압 신호 Vdepth를 디지털 깊이 코드로 변환한다. 아날로그-디지털 변환기(350)는 디지털 제어 신호방식에 따라서 잡음이 제거된 이미지 전압 신호 Vimage_cds와 깊이 전압 신호 Vdepth를 교대로 디지털 코드로 변환할 수 있다. 아날로그-디지털 변환기(350)는, 예를 들어, 파이프라인 아날로그-디지털 변환기(Pipeline ADC)나 컬럼 패러럴 아날로그-디지털 변환기(Column Parallel ADC)일 수 있다.
타이밍 생성기(Timing Generator, 360)는 도 3에서는 화소 어레이(300)만 제어하는 것으로 도시되어 있으나, 화소 어레이(300) 이외에도 이미지 센서의 다른 구성요소의 동작을 제어하는 타이밍 신호도 생성한다.
LED(370)는 보조 광원으로 동작한다. LED(380)는 이미지 센서에 내장될 수도 있다. 타이밍 생성기(360)로부터 타이밍 신호를 수신할 수만 있다면, 이미지 센서 외부에 위치할 수도 있다. LED(370)는 이미지 정보 검출 과정동안 턴오프되며, 깊이 정보 검출 과정동안 보조광을 조사한다.
도 4는 깊이 정보를 생성하기 위한 예시적인 구성을 도시한 도면이고, 도 5는 도 4에 도시된 깊이 정보를 생성하기 위한 구성의 동작을 설명하기 위한 타이밍 차트이다.
도 4를 참조하면, 깊이 정보를 이미지 센서는 동일한 컬럼에 위한 복수의 단위 화소(305) 및 단위 화소(305)로부터 출력된 화소 전류를 이미지 전압 정보 Vimage와 제어 신호 Vcontrol으로 분리하여 처리하는 전류-전압 변환기(320)를 포함한다.
단위 화소(305)는 입사된 자연광 및 보조광을 광전변환하여 화소 전류 Ipixel을 출력한다. 여기서, 화소 전류 Ipixel는 보조 광원의 유무에 따라서 이미지 전류 Iimage 또는 깊이 전류 Idepth가 된다. 도 4에서, 입사된 광을 광전변환하는 PMOS와 PMOS에 연결되어 스위치 역할을 하는 NMOS로 구성된 단위 화소(305)를 도시하고 있으나, 이에 한정되는 것은 아니다. 여기서, NMOS는 셀렉트 트랜지스터로 동작하여 화소 전류 Ipixel을 출력할 단위 화소(305)를 선택하고 노출 시간을 결정하는 기능을 수행한다.
단위 화소(305)의 동작은 다음과 같다. NMOS와 동일한 기판상에 형성된 PMOS의 소스에 전압 VDD를 인가하면, PMOS의 N-well은 전기적으로 중성상태인 공핍 영역이 형성되게 된다. 이후, 수광부인 PMOS로 자연광 및/또는 보조광을 받아 광자가 플로팅 게이트와 공핍 영역이 생성된 N-well에 입사되면 EHP(electron hole pair)가 분리된다. 이로 인해 PMOS 소자의 게이트 저면에 P채널이 형성된다. PMOS와 연결된 NMOS에 형성된 셀렉트 게이트에 전압이 인가되고 NMOS에 형성된 소스와 드레인 사이에 N채널이 형성되어 PMOS에 형성된 신호 전하를 받아 화소 전류 Ipixcel을 출력한다. 종래의 씨모스 이미지 센서는 하나의 광자가 하나의 전자-정공쌍을 생성시키는 반면, 단위 화소(305)의 PMOS 수광소자는 하나의 광자가 증폭된 광전류를 생성한다. 따라서, 광전류의 전류 이득이 100~1000에 달하여 소량의 빛이 입사되는 저 조도에서도 영상의 구현이 가능하며, 종래의 센서보다 전하 축적 시간을 100~1000배 줄일 수 있다. 이로 인해, 전하 축적 시간이 1프레임 또는 1라인이 아닌 수십 클락의 지연만으로 충분하므로 긴 인테그레이션 시간이 불필요하여 고속의 동영상 구현을 가능하게 한다.
전류-전압 변환기(320)는 인티그레이션 트랜지스터(410), 리셋 트랜지스터(420), 제1 스위치(430), 제2 스위치(440), 제3 스위치(450), 제1 커패시터(460), 제2 커패시터(470), 소스 팔로워 증폭기(480), 비교기(490)를 포함할 수 있다. 여기서, 제3 스위치(450)는 회로 설계시 생략될 수도 있다.
인티그레이션 트랜지스터(410)는 검출시간 TINT를 제어한다. 이를 통해, 단위 화소(305)로부터 출력된 화소 전류 Ipixel에 의해 제1 커패시터(460) 및 제2 커패시터(470)에 축적되는 전하량이 결정된다. 전하량을 제어하기 인티그레이션 신호 INT는 검출시간 TINT 동안 인티그레이션 트랜지스터(410)의 게이트로 입력된다. 인티그레이션 트랜지스터(410)는 인티그레이션 신호 INT에 의해 활성화되어 이미지 전류 Iimage는 제1 커패시터(460)로 출력되고, 깊이 전류 Idepth는 제2 커패시터(470)로 출력되도록 한다. 인티그레이션 트랜지스터(410)의 드레인은 단위 화소(305)에 연결되며, 인티그레이션 트랜지스터(410)의 소스는 소스 팔로워 증폭기(480)의 게이트에 연결된다.
리셋 트랜지스터(420)는 제1 커패시터(460) 및 제2 커패시터(470)를 리셋한다. 제1 커패시터(460) 및 제2 커패시터(470)를 리셋하기 위한 커패시터 리셋 신호 RST.Cap는 리셋 트랜지스터(420)의 게이트로 입력된다. 리셋 트랜지스터(420)는 커패시터 리셋 신호 RST.Cap에 의해 활성화되어 제1 커패시터(460) 및 제2 커패시터(470)를 REF 전압으로 리셋한다. 리셋 트랜지스터(420)의 드레인은 인티그레이션 트랜지스터(410)의 소스에 연결되며, 리셋 트랜지스터(420)의 소스는 REF 전압을 입력받는 라인에 연결된다.
제1 스위치(430)와 제1 커패시터(460)는 직렬로 연결되며, 인티그레이션 트랜지스터(410)의 소스와 REF 전압 라인 사이에 연결된다. 제1 스위치(430)는 인티그레이션 트랜지스터(410)와 비교기(490)의 제1 입력단 사이에서 스위칭한다. 제1 스위치(430)가 인티그레이션 트랜지스터(410)에 연결되면, 제1 커패시터(460)는 이미지 정보 검출 과정에서 단위 화소가 출력한 이미지 전류 Iimage에 의해서 전하를 축적한다. 제1 커패시터(460)에 축적된 전하에 의한 제1 커패시터 전압은 소스 팔로워 증폭기(480)의 게이트에 인가된다. 이 때, 제1 스위치(430)는 소스 팔로워 증폭기(480)의 입력 커패시터로 동작할 수 있다. 제1 스위치(430)가 비교기(490)의 제1 입력단에 연결되면, 제1 커패시터(460)에 축적된 전하에 상응하는 제1 커패시터 전압은 비교기(490)에 인가된다. 제1 커패시터 전압은 이미지 밝기값으로, 깊이 정보 검출 과정에 사용되는 동안에는 실질적으로 변화하지 않는다.
제2 스위치(440)와 제2 커패시터(470)는 직렬로 연결되며, 인티그레이션 트랜지스터(410)의 소스와 REF 전압 라인 사이에 연결된다. 제2 스위치(440)가 인티그레이션 트랜지스터(410)에 연결되면, 제2 커패시터(470)는 깊이 정보 검출 과정에서 단위 화소가 출력한 깊이 전류 Idepth에 의해서 전하를 축적한다. 제2 커패시터(470)에 축적된 전하에 상응하는 제2 커패시터 전압은 제3 스위치(450)에 의해 형성된 경로를 따라 비교기(490)의 제2 입력단에 인가된다. 제2 커패시터 전압은 깊이 밝기값으로, 깊이 정보 검출 과정에 사용되는 동안에는 실질적으로 변화한다.
제3 스위치(450)는 인티그레이션 트랜지스터(410)와 비교기(490)의 제2 입력단 사이에 연결되며, 제2 커패시터 전압이 비교기(490)의 제2 입력단에 인가될 수 있는 경로를 형성할 수 있다. 한편, 회로 설계시 제3 스위치(450)는 생략되어 인티그레이션 트랜지스터(410)와 비교기(490)의 제2 입력단이 항상 연결되어 있을 수도 있다. 이는, 비교기(490)는 비교기 구동 신호 EN_Comp에 의해서만 구동하므로, 비교기 구동 신호 EN_Comp가 입력되지 않는 이미지 정보 검출 과정 동안에는 비교기(490)가 동작하지 않기 때문이다.
소스 팔로워 증폭기(480)는 구동 전압 VDD와 접지 사이에 연결되며, 정전류원을 포함한다. 소스 팔로워 증폭기(480)는 게이트에 인가된 제1 커패시터 전압을 증폭하여 이미지 전압 신호 Vimage를 출력한다.
이제 도 5를 참조하여, 깊이 정보를 생성하기 위해 깊이 전압 신호 Vcontrol을 생성하는 과정을 설명한다. 도 5에 도시된 타이밍 신호는 현재 선택된 단위 화소에 의해 연속적으로 수행되는 이미지 정보 검출 과정과 깊이 정보 검출 과정을 나타낸다. 참고로, 도 5에서는 제3 스위치(450)의 동작을 포함하고 있으나, 앞서 설명한 바와 같이, 제3 스위치(450)에 의한 동작은 생략되어도 무방하다.
시간 t1과 시간 t3사이에 커패시터 리셋 신호 RST.Cap가 리셋 트랜지스터(420)에 입력되어 제1 커패시터(460)가 REF 전압으로 리셋된다. 이 기간 동안 제2 스위치(440) 및 제3 스위치(450)는 오프되어 있다.
제1 커패시터(460) 및 제2 커패시터(470)가 리셋된 후, 시간 t2와 시간 t4 사이에 제1 커패시터(460)의 리셋 전압 신호 Vreset이 소스 팔로워 증폭기(480)를 통해 출력될 수 있다. 리셋 전압 신호 Vreset은 상관 이중 샘플링(330)에 의해 이미지 전압 신호 Vimage에서 잡음을 제거하는데 이용될 수 있다. 한편, 리셋 전압 신호 Vreset은 상관 이중 샘플링(330)에 의해 깊이 전압 신호 Vdepth에서 잡음을 제거하는데 이용될 수도 있다.
시간 t2와 시간 t6 사이에 입력된 인티그레이션 신호 INT에 의해 인티그레이션 트랜지스터(410)가 활성화된다. 아울러, 시간 t2와 시간 t7 사이에 제1 스위치(430)가 인티그레이션 트랜지스터(410)의 소스에 연결된다. 활성화된 인티그레이션 트랜지스터(410)는 단위 화소(305)로부터 출력된 이미지 전류 Iimage가 제1 검출시간 TINT 동안 제1 커패시터(460)에 인가되어 전하 Q1이 축적되도록 한다. 제1 검출시간 TINT는 이미지 정보 검출 과정이며, 전하 Q1에 의한 제1 커패시터 전압은 이미지 밝기값에 상응한다. 이 기간 동안 제2 스위치(440) 및 제3 스위치(450)는 오프되어 있다.
시간 t5와 시간 t7 사이에 제1 커패시터(460)에 축적된 전하 Q1에 의한 제1 커패시터 전압이 소스 팔로워 증폭기(480)를 통해 출력될 수 있다.
시간 t7과 시간 t12사이에 비교기 구동 신호 EN_Comp가 비교기(490)에 인가된다.
시간 t8과 시간 t10 사이에 커패시터 리셋 신호 RST.Cap가 리셋 트랜지스터(420)에 입력되어 제2 커패시터(470)가 REF 전압으로 리셋된다.
시간 t8과 시간 t12 사이에 제3 스위치(450)가 온되고, 시간 t9와 시간 t12 사이에 제2 스위치(440)가 온되어 제2 커패시터(470)와 비교기(490)의 제2 입력단을 연결한다. 아울러, 시간 t9에서 시간 t11 사이에 입력된 인티그레이션 신호 INT에 의해 인티그레이션 트랜지스터(410)가 활성화된다. 활성화된 인티그레이션 트랜지스터(410)는 단위 화소(305)로부터 출력된 이미지 전류 Iimage가 제2 검출시간 TINT 동안 제2 커패시터(470)에 인가되어 전하 Q2가 축적되도록 한다. 제2 검출시간 TINT는 깊이 정보 검출 과정이고, 전하 Q2에 의한 제2 커패시터 전압은 깊이 밝기값에 상응하며 제2 검출시간 TINT 동안 증가할 수 다.
즉, 제1 커패시터(460)는 제1 스위치(430)에 의해 비교기(490)의 제1 입력단에 연결되어 제1 커패시터 전압을 유지하며, 제2 커패시터(470)는 제2 스위치(440) 및 제3 스위치(450)에 의해 비교기(490)의 제2 입력단에 연결되어 제2 커패시터의 증가 중인 전압을 출력한다.
비교기(490)는 제1 커패시터 전압이 제2 커패시터 전압을 비교하여 제어 신호 Vcontrol을 출력한다. 예를 들어, 제1 커패시터 전압이 제2 커패시터 전압보다 크면 0이 출력되고, 제1 커패시터 전압이 제2 커패시터 전압과 같거나 작아지면, 1이 출력될 수 있다. 한편, 예를 들어, 제1 커패시터 전압이 제2 커패시터 전압보다 크면 비교기(490)는 1을 출력하고, 제1 커패시터 전압이 제2 커패시터 전압과 같거나 작아지면, 0을 출력할 수도 있다. 비교기(490)가 출력한 제어 신호 Vcontrol은 디지털 깊이 코드를 생성하는데 이용된다.
시간 t13에서, 현재 선택된 컬럼에 위치한 단위 화소에 대한 이미지 정보 검출 과정 및 깊이 정보 검출 과정이 종료하면, 각각의 컬럼에 위치한 단위 화소의 저장 값을 선택하기 위한 컬럼 선택 신호 EN_C_DEC가 활성화된다.
도 6a 내지 6c는 도 3에 도시된 깊이 정보 변환기의 예시적인 구성을 설명하기 위한 도면이다.
도 6a를 참조하면, 비교기(490)가 출력한 Vcontrol은 카운터(미도시)를 구동한다. 카운터는 제어 신호가 입력되면 카운팅을 시작하고, 제어 신호 Vcontrol이 변화하면 카운팅을 정지한다. 제어 신호 Vcontrol이 변화하는 시점은 이미지 밝기값과 깊이 밝기값이 동일해지는 시점이다. 카운팅이 정지되면, 카운터는 카운트 값을 디지털 깊이 코드로서 출력한다. 출력된 디지털 깊이 코드는 메모리(미도시)에 저장되거나, 아날로그-디지털 변환기(350)의 메모리에 직접 저장된다. 카운터를 이용하면, 아날로그-디지털 변환기(350)를 거치지 않고도 디지털 깊이 코드를 생성할 수 있게 된다.
도 6b를 참조하면, 깊이 정보 변환기는 정전류원, 트랜스퍼 트랜지스터(600), 리셋 트랜지스터(610), 깊이 전압 커패시터(620), 및 스위치(630)를 포함할 수 있다. 정전류원의 전류값은 깊이 정보의 해상도 및 반도체 회로상 구현 가능한 깊이 전압 커패시터(620)의 크기를 고려해서 설정될 수 있다. 이외에도, 검출 거리 범위, 보조광의 밝기 또는 보조광의 세기, 보조광의 On/Off의 차이 등과 같은 다양한 요소에 영향을 받을 수 있다. 트랜스퍼 트랜지스터(600)는 정전류원과 깊이 전압 커패시터(620) 사이에 연결되며, 게이트로 입력된 제어 신호 Vcontrol에 의해 깊이 전압 커패시터(620)에 충전되는 전하량을 제어한다. 리셋 트랜지스터(610)는 깊이 전압 커패시터(620) 양단에 연결되며, 게이트로 입력된 리셋 신호 TRST에 의해 깊이 전압 커패시터(620)를 리셋한다. 스위치는 트랜스퍼 트랜지스터(600)와 깊이 전압 커패시터(620) 사이에 연결되며, 깊이 전압 커패시터(620)에 충전된 전하량에 상응하는 깊이 전압 신호 Vdepth를 출력하기 위해 동작한다.
비교기(490)로부터 출력된 제어 신호 Vcontrol에 의해, 트랜스퍼 트랜지스터(600)는 정전류원으로부터 공급된 전류를 통과시켜 깊이 전압 커패시터(620)가 전하를 축적하도록 한다. 한편, 제어 신호 Vcontrol를 입력받기 전, 리셋 신호 TRST는 깊이 전압 커패시터(620)를 리셋시킨다. 비교기(490)는 깊이 밝기값이 이미지 밝기값에 도달할 때 제어 신호 Vcontrol를 변경한다. 예를 들어, 제어 신호는 0에서 1로 변화하거나, 그 반대로 변화할 수 있다.
깊이 전압 커패시터(620)에 축적된 전하량이 거리에 반비례하는 동작방식은, 깊이 밝기값과 이미지 밝기값이 같아지는 시점부터 비교기(490)가 제어 신호 Vcontrol을 0에서 1로 변경한다. 변경된 제어 신호 Vcontrol은 검출시간 TINT가 종료될 때까지 유지된다. 그 동안 정전류원으로부터 전류가 깊이 전압 커패시터(620)에 공급되며, 축적된 전하량에 대응되는 깊이 전압 신호 Vdepth가 출력되어 디지털 깊이 코드에 매칭된다. 가까운 거리의 피사체의 경우 깊이 밝기값이 빨리 이미지 밝기값과 동일해지므로 깊이 전압 신호 Vdepth가 상대적으로 커지며, 먼 거리의 피사체의 경우 늦게 동일해지므로 깊이 전압 신호 Vdepth가 상대적으로 작아진다. 따라서, 출력된 깊이 전압 신호 Vdepth는 피사체와의 거리에 반비례하는 결과를 나타낸다.
도 1 및 도 6b에 도시된 바와 같이, 피사체 B의 경우, 피사체 B가 피사체 A 및 C보다 먼 거리에 위치하고 있다. 따라서, 깊이 밝기값이 이미지 밝기값과 동일해지는 시점이 피사체 A 및 C보다 늦다. 전하는 시간차 ΔT2 동안에만 깊이 전압 커패시터(620)에 축적되며, 축적된 전하에 의해 깊이 전압 신호 Vdepth는 피사체와의 거리에 반비례하게 된다. 예를 들어, 깊이 전압 커패시터(620)에 걸리는 최대 전압이 1V이고 ADC가 1V를 10bit로 구분할 수 있다고 가정하면, 전압 신호 Vtof는 0~1023 단계로 구분될 수 있다.
깊이 전압 커패시터(620)에 축적된 전하량이 거리에 비례하는 동작방식은, 깊이 밝기값과 이미지 밝기값이 같아지는 시점부터 비교기(490)가 제어 신호 Vcontrol을 1에서 0로 변경한다. 변경된 제어 신호 Vcontrol은 검출시간 TINT가 종료될 때까지 유지된다. 제어 신호 Vcontrol이 변화하기 전까지 정전류원으로부터 전류가 깊이 전압 커패시터(620)에 공급되며, 축적된 전하량에 의한 깊이 전압 신호 Vdepth가 디지털 깊이 코드에 매칭된다. 가까운 거리의 피사체의 경우 깊이 밝기값이 빨리 이미지 밝기값과 동일해지므로 깊이 전압 신호 Vdepth가 상대적으로 작으며, 먼 거리의 피사체의 경우 늦게 동일해지므로 깊이 전압 신호 Vdepth가 상대적으로 커진다. 따라서, 출력된 깊이 전압 신호 Vdepth는 피사체와의 거리에 비례하는 결과를 나타낸다.
카운트 값을 디지털 깊이 코드로 출력하는 도 6a에 도시된 구성과 비교할 때, 도 6b와 같은 간접측정방법은 보다 정교하게 거리 정보를 세분화할 수 있다. 특히 카운터의 디지털 코드 값에 비해서 연속한 아날로그 값으로 거리 정보를 표현할 수 있으므로 측정가능한 최소 거리와 최대 거리의 범위 설정시에는 거리 해상도를 세밀히 설정할 수 있다.
도 6c를 참조하면, 깊이 정보 변환기는 비선형 전류원(640), 트랜스퍼 트랜지스터(600), 리셋 트랜지스터(610), 깊이 전압 커패시터(620), 및 스위치(630)를 포함할 수 있다. 트랜스퍼 트랜지스터(600)는 비선형 전류원(640)과 깊이 전압 커패시터(620) 사이에 연결되며, 게이트로 입력된 제어 신호 Vcontrol에 의해 깊이 전압 커패시터(620)에 충전되는 전하량을 제어한다. 리셋 트랜지스터(610)는 깊이 전압 커패시터(620) 양단에 연결되며, 게이트로 입력된 리셋 신호 TRST에 의해 깊이 전압 커패시터(620)를 리셋한다. 스위치는 트랜스퍼 트랜지스터(600)와 깊이 전압 커패시터(620) 사이에 연결되며, 깊이 전압 커패시터(620)에 충전된 전하량에 상응하는 깊이 전압 신호 Vdepth를 출력하기 위해 동작한다.
비교기(490)로부터 출력된 제어 신호 Vcontrol에 의해, 트랜스퍼 트랜지스터(600)는 비선형 전류원(640)으로부터 공급된 전류를 통과시켜 깊이 전압 커패시터(620)가 전하를 축적하도록 한다. 한편, 제어 신호 Vcontrol를 입력받기 전, 리셋 신호 TRST는 깊이 전압 커패시터(620)를 리셋시킨다. 비교기(490)는 깊이 밝기값이 이미지 밝기값에 도달할 때 제어 신호 Vcontrol를 변경한다. 예를 들어, 제어 신호 Vcontrol은 0에서 1로 변경되거나, 그 반대로 변경될 수 있다.
비선형 전류원(640)을 사용하는 이유는, 보조 광원의 세기가 거리에 대해 비선형적인 특성을 보완하기 위해서이다. 보조 광원의 세기는 거리 제곱에 반비례하므로, 깊이 정보 변환기는 (2R)2(여기서, R은 피사체까지의 거리)에 대응되는 함수를 갖는 전류 증폭기로 동작하게 된다. 따라서, 비선형 전류원(640)이 공급하는 전류는 초기에는 완만히 변화하다가 2차함수의 기울기로 증가하게함으로써, 비교기(490)가 거리 해상도 문제를 가지더라도 깊이 전압 커패시터(620)에 축적되는 전하량은 거리 정보에 선형적인 값을 가질 수 있도록 한다.
상술한 도 6a 내지 6c에 도시된 깊이 정보 변환기로부터 출력된 깊이 전압 신호 Vdepth는 이미지 센서의 readout 방식에 따라 처리된다. 이미지 센서의 readout 방식이 컬럼 패러럴 아날로그-디지털 변환기인 경우, 디지털 이미지 코드가 저장되는 컬럼별로 할당된 메모리에 디지털 깊이 코드를 기록하는 방식이 이용될 수 있다. 이미지 센서의 readout 방식이 파이프라인 아날로그-디지털 변환기인 경우, 디지털 깊이 코드를 저장하는 별도의 커패시터형 아날로그 메모리 또는 디지털 메모리를 구비할 필요가 있다. 이 경우, 디지털 이미지 코드와 디지털 깊이 코드가 동시에 생성 및 처리될 수 있다.
도 7은 도 3에 도시된 ADC의 예시적인 구성을 설명하기 위한 도면이다.
도 7에 도시된 예시적인 컬럼 패러럴 아날로그-디지털 변환기는 램프신호 발생기(700), 디지털 카운터(710), 복수의 컬럼 비교기(720, 730), 복수의 컬럼 메모리(725, 535)를 포함할 수 있다. 복수의 컬럼 비교기(720, 730), 복수의 컬럼 메모리(725, 535)는 컬럼의 실제 수만큼 구비되며, 도 7에서 설명을 단순하게 하기 위해 컬럼을 두 개만 도시하였다. 아날로그 값을 직접 디지털로 변환하는 파이프라인 아날로그-디지털 변환기와 달리, 컬럼 패러럴 아날로그-디지털 변환기는 이미지 전압 신호 Vimage1_cds, Vimage2_cds를 램프 신호와 비교하여 일치하는 순간의 카운터 값 D1 및 D2를 디지털 이미지 코드에 매칭하는 방식으로 아날로그-디지털 변환을 수행한다.
램프신호 발생기(700)는 도 7에 도시된 램프 신호 Vramp를 생성하여 각 컬럼 비교기(720, 730)에 입력으로 제공한다. 램프 신호 Vramp는 선형 기울기를 가지며, 시간이 증가할수록 값이 감소하는 형태를 가질 수 있다. 한편, 램프 신호 Vramp는 비선형 기울기를 가질 수도 있으며, 이는 도 8을 참조하여 상세히 설명하도록 한다. 램프 신호 Vramp의 기울기는 이득을 조절하는 기능을 가질 수 있는데 기울기가 완만해질수록 교차하는 잡음이 제거된 이미지 전압 신호 Vimage1_cds, Vimage2_cds가 늦어지게 되어 큰 카운터 값을 갖게 된다. 따라서, 이미지 전압 신호 Vimage1_cds, Vimage2_cds를 증폭한 효과가 발생한다. 예를 들어, 기울기를 1/16으로 낮추면 16배 증폭된다.
복수의 컬럼 비교기(720, 730)는 제1 입력단을 통해 램프 신호 Vramp를 입력받고, 제2 입력단을 통해 상관 이중 샘플링(330)으로부터 이미지 전압 신호 Vimage1_cds, Vimage2_cds를 입력받는다. 컬럼 비교기(720, 730)는 램프 신호 Vramp와 이미지 전압 신호 Vimage1_cds, Vimage2_cds를 비교하여 두 값이 같아질 때 디지털 코드 결정 신호 Vc1, Vc2를 출력한다.
디지털 카운터(710)는 램프신호 발생기(710)와 동기되어 있으며, 램프 신호 Vramp가 출력되면 클럭을 카운트하기 시작한다. n 비트의 카운트 값은 복수의 컬럼 메모리(725, 735)로 출력된다. 디지털 카운터(710)가 주어진 시간(Vramp값이 시작점에서 종료점까지의 시간) 동안 카운터의 수가 256개면 8bit, 1024개면 10bit, 4096개면 12bit의 정확도를 갖게 된다. 따라서 카운터의 속도가 아날로그-디지털 변환기의 해상도를 결정한다.
복수의 컬럼 메모리(725, 735)는 디지털 코드 결정 신호 Vc1, Vc2가 입력될 때 디지털 카운터(710)로부터 수신한 카운트 값 D1 및 D2를 저장한다.
한편, 컬럼 패러럴 아날로그-디지털 변환기는 동일한 방식으로 깊이 전압 신호 Vdepth를 디지털 깊이 코드로 변환할 수 있다.
도 8은 도 7의 램프 신호 발생기로부터 출력되는 예시적인 램프 신호를 설명하기 위한 도면이다.
도 7에서 설명한 바와 같이, 램프 신호 Vramp는 아날로그-디지털 변환에 이용되며, 특히 램프 신호 Vramp의 기울기를 이용하여 화소 신호의 이득을 결정할 수 있다. 도 8에 도시된 바와 같이, 비선형 램프 신호 Vramp전압을 생성할 경우, 초기 기울기가 높을 때에는 음의 이득을 주는 효과가 나타나고 점차 기울기가 완만해지면서 이득이 1이 되며, 후반부로 갈수록 기울기가 완만해져서 양의 이득을 주는 효과가 나타난다.
도 8과 같은 파형을 갖는 비선형 램프 신호 Vramp를 생성하는 이유는, 보조 광원에서 조사되어 피사체에 반사된 후 이미지센서에 입사된 보조광에 의한 광세기 증가 효과는 4R2에 반비례하기 때문이다. 즉, 가까운 피사체와 상대적으로 멀리 있는 피사체의 광세기 변화는 비선형적이다. 그러므로, 이를 아날로그 회로를 이용하여 선형적으로 보정하기 위한 것이다. 이러한 비선형성은 ISP와 같은 디지털 연산기능을 갖는 부분에 의해 쉽게 보정될 수는 있지만, 복잡한 알고리즘과 연산상의 부하를 증가시킬 수 있다. 따라서, 이를 아날로그적으로 처리함으로써, 보다 다양한 기울기 생성에 대한 제어방식을 통해 거리에 대한 대응성을 높일 수 있게 된다.
도 9는 도 3에 도시된 ADC의 다른 예시적인 구성을 설명하기 위한 도면이다.
도 9에 도시된 예시적인 파이프라인 아날로그-디지털 변환기는 MUX(900), 컬럼 디코더(910), 이득 버퍼(920), 샘플 앤 홀드(930), 아날로그-디지털 변환기(940), 및 메모리(950)를 포함할 수 있다. MUX(900)는 상관 이중 샘플링(330)으로부터 입력된 잡음이 포함된 두 개의 전압 신호 Vreset과 Vimage 쌍은 컬럼 디코더(910)의 제어에 의해 이득 버퍼(920)로 각각 출력하여 Vimage_cds가 된다. 이득 버퍼(920)는 MUX(900)을 통해서 발생할 수 있는 전송 손실을 줄이기 위하여 구비될 수 있으며 직접 샘플 앤 홀더(930)의 입력 커패시터로 사용될 경우 이득 버퍼(920)은 생략될 수 있다. 샘플 앤 홀드(930)는 상관 이중 샘플링(330)의 DC 데이터를 Fully Differential 형태의 데이터로 변환하는 과정에서 이미지 전압 신호 Vimage_cds를 샘플링한다. 아날로그-디지털 변환기(940)는 샘플링된 이미지 전압 신호 Vimage_cds를 디지털 이미지 코드로 변환하며, 변환된 디지털 이미지 코드는 메모리(950)에 저장된다.
한편, 파이프라인 아날로그-디지털 변환기는 동일한 방식으로 깊이 전압 신호 Vdepth를 디지털 깊이 코드로 변환할 수 있다. 이를 위해, 파이프라인 아날로그-디지털 변환기는 디지털 깊이 코드를 저장할 수 있는 메모리를 더 구비할 수 있다.
도 10은 깊이 정보를 생성하는 이미지 센서의 다른 구조를 예시적으로 도시한 도면이다.
예시적인 이미지 센서는 화소 어레이(300), 로 디코더(310), 전류-전압 변환기(320), 상관 이중 샘플링(330), 깊이 정보 변환기(340), 아날로그-디지털 변환기(350), 및 타이밍 생성기(360)를 포함할 수 있다. 도 3에서 설명된 부분과 차이가 있는 부분을 위주로 설명한다.
전류-전압 변환기(320)는 화소 전류 Ipixel에 상응하는 이미지 전압 신호 Vimage 및 제어 신호 Vcontrol을 출력한다. 전류-전압 변환기(320)가 출력한 리셋 전압 신호 Vreset는 상관 이중 샘플링(330)에서 잡음 제거에 이용된다. 리셋 전압 신호 Vreset는 제1 커패시터(460)의 리셋시 전압이다. 한편, 리셋 전압 신호 Vreset는 제2 커패시터(470)의 리셋시 전압일 수도 있다.
리셋 전압 신호 Vreset1은 제1 커패시터(460)의 리셋시 전압인 경우, 상관 이중 샘플링(330)은 리셋 전압 신호 Vreset1과 이미지 전압 신호 Vimage를 상관 이중 샘플링하여 잡음을 제거한다. 그리고, 리셋 전압 신호 Vreset2를 이용하여 깊이 전압 신호 Vdepth의 잡음을 제거한다. 즉, 상관 이중 샘플링(330)은 제1 커패시터(460)의 리셋 전압 신호 Vreset2를 제2 커패시터(470)의 리셋시 전압으로 이용할 수 있다.
리셋 전압 신호 Vreset1 및 Vreset2는 제1 커패시터(460) 및 제2 커패시터(470)에 대해 각각 출력되는 경우, 상관 이중 샘플링(330)는 제1 커패시터(460)의 리셋 전압 신호 Vreset1을 이용하여 이미지 전압 신호 Vimage의 잡음을 제거하고, 제2 커패시터(470)의 리셋 전압 신호 Vreset2를 이용하여 깊이 전압 신호 Vdepth의 잡음을 제거할 수 있다.
아날로그-디지털 변환기(350)는 상관 이중 샘플링(330)에 의해 잡음 제거된 이미지 전압 신호 Vimage_cds 및 깊이 전압 신호 Vdepth_cds를 디지털 이미지 코드 및 디지털 깊이 코드로 변환한다
도 11은 깊이 정보를 생성하는 이미지 센서의 또 다른 구조를 예시적으로 도시한 도면이다.
예시적인 이미지 센서는 화소 어레이(300), 로 디코더(310), 전류-전압 변환기(320), 상관 이중 샘플링(330), 깊이 정보 변환기(340), 아날로그-디지털 변환기(350), 및 타이밍 생성기(360)를 포함할 수 있다. 도 3에서 설명된 부분과 차이가 있는 부분을 위주로 설명한다.
깊이 정보 변환기(340)는 디지털 깊이 코드를 출력한다. 도 6a에 도시된 깊이 정보 변환기는 제어 신호 Vcontrol의 상태가 변경되는 시점을 검출하여 카운트 값을 출력할 수 있다. 출력된 카운트 값은 디지털 깊이 코드일 수 있다. 한편, 깊이 정보 변환기(340)는 카운트 값에 대응하는 디지털 깊이 코드를 출력할 수도 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
300 : 화소 어레이
310: 로 디코더
320: 전류-전압 변환기
330: 상관 이중 샘플링
340: 깊이 정보 변환기
350: 아날로그-디지털 변환기
360: 타이밍 생성기

Claims (21)

  1. 깊이 정보를 생성하는 이미지 센서에 있어서,
    이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류와 깊이 전류를 출력하는 단위 화소;
    상기 이미지 전류 및 상기 깊이 전류가 상기 단위 화소로부터 출력되는 검출시간을 제어하는 인티그레이션 트랜지스터;
    상기 이미지 전류에 의해 충전되는 제1 커패시터;
    상기 깊이 전류에 의해 충전되는 제2 커패시터;
    상기 제1 커패시터의 전압을 증폭하여 이미지 전압 신호를 출력하는 증폭기; 및
    상기 깊이 정보 검출 과정에 상기 제1 커패시터의 전압 및 상기 제2 커패시터의 전압을 비교하여 디지털 깊이 코드를 생성하기 위한 제어 신호를 출력하는 비교기를 더 포함하되,
    동일한 로(row)에 위치한 상기 단위 화소들은 상기 이미지 정보 검출 과정과 상기 깊이 정보 검출 과정을 연속하여 수행하는 이미지 센서.
  2. 제1항에 있어서,
    상기 제1 커패시터의 전압이 상기 이미지 정보 검출 과정에는 상기 증폭기에 인가되고, 상기 깊이 정보 검출 과정에는 상기 비교기에 인가되도록 스위칭하는 제1 스위치; 및
    상기 제2 커패시터 전압이 상기 깊이 정보 검출 과정에 상기 증폭기에 인가되도록 스위칭 하는 제2 스위치를 더 포함하는 이미지 센서.
  3. 제1항에 있어서,
    전류원;
    상기 제어 신호에 의해 상기 전류원의 전류 출력을 제어하는 트랜스퍼 트랜지스터;
    상기 트랜스퍼 트랜지스터에 의해 제어된 전류에 의해 충전되는 깊이 전압 커패시터; 및
    상기 깊이 전압 커패시터에 의한 깊이 전압 신호를 디지털 깊이 코드로 변환하는 아날로그-디지털 변환기를 더 포함하는 이미지 센서.
  4. 제3항에 있어서, 상기 전류원은 비선형 전류원인 이미지 센서.
  5. 제3항에 있어서, 상기 이미지 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함하는 이미지 센서.
  6. 제3항에 있어서, 상기 이미지 전압 신호 및 상기 깊이 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함하는 이미지 센서.
  7. 제3항에 있어서, 상기 아날로그-디지털 변환기는 상기 이미지 전압 신호와 상기 깊이 전압 신호를 연속적으로 디지털 이미지 코드와 상기 디지털 깊이 코드로 변환하는 이미지 센서.
  8. 제3항에 있어서, 상기 아날로그-디지털 변환기는 컬럼 패러럴 아날로그-디지털 변환기인 이미지 센서.
  9. 제1항에 있어서, 상기 제어 신호가 변화하는 시점에 검출된 카운트 값을 이용하여 디지털 깊이 코드를 생성하는 깊이 정보 변환기를 더 포함하는 이미지 센서.
  10. 제1항에 있어서, 상기 이미지 정보 검출 과정에 상기 제1 커패시터를 리셋하고, 상기 깊이 정보 검출 과정에 상기 제2 커패시터를 리셋하는 리셋 트랜지스터를 더 포함하는 이미지 센서.
  11. 깊이 정보를 생성하는 이미지 센서에 있어서,
    이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류 및 깊이 전류를 출력하는 복수의 단위 화소로 구성된 화소 어레이;
    상기 이미지 정보 검출 과정에 상기 단위 화소의 출력을 이미지 전압 신호로 변환하고, 상기 깊이 정보 검출 과정에 상기 단위 화소의 출력을 제어 신호로 변환하는 전류-전압 변환기;
    상기 제어 신호를 이용하여 깊이 전압 신호를 생성하는 깊이 정보 변환기; 및
    상기 이미지 전압 신호 및 상기 깊이 전압 신호를 디지털 이미지 코드 및 디지털 깊이 코드로 변환하는 아날로그-디지털 변환기를 포함하는 이미지 센서.
  12. 깊이 정보를 생성하는 이미지 센서에 있어서,
    이미지 정보 검출 과정에 입사되는 자연광과 깊이 정보 검출 과정에 입사되는 자연광 및 보조광을 광전변환하여 이미지 전류 및 깊이 전류를 출력하는 복수의 단위 화소로 구성된 화소 어레이;
    상기 이미지 정보 검출 과정에 상기 단위 화소의 출력을 이미지 전압 신호로 변환하고, 상기 깊이 정보 검출 과정에 상기 단위 화소의 출력을 제어 신호로 변환하는 전류-전압 변환기;
    상기 제어 신호가 변화하는 시점에 검출된 카운트 값을 이용하여 디지털 깊이 코드를 생성하는 깊이 정보 변환기; 및
    상기 이미지 전압 신호를 디지털 이미지 코드로 변환하는 아날로그-디지털 변환기를 포함하는 이미지 센서.
  13. 제11항 또는 제12항에 있어서, 상기 전류-전압 변환기는,
    검출시간 동안 상기 이미지 전류 및 상기 깊이 전류가 상기 단위 화소로부터 출력되도록 하는 인티그레이션 트랜지스터;
    상기 이미지 전류에 의해 충전되는 제1 커패시터;
    상기 깊이 전류에 의해 충전되는 제2 커패시터;
    상기 제1 커패시터의 전압을 증폭하여 상기 이미지 전압 신호를 출력하는 증폭기;
    상기 깊이 정보 검출 과정에 상기 제1 커패시터의 전압 및 상기 제2 커패시터의 전압을 비교하여 디지털 깊이 코드를 생성하기 위한 상기 제어 신호를 출력하는 비교기;
    상기 제1 커패시터의 전압이 상기 이미지 정보 검출 과정에는 상기 증폭기에 인가되고, 상기 깊이 정보 검출 과정에는 상기 비교기에 인가되도록 스위칭하는 제1 스위치; 및
    상기 제2 커패시터 전압이 상기 깊이 정보 검출 과정에 상기 증폭기에 인가되도록 스위칭하는 제2 스위치를 포함하는 이미지 센서.
  14. 제11항 또는 제12항에 있어서, 상기 보조광은 상기 깊이 정보 검출 과정동안 턴온된 보조 광원에 의해 조사되는 이미지 센서.
  15. 제11항 또는 제12항에 있어서, 상기 아날로그-디지털 변환기는
    램프 신호를 생성하는 램프 신호 발생기;
    상기 램프 신호가 생성되면 클럭을 카운트하는 디지털 카운터;
    상기 램프 신호와 상기 이미지 전압 신호를 비교하는 비교기; 및
    상기 비교기에 의해 상기 램프 신호와 상기 이미지 전압 신호가 같아질 때 상기 디지털 카운터의 카운트 값을 상기 디지털 이미지 코드로 저장하는 메모리를 포함하는 컬럼 패러럴 아날로그 디지털 변환기인 이미지 센서.
  16. 제15항에 있어서, 상기 램프 신호 발생기는 기울기가 감소하는 비선형 램프 신호인 이미지 센서.
  17. 제11항 또는 제12항에 있어서, 상기 아날로그-디지털 변환기는 파이프라인 아날로그-디지털 변환기인 이미지 센서.
  18. 제11항 또는 제12항에 있어서, 상기 이미지 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함하는 이미지 센서.
  19. 제11항에 있어서, 상기 이미지 전압 신호 및 상기 깊이 전압 신호의 잡음을 제거하여 상기 아날로그-디지털 변환기로 출력하는 상관 이중 샘플링을 더 포함하는 이미지 센서.
  20. 제11항에 있어서, 상기 깊이 정보 변환기는
    전류원;
    상기 제어 신호에 의해 상기 전류원의 전류 출력을 제어하는 트랜스퍼 트랜지스터; 및
    상기 트랜스퍼 트랜지스터에 의해 제어된 전류에 의해 충전되는 깊이 전압 커패시터를 포함하는 이미지 센서.
  21. 제20항에 있어서, 상기 전류원은 비선형 전류원인 이미지 센서.
KR20130115513A 2013-09-27 2013-09-27 깊이 정보를 생성하는 이미지 센서 KR101502122B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130115513A KR101502122B1 (ko) 2013-09-27 2013-09-27 깊이 정보를 생성하는 이미지 센서
PCT/KR2014/007010 WO2015046735A1 (ko) 2013-09-27 2014-07-30 깊이 정보를 생성하는 이미지 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130115513A KR101502122B1 (ko) 2013-09-27 2013-09-27 깊이 정보를 생성하는 이미지 센서

Publications (1)

Publication Number Publication Date
KR101502122B1 true KR101502122B1 (ko) 2015-03-13

Family

ID=52743821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130115513A KR101502122B1 (ko) 2013-09-27 2013-09-27 깊이 정보를 생성하는 이미지 센서

Country Status (2)

Country Link
KR (1) KR101502122B1 (ko)
WO (1) WO2015046735A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760378B1 (ko) * 2015-11-13 2017-07-24 고려대학교 산학협력단 깊이 카메라용 적외선 이미지 센서
WO2019066370A1 (ko) * 2017-09-26 2019-04-04 삼성전자 주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
JP2019109240A (ja) * 2017-12-19 2019-07-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル及びイメージセンサーの動作方法並びにシステム
JP2023022138A (ja) * 2017-02-15 2023-02-14 パイオニア株式会社 光走査装置及び制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078134B2 (en) * 2015-05-06 2018-09-18 Texas Instruments Incorporated ADC design for differential and common mode signals
WO2016179471A1 (en) * 2015-05-06 2016-11-10 Texas Instruments Incorporated Adc design for differential and common mode signals
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510561A (ja) * 1999-09-22 2003-03-18 カネスタ インコーポレイテッド Ｃｍｏｓ互換３次元画像センサｉｃ
JP2005291985A (ja) * 2004-04-01 2005-10-20 National Univ Corp Shizuoka Univ オフセット低減機能をもつｔｏｆ距離センサ
JP2008219370A (ja) * 2007-03-02 2008-09-18 Canon Inc 撮像装置
KR20090097416A (ko) * 2008-03-11 2009-09-16 삼성전자주식회사 주변 광 제거를 위한 ｃｍｏｓ 센서의 픽셀 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003510561A (ja) * 1999-09-22 2003-03-18 カネスタ インコーポレイテッド Ｃｍｏｓ互換３次元画像センサｉｃ
JP2005291985A (ja) * 2004-04-01 2005-10-20 National Univ Corp Shizuoka Univ オフセット低減機能をもつｔｏｆ距離センサ
JP2008219370A (ja) * 2007-03-02 2008-09-18 Canon Inc 撮像装置
KR20090097416A (ko) * 2008-03-11 2009-09-16 삼성전자주식회사 주변 광 제거를 위한 ｃｍｏｓ 센서의 픽셀 및 그 동작방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760378B1 (ko) * 2015-11-13 2017-07-24 고려대학교 산학협력단 깊이 카메라용 적외선 이미지 센서
JP2023022138A (ja) * 2017-02-15 2023-02-14 パイオニア株式会社 光走査装置及び制御方法
WO2019066370A1 (ko) * 2017-09-26 2019-04-04 삼성전자 주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
US11350040B2 (en) 2017-09-26 2022-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling camera on basis of external light, and control method therefor
JP2019109240A (ja) * 2017-12-19 2019-07-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル及びイメージセンサーの動作方法並びにシステム

Also Published As

Publication number Publication date
WO2015046735A1 (ko) 2015-04-02

Similar Documents

Publication Publication Date Title
KR101502122B1 (ko) 깊이 정보를 생성하는 이미지 센서
TWI771302B (zh) 影像感測器及影像處理方法
TWI386046B (zh) 固態成像器件、驅動其之方法、用於其之信號處理方法以及成像裝置
JP5858695B2 (ja) 固体撮像装置及び固体撮像装置の駆動方法
CN106470322B (zh) 减轻图像传感器的列固定图案噪声的读出电路
US9100605B2 (en) Global shutter with dual storage
CN108391066B (zh) 集成电路图像传感器以及在其中操作的方法
US20190355782A1 (en) Imaging array with extended dynamic range
KR101573408B1 (ko) 노이즈 제거 수단을 구비한 이미지 센서, 이를 포함하는 이미지 픽업 장치 및 그 방법
US8754358B2 (en) CMOS sensor array
CN109155827B (zh) 高动态范围成像传感器阵列
US10033956B2 (en) Image sensor
JP4916517B2 (ja) 傾斜付き転送ゲート・クロックを使用するａ／ｄコンバータ
US10257451B2 (en) Comparison device and CMOS image sensor using the same
US9967499B2 (en) Readout circuit for image sensors
WO2017073353A1 (en) Adaptive gain control using sample-and-hold circuit for analog cds
KR20170132385A (ko) 아날로그-디지털 변환 장치 및 그 동작 방법
KR20190036845A (ko) 고속 및 저전력의 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서
KR20170124668A (ko) 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
EP3496275B1 (en) Multi-stage conversion analog-to-digital converter
US20170078598A1 (en) Imaging apparatus and imaging method thereof using correlated double sampling
US8963065B2 (en) Sensing device and method for operating same
CN108353141B (zh) 图像处理电路、图像处理方法和摄像装置
KR102514432B1 (ko) 비교 장치 및 그 동작 방법과 그를 이용한 씨모스 이미지 센서
US9716841B2 (en) Adaptive gain adjustment in an imaging system

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 6