KR20140147395A - 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법 - Google Patents

이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR20140147395A
KR20140147395A KR20130070563A KR20130070563A KR20140147395A KR 20140147395 A KR20140147395 A KR 20140147395A KR 20130070563 A KR20130070563 A KR 20130070563A KR 20130070563 A KR20130070563 A KR 20130070563A KR 20140147395 A KR20140147395 A KR 20140147395A
Authority
KR
South Korea
Prior art keywords
clock signal
phase
signals
photogate
source clock
Prior art date
Application number
KR20130070563A
Other languages
English (en)
Other versions
KR102061699B1 (ko
Inventor
이한수
김태찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130070563A priority Critical patent/KR102061699B1/ko
Priority to US14/291,975 priority patent/US9538101B2/en
Publication of KR20140147395A publication Critical patent/KR20140147395A/ko
Application granted granted Critical
Publication of KR102061699B1 publication Critical patent/KR102061699B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 포토 게이트 컨트롤러 및 소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함한다. 본 발명의 실시예에 따른 이미지 센서에 의하면, 기준 클럭 신호에 기초한 신호를 이용해 포토 게이트 컨트롤 신호들의 위상을 일치시켜 깊이 이미지의 품질을 높일 수 있다.

Description

이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법{AN IMAGE SENSOR, IMAGE PROCESSING SYSTEM INCLUDING THE SAME, AND AN OPERATING METHOD OF THE SAME}
본 발명의 개념에 따른 실시예는 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법에 관한 것으로, 보다 상세하게는 픽셀 어레이에 인가되는 신호의 노이즈를 제거하여 이미지 품질을 높일 수 있는 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법에 관한 것이다.
최근 스마트폰의 수요가 급증함에 따라 이에 포함되는 이미지 센서(image sensor)에 대한 개발이 활발히 이루어지고 있다. 이미지 센서는 일정 스펙트럼 밴드의 광자(photon)를 전자(electron)로 변환하는 복수의 픽셀들을 포함한다.
3차원 영상을 얻기 위해서는 색상뿐만 아니라 대상물과 이미지 센서 간의 거리(depth)에 관한 정보를 얻을 필요가 있다. 이미지 센서로부터 대상물까지의 거리 정보를 얻는 방법은 크게 액티브(active)와 패시브(passive) 방식으로 나눌 수 있다.
액티브 방식은 대상물에 변조광을 조사하고 반사되어 돌아온 광을 감지하여 위상의 변화로부터 거리를 계산하는 TOF 방식(time-of-flight)과 센서로부터 일정 거리에 있는 레이저(laser) 등에 의해 조사되고 반사된 광의 위치를 감지하여 삼각측량을 이용하여 거리를 계산하는 삼각(triangulation) 방식이 대표적이다. 패시브 방식은 광을 조사하지 않고 영상 정보만을 이용하여 물체까지의 거리를 계산하는 방식으로 스테레오 카메라(stereo camera)가 대표적이다.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식의 이미지 센서에 있어서 픽셀 어레이에 인가되는 신호의 위상을 조절함으로써, 이미지 품질을 높일 수 있는 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 포토 게이트 컨트롤러 및 소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함한다.
실시예에 따라 상기 복수의 복조 신호들과 기준 클럭 신호를 동일한 PVT 조건으로 전달하는 단계를 더 포함한다.
실시예에 따라 기준 클럭 신호의 위상과 반대의 위상을 갖는 상기 소스 클럭 신호를 생성하는 단계를 더 포함하는 이미지 센서의 동작 방법.
실시예에 따라 상기 복수의 복조 신호들의 위상들을 조절하는 단계는 상기 소스 클럭 신호의 상승 엣지(rising edge)에 따라 상기 복수의 복조 신호들의 위상들을 변경하는 단계이다.
실시예에 따라 상기 위상이 조절된 복수의 복조 신호들에 따라 출력되는 픽셀 신호들을 리드아웃한 이미지 데이터를 출력하는 단계 및 상기 이미지 데이터를 기초로 TOF(Time Of Flight) 방식으로 깊이 이미지 데이터를 생성하는 단계를 더 포함한다.
실시예에 따라 상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향으로 인가된다.
실시예에 따라 상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향 및 상기 A 방향과 반대인 B 방향으로 인가된다.
실시예에 따라 상기 복수의 로우들 각각은 2-tap 구조의 픽셀들을 포함한다.
본 발명의 실시예에 따른 이미지 센서는 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 포토 게이트 컨트롤러 및 소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함한다.
실시예에 따라 상기 복수의 복조 신호들과 기준 클럭 신호를 동일한 PVT 조건으로 전달하는 타이밍 제네레이터를 더 포함한다.
실시예에 따라 상기 타이밍 제네레이터는 상기 복수의 복조 신호들을 전달하는 복수의 제1 버퍼그룹들과 상기 기준 클럭 신호를 전달하는 제2 버퍼 그룹을 포함하고, 상기 복수의 제1 버퍼 그룹들과 상기 제2 버퍼 그룹 각각이 포함하는 버퍼의 개수는 상기 복수의 복조 신호들과 상기 기준 클럭 신호가 전달되는 경로에 따라 결정된다.
실시예에 따라 상기 포토 게이트 컨트롤러는 기준 클럭 신호를 입력받아 상기 복수의 복조 신호들을 생성하고, 상기 복수의 복조 신호들 각각의 위상은 제1 위상 내지 제4 위상 중 어느 하나이고, 상기 복수의 복조 신호들 각각의 주파수는 상기 기준 클럭 신호의 주파수보다 작다.
실시예에 따라 상기 포토 게이트 드라이버는 기준 클럭 신호의 위상과 반대의 위상을 갖는 상기 소스 클럭 신호를 생성한다.
실시예에 따라 상기 포토 게이트 드라이버는 상기 소스 클럭 신호의 상승 엣지(rising edge)에 따라 상기 복수의 복조 신호들의 위상들을 변경하는 위상 매칭 블록을 포함한다.
실시예에 따라 상기 위상 매칭 블록은 각각이 상기 복수의 복조 신호들의 위상들을 변경하는 복수의 D-플립플롭들을 포함한다.
실시예에 따라 상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향으로 인가된다.
실시예에 따라 상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향 및 상기 A 방향과 반대인 B 방향으로 인가된다.
실시예에 따라 상기 픽셀 어레이는 각각이 입사광에 따라 생성된 광전하를 상기 위상이 조절된 복수의 복조 신호들에 따라 센싱하여 픽셀 신호를 출력하는 복수의 픽셀들을 포함한다.
실시예에 따라 상기 복수의 픽셀들 각각은 2-탭(2-tap) 구조의 픽셀이다.
실시예에 따라 상기 픽셀 신호들을 아날로그-디지털 변환한 이미지 데이터를 출력하는 리드아웃 회로 및 상기 픽셀 어레이를 로우 단위로 구동하는 제어 신호들을 출력하는 로우 디코더를 더 포함한다.
본 발명의 실시예에 따른 이미지 센서는 각각이 입사광에 따라 생성된 광전하를 센싱하여 픽셀 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀 어레이 및 소스 클럭 신호에 따라 상기 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함한다.
실시예에 따라 상기 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 포토 게이트 컨트롤러 및 상기 복수의 복조 신호들과 기준 클럭 신호를 동일한 PVT 조건으로 전달하는 타이밍 제네레이터를 더 포함한다.
실시예에 따라 상기 포토 게이트 드라이버는 기준 클럭 신호의 위상과 반대의 위상을 갖는 상기 소스 클럭 신호를 생성한다.
실시예에 따라 상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향 및 상기 A 방향과 반대인 B 방향으로 인가된다.
본 발명의 실시예에 따른 이미지 처리 시스템은 입사광에 따라 생성된 광전하를 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들에 따라 생성된 픽셀 신호들에 기초하여 이미지 데이터를 생성하는 이미지 센서 및 상기 이미지 데이터를 기초로 TOF(Time Of Flight) 방식으로 깊이 이미지 데이터를 생성하는 ISP를 포함하며, 상기 이미지 센서는 소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함한다.
본 발명의 실시예에 따른 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법에 의하면, 기준 클럭 신호에 기초한 신호를 이용해 포토 게이트 컨트롤 신호들의 위상을 일치시켜 깊이 이미지의 품질을 높일 수 있다.
또한, 본 발명의 실시예에 따른 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법에 의하면, 상기 기준 클럭 신호와 상기 포토 게이트 컨트롤 신호들을 동일한 PVT 조건으로 전달하여 포토 게이트 컨트롤 신호들의 위상을 보다 정확히 일치시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.
도 3은 도 2에 도시된 단위 픽셀의 구조의 일 실시 예를 설명하기 위한 도면이다.
도 4는 도 2에 도시된 단위 픽셀의 구조의 다른 실시 예를 설명하기 위한 도면이다.
도 5는 도 2에 도시된 포토 게이트 컨트롤러를 상세히 나타낸 블록도이다.
도 6은 도 5에 도시된 포토 게이트 컨트롤러의 동작을 설명하기 위한 타이밍도이다.
도 7은 도 2에 도시된 타이밍 제네레이터를 상세히 나타낸 블록도이다.
도 8은 도 2에 도시된 포토 게이트 드라이버의 일 실시예를 나타낸 블록도이다.
도 9는 도 2에 도시된 포토 게이트 드라이버의 다른 실시예를 나타낸 블록도이다.
도 10 내지 도 13 각각은 도 8 및 도 9에 도시된 위상 매칭 블록의 동작을 설명하기 위한 타이밍도이다.
도 14는 도 8 및 도 9에 도시된 포토 게이트 드라이버의 효과를 설명하기 위한 도면이다.
도 15는 도 2에 도시된 이미지 센서의 동작 방법을 간략히 설명하기 위한 흐름도이다.
도 16은 도 2에 도시된 이미지 센서의 동작 방법을 상세히 설명하기 위한 흐름도이다.
도 17은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 18은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 1을 참조하면, 이미지 처리 시스템(image processing system; 10)은 이미지 센서(image sensor; 100), 이미지 신호 프로세서(image signal processor(ISP); 200), 디스플레이 유닛(display unit; 205) 및 CPU(central processing unit; 210)를 포함할 수 있다.
실시 예에 따라, 이미지 처리 시스템(10)은 시스템 온 칩(system on chip; SoC)으로 구현될 수 있다.
다른 실시 예에 따라, 이미지 센서(100), ISP(200), 및 CPU(210)는 시스템 온 칩으로 구현될 수 있다.
이미지 처리 시스템(10)은 대상(object,1)의 깊이(depth) 정보를 획득할 수 있는 깊이 센서(depth sensor)의 기능 및/또는 대상(object,1)의 컬러(color) 정보를 획득할 수 있는 컬러 센서(color sensor)의 기능을 수행할 수 있다.
실시 예에 따라, 이미지 센서(100)가 깊이 센서 픽셀들을 포함하는 경우, 이미지 센서(100)는 CPU(210)로부터 전송된 기준 클럭 신호(CK_REF)에 따라, 상기 깊이 센서 픽셀들 각각으로부터 출력되는 픽셀 신호에 기초하여 대상의 깊이 정보(또는 깊이 이미지)에 대응되는 이미지 데이터(IDATA)를 ISP(200)로 전송할 수 있다.
다른 실시 예에 따라, 이미지 센서(100)가 컬러 센서 픽셀들을 포함하는 경우, 이미지 센서(100)는 CPU(210)로부터 전송된 기준 클럭 신호(CK_REF)에 따라, 상기 컬러 센서 픽셀들 각각으로부터 출력되는 픽셀 신호에 기초하여 대상의 컬러 정보를 포함하는 이미지 데이터(IDATA)를 ISP(200)로 전송할 수 있다.
실시 예에 따라, 이미지 센서(100)는 별개의 칩으로 구현될 수 있다. 이미지 센서(100)는 CMOS 이미지 센서 칩으로 구현될 수 있다.
ISP(200)는 수신된 이미지 데이터(IDATA)를 이용하여 TOF(Time Of Flight) 방식으로 거리 정보를 생성하고, 상기 거리 정보를 기초로 깊이 이미지 데이터(IDATA_D)를 생성할 수 있다. 실시 예에 따라, ISP(200)는 이미지 데이터(IDATA)를 프레임 단위로 처리 또는 구성할 수 있다.
또한, ISP(200)는 이미지 데이터(IDATA)의 명암(light and shade), 대비 (contrast), 및/또는 채도(chroma) 등을 보정할 수 있다.
ISP(200)는 깊이 이미지 데이터(IDATA_D)를 디스플레이 유닛(205)으로 전송할 수 있다. ISP(200)는 기준 클럭 신호(CK_REF)에 동기화되어 동작할 수 있다.
디스플레이 유닛(205)은 깊이 이미지 데이터(IDATA_D)를 디스플레이할 수 있는 디스플레이를 의미할 수 있다. 실시 예에 따라 디스플레이 유닛(205)은 LCD(Liquid Crystal Display), LED 디스플레이, OLED 디스플레이, AMOLED(Active Matrix Organic Light Emitting Diodes) 디스플레이, 또는 플렉시블 디스플레이(flexible display) 등으로 구현될 수 있다.
CPU(210)는 클럭 신호를 생성할 수 있는 유닛, 예컨대 PLL(Phase Locked Loop) 회로와 오실레이터(oscillator) 등을 이용하여 기준 클럭 신호(CK_REF)를 생성하고, 기준 클럭 신호(CK_REF)를 이미지 센서(100)와 ISP(200)로 전송할 수 있다.
실시예에 따라 상기 클럭 신호를 생성할 수 있는 유닛은 CPU(210)과 독립적으로 구현될 수 있고, 기준 클럭 신호(CK_REF)는 이미지 처리 시스템(10)의 외부로부터 수신될 수 있다.
도 2는 도 1에 도시된 이미지 센서의 일 실시 예에 따른 블록도이다.
설명의 편의를 위해 대상(object;1)이 이미지 센서(100)와 함께 도시된다.
도 2를 참조하면, 이미지 센서(100)는 광원(light source;20), 적외선 통과 필터(IR pass filter;22), 픽셀 어레이(pixel array;24), 리드아웃 회로(readout circuit;28), 타이밍 컨트롤러(timing controller;30), 로우 디코더(row decoder;34), 광원 구동기(light source driver;36), 포토 게이트 컨트롤러(photo gate controller;40), 타이밍 제네레이터(timing generator;50) 및 포토 게이트 드라이버(photo gate driver;60)을 포함할 수 있다.
이미지 센서(100)는 TOF(time of flight) 원리를 이용하여 대상(1)의 깊이 정보(또는 깊이 이미지)에 대응되는 이미지 데이터(IDATA)를 얻을 수 있다.
실시 예에 따라, 이미지 센서(100)는 롤링 셔터(rolling shutter) 방식 또는 글로벌 셔터(global shutter) 방식으로 동작할 수 있다.
광원(20)은 광원 구동기(36)의 제어 신호(MLS)에 따라 대상(1)으로 변조된 광신호, 예컨대 적외선을 방사할 수 있다.
적외선 통과 필터(22)는 광원(20)으로부터 방사되어 대상(1)으로부터 반사된 광신호만을 픽셀 어레이(24)로 통과시킬 수 있다.
픽셀 어레이(24)는 복수의 단위 픽셀들(26)을 포함할 수 있다. 복수의 단위 픽셀들(26) 각각은 도 3과 도 4를 참조하여 상세히 설명된다.
실시 예에 따라, 복수의 단위 픽셀들(26) 각각은 TOF 센서 픽셀로 구현될 수 있다.
리드아웃 회로(28)는 픽셀 어레이(24)로부터 출력된 픽셀 신호들에 기초하여 이미지 데이터(IDATA)를 생성할 수 있다.
실시예에 따라, 리드아웃 회로(28)는 픽셀 어레이(110)에서 선택되는 로우(row)로부터 픽셀 신호 즉, 리셋 신호와 영상 신호에 대해 상관 이중 샘플링을 수행하는 CDS(Correlated Double Sampling;미도시), 램프 신호(Vramp)와 CDS(미도시)로부터 출력되는 상관 이중 샘플링된 신호를 비교하여 그 결과 신호를 카운팅하여 디지털 신호를 생성하는 ADC(Analog Digital Converter;미도시), 및 ADC(미도시)로부터 출력된 디지털 신호를 임시 저장한 후 센싱하고 증폭하여 출력하는 버퍼(buffer;미도시)를 포함할 수 있다.
타이밍 컨트롤러(30)는 CPU(210)로부터 전송된 기준 클럭 신호(CK_REF)에 기초하여, 이미지 센서(100)의 구성들(리드아웃 회로(28), 로우 디코더(34), 광원 구동기(36), 및/또는 포토 게이트 컨트롤러(40))을 제어할 수 있다.
로우 디코더(34)는 타이밍 컨트롤러(30)로부터 출력된 다수의 로우 제어 신호들, 예컨대 로우 어드레스 신호들을 디코딩(decoding)하고 디코딩 결과에 따라 픽셀 어레이(24)의 복수의 로우들 중 특정 로우 라인을 구동시킬 수 있다. 로우 디코더(34)는 픽셀 어레이(24)의 복수의 로우들 중 특정 로우 라인을 구동하기 위해 복수의 제어 신호들(예컨대, 도 3과 도 4의 리셋 신호와 선택 신호)을 출력할 수 있다. 로우 디코더(34)는 로우 라인을 구동시키기 위한 로우 드라이버(row driver)을 포함하는 개념을 의미할 수 있다.
광원 구동기(36)는 타이밍 컨트롤러(30)의 제어에 따라 광원(20)을 구동하기 위한 제어 신호(MLS)를 생성할 수 있다.
포토 게이트 컨트롤러(40)는 타이밍 컨트롤러(30)로부터 출력된 기준 클럭 신호(CK_REF)를 버퍼링하여 출력하고, 기준 클럭 신호(CK_REF)를 이용하여 포토 게이트 컨트롤 신호들(PG:PG1~PGn)을 생성할 수 있다. 포토 게이트 컨트롤 신호들(PG1~PGn)은 픽셀 어레이(24)의 복수의 로우들에 각각 대응하는 복수의 복조 신호들에 해당한다. 포토 게이트 컨트롤러(32)는 도 5 및 도 6을 참조하여 상세히 설명된다.
타이밍 제네레이터(50)는 포토 게이트 컨트롤 신호들(PG)과 기준 클럭 신호(CK_REF)를 동일한 PVT(Power Voltage Temperature) 조건으로 전달할 수 있다. 타이밍 제네레이터(50)는 도 7을 참조하여 상세히 설명된다.
포토 게이트 드라이버(60)는 기준 클럭 신호(CK_REF)를 반전 즉, 위상을 180도 이동시켜 소스 클럭 신호(CK_SRC)를 생성할 수 있다. 포토 게이트 드라이버(60)는 소스 클럭 신호(CK_SRC)에 따라 복수의 포토 게이트 컨트롤 신호들(PG)의 위상들을 조절할 수 있다. 포토 게이트 드라이버(60)는 도 8 내지 도 14를 참조하여 상세히 설명된다.
도 3은 도 2에 도시된 단위 픽셀의 구조의 일 실시 예를 설명하기 위한 도면이다.
도 2와 도 3을 참조하면, 각 단위 픽셀(26-1)은 1-탭(tap) 구조를 가질 수 있다.
단위 픽셀(26-1)은 포토 다이오드(PD), 포토 트랜지스터(PX), 플로팅 디퓨젼 노드(FD), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다.
여기서, 포토 다이오드(PD)는 광전 변환 소자의 예시로서, 포토트랜지스터(photo transistor), 포토 게이트(photo gate), 핀드 포토다이오드(pinned photo diode(PPD)) 및 이들의 조합 중에서 적어도 하나일 수 있다.
도 3에서는 하나의 포토다이오드(PD)와 4개의 MOS트랜지스터들(PX, RX, DX, 및 SX)을 포함하는 4T 구조의 단위 픽셀을 예시하고 있지만, 본 발명에 따른 실시 예가 이에 한정되는 것은 아니다.
단위 픽셀(26-1)의 동작을 살펴보면, 포토 다이오드(PD)는 입사되는 광의 세기에 따라 가변되는 광전하를 생성한다.
포토 트랜지스터(PX)는 포토 게이트 드라이버(60)로부터 전송되는 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A~PGMi_D, 1≤i≤n;i는 정수)에 따라 상기 생성된 광전하를 플로팅 디퓨젼 노드(FD)로 전송할 수 있다. 상기 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A~PGMi_D)는 도 10 내지 도 13에서 설명되는 복수의 매칭 포토 게이트 컨트롤 신호들(PGMi_A~PGMi_D) 중 어느 하나일 수 있다.
플로팅 디퓨젼 노드(FD)에 축적된 광전하에 따른 전위에 따라 드라이브 트랜지스터(DX)는 선택 트랜지스터(SX)로 상기 광전하를 증폭하여 전송할 수 있다.
선택 트랜지스터(SX)는 드레인 단자가 드라이브 트랜지스터(DX)의 소스 단자에 연결되고, 로우 디코더(34)로부터 출력되는 선택 신호(SEL)에 따라 픽셀 신호(PIXEL)를 출력할 수 있다.
리셋 트랜지스터(RX)는 로우 디코더(34)로부터 출력되는 리셋 신호(RS)에 따라 플로팅 디퓨젼 노드(FD)를 VDD로 리셋할 수 있다.
도 4는 도 2에 도시된 단위 픽셀의 구조의 다른 실시 예를 설명하기 위한 도면이다.
도 2 내지 도 4를 참조하면, 각 단위 픽셀(26-2)은 2-탭(tap) 구조를 가질 수 있다.
각 단위 픽셀(26-2)은 제1 서브 픽셀(26-2a)과 제2 서브 픽셀(26-2b)을 포함할 수 있다. 제1 서브 픽셀(26-2a)과 제2 서브 픽셀(26-2b) 각각의 구조와 동작은 도 3의 단위 픽셀(26-1)의 구조와 동작과 실질적으로 동일하다.
다만, 제1 서브 픽셀(26-2a)은 포토 게이트 드라이버(60)로부터 전송되는 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A, PGMi_C)에 따라 동작하며, 제2 서브 픽셀(26-2b)은 포토 게이트 드라이버(60)로부터 전송되는 다른 매칭 포토 게이트 컨트롤 신호(PGMi_B, PGMi_D)에 따라 동작한다. 상기 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A, PGMi_C)와 상기 다른 매칭 포토 게이트 컨트롤 신호(PGMi_B, PGMi_D)는 동시에 제1 서브 픽셀(26-2a)와 제2 서브 픽셀(26-2b)에 각각 인가될 수 있다.
실시예에 따라 제1 서브 픽셀(26-2a)과 제2 서브 픽셀(26-2b)이 수신하는 매칭 포토 게이트 컨트롤 신호는 도 4에 한정되지 않고 PGMi_A~PGMi_D 중 서로 다른 2 개일 수 있다.
제1 서브 픽셀(26-2a)과 제2 서브 픽셀(26-2b) 각각이 수신하는 매칭 포토 게이트 컨트롤 신호 각각의 위상은 서로 다르다. 예컨대, 상기 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A, PGMi_C) 각각은 상기 다른 매칭 포토 게이트 컨트롤 신호(PGMi_B, PGMi_D) 각각과 90 도의 위상차를 가질 수 있다.
상기 하나의 매칭 포토 게이트 컨트롤 신호(PGMi_A, PGMi_C)와 상기 다른 매칭 포토 게이트 컨트롤 신호(PGMi_B, PGMi_D)의 두 신호가 함께 복수의 매칭 포토 게이트 컨트롤 신호(PGM1~PGMn) 중 어느 하나에 대응할 수 있다. 예컨대, 픽셀 어레이(24)의 제1 로우에 대응하는 매칭 포토 게이트 컨트롤 신호(PGM1)는 동시에 인가되는 제1 매칭 포토 게이트 컨트롤 신호(PGM1_A)와 제3 매칭 포토 게이트 컨트롤 신호(PGM1_C)를 포함할 수 있다.
비록 도시되지 않았으나, 각 단위 픽셀(26)은 4 개의 서브 픽셀을 포함하는 4-tap 구조를 가질 수 있고, 이 경우 복수의 매칭 포토 게이트 컨트롤 신호(PGM1~PGMn) 각각은 동시에 인가되는 4 개의 매칭 포토 게이트 컨트롤 신호를 포함할 수 있다.
도 5는 도 2에 도시된 포토 게이트 컨트롤러를 상세히 나타낸 블록도이다. 도 6은 도 5에 도시된 포토 게이트 컨트롤러의 동작을 설명하기 위한 타이밍도이다.
도 2 및 도 5를 참조하면, 포토 게이트 컨트롤러(40)는 위상 생성기(42) 및 클럭 버퍼(44)를 포함할 수 있다.
위상 생성기(42)는 기준 클럭 신호(CK_REF)를 입력받아 기준 클럭 신호(CK_REF)를 이용하여 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)을 생성할 수 있다. 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 각각은 픽셀 어레이(24)의 단위 픽셀(26)의 구조(예컨대, 1-tap, 2-tap 또는 4-tap)에 따라 동시에 인가되는 복수의 매칭 포토 게이트 컨트롤 신호들(예컨대, 도 4의 PGMi_A와 PGMi_C)의 기초가 되는 복수의 포토 게이트 컨트롤 신호들(예컨대, 도 10과 12의 PGi_A와 PGi_C)을 포함할 수 있으나, 이후의 설명은 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 각각이 하나의 타이밍에서 인가되는 하나의 포토 게이트 컨트롤 신호(예컨대, 도 3의 PGMi_A~PGMi_D 중 어느 하나)만을 포함하는 것을 전제로 한다.
실시예에 따라 위상 생성기(42)는 복수의 플립플롭들(미도시)에 기준 클럭 신호(CK_REF)를 입력하여 기준 클럭 신호(CK_REF)보다 주파수가 낮고 다양한 위상을 갖는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)을 생성할 수 있다.
클럭 버퍼(44)는 타이밍 컨트롤러(30)로부터 출력된 기준 클럭 신호(CK_REF)를 버퍼링하여 출력할 수 있다.
도 6을 참조하면, 포토 게이트 컨트롤러(40)로부터 출력되는 신호들이 도시되어 있다.
기준 클럭 신호(CK_REF)는 클럭 버퍼(44)로부터 그대로 출력된다.
제1 포토 게이트 컨트롤 신호(PGi_A) 내지 제4 포토 게이트 컨트롤 신호(PGi_D)는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 중 제i 로우(1≤i≤n;i는 정수)에 대응하는 포토 게이트 컨트롤 신호(PGi)에 해당한다. 제1 포토 게이트 컨트롤 신호(PGi_A) 내지 제4 포토 게이트 컨트롤 신호(PGi_D)는 단위 픽셀(26)이 1-tap 구조를 가질 경우 제i 로우에 순차적으로 인가될 수 있으나, 그 순서에는 제한이 없다.
제1 포토 게이트 컨트롤 신호(PGi_A)의 위상은 제2 포토 게이트 컨트롤 신호(PGi_B) 내지 제4 포토 게이트 컨트롤 신호(PGi_D) 각각의 위상과 90 도, 180 도 및 270 도의 위상차를 가진다.
또한, 제1 포토 게이트 컨트롤 신호(PGi_A) 내지 제4 포토 게이트 컨트롤 신호(PGi_D) 각각의 주파수는 기준 클럭 신호(CK_REF)의 주파수의 1/4에 해당할 수 있다. 예컨대, 기준 클럭 신호(CK_REF)의 주파수가 80 Mhz일 때, 제1 포토 게이트 컨트롤 신호(PGi_A) 내지 제4 포토 게이트 컨트롤 신호(PGi_D) 각각의 주파수는 20 Mhz일 수 있다. 제1 포토 게이트 컨트롤 신호(PGi_A) 내지 제4 포토 게이트 컨트롤 신호(PGi_D) 각각의 주파수와 기준 클럭 신호(CK_REF)의 주파수의 비율이 1/4이라는 것은 예시적인 것에 불과하며, 본 발명의 범위는 이에 한정되지 않는다. 실시예에 따라 상기 비율은 1/4 이하의 범위를 가질 수 있다.
도 7은 도 2에 도시된 타이밍 제네레이터를 상세히 나타낸 블록도이다.
도 2 및 도 7을 참조하면, 타이밍 제네레이터(50)는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 각각에 대응하는 복수의 제1 버퍼 그룹들(52_1~52_n)과 기준 클럭 신호(CK_REF)에 대응하는 제2 버퍼 그룹(53)을 포함할 수 있다.
복수의 제1 버퍼 그룹들(52_1~52_n)과 제2 버퍼 그룹(53)은 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)를 동일한 PVT(Power Voltage Temperature) 조건으로 전달할 수 있다.
이미지 센서(100)의 구조상 포토 게이트 컨트롤러(40)와 포토 게이트 드라이버(60)의 사이는 일정한 거리를 가질 수 있고, 포토 게이트 컨트롤러(40)와 포토 게이트 드라이버(60)의 사이에 존재하는 신호 전달 경로에 의한 PVT 노이즈가 발생할 수 있다. 상기 PVT 노이즈에는 웨이퍼 공정상 도핑(doping)의 불균형에 의한 노이즈, 파워 공급시 전류가 여러 소자를 통과하는 동안 전압 강하에 의한 노이즈 및 신호가 통과하는 경로의 온도 조건에 따른 노이즈를 포함한다.
신호들이 거의 유사한 경로를 통과할 경우 거의 유사한 PVT 노이즈를 포함하게 될 수 있고, 이 경우 신호들이 거의 동일한 PVT 조건을 가진다고 할 수 있다. 복수의 제1 버퍼 그룹들(52_1~52_n)과 제2 버퍼 그룹(53)은 매우 근접하여 형성되어 거의 유사한 경로로 신호들을 전달할 수 있다. 이에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)는 거의 동일한 PVT 조건을 가질 수 있다. 이에 따라, 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)는 위상의 변화를 일으키는 거의 동일한 PVT 노이즈를 가질 수 있다.
따라서, 포토 게이트 드라이버(60)가 기준 클럭 신호(CK_REF)를 기초로 생성된 소스 클럭 신호(CK_SRC)에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 일치시킬 때 보다 정확하게 일치시킬 수 있다.
복수의 제1 버퍼 그룹들(52_1~52_n) 각각은 복수의 버퍼들(54)을 포함할 수 있다. 또한, 제2 버퍼 그룹(53) 역시 복수의 버퍼들(54)을 포함할 수 있다. 복수의 버퍼들(54) 각각은 수신하는 신호의 전달 속도를 빠르게 할 수 있다. 복수의 제1 버퍼 그룹들(52_1~52_n)과 제2 버퍼 그룹(53) 각각이 포함하는 버퍼들(54)의 개수는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)가 각각 전달되는 경로에 따라 결정될 수 있고, 서로 다를 수 있다.
즉, 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)가 전달되는 경로는 다를 수 있고, 다른 경로로 인해 위상차가 발생하지 않도록 복수의 제1 버퍼 그룹들(52_1~52_n)과 제2 버퍼 그룹(53) 각각이 포함하는 버퍼들(54)의 개수는 다를 수 있다.
예컨대, 제1 로우에 대응하는 포토 게이트 컨트롤 신호(PG1)가 전달되는 경로보다 기준 클럭 신호(CK_REF)가 전달되는 경로가 긴 경우 제2 버퍼 그룹(53)은 제1 버퍼 그룹(52_1)보다 많은 버퍼들(54)을 포함할 수 있다.
도 8은 도 2에 도시된 포토 게이트 드라이버의 일 실시예를 나타낸 블록도이다.
도 2 및 도 8을 참조하면, 포토 게이트 드라이버(60-1)는 제3 버퍼 그룹들(62_1~62_n), 소스 클럭 제네레이터(source clock generator;64-1), 위상 매칭 블록(phase matching block;66) 및 제4 버퍼 그룹들(68_1~68_n)을 포함할 수 있다.
제3 버퍼 그룹들(62_1~62_n) 각각은 복수의 버퍼들(63)을 포함할 수 있다. 복수의 버퍼들(63) 각각은 수신하는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 전달 속도를 빠르게 할 수 있다. 제3 버퍼 그룹들(62_1~62_n) 각각이 포함하는 버퍼들(63)의 개수는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 간의 위상차가 발생하지 않도록 동일할 수 있다.
소스 클럭 제네레이터(64-1)는 타이밍 제네레이터(50)로부터 기준 클럭 신호(CK_REF)를 수신하여 기준 클럭 신호(CK_REF)의 위상과 반대(180도의 위상차)의 위상을 갖는 소스 클럭 신호(CK_SRC)를 생성할 수 있다. 실시예에 따라 소스 클럭 제네레이터(64-1)는 입력 신호와 출력 신호 간에 180 도의 위상차가 발생하도록 하는 플립플롭(미도시)을 포함할 수 있다.
소스 클럭 제네레이터(64-1)는 제3 버퍼 그룹들(62_1~62_n)의 외곽에 위치할 수 있다. 즉, 소스 클럭 제네레이터(64-1)가 위상 매칭 블록(66)에 소스 클럭 신호(CK_SRC)의 공급을 시작하는 제1 포인트(point1)가 제3 버퍼 그룹들(62_1~62_n)의 외곽에 위치할 수 있다.
도 8에 도시된 바와 같이 소스 클럭 제네레이터(64-1)는 제3 버퍼 그룹(62_n)의 옆에 위치하여 제1 포인트(point1)로부터 A 방향으로 소스 클럭 신호(CK_SRC)를 전송할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. A 방향은 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 진행 방향과 반대 방향일 수 있다.
위상 매칭 블록(66)은 소스 클럭 신호(CK_SRC)에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 변경하여 위상들이 서로 매칭된 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)을 생성할 수 있다.
실시예에 따라 위상 매칭 블록(66)은 소스 클럭 신호(CK_SRC)의 상승 엣지(rising edge) 또는 하강 엣지(falling edge)에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)을 캐칭(catching)함으로써 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 변경할 수 있다.
예컨대, 위상 매칭 블록(66)은 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 각각에 대응하는 복수의 D-플립플롭들(67)을 포함할 수 있다. 복수의 D-플립플롭들(67) 각각은 소스 클럭 신호(CK_SRC)의 상승 엣지(rising edge)에서 동시에 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)을 캐칭함으로써, 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 일치시킬 수 있다. 상기 캐칭 동작은 복수의 D-플립플롭들(67) 각각이 소스 클럭 신호(CK_SRC)의 상승 엣지(rising edge)에서 입력되는 데이터를 다음 상승 엣지까지 출력으로 유지하는 동작을 말한다.
위상 매칭 블록(66)의 상세한 동작은 도 10 내지 도 13을 참조해 설명하기로 한다.
제4 버퍼 그룹들(68_1~68_n) 각각은 복수의 버퍼들(69)을 포함할 수 있다. 복수의 버퍼들(69) 각각은 수신하는 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)의 전달 속도를 빠르게 할 수 있다. 제4 버퍼 그룹들(68_1~68_n) 각각이 포함하는 버퍼들(69)의 개수는 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn) 간의 위상차가 발생하지 않도록 동일할 수 있다.
제4 버퍼 그룹들(68_1~68_n)에 공급되는 전압 레벨은 픽셀 어레이(24)에 공급되는 전압 레벨과 동일할 수 있으며, 상기 전압 레벨(예컨대, 2.8V)은 제3 버퍼 그룹들(62_1~62_n)에 공급되는 전압 레벨(예컨대, 1.2V)보다 높을 수 있다.
도 9는 도 2에 도시된 포토 게이트 드라이버의 다른 실시예를 나타낸 블록도이다.
도 2, 도 8 및 도 9를 참조하면, 포토 게이트 드라이버(60-2)는 제3 버퍼 그룹들(62_1~62_n), 소스 클럭 제네레이터(64-2), 위상 매칭 블록(66) 및 제4 버퍼 그룹들(68_1~68_n)을 포함할 수 있다.
제3 버퍼 그룹들(62_1~62_n), 소스 클럭 제네레이터(64-2), 위상 매칭 블록(66) 및 제4 버퍼 그룹들(68_1~68_n)의 구조와 동작은 도 8에 도시된 포토 게이트 드라이버(60-1)의 구성들과 실질적으로 동일하다.
다만, 소스 클럭 제네레이터(64-2)는 제3 버퍼 그룹들(62_1~62_n)의 사이에 위치할 수 있다. 예컨대, 도 9에 도시된 바와 같이 소스 클럭 제네레이터(64-2)는 제3 버퍼 그룹들(62_1~62_n)의 중앙에 위치할 수 있다. 즉, 소스 클럭 제네레이터(64-2)가 위상 매칭 블록(66)에 소스 클럭 신호(CK_SRC)의 공급을 시작하는 제2 포인트(point2)가 제3 버퍼 그룹들(62_1~62_n)의 중앙에 위치할 수 있다.
도 9에 도시된 바와 같이 소스 클럭 제네레이터(64-2)는 제3 버퍼 그룹(62_k)과 제3 버퍼 그룹(62_(k+1))의 사이에 위치하여 제2 포인트(point2)로부터 A 방향 또는 B 방향으로 소스 클럭 신호(CK_SRC)를 전송할 수 있다. k는 n의 1/2 배에 해당하는 값에 가까운 값일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. A 방향은 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 진행 방향과 반대 방향일 수 있고, B 방향은 A 방향과 반대의 방향일 수 있다.
도 10 내지 도 13 각각은 도 8 및 도 9에 도시된 위상 매칭 블록의 동작을 설명하기 위한 타이밍도이다.
도 2, 도 8 내지 도 10을 참조하면, 소스 클럭 신호(CK_SRC)는 소스 클럭 제네레이터(64-1 또는 64-1)에 의해 기준 클럭 신호(CK_REF)와 180도의 위상차를 가진다.
위상 매칭 블록(66)에 기준 위상(예컨대, 0 도)을 가진 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)이 인가될 때, 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)의 위상들은 정확히 기준 위상과 일치하지 않게 된다.
즉, 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)은 포토 게이트 컨트롤러(40)와 포토 게이트 드라이버(60) 사이의 PVT 조건에 의해 랜덤한(random) PVT 노이즈을 포함한다. 이에 따라 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)은 일정 범위(예컨대, 기준 클럭 신호(CK_REF)의 주기의 1/4) 이내에서 픽셀 어레이(24)의 각 로우 별로 랜덤한 위상오차(skew)를 가진다. 상기 위상오차(skew)는 픽셀 어레이(24)의 모든 로우에서 동일하지 않은 타이밍에서의 광전하 전송(도 3의 PX의 동작)을 유발한다. 이는 최종적으로 깊이 이미지 데이터(IDATA_D)의 에러를 유발하고, 깊이 이미지 데이터(IDATA_D) 품질 저하의 원인이 된다.
위상 매칭 블록(66)의 각 D-플립플롭(67)은 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A) 각각을 소스 클럭 신호(CK_SRC)의 상승 엣지(예컨대, t2, t4, t6, t8, t10, t12, t14 및 t16)에서 캐칭하게 된다.
기준 클럭 신호(CK_SRC)는 타이밍 제네레이터(50)에 의해 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)과 거의 동일한 PVT 노이즈를 가지게 되어 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A) 간의 위상오차(skew)의 범위 내에서 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)과의 위상차를 가진다.
이에 의해, 기준 클럭 신호(CK_SRC)를 기초로 생성되는 소스 클럭 신호(CK_SRC) 역시 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)과의 위상차가 적어지게 되어 보다 정확한 캐칭 동작을 가능하게 한다.
상기 정확한 캐칭 동작은 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)의 형태가 유지되고 의도한(즉, 서로 위상차가 없는) 위상을 가진 복수의 제1 매칭 포토 게이트 컨트롤 신호들(PGM1_A~PGMn_A)을 생성하는 동작을 의미할 수 있다.
소스 클럭 신호(CK_SRC)는 기준 클럭 신호(CK_REF)와 180도의 위상차를 가진다. 이는 소스 클럭 신호(CK_SRC)의 상승 엣지가 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)의 데이터 값이 변하는 구간 즉, 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)의 상승 엣지 또는 하강 엣지와 오버랩(overlap)되지 않게 하기 위함이다.
또한, 소스 클럭 신호(CK_SRC)는 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)의 4 배의 주파수를 가진다. 이는 도 11 내지 도 13에서 설명되는 복수의 제2 포토 게이트 컨트롤 신호들(PG1_B~PGn_B), 복수의 제3 포토 게이트 컨트롤 신호들(PG1_C~PGn_C) 및 복수의 제4 포토 게이트 컨트롤 신호들(PG1_D~PGn_D)에 대해서도 정확한 캐칭 동작이 수행되도록 하기 위함이다.
위상 매칭 블록(66)의 각 D-플립플롭(67)이 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A) 각각을 소스 클럭 신호(CK_SRC)의 상승 엣지(예컨대, t2, t4, t6, t8, t10, t12, t14 및 t16)에서 동시에 캐칭하게 됨으로써, 복수의 제1 매칭 포토 게이트 컨트롤 신호들(PGM1_A~PGMn_A)은 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)과 달리 위상오차(skew)를 포함하지 않게 된다.
도 11 내지 도 13을 참조하면, 위상 매칭 블록(66)의 각 D-플립플롭(67)은 복수의 제1 포토 게이트 컨트롤 신호들(PG1_A~PGn_A)과 각각 90 도, 180 도 및 270 도의 위상차를 갖는 복수의 제2 포토 게이트 컨트롤 신호들(PG1_B~PGn_B), 복수의 제3 포토 게이트 컨트롤 신호들(PG1_C~PGn_C) 및 복수의 제4 포토 게이트 컨트롤 신호들(PG1_D~PGn_D)에 대해서도 소스 클럭 신호(CK_SRC)의 상승 엣지에 따라 동시에 캐칭 동작을 수행하게 된다.
도 10에서와 마찬가지로 복수의 제2 매칭 포토 게이트 컨트롤 신호들(PGM1_B~PGMn_B), 복수의 제3 매칭 포토 게이트 컨트롤 신호들(PGM1_C~PGMn_C) 및 복수의 제4 포토 게이트 컨트롤 신호들(PGM1_B~PGMn_B) 각각은 복수의 제2 포토 게이트 컨트롤 신호들(PG1_B~PGn_B), 복수의 제3 포토 게이트 컨트롤 신호들(PG1_C~PGn_C) 및 복수의 제4 포토 게이트 컨트롤 신호들(PG1_D~PGn_D)과 달리 위상오차(skew)를 포함하지 않게 된다.
본 발명의 실시예에 따른 이미지 센서(100)에 의하면, 기준 클럭 신호(CK_REF)에 기초한 소스 클럭 신호(CK_SRC)를 이용해 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상을 일치시켜 깊이 이미지(IDATA_D)의 품질을 높일 수 있다.
또한, 본 발명의 실시예에 따른 이미지 센서(100)에 의하면, 기준 클럭 신호(CK_REF)와 포토 게이트 컨트롤 신호들(PG1~PGn)을 동일한 PVT 조건으로 전달하고, 기준 클럭 신호(CK_REF)와 반대의 위상을 갖는 소스 클럭 신호(CK_SRC)를 이용하여 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상을 보다 정확히 일치시킬 수 있다.
도 14는 도 8 및 도 9에 도시된 포토 게이트 드라이버의 효과를 설명하기 위한 도면이다.
도 8 내지 도 14를 참조하면, 도 10에서 설명한 바와 같이 복수의 포토 게이트 컨트롤 신호들(예컨대, PG1_A~PGn_A)은 포토 게이트 컨트롤러(40)와 포토 게이트 드라이버(60) 사이의 PVT 조건에 의해 랜덤한(random) PVT 노이즈를 포함한다.
(a)에서 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)은 제1 로우에서 제n 로우까지 랜덤한(random) 노이즈를 포함하므로 복수의 포토 게이트 컨트롤 신호들(예컨대, PG1_A~PGn_A)이 그대로 픽셀 어레이(24)에 입력될 경우 이를 보정하기가 매우 어려워 사실상 깊이 이미지 데이터(IDATA_D)의 품질을 저하시킨다.
(b)는 도 8의 위상 매칭 블록(66)이 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)을 생성하고 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)이 픽셀 어레이(24)로 인가될 때의 로우에 따른 노이즈를 나타낸다.
이상적으로는 위상 매칭 블록(66)이 소스 클럭 신호(CK_SRC)에 의해 위상오차(SKEW)가 전혀 발생하지 않아야 한다. 그러나, 소스 클럭 신호(CK_SRC)가 A 방향으로 인가될 때 포토 게이트 컨트롤 신호(PG1)를 입력받는 D-플립플롭(67)이 입력받는 소스 클럭 신호(CK_SRC)는 소스 클럭 신호(CK_SRC)가 통과하는 신호 경로에 존재하는 저항 성분 때문에 포토 게이트 컨트롤 신호(PG1)를 입력받는 D-플립플롭(67)이 입력받는 소스 클럭 신호(CK_SRC)보다 낮은 레벨을 가질 수 있다.
이는 (b)에서 나타난 바와 같이 A 방향을 따라 발생하는 노이즈를 유발하게 된다. 그러나, (a)의 랜덤한 노이즈와는 달리 A 방향을 따라 선형적으로 발생하게 되므로, ISP(200)는 상기 노이즈를 간단하게 보정할 수 있다.
(c)는 도 9의 위상 매칭 블록(66)이 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)을 생성하고 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)이 픽셀 어레이(24)로 인가될 때의 로우에 따른 노이즈를 나타낸다.
(c)에서도 (b)와 마찬가지로 노이즈가 A 방향 또는 B 방향을 따라 선형적으로 발생하나 (c)에서 가장 높은 노이즈 레벨(N2 또는 N3)은 (b)에서 가장 높은 노이즈 레벨(N1)보다 낮게 된다(약 1/2 배). 이는 제1 포인트(point1)가 아닌 제2 포인트(point2)로부터 소스 클럭 신호(CK_SRC)가 인가됨에 기인한다.
이에 따라 ISP(200)가 노이즈를 보정하는데 필요한 연산량이 낮아질 수 있다.
도 15는 도 2에 도시된 이미지 센서의 동작 방법을 간략히 설명하기 위한 흐름도이다.
도 1, 도 2, 도 8, 도 9 및 도 15를 참조하면, 포토 게이트 컨트롤러(40)는 타이밍 컨트롤러(30)로부터 출력된 기준 클럭 신호(CK_REF)를 이용하여 픽셀 어레이(24)의 복수의 로우들에 각각 대응하는 복수의 복조 신호들, 즉 포토 게이트 컨트롤 신호들(PG1~PGn)을 생성할 수 있다(S100).
포토 게이트 드라이버(60)는 소스 클럭 신호(CK_SRC)에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 조절하여 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)에 포함된 PVT 노이즈를 제거하고, 위상이 조절된 복수의 포토 게이트 컨트롤 신호들(PG1~PGn) 즉, 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)를 픽셀 어레이(24)에 인가할 수 있다(S110).
보다 상세하게는, 위상 매칭 블록(66)은 소스 클럭 신호(CK_SRC)의 상승 엣지(rising edge)에 따라 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 위상들을 변경하여 복수의 매칭 포토 게이트 컨트롤 신호들(PG1~PGn)을 생성할 수 있다.
픽셀 어레이(24)는 복수의 매칭 포토 게이트 컨트롤 신호들(PGM1~PGMn)을 수신하여 픽셀 신호들을 생성하는 복수의 단위 픽셀(24)을 포함할 수 있다. 복수의 단위 픽셀(24) 각각은 1-tap 또는 2-tap 구조를 가질 수 있다.
도 16은 도 2에 도시된 이미지 센서의 동작 방법을 상세히 설명하기 위한 흐름도이다.
도 1, 도 2, 도 8, 도 9, 도 15 및 도16을 참조하면, S200 단계와 S230 단계는 도 15의 S100 단계와 S110 단계와 실질적으로 동일하므로 S200 단계와 S230 단계에 대한 설명은 생략한다.
타이밍 제네레이터(50)는 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)과 기준 클럭 신호(CK_REF)를 동일한 PVT(Power Voltage Temperature) 조건으로 전달할 수 있다(S210).
포토 게이트 드라이버(60)는 기준 클럭 신호(CK_REF)를 반전 즉, 위상을 180도 이동시켜 기준 클럭 신호(CK_REF)의 위상과 반대의 위상을 갖는 소스 클럭 신호(CK_SRC)를 생성할 수 있다(S220).
실시예에 따라 소스 클럭 신호(CK_SRC)는 도 8의 제1 포인트(point1)로부터 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 진행 방향과 수직인 A 방향으로 인가될 수 있다.
실시예에 따라 소스 클럭 신호(CK_SRC)는 도 9의 제2 포인트(point2)로부터 복수의 포토 게이트 컨트롤 신호들(PG1~PGn)의 진행 방향과 수직인 A 방향 및 A 방향과 반대인 B 방향으로 인가될 수 있다.
리드아웃 회로(28)는 픽셀 어레이(24)로부터 출력된 픽셀 신호들에 기초하여 이미지 데이터(IDATA)를 생성할 수 있다(S240).
ISP(200)는 수신된 이미지 데이터(IDATA)를 이용하여 TOF(Time Of Flight) 방식으로 거리 정보를 생성하고, 상기 거리 정보를 기초로 깊이 이미지 데이터(IDATA_D)를 생성할 수 있다(S250).
도 17은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 이미지 처리 시스템의 블록도이다.
도 1과 도 17을 참조하면, 이미지 처리 시스템(1100)은 이미지 센서(100), 프로세서(1110), 메모리(1120), 디스플레이 유닛(1130) 및 인터페이스(1140)를 포함할 수 있다.
프로세서(1110)는 이미지 센서(100)의 동작을 제어하거나, 이미지 센서(100)로부터 출력된 이미지 데이터를 처리할 수 있다. 예컨대, 프로세서(1110)는 이미지 센서(10)로부터 출력된 대상(1)의 깊이 정보에 기초하여 2차원 깊이 이미지 데이터를 생성할 수 있다.
실시 예에 따라, 프로세서(1110)는 ISP(200)를 의미할 수 있다.
메모리(1120)는 프로세서(1110)의 제어에 따라 버스(1150)를 통하여 이미지 센서(100)의 동작을 제어하기 위한 프로그램과 프로세서(1110)에서 생성된 이미지를 저장할 수 있고, 프로세서(1110)는 저장된 정보를 액세스하여 상기 프로그램을 실행시킬 수 있다. 메모리(1120)는 예컨대, 불휘발성 메모리(non-volatile memory)로 구현될 수 있다.
디스플레이 유닛(1130)은 깊이 이미지를 프로세서(1110) 또는 메모리 (1120)로부터 수신하여 디스플레이, 예컨대, LCD(Liquid Crystal Display), LED 디스플레이, OLED 디스플레이, AMOLED(Active Matrix Organic Light Emitting Diodes) 디스플레이, 또는 플렉시블 디스플레이(flexible display)를 통하여 디스플레이할 수 있다.
인터페이스(1140)는 2차원 또는 3차원 이미지를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(1140)는 무선 인터페이스로 구현될 수 있다.
도 18은 도 1에 도시된 이미지 센서를 포함하는 일 실시 예에 따른 전자 시스템의 블록도이다.
도 1과 도 18을 참조하면, 전자 시스템(1000)은 MIPI등록상표(mobile industry processor interface)를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대, PDA (personal digital assistants), PMP(portable multimedia player), IPTV(internet protocol television) 또는 스마트 폰(smart phone)으로 구현될 수 있다.
전자 시스템(1000)은 이미지 센서(100), 애플리케이션 프로세서(application processor; 1010), 및 디스플레이(1050)를 포함한다.
애플리케이션 프로세서(1010)에 구현된 CSI 호스트(camera serial interface(CSI) host; 1012)는 카메라 시리얼 인터페이스를 통하여 이미지 센서 (100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, CSI 호스트 (1012)는 디시리얼라이저(deserializer(DES))를 포함할 수 있고, CSI 장치(1041)는 시리얼라이저(serializer(SER))를 포함할 수 있다.
애플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1051)는 디시리얼라이저(DES)를 포함할 수 있다.
실시 예에 따라, 전자 시스템(1000)은 애플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 애플리케이션 프로세서(1010)에 포함된 PHY(PHYsical layer; 1013)와 RF 칩(1060)에 포함된 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
실시 예에 따라, 전자 시스템(1000)은 GPS(1020), 스토리지(storage; 1070), 마이크로폰(microphone(MIC); 1080), DRAM(dynamic random access memory; 1085) 및 스피커(speaker; 1090)를 더 포함할 수 있다.
전자 시스템(1000)은 Wimax(world interoperability for microwave access; 1030), WLAN(wireless lan; 1100) 및/또는 UWB(ultra wideband; 1110) 등을 이용하여 통신할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
이미지 처리 시스템(10) 타이밍 제네레이터(50)
이미지 센서(100) 포토 게이트 드라이버(60)
픽셀 어레이(24) ISP(200)
리드아웃 회로(28) CPU(210)
포토 게이트 컨트롤러(40) 디스플레이 유닛(205)

Claims (20)

  1. 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 단계; 및
    소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 단계를 포함하는 이미지 센서의 동작 방법.
  2. 제1항에 있어서,
    상기 복수의 복조 신호들과 기준 클럭 신호를 동일한 PVT 조건으로 전달하는 단계를 더 포함하는 이미지 센서의 동작 방법.
  3. 제1항에 있어서,
    기준 클럭 신호의 위상과 반대의 위상을 갖는 상기 소스 클럭 신호를 생성하는 단계를 더 포함하는 이미지 센서의 동작 방법.
  4. 제1항에 있어서,
    상기 복수의 복조 신호들의 위상들을 조절하는 단계는
    상기 소스 클럭 신호의 상승 엣지(rising edge)에 따라 상기 복수의 복조 신호들의 위상들을 변경하는 단계인 이미지 센서의 동작 방법.
  5. 제1항에 있어서,
    상기 위상이 조절된 복수의 복조 신호들에 따라 출력되는 픽셀 신호들을 리드아웃한 이미지 데이터를 출력하는 단계; 및
    상기 이미지 데이터를 기초로 TOF(Time Of Flight) 방식으로 깊이 이미지 데이터를 생성하는 단계를 더 포함하는 이미지 센서의 동작 방법.
  6. 제1항에 있어서,
    상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향으로 인가되는 이미지 센서의 동작 방법.
  7. 제1항에 있어서,
    상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향 및 상기 A 방향과 반대인 B 방향으로 인가되는 이미지 센서의 동작 방법.
  8. 제1항에 있어서,
    상기 복수의 로우들 각각은 2-tap 구조의 픽셀들을 포함하는 이미지 센서의 동작 방법.
  9. 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들을 생성하는 포토 게이트 컨트롤러; 및
    소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함하는 이미지 센서.
  10. 제9항에 있어서,
    상기 복수의 복조 신호들과 기준 클럭 신호를 동일한 PVT 조건으로 전달하는 타이밍 제네레이터를 더 포함하는 이미지 센서.
  11. 제10항에 있어서,
    상기 타이밍 제네레이터는
    상기 복수의 복조 신호들을 전달하는 복수의 제1 버퍼그룹들과 상기 기준 클럭 신호를 전달하는 제2 버퍼 그룹을 포함하고,
    상기 복수의 제1 버퍼 그룹들과 상기 제2 버퍼 그룹 각각이 포함하는 버퍼의 개수는 상기 복수의 복조 신호들과 상기 기준 클럭 신호가 전달되는 경로에 따라 결정되는 이미지 센서.
  12. 제9항에 있어서,
    상기 포토 게이트 컨트롤러는 기준 클럭 신호를 입력받아 상기 복수의 복조 신호들을 생성하고,
    상기 복수의 복조 신호들 각각의 위상은 제1 위상 내지 제4 위상 중 어느 하나이고, 상기 복수의 복조 신호들 각각의 주파수는 상기 기준 클럭 신호의 주파수보다 작은 이미지 센서.
  13. 제9항에 있어서,
    상기 포토 게이트 드라이버는
    기준 클럭 신호의 위상과 반대의 위상을 갖는 상기 소스 클럭 신호를 생성하는 이미지 센서.
  14. 제9항에 있어서,
    상기 포토 게이트 드라이버는
    상기 소스 클럭 신호의 상승 엣지(rising edge)에 따라 상기 복수의 복조 신호들의 위상들을 변경하는 위상 매칭 블록을 포함하는 이미지 센서.
  15. 제14항에 있어서,
    상기 위상 매칭 블록은
    각각이 상기 복수의 복조 신호들의 위상들을 변경하는 복수의 D-플립플롭들을 포함하는 이미지 센서.
  16. 제9항에 있어서,
    상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향으로 인가되는 이미지 센서.
  17. 제9항에 있어서,
    상기 소스 클럭 신호는 상기 복수의 복조 신호들의 진행 방향과 수직인 A 방향 및 상기 A 방향과 반대인 B 방향으로 인가되는 이미지 센서.
  18. 제9항에 있어서,
    상기 픽셀 어레이는 각각이 입사광에 따라 생성된 광전하를 상기 위상이 조절된 복수의 복조 신호들에 따라 센싱하여 픽셀 신호를 출력하는 복수의 픽셀들을 포함하는 이미지 센서.
  19. 각각이 입사광에 따라 생성된 광전하를 센싱하여 픽셀 신호를 출력하는 복수의 픽셀들을 포함하는 픽셀 어레이; 및
    소스 클럭 신호에 따라 상기 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함하는 이미지 센서.
  20. 입사광에 따라 생성된 광전하를 픽셀 어레이의 복수의 로우들에 각각 대응하는 복수의 복조 신호들에 따라 생성된 픽셀 신호들에 기초하여 이미지 데이터를 생성하는 이미지 센서; 및
    상기 이미지 데이터를 기초로 TOF(Time Of Flight) 방식으로 깊이 이미지 데이터를 생성하는 ISP를 포함하며,
    상기 이미지 센서는
    소스 클럭 신호에 따라 상기 복수의 복조 신호들의 위상들을 조절하여 PVT 노이즈를 제거하고, 상기 위상이 조절된 복수의 복조 신호들을 상기 픽셀 어레이에 인가하는 포토 게이트 드라이버를 포함하는 이미지 처리 시스템.
KR1020130070563A 2013-06-19 2013-06-19 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법 KR102061699B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130070563A KR102061699B1 (ko) 2013-06-19 2013-06-19 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
US14/291,975 US9538101B2 (en) 2013-06-19 2014-05-30 Image sensor, image processing system including the same, and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130070563A KR102061699B1 (ko) 2013-06-19 2013-06-19 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20140147395A true KR20140147395A (ko) 2014-12-30
KR102061699B1 KR102061699B1 (ko) 2020-01-02

Family

ID=52110621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130070563A KR102061699B1 (ko) 2013-06-19 2013-06-19 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법

Country Status (2)

Country Link
US (1) US9538101B2 (ko)
KR (1) KR102061699B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611717B2 (en) 2020-03-06 2023-03-21 SK Hynix Inc. Image sensing device and operating method thereof

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6367827B2 (ja) * 2012-12-28 2018-08-01 ノキア テクノロジーズ オサケユイチア 距離センサ・カメラからのデータをノイズ除去する方法および装置
JP6463169B2 (ja) * 2015-02-27 2019-01-30 キヤノン株式会社 電子回路およびカメラ
US9971023B2 (en) * 2015-05-04 2018-05-15 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
KR102316448B1 (ko) 2015-10-15 2021-10-25 삼성전자주식회사 이미지 장치 및 그것의 뎁쓰 계산 방법
CN107277396B (zh) 2016-03-30 2021-02-26 松下知识产权经营株式会社 摄像装置
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
EP3462730B1 (en) 2017-08-18 2020-05-13 Shenzhen Goodix Technology Co., Ltd. Image sensing circuit and image depth sensing system
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10999528B2 (en) * 2017-12-28 2021-05-04 Gopro, Inc. Image capture device with interchangeable integrated sensor-optical component assemblies
EP3732507A1 (en) * 2017-12-29 2020-11-04 Sony Semiconductor Solutions Corporation Imaging device and method
JP2019149615A (ja) * 2018-02-26 2019-09-05 コニカミノルタ株式会社 画像処理装置、画像読み取り装置及び画像形成装置
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
KR102646902B1 (ko) * 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
US11741622B2 (en) 2019-12-13 2023-08-29 Sony Semiconductor Solutions Corporation Imaging devices and multiple camera interference rejection
WO2022009775A1 (ja) * 2020-07-10 2022-01-13 Ｇｐｉｘｅｌ Ｊａｐａｎ株式会社 Ｔｏｆセンサ
KR20220049782A (ko) 2020-10-15 2022-04-22 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2022087776A1 (zh) * 2020-10-26 2022-05-05 深圳市汇顶科技股份有限公司 飞行时间传感器、测距系统及电子装置
EP4152045A1 (en) 2021-09-16 2023-03-22 Samsung Electronics Co., Ltd. Image sensor for measuring distance and camera module including the same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
JP4974930B2 (ja) * 2008-02-27 2012-07-11 株式会社リコー タイミング信号発生器及びそれを備えた画像読取装置
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
KR101646908B1 (ko) * 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
KR101681198B1 (ko) 2010-02-04 2016-12-01 삼성전자주식회사 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
JP5364619B2 (ja) 2010-02-26 2013-12-11 浜松ホトニクス株式会社 距離画像センサ
US8228105B2 (en) 2010-07-21 2012-07-24 Fujitsu Limited Clock signal correction
KR101710514B1 (ko) 2010-09-03 2017-02-27 삼성전자주식회사 깊이 센서 및 이를 이용한 거리 추정 방법
US9857469B2 (en) 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US9151842B2 (en) 2010-11-12 2015-10-06 Texas Instruments Incorporated Method and apparatus for time of flight sensor 2-dimensional and 3-dimensional map generation
KR20120079646A (ko) 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US20130176550A1 (en) * 2012-01-10 2013-07-11 Ilia Ovsiannikov Image sensor, image sensing method, and image photographing apparatus including the image sensor
KR101896666B1 (ko) * 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611717B2 (en) 2020-03-06 2023-03-21 SK Hynix Inc. Image sensing device and operating method thereof

Also Published As

Publication number Publication date
US20140375851A1 (en) 2014-12-25
KR102061699B1 (ko) 2020-01-02
US9538101B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
KR102061699B1 (ko) 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
US10802144B2 (en) Method and device of measuring the distance to an object
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
US9973682B2 (en) Image sensor including auto-focusing pixel and image processing system including the same
US20130258099A1 (en) Depth Estimation Device And Operating Method Using The Depth Estimation Device
US10469773B2 (en) Image sensor, data processing system including the same
US9711553B2 (en) Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
KR102159266B1 (ko) 깊이 센서의 픽셀 및 이를 포함하는 이미지 처리 시스템
US9673237B2 (en) Depth pixel included in three-dimensional image sensor, three-dimensional image sensor including the same and method of operating depth pixel included in three-dimensional image sensor
US20160049429A1 (en) Global shutter image sensor, and image processing system having the same
KR20140095224A (ko) 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
US9961290B2 (en) Image sensor including row drivers and image processing system having the image sensor
KR102071526B1 (ko) 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
US20140267859A1 (en) Image sensor, operating method thereof, and device including the image sensor
US9258502B2 (en) Methods of operating depth pixel included in three-dimensional image sensor and methods of operating three-dimensional image sensor
US20210274121A1 (en) Image sensor, image processing system including the same, and operating method of the same
US9549140B2 (en) Image sensor having pixels each with a deep trench isolation region as a photo gate for outputting image signals in response to control signals from a row driver and method of operating the image sensor
US9794469B2 (en) Image signal processor with image replacement and mobile computing device including the same
US20240163580A1 (en) Image sensor and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant