KR101980722B1 - 이미지 센서 회로 및 깊이 이미지 센서 시스템 - Google Patents

이미지 센서 회로 및 깊이 이미지 센서 시스템 Download PDF

Info

Publication number
KR101980722B1
KR101980722B1 KR1020177033789A KR20177033789A KR101980722B1 KR 101980722 B1 KR101980722 B1 KR 101980722B1 KR 1020177033789 A KR1020177033789 A KR 1020177033789A KR 20177033789 A KR20177033789 A KR 20177033789A KR 101980722 B1 KR101980722 B1 KR 101980722B1
Authority
KR
South Korea
Prior art keywords
pixel
photosensitive
serial
clock signal
pixel array
Prior art date
Application number
KR1020177033789A
Other languages
English (en)
Other versions
KR20190035451A (ko
Inventor
유 안 량
멩타 양
Original Assignee
선전 구딕스 테크놀로지 컴퍼니, 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 구딕스 테크놀로지 컴퍼니, 리미티드 filed Critical 선전 구딕스 테크놀로지 컴퍼니, 리미티드
Publication of KR20190035451A publication Critical patent/KR20190035451A/ko
Application granted granted Critical
Publication of KR101980722B1 publication Critical patent/KR101980722B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/36965—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617—Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H04N5/3577—
    • H04N5/3651—
    • H04N5/3765—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

본 개시는 이미지 센서 회로를 제공하는 것으로, 상기 이미지 센서 회로는, 복수 개의 감광 직렬 픽셀을 포함하는 것으로, 복수 개의 픽셀 값을 출력하는 감광 픽셀 어레이; 적어도 하나의 기준 직렬 픽셀을 포함하고, 상기 적어도 하나의 기준 직렬 픽셀 중의 하나의 기준 직렬 픽셀은 복수 개의 기준 픽셀 회로를 포함하며, 상기 기준 직렬 픽셀의 제1 단은 상기 클럭신호를 수신 받는 것으로, 상기 복수 개의 기준 픽셀 회로에서 수신 받는 복수 개의 수신 클럭신호와 상기 클럭신호 사이의 복수 개의 위상차를 출력하는 기준 픽셀 어레이; 및 상기 감광 픽셀 어레이 및 상기 기준 픽셀 어레이에 커플링되어, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단하는 깊이 영상 판단 유닛을 포함한다.

Description

이미지 센서 회로 및 깊이 이미지 센서 시스템
본 개시는 이미지 센서 회로 및 깊이 이미지 센서 시스템에 관한 것으로, 특히 클럭신호 위상차로 인해 발생하는 영향을 줄일 수 있는 이미지 센서 회로 및 깊이 이미지 센서 시스템에 관한 것이다.
3D 이미지 센서 시스템은 목표물과의 상대적인 거리/깊이 정보를 수집하여, 3D 이미지의 각각의 픽셀의 간격값 또는 거리값을 통해, 3차원 이미지 데이터를 생성하는 것으로, 상기 3D 이미지를 거리 이미지(distance image) 또는 깊이 이미지라고도 부른다. 이 밖의 거리 위도는 다양한 응용분야에서 사용가능 한 것으로써, 카메라에 의해 포착되는 장면 중의 대상물과 관련된 정보를 보다 많이 획득할 수 있는 것으로, 이로써 산업용 센서분야에서의 각기 다른 임무를 수행할 수 있다.
일반적으로, 3D 이미지 센서 회로는 발광 다이오드를 통해 입사광을 송출하며, 픽셀 어레이 중의 복수 개의 픽셀 회로를 이용하여 입사광에 대응되되 목표물로부터 반사되는 반사광을 수집하며, 입사광과 반사광 사이의 광로차를 비교하는 것을 통해 전자장치와 목표물 사이의 거리/깊이를 계산(3D 이미지 센서회로가 설치된 전자장치)할 수 있다. 하지만, 픽셀 어레이가 매우 큰 경우, 픽셀 어레이에 입력된 클럭신호는 픽셀 어레이에서 위상차를 발생하게 되는데, 이로 인해, 3D 이미지 센서 회로가 전자장치와 목표물 사이의 거리/깊이를 계산할 때 오차가 발생하게 된다.
따라서, 종래기술을 개선한 필요가 있다.
따라서, 본 개시의 주요목적은 클럭신호 위상차로 인해 발생하는 영향을 줄일 수 있는 이미지 센서 회로 및 깊이 이미지 센서 시스템을 제공함으로써, 종래기술에 존재하는 단점을 개선하고자 하는 데에 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시에서 제공하는 이미지 센서 회로는, 복수 개의 감광 직렬 픽셀을 포함하고, 상기 복수 개의 감광 직렬 픽셀 중의 하나의 감광 직렬 픽셀은 복수 개의 감광 픽셀 회로를 포함하며, 상기 감광 직렬 픽셀의 제1 단은 클럭신호를 수신 받고, 상기 클럭신호는 상기 감광 직렬 픽셀의 상기 제1 단에서 상기 감광 직렬 픽셀의 제2 단으로 전파되는 것으로, 복수 개의 픽셀 값을 출력하는 감광 픽셀 어레이; 적어도 하나의 기준 직렬 픽셀을 포함하고, 상기 적어도 하나의 기준 직렬 픽셀 중의 하나의 기준 직렬 픽셀은 복수 개의 기준 픽셀 회로를 포함하며, 상기 기준 직렬 픽셀의 제1 단은 상기 클럭신호를 수신 받고, 상기 클럭신호는 상기 기준 직렬 픽셀의 상기 제1 단에서 상기 기준 직렬 픽셀의 제2 단으로 전파되는 것으로, 상기 복수 개의 기준 픽셀 회로에서 수신 받는 복수 개의 수신 클럭신호와 상기 클럭신호 사이의 복수 개의 위상차를 출력하는 기준 픽셀 어레이; 및 상기 감광 픽셀 어레이 및 상기 기준 픽셀 어레이에 커플링되어, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단하는 깊이 영상 판단 유닛;을 포함한다.
바람직하게는, 상기 복수 개의 감광 직렬 픽셀은 서로 평행되게 배치되고, 상기 적어도 하나의 기준 직렬 픽셀은 상기 복수 개의 감광 직렬 픽셀에 평행되게 배치된다.
바람직하게는, 상기 감광 픽셀 어레이의 각각의 감광 픽셀 회로는 감광 모듈을 포함하고, 상기 기준 픽셀 어레이의 각각의 기준 픽셀 회로는 감광 모듈을 포함하지 않는다.
바람직하게는, 상기 기준 픽셀 어레이는 외래광을 수광 받지 않는다.
바람직하게는, 상기 기준 픽셀 어레이는 상기 감광 픽셀 어레이의 일측에 인접되게 설치된다.
본 개시는 또한 깊이 이미지 센서 시스템을 제공하는 것으로, 상기 깊이 이미지 센서 시스템은, 입사광을 송출하는 발광 유닛; 및 이미지 센서 회로;를 포함하는 것으로, 상기 이미지 센서회로는, 복수 개의 감광 직렬 픽셀을 포함하고, 상기 복수 개의 감광 직렬 픽셀 중의 하나의 감광 직렬 픽셀은 복수 개의 감광 픽셀 회로를 포함하며, 상기 감광 직렬 픽셀의 제1 단은 클럭신호를 수신 받고, 상기 클럭신호는 상기 감광 직렬 픽셀의 상기 제1 단에서 상기 감광 직렬 픽셀의 제2 단으로 전파되는 것으로, 복수 개의 픽셀 값을 출력하는 감광 픽셀 어레이; 적어도 하나의 기준 직렬 픽셀을 포함하고, 상기 적어도 하나의 기준 직렬 픽셀 중의 하나의 기준 직렬 픽셀은 복수 개의 기준 픽셀 회로를 포함하며, 상기 기준 직렬 픽셀의 제1 단은 상기 클럭신호를 수신 받고, 상기 클럭신호는 상기 기준 직렬 픽셀의 상기 제1 단에서 상기 기준 직렬 픽셀의 제2 단으로 전파되는 것으로, 상기 복수 개의 기준 픽셀 회로에서 수신 받는 복수 개의 수신 클럭신호와 상기 클럭신호 사이의 복수 개의 위상차를 출력하는 기준 픽셀 어레이; 및 상기 감광 픽셀 어레이 및 상기 기준 픽셀 어레이에 커플링되어, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단하는 깊이 영상 판단 유닛;을 포함한다.
본 개시에 따르면, 광을 수광하지 않는 기준 픽셀 어레이를 이용하여, 클럭신호의 전도로 인해 발생하는 위상 지연/위상차를 기록하는 것으로, 깊이 영상을 계산 시, 감광 픽셀 어레이가 겪은 위상차를 보상 받음으로써, 종래 기술의 깊이 영상을 계산하는 경우, 클럭신호의 위상차로 인한 영향을 받는다는 단점을 해결하고자 한다.
도 1은 본 개시 실시예의 하나의 깊이 이미지 센서 시스템에 대한 설명도이다.
도 2는 본 개시 실시예의 하나의 이미지 센서 회로에 대한 설명도이다.
도 3은 본 개시 실시예의 하나의 지연 고정 회로에 대한 설명도이다.
도 4는 본 개시 실시예의 하나의 지연 고정 유닛에 대한 설명도이다.
도 5는 하나의 픽셀 어레이에 대한 설명도이다.
본 개시의 목적, 기술방안 및 장점을 보다 분명하고 명백하게 하기 위하여, 이하 도면 및 실시예를 결합하여, 본 개시에 대한 설명을 보다 상세히 설명하고자 한다. 여기에서 설명하는 구체적인 실시예는 단지 본 개시를 설명하기 위한 목적으로 예시된 것으로, 본 개시를 한정하는 것으로 해석되어서는 아니 된다.
본 명세서 및 청구범위에서, '커플링'이란 용어는 모든 방식의 직접적이거나 또는 간접적인 전기적 연결 수단을 가리키는 것이고, '전기적 연결'이란 용어는 직접 전기적 연결을 가리킨다.
도 1을 참조하면, 도 1은 본 개시 실시예의 하나의 깊이 이미지 센서 시스템(10)에 설명도이다. 깊이 이미지 센서 시스템(10)은 3차원 이미지 센서일 수 있는 것으로, 사선/사광의 비행시간(ToF)에 근거하여, 목표물(도 1에 미도시)과의 상대적인 거리/깊이를 측정함으로써, 해당 목표물의 3차원 이미지를 구축한다. 깊이 이미지 센서 시스템(10)은 발광유닛(12) 이미지 센서 회로(14)를 포함하는 것으로, 발광유닛(12)은 적외선 발광 다이오드와 같은 비가시광 발광 다이오드(LED)일 수 있다. 발광유닛(12)은 입사광을 송출하고, 이미지 센서 회로(14)는 해당 입사광에 대응되는 반사광을 수광할 수 있다.
구체적으로, 도 1 및 도 2를 참조하면, 도 2는 본 개시 실시예의 이미지 센서 회로(14)에 대한 설명도이다. 이미지 센서 회로(14)는 감광 픽셀 어레이(140), 클럭신호 생성회로(142), 기준 픽셀 어레이(144) 및 깊이 영상 판단 유닛(146)(도 2에 미도시)을 포함한다. 이미지 센서 회로(14)는 감광 픽셀 어레이(140)를 이용하여, 상기 입사광에 대응되는 반사광을 수광하고, 감광 픽셀 어레이(140)는 복수 개의 픽셀값을 출력한다. 이 외, 기준 픽셀 어레이(144)는 외래광(外來光)을 수광하지 않는 것으로, 일 실시예에서 기준 픽셀 어레이(144)의 상부에 광이 투과되지 않는 덮개판을 설치 가능한 것으로, 이로써 기준 픽셀 어레이(144)로 하여금 외래광을 수광하지 않도록 한다. 기준 픽셀 어레이(144)는 복수 개의 위상차(상세한 내용은 후술)를 기록하고, 깊이 영상 판단 유닛(146)은 감광 픽셀 어레이(140) 및 기준 픽셀 어레이(144)에 커플링됨으로써, 감광 픽셀 어레이(140)로부터 출력되는 복수 개의 픽셀값 및 기준 픽셀 어레이(144)로부터 출력되는 복수 개의 위상차를 수신하며, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단한다.
구체적으로, 감광 픽셀 어레이(140)는 복수 개의 감광 직렬 픽셀(PXS)을 포함하는 것으로, 감광 직렬 픽셀(PXS)은 감광 픽셀 어레이(140)에 위치한 행 또는 열의 감광 픽셀일 수 있는 것으로, 복수 개의 감광 픽셀 회로(PX_1~PX_M)를 포함하며, 각각의 감광 픽셀 회로(PX_m)는 하나의 감광 모듈(여기에서, 감광모듈은 감광 다이오드 또는 감광 트랜지스터일 수 있고, 여기에서, 감광모듈을 하나의 광제어 전류원으로 간주할 수 있음)을 포함한다. 복수 개의 감광 직렬 픽셀(PXS)은 서로 간에 서로 평행하게 된다. 여기에서, 감광 픽셀 회로(PX_1)는 감광 직렬 픽셀(PXS)의 제1 단(Terminal/End)에 위치한 감광 픽셀 회로이고, 감광 픽셀 회로(PX_M)는 감광 직렬 픽셀(PXS)의 제2 단에 위치한 감광 픽셀 회로인 것으로, 감광 픽셀 회로(PX_1)는 감광 픽셀 회로(PX_1~PX_M) 중 가장 먼저 클럭신호(CK)를 수신하는 감광 픽셀 회로이다. 다시 말해서, 클럭신호(CK)는 감광 직렬 픽셀(PXS)의 제1 단/감광 픽셀 회로(PX_1)로부터 감광 직렬 픽셀(PXS)의 제2 단/감광 픽셀 회로(PX_M)로 전파된다.
이 외, 기준 픽셀 어레이(144)는 감광 픽셀 어레이(140)의 일측에 인접되게 설치되는 것으로, 적어도 하나의 기준 직렬 픽셀(RPXS)을 포함하고, 기준 직렬 픽셀(RPXS)은 감광 직렬 픽셀(PXS)에 평행하게 되는 것으로, 복수 개의 기준 픽셀 회로(RPX_1~RPX_M)를 포함하며, 각각의 기준 픽셀 회로(RPX_m)는 그 어떠한 감광 모듈도 포함하지 않을 수 있다. 구체적으로, 기준 픽셀 회로(RPX_m)는 감광 픽셀 회로(PX_m)와 유사한 회로구조를 구비할 수 있는 것으로, 감광 픽셀 회로(PX_m)와 다른 점이라면, 기준 픽셀 회로(RPX_m)는 감광 픽셀 회로(PX_m)가 갖는 감광 모듈을 구비하지 않고, 전압제어 전류원(Voltage-Control Current Source)을 이용하여 감광 픽셀 회로(PX_m)가 갖는 감광모듈을 대체하는 것이다. 마찬가지로, 기준 픽셀 회로(RPX_1)는 기준 직렬 픽셀(RPXS)의 제1 단에 위치하는 기준 픽셀 회로이고, 기준 픽셀 회로(PX_M)는 기준 직렬 픽셀(RPXS)의 제2 단에 위치하는 기준 픽셀 회로이며, 기준 픽셀 회로(RPX_1)는 기준 픽셀 회로(RPX_1~RPX_M)에서 가장 먼저 클럭신호(CK)를 수신하는 감광 픽셀 회로이다. 다시 말해서, 클럭신호(CK)는 감광 직렬 픽셀(PXS)의 제1 단/감광 픽셀 회로(PX_1)로부터 감광 직렬 픽셀(PXS)의 제2 단/감광 픽셀 회로(PX_M)로 전파(Propagate)된다.
일반적으로, 클럭신호(CK)는 클럭신호 전송 도선 상에서 전도(傳導)된다. 다시 말해서, 감광 직렬 픽셀(PXS)은 클럭신호 전송 도선(PXTL)을 포함할 수 있고, 클럭신호(CK)는 감광 직렬 픽셀(PXS)의 제1 단/감광 픽셀 회로(PX_1)로부터 클럭신호 전송 도선(PXTL)에 의해 감광 직렬 픽셀(PXS)의 제2 단/감광 픽셀 회로(PX_M)로 전파된다. 마찬가지로, 기준 직렬 픽셀(RPXS)은 클럭신호 전송 도선(PXTL')을 포함할 수 있고, 클럭신호(CK)는 기준 직렬 픽셀(PXS)의 제1 단/기준 픽셀 회로(RPX_1)로부터 클럭신호 전송 도선(PXTL')에 의해 기준 직렬 픽셀(PXS)의 제2 단/기준 픽셀 회로(RPX_M)로 전파된다.
클럭신호(CK)가 클럭신호 전송 도선(PXTL)에 전도되면서, 전파지연이 생기게 되는데, 이는 동일한 감광 직렬 픽셀(PXS)의 감광 픽셀 회로(PX_1~PX_M)에서 실제로 수신 받는 클럭신호(수신 클럭신호라고 약칭)가 전파 지연을 거치지 않은 클럭신호(CK)에 대응하여 위상차(φ1~φM)를 갖도록 하는데, 위상차(φ1~φM)는 거리/깊이를 계산하는데 영향을 끼치게 되면서, 거리/깊이를 계산 시의 오차를 커지게 한다.
이 외, 클럭신호(CK)가 클럭신호 전송 도선(PXTL')에 전도되면서, 역시 전파지연이 생기게 되는데, 이는 기준 직렬 픽셀(RPXS)의 기준 픽셀 회로(RPX_1~RPX_M)에서 실제로 수신 받는 수신 클럭신호가 전파 지연을 거치지 않은 클럭신호(CK)에 대응하여 위상차(φ1'~φM')를 갖도록 한다. 일 실시예에서, 클럭신호 전송 도선(PXTL)과 클럭신호 전송 도선(PXTL')은 동일한 전송 매체일 수 있는 것으로, 동일한 신호 전도 특성을 구비하게 되며, 클럭신호(CK)가 기준 픽셀 회로(RPX_1~RPX_M)에 도착하면서 거치는 전송 거리와, 클럭신호(CK)가 감광 픽셀 회로(PX_1~PX_M)에 도착하면서 거치는 전송 거리는 동일한 것으로써, 위상차(φ1~φM)와 위상차(φ1'~φM')가 동일하도록 한다.
이와 같은 상황 하에서, 위상차(φ1~φM)의 거리/깊이 계산에 대한 영향을 줄이기 위하여, 이미지 센서 회로(14)는 기준 픽셀 어레이(144)를 이용하여 위상차(φ1'~φM')를 획득하며, 위상차(φ1'~φM')와 관련된 정보를 깊이 영상 판단 유닛(146)으로 출력하며, 깊이 영상 판단 유닛(146)은 위상차(φ1'~φM')에 근거하여, 깊이 영상을 계산할 때 감광 픽셀 회로(PX_1~PX_M)에서 겪은 위상차(φ1~φM)를 보상 받음으로써, 깊이 영상에 대한 판단을 보다 정확하도록 한다. 다시 말해서, 깊이 영상 판단 유닛(146)은 감광 픽셀 어레이(140)에서 출력하는 복수 개의 픽셀값 및 기준 픽셀 어레이(144)에서 출력하는 위상차(φ1'~φM')에 근거하여, 깊이 영상을 판단할 수 있으며, 이로써 깊이 영상에 대한 판단을 보다 정확하도록 한다.
이 외, 도 2에서 도시한 바와 같이, 감광 직렬 픽셀(PXS)은 지연 고정 회로(DLL)(148a)를 통해 클럭신호 생성 회로(142)에 커플링되고, 지연 고정 회로(148a)는 클럭신호 생성회로(142)로부터 클럭신호(CK')를 수신 받으며, 클럭신호(CK')에 근거하여 클럭신호(CK)를 생성한다. 주의할 점으로는, 지연 고정 회로(148a)는 클럭신호의 지연을 고정할 수 있는 것으로써, 지연 고정 회로(148a)를 통해 감광 픽셀 어레이(140)에 입력되는 모든 감광 직렬 픽셀(PXS)의 클럭신호(CK)로 하여금 모두 동일한 지연/위상을 갖게끔 한다. 이 외, 다른 하나의 지연 고정 회로(148b)는 클럭신호 생성회로(142)로부터 클럭신호(CK'')를 수신 받으며, 클럭신호(CK'')에 근거하여 기준 클럭 신호(RCK)를 생성하며, 기준 클럭신호(RCK)를 기준 픽셀 회로(RPX_1~RPX_M)로 입력한다. 마찬가지로, 지연 고정 회로(148b)는 클럭신호의 지연을 고정할 수 있는 것으로써, 지연 고정 회로(148b)를 통해 각각의 기준 직렬 픽셀(RPX_m)에 입력되는 기준 클럭신호(RCK)가 모두 동일한 지연/위상을 갖게끔 한다.
지연 고정 회로(148a)와 지연 고정 회로(148b)는 동일한 회로구조를 구비할 수 있으며, 그 회로구조는 당업자가 공지하는 것으로, 여기에서는 그 설명을 생략한다. 도 3 및 도 4를 참조하면, 도 3은 본 개시 실시예의 지연 고정 회로(348)에 대한 설명도이고, 도 4는 본 개시 실시예의 지연 고정 유닛(DLL)에 대한 설명도이다. 지연 고정 회로(348)는 지연 고정 회로(148a)를 실현 가능하게 한다. 지연 고정 회로(348)는 복수 개의 완충기(BF) 및 복수 개의 지연 고정 유닛(DLL)을 포함하고, 지연 고정 유닛(DLL)은 입력단(in, ref) 및 출력단(out)을 구비하는 것으로, 지연/위상을 고정함으로써, 지연 고정 유닛(DLL)의 출력단(out)에서 출력한 신호와, 입력단(ref)에서 입력한 신호가 동일한 지연/위상을 갖도록 하며, 이에 대한 상세한 회로구조는 도 4를 참조할 수 있다. 이로써, 지연 고정 회로(348)는 각각의 지연 고정 유닛(DLL)에서 출력하는 클럭신호(CK)가 모두 동일한 지연/위상을 갖도록 하는 것을 보장할 수 있다. 이 외, 지연 고정 회로(348)는 또한 지연 고정 회로(148b)를 실현 가능한 것으로, 그 조작 원리는 전술한 단락을 참조 가능한 것으로, 여기에서는 이에 대한 설명을 생략한다.
상술한 바로부터 알 수 있듯이, 이미지 센서 회로(14)는 기준 픽셀 어레이(144)를 이용하여 위상차(φ1'~φM')를 획득할 수 있고, 위상차(φ1'~φM')와 위상차(φ1~φM)가 동일하기 때문에, 깊이 영상을 계산 시, 기준 픽셀 어레이(144)에서 생성하는 위상차(φ1'~φM')를 이용하여, 감광 픽셀 회로(PX_1~PX_M)에서 겪은 위상차(φ1~φM)를 보상 받음으로써, 깊이 영상에 대한 판단을 보다 정확하도록 한다.
이와 비교하여, 도 5를 참조하면, 도 5는 종래의 픽셀 어레이(540)에 대한 설명도이다. 픽셀 어레이(540) 중, 픽셀 회로(PX_1~PX_M)에 대응되는 수신 클럭신호는, 전파 지연을 거치지 않은 클럭신호(CK)에 대응하여, 위상차(φ1~φM)를 갖게 되는데, 종래기술은 위상차(φ1~φM)에 대하여 보상을 하지 않았으며, 위상차(φ1~φM)로 하여금 거리/깊이에 대한 계산에 영향을 끼치게끔 하였으므로, 오히려 거리/깊이 계산에 대한 오차를 크게 하였다.
상술한 바를 종합하면, 본 개시는 광을 수광하지 않는 (또는 감광 모듈을 구비하지 않는) 기준 픽셀 어레이를 이용하여 클럭신호의 전도로 인해 발생하는 위상 지연/위상차를 기록하는 것으로, 깊이 영상을 계산 시, 감광 픽셀 어레이가 겪은 위상차를 보상 받음으로써, 깊이 영상에 대한 판단이 보다 정확하도록 한다.
상술한 바는 모두 본 개시의 비교적 바람직한 실시예일 뿐, 본 개시를 한정하는 것은 아니다. 본 개시의 사상과 원칙 내에 실행한 모든 수정, 동등한 대체 및 개선 등은 모두 본 개시의 보호범위에 속한다.

Claims (10)

  1. 이미지 센서 회로로서,
    복수 개의 감광 직렬 픽셀을 포함하는 감광 픽셀 어레이 - 상기 복수 개의 감광 직렬 픽셀 중의 하나의 감광 직렬 픽셀은 복수 개의 감광 픽셀 회로를 포함하며, 상기 감광 직렬 픽셀의 제1 단은 클럭신호를 수신 받고, 상기 클럭신호는 상기 감광 직렬 픽셀의 상기 제1 단에서 상기 감광 직렬 픽셀의 제2 단으로 전파되는 것으로, 복수 개의 픽셀 값을 출력함 -;
    적어도 하나의 기준 직렬 픽셀을 포함하는 기준 픽셀 어레이 - 상기 기준 직렬 픽셀은 복수 개의 기준 픽셀 회로를 포함하며, 상기 기준 직렬 픽셀의 제1 단은 상기 클럭신호를 수신 받도록 구성되고, 상기 클럭신호는 상기 기준 직렬 픽셀의 상기 제1 단에서 상기 기준 직렬 픽셀의 제2 단으로 전파되는 것으로, 상기 복수 개의 기준 픽셀 회로에서 수신 받는 복수 개의 수신 클럭신호와 상기 클럭신호 사이의 복수 개의 위상차를 출력하도록 구성됨 -; 및
    상기 감광 픽셀 어레이 및 상기 기준 픽셀 어레이에 커플링되어, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단하는 깊이 영상 판단 유닛
    을 포함하는 이미지 센서 회로.
  2. 제1항에 있어서,
    상기 복수 개의 감광 직렬 픽셀은 서로 평행되게 배치되고, 상기 기준 직렬 픽셀은 상기 복수 개의 감광 직렬 픽셀에 평행되게 배치되는, 이미지 센서 회로.
  3. 제1항에 있어서,
    상기 감광 픽셀 어레이의 각각의 감광 픽셀 회로는 감광 모듈을 포함하고, 상기 기준 픽셀 어레이의 각각의 기준 픽셀 회로는 감광 모듈을 포함하지 않는, 이미지 센서 회로.
  4. 제1항에 있어서,
    상기 기준 픽셀 어레이는 외래광을 수광 받지 않는, 이미지 센서 회로.
  5. 제1항에 있어서,
    상기 기준 픽셀 어레이는 상기 감광 픽셀 어레이의 일측에 인접되게 설치되는, 이미지 센서 회로.
  6. 깊이 이미지 센서 시스템으로서,
    입사광을 송출하는 발광 유닛 및 이미지 센서 회로를 포함하고,
    상기 이미지 센서회로는,
    복수 개의 감광 직렬 픽셀을 포함하는 감광 픽셀 어레이 - 상기 복수 개의 감광 직렬 픽셀 중의 하나의 감광 직렬 픽셀은 복수 개의 감광 픽셀 회로를 포함하며, 상기 감광 직렬 픽셀의 제1 단은 클럭신호를 수신 받도록 구성되고, 상기 클럭신호는 상기 감광 직렬 픽셀의 상기 제1 단에서 상기 감광 직렬 픽셀의 제2 단으로 전파되는 것으로, 복수 개의 픽셀 값을 출력하도록 구성됨 -;
    적어도 하나의 기준 직렬 픽셀을 포함하는 기준 픽셀 어레이 - 상기 기준 직렬 픽셀은 복수 개의 기준 픽셀 회로를 포함하며, 상기 기준 직렬 픽셀의 제1 단은 상기 클럭신호를 수신 받도록 구성되고, 상기 클럭신호는 상기 기준 직렬 픽셀의 상기 제1 단에서 상기 기준 직렬 픽셀의 제2 단으로 전파되는 것으로, 상기 복수 개의 기준 픽셀 회로에서 수신 받는 복수 개의 수신 클럭신호와 상기 클럭신호 사이의 복수 개의 위상차를 출력하도록 구성됨 -; 및
    상기 감광 픽셀 어레이 및 상기 기준 픽셀 어레이에 커플링되어, 상기 복수 개의 픽셀값 및 상기 복수 개의 위상차에 근거하여, 깊이 영상을 판단하는 깊이 영상 판단 유닛
    을 포함하는, 깊이 이미지 센서 시스템.
  7. 제6항에 있어서,
    상기 복수 개의 감광 직렬 픽셀은 서로 평행되게 배치되고, 상기 기준 직렬 픽셀은 상기 복수 개의 감광 직렬 픽셀에 평행되게 배치되는, 깊이 이미지 센서 시스템.
  8. 제6항에 있어서,
    상기 감광 픽셀 어레이의 각각의 감광 픽셀 회로는 감광 모듈을 포함하고, 상기 기준 픽셀 어레이의 각각의 기준 픽셀 회로는 감광 모듈을 포함하지 않는, 깊이 이미지 센서 시스템.
  9. 제6항에 있어서,
    상기 기준 픽셀 어레이는 외래광을 수광 받지 않는, 깊이 이미지 센서 시스템.
  10. 제6항에 있어서,
    상기 기준 픽셀 어레이는 상기 감광 픽셀 어레이의 일측에 인접되게 설치되는, 깊이 이미지 센서 시스템.
KR1020177033789A 2017-08-18 2017-08-18 이미지 센서 회로 및 깊이 이미지 센서 시스템 KR101980722B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/097980 WO2019033382A1 (zh) 2017-08-18 2017-08-18 图像传感电路以及图像深度传感系统

Publications (2)

Publication Number Publication Date
KR20190035451A KR20190035451A (ko) 2019-04-03
KR101980722B1 true KR101980722B1 (ko) 2019-08-28

Family

ID=65361285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033789A KR101980722B1 (ko) 2017-08-18 2017-08-18 이미지 센서 회로 및 깊이 이미지 센서 시스템

Country Status (5)

Country Link
US (1) US10523849B2 (ko)
EP (1) EP3462730B1 (ko)
KR (1) KR101980722B1 (ko)
CN (2) CN109743891B (ko)
WO (1) WO2019033382A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021016781A1 (zh) 2019-07-29 2021-02-04 深圳市汇顶科技股份有限公司 三维图像传感器以及相关三维图像传感模组及手持装置
CN111965660B (zh) * 2020-10-26 2021-02-23 深圳市汇顶科技股份有限公司 飞行时间传感器、测距系统及电子装置
EP4043926A4 (en) * 2020-10-26 2022-08-17 Shenzhen Goodix Technology Co., Ltd. TIME OF FLIGHT SENSOR, DISTANCE MEASUREMENT SYSTEM AND ELECTRONIC DEVICE

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041460A (ja) 2008-08-06 2010-02-18 Renesas Technology Corp 固体撮像装置
WO2016031066A1 (ja) 2014-08-29 2016-03-03 オリンパス株式会社 撮像装置および撮像システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832877A (ja) * 1994-07-14 1996-02-02 Matsushita Electric Ind Co Ltd 固体撮像装置および固体撮像素子の駆動方法
JP2008032877A (ja) 2006-07-27 2008-02-14 Nikon Corp 自動焦点検出装置
JP5335327B2 (ja) * 2008-08-29 2013-11-06 キヤノン株式会社 欠陥検出補正装置及び欠陥検出補正方法
KR101646908B1 (ko) * 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
KR101788032B1 (ko) 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
CN103595410A (zh) * 2012-08-17 2014-02-19 联咏科技股份有限公司 图像传感器及其列模数转换器
JP2014124493A (ja) * 2012-12-27 2014-07-07 Olympus Medical Systems Corp 内視鏡システム
KR102007279B1 (ko) * 2013-02-08 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀, 이를 포함하는 3차원 이미지 센서 및 3차원 이미지 센서의 거리 픽셀의 구동 방법
US20140347442A1 (en) * 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
TWI528810B (zh) * 2013-10-07 2016-04-01 恆景科技股份有限公司 影像感測器以及影像感測方法
WO2015119243A1 (ja) * 2014-02-07 2015-08-13 国立大学法人静岡大学 イメージセンサ
CN104980605B (zh) * 2014-04-11 2018-07-03 山东新北洋信息技术股份有限公司 图像读取设备和用于图像读取设备的相位差校正方法
US10061029B2 (en) 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
CN105609516B (zh) * 2015-12-18 2019-04-12 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN106027881B (zh) * 2016-05-10 2019-05-10 天津大学 图像传感器列延时导致图像失真恢复方法
US10527728B2 (en) * 2017-01-27 2020-01-07 Samsung Electronics Co., Ltd Apparatus and method for range measurement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041460A (ja) 2008-08-06 2010-02-18 Renesas Technology Corp 固体撮像装置
WO2016031066A1 (ja) 2014-08-29 2016-03-03 オリンパス株式会社 撮像装置および撮像システム

Also Published As

Publication number Publication date
CN109743891A (zh) 2019-05-10
KR20190035451A (ko) 2019-04-03
EP3462730A1 (en) 2019-04-03
CN113099072B (zh) 2023-09-26
EP3462730B1 (en) 2020-05-13
US20190058812A1 (en) 2019-02-21
EP3462730A4 (en) 2019-04-03
US10523849B2 (en) 2019-12-31
CN109743891B (zh) 2021-06-25
CN113099072A (zh) 2021-07-09
WO2019033382A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
KR101980722B1 (ko) 이미지 센서 회로 및 깊이 이미지 센서 시스템
CN109313264B (zh) 基于飞行时间的测距方法和测距系统
CN110574364B (zh) 三维图像传感器以及相关三维图像传感模组及手持装置
CN109613517B (zh) 一种TOF Lidar多机抗干扰工作方法
US8645099B2 (en) Depth sensor, depth estimation method using the same, and depth estimation device including the same
US9628774B2 (en) Image processing method and apparatus
CN112946686B (zh) 飞行时间感测系统及其中使用的图像传感器
CN110168451A (zh) 时间数字转换器装置、激光雷达系统和设备
KR101980613B1 (ko) 이미지 센서 회로 및 깊이 이미지 센서 시스템
TW202122823A (zh) 飛行時間感測系統和其中使用的圖像感測器
JP2006319881A (ja) 光空間通信方式
US9882653B2 (en) System and method of de-skewing electrical signals
CN113645371B (zh) 飞行时间传感器行方向相位固定模式噪声消除装置和方法
WO2019196049A1 (zh) 影像传感系统及电子装置
CN112449081A (zh) 一种用于校正tof图像传感器成像误差的方法
CN107621442A (zh) 一种产品质量监测视觉传感器

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant