KR101888564B1 - 깊이 센서, 및 이의 깊이 계산 방법 - Google Patents

깊이 센서, 및 이의 깊이 계산 방법 Download PDF

Info

Publication number
KR101888564B1
KR101888564B1 KR1020110146497A KR20110146497A KR101888564B1 KR 101888564 B1 KR101888564 B1 KR 101888564B1 KR 1020110146497 A KR1020110146497 A KR 1020110146497A KR 20110146497 A KR20110146497 A KR 20110146497A KR 101888564 B1 KR101888564 B1 KR 101888564B1
Authority
KR
South Korea
Prior art keywords
depth
pixel signals
saturated
pixel
signal
Prior art date
Application number
KR1020110146497A
Other languages
English (en)
Other versions
KR20130077662A (ko
Inventor
민동기
진영구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110146497A priority Critical patent/KR101888564B1/ko
Priority to US13/617,752 priority patent/US9103663B2/en
Publication of KR20130077662A publication Critical patent/KR20130077662A/ko
Application granted granted Critical
Publication of KR101888564B1 publication Critical patent/KR101888564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

깊이 센서의 깊이 계산 방법이 개시된다. 상기 깊이 센서의 깊이 계산 방법은, 변조 광을 타겟 물체로 출력하는 단계, 상기 타겟 물체로부터 반사된 반사 광에 따라 깊이 픽셀로부터 4개의 픽셀 신호들(A0A1A2A3)을 검출하는 단계; 상기 4개의 픽셀 신호들(A0A1A2A3) 각각의 크기와 문턱 값의 비교 결과에 따라 상기 4개의 픽셀 신호들 각각의 포화 여부를 판단하는 단계, 및 상기 판단 결과들에 따라 상기 타겟 물체까지의 깊이를 계산하는 단계를 포함한다.

Description

깊이 센서, 및 이의 깊이 계산 방법{Depth sensor, method of calculating depth in the same}
본 발명의 개념에 따른 실시 예는 TOF(time-of-flight) 원리를 이용한 깊이 센서에 관한 것으로, 특히, 깊이를 계산하기 위한 상기 깊이 센서, 및 이의 깊이 계산 방법에 관한 것이다.
센서(sensor)는 대상물의 상태 또는 위치를 검출하고 검출 결과를 전기적인 신호로 변환하여 전달하는 소자이다. 상기 센서의 종류로서는 빛 센서, 온도 센서, 압력 센서, 자기 센서, 또는 깊이(또는, 거리) 센서(depth sensor) 등이 있다.
상기 깊이 센서의 상기 소스로부터 출력되는 신호는 마이크로파(Micro wave), 광파(Light wave) 또는 초음파(Ultrasonic wave)가 주로 사용된다.
상기 깊이 센서는 TOF(time-Of-flight) 측정 방식을 이용하여 깊이를 측정한다. 즉, 상기 깊이 센서는 소스(source)로부터 방사된 펄스 형태의 신호가 타겟 물체(또는, 측정 대상물)에 의해 반사되어 되돌아 올 때까지의 지연 시간을 측정하여 상기 깊이 센서와 상기 타겟 물체까지의 깊이(또는, 거리)를 산출한다.
복수의 픽셀 신호들 중 적어도 어느 하나가 포화될 때, 거리를 계산할 수 있는 방법이 필요하다.
따라서 본 발명이 이루고자 하는 기술적인 과제는 복수의 픽셀 신호들의 포화 여부에 따라 서로 다른 방법을 이용하여 깊이를 계산할 수 있는 깊이 센서, 및 이의 깊이 계산 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 깊이 센서의 깊이 계산 방법은 변조 광을 타겟 물체로 출력하는 단계, 상기 타겟 물체로부터 반사된 반사 광에 따라 깊이 픽셀로부터 4개의 픽셀 신호들(A0A1A2A3)을 검출하는 단계, 상기 4개의 픽셀 신호들(A0A1A2A3) 각각의 크기와 문턱 값의 비교 결과에 따라 상기 4개의 픽셀 신호들 각각의 포화 여부를 판단하는 단계, 및 상기 판단 결과들에 따라 상기 타겟 물체까지의 깊이를 계산하는 단계를 포함한다.
상기 깊이를 계산하는 단계는 상기 4개의 픽셀 신호들 중에서 포화되지 않은 적어도 하나의 픽셀 신호를 이용한다.
상기 깊이(Z)를 계산하는 단계는 Z=(aX+bY)/M에 따라 계산되고, 상기 X와 Y 각각은 상기 4개의 픽셀 신호들 중에서 적어도 2개의 픽셀 신호들에 연관된 신호이고, 상기 M은 정규화된 지연(ND)에 따라 정의된 영역에서 서로 다른 값을 갖고, 상기 정규화된 지연(ND)은 0과 1 사이의 범위를 가지도록 상기 변조 광과 상기 반사 광의 위상 시프트가 정규화된 것을 나타내며, 상기 a, b, X, Y, 및 M은 실수이다.
상기 X=A0-A2, 상기 Y=A1-A3이고, 상기 M은, 상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, (A0-A3+A1-A2)/2이고, 상기 정규화된 지연(ND)이 0.25≤ND<0.5일 때, (A1-A0+A2-A3)/2이고, 상기 정규화된 지연(ND)이 0.5≤ND<0.75일 때, (A2-A1+A3-A0)/2이고, 상기 정규화된 지연(ND)이 0.75≤ND<1일 때, (A3-A2+A0-A1)/2이다.
A0가 포화된 픽셀 신호일 때, 상기 X=-2A2+A1+A3, 상기 Y=A1-A3이고, 상기 M은, 상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, A1-A2이고, 상기 정규화된 지연(ND)이 0.75≤ND<1일 때, A3-A2이다.
A1가 포화된 픽셀 신호일 때, 상기 X=A0-A2, 상기 Y=-2A3+A0+A2이고, 상기 M은, 상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, A0-A3이고, 상기 정규화된 지연(ND)이 0.25≤ND<0.5일 때, A2-A3이다.
A2가 포화된 픽셀 신호일 때, 상기 X=2A0-A1-A3, 상기 Y=A1-A3이고, 상기 M은, 상기 정규화된 지연(ND)이 0.25≤ND<0.5 일 때, A1-A0이고, 상기 정규화된 지연(ND)이 0.5≤ND<0.75일 때, A3-A0이다.
A3가 포화된 픽셀 신호일 때, 상기 X=A0-A2, 상기 Y=2A1-A0-A2이고, 상기 M은, 상기 정규화된 지연(ND)이 0.5≤ND<0.75 일 때, A2-A1이고, 상기 정규화된 지연(ND)이 0.75≤ND<1일 때, A0-A1이다.
상기 깊이(Z)를 계산하는 단계는, 상기 4개의 픽셀 신호들(A0A1A2A3) 중 2개가 포화될 때, 이웃 깊이 픽셀로부터 검출된 복수의 이웃 픽셀 신호들(A00A10A20A30)을 이용하여 주변 광원에서 방출되는 주변 광 신호(Best)를 추정하는 단계를 더 포함한다.
A0과 A1이 포화된 픽셀 신호들일 때, 상기 M=A2+A3-2Best, X=A3-A2+M, Y=A2-A3+M이다.
A1과 A2가 포화된 픽셀 신호들일 때, 상기 M=A0+A3-2Best, X=A0-A3-M, Y=-A3+A0+M이다.
A2와 A3이 포화된 픽셀 신호들일 때, 상기 M=A0+A1-2Best, X=-A1+A0-M, Y=-A0+A1-M이다.
A3과 A0이 포화된 픽셀 신호들일 때, 상기 M=A1+A2-2Best, X=-A2+A1+M, Y=A1-A2-M이다.
본 발명의 실시 예에 따른 깊이 센서는 변조 광을 타겟 물체로 출력하는 광원, 상기 타겟 물체로부터 반사된 반사 광에 따라 4개의 픽셀 신호들(A0A1A2A3)을 검출하는 깊이 픽셀, 및 상기 4개의 픽셀 신호들(A0A1A2A3) 각각의 크기와 문턱 값의 비교 결과에 따라 상기 4개의 픽셀 신호들 각각의 포화 여부를 판단하고, 상기 판단 결과들에 따라 상기 타겟 물체까지의 깊이를 계산하는 마이크로 프로세서를 포함한다.
상기 마이크로 프로세서는 상기 4개의 픽셀 신호들 중에서 포화되지 않은 적어도 하나의 픽셀 신호를 이용하여 상기 깊이를 계산한다.
본 발명의 실시 예에 따른 깊이 센서는 복수의 픽셀 신호들 중 적어도 어느 하나가 포화되더라도 정확하게 깊이를 계산할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타낸다.
도 2는 도 1의 어레이에 도시된 깊이 픽셀의 평면도를 나타낸다.
도 3 도 1에 도시된 깊이 픽셀에 포함된 포토 게이트를 제어하기 위한 포토 게이트 컨트롤 신호들의 타이밍도를 나타낸다.
도 4는 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들의 그래프를 나타낸다.
도 5a는 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 사이의 오차들을 설명하기 위한 그래프를 나타낸다.
도 5b는 도 5a에 도시된 복수의 영역들을 설명하기 위한 그래프를 나타낸다.
도 6은 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 중 어느 하나가 포화될 때, 상기 복수의 픽셀 신호들의 그래프를 나타낸다.
도 7은 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 중 2개가 포화될 때, 상기 복수의 픽셀 신호들의 그래프를 나타낸다.
도 8은 도 1에 도시된 깊이 센서의 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 9는 도 8에 도시된 제1방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 10은 도 8에 도시된 제2방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 11은 도 8에 도시된 제3방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 12는 컬러 이미지 센서와 본 발명의 실시 예에 따른 깊이 센서를 포함하는 이미지 처리 시스템의 블락도를 나타낸다.
본 명세서에 기재되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명의 개념에 따른 실시 예들은 다양한 변경을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 기재 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타내며, 도 2는 도 1의 어레이에 도시된 깊이 픽셀의 평면도를 나타내며, 도 3은 도 1에 도시된 깊이 픽셀에 포함된 포토 게이트를 제어하기 위한 복수의 포토 게이트 컨트롤 신호들의 타이밍도를 나타낸다.
도 1 내지 도 3을 참조하면, TOF(time of flight) 원리를 이용하여 깊이를 계산할 수 있는 깊이 센서(10)는 복수의 깊이 픽셀들(검출기들 또는 센서들; 23-1~23-n; n은 정수)이 배열된 어레이(22)를 포함하는 집적 회로(20), 광원(32), 및 렌즈 모듈(34)을 포함한다.
설명의 편의상 복수의 깊이 픽셀들(23-1~23-n) 각각은 1-탭(tap) 깊이 픽셀을 나타내나, 본 발명의 실시 예는 반드시 1-탭 깊이 픽셀에 한정되지 않는다. 즉, 실시 예에 따라 어레이(22)는 복수의 1-탭 깊이 픽셀들 대신에 복수의 2-탭 깊이 픽셀들을 포함할 수 있다.
어레이(22)에 2차원으로 구현된 깊이 픽셀(23-1)은 포토 게이트(photo gate; 110)를 포함한다. 또한, 깊이 픽셀(23-1)은 신호 처리를 위한 트랜지스터(112)를 포함한다.
로우 디코더(row decoder; 24)는 타이밍 컨트롤러(26)로부터 출력된 로우 어드레스(row address)에 응답하여 복수의 로우들 중에서 어느 하나의 로우를 선택한다. 여기서, 로우(row)란 어레이(22)에서 X-방향으로 배치된 복수의 1-탭 깊이 픽셀들의 집합을 의미한다.
포토 게이트 컨트롤러(28)는 타이밍 컨트롤러(26)의 제어하에 복수의 포토 게이트 컨트롤 신호들(Ga, Gb, Gc 및 Gd)을 생성하여 어레이(22)로 공급할 수 있다.
도 3에 도시된 바와 같이, 각 포토 게이트 컨트롤 신호(Ga, Gb, Gc, 및 Gd)는 구형파이다.
제1포트 게이트 컨트롤 신호(Ga)의 위상과 제3포트 게이트 컨트롤 신호(Gc)의 위상과의 차는 90°이고, 제1포트 게이트 컨트롤 신호(Ga)의 위상과 제2포토 게이트 컨트롤 신호(Gb)의 위상과의 차는 180°이고, 제1포트 게이트 컨트롤 신호(Ga)의 위상과 제4포토 게이트 컨트롤 신호(Gd)의 위상과의 차는 270°이다.
광원 드라이버(30)는, 타이밍 컨트롤러(26)의 제어 하에, 광원(32)을 드라이빙(driving)할 수 있는 클락 신호(MLS)를 생성할 수 있다.
광원(32)은 클락 신호(MLS)에 응답하여 변조된 광신호(EL)를 타겟 물체(40)로 방사(emit)한다. 광원(32)으로서 LED(light emitting diode) 또는 레이저 다이오드(laser diode)가 사용될 수 있다. 변조된 광신호(EL)와 클락 신호(MLS)는 동일한 위상을 가진다.
변조된 광신호(EL)는 구형파이다. 실시 예에 따라 변조된 광신호(EL)는 정현파일 수 있다.
광원 드라이버(30)는 클락 신호(MLS) 또는 클락 신호(MLS)에 대한 정보를 포토 게이트 컨트롤러(28)로 공급한다. 따라서, 포토 게이트 컨트롤러(28)는 타이밍 컨트롤러(26)의 제어하에 클락 신호(MLS)의 위상과 동일한 위상을 갖는 제1포트 게이트 컨트롤 신호(Ga)와, 클락 신호(MLS)의 위상과 180°의 위상 차를 갖는 제2포트 게이트 컨트롤 신호(Gb)를 생성한다. 또한, 포토 게이트 컨트롤러(28)는 클락 신호(MLS)의 위상과 90°의 위상 차를 갖는 제3포트 게이트 컨트롤 신호(Gc)와, 270°의 위상 차를 갖는 제4포트 게이트 컨트롤 신호(Gd)를 생성한다.
포토 게이트 컨트롤러(28)는, 타이밍 컨트롤러(26)의 제어하에, 순차적으로 제1포토 게이트 컨트롤 신호(Ga), 제2포토 게이트 컨트롤 신호(Gb), 제3포토 게이트 컨트롤 신호(Gc), 및 제4포토 게이트 컨트롤 신호(Gd)를 어레이(22)로 공급할 수 있다.
실시 예에 따라 복수의 깊이 픽셀들(23-1~23-n) 각각이 2-탭 깊이 픽셀일 때, 포토 게이트 컨트롤러(28)는, 타이밍 컨트롤러(26)의 제어하에, 제1포토 게이트 컨트롤 신호(Ga)와 제3포토 게이트 컨트롤 신호(Gc)를 동시에 어레이(22)로 공급하고, 제2포토 게이트 컨트롤 신호(Gb)와 제4포토 게이트 컨트롤 신호(Gd)를 동시에 어레이(22)로 공급할 수 있다.
예컨대, 포토 게이트 컨트롤러(28)와 광원 드라이버(30)는 서로 동기 되어 동작할 수 있다.
포토 게이트(110)는 투명 폴리 실리콘(poly silicon)으로 구현될 수 있다. 실시 예에 따라, 포토 게이트(110)는 ITO(Indium tin oxide, 또는 tin-doped indium oxide), IZO(Indium Zinc Oxide), 또는 ZnO(Zinc Oxide) 등으로 구현될 수 있다.
반사된 광신호(RL)는 렌즈 모듈(34)을 통하여 어레이(22)로 입사된다. 여기서 렌즈 모듈(34)은 렌즈와 적외선 통과 필터를 포함하는 의미로 사용될 수 있다.
깊이 센서(10)는 렌즈 모듈(34)의 주변에 원형으로 배열되는 복수의 광원들을 포함하나, 설명의 편의를 위하여 하나의 광원(32)만을 도시한다.
렌즈 모듈(34)을 통하여 어레이(22)로 입사된 광신호(RL)는 깊이 픽셀(23-1)에 의하여 복조될 수 있다.
깊이 픽셀(23-1)은 입사된 광신호(RL)의 광 전자들(또는 광 전하)을 일정시간, 예컨대 적분 시간 (integration time)동안 축적하고, 축적 결과에 따라 생성된 픽셀 신호들(A0', A1', A2', 및 A3')을 출력한다. 깊이 픽셀(23-1)에 의하여 생성된 각 픽셀 신호(Ak')는 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
Figure 112011105204839-pat00001
여기서, 깊이 픽셀(23-1)의 포토 게이트(110)로 입력되는 신호가 제1포토 게이트 컨트롤 신호(Ga)일 때, k는 0이고, 제3포토 게이트 컨트롤 신호(Gc)일 때, k는 1이고, 제2포토 게이트 컨트롤 신호(Gb)일 때 k는 2이고, 게이트 신호(Gd)의 위상 차가 270도일 때 k는 3이다.
ak , n은 k에 해당하는 위상(phase) 차로 n(n은 자연수)번째 게이트 신호를 인가했을 때, 깊이 픽셀(23)에서 검출된 광전자들(또는 광 전하)의 수를 나타내고, N=fm*Tint이다. 여기서, fm은 변조된 광신호(EL)의 주파수를 나타내고, Tint는 적분 시간을 나타낸다.
타이밍 컨트롤러(26)의 제어 하에, CDS/ADC 회로(36)는 깊이 픽셀(23-1)로부터 검출된 각 픽셀 신호(A0', A1', A2', 및 A3')에 대해 CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 동작을 수행하여 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)를 출력한다.
깊이 센서(10)는 어레이(22)에 구현된 다수의 컬럼 라인들로부터 출력된 픽셀 신호들을 CDS/ADC 회로(36)로 전송하기 위한 액티브 로드 회로들(미도시)을 더 포함할 수 있다.
메모리(38)는 CDS/ADC 회로(36)로부터 출력된 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)를 수신하여 저장한다.
이하, 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)는 설명의 편의상 각 픽셀 신호로 호칭한다.
도 4는 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들의 그래프를 나타낸다.
도 1 내지 도 4를 참조하면, 도 4의 x축은 정규화된 지연(ND)을 나타내며, y축은 각 픽셀 신호(A0, A1, A2, 및 A3)의 정규화된 크기를 나타낸다. 정규화된 지연(ND)은 0과 1 사이의 범위를 가지도록 변조된 광신호(EL)와 반사된 광신호(RL) 사이의 위상 시프트(phase shift; θ)가 정규화된 것을 의미한다.
예컨대, 정규화된 지연(DL)이 0일 때, 도 3에서 반사된 광(RL)의 위상과 제1포토 게이트 컨트롤 신호(Ga)의 위상은 같다. 따라서 깊이 픽셀(23-1)로부터 검출된 제1픽셀 신호(A0)는 최대값을 갖는다. 또한, 제1포토 게이트 컨트롤 신호(Ga)와 제2포토 게이트 컨트롤 신호(Gb)의 위상 차이는 180°이므로 제3픽셀 신호(A2)는 최소값을 갖는다.
정규화된 지연(DL)이 0.5일 때, 도 3에서 반사된 광(RL)의 위상과 제2포토 게이트 컨트롤 신호(Gb)의 위상은 같다. 따라서 깊이 픽셀(23-1)로부터 검출된 제3픽셀 신호(A2)는 최대값을 가지며, 제1픽셀 신호(A0)는 최소값을 가진다.
타겟 물체(40)와 깊이 센서(10) 사이의 거리에 따라 정규화된 지연(ND)은 달라진다. 예컨대, 타겟 물체(40)와 깊이 센서(10) 사이의 거리가 멀어질수록 정규화된 지연(ND)은 1에 가까워진다.
각 픽셀 신호(A0, A1, A2, 및 A3)는 삼각파(triangular wave)의 형태를 가진다.
도 5a는 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 사이의 오차들을 설명하기 위한 그래프를 나타낸다.
도 4와 도 5a를 참조하면, X는 제1픽셀 신호(A0)에서 제3픽셀 신호(A2)를 감산한 신호이며, Y는 제2픽셀 신호(A1)에서 제4픽셀 신호(A3)를 감산한 신호이다.
도 5a의 그래프는 X와 Y가 양수인지 음수인지에 따라 복수의 영역들(Area0~Area3)으로 나뉠 수 있다.
X와 Y가 양수인지 음수인지에 따른 복수의 영역들(Area0~Area3)은 표 1과 같이 나타낼 수 있다.
Area0(0≤ND<0.25) Area1(0.25≤ND<0.5) Area2(0.5≤ND<0.75) Area3(0.75≤ND<1)
X 양수 음수 음수 양수
Y 양수 양수 음수 음수
도 5b는 도 5a에 도시된 복수의 영역들을 설명하기 위한 그래프를 나타낸다. x축은 정규화된 실제 거리를 나타내며, y축은 정규화된 추정 거리를 나타낸다.
도 1 내지 도 5b를 참조하면, 거리(Z)는 수학식 2와 같이 계산될 수 있다.
[수학식 2]
Z=(aX+bY)/M
여기서, Z는 거리를, a와 b는 계수, X는 제1픽셀 신호(A0)에서 제3픽셀 신호(A2)를 감산한 신호를, Y는 제2픽셀 신호(A1)에서 제4픽셀 신호(A3)를 감산한 신호를 나타낸다. M은 크기를 나타낸다.
a,b, 및 M은 각 영역(Area0~Area3)에 따라 서로 다른 값을 가진다.
각 영역(Area0~Area3)에 따른 M, a 및 b의 값은 표 2와 같이 나타낼 수 있다.
Area0 Area1 Area2 Area3
M (A0-A3+A1-A2)/2 (A1-A0+A2-A3)/2 (A2-A1+A3-A0)/2 (A3-A2+A0-A1)/2
a 0 -1/2 -1/2 1
b 1/4 1/4 -3/4 -3/4
실시 예에 따라 M, a 및 b의 값은 달라질 수 있다.
도 6은 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 중 어느 하나가 포화될 때, 상기 복수의 픽셀 신호들의 그래프를 나타낸다.
도 1과 도 6을 참조하면, 마이크로 프로세서(39)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 각각의 크기와 문턱 값(THV)의 비교하고, 비교 결과에 따라 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 각각의 포화(saturation) 여부를 판단한다.
마이크로 프로세서(39)는 상기 판단 결과들에 따라 타겟 물체(40)까지의 깊이(Z)를 계산한다.
즉, 마이크로 프로세서(39)는 상기 수학식 2와 아래 표 3을 이용하여 깊이(Z)를 계산한다.

 Saturation
A0'' A1'' A2'' A3''
X -2A2+A1+A3 A0-A2 2A0-A1-A3 A0-A2
Y A1-A3 -2A3+A0+A2 A1-A3 2A1-A0-A2


M
 Area0 A1-A2 A0-A3 - -
Area1 - A2-A3 A1-A0 -
Area2 - - A3-A0 A2-A1
Area3 A3-A2 - - A0-A1
상기 표 3에서 A0'', A1'', A2'', 또는 A3''는 포화된 신호를 의미한다.
예컨대, 제1픽셀 신호(A0'')가 포화될 때, X=-2A2+A1+A3, Y=A1-A3이다.
마이크로 프로세서(39)는 X와 Y에 따라 포화된 신호(A0'')가 제1영역(Area0)에 속하는지 제4영역(Area3)에 속하는지 판단한다.
X와 Y 모두 양수일 때, 포화된 신호(A0'')는 제1영역(Area0)에 속하며, M=A1-A2이다. X가 양수이고, Y가 음수일 때, 포화된 신호(A0'')는 제4영역(Area3)에 속하며, M=A3-A2이다. 제2영역(Area1)과 제3영역(Area2)에서는 신호(A0)가 포화되지 않는다.
마이크로 프로세서(39)는 판단된 영역에 따라 계수들(a와 b)을 결정하고, M을 계산한다. 계수들(a와 b)은 표 2와 같다.
따라서 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 중 어느 하나의 신호가 포화되더라도, 마이크로 프로세서(39)는 상기 수학식 2와 상기 표 3을 이용하여 거리(Z)를 계산할 수 있다.
도 7은 도 1에 도시된 깊이 픽셀로부터 검출된 복수의 픽셀 신호들 중 2개가 포화될 때, 상기 복수의 픽셀 신호들의 그래프를 나타낸다.
도 1과 도 7을 참조할 때, 마이크로 프로세서(39)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 각각의 크기와 문턱 값(THV)의 비교하고, 비교 결과에 따라 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 각각의 포화 여부를 판단한다.
마이크로 프로세서(39)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 중 2개의 픽셀 신호들이 포화되었다고 판단할 때, 이웃 깊이 픽셀(23-2)로부터 검출된 복수의 이웃 픽셀 신호들(A00, A10, A20, 및 A30)을 이용하여 주변 광원(41)에서 방출되는 주변 광 신호(Best)를 추정한다.
주변 광 신호(Best)는 표 4와 같이 요약될 수 있다.
Area0 Area1 Area2 Area3
Best (3(A20+A30)-A00-A10)/4 (3(A30+A00)-A10-A20)/4 (3(A00+A10)-A20-A30)/4 (3(A10+A20)-A30-A00)/4
복수의 이웃 픽셀 신호들(A00, A10, A20, 및 A30)은 모두 포화되지 않은 신호들이다.
예컨대, 복수의 이웃 픽셀 신호들(A00, A10, A20, 및 A30)이 제1영역(Area0)에 속할 때, 주변광 신호(Best)는 수학식 3과 같다.
[수학식 3]
Best=(3(A20+A30)-A00-A10)/4
실시 예에 따라 마이크로 프로세서(39)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 중 2개의 픽셀 신호들이 포화되었다고 판단할 때, 이웃 깊이 픽셀(23-3)로부터 검출된 복수의 이웃 픽셀 신호들(A01, A11, A21, 및 A31)을 이용하여 주변 광원(41)에서 방출되는 주변 광 신호(Best)를 추정할 수 있다.
주변 광 신호(Best)는 표 5와 같이 요약될 수 있다.
Area0 Area1 Area2 Area3
Best
 A01''이 포화될 때
(A11+A31)/2-(A11-A21) 		A11''이 포화될 때
(A21+A01)/2-(A21-A31)		 A21''이 포화될 때
(A31+A11)/2-(A31-A01)		 A31''이 포화될 때
(A01+A21)/2-(A01-A11)
A11''이 포화될 때
(A01+A21)/2-(A01-A31)		 A21''이 포화될 때
(A11+A31)/2-(A11-A01)		 A31''이 포화될 때
(A21+A01)/2-(A21-A11)		 A01''이 포화될 때
(A31+A11)/2-(A31-A21)
복수의 이웃 픽셀 신호들(A01, A11, A21, 및 A31) 중 하나는 포화된 신호이다. A01'', A11'', A21'', 또는 A31''는 포화된 신호를 의미한다.
예컨대, 이웃 픽셀 신호(A01'')가 포화될 때, 주변 광 신호(Best)는 수학식 4와 같이 계산될 수 있다.
[수학식 4]
Best=(A11+A31)/2-(A11-A21)
또 다른 실시 예에 따라 주변 광 신호(Best)는 적어도 2개 이상의 이웃 픽셀들(예컨대, 23-2와 23-3)에 의해 추정된 각 주변 광 신호의 평균 값일 수 있다.
이웃 깊이 픽셀(예컨대, 23-2 또는 23-3)도 깊이 픽셀(23-1)과 마찬가지로 입사된 광신호(RL)와 주변 광 신호(Best)의 광 전자들(또는 광 전하)을 일정시간, 예컨대 적분 시간 (integration time)동안 축적하고, 축적 결과에 따라 생성된 이웃 픽셀 신호들(A00, A10, A20, 및 A30)을 출력한다.
마이크로 프로세서(39)는 복수의 영역들(Area0~Area3)에 따라 M을 계산하고, 계산된 M에 따라 X와 Y를 계산할 수 있다.
X, Y, 및 M은 표 6과 같이 요약될 수 있다.

Saturation
A0'', A1'' A1'', A2'' A2'', A3'' A3'', A0''
X A3-A2+M A0-A3+M -A1+A0+M -A2-A1+3M
Y A2-A3+M -A3-A0+3M -A0+A1+M A1-A2-M
M


 Area0 A2+A3-2Best - - -
Area1 - A0+A3-2Best - -
Area2 - - (A0+A1-2Best)
Area3 - - - A1+A2-2Best
상기 표 3에서 A0'', A1'', A2'', 또는 A3''는 포화된 신호를 의미한다.
예컨대, 2개의 픽셀 신호들(A0''과 A1'')이 포화될 때, X=A3-A2+M, Y=A2-A3+M이다. M은 주변 광 신호(Best)로부터 계산될 수 있다.
또한, 2개의 픽셀 신호들(A0''과 A1'')이 포화되는 영역은 제1영역(Area0)이다. 제2영역(Area1), 제3영역(Area2), 및 제4영역(Area3)에서는 2개의 픽셀 신호들(A0과 A1)이 포화되지 않는다.
따라서 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 중 2개의 신호가 포화되더라도, 마이크로 프로세서(39)는 상기 수학식 2와 상기 표 6을 이용하여 거리(Z)를 계산할 수 있다. 계수들(a와 b)은 표 2와 같다.
도 8은 도 1에 도시된 깊이 센서의 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 1 내지 도 8을 참조하면, 마이크로 프로세서(39)는 깊이 픽셀(23)로부터 검출된 복수의 픽셀 신호들(A0~A3) 각각의 크기와 문턱 값을 비교하여 비교 결과에 따라 복수의 픽셀 신호들(A0~A3) 각각의 포화 여부를 판단한다(S100).
복수의 픽셀 신호들(A0~A3)이 모두 포화되지 않을 때, 마이크로 프로세서(39)는 제1방법을 이용하여 X, Y 및 M을 계산한다(S200).
도 9는 도 8에 도시된 제1방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 1 내지 도 9를 참조하면, 마이크로 프로세서(39)는 제1픽셀 신호(A0)에서 제3픽셀 신호(A2)를 감산하여 X를 계산하며, 제2픽셀 신호(A1)에서 제4픽셀 신호(A3)를 감산하여 Y를 계산한다(S210).
마이크로 프로세서(39)는 X와 Y가 양수 또는 음수인지 여부에 따라 복수의 영역들(Area0~Area3) 중 어느 하나의 영역을 찾는다(S220).
예컨대, X과 양수이고 Y가 양수일 때, 마이크로 프로세서(39)는 제1영역(Area0; 0≤ND<0.25)을 판단한다. 즉, 변조된 광 신호(EL)와 반사된 광 신호(RL) 사이의 정규화된 지연(ND)은 0과 0.25 사이이다.
마이크로 프로세서(39)는 상기 판단된 영역에 따라 계수들(a와 b)를 결정한다(S230).
마이크로 프로세서(39)는 상기 판단된 영역에 따라 크기(M)를 계산한다(S240).
마이크로 프로세서(39)는 상기 수학식 2에 따라 깊이(Z)를 계산한다(S300).
도 8을 참조하면, 복수의 픽셀 신호들(A0~A3) 중 어느 하나가 포화될 때, 마이크로 프로세서(39)는 제2방법을 이용하여 X, Y 및 M을 계산한다(S400).
도 10은 도 8에 도시된 제2방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
도 1 내지 도 8, 및 도 10을 참조하면, 마이크로 프로세서(39)는 포화되지 않은 픽셀 신호들을 이용하여 X와 Y를 계산한다(S410).
예컨대, 제1픽셀 신호(A0'')가 포화될 때, X=-2A2+A1+A3, Y=A1-A3이다.
마이크로 프로세서(39)는 X와 Y가 양수 또는 음수인지 여부에 따라 복수의 영역들(Area0~Area3) 중 어느 하나의 영역을 찾는다(S420).
마이크로 프로세서(39)는 상기 판단된 영역에 따라 계수들(a와 b)를 결정한다(S430).
마이크로 프로세서(39)는 상기 판단된 영역에 따라 크기(M)를 계산한다(S440).
마이크로 프로세서(39)는 상기 수학식 2에 따라 깊이(Z)를 계산한다(S300).
도 8을 참조하면, 복수의 픽셀 신호들(A0~A3) 중 2개가 포화될 때, 마이크로 프로세서(39)는 제3방법을 이용하여 X, Y 및 M을 계산한다(S400).
도 1 내지 도 8, 및 도 11을 참조하면, 도 11은 도 8에 도시된 제3방법에 따른 깊이 계산 방법을 설명하기 위한 플로우차트이다.
복수의 픽셀 신호들(A0~A3) 중 2개가 포화될 때, 마이크로 프로세서(39)는 이웃 픽셀(23-2 또는 23-3)을 이용하여 주변 광 신호(Best)를 추정하고, 크기(M)를 계산한다(S510).
마이크로 프로세서(39)는 X와 Y를 계산한다(S520).
예컨대, 2개의 픽셀 신호들(A0''과 A1'')이 포화될 때, X=A3-A2+M, Y=A2-A3+M이다.
마이크로 프로세서(39)는 X와 Y가 양수 또는 음수인지 여부에 따라 복수의 영역들(Area0~Area3) 중 어느 하나의 영역을 찾는다(S530).
마이크로 프로세서(39)는 상기 판단된 영역에 따라 계수들(a와 b)를 결정한다(S540).
마이크로 프로세서(39)는 상기 수학식 2에 따라 깊이(Z)를 계산한다(S300).
도 12 컬러 이미지 센서와 본 발명의 실시 예에 따른 깊이 센서를 포함하는 이미지 처리 시스템의 블락도를 나타낸다. 도 12를 참조하면, 이미지 처리 시스템 (700)은 깊이 센서(710), RGB 컬러 픽셀들을 포함하는 컬러 이미지 센서(720), 및 프로세서(730)를 포함할 수 있다.
도 12에는 설명의 편의를 위하여 물리적으로 서로 분리된 깊이 센서(710)와 컬러 이미지 센서(720)를 도시하나 깊이 센서(710)와 컬러 이미지 센서(720)가 서로 물리적으로 중복되는 신호 처리 회로들을 포함할 수 있다.
여기서, 깊이 센서(710)는 도 1에 도시된 깊이 센서(10)를 나타낸다.
컬러 이미지 센서(720)는 깊이 픽셀을 포함하지 않고 레드 픽셀, 그린 픽셀, 및 블루 픽셀로 구현된 픽셀 어레이를 포함하는 이미지 센서를 의미할 수 있다. 따라서, 프로세서(730)는 깊이 센서(710)에 의하여 계산된 깊이(또는 거리)와 컬러 이미지 센서(720)로부터 출력된 각 컬러 정보(예컨대, 레드 정보, 그린 정보, 블루 정보, 마젠타 정보, 사이언 정보, 또는 옐로우 정보 중에서 적어도 하나)에 기초하여 3차원 이미지 정보를 생성하고 생성된 3차원 이미지 정보를 디스플레이(미도시)를 통하여 디스플레이할 수 있다.
실시 예에 따라 깊이 센서(710)와 컬러 이미지 센서(720)는 하나의 센서로 구현될 수 있다.
또한, 실시 예에 따라 프로세서(730)는 깊이 센서(710)로부터 출력되는 복수의 픽셀 신호들을 기초하여 깊이를 계산할 수 있다.
프로세서(730)에 의하여 생성된 3차원 이미지 정보는 버스(701)를 통하여 메모리 장치(740)에 저장될 수 있다.
이미지 처리 시스템(700)은 3차원 거리 측정기, 게임컨트롤러, 깊이 카메라, 또는 제스쳐 센싱 장치(gesture sensing apparatus)에 사용될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 깊이 센서
20; 집적 회로
22; 어레이
24; 로우 디코더
26; 타이밍 컨트롤러
28; 포토 게이트 컨트롤러
30; 광원 드라이버
32; 광원
34; 렌즈 모듈
36; CDS/ADC 회로
38; 메모리
39; 마이크로 프로세서
40; 타겟 물체

Claims (10)

  1. 변조 광을 타겟 물체로 출력하는 단계;
    상기 타겟 물체로부터 반사된 반사 광에 따라 깊이 픽셀로부터 4개의 픽셀 신호들(A0, A1, A2 및 A3)을 검출하는 단계;
    상기 4개의 픽셀 신호들(A0, A1, A2 및 A3) 각각의 크기와 문턱 값의 비교 결과에 따라 상기 4개의 픽셀 신호들(A0, A1, A2 및 A3) 각각의 포화(saturation) 여부를 판단하는 단계; 및
    상기 판단 결과들에 따라 상기 타겟 물체까지의 깊이(Z)를 계산하는 단계를 포함하고,
    상기 깊이(Z)는 X, Y 및 M의 함수이고,
    상기 X와 상기 Y 각각은 상기 4개의 픽셀 신호들(A0, A1, A2 및 A3) 중에서 적어도 2개의 픽셀 신호들에 연관되고,
    상기 M은 정규화된 지연(ND)에 따라 정의된 영역에서 서로 다른 값을 갖고,
    상기 정규화된 지연(ND)은 0과 1 사이의 범위를 가지도록 상기 변조 광과 상기 반사 광의 위상 시프트가 정규화된 것을 나타내고,
    상기 X, Y 및 M는 실수인 깊이 센서의 깊이 계산 방법.
  2. 제1항에 있어서, 상기 깊이(Z)를 계산하는 단계는,
    상기 4개의 픽셀 신호들(A0, A1, A2 및 A3) 중에서 포화되지 않은 적어도 하나의 픽셀 신호를 이용하여 상기 깊이(Z)를 계산하는 깊이 센서의 깊이 계산 방법.
  3. 제1항에 있어서, 상기 깊이(Z)는,
    아래의 수학식,
    Z=(aX+bY)/M
    에 따라 계산되고,
    상기 a 및 b는 실수인 깊이 센서의 깊이 계산 방법.
  4. 제3항에 있어서,
    상기 X=A0-A2, 상기 Y=A1-A3이고, 상기 M은,
    상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, (A0-A3+A1-A2)/2이고,
    상기 정규화된 지연(ND)이 0.25≤ND<0.5일 때, (A1-A0+A2-A3)/2이고,
    상기 정규화된 지연(ND)이 0.5≤ND<0.75일 때, (A2-A1+A3-A0)/2이고,
    상기 정규화된 지연(ND)이 0.75≤ND<1일 때, (A3-A2+A0-A1)/2인 깊이 센서의 깊이 계산 방법.
  5. 제3항에 있어서, A0가 포화된 픽셀 신호일 때,
    상기 X=-2A2+A1+A3, 상기 Y=A1-A3이고, 상기 M은,
    상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, A1-A2이고,
    상기 정규화된 지연(ND)이 0.75≤ND<1일 때, A3-A2이며,
    A1가 포화된 픽셀 신호일 때,
    상기 X=A0-A2, 상기 Y=-2A3+A0+A2이고, 상기 M은,
    상기 정규화된 지연(ND)이 0≤ND<0.25 일 때, A0-A3이고,
    상기 정규화된 지연(ND)이 0.25≤ND<0.5일 때, A2-A3이며,
    A2가 포화된 픽셀 신호일 때,
    상기 X=2A0-A1-A3, 상기 Y=A1-A3이고, 상기 M은,
    상기 정규화된 지연(ND)이 0.25≤ND<0.5 일 때, A1-A0이고,
    상기 정규화된 지연(ND)이 0.5≤ND<0.75일 때, A3-A0이며,
    A3가 포화된 픽셀 신호일 때,
    상기 X=A0-A2, 상기 Y=2A1-A0-A2이고, 상기 M은,
    상기 정규화된 지연(ND)이 0.5≤ND<0.75 일 때, A2-A1이고,
    상기 정규화된 지연(ND)이 0.75≤ND<1일 때, A0-A1인 깊이 센서의 깊이 계산 방법.
  6. 제3항에 있어서, 상기 깊이(Z)를 계산하는 단계는,
    상기 4개의 픽셀 신호들(A0, A1, A2 및 A3) 중 2개가 포화될 때,
    이웃 깊이 픽셀로부터 검출된 복수의 이웃 픽셀 신호들(A00, A10, A20 및 A30)을 이용하여 주변 광원에서 방출되는 주변 광 신호(Best)를 추정하는 단계를 더 포함하는 깊이 센서의 깊이 계산 방법.
  7. 제6항에 있어서,
    A0과 A1이 포화된 픽셀 신호들일 때,
    상기 M=A2+A3-2Best, X=A3-A2+M, Y=A2-A3+M이며,
    A1과 A2가 포화된 픽셀 신호들일 때,
    상기 M=A0+A3-2Best, X=A0-A3-M, Y=-A3+A0+M인 깊이 센서의 깊이 계산 방법.
  8. 제7항에 있어서,
    A2와 A3이 포화된 픽셀 신호들일 때,
    상기 M=A0+A1-2Best, X=-A1+A0-M, Y=-A0+A1-M이며,
    A3과 A0이 포화된 픽셀 신호들일 때,
    상기 M=A1+A2-2Best, X=-A2+A1+M, Y=A1-A2-M인 깊이 센서의 깊이 계산 방법.
  9. 변조 광을 타겟 물체로 출력하는 광원;
    상기 타겟 물체로부터 반사된 반사 광에 따라 4개의 픽셀 신호들을 검출하는 깊이 픽셀; 및
    상기 4개의 픽셀 신호들 각각의 크기와 문턱 값의 비교 결과에 따라 상기 4개의 픽셀 신호들 각각의 포화(saturation) 여부를 판단하고,
    상기 판단 결과들에 따라 상기 타겟 물체까지의 깊이를 계산하는 마이크로 프로세서를 포함하고,
    상기 깊이는 X, Y 및 M의 함수이고,
    상기 X와 상기 Y 각각은 상기 4개의 픽셀 신호들 중에서 적어도 2개의 픽셀 신호들에 연관되고,
    상기 M은 정규화된 지연에 따라 정의된 영역에서 서로 다른 값을 갖고,
    상기 정규화된 지연은 0과 1 사이의 범위를 가지도록 상기 변조 광과 상기 반사 광의 위상 시프트가 정규화된 것을 나타내고,
    상기 X, Y 및 M는 실수인 깊이 센서.
  10. 제9항에 있어서, 상기 마이크로 프로세서는,
    상기 4개의 픽셀 신호들 중에서 포화되지 않은 적어도 하나의 픽셀 신호를 이용하여 상기 깊이를 계산하는 깊이 센서.
KR1020110146497A 2011-12-29 2011-12-29 깊이 센서, 및 이의 깊이 계산 방법 KR101888564B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110146497A KR101888564B1 (ko) 2011-12-29 2011-12-29 깊이 센서, 및 이의 깊이 계산 방법
US13/617,752 US9103663B2 (en) 2011-12-29 2012-09-14 Depth sensor, method of calculating depth in the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110146497A KR101888564B1 (ko) 2011-12-29 2011-12-29 깊이 센서, 및 이의 깊이 계산 방법

Publications (2)

Publication Number Publication Date
KR20130077662A KR20130077662A (ko) 2013-07-09
KR101888564B1 true KR101888564B1 (ko) 2018-08-16

Family

ID=48694511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110146497A KR101888564B1 (ko) 2011-12-29 2011-12-29 깊이 센서, 및 이의 깊이 계산 방법

Country Status (2)

Country Link
US (1) US9103663B2 (ko)
KR (1) KR101888564B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102144543B1 (ko) * 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
JP6834211B2 (ja) * 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
CN106123784B (zh) * 2016-07-22 2019-03-15 广东小天才科技有限公司 一种测量长度的方法及装置
JP6845774B2 (ja) * 2017-09-15 2021-03-24 株式会社東芝 距離計測装置
US11417111B2 (en) * 2017-12-22 2022-08-16 Terra Scientia, Llc Method, system and material for detecting objects of high interest with laser scanning systems
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035717A (en) 1998-05-12 2000-03-14 Krautkramer Branson, Inc. Method and apparatus for measuring the thickness of a coated material
US7362419B2 (en) * 2004-09-17 2008-04-22 Matsushita Electric Works, Ltd. Range image sensor
KR20090040699A (ko) 2007-10-22 2009-04-27 (주)피코소닉 초음파 두께측정기의 측정범위 연장 장치
KR100920931B1 (ko) 2007-11-16 2009-10-12 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
KR101088497B1 (ko) 2009-05-21 2011-11-30 주식회사 고영테크놀러지 3차원 형상 측정방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Figures of Merit for Indirect Time-of-Flight 3D Cameras:Definition and Experimental Evaluation(Remote Sens. 2011, 3, 2461-2472; 공지시점 : 2011.11.17.)*

Also Published As

Publication number Publication date
US20130169756A1 (en) 2013-07-04
KR20130077662A (ko) 2013-07-09
US9103663B2 (en) 2015-08-11

Similar Documents

Publication Publication Date Title
KR101888564B1 (ko) 깊이 센서, 및 이의 깊이 계산 방법
KR101788032B1 (ko) 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US8645099B2 (en) Depth sensor, depth estimation method using the same, and depth estimation device including the same
KR101565969B1 (ko) 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US10120066B2 (en) Apparatus for making a distance determination
EP2451150B1 (en) Color sensor insensitive to distance variations
US9921312B2 (en) Three-dimensional measuring device and three-dimensional measuring method
KR102086509B1 (ko) 3차원 영상 획득 방법 및 장치
KR101977711B1 (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
CN109490903B (zh) 距离测量装置
WO2021120403A1 (zh) 一种深度测量装置及测量方法
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
CN111751808A (zh) 用于补偿来自飞行时间相机的盖的光反射的方法和设备
KR101681198B1 (ko) 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
KR20140002366A (ko) 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
CN111208528A (zh) 飞时测距传感器以及飞时测距方法
CN110779681A (zh) 检测光学系统异常的测距装置
KR20140145470A (ko) 3차원 영상 처리 장치 및 방법
CN111164459A (zh) 设备和方法
TW202122823A (zh) 飛行時間感測系統和其中使用的圖像感測器
KR20220048196A (ko) 라이다 장치
JP5904825B2 (ja) 画像処理装置
JP2012198337A (ja) 撮像装置
JP7264474B2 (ja) 物体検出装置及び物体検出方法
KR20130077329A (ko) 깊이 센서, 및 이의 노이즈 감소 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant