KR102136850B1 - 깊이 센서, 및 이의 동작 방법 - Google Patents

깊이 센서, 및 이의 동작 방법 Download PDF

Info

Publication number
KR102136850B1
KR102136850B1 KR1020130137176A KR20130137176A KR102136850B1 KR 102136850 B1 KR102136850 B1 KR 102136850B1 KR 1020130137176 A KR1020130137176 A KR 1020130137176A KR 20130137176 A KR20130137176 A KR 20130137176A KR 102136850 B1 KR102136850 B1 KR 102136850B1
Authority
KR
South Korea
Prior art keywords
pixel
signal
photo gate
row
column
Prior art date
Application number
KR1020130137176A
Other languages
English (en)
Other versions
KR20150054568A (ko
Inventor
배광혁
경규민
김태찬
조승한
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130137176A priority Critical patent/KR102136850B1/ko
Priority to US14/150,361 priority patent/US9568607B2/en
Publication of KR20150054568A publication Critical patent/KR20150054568A/ko
Priority to US15/414,875 priority patent/US20170131405A1/en
Application granted granted Critical
Publication of KR102136850B1 publication Critical patent/KR102136850B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 실시예에 따른 깊이 센서의 동작 방법은 제1 포토 게이트 신호 및 상기 제1 포토 게이트 신호와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호 내지 제4 포토 게이트 신호를 생성하는 단계, 제1 클럭을 이용하는 제1 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 로우에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 로우에 인접한 제2 로우에 인가하는 단계 및 제2 클럭을 이용하는 제2 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 컬럼에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 컬럼에 인접한 제2 컬럼에 인가하는 단계를 포함한다.

Description

깊이 센서, 및 이의 동작 방법{A depth sensor, and a method of operating the same}
본 발명의 개념에 따른 실시예는 깊이 센서 및 이의 동작 방법에 관한 것으로, 보다 상세하게는 노이즈가 최소화된 이미지 데이터를 얻을 수 있는 깊이 센서 및 이의 동작 방법에 관한 것이다.
최근 스마트폰의 수요가 급증함에 따라 이에 포함되는 이미지 센서(image sensor)에 대한 개발이 활발히 이루어지고 있다. 이미지 센서는 일정 스펙트럼 밴드의 광자(photon)를 전자(electron)로 변환하는 복수의 픽셀들을 포함한다.
3차원 영상을 얻기 위해서는 색상뿐만 아니라 대상물과 이미지 센서 간의 거리(depth)에 관한 정보를 얻을 필요가 있다. 이미지 센서로부터 대상물까지의 거리 정보를 얻는 방법은 크게 액티브(active)와 패시브(passive) 방식으로 나눌 수 있다.
액티브 방식은 대상물에 변조광을 조사하고 반사되어 돌아온 광을 감지하여 위상의 변화로부터 거리를 계산하는 TOF 방식(time-of-flight)과 센서로부터 일정 거리에 있는 레이저(laser) 등에 의해 조사되고 반사된 광의 위치를 감지하여 삼각측량을 이용하여 거리를 계산하는 삼각(triangulation) 방식이 대표적이다. 패시브 방식은 광을 조사하지 않고 영상 정보만을 이용하여 물체까지의 거리를 계산하는 방식으로 스테레오 카메라(stereo camera)가 대표적이다.
상기 거리에 관한 정보는 다양한 요인에 의해 노이즈를 포함하므로, 정확한 정보 획득을 위해 상기 노이즈를 최소화하기 위한 노력이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 2-tap 구조를 갖는 깊이 픽셀에 포토 게이트 신호를 인가하는 방식을 변경하여 노이즈를 줄일 수 있고, 다중 주파수 적용이 가능한 깊이 센서 및 이의 동작 방법을 제공하는데 있다.
본 발명의 실시예에 따른 깊이 센서의 동작 방법은 제1 포토 게이트 신호 및 상기 제1 포토 게이트 신호와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호 내지 제4 포토 게이트 신호를 생성하는 단계, 제1 클럭을 이용하는 제1 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 로우에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 로우에 인접한 제2 로우에 인가하는 단계 및 제2 클럭을 이용하는 제2 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 컬럼에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 컬럼에 인접한 제2 컬럼에 인가하는 단계를 포함하며, 상기 제1 클럭과 상기 제2 클럭 각각의 주파수는 서로 다르다.
실시예에 따라 상기 픽셀 어레이에 포함된 각 픽셀로부터 출력되는 픽셀 신호들을 보간하고, 보간된 픽셀 신호들을 기초로 이미지 데이터를 생성하는 단계를 더 포함한다.
실시예에 따라 상기 픽셀 신호들을 보간하는 단계는 상기 제1 프레임에서 상기 제1 로우에 속한 제1 픽셀의 픽셀 신호를 상기 제2 로우에 속한 적어도 하나의 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계 및 상기 제1 프레임에서 상기 제2 로우에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계를 포함한다.
실시예에 따라 상기 제2 로우에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하고, 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함한다.
실시예에 따라 상기 가중치는 가우시안 함수를 기초로 계산된다.
실시예에 따라 상기 픽셀 신호들을 보간하는 단계는 상기 제2 프레임에서 상기 제1 컬럼에 속한 상기 제1 픽셀의 픽셀 신호를 상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계 및 상기 제2 프레임에서 상기 제2 컬럼에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계를 더 포함한다.
실시예에 따라 상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하고, 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함한다.
실시예에 따라 상기 가중치는 가우시안 함수를 기초로 계산된다.
본 발명의 실시예에 따른 깊이 센서는 제1 포토 게이트 신호 및 상기 제1 포토 게이트 신호와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호 내지 제4 포토 게이트 신호를 생성하는 포토 게이트 신호 생성기, 상기 제1 포토 게이트 신호 내지 상기 제4 포토 게이트 신호를 픽셀 어레이의 로우 별 또는 컬럼 별로 인가하는 로우 및 컬럼 선택기(row & column selector)를 포함하며, 상기 로우 및 컬럼 선택기는 제1 클럭을 이용하는 제1 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 로우에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 로우에 인접한 제2 로우에 인가하고, 제2 클럭을 이용하는 제2 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 컬럼에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 컬럼에 인접한 제2 컬럼에 인가하고, 상기 제1 클럭과 상기 제2 클럭 각각의 주파수는 서로 다르다.
실시예에 따라 상기 픽셀 어레이에 포함된 각 픽셀로부터 출력되는 픽셀 신호들을 보간하고, 보간된 픽셀 신호들을 기초로 이미지 데이터를 생성하는 이미지 신호 프로세서를 더 포함한다.
실시예에 따라 상기 이미지 신호 프로세서는 상기 제1 프레임에서 상기 제1 로우에 속한 제1 픽셀의 픽셀 신호를 상기 제2 로우에 속한 적어도 하나의 제2 픽셀의 픽셀 신호를 기초로 보간하고, 상기 제1 프레임에서 상기 제2 로우에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간한다.
실시예에 따라 상기 이미지 신호 프로세서는 상기 제2 로우에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 경우 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하고, 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 경우 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여한다.
실시예에 따라 상기 이미지 신호 프로세서는 상기 제2 프레임에서 상기 제1 컬럼에 속한 상기 제1 픽셀의 픽셀 신호를 상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하고, 상기 제2 프레임에서 상기 제2 컬럼에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간한다.
실시예에 따라 상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 경우 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하고, 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 경우 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여한다.
실시예에 따라 상기 가중치는 가우시안 함수를 기초로 계산된다.
본 발명의 실시예에 따른 깊이 센서 및 이의 동작 방법에 의하면, 다중 주파수의 포토 게이트 신호를 프레임별로 달리 인가하여 공간적 해상도(spatial resolution)가 저하되지 않고 모션 래깅(motion lagging)이 감소되며 측정 가능한 거리가 증가된 이미지 데이터를 얻을 수 있다.
본 발명의 실시예에 따른 깊이 센서 및 이의 동작 방법에 의하면, 픽셀 신호의 보간시 픽셀 신호의 오프셋을 이용함으로써 보다 정확한 거리 정보의 획득이 가능하게 된다.
도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타낸다.
도 2는 도 1에 도시된 포토 게이트 컨트롤러를 상세히 나타낸 블록도이다.
도 3은 도 1에 도시된 포토 게이트 컨트롤러의 제1 프레임에서의 동작을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 포토 게이트 컨트롤러의 제2 프레임에서의 동작을 설명하기 위한 도면이다.
도 5는 도 1의 픽셀 어레이에 도시된 2-탭(tap) 깊이 픽셀의 회로도를 나타낸다.
도 6은 도 5에 도시된 2-탭 깊이 픽셀의 동작을 설명하기 위한 타이밍도를 나타낸다.
도 7은 본 발명의 실시예에 따른 슈도 4-tap 기법을 이용해 도 1에 도시된 픽셀 어레이로부터 출력되는 픽셀 신호들을 보간하는 방법을 설명하기 위한 도면이다.
도 8은 도 7에 도시된 일부 픽셀로 입사되는 반사된 광 신호들을 나타낸 도면이다.
도 9a와 도 9b는 각각 픽셀 신호들을 보간하는데 이용되는 가중치 함수를 나타낸 도면이다.
도 10은 도 1에 도시된 깊이 센서의 동작 방법을 설명하기 위한 흐름도이다.
도 11은 도 10에 도시된 픽셀 신호들을 보간하는 단계를 상세히 나타낸 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타낸다. 도 2는 도 1에 도시된 포토 게이트 컨트롤러를 상세히 나타낸 블록도이다. 도 3은 도 1에 도시된 포토 게이트 컨트롤러의 제1 프레임에서의 동작을 설명하기 위한 도면이다. 도 4는 도 1에 도시된 포토 게이트 컨트롤러의 제2 프레임에서의 동작을 설명하기 위한 도면이다. 도 5는 도 1의 픽셀 어레이에 도시된 2-탭(tap) 깊이 픽셀의 회로도를 나타낸다. 도 6은 도 5에 도시된 2-탭 깊이 픽셀의 동작을 설명하기 위한 타이밍도를 나타낸다.
도 1 내지 도 6을 참조하면, TOF(time of flight) 원리를 이용하여 거리 또는 깊이를 측정할 수 있는 깊이 센서(10)는 복수의 깊이 픽셀들(검출기들 또는 센서들; 23)이 배열된 픽셀 어레이(22)를 포함하는 반도체 칩(20), 광원(32), 및 렌즈 모듈(34)을 포함한다. 복수의 깊이 픽셀들(23)은 도 5의 2-tap 구조로 구현될 수 있다. 2-tap 구조는 1-tap 구조에 비해 보다 적은 횟수의 샘플링 동작으로 이미지 데이터를 얻을 수 있고, 4-tap 구조에 비해 필-팩터(fill factor)가 높은 장점이 있다.
깊이 센서(10)는 컬러 이미지와 깊이 이미지를 이용해 3차원 이미지를 생성하기 위한 이미지 센서(미도시)의 일부로 구현될 수 있다.
픽셀 어레이(22)에 2차원으로 구현된 복수의 깊이 픽셀들(23) 각각은 전송 게이트(예컨대, 도 5의 TX1 및 TX2)를 포함한다. 또한, 복수의 깊이 픽셀들(23) 각각은 신호 처리를 위한 복수의 트랜지스터들을 포함한다.
로우 디코더(row decoder; 24)는 타이밍 컨트롤러(26)로부터 출력된 로우 어드레스(row address)에 응답하여 복수의 로우들 중에서 어느 하나의 로우를 선택한다. 여기서, 로우(row)란 픽셀 어레이(22)에서 가로 방향으로 배치된 복수의 깊이 픽셀들의 집합을 의미한다.
포토 게이트 컨트롤러(28)는 타이밍 컨트롤러(26)의 제어하에 포토 게이트 신호들(PGS1~PGS4)을 생성하여 픽셀 어레이(22)로 공급할 수 있다.
도 2에서, 포토 게이트 컨트롤러(28)는 클럭 선택기(clock selector, 51), 프레임 인덱스(frame index, 52), 포토 게이트 신호 생성기(photo gate signal generator, 53), 및 로우 및 컬럼 선택기(row & column selector, 54)를 포함할 수 있다.
클럭 선택기(51)는 프레임 인덱스(52)의 제어에 따라 타이밍 컨트롤러(26)로부터 출력되는 제1 클럭(CLK1)과 제2 클럭(CLK2) 중 어느 하나를 선택하여 출력할 수 있다. 제1 클럭(CLK1)과 제2 클럭(CLK2)은 각각 제1 주파수와 제2 주파수를 가진다. 상기 제1 주파수와 상기 제2 주파수는 다를 수 있다. 예컨대, 클럭 선택기(51)는 홀수 번째 프레임에서는 제1 클럭(CLK1)을 선택하여 출력하고, 짝수 번째 프레임에서는 제2 클럭(CLK2)을 선택하여 출력할 수 있다.
다른 실시예에 따라, 클럭 선택기(51)는 모든 프레임에서 동일한 주파수를 가진 클럭(제1 클럭(CLK1)과 제2 클럭(CLK2) 중 어느 하나)을 출력할 수 있다.
프레임 인덱스(52)는 광원 드라이버(30)로부터 광원(32)을 구동하기 위한 클럭 신호(MLS)를 수신할 수 있다. 프레임 인덱스(52)는 클럭 신호(MLS)에 따라 현재의 프레임이 홀수 번째 프레임인지 짝수 번째 프레임인지 판단할 수 있다. 프레임 인덱스(52)는 판단 결과에 따라 클럭 선택기(51)와 로우 및 컬럼 선택기(54)를 제어할 수 있다.
포토 게이트 신호 생성기(53)는 제1 클럭(CLK1)과 제2 클럭(CLK2) 중 어느 하나를 수신하여 제1 포토 게이트 신호(PGS1) 및 상기 제1 포토 게이트 신호(PGS1)와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호(PGS2) 내지 제4 포토 게이트 신호(PGS4)를 생성할 수 있다.
즉, 포토 게이트 신호 생성기(53)는 클럭 신호(MLS)의 위상과 동일한 위상을 갖는 제1 포토 게이트 신호(PGS1)와, 클럭 신호(MLS)의 위상과 180°의 위상 차를 갖는 제3 포토 게이트 신호(PGS3)를 생성한다. 또한, 포토 게이트 신호 생성기(53)는 클럭 신호(MLS)의 위상과 90°의 위상 차를 갖는 제2 포토 게이트 신호(PGS2)와 270°의 위상 차를 갖는 제4 포토 게이트 신호(PGS4)를 생성한다.
제1 프레임에서 생성되는 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)의 주파수와 제2 프레임에서 생성되는 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)의 주파수 서로 다를 수도 또는 서로 같을 수도 있다.
로우 및 컬럼 선택기(54)는 프레임 인덱스(52)의 제어에 따라 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)를 픽셀 어레이(22)의 로우(row) 별 또는 컬럼(column) 별로 인가할 수 있다.
도 3과 도 4에서 로우 및 컬럼 선택기(54)가 픽셀 어레이(22)의 일부에 포토 게이트 신호들(PGS1~PGS4)을 공급하는 방법이 나타나 있다. 상기 픽셀 어레이(22)의 일부는 4개의 로우와 4개의 컬럼의 매트릭스(matrix) 형태로 배열된 16개의 깊이 픽셀들(23)을 포함한다. 본 명세서에서는 설명의 편의를 위해 4개의 로우와 4개의 컬럼을 포함하는 픽셀 어레이(22)의 일부에 대해서만 설명하나 픽셀 어레이(22)에 포함된 모든 로우 및 컬럼은 동일한 방식으로 동작할 수 있으며 로우 및 컬럼 각각의 개수에는 제한이 없다.
도 3은 제1 프레임(또는 홀수 번째 프레임)에서의 로우 및 컬럼 선택기(54)와 상기 픽셀 어레이(22)의 일부의 연결 상태(22-1)를 나타낸다. 프레임이란 픽셀 어레이(22) 전체에 대해 광전하 축적, 픽셀 신호의 생성 및 리드아웃이 1회 완료되는데 소요되는 시간을 말한다.
제1 프레임에서 로우 및 컬럼 선택기(54)는 로우 별로 동일한 포토 게이트 신호를 공급한다.
즉, 제1 프레임에서 로우 및 컬럼 선택기(54)는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3)를 픽셀 어레이(22)의 홀수 번째 로우들에 인가하고, 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)를 짝수 번째 로우들에 인가할 수 있다.
도 4는 제2 프레임(또는 짝수 번째 프레임)에서의 로우 및 컬럼 선택기(54)와 상기 픽셀 어레이(22)의 일부의 연결 상태(22-2)를 나타낸다.
제2 프레임에서 로우 및 컬럼 선택기(54)는 컬럼 별로 동일한 포토 게이트 신호를 공급한다.
즉, 제2 프레임에서 로우 및 컬럼 선택기(54)는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3)를 픽셀 어레이(22)의 홀수 번째 컬럼들에 인가하고, 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)를 짝수 번째 컬럼들에 인가할 수 있다.
로우 및 컬럼 선택기(54)는 로우 또는 컬럼의 갯수에 대응하는 다수의 스위칭 유닛을 구비하여 도 3과 도 4에 도시된 연결 상태들(22-1와 22-2)을 프레임이 변경될 때마다 상호 변경할 수 있다.
제1 프레임에서는 포토 게이트 신호 생성기(53)가 제1 클럭(CLK1)을 기초로 포토 게이트 신호들(PGS1~PGS4)을 생성함에 따라 복수의 깊이 픽셀들(23)이 생성하는 픽셀 신호들에 기초한 이미지 데이터는 제1 클럭(CLK1)의 주파수에 의존하는 최대 측정 거리를 갖는다.
예컨대, 제1 클럭(CLK1)의 주파수가 20 MHz인 경우 최대 측정 거리는 7.5 m로 정해진다.
제2 프레임에서는 포토 게이트 신호 생성기(53)가 제2 클럭(CLK2)을 기초로 포토 게이트 신호들(PGS1~PGS4)을 생성함에 따라 복수의 깊이 픽셀들(23)이 생성하는 픽셀 신호들에 기초한 이미지 데이터는 제2 클럭(CLK2)의 주파수에 의존하는 최대 측정 거리를 갖는다.
예컨대, 제2 클럭(CLK2)의 주파수가 30 MHz인 경우 최대 측정 거리는 5 m로 정해진다.
제1 프레임에서 최대 측정 거리 7.5 m를 갖는 20 MHz의 주파수를 갖는 제1 클럭(CLK1)에 기초한 이미지 데이터와 최대 측정 거리 5 m를 갖는 30 MHz의 주파수를 갖는 제2 클럭(CLK2)에 기초한 이미지 데이터를 합치면 두 프레임이 나타낼 수 있는 최대 거리는 각 최대 측정 거리의 공배수인 30 m가 된다.
깊이 픽셀들(23) 각각이 2-tap 구조를 갖는 경우 픽셀 어레이(22)에 대응하는 깊이 이미지를 생성하기 위해서는 원칙적으로는 2개의 프레임이 필요하다. 그러나, 슈도(pseudo) 4-tap 기법에 의하면 1개의 프레임 만으로 하나의 깊이 이미지의 생성이 가능하다. 하나의 깊이 픽셀(23)이 완전한 깊이 정보를 생성하기 위해서는 4 개의 다른 위상의 포토 게이트 신호에 의해 생성되는 픽셀 신호를 필요로 하는데, 하나의 프레임에서 상기 깊이 픽셀(23)은 2-tap 구조를 가지므로 2개 위상의 포토 게이트 신호에 의해 픽셀 신호들을 생성할 수 있다. 상기 슈도 4-tap 기법은 상기 깊이 픽셀(23)에 인접하고 다른 2개 위상의 포토 게이트 신호를 수신하는 깊이 픽셀이 생성하는 픽셀 신호를 보간한 결과를 상기 깊이 픽셀(23)이 다른 2개 위상의 포토 게이트 신호에 의해 생성하는 픽셀 신호들로 취급하는 기법이다.
상기 슈도 4-tap 기법에 의해 제1 프레임에서 생성된 픽셀 신호들 만으로 이미지 데이터를 구성할 경우 수직 방향을 따라 공간적 해상도(spartial resolution)가 저하된 이미지 데이터가 생성된다. 이는 수직 방향을 따라 인접하는 픽셀 신호들을 보간한 결과를 이용하는 과정을 거치므로 2 개의 프레임에서 4 개의 다른 위상의 포토 게이트 신호에 의해 생성되는 픽셀 신호들 만을 이용할 때보다 공간적 해상도(spartial resolution)가 저하된다.
마찬가지로 제2 프레임에서 생성된 픽셀 신호들 만으로 이미지 데이터를 구성할 경우 수평 방향을 따라 공간적 해상도(spartial resolution)가 저하된 이미지 데이터가 생성된다.
ISP(39)가 서로 상이한 주파수(다중 주파수, multi-frequency)를 갖는 제1 클럭(CLK1)과 제2 클럭(CLK2)을 기초로 생성된 제1 프레임의 이미지 데이터와 제2 프레임의 이미지 데이터를 조합하여 새로운 이미지 데이터를 생성함으로써, 최대 측정 거리의 한계에 따른 깊이 정보의 에러인 리피티드 디스턴스(repeated distance) 현상을 방지할 수 있어 최대 측정 거리에 구속받지 않는 깊이 정보를 얻을 수 있다.
실시예에 따라 제1 클럭(CLK1)과 제2 클럭(CLK2)의 주파수와 상이한 주파수를 갖는 적어도 하나 이상의 클럭을 더 이용하여 최대 측정 거리를 증가시킬 수도 있다.
또한, ISP(39)가 로우 별로 동일한 포토 게이트 신호가 인가되어 생성된 제1 프레임의 이미지 데이터와 컬럼 별로 동일한 포토 게이트 신호가 인가되어 생성된 제2 프레임의 이미지 데이터를 조합하여 새로운 이미지 데이터를 생성함으로써, 수직 방향 또는 수평 방향을 따라 공간적 해상도가 저하되지 않은 깊이 정보를 얻을 수 있다.
이 때, 2-tap 깊이 픽셀(23)을 포함하는 픽셀 어레이(22)에 대해, 원칙적으로는 주파수가 상이한 두 클럭 신호들을 기초로 생성되는 이미지 데이터를 얻거나, 주파수가 동일한 클럭 신호를 기초로 로우 또는 컬럼 방향 단위로 인가되는 서로 다른 포토 게이트 신호에 의해 생성되는 이미지 데이터를 얻기 위해서는 각각 총 4개의 프레임의 이미지 데이터가 필요하나 본 발명의 실시예에 따른 슈도 4-tap 기법에 의하면 2개의 프레임의 이미지 데이터만이 필요하게 된다. 따라서, 각각 다른 시간에 생성된 이미지 데이터를 조합함으로써 발생하는 모션 래깅(motion lagging) 현상(빠른 움직임을 가진 영상에서 발생하는 깊이 정보의 에러)을 줄일 수 있다.
광원 드라이버(30)는, 타이밍 컨트롤러(26)의 제어 하에, 광원(32)을 드라이빙할 수 있는 클럭 신호(MLS)를 생성할 수 있다.
광원(32)은 클럭 신호(MLS)에 응답하여 변조된 광신호(EL)를 장면(40)으로 방사한다. 장면(40)은 피사체 또는 타겟 물체로 호칭될 수 있다. 변조된 광신호(EL)는 광원 드라이버(30)의 구동에 따라 서로 다른 진폭을 가질 수 있다. 장면(40)과 깊이 센서(10) 사이의 거리는 다양할 수 있다.
광원(32)으로서 LED(light emitting diode), OLED(organic light emitting diode), AMOLED(active-matrix organic light emitting diode) 또는 레이저 다이오드(laser diode)가 사용될 수 있다. 클럭 신호(MLS) 또는 변조된 광신호(EL)는 정현파 또는 구형파일 수 있다.
광원 드라이버(30)는 클럭 신호(MLS) 또는 클럭 신호(MLS)에 대한 정보를 포토 게이트 컨트롤러(28)로 공급한다.
광원(32)으로부터 출력된 변조된 광신호(EL)는 장면(40)에서 반사되고, 장면(40)이 서로 다른 거리(Z1, Z2, 및 Z3)를 가질 때 거리(Z)는 다음과 같이 계산된다. 예컨대, 변조된 광신호(EL)가 Acosωt이고, 깊이 픽셀(23)로 반사된 광신호(RL)가 A'cos(ωt+θ)+B'일 때, TOF에 의한 위상 쉬프트(phase shift; θ) 또는 위상 차이(θ)는 수학식 1과 같다.
이때, 깊이 픽셀(23)은 상기 제1 프레임 또는 상기 제2 프레임에서 인접한 로우 또는 컬럼에 포함되는 2개의 깊이 픽셀을 의미하며, 상기 2개의 깊이 픽셀은 동일한 반사된 광신호(RL)를 수신한다고 가정한다. 예컨대, 깊이 픽셀(23)은 상기 제1 프레임에서 제1 로우와 제1 컬럼의 교차점에 존재하는 깊이 픽셀과, 제2 로우와 제1 컬럼의 교차점에 존재하는 깊이 픽셀을 의미할 수 있다.
Figure 112013103054102-pat00001
여기서, C는 광속을 나타낸다.
따라서, 광원(32) 또는 픽셀 어레이(22)로부터 장면(40)까지의 거리(Z)는 수학식 2와 같이 계산된다.
Figure 112013103054102-pat00002
반사된 광신호(RL)는 렌즈 모듈(34)을 통하여 픽셀 어레이(22)로 입사된다. 여기서 렌즈 모듈(34)은 렌즈와 적외선 통과 필터를 포함하는 의미로 사용될 수 있다.
깊이 센서(10)는 렌즈 모듈(34)의 주변에 원형으로 배열되는 복수의 광원들을 포함하나, 설명의 편의를 위하여 하나의 광원(32)만을 도시한다.
렌즈 모듈(34)을 통하여 픽셀 어레이(22)로 반사된 광신호(RL)는 1번 샘플링 동작을 수행함으로써 복조될 수 있다. 2-tap 깊이 픽셀의 경우 원칙적으로는 2번 샘플링 동작이 수행되어야 하나 본 발명에서는 상기 제1 프레임 또는 상기 제2 프레임에서 인접한 로우 또는 컬럼에 포함되는 2개의 깊이 픽셀에서 픽셀 신호(A0, A1, A2, 또는 A3)가 생성(또는 검출)되므로 1번의 샘플링 동작만이 필요하다. 상기 샘플링 동작은 반사된 광신호(RL)에서 픽셀 신호(A0, A1, A2, 또는 A3)가 생성(또는 검출)됨을 의미한다. 픽셀 신호(A0, A1, A2, 또는 A3)에 대해서는 뒤에서 자세히 설명될 것이다.
변조된 광신호(EL)와 반사된 광신호(RL) 사이의 위상 쉬프트(θ)는 수학식 3과 같이 나타낼 수도 있다.
Figure 112013103054102-pat00003
반사된 광신호(RL)의 진폭(A)은 수학식 4와 같이 나타낼 수 있다.
Figure 112013103054102-pat00004
반사된 광신호(RL)의 진폭(A)은 변조된 광신호(EL)의 진폭에 의해 결정된다.
반사된 광신호(RL)의 오프셋(B)은 수학식 5와 같이 나타낼 수 있다.
Figure 112013103054102-pat00005
복수의 깊이 픽셀들(23) 각각은 하나의 포토 다이오드(PD), 각각 두개의 전송 트랜지스터들(TX1 및 TX2), 리셋 트랜지스터들(RX1 및 RX2), 드라이브 트랜지스터들(DX1 및 DX2) 및 선택 트랜지스터들(SX1 및 SX2)을 포함한다.
실시예에 따라 리셋 트랜지스터들(RX1 및 RX2), 드라이브 트랜지스터들(DX1 및 DX2) 및 선택 트랜지스터들(SX1 및 SX2) 중 적어도 하나가 생략될 수 있다.
깊이 픽셀(23)의 동작을 살펴보면, 포토 다이오드(PD)는 반사된 광 신호(RL)의 세기에 따라 가변되는 광전하를 생성한다.
제1 전송 트랜지스터(Tx1) 및 제2 전송 트랜지스터(TX2) 각각은 포토 게이트 컨트롤러(28)로부터 출력되는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3) 또는 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)에 따라 상기 생성된 광전하를 제1 플로팅 디퓨젼 노드(FD1) 및 제2 플로팅 디퓨젼 노드(FD2)로 각각 전송할 수 있다.
즉, 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4) 중 제1 전송 트랜지스터(Tx1) 및 제2 전송 트랜지스터(TX2)가 수신하는 포토 게이트 신호가 하이 레벨(예컨대, 3.3 V)인 구간에서 제1 전송 트랜지스터(Tx1) 및 제2 전송 트랜지스터(TX2) 각각은 상기 생성된 광전하를 대응되는 플로팅 디퓨젼 노드(FD1 및 FD2)로 전송할 수 있다. 반대로, 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4) 중 제1 전송 트랜지스터(Tx1) 및 제2 전송 트랜지스터(TX2)가 수신하는 포토 게이트 신호가 로우 레벨(예컨대, 0 V)인 구간에서 제1 전송 트랜지스터(Tx1) 및 제2 전송 트랜지스터(TX2) 각각은 상기 생성된 광전하를 대응되는 플로팅 디퓨젼 노드(FD1 및 FD2)로 전송하지 않을 수 있다.
각각의 플로팅 디퓨젼 노드(FD1 및 FD2)에 축적된 광전하에 의한 전위에 따라 제1 드라이브 트랜지스터(DX1) 및 제2 드라이브 트랜지스터(DX2)는 각각 제1 선택 트랜지스터(SX1) 및 제2 선택 트랜지스터(SX2)로 상기 광전하를 증폭하여 전송할 수 있다.
선택 트랜지스터들(SX1 및 SX2)은 드레인 단자가 드라이브 트랜지스터들(DX1 및 DX2)의 소스 단자에 연결되고, 포토 게이트 컨트롤러(28)로부터 출력되는 각각의 선택 제어 신호들(SEL1 및 SEL2)에 응답하여 제1 컬럼 라인(COL1)과 제2 컬럼 라인(COL2)을 통해 CDS/ADC 회로(36)로 각각의 픽셀 신호를 출력할 수 있다.
리셋 트랜지스터들(RX1 및 RX2)는 포토 게이트 컨트롤러(28)로부터 출력되는 각각의 리셋 제어 신호들(RS1 및 RS2)에 따라 각각의 플로팅 디퓨젼 노드(FD1 및 FD2)를 VDD로 리셋할 수 있다.
실시예에 따라 로우 드라이버(24)는 타이밍 컨트롤러(26)의 제어하에 복수의 깊이 픽셀들(23)에 공급되는 다수의 제어 신호들(RG1, RG2, SEL1 및 SEL2)을 생성할 수 있다.
깊이 픽셀(23)은 광 전하를 일정시간, 예컨대 적분 시간(integration time)동안 축적하고, 축적 결과에 따라 생성된 픽셀 신호들(A0, A1, A2, 및 A3)을 출력한다.
도 1을 참조하면, 타이밍 컨트롤러(26)의 제어 하에, CDS/ADC 회로(36)는 깊이 픽셀(23)로부터 출력된 픽셀 신호들(A0, A1, A2, 및 A3)에 대해 CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 동작을 수행하여 디지털 픽셀 신호들을 출력한다. 도 1에 도시된 깊이 센서(10)는 픽셀 어레이(22)에 구현된 다수의 컬럼 라인들로부터 출력된 픽셀 신호들을 CDS/ADC 회로(36)로 전송하기 위한 액티브 로드 회로들(미도시)을 더 포함할 수 있다. 버퍼로 구현될 수 있는 메모리(38)는 CDS/ADC 회로(36)로부터 출력된 상기 디지털 픽셀 신호들을 수신하여 저장한다.
실시 예에 따라 깊이 센서(10)는 이미지 신호 프로세서(ISP, 39)를 더 포함할 수 있다. ISP(39)는 메모리(38)로부터 출력된 픽셀 신호들(A0, A1, A2, 및 A3)을 처리하여 거리 정보 또는 깊이 정보를 계산할 수 있다. ISP(39)는 반도체 칩(20)과 동일한 칩(chip)으로 구현될 수 있으나, 반도체 칩(20)의 외부 또는 깊이 센서(10)의 외부에 구현될 수도 있다.
도 7은 본 발명의 실시예에 따른 슈도 4-tap 기법을 이용해 도 1에 도시된 픽셀 어레이로부터 출력되는 픽셀 신호들을 보간하는 방법을 설명하기 위한 도면이다. 도 8은 도 7에 도시된 일부 픽셀로 입사되는 반사된 광 신호들을 나타낸 도면이다. 도 9a와 도 9b는 각각 픽셀 신호들을 보간하는데 이용되는 가중치 함수를 나타낸 도면이다.
도 1 내지 도 9b를 참조하면, 도 7에는 매트릭스 형태로 배열된 25개의 픽셀들이 나타나 있다. 본 명세서에서는 설명의 편의를 위해 25개의 픽셀들에 대해서만 설명하나 본 발명의 범위는 이에 한정되지 않는다. P(i,j) 픽셀은 제i 로우와 제j 컬럼의 교차점에 존재하는 픽셀을 의미한다.
도 3과 도 4에서 설명한 바와 같이 제1 프레임에서는 제(i-2) 로우, 제i 로우 및 제(i+2) 로우에는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3)가 각각 인가되고, 제(i-1) 로우 및 제(i+1) 로우에는 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)가 각각 인가된다.
또한, 제2 프레임에서는 제(i-2) 컬럼, 제i 컬럼 및 제(i+2) 컬럼에는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3)가 각각 인가되고, 제(i-1) 컬럼 및 제(i+1) 컬럼에는 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)가 각각 인가된다.
도 5와 도 6에서 설명한 바와 같이 제1 프레임 또는 제2 프레임에서 생성된 각각의 깊이 픽셀의 픽셀 신호(A0와 A2 또는 A1과 A3)와 상기 깊이 픽셀에 인접하는 깊이 픽셀들의 픽셀 신호를 이용해 보간하고 두 프레임에서 생성된 이미지 데이터를 합성함으로써, 수직 방향 또는 수평 방향을 따라 공간적 해상도가 저하되지 않은 이미지 데이터가 얻어질 수 있다. ISP(39)는 제1 프레임에서 P(i,j) 픽셀의 픽셀 신호를 5X5 매트릭스 내부에서 제(i-1) 로우 및 제(i+1) 로우에 포함된 픽셀들의 픽셀 신호들을 이용해 보간할 수 있다. 이는 제(i-1) 로우 및 제(i+1) 로우는 P(i,j) 픽셀과는 다른 위상의 포토 게이트 신호들을 수신하기 때문이다. 마찬가지로, ISP(39)는 제2 프레임에서 P(i,j) 픽셀의 픽셀 신호를 5X5 매트릭스 내부에서 제(i-1) 컬럼 및 제(i+1) 컬럼에 포함된 픽셀들의 픽셀 신호들을 이용해 보간할 수 있다. 이는 제(i-1) 컬럼 및 제(i+1) 컬럼은 P(i,j) 픽셀과는 다른 위상의 포토 게이트 신호를 수신하기 때문이다.
즉, 각 프레임에서 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호(PGS3)을 수신하는 픽셀들을 제1 픽셀이라 정의하고, 제2 포토 게이트 신호(PGS2)와 제4 포토 게이트 신호(PGS4)을 수신하는 픽셀들을 제2 픽셀이라 정의하면, 제1 픽셀의 픽셀 신호의 보간은 인접하는 제2 픽셀의 픽셀 신호들에 기초해 수행될 수 있고 제2 픽셀의 픽셀 신호의 보간은 인접하는 제1 픽셀의 픽셀 신호들에 기초해 수행될 수 있다.
설명의 편의상 ISP(39)가 제1 프레임에서 P(i,j) 픽셀의 픽셀 신호를 P(i-1,j) 픽셀의 픽셀 신호와 P(i+1,j) 픽셀의 픽셀 신호를 이용해 보간하는 경우에 대해서 설명하기로 한다. 그러나, 본 발명의 범위는 이에 한정되지 않고, 보간에 이용되는 픽셀의 갯수나 위치에는 제한이 없다.
P(i,j) 픽셀의 픽셀 신호는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호에 따라 각각 생성된 Pi,j,0과 Pi,j,π를 포함한다. Pi,j,0과 Pi,j,π는 각각 수학식 6 및 7과 같다.
Figure 112013103054102-pat00006
Figure 112013103054102-pat00007
여기서, AM1, θ1 및 B1은 각각 반사된 광 신호인 RL(i,j)의 진폭, 위상 쉬프트 및 오프셋을 의미한다.
P(i-1,j) 픽셀의 픽셀 신호와 P(i+1,j) 픽셀의 픽셀 신호는 제1 포토 게이트 신호(PGS1)와 제3 포토 게이트 신호에 따라 각각 생성된 Pi -1,j,π/2 및 Pi -1,j,3π/2 과 Pi+1,j,π/2 및 Pi +1,j,3π/2를 포함한다. Pi -1,j,π/2 및 Pi -1,j,3π/2 과 Pi +1,j,π/2 및 Pi +1,j,3π/2는 각각 수학식 8 내지 11과 같다.
Figure 112013103054102-pat00008
Figure 112013103054102-pat00009
Figure 112013103054102-pat00010
Figure 112013103054102-pat00011
여기서, AM2, θ2 및 B2는 각각 반사된 광 신호인 RL(i-1,j)의 진폭, 위상 쉬프트 및 오프셋을 의미하며, AM3, θ3 및 B3는 각각 반사된 광 신호인 RL(i+1,j)의 진폭, 위상 쉬프트 및 오프셋을 의미한다.
B2와 B3는 각각 Pi -1,j,π/2 및 Pi -1,j,3π/ 2 의 평균과 Pi +1,j,π/2 및 Pi +1,j,3π/2의 평균으로 쉽게 얻어질 수 있다. 도 7에서 경계(BO)를 중심으로 왼쪽 상부에 위치한 픽셀들에 입사되는 반사된 광 신호들 각각의 오프셋은 서로 동일하고, 오른쪽 하부에 위치한 픽셀들에 입사되는 반사된 광 신호들 각각의 오프셋은 서로 동일하나 왼쪽 상부에 위치한 픽셀들에 입사되는 반사된 광 신호들 각각의 오프셋보다 낮다고 가정한다.
반사된 광 신호들 각각의 오프셋은 광원(32)이 조사하는 변조광 이외의 외광 및 광원(32)의 온 오프 등과 관련된다. 즉, 픽셀 어레이(22) 전체에서 반사된 광 신호들 각각의 오프셋 만을 기초로 한 영상은 마치 흑백 사진으로 촬영된 것과 유사하게 외광 조건에 따른 물체의 형상에 대한 위치 정보를 포함한다.
달리 말하면, 도 7에서 경계(BO)를 중심으로 왼쪽 상부에 위치한 픽셀들이 센싱하는 물체와 오른쪽 하부에 위치한 픽셀들이 센싱하는 물체는 서로 다르다는 것을 의미할 수 있다.
따라서, 본 발명에서는 슈도 4-tap 기법을 이용해 보간을 수행할 때, 보간에 이용되는 픽셀 신호들에 반사된 광 신호들 각각의 오프셋에 따라 달라지는 가중치가 부여된다.
본 발명의 슈도 4-tap 기법을 이용해 P(i,j) 픽셀에 입사되는 반사된 광 신호인 RL(i,j)의 위상 쉬프트는 수학식 12에 의해 계산될 수 있다.
Figure 112013103054102-pat00012
여기서, P3 π/2와 Pπ/2은 각각 Pi -1,j,π/2 및 Pi -1,j,3π/2 가 보간된 값과 Pi +1,j,π/2 및 Pi +1,j,3π/2가 보간된 값을 의미한다. P3 π/2와 Pπ/2은 각각 수학식 13과 14에 의해 계산될 수 있다.
Figure 112013103054102-pat00013
Figure 112013103054102-pat00014
여기서, K는 보간에 이용되는 픽셀 신호의 갯수를 의미하며, 함수 f와 g는 각각 가중치 함수를 의미한다. Pm ,n,3π/2와 Pm ,n,π/2는 각각 보간에 이용되는 픽셀 신호들을 의미하며, 함수 f의 독립 변수는 Pm ,n,3π/2와 Pm ,n,π/2에 대응하는 깊이 픽셀과 P(i,j) 픽셀의 상대적인 위치를 의미한다.
함수 g의 독립 변수는 Pm ,n,3π/2와 Pm ,n,π/2에 대응하는 깊이 픽셀에 입사되는 반사된 광 신호(예컨대, RL(i-1,j) 또는 RL(i+1,j))의 오프셋 B'(예컨대, B2 또는 B3)과 P(i,j) 픽셀에 입사되는 반사된 광 신호인 RL(i,j)의 오프셋 B 간의 차이를 의미한다.
상기의 예에서 P3 π/2와 Pπ/2를 구해보면, P3 π/2와 Pπ/2는 각각 수학식 15와 16에 의해 계산될 수 있다.
Figure 112013103054102-pat00015
Figure 112013103054102-pat00016
도 9a에서 함수 f에 독립 변수가 1인 경우 가중치가 0.3으로 부여된다고 가정한다. 또한, 도 9b에서 함수 g에 독립 변수가 0인 경우 가중치가 1이고, B2-B1인 경우 0.2로 부여된다고 가정한다. 예컨대, 함수 f와 함수 g는 각각 가우시안 함수(Gaussian function)에 해당할 수 있다.
P(i-1,j) 픽셀과 P(i+1,j) 픽셀은 픽셀 간의 상대적인 위치에 따른 가중치(예컨대, f(1)과 f(1))는 동일하나, 외광 조건에 따른 물체의 형상에 대한 위치 정보인 오프셋 차이에 따른 가중치(예컨대, g(B2-B1)와 g(B3-B1))는 서로 달라지게 된다. 즉, g(B2-B1)=0.2이고, P(i+1,j) 픽셀은 경계(BO)를 중심으로 P(i,j) 픽셀과 같은 쪽에 위치하므로 g(B3-B1)=g(0)=1로 계산된다. 달리 말하면, P(i,j) 픽셀의 픽셀 신호를 보간할 때, P(i-1,j) 픽셀의 픽셀 신호보다 P(i-1,j) 픽셀의 픽셀 신호에 대한 가중치가 높게 설정될 수 있다. 이로 인해, 실제 물체의 형상에 가깝도록 보간이 수행되어 보다 정확한 거리 계산이 가능하게 된다.
본 발명의 실시예에 따른 깊이 센서에 의하면, 픽셀 신호의 보간시 픽셀 신호의 오프셋을 이용함으로써 보다 정확한 거리 정보의 획득이 가능하게 된다.
도 10은 도 1에 도시된 깊이 센서의 동작 방법을 설명하기 위한 흐름도이다.도 11은 도 10에 도시된 픽셀 신호들을 보간하는 단계를 상세히 나타낸 흐름도이다.
도 1 내지 도 11을 참조하면, 포토 게이트 신호 생성기(53)는 제1 클럭(CLK1) 또는 제2 클럭(CLK2)을 기초로 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)를 생성할 수 있다(S100).
제1 프레임에서 로우 및 컬럼 선택기(54)는 프레임 인덱스(52)의 제어에 따라 픽셀 어레이(22)의 로우 단위로 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)를 인가할 수 있다(S110).
제2 프레임에서 로우 및 컬럼 선택기(54)는 프레임 인덱스(52)의 제어에 따라 픽셀 어레이(22)의 컬럼 단위로 제1 포토 게이트 신호(PGS1) 내지 제4 포토 게이트 신호(PGS4)를 인가할 수 있다(S120).
ISP(39)는 픽셀 어레이(22)에 포함된 각 픽셀(23)로부터 출력되는 픽셀 신호들을 보간하고, 보간된 픽셀 신호들을 기초로 이미지 데이터를 생성할 수 있다(S130).
S130에서 픽셀 신호들을 보간하는 단계는 다음의 S132 내지 S138 를 포함할 수 있다.
제1 프레임에서 ISP(39)는 제1 로우(예컨대, 도 7의 제i 로우)에 속한 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호를 제2 로우(예컨대, 도 7의 제i-1 로우)에 속한 적어도 하나의 제2 픽셀(예컨대, P(i-1,j) 픽셀)의 픽셀 신호를 기초로 보간할 수 있다. 이때, 상기 보간은 상기 적어도 하나의 제2 픽셀(예컨대, P(i-1,j) 픽셀)의 픽셀 신호에 각각의 오프셋(예컨대, B2)에 대응하는 가중치(예컨대, 가우시안 함수의 계산치)를 부여하는 단계를 포함할 수 있다(S132).
제2 프레임에서 ISP(39)는 제2 로우(예컨대, 도 7의 제i-1 로우)에 속한 제2 픽셀(예컨대, P(i-1,j) 픽셀)의 픽셀 신호를 제1 로우(예컨대, 도 7의 제i 로우)에 속한 적어도 하나의 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호를 기초로 보간할 수 있다. 이때, 상기 보간은 상기 적어도 하나의 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호에 각각의 오프셋(예컨대, B1)에 대응하는 가중치(예컨대, 가우시안 함수의 계산치)를 부여하는 단계를 포함할 수 있다(S134).
제1 프레임에서 ISP(39)는 제1 컬럼(예컨대, 도 7의 제i 컬럼)에 속한 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호를 제2 컬럼(예컨대, 도 7의 제i-1 컬럼)에 속한 적어도 하나의 제2 픽셀(예컨대, P(i,j-1) 픽셀)의 픽셀 신호를 기초로 보간할 수 있다. 이때, 상기 보간은 상기 적어도 하나의 제2 픽셀(예컨대, P(i,j-1) 픽셀)의 픽셀 신호에 각각의 오프셋에 대응하는 가중치(예컨대, 가우시안 함수의 계산치)를 부여하는 단계를 포함할 수 있다(S136).
제2 프레임에서 ISP(39)는 제2 컬럼(예컨대, 도 7의 제i-1 컬럼)에 속한 제2 픽셀(예컨대, P(i,j-1) 픽셀)의 픽셀 신호를 제1 컬럼(예컨대, 도 7의 제i 컬럼)에 속한 적어도 하나의 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호를 기초로 보간할 수 있다. 이때, 상기 보간은 상기 적어도 하나의 제1 픽셀(예컨대, P(i,j) 픽셀)의 픽셀 신호에 각각의 오프셋(예컨대, B1)에 대응하는 가중치(예컨대, 가우시안 함수의 계산치)를 부여하는 단계를 포함할 수 있다(S138).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
깊이 센서(10) 포토 게이트 컨트롤러(28)
반도체 칩(20) CDS/ADC(36)
픽셀 어레이(22) 메모리(38)
로우 드라이버(24) ISP(39)
타이밍 컨트롤러(26)

Claims (10)

  1. 제1 포토 게이트 신호 및 상기 제1 포토 게이트 신호와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호 내지 제4 포토 게이트 신호를 생성하는 단계;
    제1 클럭을 이용하는 제1 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 로우에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 로우에 인접한 제2 로우에 인가하는 단계; 및
    상기 제1 클럭과 다른 제2 클럭을 이용하며 상기 제1 프레임 다음의 제2 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 컬럼에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 컬럼에 인접한 제2 컬럼에 인가하는 단계를 포함하는 깊이 센서의 동작 방법.
  2. 제1항에 있어서,
    상기 픽셀 어레이에 포함된 각 픽셀로부터 출력되는 픽셀 신호들을 보간하고, 보간된 픽셀 신호들을 기초로 이미지 데이터를 생성하는 단계를 더 포함하는 깊이 센서의 동작 방법.
  3. 제2항에 있어서,
    상기 픽셀 신호들을 보간하는 단계는
    상기 제1 프레임에서 상기 제1 로우에 속한 제1 픽셀의 픽셀 신호를 상기 제2 로우에 속한 적어도 하나의 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계; 및
    상기 제1 프레임에서 상기 제2 로우에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계를 포함하는 깊이 센서의 동작 방법.
  4. 제3항에 있어서,
    상기 제2 로우에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하고,
    상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하는 깊이 센서의 동작 방법.
  5. 제3항에 있어서,
    상기 픽셀 신호들을 보간하는 단계는
    상기 제2 프레임에서 상기 제1 컬럼에 속한 상기 제1 픽셀의 픽셀 신호를 상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계; 및
    상기 제2 프레임에서 상기 제2 컬럼에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계를 더 포함하는 깊이 센서의 동작 방법.
  6. 제5항에 있어서,
    상기 제2 컬럼에 속한 적어도 하나의 상기 제2 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제2 픽셀의 픽셀 신호 각각에 상기 제2 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하고,
    상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 단계는 상기 제1 픽셀의 픽셀 신호 각각에 상기 제1 픽셀 신호 각각의 오프셋에 대응하는 가중치를 부여하는 단계를 포함하는 깊이 센서의 동작 방법.
  7. 제1 포토 게이트 신호 및 상기 제1 포토 게이트 신호와 순차적으로 90 도의 위상차를 갖는 제2 포토 게이트 신호 내지 제4 포토 게이트 신호를 생성하는 포토 게이트 신호 생성기;
    상기 제1 포토 게이트 신호 내지 상기 제4 포토 게이트 신호를 픽셀 어레이의 로우 별 또는 컬럼 별로 인가하는 로우 및 컬럼 선택기(row & column selector)를 포함하며,
    상기 로우 및 컬럼 선택기는
    제1 클럭을 이용하는 제1 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 로우에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 로우에 인접한 제2 로우에 인가하고,
    상기 제1 클럭과 다른 제2 클럭을 이용하며, 상기 제1 프레임 다음의 제2 프레임에서 상기 제1 포토 게이트 신호와 상기 제3 포토 게이트 신호를 픽셀 어레이의 제1 컬럼에 인가하고, 상기 제2 포토 게이트 신호와 상기 제4 포토 게이트 신호를 상기 제1 컬럼에 인접한 제2 컬럼에 인가하는 깊이 센서.
  8. 제7항에 있어서,
    상기 픽셀 어레이에 포함된 각 픽셀로부터 출력되는 픽셀 신호들을 보간하고, 보간된 픽셀 신호들을 기초로 이미지 데이터를 생성하는 이미지 신호 프로세서를 더 포함하는 깊이 센서.
  9. 제8항에 있어서,
    상기 이미지 신호 프로세서는
    상기 제1 프레임에서 상기 제1 로우에 속한 제1 픽셀의 픽셀 신호를 상기 제2 로우에 속한 적어도 하나의 제2 픽셀의 픽셀 신호를 기초로 보간하고,
    상기 제1 프레임에서 상기 제2 로우에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 로우에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 깊이 센서.
  10. 제8항에 있어서,
    상기 이미지 신호 프로세서는
    상기 제2 프레임에서 상기 제1 컬럼에 속한 제1 픽셀의 픽셀 신호를 상기 제2 컬럼에 속한 적어도 하나의 제2 픽셀의 픽셀 신호를 기초로 보간하고,
    상기 제2 프레임에서 상기 제2 컬럼에 속한 상기 제2 픽셀의 픽셀 신호를 상기 제1 컬럼에 속한 적어도 하나의 상기 제1 픽셀의 픽셀 신호를 기초로 보간하는 깊이 센서.
KR1020130137176A 2013-11-12 2013-11-12 깊이 센서, 및 이의 동작 방법 KR102136850B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130137176A KR102136850B1 (ko) 2013-11-12 2013-11-12 깊이 센서, 및 이의 동작 방법
US14/150,361 US9568607B2 (en) 2013-11-12 2014-01-08 Depth sensor and method of operating the same
US15/414,875 US20170131405A1 (en) 2013-11-12 2017-01-25 Depth sensor and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130137176A KR102136850B1 (ko) 2013-11-12 2013-11-12 깊이 센서, 및 이의 동작 방법

Publications (2)

Publication Number Publication Date
KR20150054568A KR20150054568A (ko) 2015-05-20
KR102136850B1 true KR102136850B1 (ko) 2020-07-22

Family

ID=53043474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137176A KR102136850B1 (ko) 2013-11-12 2013-11-12 깊이 센서, 및 이의 동작 방법

Country Status (2)

Country Link
US (2) US9568607B2 (ko)
KR (1) KR102136850B1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921298B2 (en) 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
US10942261B2 (en) * 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
KR102523972B1 (ko) 2015-10-27 2023-04-20 삼성전자주식회사 광 셔터를 포함하는 3차원 깊이 센서를 이용한 거리측정방법
CN108885265A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 距离图像处理装置、距离图像获取装置及距离图像处理方法
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
FR3060250B1 (fr) * 2016-12-12 2019-08-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Capteur d'image pour capter une image en 2d et une profondeur
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
KR102624984B1 (ko) * 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
KR102606240B1 (ko) 2018-07-09 2023-11-24 삼성전자주식회사 멀티탭 픽셀을 포함하는 이미지 센서
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN109817655A (zh) * 2018-11-14 2019-05-28 深圳市光微科技有限公司 具有双电荷存储结构的像素单元、图像传感器芯片、成像系统、形成方法和测量深度方法
KR102646902B1 (ko) * 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
KR102233446B1 (ko) * 2019-03-11 2021-03-29 성균관대학교산학협력단 가상의 4탭 픽셀 구조의 거리 측정 장치
US11467264B2 (en) 2019-03-11 2022-10-11 Research & Business Foundation Sungkyunkwan University Apparatus for measuring depth with pseudo 4-tap pixel structure
KR102648089B1 (ko) 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
US20220268942A1 (en) * 2019-07-16 2022-08-25 Sony Group Corporation Light receiving device and method for driving light receiving device
EP3799424B1 (en) 2019-07-29 2023-05-10 Shenzhen Goodix Technology Co., Ltd. Three-dimensional image sensor, related three-dimensional image sensing module, and hand-held device
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659931B1 (ko) 2007-06-27 2016-09-26 브룩스 오토메이션 인코퍼레이티드 다차원 위치 센서
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
KR101020999B1 (ko) 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR101668869B1 (ko) 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
KR101646908B1 (ko) 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
EP2521926B1 (en) 2010-01-06 2020-07-29 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
KR101711061B1 (ko) 2010-02-12 2017-02-28 삼성전자주식회사 깊이 추정 장치를 이용한 깊이 정보 추정 방법
KR101652933B1 (ko) * 2010-02-17 2016-09-02 삼성전자주식회사 센서, 이의 동작 방법, 및 이를 포함하는 거리 측정 장치
KR20120057216A (ko) 2010-11-26 2012-06-05 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 노이즈 감소 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR101812035B1 (ko) 2010-11-30 2017-12-26 삼성전자 주식회사 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템
KR20120079646A (ko) 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
KR20130098040A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 깊이 이미지를 자동으로 캘리브레이션하는 이미지 시스템
FR3001318A1 (fr) * 2013-01-24 2014-07-25 Thomson Licensing Procede d’interpolation et dispositif correspondant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子

Also Published As

Publication number Publication date
KR20150054568A (ko) 2015-05-20
US20170131405A1 (en) 2017-05-11
US20150130904A1 (en) 2015-05-14
US9568607B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
KR102136850B1 (ko) 깊이 센서, 및 이의 동작 방법
JP7442982B2 (ja) イメージセンサ
US20210377473A1 (en) Solid-state imaging apparatus, imaging system, and distance measurement method
US10802144B2 (en) Method and device of measuring the distance to an object
KR102488321B1 (ko) 3차원 이미지 센서의 픽셀 어레이 및 3차원 이미지 센서의 구동 방법
KR101715141B1 (ko) 깊이 센서의 픽셀 및 상기 픽셀을 포함하는 이미지 센서
JP5698527B2 (ja) 深さセンサーの深さ推定方法及びその記録媒体
US20130258099A1 (en) Depth Estimation Device And Operating Method Using The Depth Estimation Device
KR101812035B1 (ko) 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템
KR102159266B1 (ko) 깊이 센서의 픽셀 및 이를 포함하는 이미지 처리 시스템
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
KR20140092712A (ko) 센싱 픽셀 및 이를 포함하는 이미지 센서
CN111556260B (zh) 图像传感器
KR20140047271A (ko) 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR20120025052A (ko) 깊이 센서 및 이를 이용한 거리 추정 방법
US9118856B2 (en) Sensor, data processing system, and operating method
JP6716902B2 (ja) 電子機器
KR20130091553A (ko) 3차원 이미지 센서 및 이를 포함하는 휴대용 장치
US20220018946A1 (en) Multi-function time-of-flight sensor and method of operating the same
EP3913400B1 (en) Distance image measurement device, distance image measurement system, and distance image measurement method
KR20220045834A (ko) 복수의 지연 클락 신호들에 기초하여 동작하는 이미지 센서
JP2022179456A (ja) 深度センサー及びその動作方法
KR20240129468A (ko) 이미지 센서, 이미지 촬영 장치, 이미지 센서를 이용한 난수 생성 시스템
KR20120128224A (ko) 3차원 이미지 센서의 구동 방법
KR20130006168A (ko) 센서 및 이를 포함하는 데이터 처리 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant