KR20190110884A - ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법 - Google Patents

ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법 Download PDF

Info

Publication number
KR20190110884A
KR20190110884A KR1020180032892A KR20180032892A KR20190110884A KR 20190110884 A KR20190110884 A KR 20190110884A KR 1020180032892 A KR1020180032892 A KR 1020180032892A KR 20180032892 A KR20180032892 A KR 20180032892A KR 20190110884 A KR20190110884 A KR 20190110884A
Authority
KR
South Korea
Prior art keywords
phase
degrees
photo gate
signal
phase signal
Prior art date
Application number
KR1020180032892A
Other languages
English (en)
Other versions
KR102624984B1 (ko
Inventor
길민선
갈비탄
아이젠버그 아밋
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180032892A priority Critical patent/KR102624984B1/ko
Priority to US16/207,933 priority patent/US11378690B2/en
Priority to CN201910116181.7A priority patent/CN110297254B/zh
Priority to JP2019045580A priority patent/JP7347942B2/ja
Publication of KR20190110884A publication Critical patent/KR20190110884A/ko
Priority to US17/720,837 priority patent/US20220236419A1/en
Application granted granted Critical
Publication of KR102624984B1 publication Critical patent/KR102624984B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 개시의 ToF 센서는 물체에서 반사된 광을 수신하여 제1 위상 신호를 생성하는 제1 포토 게이트 및 상기 제1 위상 신호와 180도 위상 차이를 가지는 제2 위상 신호를 생성하는 제2 포토 게이트를 포함하는 제1 픽셀과, 상기 물체에서 반사된 광을 수신하여 상기 제1 위상 신호와 상이한 제3 위상 신호를 생성하는 제3 포토 게이트 및 상기 제3 위상 신호와 180도 위상 차이를 가지는 제4 위상 신호를 생성하는 제4 포토 게이트를 포함하는 제2 픽셀과, 상기 제1 위상 신호 및 상기 제2 위상 신호를 출력하는 제1 신호 출력부와, 상기 제3 위상 신호 및 상기 제4 위상 신호를 출력하는 제2 신호 출력부를 포함하고, 하나의 프레임 기간에 상기 제1 내지 제4 위상 신호를 출력한다.

Description

ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법{TIME OF FLIGHT SENSOR AND THREE-DIMENSIONAL IMAGING DEVICE USING THE SAME, AND METHOD FOR DRIVING OF THREE-DIMENSIONAL IMAGING DEVICE}
본 발명은 ToF(Time of Flight) 센서와 이를 이용하여 3차원 영상을 획득하는 3차원 영상 장치 및 3차원 영상 장치의 구동 방법에 관한 것이다.
쿼드콥터, 차량의 자율주행, 모션인식 컨트롤, 가상현실, 증강현실, 3차원(3 dimension) 게임, 로봇 제어 및 깊이감이 있는 3차원 영상을 제공하기 위해서 물체와의 거리를 측정하여 거리 정보를 획득할 수 있는 3차원(3 dimension) 카메라, 모션 캡처 센서(motion sensor), 레이저 레이더(Laser Radar)의 기술 개발이 이루어지고 있다.
2대의 카메라를 이용한 스테레오 비전(Stereo Vision) 방식 또는 구조광(Structured Light)을 이용한 삼각 측량법(Triangulation) 방식을 이용하여 물체의 깊이 정보(물체와 카메라 사이의 거리 정보)를 얻을 수 있다. 이러한 방식들은 물체와 카메라 사이의 거리가 멀어질수록 깊이 정보의 정확도가 떨어지는 단점이 있다. 한편, ToF(Time of Flight) 센서를 적용한 3차원 영상 장치는 적외선을 물체에 조사한 후, 센서의 수광부에서 물체로부터 반사되는 적외선을 수광하기까지의 시간을 측정하여 물체의 깊이 정보를 획득할 수 있다. ToF 센서 방식은 고속 동작이 가능하고, 스테레오 비전 방식에 비해 조명 변화에 의한 잡음이 적고, 후처리 알고리즘의 연산량을 줄일 수 있는 장점이 있다. 이러한, ToF 센서 방식은 지도 형태의 3D 깊이 정보를 획득할 수 있다. ToF 센서 방식은 하나의 깊이 정보 맵을 생성 시 180도 위상 차이를 가지는 2 프레임의 센서 이미지 또는 90도 위상 차이를 가지는 4 프레임의 센서 이미지가 필요하다. 이로 인해, 깊이 정보 맵의 생성 시 물체의 움직임에 의해서 모션 아티팩트(Motion Artifact) 또는 모션 블러(motion blur)가 발생하는 문제점이 있다. 또한, 물체의 깊이 값 연산을 위해 추가로 프레임 메모리가 소요되는 문제점이 있다.
본 개시에 따른 실시예들의 과제는 하나의 프레임의 영상 데이터로 깊이 정보를 획득하여 모션 아티팩트의 발생을 방지할 수 있는 ToF 센서, 3차원 영상 장치 및 3차원 영상 장치의 구동 방법을 제공하는데 있다.
본 개시에 따른 실시예들의 과제는 하나의 프레임의 영상 데이터로 깊이 정보를 획득하여 메모리 소요를 줄일 수 있는 ToF 센서, 3차원 영상 장치 및 3차원 영상 장치의 구동 방법을 제공하는데 있다.
본 개시에 따른 실시예들의 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 개시의 ToF 센서는, 물체에서 반사된 광을 수신하여 제1 위상 신호를 생성하는 제1 포토 게이트 및 상기 제1 위상 신호와 180도 위상 차이를 가지는 제2 위상 신호를 생성하는 제2 포토 게이트를 포함하는 제1 픽셀과, 상기 물체에서 반사된 광을 수신하여 상기 제1 위상 신호와 상이한 제3 위상 신호를 생성하는 제3 포토 게이트 및 상기 제3 위상 신호와 180도 위상 차이를 가지는 제4 위상 신호를 생성하는 제4 포토 게이트를 포함하는 제2 픽셀과, 상기 제1 위상 신호 및 상기 제2 위상 신호를 출력하는 제1 신호 출력부와, 상기 제3 위상 신호 및 상기 제4 위상 신호를 출력하는 제2 신호 출력부를 포함하고, 하나의 프레임 기간에 상기 제1 내지 제4 위상 신호를 출력한다.
본 개시의 ToF 센서는, 서로 인접하게 배치된 복수의 픽셀로 구성된 제1 픽셀 그룹과, 서로 인접하게 배치된 복수의 픽셀로 구성된 제2 픽셀 그룹을 포함한다. 상기 제1 픽셀 그룹의 복수의 픽셀 각각은 물체에서 반사된 광을 수신하여 180도 위상 차이를 가지는 제1 위상 신호 및 제2 위상 신호를 출력한다. 제2 픽셀 그룹의 복수의 픽셀 각각은 물체에서 반사된 광을 수신하여 180도 위상 차이를 가지는 제3 위상 신호 및 제4 위상 신호를 출력한다.
본 개시의 3차원 영상 장치는, 물체로 광을 조사하는 광원과, 상기 광원에 구동 전압을 공급하는 광원 구동부와, 물체에서 반사된 광을 수신하여, 180도 위상 차이를 가지는 제1 위상 신호 및 제2 위상 신호를 출력하는 복수의 제1 픽셀 및 180도 위상 차이를 가지는 제3 위상 신호 및 제4 위상 신호를 출력하는 복수의 제2 픽셀을 포함하는 ToF(Time of Flight) 센서와, 구동신호를 상기 ToF 센서에 공급하여 상기 ToF 센서의 구동을 제어하는 센서 구동부와, 상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 수신하여 디지털 위상 값으로 변환하고, 디지털 위상 값을 하나의 프레임에 배열하여 위상 패턴 이미지를 생성하는 위상 패턴 처리부와, 상기 위상 패턴 이미지에 기초하여 상기 물체와의 깊이 정보를 생성하는 깊이 정보 생성부를 포함한다.
본 개시의 3차원 영상 장치의 구동 방법은, 제1 픽셀의 제1 포토 게이트 및 제2 포토 게이트에서 광을 수신하여, 서로 180도 위상 차이를 가지는 제1 위상 신호 및 제2 위상 신호를 출력하는 단계와, 제2 픽셀의 제3 포토 게이트 및 제4 포토 게이트에서 광을 수신하여, 서로 180도 위상 차이를 가지는 제3 위상 신호 및 제4 위상 신호를 출력하는 단계와, 상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 수신하여 디지털 위상 값으로 변환하고, 디지털 위상 값을 하나의 프레임에 배열하여 위상 패턴 이미지를 생성하는 단계와, 상기 위상 패턴 이미지에 기초하여 상기 물체와의 깊이 정보를 생성하는 단계를 포함한다.
본 개시에 따른 실시예들에 따르면, 하나의 프레임 영상 데이터로 깊이 정보를 획득하여 모션 아티팩트의 발생을 방지할 수 있는 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법을 제공할 수 있다.
본 개시에 따른 실시예들에 따르면, 하나의 프레임 영상 데이터로 깊이 정보를 획득하여 물체의 깊이 정보 획득에 필요한 메모리를 줄일 수 있는 3차원 영상 장치를 제공할 수 있다.
도 1은 본 개시에 따른 실시예의 3차원 영상 장치를 나타내는 도면이다.
도 2은 도 1에 도시된 ToF 센서를 나타내는 도면이다.
도 3은 도 2에 도시된 ToF 센서를 구성하는 복수의 픽셀 중 하나의 픽셀을 나타내는 도면이다.
도 4a는 물체에서 반사된 광을 ToF 센서가 수신하여 4개의 위상을 샘플링하는 것을 나타내는 도면이다.
도 4b는 ToF 센서가 T0~T3 기간에 수광 신호를 누적하는 것을 나타내는 도면이다.
도 5는 2탭(2-tap) 구조로 구성된 ToF 센서의 가로 방향에 구동 회로를 배치하여 ToF 센서와 구동 회로를 연결하는 것을 나타내는 도면이다.
도 6은 2탭(2-tap) 구조로 구성된 ToF 센서의 세로 방향에 구동 회로를 배치하여 ToF 센서와 구동 회로를 연결하는 것을 나타내는 도면이다.
도 7은 도 1에 도시된 위상 패턴 처리부를 나타내는 도면이다.
도 8은 X축 방향의 해상도를 고려한 위상 패턴을 나타내는 도면이다.
도 9a는 도 8에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다.
도 9b는 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호의 타이밍을 나타내는 도면이다.
도 10은 Y축 방향의 해상도를 고려한 위상 패턴을 나타내는 도면이다.
도 11a는 도 10에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다.
도 11b는 도 10에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호의 타이밍을 나타내는 도면이다.
도 12는 X축 및 Y축 방향의 해상도를 고려하여 체커보드 방식으로 위상을 배치한 위상 패턴을 나타내는 도면이다.
도 13a는 도 12에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다.
도 13b는 도 12에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호를 나타내는 도면이다.
도 14는 체커보드 방식으로 위상 신호를 배치한 위상 패턴을 나타내는 도면이다.
도 15는 도 14의 체커보드 방식의 위상 패턴을 2x2 Binning 방식으로 복수의 픽셀을 그룹핑하여 위상 패턴을 배치한 것을 나타내는 도면이다.
도 16 및 도 17은 도 15에 도시된 위상 패턴 중 I블록 및 Q블록의 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다.
도 18은 도 15에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호를 나타내는 도면이다.
도 19 내지 도 22는 본 개시의 일 실시예의 위상 패턴을 나타내는 것으로, 4x4 개의 복수의 픽셀을 단위 픽셀 패턴으로 그룹핑하여 위상 패턴을 배치한 것을 나타내는 도면이다.
도 23a 내지 도 23c는 근거리에 위치한 물체와 원거리에 위치한 물체의 깊이 정보를 획득하기 위한 위상 패턴을 배치한 것을 나타내는 도면이다.
이하, 첨부된 도면을 참고로 하여 본 개시에 따른 실시예들의 ToF(Time of Flight) 센서와 이를 이용한 3차원 영상 장치를 설명하면 다음과 같다.
도 1은 본 개시에 따른 실시예의 3차원 영상 장치를 나타내는 도면이다. 도 2은 도 1에 도시된 ToF 센서를 나타내는 도면이다.
도 1 및 도 2를 참조하면, 본 개시에 따른 실시예의 3차원 영상 장치(1000)는 광원에서 조사된 광의 위상과 물체로부터 반사되어 수신된 광의 위상 차이에 기초하여 물체의 깊이 정보를 생성할 수 있다. 이를 위해, 3차원 영상 장치(1000)는 광원(100), 광원 구동부(200), ToF(Time of Flight) 센서(300), 센서 구동부(400), 제어부(500), 위상패턴 처리부(600) 및 깊이정보 생성부(700)를 포함할 수 있다.
광원(100)은 적외선 또는 가시광선 대역의 레이저 광을 조사할 수 있으며, 광원(100)에서 조사되는 광이 물체에서 반사되어 ToF(Time of Flight) 센서(300)에 입사될 수 있다. ToF 센서(300)는 복수의 픽셀(310)을 포함할 수 있으며, 물체에서 반사 광이 복수의 픽셀(310)에 입사될 수 있다. 도 2에서는 가로 방향으로 M개의 픽셀(310) 및 세로 방향으로 N개의 픽셀(310)이 배열되어 ToF 센서(300)를 구성한 것을 일 예로 도시하고 있다.
광원(100)은 발광 다이오드(Light Emitting Diode: LED) 또는 레이저 다이오드(Laser Diode: LD)로 구성될 수 있다. 광원(100)은 광원 구동부(200)와 연결되며, 광원 구동부(200)로부터 공급되는 광원 구동전류(ID1)에 의해서 구동될 수 있다. 광원(100)은 펄스파 형태로 광을 조사할 수 있다. 일 예로서, 광원(100)은 사인파, 삼각파, 사각파 형태로 광을 조사할 수 있다. 광원(100)에서 조사되는 광이 물체에서 반사되어 ToF 센서(300)로 입사될 수 있으며, 광원(100)과 물체와의 거리에 따라서 광원(100)에서 조사되는 광의 위상과 ToF 센서(300)로 입사된 광의 위상에 차이가 발생할 수 있다. 이러한, 광의 위상 차이를 검출하여 물체와의 깊이, 즉 거리를 산출할 수 있다. 물체의 한 지점까지의 거리를 측정하고자 하는 경우에, 3차원 영상 장치(1000)는 하나의 광원(100)과 하나의 픽셀(310)을 포함한 ToF 센서(300)를 포함할 수 있다. 또한, 복수의 물체와의 거리를 측정하고자 하는 경우에, 3차원 영상 장치(1000)는 하나 혹은 복수의 광원(100)과 복수의 픽셀(310)을 포함한 ToF 센서(300)를 포함할 수 있다.
제어부(500)는 광원 구동부(200) 및 센서 구동부(400)와 연결될 수 있다. 광원 구동부(500)는 광원 구동부(200)의 제어를 위한 광원 제어신호(CS1)를 생성할 수 있다. 이때, 제어부(500)는 입력되는 모드 또는 기 설정된 모드에 기초하여 광원 제어신호(CS1)를 생성할 수 있다. 제어부(500)는 생성된 광원 제어신호(CS1)을 광원 구동부(200)로 공급할 수 있다.
제어부(500)는 센서 구동부(400)의 제어를 위한 센서 제어신호(CS2)를 생성하고, 생성된 센서 제어신호(CS2)를 센서 구동부(400)로 공급할 수 있다. 제어부(500)는 광원 제어신호(CS1)에 의해 동작되는 광원 구동부(200)의 동작 시점에 연동되어 센서 구동부(400)가 동작되도록 센서 제어신호(CS2)를 생성할 수 있다. 이때, 제어부(500)는 입력되는 모드 또는 기 설정된 모드에 기초하여 센서 제어신호(CS2)를 생성할 수 있다. 제어부(500)는 생성된 센서 제어신호(CS2)를 센서 구동부(400)에 공급할 수 있다. 제어부(500)에서 출력되는 광원 제어신호(CS1)와 센서 제어신호(CS2)에 의해서 광원(100)에서 조사되는 광에 동기되어 픽셀(310)이 동작할 수 있다.
구체적으로, ToF 센서 및 3차원 영상 장치가 적용되는 시스템에 따라서 요구되는 깊이 맵(Depth Map)이 달라질 수 있다. 일 예로서, ToF 센서 및 3차원 영상 장치가 로봇청소기에 적용되는 경우, 수직(Y)축 방향보다는 수평(X축) 방향에 대한 해상도를 높일 수 있는 깊이 맵을 필요로 할 수 있다. 이러한 경우에는 수평(X축) 방향에 대한 해상도를 높일 수 있는 위상 패턴을 생성할 필요가 있다. 또한, ToF 센서 및 3차원 영상 장치가 수직 방향으로 이동하는 장치에 적용되는 경우, 수평(X)축 방향보다는 수직(Y축) 방향에 대한 해상도를 높일 수 있는 깊이 맵을 필요로 할 수 있다. 이러한 경우에는 수직(Y축) 방향에 대한 해상도를 높일 수 있는 위상 패턴을 생성할 필요가 있다. 또한, ToF 센서 및 3차원 영상 장치가 증강현실 헤드셋 또는 드론에 적용되는 경우, 수평(X축) 및 수직(Y축) 방향에 대해서 일정 수준의 해상도를 얻을 수 있는 깊이 맵을 필요로 할 수 있다. 이러한 경우에는 수평(X축) 및 수직(Y축) 방향에 대해서 일정 수준의 해상도를 얻을 수 있는 위상 패턴을 생성할 필요가 있다.
X축 방향의 해상도를 높일 수 있는 맵을 필요로 하는 제1 모드가 제어부(500) 및 위상 패턴 처리부(600)에 입력 또는 설정될 수 있다. 이때, 제어부(500)는 제1 모드에 따른 광원 제어신호(CS1)를 생성하여 광원 구동부에 공급할 수 있다. 제어부(500)는 제1 모드에 따른 센서 제어신호(CS2)를 생성하여 센서 구동부(400)에 공급할 수 있다.
Y축 방향의 해상도에 유리한 깊이 맵을 필요로 하는 제2 모드가 제어부(500) 및 위상 패턴 처리부(600)에 입력 또는 설정될 수 있다. 이때, 제어부(500)는 제2 모드에 따른 광원 제어신호(CS1)를 생성하여 광원 구동부에 공급할 수 있다. 제어부(500)는 제1 모드에 따른 센서 제어신호(CS2)를 생성하여 센서 구동부(400)에 공급할 수 있다.
X축 및 Y축 방향에 대해서 일정 수준의 해상도를 가지는 깊이 맵을 필요로 하는 제3 모드가 제어부(500) 및 위상 패턴 처리부(600)에 입력 또는 설정될 수 있다. 이때, 제어부(500)는 제3 모드에 따른 광원 제어신호(CS1)를 생성하여 광원 구동부에 공급할 수 있다. 제어부(500)는 제1 모드에 따른 센서 제어신호(CS2)를 생성하여 센서 구동부(400)에 공급할 수 있다.
광원 구동부(200)는 제어부(500)와 연결되며, 제어부(500)에서 입력되는 광원 제어신호(CS1)에 기초하여 광원(100)의 구동을 위한 광원 구동전류(ID1)를 생성할 수 있다. 광원 구동부(200)는 생성된 광원 구동전류(ID1)를 광원(100)에 공급할 수 있다. 광원 구동부(200)에서 광원(100)으로 공급되는 광원 구동전류(ID1)의 크기에 따라서 광원(100)에서 조사되는 광의 세기 및 파장이 조절될 수 있다. 일 예로서, 광원(100)에 공급되는 광원 구동전류(ID1)의 크기에 비례하여 광원(100)에서 조사되는 광의 세기와 파장이 증가할 수 있다.
도 3은 도 2에 도시된 ToF 센서를 구성하는 복수의 픽셀 중 하나의 픽셀을 나타내는 도면이다.
도 2 및 도 3을 참조하면, ToF 센서(300)는 복수의 픽셀(310)이 1차원 또는 2차원 어레이(array) 형태로 배열되어 구성될 수 있다. 도 2에서는 복수의 픽셀(310)이 2차원 어레이 형태로 배열되어 ToF 센서(300)를 구성한 것을 일 예로 도시하였다. 각각의 픽셀(310)은 센서 구동부(400)에서 공급되는 센서 구동신호(VD1)에 의해서 구동되어 물체로부터 반사된 광을 수신할 수 있다. 픽셀(310)은 서로 180도 차이가 나는 2개의 위상 신호를 샘플링하기 위해 2탭 복조(2-tap Demodulation) 구조로 구성될 수 있다. ToF 센서(300)의 각각의 픽셀(310)은 제1 포토 게이트(312) 및 제2 포토 게이트(314)를 포함할 수 있다. 픽셀(310)은 제1 포토 게이트(312)에 수신된 광에 따른 위상 신호를 출력하기 위한 제1 신호 출력부(316)를 포함할 수 있다. 또한, 픽셀(310)은 제2 포토 게이트(314)에 수신된 광에 따른 위상 신호를 출력하기 위한 제2 신호 출력부(318)를 포함할 수 있다. 즉, 픽셀(310) 각각은 2개의 서브픽셀로 구성될 수 있으며, 각각의 서브픽셀마다 하나의 포토 게이트(312 또는 314)와 하나의 신호 출력부(316 또는 318)를 포함할 수 있다. 픽셀(310) 각각의 제1 포토 게이트(312)의 출력 신호 및 제2 포토 게이트(314)의 출력 신호는 위상 패턴 처리부(600)로 입력될 수 있다.
각각의 픽셀(310)로 공급되는 센서 구동신호(VD1)는 제1 포토 게이트(312)를 구동시키기 위한 제1 포토 게이트 구동신호와 제2 포토 게이트(314)를 구동시키기 위한 제2 포토 게이트 구동신호를 포함할 수 있다. 제1 포토 게이트 구동신호에 의해서 광원(100)에서 조사되는 광의 제1 위상과 동기되도록 제1 포토 게이트(312)가 구동될 수 있다. 제1 포토 게이트(312)는 수신된 광에 따른 위상 신호를 제1 신호 출력부(316)를 통해 위상 패턴 처리부(600)로 출력할 수 있다. 제2 포토 게이트 구동신호에 의해서 광원(100)에서 조사되는 광의 제2 위상과 동기되도록 제2 포토 게이트(314)가 구동될 수 있다. 제2 포토 게이트(314)는 수신된 광에 따른 위상 신호를 제2 신호 출력부(318)를 통해 위상 패턴 처리부(600)로 출력할 수 있다.
도 4a는 물체에서 반사된 광을 ToF 센서가 수신하여 4개의 위상을 샘플링하는 것을 나타내는 도면이다. 도 4b는 ToF 센서가 T0~T3 기간에 수광 신호를 누적하는 것을 나타내는 도면이다.
도 1 내지 도 4b를 참조하면, 3차원 영상 장치(1000)는 물체와의 거리를 측정하기 위해서 광원(100)에서 광을 조사한 후, 물체에서 반사된 광을 픽셀(310)에서 수신할 수 있다. 이때, 광원(100)은 일정 주파수로 온(On)/오프(Off)하여 광을 변조(modulation)시킬 수 있다. 광원(100)에서 조사되는 광의 위상과 동기되도록 픽셀(310)의 제1 포토 게이트(312) 및 제2 포토 게이트(314)가 구동될 수 있다. 제1 포토 게이트(312) 및 제2 포토 게이트(314)는 제1 포토 게이트 구동신호 및 제2 포토 게이트 구동신호에 의해서 구동되어 물체로부터 반사된 광을 수신할 수 있다. 도 4에 도시된 바와 같이, 물체의 깊이, 즉, 물체와의 거리를 측정하기 위해서 제1 포토 게이트(312) 및 제2 포토 게이트(314)는 4개의 위상 포인트(0도, 90도, 180도, 270) 에서 샘플링한 위상 신호를 출력할 수 있다. 광원(100)에서 조사된 광의 비행(flight) 거리만큼 시간이 지나 제1 및 제2 포토 게이트(312, 314)에서 광을 수신하게 된다.
0도의 경우, T0 시점부터 T2 시점까지 픽셀의 제1 및 제2 포토 게이트(312, 314)에서 수광된 신호를 누적할 수 있다. 90도의 경우, T1 시점부터 T3 시점까지 픽셀의 제1 및 제2 포토 게이트(312, 314)에서 수광된 신호를 누적할 수 있다. 180도의 경우, T2 시점부터 T4 시점까지 픽셀의 제1 및 제2 포토 게이트(312, 314)에서 수광된 신호를 누적할 수 있다. 270도의 경우, T3 시점부터 T5 시점까지 픽셀의 제1 및 제2 포토 게이트(312, 314)에서 수광된 신호를 누적할 수 있다.
신호 한 주기는 T0부터 T4까지이고, 신호의 한 주기가 끝나면 다음 주기가 연속적으로 반복되게 된다. 이러한 신호 주기가 수차례(예로서, 수천~수십만 번) 반복될 수 있다. 일 예로서, 광 신호 주기가 10ns(100MHz로 모듈레이션)이고, 1ms 정도 동안 신호를 누적시키면 100,000번 주기 동안 누적 동작을 수행할 수 있다.
픽셀(310)의 제1 포토 게이트(312)는 센서 구동부(400)에서 입력된 제1 포토 게이트 구동신호에 의해서 구동되어 될 수 있다. 이때, 광원(100)에서 조사되는 광의 위상 0도, 90도, 180도, 270도에 동기되도록 제1 포토 게이트 구동신호가 생성될 수 있다. 제1 포토 게이트 구동신호에 의해서 픽셀(310)의 제1 포토 게이트(312)가 동작하여 물체에서 반사된 광을 수신할 수 있다. 제1 포토 게이트(312)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90도, 180도, 270도 중 적어도 하나의 포인트에 동기되어 동작할 수 있다. 제1 포토 게이트(312)는 물체에서 반사되어 수신된 광의 신호를 누적하고, 누적된 수광 신호에 따른 위상 신호를 제1 신호 출력부(316)를 통해 출력할 수 있다.
픽셀(310)의 제2 포토 게이트(314)는 센서 구동부(400)에서 입력된 제2 포토 게이트 구동신호에 의해서 구동되어 될 수 있다. 이때, 광원(100)에서 조사되는 광의 위상과 동기되도록 픽셀(310)의 제2 포토 게이트(314)가 동작하여 광을 수신할 수 있다. 광원(100)에서 조사되는 광의 위상 0도, 90도, 180도, 270도에 동기되도록 제2 포토 게이트 구동신호가 생성될 수 있다. 제1 포토 게이트 구동신호와 180도 위상 차이를 가지도록 제2 포토 구동신호가 생성될 수 있다. 제2 포토 게이트 구동신호에 의해서 픽셀(310)의 제2 포토 게이트(314)가 동작하여 물체에서 반사된 광을 수신할 수 있다.
제2 포토 게이트(314)는 물체에서 반사되어 수신된 광에 따른 위상 신호를 누적하고, 누적된 수광 신호에 따른 위상 신호를 제2 신호 출력부(318)를 통해 출력할 수 있다. 이때, 제2 포토 게이트(314)는 제1 포토 게이트(312)와 180도 위상 차이를 가지도록 동작하여 제1 포토 게이트(312)와 180도 차이를 가지는 위상 신호를 출력할 수 있다. 즉, 제1 포토 게이트(312)와 제2 포토 게이트(314)는 광원(100)에서 조사되는 광의 초기 위상에 대해서 서로 180도 위상 차이를 가지도록 구동될 수 있다. 따라서, 제1 포토 게이트(312)와 제2 포토 게이트(314)에서 출력되는 위상 신호는 서로 180도 차이를 가질 수 있다.
도 5는 2탭(2-tap) 구조로 구성된 ToF 센서의 가로 방향에 구동 회로를 배치하여 ToF 센서와 구동 회로를 연결하는 것을 나타내는 도면이다. 도 6은 2탭(2-tap) 구조로 구성된 ToF 센서의 세로 방향에 구동 회로를 배치하여 ToF 센서와 구동 회로를 연결하는 것을 나타내는 도면이다.
도 1, 도 5 및 도 6을 참조하면, 센서 구동부(400)는 제어부(500)와 연결되며, 제어부(500)에서 입력되는 센서 제어신호(CS2)에 기초하여 ToF 센서(100) 각각의 구동을 위한 센서 구동신호(VD1)을 생성할 수 있다. 센서 구동부(400)는 생성된 센서 구동신호(VD1)을 ToF 센서(100) 각각에 공급할 수 있다. 센서 구동신호(VD1)는 제1 포토 게이트(312)를 구동시키기 위한 제1 포토 게이트 구동신호와 제2 포토 게이트(314)를 구동시키기 위한 제2 포토 게이트 구동신호를 포함할 수 있다.
센서 구동부(400)는 복수의 신호 출력기(410)를 포함할 수 있다. 복수의 신호 출력기(410) 각각은 복수의 신호 출력 채널을 포함하며, 하나의 신호 출력 채널이 하나의 포토 게이트와 연결될 수 있다. 하나의 신호 출력기(410)가 복수의 픽셀(310)에 제1 포토 게이트 구동신호 및 제2 포토 게이트 구동 신호를 공급할 수 있다. 도 5에서는 센서 구동부(400)가 ToF 센서(300)의 X축 방향에 배치되어 복수의 신호 출력기(410)와 복수의 픽셀(310)이 연결된 것을 일 예로서 도시하고 있다. 도 6에서는 센서 구동부(400)가 ToF 센서(300)의 Y축 방향에 배치되어 복수의 신호 출력기(410)와 복수의 픽셀(310)이 연결된 것을 일 예로서 도시하고 있다. 도면에 도시하지 않았으나 ToF 센서(300)의 X축 및 Y축에 복수의 신호 출력기(410)를 배치할 수도 있다. 도 5 및 도 6에서는 하나의 신호 출력기(410)가 2개의 픽셀(310) 각각에 제1 포토 게이트 구동신호 및 제2 포토 게이트 구동 신호를 공급하는 것을 도시하고 있다. 그러나, 이에 한정되지 않고, 하나의 신호 출력기(410)가 1개의 픽셀(310) 또는 3개 이상의 픽셀(310) 각각에 제1 포토 게이트 구동신호 및 제2 포토 게이트 구동 신호를 공급할 수 있다.
센서 구동부(400)에서 제1 포토 게이트(312)로 공급되는 제1 포토 게이트 구동신호에 의해서, 광원(100)에서 조사되는 광의 제1 위상과 동기되도록 제1 포토 게이트(312)가 구동될 수 있다. 센서 구동부(400)에서 제2 포토 게이트(314)로 공급되는 제2 포토 게이트 구동신호에 의해서, 광원(100)에서 조사되는 광의 제2 위상과 동기되도록 제2 포토 게이트(314)가 구동될 수 있다.
일 예로서, 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제1 포토 게이트(312)가 구동되도록 제1 포토 게이트 구동신호를 생성할 수 있다. 제1 포토 게이트 구동신호에 의해서 제1 포토 게이트(312)가 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 구동될 수 있다. 제1 포토 게이트(312)는 제1 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 0도의 위상 신호를 출력할 수 있다. 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제2 포토 게이트(314)가 구동되도록 제2 포토 게이트 구동신호를 생성할 수 있다. 제2 포토 게이트 구동신호에 의해서 제1 포토 게이트(314)가 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 구동될 수 있다. 제2 포토 게이트(314)는 제2 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 180도의 위상 신호를 출력할 수 있다.
일 예로서, 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제1 포토 게이트(312)가 구동되도록 제1 포토 게이트 구동신호를 생성할 수 있다. 제1 포토 게이트 구동신호에 의해서 제1 포토 게이트(312)가 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 구동될 수 있다. 제1 포토 게이트(312)는 제1 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 90도의 위상 신호를 출력할 수 있다. 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제2 포토 게이트(314)가 구동되도록 제2 포토 게이트 구동신호를 생성할 수 있다. 제2 포토 게이트 구동신호에 의해서 제2 포토 게이트(314)가 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 구동될 수 있다. 제2 포토 게이트(314)는 제2 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 270도의 위상 신호를 출력할 수 있다.
일 예로서, 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제1 포토 게이트(312)가 구동되도록 제1 포토 게이트 구동신호를 생성할 수 있다. 제1 포토 게이트 구동신호에 의해서 제1 포토 게이트(312)가 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 구동될 수 있다. 제1 포토 게이트(312)는 제1 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 180도의 위상 신호를 출력할 수 있다. 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제2 포토 게이트(314)가 구동되도록 제2 포토 게이트 구동신호를 생성할 수 있다. 제2 포토 게이트 구동신호에 의해서 제2 포토 게이트(314)가 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 구동될 수 있다. 제2 포토 게이트(314)는 제2 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 0도의 위상 신호를 출력할 수 있다.
일 예로서, 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제1 포토 게이트(312)가 구동되도록 제1 포토 게이트 구동신호를 생성할 수 있다. 제1 포토 게이트 구동신호에 의해서 제1 포토 게이트(312)가 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 구동될 수 있다. 제1 포토 게이트(312)는 제1 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 270도의 위상 신호를 출력할 수 있다. 센서 구동부(400)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제2 포토 게이트(314)가 구동되도록 제2 포토 게이트 구동신호를 생성할 수 있다. 제2 포토 게이트 구동신호에 의해서 제2 포토 게이트(314)가 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 구동될 수 있다. 제2 포토 게이트(314)는 제2 포토 게이트 구동신호에 의해서 물체에서 반사된 광을 수신하여 90도의 위상 신호를 출력할 수 있다.
이와 같이, 제1 포토 게이트 구동신호 및 제2 포토 게이트 구동신호에 의해서 제1 포토 게이트(312)와 제2 포토 게이트(314)가 180도 위상 차이로 동작될 수 있다. 제1 포토 게이트(312)와 제2 포토 게이트(314)는 서로 180도 위상 차이를 가지는 위상 신호를 출력할 수 있다.
도 7은 도 1에 도시된 위상 패턴 처리부를 나타내는 도면이다.
도 7을 참조하면, 위상 패턴 처리부(600)는 깊이정보 생성부(700)에서 깊이 맵(depth map)을 생성할 수 있도록 하나의 프레임 단위로 위상 패턴 이미지를 생성할 수 있다. 이를 위해, 위상 패턴 처리부(600)는 아날로그-디지털 변환부(610) 및 위상 패턴 정렬부(620)를 포함할 수 있다. 종래 기술에서는 복수의 프레임 이미지(예로서, 4 프레임 이미지)를 이용하여 깊이 맵(depth map)을 생성하였으나, 본 개시에 따른 실시예에서는 깊이정보 생성부(700)에서 하나의 프레임의 위상 패턴 이미지를 이용하여 깊이 맵을 생성할 수 있다.
아날로그-디지털 변환부(610)는 복수의 아날로그-디지털 변환기(612, ADC: Analog-to-digital converter)로 구성될 수 있다. 아날로그-디지털 변환기(612)와 하나의 픽셀이 일대일(1:1)로 대응되거나, 또는 아날로그-디지털 변환기(612)와 하나의 포토 게이트가 일대일(1:1)로 대응될 수 있다. 복수의 아날로그-디지털 변환기(612) 각각은 픽셀(310) 각각에서 입력된 위상 신호를 아날로그-디지털 변환하여 디지털 위상 값을 생성할 수 있다. 복수의 아날로그-디지털 변환기(612)에서 생성된 디지털 위상 값은 위상 패턴 정렬부(620)로 입력될 수 있다.
위상 패턴 정렬부(620)는 일정 용량의 라인 메모리를 포함하며, 아날로그-디지털 변환기(612)에서 입력된 디지털 위상 값을 라인 메모리에 래치한 후, 1프레임의 위상 패턴 이미지를 생성할 수 있다. 이때, 아날로그-디지털 변환기(612)에서 입력된 디지털 위상 값들을 기 설정된 위상 패턴으로 정렬하여 1프레임의 위상 패턴 이미지를 생성할 수 있다. 위상 패턴 정렬부(620)는 하나의 프레임 단위로 위상 패턴 이미지를 생성할 수 있다. 하나의 프레임의 위상 패턴 이미지에는 광원(100)에서 조사되는 광의 초기 위상 0도, 90도, 180도 및 270도에 동기되어 센싱된 위상 데이터가 포함될 수 있다. 즉, 위상 패턴 정렬부(620)는 하나의 프레임의 위상 패턴 이미지에 0도, 90도, 180도 및 270도의 위상 데이터를 포함시킬 수 있다. 위상 패턴 정렬부(620)는 입력 모드 또는 설정된 모드에 따라서 기 설정된 위상 패턴으로 0도, 90도, 180도 및 270도의 위상 데이터를 정렬하여 하나의 프레임의 위상 패턴 이미지를 생성할 수 있다. 위상 패턴 처리부(600)는 모드에 따라서 생성된 하나의 프레임의 위상 패턴 이미지를 깊이정보 생성부(700)로 출력할 수 있다.
도 8은 X축 방향의 해상도를 고려한 위상 패턴을 나타내는 도면이다. 도 9a는 도 8에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다. 도 9b는 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호의 타이밍을 나타내는 도면이다. 도 8에서는 전체 위상 패턴 이미지 중에서 일부를 도시하였고, 도 9a에서는 ToF 센서(300)를 구성하는 픽셀들 중에서 4개의 픽셀을 도시하였다.
도 8 내지 도 9b를 참조하면, 제1 픽셀(321)과 제2 픽셀(322)은 가로 방향으로 서로 이웃하도록 배치될 수 있다. 제3 픽셀(323)과 제4 픽셀(324)은 가로 방향으로 서로 이웃하도록 배치될 수 있다. 제1 픽셀(321)과 제2 픽셀(322)은 제1 행에 배치되고, 제3 픽셀(323)과 제4 픽셀(324)은 제2 행에 배치될 수 있다. 제1 픽셀(321)과 제3 픽셀(323)은 세로 방향으로 서로 이웃하도록 배치될 수 있다. 제2 픽셀(322)과 제4 픽셀(324)은 세로 방향으로 서로 이웃하도록 배치될 수 있다. 제1 픽셀(321)과 제3 픽셀(323)은 제1 열에 배치되고, 제2 픽셀(322)과 제4 픽셀(324)은 제2 열에 배치될 수 있다.
본 개시의 3차원 영상 장치(1000)는 하나의 프레임의 위상 패턴 이미지로 물체의 깊이 연산을 수행할 수 있다. 이를 위해, 위상 패턴 처리부(600)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90도, 180도 및 270도에 동기되어 ToF 센서(300)의 각 픽셀에서 샘플링 된 4개의 위상 신호(0도, 90도, 180도 및 270도)를 하나의 프레임의 위상 패턴 이미지(810)에 배치할 수 있다. 위상 패턴 처리부(600)는 도 8에 도시된 A 영역의 위상 패턴이 반복되는 형태로 하나의 프레임의 위상 패턴 이미지(810)를 생성할 수 있다.
A 영역의 위상 패턴을 생성하기 위해서, 신호 출력기(410)는 제어부(500)에서 입력된 센서 제어신호(CS2)에 기초하여 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 구동을 위한 센서 구동신호(VD1)를 생성할 수 있다. 센서 구동부(400)의 신호 출력기(410)는 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 센서 구동신호(VD1)를 공급할 수 있다. 이때, 신호 출력기(410)에서 생성되는 센서 구동신호(VD1)는 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)를 구동시키기 위한 복수의 포토 게이트 구동신호(① ~ ⑧)를 포함할 수 있다. 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)는 입력되는 포토 게이트 구동신호(① ~ ⑧)에 의해 구동되어 하나의 프레임 기간 동안에 서로 다른 위상 신호(0도, 90도, 180도, 270도)를 출력할 수 있다.
구체적으로, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 270도와 동기되도록 제1 픽셀(321)의 제1 포토 게이트(321a)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제1 픽셀(321)의 제1 포토 게이트(321a)를 구동시키기 위한 제1 포토 게이트 구동신호(①)를 제1 픽셀(321)의 제1 포토 게이트(321a)에 공급할 수 있다. 제1 픽셀(321)의 제1 포토 게이트(321a)는 입력된 제1 포토 게이트 구동신호(①)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 270도 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제1 포토 게이트(321a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 90도와 동기되도록 제1 픽셀(321)의 제2 포토 게이트(321b)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제1 픽셀(321)의 제2 포토 게이트(321b)를 구동시키기 위한 제2 포토 게이트 구동신호(②)를 제1 픽셀(321)의 제2 포토 게이트(321b)에 공급할 수 있다. 제1 픽셀(321)의 제2 포토 게이트(321b)는 입력된 제2 포토 게이트 구동신호(②)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 90도 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제2 포토 게이트(321b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 270도와 동기되도록 제2 픽셀(322)의 제1 포토 게이트(322a)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제2 픽셀(322)의 제1 포토 게이트(322a)를 구동시키기 위한 제3 포토 게이트 구동신호(③)를 제2 픽셀(322)의 제1 포토 게이트(322a)에 공급할 수 있다. 제2 픽셀(322)의 제1 포토 게이트(322a)는 입력된 제3 포토 게이트 구동신호(③)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 270도 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제1 포토 게이트(322a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 90도와 동기되도록 제2 픽셀(322)의 제2 포토 게이트(322b)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제2 픽셀(322)의 제2 포토 게이트(322b)를 구동시키기 위한 제4 포토 게이트 구동신호(④)를 제2 픽셀(322)의 제2 포토 게이트(322b)에 공급할 수 있다. 제2 픽셀(322)의 제2 포토 게이트(322b)는 입력된 제4 포토 게이트 구동신호(④)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 90도 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제2 포토 게이트(322b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 0도와 동기되도록 제3 픽셀(323)의 제1 포토 게이트(323a)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제3 픽셀(323)의 제1 포토 게이트(323a)를 구동시키기 위한 제5 포토 게이트 구동신호(⑤)를 제3 픽셀(323)의 제1 포토 게이트(323a)에 공급할 수 있다. 제3 픽셀(323)의 제1 포토 게이트(323a)는 입력된 제5 포토 게이트 구동신호(⑤)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 0도 대응하는 위상 신호를 생성할 수 있다. 제3 픽셀(323)의 제1 포토 게이트(323a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 180도와 동기되도록 제3 픽셀(323)의 제2 포토 게이트(323b)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제3 픽셀(323)의 제2 포토 게이트(323b)를 구동시키기 위한 제6 포토 게이트 구동신호(⑥)를 제3 픽셀(323)의 제2 포토 게이트(323b)에 공급할 수 있다. 제3 픽셀(323)의 제2 포토 게이트(323b)는 입력된 제6 포토 게이트 구동신호(⑥)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 180도 대응하는 위상 신호를 생성할 수 있다. 제3 픽셀(323)의 제2 포토 게이트(323b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 0도와 동기되도록 제4 픽셀(324)의 제1 포토 게이트(324a)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제4 픽셀(324)의 제1 포토 게이트(324a)를 구동시키기 위한 제7 포토 게이트 구동신호(⑦)를 제4 픽셀(324)의 제1 포토 게이트(324a)에 공급할 수 있다. 제4 픽셀(324)의 제1 포토 게이트(324a)는 입력된 제7 포토 게이트 구동신호(⑦)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 0도 대응하는 위상 신호를 생성할 수 있다. 제4 픽셀(324)의 제1 포토 게이트(324a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도, 90, 180, 270도 중에서 180도와 동기되도록 제4 픽셀(324)의 제2 포토 게이트(324b)를 구동시킬 수 있다. 이를 위해, 신호 출력기(410)는 제4 픽셀(324)의 제2 포토 게이트(324b)를 구동시키기 위한 제8 포토 게이트 구동신호(⑧)를 제4 픽셀(324)의 제2 포토 게이트(324b)에 공급할 수 있다. 제4 픽셀(324)의 제2 포토 게이트(324b)는 입력된 제8 포토 게이트 구동신호(⑧)에 의해 구동되어 광원(100)에서 조사되는 광의 초기 위상 180도 대응하는 위상 신호를 생성할 수 있다. 제4 픽셀(324)의 제2 포토 게이트(324b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
위상 패턴 처리부(600)는 하나의 프레임 기간에 복수의 포토 게이트(321a, 321b, 322a, 322b, 323a, 323b, 324a, 324b) 각각에서 입력된 위상 신호를 아날로그-디지털 변환하여 각각의 디지털 위상 값을 생성할 수 있다. 위상 패턴 처리부(600)는 입력되는 모드 또는 기 설정된 모드에 기초하여 디지털 위상 값들을 배열할 수 있다. 이때, 위상 패턴 처리부(600)는 도 8에 도시된 바와 같이, 광원에서 조사된 광의 초기 위상 0도, 90도, 180, 270도에 대응하는 디지털 위상 값들을 선택적으로 배열하여 하나의 프레임의 위상 패턴 이미지(810)를 생성할 수 있다. 도 8에 도시된 하나의 프레임의 위상 패턴 이미지(810)는 X축 방향의 해상도를 고려하여 생성될 수 있다. 위상 패턴 처리부(600)는 X축 방향에 대해서 높은 해상도를 요구하는 시스템에 ToF 센서를 포함하는 3차원 영상 장치(1000)가 적용되는 경우에 입력되는 모드 또는 기 설정된 모드에 기초하여 도 8에 도시된 위상 패턴 이미지(810)를 적용할 수 있다.
위상 패턴 처리부(600)는 하나의 프레임의 위상 패턴 이미지(810)의 짝수 행에는 0도 및 180도의 디지털 위상 값을 배열하고, 홀수 행에는 90도 및 270도의 디지털 위상 값을 배열할 수 있다. 반대로, 위상 패턴 처리부(600)는 하나의 프레임의 위상 패턴 이미지(810)의 홀수 행에는 0도 및 180도의 디지털 위상 값을 배열하고, 짝수 행에는 90도 및 270도의 디지털 위상 값을 배열할 수 있다. 위상 패턴 처리부(600)는 하나의 프레임의 위상 패턴 이미지의 짝수 열에는 0도 및 270도의 디지털 위상 값을 배열하고, 홀수 열에는 90도 및 180도의 디지털 위상 값을 배열할 수 있다. 도 8에서는 전체 프레임을 모두 도시하지 않았으나, A 영역의 위상 패턴이 반복적으로 배치되는 형태로 위상 패턴 이미지(810)가 생성될 수 있다.
도 10은 Y축 방향의 해상도를 고려한 위상 패턴을 나타내는 도면이다. 도 11a는 도 10에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다. 도 11b는 도 10에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호의 타이밍을 나타내는 도면이다. 도 10 내지 도 11b에 도시된 본 개시의 실시예는 센서 구동부(400)에서 출력되는 포토 게이트 구동신호의 타이밍 및 위상 패턴의 배열 형태를 제외한 다른 부분들은 도 8 및 도 9b를 참조하여 설명한 실시예와 동일함으로, 도 8 및 도 9b와 동일한 내용에 대한 설명은 생략하기로 한다.
도 10 및 도 11b를 참조하면, 위상 패턴 처리부(600)는 4개의 위상 신호(0도, 90도, 180도 및 270도)의 디지털 위상 값을 하나의 프레임의 위상 패턴 이미지(820)에 배치할 수 있다. 위상 패턴 처리부(600)는 도 10에 도시된 B 영역의 위상 패턴이 반복되는 형태로 하나의 프레임의 위상 패턴 이미지(820)를 생성할 수 있다. B 영역의 위상 패턴을 생성하기 위해서, 센서 구동부(400)의 신호 출력기(410)는 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 센서 구동신호(VD1)를 공급할 수 있다. 신호 출력기(410)에서 생성되는 센서 구동신호(VD1)는 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)를 구동시키기 위한 복수의 포토 게이트 구동신호(① ~ ⑧)를 포함할 수 있다. 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)는 입력되는 포토 게이트 구동신호(① ~ ⑧)에 의해 구동되어 하나의 프레임 기간 동안에 서로 다른 위상 신호(0도, 90도, 180도, 270도)를 출력할 수 있다.
구체적으로, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제1 픽셀(321)의 제1 포토 게이트(321a)가 구동되도록 제1 포토 게이트 구동신호(①)를 제1 픽셀(321)의 제1 포토 게이트(321a)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제3 픽셀(323)의 제1 포토 게이트(323a)가 구동되도록 제5 포토 게이트 구동신호(⑤)를 제3 픽셀(323)의 제1 포토 게이트(323a)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제1 픽셀(321)의 제2 포토 게이트(321b)가 구동되도록 제2 포토 게이트 구동신호(②)를 제1 픽셀(321)의 제2 포토 게이트(321b)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제3 픽셀(323)의 제2 포토 게이트(323b)가 구동되도록 제6 포토 게이트 구동신호(⑥)를 제3 픽셀(323)의 제2 포토 게이트(323b)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제2 픽셀(322)의 제1 포토 게이트(322a)가 구동되도록 제3 포토 게이트 구동신호(③)를 제2 픽셀(322)의 제1 포토 게이트(322a)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제4 픽셀(324)의 제1 포토 게이트(324a)가 구동되도록 제7 포토 게이트 구동신호(⑦)를 제4 픽셀(324)의 제1 포토 게이트(324a)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제2 픽셀(322)의 제2 포토 게이트(322b)가 구동되도록 제4 포토 게이트 구동신호(④)를 제2 픽셀(322)의 제2 포토 게이트(322b)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제4 픽셀(324)의 제2 포토 게이트(324b)가 구동되도록 제8 포토 게이트 구동신호(⑧)를 제4 픽셀(324)의 제2 포토 게이트(324b)에 공급할 수 있다.
제1 픽셀(321)의 제1 포토 게이트(321a) 및 제3 픽셀(323)의 제1 포토 게이트(323a)는 광원(100)에서 조사되는 광의 초기 위상 0도에 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제1 포토 게이트(321a) 및 제3 픽셀(323)의 제1 포토 게이트(323a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제2 픽셀(322)의 제2 포토 게이트(322b) 및 제4 픽셀(324)의 제2 포토 게이트(324b)는 광원(100)에서 조사되는 광의 초기 위상 90도에 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제2 포토 게이트(321b) 및 제4 픽셀(324)의 제2 포토 게이트(324b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제1 픽셀(321)의 제2 포토 게이트(321b) 및 제3 픽셀(323)의 제2 포토 게이트(323b)는 광원(100)에서 조사되는 광의 초기 위상 180도에 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제2 포토 게이트(321b) 및 제3 픽셀(323)의 제2 포토 게이트(323b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제2 픽셀(322)의 제1 포토 게이트(322a) 및 제4 픽셀(324)의 제1 포토 게이트(324a)는 광원(100)에서 조사되는 광의 초기 위상 270도에 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제1 포토 게이트(322a) 및 제4 픽셀(324)의 제1 포토 게이트(324a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
위상 패턴 처리부(600)는 입력되는 모드 또는 기 설정된 모드에 기초하여 디지털 위상 값들을 선택적으로 배열할 수 있다. 이때, 위상 패턴 처리부(600)는 도 10에 도시된 바와 같이, 광원에서 조사된 광의 초기 위상 0도, 90도, 180, 270도에 대응하는 디지털 위상 값들을 배열하여 하나의 프레임의 위상 패턴 이미지(820)를 생성할 수 있다. 도 10에 도시된 위상 패턴 이미지(820)는 Y축 방향의 해상도를 고려하여 생성될 수 있다. 위상 패턴 처리부(600)는 Y축 방향에 대해서 높은 해상도를 요구하는 시스템에 ToF 센서를 포함하는 3차원 영상 장치(1000)가 적용되는 경우에 입력되는 모드 또는 기 설정된 모드에 기초하여 도 10에 도시된 위상 패턴 이미지(820)를 적용할 수 있다.
위상 패턴 처리부(600)는 위상 패턴 이미지(820)의 모든 행에는 0도, 90도, 180도, 270도의 디지털 위상 값을 배열할 수 있다. 또한, 위상 패턴 처리부(600)는 위상 패턴 이미지(820)의 제1 열에는 0도의 디지털 위상 값을 배열하고, 제2 열에는 180도의 디지털 위상 값을 배열하고, 제3 열에는 270도의 디지털 위상 값을 배열하고, 제4 열에는 90도의 디지털 위상 값을 배열하고, 제1 열 내지 제4 열의 위상 패턴을 반복하여 배열할 수 있다. 도 10에서는 전체 프레임을 모두 도시하지 않았으나, B 영역의 위상 패턴이 반복적으로 배치되는 형태로 위상 패턴 이미지(820)가 생성될 수 있다.
도 12는 X축 및 Y축 방향의 해상도를 고려하여 체커보드 방식으로 위상을 배치한 위상 패턴을 나타내는 도면이다. 도 13a는 도 12에 도시된 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다. 도 13b는 도 12에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호를 나타내는 도면이다.
도 12 및 도 13b를 참조하면, 위상 패턴 처리부(600)는 4개의 위상 신호(0도, 90도, 180도 및 270도)의 디지털 위상 값을 하나의 프레임의 위상 패턴 이미지(830)에 배치할 수 있다. 위상 패턴 처리부(600)는 도 10에 도시된 C 영역의 위상 패턴이 반복되는 형태로 위상 패턴 이미지(830)를 생성할 수 있다.
C 영역의 위상 패턴을 생성하기 위해서, 센서 구동부(400)의 신호 출력기(410)는 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 센서 구동신호(VD1)를 공급할 수 있다. 신호 출력기(410)에서 생성되는 센서 구동신호(VD1)는 제1 ToF 센서(312), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)를 구동시키기 위한 복수의 포토 게이트 구동신호(① ~ ⑧)를 포함할 수 있다. 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324) 각각에 포함된 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)는 입력되는 포토 게이트 구동신호(① ~ ⑧)에 의해 구동되어 하나의 프레임 기간 동안에 서로 다른 위상 신호(0도, 90도, 180도, 270도)를 출력할 수 있다.
구체적으로, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제1 픽셀(321)의 제1 포토 게이트(321a)가 구동되도록 제1 포토 게이트 구동신호(①)를 제1 픽셀(321)의 제1 포토 게이트(321a)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 제4 픽셀(324)의 제1 포토 게이트(324a)가 구동되도록 제7 포토 게이트 구동신호(⑦)를 제4 ToF 센서(313)의 제1 포토 게이트(324a)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제1 픽셀(321)의 제2 포토 게이트(321b)가 구동되도록 제2 포토 게이트 구동신호(②)를 제1 픽셀(321)의 제2 포토 게이트(321b)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 제4 픽셀(324)의 제2 포토 게이트(324b)가 구동되도록 제8 포토 게이트 구동신호(⑧)를 제4 픽셀(324)의 제2 포토 게이트(324b)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제2 픽셀(322)의 제1 포토 게이트(322a)가 구동되도록 제3 포토 게이트 구동신호(③)를 제2 픽셀(322)의 제1 포토 게이트(322a)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 제3 픽셀(323)의 제1 포토 게이트(323a)가 구동되도록 제5 포토 게이트 구동신호(⑤)를 제3 픽셀(323)의 제1 포토 게이트(323a)에 공급할 수 있다.
신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제2 픽셀(322)의 제2 포토 게이트(322b)가 구동되도록 제4 포토 게이트 구동신호(④)를 제2 픽셀(322)의 제2 포토 게이트(322b)에 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 제3 픽셀(323)의 제2 포토 게이트(323b)가 구동되도록, 제6 포토 게이트 구동신호(⑥)를 제3 픽셀(323)의 제2 포토 게이트(323b)에 공급할 수 있다.
제2 픽셀(322)의 제1 포토 게이트(322a) 및 제3 픽셀(323)의 제1 포토 게이트(323a)는 광원(100)에서 조사되는 광의 초기 위상 0도에 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제1 포토 게이트(322a) 및 제3 픽셀(323)의 제1 포토 게이트(323a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제1 픽셀(321)의 제2 포토 게이트(321b) 및 제4 픽셀(324)의 제2 포토 게이트(324b)는 광원(100)에서 조사되는 광의 초기 위상 90도에 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제2 포토 게이트(321b) 및 제4 픽셀(324)의 제2 포토 게이트(324b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제2 픽셀(322)의 제2 포토 게이트(322b) 및 제3 픽셀(323)의 제2 포토 게이트(323b)는 광원(100)에서 조사되는 광의 초기 위상 180도에 대응하는 위상 신호를 생성할 수 있다. 제2 픽셀(322)의 제2 포토 게이트(322b) 및 제3 픽셀(323)의 제2 포토 게이트(323b)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
제1 픽셀(321)의 제1 포토 게이트(321a) 및 제4 픽셀(324)의 제1 포토 게이트(324a)는 광원(100)에서 조사되는 광의 초기 위상 270도에 대응하는 위상 신호를 생성할 수 있다. 제1 픽셀(321)의 제1 포토 게이트(321a) 및 제4 픽셀(324)의 제1 포토 게이트(324a)는 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
위상 패턴 처리부(600)는 입력되는 모드 또는 기 설정된 모드에 기초하여 디지털 위상 값들을 선택적으로 배열할 수 있다. 이때, 위상 패턴 처리부(600)는 도 12에 도시된 바와 같이, 광원에서 조사된 광의 초기 위상 0도, 90도, 180, 270도에 대응하는 디지털 위상 값들을 배열하여 하나의 프레임의 위상 패턴 이미지(830)를 생성할 수 있다. 도 12에 도시된 하나의 프레임의 위상 패턴 이미지(830)는 X축 및 Y축 방향의 해상도를 고려하여 생성될 수 있다. 위상 패턴 처리부(600)는 X축 및 Y축 방향에 대해서 일정한 해상도를 요구하는 시스템에 ToF 센서를 포함하는 3차원 영상 장치(1000)가 적용되는 경우에 입력되는 모드 또는 기 설정된 모드에 기초하여 도 12에 도시된 위상 패턴 이미지(830)를 적용할 수 있다.
위상 패턴 처리부(600)는 하나의 프레임의 위상 패턴 이미지(830)의 모든 행에 상기 0도, 90도, 180도, 270도의 디지털 위상 값을 배열할 수 있다. 또한, 위상 패턴 처리부(600)는 하나의 프레임의 위상 패턴 이미지(830)의 모든 열에 상기 0도, 90도, 180도, 270도의 디지털 위상 값을 배열할 수 있다. 도 12에서는 전체 프레임을 모두 도시하지 않았으나, C 영역의 위상 패턴이 반복적으로 배치되는 형태로 위상 패턴 이미지(830)가 생성될 수 있다.
깊이정보 생성부(700)는 위상 패턴 처리부(600)에서 입력된 하나의 프레임의 위상 패턴 이미지에 기초하여 물체의 깊이 정보, 즉, 깊이 맵을 생성할 수 있다. 이때, 물체의 깊이 정보는 다음의 수학식 1 또는 수학식 2를 적용하여 생성될 수 있다. 깊이정보 생성부(700)는 도 4에 도시된 4개의 위상 포인트에서 샘플링한 위상 신호 A0, A1, A2, A3에 다음의 수학식 1 또는 수학식 2를 적용하여 물체의 깊이 정보를 생성할 수 있다. 4개의 위상 포인트에서 샘플링한 위상 신호 A0, A1, A2, A3라 하면 위상차(Φ)는 다음의 수학식 1과 같이 산출할 수 있다.
Figure pat00001
수학식 1과 같이 4개의 위상 포인트에서 샘플링한 A0, A1, A2, A3 신호를 이용하여 광원(100)에서 조사 광과 물체에서 반사되어 수신된 광의 위상차(Φ)를 산출할 수 있다.
물체와의 거리(d)는 다음의 수학식 2와 같이 산출할 수 있다.
Figure pat00002
수학식 2에서 c는 빛의 속도를 의미하고, fm은 변조 주파수를 의미한다. 이와 같이, 깊이정보 생성부(700)는 위상 차이를 이용하여 광원(100)과 물체 사이의 거리를 계산함으로써 물체의 깊이 정보를 획득할 수 있다.
도 8의 위상 패턴을 살펴보면, 가로 방향의 위상 신호가 한 줄 건너 하나씩 빠져 있는 것을 확인할 수 있다. 깊이정보 생성부(700)는 도 8의 위상 패턴 이미지가 수신된 경우, 주변 픽셀 신호를 이용한 위상 보간(Phase Interpolation)을 적용하여 세로 위치의 빠진 위상 신호를 추정할 수 있다. 이를 통해, 깊이정보 생성부(700)는 가로 방향에 대해서 높은 해상도를 가지는 깊이 정보를 획득할 수 있다.
도 10의 위상 패턴을 살펴보면, 세로 방향의 위상 신호가 한 줄 건너 하나씩 빠져 있는 것을 확인할 수 있다. 깊이정보 생성부(700)는 도 10의 위상 패턴 이미지가 수신된 경우, 주변 픽셀 신호를 이용한 위상 보간(Phase Interpolation)을 적용하여 가로 위치의 빠진 위상 신호를 추정할 수 있다. 이를 통해, 깊이정보 생성부(700)는 세로 방향에 대해서 높은 해상도를 가지는 깊이 정보를 획득할 수 있다.
도 12의 위상 패턴을 살펴보면, 가로 방향 및 세로 방향으로 0도, 90도, 180도, 270의 위상 신호가 서로 엇갈린 형태로 배열되어 있다. 깊이정보 생성부(700)는 도 12의 위상 패턴 이미지가 수신된 경우, 가로 및 세로 방향에 대해서 일정 수준의 해상도를 가지는 깊이 정보를 획득할 수 있다. 도 12의 위상 패턴을 적용하는 경우, 가로 및 세로 방향의 해상도가 sqrt(2) 만큼씩 줄어들 수 있으나, 가로 및 세로 방향 모두에 대해서 일정 수준의 해상도를 얻을 수 있다. 즉, 가로 및 세로 방향에 대해서 균형 있는 해상도를 얻을 수 있다.
도 8 내지 도 13b를 참조한 설명에서, 위상 패턴 처리부(600)는 도 8, 도 10 또는 도 12에 도시된 위상 패턴을 포함하는 위상 패턴 이미지를 생성하는 것으로 설명하였다. 그러나, 이에 한정되지 않고, 위상 패턴 처리부(600)는 실시간으로 촬영된 이미지를 분석하여 적용 가능한 모드를 판단하고, 판단된 모드에 기초하여 위상 패턴 이미지를 생성할 수 있다. 위상 패턴 처리부(600)에서 생성된 위상 패턴 이미지를 깊이정보 생성부(700)로 출력할 수 있다. 즉, 위상 패턴 처리부(600)는 가로 방향에 대해서 높은 해상도가 필요한 경우, 도 8에 도시된 위상 패턴을 포함하는 하나의 프레임의 위상 패턴 이미지를 생성할 수 있다. 이후, 위상 패턴 처리부(600)는 세로 방향에 대해서 높은 해상도가 필요한 경우, 도 10에 도시된 위상 패턴을 포함하는 제2 프레임의 위상 패턴 이미지를 생성할 수 있다. 이후, 위상 패턴 처리부(600)는 가로 및 세로 방향에 대해서 일정 수준의 해상도가 필요한 경우, 도 12에 도시된 위상 패턴을 포함하는 제3 프레임의 위상 패턴 이미지를 생성할 수 있다.
도 14는 체커보드 방식으로 위상 신호를 배치한 위상 패턴을 나타내는 도면이다. 도 15는 도 14의 체커보드 방식의 위상 패턴을 2x2 Binning 방식으로 복수의 픽셀을 그룹핑하여 위상 패턴을 배치한 것을 나타내는 도면이다.
도 14 및 도 15를 참조하면, 위상 패턴 처리부(600)는 광원(100)에서 조사된 광의 초기 위상 0도, 90, 180, 270도에 대응하는 위상 신호의 디지털 위상 값을 엇갈리도록 배치하여 체커보드 방식으로 하나의 프레임의 위상 패턴 이미지(830)를 생성할 수 있다. 도 14에서는 이웃하는 2개의 픽셀에 포함된 총 4개의 포토 게이트에서 서로 다른 위상 신호(0도, 90도, 180도, 270도)를 출력하는 것을 나타내었다. 위상 패턴 처리부(600)는 각각의 포토 게이트에서 출력된 위상 신호를 입력 받고, 0도, 90도, 180도, 270도의 위상 신호의 디지털 위상 값이 서로 엇갈리도록 배열된 위상 패턴을 반복적으로 배치할 수 있다. 이를 통해, 위상 패턴 처리부(600)는 0도, 90도, 180도, 270도의 위상 신호를 모두 포함하는 하나의 프레임의 위상 패턴 이미지(830)를 생성할 수 있다.
도 15에서는 일정 개수의 픽셀들을 그룹으로 묶어 픽셀 그룹을 형성하고, 픽셀 그룹에 포함된 픽셀들이 동일한 위상 신호를 출력하도록 함으로서 깊이 맵의 출력 크기를 줄일 수 있다. 이웃하는 픽셀 그룹들 간에는 서로 다른 위상 신호를 출력하도록 할 수 있다. 구체적으로, 4개의 픽셀을 하나의 그룹으로 묶고, 픽셀 그룹 내의 픽셀들은 동일한 위상 신호를 출력할 수 있다. 이때, 픽셀 그룹을 구성하는 4개의 픽셀에 포함된 제1 포토 게이트들은 동일한 위상 신호를 출력할 수 있다. 또한, 픽셀 그룹을 구성하는 4개의 픽셀에 포함된 제2 포토 게이트들은 동일한 위상 신호를 출력할 수 있다. 제1 포토 게이트들과 제2 포토 게이트들은 서로 180도 위상 차이를 가지는 위상 신호를 출력할 수 있다.
일 예로서, I 픽셀 그룹에 포함된 4개의 픽셀의 제1 포토 게이트 각각에서는 광원(100)의 초기 위상 0도에 대응하는 위상 신호를 출력할 수 있다. 또한, I 픽셀 그룹에 포함된 4개의 픽셀의 제2 포토 게이트 각각에서는 광원(100)의 초기 위상 180도에 대응하는 위상 신호를 출력할 수 있다. I 픽셀 그룹 내에서 복수의 제1 포토 게이트와 복수의 제2 포토 게이트는 서로 180도의 위상 차이를 가지는 위상 신호를 출력할 수 있다. I 픽셀 그룹과 이웃하는 Q 픽셀 그룹에 포함된 4개의 픽셀의 제1 포토 게이트 각각에서는 광원(100)의 초기 위상 270도에 대응하는 위상 신호를 출력할 수 있다. 또한, Q 픽셀 그룹에 포함된 4개의 픽셀의 제2 포토 게이트 각각에서는 광원(100)의 초기 위상 90도에 대응하는 위상 신호를 출력할 수 있다. Q 픽셀 그룹 내에서 복수의 제1 포토 게이트와 복수의 제2 포토 게이트는 서로 180도의 위상 차이를 가지는 위상 신호를 출력할 수 있다.
도 16 및 도 17은 도 15에 도시된 위상 패턴 중 I블록 및 Q블록의 위상 패턴을 생성하기 위한 센서 구동부 및 ToF 센서의 구동 방법을 설명하기 위한 도면이다. 도 18은 도 15에 도시된 위상 패턴을 생성하기 위해서 센서 구동부에서 ToF 센서의 각 픽셀에 공급되는 제어신호를 나타내는 도면이다. 도 16에서는 I 픽셀 그룹에 포함된 픽셀들(321~324)을 도시하고 있고, 도 17에서는 Q 픽셀 그룹에 포함된 픽셀들(325~328)을 도시하고 있다.
도 16 내지 도 18을 참조하면, 신호 출력기(410)에서 생성되는 센서 구동신호(VD1)는 I 픽셀 그룹에 포함된 4개의 픽셀(321~324) 각각의 제1 포토 게이트(321a, 322a, 323a, 324a)와 제2 포토 게이트(321b, 322b, 323b, 324b)를 구동시키기 위한 복수의 포토 게이트 구동신호(I① ~ I⑧)를 포함할 수 있다. 또한, 신호 출력기(410)에서 생성되는 센서 구동신호(VD1)는 Q 픽셀 그룹에 포함된 4개의 픽셀(325~328) 각각의 제1 포토 게이트(325a, 326a, 327a, 328a)와 제2 포토 게이트(325b, 326b, 327b, 328b)를 구동시키기 위한 복수의 포토 게이트 구동신호(Q① ~ Q⑧)를 포함할 수 있다.
먼저, 도 16에 도시된 I 픽셀 그룹 포함된 픽셀들(321, 322, 323, 324)로 공급되는 포토 게이트 구동신호를 설명하기로 한다. 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 0도에 동기되어 I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제1 포토 게이트들(321a, 322a, 323a, 324a)가 구동되도록 각각의 포토 게이트에 포토 게이트 구동신호(I①, I③, I⑤, I⑦)를 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 180도에 동기되어 I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제2 포토 게이트들(321b, 322b, 323b, 324b)이 구동되도록 각각의 포토 게이트에 포토 게이트 구동신호(I②, I④, I⑥, I⑧)를 공급할 수 있다.
이어서, 도 17에 도시된 Q 픽셀 그룹 포함된 픽셀들(325, 3262, 327, 328)로 공급되는 포토 게이트 구동신호를 설명하기로 한다. 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 270도에 동기되어 Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제1 포토 게이트들(325a, 326a, 327a, 328a)이 구동되도록 각각의 포토 게이트에 포토 게이트 구동신호(Q①, Q③, Q⑤, Q⑦)를 공급할 수 있다. 또한, 신호 출력기(410)는 광원(100)에서 조사되는 광의 초기 위상 90도에 동기되어 Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제2 포토 게이트들(325b, 326b, 327b, 328b)이 구동되도록 각각의 포토 게이트에 포토 게이트 구동신호(Q②, Q④, Q⑥, Q⑧)를 공급할 수 있다.
I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제1 포토 게이트들(321a, 322a, 323a, 324a)은 광원(100)에서 조사되는 광의 초기 위상 0도에 대응하는 위상 신호를 생성할 수 있다. I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제1 포토 게이트들(321a, 322a, 323a, 324a)은 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제2 포토 게이트들(321b, 322b, 323b, 324b)은 광원(100)에서 조사되는 광의 초기 위상 180도에 대응하는 위상 신호를 생성할 수 있다. I 픽셀 그룹에 포함된 제1 픽셀(321), 제2 픽셀(322), 제3 픽셀(323) 및 제4 픽셀(324)의 제2 포토 게이트들(321b, 322b, 323b, 324b)은 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제1 포토 게이트들(325a, 326a, 327a, 328a)은 광원(100)에서 조사되는 광의 초기 위상 270도에 대응하는 위상 신호를 생성할 수 있다. Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제1 포토 게이트들(325a, 326a, 327a, 328a)은 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제2 포토 게이트들(325b, 326b, 327b, 328b)은 광원(100)에서 조사되는 광의 초기 위상 90도에 대응하는 위상 신호를 생성할 수 있다. Q 픽셀 그룹에 포함된 제1 픽셀(325), 제2 픽셀(326), 제3 픽셀(327) 및 제4 픽셀(328)의 제2 포토 게이트들(325b, 326b, 327b, 328b)은 생성된 위상 신호를 위상 패턴 처리부(600)로 출력할 수 있다.
위상 패턴 처리부(600)는 입력되는 모드 또는 기 설정된 모드에 기초하여 디지털 위상 값들을 배열할 수 있다. 이때, 위상 패턴 처리부(600)는 도 15에 도시된 바와 같이, 광원에서 조사된 광의 초기 위상 0도, 90도, 180, 270도에 대응하는 디지털 위상 값들을 배열하여 하나의 프레임의 위상 패턴 이미지(840)를 생성할 수 있다. 도 15에 도시된 하나의 프레임의 위상 패턴 이미지(840)는 X축 및 Y축 방향의 해상도를 고려하여 생성될 수 있다. 위상 패턴 처리부(600)는 X축 및 Y축 방향에 대해서 일정한 해상도를 요구하는 시스템에 ToF 센서를 포함하는 3차원 영상 장치(1000)가 적용되는 경우에 입력되는 모드 또는 기 설정된 모드에 기초하여 도 15에 도시된 위상 패턴 이미지(840)를 적용할 수 있다.
도 19 내지 도 22는 본 개시의 일 실시예의 위상 패턴을 나타내는 것으로, 4x4 개의 복수의 픽셀을 단위 픽셀 패턴으로 그룹핑하여 위상 패턴을 배치한 것을 나타내는 도면이다.
도 19 내지 도 22에 도시된 위상 패턴 이미지를 생성하기 위한 ToF 센서(300), 센서 구동부(400) 및 위상 패턴 처리부(600)의 동작 및 구동 신호들은 도 8 내지 도 18의 내용을 참조하기로 한다. 도 19 내지 도 22에 도시된 바와 같이, 도 15에 도시된 I 픽셀 그룹 및 Q 픽셀 그룹 위상 패턴의 배열을 달리하여 다양한 형태의 위상 패턴 이미지를 생성할 수 있다.
도 19에 도시된 위상 패턴 이미지(850)를 살펴보면, 복수의 I 픽셀 그룹과 복수의 Q 픽셀 그룹이 2차원 어레이 형태로 배열될 수 있다. 복수의 I 픽셀 그룹과 복수의 Q 픽셀 그룹 중 일부는 가로 및 세로 방향에서 인접하게 배치될 수 있다. 또한, 복수의 I 픽셀 그룹과 복수의 Q 픽셀 그룹 중 일부는 가로 방향으로 인접하게 배치되고, 세로 방향으로 이격되어 배치될 수 있다. 또한, 복수의 I 픽셀 그룹과 복수의 Q 픽셀 그룹 중 일부는 세로 방향으로 인접하게 배치되고, 가로 방향으로 이격되어 배치될 수 있다.
홀수 행(H1, H3, H5, H7)에는 I 픽셀 그룹의 위상 패턴보다 Q 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, I 픽셀 그룹의 위상 패턴 대비 Q 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 홀수 행(H1, H3, H5, H7)에는 I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 반면, 짝수 행(H2, H4, H6, H8)에는 Q 픽셀 그룹의 위상 패턴보다 I 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, Q 픽셀 그룹의 위상 패턴 대비 I 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 짝수 행(H2, H4, H6, H8)에는 Q 픽셀 그룹과 I 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다.
또한, 홀수 열(V1, V3, V5, V7)에는 Q 픽셀 그룹의 위상 패턴보다 I 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, Q 픽셀 그룹의 위상 패턴 대비 I 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 홀수 열(V1, V3, V5, V7)에는 Q 픽셀 그룹과 I 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 반면, 짝수 열(V2, V4, V6, V8)에는 I 픽셀 그룹의 위상 패턴보다 Q 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, I 픽셀 그룹의 위상 패턴 대비 Q 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 짝수 열(V2, V4, V6, V8)에는 I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 여기서, I 픽셀 그룹의 위상 패턴에는 광원(100)에서 조사된 광의 초기 위상 0도 및 180에 대응하는 위상 신호가 포함될 수 있다. Q 픽셀 그룹의 위상 패턴에는 광원(100)에서 조사된 광의 초기 위상 90도 및 270에 대응하는 위상 신호가 포함될 수 있다.
도 20에 도시된 위상 패턴 이미지(860)를 살펴보면, 홀수 행(H1, H3, H5, H7)에는 Q 픽셀 그룹의 위상 패턴보다 I 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, 홀수 행에 Q 픽셀 그룹의 위상 패턴 대비 I 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 홀수 행(H1, H3, H5, H7)에는 Q 픽셀 그룹과 I 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 반면, 짝수 행(H2, H4, H6, H8)에는 I 픽셀 그룹의 위상 패턴보다 Q 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, 짝수 행에 I 픽셀 그룹의 위상 패턴 대비 Q 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 짝수 행(H2, H4, H6, H8)에는 I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다.
또한, 홀수 열(V1, V3, V5, V7)에는 I 픽셀 그룹의 위상 패턴보다 Q 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, I 픽셀 그룹의 위상 패턴 대비 Q 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 홀수 열(V1, V3, V5, V7)에는 I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 반면, 짝수 열(V2, V4, V6, V8)에는 Q 픽셀 그룹의 위상 패턴보다 I 픽셀 그룹의 위상 패턴을 더 많이 배치할 수 있다. 일 예로서, Q 픽셀 그룹의 위상 패턴 대비 I 픽셀 그룹의 위상 패턴을 3배더 배치할 수 있다. 즉, 짝수 열(V2, V4, V6, V8)에는 Q 픽셀 그룹과 I 픽셀 그룹의 위상 패턴이 1:3 비율로 배치될 수 있다. 여기서, I 픽셀 그룹의 위상 패턴에는 광원(100)에서 조사된 광의 초기 위상 0도 및 180에 대응하는 위상 신호가 포함될 수 있다. Q 픽셀 그룹의 위상 패턴에는 광원(100)에서 조사된 광의 초기 위상 90도 및 270도에 대응하는 위상 신호가 포함될 수 있다.
도 21에 도시된 위상 패턴 이미지(870)을 살펴보면, I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴을 배열하는 규칙은 도 19를 참조하여 설명한 실시예와 동일할 수 있다. 각 행과 열에서 I 픽셀 그룹의 위상 패턴과 Q 픽셀 그룹의 위상 패턴의 개수와 비율은 도 19를 참조하여 설명한 실시예와 동일할 수 있다. 도 19에 도시된 위상 패턴 이미지와 도 21에 도시된 위상 패턴 이미지는 I 픽셀 그룹과 Q 픽셀 그룹의 위치가 서로 바뀔 수 있다.
도 22에 도시된 위상 패턴 이미지(880)을 살펴보면, I 픽셀 그룹과 Q 픽셀 그룹의 위상 패턴을 배열하는 규칙은 도 20을 참조하여 설명한 실시예와 동일할 수 있다. 각 행과 열에서 I 픽셀 그룹의 위상 패턴과 Q 픽셀 그룹의 위상 패턴의 개수와 비율은 도 20을 참조하여 설명한 실시예와 동일할 수 있다. 도 20에 도시된 위상 패턴 이미지와 도 22에 도시된 위상 패턴 이미지는 I 픽셀 그룹과 Q 픽셀 그룹의 위치가 서로 바뀔 수 있다. 도 19 내지 22에서 각 행과 열 내에 서로 다른 개수의 I 픽셀 그룹과 Q 픽셀 그룹이 배치될 수 있지만, 단위 2x2 픽셀내에서는 I 픽셀 그룹과 Q 픽셀 그룹의 개수가 동일하다. 이러한 배치를 통해 얻을 수 있는 장점은, 다이나믹 레인지(dynamic range) 확장을 위한 듀얼 익스포져(dual exposure)방법과 결합할 경우에도 3D 해상도를 일정하게 유지할 수 있다.
도 23a 내지 도 23c는 근거리에 위치한 물체와 원거리에 위치한 물체의 깊이 정보를 획득하기 위한 위상 패턴을 배치한 것을 나타내는 도면이다. 도 23b는 다이나믹 레인지(dynamic range) 확장을 위한 듀얼 익스포저(dual exposure) 방식의 위상 패턴의 일 예를 도시한 것이다.
도 23a 내지 도 23c를 참조하면, 도 23a에 도시된 체커보드 방식의 위상 패턴과 도 23b의 듀얼 익스포저(dual exposure) 방식의 위상 패턴을 결합하여 도 23c에 하이브리드 위상 패턴을 생성할 수 있다. 도 23c에서 I는 노출 시간이 길게 설정된 동상 성분 픽셀(long-exposed in-phase pixel)을 의미한다. i는 노출 시간이 상대적으로 짧게 설정된 위상 픽셀(short-exposed in-phase pixel)을 의미한다. Q는 노출 시간이 길게 설정된 직각 위상 픽셀(long-exposed quadrature-phase pixel)을 의미한다. Q는 노출 시간이 상대적으로 짧게 설정된 직각 위상 픽셀(short-exposed quadrature-phase pixel)을 의미한다.
ToF 센서(300)와 가까운 거리에 위치한 제1 물체와, 제1 물체보다 먼 거리에 위치한 제2 물체의 깊이 맵을 생성할 때, 원거리와 근거리 차이가 명확해 지도록 각 픽셀(310)의 구동 시간을 조절할 수 있다. 일 예로서, 도 23b에 도시된 바와 같이 전체 픽셀(310)을 제1 블록과 제2 블록으로 구분할 수 있다. 제1 블록의 픽셀(310)들의 구동 시간을 제1 길이로 설정할 수 있다. 제2 블록의 픽셀(310)들의 구동 시간을 상기 제1 길이보다 짧은 제2 길이로 설정할 수 있다. 이때, 제1 블록의 픽셀(310)들의 구동 시간을 제2 블록의 픽셀(310)들의 구동 시간보다 2배~10배 더 길게 형성할 수 있다. 즉, 제2 블록의 픽셀(310)들의 구동 시간을 제1 블록의 픽셀(310)들의 구동 시간보다 2배~10배 짧게 형성할 수 있다.
도 23b와 같은 모자이크 패턴으로 각 픽셀의 누적 시간을 긴 시간(L)과 짧은 시간(S)으로 서로 다르게 제어하여 다이나믹 레인지(dynamic range)를 확장할 수 있다. 여기서, 도 23b의 체스 모자이크 패턴을 도 12의 위상 패턴과 결합하면 I 픽셀 그룹은 언제나 긴 누적 시간을 가지고 Q 픽셀 그룹은 언제나 짧은 누적 시간을 가지게 되어 해상도 저하를 가져올 수 있다. 따라서, 도 23c와 같이 도 23a의 위상 패턴과 도 23b의 듀얼 익스포저 방식의 위상 패턴을 결합하면, 해상도를 일정하게 유지하면서 하나의 프레임 영상 데이터로 깊이 맵을 생성하면서 다이나믹 레인지를 확장할 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 기술적 사상에 따른 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해하여야 한다.
100: 광원 200: 광원 구동부
300: ToF 센서 310: 픽셀
312: 제1 포토 게이트 314: 제2 포토 게이트
316: 제1 신호 출력부 318: 제2 신호 출력부
400: 센서 구동부 410: 신호 출력기
500: 제어부 600: 위상 패턴 처리부
610: 아날로그-디지털 변환부 612: 아날로그-디지털 변환기
620: 위상 패턴 정렬부 700: 깊이정보 생성부

Claims (20)

  1. 물체에서 반사된 광을 수신하여 제1 위상 신호를 생성하는 제1 포토 게이트 및 상기 제1 위상 신호와 180도 위상 차이를 가지는 제2 위상 신호를 생성하는 제2 포토 게이트를 포함하는 제1 픽셀;
    상기 물체에서 반사된 광을 수신하여 상기 제1 위상 신호와 상이한 제3 위상 신호를 생성하는 제3 포토 게이트 및 상기 제3 위상 신호와 180도 위상 차이를 가지는 제4 위상 신호를 생성하는 제4 포토 게이트를 포함하는 제2 픽셀;
    상기 제1 위상 신호 및 상기 제2 위상 신호를 출력하는 제1 신호 출력부; 및
    상기 제3 위상 신호 및 상기 제4 위상 신호를 출력하는 제2 신호 출력부;를 포함하고,
    하나의 프레임 기간에 상기 제1 내지 제4 위상 신호를 출력하는, ToF(Time of Flight) 센서.
  2. 제1 항에 있어서,
    상기 제1 포토 게이트는 광원에서 조사된 광의 초기 위상 0도, 90도, 180도, 270도 중 하나에 대응하여 상기 제1 위상 신호를 출력하고,
    상기 제1 위상 신호와 상기 제3 위상 신호는 90도 위상 차이를 가지는, ToF 센서.
  3. 제1 항에 있어서,
    상기 제2 포토 게이트는 광원에서 조사된 광의 초기 위상 0도, 90도, 180도, 270도 중 하나에 대응하여 상기 제2 위상 신호를 출력하고,
    상기 제2 위상 신호와 상기 제4 위상 신호는 90도 위상 차이를 가지는, ToF 센서.
  4. 제1 항에 있어서,
    상기 제3 포토 게이트는 광원에서 조사된 광의 초기 위상 0도, 90도, 180도, 270도 중 하나에 대응하여 상기 제3 위상 신호를 출력하고,
    상기 제3 위상 신호와 상기 제2 위상 신호를 90도 위상 차이를 가지는, ToF 센서.
  5. 제1 항에 있어서,
    상기 제4 포토 게이트는 광원에서 조사된 광의 초기 위상 0도, 90도, 180도, 270도 중 하나에 대응하여 상기 제4 위상 신호를 출력하고,
    상기 제4 위상 신호와 상기 제1 위상 신호를 90도 위상 차이를 가지는, ToF 센서.
  6. 서로 인접하게 배치된 복수의 픽셀로 구성된 제1 픽셀 그룹; 및
    서로 인접하게 배치된 복수의 픽셀로 구성된 제2 픽셀 그룹;을 포함하고,
    상기 제1 픽셀 그룹의 복수의 픽셀 각각은 물체에서 반사된 광을 수신하여 180도 위상 차이를 가지는 제1 위상 신호 및 제2 위상 신호를 출력하고,
    제2 픽셀 그룹의 복수의 픽셀 각각은 물체에서 반사된 광을 수신하여 180도 위상 차이를 가지는 제3 위상 신호 및 제4 위상 신호를 출력하는, ToF(Time of Flight) 센서.
  7. 제6 항에 있어서,
    하나의 프레임 기간에 상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 출력하는, ToF 센서.
  8. 제7 항에 있어서,
    상기 제1 픽셀 그룹을 구성하는 복수의 픽셀 각각은 상기 제1 위상 신호를 출력하는 제1 포토 게이트 및 상기 제2 위상 신호를 출력하는 제2 포토 게이트를 포함하고,
    상기 제2 픽셀 그룹을 구성하는 복수의 픽셀 각각은 상기 제3 위상 신호를 출력하는 제3 포토 게이트 및 상기 제4 위상 신호를 출력하는 제4 포토 게이트를 포함하는, ToF 센서.
  9. 제8 항에 있어서,
    상기 제1 포토 게이트에서 출력되는 상기 제1 위상 신호와, 상기 제3 포토 게이트에서 출력되는 상기 제3 위상 신호는 90도 위상 차이를 가지는, ToF 센서.
  10. 제8 항에 있어서,
    상기 제2 포토 게이트에서 출력되는 상기 제2 위상 신호와, 상기 제4 포토 게이트에서 출력되는 상기 제4 위상 신호는 90도 위상 차이를 가지는, ToF 센서.
  11. 제6 항에 있어서,
    상기 제1 픽셀 그룹과 상기 제2 픽셀 그룹이 가로 및 세로 방향으로 인접하게 배치된, ToF 센서.
  12. 제6 항에 있어서,
    상기 제1 픽셀 그룹과 상기 제2 픽셀 그룹이 가로 방향으로 인접하게 배치되고, 세로 방향으로 이격되어 배치된, ToF 센서.
  13. 제6 항에 있어서,
    상기 제1 픽셀 그룹과 상기 제2 픽셀 그룹이 세로 방향으로 인접하게 배치되고, 가로 방향으로 이격되어 배치된 ToF 센서.
  14. 제6 항에 있어서,
    상기 제1 픽셀 그룹의 복수의 픽셀은 제1 시간동안 동작하여 수신된 광의 신호를 누적하고,
    상기 제2 픽셀 그룹의 복수의 픽셀은 상기 제1 시간보다 짧은 제2 시간동안 동작하여 수신된 광의 신호를 누적하는 ToF 센서.
  15. 물체로 광을 조사하는 광원;
    상기 광원에 구동 전압을 공급하는 광원 구동부;
    물체에서 반사된 광을 수신하여, 180도 위상 차이를 가지는 제1 위상 신호 및 제2 위상 신호를 출력하는 복수의 제1 픽셀 및 180도 위상 차이를 가지는 제3 위상 신호 및 제4 위상 신호를 출력하는 복수의 제2 픽셀을 포함하는 ToF(Time of Flight) 센서;
    구동신호를 상기 ToF 센서에 공급하여 상기 ToF 센서의 구동을 제어하는 센서 구동부;
    상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 수신하여 디지털 위상 값으로 변환하고, 디지털 위상 값을 하나의 프레임에 배열하여 위상 패턴 이미지를 생성하는 위상 패턴 처리부; 및
    상기 위상 패턴 이미지에 기초하여 상기 물체와의 깊이 정보를 생성하는 깊이 정보 생성부;를 포함하는, 3차원 영상 장치.
  16. 제15 항에 있어서,
    상기 복수의 제1 픽셀 각각은 상기 제1 위상 신호를 출력하는 제1 포토 게이트 및 상기 제2 위상 신호를 출력하는 제2 포토 게이트를 포함하고,
    상기 복수의 제2 픽셀 각각은 상기 제3 위상 신호를 출력하는 제3 포토 게이트 및 상기 제4 위상 신호를 출력하는 제4 포토 게이트를 포함하는, 3차원 영상 장치.
  17. 제16 항에 있어서, 상기 센서 구동부는,
    광원에서 조사된 광의 초기 위상 0도, 90도, 180도, 270도 중 하나에 대응하여 제1 포토 게이트를 구동시키기 위한 제1 포토 게이트 구동신호를 상기 제1 포토 게이트에 공급하고,
    상기 제1 포토 게이트와 180도 위상 차이로 상기 제2 포토 게이트를 구동시키기 위한 제2 포토 게이트 구동신호를 상기 제2 포토 게이트에 공급하고,
    상기 제1 포토 게이트와 90도 위상 차이로 상기 제3 포토 게이트를 구동시키기 위한 제3 포토 게이트 구동신호를 상기 제3 포토 게이트에 공급하고,
    상기 제3 포토 게이트와 180도 위상 차이로 상기 제4 포토 게이트를 구동시키기 위한 제4 포토 게이트 구동신호를 상기 제4 포토 게이트에 공급하는, 3차원 영상 장치.
  18. 제17 항에 있어서, 상기 ToF 센서는,
    하나의 프레임 기간에 상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 출력하는, 3차원 영상 장치.
  19. 제18 항에 있어서, 상기 위상 패턴 처리부는,
    상기 제1 위상 신호, 상기 제2 위상 신호, 상기 제3 위상 신호 및 상기 제4 위상 신호를 수신하여 0도, 90도, 180도 및 270도의 디지털 위상 값으로 변환하고, 상기 0도, 90도, 180도 및 270도의 디지털 위상 값을 배열하여 하나의 프레임의 위상 패턴 이미지를 생성하는, 3차원 영상 장치.
  20. 제19 항에 있어서, 위상 패턴 처리부는,
    입력되는 모드 또는 기 설정된 모드에 따라 상기 0도, 90도, 180도 및 270도의 디지털 위상 값을 선택적으로 배열하여, X축 방향의 깊이 정보 획득을 위한 하나의 프레임의 위상 패턴 이미지를 생성하는, 3차원 영상 장치.
KR1020180032892A 2018-03-21 2018-03-21 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법 KR102624984B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180032892A KR102624984B1 (ko) 2018-03-21 2018-03-21 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US16/207,933 US11378690B2 (en) 2018-03-21 2018-12-03 Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
CN201910116181.7A CN110297254B (zh) 2018-03-21 2019-02-15 飞行时间传感器、使用其的三维成像设备及其驱动方法
JP2019045580A JP7347942B2 (ja) 2018-03-21 2019-03-13 ３次元映像装置
US17/720,837 US20220236419A1 (en) 2018-03-21 2022-04-14 Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180032892A KR102624984B1 (ko) 2018-03-21 2018-03-21 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법

Publications (2)

Publication Number Publication Date
KR20190110884A true KR20190110884A (ko) 2019-10-01
KR102624984B1 KR102624984B1 (ko) 2024-01-15

Family

ID=67984984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032892A KR102624984B1 (ko) 2018-03-21 2018-03-21 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법

Country Status (4)

Country Link
US (2) US11378690B2 (ko)
JP (1) JP7347942B2 (ko)
KR (1) KR102624984B1 (ko)
CN (1) CN110297254B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113267760A (zh) * 2020-02-17 2021-08-17 意法半导体(格勒诺布尔2)公司 同步设备、相关联的飞行时间传感器和方法
CN113365001A (zh) * 2020-03-06 2021-09-07 爱思开海力士有限公司 图像感测装置及其操作方法
US11598863B2 (en) 2020-12-28 2023-03-07 Samsung Electronics Co., Ltd. Imaging device and method of controlling the same
KR20240030636A (ko) 2022-08-31 2024-03-07 주식회사 동운아나텍 3d 센싱 시스템의 센싱 깊이값 보정장치 및 그 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4400867A2 (en) * 2017-10-23 2024-07-17 ams International AG Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
KR102648089B1 (ko) * 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
US11570424B2 (en) 2019-06-24 2023-01-31 Infineon Technologies Ag Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
US11726186B2 (en) 2019-09-30 2023-08-15 Zoox, Inc. Pixel filtering using multiple exposures
WO2021067136A1 (en) * 2019-09-30 2021-04-08 Zoox, Inc. Pixel filtering using multiple exposures
US11841438B2 (en) 2019-09-30 2023-12-12 Zoox, Inc. Power control of sensors using multiple exposures
TWI722710B (zh) * 2019-12-11 2021-03-21 茂達電子股份有限公司 具切片式積分時間感測機制的接近感測器及其感測方法
CN111366945B (zh) * 2020-05-27 2020-10-16 深圳市汇顶科技股份有限公司 基于飞行时间的测距方法和相关测距系统
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质
KR20220075016A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 이미징 장치
DE102021112942A1 (de) * 2021-05-19 2022-11-24 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Detektionsvorrichtung, Detektionsvorrichtung und Fahrzeug mit wenigstens einer Detektionsvorrichtung
CN113625303A (zh) * 2021-08-05 2021-11-09 思特威(上海)电子科技股份有限公司 像素阵列的信号采集方法、飞行时间传感器、终端及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198183A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Sensing pixel and image sensor including same

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2389960A (en) 2002-06-20 2003-12-24 Suisse Electronique Microtech Four-tap demodulation pixel
DE602005005685T2 (de) 2005-10-19 2009-07-09 Mesa Imaging Ag Einrichtung und Verfahren zur Demodulation von modulierten elektromagnetischen Wellenfeldern
US7450220B2 (en) 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP4807253B2 (ja) 2006-12-28 2011-11-02 株式会社デンソー 画像データ生成装置及び受光デバイス
JP5280030B2 (ja) * 2007-09-26 2013-09-04 富士フイルム株式会社 測距方法および装置
JP2009180659A (ja) * 2008-01-31 2009-08-13 Fujifilm Corp 裏面照射型撮像素子及び距離測定装置
KR100986439B1 (ko) * 2009-01-05 2010-10-08 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
KR101565969B1 (ko) 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
US9442196B2 (en) 2010-01-06 2016-09-13 Heptagon Micro Optics Pte. Ltd. Demodulation sensor with separate pixel and storage arrays
JP2011145109A (ja) * 2010-01-12 2011-07-28 Topcon Corp 光波距離測定装置
KR101711061B1 (ko) * 2010-02-12 2017-02-28 삼성전자주식회사 깊이 추정 장치를 이용한 깊이 정보 추정 방법
KR101812035B1 (ko) * 2010-11-30 2017-12-26 삼성전자 주식회사 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템
KR101788032B1 (ko) 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
WO2013041949A1 (en) 2011-09-20 2013-03-28 Mesa Imaging Ag Time of flight sensor with subframe compression and method
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
JP6296401B2 (ja) * 2013-06-27 2018-03-20 パナソニックＩｐマネジメント株式会社 距離測定装置および固体撮像素子
JP6459069B2 (ja) * 2013-08-23 2019-01-30 パナソニックＩｐマネジメント株式会社 測距システム
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
US9971023B2 (en) * 2015-05-04 2018-05-15 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
US9921298B2 (en) 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array
JP6852416B2 (ja) * 2016-03-10 2021-03-31 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法
JP6696349B2 (ja) * 2016-08-10 2020-05-20 株式会社デンソー 光飛行型測距装置および光飛行型測距の異常検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198183A1 (en) * 2013-01-16 2014-07-17 Samsung Electronics Co., Ltd. Sensing pixel and image sensor including same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113267760A (zh) * 2020-02-17 2021-08-17 意法半导体(格勒诺布尔2)公司 同步设备、相关联的飞行时间传感器和方法
CN113365001A (zh) * 2020-03-06 2021-09-07 爱思开海力士有限公司 图像感测装置及其操作方法
US11598863B2 (en) 2020-12-28 2023-03-07 Samsung Electronics Co., Ltd. Imaging device and method of controlling the same
KR20240030636A (ko) 2022-08-31 2024-03-07 주식회사 동운아나텍 3d 센싱 시스템의 센싱 깊이값 보정장치 및 그 방법

Also Published As

Publication number Publication date
KR102624984B1 (ko) 2024-01-15
JP2019168448A (ja) 2019-10-03
JP7347942B2 (ja) 2023-09-20
CN110297254B (zh) 2024-06-11
US20190293792A1 (en) 2019-09-26
US20220236419A1 (en) 2022-07-28
CN110297254A (zh) 2019-10-01
US11378690B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
KR102624984B1 (ko) ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
JP7114728B2 (ja) 物体を多次元捕捉するためのマルチパルスｌｉｄａｒシステム
US10638118B2 (en) Time-of-flight camera system
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
US9329035B2 (en) Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
CN111727602B (zh) 单芯片rgb-d相机
US9971023B2 (en) Systems and methods for time of flight measurement using a single exposure
KR20150054568A (ko) 깊이 센서, 및 이의 동작 방법
CN105143820A (zh) 利用多个发射器进行深度扫描
WO2017183181A1 (ja) 三次元形状測定装置
JP2006258465A (ja) ３次元画像情報取得システム
JP2006258464A (ja) ３次元画像情報取得装置
JP5441204B2 (ja) 時間相関検出型イメージセンサおよび画像解析装置
US20210250535A1 (en) Camera module and depth information obtaining method therefore
US20210266519A1 (en) Image sensor and camera module using same
JP4392833B2 (ja) ３次元画像情報取得装置
US20210383561A1 (en) Camera module
JP4890808B2 (ja) レーザ顕微鏡、レーザ顕微鏡の制御方法
KR20220029608A (ko) 거리 정보 추출 장치 및 광학 기기
CN211426798U (zh) 一种集成分束扫描单元
US20240192327A1 (en) Device for distance measurement
KR101726776B1 (ko) 3차원 형상 획득 장치 및 그 제어 방법
US20240169570A1 (en) Depth data measurement head, depth data computing device, and corresponding method
US9307133B1 (en) System and method of imaging for increasing image resolution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant