KR20150087696A - 티오에프 카메라 장치 및 이의 구동 방법 - Google Patents

티오에프 카메라 장치 및 이의 구동 방법 Download PDF

Info

Publication number
KR20150087696A
KR20150087696A KR1020140007924A KR20140007924A KR20150087696A KR 20150087696 A KR20150087696 A KR 20150087696A KR 1020140007924 A KR1020140007924 A KR 1020140007924A KR 20140007924 A KR20140007924 A KR 20140007924A KR 20150087696 A KR20150087696 A KR 20150087696A
Authority
KR
South Korea
Prior art keywords
light source
distance
signal
photogate
frequency
Prior art date
Application number
KR1020140007924A
Other languages
English (en)
Other versions
KR102159994B1 (ko
Inventor
정성영
경규민
김태찬
배광혁
조승한
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140007924A priority Critical patent/KR102159994B1/ko
Priority to US14/528,033 priority patent/US9903941B2/en
Publication of KR20150087696A publication Critical patent/KR20150087696A/ko
Application granted granted Critical
Publication of KR102159994B1 publication Critical patent/KR102159994B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

본 발명의 하나의 실시형태에 따른 TOF(Time of Flight) 카메라 장치는 펄스 신호 그리고 제1 및 제2 포토 게이트 신호를 생성하는 펄스 생성기, 상기 펄스 신호에 동기되어 광원을 대상에 조사하는 라이트 소오스 및 제1 프레임 동안, 상기 제1 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 제2 프레임 동안, 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하는 이미지 센서를 포함하고, 상기 펄스 생성기는 하나의 주파수를 사용하기 위하여 상기 펄스 신호를 변형한다. 따라서, TOF 카메라 장치는 광원의 주파수에 따라 결정된 거리를 초과하는 경우에도 실제 거리를 측정할 수 있다.

Description

티오에프 카메라 장치 및 이의 구동 방법{TIME OF FLIGHT CAMERA DEVICE AND AND DRIVING METHOD THEREOF}
본 발명은 TOF(Time of Flight) 카메라 장치에 관한 것으로, 특히 라이트 소오스(light source)의 변조 주파수(modulated frequency)에 따라 결정된 거리를 초과하는 경우 실제 거리를 측정할 수 있는 TOF 카메라 장치 및 이의 구동 방법에 관한 것이다.
TOF(Time of Flight) 카메라는 소정 주파수로 변조(modulation)된 빛이 피사체에서 반사되어 되돌아 오는 과정에서 발생되는 위상(phase)의 지연 등을 이용하여 피사체를 탐지하는 것으로서, 지형측량 분야 또는 피사체의 자세제어 분야 등에 널리 이용되고 있다.
TOF 카메라의 동작원리를 살펴보면, TOF 카메라는 소정의 중심파장을 갖는 빛을 출사하는 광원을 포함하고 있으며, 그러한 광원에서 출사되는 빛을 소정 주파수로 변조시켜 탐지하는 피사체에 조사를 하게 된다. 이후 피사체에 조사된 빛은 반사되어 TOF 카메라로 되돌아 오게 되며, TOF 카메라는 내장된 센서를 이용하여 되돌아오는 빛을 검출하게 된다. 이 경우 TOF 카메라에서 출사되는 빛과 피사체에 반사되어 되돌아오는 빛의 위상을 대비하게 되면 피사체까지의 거리를 알 수 있게 된다.
이때, TOF 카메라의 정확도는 TOF 카메라에서 출사되는 빛의 변조 주파수(modulation frequency), 다이나믹 레인지(dynamic range) 또는 민감도(sensitivity) 등에 영향을 받게 되며, 그 결과 원하는 수준 이상의 정확도를 확보하기 위해서는 해당 거리에 적합한 주파수로 빛을 변조시켜 피사체에 조사를 하여야 한다. 그 결과, 종래의 TOF 카메라에서는 변조 주파수가 고정되어 있어서 피사체까지의 거리가 소정 거리를 벗어나는 경우 그 정확성을 보장할 수 없는 문제점이 있다.
본 발명의 목적은 라이트 소오스의 변조 주파수에 따라 결정된 거리를 초과하는 경우 실제 거리를 측정할 수 있는 TOF 카메라 장치를 제공하는 것이다.
본 발명의 다른 목적은 상기 TOF 카메라 장치의 구동 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여 본 발명의 하나의 실시형태에 따른 TOF(Time of Flight) 카메라 장치는 펄스 신호 그리고 제1 및 제2 포토 게이트 신호를 생성하는 펄스 생성기, 상기 펄스 신호에 동기되어 광원을 대상에 조사하는 라이트 소오스 및제1 프레임 동안, 상기 제1 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 제2 프레임 동안, 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하는 이미지 센서를 포함하고, 상기 펄스 생성기는 하나의 주파수를 사용하기 위하여 상기 펄스 신호를 변형한다.
실시 예로서, 상기 펄스 신호의 주파수는 상기 제1 포토 게이트 신호의 주파수와 동일하고, 상기 제1 포토 게이트 신호의 주파수는 상기 제2 포토 게이트 신호의 주파수의 정수배이다.
실시 예로서, 상기 펄스 생성기는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 상기 펄스 신호를 변형한다.
실시 예로서, 상기 이미지 센서는 상기 광원과 상기 대상에 반사된 광원 사이의 위상차 정보에 기초하여 상기 수신된 광원의 크기 정보를 생성한다.
실시 예로서, 상기 크기 정보에 기초하여 상기 대상과의 거리 정보를 생성하는 ISP(Image Signal Processor)를 더 포함한다.
실시 예로서, 상기 ISP는 상기 거리 정보를 통하여 상기 대상으로부터 제스쳐를 판단한다.
실시 예로서, 상기 ISP는 상기 제1 프레임 동안, 제1 영역 내에서 상기 대상과의 거리를 측정하고, 상기 제2 프레임 동안, 제2 영역 내에서 상기 대상과의 거리를 측정하며, 상기 제2 영역은 상기 제1 영역을 포함한다.
실시 예로서, 상기 ISP는 상(phase)이 중첩되었는가를 판단하고, 만약 상이 중첩되었으면, 상기 제1 프레임 동안 계산된 거리에 최대 측정 거리를 더한다.
실시 예로서, 상기 제1 또는 제2 포토 게이트 신호가 활성화되는 동안, 상기 이미지 센서는 상기 광원을 수신한다.
본 발명의 다른 하나의 실시형태에 따른 TOF 카메라 장치의 구동 방법은 하나의 주파수를 사용하기 위하여 펄스 신호를 변형하는 단계, 상기 펄스 신호에 동기되어 광원을 대상에 조사하는 단계, 제1 프레임 동안, 제1 포토 게이트 신호에 동기되어 대상에 반사된 광원을 수신하고, 상기 반사된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계, 제2 프레임 동안, 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 상기 수신된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계, 상(phase)이 중첩되었는가를 판단하는 단계 및 만약 상기 상이 중첩되었으면, 상기 계산된 거리에 최대 측정 거리를 더하는 단계를 포함한다.
실시 예로서, 상기 하나의 주파수를 사용하기 위하여 펄스 신호를 변형하는 단계는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 상기 펄스 신호를 변형하는 단계를 포함한다.
실시 예로서, 상기 제1 프레임 동안, 상기 제1 포토 게이트 신호에 동기되어 대상에 반사된 광원을 수신하고, 상기 반사된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계는 상기 광원과 상기 반사된 광원 사이의 위상차 정보에 기초하여 상기 광원의 크기 정보를 추출하는 단계 및 상기 추출된 크기 정보에 기초하여 상기 대상과의 거리를 계산하는 단계를 포함한다.
실시 예로서, 상기 제2 프레임 동안, 상기 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 상기 수신된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계는 상기 광원과 상기 반사된 광원 사이의 위상차 정보에 기초하여 상기 광원의 크기 정보를 추출하는 단계 및 상기 추출된 크기 정보에 기초하여 상기 대상과의 거리를 계산하는 단계를 포함한다.
실시 예로서, 상기 상이 중첩되었는가를 판단하는 단계는 상기 제2 프레임 동안, 상기 계산된 대상과의 거리에 기초하여 판단하는 단계를 포함한다.
실시 예로서, 상기 펄스 신호의 주파수는 상기 제1 포토 게이트 신호의 주파수와 동일하고, 상기 제1 포토 게이트 신호의 주파수는 상기 제2 포토 게이트 신호의 주파수의 2배이다.
본 발명의 실시 예들에 따른 TOF 카메라 장치는 변조 주파수에 따라 결정된 거리를 초과하는 경우에도 실제 거리를 측정할 수 있다.
또한, 상기 TOF 카메라 장치는 변조 주파수에 따라 결정된 거리 내에서 정밀하게 거리를 측정할 수 있다.
도 1은 본 발명의 실시 예에 따른 TOF 카메라 장치를 도시한 블록도이다.
도 2는 도 1에 도시된 TOF 카메라 장치(100)가 장착된 스마트 TV(television)를 도시한다.
도 3은 도 1에 도시된 광원(SMLS)과 포토 게이트 신호(PG)를 도시한 그래프이다.
도 4는 실제 거리와 측정 거리(depth)를 도시한 그래프이다.
도 5는 도 1에 도시된 TOF 카메라 장치에 의하여 촬영된 영상을 도시한다.
도 6은 도 5에 도시된 영상을 도시한 3차원 그래프이다.
도 7은 도 1에 도시된 TOF카메라 장치의 구동 방법을 도시한 타이밍도이다.
도 8a 내지 도 8d는 제1 프레임(F1) 동안, 도 7에 도시된 포토 게이트 신호(PG)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한 그래프이다.
도 9a 내지 도 9d는 제2 프레임(F2) 동안, 도 7에 도시된 포토 게이트 신호(PG)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한 그래프이다.
도 10a 는 도 9a 내지 도 9d에 도시된 제1 내지 제4 라인(Q1-Q4)을 이용하여 계산된 (Q1-Q3)+(Q2-Q4)를 도시한 그래프이다.
도 10b 는 도 9a 내지 도 9d에 도시된 제1 내지 제4 라인(Q1-Q4)을 이용하여 계산된 (Q1-Q3)-(Q2-Q4)를 도시한 그래프이다.
도 11은 도 1에 도시된 TOF 카메라 장치의 구동 방법을 도시한 순서도이다.
도 12는 도 11에 도시된 TOF 카메라 장치(100)의 구동 방법에 따른 결과를 도시한 그래프이다.
도 13은 도 1에 도시된 TOF 카메라 장치의 다른 구동 방법을 도시한 순서도이다.
도 14는 도 13에 도시된 TOF 카메라 장치의 다른 구동 방법에 의한 결과를 도시한 그래프이다.
도 15는 도 1에 도시된 TOF 카메라 장치를 포함하는 디스플레이 장치(300)의 일 실시 예를 나타낸다.
도 16은 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(410)의 일 실시 예를 나타낸다.
도 17은 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(420)의 다른 실시 예를 나타낸다.
도 18는 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(430)의 또 다른 실시 예를 나타낸다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 설명한다.
도 1은 본 발명의 실시 예에 따른 TOF 카메라 장치를 도시한 블록도이다.
도 2는 도 1에 도시된 TOF 카메라 장치(100)가 장착된 스마트 TV(smart television)를 도시한다.
도 1 및 도 2를 참조하면, 디스플레이 장치(200)는 TOF 카메라 장치(100)를 장착할 수 있다. 실시 예로서, TOF 카메라 장치(100)는 키넥트(kinect) 장치의 3D depth 카메라로 구현될 수 있다. 예를 들면, 디스플레이 장치(200)의 상단에 TOF 카메라 장치(100)가 장착될 수 있다. 실시 예로서, 디스플레이 장치(200)는 스마트 TV를 포함할 수 있다.
스마트 TV(Smart TV)란 TV에 인터넷 접속 기능을 결합, 각종 앱(application: 응용프로그램)을 설치해 웹 서핑 및 VOD 시청, 소셜 네트워크 서비스(Social Networking Service, 이하 SNS), 게임 등의 다양한 기능을 활용할 수 있는 다기능 TV를 의미한다. 예를 들면, 스마트 TV에 다양한 애플리케이션들이 설치될 수 있다. TOF 카메라 장치(100)는 스마트 TV앞에 있는 대상자로부터 제스쳐(gesture)를 수신할 수 있다.
일반적인 카메라 장치는 좌우로 변하는 제스쳐를 인식할 수 있다. 그러나, 일반적인 카메라 장치는 앞뒤로 변화하는 제스쳐를 인식할 수 없다. 왜냐하면, 일반적인 카메라 장치는 대상과의 거리를 측정할 수 없기 때문이다. 이에 반하여, 본 발명의 실시 예에 따른 TOF 카메라 장치(100)는 대상에 대한 거리를 측정할 수 있기에, 앞뒤로 변화하는 제스쳐를 인식할 수 있다.
TOF 카메라 장치(100)는 라이트 소오스(light source; 110), 펄스 생성기(pulse generator; 120), 이미지 센서(image sensor; 130), 메모리 장치(memory device; 140) 및 ISP(Image Signal Processor; 150)를 포함할 수 있다.
라이트 소오스(110)는 정현파(sinusoidal wave)인 광원(Single Modulated Light Source; SMLS)을 조사한다. 라이트 소오스(110)는 펄스 생성기(120)로부터 생성된 펄스 신호(P)에 동기되어 광원(SMLS)을 객체(object; OJ)에 조사(ray)할 수 있다. 예를 들면, TOF 카메라 장치(100)가 스마트 TV에 장착되면, 객체(OJ)는 스마트 TV를 시청하는 사람이 될 수 있다.
광원(SMLS)은 일정한 주파수(frequency)를 가질 수 있다. 예를 들면, 라이트 소오스(110)는 적외선 영역대(infra light wavelength range)의 광원을 사용할 수 있다. 객체(OJ)에 조사된 광원(SMLS)은 반사되어 이미지 센서(130)로 수신된다. 이미지 센서(130)는 펄스 생성기(120)로부터 포토 게이트 신호(PG)를 수신한다. 포토 게이트 신호(PG)는 이미지 센서(130)의 수신 동기 신호이다. 예를 들면, 포토 게이트 신호(PG)가 활성화되는 동안, 이미지 센서(130)는 광원(SMLS)을 수신할 수 있다.
광원(SMLS)이 반사되는 과정에서, 광원(SMLS)의 위상은 변화될 수 있다. 예를 들면, 라이트 소오스(110)로부터 조사된 광원(SMLS)의 위상과 비교하면, 반사된 광원(SMLS)의 위상은 객체와의 거리에 따라 위상의 변화가 있을 수 있다.
이미지 센서(130)는 반사된 광원(SMLS)에 대한 이미지 및 위상차 정보를 메모리 장치(140)에 저장할 수 있다. 실시 예로서, 광원(SMLS)이 적외선 파장대이면, 상기 이미지는 흑백 영상일 수 있다. 실시 예로서, 상기 이미지 센서(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구현될 수 있다.
메모리 장치(140)는 반사된 광원(SMLS)에 대한 이미지 및 위상차 정보를 ISP(150)로 전송한다. ISP(150)는 상기 위상차 정보를 이용하여 대상(OJ)과 TOF 카메라 장치(100) 간의 거리를 계산할 수 있다. 본 발명의 실시 예에 따른 거리를 계산하는 방법은 도 8a 내지 도9d을 통하여 설명된다.
ISP(150)는 상기 계산된 거리 정보를 이용하여 제스쳐를 인식할 수 있고 상기 계산된 거리 정보와 상기 이미지를 디스플레이 장치(200)로 전송할 수 있다. 디스플레이 장치(200)는 상기 이미지를 재생할 수 있다.
수학식 1은 광원의 주파수에 따른 최대 측정 거리를 계산할 수 있다.
Figure pat00001
dmax는 광원(SMLS)의 주파수에 따른 최대 측정 거리를 나타낸다. c는 빛의 속도이다. 일반적으로, c는 상수(constant number)로 표현한다. f는 광원(SMLS)에 대한 주파수를 나타낸다. 예를 들면, f를 20MHz라고 가정하면, dmax는 7.5m이다. 따라서, TOF 카메라 장치(100)와 객체(OJ)의 거리가 7.5m 이내이면, TOF 카메라 장치(100)는 정확한 거리를 측정할 수 있다.
그러나, TOF 카메라 장치(100)와 객체(OJ)의 거리가 7.5m 이상이면, TOF 카메라 장치(100)는 정확한 거리를 측정할 수 없다. 왜냐하면, 객체(OJ)가 광원(SMLS)의 주파수에 따른 최대 측정 거리를 넘어서면, 상(phase)이 중첩되기 때문이다. 예를 들면, TOF 카메라 장치(100)와 객체(OJ)의 거리가 8m 라면, TOF 카메라 장치(100)는 0.5m(8 - 7.5)로 인식한다. 상이 중첩되는 현상은 도 3 내지 도 6을 통하여 설명된다.
도 3은 도 1에 도시된 광원(SMLS)과 포토 게이트 신호(PG)를 도시한 그래프이다.
도 1 내지 도 3을 참조하면, 펄스 생성기(120)는 하나의 주기(하나의 프레임) 동안 복수의 펄스 신호들을 생성할 수 있다. 예를 들면, 펄스 생성기(120)는 제1 프레임(F1)(즉, 한 주기) 동안 제1 내지 제4 펄스 신호(P1-P4)를 생성할 수 있다. 라이트 소오스(110)는 펄스 생성기(120)로부터 생성된 제1 내지 제4 펄스 신호(P1-P4)에 동기되어 광원(SMLS)을 조사할 수 있다. 따라서, 광원(SMLS)은 펄스 신호(P)와 동일한 파형을 가질 수 있다.
이미지 센서(130)는 펄스 생성기(120)로부터 포토 게이트 신호(PG)를 수신한다. 구체적으로, 포토 게이트 신호(PG)는 광원(SMLS)과 위상차가 0도(degree)인 0도 포토 게이트 신호(PG0), 광원(SMLS)과 위상차가 90도인 90도 포토 게이트 신호(PG90), 광원(SMLS)과 위상차가 180도인 180도 포토 게이트 신호(PG180) 및 광원(SMLS)과 위상차가 270도인 270도 포토 게이트 신호(PG270)을 포함할 수 있다.
이미지 센서(130)는 0도 포토 게이트 신호(PG0)에 동기되어 광원(SMLS)의 크기(amplitude) 정보를 메모리 장치(140)로 전송할 수 있다. 이미지 센서(130)는 90도 포토 게이트 신호(PG90)에 동기되어 광원(SMLS)의 크기 정보를 메모리 장치(140)로 전송할 수 있다. 이미지 센서(130)는 180도 포토 게이트 신호(PG180)에 동기되어 광원(SMLS)의 크기 정보를 메모리 장치(140)로 전송할 수 있다. 그리고, 이미지 센서(130)는 270도 포토 게이트 신호(PG270)에 동기되어 광원(SMLS)의 크기 정보를 메모리 장치(140)로 전송할 수 있다.
메모리 장치(140)에 저장된 광원(SMLS)의 크기를 이용하여 대상(OJ)과 TOF 카메라 장치(100) 간의 거리를 계산할 수 있다. 예를 들면, 0도, 90도, 180도 및 270도 위상차별로 수신된 광원의 크기에 특정한 계수를 곱하면, ISP(150)는 대상(OJ)과 TOF 카메라 장치(100) 간의 거리를 계산할 수 있다.
마찬가지로, 펄스 생성기(120)는 제2 프레임(F2)(즉, 다음 한 주기) 동안 제5 내지 제8 펄스 신호(P5-P8)를 생성할 수 있다. 라이트 소오스(110)는 펄스 생성기(120)로부터 생성된 제5 내지 제8 펄스 신호(P5-P8)에 동기되어 광원(SMLS)을 조사할 수 있다.
제1 프레임(F1)과 제2 프레임(F2) 각각은 하나의 주기(period)이며, TOF카메라 장치(100)는 각 프레임마다 동일한 영역 내(즉, 0에서 dmax 사이)에서 반복적으로 객체(OJ)와의 거리를 측정한다.
도 4는 실제 거리와 측정 거리(depth)를 도시한 그래프이다.
도 1 내지 도 4를 참조하면, A 영역(region)은 대상(OJ)의 실제 거리가 dmax이내이다. B 영역은 대상(OJ)의 실제 거리가 dmax에서 2dmax 사이이다. dmax는 광원(SMLS)의 주파수에 따라 측정 가능한 최대 거리이다.
TOF 카메라 장치(100)는 A 영역에서 정확하게 거리를 측정할 수 있다. 그러나, TOF 카메라 장치(100)는 B 영역에서 정확하게 거리를 측정할 수 없다. 왜냐하면, 광원(SMLS)의 주파수에 따라 측정 가능한 최대 거리(즉, dmax)가 결정되기 때문이다. 따라서, 실제로 대상(OJ)이 B 영역에 있다면, TOF 카메라 장치(100)는 A 영역에 있다고 판단할 수 있다. 즉, A영역과 B 영역의 상(phase)은 중첩(overwrapping)된다.
도 5는 도 1에 도시된 TOF 카메라 장치에 의하여 촬영된 영상을 도시한다.
도 6은 도 5에 도시된 영상을 도시한 3차원 그래프이다.
도 5및 도 6을 참조하면, 제1 대상(OJ1)은 실제로 제2 대상(OJ2)보다 더 앞에 있다. 그러나 제1 대상(OJ1)과 제2 대상(OJ2)은 동일한 위치에 있는 것처럼 나타날 수 있다. 예를 들면,, 제1 대상(OJ1)과 제2 대상(OJ2)은 3m 위치에 있는 것처럼 보인다.
이러한 문제를 해결하기 위하여, 본 발명의 실시 예에 따른 TOF카메라 장치(100)는 동일한 광원(SMLS)의 주파수에 서로 다른 주기를 가지는 포토 게이트 신호를 사용한다. 이를 통하여, 광원의 주파수에 따라 결정되는 측정 가능 거리를 증가시킬 수 있다.
본 발명의 실시 예에 따른 TOF카메라 장치(100)의 구동 방법은 도 7내지 도 11을 통하여 설명된다.
도 7은 도 1에 도시된 TOF카메라 장치의 구동 방법을 도시한 타이밍도이다.
도 1, 도 2 및 도 7을 참조하면, 펄스 생성기(120)는 하나의 주파수를 사용하기 위하여 펄스 신호(P)를 변형할 수 있다. 즉, 펄스 생성기(120)는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 펄스 신호(P)를 변형할 수 있다.
예를 들면, 펄스 생성기(120)는 하나의 주기(제1 및 제2 프레임) 동안 복수의 펄스 신호들을 생성할 수 있다. 제1 프레임(F1) 동안, 펄스 생성기(120)는 제1 펄스 신호(P1), 제3 펄스 신호(P3) 및 제4 펄스 신호(P4)를 생성할 수 있다. 라이트 소오스(110)는 변조된 주파수(modulated frequency)를 사용하기 위하여, 펄스 생성기(120)는 제2 펄스 신호(P2)를 생성하지 않는다. 라이트 소오스(110)는 펄스 생성기(120)로부터 생성된 제1, 제3 및 제4 펄스(P1, P3, P4)에 동기되어 광원(SMLS)을 대상(OJ)에 조사할 수 있다. 제1 프레임(F1) 동안, 이미지 센서(130)는 대상(OJ)에 반사된 광원(SMLS)을 0도 포토 게이트 신호(PG0), 90도 포토 게이트 신호(PG90), 180도 포토 게이트 신호(PG180) 및 270도 포토 게이트 신호(PG27)에 동기되어 반사된 광원(SMLS)을 수신할 수 있다.
마찬가지로, 제2 프레임(F2) 동안, 펄스 생성기(120)는 제5 펄스 신호(P5), 제7 펄스 신호(P7) 및 제8 펄스 신호(P8)를 생성할 수 있다. 라이트 소오스(110)는 변조된 주파수(modulated frequency)를 사용하기 위하여, 펄스 생성기(120)는 제6 펄스 신호(P6)를 생성하지 않는다. 라이트 소오스(110)는 펄스 생성기(120)로부터 생성된 제5, 제7 및 제8 펄스(P5, P7, P8)에 동기되어 광원(SMLS)을 대상(OJ)에 조사할 수 있다.
제2 프레임(F2) 동안, 이미지 센서(130)는 대상(OJ)에 반사된 광원(SMLS)을 0도 포토 게이트 신호(PG0), 90도 포토 게이트 신호(PG90), 180도 포토 게이트 신호(PG180) 및 270도 포토 게이트 신호(PG27)에 동기되어 반사된 광원(SMLS)을 수신할 수 있다.
하나의 주기는 제1 프레임(F1)과 제2 프레임(F2)를 포함한다. 하나의 주기 내에 서로 다른 주파수로 광원(SMSL)을 수신하기 위하여, 펄스 생성기(120)는 제1, 제3, 제4, 제5, 제7 및 제8 펄스 신호(P1, P3, P4, P5, P7, P8)을 생성한다.
실시 예로서, 제1 프레임(F1) 동안, 포토 게이트 신호(PG)의 주파수는 제2 프레임(F2) 동안, 포토 게이트 신호(PG)의 주파수보다 2배 더 높을 수 있다. 예를 들면, 광원(SMSL)의 주파수를 20MHz라고 하면, 반사된 광원(SMSL)을 수신하기 위한 포토 게이트 신호(PG)는 제1 프레임(F1) 동안, 20MHz로 설정될 수 있고, 제2 프레임(F2) 동안, 10MHz로 설정될 수 있다.
실시 예로서, 제1 프레임(F1) 동안, 포토 게이트 신호(PG)의 주파수는 제2 프레임(F2) 동안, 포토 게이트 신호(PG)의 주파수보다 정수배 더 높을 수 있다.
도 8a 내지 도 8d는 제1 프레임(F1) 동안, 도 7에 도시된 포토 게이트 신호(PG)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한 그래프이다.
도 2, 도 7 및 도 8a내지 도 8d를 참조하면, 제1 라인(line; Q1)은 0도 포토 게이트 신호(PG0)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 제2 라인(Q2)은 90도 포토 게이트 신호(PG90)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 제3 라인(Q3)은 180도 포토 게이트 신호(PG180)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 그리고, 제4 라인(Q4)은 270도 포토 게이트 신호(PG270)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다.
TOF 카메라 장치(100)는 제1 프레임(F1) 동안, 수신된 광원(SMLS)에 대한 크기에 기초하여 대상(OJ)과의 거리를 계산될 수 있다. 예를 들면, TOF 카메라 장치(100)는 제1 내지 제4 라인(Q1-Q4) 각각에 대응하는 광원(SMLS)의 크기에 미리 설정된 계수를 곱하면, 대상(OJ)과의 거리를 산출할 수 있다.
도 9a 내지 도 9d는 제2 프레임(F2) 동안, 도 7에 도시된 포토 게이트 신호(PG)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한 그래프이다.
도 2, 도 7 및 도 9a내지 도 9d를 참조하면, 제1 라인(Q1)은 0도 포토 게이트 신호(PG0)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 제2 라인(Q2)은 90도 포토 게이트 신호(PG90)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 제3 라인(Q3)은 180도 포토 게이트 신호(PG180)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다. 그리고, 제4 라인(Q4)은 270도 포토 게이트 신호(PG270)에 동기되어 수신된 광원(SMLS)에 대한 크기를 도시한다.
TOF 카메라 장치(100)는 제2 프레임(F2) 동안, 수신된 광원(SMLS)에 대한 크기에 기초하여 대상(OJ)과의 거리를 계산될 수 있다. TOF 카메라 장치(100)가 제2 프레임(F2) 동안, 수신된 광원(SMLS)에 대한 크기에 기초하여 대상(OJ)과의 거리를 계산하는 방법은 도 10a 및 도 10b를 통하여 설명된다.
도 10a 는 도 9a 내지 도 9d에 도시된 제1 내지 제4 라인(Q1-Q4)을 이용하여 계산된 (Q1-Q3)+(Q2-Q4)를 도시한 그래프이다.
도 10b 는 도 9a 내지 도 9d에 도시된 제1 내지 제4 라인(Q1-Q4)을 이용하여 계산된 (Q1-Q3)-(Q2-Q4)를 도시한 그래프이다.
도 1, 도 2, 도 10a및 도 10b를 참조하면, TOF 카메라 장치(100)는 제2 프레임(F1) 동안, 위상차 정보를 이용하여 도 10a에 도시된 (Q1-Q3)+(Q2-Q4) 라인과 도 10b에 도시된 (Q1-Q3)- (Q2-Q4) 라인을 생성한다. 그리고, 도 10a에 도시된 (Q1-Q3)+(Q2-Q4) 라인과 도 10b에 도시된 (Q1-Q3)- (Q2-Q4) 라인 각각에 미리 설정된 계수를 곱하면, TOF 카메라 장치(100)는 대상(OJ)과의 거리를 산출할 수 있다.
도 11은 도 1에 도시된 TOF 카메라 장치의 구동 방법을 도시한 순서도이다.
도 1, 도 2, 도 7 내지 도 11을 참조하면, S11 단계에서, 펄스 생성기(120)는 하나의 주파수를 사용하기 위하여 펄스 신호(P)를 변형한다. 즉, 펄스 생성기(120)는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 펄스 신호(P)를 변형할 수 있다.
S12 단계에서, 라이트 소오스(110)는 상기 변형된 펄스 신호(P)에 동기되어 대상(OJ)로 광원(SMSL)을 조사한다.
S13 단계에서, 이미지 센서(130)는 제1 프레임(F1) 동안 포토 게이트 신호(PG)에 동기되어 광원(SMSL)과 상기 대상(OJ)에 반사된 광원 간의 위상차에 기초하여 샘플링된 데이터(즉, Q1-Q4)를 추출한다. 예를 들면, 제1 프레임(F1) 동안 포토 게이트 신호(PG)의 주파수가 20MHz라면, 제2 프레임(F2) 동안 포토 게이트 신호(PG)의 주파수가 10MHz이다.
S14 단계에서, ISP(150)는 샘플링된 데이터(Q1-Q4)를 이용하여 거리(depth)를 계산한다.
S15 단계에서, 이미지 센서(130)는 제2 프레임(F2) 동안 포토 게이트 신호(PG)에 동기되어 광원(SMSL)과 상기 대상(OJ)에 반사된 광원 간의 위상차에 기초하여 샘플링된 데이터(Q1-Q4)를 추출한다. 제1 프레임(F1) 동안 포토 게이트 신호(PG)의 주파수는 제2 프레임(F2) 동안 포토 게이트 신호(PG)의 주파수보다 2배 더 높다. 실시 예에 따라, S13 단계가 먼저 진행되거나, S15 단계가 먼저 진행될 수 있다.
S16 단계에서, ISP(150)는 샘플링된 데이터(Q1-Q4)를 이용하여 거리(depth)를 계산한다. 계산된 거리(depth)가 측정 가능한 최대 거리(dmax)보다 크다면, 상이 중첩된다. 상이 중첩되면 측정 대상은 측정 가능한 최대 거리(dmax)보다 더 멀리 있다. 예를 들면, 측정 대상은 실제로 B 영역(dmax와 2dmax 사이)에 있지만, 계산상으로 A 영역(0과 dmax 사이)에 있다고 판단될 수 있다.
S17 단계에서, TOF 카메라 장치(100)는 상이 중첩되었는지를 판단한다. 그렇다면, S18 단계를 실행한다. 그렇지 않다면, S19 단계를 실행한다.
S18 단계에서, 만약 상이 중첩되었다면, TOF 카메라 장치(100)는 최종 거리(즉, 실제 거리)(final_depth)는 상기 계산된 거리(depth)에 측정 가능한 최대 거리(dmax)를 더한 값이 된다.
S19 단계에서, 만약 상이 중첩되지 않았다면, TOF 카메라 장치(100)는 최종 거리(final_depth)는 상기 계산된 거리(depth)가 된다.
도 12는 도 11에 도시된 TOF 카메라 장치(100)의 구동 방법에 따른 결과를 도시한 그래프이다.
도1, 도 2, 도 11 및 도 12를 참조하면, 본 발명의 실시 예에 따른 TOF 카메라 장치(100)는 제1 및 제2 프레임(F1-F2) 동안, 서로 다른 주파수를 가지는 포토 게이트 신호(PG)를 이용하여 대상(OJ)과의 측정 가능한 거리를 증가시킬 수 있다.
예를 들면, 제1 프레임(F1) 동안, 포토 게이트 신호(PG)가 20MHz를 가진다면, A 영역은 0m에서 7.5m가 된다. 또한, 제2 프레임(F2) 동안, 포토 게이트 신호(PG)가 10MHz를 가진다면, B 영역은 7.5m에서 15m가 된다. 따라서, TOF 카메라 장치(100)는 광원(SMSL)의 주파수에 따라 결정된 측정 가능 거리(예를 들면, 7.5m)를 넘어서 대상(OJ)과의 거리를 측정할 수 있다.
본 발명의 제2 실시 예에 따른 TOF 카메라 장치(100)는 측정 가능한 거리(dmax) 내에서 더욱 정확하게 거리를 측정할 수 있다. 본 발명의 제2 실시 예에 따른 TOF 카메라 장치(100)의 구동 방법은 도 13 및 도 14를 통하여 설명된다.
도 13은 도 1에 도시된 TOF 카메라 장치의 다른 구동 방법을 도시한 순서도이다.
도 1 및 도 13을 참조하면, S21 단계에서, 펄스 생성기(120)는 하나의 주파수를 사용하기 위하여 펄스 신호(P)를 변형한다. 즉, 펄스 생성기(120)는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 펄스 신호(P)를 변형할 수 있다.
S22 단계에서, 라이트 소오스(110)는 펄스 신호(P)에 동기되어 대상(OJ)로 광원(SMSL)을 조사한다.
S23 단계에서, 이미지 센서(130)는 제1 프레임(F1) 동안 포토 게이트 신호에 동기되어 상기 광원과 상기 대상(OJ)에 반사된 광원 간의 위상차에 기초하여 샘플링된 데이터(Q1-Q4)를 추출한다. 예를 들면, 제1 프레임(F1) 동안 포토 게이트 신호의 주파수가 20MHz라면, 제2 프레임(F2) 동안 포토 게이트 신호의 주파수가 10MHz이다.
S24 단계에서, ISP(150)는 샘플링된 데이터(Q1-Q4)를 이용하여 거리(depth)를 계산한다.
S25 단계에서, 이미지 센서(130)는 제2 프레임(F2) 동안 포토 게이트 신호에 동기되어 상기 광원과 상기 대상(OJ)에 반사된 광원 간의 위상차에 기초하여 샘플링된 데이터(Q1-Q4)를 추출한다. 제1 프레임(F1) 동안 포토 게이트 신호의 주파수는 제2 프레임(F2) 동안 포토 게이트 신호의 주파수보다 2배 더 높다.
실시 예에 따라, S23 단계가 먼저 진행되거나, S25 단계가 먼저 진행될 수 있다.
S26 단계에서, ISP(150)는 샘플링된 데이터(Q1-Q4)를 이용하여 거리(depth)를 계산한다. 계산된 거리(depth)가 측정 가능한 최대 거리(dmax)보다 크다면, 상이 중첩된다. 상이 중첩되면 측정 대상은 측정 가능한 최대 거리(dmax)보다 더 멀리 있다. 예를 들면, 측정 대상은 실제로 B 영역(dmax와 2dmax 사이)에 있지만, 계산상으로 A 영역(0과 dmax 사이)에 있다고 판단될 수 있다.
S27 단계에서, TOF 카메라 장치(100)는 상이 중첩되었는지를 판단한다. 그렇다면, S28 단계를 실행한다. 그렇지 않다면, S29 단계를 실행한다.
S28 단계에서, 만약 상이 중첩되었다면, TOF 카메라 장치(100)는 최종 거리(final_depth)는 측정 가능한 최대 거리(dmax)가 된다. 즉, 본 발명의 제2 실시 예에 따른 TOF 카메라 장치(100)는 측정 가능한 거리(dmax) 내에서 계산한 거리를 디스플레이 장치(200)에서 더욱 정확하게 표현할 수 있다.
S29 단계에서, 만약 상이 중첩되지 않았다면, TOF 카메라 장치(100)는 최종 거리(final_depth)는 상기 계산된 거리(depth)가 된다.
본 발명의 제2 실시 예에 따른 TOF 카메라 장치(100)는 측정 가능한 거리(dmax) 내에서 계산한 거리를 디스플레이 장치(200)에서 더욱 정확하게 표현할 수 있다. 구체적으로, 본 발명의 제2 실시 예에 따른 TOF 카메라 장치(100)는 제1 프레임(F1) 동안, 포토 게이트 신호(PG)에 의하여 계산된 거리 정보와 제2 프레임(F2) 동안, 포토 게이트 신호(PG)에 의하여 계산된 거리 정보를 이용하여 디스플레이 장치(200)에서 더욱 정확한 거리 정보를 표현할 수 있다.
도 14는 도 13에 도시된 TOF 카메라 장치의 구동 방법에 의한 결과를 도시한 그래프이다.
도1, 도 2, 도 13 및 도 14를 참조하면, 본 발명의 실시 예에 따른 TOF 카메라 장치(100)는 제1 및 제2 프레임(F1-F2) 동안, 서로 다른 주파수를 가지는 포토 게이트 신호(PG)를 이용하여 대상(OJ)과의 측정 가능한 거리를 증가시키는 대신, 측정 가능한 거리 내에서 정밀하게 대상(OJ)과의 거리를 측정할 수 있다.
예를 들면, 제1 프레임(F1) 동안, 포토 게이트 신호(PG)가 20MHz를 가진다면, A 영역은 0m에서 7.5m가 된다. 또한, 제2 프레임(F2) 동안, 포토 게이트 신호(PG)가 10MHz를 가진다면, B 영역은 7.5m에서 15m가 된다.
만약 대상(OJ)이 A영역에 있다면, TOF 카메라 장치(100)는 대상(OJ)과의 거리를 계산한다. 그렇지 않고 대상(OJ)이 B영역에 있다면, 대상(OJ)과의 거리는 dmax(즉, 7.5m)로 설정된다. 그리고, TOF 카메라 장치(100)는 제1 프레임(F1) 동안, 계산된 거리 정보와 제2 프레임(F2) 동안, 계산된 거리 정보에 기초하여 대상(OJ)과의 거리를 정밀하게 표현할 수 있다. 따라서, TOF 카메라 장치(100)는 광원(SMSL)의 주파수에 따라 결정된 측정 가능 거리 내에서 정밀하게 대상(OJ)과의 거리를 표현할 수 있다.
도 15는 도 1에 도시된 TOF 카메라 장치를 포함하는 디스플레이 장치(300)의 일 실시 예를 나타낸다.
도 15을 참조하면, 디스플레이 장치(300)는 스마트 TV, 모니터(monitor), 각종 모바일 장치에 장착된 디바이스(display monitor) 등으로 구현될 수 있다.
디스플레이 장치(300)는 도 1에 도시된 TOF 카메라 장치(100)를 포함할 수 있다. 실시 예로서, TOF 카메라 장치(100)는 키넥트(kinect) 장치의 3D depth 카메라로 구현될 수 있다.
또한, 디스플레이 장치(300)는 디스플레이 장치(300)의 전면에 있는 대상을 촬영하기 위한 이미지 센서(image sensor)를 더 포함할 수 있다. 실시 예로서, 이미지 센서는 CMOS 이미지 센서를 포함할 수 있다.
예를 들면, 디스플레이 장치(300)가 스마트 TV라고 하면, 디스플레이 장치(300)에는 다양한 애플리케이션들이 설치될 수 있다. 디스플레이 장치(300)는 TOF 카메라 장치(100)를 입력 수단으로 활용할 수 있다. 예를 들면, 디스플레이 장치(300)의 전면에 있는 대상자의 제스쳐는 애플리케이션에 대한 입력이 될 수 있다.
도 16은 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(410)의 일 실시 예를 나타낸다.
도 16을 참조하면, 컴퓨터 시스템(410)은 스마트 폰(smart-phone), PDA (personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어로 구현될 수 있다.
컴퓨터 시스템(410)은 메모리 장치(411), 메모리 장치(411)을 제어하는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(412), 무선 송수신기(413), 안테나(414), 입력 장치(415) 및 디스플레이 장치(417)를 포함할 수 있다.
무선 송수신기(413)는 안테나(414)를 통하여 무선 신호를 주거나 받을 수 있다. 예컨대, 무선 송수신기(413)는 안테나(414)를 통하여 수신된 무선 신호를 애플리케이션 프로세서(412)에서 처리될 수 있는 신호로 변경할 수 있다.
따라서, 애플리케이션 프로세서(412)는 무선 송수신기(413)로부터 출력된 신호를 처리하고 처리된 신호를 디스플레이 장치(416)로 전송할 수 있다. 또한, 무선 송수신기(413)는 애플리케이션 프로세서(412)으로부터 출력된 신호를 무선 신호로 변경하고 변경된 무선 신호를 안테나(414)를 통하여 외부 장치로 출력할 수 있다.
입력 장치(416)는 애플리케이션 프로세서(412)의 동작을 제어하기 위한 제어 신호 또는 애플리케이션 프로세서(412)에 의하여 처리될 데이터를 입력할 수 있는 장치로서, 터치 패드 (touch pad)와 컴퓨터 마우스(computer mouse)와 같은 포인팅 장치(pointing device), 키패드(keypad), 또는 키보드로 구현될 수 있다.
또한, 컴퓨터 시스템(410)은 대상과의 거리를 측정하기 위한 TOF 카메라 장치(417) 및 정지 영상 또는 동영상을 촬영하기 위한 이미지 센서(418)을 더 포함할 수 있다. 애플리케이션 프로세서(412)는 이미지 센서(418)로부터 수신된 정지 영상 또는 동영상 그리고 대상과의 거리 정보를 디스플레이 장치(416)로 전송할 수 있다.
실시 예에 따라, TOF 카메라 장치(417)는 도 1에 도시된 TOF 카메라 장치(100)로 구현될 수 있다.
도 17은 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(420)의 다른 실시 예를 나타낸다.
도 17을 참조하면, 컴퓨터 시스템(420)은 PC(personal computer), 네트워크 서버(Network Server), 태블릿(tablet) PC(personal computer), 넷-북(net-book), e-리더(e-reader)로 구현될 수 있다.
컴퓨터 시스템(420)은 메모리 장치(421)와 메모리 장치(421)의 데이터 처리 동작을 제어할 수 있는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(422), 입력 장치(423) 및 디스플레이 장치(424)를 포함한다.
애플리케이션 프로세서(422)는 입력 장치(423)를 통하여 입력된 데이터에 따라 메모리 장치(421)에 저장된 데이터를 디스플레이 장치(424)를 통하여 디스플레이할 수 있다. 예컨대, 입력 장치(423)는 터치 패드 또는 컴퓨터 마우스와 같은 포인팅 장치, 키패드, 또는 키보드로 구현될 수 있다. 애플리케이션 프로세서(422)는 컴퓨터 시스템(420)의 전반적인 동작을 제어할 수 있다.
또한, 컴퓨터 시스템(420)은 대상과의 거리를 측정하기 위한 TOF 카메라 장치(425) 및 정지 영상 또는 동영상을 촬영하기 위한 이미지 센서(426)을 더 포함할 수 있다. 애플리케이션 프로세서(422)는 이미지 센서(426)로부터 수신된 정지 영상 또는 동영상 그리고 대상과의 거리 정보를 디스플레이 장치(424)로 전송할 수 있다.
실시 예에 따라, TOF 카메라 장치(425)는 도 1에 도시된 TOF 카메라 장치(100)로 구현될 수 있다.
도 18는 도 1에 도시된 TOF 카메라 장치를 포함하는 컴퓨터 시스템(430)의 또 다른 실시 예를 나타낸다.
도 18을 참조하면, 컴퓨터 시스템(430)은 이미지 처리 장치(Image Process Device), 예컨대 디지털 카메라 또는 디지털 카메라가 부착된 이동 전화기, 스마트 폰(smart phone) 또는 테블릿(tablet) 으로 구현될 수 있다.
컴퓨터 시스템(430)은 메모리 장치(431)와 메모리 장치(431)의 데이터 처리 동작, 예컨대 라이트(write) 동작 또는 리드(read) 동작을 제어할 수 있는 메모리 컨트롤러를 포함하는 애플리케이션 프로세서(432), 입력 장치(433), 이미지 센서(434), 디스플레이 장치(435) 및 TOF 카메라 장치(436)를 포함할 수 있다.
이미지 센서(434)는 광학 이미지를 디지털 신호들로 변환하고, 변환된 디지털 신호들은 애플리케이션 프로세서(432)로 전송된다. 애플리케이션 프로세서(432)의 제어에 따라, 상기 변환된 디지털 신호들은 디스플레이 장치(435)를 통하여 디스플레이되거나 메모리 장치(431)에 저장될 수 있다.
TOF 카메라 장치(436)는 대상과의 거리를 측정할 수 있다. 애플리케이션 프로세서(432)는 거리 정보를 디스플레이 장치(435)로 전송할 수 있다. 또한, 애플리케이션 프로세서(432)는 메모리 장치(431)에 저장된 영상 데이터를 디스플레이 장치(435)로 전송할 수 있다.
실시 예에 따라, TOF 카메라 장치(436)는 도 1에 도시된 TOF 카메라 장치(100)로 구현될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 TOF 카메라 장치 및 이를 포함하는 컴퓨터 시스템에 적용이 가능할 것이다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : TOF 카메라 장치
110 : Light Source
120 : Pulse Generator
130 : Image Sensor
140 : Memory Device
150 : ISP
200 : 디스플레이 장치
410, 420, 430 : 컴퓨터 시스템.

Claims (10)

  1. 펄스 신호 그리고 제1 및 제2 포토 게이트 신호를 생성하는 펄스 생성기;
    상기 펄스 신호에 동기되어 광원을 대상에 조사하는 라이트 소오스; 및
    제1 프레임 동안, 상기 제1 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 제2 프레임 동안, 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하는 이미지 센서를 포함하고,
    상기 펄스 생성기는 하나의 주파수를 사용하기 위하여 상기 펄스 신호를 변형하는 TOF(Time of Flight) 카메라 장치.
  2. 제 1 항에 있어서,
    상기 펄스 신호의 주파수는 상기 제1 포토 게이트 신호의 주파수와 동일하고,
    상기 제1 포토 게이트 신호의 주파수는 상기 제2 포토 게이트 신호의 주파수의 정수배인 TOF 카메라 장치.
  3. 제 1 항에 있어서,
    상기 펄스 생성기는 상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 상기 펄스 신호를 변형하는 TOF(Time of Flight) 카메라 장치.
  4. 제 1 항에 있어서,
    상기 이미지 센서는 상기 광원과 상기 대상에 반사된 광원 사이의 위상차 정보에 기초하여 상기 수신된 광원의 크기 정보를 생성하는 TOF 카메라 장치.
  5. 제 4 항에 있어서,
    상기 크기 정보에 기초하여 상기 대상과의 거리 정보를 생성하는 ISP(Image Signal Processor)를 더 포함하는 TOF 카메라 장치.
  6. 제 5 항에 있어서,
    상기 ISP는 상기 거리 정보를 통하여 상기 대상으로부터 제스쳐를 판단하는 TOF 카메라 장치.
  7. 하나의 주파수를 사용하기 위하여 펄스 신호를 변형하는 단계;
    상기 펄스 신호에 동기되어 광원을 대상에 조사하는 단계;
    제1 프레임 동안, 제1 포토 게이트 신호에 동기되어 대상에 반사된 광원을 수신하고, 상기 반사된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계;
    제2 프레임 동안, 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 상기 수신된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계;
    상(phase)이 중첩되었는가를 판단하는 단계; 및
    만약 상기 상이 중첩되었으면, 상기 계산된 거리에 최대 측정 거리를 더하는 단계를 포함하는 TOF 카메라 장치의 구동 방법.
  8. 제 7 항에 있어서,
    상기 하나의 주파수를 사용하기 위하여 펄스 신호를 변형하는 단계는
    상기 제1 및 제2 프레임을 하나의 주기로 만들기 위하여 상기 펄스 신호를 변형하는 단계를 포함하는 TOF 카메라 장치의 구동 방법.
  9. 제 7 항에 있어서,
    상기 제1 프레임 동안, 상기 제1 포토 게이트 신호에 동기되어 대상에 반사된 광원을 수신하고, 상기 반사된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계는,
    상기 광원과 상기 반사된 광원 사이의 위상차 정보에 기초하여 상기 광원의 크기 정보를 추출하는 단계; 및
    상기 추출된 크기 정보에 기초하여 상기 대상과의 거리를 계산하는 단계를 포함하는 TOF 카메라 장치의 구동 방법.
  10. 제 9 항에 있어서,
    상기 제2 프레임 동안, 상기 제2 포토 게이트 신호에 동기되어 상기 대상에 반사된 광원을 수신하고, 상기 수신된 광원에 기초하여 상기 대상과의 거리를 계산하는 단계는,
    상기 광원과 상기 반사된 광원 사이의 위상차 정보에 기초하여 상기 광원의 크기 정보를 추출하는 단계; 및
    상기 추출된 크기 정보에 기초하여 상기 대상과의 거리를 계산하는 단계를 포함하는 TOF 카메라 장치의 구동 방법.
KR1020140007924A 2014-01-22 2014-01-22 티오에프 카메라 장치 및 이의 구동 방법 KR102159994B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140007924A KR102159994B1 (ko) 2014-01-22 2014-01-22 티오에프 카메라 장치 및 이의 구동 방법
US14/528,033 US9903941B2 (en) 2014-01-22 2014-10-30 Time of flight camera device and method of driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140007924A KR102159994B1 (ko) 2014-01-22 2014-01-22 티오에프 카메라 장치 및 이의 구동 방법

Publications (2)

Publication Number Publication Date
KR20150087696A true KR20150087696A (ko) 2015-07-30
KR102159994B1 KR102159994B1 (ko) 2020-09-25

Family

ID=53544589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140007924A KR102159994B1 (ko) 2014-01-22 2014-01-22 티오에프 카메라 장치 및 이의 구동 방법

Country Status (2)

Country Link
US (1) US9903941B2 (ko)
KR (1) KR102159994B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204291A1 (ko) * 2019-04-04 2020-10-08 삼성전자 주식회사 전자 장치 및 그의 발열 제어 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050816A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、及び、照明システム
EP3171199B9 (en) * 2015-11-23 2018-10-24 ams AG Sensor arrangement and method for determining time-of-flight
US9584105B1 (en) 2016-03-10 2017-02-28 Analog Devices, Inc. Timing generator for generating high resolution pulses having arbitrary widths
TWI585436B (zh) * 2016-05-19 2017-06-01 緯創資通股份有限公司 深度資訊量測方法及裝置
JP6673084B2 (ja) * 2016-08-01 2020-03-25 株式会社デンソー 光飛行型測距装置
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
DE102017105142B4 (de) 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
CN112702541B (zh) * 2018-08-22 2023-04-18 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
KR20200039402A (ko) 2018-10-05 2020-04-16 삼성전자주식회사 복조 대비 성능을 향상시키기 위한 픽셀 구조를 포함하는 이미지 센서 및 이미지 처리 시스템
CN109819238B (zh) * 2019-02-22 2021-06-22 北京旷视科技有限公司 Tof图像采集模块的工作频率调节方法、装置和电子系统
JP7244518B2 (ja) 2019-03-21 2023-03-22 京東方科技集團股▲ふん▼有限公司 表示装置、電子デバイス及び表示装置の駆動方法
KR20210055821A (ko) 2019-11-07 2021-05-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템
KR102426744B1 (ko) 2020-12-10 2022-07-29 주식회사 리페어코리아 Tof 카메라와 머신러닝 알고리즘을 활용한 자율주행 팔로잉 모빌리티의 동작 방법
KR20220154548A (ko) * 2021-05-13 2022-11-22 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
US11922648B2 (en) 2021-05-13 2024-03-05 Samsung Electronics Co., Ltd Method for providing image and electronic device supporting the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US20120257186A1 (en) * 2011-04-07 2012-10-11 Riegl Laser Measurement Systems Gmbh Method for Measuring Distances

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001527456A (ja) 1997-05-23 2001-12-25 ザ・カロライナス・ハート・インスティテュート 電磁式画像処理装置及び診断装置
JP4213327B2 (ja) 1999-07-12 2009-01-21 富士フイルム株式会社 光源方向と３次元形状の推定方法および装置並びに記録媒体
US8294809B2 (en) 2005-05-10 2012-10-23 Advanced Scientific Concepts, Inc. Dimensioning system
US7193720B2 (en) 2005-05-17 2007-03-20 Lockheed Martin Coherent Technologies, Inc. Optical vibration imager
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
KR20110011244A (ko) 2009-07-28 2011-02-08 엘지이노텍 주식회사 Ｔｏｆ 카메라

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137989A (ja) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US20120257186A1 (en) * 2011-04-07 2012-10-11 Riegl Laser Measurement Systems Gmbh Method for Measuring Distances

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020204291A1 (ko) * 2019-04-04 2020-10-08 삼성전자 주식회사 전자 장치 및 그의 발열 제어 방법

Also Published As

Publication number Publication date
US20150204970A1 (en) 2015-07-23
US9903941B2 (en) 2018-02-27
KR102159994B1 (ko) 2020-09-25

Similar Documents

Publication Publication Date Title
KR102159994B1 (ko) 티오에프 카메라 장치 및 이의 구동 방법
CN107615778B (zh) 音频检测系统及方法
KR101862914B1 (ko) 거리 감지 카메라로부터의 데이터에서 노이즈를 제거하기 위한 방법 및 장치
KR102178978B1 (ko) 스테레오 매칭 방법 및 이를 수행하는 장치
CN110088711B (zh) 磁干扰检测与校正
US9848181B2 (en) Hand-held electronic apparatus, image capturing apparatus and method for obtaining depth information
JP6019795B2 (ja) レーダ装置、目標データ取得方法及び、目標追尾システム
US9869768B2 (en) Device for detecting distance and apparatus for processing images comprising same
JP2016183922A (ja) 距離画像取得装置及び距離画像取得方法
EP3552044B1 (en) Time-of-flight imaging apparatus and method
US20170178294A1 (en) Code filters for coded light depth acquisition in depth images
KR102014146B1 (ko) 거리 검출 장치, 및 이를 구비하는 영상처리장치
US10856108B2 (en) System and method of locating a radio frequency (RF) tracking device using a calibration routine
KR102523266B1 (ko) 디스플레이 장치, 디스플레이 시스템 및 그 제어방법
US20170074983A1 (en) Non-contact optical sensing device and method for sensing depth of an object in three-dimensional space
CN111751786B (zh) 声波测量方法、装置、设备及存储介质
Schönlieb et al. Stray-light mitigation for under-display time-of-flight imagers
JP7161684B2 (ja) データ取得装置、及びデータ処理方法
US9995823B2 (en) Systems and methods for utilizing compressed sensing in an entertainment system
EP4316365A1 (en) Determining velocity from speckle images
US11686828B2 (en) Method and apparatus for compensating stray light caused by an object in a scene that is sensed by a time-of-flight camera
WO2022195969A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Liang et al. Accurate 3D reconstruction using multi-phase ToF camera
KR20220083059A (ko) Tof 카메라 장치와 그 구동방법
KR20200077357A (ko) 측정시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant