KR102610830B1 - 거리 정보를 획득하는 방법 및 디바이스 - Google Patents

거리 정보를 획득하는 방법 및 디바이스 Download PDF

Info

Publication number
KR102610830B1
KR102610830B1 KR1020150186778A KR20150186778A KR102610830B1 KR 102610830 B1 KR102610830 B1 KR 102610830B1 KR 1020150186778 A KR1020150186778 A KR 1020150186778A KR 20150186778 A KR20150186778 A KR 20150186778A KR 102610830 B1 KR102610830 B1 KR 102610830B1
Authority
KR
South Korea
Prior art keywords
projection
subject
light
lights
distance information
Prior art date
Application number
KR1020150186778A
Other languages
English (en)
Other versions
KR20170076477A (ko
Inventor
박용화
윤희선
이지산
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150186778A priority Critical patent/KR102610830B1/ko
Priority to US15/209,123 priority patent/US10509125B2/en
Publication of KR20170076477A publication Critical patent/KR20170076477A/ko
Application granted granted Critical
Publication of KR102610830B1 publication Critical patent/KR102610830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Abstract

디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광을 제어하여 오차를 효율적으로 감소시킬 수 있는 거리 정보 획득 방법이 제공된다.

Description

거리 정보를 획득하는 방법 및 디바이스 {Method and device for acquiring distance information}
개시된 내용은 거리 정보를 획득하는 디바이스가 거리 정보를 획득하는 방법에 관한 것으로, 더욱 상세하게는 디바이스가 3차원 영상을 획득하는 방법에 관한 것이다.
최근, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라와 같은 3차원 영상 획득 장치가 연구되고 있다. 이러한 3D 카메라는 한번의 촬영으로 기존의 2차원 컬러 영상 정보와 함께 깊이(depth) 정보도 얻을 수 있어야 한다.
피사체의 표면들과 3D 카메라 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.
이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 획득하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 소개되어 있다.
디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광을 제어하여 오차를 효율적으로 감소시킬 수 있는 거리 정보 획득 방법이 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 디바이스가 피사체에 대한 정보를 획득하는 방법에 있어서, 상기 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 상기 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정하는 단계; 상기 투사광의 투사 순서에 따라 상기 N개의 상이한 투사광을 상기 피사체에 순차적으로 투사하는 단계; 상기 피사체에서 반사된 N개의 반사광을 변조(modulation)하여 N개의 변조된 반사광을 획득하는 단계; 및 상기 N개의 변조된 반사광을 이용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는 상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 투사광의 투사 순서를 결정할 수 있다.
또한, 상기 디바이스 및 상기 피사체간의 거리 정보는 실시간으로 획득될 수 있다.
또한, 상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는 상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 피사체에 대한 모션 블러(motion blur)를 최소화시키기 위한 상기 투사광의 투사 순서를 결정할 수 있다.
또한, 상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는 기설정된 복수개의 투사 순서들 중에서 상기 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 상기 투사광의 투사 순서로 결정할 수 있다.
또한, 상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함할 수 있다.
또한, 상기 피사체에서 반사된 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득하는 단계는 이득 파형을 갖는 광변조 신호를 이용해 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득할 수 있다.
또한, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
또한, 상기 N의 상이한 투사광은 서로 위상이 상이하고, 상기 N개의 상이한 투사광 사이에 360도를 N 등분한 위상차가 존재할 수 있다.
또한, 상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는 사용자의 입력에 기초하여 결정된 외부 수신 입력에 기초하여 상기 투사광의 투사 순서를 결정할 수 있다.
또한, 본 개시의 제 2 측면은, 피사체에 대한 정보를 획득하는 디바이스에 있어서, 상기 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 상기 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정하는 투사광 제어부; 상기 투사광의 투사 순서에 따라 상기 N개의 상이한 투사광을 상기 피사체에 순차적으로 투사하는 광원; 상기 피사체에서 반사된 N개의 반사광을 변조(modulation)하여 N개의 변조된 반사광을 획득하는 변조부(modulator); 및 상기 N개의 변조된 반사광을 이용하여 상기 피사체에 대한 거리 정보를 획득하는 제어부를 포함할 수 있다.
또한, 상기 투사광 제어부는 상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 투사광의 투사 순서를 결정할 수 있다.
또한, 상기 디바이스 및 상기 피사체간의 거리 정보는 실시간으로 획득될 수 있다.
또한, 상기 투사광 제어부는 상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 피사체에 대한 모션 블러(motion blur)를 최소화시키기 위한 상기 투사광의 투사 순서를 결정할 수 있다.
또한, 상기 투사광 제어부는 기설정된 복수개의 투사 순서들 중에서 상기 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 상기 투사광의 투사 순서로 결정할 수 있다.
또한, 상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함할 수 있다.
또한, 상기 변조부는 이득 파형을 갖는 광변조 신호를 이용해 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득할 수 있다.
또한, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
또한, 상기 N의 상이한 투사광은 서로 위상이 상이하고, 상기 N개의 상이한 투사광 사이에 360도를 N 등분한 위상차가 존재할 수 있다.
또한, 본 개시의 제 3 측면은 제 1 측면의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 제공할 수 있다.
디바이스가 피사체에 대한 거리 정보를 획득함에 있어서, 투사하는 투사광을 제어함으로써, 오차를 효율적으로 감소시킬 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 획득할 수 있는 디바이스의 예시적인 구조를 개략적으로 도시한다.
도 2는 N개의 상이한 반사광을 변조한 후 촬상소자에서 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 3은 하나의 동일한 투사광과 N개의 상이한 광변조 신호로 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 4는 위상이 서로 상이한 4개의 투사광으로 4개의 상이한 영상을 생성하고, 생성된 4개의 상이한 영상을 이용하여 거리 정보를 획득하는 방법을 도시한다.
도 5는 반사광 및 광변조 신호를 이용하여 CIS(Contact Image Sensors) 이미지를 획득하는 방법을 도시한다.
도 6은 위상이 서로 상이한 4개의 투사광의 일 예를 도시한다.
도 7은 피사체가 움직일 경우 위상이 서로 상이한 4개의 투사광에 의해 획득되는 영상의 밝기 변화를 나타내는 도면이다.
도 8은 피사체가 움직일 경우 투사되는 투사광의 순서를 제어하여 거리 정보를 획득하는 일례를 도시한다.
도 9는 피사체가 움직일 경우 투사되는 투사광의 순서를 제어하여 거리 정보를 획득하는 다른 예를 도시한다.
도 10은 피사체와 디바이스간의 거리에 따라 투사광의 투사 순서를 결정하는 방법을 설명하기 위한 도면이다.
도 11은 피사체와 디바이스간의 거리에 따라 투사광의 순서를 제어하여 거리 정보를 획득하는 일례를 나타내는 도면이다.
도 12는 일 실시 예에 따른 디바이스의 구성을 설명하기 위한 블록도이다.
도 13은 투사광의 제어를 통해 거리 정보를 획득하는 디바이스의 예시적인 구조를 개략적으로 도시한다.
도 14는 일 실시 예에 따른 디바이스가 N개의 투사광을 이용하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
도 15는 일 실시 예에 따른 디바이스가 N개의 위상이 상이한 투사광을 이용하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
도 16는 일 실시 예에 따른 디바이스가 외부 수신 입력에 기초하여 결정된 투사광의 투사 순서를에 따라 상이한 투사광을 투사하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서 “거리(distance)”란 공간적으로 떨어진 길이를 의미할 수 있으며, “깊이(depth)”는 거리의 일종일 수 있다. 예를 들면, 거리 정보(distance information)는 깊이 정보(depth information)를 포함할 수 있다.
명세서 전체에서 이미지(image)는 CCD(Charge Coupled Device) 이미지 및 CIS(Contact Image Sensors 또는 CMOS Image Sensors) 이미지를 포함하나 이에 제한되지 않는다.
이하, '영상'은 비디오의 정지영상 또는 이미지이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다.
이하, 첨부된 도면들을 참조하여, 거리 정보 획득 방법 및 디바이스에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
도 1은 광시간비행법(TOF)을 이용하여 거리 정보를 획득할 수 있는 일 실시예에 따른 디바이스(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 디바이스(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광변조하기 위한 광변조기(103), 광변조기(103)를 구동시키기 위한 광변조기 구동부(104), 광변조기(103)에 의해 광변조된 광으로부터 영상을 생성하는 촬상소자(105), 촬상소자(105)의 출력을 기초로 거리 정보를 계산하기 위한 거리 정보 영상 처리부(distance image processor)(107), 및 상기 광원 구동부(102), 광변조기 구동부(104), 촬상소자(105), 거리 정보 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광변조기(103)의 광입사면에는 반사광을 광변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 더 배치될 수 있다. 그리고, 광변조기(103)와 촬상소자(105) 사이에는 광변조된 영상을 촬상소자(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.
광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 800nm 내지 약 1100nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
광변조기(103)는 피사체(200)로부터 반사된 광을 광변조기 구동부(104)의 제어에 따라 광변조한다. 광변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광변조기(103)를 구동시킨다. 예를 들어, 광변조기(103)는 광변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광변조기(103)는 가변 이득을 갖는다. 광변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광변조기를 사용하는 것도 가능하다.
촬상소자(105)는 광변조기(103)에 의해 광변조된 반사광을 제어부(106)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상소자(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 촬상소자(105)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상소자(105)는 2차원 어레이를 갖는 CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary metal oxide semiconductor) 이미지 센서일 수도 있다. 거리 정보 영상 처리부(107)는 촬상소자(105)의 출력을 기초로, 거리 정보 획득 알고리즘에 따라 거리 정보를 계산하는 역할을 한다. 거리 정보 획득 알고리즘은 기설정되어 있을 수 있다. 거리 정보 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 디바이스(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 거리 정보 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는, 상술한 구조를 갖는 디바이스(100)의 동작을 개략적으로 설명한다.
먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 N개의 상이한 투사광을 차례로 피사체(200)에 투사한다. 여기서 N은 3 이상의 자연수일 수 있다. 예를 들어, 4개의 상이한 투사광을 사용하는 경우, 시간 T1 동안 투사광1을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광2를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광3을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광1 내지 투사광4는 동일한 주기 및 파형을 가지면서 크기 또는 위상만이 서로 다른 주기파(periodic wave)일 수 있다. 다른 예로, 투사광1 내지 투사광4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 투사광1 내지 투사광4는 위상이 90도씩 차이날 수 있고 이 경우, 투사광1의 위상이 투사광2 보다 90도 느리고, 투사광2의 위상이 투사광3 보다 90도 느리고, 투사광3의 위상이 투사광4 보다 90도 느릴 수 있다. 또는 이 경우, 투사광1의 위상이 투사광2 보다 90도 빠르고, 투사광2의 위상이 투사광3 보다 90도 빠르고, 투사광3의 위상이 투사광4 보다 90도 빠를 수 있다.
피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 디바이스(100)로부터의 거리, 즉 거리(distance)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 거리가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 거리가 상이한 5개의 표면(P1~P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광1이 발생하며, 투사광2가 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광2가 발생하고, 마찬가지로 투사광N도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광N이 발생한다. 디바이스(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 ΦP1 만큼의 시간 지연 후 제 1 렌즈(108)에 도달하고, 디바이스(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 ΦP1보다 작은 ΦP5 만큼의 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.
제 1 렌즈(108)는 반사광을 광변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 광변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 광변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 광변조기(103)로 포커싱될 수도 있다.
그러면, 광변조기(103)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 광변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 광변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광1을 광변조하여 촬상소자(105)에 제공하고, 이어서 5개의 반사광2 내지 5개의 반사광N을 차례로 광변조하여 촬상소자(105)에 제공할 수 있다.
광변조기(103)에 의해 크기가 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상소자(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 촬상소자(105)의 영역 내에 집광된다. 촬상소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 영상을 생성한다. 예를 들어 촬상소자(105)는, 도 2에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광1을 소정의 노출 시간 동안 수광하여 영상1을 생성한다. 이어서, 도 2에서 (B)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광2를 소정의 노출 시간 동안 수광하여 영상2를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 2에서 (C)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광N을 소정의 노출 시간 동안 수광하여 영상N을 생성한다. 이러한 방식으로, 도 2에서 (D)로 표시된 바와 같이, N 개의 상이한 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 영상1~N은 거리 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, N개의 영상1~N의 각각을 얻기 위한 촬상소자(105)에서의 노출 시간은 대략적으로 Td/N일 수 있다.
다시 도 2의 (A)를 참조하면, 첫번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 반사광1이 생성된다. 5개의 반사광1은 광변조기(103)에 의해 변조된 후 촬상소자(105)에 도달한다. 도 2에는, 설명의 용이함을 위해 촬상소자(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 따라서, 5개의 반사광1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 2의 (A)에 도시된 바와 같이, 각각의 표면(P1~P5)에서 반사된 5개의 반사광1은 디바이스(100)로부터 표면(P1~P5)까지의 거리에 따라 상이한 위상 지연(ΦP1~ΦP5)을 각각 갖는다. 촬상소자(105)는 예컨대 대략 Td/N의 노출 시간 동안 반사광1을 촬영하여 영상1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 N번째 서브 프레임까지 영상2 내지 영상N이 생성될 수 있다. 도 2의 (B) 및 (C)에 도시된 바와 같이, 2~N번째 서브 프레임에서도 거리가 다른 5개의 표면(P1~P5)으로부터 상이한 위상 지연(ΦP1~ΦP5)이 발생한다.
도 2에서는 N개의 상이한 투사광과 반사광을 사용하여 서로 다른 N개의 영상을 생성하는 경우에 대해 설명하였다. 그러나, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 3은 하나의 동일한 투사광과 N개의 상이한 이득 파형으로 N개의 상이한 영상을 생성하는 과정을 도시하고 있다. 도 3을 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(ΦP1~ΦP5)들이 존재한다. 도 3의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광변조기(103)는 광변조 신호1로 반사광을 변조하며, 두 번째 서브 프레임에서 광변조기(103)는 광변조 신호1과 다른 광변조 신호2로 반사광을 변조하고, N 번째 서브 프레임에서 광변조기(103)는 또 다른 광변조 신호N으로 반사광을 변조한다. 여기서, 광변조 신호1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 도 3의 (D)에 각각 도시된 바와 같이, 서로 다른 N개의 영상1~N을 얻을 수 있다.
상술한 방식으로 얻은 N개의 영상들은 거리 정보 영상 처리부(107)로 전달된다. 거리 정보 영상 처리부(107)는 상기 N개의 영상들을 이용하여 기설정된 알고리즘에 따라 거리 정보를 획득할 수 있다. 예를 들면 디바이스(100)는 평균화 알고리즘을 이용하여 거리 정보를 획득할 수 있다.
도 4는 위상이 서로 상이한 4개의 투사광으로 4개의 상이한 영상을 생성하고, 생성된 4개의 상이한 영상을 이용하여 거리 정보를 획득하는 방법을 도시한다.
제1 부분(410)에서 확인할 수 있는 바와 같이, 일 실시 예에 따른 디바이스(100)는 순차적인 촬영을 통해 4장의 강도 이미지(intensity image)를 획득할 수 있다. 예를 들면 일 실시 예에 따른 디바이스(100)는 위상차가 0도인 강도 이미지인
Figure 112015127161110-pat00001
, 위상차가 90도인 강도 이미지인
Figure 112015127161110-pat00002
, 위상차가 180도인 강도 이미지인
Figure 112015127161110-pat00003
및 위상차가 270도인 강도 이미지인
Figure 112015127161110-pat00004
를 획득할 수 있다. 일 실시 예에 따른 디바이스(100)는 움직임 평균(moving average)를 이용하여 4개의 CIS 이미지를 획득할 수 있다. 본 명세서에서 변조된 영상의 표시를 CIS 이미지로 표시하였지만, 촬상 소자(105)는 CIS로 한정되지 않는다.
일 실시 예에 따른 디바이스(100)는 [수학식 1]과 같은 순서로 4개의 이미지를 획득할 수 있다.
Figure 112015127161110-pat00005
일 실시 예에 따른 디바이스(100)는 2개의 새로운 이미지를 획득하고, 2개의 기존 이미지를 순차적으로 제거하는 방식으로 [수학식 2]와 같이 4개 이미지의 조합을 획득할 수 있다.
Figure 112015127161110-pat00006
(여기서 p는 임의의 수)
예를 들면, 일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지가
Figure 112015127161110-pat00007
인 경우, 앞에 획득한 2개의 이미지를 순차적으로 제거하고 새로운 이미지 두개를 획득하여
Figure 112015127161110-pat00008
의 4개 이미지 조합을 획득할 수 있다. 예를 들면, 제1 이미지(411)는 제거되고, 제 2 이미지(413)는 추가될 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지가
Figure 112015127161110-pat00009
인 경우, 앞에 획득한 2개의 이미지를 순차적으로 제거하고 새로운 이미지 두개를 획득하여
Figure 112015127161110-pat00010
의 4개 이미지 조합을 획득할 수 있다.
일 실시 예에 따른 디바이스(100)는 현재 획득한 4개의 이미지(412)를 이용하여 [수학식 3]에서와 같이 깊이 영상을 획득할 수 있다. 현재 획득한 4개의 이미지(412)는 4개의 강도 이미지를 포함할 수 있다.
구체적으로, 제2 부분(422)에서 확인할 수 있는 바와 같이, 일 실시 예에 따른 디바이스(100)는
Figure 112015127161110-pat00011
-
Figure 112015127161110-pat00012
로 나타내어지는 제1 중간 이미지(421) 및
Figure 112015127161110-pat00013
-
Figure 112015127161110-pat00014
로 나타내어지는 제2 중간 이미지(422)를 획득할 수 있다. 또한, 제3 부분(430)에서 확인할 수 있는 바와 같이 일 실시 예에 따른 디바이스(100)는 제1 중간 이미지(421) 및 제2 중간 이미지(422)를 이용하여 깊이 이미지(431)를 획득할 수 있다.
Figure 112015127161110-pat00015
따라서, 일 실시 예에 따른 디바이스(100)는 2장의 IR 이미지를 획득하는 시간에 1장의 깊이 이미지를 획득할 수 있다.
도 5는 반사광 및 광변조 신호를 이용하여 CIS(Contact Image Sensors) 이미지를 획득하는 방법을 도시한다. 도 5에서 IR 광의 광처리 과정이 설명될 수 있다.
본 명세서에서,
Figure 112015127161110-pat00016
는 S번째 투사광의 광출력(s-th emitting light optical power),
Figure 112015127161110-pat00017
는 S번째 투사광의 위상차(phase shift of the s-th emitting light),
Figure 112015127161110-pat00018
는 출력광의 DC 오프셋 (emitting light DC offset),
Figure 112015127161110-pat00019
는 S번째 수신된 반사광의 광출력(s-th receiving light optical power),
Figure 112015127161110-pat00020
는 수신된 외광(receiving ambient light), r은 피사체 표면의 광 감쇠(light attenuation of the object surface), G는 셔터 이득(shutter gain),
Figure 112015127161110-pat00021
는 셔터 이득 DC 오프셋(shutter gain DC offset), w는 동작 주파수(operationg frequency),
Figure 112015127161110-pat00022
는 TOF(Time of Flight)에 따른 위상 지연(phase delay due to TOF)을 의미할 수 있다.
S번째 투사광의 광출력은 [수학식 4]와 같이 표현될 수 있다.
Figure 112015127161110-pat00023
여기서 rect는 구형파(AC)에 DC 성분이 더해진 형태일 수 있다.
필터를 통과한 후의 반사광(
Figure 112015127161110-pat00024
)은 [수학식 5]와 같이 표현될 수 있다. 필터를 통과한 후의 반사광은 피사체의 표면에서 반사되어 돌아오므로, 물체의 표면 반사도, 렌즈의 크기 등이 종합적으로 고려된 반사도인 r이 곱해진 형태이고, TOF에 의한 위상차가 존재하고, 외광이 존재할 수 있다.
Figure 112015127161110-pat00025
셔터의 변조 파형(Gain)은 [수학식 6]과 같이 표현될 수 있다.
Figure 112015127161110-pat00026
예를 들면, 셔터의 변조 파형(G(t))은 사인파(AC)에 DC 성분이 더해진 형태일 수 있다.
촬영 소자(105)에 도달하는 광은 [수학식 7]과 같이 표현될 수 있다.
Figure 112015127161110-pat00027
촬영 소자(105)로부터 획득되는 이미지는 [수학식 8]과 같이 표현될 수 있다.
Figure 112015127161110-pat00028
상술된 [수학식 8]로부터 연속으로 획득되는 4장의 이미지가 [수학식 9] 내지 [수학식 12]로 표현될 수 있다.
Figure 112015127161110-pat00029
Figure 112015127161110-pat00030
Figure 112015127161110-pat00031
Figure 112015127161110-pat00032
또한, [수학식 9] 내지 [수학식 12]는 [수학식 13]의 조건을 만족할 수 있다.
Figure 112015127161110-pat00033
[수학식 4]에서 표현된 S번째 투사광의 광출력이 삼각파(sine)로 구현되는 경우에도 상술된 수식 전개가 가능하며, 이 경우 결과적으로 A가 상이한 값(A’)이 될 수 있다. 예를 들면, A’은 [수학식 14]와 같이 표현될 수 있다.
Figure 112015127161110-pat00034
상술된 [수학식 9] 내지 [수학식 12]에서 미지수인 r, A, B를 소거하여 에 대해서 풀면, 상술된 [수학식 3] 또는 아래의 [수학식 15]와 같은 깊이에 의한 위상차를 획득할 수 있다.
Figure 112015127161110-pat00035
상술된 [수학식 9] 내지 [수학식 15]는 정지 영상의 경우에 적용할 수 있다. 예를 들면, 상술된 [수학식 9] 내지 [수학식 15]는 움직임이 없는 피사체에 대해서 적용이 가능하다.
또한, [수학식 3] 및 [수학식 15]로부터 [수학식 16]을 획득할 수 있다.
Figure 112015127161110-pat00036
도 6은 위상이 서로 상이한 4개의 투사광의 일 예를 도시한다.
일 실시 예에 따른 서로 상이한 4개의 투사광은 제1 투사광(610), 제2 투사광(620), 제3 투사광(630) 및 제4 투사광(640)일 수 있다. 제1 투사광 내지 제4 투사광은 위상이 90도씩 차이날 수 있다. 예를 들면, 제1 투사광(610)의 위상차(phase delay)는 0도이고, 제2 투사광(620)의 위상차(phase delay)는 90도이고, 제3 투사광(630)의 위상차(phase delay)는 180도이고, 제4 투사광(640)의 위상차(phase delay)는 270도일 수 있다.
일 실시 예에 따른 셔터의 변조 파형(G(t))(650)은 사인파(AC)에 DC 성분이 더해진 형태일 수 있다.
도 7은 피사체가 움직일 경우 위상이 서로 상이한 4개의 투사광에 의해 획득되는 영상의 밝기 변화를 나타내는 도면이다.
시간의 흐름에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기가 변경될수 있다. 예를 들면, i번째 프레임(710)의 밝기가 I인 경우 시간이 경과하면 i+1번째 프레임(720)의 밝기가 I+Δ일 수 있다. 연속으로 촬영되어 획득되는 i번째 프레임(710)의 밝기와 i+1번째 프레임(720)의 밝기가 상이할 수 있다.
제1 투사광(610)의 위상차(phase delay)는 0도이고, 제2 투사광(620)의 위상차(phase delay)는 90도이고, 제3 투사광(630)의 위상차(phase delay)는 180도이고, 제4 투사광(640)의 위상차(phase delay)는 270도일 때, 제1 투사광(610) 내지 제4 투사광(640)이 순차적으로 피사체에 투사되는 경우에 대해 설명한다.
일 실시 예에 따라, 시간의 경과에도 불구하고 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 없는 경우, 제1 투사광(610)에 의해 획득되는 제1 프레임(731), 제2 투사광(620)에 의해 획득되는 제2 프레임(732), 제3 투사광(630)에 의해 획득되는 제3 프레임(733) 및 제4 투사광(640)에 의해 획득되는 제4 프레임(734)의 밝기는 동일할 수 있다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 제1 투사광(610)에 의해 획득되는 제1 프레임(741), 제2 투사광(620)에 의해 획득되는 제2 프레임(742), 제3 투사광(630)에 의해 획득되는 제3 프레임(743) 및 제4 투사광(640)에 의해 획득되는 제4 프레임(744)의 밝기는 상이할 수 있다. 예를 들면, 제1 프레임(741)에서 제4 프레임(744)으로 갈수록 밝아질 수 있다. 일 예로, 제1 프레임(741)의 밝기가 I인 경우, 제2 프레임(742)의 밝기는 I+Δ이고, 제3 프레임(743)의 밝기는 I+2Δ이고, 제4 프레임(744)의 밝기는 I+3Δ일 수 있다. 밝기의 변화는 피사체에 조사되는 빛의 변화나 피사체가 움직이는 경우 발생할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 상술된 [수학식 9] 내지 [수학식 12]는 [수학식 17]로 표현될 수 있다.
Figure 112015127161110-pat00037
[수학식 17]을 반영하면 상술된 [수학식 16]은 [수학식 18]로 표현될 수 있다.
Figure 112015127161110-pat00038
[수학식 18]에 개시된 바와 같이 밝기 변화율 Δ는 [수학식 18]의 분모 및 분자에 서로 다른 부호로 개입하게 되어 있어서, 깊이 계산에 오차를 발생시킨다. 따라서 밝기 변화율인 Δ가 클수록 또는 피사체의 움직임이 클수록 모션 블러(motion blur)가 커질 수 있다.
일 실시 예에 따른 디바이스(100)는 투사되는 투사광의 순서를 제어하여 모션 블러가 감소된 거리 정보를 획득할 수 있다.
도 8은 피사체가 움직일 경우 투사되는 투사광의 순서를 제어하여 거리 정보를 획득하는 일례를 도시한다.
일 실시 예에 따른 디바이스(100)는 투사광의 순서를 제어할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 투사광들간의 투사 순서를 상호 변경할 수 있다. 일 예로, 일 실시 예에 따른 디바이스(100)는 제2 투사광(620)과 제4 투사광(640)의 투사 순서를 바꾸어, 제1 투사광(610), 제4 투사광(640), 제3 투사광(630) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
일 예에 따라, 디바이스(100)가 투사광의 순서를 제어하여, 제1 투사광(610), 제4 투사광(640), 제3 투사광(630) 및 제2 투사광(620)의 순서로 순차적으로 피사체에 투사하는 경우에 대해 설명한다.
일 실시 예에 따라, 시간의 경과에도 불구하고 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 없는 경우, 제1 투사광(610)에 의해 획득되는 제1 프레임(810), 제4 투사광(640)에 의해 획득되는 제2 프레임(820), 제3 투사광(630)에 의해 획득되는 제3 프레임(830) 및 제2 투사광(620)에 의해 획득되는 제4 프레임(840)의 밝기는 동일할 수 있다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 제1 투사광(610)에 의해 획득되는 제1 프레임(850), 제4 투사광(640)에 의해 획득되는 제2 프레임(860), 제3 투사광(630)에 의해 획득되는 제3 프레임(870) 및 제2 투사광(620)에 의해 획득되는 제4 프레임(880)의 밝기는 상이할 수 있다. 예를 들면, 제1 프레임(850)에서 제4 프레임(880)으로 갈수록 밝아질 수 있다. 일 예로, 제1 프레임(850)의 밝기가 I인 경우, 제2 프레임(860)의 밝기는 I+Δ이고, 제3 프레임(870)의 밝기는 I+2Δ이고, 제4 프레임(880)의 밝기는 I+3Δ일 수 있다. 밝기의 변화는 피사체에 조사되는 빛의 변화나 피사체가 움직이는 경우 발생할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 상술된 [수학식 9] 내지 [수학식 12]는 [수학식 19]로 표현될 수 있다.
Figure 112015127161110-pat00039
[수학식 19]를 반영하면 상술된 [수학식 16]은 [수학식 20]으로 표현될 수 있다.
Figure 112015127161110-pat00040
[수학식 20]에서 확인할 수 있는 바와 같이 밝기 변화율 Δ는 [수학식 20]의 분모 분자에 서로 같은 부호로 개입하게 되어 있어서, 디바이스(100)는 투사광의 투사 순서를 제어하여, 깊이 계산 결과의 오차를 [수학식 18]의 경우보다 작게 함으로써 모션 블러 효과를 감소시킬 수 있다.
도 9는 피사체가 움직일 경우 투사되는 투사광의 순서를 제어하여 거리 정보를 획득하는 다른 예를 도시한다.
일 실시 예에 따른 디바이스(100)는 투사광의 순서를 제어할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 투사광의 위상차를 전체적으로 시프트(shift)시킬 수 있다. 일 예로, 일 실시 예에 따른 디바이스(100)는 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
일 예에 따라, 디바이스(100)가 투사광의 순서를 제어하여, 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 피사체에 투사하는 경우에 대해 설명한다.
일 실시 예에 따라, 시간의 경과에도 불구하고 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 없는 경우, 제2 투사광(620)에 의해 획득되는 제1 프레임(910), 제3 투사광(630)에 의해 획득되는 제2 프레임(920), 제4 투사광(640)에 의해 획득되는 제3 프레임(930) 및 제1 투사광(610)에 의해 획득되는 제4 프레임(940)의 밝기는 동일할 수 있다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 제2 투사광(620)에 의해 획득되는 제1 프레임(950), 제3 투사광(630)에 의해 획득되는 제2 프레임(960), 제4 투사광(640)에 의해 획득되는 제3 프레임(970) 및 제1 투사광(610)에 의해 획득되는 제4 프레임(980)의 밝기는 상이할 수 있다. 예를 들면, 제1 프레임(950)에서 제4 프레임(980)으로 갈수록 밝아질 수 있다. 일 예로, 제1 프레임(950)의 밝기가 I인 경우, 제2 프레임(960)의 밝기는 I+Δ이고, 제3 프레임(970)의 밝기는 I+2Δ이고, 제4 프레임(980)의 밝기는 I+3Δ일 수 있다. 밝기의 변화는 피사체에 조사되는 빛의 변화나 피사체가 움직이는 경우 발생할 수 있으나 이에 제한되지 않는다.
일 실시 예에 따라, 시간의 경과에 따라 피사체로부터 반사되어 획득되는 반사광의 밝기에 변화가 있는 경우, 상술된 [수학식 9] 내지 [수학식 12]는 [수학식 21]로 표현될 수 있다.
Figure 112015127161110-pat00041
[수학식 21]를 반영하면 상술된 [수학식 16]은 [수학식 22]로 표현될 수 있다.
Figure 112015127161110-pat00042
[수학식 22]에서 확인할 수 있는 바와 같이 밝기 변화율 Δ는 [수학식 22]의 분모 분자에 서로 같은 부호로 개입하게 되어 있어서, 디바이스(100)는 투사광의 투사 순서를 제어하여, 깊이 계산 결과의 오차를 [수학식 18]의 경우보다 작게 함으로써 모션 블러 효과를 감소시킬 수 있다.
도 8 및 도 9에서 개시된 투사광 순서 제어 방법은 일 실시 예일 뿐이며, 디바이스(100)가 투사광의 순서를 제어하는 방법은 도 8 및 도 9에서 개시된 실시 예에 제한되지 않는다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 4개의 투사광이 있는 경우, 4!인 24가지 투사 순서 중 하나를 투사광의 투사 순서로 결정할 수 있다.
도 10은 피사체와 디바이스간의 거리에 따라 투사광의 투사 순서를 결정하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리에 따라 투사광의 투사 순서를 결정할 수 있다.
첫번째 실시 예로, 피사체와 디바이스(100)간의 거리가 0~1m 또는 4~5m인 경우, 디바이스(100)는 시프트 없이 제1 투사광(610), 제2 투사광(620), 제3 투사광(630), 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다. 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리가 0~1m 또는 4~5m인 경우, 모션 블러를 감소시키기 위한 투사광의 투사 순서를 제1 그래프(1010)를 통해서 결정할 수 있다.
두번째 실시 예로, 피사체와 디바이스(100)간의 거리가 2~3m 또는 6~7m인 경우, 디바이스(100)는 좌측으로 위상차를 1번 시프트하여 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다. 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리가 2~3m 또는 6~7m인 경우, 모션 블러를 감소시키기 위한 투사광의 투사 순서를 제2 그래프(1020)를 통해서 결정할 수 있다.
세번째 실시 예로, 피사체와 디바이스(100)간의 거리가 0~1m 또는 4~5m인 경우, 디바이스(100)는 좌측으로 위상차를 2번 시프트하여 제3 투사광(630), 제4 투사광(640), 제1 투사광(610) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다. 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리가 0~1m 또는 4~5m인 경우, 모션 블러를 감소시키기 위한 투사광의 투사 순서를 제3 그래프(1030)를 통해서 결정할 수 있다.
네번째 실시 예로, 피사체와 디바이스(100)간의 거리가 2~3m 또는 6~7m인 경우, 디바이스(100)는 좌측으로 위상차를 3번 시프트하여 제4 투사광(640), 제1 투사광(610), 제2 투사광(620) 및 제3 투사광(630)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다. 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리가 2~3m 또는 6~7m인 경우, 모션 블러를 감소시키기 위한 투사광의 투사 순서를 제4 그래프(1040)를 통해서 결정할 수 있다.
도 10에서 도시된 거리에 따른 투사광의 투사 순서는 일 실시 예일 뿐이고, 디바이스(100)의 동작 범위는 도 10의 실시 예로 제한되지 않는다.
도 11은 피사체와 디바이스간의 거리에 따라 투사광의 순서를 제어하여 거리 정보를 획득하는 일례를 나타내는 도면이다.
피사체가 2m거리에 있는 경우, 일 실시 예에 따른 디바이스(100)가 제1 투사광(610), 제2 투사광(620), 제3 투사광(630), 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사한 경우에 대해 설명한다. 제1 테스트 영역(1110) 내에서 피사체와 디바이스(100)간의 거리 차이의 변동은 작다. 그러나 파사체가 움직이는 경우, 제1 테스트 영역(1110) 내에서 거리 차이의 변동이 인식됨을 확인할 수 있다. 또한, 이 경우, 제1 그래프(1130)를 통해 표준 편차가 65.3mm라는 것을 확인할 수 있다.
피사체가 2m거리에 있는 경우, 다른 실시 예에 따른 디바이스(100)가 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 투사광을 피사체에 투사한 경우에 대해 설명한다. 제2 테스트 영역(1120) 내에서 피사체와 디바이스(100)간의 거리 차이의 변동은 작다. 그러나 파사체가 움직이는 경우, 제1 테스트 영역(1120) 내에서 거리 차이의 변동이 인식됨을 확인할 수 있다. 그러나 투사광의 투사 순서를 변경함으로써 인식되는 거리 차이의 변동이 감소하였음을 확인할 수 있다. 또한, 이 경우, 제2 그래프(1140)를 통해 표준 편차가 38mm로 감소하였음을 확인할 수 있다.
따라서, 일 실시 예에 따른 디바이스(100)는 투사광의 투사 순서를 제어함으로써, 모션 블러를 감소시킬 수 있다.
예를 들면, 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리에 따라 투사광의 투사 순서를 결정하여 투사광을 피사체에 투사할 수 있다. 이 경우, 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리에 대한 정보를 실시간으로 획득하고, 실시간으로 획득한 거리 정보에 따라 투사광의 투사 순서를 결정하여 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 외부에서 수신되는 수신 입력에 따라 투사광의 투사 순서를 결정하여 투사광을 피사체에 투사할 수 있다.
도 12 및 도 13은 다양한 실시 예에 따른 디바이스(100)의 일 실시 예이다. 디바이스(100)는 상술한 거리 정보 획득 방법을 수행할 수 있는 장치로, 도1 내지 도 11 및 도 14 내지 도 16에서 개시된 거리 정보를 획득하는 방법을 수행하기 위한 모든 실시 예의 구현이 가능하다.
도 12는 일 실시 예에 따른 디바이스(100)의 구성을 설명하기 위한 블록도이다.
도 12에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 광원(101), 제어부(1240) 및 변조부(1230)를 포함할 수 있다. 그러나 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 도시된 구성요소보다 적은 구성요소에 의해 디바이스(100) 가 구현될 수도 있다. 다른 실시 예에 따른 디바이스(100)는 광원(101), 제어부(1240), 변조부(1230) 및 입력 디바이스(1250)를 포함할 수 있다. 또한, 제어부(1240)는 투사광 제어부(1210)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시 예에 따른 투사광 제어부(1210)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정한다.
N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함할 수 있다.
일 실시 예에 따른 광원(101)는 제어부(1240)의 제어에 따라 피사체에 순차적으로 4개의 위상이 상이한 투사광을 투사할 수 있다. 예를 들면, 투사광1 내지 투사광4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 투사광1의 위상이 투사광2 보다 90도 느리고, 투사광2의 위상이 투사광3 보다 90도 느리고, 투사광3의 위상이 투사광4 보다 90도 느릴 수 있다. 다른 예로, 투사광1의 위상이 투사광2 보다 90도 빠르고, 투사광2의 위상이 투사광3 보다 90도 빠르고, 투사광3의 위상이 투사광4 보다 90도 빠를 수 있다.
일 실시 예에 따른 변조부(1230)는 3개의 서브 프레임 영상, 3개의 CIS 이미지 또는 3개의 CCD 이미지를 이용하여, 광시간비행법에 따른 광파의 위상차, 피사체 표면의 반사도 및 외광을 이용하여 깊이(depth) 이미지를 획득할 수 있다.
일 실시 예에 따른 변조부(1230)는 4개의 서브 프레임 영상, 4개의 CIS 이미지 또는 4개의 CCD 이미지를 이용하여 모션 블러가 감소된 깊이 이미지를 획득할 수 있다. 일 실시 예에 따른 변조부(1230)가 4개의 4개의 CIS 이미지를 이용하여 깊이 이미지를 획득하는 경우, 4개의 CIS 이미지는 서로 다른 위상차를 갖는 4개의 투사광에 의해 획득될 수 있다. 예를 들면, 투사광1 내지 투사광4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 90도씩 차이나는 주기파일 수 있다.
일 실시 예에 따른 투사광 제어부(1210)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 피사체의 위치에 기초하여 결정할 수 있다. 예를 들면, 일 실시 예에 따른 투사광 제어부(1210)는 피사체와 디바이스(100)간의 거리에 따라 투사광의 투사 순서를 결정하고, 결정된 투사광의 투사 순서대로 투사광을 피사체에 투사하도록 광원(101)을 제어할 수 있다.
일 실시 예에 따른 투사광 제어부(1210)는 기설정된 복수개의 투사광의 투사 순서 중에서 디바이스(100)와 피사체간의 거리에 대응되는 투사 순서를 광원(101)이 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정할 수 있다. 예를 들면, N이 4인 경우, 24개의 투사 순서가 모두 기설정된 거리에 각각 대응되고, 24개의 투사 순서 중 디바이스(100)와 피사체간의 거리에 대응되는 투사 순서가 광원(101)이 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정될 수 있다. 예를 들면, 디바이스(100)와 피사체간의 거리가 1m이내인 경우 제1 투사 순서를, 디바이스(100)와 피사체간의 거리가 2m~3m인 경우 제2 투사 순서를, 디바이스(100)와 피사체간의 거리가 3m~4m인 경우 제3 투사 순서를 일 실시 예에 따른 투사광 제어부(1210)는 투사광의 투사 순서로 결정할 수 있다.
일 실시 예에 따른 투사광 제어부(1210)는 기설정된 복수개의 투사 순서들 중에서 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 투사광의 투사 순서로 결정할 수 있다. 예를 들면, 일 실시 예에 따른 투사광 제어부(1210)는 피사체에 순차적으로 투사할 투사광의 투사 순서를 피사체의 위치 및/또는 외부 수신 입력에 기초하여, 기설정된 복수개의 투사 순서들 중에서 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 투사광의 투사 순서로 결정할 수 있다.
일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 N개의 상이한 투사광을 피사체에 순차적으로 투사한다.
예를 들면, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210) 결정된 투사광의 투사 순서에 따라 제1 투사광(610), 제2 투사광(620), 제3 투사광(630) 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 제1 투사광(610), 제4 투사광(640), 제3 투사광(630) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 제3 투사광(630), 제2 투사광(620), 제1 투사광(610) 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 제3 투사광(630), 제4 투사광(640), 제1 투사광(610) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 광원(101)은 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 제4 투사광(640), 제1 투사광(610), 제2 투사광(620) 및 제3 투사광(630)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
도 12에서 개시된 투사광의 투사 순서는 일 실시 예이며 본 도에서 개시된 실시 예로 제한되지 않는다.
일 실시 예에 따른 변조부(1230)는 피사체에서 반사된 N개의 반사광(1205)을 변조(modulation)하여 N개의 변조된 반사광을 획득한다.
일 실시 예에 따른 변조부(1230)는 광원(101)에서 투사된 N개의 상이한 투사광이 피사체에서 반사된 반사광(1205)을 획득할 수 있다. 일 실시 예에 따른 변조부(1230)는 획득한 반사광(1205)을 변조하여 N개의 변조된 반사광을 획득할 수 있다.
일 실시 예에 따른 변조부(1230)는 이득 파형을 갖는 광변조 신호를 이용해 N개의 반사광(1205)을 변조하여 N개의 변조된 반사광을 획득할 수 있다. 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
반사광(1205)을 획득하여 변조하는 구체적인 방법은 도 1 내지 3에서 상술하였다.
일 실시 예에 따른 제어부(1240)는 변조부(1230)에서 획득한 N개의 변조된 반사광을 이용하여 피사체에 대한 거리 정보를 획득한다.
예를 들면, 일 실시 예에 따른 제어부(1240)는 변조부(1230)에서 획득한 N개의 변조된 반사광을 이용하여 피사체에 대한 3차원 영상 또는 깊이 이미지를 획득할 수 있다.
변조된 반사광을 이용하여 피사체에 대한 3차원 영상 또는 깊이 이미지를 획득하는 구체적인 방법에 대해서는 도 1 내지 3에서 상술하였다.
피사체가 움직이는 경우, 피사체에 비춰지는 외광의 세기가 변하는 경우, 피사체 표면의 반사도가 시간에 따라 변하는 경우 등과 같이 피사체에 시간에 따른 변화가 있는 경우, 모션 블러가 발생할 수 있다.
일 실시 예에 따른 제어부(1240)는 투사광 제어부(1210)에서 결정된 투사광의 투사 순서에 따라 복수개의 투사광을 투사하는 경우, 획일적인 투사 순서에 따라 복수개의 투사광을 투사하는 경우보다 모션 블러가 적은 깊이 이미지를 획득할 수 있다.
또한, 도 4 내지 도 11에서 상술한 바와 같이 일 실시 예에 따른 투사광 제어부(1210)는 복수의 투사 순서 중에서 모션 블러를 감소시키기 위한 투사 순서를 결정할 수 있다. 일 실시 예에 따른 광원(101)은 결정된 투사 순서에 따라 투사광을 투사하고, 투사된 투사광이 반사되어 획득되는 반사광(1205)을 획득하고, 획득한 반사광(1205)을 변조하여 깊이 이미지를 획득할 수 있다. 이 경우, 일 실시 예에 따른 제어부(1240)는 획일적인 투사 순서에 따라 복수개의 투사광을 투사하는 경우보다 모션 블러가 적은 깊이 이미지를 획득할 수 있다.
일 실시 예에 따른 제어부(1240)는 투사광 제어부(1210)로부터 투사광의 투사 순서에 대한 정보를 수신하고, 수신한 정보를 이용하여 LD(Laser Diode)를 제어하여, LD에서 광을 투사함으로써 위상 이미지 및 깊이 이미지를 획득할 수 있다.
다른 실시 예에 따른 제어부(1240)는 투사광 제어부(1210)로부터 투사광의 투사 순서에 대한 정보를 수신하고, 수신한 정보를 이용하여 셔터(shutter)를 제어하여, 셔터를 변조함으로써 위상 이미지 및 깊이 이미지를 획득할 수 있다.
또한 투사광 제어부(1210)는 획득된 깊이 이미지를 피드백으로 수신하여 투사광의 투사 순서를 결정할 때 이용할 수 있다.
일 실시 예에 따른 제어부(1240)는 외부 수신 입력으로부터 투사광의 투사 순서에 대한 정보를 수신하고, 수신한 정보를 이용하여 LD를 제어하여, LD에서 광을 투사함으로써 위상 이미지 및 깊이 이미지를 획득할 수 있다.
다른 실시 예에 따른 제어부(1240)는 외부 수신 입력으로부터 투사광의 투사 순서에 대한 정보를 수신하고, 수신한 정보를 이용하여 셔터(shutter)를 제어하여, 셔터를 변조함으로써 위상 이미지 및 깊이 이미지를 획득할 수 있다.
도 13은 투사광의 제어를 통해 거리 정보를 획득하는 디바이스(100)의 예시적인 구조를 개략적으로 도시한다.
도 12를 참조하면, 일 실시 예에 따른 제어부(1240)는 제어부(106), 투사광 제어부(1210), 광원 구동부(102), 광변조기 구동부(104) 및 거리 정보 영상 처리부(107)를 포함할 수 있다. 또한, 일 실시 예에 따른 변조부(1230)는 제 1 렌즈(108), 필터(109), 광변조기(103), 제 2 렌즈(110) 및 촬상소자(105)를 포함할 수 있다.
도 13의 각 구성 요소의 동작에 대해서는 도 1 및 도 12의 내용을 참조할 수 있다.
도 14는 일 실시 예에 따른 디바이스가 N개의 투사광을 이용하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1410에서 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정한다.
N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함할 수 있다.
일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 4개의 위상이 상이한 투사광을 투사할 수 있다. 예를 들면, 투사광1 내지 투사광4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 서로 다른 주기파일 수 있다. 일 예로, 투사광1의 위상이 투사광2 보다 90도 느리고, 투사광2의 위상이 투사광3 보다 90도 느리고, 투사광3의 위상이 투사광4 보다 90도 느릴 수 있다. 다른 예로, 투사광1의 위상이 투사광2 보다 90도 빠르고, 투사광2의 위상이 투사광3 보다 90도 빠르고, 투사광3의 위상이 투사광4 보다 90도 빠를 수 있다.
일 실시 예에 따른 디바이스(100)는 3개의 서브 프레임 영상, 3개의 CIS 이미지 또는 3개의 CCD 이미지를 이용하여, 광시간비행법에 따른 광파의 위상차, 피사체 표면의 반사도 및 외광을 이용하여 깊이(depth) 이미지를 획득할 수 있다.
일 실시 예에 따른 디바이스(100)는 4개의 서브 프레임 영상, 4개의 CIS 이미지 또는 4개의 CCD 이미지를 이용하여 모션 블러가 감소된 깊이 이미지를 획득할 수 있다. 일 실시 예에 따른 디바이스(100)가 4개의 4개의 CIS 이미지를 이용하여 깊이 이미지를 획득하는 경우, 4개의 CIS 이미지는 서로 다른 위상차를 갖는 4개의 투사광에 의해 획득될 수 있다. 예를 들면, 투사광1 내지 투사광 4는 동일한 주기, 파형 및 크기를 가지면서 위상만이 90도씩 차이나는 주기파일 수 있다.
일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 피사체의 위치에 기초하여 결정할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리에 따라 투사광의 투사 순서를 결정하여 투사광을 피사체에 투사할 수 있다.
일 실시 예에 따른 디바이스(100)는 기설정된 복수개의 투사광의 투사 순서 중에서 디바이스(100)와 피사체간의 거리에 대응되는 투사 순서를 디바이스(100)가 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정할 수 있다. 예를 들면, N이 4인 경우, 24개의 투사 순서가 모두 기설정된 거리에 각각 대응되고, 24개의 투사 순서 중 디바이스(100)와 피사체간의 거리에 대응되는 투사 순서가 디바이스(100)가 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정될 수 있다. 예를 들면, 디바이스(100)와 피사체간의 거리가 1m이내인 경우 제1 투사 순서를, 디바이스(100)와 피사체간의 거리가 2m~3m인 경우 제2 투사 순서를, 디바이스(100)와 피사체간의 거리가 3m~4m인 경우 제3 투사 순서를 일 실시 예에 따른 디바이스(100)는 투사광의 투사 순서로 결정할 수 있다.
일 실시 예에 따른 디바이스(100)는 기설정된 복수개의 투사 순서들 중에서 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 투사광의 투사 순서로 결정할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 투사광의 투사 순서를 피사체의 위치 및/또는 외부 수신 입력에 기초하여, 기설정된 복수개의 투사 순서들 중에서 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 투사광의 투사 순서로 결정할 수 있다.
단계 S1420에서 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 N개의 상이한 투사광을 피사체에 순차적으로 투사한다.
예를 들면, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제1 투사광(610), 제2 투사광(620), 제3 투사광(630) 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제1 투사광(610), 제4 투사광(640), 제3 투사광(630) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제3 투사광(630), 제2 투사광(620), 제1 투사광(610) 및 제4 투사광(640)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제2 투사광(620), 제3 투사광(630), 제4 투사광(640) 및 제1 투사광(610)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제3 투사광(630), 제4 투사광(640), 제1 투사광(610) 및 제2 투사광(620)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 제4 투사광(640), 제1 투사광(610), 제2 투사광(620) 및 제3 투사광(630)의 순서로 순차적으로 투사광을 피사체에 투사할 수 있다.
단계 S1420에서 개시된 투사광의 투사 순서는 일 실시 예이며 단계 S1420에서 개시된 실시 예로 제한되지 않는다.
단계 S1430에서 일 실시 예에 따른 디바이스(100)는 피사체에서 반사된 N개의 반사광을 변조(modulation)하여 N개의 변조된 반사광을 획득한다.
일 실시 예에 따른 디바이스(100)는 단계 S1420에서 투사된 N개의 상이한 투사광이 피사체에서 반사된 반사광을 획득할 수 있다. 일 실시 예에 따른 디바이스(100)는 획득한 반사광을 변조하여 N개의 변조된 반사광을 획득할 수 있다.
일 실시 예에 따른 디바이스(100)는 이득 파형을 갖는 광변조 신호를 이용해 N개의 반사광을 변조하여 N개의 변조된 반사광을 획득할 수 있다. 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함할 수 있다.
반사광을 획득하여 변조하는 구체적인 방법은 도 1 내지 3에서 상술하였다.
단계 S1440에서 일 실시 예에 따른 디바이스(100)는 단계 S1430에서 획득한 N개의 변조된 반사광을 이용하여 피사체에 대한 거리 정보를 획득한다.
예를 들면, 일 실시 예에 따른 디바이스(100)는 단계 S1430에서 획득한 N개의 변조된 반사광을 이용하여 피사체에 대한 3차원 영상 또는 깊이 이미지를 획득할 수 있다.
변조된 반사광을 이용하여 피사체에 대한 3차원 영상 또는 깊이 이미지를 획득하는 구체적인 방법에 대해서는 도 1 내지 3에서 상술하였다.
피사체가 움직이는 경우, 피사체에 비춰지는 외광의 세기가 변하는 경우, 피사체 표면의 반사도가 시간에 따라 변하는 경우 등과 같이 피사체에 시간에 따른 변화가 있는 경우, 모션 블러가 발생할 수 있다.
일 실시 예에 따른 디바이스(100)는 단계 S1410에서 결정된 투사광의 투사 순서에 따라 복수개의 투사광을 투사하는 경우, 획일적인 투사 순서에 따라 복수개의 투사광을 투사하는 경우보다 모션 블러가 적은 깊이 이미지를 획득할 수 있다.
또한, 도 4 내지 도 11에서 상술한 바와 같이 일 실시 예에 따른 디바이스(100)는 복수의 투사 순서 중에서 모션 블러를 감소시키기 위한 투사 순서를 결정할 수 있다. 일 실시 예에 따른 디바이스(100)는 결정된 투사 순서에 따라 투사광을 투사하고, 투사된 투사광이 반사되어 획득되는 반사광을 획득하고, 획득한 반사광을 변조하여 깊이 이미지를 획득할 수 있다. 이 경우, 일 실시 예에 따른 디바이스(100)는 획일적인 투사 순서에 따라 복수개의 투사광을 투사하는 경우보다 모션 블러가 적은 깊이 이미지를 획득할 수 있다.
도 15는 일 실시 예에 따른 디바이스가 N개의 위상이 상이한 투사광을 이용하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1510에서 일 실시 예에 따른 디바이스(100)는 디바이스(100) 및 피사체간의 거리 정보를 획득한다.
예를 들면, 일 실시 예에 따른 디바이스(100)는 이미 획득된 깊이 이미지 또는 3차원 영상을 이용하여 디바이스(100)와 피사체간의 거리를 획득할 수 있다.
다른 예로, 일 실시 예에 따른 디바이스(100)는 피사체와 디바이스(100)간의 거리에 대한 정보를 실시간으로 획득할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 실시간으로 새롭게 획득된 깊이 이미지 또는 3차원 영상을 피드백으로 수신하여 수신한 깊이 이미지 또는 3차원 영상을 이용하여 디바이스(100)와 피사체간의 거리를 획득할 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 후술되는 단계 S1560에서 획득되는 거리 정보를 디바이스 및 피사체간의 거리 정보로 획득할 수 있다.
단계 S1520에서 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 획득한 거리 정보에 기초하여 결정 한다.
일 실시 예에 따른 디바이스(100)는 디바이스(100) 및 피사체간의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 피사체에 대한 모션 블러를 최소화시키기 위한 투사광의 투사 순서를 결정할 수 있다.
일 실시 예에 따른 디바이스(100)는 단계 S1510에서 획득한 거리에 대응하는 투사 순서를 투사광의 투사 순서로 결정할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 단계 S1510에서 획득한 거리에서 모션 블러를 최소화시킬 수 있는 투사 순서를 투사광의 투사 순서로 결정할 수 있다. 거리에 따라 모션 블러를 최소화시킬 수 있는 투사 순서는 미리 결정되어 있을 수 있고, 계산되어질 수도 있다. 피사체와 디바이스(100)간의 거리에 따라 투사광의 투사 순서를 결정하는 구체적인 예는 도 10에서 상술하였다.
단계 S1530에서 일 실시 예에 따른 디바이스(100)는 단계 S1520에서 결정된 투사광의 투사 순서에 따라 N개의 위상이 상이한 투사광을 피사체에 순차적으로 투사한다. N개의 위상이 상이한 투사광 사이에 360도를 N 등분한 위상차가 존재할 수 있다.
일 실시 예에 따른 디바이스(100)가 단계 S1520에서 결정된 투사광의 투사 순서에 따라 N개의 상이한 투사광을 피사체에 순차적으로 투사하는 구체적인 방법은 단계 S1420에서 상술하였다.
단계 S1540에서 일 실시 예에 따른 디바이스(100)는 피사체에서 반사된 N개의 반사광을 획득한다.
일 실시 예에 따른 디바이스(100)는 단계 S1530에서 투사된 투사광이 피사체에서 반사된 N개의 반사광을 획득할 수 있다. 반사광은 피사체의 반사도에 영향을 받아 결정될 수 있다. 반사광을 획득하는 구체적인 방법은 도 1 내지 도 3에서 상술하였다.
단계 S1550 및 단계 S1560은 각각 단계 S1430 및 단계 S1440에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
도 16는 일 실시 예에 따른 디바이스가 외부 수신 입력에 기초하여 결정된 투사광의 투사 순서를에 따라 상이한 투사광을 투사하여 거리 정보를 획득하는 방법을 나타내는 흐름도이다.
단계 S1630 내지 단계 S1650은 단계 S1420 내지 단계 S1440에 대응되므로 전체적인 설명을 간단히 하기 위해 상세한 설명을 생략한다.
단계 S1610에서 일 실시 예에 따른 디바이스(100)는 외부로부터 입력을 수신한다.
일 실시 예에 따른 디바이스(100)는 사용자 입력을 수신할 수 있다. 예를 들면, 일 실시 예에 따른 디바이스(100)는 수신한 사용자 입력에 기초하여 결정된 외부 수신 입력을 수신할 수 있다. 사용자 입력은, 터치 입력, 키보드 입력, 음성 입력, 소리 입력, 버튼 입력, 제스쳐 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 따른 디바이스(100)는 외부 수신 입력을 수신할 수 있다. 예를 들면, 무선 또는 유선 방식을 통해 일 실시 예에 따른 디바이스(100)는 외부 수신 입력을 수신할 수 있다. 다른 예로, 일 실시 예에 따른 디바이스(100)는 디바이스(100) 외부의 서버 또는 디바이스(100) 외부의 외부 디바이스로부터 외부 수신 입력을 수신할 수 있다.
단계 S1620에서 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 외부 수신 입력에 기초하여 결정한다.
예를 들면, 일 실시 예에 따른 디바이스(100)는 피사체에 순차적으로 투사할 투사광의 투사 순서를 외부 수신 입력에 기초하여, 기설정된 복수개의 투사 순서들 중에서 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 투사광의 투사 순서로 결정할 수 있다.
일 실시 예에 따른 디바이스(100)는 기설정된 복수개의 투사광의 투사 순서 중에서 외부 수신 입력에 대응되는 투사 순서를 디바이스(100)가 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정할 수 있다. 예를 들면, N이 4인 경우, 24개의 투사 순서 중 외부 수신 입력에 따라 결정된 투사 순서가 디바이스(100)가 피사체에 순차적으로 투사할 투사광의 투사 순서로 결정될 수 있다.
이상에서 전술한 일 실시 예에 따른 정보 획득 방법 및 장치는 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일례로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
각 실시 예에 따른 정보 획득 방법 및 장치를 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
이상의 설명은 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 해당 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 개시된 실시 예들은 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 기술 사상의 범위가 한정되는 것은 아니다. 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 디바이스가 피사체에 대한 정보를 획득하는 방법에 있어서,
    상기 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 상기 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정하는 단계;
    상기 투사광의 투사 순서에 따라 상기 N개의 상이한 투사광을 상기 피사체에 순차적으로 투사하는 단계;
    상기 피사체에서 반사된 N개의 반사광을 변조(modulation)하여 N개의 변조된 반사광을 획득하는 단계; 및
    상기 N개의 변조된 반사광을 이용하여 상기 피사체에 대한 거리 정보를 획득하는 단계를 포함하는 거리 정보 획득 방법.
  2. 제 1 항에 있어서,
    상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는
    상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 투사광의 투사 순서를 결정하는 거리 정보 획득 방법.
  3. 제 1 항에 있어서,
    상기 디바이스 및 상기 피사체간의 거리 정보는 실시간으로 획득되는 거리 정보 획득 방법.
  4. 제 1 항에 있어서,
    상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는
    상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 피사체에 대한 모션 블러(motion blur)를 최소화시키기 위한 상기 투사광의 투사 순서를 결정하는 거리 정보 획득 방법.
  5. 제 1 항에 있어서,
    상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는
    기설정된 복수개의 투사 순서들 중에서 상기 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 상기 투사광의 투사 순서로 결정하는 거리 정보 획득 방법.
  6. 제 1 항에 있어서,
    상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함하는 거리 정보 획득 방법.
  7. 제 1 항에 있어서,
    상기 피사체에서 반사된 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득하는 단계는
    이득 파형을 갖는 광변조 신호를 이용해 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득하는 거리 정보 획득 방법.
  8. 제 7 항에 있어서,
    상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함하는 거리 정보 획득 방법.
  9. 제 1 항에 있어서,
    상기 N개의 상이한 투사광은 서로 위상이 상이하고, 상기 N개의 상이한 투사광 사이에 360도를 N 등분한 위상차가 존재하는 거리 정보 획득 방법.
  10. 제 1 항에 있어서,
    상기 투사광의 투사 순서를 상기 피사체의 위치 및/또는 상기 외부 수신 입력에 기초하여 결정하는 단계는
    사용자의 입력에 기초하여 결정된 외부 수신 입력에 기초하여 상기 투사광의 투사 순서를 결정하는 거리 정보 획득 방법.
  11. 피사체에 대한 정보를 획득하는 디바이스에 있어서,
    상기 피사체에 순차적으로 투사할 N개(여기서, N은 3 이상의 자연수)의 상이한 투사광의 투사 순서를 상기 피사체의 위치 및/또는 외부 수신 입력에 기초하여 결정하는 투사광 제어부;
    상기 투사광의 투사 순서에 따라 상기 N개의 상이한 투사광을 상기 피사체에 순차적으로 투사하는 광원;
    상기 피사체에서 반사된 N개의 반사광을 변조(modulation)하여 N개의 변조된 반사광을 획득하는 변조부; 및
    상기 N개의 변조된 반사광을 이용하여 상기 피사체에 대한 거리 정보를 획득하는 제어부를 포함하는 디바이스.
  12. 제 11 항에 있어서,
    상기 투사광 제어부는
    상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 투사광의 투사 순서를 결정하는 디바이스.
  13. 제 11 항에 있어서,
    상기 디바이스 및 상기 피사체간의 거리 정보는 실시간으로 획득되는 디바이스.
  14. 제 11 항에 있어서,
    상기 투사광 제어부는
    상기 디바이스 및 상기 피사체간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 상기 피사체에 대한 모션 블러(motion blur)를 최소화시키기 위한 상기 투사광의 투사 순서를 결정하는 디바이스.
  15. 제 11 항에 있어서,
    상기 투사광 제어부는
    기설정된 복수개의 투사 순서들 중에서 상기 피사체에 대한 모션 블러를 최소화시키는 투사 순서를 상기 투사광의 투사 순서로 결정하는 디바이스.
  16. 제 11 항에 있어서,
    상기 N개의 상이한 투사광은 주기가 서로 같고, 크기와 위상 중에서 적어도 하나가 서로 다른 주기파를 포함하는 디바이스.
  17. 제 11 항에 있어서,
    상기 변조부는
    이득 파형을 갖는 광변조 신호를 이용해 상기 N개의 반사광을 변조(modulation)하여 상기 N개의 변조된 반사광을 획득하는 디바이스.
  18. 제 17 항에 있어서,
    상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파를 포함하는 디바이스.
  19. 제 11 항에 있어서,
    상기 N개의 상이한 투사광은 서로 위상이 상이하고, 상기 N개의 상이한 투사광 사이에 360도를 N 등분한 위상차가 존재하는 디바이스.
  20. 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
KR1020150186778A 2015-12-24 2015-12-24 거리 정보를 획득하는 방법 및 디바이스 KR102610830B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150186778A KR102610830B1 (ko) 2015-12-24 2015-12-24 거리 정보를 획득하는 방법 및 디바이스
US15/209,123 US10509125B2 (en) 2015-12-24 2016-07-13 Method and device for acquiring distance information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150186778A KR102610830B1 (ko) 2015-12-24 2015-12-24 거리 정보를 획득하는 방법 및 디바이스

Publications (2)

Publication Number Publication Date
KR20170076477A KR20170076477A (ko) 2017-07-04
KR102610830B1 true KR102610830B1 (ko) 2023-12-06

Family

ID=59088288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150186778A KR102610830B1 (ko) 2015-12-24 2015-12-24 거리 정보를 획득하는 방법 및 디바이스

Country Status (2)

Country Link
US (1) US10509125B2 (ko)
KR (1) KR102610830B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
CN107241591A (zh) * 2017-06-30 2017-10-10 中国航空工业集团公司雷华电子技术研究所 一种机载雷达嵌入式3d视频图像显示方法及系统
KR102646902B1 (ko) 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
JP2020148510A (ja) * 2019-03-11 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 測距装置
KR102232390B1 (ko) * 2019-07-15 2021-03-26 한국과학기술원 3 차원 이미지 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357120B1 (ko) * 2013-04-23 2014-02-05 김태민 광 신호를 이용한 거리 측정 방법 및 장치

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
WO1999040478A1 (en) 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
US7095487B2 (en) 2003-10-09 2006-08-22 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US20060241371A1 (en) 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
JP2009065605A (ja) 2007-09-10 2009-03-26 Hitachi Ltd 移動型撮像装置および撮像方法
US8619354B2 (en) 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
RU2431876C2 (ru) 2008-12-24 2011-10-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Камера трехмерного изображения с фотомодулятором
KR101520029B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 고정세화 패턴을 갖는 광 변조기
KR101547327B1 (ko) 2009-01-15 2015-09-07 삼성전자주식회사 광 이미지 변조기와 이를 포함하는 광학장치와 광 이미지 변조기의 제조 및 구동방법
KR101603778B1 (ko) 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
KR101623960B1 (ko) 2009-06-04 2016-05-25 삼성전자주식회사 광전자 셔터, 이의 동작 방법 및 광전자 셔터를 채용한 광학 장치
KR101638974B1 (ko) 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
KR101706354B1 (ko) 2009-06-24 2017-02-13 삼성전자주식회사 고속 광 변조기 및 이를 이용한 광 변조방법
CN102822693B (zh) * 2010-01-06 2014-09-10 美萨影像股份公司 具有分隔像素和存储阵列的解调传感器
KR101675111B1 (ko) 2010-01-08 2016-11-11 삼성전자주식회사 광 이미지 셔터 및 그 제조 방법
KR101675112B1 (ko) 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101638973B1 (ko) 2010-01-22 2016-07-12 삼성전자주식회사 광변조기 및 그 제조 방법
KR101753312B1 (ko) 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
KR101598547B1 (ko) 2010-12-03 2016-03-02 삼성전자주식회사 광 이미지 변조기 및 그 제조 방법
KR101660408B1 (ko) 2010-12-20 2016-09-27 삼성전자주식회사 입사광의 입사각 보정기능을 갖는 광 이미지 변조기 및 이를 포함하는 광학장치
KR101722641B1 (ko) 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20120075182A (ko) 2010-12-28 2012-07-06 삼성전자주식회사 다중 패브리-페로 공진 모드를 이용한 광변조기 및 상기 광변조기를 포함하는 3차원 영상 획득 장치
KR101669219B1 (ko) 2010-12-30 2016-10-26 삼성전자주식회사 광변조기 및 이를 채용한 광학장치
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
EP2729916A4 (en) 2011-07-04 2015-04-08 Lee Vincent Streeter MOTION COMPENSATION IN A AREA IMAGING
KR102040152B1 (ko) * 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357120B1 (ko) * 2013-04-23 2014-02-05 김태민 광 신호를 이용한 거리 측정 방법 및 장치

Also Published As

Publication number Publication date
US20170184722A1 (en) 2017-06-29
KR20170076477A (ko) 2017-07-04
US10509125B2 (en) 2019-12-17

Similar Documents

Publication Publication Date Title
CN107765260B (zh) 用于获取距离信息的方法、设备及计算机可读记录介质
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
US10663691B2 (en) Imaging devices having autofocus control in response to the user touching the display screen
KR102056904B1 (ko) 3차원 영상 획득 장치 및 그 구동 방법
US9945936B2 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
KR101975971B1 (ko) 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
KR102237828B1 (ko) 동작 인식 장치 및 이를 이용한 동작 인식 방법
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
US20150334372A1 (en) Method and apparatus for generating depth image
WO2018173720A1 (ja) 電磁波検出装置、プログラム、および電磁波検出システム
JP6042674B2 (ja) 三次元情報取得機能付き画像投影装置
US11314334B2 (en) Gesture recognition apparatus, control method thereof, and display apparatus
CN114207474A (zh) 飞行时间调制光的展开相位
US20160377720A1 (en) Device for extracting depth information
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
US20230260143A1 (en) Using energy model to enhance depth estimation with brightness image
Geerardyn et al. Imaging objects behind a partially reflective surface with a modified time-of-flight sensor
JP2011122871A (ja) 光学式位置検出装置及び投射型表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right