KR102114969B1 - 광학 장치 및 깊이 정보 생성 방법 - Google Patents

광학 장치 및 깊이 정보 생성 방법 Download PDF

Info

Publication number
KR102114969B1
KR102114969B1 KR1020150080551A KR20150080551A KR102114969B1 KR 102114969 B1 KR102114969 B1 KR 102114969B1 KR 1020150080551 A KR1020150080551 A KR 1020150080551A KR 20150080551 A KR20150080551 A KR 20150080551A KR 102114969 B1 KR102114969 B1 KR 102114969B1
Authority
KR
South Korea
Prior art keywords
light
depth map
optical receiver
generating
electromagnetic wave
Prior art date
Application number
KR1020150080551A
Other languages
English (en)
Other versions
KR20160144148A (ko
Inventor
세르기 그리쉬첸코
레고르 브도비첸코
이반 사포노프
안드리 버트
비탈리이 버리긴
볼로디미르 크리스트얀
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150080551A priority Critical patent/KR102114969B1/ko
Priority to PCT/KR2016/001821 priority patent/WO2016200013A1/ko
Priority to EP16807656.0A priority patent/EP3306345B1/en
Priority to US15/579,375 priority patent/US11079475B2/en
Publication of KR20160144148A publication Critical patent/KR20160144148A/ko
Application granted granted Critical
Publication of KR102114969B1 publication Critical patent/KR102114969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/008—Projectors using an electronic spatial light modulator but not peculiar thereto using micromirror devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

광학 장치가 개시된다, 본 발명의 오브젝트에 대한 깊이 맵을 생성하는 광학 장치는 오브젝트에 전자기파를 조사하는 프로젝터, 오브젝트로부터 반사된 반사파를 수신하는 광 수신기 및 수신된 반사파의 도착 방향에 기초하여 오브젝트에 대한 제1 깊이 맵을 생성하고, 수신된 반사파의 도착 시간에 기초하여 오브젝트에 대한 제2 깊이 맵을 생성하고, 제1 깊이 맵 및 제2 깊이 맵을 결합하여 오브젝트에 대한 깊이 맵을 생성하는 프로세서를 포함한다.

Description

광학 장치 및 깊이 정보 생성 방법{OPTICAL DEVICE AND METHOD FOR GENERATING DEPTH INFORMATION}
본 발명은 광학 장치 및 이를 이용한 깊이 정보 생성 방법에 관한 것으로, 보다 상세하게는, 복수의 전파 측정 방법에 따라 생성된 복수의 깊이 맵을 결합하여 고해상도의 깊이 맵을 생성하는 광학 장치 및 깊이 정보 생성 방법에 관한 것이다.
3차원 물체의 깊이/거리를 측정하기 위한 기술로서, 탐침(프로브)를 이용한 접촉식 측정 방식과 광학계를 이용한 비접촉식 3차원 깊이 측정 방식으로 분류할 수 있다. 본 발명은 물체의 3차원 깊이 맵을 생성하는 개량된 광학 시스템에 관련된다.
종래에 제시된 광학적 측정 방식은 측정 장치에 사용되는 정밀한 임펄스 레이저를 사용하는바, 구현하기 위한 제조 비용이 높았다. 또 다른 종래의 방식의 경우에 조사하는 빛의 광원을 넓은 영역에 걸쳐 분포시켜야 하였고, 그림자를 형성하기 위한 스크린을 배치해야 하는바, 공간적 한계가 존재하였다. 또 다른 종래 방식은, 획득한 복수의 프레임을 깊이 맵으로 처리하기 위한 연산이 매우 복잡하여 실시간 산출이 어려운 한계가 존재하였다. 또 다른 종래 방식의 경우, 둘 이상의 스테레오 카메라를 이용함에 따라 둘 이상의 3차원 모델을 생성해야 하는 계산상 복잡성 및 둘 이상의 카메라의 위치 및 촬영 방향을 정밀하게 교정해야 하는 단점이 존재하였다. 또한, 대부분의 경우, 장치가 실외와 같이 노이즈가 존재하는 환경에배치되면, 깊이 정보 획득이 어렵게 되는, 노이즈에 취약한 단점이 존재하였다.
본 발명은 상술한 단점들로부터 안출된 것으로서, 본 발명의 목적은 복수의 전파 측정 방법에 의해 생성된 오브젝트의 3차원 정보를 결합하여 고해상도의 깊이 맵을 생성하는 광학 장치 및 깊이 정보 생성 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 오브젝트에 대한 깊이 맵을 생성하는 깊이 정보 생성 방법은, 상기 오브젝트에 전자기파를 조사하는 단계, 광 수신기를 통해 상기 오브젝트로부터 반사된 반사파를 수신하는 단계 및 상기 수신된 반사파의 도착 방향에 기초하여 상기 오브젝트에 대한 제1 깊이 맵을 생성하고, 상기 수신된 반사파의 도착 시간에 기초하여 상기 오브젝트에 대한 제2 깊이 맵을 생성하고, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합한 깊이 맵을 생성하는 단계를 포함한다.
이 경우, 상기 생성하는 단계는, 기 광 수신기의 임펄스 응답에 기초하여 산출된 스티어링 벡터(steering vector) 및 상기 반사파를 수신한 광 수신기의 출력 벡터에 대한 상관 연산을 수행하여 산출된 도착 방향 스펙트럼으로부터 상기 제1 깊이 맵을 생성할 수 있다.
이 경우, 상기 광 수신기는, 복수의 수광소자로 구성되며, 상기 생성하는 단계는, 하기의 수학식을 이용하여 상기 상관 연산을 수행할 수 있다:
Figure 112015054932137-pat00001
여기서, M은 상기 복수의 수광소자의 총 개수,
Figure 112015054932137-pat00002
는 출력 벡터,
Figure 112015054932137-pat00003
는 스티어링 벡터, 그리고 xm(t)는 m번째 수광소자의 출력, am(θ,φ,t,dl)은 m번째 수광소자에 대응하는 스티어링 벡터 컴포넌트이다.
이 경우, 상기 광 수신기는 상기 복수의 수광소자가 등간격의 격자 형태로 배열된 안테나 어레이일 수 있다.
한편, 상기 생성하는 단계는, 하기의 수학식을 이용하여 상기 상관 연산을 수행하여 사이드로브(sidelobes)가 제거된 도착 방향 스펙트럼을 산출하고, 상기 사이드로브가 제거된 도착 방향 스펙트럼으로터 상기 제1 깊이 맵을 생성할 수 있다:
Figure 112015054932137-pat00004
여기서, <xm, am>은,
Figure 112015054932137-pat00005
이고,
여기서, (xm, am)은,
Figure 112015054932137-pat00006
, M은 상기 복수의 수광소자의 개수,
Figure 112015054932137-pat00007
는 상기 광 수신기로 입사되는 상기 반사파를 나타내는 웨이브 벡터(wave vector),
Figure 112015054932137-pat00008
은 상기 복수의 수광소자 중 m번째의 수광소자를 나타내는 동경 벡터(radius vector), Δ은 상기 반사파의 파장(wave length), 그리고 c는 빛의 속도이다.
한편, 상기 깊이 정보 생성 방법은, 상기 오브젝트를 포함하는 모니터링 영역으로 무지향성(omnidirectional) 전자기파를 조사하는 단계, 상기 무지향성 전자기파가 상기 오브젝트에 의해 산란된 신호(scattered signals)의 일부를 수신하는 단계 및 상기 수신된 산란 신호를 분석하여 상기 오브젝트의 위치를 식별하는 단계를 더 포함하고, 상기 오브젝트에 전자기파를 조사하는 단계는, 상기 식별된 오브젝트의 위치에 기초하여 상기 오브젝트에 상기 전자기파를 조사할 수 있다.
이 경우, 상기 오브젝트에 전자기파를 조사하는 단계는, 상기 수신된 산란 신호를 분석하여 상기 전자기파가 조사되는 위치로부터 상기 오브젝트의 가장 가까운 지점 및 상기 오브젝트의 가장 먼 지점의 거리를 산출하고, 상기 산출된 거리에 따라 세기를 달리하는 상기 전자기파를 조사할 수 있다.
한편, 상기 오브젝트에 전자기파를 조사하는 단계는, 상기 오브젝트가 복수 개인 경우, 상기 식별된 오브젝트의 위치에 기초하여 상기 복수의 오브젝트 각각에 상기 전자기파를 조사할 수 있다.
한편, 상기 오브젝트에 조사되는 전자기파는, 시간 및 공간 광 변조된 전자기파일 수 있다.
이 경우, 상기 깊이 정보 제공 방법은, 광원에서 방출되는 전자기파를 시간 광 변조하고, 시간에 따라 변경되는 복수의 이진 패턴을 이용하여 상기 시간 광 변조된 전자기파를 공간 광 변조하여 상기 시간 및 공간 광 변조된 전자기파를 생성하는 단계를 더 포함할 수 있다.
한편, 상기 오브젝트는, 사용자의 손이고, 상기 깊이 정보 제공 방법은 상기 결합한 깊이 맵으로부터 판단된 상기 손의 움직임에 대응하는 제스처 명령에 따라 영상을 출력하는 디스플레이 장치의 기능을 제어하는 단계를 더 포함할 수 있다.
한편, 상기 광 수신기는, 복수의 수광소자가 하나 또는 복수 개의 동심원 형태로 배치된 안테나 어레이일 수 있다.
한편, 상기 깊이 맵을 생성하는 단계는, 초해상도 복원(Superresolution) 기술 또는 하이브리드 이미징(hybrid imaging) 기술을 이용하여, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합할 수 있다.
한편, 상기 오브젝트에 전자기파를 조사하는 단계는, 상기 오브젝트 전체에 전자기파를 조사하기 위해, 복수의 레이저 빔으로 구성된 상기 전자기파를 기설정된 방향으로 이동시키면서 상기 오브젝트에 조사할 수 있다.
한편, 본 발명의 일 실시예에 따른 오브젝트에 대한 깊이 맵을 생성하는 광학 장치는, 상기 오브젝트에 전자기파를 조사하는 프로젝터, 상기 오브젝트로부터 반사된 반사파를 수신하는 광 수신기, 상기 수신된 반사파의 도착 방향에 기초하여 상기 오브젝트에 대한 제1 깊이 맵을 생성하고, 상기 수신된 반사파의 도착 시간에 기초하여 상기 오브젝트에 대한 제2 깊이 맵을 생성하고, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합하여 상기 오브젝트에 대한 깊이 맵을 생성하는 프로세서를 포함한다.
이 경우, 상기 프로세서는, 상기 광 수신기의 임펄스 응답에 기초하여 산출된 스티어링 벡터(steering vector) 및 상기 반사파를 수신한 광 수신기의 출력 벡터에 대한 상관 연산을 수행하여 산출된 도착 방향 스펙트럼으로부터 상기 제1 깊이 맵을 생성할 수 있다.
이 경우, 상기 광 수신기는, 복수의 수광소자로 구성되며, 상기 프로세서는, 하기의 수학식을 이용하여 상기 상관 연산을 수행할 수 있다:
Figure 112015054932137-pat00009
여기서, M은 상기 복수의 수광소자의 총 개수,
Figure 112015054932137-pat00010
는 출력 벡터,
Figure 112015054932137-pat00011
는 스티어링 벡터, 그리고 xm(t)는 m번째 수광소자의 출력, am(θ,φ,t,dl)은 m번째 수광소자에 대응하는 스티어링 벡터 컴포넌트이다.
이 경우, 상기 광 수신기는 상기 복수의 수광소자가 등간격의 격자 형태로 배열된 안테나 어레이일 수 있다.
한편, 상기 프로세서는, 하기의 수학식을 이용하여 상기 상관 연산을 수행하여 사이드로브(sidelobes)가 제거된 도착 방향 스펙트럼을 산출하고, 상기 사이드로브가 제거된 도착 방향 스펙트럼으로터 상기 제1 깊이 맵을 생성할 수 있다:
Figure 112015054932137-pat00012
여기서, <xm, am>은,
Figure 112015054932137-pat00013
이고,
여기서, (xm, am)은,
Figure 112015054932137-pat00014
, M은 상기 복수의 수광소자의 개수,
Figure 112015054932137-pat00015
는 상기 광 수신기로 입사되는 상기 반사파를 나타내는 웨이브 벡터(wave vector),
Figure 112015054932137-pat00016
은 상기 복수의 수광소자 중 m번째의 수광소자를 나타내는 동경 벡터(radius vector), Δ은 상기 반사파의 파장(wave length), 그리고 c는 빛의 속도이다.
한편, 상기 프로젝터는, 상기 오브젝트를 포함하는 모니터링 영역으로 무지향성(omnidirectional) 전자기파를 조사하고, 상기 광 수신기는, 상기 무지향성 전자기파가 상기 오브젝트에 의해 산란된 신호(scattered signals)의 일부를 수신하고, 상기 프로세서는, 상기 수신된 산란 신호를 분석하여 상기 오브젝트의 위치를 식별하고, 상기 식별된 오브젝트의 위치에 기초하여 상기 오브젝트에 상기 전자기파를 조사할 수 있다.
이 경우, 상기 프로세서는, 상기 수신된 산란 신호를 분석하여 상기 전자기파가 조사되는 위치로부터 상기 오브젝트의 가장 가까운 지점 및 상기 오브젝트의 가장 먼 지점의 거리를 산출하고, 상기 산출된 거리에 따라 세기를 달리하는 상기 전자기파를 조사하도록 상기 프로젝터를 제어할 수 있다.
이 경우, 상기 프로세서는, 상기 오브젝트가 복수 개인 경우, 상기 식별된 오브젝트의 위치에 기초하여 상기 복수의 오브젝트 각각에 상기 전자기파를 조사하도록 상기 프로젝터를 제어할 수 있다.
한편, 상기 프로젝터는, 시간 및 공간 광 변조된 전자기파를 상기 오브젝트에 조사할 수 있다.
이 경우, 상기 프로젝터는, 상기 전자기파를 방출하는 광원 및 상기 방출된 전자기파를 공간 변조하는 공간 광 변조기(Spatial Light Modulator: SLM)를 포함할 수 있다.
이 경우, 상기 프로세서는, 상기 광원에서 방출되는 전자기파를 시간 광 변조하고, 시간에 따라 변경되는 복수의 이진 패턴에 대한 신호를 상기 공간 광 변조기로 전송하여 상기 시간 광 변조된 전자기파를 공간 광 변조할 수 있다.
한편, 상기 오브젝트는 사용자의 손이고, 상기 프로세서는, 상기 결합한 깊이 맵으로부터 판단된 상기 손의 움직임에 대응하는 제스처 명령에 따라 영상을 출력하는 디스플레이 장치의 기능을 제어할 수 있다.
한편, 상기 광 수신기는, 복수의 수광소자가 하나 또는 복수 개의 동심원 형태로 배치된 안테나 어레이일 수 있다.
한편, 상기 프로세서는, 초해상도 복원(Superresolution) 기술 또는 하이브리드 이미징(hybrid imaging) 기술을 이용하여 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합할 수 있다.
한편, 상기 프로젝터는, 복수의 레이저 빔으로 구성된 상기 전자기파를 조사하고, 상기 프로세서는, 상기 오브젝트 전체에 상기 전자기파를 조사하기 위해, 상기 복수의 레이저 빔을 기설정된 방향으로 이동시키면서 상기 오브젝트에 조사하도록 상기 프로젝터를 제어할 수 있다.
종래 ToF 카메라는 작은 개구 때문에 좁은 영역의 깊이 맵만을 생성할 수 있었지만, 본 발명은 광 수신기가 외부에 노출되어 있다면, 수신기가 빛을 수신하는 전방 180도의 공간에 전체에 대해 깊이 맵의 생성이 가능하다.
또한, 고전적인 도래각을 계산하는 DoA 방식과 달리, 본 발명이 제시하는 DoA 방식은 복수의 점들에 대한 거리를 계산할 수 있다.
도 1은 본 발명의 일 실시예에 따른 광학 장치를 이용한 디스플레이 시스템을 도시하는 도면,
도 2는 본 발명의 일 실시예에 따른 광학 장치의 구성을 나타내는 블록도,
도 3은 도 2의 광학 장치의 구성들의 기능 및 동작들을 각각의 블록으로 나타낸 블록도,
도 4 내지 도 6은 본 발명의 일 실시예에 따른 광학 측정 장치가 손의 깊이 맵을 생성하는 기법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 깊이 정보 생성 방법을 설명하기 위한 흐름도,
도 8은 송신기와 수신기의 세부 구성을 나타내는 블록들 및 블록들 사이에 전달되는 신호의 흐름을 설명하기 위한 도면,
도 9는 2차원 배열된 복수의 수광소자 중 어느 하나가 수신하는 전파의 광경로를 설명하기 위한 도면,
도 10은 수신기의 임펄스 응답을 나타내는 그래프,
도 11은 상이한 두 거리로부터 각각 세 방향의 반사파를 수신한 네 개의 도 10의 수신기의 출력을 나타내는 그래프,
도 12는 도 11의 출력과 임펄스 응답의 상관연산에 의해 산출된 상이한 두 거리에 대한 스펙트럼 그래프,
도 13은 본 발명의 일 실시예에 따른 광학장치의 수신기를 기준으로 하는 좌표계를 설명하기 위한 도면,
도 14는 도 13의 수신기에서 상이한 두 거리로부터 각각 세 방향의 반사파를 수신한 경우의 스펙트럼을 나타내는 그래프,
도 15는 도 14의 두 스펙트럼을 병합한 그래프,
도 16은 동일 거리에 상이한 입사각을 갖는 두 지점으로부터의 반사파를 수신한 UCA 수신기의 출력 및 동일 거리 및 상이한 입사각을 갖는 스티어링 벡터 컴포넌트를 함께 도시한 그래프,
도 17은 복수의 레이저 빔이 오브젝트를 스캐닝하는 동작을 예시하는 도면,
도 18은 사이드 로브를 제거한 오브젝트들의 형상을 도시한 도면,
도 19는 스캐닝하는 레이저 빔의 이동 횟수를 달리하였을 때 산출되는 두 스펙트럼을 비교하는 도면,
도 20은 모니터링 영역의 두 오브젝트가 상이한 거리에 배치되어 있을 때 나타나는 스펙트럼을 도시한 도면,
도 21은 왼손과 오른손이 상이한 거리에 있을 때의 스펙트럼을 도시한 도면, 그리고,
도 22는 여러 명의 사용자가 각각 취하는 손 모양을 식별하는 동작을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 광학 장치를 이용한 디스플레이 시스템을 도시하는 도면이다.
도 1을 참조하면, 디스플레이 시스템은 사용자의 제스처를 인식하기 위한 광학 장치(100) 및 영상을 표시하는 디스플레이 장치(10)를 포함한다.
디스플레이 장치(10)는 영상을 표시한다. 디스플레이 장치(10)가 표시하는 영상은 통신 인터페이스를 통해 연결된 외부기기, 이동식 저장소 등으로부터 수신된 데이터의 영상일 수 있다. 또한, 영상은 디스플레이 장치(10) 내부의 저장소에 저장된 데이터의 영상일 수 있다. 또한, 디스플레이 장치(10)는 무선 안테나를 통해 수신되는 공중파 방송이나, 유선으로 스트리밍되거나 다운로드되는 영상을 표시할 수 있다.
그리고, 디스플레이 장치(10)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
한편, 디스플레이 장치(10)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 근접 센서나 터치 센서를 이용한 사용자 조작을 인식할 수 있는 터치 디스플레이 패널로 구현될 수 있다. 터치 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다. 또한, 디스플레이 장치(10) 사용자의 음성을 인식하는 마이크를 구비하고, 사용자의 음성에 따른 명령을 수행할 수 있다. 또한, 디스플레이 장치(10)는 원격 조정 장치의 무선 신호를 수신하여 원격에서 입력된 사용자의 명령에 대응하는 기능을 수행할 수 있다.
복수의 사용자들(20, 30)은 광학 장치(100)의 인식 가능한 범위 내에서 기설정된 손 동작 또는 손 모양을 취함으로써 디스플레이 장치(10)를 제어할 수 있다.
예를 들어, 사용자(20)는 디스플레이 장치(10)에 다음 슬라이드가 표시되도록 하는 기설정된 손동작(동일하게는, 손짓(gesture))과 대응되는 동작(21)을 취할 수 있다. 동시에 사용자(30)는 디스플레이 장치(10)에서 출력되는 음량을 조절하는 기설정된 모양과 대응되는 손모양(handshape)을 취할 수 있다.
광학 장치(100)는 하나 또는 복수의 손을 식별한다. 구체적으로, 광학 장치(100)는 전방의 모니터링 영역으로 전자기파를 조사하고, 반사된 반사파를 수신하고, 수신된 반사파의 신호로부터 손(21, 31)을 식별할 수 있다.
또한, 광학 장치(100)는 식별된 손(21, 31)에 대한 깊이 맵을 생성한다. 구체적으로, 광학 장치(100)는 식별된 손(21, 31)의 위치에 전자기파를 조사하여 입체적인 손 모양을 표현할 수 있는 깊이 맵을 생성할 수 있다.
광학 장치(100)는 생성된 각 손(21, 31)의 깊이 맵으로부터 기설정된 손동작 또는 손모양과 대응되는지 여부를 판단하여, 대응되는 손동작 또는 손모양에 해당하는 제어 명령을 디스플레이 장치(10)로 전송할 수 있다.
이상과 같은 일 실시예의 디스플레이 시스템은 원거리에서도 복수의 사용자가 필요한 제어 명령을 간단한 제스처만으로 입력할 수 있다. 본 발명의 광학 장치를 응용한 다양한 실시예에 있어서, 광학 장치는 상술한 디스플레이 장치뿐만 아니라, 전문 의사가 원격지에 있는 환자에게 로봇 팔을 이용하여 환자에게 직접 시술하는 원격 의료 시스템에서 의사의 손에 대한 깊이 맵을 형성하기 위하여 이용될 수 있다. 또한, 광학 장치는 비디오 게임에서 사용자의 직관적이고 능동적인 플레이를 가능케 할 수 있다. 또한, 광학 장치는 일반 가정집이나 사무소에서 방의 내부 공간을 비추도록 설치되어, 거주자가 필요에 따라 어디서든 제스처만으로 실내에 설치된 특정 전자 제품을 제어할 수 있는 명령을 입력할 수 있다.
이상에서는 손모양 또는 손동작에 의한 디스플레이 장치의 제어를 설명하였으나, 제어되는 장치는 이에 한정되지 않는다. 또한, 제어를 위한 신체 부위는 손에 한정되지 아니하며 어께부터 손끝, 상반신 등이 될 수 있다.
도 2는 본 발명의 일 실시예에 따른 광학 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 광학 장치(100)는 프로젝터(110), 광 수신기(120) 및 프로세서(130)를 포함한다.
프로젝터(110)는 오브젝트에 전자기파를 조사한다. 구체적으로, 프로젝터(110)는 모니터링 영역을 향하여 오브젝트를 감지하기 위한 전자기파를 방출(radiate)할 수 있다.
프로젝터(110)는 전자기파를 방출하는 광원을 포함할 수 있다. 일 예로서, 프로젝터(110)는 레이저 광선을 방출하는 레이저 장치를 포함할 수 있다. 여기서 레이저 장치는 단일의 레이저 다이오드 또는 복수의 레이저 다이오드로 구성된 다이오드 어레이로 구현될 수 있다.
여기서, 전자기파를 방출하는 프로젝터(110)의 광원은 모니터링 영역으로 전파된 전자기파가 오브젝트에서 반사되어 수신하기에 적합하도록, 세기 및/또는 주파수를 조절할 수 있다.
프로젝터(110)는 전자기파를 조사하는 방향을 방향을 조절할 수 있다. 구체적으로, 프로젝터(110)는 모니터링 영역에 전자기파를 비추는(illuminating) 위치 - 즉, 초점(focus)을 이동시킬 수 있다. 이를 위하여, 프로젝터(110)는 광원 앞에 광학 기기를 구비할 수 있다. 광학 기기는 빛의 방향을 바꿀 수 있는 조종(steering/aligning) 장치이다. 광학 기기는 하나 또는 복수 개의 렌즈, 거울, 그레이팅(grating), 셔터 등을 포함할 수 있다.
프로젝터(110)는 복수의 레이저 빔을 방출할 수 있다. 구체적으로 프로젝터(110)는 하나 또는 복수의 광원으로부터 방출되는 빛을 기설정된 복수의 위치에서 출력되는 레이저 빔으로 방출되도록 할 수 있다. 여기서, 기설정된 복수의 위치는 직교 배열된 격자 형태일 수 있다.
프로젝터(110)는 시간 및 공간 광 변조된 전자기파를 조사할 수 있다. 구체적으로, 프로젝터(110)는 시간에 대하여 기설정된 정현파 형태를 갖는 조화적으로(harmonically) 진동하는 빛을 조사할 수 있다. 그리고, 프로젝터(110)는 공간에 대하여 기설정된 패턴으로 시간에 따라 변화하는 빛을 조사할 수 있다.
여기서, 프로젝터(110)는 기저장된 이진 패턴에 따라 공간 변조된 전자기파를 조사할 수 있다. 일 실시예에 있어서, 하나의 레이저 장치에서 출력된 하나의 레이저 빔은 확장기(expander)를 거쳐 확장된 레이저 빔은 빛이 통과할 수 있는 패턴이 형성된 격막(barrier)에 의해 복수의 레이저 빔으로 방출될 수 있다.
구체적으로, 프로젝터(110)는 SLM(Spatial Light Modulator)을 포함할 수 있다. SLM은 광원이 방출하는 전자기파를 공간 광 변조할 수 있다. SLM은 기설정된 패턴에 대응하는 전기 신호에 의해 특정 영역을 투명 또는 불투명하게 전환함으로써 전자기파를 변조한다. 보다 구체적으로, SLM은 2차원 어레이 픽셀을 포함할 수 있다. 그리고, SLM은 각 픽셀의 투과성을 전기 신호에 따라 전환할 수 있다. 본 발명에 있어서 공간 광 변조를 위해 사용되는 패턴은 이진 패턴일 수 있다. 일 실시예에 있어서, SLM은 마이크로 미러 어레이(micro-mirror array)를 포함할 수 있다. 그 외 다양한 타입의 SLM이 이용될 수 있다. 가령, LCD에 기반한 SLM, 입사된 빛의 경로가 바뀌는 반사형 LCoS SLM, 광신호에 의해 빛을 변조하는 OASLM이 이용될 수 있다.
광 수신기(120)는 반사파를 수신한다. 구체적으로, 광 수신기(120)는 프로젝터(110)에서 방출한 전자기파가 오브젝트로부터 반사된 반사파를 수신할 수 있다. 이하 본 발명의 구성을 설명함에 있어서, 광 수신기는 간략히 수신기, 수광기 또는 전파를 수신한다는 의미에서 안테나로 지칭할 수 있다.
광 수신기(120)는 입사되는 전자기파를 감지하고, 수신한 빛 에너지를 전기 신호로 변환할 수 있다. 이를 위하여, 광 수신기(120)는 포토 다이오드 또는 포토 트렌지스터와 같은 빛 감지 소자(이하 수광소자라 한다)를 하나(단일) 또는 복수 개(어레이) 포함할 수 있다. 참고로, 일반적인 경우 광학 장치(100)를 구현함에 있어서, 깊이 맵의 해상도는 입사되는 반사파를 수신하는 광 수신기(120)의 센서의 개수에 비례한다.
광 수신기(120)는 복수의 수광소자가 격자형태로 배열된 안테나 어레이(uniform rectangular array: URA)일 수 있다. 일 예로서, 광 수신기(120)는 복수의 포토 다이오드가 가로 세로 배치된 간격이 동일하도록 정렬된 형태의 어레이일 수 있다. 다른 실시예에 있어서, 광 수신기(120)는 복수의 수광소자가 하나 또는 복수 개의 동심원 형태로 배치된 안테나 어레이(uniform circular array: UCA)일 수 있다. 일 예로서, 광 수신기(120)는 복수의 포토 다이오드가 원을 따라 등간격으로 정렬된 하나 또는 복수의 동심원 형태의 어레이일 수 있다.
프로세서(130)는 반사파를 수신한 광 수신기(120)로부터 출력된 전기 신호를 이용하여 모니터링 영역의 오브젝트에 대한 깊이 맵을 생성한다. 구체적으로, 프로세서(130)는 모니터링 영역(또는, scene of interest)에 존재하는 오브젝트의 3차원 정보를 획득하는 알고리즘을 이용하여 깊이 맵을 생성할 수 있다.
프로세서(130)는 광 수신기(120)에서 감지된 신호로부터 깊이 맵을 생성하는 복수의 서로 다른 알고리즘을 이용하여 복수의 깊이 맵을 생성할 수 있다. 그리고, 프로세서(130)는 복수의 깊이 맵을 결합하여 상기 오브젝트에 대한 깊이 맵을 생성할 수 있다.
구체적으로, 프로세서(130)는 수신된 반사파의 도착 방향에 기초하여 오브젝트에 대한 제1 깊이 맵을 생성하고, 수신된 반사파의 도착 시간에 기초하여 오브젝트에 대한 제2 깊이 맵을 생성할 수 있다. 일 예로서, 프로세서(130)는 도착 방향 추정(direction of arrival: DoA estimation) 알고리즘과 비행 시간 추정(time of flight: ToF estimation) 알고리즘을 이용하여 각각의 알고리즘에 따른 깊이 맵을 생성할 수 있다.
여기서, 도착 방향(DoA)은 광학 장치(100)의 수신기(120)에 빛이 도달하는 입사각을 말한다. DoA 추정 알고리즘을 이용할 경우, 광학 장치는 오브젝트에서 반사되어 광 수신기(120)에 입사되는 반사파의 도착 방향을 계산할 수 있다.
프로세서(130)는 DoA 방식에 따른 오브젝트의 깊이 맵을 생성할 수 있다. 구체적으로, 프로세서(130)는 수신기(120)의 출력과 수신기의 임펄스 응답간의 상관연산(Correlation)을 이용하는 DoA 추정 방식에 따라 신호를 처리하여 오브젝트의 개략적인(rough) 깊이 맵을 생성할 수 있다. 구체적인 DoA 추정 알고리즘 및 이에 따라 계산된 스펙트럼은 후술한다.
프로세서(130)는 ToF 방식에 따른 오브젝트의 깊이 맵을 생성할 수 있다. 구체적으로, 프로세서(130)는 공간 변조된 빛이 오브젝트에 반사되어 수신되기까지의 round trip 경로를 주행하는 시간을 계산하는 ToF 추정 방식에 따라 신호를 처리하여 오브젝트의 깊이 맵을 생성할 수 있다.
프로세서(130)는 생성된 복수의 깊이 맵을 결합한다. 구체적으로, 프로세서(130)는 DoA 방식에 의해 생성된 제1 깊이 맵과 ToF 방식에 의해 생성된 제2 깊이 맵을 결합할 수 있다. 두 깊이 맵을 결합하기 위하여 프로세서(130)는 두 영상 데이터를 결합/합성하여 해상도가 향상된 영상을 생성하는 다양한 기술을 이용할 수 있다. 예를 들어, 프로세서(130)는 상이한 영상 특성을 갖는 둘 이상의 이미지를 결합하는 하이브리드 이미징(hybrid imaging) 기술 또는 저해상도의 여러 개의 이미지 정보를 이용하여 하나의 고해상도 이미지로 복원하는 초해상도 복원(supperesolution) 기술을 이용할 수 있다.
프로세서(130)는 프로젝터(110)가 무지향성(omnidirectional) 전자기파를 조사하도록 제어할 수 있다. 구체적으로, 프로세서(130)는 프로젝터(110)가 모니터링 영역의 특정 영역을 겨누지 아니하고, 모니터링 영역 전반에 걸친 무지향성의 전자기파를 조사하도록 제어할 수 있다.
이 경우, 광 수신기(120)는 프로젝터(110)에서 조사한 무지향성 전자기파가 하나 또는 복수의 오브젝트에 부딪혀 산란된 신호(scattered signals)의 일부를 수신할 수 있다. 다시 말하면, 모니터링 영역에 조사한 무지향성 전자기파는 오브젝트에 반사되어 흩어지고, 흩어진 신호 중 광 수신기(120)를 향하는 일부 신호가 광 수신기(120)에 수신될 수 있다.
프로세서(130)는 수신된 산란 신호를 분석하여 적어도 하나의 오브젝트의 위치를 식별할 수 있다. 그리고 프로세서(130)는 식별된 오브젝트의 위치에 기초하여 오브젝트에 전자기파를 조사하도록 프로젝터(120)를 제어할 수 있다. 구체적으로, 프로세서(130)는 전자기파가 전파하는 방향이 식별된 오브젝트의 위치를 향하도록 프로젝터(120)가 향하는 방향을 조종할 수 있다. 여기서, 식별된 오브젝트가 복수 개인 경우, 프로세서(130)는 식별된 오브젝트의 위치에 기초하여 복수의 오브젝트 각각에 전자기파를 조사하도록 프로젝터(120)를 제어할 수 있다.
또한, 프로세서(130)는 수신된 산란 신호를 분석하여 전자기파를 조사하는 프로젝터로부터 오브젝트의 가장 가까운 지점 및 오브젝트의 가장 먼 지점의 거리를 산출할 수 있다. 다시 말하면, 프로세서(130)는 산란된 반사광이 수신된 신호를 처리하여 가장 가까운 오브젝트상의 지점과 가장 먼 오브젝트상의 지점을 판단할 수 있다. 이는 프로젝터(110)에서 조사하는 레이저가 레이저의 주파수 또는 세기에 따라서는 사람의 피부나 눈 등의 신체에 데미지를 입힐 가능성이 존재한다. 또한, 광 수신기(120)의 수광소자는 통상적으로 수용할 수 있는 빛의 세기에 한계가 있고, 자칫 한계를 초과하는 강한 반사광이 들어오게 되면, 수광기가 블라인드(blind)될 수 있다. 따라서, 프로세서(130)는 깊이 맵을 생성할 오브젝트의 가장 가까운 지점과 가장 먼 지점을 계산하고, 가장 가까운 지점과 가장 먼 지점 사이에서 깊이 맵을 생성하기에 충분한 정도로만 빛을 비추도록 프로젝터(110)를 제어할 필요가 있다.
이상 설시한 바와 같은 광학 장치(100)는 물체(오브젝트)에 대한 3차원의 고해상도 깊이 맵을 생성할 수 있다.
도 3은 도 2의 광학 장치의 구성들의 기능 및 동작들을 각각의 블록으로 나타낸 블록도이다.
도 3을 참조하면, 광학 장치(100)의 특정 기능 및 동작을 단위로 하는 복수의 블록들(305 내지 355)이 도시되어 있다. 도 3의 블록들은 발명의 설명을 용이하게 하기 위한 것일 뿐 특정 구조로 한정되지 아니한다.
변조원 신호 생성부(305)는 디지털 변조된 신호를 생성한다. 구체적으로, 변조원 신호 생성부(305)는 전자기파의 시간 및 공간 변조를 위하여 프로젝터(110)로 전송할 원 신호를 생성할 수 있다. 변조원 신호 생성부(305)가 생성한 변조 정보는 복조 유닛(330) 및 컨볼루션 및 필터링 모듈(335)과 공유되어 수신된 신호를 처리하기 위해 이용될 수 있다.
레이저 빔 및 패턴 생성부(310)는 모니터링 영역을 비추기 위한 하나 또는 복수의 레이저 빔과 레이저 빔을 변조한 패턴을 생성한다. 구체적으로, 레이저 빔 및 패턴 생성부(310)는 도 2의 프로젝터(110)의 광원에서 방출하는 레이저를 기설정된 개수와 기설정된 형태를 갖는 하나 또는 복수의 레이저 빔으로 출력한다. 또한, 레이저 빔 및 패턴 생성부(310)는 하나 또는 복수의 레이저 빔의 일부를 기설정된 타이밍에 투과시키거나 막아서 패턴화된 레이저 빔이 출력되도록 한다. 일 실시예에 있어서, 레이저 빔 및 패턴 생성부(310)의 기능은 SLM으로 구현될 수 있다.
전방향 경로 전파(315)는 변조된 전자기파가 모니터링 영역을 향해 전파되는 것을 나타내는 블록이다.
모니터링 영역(320)은 모니터링 오브젝트(321)를 포함한다. 모니터링 영역(320)은 도 2의 광학 장치(100)로부터 전자기파가 도달하여 반사된 반사파를 수신할 수 있는 거리 및 범위 내의 공간이다. 그리고, 모니터링 영역(320)에는 깊이 맵의 대상이 되는 오브젝트(321)가 위치한다.
후방향 경로 전파(325)는 전송된 전자기파가 오브젝트에 반사되어 되돌아 오는 것을 나타내는 블록이다.
복조 유닛(330)은 반사파의 아날로그 신호를 수신하여 디지털 신호로 변환하고 디지털 신호를 복조한다. 복조 유닛(330)은 반사파를 수신하기 위하여 광 수신기(331)를 포함할 수 있다. 여기서 광 수신기(331)는 도 2의 광 수신기(120)로 구현될 수 있다. 복조 유닛(330)이 광 신호가 변환된 전기 신호를 디지털라이즈하는 과정에는 필터링, 게인, 다운 컨버팅 등의 처리가 더 부가될 수 있다.
컨볼루션 및 필터링부(335)는 변조원 신호 생성부(305)와 공유한 변조 정보에 기초하여 광 수신기(331)를 통해 수신된 신호에서 유효한 정보를 추출한다. 구체적으로, 컨볼루션 및 필터링부(335)는 원 신호가 변조된 정보에 기초하여 수신된 전파 중에서 유의미한 전파에 해당하는 정보를 걸러내고, 컨볼루션 결과가 양(positive)인지 여부에 따라 올바른 신호를 획득하였는지 여부를 판단한다.
DoA 추정부(340)는 광 수신기(331)에 수신된 반사파의 방향 및 깊이 맵을 생성하기 위한 DoA 알고리즘에 따라 컨볼루션 및 필터링부(335)에서 출력된 로우 데이터(raw data)를 처리한다.
DoA 추정부(340)가 데이터를 처리한 결과 생성된 깊이 맵은 저장소 등에 러프 깊이 맵(350)으로서 저장된다.
상이한 광 패턴에 대한 ToF 신호 분석부(345)는 모든 모니터링 영역(scene)에 대한 깊이 맵을 생성하기 위한 ToF 알고리즘에 따라 로우 데이터를 처리한다.
그리고, 상이한 광 패턴에 대한 ToF 신호 분석부(345)는 처리 결과 생성된 깊이 맵을 러프 깊이 맵(350)과 결합하는 영상 처리를 수행한다.
상이한 광 패턴에 대한 ToF 신호 분석부(345)의 처리에 따라 생성된 깊이 맵은 정밀 깊이 맵(355)으로 저장소 등에 저장되고, 저장된 정밀 깊이 맵(355)의 정보는 오브젝트의 3차원 모델링 또는 제스처 인식을 위한 그래픽 처리부 등으로 출력된다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 광학 측정 장치가 손의 깊이 맵을 생성하는 기법을 설명하기 위한 도면이다.
도 4는 손(450)을 비춰서 깊이 정보를 획득하는 광학 장치(410)의 동작을 도식적으로 나타낸다. 도 4를 참조하면, 광학 장치(410)는 전자기파를 모니터링 영역(440)에 조사하는 프로젝터(420)와 전파를 수신하는 광 수신기(430)를 포함한다.
프로젝터(420)는 시간 및 공간 광 변조된 전자기파를 전방의 모니터링 영역(440)으로 방출한다. 그리고, 모니터링 영역(440)에 존재하는 손(450)은 전자기파를 받아서 반사시킨다. 반사된 전자기파는 광 수신기(430)에 수신된다. 구현되는 광학 장치(410)는 도 4의 도시된 형태에 한정되지 아니하며, 도시된 프로젝터(420)와 광 수신기(430)의 모양이나 배치에 한정되지 아니한다. 또한, 도 4에서는 수광소자 4개를 도시하였으나, 이에 한정되지 아니하며, 하나 또는 둘 이상의 수광소자로 구현될 수 있다. 그리고, 손(420)과 광학 장치(410)간의 거리는 수 미터 이상이 될 수 있다.
도 5를 참조하면, 전자기파를 변조하여 손에 비추는 동작 및 흐름을 도식적으로 나타낸다. 도 5를 참조하면 광원(510)에서 전자기파가 방출된다. 여기서 방출되는 전자기파는 적외선(IR) 레이저일 수 있다.
광원(510)에서 방출된 전자기파는 SLM(520)을 통과한다. 구체적으로, 전자기파는 공간 광 변조를 위한 SLM(520)을 통과할 수 있다. 일 예에서 SLM(520)은 마이크로 미러 어레이일 수 있다. 그리고, SLM(520)은 특정 전기 신호에 의해 복수의 2진화된 패턴(binary pattern)을 형성할 수 있다. 여기서, 복수의 2진 패턴은 한 셋트를 구성한다. 구체적으로, 2진 패턴은 SLM(520)에서 IR 레이저가 통과할 부분과 막히는 부분을 결정한다. 그리고, 한 셋트의 패턴을 구성하는 복수의 2진 패턴은 서로 상이하다. 또한, 한 셋트의 패턴은 모든 영역에 걸쳐 레이저 빔이 비춰지도록 구성된다. 다시 말하면, 2진 패턴에 의해 레이저 빔이 닿지 않는 영역이 없도록 한 셋트의 2진 패턴이 구성된다.
SLM(520)에 의하여 전자기파는 공간 변조된다. 공간 변조된 하나 또는 복수의 레이저 빔(530-1, 530-2)은 시간에 따라 변화한다. 전자기파를 변조한 패턴의 정보와 그 패턴이 적용된 시간 정보는 반사되어 돌아온 반사파 신호의 복조 및 ToF 계산에 이용된다.
최종적으로, 프로젝터(500)에서 변조된 전자기파(즉, 레이저 빔 패턴)가 모니터링 영역의 오브젝트(540)에 비춰지면, 오브젝트로부터 반사되어 수신되는 반사파의 패턴은 오브젝트의 형상에 따라 달라진다. 구체적으로, 광 수신기는, 레이저 빔 패턴을 유지하며 딜레이 없이 수신하였을 때의 출력과 달리, 입체형상을 가진 오브젝트의 표면으로부터 특정 광 경로 및 특정 각도로 입사되는 반사파의 패턴을 수신하므로, 오브젝트의 형상에 따라 상이한 출력을 갖는다. 보다 자세한 설명은 도 9를 참조하여 후술한다.
도 6을 참조하면, 손(620)을 향해 포커싱되고 한 셋트의 패턴을 고속으로 전환하며 변조된 레이저 빔을 조사하였을 때의 모니터링 영역과 반사파로부터 획득한 오브젝트의 깊이 정보를 이용하여 3차원 모델링한 손(630)을 도시하고 있다.
도 7은 본 발명의 일 실시예에 따른 깊이 정보 생성 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 전자기파를 모니터링 영역에 조사한다(S710). 구체적으로, 광학 장치는 모니터링 영역에 시간 및 공간 광 변조된 전자기파를 조사할 수 있다. 이 단계에서 무지향성 전자기파를 조사하여 모니터링 영역의 오브젝트를 식별하는 과정이 더 포함될 수 있다.
다음으로, 오브젝트로부터 반사된 반사파를 수신한다(S720). 구체적으로, 광학 장치는 조사된 전자기파가 모니터링 영역에 위한 오브젝트에 부?H혀 반사되는 반사파 중 일부를 수신할 수 있다.
그리고, 수신된 반사파의 신호를 처리하여 DoA의 깊이 맵 및 ToF의 깊이 맵을 결합한다(S730). 구체적으로, 광학 장치는 수신된 반사파의 신호를 이용하여 DoA 알고리즘에 따라 생성한 제1 깊이 맵과 ToF 알고리즘에 따라 생성한 제2 깊이 맵을 결합하여 하나의 깊이 맵을 생성할 수 있다.
수신된 반사파의 신호를 처리하는 과정에는 사용된 수광소자의 기지의 임펄스 응답과 실제 출력을 이용한 상관 연산을 수행하는 처리가 포함될 수 있다. 또한, 상관연산 결과로서 상승각과 방위각에 대한 도착 방향 스펙트럼이 산출될 수 있다. 그리고, 도착 방향 스펙트럼 산출을 위한 계산에는 사이드 로브를 제거하기 위한 연산이 더 포함될 수 있다.
이상 설시한 깊이 정보 생성 방법은, 노이즈에 강인하고 경제적이며 실시간 처리가 가능한 고해상도의 깊이 맵을 생성할 수 있다.
도 8은 송신기와 수신기의 세부 구성을 나타내는 블록들 및 블록들 사이에 전달되는 신호의 흐름을 설명하기 위한 도면이다.
도 8a를 참조하면, 파동 생성기(810)는 설계에 따른 전자기파의 세기, 캐리어 주파수, 메시지 등의 정보를 광원(820)에 전달한다.
광원(820)은 수신된 정보에 기초하여 전자기파를 방출한다.
방출된 전자기파는 패턴 생성부(830)에 의해 공간적으로도 변조된다.
광학 시스템(840)은 변조된 전자기파가 모니터링 영역에 오브젝트(850)가 위치한 관심 지역(scene of interest)로 전파되도록 방향을 조종한다.
도 8b를 참조하면, 패턴화된 입사광이 오브젝트(850)에 부딪혀 반사되면 반사된 빛의 패턴은 빛을 모아주고 외부 노이즈를 막아주는 광학 시스템(860)을 거쳐 광 수신기 어레이(870)에 도달한다.
복조부(880)는 광 수신기 어레이(870)의 전기 신호를 복조한다.
깊이 맵 재현부(890)는 복조된 정보에 기초하여 깊이 맵을 생성(reconstruct)한다.
이하에서는 도 9 내지 도 12을 참조하여 DoA 알고리즘에 사용되는 계산식을 설명한다. 여기서, 광 수신기는 도 9에 도시된 바와 같이, 설명의 편의를 위하여 광 수신기를 구성하는 수광소자가 1차원 배열된 선형 어레이(Linear Array) 안테나인 것으로 한다. 그리고, 설명에 앞서 본 발명을 설명하기 위하여 사용되는 몇 가지 용어들(Notations)을 다음과 같이 정의한다.
- Q: 신호의 개수
-
Figure 112015054932137-pat00017
: 수광소자의 총 개수, 여기서, 수신기가 격자 어레이인 경우 M1은 일 축 방향의 수광소자의 개수, M2는 다른 축 방향의 수광소자의 개수
- m: 0부터 M-1까지의 M개의 수광소자를 구분하기 위한 인덱스
- Δ: 임펄스의 파장(m)
- c: 빛의 속도(m/s)
- t: 시간(s)
- D : 수광소자간 간격(m)
- h(t): 수광소자의 임펄스 응답 함수
-
Figure 112015054932137-pat00018
: 수신기에 입사하는 반사파를 나타내는 웨이브 벡터(wave vector)
-
Figure 112015054932137-pat00019
: m번째 수광소자의 위치와 방향을 나타내는 동경 벡터(radius vector)
-
Figure 112015054932137-pat00020
: 원점으로부터 측정 지점까지의 거리, 여기서 l은 서로 상이한 거리를 구별하기 위한 인덱스로서 0 부터 L-1까지의 정수
-
Figure 112015054932137-pat00021
: 거리 dl에 위치하고, 반사파의 입사각을 나타내는 방위각(azimuth angle) 및 상승각(elevation angle), 여기서 q는 거리 dl에서 반사된 Ql개의 신호를 구분하기 위한 인덱스로서 0부터 Ql-1까지의 정수
도 9는 2차원 배열된 복수의 수광소자 중 어느 하나가 수신하는 전파의 광경로를 설명하기 위한 도면이다.
도 9를 참조하면 0번 부터 M-1번까지 M개의 복수의 수광소자가 등간격 D으로 배열되어 있다. 그리고, 복수의 수광소자가 배치된 길이보다 상대적으로 먼 거리 d로부터 오브젝트 O의 한 점에서 반사한 반사파 신호가 복수의 수광소자 각각에 거의 평행하게 입사한다.
이와 같은 조건 하에서, 원점 m = 0에 위치한 수광소자로부터 위치한 거리와 신호의 도착 방향에 따른 좌표는 다음과 같이 표로 정리할 수 있다.
Distance Directions
Figure 112015054932137-pat00022
Figure 112015054932137-pat00023
Figure 112015054932137-pat00024
Figure 112015054932137-pat00025
... ...
Figure 112015054932137-pat00026
Figure 112015054932137-pat00027
Table.1 Coordinates of estimating points.
m번째 수광소자가 거리 d에 위치한 지점으로부터 도착 방향 φ으로 신호를 수신하였을 때 출력은 다음과 같다.
Figure 112015054932137-pat00028
여기서, am(φ,t,d)는, 수광소자 m가 한 점으로부터 펄스 형태의 도착파(incoming wave)를 수신하였을 때, 임펄스 응답 h(t)로부터 추정된 출력에 대한 함수를 나타낸다. 그리고, 안테나 어레이를 구성하는 전체 수광소자 m=0,...,M-1 한 셋트에 대하여 각 수광소자들의
Figure 112015054932137-pat00029
를 벡터 컴포넌트로 구성하는 벡터
Figure 112015054932137-pat00030
를 스티어링 벡터라 부른다.
한편, 위 표 1을 참조하였을 때, 안테나 어레이의 m 번째 수광소자의 출력은 다음과 같다.
Figure 112015054932137-pat00031
즉, m 번째 수광소자의 출력 xm(t)는 모든 입사 방향 q=0,...,Ql-1과 모든 거리 l=0,...,L-1에 대한 am(φ,t,d)의 총계이다.
그리고, 거리 dl에 위치한 점들로부터 도착한 펄스들의 스펙트럼은 다음과 같이 표현할 수 있다.
Figure 112015054932137-pat00032
여기서 T는 수광소자의 임펄스 응답의 한 주기 시간을 나타낸다.
본 발명의 일 실시예에 있어서, 안테나 어레이를 구성하는 광다이오드(photodiode)의 임펄스 응답을 나타내는 함수 h(t)는 다음과 같다.
Figure 112015054932137-pat00033
여기서, 종래의 실리카 광다이오드가 사용될 경우, f=5, T=0.03이고, 함수 h(f=5, T=0.03, t)를 그래프로 나타내면 도 10에 도시된 바와 같다.
한편, 함수 am(ψ,t,dl)의 정의 구역(domain definition)은
Figure 112015054932137-pat00034
이다. 그러므로, 위 수식 3의 적분 구간을 다음과 같이 줄일 수 있다.
Figure 112015054932137-pat00035
또한, 수식 5의 적분을 계산하기 위하여, 다음 가우시안 구적분 공식(Gauss quadrature formula)를 사용할 수 있다.
Figure 112015054932137-pat00036
여기서,
Figure 112015054932137-pat00037
이고,
Figure 112015054932137-pat00038
는 가우시안 구적분 공식의 계수들이다.
도 11은 상이한 두 거리로부터 각각 세 방향의 반사파를 수신한 네 개의 도 10의 수신기의 출력을 나타내는 그래프이다.
구체적으로, 도 11의 네 그래프는, 일렬로 연속된 네 개의 수광소자 m=0,1,2,3의 출력 x0(t), x1(t), x2(t), x3(t)을 나타낸다. 그리고, 수광소자간 간격은 D=Δ=1, 수신기에 입사되는 반사파는 원점 m=0으로부터 거리 d0=1와 방향 30, 70, 120 도의 지점들 및 원점 m=0으로부터 거리 d1=3와 방향 40, 85, 130 도의 지점들로부터 수신된다.
원점 m=0의 수광소자에 대한 x0(t)의 그래프를 살펴보면, 동일 거리에 위치한 세 점에서 수신되는 반사파의 신호가 중첩되어 그래프의 피크(1110, 1120)가 3의 크기로 표시된다. 그리고 서로 상이한 거리에서 수신되는 반사파의 신호간 시간 차가 존재한다.
원점으로부터 D 이격된 m=1의 수광소자에 대한 x1(t)의 그래프를 살펴보면, 원점으로부터 d0에 위치하고 상이한 도착 방향 30, 70, 120 도의 세 반사파에 대한 신호마다 그래프에 세 피크(1130)가 나타나는 것을 확인할 수 있다. 또한, 원점으로부터 d1에 위치하고 상이한 도착 방향 40, 85, 130 도의 세 반사파에 대한 신호마다 그래프에 세 피크(1140)가 나타나는 것을 확인할 수 있다.
원점으로부터 2D 이격된 m=2의 수광소자에 대한 x2(t)의 그래프를 살펴보면, x1(t)보다 신호가 도달하는 시간, 즉 피크(1150, 1160)간 거리가 멀어진 것을 확인할 수 있다.
원점으로부터 3D 이격된 m=3의 수광소자에 대한 x3(t)의 그래프를 살펴보면, x2(t)보다 신호가 도달하는 시간, 즉 피크(1170, 1180)간 거리가 멀어진 것을 확인할 수 있다.
도 12는 도 11의 출력과 임펄스 응답의 상관연산에 의해 산출된 상이한 두 거리에 대한 스펙트럼 그래프이다.
도 12를 참조하면, 원점 m=0으로부터 거리 d0=1에 대한 스펙트럼 P0(ψ)의 그래프에서 도착 방향 30, 70, 120 도에 해당하는 ψ값에 피크(1210, 1220, 1230)가 나타나는 것을 확인할 수 있다.
또한, 원점 m=1으로부터 거리 d1=3에 대한 스펙트럼 P1(ψ)의 그래프에서도 도착 방향 40, 85, 130 도에 해당하는 ψ값에 피크(1210, 1220, 1230)가 나타나는 것을 확인할 수 있다.
도 13은 본 발명의 일 실시예에 따른 광학장치의 수신기를 기준으로 하는 좌표계를 설명하기 위한 도면이다.
도 13을 살펴보면, 3차원 공간의 수직 좌표계 x,y,z에서 (x, -z) 평면에
Figure 112015054932137-pat00039
개의 수광소자(m=0,1,...,M-1)가 격자 형태로 배열된 광 수신기(1310)가 도시된다.
그리고, 오브젝트로부터 광 수신기(1310)를 향하여 입사되는 임펄스 평면파(impulse plane wave)(1320)가 도시된다.
그리고 광 수신기에 입사하는 반사파를 나타내는 웨이브 벡터(wave vector)
Figure 112015054932137-pat00040
및 광 수신기를 구성하는 복수의 수광소자 중 m번째 수광소자를 나타내는 동경 벡터(radius vector)
Figure 112015054932137-pat00041
가 도시된다.
여기서, 계산의 편의를 위하여 웨이브 벡터
Figure 112015054932137-pat00042
및 동경 벡터
Figure 112015054932137-pat00043
는 상승각 θ과 방위각φ을 성분으로 하는 구좌표(spherical coordinate)로 표현한다.
웨이브 벡터
Figure 112015054932137-pat00044
는 다음과 같다.
Figure 112015054932137-pat00045
그리고, M1 by M2 어레이 안테나에서 가로 m1번째, 세로 m2에 위치한 수광소자 m의 동경 백터
Figure 112015054932137-pat00046
는 다음과 같다.
Figure 112015054932137-pat00047
원점 (0, 0)에 위치하는 수광소자의 출력은
Figure 112015054932137-pat00048
이다. 그리고, 평면 입사파로부터 m번째 수광소자까지의 거리는
Figure 112015054932137-pat00049
와 같이 나타낼 수 있다. 따라서 스티어링 벡터
Figure 112015054932137-pat00050
은 다음과 같이 나타낼 수 있다.
Figure 112015054932137-pat00051
여기서, 두 벡터의 내적
Figure 112015054932137-pat00052
는,
Figure 112015054932137-pat00053
출력 벡터
Figure 112015054932137-pat00054
는 다음과 같이 나타낼 수 있다.
Figure 112015054932137-pat00055
그리고, 스펙트럼은 다음과 같은 식으로 계산될 수 있다.
Figure 112015054932137-pat00056
도 14는 도 13의 수신기에서 상이한 두 거리로부터 각각 세 방향의 반사파를 수신한 경우의 스펙트럼을 나타내는 그래프이다.
우선, 안테나 어레이는
Figure 112015054932137-pat00057
,
Figure 112015054932137-pat00058
로 구성되는 것으로 한다.
도 14(a)는 d0 = 20Δ, θ(0)=(70, 40, 40)deg, φ(0)=(90, 70, 120)deg에 대한 스펙트럼이다. 도 14(b)는 d1 = 24Δ, θ(1)=(55, 90, 90)deg, φ(1)=(80, 60, 110)deg에 대한 스펙트럼이다.
그리고, 도 15는 도 14의 두 스펙트럼을 병합한 그래프이다.
이상 설명한 바와 같이 본 발명이 제안하는 DoA 추정 알고리즘은 기존 작은 조리개를 갖는 ToF 카메라와 달리 넓은 범위의 깊이 맵을 생성할 수 있다. 또한, 고전적인 DoA와 달리 DoA 추정 알고리즘은 거리에 대한 정보도 획득할 수 있다.
도 16은 동일 거리에 상이한 입사각을 갖는 두 지점으로부터의 반사파를 수신한 UCA 수신기의 출력 및 동일 거리 및 상이한 입사각을 갖는 스티어링 벡터 컴포넌트를 함께 도시한 그래프이다.
도 16은 프로젝터에서 임펄스 레이저를 이용하여 Q 개의 지점을 비추고, UCA(Uniform Circular Array)로 구성된 광 수신기가 오브젝트에 부딪혀 산란된 전자기파를 수신하는 경우를 가정한다.
UCA 안테나를 구성하는 네 개의 수광소자는 각각 거리 d=20Δ로부터 입사각 φ = 60, θ = 120 (620, 청색) 및 φ = 60, θ = 120 (630, 녹색)의 신호를 수신한다. 그리고, 수광소자의 출력(610, 적색)은 두 지점의 신호 각각에 대한 출력(620, 630)의 합이다. 그리고, 스티어링 벡터
Figure 112015054932137-pat00059
(흑색)는 거리 d=20Δ, 입사각 φ = 50, θ = 50에 대한 것이다.
앞선 설명에서는 출력 벡터와 스티어링 벡터를 비교하는 다음의 스펙트럼 함수를 사용하였다.
Figure 112015054932137-pat00060
여기서 괄호의 밑첨자 2는 힐베르트 공간(Hilbert space)에서의 두 벡터의 내적(scalar product)을 나타낸다.
또한, 본 발명에서는 스펙트럼의 사이드로브(sidelobes)를 제거하기 위하여 다음과 같은 함수를 제안한다.
앞선 수학식 12를 다음과 같이 변형하도록 한다.
Figure 112015054932137-pat00061
여기서, <xm, am>은,
Figure 112015054932137-pat00062
여기서 (xm, am)은,
Figure 112015054932137-pat00063
이다.
도 17은 복수의 레이저 빔이 오브젝트를 스캐닝하는 동작을 예시하는 도면이다.
본 발명의 일 실시예에 있어서 광학 장치는 프로젝터가 오브젝트로 포커싱 되면, 오브젝트의 깊이 정보를 얻기 위하여, 변조된 복수의 레이저 빔의 신호 Q =
Figure 112015054932137-pat00064
를 오브젝트에 조사할 수 있다. 이 때, 광학 장치는 레이저 빔을 기설정된 방향으로 이동시키면서 오브젝트에 조사할 수 있다. 구체적으로, 광학 장치는 복수의 레이저 빔을 조사하는 출발각을 θ방향으로 Nθ번, φ방향으로 Nφ번 이동(shift)시키는 스캐닝 동작을 수행할 수 있다.
도 17에 도시된 바와 같이 5 × 6의 레이저 빔(1720)이 오브젝트(1710) 주위를 스캔한다. 레이저 빔(1720)에서 다른 색깔로 도시된 빔은 오브젝트에 부딪혀 반사된 빔을 나타낸다.
도 18은 사이드로브를 제거한 오브젝트들의 형상을 도시한 도면이다.
도 18을 참조하면, 임펄스 DoA 추정 방식에 의해 사이드로브를 제거한 스펙트럼(1810)으로서, 컵(1820)과 가위(1830)의 실루엣을 확인할 수 있다.
도 19는 스캐닝하는 레이저 빔의 이동 횟수를 달리하였을 때 산출되는 두 스펙트럼을 비교하는 도면이다.
도 19에서 오브젝트에 조사하는 레이저 빔은
Figure 112015054932137-pat00065
이다.
도 19(a)는 프로젝터의 이동이
Figure 112015054932137-pat00066
번 이루어 졌을 때의 스펙트럼을 도시한다. 그리고 도 19(b)는 프로젝터의 이동이
Figure 112015054932137-pat00067
번 이루어 졌을 때의 스펙트럼을 도시한다.
도 19의 두 스펙트럼을 비교하면, 스펙트럼의 오브젝트는 보다 촘촘한 각도로 스캔할수록(즉, 이동 횟수가 많을수록) 보다 정밀하게 그려지게 된다.
도 20은 모니터링 영역의 두 오브젝트가 상이한 거리에 배치되어 있을 때 나타나는 스펙트럼을 도시한 도면이다.
도 20에서 오브젝트에 조사하는 레이저 빔은
Figure 112015054932137-pat00068
로 구성되고, 레이저 빔의 이동은
Figure 112015054932137-pat00069
번 이루어진다.
도 20(a)는 컵이 20Δ에 위치하고 가위가 10Δ에 위치할 때의 스펙트럼이다. 그리고, 도 20(b)는 컵이 15Δ에 위치하고 가위가 10Δ에 위치할 때의 스펙트럼이다.
도 20에 도시된 바와 같이 스펙트럼의 강도는 오브젝트의 거리에 따라 달라지는 것을 확인할 수 있다.
도 21은 왼손과 오른손이 상이한 거리에 있을 때의 스펙트럼을 도시한 도면이다.
도 21에서, 양손에 조사하는 레이저 빔은
Figure 112015054932137-pat00070
이고, 반사광을 수신한 안테나는 M=30 수광소자가 배열된 UCA로 구성되었다. 여기서, 왼손은 거리 20Δ에 위치하고, 오른손은 10Δ에 위치한다.
도 21에 도시된 바와 같이, 본 발명에 따른 광학 장치는 손과 같은 복잡한 형태의 물체에 대해서도 정확한 스펙트럼을 산출할 수 있다.
도 22는 여러 명의 사용자가 각각 취하는 손 모양을 식별하는 동작을 설명하기 위한 도면이다.
도 22(a)를 참조하면 광학 장치(2210)는 모니터링 영역(2220) 전체에 걸쳐 무지향성 빛을 조사한다. 모니터링 영역(2220)에는 앉아있는 세 사람(2230, 2240, 2250)이 제스처를 취하고 있다. 광학 장치(2210)는 모니터링 영역(2220)에 나타난 손을 식별한다.
도 22(b)를 참조하면, 광학 장치(2210)는 식별된 세 사람의 손(2260, 2270, 2280)의 위치에 차례대로 초점을 맞춘다. 일 예로서, 광학 장치(2210)는 최초 식별된 손(2260)의 위치에 레이저 빔의 초점을 맞추고, 스캐닝 동작을 수행한다. 스캐닝 후 깊이 정보 획득하면, 광학 장치(2210)는 다른 식별된 손(2270, 2280)으로 초점을 이동하여 손(2270)을 스캐닝한다.
상술한 바와 같은 방식에 의해 광학 장치(2210)는 복수의 오브젝트에 대한 깊이 정보를 획득할 수 있다.
본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 시청자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "메커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자에 따라 구성될 수 있음을 알 수 있다.
100: 광학 장치 110: 프로젝터
120: 광 수신기 130: 프로세서

Claims (29)

  1. 오브젝트에 대한 깊이 맵을 생성하는 깊이 정보 생성 방법에 있어서,
    상기 오브젝트에 전자기파를 조사하는 단계;
    광 수신기를 통해 상기 오브젝트로부터 반사된 반사파를 수신하는 단계; 및
    상기 수신된 반사파의 도착 방향에 기초하여 상기 오브젝트에 대한 제1 깊이 맵을 생성하고, 상기 수신된 반사파의 도착 시간에 기초하여 상기 오브젝트에 대한 제2 깊이 맵을 생성하고, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합한 깊이 맵을 생성하는 단계;를 포함하는 깊이 정보 생성 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 광 수신기의 임펄스 응답에 기초하여 산출된 스티어링 벡터(steering vector) 및 상기 반사파를 수신한 광 수신기의 출력 벡터에 대한 상관 연산을 수행하여 산출된 도착 방향 스펙트럼으로부터 상기 제1 깊이 맵을 생성하는 것을 특징으로 하는 깊이 정보 생성 방법.
  3. 제2항에 있어서,
    상기 광 수신기는, 복수의 수광소자로 구성되며,
    상기 생성하는 단계는,
    하기의 수학식을 이용하여 상기 상관 연산을 수행하는 것을 특징으로 하는 깊이 정보 생성 방법:
    Figure 112015054932137-pat00071

    여기서, M은 상기 복수의 수광소자의 총 개수,
    Figure 112015054932137-pat00072
    는 출력 벡터,
    Figure 112015054932137-pat00073
    는 스티어링 벡터, 그리고 xm(t)는 m번째 수광소자의 출력, am(θ,φ,t,dl)은 m번째 수광소자에 대응하는 스티어링 벡터 컴포넌트이다.
  4. 제3항에 있어서,
    상기 광 수신기는
    상기 복수의 수광소자가 등간격의 격자 형태로 배열된 안테나 어레이인 것을 특징으로 하는 깊이 정보 생성 방법.
  5. 제2항에 있어서,
    상기 생성하는 단계는,
    하기의 수학식을 이용하여 상기 상관 연산을 수행하며,
    상기 상관 연산에 따라 산출된 상기 도착 방향 스펙트럼은,
    사이드로브(sidelobes)가 제거된 스펙트럼인 것을 특징으로 하는 깊이 정보 생성 방법:
    Figure 112020501341369-pat00074

    여기서, <xm, am>은,
    Figure 112020501341369-pat00075
    이고,
    여기서, (xm, am)은,
    Figure 112020501341369-pat00076
    , M은 복수의 수광소자의 개수,
    Figure 112020501341369-pat00077
    는 상기 광 수신기로 입사되는 상기 반사파를 나타내는 웨이브 벡터(wave vector),
    Figure 112020501341369-pat00078
    은 상기 복수의 수광소자 중 m 번째의 수광소자를 나타내는 동경 벡터(radius vector), Δ은 상기 반사파의 파장(wave length), 그리고 c는 빛의 속도이다.
  6. 제1항에 있어서,
    상기 오브젝트에 전자기파를 조사하는 단계 이전에,
    상기 오브젝트를 포함하는 모니터링 영역으로 무지향성(omnidirectional) 전자기파를 조사하는 단계;
    상기 무지향성 전자기파가 상기 오브젝트에 의해 산란된 신호(scattered signals)의 일부를 수신하는 단계; 및
    상기 수신된 산란 신호를 분석하여 상기 오브젝트의 위치를 식별하는 단계;를 더 포함하고,
    상기 오브젝트에 전자기파를 조사하는 단계는,
    상기 식별된 오브젝트의 위치에 기초하여 상기 오브젝트에 상기 전자기파를 조사하는 것을 특징으로 하는 깊이 정보 생성 방법.
  7. 제6항에 있어서,
    상기 오브젝트에 전자기파를 조사하는 단계는,
    상기 수신된 산란 신호를 분석하여 상기 전자기파가 조사되는 위치로부터 상기 오브젝트의 가장 가까운 지점 및 상기 오브젝트의 가장 먼 지점의 거리를 산출하고, 상기 산출된 거리에 따라 세기를 달리하는 상기 전자기파를 조사하는 것을 특징으로 하는 깊이 정보 생성 방법.
  8. 제6항에 있어서,
    상기 오브젝트에 전자기파를 조사하는 단계는,
    상기 오브젝트가 복수 개인 경우, 상기 식별된 오브젝트의 위치에 기초하여 상기 복수의 오브젝트 각각에 상기 전자기파를 조사하는 것을 특징으로 하는 깊이 정보 생성 방법.
  9. 제1항에 있어서,
    상기 오브젝트에 조사되는 전자기파는, 시간 및 공간 광 변조된 전자기파인 것을 특징으로 하는 깊이 정보 생성 방법.
  10. 제9항에 있어서,
    광원에서 방출되는 전자기파를 시간 광 변조하고, 시간에 따라 변경되는 복수의 이진 패턴을 이용하여 상기 시간 광 변조된 전자기파를 공간 광 변조하여 상기 시간 및 공간 광 변조된 전자기파를 생성하는 단계;를 더 포함하는 깊이 정보 생성 방법.
  11. 제1항에 있어서,
    상기 오브젝트는, 사용자의 손이고,
    상기 결합한 깊이 맵으로부터 판단된 상기 손의 움직임에 대응하는 제스처 명령에 따라 영상을 출력하는 디스플레이 장치의 기능을 제어하는 단계;를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
  12. 제2항에 있어서,
    상기 광 수신기는,
    복수의 수광소자가 하나 또는 복수 개의 동심원 형태로 배치된 안테나 어레이인 것을 특징으로 하는 깊이 정보 생성 방법.
  13. 제1항에 있어서,
    상기 깊이 맵을 생성하는 단계는,
    초해상도 복원(Superresolution) 기술 또는 하이브리드 이미징(hybrid imaging) 기술을 이용하여, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합하는 것을 특징으로 하는 깊이 정보 생성 방법.
  14. 제1항에 있어서,
    상기 오브젝트에 전자기파를 조사하는 단계는,
    상기 오브젝트 전체에 전자기파를 조사하기 위해, 복수의 레이저 빔으로 구성된 상기 전자기파를 기설정된 방향으로 이동시키면서 상기 오브젝트에 조사하는 것을 특징으로 하는 깊이 정보 생성 방법.
  15. 오브젝트에 대한 깊이 맵을 생성하는 광학 장치에 있어서,
    상기 오브젝트에 전자기파를 조사하는 프로젝터;
    상기 오브젝트로부터 반사된 반사파를 수신하는 광 수신기;
    상기 수신된 반사파의 도착 방향에 기초하여 상기 오브젝트에 대한 제1 깊이 맵을 생성하고, 상기 수신된 반사파의 도착 시간에 기초하여 상기 오브젝트에 대한 제2 깊이 맵을 생성하고, 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합하여 상기 오브젝트에 대한 깊이 맵을 생성하는 프로세서;를 포함하는 광학 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 광 수신기의 임펄스 응답에 기초하여 산출된 스티어링 벡터(steering vector) 및 상기 반사파를 수신한 광 수신기의 출력 벡터에 대한 상관 연산을 수행하여 산출된 도착 방향 스펙트럼으로부터 상기 제1 깊이 맵을 생성하는 것을 특징으로 하는 광학 장치.
  17. 제16항에 있어서,
    상기 광 수신기는, 복수의 수광소자로 구성되며,
    상기 프로세서는,
    하기의 수학식을 이용하여 상기 상관 연산을 수행하는 것을 특징으로 하는 광학 장치:
    Figure 112015054932137-pat00079

    여기서, M은 상기 복수의 수광소자의 총 개수,
    Figure 112015054932137-pat00080
    는 출력 벡터,
    Figure 112015054932137-pat00081
    는 스티어링 벡터, 그리고 xm(t)는 m번째 수광소자의 출력, am(θ,φ,t,dl)은 m번째 수광소자에 대응하는 스티어링 벡터 컴포넌트이다.
  18. 제17항에 있어서,
    상기 광 수신기는
    상기 복수의 수광소자가 등간격의 격자 형태로 배열된 안테나 어레이인 것을 특징으로 하는 광학 장치.
  19. 제16항에 있어서,
    상기 프로세서는,
    하기의 수학식을 이용하여 상기 상관 연산을 수행하며,
    상기 도착 방향 스펙트럼은,
    사이드로브(sidelobes)가 제거된 스펙트럼인 것을 특징으로 하는 광학 장치:
    Figure 112020501341369-pat00082

    여기서, <xm, am>은,
    Figure 112020501341369-pat00083
    이고,
    여기서, (xm, am)은,
    Figure 112020501341369-pat00084
    , M은 복수의 수광소자의 개수,
    Figure 112020501341369-pat00085
    는 상기 광 수신기로 입사되는 상기 반사파를 나타내는 웨이브 벡터(wave vector),
    Figure 112020501341369-pat00086
    은 상기 복수의 수광소자 중 m번째의 수광소자를 나타내는 동경 벡터(radius vector), Δ은 상기 반사파의 파장(wave length), 그리고 c는 빛의 속도이다.
  20. 제15항에 있어서,
    상기 프로젝터는,
    상기 오브젝트를 포함하는 모니터링 영역으로 무지향성(omnidirectional) 전자기파를 조사하고,
    상기 광 수신기는,
    상기 무지향성 전자기파가 상기 오브젝트에 의해 산란된 신호(scattered signals)의 일부를 수신하고,
    상기 프로세서는,
    상기 수신된 산란 신호를 분석하여 상기 오브젝트의 위치를 식별하고, 상기 식별된 오브젝트의 위치에 기초하여 상기 오브젝트에 상기 전자기파를 조사하는 것을 특징으로 하는 광학 장치.
  21. 제20항에 있어서,
    상기 프로세서는,
    상기 수신된 산란 신호를 분석하여 상기 전자기파가 조사되는 위치로부터 상기 오브젝트의 가장 가까운 지점 및 상기 오브젝트의 가장 먼 지점의 거리를 산출하고, 상기 산출된 거리에 따라 세기를 달리하는 상기 전자기파를 조사하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 광학 장치.
  22. 제21항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 복수 개인 경우, 상기 식별된 오브젝트의 위치에 기초하여 상기 복수의 오브젝트 각각에 상기 전자기파를 조사하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 광학 장치.
  23. 제15항에 있어서,
    상기 프로젝터는,
    시간 및 공간 광 변조된 전자기파를 상기 오브젝트에 조사하는 것을 특징으로 하는 광학 장치.
  24. 제23항에 있어서,
    상기 프로젝터는,
    상기 전자기파를 방출하는 광원; 및
    상기 방출된 전자기파를 공간 변조하는 공간 광 변조기(Spatial Light Modulator: SLM)를 포함하는 것을 특징으로 하는 광학 장치.
  25. 제24항에 있어서,
    상기 프로세서는,
    상기 광원에서 방출되는 전자기파를 시간 광 변조하고, 시간에 따라 변경되는 복수의 이진 패턴에 대한 신호를 상기 공간 광 변조기로 전송하여 상기 시간 광 변조된 전자기파를 공간 광 변조하는 것을 특징으로 하는 광학 장치.
  26. 제15항에 있어서,
    상기 오브젝트는 사용자의 손이고,
    상기 프로세서는,
    상기 결합한 깊이 맵으로부터 판단된 상기 손의 움직임에 대응하는 제스처 명령에 따라 영상을 출력하는 디스플레이 장치의 기능을 제어하는 것을 특징으로 하는 광학 장치.
  27. 제16항에 있어서,
    상기 광 수신기는,
    복수의 수광소자가 하나 또는 복수 개의 동심원 형태로 배치된 안테나 어레이인 것을 특징으로 하는 광학 장치.
  28. 제15항에 있어서,
    상기 프로세서는,
    초해상도 복원(Superresolution) 기술 또는 하이브리드 이미징(hybrid imaging) 기술을 이용하여 상기 제1 깊이 맵 및 상기 제2 깊이 맵을 결합하는 것을 특징으로 하는 광학 장치.
  29. 제15항에 있어서,
    상기 프로젝터는,
    복수의 레이저 빔으로 구성된 상기 전자기파를 조사하고,
    상기 프로세서는,
    상기 오브젝트 전체에 상기 전자기파를 조사하기 위해, 상기 복수의 레이저 빔을 기설정된 방향으로 이동시키면서 상기 오브젝트에 조사하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 광학 장치.
KR1020150080551A 2015-06-08 2015-06-08 광학 장치 및 깊이 정보 생성 방법 KR102114969B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150080551A KR102114969B1 (ko) 2015-06-08 2015-06-08 광학 장치 및 깊이 정보 생성 방법
PCT/KR2016/001821 WO2016200013A1 (ko) 2015-06-08 2016-02-24 광학 장치 및 깊이 정보 생성 방법
EP16807656.0A EP3306345B1 (en) 2015-06-08 2016-02-24 Optical device and depth information generating method
US15/579,375 US11079475B2 (en) 2015-06-08 2016-02-24 Optical device and depth information generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150080551A KR102114969B1 (ko) 2015-06-08 2015-06-08 광학 장치 및 깊이 정보 생성 방법

Publications (2)

Publication Number Publication Date
KR20160144148A KR20160144148A (ko) 2016-12-16
KR102114969B1 true KR102114969B1 (ko) 2020-06-08

Family

ID=57504146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150080551A KR102114969B1 (ko) 2015-06-08 2015-06-08 광학 장치 및 깊이 정보 생성 방법

Country Status (4)

Country Link
US (1) US11079475B2 (ko)
EP (1) EP3306345B1 (ko)
KR (1) KR102114969B1 (ko)
WO (1) WO2016200013A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230029382A (ko) 2021-08-24 2023-03-03 연세대학교 산학협력단 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331276B2 (en) * 2016-12-30 2019-06-25 Intel Corporation Projected interactive display surface interactivity determination
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
CN109375152B (zh) * 2018-09-05 2020-08-07 南京航空航天大学 电磁矢量嵌套l阵下低复杂度的doa与极化联合估计方法
WO2020103165A1 (zh) * 2018-11-24 2020-05-28 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063472A1 (en) * 2007-11-15 2009-05-22 Microsoft International Holdings B.V. Dual mode depth imaging
JP2013093847A (ja) * 2011-10-25 2013-05-16 Samsung Electronics Co Ltd 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法
JP2014143690A (ja) * 2008-11-25 2014-08-07 Tetravue Inc 高解像度三次元撮像のシステムおよび方法
US20150116460A1 (en) * 2013-10-29 2015-04-30 Thomson Licensing Method and apparatus for generating depth map of a scene

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144366A (en) 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6498581B1 (en) 2001-09-05 2002-12-24 Lockheed Martin Corporation Radar system and method including superresolution raid counting
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
WO2007050289A1 (en) 2005-10-21 2007-05-03 Raytheon Company Sonar system and method providing low probability of impact on marine mammals
CN101945295B (zh) * 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
US8553972B2 (en) 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
KR101675112B1 (ko) * 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
EP2668634B1 (en) 2011-01-24 2019-04-24 Intel Corporation Method and system for acquisition, representation, compression, and transmission of three-dimensional data
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8982363B2 (en) 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
JP2015503253A (ja) * 2011-10-10 2015-01-29 コーニンクレッカ フィリップス エヌ ヴェ 深度マップの処理
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
KR102101875B1 (ko) * 2012-07-20 2020-04-17 삼성전자주식회사 단층 영상 생성 방법 및 단층 영상 생성 장치.
EP2711667A1 (de) * 2012-09-21 2014-03-26 Baumer Electric AG Vorrichtung zur Entfernungsmessung
KR101504103B1 (ko) * 2013-01-16 2015-03-19 계명대학교 산학협력단 깊이맵 센서를 이용한 3차원 캐릭터 가상공간 내비게이션 동작 합성 및 제어 방법
WO2015000168A1 (en) 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063472A1 (en) * 2007-11-15 2009-05-22 Microsoft International Holdings B.V. Dual mode depth imaging
JP2014143690A (ja) * 2008-11-25 2014-08-07 Tetravue Inc 高解像度三次元撮像のシステムおよび方法
JP2013093847A (ja) * 2011-10-25 2013-05-16 Samsung Electronics Co Ltd 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法
US20150116460A1 (en) * 2013-10-29 2015-04-30 Thomson Licensing Method and apparatus for generating depth map of a scene

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230029382A (ko) 2021-08-24 2023-03-03 연세대학교 산학협력단 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치

Also Published As

Publication number Publication date
US20180157155A1 (en) 2018-06-07
EP3306345B1 (en) 2020-11-18
KR20160144148A (ko) 2016-12-16
WO2016200013A1 (ko) 2016-12-15
US11079475B2 (en) 2021-08-03
EP3306345A4 (en) 2018-06-06
EP3306345A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
KR102114969B1 (ko) 광학 장치 및 깊이 정보 생성 방법
US10228240B2 (en) Depth mapping using structured light and time of flight
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
US9989630B2 (en) Structured-light based multipath cancellation in ToF imaging
JP6038415B1 (ja) ３次元画像計測装置及び方法
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR102178978B1 (ko) 스테레오 매칭 방법 및 이를 수행하는 장치
US20110164191A1 (en) Interactive Projection Method, Apparatus and System
CN112055820B (zh) 利用不同发射场的飞行时间测距
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
CN109425306A (zh) 深度测量组件
US9013348B2 (en) Radiometric imaging device and corresponding method
US10055881B2 (en) Video imaging to assess specularity
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
KR20210010276A (ko) 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치
CN113780349A (zh) 训练样本集的获取方法、模型训练方法及相关装置
WO2023162730A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11863735B2 (en) Camera module
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
CN114207474A (zh) 飞行时间调制光的展开相位
CN111445507A (zh) 一种非视域成像的数据处理方法
JP2018066655A (ja) 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム
JP2018004507A (ja) 信号補正装置、信号補正方法及び信号補正プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant