KR20200026643A - 3차원 이미지를 획득하기 위한 방법 및 장치 - Google Patents

3차원 이미지를 획득하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200026643A
KR20200026643A KR1020180112975A KR20180112975A KR20200026643A KR 20200026643 A KR20200026643 A KR 20200026643A KR 1020180112975 A KR1020180112975 A KR 1020180112975A KR 20180112975 A KR20180112975 A KR 20180112975A KR 20200026643 A KR20200026643 A KR 20200026643A
Authority
KR
South Korea
Prior art keywords
pattern
beams
region
obtaining
projected
Prior art date
Application number
KR1020180112975A
Other languages
English (en)
Other versions
KR102543027B1 (ko
Inventor
안드리이 부트
이반 사포노프
콘스탄틴 모로조프
루슬란 예르몰렌코
야로슬라프 라브레뉴크
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201980055955.8A priority Critical patent/CN112655203A/zh
Priority to EP19855045.1A priority patent/EP3799689A4/en
Priority to PCT/KR2019/000221 priority patent/WO2020045770A1/en
Priority to US16/244,486 priority patent/US10872461B2/en
Publication of KR20200026643A publication Critical patent/KR20200026643A/ko
Application granted granted Critical
Publication of KR102543027B1 publication Critical patent/KR102543027B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3차원 이미지를 획득하기 위한 방법이 제공된다. 상기 방법은 장면(scene) 또는 대상(object)에, 패턴을 구성하는 복수의 영역들에 각각 대응하는 복수의 빔들을 순차적으로 투영하는 단계, 상기 투영된 복수의 빔으로부터 상기 장면 또는 대상에 의해 반사된 복수의 빔들을 검출하는 단계, 상기 검출된 복수의 빔들에 기초하여 상기 투영된 복수의 빔들 각각의 비행 시간(ToF)을 식별하는 단계, 상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의한 상기 패턴의 왜곡을 식별하는 단계, 및 상기 투영된 복수의 빔들 각각의 ToF 및 상기 패턴의 왜곡에 기초하여 상기 대상에 대한 심도(depth) 맵을 생성하는 단계를 포함하고 상기 검출된 복수의 빔들은 상기 ToF를 식별하기 위해 그리고 상기 패턴의 왜곡을 식별하기 위해 공통적으로 이용된다.

Description

3차원 이미지를 획득하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR OBTAINING 3 DIMENTIONAL IMAGE}
본 발명은 3차원 이미지를 획득하기 위한 방법 및 장치에 관한 것으로서, 보다 구체적으로, 대상(object) 또는 장면(scene)에 대한 심도(depth) 맵을 획득하기 위한 방법 및 장치에 관한 것이다.
증강 현실(augmented reality: AR) 및 가상 현실(virtual reality: VR) 기술의 발달에 따라 3차원(3D) 카메라에 대한 관심이 증대되고 있다. 3D 카메라는 모바일 디바이스 및 컴퓨터 등과 같은 다양한 전자 디바이스들에 내장되거나, 또는 독립적인 전자 디바이스를 구성할 수 있다.
3D 카메라가 3D 이미지를 획득하기 위해 입체 수동(stereoscopic passive) 방법 또는 능동 투영(active projective) 방법이 사용될 수 있다. 입체 수동 방법은 환경의 엉성하거나(sparse) 또는 반-조밀한(semi-dense) 심도 맵을 생성할 수 있다. 그러나, 낮은 텍스처 및 낮은 조명(illumination) 조건 하에서, 입체 수동 방법은 효율적이지 않다. 또한, 조밀한 심도 맵을 생성하기 위해서는 높은 계산의 복잡도가 요구된다.
능동 투영 방법은 심도 맵을 생성하기 위해, 3D 카메라에서 투영된 빛의 비행 시간(time of flight: ToF)을 이용하는 방법 및 3D 카메라에서 투영된 패턴의 왜곡을 이용하여 심도 맵을 생성하는 방법을 포함한다. ToF를 이용하는 방법에서, 심도 맵은 복수의 ToF들에 기초하여 계산된 장면의 복수의 지점들 과의 거리에 기초하여 획득될 수 있다. 그러나, ToF를 이용하는 방법은 상대적으로 근접 영역에서 높은 심도 오류를 가질 수 있다.
패턴의 왜곡을 이용하는 방법에서, 대상 또는 장면에 대하여 특정한 패턴을 투영하고, 대상 또는 장면에 의해 왜곡된 패턴을 검출하고, 검출된 왜곡된 패턴에 기초하여 심도 맵이 획득될 수 있다. 패턴의 왜곡으로부터 대상까지의 거리를 계산하기 위해 삼각도법(triangulation)이 이용될 수 있다. 패턴의 왜곡을 이용하는 방법은 삼각도법 테크닉으로 지칭될 수도 있다. 패턴은 구조화된 광(structured light: SL)로도 지칭될 수 있으며, 패턴의 왜곡을 이용하는 방법은 SL 방식으로 지칭될 수도 있다. 패턴의 왜곡을 이용하는 방법은 근접 영역에서 적은 오류를 가지나, 삼각도법의 한계로 인하여 원거리 영역에서는 높은 오류를 갖는다.
이와 같이, 종래의 3D 이미지를 획득하기 위한 기술들은 넓은 심도 범위에서 높은 품질의 심도 맵을 요구하는 AR/VR 어플리케이션에 적용하기에 한계를 갖는다.
본 발명의 과제는 넓은 심도 범위에서 높은 품질의 심도 맵을 획득할 수 있으며, 적응적으로 심도 맵을 획득할 수 있는 방법 및 장치를 제공하고자 하는 것이다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 이미지를 획득하기 위한 방법은 장면(scene) 또는 대상(object)에, 패턴을 구성하는 복수의 영역들에 각각 대응하는 복수의 빔들을 순차적으로 투영하는 단계, 상기 투영된 복수의 빔으로부터 상기 장면 또는 대상에 의해 반사된 복수의 빔들을 검출하는 단계, 상기 검출된 복수의 빔들에 기초하여 상기 투영된 복수의 빔들 각각의 비행 시간(ToF)을 식별하는 단계, 상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의한 상기 패턴의 왜곡을 식별하는 단계, 및 상기 투영된 복수의 빔들 각각의 ToF 및 상기 패턴의 왜곡에 기초하여 상기 대상에 대한 심도(depth) 맵을 생성하는 단계를 포함하고 상기 검출된 복수의 빔들은 상기 ToF를 식별하기 위해 그리고 상기 패턴의 왜곡을 식별하기 위해 공통적으로 이용된다.
본 발명의 다른 실시예에 따른 3차원 이미지를 획득하기 위한 장치는 장면(scene) 또는 대상(object)에, 패턴을 구성하는 복수의 영역들에 각각 대응하는 복수의 빔들을 순차적으로 투영하도록 구성되는 빔 투영기, 상기 투영된 복수의 빔으로부터 상기 장면 또는 대상에 의해 반사된 복수의 빔들을 검출하도록 구성되는 빔 검출기, 및 상기 검출된 복수의 빔들에 기초하여 상기 투영된 복수의 빔들 각각의 비행 시간(ToF)을 식별하고, 상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의한 상기 패턴의 왜곡을 식별하고, 그리고 상기 투영된 복수의 빔들 각각의 ToF 및 상기 패턴의 왜곡에 기초하여 상기 대상에 대한 심도(depth) 맵을 생성하도록 구성되는, 제어기를 포함하고 상기 검출된 복수의 빔들은 상기 ToF를 식별하기 위해 그리고 상기 패턴의 왜곡을 식별하기 위해 공통적으로 이용된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 넓은 심도 범위에서 높은 품질의 심도 맵을 획득할 수 있다.
또한, 적응적으로 변경 가능한 심도 맵 획득 방법을 제공할 수 있다.
또한, 높은 품질의 심도 맵을 생성하기 위한 계산 부담을 경감시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 3D 이미지를 획득하기 위한 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 빔 투영기의 블록도이다.
도 3은 본 발명의 일 실시예에 3D 이미지를 획득하기 위한 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 패턴을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 왜곡을 검출하기 위한 패턴을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 ToF를 검출하기 위한 패턴을 나타낸다.
도 7은 본 발명의 실시예들에 따른 패턴의 해상도 변환을 나타낸다.
도 8은 본 발명의 실시예들에 따른 패턴의 시프팅(shifting)을 나타낸다.
도 9는 본 발명의 실시예들에 따른 패턴을 나타낸다.
도 10은 본 발명의 실시예들에 따른 패턴에 기초하여 빔들을 투영하는 순서를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 빔을 투영하고 그리고 반사된 빔을 검출하는 것을 나타낸다.
도 12은 본 발명의 실시예들에 따른 동기 신호를 이용하여 빔을 투영하는 방법을 나타낸다.
도 13은 본 발명의 일 실시예에 따른 ToF를 검출하는 방법을 나타낸다.
도 14는 본 발명의 일 실시예에 따른 SL에 기반한 대상까지의 거리를 구하는 방법을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
도 1은 본 발명의 일 실시예에 3D 이미지를 획득하기 위한 장치의 블록도이다. 도 1의 3 D 이미지를 획득하기 위한 장치(100)는 3D 카메라 또는 3D 카메라를 포함하는 전자 다비이스 일 수 있다. 3D 이미지를 획득하기 위한 장치(100)는 빔 투영기(beam projector)(110), 빔 검출기(120), 제어기(130) 및 메모리(140)를 포함할 수 있다.
빔 투영기(110)는 빔을 생성하여 장면(scene)(150) 또는 대상(object)에 빔을 투영할 수 있다. 장면(150)은 3D 이미지를 생성하기 위해 빔 투영기(110)에 의해 생성된 빔들이 투영되는 영역을 지칭할 수 있다. 대상(object)는 3D 이미지를 생성하기 위한 물체를 의미할 수 있다. 빔 투영기(110)에 의해 생성된 빔은 적외선(IR: infrared ray) 빔일 수 있으나, 반드시 이에 한정되는 것은 아니며, 실시예들에 따라, 가시광선 또는 자외선과 같은 다양한 주파수들의 빔이 사용될 수 있다. 이하 도 2를 참고하여 빔 투영기(110)에 대하여 보다 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 빔 투영기의 블록도이다. 도 2를 참고하면, 빔 투영기(110)는 레이저 생성기(111), 레이저 구동기(114), 제 1 거울(112), 제 2 거울(113), 및 MEMS 구동기(115)를 포함할 수 있다. 레이저 생성기(111)는 설정된 주파수의 레이저 빔를 생성하여 방출할 수 있다. 레이저 생성기(111)의 동작은 레이저 구동기(114)에 의해 제어될 수 있다. 레이저 생성기(111)에 의해 방출된 레이저 빔은 제 1 거울(112)로 향할 수 있다. 제 1 거울(112)는 레이저 빔을 반사하여, 제 2 거울(113)로 향하도록 할 수 있다. 본 발명의 실시예들에서 제 1 거울(112)은 고정된 거울일 수 있으나, 반드시 이에 한정되는 것은 아니다. 제 2 거울(113)은 제 1 거울(112)로부터의 레이저 빔을 반사하여, 레이저 빔이 장면(150)으로 향하게 하도록 할 수 있다. 제 2 거울(113)은 제 2 거울(113)에 의해 반사되어 빔 투영기(110)로부터 방출된 빔(B1)이 지향되는 영역을 제어하기 위해 회전할 수 있다. 예를 들어, 제 2 거울(113)은 특정한 지점을 중심으로 2 개의 축들을 따라 회전할 수 있으나 반드시 이에 한정되는 것은 아니다. 제 2 거울(113)을 동작시키기 위해 MEMS(microelectromechanical system)가 이용될 수 있다. MEMS 구동기(115)는 MEMS를 이용하여 제 2 거울(113)의 회전을 제어할 수 있다. 도 2에 도시된 빔 투영기(110)는 예시적인 것에 불과하며, 빔 투영기(110)는 원하는 곳에 레이저 빔을 투영할 수 있도록 알려진 다양한 방법으로 구성될 수 있다.
다시 도 1을 참고하면, 빔 검출기(120)는 빔 투영기(110)에 의해 방출된 빔(B1)으로부터 장면(150)에 의해 반사된 빔(B2)를 검출할 수 있다. 빔 검출기(120)은 반사된 빔(B2)의 존재 여부 및 반사된 빔(B2)의 밝기 또는 강도를 검출할 수 있다. 몇몇 실시예들에서, 빔 검출기(120)는 IR 빔을 검출할 수 있으나, 빔 검출기(120)가 검출할 수 있는 빔의 주파수 대역은 반드시 IR 대역으로 한정되는 것은 아니다. 빔 검출기(120)는 빔 투영기(110)에서 방출된 빔(B1)의 주파수 대역의 빔을 검출하도록 구성될 수 있다. 빔 검출기(120)는 반사된 빔(B2)의 주파수 대역의 신호를 검출할 수 있으며, 특정한 영역(예를 들어, 장면(150)의 영역)을 촬영할 수 있는 2D 카메라일 수 있다. 2D 카메라는 광감지(photosensitive) 픽셀들의 어레이로서 구성될 수 있다. 몇몇 실시예에 의하면, 2D 카메라의 광감지 픽셀들 ToF를 검출하기 위한 픽셀들과 반사된 패턴을 검출하기 위한 픽셀들로 구분될 수 있다. 몇몇 실시예들에 의하면, 2D 카메라의 광감지 픽셀들 중 적어도 하나의 픽셀은 ToF 및 반사된 패턴을 검출하는 데 모두 이용될 수 있다.
제어기(130)는 빔 투영기(110) 및 빔 검출기(120)의 동작을 제어할 수 있다. 제어기(130)는 빔 검출기(120)에 의해 검출된 반사된 빔(B2)에 기초하여 장면(150) 또는 대상에 대한 심도 맵을 계산하고 그리고 생성할 수 있다.
메모리(140)는 제어기(130)를 동작시키기 위한 명령들을 저장할 수 있다. 메모리(140)는 제어기(130) 동작에 필요한 영구적 데이터 또는 임시적 데이터를 저장할 수 있다. 메모리(140)는 빔 투영기(110)가 빔(B1)을 투영하기 위해 필요한 하나 이상의 패턴에 대한 정보를 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3D 이미지를 획득하기 위한 방법의 순서도이다. 도 3의 단계들은 3D 이미지를 획득하기 위한 장치(100)에 의해 수행될 수 있다. 도 3의 단계들은 3D 이미지를 획득하기 위한 장치(100)의 컴포넌트들의 동작을 실질적으로 제어하는 제어기(130)에 의해 수행되는 것으로 해석될 수도 있다.
도 3의 3D 이미지를 획득하기 위한 방법은 패턴에 기초하여 복수의 빔들을 순차적으로 투영하는 단계(310), 투영된 복수의 빔들로부터 반사된 복수의 빔들을 검출하는 단계(320), 투영된 복수의 빔들 각각의 ToF를 식별하는 단계(330), 패턴의 왜곡을 식별하는 단계(340) 및 ToF 및 패턴의 왜곡에 기초하여 심도 맵을 생성하는 단계(350)를 포함할 수 있다.
패턴에 기초하여 복수의 빔들을 순차적으로 투영하는 단계(310)에서, 패턴은 복수의 빔들을 투영하기 위한 패턴을 지칭할 수 있다. 도 4는 본 발명의 일 실시예에 따른 패턴을 나타내는 도 4를 참고하면, 패턴(400)은 복수의 영역들(410)로 분할될 수 있다. 패턴(400)을 분할하는 복수의 영역들(410) 각각은 픽셀로 지칭될 수도 있다. 복수의 영역들 각각에 대응하여 빔이 투영될 수 있다. 복수의 영역들(410) 중 어둡게 표시된 영역에 대응하는 빔과 밝게 표시된 영역 영역에 대응하는 빔은 서로 상이하게 변조될 수 있다. 예를 들어, 어둡게 표시된 영역에 대응하는 빔과 밝게 표시된 영역 영역에 대응하는 빔의 밝기들, 강도들, 크기들, 직경들 및 주파수들 중 적어도 하나가 상이할 수 있다.
점(420)은 복수의 영역들(410)들 중 ToF를 측정하기 위한 영역을 나타낸다. ToF를 측정하기 위한 영역에 대응하여 투영된 빔으로부터 반사된 빔에 기초하여 ToF가 획득될 수 있다. 도 4의 실시예에서는 복수의 영역들(410) 모두가 ToF를 측정하기 위한 영역으로서 설정되어 있으나, 몇몇 실시예들에서, 복수의 영역들(410) 중 일부 영역들만이 ToF를 측정하기 위한 영역들로 설정될 수 있다.
몇몇 실시예들에서 패턴(400)은 서로 개별적인 패턴의 왜곡을 검출하기 위한 제 1 패턴과 ToF를 검출하기 위한 제 2 패턴을 결합하여 생성될 수 있다. 왜곡을 검출하기 위한 패턴을 나타내는 도 5는 예시적인 제 1 패턴(500)을 도시하며, ToF를 검출하기 위한 패턴을 나타내는 도 6은 예시적인 제 2 패턴(600)을 도시한다. 몇몇 실시예들에서 제어기(130)는 메모리(140)에 저장된 제 1 패턴(500) 및 제 2 패턴(600)을 결합하여 패턴(400)을 생성할 수 있다. 이러한 방식을 통해, 본 발명의 3D 이미지를 생성하기 위한 장치(100) 또는 제어기(130)는 패턴의 왜곡을 검출하기 위한 복수의 제 1 패턴들 중의 제 1 패턴과 ToF를 검출하기 위한 복수의 제 2 패턴들 중 제 2 패턴을 선택적으로 결합하여, 빔을 투영하기 위한 패턴을 생성함으로써, 다양한 형태의 패턴을 적응적으로 용이하게 생성 및 적용할 수 있다.
몇몇 실시예들에서, 빔을 투영하기 위한 패턴은 원본 패턴으로부터 변환되어 생성될 수 있다. 예를 들어, 3D 이미지를 생성하기 위한 장치(100) 또는 제어기(130)는 메모리(140)에 저장된 원본 패턴으로부터 빔을 투영하기 위한 패턴을 생성될 수 있다.
몇몇 실시예들에서, 변환된 패턴은 원본 패턴의 해상도를 변환하여 생성될 수 있다. 본 발명의 실시예들에 따른 패턴의 해상도 변환을 나타내는 도 7을 참고하면, 변환된 패턴(720)은 원본 패턴(710)의 해상도를 증가시켜 생성될 수 있다. 도 7에 도시되지는 않았지만, 변환된 패턴을 분할하는 복수의 영역들 각각의 크기는, 해상도의 변경에 따라, 원본 패턴(710)을 분할하는 복수의 영역들 각각의 크기보다 작을 수 있다. 몇몇 실시예들에서, 변환된 패턴은 원본 패턴의 해상도를 감소시켜 생성될 수도 있다.
몇몇 실시예들에서, 변환된 패턴은 원본 패턴을 시프팅(shifting)하여 생성될 수 있다. 본 발명의 실시예들에 따른 패턴의 시프팅(shifting)을 나타내는 도 8을 참고하면, 변환된 패턴(820)은 원본 패턴(810)을 우측 아래 방향으로 시프팅하여 생성될 수 있다. 시프팅의 방향은 실시예들에 따라 변경될 수 있다.
몇몇 실시예들에서, 변환된 패턴을 생성하기 위해 복수의 변환 방법들이 중복되어 사용될 수 있다.
몇몇 실시예들에서, 빔을 투영하기 위한 패턴의 해상도는 패턴 내에서 균일하지 않을 수 있다. 본 발명의 실시예들에 따른 패턴을 나타내는 도 9를 참고하면, 패턴(900)은 제 1 해상도를 갖는 제 1 부분(910) 및 제 1 해상도보다 낮은 제 2 해상도를 갖는 제 2 부분(920)을 포함할 수 있다. 몇몇 실시예들에서 상대적으로 높은 해상도를 갖는 제 1 부분(910)은 관심 영역(region of interest: ROI)에 대응할 수 있다. 몇몇 실시예들에서, 패턴(900)은 원본 패턴과 원본 패턴의 해상도를 변환하여 생성된 패턴을 결합하여 생성될 수 있다.
패턴에 기초하여 복수의 빔들을 순차적으로 투영하는 단계(310)에서, 복수의 빔들은 복수의 영역들에 각각 대응하여 순차적으로 투영될 수 있다. 예를 들어, 본 발명의 실시예들에 따른 패턴에 기초하여 빔들을 투영하는 순서를 나타낸 도 10에서와 같이 복수의 빔들은 지그재그로 투영될 수 있다. 몇몇 실시예들에 따르면, 도 10에서와 달리 복수의 빔들은 세로 방향으로 지그재그로 투영될 수 있다. 지그재그 방식으로 투영하는 것이 투영되는 빔의 위치를 제어하기 위한 빔 투영기(120)의 동작의 효율성에 이득일 수 있으나, 다른 필요들에 의해 복수의 빔들이 투영되는 순서는 변경될 수 있다.
이하 도 11을 참고하여, 복수의 빔들을 투영하기 위한 동작에 대하여 보다 구체적으로 설명하도록 한다. 도 11은 본 발명의 일 실시예에 따른 빔을 투영하고 그리고 반사된 빔을 검출하는 동작을 나타낸다. 레이저 생성기(111)는 패턴을 구성하는 복수의 영역들 중 한 영역에 대응하는 (레이저) 빔을 생성할 수 있다. 레이저 생성기(111)에서 생성된 빔은 제 1 거울(112)에 의해 반사되어 제 2 거울(113)로 지향될(directed) 수 있다. 제 2 거울(113)의 수평 각(θ) 및 수직 각(φ)은 조정될 수 있다. 제 2 거울(113)의 수평 각(θ) 및 수직 각(φ)은 제 2 거울(113)에 의해 반사된 제 1 빔(B1)이 원하는 방향으로 지향되도록 설정될 수 있다. 수평 각(θ)의 값에 따라 제 1 빔(B1)의 가로 방향이 제어될 수 있으며, 수직 각(θ)의 값에 따라 제 1 빔(B1)의 세로 방향이 제어될 수 있다. 제 2 거울(113)의 수평 각(θ) 및 수직 각(φ)은 제 1 빔(B1)이 패턴을 구성하는 복수의 영역들 중 빔에 대응하는 영역에 대응되는 장면(150) 내의 위치로 지향되도록 설정될 수 있다.
제 1 빔(B1)으로부터 장면(150)에 의해 반사된 제 2 빔은 빔 검출기(120)에 의해 검출될 수 있다. 이에 대하여는 이후 투영된 복수의 빔들로부터 반사된 복수의 빔들을 검출하는 단계(320)와 관련하여 보다 상세히 설명하도록 한다.
이와 같은 방법에 의해, 패턴을 구성하는 복수의 영역들 중 한 영역에 대응하는 빔의 투영 및 반사된 빔의 검출이 완료되면, 예를 들어 도 10에서 예시된 순서에 따라, 다음 영역에 대응하는 빔의 투영 및 반사된 빔의 검출이 수행될 수 있다. 이러한 프로세스를 반복함으로써, 패턴을 구성하는 복수의 영역들에 대응하는 빔들의 투영 및 반사된 빔들의 검출이 수행될 수 있다.
패턴에 기초하여 복수의 빔들을 순차적으로 투영하는 단계(310)에서, 투영되는 복수의 빔들은 중 전부 또는 적어도 일부는 ToF 방식을 이용한 심도 맵 및 SL 방식을 이용한 심도 맵을 생성하기 위해 공통적으로 이용될 수 있다. 예를 들어, 복수의 빔들을 순차적으로 투영하기 위한 패턴을 생성하기 위해 결합된 패턴의 왜곡을 검출하기 위한 제 1 패턴과 ToF를 검출하기 위한 제 2 패턴의 해상도들이 상이하거나 또는 영역들의 배치가 상이한 경우, 반드시 투영되는 모든 빔들이 ToF 방식을 이용한 심도 맵 및 SL 방식을 이용한 심도 맵을 생성하기 위해 공통적으로 이용되어야 하는 것은 아니다. 이러한 경우라고 하더라도, 복수의 빔들 중 적어도 일부를 ToF 방식을 이용한 심도 맵 및 SL 방식을 이용한 심도 맵을 생성하기 위해 공통적으로 이용함으로써, 복수의 빔들을 한 차례 스캐닝하는 것 만으로, ToF 방식에 기반한 심도 맵과 SL 방식에 기반한 심도 맵이 모두 획득될 수 있다.
투영된 복수의 빔들로부터 반사된 복수의 빔들을 검출하는 단계(320)에서, 빔 검출기(120)는 복수의 제 2 빔(B2)들을 검출할 수 있다. 빔 검출기(120)는 검출된 제 2 빔(B2)의 파형 또는 위상을 검출할 수 있으며, 검출된 제 2 빔(B2)의 파형 또는 위상은 ToF를 획득하기 위해 이용될 수 있다. 빔 검출기(120)는 검출된 제 2 빔(B2)의 밝기를 검출할 수 있다. 몇몇 실시예들에서, 빔 검출기(120)를 구성하는 2D 카메라의 복수의 픽셀들 각각의 밝기는 대응하는 픽셀의 좌표(x=f(θ), y=f(φ)) 값에 저장될 수 있다. 이를 통해, 3 D 이미지를 획득하기 위한 장치(100)는 제 2 빔(B2)에 대응하는 이미지를 획득할 수 있으며, 복수의 제 2 빔(B2)들에 대응하는 복수의 이미지들을 통합(integration)함으로써, 장면(150) 또는 대상에 의해 반사된 패턴을 획득할 수 있다. 몇몇 실시예들에서, 빔 검출기(120)는 반사된 패턴을 획득하기 위해 복수의 제 2 빔(B2)들에 대응하는 복수의 이미지들을 통합하는 대신, 복수의 제 2 빔(B2)들이 수신되는 동안의 획득된 복수의 제 2 빔(B2)들과 관련된 광 데이터를 집적(integration)하는 것에 의해 생성된 단일의 이미지로부터 반사된 패턴을 획득할 수 있다. 복수의 제 2 빔(B2)들과 관련된 광 데이터를 집적(integration)하는 것은 빔 검출기(120)에서 복수의 제 2 빔(B2)들이 수신되는 동안 2D 카메라를 노출시키는 것을 의미할 수 있다.
빔을 투영하기 위한 패턴의 복수의 영역들 중 제 2 빔(B2)에 대응되는 영역을 식별하고, ToF를 획득하기 위해 제 1 빔(B1)을 투영하는 것과 제 2 빔(B2)을 검출하는 것은 동기화되어 이루어질 수 있다. 즉, 패턴에 기초하여 복수의 빔들을 순차적으로 투영하는 단계(310) 및 투영된 복수의 빔들로부터 반사된 복수의 빔들을 검출하는 단계(320)는 동기화되어 수행될 수 있다. 빔 투영기(110)의 동작(즉, 레이저 생성기(111) 및 제 2 거울(113)의 동작들) 및 빔 검출기(120)의 동작들은 동기화될 수 있다. 빔 투영기(110)의 동작과 빔 검출기(120)의 동작을 동기화하기 위해 동기 신호가 사용될 수 있다. 동기 신호는 제어기(130)에 의해 생성되거나 또는 제어기(130)의 제어에 따라 생성될 수 있다. 이하 도 12를 참고하여, 동기 신호에 대하여 보다 자세히 설명하도록 한다.
도 12은 본 발명의 실시예들에 따른 동기 신호를 이용하여 빔을 투영하는 방법을 나타낸다. 도 12를 참고하면 복수의 빔들(1210)은 동기 신호(Sync)에 동기화되어, 동기 신호(Sync)의 파형에 따라 주기적을 투영될 수 있다. 몇몇 실시예들에 따르면, 도 12에서 도시된 바와 같이 빔(1210)을 투영하기 위한 주기가 변경될 수 있다. 빔(1210)을 투영하기 위한 주기는 패턴의 해상도에 기초하며, 패턴이 상이한 해상도들을 갖는 부분들을 갖는 경우 빔(1210)을 투영하기 위한 주기는 가변될 수 있다. 예를 들어, 도 12에서 제 1 구간(P1)과 제 2 구간(P2)에서 빔을 투영하기 위한 주기가 상이하다. 제 1 구간(P1)에서의 빔(1210)을 투영하기 위한 주기는 제 2 구간(P2)에서의 빔을 투영하기 위한 주기보다 짧으며, 즉, 제 1 구간(P1)에서의 패턴의 해상도는 제 2 구간(P2)에서의 패턴의 해상도보다 높다. 제어기(130)는 패턴의 해상도 변경에 따른 빔(1210) 투영의 주기를 조절하기 위해 동기 신호(Sync)의 주기를 변경할 수 있다. 즉, 빔(1210)의 투영의 주기를 증가시키기 위해 동기 신호(Sync)의 주기가 증가될 수 있으며, 빔(1210)의 투영의 주기를 감소시키기 위해 동기 신호(Sync)의 주기가 감소될 수 있다.
동기 신호(Sync)는 빔 투영기(110) 뿐만 아니라 빔 검출기(120)에도 제공될 수 있다. 따라서, 빔 검출기(120)는 동기 신호(Sync)에 기초하여 검출된 제 2 빔(B2)이 패턴을 분할하는 복수의 영역들 중 어떠한 영역에 대응하는 제 1 빔(B1)으로부터 기인한 것인지를 식별할 수 있다.
빔(1210)의 변조를 제어하기 위해 변조 제어 신호(SL Mod.)가 사용될 수 있다. 빔 투영기(110)는 변조 제어 신호(SL Mod.)에 따라 빔(1210)에 적용되는 변조를 제어할 수 있다. 즉, 변조 제어 신호(SL Mod.)가 Low인 경우와 High인 경우에 상이한 방식의 변조가 빔(1210)에 적용될 수 있다. 변조 제어 신호(SL Mod.)는 패턴의 어두운 부분(1220)에 대응하여 Low 값을 갖고, 패턴의 밝은 부분(1230)에 대응하여 High 값을 가지도록 설정될 수 있으나, 실시예들에 따라 이와 반대로 설정될 수도 있다.
투영된 복수의 빔들 각각의 ToF를 식별하는 단계(330)에서, 검출된 제 2 빔(B2)에 기초하여 ToF가 식별될 수 있다. ToF를 식별하기 위해 이용되는 검출된 제 2 빔(B2)은 후술하는 바와 같이 패턴의 왜곡을 검출하기 위해 또한 이용될 수 있다. 본 발명의 일 실시예에 따른 ToF를 검출하는 방법을 나타내는 도 13을 참고하면, 빔 투영기(110)에서 방출되는 제 1 빔(B1)의 파형(W1)과 빔 검출기(120)에서 검출되는 제 2 빔(B2)의 파형(W2)을 비교하거나 또는 제 1 빔(B1)의 위상과 제 2 빔(B2)의 위상을 비교하여, 제 1 빔에 대한 제 2 빔(B2)의 지연(Δ)이 도출될 수 있다. 제 1 빔(B1) 및 제 2 빔(B2)의 주기를 T라 한다면, 빔의 ToF는 다음과 같은 수식 (1)에 의해 도출될 수 있다.
ToF = T × Δ / ( 2 × π ) - 수식 (1)
도출된 ToF에 기초하여 빔이 반사된 지점까지의 거리 D는 다음과 같은 수식 (2)에 의해 도출될 수 있다.
D = ( ToF × c ) / 2 - 수식 (2)
여기서, c는 빛의 속도를 나타낸다.
몇몇 실시예에 의하면, 제어기(130)는 빔 검출기(120)를 구성하는 2D 카메라에서 획득된 이미지의 밝기를 미분(differentiate)함으로써, 밝기의 변화도를 획득하고, 밝기의 변화도에 기초하여 빔의 도달 시점을 획득할 수 있다. 제어기(130)는 획득된 빔의 도달 시점과 빔의 방출 시점의 차이로부터 지연(Δ)을 계산할 수 있다.
이러한 방식으로, 복수의 빔들에 대응하는 복수의 ToF이 획득될 수 있으며, 획득된 복수의 ToF에 기초하여 복수의 빔들에 각각 대응하는 복수의 D 값들이 획득될 수 있다. 복수의 D 값들에 따라 ToF에 기초한 심도 맵이 생성될 수 있다.
패턴의 왜곡을 식별하는 단계(340)에서는 빔 검출기(120)를 통해 검출된 복수의 제 2 빔들(B2)에 기초하여 장면(150) 또는 대상에 의해 왜곡된 패턴이 획득될 수 있다. 왜곡된 패턴을 획득하기 위해 이용되는 검출된 복수의 제 2 빔들(B2)의 전부 또는 적어도 일부는 ToF를 식별하는 단계(330)에서 ToF들을 식별하기 위해 이용된 빔들일 수 있다. 이와 같이, 본 발명의 실시예들에 의하면, ToF들 및 패턴의 왜곡을 획득하기 위해, 검출된 복수의 제 2 빔들(B2)을 공통적으로 이용함으로써, ToF 방식의 심도 맵 및 SL 방식의 심도 맵 모두를 간편하게 도출할 수 있다.
몇몇 실시예들에서, 2D 카메라인 빔 검출기(120)에 의해 획득된 장면(150)에 대한 복수의 이미지들을 통합(integration)하는 것에 의해 반사된 패턴(즉, 장면(150) 또는 대상에 의해 왜곡된 패턴)이 획득된 수 있다. 여기서 복수의 이미지들은 복수의 제 2 빔(B2)들에 각각 대응할 수 있다. 몇몇 실시예들에서, 복수의 이미지들을 통합하는 것은 복수의 이미지들의 동일한 좌표의 픽셀들의 밝기 값들을 합산하거나, 또는 복수의 이미지들의 동일한 좌표의 픽셀들의 밝기 값들의 평균을 구하는 것을 포함할 수 있다. 획득된 반사된 패턴과 원본 패턴을 비교함으로써, 패턴의 왜곡이 식별될 수 있다. 패턴의 왜곡에 기초하여 패턴의 복수의 영역들 각각에 대응하는 장면(150) 또는 대상까지의 거리가 획득될 수 있다. 패턴의 왜곡이 적을수록 장면(150) 또는 대상까지의 거리는 먼 것으로 식별될 수 있다. 이러한 방식에 따라, 패턴의 왜곡에 기반한 심도 맵이 생성될 수 있다. 패턴의 왜곡에 기반한 심도 맵은 SL-기반 심도 맵으로 지칭될 수도 있다.
도 14를 참고하여, 패턴의 왜곡에 기초하여 장면(150) 또는 대상까지의 거리를 구하는 방법에 대하여 보다 상세히 설명하도록 한다. 도 14는 본 발명의 일 실시예에 따른 SL에 기반한 대상까지의 거리를 구하는 방법을 나타낸다. 빔 투영기(110)의 원점(Op)으로부터 방출된 빔(B1)은 장면(150) 또는 대상의 반사점(reflection point)(R)에서 반사되어 빔 검출기(120)에 의해 검출될 수 있다. 원본 패턴 상의 빔(B1)에 대응하는 위치(P)와 빔 검출기(120)에서 검출된 이미지 상의 반사된 빔(B2)에 대응하는 위치(C)는 동일한 에피폴 선(epipole line) 상에 위치할 수 있다. 반사점(R)까지의 거리(D)는 다음과 같은 수식에 의해 획득될 수 있다.
D = (f × B) / d - 수식 (3)
f는 빔 검출기(120)를 구성하는 2D 카메라의 초점 거리를 나타낸다. B는 빔 투영기(110)의 원점(Op)과 2D 카메라의 원점(Oc) 사이의 베이스라인(baseline)의 길이를 나타낸다. 원본 패턴 상의 빔(B1)에 대응하는 위치(P)와 빔 검출기(120)에서 검출된 이미지 상의 반사된 빔(B2)에 대응하는 위치(C) 사이의 차이(disparity)를 나타낸다. 원본 패턴과 반사된 패턴의 해상도를 동일하게 설정하는 경우 d는 원본 패턴 상의 빔(B1)에 대응하는 위치(P)의 x 좌표(Px)와 반사된 패턴 상의 반사된 빔(B2)에 대응하는 위치(C)의 x 좌표(Cx)의 차이로서 나타내어질 수 있다.
ToF 및 패턴의 왜곡에 기초하여 심도 맵을 생성하는 단계(350)에서 생성되는 심도 맵은 앞서 언급한 ToF에 기초하여 생성된 제 1 심도 맵과 패턴의 왜곡에 기반한 제 2 심도 맵의 결합에 기초하여 생성될 수 있다. 제 1 심도 맵과 제 2 심도 맵은 다양한 방법들에 의해 결합될 수 있으며, 예시적으로, 제 1 심도 맵과 제 2 심도 맵은 가중 합에 의해 결합될 수 있다. 픽셀들 각각에 대한 장면(150) 또는 대상과의 거리가 가까울수록 제 1 심도 맵의 거리 값에 낮은 가중치가 부여되고, 제 2 심도 맵의 거리 값에 높은 가중치가 부여될 수 있다. 픽셀들 각각에 대한 장면(150) 또는 대상과의 거리가 멀수록 제 1 심도 맵의 거리 값에 높은 가중치가 부여되고, 제 2 심도 맵의 거리 값에 낮은 가중치가 부여될 수 있다. 가중치를 결정하기 위한 장면(150) 또는 대상과의 거리는 제 1 심도 맵의 거리 값, 제 2 심도 맵의 거리 값, 제 1 심도 맵의 거리 값과 제 2 심도 맵의 거리 값의 평균, 또는 제 1 심도 맵의 거리 값과 제 2 심도 맵의 거리 값의 가중 합에 의해 결정될 수 있다. 이러한 방법에 의해 생성된 심도 맵은 ToF에 기반한 심도 맵과 패턴의 왜곡에 기반한 심도 맵을 결합하는 것에 의해 근거리 및 원거리 모두에서의 오류를 감소시킬 수 있다.
몇몇 실시예들에서, 결합된 심도 맵은 다음과 같은 수식 (4)에 의해 획득될 수 있다.
Figure pat00001
- 수식 (4)
z(x,y)는 결합된 심도 맵의 좌표(x,y)를 갖는 픽셀에서의 심도 값을 나타낸다. D1(x,y)는 SL 방식에 의해 생성된 제 2 심도 맵의 좌표(x,y)를 갖는 픽셀에서의 심도 값을 나탄낸다. T1(x,y)는 ToF 방식에 의해 생성된 제 1 심도 맵의 좌표(x,y)를 갖는 픽셀에서의 심도 값을 나타낸다. σD(x,y)는 제 2 심도 맵의 좌표(x,y)를 갖는 픽셀에서의 이웃 픽셀들의 심도 값들에 기초하여 획득된 표준 심도 편차를 나타낸다. σT(x,y)는 제 1 심도 맵의 좌표(x,y)를 갖는 픽셀에서의 이웃 픽셀들의 심도 값들에 기초하여 획득된 표준 심도 편차를 나타낸다.
몇몇 실시예들에서, 결합된 심도 맵은 마르코프 랜덤 필드들(Markov random fields)에 기초한 초해상도 기술과 같은 알려진 기술을 이용하여 생성될 수 있다.
제 1 심도 맵과 제 2 심도 맵을 결합하는 방법은 앞서 서술한 방법들에 한정되지 않으며, 기존에 알려진 다양한 방법들, 이들의 변종(variation)들 또는 새롭게 개발된 방법들이 선택적으로 사용될 수 있다.
몇몇 실시예들에서, 제 1 심도 맵의 해상도와 제 2 심도 맵의 해상도가 상이한 경우, 제 1 심도 맵과 제 2 심도 맵을 결합하기 전에 제 1 심도 맵의 해상도와 제 2 심도 맵의 해상도를 등화시키기 위한 프로세스가 수행될 수도 있다.
몇몇 실시예들에 의하면, ToF 및 패턴의 왜곡에 기초하여 심도 맵을 생성하는 단계(350) 이후, 생성된 심도 맵의 품질을 식별하는 단계가 수행될 수 있다. 생성된 심도 맵의 품질이 임계치보다 양호하지 않은 것으로 식별된다면, 앞서 이용된 패턴과 상이한 패턴을 이용하여 도 3의 단계들(310, 320, 330, 340, 350)이 재차 수행될 수 있으며, 이러한 프로세스는 임계치보다 양호한 품질의 심도 맵이 획득될 때까지 반복될 수 있다. 반복되는 프로세스에서 이용되는 패턴은 이전 패턴과 전혀 상이한 패턴이거나 또는 이전 패턴으로부터 변환된 패턴(예를 들어, 이전 패턴으로부터 전부 또는 일부의 해상도가 변경된 패턴, 이전 패턴으로부터 시프팅된 패턴)일 수 있다.
이상에서 설명한 본 발명의 실시예들에 따른 3D 이미지를 획득하기 위한 방법 및 장치에 의하면, point-to-point 방식에 따른 빔 투영 및 검출을 이용하여, ToF 및 패턴의 왜곡을 한번에 획득하고, 이들을 프로세싱하기 위한 계산 부담을 경감시킬 수 있다. 또한, point-to-point 방식에 따른 빔 투영 및 검출로 인해, 빔을 투영하기 위한 패턴의 변경 또는 변환이 간편하게 수행될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 3차원 이미지를 획득하기 위한 방법으로서,
    장면(scene) 또는 대상(object)에, 패턴을 구성하는 복수의 영역들에 각각 대응하는 복수의 빔들을 순차적으로 투영하는 단계;
    상기 투영된 복수의 빔으로부터 상기 장면 또는 대상에 의해 반사된 복수의 빔들을 검출하는 단계;
    상기 검출된 복수의 빔들에 기초하여 상기 투영된 복수의 빔들 각각의 비행 시간(ToF)을 식별하는 단계;
    상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의한 상기 패턴의 왜곡을 식별하는 단계; 및
    상기 투영된 복수의 빔들 각각의 ToF 및 상기 패턴의 왜곡에 기초하여 상기 대상에 대한 심도(depth) 맵을 생성하는 단계를 포함하고,
    상기 검출된 복수의 빔들은 상기 ToF를 식별하기 위해 그리고 상기 패턴의 왜곡을 식별하기 위해 공통적으로 이용되는,
    3차원 이미지를 획득하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 심도 맵을 생성하는 단계는,
    상기 식별된 ToF에 기초하여 제 1 심도 맵을 생성하는 단계;
    상기 식별된 패턴의 왜곡에 기초하여 제 2 심도 맵을 생성하는 단계; 및
    상기 제 1 심도 맵 및 상기 제 2 심도 맵에 기초하여 상기 심도 맵을 생성하는 단계를 포함하는,
    3차원 이미지를 획득하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 패턴의 왜곡을 식별하는 단계는,
    상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의해 반사된 패턴을 획득하는 단계; 및
    상기 반사된 패턴과 상기 패턴을 비교하는 단계를 포함하는,
    3차원 이미지를 획득하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 복수의 영역들은 제 1 해상도에 대응하는 적어도 하나의 제 1 영역 및 제 1 해상도보다 높은 제 2 해상도에 대응하는 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 1 빔은 제 1 주기로 투영되고,
    상기 적어도 하나의 제 2 영역에 대응하는 적어도 하나의 제 2 빔은 제 2 주기로 투영되고,
    상기 제 2 주기는 상기 제 1 주기보다 짧은,
    3차원 이미지를 획득하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 적어도 하나의 제 2 영역은 관심 영역(ROI: region of interest)에 대응하는,
    3차원 이미지를 획득하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 투영된 복수의 빔들 각각은 상기 복수의 영역들 중 대응하는 영역에 기초하여 변조되는,
    3차원 이미지를 획득하기 위한 방법.
  7. 제 1 항에 있어서,
    싱기 반사된 복수의 빔들은, 동기 신호에 기초하여, 상기 복수의 빔들을 투영하는 것과 동기화되어 검출되는,
    3차원 이미지를 획득하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 복수의 영역들은 제 1 해상도에 대응하는 적어도 하나의 제 1 영역 및 제 1 해상도보다 높은 제 2 해상도에 대응하는 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 1 빔이 투영될 때, 상기 동기 신호는 제 1 주파수를 갖고,
    상기 적어도 하나의 제 2 영역에 대응하는 적어도 하나의 제 2 빔이 투영될 때, 상기 동기 신호는 제 2 주파수를 갖고,
    상기 제 1 주파수는 상기 제 2 주파수보다 낮은,
    3차원 이미지를 획득하기 위한 방법.
  9. 제 1 항에 있어서,
    원본(original) 패턴을 변환하여 상기 패턴을 생성하는 단계를 더 포함하고,
    상기 원본 패턴을 변환하는 것은:
    상기 원본 패턴을 시프팅(shift)하는 것,
    상기 원본 패턴 전체의 해상도를 변경하는 것, 또는
    상기 원본 패턴의 일부의 해상도를 변경하는 것 중 적어도 하나를 포함하는,
    3차원 이미지를 획득하기 위한 방법.
  10. 제 1 항에 있어서,
    상기 복수의 영역들은 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역 각각에 대응하여 투영되는 빔과 상기 적어도 하나의 제 2 영역 각각에 대응하여 투영되는 빔은 상이하게 변조되는,
    3차원 이미지를 획득하기 위한 방법.
  11. 3차원 이미지를 획득하기 위한 장치로서,
    장면(scene) 또는 대상(object)에, 패턴을 구성하는 복수의 영역들에 각각 대응하는 복수의 빔들을 순차적으로 투영하도록 구성되는 빔 투영기;
    상기 투영된 복수의 빔으로부터 상기 장면 또는 대상에 의해 반사된 복수의 빔들을 검출하도록 구성되는 빔 검출기; 및
    상기 검출된 복수의 빔들에 기초하여 상기 투영된 복수의 빔들 각각의 비행 시간(ToF)을 식별하고,
    상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의한 상기 패턴의 왜곡을 식별하고, 그리고
    상기 투영된 복수의 빔들 각각의 ToF 및 상기 패턴의 왜곡에 기초하여 상기 대상에 대한 심도(depth) 맵을 생성하도록 구성되는,
    제어기를 포함하고,
    상기 검출된 복수의 빔들은 상기 ToF를 식별하기 위해 그리고 상기 패턴의 왜곡을 식별하기 위해 공통적으로 이용되는,
    3차원 이미지를 획득하기 위한 장치.
  12. 제 11 항에 있어서,
    상기 제어기는:
    상기 식별된 ToF에 기초하여 제 1 심도 맵을 생성하고;
    상기 식별된 패턴의 왜곡에 기초하여 제 2 심도 맵을 생성하고; 그리고
    상기 제 1 심도 맵 및 상기 제 2 심도 맵에 기초하여 상기 심도 맵을 생성하는 것에 의해,
    상기 심도 맵을 생성하도록 구성되는,
    3차원 이미지를 획득하기 위한 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는 상기 패턴의 왜곡을 식별하기 위해,
    상기 검출된 복수의 빔들에 기초하여 상기 장면 또는 대상에 의해 반사된 패턴을 획득하고; 그리고
    상기 반사된 패턴과 상기 패턴을 비교하도록 추가로 구성되는,
    3차원 이미지를 획득하기 위한 장치.
  14. 제 11 항에 있어서,
    상기 복수의 영역들은 제 1 해상도에 대응하는 적어도 하나의 제 1 영역 및 제 1 해상도보다 높은 제 2 해상도에 대응하는 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 1 빔은 제 1 주기로 투영되고,
    상기 적어도 하나의 제 2 영역에 대응하는 적어도 하나의 제 2 빔은 제 2 주기로 투영되고,
    상기 제 2 주기는 상기 제 1 주기보다 짧은,
    3차원 이미지를 획득하기 위한 장치.
  15. 제 14 항에 있어서,
    상기 적어도 하나의 제 2 영역은 관심 영역(ROI: region of interest)에 대응하는,
    3차원 이미지를 획득하기 위한 장치.
  16. 제 11 항에 있어서,
    상기 투영된 복수의 빔들 각각은 상기 복수의 영역들 중 대응하는 영역에 기초하여 변조되는,
    3차원 이미지를 획득하기 위한 장치.
  17. 제 11 항에 있어서,
    싱기 반사된 복수의 빔들은, 동기 신호에 기초하여, 상기 복수의 빔들을 투영하는 것과 동기화되어 검출되는,
    3차원 이미지를 획득하기 위한 장치.
  18. 제 17 항에 있어서,
    상기 복수의 영역들은 제 1 해상도에 대응하는 적어도 하나의 제 1 영역 및 제 1 해상도보다 높은 제 2 해상도에 대응하는 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 1 빔이 투영될 때, 상기 동기 신호는 제 1 주파수를 갖고,
    상기 적어도 하나의 제 2 영역에 대응하는 적어도 하나의 제 2 빔이 투영될 때, 상기 동기 신호는 제 2 주파수를 갖고,
    상기 제 1 주파수는 상기 제 2 주파수보다 낮은,
    3차원 이미지를 획득하기 위한 장치.
  19. 제 11 항에 있어서,
    상기 패턴은 원본(original) 패턴을 변환하여 생성되고,
    상기 원본 패턴을 변환하는 것은:
    상기 원본 패턴을 시프팅(shift)하는 것,
    상기 원본 패턴 전체의 해상도를 변경하는 것, 또는
    상기 원본 패턴의 일부의 해상도를 변경하는 것 중 적어도 하나를 포함하는,
    3차원 이미지를 획득하기 위한 장치.
  20. 제 11 항에 있어서,
    상기 복수의 영역들은 적어도 하나의 제 1 영역 및 적어도 하나의 제 2 영역을 포함하고,
    상기 적어도 하나의 제 1 영역 각각에 대응하여 투영되는 빔과 상기 적어도 하나의 제 2 영역 각각에 대응하여 투영되는 빔은 상이하게 변조되는,
    3차원 이미지를 획득하기 위한 장치.
KR1020180112975A 2018-08-31 2018-09-20 3차원 이미지를 획득하기 위한 방법 및 장치 KR102543027B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980055955.8A CN112655203A (zh) 2018-08-31 2019-01-07 获取3d图像的方法和设备
EP19855045.1A EP3799689A4 (en) 2018-08-31 2019-01-07 METHOD AND DEVICE FOR OBTAINING 3D IMAGES
PCT/KR2019/000221 WO2020045770A1 (en) 2018-08-31 2019-01-07 Method and device for obtaining 3d images
US16/244,486 US10872461B2 (en) 2018-08-31 2019-01-10 Method and device for obtaining 3D images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180103662 2018-08-31
KR1020180103662 2018-08-31

Publications (2)

Publication Number Publication Date
KR20200026643A true KR20200026643A (ko) 2020-03-11
KR102543027B1 KR102543027B1 (ko) 2023-06-14

Family

ID=69809996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112975A KR102543027B1 (ko) 2018-08-31 2018-09-20 3차원 이미지를 획득하기 위한 방법 및 장치

Country Status (3)

Country Link
EP (1) EP3799689A4 (ko)
KR (1) KR102543027B1 (ko)
CN (1) CN112655203A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map
WO2024014710A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096416A (ko) * 2012-12-17 2015-08-24 엘에스아이 코포레이션 개별적 심도 이미징 기술들을 이용하여 생성된 심도 이미지들을 병합하기 위한 방법 및 장치
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US20170372126A1 (en) * 2014-10-14 2017-12-28 Microsoft Technology Licensing, Llc Depth From Time of Flight Camera
KR20180081634A (ko) * 2016-01-15 2018-07-16 아큘러스 브이알, 엘엘씨 구조화 조명 및 비행 시간을 사용한 깊이 맵핑

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9514537B2 (en) * 2013-12-27 2016-12-06 Xerox Corporation System and method for adaptive depth map reconstruction
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096416A (ko) * 2012-12-17 2015-08-24 엘에스아이 코포레이션 개별적 심도 이미징 기술들을 이용하여 생성된 심도 이미지들을 병합하기 위한 방법 및 장치
US20170372126A1 (en) * 2014-10-14 2017-12-28 Microsoft Technology Licensing, Llc Depth From Time of Flight Camera
KR20180081634A (ko) * 2016-01-15 2018-07-16 아큘러스 브이알, 엘엘씨 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map
WO2024014710A1 (ko) * 2022-07-13 2024-01-18 삼성전자 주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
CN112655203A (zh) 2021-04-13
EP3799689A4 (en) 2021-08-25
EP3799689A1 (en) 2021-04-07
KR102543027B1 (ko) 2023-06-14

Similar Documents

Publication Publication Date Title
US6754370B1 (en) Real-time structured light range scanning of moving scenes
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
KR102246920B1 (ko) 2차 패턴이 삽입된 프린지에 의한 절대 위상 측정 기법
US11763518B2 (en) Method and system for generating a three-dimensional image of an object
JP5395173B2 (ja) 走査された光線のオーバーレイ投影
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US20120176478A1 (en) Forming range maps using periodic illumination patterns
JP7270702B2 (ja) 深度感知システムおよび方法
US9648698B2 (en) Method and system for generating light pattern using polygons
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
JP2001116526A (ja) ３次元形状計測装置
JP6800597B2 (ja) 制御装置、制御方法およびプログラム
KR20000071453A (ko) 렌지파인더 장치
US11300402B2 (en) Deriving topology information of a scene
JP7078173B2 (ja) 画像処理装置及び３次元計測システム
US10872461B2 (en) Method and device for obtaining 3D images
KR102543027B1 (ko) 3차원 이미지를 획득하기 위한 방법 및 장치
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
JP6299319B2 (ja) 自己位置算出装置及び自己位置算出方法
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム
CN111373222A (zh) 光投射系统
JP7438555B2 (ja) 三次元計測方法および三次元計測装置
WO2022201848A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR101765257B1 (ko) 삼차원 영상 정보 획득 방법 및 이를 구현한 컴퓨팅 장치
JP2015108602A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right