KR102668245B1

KR102668245B1 - 3차원 깊이 측정 장치 및 방법

Info

Publication number: KR102668245B1
Application number: KR1020180130292A
Authority: KR
Inventors: 코스티안틴 모르조프; 올렉산드르 클리멘코프; 드미트로 바브듀크; 이반 사포노프; 안드리 부트; 안드리 수카리예프; 루슬란 이예르모렌코; 세르히 일리우킨; 야로슬라프 라브레뉴크
Original assignee: 삼성전자주식회사
Priority date: 2018-10-29
Filing date: 2018-10-29
Publication date: 2024-05-23
Also published as: KR20200049958A; US11846500B2; WO2020091347A1; US20220011096A1

Abstract

본 개시에 따른 제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법은, 상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과, 상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함한다.

Description

3차원 깊이 측정 장치 및 방법 {APPARATUS AND METHOD FOR MEASURING DEPTH OF THREE DIMENSIONS}

본 개시는 구조적 광 카메라(structured light camera)를 이용한 3차원 깊이 측정 방법 및 장치에 관한 것이다.

영상 처리 기술은 2차원 영상 콘텐트 서비스에서 3차원 영상 콘텐트 서비스를 제공하기 위한 방향으로 발전하고 있다. 상기 3차원 영상 콘텐트는 상기 2차원 영상 콘텐트와 달리 입체적인 느낌, 즉 원근감을 제공할 수 있다. 통상적으로 원근감을 제공하기 위해서는 이미지에 포함된 피사체 별로의 깊이 정보가 제공될 수 있어야 한다.

최근 다양한 종류의 깊이 측정 방법 및 장치에 관한 기술이 지속적으로 발전하고 있다. 관련된 기술의 발전으로 인하여, 다양한 분야에 깊이 측정 방법 및 장치가 사용되고 있다. 예컨대, 사용자 얼굴 인식 방법, 실제적인 3차원(three dimension, 3D) 아바타, 가상 메이크업 및 드레싱, 3차원 포토그래피, 동작(gesture) 인식, VR을 위한 3차원 콘텐츠 생성, 정확하고 실제적인 증강 현실(AR, augment reality), 장면 이해(scene understanding), 범용 3차원 스캐닝(general purpose 3D scanning)에 본 개시에 따른 깊이 측정 방법 및 장치를 이용할 수 있다.

도 2는 다양한 종류의 3차원 재구성 방법(깊이 측정 방법)들을 나타낸다.

3차원 재구성 방법은 단일 카메라에 의한 3차원 재구성 방법, 다중 카메라에 의한 3차원 재구성 방법 및 액티브 일루미네이션 3차원 카메라(active illumination 3D camera)에 의한 3차원 재구성 방법을 포함한다.

단일 카메라에 의한 3차원 재구성 방법은 모션 깊이 측정 방법 및 단일 영상 깊이 측정 방법을 포함한다.

모션 깊이 측정 방법은 단일 카메라를 이용하나, 카메라로 촬영할 때, 손떨림 등의 모션을 추정하여, 3차원 깊이를 측정하는 방법이다. 추가적인 장치의 도입 없이, 소프트웨어적으로 구현할 수 있다는 장점이 있으나, 정확성이 낮고, 깊이 영상을 획득하는데 필요한 시간이 길고, 여러 개의 프레임을 획득하여야 하고, 모핑 장면들(morphing scenes)을 재구성해야 하고, 특징이 없는 영역에 대하여 생산성이 낮은 단점이 있다.

단일 영상 깊이 측정 방법은 추가적인 장치의 도입 없이 하나의 프레임으로 깊이 측정이 가능한 장점을 가지나, 특히 알려지지 않은 장면에 대하여, 정확성이 낮고, 에러가 많다는 단점이 있다.

다중 카메라에 의한 3차원 재구성 방법은 복수의 카메라 또는 스테레오 카메라를 이용하여 깊이를 측정하는 방법이다. 복수의 렌즈들 사이의 시차(parallax)를 이용하여, 획득한 영상들로부터 3차원 깊이를 측정할 수 있다. 비교적 장치 구성이 간단한 장점이 있고, 동일 시점에 각 렌즈로부터 하나의 프레임을 획득하여, 획득한 프레임들을 분석하여, 오브젝트들의 깊이를 측정할 수 있다. 그러나, 다중 카메라를 이용한 깊이 측정 방법은 매우 높은 계산 복잡도를 가지고, 특징이 없는 표면에서는 낮은 생산성을 보인다.

액티브 일루미네이션 3차원 카메라에 의한 3차원 재구성 방법은 비행 시간 카메라(time-of-flight camera)에 의한 3차원 재구성 방법 및 구조적 광 카메라(structured light camera)에 의한 3차원 재구성 방법을 포함한다.

비행 시간 카메라(time-of-flight camera, ToF camera)는 알려진 빛의 속도와, 카메라와 이미지의 각 포인트에 대한 서브젝트 사이의 광 신호의 비행 시간을 측정하는 것에 기초하여, 거리를 측정하는 이미징 카메라 시스템이다.

비행 시간 카메라는 낮은 계산 복잡도와 원거리에 대한 높은 정확성을 제공하고, 근거리에 대한 상대적으로 정확성이 낮다. ToF 카메라는 하드웨어의 구성이 매우 복잡하며, 투명하고, 빛나는(glance, 휘광) 표현을 인식하기 어려운 단점이 있다.

구조적 광 카메라는 투사기에 의하여 방출되는 협대역(narrow band)의 광을 3차원 오브젝트의 표면에 투영하여, 투사기의 관점이 아닌 다른 관점에서 왜곡되어 보이는 조명 선(illumination line)이 만들어 지는 것을 이용하여, 오브젝트의 표면 모양을 기하학적으로 재구성하는 카메라를 지칭한다. 구조적 광 카메라를 이용하여, 3차원 오브젝트의 깊이를 측정할 수 있다.

구조적 광 카메라는 근거리에서 높은 정확성을 가지고, 중간 정도의 계산 복잡도를 가지고, 하드웨어 구성의 복잡도도 중간 정도 수준이다. 반면, 원거리에서 정확성이 다소 낮으며 검고, 투명하고, 빛나는(glance, 휘광) 표현을 인식하기 어려운 단점이 있다.

구조적 광 카메라를 이용하여 정확한 깊이 측정을 하기 위하여, 다양한 유형의 패턴을 이용하기 위하여, 특징점의 사이즈를 감소시켜야 하고, 특징점 국소화의 정확성을 증가시키고, 깊이 노이즈를 감소시켜야 한다. 또한, 용인되는 수준의 깊이 노이즈를 유지하면, 동작 깊이 범위를 증가시키고, 그림자 영역을 감소시킬 필요가 있다.

본 개시의 한 실시 예에 따르면, 구조적 광 카메라를 이용한 3차원 깊이 측정 방법 및 장치를 제안한다.

본 개시의 한 실시 예에 따르면, 그림자 측정 범위를 증가시키고, 그림자 영역을 감소 시킬 수 있는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법 및 장치를 제안한다.

본 개시에 따른 제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법은, 상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과, 상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함할 수 있다.

본 개시에 따른 구조적 광 카메라를 이용한 3차원 깊이 측정 장치에 있어서, 제1 광 패턴을 투사하는 제1 투사기; 제2 광 패턴을 투사하는 제2 투사기; 상기 제1 광 패턴과 상기 제2 광 패턴을 감지하는 광 센서; 및 상기 제1 투사기, 상기 제2 투사기 및 광 센서와 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하고, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하고, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하고, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하도록 구성된다.

상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치할 수 있다. 상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 놓여 있지 않을 수 있다. 상기 제1 투사기 및 상기 제2 투사기는 상기 광 센서를 기준으로 서로 반대편에 놓여 있거나, 같은 편에 놓여 있을 수 있다.

상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 동일 대역이거나, 다른 대역일 수 있다. 상기 제1 광 패턴의 주기와 상기 제2 광 패턴의 주기는 동일하거나, 서로 다를 수 있다.

상기 제1 투사기는 상기 광 센서와 제1 베이스-라인 거리만큼 떨어져 있고, 상기 제2 투사기는 상기 광 센서와 제2 베이스-라인 거리만큼 떨어져 있을 수 있다. 상기 제1 베이스-라인 거리와 상기 제2 베이스-라인 거리는 서로 다를 수 있다.

상기 제1 광 패턴의 디스패리티와 상기 제2 광 패턴의 디스패리티에 기반하여, 상기 오브젝트의 위치 정보를 획득할 수 있다.

본 개시의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 개시의 바람직한 실시예들을 게시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.

본 개시의 다양한 실시 예에 따르면, 구조적 광 깊이 카메라에 기반한 3차원 깊이 측정 방법에 의하면, 깊이 측정 정밀도를 향상시키고, 그림자 영역을 감소시킴으로써, 깊이 측정 범위를 확대할 수 있다.

그 외에도 구조적 광 깊이 카메라의 깊이 범위를 증가시킬 수 있고, 특징점의 사이즈를 감소시키고, 3D 포인트들의 밀도와 3D 포인트들의 개수를 증가시킬 수 있고, 후방 오브젝트(원거리 오브젝트)의 3D 노이즈를 감소시킬 수 있고, 전방 오브젝트(근거리 오브젝트)에 의한 그림자 효과를 감소시킬 수 있다.

도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 광 카메라를 이용한 3차원 깊이 측정 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도이다.
도 2는 다양한 종류의 3차원 재구성 방법(깊이 측정 방법)의 분류를 나타낸다.
도 3(a), 3(b) 및 3(c)는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 설명하는 예시도이다.
도 4는 본 개시에 따른 구조적 광 깊이 카메라(structured light depth camera)를 설명하기 위한 예시도이다.
도 5는 본 개시에 따른 구조적 광 카메라에서 투사기(projector)의 패턴 평면(pattern plane)과 광 센서의 프레임 평면(frame plane)을 이용하여, 깊이를 측정하는 방법을 설명하기 위한 예시도이다.
도 6은 본 개시에 따른 깊이 측정 방법의 2D 노이즈를 고려한 키 포인트 추정 방법을 설명하기 위한 예시도이다.
도 7은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 예시도이다.
도 8는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 출현(visible shadows emergence)을 설명하기 위한 예시도이다.
도 9는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 영역을 설명하기 위한 예시도 이다.
도 10은 본 개시에 따른 복수의 투사기 기반 구조적 광 깊이 카메라의 구조를 나타낸다.
도 11(a)는 투사기가 2개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
도 11(b)는 투사기가 4개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
도 12 (a), (b), (c), (d), (e) 및 (f)는 본 개시에 따른 구조적 광 깊이 카메라에 있어서, 카메라 및 투사기들의 예시적인 배치들을 나타낸다.
도 13은 높은 주기(high periodic)의 패턴을 얻기 위한 두 개의 낮은 주기의 패턴을 조합하는 방법을 설명하기 위한 예시도이다.
도 14(a)는 제1 투사기의 특징점 패턴을 나타내고, 도 14(b)는 제2 투사기의 특징점 패턴을 나타내고, 도 14(c)는 제1 투사기의 패턴 프레그먼트를 나타내고, 도 14(d)는 제2 투사기의 패턴 프레그먼트를 나타내고, 도 14(e)는 제1 투사기의 패턴 프레그먼트와 제2 투사기의 패턴 프레그먼트를 조합한 패턴을 나타낸다.
도 15는 다른 베이스-라인에 기하여, 넓은 범위의 깊이를 인식하는 방법을 설명하기 위한 예시도이다.
도 16은 본 개시에 따른 깊이 측정 방법에서 있어서, 투사기들이 서로 다른 베이스 라인의 길이를 가질 때, 장면의 깊이에 따라서, 특징점들이 천이되는 것을 설명하기 위한 예시도이다.
도 17은 제1 투사기와 제2 투사기에 의하여 형성되는 3D 포인트들을 나타낸다.
도 18은 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 19는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 20은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 절차 흐름도이다.
도 21은 본 개시에 따른 구조적 광 패턴(structured light pattern) 및 특징점을 나타내는 예시도이다.
도 22는 본 개시에 따른 투사기의 광 패턴 및 특징점을 나타내는 예시도이다.
도 23은 본 개시에 따른 투사기들(P1, P2) 및 카메라(C)의 상대적 위치를 나타낸다.
도 24는 본 개시에 따른 카메라 칼라 필터 마스크를 나타낸다.
도 25는 본 개시에 따른 복수의 투사기들의 특징점들의 조합을 이용하여 오브젝트의 깊이를 측정하는 방법을 설명하기 위한 예시도이다.

이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 도면상에 표시된 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조 번호로 나타내었으며, 다음에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

하기의 본 게시의 구체적인 설명 부분을 처리하기 전에, 이 특허 문서를 통해 사용되는 특정 단어들 및 구문들에 대한 정의들을 설정하는 것이 효과적일 수 있다: 상기 용어들 “포함하다(include)”및 “포함하다(comprise)”과 그 파생어들은 한정 없는 포함을 의미하며; 상기 용어 “혹은(or)”은 포괄적이고 '및/또는'을 의미하고; 상기 구문들 “와 연관되는(associated with)”및 ““와 연관되는(associated therewith)”과 그 파생어들은 포함하고(include), ~내에 포함되고(be included within), ~와 서로 연결되고(interconnect with), 포함하고(contain), ~내에 포함되고(be contained within), ~에 연결하거나 혹은 ~와 연결하고(connect to or with), ~에 연결하거나 혹은 ~와 연결하고(couple to or with), ~와 통신 가능하고(be communicable with), ~와 협조하고(cooperate with), 인터리빙하고(interleave), 병치하고(juxtapose), ~로 가장 근접하고(be proximate to), ~로 ~할 가능성이 크거나 혹은 ~와 ~할 가능성이 크고(be bound to or with), 가지고(have), 소유하고(have a property of) 등과 같은 것을 의미하고; 상기 용어 “제어기”는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템, 혹은 그 부분을 의미하고, 상기와 같은 디바이스는 하드웨어, 펌웨어 혹은 소프트웨어, 혹은 상기 하드웨어, 펌웨어 혹은 소프트웨어 중 적어도 2개의 몇몇 조합에서 구현될 수 있다. 어떤 특정 제어기와 연관되는 기능성이라도 집중화되거나 혹은 분산될 수 있으며, 국부적이거나 원격적일 수도 있다는 것에 주의해야만 할 것이다. 특정 단어들 및 구문들에 대한 정의들은 이 특허 문서에 걸쳐 제공되고, 해당 기술 분야의 통사의 기술자는 상기와 같은 정의들이 종래 뿐만 아니라 상기와 같이 정의된 단어들 및 구문들의 미래의 사용들에도 적용된다는 것을 이해할 수 있다.

본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 특정 실시 예들을 도면들에 예시하여 상세하게 설명한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “한”과, “상기”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, “컴포넌트 표면(component surface)”은 하나 혹은 그 이상의 컴포넌트 표면들을 포함한다.

또한, 제1, 제2, 제3 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 개시의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 포함할 수 있다. 일 예로, 전자 디바이스는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.

본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 가지는 스마트 가정용 기기(smart home appliance)가 될 수 있다. 일 예로, 상기 스마트 가정용 기기는 텔레비전과, 디지털 비디오 디스크(digital video disk: DVD, 이하 'DVD'라 칭하기로 한다) 플레이어와, 오디오와, 냉장고와, 에어 컨디셔너와, 진공 청소기와, 오븐과, 마이크로웨이브 오븐과, 워셔와, 드라이어와, 공기 청정기와, 셋-탑 박스(set-top box)와, TV 박스 (일 예로, Samsung HomeSyncTM, Apple TVTM, 혹은 Google TVTM)와, 게임 콘솔(gaming console)과, 전자 사전과, 캠코더와, 전자 사진 프레임 등이 될 수 있다.

본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 의료 기기(일 예로, 자기 공명 혈관 조영술(magnetic resonance angiography: MRA, 이하 'MRA'라 칭하기로 한다) 디바이스와, 자기 공명 화상법(magnetic resonance imaging: MRI, 이하 “”라 칭하기로 한다)과, 컴퓨터 단층 촬영(computed tomography: CT, 이하 'CT'라 칭하기로 한다) 디바이스와, 촬상 디바이스, 혹은 초음파 디바이스)와, 네비게이션(navigation) 디바이스와, 전세계 위치 시스템(global positioning system: GPS, 이하 'GPS'라 칭하기로 한다) 수신기와, 사고 기록 장치(event data recorder: EDR, 이하 'EDR'이라 칭하기로 한다)와, 비행 기록 장치(flight data recorder: FDR, 이하 'FER'이라 칭하기로 한다)와, 자동차 인포테인먼트 디바이스(automotive infotainment device)와, 항해 전자 디바이스(일 예로, 항해 네비게이션 디바이스, 자이로스코프(gyroscope), 혹은 나침반)와, 항공 전자 디바이스와, 보안 디바이스와, 산업용 혹은 소비자용 로봇(robot) 등이 될 수 있다.

본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 포함하는, 가구와, 빌딩/구조의 일부와, 전자 보드와, 전자 서명 수신 디바이스와, 투사기와, 다양한 측정 디바이스들(일 예로, 물과, 전기와, 가스 혹은 전자기 파 측정 디바이스들) 등이 될 수 있다.

본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 상기에서 설명한 바와 같은 디바이스들의 조합이 될 수 있다. 또한, 본 개시의 바람직한 실시 예들에 따른 전자 디바이스는 상기에서 설명한 바와 같은 디바이스에 한정되는 것이 아니라는 것은 당업자에게 자명할 것이다.

본 개시의 다양한 실시 예들에 따르면, VR 콘텐트를 송수신하는 기기는 일 예로, 전자 디바이스가 될 수 있다.

이하, 본 개시의 실시 예들에서 사용되는 용어들을 아래와 같이 정의한다.

영상은 동영상(video), 정지 영상(image) 등이 될 수 있으며, 영상 컨텐트는 동영상, 정지 영상 등은 물론 관련된 오디오, 자막 등을 포함하는 각종 멀티미디어 컨텐트를 포함할 수 있다. VR 컨텐트는 상기 영상을 360도 영상, 3D 영상 등으로 제공하는 영상 컨텐트를 포함한다. 미디어 파일 포맷은 ISO(International Organization for Standardization) 기반 미디어 파일 포맷(ISOBMFF) 등과 같은 각종 미디어 관련 규격에 따른 미디어 파일 포맷 등이 될 수 있다.

투영(projection)은 360도 영상 등의 표현을 위한 구형 영상(spherical image)이 평면(planar surface) 상에 투영되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 맵핑(mapping)은 상기 투영에 따른 평면 상의 영상 데이터가 2D 평면에 매핑되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 전방향 미디어(omnidirectional media)는 예컨대, 사용자가 HMD를 이용하였을 때 사용자의 머리 움직임의 방향에 따라 또는 사용자의 뷰 포트(viewport)에 따라 렌더링될 수 있는 (동)영상(image or video) 및/또는 관련된 오디오를 포함한다. 상기 뷰 포트는 FoV(Field Of View)로 칭해질 수 있으며, 특정 시점에 사용자에게 보여지는 영상의 영역(여기서 상기 영상의 영역은 상기 구형 영상의 영역 등이 될 수 있다.)을 의미한다.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 개시의 다양한 실시 예에 따른 깊이 측정 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도이다.

도 1를 참조하면, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(110), 적어도 하나의 메모리(120), 적어도 하나의 인터페이스 (150, 160, 170)를 포함할 수 있다.

프로세서(110)는 CPU(central processing unit; 중앙 처리 장치)이거나, 혹은 메모리(120)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

프로세서(110)는 컴퓨터 시스템(100)의 모든 동작을 제어하는 제어기(controller)일 수 있다. 상기 제어기는 메모리(120)에서 저장된 프로그램 코드를 읽어 내어 실행함으로써 컴퓨터 시스템(100)이 작동하는 동작들을 실행할 수 있다. 프로세서(110)는 기능 별로 다수의 프로세서들이 하드웨어적으로 독립적으로 구성될 수 있다. 예컨대, 프로세서(110)는 컴퓨터 시스템(100)에서 어플리케이션의 설치 및 동작 등을 처리하는 프로세서 (AP)와, 통신을 위한 처리를 수행하는 프로세서 (CP)가 독립적인 하드웨어 구성으로 구성될 수 있다. 아울러 하나의 칩 내에 서로 다른 기능을 수행하는 프로세서들이 모듈의 형식으로 구성될 수도 있다.

컴퓨터 시스템(100)을 구성하는 프로세서(110), 메모리(120), 저장소(140), 사용자 입력 장치(150), 사용자 출력 장치(160) 및 네트워크 인터페이스(170)는 데이터 통신 버스(130)를 통해 상호 간 데이터 통신을 수행할 수 있다.

메모리(120)와 저장소(140)는 하나의 하드웨어 구성으로 이루어질 수도 있다. 메모리(120)와 저장소(140)는 다양한 형태의 휘발성 혹은 비휘발성 저장 매체를 포함할 수 있다. 예컨대, 메모리(120)는 ROM(read only memory)(123) 및 RAM(random access memory)(126)을 포함할 수 있다. 저장소(140)는 자기 테이프, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SDD), 광데이터 장치 및 플래시 메모리와 같은 비휘발성 메모리를 포함할 수 있다.

하나의 실시 예에 따르면, 깊이 측정 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 상기 깊이 측정 방법이 컴퓨터 장치에서 수행될 때, 그 운영 방법은 컴퓨터로 판독 가능한 명령어들에 의해 수행될 수 있다.

하나의 실시 예에 따르면, 깊이 측정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수도 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM, RAM, 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장 장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록 매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

도 3(a), 3(b) 및 3(c)는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 설명하는 예시도이다.

깊이 카메라(depth camera)는 주변 장면(surrounding scene)의 볼루메틱 모양(volumetric shape)에 대한 정보를 획득하는 장치이다. 깊이 카메라는 깊이 정보를 획득할 수 있다. 깊이 정보는 다양한 방법들로 표현될 수 있다. 깊이 정보를 표현하는 방법으로서, 깊이 지도(depth map)와 포인트 클라우드(point cloud)가 있다. 깊이 지도는 각각의 픽셀의 밝기 또는 칼라가 장면의 대응되는 조각 (장면 프레그먼트, scene fragment)의 깊이 값을 표현하는 서수 이미지(ordinal image)로 나타내어 질 수 있다. 포인트 클라우드는 주변 장면(surrounding scene)을 구성하는 3차원(3D, three dimension) 점들(3D points)의 집합을 나타낸다. 주변 장면에 대한 깊이 정보는 다양한 방법들에 의해 획득될 수 있다. 깊이 정보를 획득하는 다양한 방법들에 대한 구체적인 설명은 후술될 것이다.

구조적 광 카메라(structured light camera)는 액티브 일루미네이션 3차원 카메라의 일종이다. 구조적 광 카메라는 구조적 광 카메라 시스템, 구조적 광 깊이 카메라 또는 구조적 광 깊이 카메라 시스템이라고도 한다.

구조적 광 카메라는 복수의 투사기(프로젝터, projector)들과 투사된 광(projected light)을 감지하는 광 센서를 포함한다.

상기 투사기는 광 조명기(light illuminator)라고도 한다. 상기 투사기가 사용하는 광은 근적외선(near infrared light) 또는 원적외선(far infrared light)이 사용될 수 있다. 그 외에도 다른 파장의 광이 투사기가 사용하는 광으로 사용될 수 있다. 예컨대, 투사기가 사용하는 광으로 가시 광선 또는 다른 파장의 전자기파가 사용될 수 있다. 상기 투사기는 특정 영역의 파장의 구조적 광(structured light)을 방출할 수 있다. 상기 투사기는 상기 구조적 광에 패턴을 부가함으로써, 다양한 유형의 구조적 광을 생성하고, 방출할 수 있다. 상기 투사기는 구조적 광 투사기(structured light projector)라고도 한다.

상기 광 센서는 단순히 카메라라고도 한다. 상기 광 센서는 투사기로부터 특정 거리에 위치할 수 있다. 상기 광 센서와 상기 투사기 사이의 거리는 '베이스-라인(base-line) 거리'라고 칭할 수 있다.

구조적 광 깊이 카메라는 특정 패턴을 가지는 구조적 광을 장면(scene)에 투영(projecting)하는 투사기를 광 조명기로 사용하는 능동 조명 깊이 카메라(active illumination depth camera)의 일종이다. 여기서 장면은 투사기가 투사하는 구조적 광이 반사되는 영역을 의미할 수 있다. 투사기와 광 센서(카메라)는 서로 다른 방향에서 동일한 장면 또는 피사체를 향할 수 있다.

도 3(a)을 참조하면, 투사기가 투사하는 장면과 광 센서가 캡처하는 장면은 서로 대응된다. 장면은 반드시 2차원 평면을 의미하는 것은 아니다. 예컨대, 장면은 3차원 공간 상에 존재하는 오브젝트의 위치에 따라서, 오브젝트의 표면으로 정의될 수 있다. 다만, 장면은 2차원 평면의 이미지 구조에 깊이 정보를 부가함으로써, 3차원 정보를 포함할 수 있다.

도 3(b)를 참조하면, 투사기는 일정한 패턴을 가지는 광을 방출한다. 방출된 광은 타깃 오브젝트에 반사되어 광 센서에 의하여 캡처된다. 상기 캡처된 광의 패턴은 상기 방출된 광의 패턴으로부터 변이된 것이다.

투사기가 방출하는(투사하는) 광 패턴은 카메라가 캡처하는 광 패턴과 다를 수 있다. 이는 투사기가 광 패턴을 방출하는 위치와 카메라가 광 패턴을 캡쳐하는 위치 간의 시차(parallax)로 인해 발생할 수 있다.

투사기에 의하여 투사되는 광 패턴은 사전에 정해질 수 있다. 광 센서가 캡처한 광 패턴은 사전에 정해진 광 패턴을 기반으로 분석할 수 있다. 상기 분석에 따른 결과는 상기 타깃 오브젝트의 표면(즉, 장면 프레그먼트)의 깊이를 측정하기 위해 사용될 수 있다. 상기 광 패턴은 레이저 간섭 방법(laser interference method) 또는 투사법 (또는 투영법, projection method)에 의하여 생성될 수 있다. 본 개시에서는 광 패턴의 생성 방법을 특정한 방법으로 제한하지는 않는다.

레이저 간섭 방법은 평면 레이저 광을 간섭 시킴으로써, 원하는 형태의 광 패턴을 변조하는 방법이다. 투사법은 광(light)을 디지털 공간 광 변조기(digital spatial light modulator)에 통과시킴으로써, 원하는 광 패턴을 생성시키는 방법이다. 투사법은 투과형 액정(transmissive liquid crystal), 반사형 실리콘 액정(reflective liquid crystal on silicon, LCOS), 디지털 광 처리 변조기(digital light processing modulator, DLP modulator)를 이용하여 광 패턴을 생성할 수 있다. 디지털 광 처리 변조기는 동적인 초미세 거울(moving micro mirror)을 이용할 수 있다. 구조적 광 카메라에서 사용되는 광 패턴은 다양할 수 있으나, 평행한 줄무늬들(parallel stripes)이 종종 사용된다. 도 3(b)는 투사기에 의하여 평행한 줄무늬들 형태의 광 패턴이 다른 관점(perspective)에서 카메라가 촬영한 영상을 보여준다. 오브젝트의 표면들의 깊이들은 사전에 알려진 광 패턴에 기반하여, 카메라가 캡처한 광 패턴을 분석하여, 측정될 수 있다.

도 3(c)를 참고하면, 카메라가 캡처하는 방향에서의 광 패턴은 투사기의 투사 방향에서의 광 패턴과 차이가 있을 수 있다.

투사기에 의해 생성된 광 패턴은 오브젝트에서 반사되어 카메라에 의해 캡처될 것이다. 상기 투사기에 의해 생성된 광 패턴과 카메라에 의해 캡처된 광 패턴은 일치하지 않을 수 있다. 즉, 투사기에 의해 생성된 광 패턴은 투사기와 카메라 사이의 시차(parallax)로 인해, 카메라에 의해 캡처된 광 패턴으로 변이될 수 있다. 상기 투사기에 의해 생성된 광 패턴은 복수의 제1 패턴 프레그먼트들을 포함할 수 있다. 상기 캡처된 광 패턴은 복수의 제2 패턴 프레그먼트들을 포함할 수 있다. 상기 복수의 제1 패턴 프레그먼트들은 상기 장면의 프레그먼트들에 반사되고 상기 복수의 제2 패턴 프레그먼트들로 변이될 수 있다.

상기 캡처된 광 패턴은 카메라의 위치에서의 시차 효과(parallax effect)로 인하여, 대응되는 장면 프레그먼트의 깊이에 따라 변이될 수 있다. 여기서 장면은 광 패턴을 반사하는 영역을 지칭할 수 있다. 또한, 장면 프레그먼트는 해당 장면의 일부분을 지칭할 수 있다. 따라서, 장면 프레그먼트는 오브젝트의 표면에 따라 특정될 수 있다. 상기 캡처된 광 패턴은 상기 복수의 제1 프레그먼트들이 상기 장면 프레그먼트에 반사되어, 변이된 복수의 제2 패턴 프레그먼트들을 포함할 수 있다. 상기 복수의 제1 패턴 프레그먼트들은 분석을 위하여 더 작은 단위의 패턴 프레그먼트로 분할될 수 있다.

각 장면 프레그먼트의 3차원 위치는 해당 장면 프레그먼트의 깊이를 측정함으로써, 획득될 수 있다. 상기 깊이 측정 시, 제1 패턴 프레그먼트의 단위가 작을 수록 깊이 측정을 위한 연산 시간이 오래 걸리는데 반하여 정밀도가 증가할 수 있다. 따라서, 제1 패턴 프레그먼트의 크기는 깊이 측정의 정확성과 연산 속도를 고려하여, 정해질 수 있다.

또한, 깊이 측정을 통해 획득한 데이터를 바탕으로, 보간법(interpolation method)를 사용하여, 보다 정밀한 데이터를 추가로 생성할 수 있다.

상기 변이된 광 패턴, 즉 캡처된 광 패턴은 오브젝트의 부분에 대응되는 장면 프레그먼트의 깊이를 추정하기 위해 사용될 수 있다. 상기 캡처된 광 패턴(복수의 제2 패턴 프레그먼트들)은 추정된 깊이에 따라 원본의 광 패턴, 즉 투사기에 의해 생성된 광 패턴(복수의 제1 패턴 프레그먼트들)에 매칭될 수 있다. 상기 복수의 제1 패턴 프레그먼트들을 포함하는 상기 원본의 광 패턴은 상기 복수의 제2 패턴 프레그먼트들 각각을 잘 구별할 수 있도록 생성된다. 상기 복수의 제1 패턴 프레그먼트들 각각은 특징점들을 포함한다. 상기 복수의 제1 패턴 프레그먼트들과 상기 복수의 제2 패턴 프레그먼트들을 매칭함으로써, 상기 특징점들은 구별될 수 있다.

도 4는 본 개시에 따른 구조적 광 깊이 카메라(structured light depth camera)를 설명하기 위한 예시도이다.

도 4를 참조하면, 구조적 광 깊이 카메라는 특정한 광 패턴을 투사하는 투사기(P)와 상기 투사된 광 패턴이 오브젝트에 의하여 반사되는 광 패턴을 캡처하는 광 센서(C, 카메라 또는 카메라 모듈)를 포함할 수 있다.

투사기(P)는 광 센서(C)와 공간적으로 분리된다. 예컨대, 점 P에 투사기(P)가 위치하고, 점 C에 광 센서가 위치할 수 있다. 광 센서(C)와 투사기(P) 사이의 거리(선분 PC)는 '베이스-라인(base-line) 거리'라 일컫는다. 즉, 점 P와 점 C 사이의 거리가 베이스-라인 거리에 해당한다. 광 센서(C)와 투사기(P) 사이의 거리 (베이스-라인 거리)로 인하여, 광 센서(C)에 의하여 캡처되는 광 패턴은 상기 장면의 프래그먼트의 대응되는 거리에 따라서 다르게 변이된(morphed)다.

상기 베이스-라인 거리는 미리 정해지거나, 사후적으로 설정될 수 있다. 각 장면 프레그먼트의 깊이 값은 베이스-라인 거리에 기초하여, 투사된 광 패턴과 캡처된 광 패턴으로부터 추정할 수 있다.

한 실시 예에 따르면, 투사기(P)와 광 센서(C)가 베이스-라인 거리에 따라 위치하고, 투사기(P)에 의하여 투사되는 광 패턴을 2개의 패턴 프레그먼트들(A, B)라 하자. 상기 패턴 프레그먼트 A 와 패턴 프레그먼트 B는 투사기 패턴 평면의 점 A와 점 B에 각각 투사된다. 상기 패턴 프레그먼트 A 와 패턴 프레그먼트 B의 경로들은 선들로 표현된다.

상기 선들 (선분 BB₃, 선분 AA₃) 각각은 서로 상이한 깊이 (d₁, d₂, d₃)를 가지는 오브젝트들 각각과 특정 교차점들(A₁, A₂, A₃, B₁, B₂, B₃)을 갖게 된다. 즉, 상기 선들 (선분 BB₃, 선분 AA₃) 각각에 상응한 패턴 프레그먼트 (A, B)는 오브젝트들 각각의 특정 교차점들(A₁, A₂, A₃, B₁, B₂, B₃)에서 반사가 이루어질 것이다. 상기 특정 교차점들을 장면 프레그먼트들이라 할 수 있다. 상기 오브젝트들의 장면 프레그먼트들(A₁, A₂, A₃, B₁, B₂, B₃)에서 반사가 이루어진 광 패턴들은 카메라 프레임 평면(420)의 다른 위치들 (C₁, C₂, C₃, C₄, C₅)에서 획득될 것이다.

예컨대, 패턴 프레그먼트 A(A₁, A₂, A₃)는 C₂, C₄ 및 C₅의 위치에 나타날 수 있고, 각각의 깊이는 d₁, d₂ 및 d₃가 된다. 프레그먼트 B(B₁, B₂, B₃)는 C₁, C₃ 및 C₄에서 나타날 수 있고, 각각의 깊이는 d₁, d₂ 및 d₃가 된다.

하나의 실시 예에 따르면, 각 오브젝트의 장면 프레그먼트의 깊이와, 각 장면 프레그먼트의 3차원 위치는 베이스-라인 거리와 상기 패턴 프레그먼트의 투사기 패턴 평면(410)에서의 오리지널 위치(투사기에 의해 투사된 위치, 점 A 및 점 B)과 상기 패턴 프레그먼트들의 캡처된 위치들(카메라 프레임 평면(420)에 캡처된 위치, 점 C₁, C₂, C₃, C₄ 및 C₅)를 이용하여 추정될 수 있다. 설명의 편의를 위하여, 투사기에 의하여 생성된 패턴 프레그먼트를 제1 패턴 프레그먼트라 하고, 카메라에 의하여 캡처된 패턴 프레그먼트를 제2 패턴 프레그먼트라 할 수 있다.

상기 제1 패턴 프레그먼트 A와 B는 서로 다른 장면 프레그먼트들(A₂, B₃)에 반사되어 카메라 프레임 평면(420)의 같은 위치(C₄)에 나타날 수 있다. 예컨대, 깊이 d2의 장면 프레그먼트 A₂와 깊이 d3의 장면 프레그먼트 B₃는 카메라 프레임 평면(420)의 위치 C₄에서 나타난다. 이 경우, C₄에서는 장면 프레그먼트들(A₂, B₃)의 광 패턴들이 서로 중첩되므로, 깊이 측정의 오차가 클 수 있다.

따라서 신뢰성 있는 깊이 정보를 획득하기 위해서는, 서로 다른 패턴 프레그먼트들이 중첩되는 것을 명확하게 구별할 수 있어야 한다. 즉, 프레임의 같은 위치에서 나타나는 서로 다른 패턴 프레그먼트들은 구별이 가능하여야 한다.

다른 측면에서, 깊이 카메라의 해상도(resolution)를 증가시키는 것(상기 제1 패턴 프레그먼트들의 크기가 감소됨)은 같은 위치에서 상기 제2 패턴 프레그먼트들이 생성되는 것을 완화할 수 있다.

도 5는 본 개시에 따른 구조적 광 카메라에서 투사기의 패턴 평면(pattern plane) (510)과 광 센서의 프레임 평면(frame plane) (520)을 이용하여, 깊이를 측정하는 방법을 설명하기 위한 예시도이다.

도 5를 참조하면, 깊이 측정 장치 (구조적 광 깊이 카메라 또는 구조적 광 깊이 카메라 시스템)는 적어도 하나의 카메라(C, 광 센서)와 적어도 하나의 투사기(P, 투사기)를 포함할 수 있다.

상기 투사기 P는 키 포인트(key-point)들이라 불리는 인식 가능한 기본 요소(basic recognizable elements)를 포함하는 광 패턴을 투사(project)한다. 상기 인식 가능한 기본 요소는 특징점으로 특정될 수 있다.

상기 투사기 P로부터 투사되어 패턴 평면 (510) 상의 특징점(feature point) F를 통과한 광선(ray)은 서로 다른 깊이를 갖는 점 A, B, D, E 각각에서 반사되면, 상기 서로 다른 깊이를 갖는 점 A, B, D, E 각각에서 반사된 광선이 카메라 C의 프레임 평면(520)의 점 A', B', D', E'에 도달한다.

상기 광선이 점 B에서 반사되는 경우, 카메라 프레임 평면 (520)의 점 B'에 도달한다.

만약 점 D가 최소 접근 가능 깊이이고, 점 E가 최대 접근가능 깊이라면, 패턴 평면 (510) 상의 F를 통과한 광 패턴은 점 D의 깊이와 점 E의 깊이 사이의 범위의 오브젝트들(즉, 선분 DE 상에 존재하는 오브젝트의 장면 프레그먼트들)에서 반사될 것이며, 카메라의 프레임 평면 (520)의 투영점 D'와 E'의 사이의 제1 선(선부 D'E')은 상기 특징점 F의 모든 가능한 투영점들(projections)을 포함할 것이다.

그러나, 카메라의 왜곡에 의하여, 상기 제1 선은 왜곡될 수 있다.

도 6은 본 개시에 따른 깊이 측정 방법의 2D 노이즈를 고려한 키 포인트 추정 방법을 설명하기 위한 예시도이다.

도 6를 참고하면, 실제 키 포인트의 위치를 추정하기 위하여, 상기 캡처된 키 포인트의 삼각 측량을 수행한다. 삼각 측량을 수행함으로써, 장면의 특징점들이 반사되는 3D 위치를 계산한다. 삼각 측량을 수행하기 위하여, 오리지널 광 패턴에 대한 키 포인트의 원본 위치, 카메라의 상대적 위치 및 상기 오리지널 광 패턴을 알아야 한다.

각 키 포인트는 결정된 주변의 다른 키 포인트들과 달라야 한다. 키 포인트 마다 모양, 밝기, 크기 등의 고유한 특성들을 부가하여, 각 키 포인트는 결정된 주변의 다른 키 포인트들과 달라질 수 있다.

그러나, 다른 키 포인트 유형을 다양하게 만들기 위해서는 일반적으로 키 포인트의 크기를 증가시켜야 한다. 키 포인트의 크기를 증가시키면, 상기 광 패턴의 키 포인트들의 밀도와 장면의 자세한 정도는 감소한다.

3D 재구성의 다른 측면은 키 포인트의 국소화된 정확도와 관련된다.

실제로, 환경 및 장면의 특수성(고도의 텍스처링)과 마찬가지로, 하드웨어의 비이상성 및 한계로 인하여, 키 포인트들은 매우 정확하게 국소화할 수 없으므로, 2D 노이즈이 감지된다. 상기 2D 노이즈는 투사기의 투사면에 대응될 수 있다.

삼각 측량(역 투사, unprojection) 과정 동안, 포인트의 깊이 값들은 하기 수학식에 따라 계산될 수 있다.

b는 베이스-라인 길이(카메라와 투사기 사이의 거리)

f는 카메라의 초점 거리(focal distance)

d는 디스패리티(disparity) 값.

디스패리티 값은 특징점의 캡처된 2D 위치와 특징점의 오리지널 광 패턴에서의 위치 사이의 거리 차이를 의미한다. 키 포인트의 국소화 절차의 부정확성은 포인트의 깊이 노이즈를 생성한다.

상기 수식에서, 키 포인트의 깊이는 디스패리티 값에 반비례하고, 장면의 깊이가 증가할수록 3D 노이즈의 값은 증가한다. 더 멀리 있는 장면일 수록 훨씬 부정확하다.

Δ는 3D 노이즈 값이고, δ는 2D 노이즈 값이다.

주어진 z에 대하여, 3D 노이즈 값(Δ)을 감소시키기 위하여, 2D 노이즈 값(δ)을 감소 시키고, 베이스-라인 길이(b)와 초점 거리(f)를 증가시킬 것이다.

따라서, 원거리 영역 오브젝트에 대한 3D 노이즈 값을 감소시키기 위하여, 베이스-라인 거리를 증가시킬 수 있고, 동시에 베이스-라인 거리가 너무 크면, 투사기의 FoV의 밖 (사각 지대, blind zone)에 근거리 영역 오브젝트가 나타날 수 있다. 즉, 베이스-라인 거리를 증가시켰을 때, 근거리 영역 오브젝트의 깊이는 측정하지 못할 수 있다.

도 7은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 예시도이다.

도 7(a)는 짧은 베이스-라인의 근거리 영역 오브젝트에 대한 투사기와 카메라의 FoV를 표시하고 있다. 투사기의 FoV를 투사 FoV라고 하고, 카메라의 FoV를 가시 FoV라고 할 수 있다. 도 7(b)는 긴 베이스-라인의 근거리 영역 오브젝트에 대한 투사기와 카메라의 FoV를 표시하고 있다.

긴 베이스-라인에 대하여, 근거리 영역 오브젝트는 투사기의 투사 FoV 영역 밖에 존재할 수 있으므로, 근거리 영역 오브젝트들의 인식을 제공하기 위하여, 베이스-라인 길이는 짧아야 하고, 동시에 원거리 영역 오브젝트에 대하여, 낮은 3D 노이즈 값을 제공하기 위하여 베이스-라인 길이는 길어야 하므로, 근거리 영역 오브젝트들의 인식과 낮은 3D 노이즈 값 사이에는 상충(trade-off) 관계가 존재한다.

도 8는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 출현(visible shadows emergence)를 설명하기 위한 예시도이다.

도 9는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 영역을 설명하기 위한 예시도이다.

근거리 영역 오브젝트에 의하여 생성된 그림자 효과는 원거리 영역 오브젝트에 미친다. 근거리 영역 오브젝트에 의하여, 투사기에서 방출된 광이 원거리 영역 오브젝트에 도달하지 않게 되면, 카메라의 가시 영역에 존재하는 원거리 영역 오브젝트의 깊이를 측정하지 못할 수 있다. 근거리 영역 오브젝트에 의하여 차폐되는 원거리 영역 오브젝트를 포함하는 영역을 가시 그림자 영역(visible shadow zone)이라고 한다.

도 8를 참고하면, 가시 그림자 영역을 설명하기 위한 투사기와 카메라의 평면 배치도를 나타낸다. 도 9는 카메라의 정면 방향에서 가시 그림자 영역이 표시된 정면도를 나타낸다.

도 8 및 도 9에 따르면, 근거리 오브젝트에 의하여, 원거리 오브젝트가 차폐되면, 원거리 오브젝트의 깊이를 측정할 수 없다. 즉, 근거리 오브젝트에 의하여, 그림자 영역이 발생한다. 다만, 카메라의 위치에서, 상기 그림자 영역은 카메라가 볼 수 있으므로, 상기 그림자 영역을 보이는 그림자 영역(가시 그림자 영역, visible shadow zone)이라 할 수 있다. 상기 가시 그림자 영역은 투사기의 광이 도달하지 아니하므로, 상기 가시 그림자 영역에 존재하는 오브젝트들의 깊이는 측정할 수 없게 된다.

달리 표현하면, 카메라와 투사기 사이의 베이스-라인으로 기인하여, 투사기의 조명에 의하여 생성된 근거리 오브젝트의 그림자가 원거리 오브젝트의 가시 장면 프레그먼트(visible scene fragment)를 덮는다. 상기 원거리 오브젝트의 가시 장면 프레그먼트는 조명되지 아니하므로, 그림자가 형성된다. 즉, 그림자 영역에 존재하는 상기 조명되지 않은 원거리 오브젝트의 가시 장면 프레그먼트의 깊이 정보를 획득할 수 없다.

단일 파장 대신, 다른 광 파장에서 동작하는 복수의 투사기(투영기, 프로젝터, projector)들이 사용될 수 있다. 하나의 카메라 모듈이 상기 복수의 투사기들로부터 방출되는 모든 종류의 조명을 동시에 캡처할 수 있고, RGB 카메라와 유사하게 칼라 필터를 사용하여, 상기 캡처된 조명을 분리된 이미지 채널로 분리할 수 있다. 다만, 투사기들 각각이 방출하는 구조적 광은 적외선, 가시광선 및 자외선 등 다양한 파장의 광들 중 어느 하나 일 수 있고, 상기 하나의 카메라는 다양한 파장 영역에서 복수의 광들을 분리하여 획득할 수 있다. 상기 하나의 카메라는 사용하는 칼라 필터의 마스크에 대응하여, 카메라에 포함된 이미지 센서의 감광 소자(light sensing element)의 배치를 결정할 수 있다.

상기 복수의 투사기들는 다양한 주기로 키 포인트들이 반복되는 패턴들을 투사할 수 있어서, 상기 패턴들의 중첩에 따라, 다양한 유형의 키 포인트들을 증가시킬 수 있다. 또한, 키 포인트들의 유형들을 조합하여 고유한 조합들을 제공할 수 있다. 제공되는 조합된 패턴들은 비주기적 패턴들일 수 있다.

상기 복수의 투사기들을 이용하면, 특징점의 크기가 매우 작더라도, 충분히 다양한 키 포인트의 유형들이 제공될 수 있다. 통상 특징점의 크기가 작으면, 다양한 유형의 특징점들을 생성할 수 없으나, 광 패턴들의 중첩에 의하여, 특징점의 크기가 작더라도 다양한 유형의 키 포인트들을 생성할 수 있다. 즉, 각 투사기들의 광 패턴들이 서로 다른 경우, 중첩되는 키 포인트들은 더 다양해질 수 있다. 또한, 각 투사기들의 동일한 광 패턴을 사용한다 하더라도, 반사되는 위치의 키 포인트가 모두 동일할 수는 없으므로, 중첩되는 키 포인트들은 다양해질 것이다. 각 투사기들의 광 패턴의 주기가 서로 다른 경우, 광 패턴들의 주기에 따라 새로운 주기를 생성할 수 있고, 광 패턴이 다양해지면, 보다 용이하게 키 포인트들을 인식할 수 있게 된다.

다른 베이스-라인 거리를 가지는 투사기들이 배치될 수 있고, 근거리 영역의 오브젝트를 캡처하기 위한 짧은 베이스-라인 거리를 제공할 수 있다. 또한, 원거리 영역의 오브젝트들에 대한 3D 노이즈 감소를 위한 긴 베이스-라인을 제공할 수 있다. 베이스-라인의 길이의 변동과 함께, 다양한 키 포인트 유형을 제공함으로써, 보다 효과적으로 오브젝트의 깊이를 측정할 수 있다.

복수의 투사기들을 도입함으로써, 그림자 효과를 감소시킬 수 있다. 또한, 카메라를 기준으로 반대편 위치에 투사기들을 각각 배치시킴으로써, 그림자 효과를 감소시킬 수 있다. 상기 투사기들은 카메라의 반대편 또는, 수평 위치 및 수직 위치의 조합에 따라서 위치할 수 있다.

분리되어 국소화된 각 투사기로부터 각 키 포인트는 분리된 3D 포인트로서 투사되지 않을 수 있어서, 포인트 클라우드의 밀도는 증가될 수 있다.

모든 투사기로부터 특징점의 위치들의 평균은 국소화 노이즈를 감소시킨다.

단일 카메라를 사용하기 때문에, 동일한 프레임의 좌표 공간에서 특징점을 감지할 수 있고, 추가적인 조정(calibration)과 수정(rectification)의 필요 없이 동작할 수 있다.

도 10는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 나타낸다.

도 10을 참고하면, 카메라(1020)와 제1 투사기(1012) 사이의 거리는 제1 베이스-라인 거리이고, 카메라(1020)와 제2 투사기(1014) 사이의 거리는 제2 베이스-라인 거리이다. 도 10에 나타나는 삼각형들은 제1 투사기(1012) 및 제2 투사기(1014)의 투사 FoV(field of view)와, 카메라의 가시 FoV를 나타낸다.

도 11(a)는 투사기가 2개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.

상기 2개의 투사기들은 도 10의 제1 투사기(1012) 및 제2 투사기(1014)일 수 있다. 제1 투사기(1012) 및 제2 투사기(1014)는 각각 다른 파장의 광을 사용할 수 있다. 제1 투사기(1012)가 제1 광 패턴을 방출하고, 제2 투사기(1014)가 제2 광 패턴을 방출할 수 있다. 상기 제1 광 패턴과 상기 제2 광 패턴은 서로 다른 파장의 광 패턴인 경우, 상기 제1 광 패턴과 상기 제2 광 패턴은 칼라 필터에 의하여 분리될 수 있다. 또한, 유사한 파장을 사용하더라도, 각 투사기는 서로 다른 패턴의 광을 사용함으로써, 캡처된 광의 원본 출처(제1 투사기 또는 제2 투사기)가 무엇인지 알 수 있게 된다. 카메라 매트릭스 파장 필터 마스크는 제1 투사기(1012)에서 투사된 제1 광 패턴과 제2 투사기(1014)에서 투사된 제2 광 패턴을 선별적으로 필터링함으로써, 투사기에 대응되는 패턴들을 분리할 수 있다.

도 11(b)는 투사기가 4개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.

도 11(b)에 나타나는 번호는 4개의 투사기 각각에 대응된다. 예컨대, 4개의 투사기들이 제1 투사기, 제2 투사기, 제3 투사기, 제4 투사기라고 할 수 있다. 도 11(b)의 카메라 매트릭스 파장 필터 마스크에 기재된 '1'은 제1 투사기에 대응되는 필터이고, '2'는 제2 투사기에 대응되는 필터이고, '3'는 제3 투사기에 대응되는 필터이고, '4'는 제4 투사기에 대응되는 필터일 수 있다.

각 투사기의 필터 요소(filter element)를 균일하게 배치하여, 평균적인 성능을 얻을 수 있고, 근방의 필터 요소를 활용하면, 다른 투사기(제2 투사기, 제3 투사기, 제4 투사기)의 깊이 정보에 기초하여, 제1 투사기의 깊이 정보를 추정할 수 있다. 인접 영역에서의 깊이 정보는 서로 관련된 경우가 많기 때문이다. 다만, 각 픽셀의 경계에서 깊이가 급격하게 변하는 경우, 인접 픽셀의 깊이 정보를 참고하여, 깊이 정보를 추출하기 어려운 측면이 있다.

투사기들의 위치, 카메라의 위치 투사기와 카메라의 상대적 위치 등에 따라, 상기 카메라 매트릭스 파장 필터 마스크 구조를 변경할 수 있다. 특정 투사기에 대하여 음영 지역에 해당하는 경우, 필터 요소를 제외하고, 관측 가능한 투사기의 필터요소를 추가하는 방법에 의하여, 더 효율적으로 깊이를 측정할 수 있다.

도 12 (a), (b), (c), (d), (e) 및 (f)는 본 개시에 따른 구조적 광 깊이 카메라에 있어서, 카메라 및 투사기들의 예시적인 배치들을 나타낸다.

본 개시에 따른 카메라와 복수의 투사기들은 일직선 상에 배치될 수 있다. 도 12(b), 도 12 (c), 도 12 (d), 도 12 (e)는 모두 카메라와 복수의 투사기들이 일직선 상에 배치되어 있다.

도 12(a)는 제1 투사기와 카메라 사이의 제1 베이스-라인과 제2 투사기와 카메라 사이의 제2 베이스-라인이 서로 수직하고 있으며, 도 12(f)는 제1 베이스-라인과 제2 베이스-라인이 특정 각도를 이루고 있다.

카메라와 복수의 투사기들의 위치에 따라서, 근거리 영역의 오브젝트의 깊이를 추정할 수 있고, 제1 투사기에 의하여 형성되는 그림자 영역에 존재하는 오브젝트들의 깊이를 제2 투사기를 이용하여 측정할 수 있다.

도 13은 높은 주기(high periodic)의 패턴을 얻기 위한 두 개의 낮은 주기의 패턴을 조합하는 방법을 설명하기 위한 예시도이다.

도 13(a)는 주기가 5인 패턴을 나타낸다. 도 13(a)의 패턴은 제1 투사기의 패턴일 수 있다.

도 13(b)는 주기가 6인 패턴을 나타낸다. 도 13(b)의 패턴은 제1 투사기의 패턴 또는 제2 투사기의 패턴일 수 있다.

하나의 투사기에 간단한 패턴들을 조합함으로써 고유한 패턴을 생성할 수 있다. 또한, 제1 투사기의 패턴과 제2 투사기의 패턴을 조합함으로써 고유한 패턴을 생성할 수 있다.

도 13(c)는 도 13(a)의 패턴과 도 13(b)의 패턴을 조합하여 생성된 주기가 30인인 패턴을 나타낸다.

제1 투사기와 제2 투사기로부터 각각 다른 파장(색, color)의 패턴들이 투사될 때, 상기 패턴들은 카메라에 중첩되어 입력되고, 동일한 이미지 좌표 공간에서 서로 분리하여 인식될 수 있다.

도 14(a)는 제1 투사기의 특징점 패턴(주기 5) 유형을 나타내고, 도 14(b)는 제2 투사기의 특징점 패턴(주기 6) 유형을 나타내고, 도 14(c)는 제1 투사기의 프레그먼트 패턴 유형을 나타내고, 도 14(d)는 제2 투사기의 프레그먼트 패턴 유형을 나타내고, 도 14(e)는 제1 투사기의 프레그먼트 패턴 유형과 제2 투사기의 프레그먼트 패턴 유형을 조합한 패턴(주기 30)을 나타낸다. 상기 조합된 패턴은 제1 투사기의 프레그먼트 패턴 유형과 제2 투사기의 프레그먼트 패턴 유형의 중첩을 나타낸다.

도 15는 다른 베이스-라인에 기하여, 넓은 범위의 깊이를 인식하는 방법을 설명하기 위한 예시도이다.

도 15는 참고하면, 카메라(1520)의 좌측에 제1 투사기(1512)가 위치하고, 카메라(1520)의 우측에 제2 투사기(1514)가 위치한다. 카메라(1520)와 제1 투사기(1512) 사이의 거리는 제1 베이스-라인(1532)이고, 카메라(1520)와 제2 투사기(1514) 사이의 거리는 제2 베이스-라인(1534)이다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)은 일직선 상에 놓여 있을 수 있다. 도 12를 참고하면, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있는 다양한 예시가 존재한다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있을 때, 비교적 간단한 계산식에 의하여, 깊이를 측정할 수 있다. 그러나, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)은 일직선 상에 놓여 있지 아니할 수 있다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)의 배치를 조정함으로써, 보다 정확하게 오브젝트의 깊이를 측정할 수 있다. 즉, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있지 않더라도 적절하게 깊이를 측정할 수 있다.

제1 투사기(1512)와 제2 투사기(1514)가 방출하는 광은 투사 방향에 존재하는 오브젝트(1542, 1544, 1546)에 의하여 반사된다. 제1 투사기(1512)와 상기 제2 투사기(1514)가 위치하는 위치들이 서로 다르기 때문에, 투사되는 범위가 서로 상이하다.

각 투사기의 투사 범위를 근거리 영역, 중간 영역, 원거리 영역으로 구분할 수 있다. 이는 설명의 편의를 위하여 도입된 용어이며, 구체적인 수치에 한정되는 것은 아니다. 투사기의 용도에 따라, 투사기로부터 오브젝트까지 거리는 다양할 수 있다. 이때, 투사기로부터 오브젝트까지의 거리는 직선거리가 아닌 베이스-라인으로부터 수직 거리를 나타내는 것일 수 있다.

제1 오브젝트(1542)는 제1 투사기(1512)와 제2 투사기(1514)의 상기 근거리 영역에 포함되고, 제2 투사기의 사각 영역(blind zone)에 포함되므로, 제1 투사기(1512)만을 사용하여 제1 오브젝트(1542)의 깊이를 측정할 것이다.

제2 오브젝트(1544)는 제1 투사기(1512)와 제2 투사기(1514)의 상기 중간 영역에 위치한다. 제2 오브젝트(1544)에 대하여, 제1 투사기(1512)의 특징점과 제2 투사기(1514)의 특징점을 이용하여 삼각 측량을 할 수 있다.

제3 오브젝트(1546)는 제1 투사기(1512)와 제2 투사기의 상기 원거리 영역에 위치한다. 원거리 영역에 포함되는 오브젝트는 다른 오브젝트에 의하여 차폐될 가능성이 높다. 예컨대, 제1 투사기(1512)의 광이 제1 오브젝트(1542)에 의하여 차폐되는 경우, 제1 투사기(1512)가 획득하는 제3 오브젝트(1546)의 3D 위치는 부정확할 수 있다. 반면, 제2 투사기(1514)의 광은 제3 오브젝트(1546)을 차폐하는 다른 오브젝트가 없는 경우, 상대적으로 제2 투사기(1514)가 획득하는 제3 오브젝트(1546)의 3D 위치는 더 정확할 수 있다. 이때, 제2 투사기(1514)를 이용하여 제3 오브젝트(1546)의 3D 위치를 획득하여, 제3 오브젝트(1546)의 깊이를 측정할 수 있다. 그러나, 제3 오브젝트가 부분적으로 차폐되는 경우라면, 특징점들의 분류에 제1 투사기(1512)의 포인트들을 이용할 수 있다.

도 16은 본 개시에 따른 깊이 측정 방법에서 있어서, 투사기들이 서로 다른 베이스 라인의 길이를 가질 때, 장면의 깊이에 따라서, 특징점들이 천이되는 것을 설명하기 위한 예시도이다.

투사기들의 베이스-라인 거리 값이 다를 경우, 장면 프레그먼트의 깊이에 따라, 특징점들이 다른 속도로 시프트된(shifted)다.

특징점의 디스패리티(disparity)는 장면 프레그먼트의 깊이와 반비례한다. 특징점의 디스패리티와 장면의 깊이 사이의 관계는 다음 수식을 따른다.

d는 디스패리티(disparity) 값,

b는 베이스-라인 길이(카메라와 투사기 사이의 거리),

f는 카메라의 초점 거리(focal distance),

z는 장면의 깊이.

상기 수식은 수학식 1로부터 유도될 수 있다.

즉, 장면 프레그먼트의 깊이가 클수록 디스패리티는 작으며, 장면 프레그먼트의 깊이가 작을 수록 디스패리티는 크다. 상기 특징점이 기준점으로부터 시프트한 정도를 디스패리티라고 한다. 동일한 패턴을 사용하더라도, 특징점 조합을 증가시킬 수 있다. 장면의 깊이가 매우 크다면(카메라로부터 피사체의 거리가 무한대, 즉, z = ∞), 투사기들의 디스패리티 값이 0이 되므로, 투사기들이 동일한 패턴을 사용하더라도, 같은 위치들에서 특징점들을 검출할 수 있다.

도 16에 있어서, z₁ > z₂ 라고 하자. 장면의 깊이가 z₁(예컨대, z₁ = 2 m) 일 때, 투사기들 사이에 디스패리티 차이가 발생한다. 마찬가지로, 장면의 깊이가 z₂(예컨대, z₂ = 1 m) 일 때에도, 투사기들 사이에 디스패리티 차이가 발생한다. 다만, z₁ > z₂ 이므로, z = z₂ 일 때의 디스패리티(d)가 z = z₁ 일 때의 디스패리티(d)보다 수학식 3에 따라 더 크다. 또한, 제1 투사기의 베이스-라인(b₁)보다 제2 투사기의 베이스-라인(b₂)이 더 길다면, 제2 투사기의 디스패리티가 제1 투사기의 디스패리티보다 더 크게 된다.

즉, 베이스-라인들의 길이와 장면의 깊이에 따른 디스패리티의 차이가 발생하기 때문에, 같은 패턴을 사용하는 투사기들 사이에도, 특징점 조합의 패턴이 증가될 수 있다.

증가된 패턴들을 가지는 캡처된 프레임의 각 점들에 대하여, 장면의 다른 깊이 값들로 인하여, 복수의 패턴들의 조합에 따라 특징점들의 고유한 조합들이 생성될 것이다. 상기 패턴들의 조합을 캡처하여, 장면의 깊이값을 복원할 수 있다.

도 17은 제1 투사기와 제2 투사기에 의하여 형성되는 3D 포인트들을 나타낸다.

투사기들로부터 추출된 특징점들은 분리되어 국소화되(localized)기 때문에, 상기 특징점들은 역투사에 사용될 수 있다. 상기 특징점들을 역투사하여, 3차원 포인트들을 구할 수 있다. 투사기들의 디스패리티로 인하여, 상기 3차원 포인트들의 개수는 두 배가 된다.

도 18는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.

도 19는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.

도 18를 참고하면, 카메라를 기준으로 반대편에 투사기들을 위치시킬 경우, 그림자 효과가 감소될 수 있다. 그림자 효과는 전방 오브젝트(foreground object, 근거리 오브젝트)에 의하여 하나의 투사기의 광이 차폐되어, 후방 오브젝트(background object, 원거리 오브젝트) 의 깊이를 측정하지 못하는 것을 의미한다.

도 18를 참고하면, 전방 오브젝트(도 19의 ⑧)와 후방 스크린(도 19의 ①, ②, ③, ④, ⑤)이 표시되어 있다. 제1 투사기에 의하여 전방 오브젝트의 그림자 영역(도 19의 ③, ④)이 후방 스크린에 형성되며, 제2 투사기에 의하여, 전방 오브젝트의 그림자 영역(도 19의 ②, ③)이 후방 스크린에 형성된다. 여기서 그림자 영역이란 투사기에 의하여 방출된 광이 전방 오브젝트에 의하여 가리어져, 후방 스크린에 도달하지 못하는 영역을 의미한다.

제1 투사기가 방출한 광이 후방 스크린에 도달하지 못하기 때문에 생성되는 제1 그림자 영역(도 19의 ③, ④)에 존재하는 후방 오브젝트는 제1 투사기에 의하여 측정할 수 없다. 또한, 제2 투사기가 방출한 광이 후방 스크린에 도달하지 못하기 때문에 생성되는 제2 그림자 영역(도 19의 ②, ③)에 존재하는 후방 오브젝트는 제2 투사기에 의하여 측정할 수 없다. 그러나, 제1 그림자 영역(도 19의 ③, ④)에 존재하는 후방 오브젝트가 제2 투사기가 방출하는 광을 반사할 수는 있으므로, 제1 그림자 영역의 일부 또는 전부는 제2 투사기에 의하여 측정될 수 있다. 또한, 제2 그림자 영역의 일부 또는 전부는 제1 투사기에 의하여 측정될 수 있다. 즉, 복수의 투사기들을 사용함으로써, 그림자 효과를 감소시킬 수 있다.

도 18을 참고하면, 제1 투사기와 제2 투사기의 배치에 따라, 전방 오브젝트로 인한 그림자 효과를 감소를 시킬 수 있다.

도 19를 참고하면, 제1 영역(①)은 제1 투사기 및 제2 투사기의 광을 모두 반사할 수 있으므로, 완전 조사 후방 영역이라 할 수 있다. 또한 제5 영역(⑤)도 완전 조사 후방 영역이라 할 수 있다.

제2 영역(②)은 제2 투사기의 광이 전방 오브젝트에 의하여 차단되므로, 제2 투사기의 광에 의한 깊이 측정이 불가능한 영역이다. 그러나, 제1 투사기의 광은 전방 오브젝트에 의하여 차단되지 아니하므로, 제1 투사기의 광에 의하여, 깊이 측정이 가능한 영역이다. 또한, 제4 영역(④)은 제1 투사기의 광이 전방 오브젝트에 의하여 차단되므로, 제1 투사기의 광에 의한 깊이 측정이 불가능한 영역이나, 제2 투사기의 광은 전방 오브젝트에 의하여 차단되지 아니하므로, 제2 투사기의 광에 의하여, 깊이 측정이 가능한 영역이다.

제3 영역(③)은 제1 투사기 및 제2 투사기의 광들이 전방 오브젝트(⑧)에 의하여 모두 차단되는 영역이므로, 깊이 측정이 불가능한 영역이다.

도 19를 참고하면, 제2 영역(②) 및 제4 영역(④)의 전부에 대하여, 깊이 측정이 가능하지는 않다. 즉 제2 영역(②)의 일부 및 제4 영역(④)의 일부에 대하여만 깊이 측정이 가능하다. 카메라의 위치를 고려할 때, 카메라의 FoV는 전방 오브젝트(⑧)에 의하여 가리어져진다. 제2 영역(②) 중 제6 영역(⑥)에 포함되는 부분이 실제로 깊이 측정이 가능한 후방 영역에 해당한다. 또한, 제4 영역(④) 중 제7 영역(⑦)에 포함되는 부분이 실제로 깊이 측정이 가능한 후방 영역에 해당한다.

하나의 투사기를 사용할 때와 비교하여, 2대의 투사기를 사용하는 경우, 그림자 효과가 감소될 것이다. 카메라의 개수와 투사기의 개수는 도 19에 개시된 내용에 한정되는 것이 아니다. 본 개시에 따른 구조적 광 깊이 측정 장치는 2이 상의 카메라들을 포함할 수 있다. 또한, 본 개시에 따른 구조적 광 깊이 측정 장치는 3 이상의 투사기들을 포함할 수 있다.

다수의 카메라들 및 다수의 투사기들을 도입함에 따라 그림자 효과를 더 감소시킬 수 있다.

도 20은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 절차 흐름도이다.

제1 투사기에 의하여 방출되는 광은 제1 패턴을 가지고, 제2 투사기에 의하여 방출되는 광은 제2 패턴을 가진다.

상기 제1 투사기 및 제2 투사기에 의하여 투사된 상기 제1 패턴 및 제2 패턴은 장면들로부터 반사된다. 이때, 상기 제1 패턴 및 제2 패턴은 하나의 중첩된 광을 구성한다. 상기 제1 패턴을 구성하는 파장과 상기 제2 패턴을 구성하는 파장은 다를 수 있다. 또한, 상기 제1 패턴의 파장과 상기 제2 패턴의 파장은 동일하거나 유사한 주파수를 가질 수 있고, 상기 제1 패턴과 제2 패턴은 그 형태, 주기, 크기 등이 다를 수 있다.

상기 반사된 제1 패턴 및 제2 패턴은 칼라 필터에 의하여 분리될 수 있다. 상기 제1 패턴과 상기 제2 패턴의 파장이 서로 상이한 경우, 칼라 필터에 의하여 파장의 주파수에 따라 분리될 수 있다. 상기 제1 패턴 및 제2 패턴은 적외선 영역의 파장일 수 있고, 가시광선 영역의 파장일 수 있으며, 다른 파장 영역의 전자기파일 수 있다.

상기 분리된 제1 패턴 및 제2 패턴은 카메라에 의하여 캡처된다. 상기 제1 패턴과 상기 제2 패턴의 분리와 캡처의 순서는 바뀔 수 있다. 상기 칼라 필터는 상기 카메라에 포함될 수 있으며, 상기 카메라에 의하여 분리된 제1 패턴과 제2 패턴을 캡처할 수 있다. 예컨대, 상기 칼라 필터는 도 11과 유사한 형태의 칼라 필터 마스크를 가질 수 있다.

상기 제1 패턴은 국소화(localizing) 과정을 거치고, 상기 제1 패턴의 특징점들을 분류한다. 분류된 상기 제1 패턴의 특징점들을 편의상 제1 특징점들이라 한다. 또한 상기 제2 패턴은 국소화(localizing) 과정을 거치고, 상기 제2 패턴의 특징점들을 분류한다. 분류된 상기 제2 패턴의 특징점들을 편의상 제2 특징점들이라 한다.

상기 제1 패턴 및 상기 제2 패턴의 특징점 분류를 조합하거나, 상기 제1 특징점들과 상기 제2 특징점들을 비교함으로써, 장면의 특징점들을 식별할 수 있다. 상기 제1 특징점들과 상기 제2 특징점들을 비교하여, 상기 장면의 특징점들에 매칭되는 깊이들을 상기 제1 특징점들의 깊이들과 상기 제2 특징점들의 깊이들에 기반하여 획득할 수 있다. 또한, 상기 제1 특징점들과 상기 제2 특징점들의 정보를 조합하여, 가상의 제3 특징점들을 생성할 수 있다.

상기 제1 특징점들의 위치들과 상기 제2 특징점들의 위치들을 이용하여 장면에 존재하는 오브젝트들의 2D 위치 및 3D 위치를 개선(refinement)할 수 있다. 상기 개선된 2D 위치 및 3D 위치를 기반으로 상기 장면에 존재하는 오브젝트들의 깊이를 측정할 수 있다.

상기 개선된 위치 및 깊이에 따른 에러 정정에 기초하여 근방의 특징점들의 위치 및 깊이를 획득할 수 있다. 단일 패턴에 의하여 발생하는 불완전한 분류 또는 부정확한 분류를 근방의 특징점들의 정보를 토대로 복구할 수 있다.

본 개시에 따른 구조적 광 깊이 카메라 시스템은 복수의 투사기들 및 하나의 광 센서(카메라)를 포함하고, 상기 복수의 투사기들은 다른 파장(칼라)를 가지는 구조적 광 패턴들을 투사할 수 있고, 상기 광 센서는 상기 복수의 투사기들로부터 방출된 광을 캡처할 수 있고, 일반 좌표 공간에 상기 방출된 광을 분리된 레이어로 분리할 수 있다. 상기 칼라는 광 패턴의 파장을 지시하는 명칭으로 사용될 수 있고, 반드시 가시 광선 영역의 색상(칼라)을 의미하는 것은 아니다.

상기 구조적 광 깊이 카메라 시스템에 있어서, 상기 패턴들은 주기적일 수 있고, 서로 다른 주기를 가질 수 있다. 상기 서로 다른 주기를 이용하여, 패턴 조합에 의하여 더 긴 주기를 획득할 수 있다. 또한, 상기 패턴들은 비주기적일 수 있다. 그러나, 투사기들이 방출하는 광 패턴들은 사전에 정하여져 있거나, 랜덤하게 정하여져 있더라도, 생성된 광 패턴의 정보를 알 수 있어야 한다. 생성된 광 패턴들의 정보에 기반하여, 역투사(unproject)할 수 있다.

상기 패턴 프레그먼트들은 고유하지 않은 패턴 프레그먼트를 포함하더라도, 상기 패턴 그레그먼트들의 조합은 상기 고유하지 않은 패턴 프레그먼들의 특정한 상호 정렬로 인하여 충분히 고유할 수 있다. 상기 패턴 프레그먼트들의 고유성 여부는 역투사 방법에 의하여, 알려진 광 패턴들을 복원할 수 있을 만큼 중첩된 패턴들이 특정되는지 여부를 의미할 수 있다.

상기 투사기들은 광 센서로부터 서로 다른 베이스-라인 거리를 가질 수 있다. 상기 투사기들은 광 센서로부터 서로 다른 베이스-라인 거리를 가질 경우, 구조적 광 깊이 카메라 시스템의 깊이 측정 범위를 넓힐 수 있다.

상기 투사기들은 광 센서로부터 서로 다른 방향에 위치할 수 있다. 상기 투사기들은 광 센서로부터 서로 다른 방향에 위치함으로써, 그림자 영역이 감소할 수 있다.

서로 다른 투사기들의 상기 프레그먼트 패턴들의 대응되는 위치들은 가중 평균하여 국소화 정확도를 높일 수 있다.

서로 다른 투사기들의 상기 프레그먼트 패턴들의 대응되는 위치들은 삼각 측량하여, 포인트 클라우드의 밀도를 증가시킬 수 있다. 또한, 보간법에 의하여 포인트 클라우드의 밀도를 증가시킬 수 있다.

본 개시에 따른 깊이 측정 장치는 상이한 파장의 광을 방출할 수 있는 복수의 구조화된 광 투사기들 및 상기 방출된 광을 포착하고, 서로 다른 패턴의 영상으로 분리할 수 있는 컬러 필터 마스크를 포함하는 광 센서를 포함할 수 있다.

한편, 도 20을 통해 제안된 깊이 측정 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록 매체에 기록될 수 있음 물론이다.

도 21는 본 개시에 따른 구조적 광 패턴(structured light pattern) 및 특징점을 나타내는 예시도이다.

도 21을 참고하면, 구조화된 광 패턴을 디코딩하기 위하여, 체스판과 같은 그리드를 이용하고, 체스판의 코너에 디코딩된 값을 저장한다. 상기 디코딩된 값은 흑백 그레이값을 가질 수 있다.

도 21을 참고하면, 체스판의 코너에 4x4 조합의 작은 사각형들이 표시되어 있고, 중앙 큰 사각형은 별도의 색상(예컨대, 빨간색, 노란색, 파란색 등)으로 나타낼 수 있다. 상기 중앙 사각형의 색상은 추가적인 특성을 지시할 수 있다. 또한, 색상은 '흑백' 또는 '흑백 그레이 스타일'일 수 있다. 상기 4x4 조합의 작은 사각형들을 인코딩 마커(encoding marker)라고 할 수 있다.

도 22는 본 개시에 따른 투사기의 광 패턴 및 특징점을 나타내는 예시도이다. 코너의 사각형의 색상은 디코딩되는 패턴을 정의할 수 있다. 예컨대, 상기 디코딩되는 패턴은 랜덤일 수 있고, 주기적이거나 비주기적일 수 있고, 생성된 것일 수 있다.

도 22를 참고하면, 광 패턴 및 특징점은 흑백 칼라로 표현할 수 있다. 상기 흑백 칼라는 광 패턴의 강도에 대응되는 것일 수 있다. 상기 코너들의 사각형은 '특징'으로서 사용될 수 있으나, 특징으로만 사용되는 것은 아니다. 또한, 체스판의 각 셀의 색상은 상기 특징에 관한 추가적인 정보를 제공할 수 있다. 예컨대, 각 셀의 색상이 흰색 또는 검은색이라면, 상기 '특징'들의 다양성은 2배가 된다. 그러나, 본 개시에 따른 3차원 깊이 측정 방법 및 장치는 상기 광 패턴들에 의하여 한정되는 것은 아니다. 어떤 형태의 구조적 광 패턴들에도 본 개시에 따른 3차원 깊이 측정 방법 및 장치가 적용될 수 있다.

도 23는 본 개시에 따른 깊이 측정 장치에 있어서, 투사기들(P1, P2) 및 카메라(C)의 상대적 위치를 나타낸다. 상기 투사기들과 상기 카메라는 스마트폰과 같은 전자 장치에 탑재될 수 있고, 도 23과 같은 배치에 따라 투사기들 및 카메라가 장착될 수 있다. 보다 다양한 투사기들 및 카메라의 위치들은 도 12를 더 참고할 수 있다.

도 24는 본 개시에 따른 카메라 칼라 필터 마스크를 나타낸다.

본 개시에 따른 깊이 측정 장치는 복수의 투사기들을 포함할 수 있다. 상기 복수의 투사기들은 서로 다른 파장들을 이용하여 광 패턴을 생성할 수 있다. 또한, 상기 복수의 투사기들은 서로 다른 패턴들을 투사할 수 있다. 예컨대, 제1 투사기는 제1 광 패턴을 투사하고, 제2 투사기는 제2 광 패턴을 투사할 수 있다. 상기 제1 광 패턴 및 상기 제2 광 패턴은 장면 프레그먼트에 반사되어 카메라에 의하여 캡처될 수 있다. 상기 장면은 3차원 공간에 존재하는 오브젝트들에 의하여 상기 제1 광 패턴 및 제2 광 패턴이 반사되는 지점을 나타낸다. 상기 장면은 프레그먼트 단위로 분할되어, 측정되고 처리될 수 있다. 즉, 상기 장면 프레그먼트는 광 패턴들을 반사하는 상기 오브젝트의 표면의 일부를 포함할 수 있다. 상기 반사된 제1 광 패턴과 상기 반사된 제2 광 패턴을 카메라가 캡처할 수 있다. 이때, 상기 반사된 제1 광 패턴과 상기 반사된 제2 광 패턴은 중첩되어 카메라에 입사될 수 있다. 상기 제1 광 패턴과 상기 제2 광 패턴은 서로 다른 협대역(narrow band)의 파장을 포함할 수 있다. 상기 중첩된 상기 제1 광 패턴과 상기 제2 광 패턴은 칼라 필터를 통과하여, 분리될 수 있다. 도 24를 참고하면, 상기 제1 광 패턴 및 상기 제2 광 패턴를 분리할 수 있는 칼라 필터 마스크의 예시를 보여주고 있다. 도 24는 예시적인 칼라 필터 마스크를 나타내는 것이며, 본 개시에 따른 3차원 깊이 측정 방법 및 장치는 도 24의 칼라 필터 마스크에 한정되는 것은 아니며, 다른 종류의 칼라 필터 마스크를 사용할 수 있다. 예컨대, 분광기를 이용하여, 중첩된 광 패턴을 2개의 광로를 따라 진행하도록 하고, 각각에 대하여 별도의 칼라 필터를 적용하는 것도 가능하다.

도 25는 본 개시에 따른 복수의 투사기들의 특징점 유형들의 조합을 설명하기 위한 예시도이다.

본 개시에 따른 깊이 측정 장치는 제1 투사기(P1), 제2 투사기(P2) 및 광 센서(C)를 포함할 수 있다. 제1 투사기(P1) 및 상기 제2 투사기(P2)는 적외선(infrared ray, IR) 투사기일 수 있다. 상기 광 센서(C)는 IR 카메라일 수 있다.

제1 투사기(P1) 850 nm의 파장의 적외선을 이용할 수 있고, 제2 투사기(P2)는 900 nm의 파장의 적외선을 이용할 수 있다. 상기 광 센서는 적외선을 감지하는 센서를 포함할 수 있다. 상기 광 센서는 체스판 같은 칼라 필터 마스크(도 11)를 포함할 수 있다.

제1 투사기(P1) 및 제2 투사기(P2)는 광 센서(C)를 기준으로 서로 반대편에 위치할 수 있다. 제1 투사기(P1)의 베이스-라인 길이와 제2 투사기(P2)의 베이스-라인 길이는 서로 다를 수 있다. 예컨대 제1 투사기(P1)의 베이스-라인 길이는 90 mm일 수 있고, 제2 투사기(P2)의 베이스-라인 길이는 30 mm일 수 있다. 다른 베이스-라인 길이들에 의하여, 보다 넓은 깊이 측정 범위가 제공될 수 있다. 제1 투사기(P1)가 제2 투사기(P2)의반대 편에 위치함으로써, 완전 그림자 영역을 감소시킬 수 있다. 상술한 수치들은 이해의 편의를 위하여 제공된 예시적인 것이며 본 개시의 범위를 제한하고자 하는 것이 아니다.

제1 투사기(P1)의 특징점 인코딩과 제2 투사기(P2)의 특징점 인코딩은 서로 다를 수 있다. 다만, 제1 투사기(P1)와 제2 투사기(P2)는 서로 다른 특징점 인코딩을 가지는 비슷한 패턴의 광을 방출할 수 있다. 상기 제1 투사기(P1)의 패턴을 제1 광 패턴이라 할 수 있고, 상기 제2 투사기(P2)의 패턴을 제2 광 패턴이라 할 수 있다. 장면(scene)의 프레그먼트의 각각의 깊이 값에 대하여, 상기 서로 다른 특징점 인코딩은 상기 제1 광 패턴과 상기 제2 광 패턴의 특징점 코드들의 고유한 조합을 생성할 수 있다. 상기 특징점 유형들의 조합과 대응되는 각 투사기의 프레임의 특징점의 위치로부터 정확한 깊이 값을 추정할 수 있다.

도 25를 참고하면, 제1 투사기(P1)에 의해 투사되는 특징점의 유형은 <a, b, c>이고, 제2 투사기(P2)에 의해 투사되는 특징점들의 유형은 <α, β, γ>이다.

카메라는 제1 투사기(P1)의 특징점과 제2 투사기(P2)의 특징점의 조합을 인식하게 되는데, 예컨대, <a, α>, <b, β>, <c, γ>를 인식하게 된다.

만약 카메라(C)에서 <a, α>를 인식하였다면, 제1 광 패턴 및 제2 광 패턴을 반사하는 오브젝트의 깊이 정보를 획득할 수 있다.

본 개시에 따른 깊이 측정 장치는 다양한 분야에 응용될 수 있다. 예컨대, 증강 현실(AR)/가상 현실(virtual reality, VR) 게임을 위한 3D 콘텐트를 캡처하기 위한 독립 실행 형(stand-alone) 깊이 카메라 장치, 3D 프린터에 사용될 수 있다. 또한, 본 개시에 따른 깊이 측정 장치는 현실적인 아바타를 제공하는 웹 카메라, 미용 동작, 모바일 장치의 깊이 카메라, AR/VR 안경을 위한 깊이 카메라, 드론 또는 로봇(예컨대, 진공 청소기 로봇)을 위한 깊이 카메라에 응용될 수 있다. 본 개시에 따른 깊이 측정 장치를 이용하여, 주변 3D 지도를 생성하고, 빠르게 갱신(update)할 수 있다.

본 개시에 따른 깊이 측정 장치는, 고품질 동작 인식(gesture recognition)을 위한 깊이 카메라, 얼굴 인식을 통한 사용자 식별을 위한 깊이 카메라, RBG 카메라와 결합하여, 사진 효과를 위한 깊이 카메라에 활용될 수 있다.

본 개시에 따른 깊이 측정 방법 및 장치에 따르면, 깊이 카메라의 깊이 범위를 증가시킬 수 있고, 특징점의 사이즈를 감소시키고, 3D 포인트들의 밀도와 3D 포린트들의 개수를 증가시킬 수 있고, 원거리 오브젝트의 3D 노이즈를 감소시킬 수 있고, 전방 오브젝트에 의한 그림자 효과를 감소시킬 수 있다.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims

제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법에 있어서,
상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과,
상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과,
오브젝트에서 반사된 상기 제1 광 패턴과 상기 오브젝트에서 반사된 상기 제2 광 패턴이 중첩된 제3 광 패턴을 상기 광 센서의 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과,
상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과,
상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과,
상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함하는 3차원 깊이 측정 방법.
제1 항에 있어서,
상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치하는 3차원 깊이 측정 방법.
제1 항에 있어서,
상기 획득된 오브젝트의 위치 근방에 존재하는 다른 오브젝트의 위치 정보에 기반하여, 상기 획득된 오브젝트의 위치의 에러를 정정하는 과정을 더 포함하는 3차원 깊이 측정 방법.
제1 항에 있어서,
상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 서로 다른 것인 3차원 깊이 측정 방법.
제4 항에 있어서,
상기 칼라 필터는,
상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장에 기초하여, 상기 제1 광 패턴과 상기 제2 광 패턴을 분리하는 것인 3차원 깊이 측정 방법.
제1 항에 있어서,
상기 제1 광 패턴과 상기 제2 광 패턴의 주기는 서로 다른 것인 3차원 깊이 측정 방법.
제1 항에 있어서,
상기 오브젝트의 위치 정보를 획득하는 과정은,
상기 제1 광 패턴의 디스패리티와 상기 제2 광 패턴의 디스패리티에 기반하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 더 포함하는 3차원 깊이 측정 방법.
제2 항에 있어서,
상기 광 센서는,
상기 제1 투사기와 제1 베이스-라인 거리만큼 떨어져 있고, 상기 제2 투사기와 제2 베이스-라인 거리만큼 떨어져 있고,
상기 제1 베이스-라인 거리와 상기 제2 베이스-라인 거리는 서로 다른 것인 3차원 깊이 측정 방법.
제2 항에 있어서,
상기 제1 투사기와 상기 제2 투사기는 상기 광 센서를 기준으로 서로 반대편에 위치하는 것을 특징으로 하는 3차원 깊이 측정 방법.
◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

제2 항에 있어서,
상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 놓여 있지 않는 3차원 깊이 측정 방법.
구조적 광 카메라를 이용한 3차원 깊이 측정 장치에 있어서,
제1 광 패턴을 투사하는 제1 투사기;
제2 광 패턴을 투사하는 제2 투사기;
상기 제1 광 패턴과 상기 제2 광 패턴을 감지하는 광 센서; 및
상기 제1 투사기, 상기 제2 투사기 및 광 센서와 연결되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
오브젝트에서 반사된 상기 제1 광 패턴과 상기 오브젝트에서 반사된 상기 제2 광 패턴이 중첩된 제3 광 패턴을 상기 광 센서의 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하고,
상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하고,
상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하고,
상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하도록 구성되는 3차원 깊이 측정 장치.
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

제11 항에 있어서,
상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치하는 3차원 깊이 측정 장치.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

제11 항에 있어서,
상기 획득된 오브젝트의 위치 근방에 존재하는 다른 오브젝트의 위치 정보에 기반하여, 상기 획득된 오브젝트의 위치 정보의 에러를 정정하는 3차원 깊이 측정 장치.
◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

제11 항에 있어서,
상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 서로 다른 것인 3차원 깊이 측정 장치.
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈

제14 항에 있어서,
상기 칼라 필터는,
상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장에 기초하여, 상기 제1 광 패턴과 상기 제2 광 패턴을 분리하는 것인 3차원 깊이 측정 장치.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

제11 항에 있어서,
상기 제1 광 패턴과 상기 제2 광 패턴의 주기는 서로 다른 것인 3차원 깊이 측정 장치.
◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

제11 항에 있어서,
상기 적어도 하나의 프로세서는,
상기 제1 광 패턴의 디스패리티와 상기 제2 광 패턴의 디스패리티에 기반하여, 상기 오브젝트의 위치 정보를 획득하도록 더 구성되는 3차원 깊이 측정 장치.
◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

제12 항에 있어서,
상기 광 센서는,
상기 제1 투사기와 제1 베이스-라인 거리만큼 떨어져 있고, 상기 제2 투사기와 제2 베이스-라인 거리만큼 떨어져 있고,
상기 제1 베이스-라인 거리와 상기 제2 베이스-라인 거리는 서로 다른 것인 3차원 깊이 측정 장치.
◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈

제12 항에 있어서,
상기 제1 투사기와 상기 제2 투사기는 상기 광 센서를 기준으로 서로 반대편에 위치하는 것을 특징으로 하는 3차원 깊이 측정 장치.
◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈

제12 항에 있어서,
상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 놓여 있지 않는 3차원 깊이 측정 장치.