KR20150145251A - 포착된 영상에 대한 깊이 데이터의 결정 - Google Patents

Abstract

밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법, 시스템, 및 하나 이상의 컴퓨터 판독 가능 저장 매체가 본 명세서에서 제공된다. 본 방법은 IR 카메라 및 회절 격자(diffraction grate)들을 포함하는 다수의 IR 레이저들을 사용하여 장면에 대한 다수의 영상들을 포착하는 것을 포함한다. 각각의 영상은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함한다. 본 방법은 또한 밀도 변조된 이진 패턴들에 담겨 있는 위상 정보에 기초하여 장면에 대한 깊이 데이터를 결정하기 위해 영상들에 대해 픽셀 기반 위상 정합을 수행하는 것을 포함한다.

Description

포착된 영상에 대한 깊이 데이터의 결정{DETERMINING DEPTH DATA FOR A CAPTURED IMAGE}

본 발명은 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법, 시스템, 및 하나 이상의 컴퓨터 판독 가능 저장 매체에 관한 것이다.

장면들의 3 차원 영상들을 생성하는 시스템들은 장면들 내의 객체들의 3 차원 형상들을 결정하기 위해 깊이 재구성 기법들에 의존한다. 일부 현재 시스템들은 포착된 영상들에 대한 깊이 데이터를 결정하기 위해 원샷 구조화된 광 기반 깊이 카메라(one-shot structured light based depth camera)들을 이용한다. 이러한 원샷 구조화된 광 시스템들은, 랜덤한 광 스폿(light spot)들을 포함하는 패턴들을 방출하고 이어서 방출된 패턴들을 포함하는 영상들을 포착하기 위해, 깊이 카메라들을 사용한다. 이어서, 기준 영상과 패턴들을 포함하는 포착된 영상들 사이의 대응관계들을 확정하는 것에 의해 깊이 데이터가 결정될 수 있다. 그렇지만, 이러한 방식으로 결정되는 깊이 데이터는 종종 결함들 및 심각한 잡음을 겪는다. 상세하게는, 광 스폿들의 위치들이 픽셀들의 블록들에 의해 식별된다. 이러한 픽셀들의 블록들은 장면들 내의 객체들의 경계 상에 투사될 때 변형될 수 있다. 이것은 영상들 사이의 대응관계들을 식별하는 것을 어렵게 만들 수 있다. 게다가, 영상들 사이의 식별된 대응관계들이, 급격한 깊이 변화의 경우에, 제한된 정확도를 가질 수 있다. 그 결과, 결정된 깊이 데이터가 랜덤한 오차들을 포함할 수 있다.

일련의 위상 천이된 사인파 패턴(phase shifted sinusoidal pattern)들을 장면 상에 투사하는 것에 의존하는 위상 천이 시스템들은 종종 앞서 기술된 원샷 구조화된 광 시스템들보다 더 높은 품질의 깊이 데이터를 제공한다. 이러한 위상 천이 시스템들은 하나의 세트의 포착된 영상들로 모든 카메라 픽셀에서의 깊이 데이터를 재구성할 수 있다. 이와 같이, 깊이 데이터가 보다 높은 공간 분해능을 가질 수 있다. 그에 부가하여, 깊이 데이터가 사인파 위상차(sinusoidal phase difference)들로부터 계산될 수 있다. 그 결과, 잡음이 억제될 수 있고, 깊이 데이터가 보다 정확할 수 있다. 그렇지만, 사인파 패턴들이 그레이 스케일(grayscale)이기 때문에, 이러한 시스템들은 깊이 데이터의 재구성을 위해 투사기(projector)들의 사용에 의존한다.

이하는 본 명세서에 기술된 몇몇 양태들에 대한 기본적인 이해를 제공하기 위해 본 실시예들의 간략화된 발명의 내용을 제공한다. 이 발명의 내용은 청구된 발명 요지의 전반적인 개요가 아니다. 이 발명의 내용은 청구된 발명 요지의 중요한 요소들을 확인하기 위한 것이 아니고 본 실시예들의 범주를 정하기 위한 것도 아니다. 이 발명의 내용의 유일한 목적은 나중에 제시되는 보다 상세한 설명에 대한 서문으로서 청구된 발명 요지의 몇몇 개념들을 간략화된 형태로 제시하는 데 있다.

일 실시예는 밀도 변조된 이진 패턴(density modulated binary pattern)들로부터 깊이를 획득하는 방법을 제공한다. 본 방법은 IR 카메라 및 회절 격자(diffraction grate)들을 포함하는 다수의 IR 레이저들을 사용하여 장면에 대한 다수의 영상들을 포착하는 것을 포함한다. 각각의 영상은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함한다. 본 방법은 또한 밀도 변조된 이진 패턴들에 담겨 있는 위상 정보에 기초하여 장면에 대한 깊이 데이터를 결정하기 위해 영상들에 대한 픽셀 기반 위상 정합을 수행하는 것을 포함한다.

다른 실시예는 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 시스템을 제공한다. 본 시스템은 다수의 IR 레이저들을 포함한다. 각각의 IR 레이저는 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 회절 격자를 통해 장면 상에 방출하도록 구성되어 있다. 본 시스템은 또한 각각의 IR 레이저에 의해 방출되는 밀도 변조된 이진 패턴에 대응하는 영상을 포착하도록 구성된 IR 카메라를 포함한다. 본 시스템은 프로세서 및, 프로세서에 의해 실행될 때, 밀도 변조된 이진 패턴들에 담겨 있는 위상 정보에 기초하여 장면에 대한 깊이 데이터를 결정하기 위해 영상들을 분석하도록 구성되어 있는 코드를 포함하는 시스템 메모리를 추가로 포함한다.

그에 부가하여, 다른 실시예는 컴퓨터 판독 가능 명령어들을 저장하기 위한 하나 이상의 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 판독 가능 명령어들은, 하나 이상의 프로세싱 디바이스들에 의해 실행될 때, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 시스템을 제공한다. 컴퓨터 판독 가능 명령어들은 장면에 대한 영상들을 획득하도록 구성된 코드를 포함한다. 영상들은 IR 카메라 및 회절 격자들을 포함하는 다수의 IR 레이저들을 사용하여 재귀적으로 포착된다. 각각의 영상은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함한다. 컴퓨터 판독 가능 명령어들은 또한 각각의 밀도 변조된 이진 패턴의 국소 특이성(local uniqueness)에 기초하여 영상들 내에서의 위상 모호성을 정정하도록 구성된 코드를 포함한다. 컴퓨터 판독 가능 명령어들은 밀도 변조된 이진 패턴들에 담겨 있는 위상 정보에 기초하여 장면에 대한 깊이 데이터를 재구성하기 위해 영상들에 대해 픽셀 기반 위상 정합을 수행하도록 구성된 코드를 추가로 포함한다.

이하의 설명 및 첨부 도면은 청구된 발명 요지의 어떤 예시적인 양태들을 상세히 기재하고 있다. 그렇지만, 이 양태들은 본 실시예들의 원리들이 이용될 수 있는 다양한 방식들 중 단지 몇 개만을 나타낸 것이고, 청구된 발명 요지가 모든 이러한 양태들 및 그의 등가물들을 포함하는 것으로 의도되어 있다. 청구된 발명 요지의 다른 장점들 및 새로운 특징들이, 도면들과 관련하여 살펴볼 때, 본 실시예들에 대한 이하의 상세한 설명으로부터 명백하게 될 것이다.

도 1은 본 명세서에 기술된 실시예들에 따른, 밀도 변조된 이진 패턴들을 사용하여 포착된 영상들에 대한 깊이 데이터를 결정하는 데 사용될 수 있는 컴퓨팅 시스템의 블록도이다.
도 2는 본 명세서에 기술된 실시예들에 따른, 영상들을 포착하는 데 사용될 수 있는 촬영 디바이스의 개략도이다.
도 3은 본 명세서에 기술된 실시예들에 따라 사용될 수 있는 밀도 변조된 이진 패턴들을 나타낸 개략도이다.
도 4는 본 명세서에 기술된 실시예들에 따른, 3 개의 IR 레이저들에 의한 밀도 변조된 이진 패턴들의 방출을 제어하기 위한 타이밍 회로들을 나타낸 그래프이다.
도 5a는 방출된 패턴을 갖는 포착된 영상을 나타낸 개략도이다.
도 5b는 블록 정합 기법을 통해 도 5a의 포착된 영상에 대한 재구성된 깊이 데이터를 포함하는 영상을 나타낸 개략도이다.
도 5c는 도 5a의 포착된 영상으로부터 생성되는 에너지 영상(energy image)을 나타낸 개략도이다.
도 5d는 본 명세서에 기술된 실시예들에 따른, 3 개의 에너지 영상들로부터 재구성될 수 있는 도 5a의 영상에 대한 깊이 데이터를 포함하는 영상을 나타낸 개략도이다.
도 6은 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법의 프로세스 흐름도이다.
도 7은 밀도 변조된 이진 패턴들을 사용하여 포착된 영상들에 대한 깊이 데이터를 결정하도록 되어 있는 코드를 저장하는 컴퓨터 판독 가능 저장 매체의 블록도이다.

앞서 논의된 바와 같이, 원샷 구조화된 광 시스템들 및 위상 천이 시스템들과 같은 구조화된 광 시스템들이 종종 포착된 영상들에 대한 깊이 데이터의 재구성을 위해 이용된다. 삼각 측량 기반 원샷 구조화된 광 시스템들은, 원샷 구조화된 광 시스템들이 포착된 영상들에 대한 깊이 데이터의 재구성을 위해 투사기들을 사용하는 것에 의존하는 것을 제외하고는, 수동 스테레오 시스템(passive stereo system)들과 유사하다. 게다가, 많은 구조화된 광 시스템들은 다수의 패턴들의 생성에 의존하고, 패턴들이 투사될 때 장면에 대한 움직임을 검출할 수 없다.

위상 천이 시스템들은 일련의 위상 천이된 사인파 패턴들을 방출한다. 패턴들에서의 줄무늬들의 개수를 증가시키는 것은 측정 정확도를 개선시킬 수 있다. 그렇지만, 패턴들의 세트들이 위상 천이 시스템들에 의해 방출될 때, 장면이 정적인 것으로 가정된다. 이 가정은 많은 실제 시나리오들에서 유효하지 않다. 게다가, 사인파 패턴들이 그레이 스케일(grayscale)이기 때문에, 위상 천이 시스템들은 또한 깊이 데이터의 재구성을 위해 투사기들의 사용에 의존한다.

따라서, 본 명세서에 기술된 실시예들은 적외선(IR) 카메라 및 회절 격자들을 포함하는 다수의 IR 레이저들을 사용하여 포착된 영상들에 대한 깊이 데이터의 결정을 제공한다. 구체적으로는, IR 레이저들은 밀도 변조된 이진 패턴들을 장면 상으로 방출하는 데 사용되고, 장면에 대한 깊이 데이터는 특정의 위상 정보에 대응하는, 밀도 변조된 이진 패턴들에서의 광 스폿들의 밀도에 기초하여 재구성된다.

본 명세서에 기술된 실시예들에 따르면, 밀도 변조된 이진 패턴들은, 단일의 포착된 영상으로부터 깊이 데이터를 재구성할 수 있는 능력을 손상시키는 일 없이, 충분한 위상 정보를 담고 있도록 설계된다. 그렇지만, 담겨진 위상 정보가 엄격히 말해서 사인파가 아니기 때문에, 위상 정보로부터 재구성된 깊이 데이터가 시스템적 오차(systematic error)를 포함할 수 있다. 따라서, 본 명세서에 기술된 실시예들에 따르면, 픽셀 기반 위상 정합 기법이 깊이 데이터에서의 오차를 감소시키기 위해 사용된다.

예비적 사항으로서, 도면들 중 일부는 개념들을 하나 이상의 구조적 구성요소들(기능부, 모듈, 특징부, 요소 등으로 다양하게 지칭됨)과 관련하여 기술한다. 도면들에 도시된 다양한 구성요소들은 소프트웨어, 하드웨어(예컨대, 개별 논리 구성요소들), 펌웨어 등, 또는 이들의 임의의 조합 등을 통해 임의의 방식으로 구현될 수 있다. 일부 실시예들에서, 다양한 구성요소들은 실제 구현에서 대응하는 구성요소들을 사용하는 것을 반영할 수 있다. 다른 실시예들에서, 도면들에 예시되어 있는 임의의 단일 구성요소가 복수의 실제 구성요소들에 의해 구현될 수 있다. 도면들에서 임의의 2 개 이상의 개별 구성요소들이 도시되어 있는 것은 단일의 실제 구성요소에 의해 수행되는 상이한 기능들을 반영할 수 있다. 이하에서 논의되는 도 1은 도면들에 도시된 기능들을 구현하기 위해 사용될 수 있는 하나의 시스템에 관한 상세들을 제공한다.

다른 도면들은 개념들을 플로우차트 형태로 기술하고 있다. 이러한 형태에서, 특정 동작들은 특정 순서로 수행되는 별개의 블록들을 구성하는 것으로 기술되어 있다. 이러한 구현들은 예시적이며 제한하는 것이 아니다. 본 명세서에 기술된 특정 블록들이 서로 그룹화되어 단일의 동작에서 수행될 수 있고, 특정 블록들이 복수의 구성요소 블록들로 분해될 수 있으며, 특정 블록들이 본 명세서에 예시되어 있는 것과 상이한 순서(블록들을 병렬로 수행하는 방식을 포함함)로 수행될 수 있다. 플로우차트들에 도시된 블록들은 소프트웨어, 하드웨어, 펌웨어, 수동 프로세싱 등에 의해 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 하드웨어는 컴퓨터 시스템, ASIC(application specific integrated circuit)과 같은 개별 논리 구성요소들 등을 포함할 수 있다.

용어에 관해서, "~하도록 구성된(configured to)” 및 “~하도록 되어 있는(adapted to)”이라는 문구는 임의의 종류의 기능부가 식별된 동작을 수행하도록 구성될 수 있는 임의의 방식을 포괄한다. 기능부는, 예를 들어, 소프트웨어, 하드웨어, 펌웨어 등을 사용하여 동작을 수행하도록 구성될 수 있다(또는 수행하도록 되어 있을 수 있다).

"논리(logic)"라는 용어는 작업을 수행하기 위한 임의의 기능부를 포괄한다. 예를 들어, 플로우차트들에 예시되어 있는 각각의 동작은 그 동작을 수행하기 위한 논리에 대응한다. 동작은, 예를 들어, 소프트웨어, 하드웨어, 펌웨어 등을 사용하여 수행될 수 있다.

본 명세서에서 사용되는 바와 같이, "구성요소", "시스템” 등과 같은 용어들은 컴퓨터 관련 엔터티[하드웨어, 소프트웨어(예컨대, 실행 중인 소프트웨어), 또는 펌웨어, 또는 이들의 임의의 조합]를 지칭하는 것으로 의도되어 있다. 예를 들어, 구성요소는 프로세서 상에서 실행되는 프로세스, 객체, 실행 파일, 프로그램, 함수, 라이브러리, 서브루틴, 컴퓨터, 또는 소프트웨어와 하드웨어의 조합일 수 있다.

예시로서, 서버 상에서 실행 중인 애플리케이션 및 서버 둘 다가 구성요소일 수 있다. 하나 이상의 구성요소들이 프로세스 내에 존재할 수 있고, 구성요소가 하나의 컴퓨터 상에 로컬화되어 있을 수 있고 그리고/또는 2 개 이상의 컴퓨터들 간에 분산되어 있을 수 있다. “프로세서”라는 용어는 일반적으로 컴퓨터 시스템의 프로세싱 유닛과 같은 하드웨어 구성요소를 지칭하는 것으로 이해된다.

게다가, 청구된 발명 요지가 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 생성하는 표준 프로그래밍 및/또는 엔지니어링 기법들을 사용하여 컴퓨터를 제어해 개시된 발명 요지를 구현하는 방법, 장치, 또는 제조 물품으로서 구현될 수 있다. 본 명세서에서 사용되는 "제조 물품"이라는 용어는 임의의 컴퓨터 판독 가능 저장 디바이스 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 포괄하는 것으로 의도되어 있다.

컴퓨터 판독 가능 저장 매체는 자기 저장 디바이스(예컨대, 그 중에서도 특히, 하드 디스크, 플로피 디스크, 자기 스트립), 광 디스크[예컨대, 그 중에서도 특히, CD(compact disk), DVD(digital versatile disk)], 스마트 카드, 그리고 플래시 메모리 디바이스들(예컨대, 그 중에서도 특히, 카드, 스틱, 및 키 드라이브)을 포함할 수 있지만, 이들로 제한되지 않는다. 이와 달리, 컴퓨터 판독 가능 매체(즉, 저장 매체가 아님)는 일반적으로, 그에 부가하여, 무선 신호들 등에 대한 전송 매체와 같은 통신 매체를 포함할 수 있다.

도 1은 본 명세서에 기술된 실시예들에 따른, 밀도 변조된 이진 패턴들을 사용하여 포착된 영상들에 대한 깊이 데이터를 결정하는 데 사용될 수 있는 컴퓨팅 시스템(100)의 블록도이다. 컴퓨팅 시스템(100)은 저장된 명령어들을 실행하도록 되어 있는 프로세서(102)[예컨대, CPU(central processing unit)]는 물론, 프로세서(102)에 의해 실행 가능한 명령어들을 저장하는 메모리 디바이스(104)를 포함할 수 있다. 이러한 명령어들은 포착된 영상들에 대한 깊이 데이터를 재구성하는 방법을 구현하는 데 사용될 수 있다. 프로세서(102)는 단일 코어 프로세서(single core processor), 다중 코어 프로세서(multi-core processor), 컴퓨팅 클러스터(computing cluster), 또는 임의의 수의 다른 구성들일 수 있다. 메모리 디바이스(104)는 RAM(random access memory), ROM(read only memory), 플래시 메모리, 또는 임의의 다른 적당한 메모리 시스템들을 포함할 수 있다.

프로세서(102)는 깊이 재구성 모듈(110) 및 컴퓨팅 시스템(100)에 의해 생성된 깊이 데이터(112)를 저장하도록 되어 있는 저장 디바이스(108)에 버스(106)를 통해 연결될 수 있다. 저장 디바이스(108)는 하드 드라이브, 광 드라이브, 썸 드라이브(thumbdrive), 드라이브들의 어레이, 또는 이들의 임의의 조합을 포함할 수 있다. 네트워크 인터페이스 제어기(114)는 프로세서(102)를 버스(106)를 통해 네트워크(116)에 연결시키도록 되어 있을 수 있다. 네트워크(116)를 통해, 전자 텍스트 및 영상 입력 문서들(118)이 다운로드되어 컴퓨터의 저장 시스템(108) 내에 저장될 수 있다. 그에 부가하여, 컴퓨팅 시스템(100)은 깊이 데이터(112)를 네트워크(116)를 통해 전송할 수 있다.

프로세서(102)는 시스템(100)을 디스플레이 디바이스(122)에 연결시키도록 되어 있는 디스플레이 인터페이스(120)에 버스(106)를 통해 연결될 수 있다. 디스플레이 디바이스(122)는, 그 중에서도 특히, 컴퓨터 모니터, 카메라, 텔레비전, 프로젝터, 가상 현실 디스플레이, 3 차원(3D) 디스플레이, 또는 모바일 디바이스를 포함할 수 있다. 컴퓨팅 시스템(100) 내의 인간 기계 인터페이스(124)는 프로세서(102)를 키보드(126) 및 포인팅 디바이스(128)에 연결시킬 수 있다. 포인팅 디바이스(128)는, 그 중에서도 특히, 마우스, 트랙볼, 터치패드, 조이 스틱, 포인팅 스틱(pointing stick), 스타일러스, 또는 터치스크린을 포함할 수 있다.

프로세서(102)는 또한 컴퓨팅 시스템(100)을 임의의 수의 부가 입출력 디바이스들(122)에 연결시키도록 되어 있는 입출력 인터페이스(130)에 버스(106)를 통해 연결될 수 있다. 상세하게는, 본 명세서에 기술된 실시예들에 따르면, 입출력 인터페이스(130)는 컴퓨팅 시스템(100)을 IR 카메라(132) 및 다수의 IR 레이저들(134)에 연결시킬 수 있다. 예를 들어, 입출력 인터페이스(130)는 컴퓨팅 시스템(100)을 3 개의 IR 레이저들(134)에 연결시킬 수 있다. 각각의 IR 레이저(134)는 또한 특이한 이진 패턴의 생성을 제공하는 연관된 회절 격자를 포함할 수 있다.

일부 실시예들에서, IR 카메라(132) 및 IR 레이저들(134)이 단일의 촬영 디바이스(136) 내에 포함될 수 있다. 촬영 디바이스(136)는 3D 카메라, 게임 시스템, 컴퓨터 등일 수 있다. 다른 실시예들에서, IR 레이저들(134)의 전부 또는 일부분이 IR 카메라(132)를 포함하는 촬영 디바이스에 외부에서 연결될 수 있다. 게다가, 일부 실시예들에서, 컴퓨팅 시스템(100) 자체가 촬영 디바이스일 수 있다. 이러한 실시예들에서, IR 카메라(132) 및 IR 레이저들(134)은, 외부에서 입출력 인터페이스(130)를 통해 컴퓨팅 시스템(100)에 연결되기보다는, 컴퓨팅 시스템(100) 내에 존재할 수 있다.

게다가, 컴퓨팅 시스템(100)은 GPU(graphics processing unit)(138)를 포함할 수 있다. GPU(138)는 프로세서(102), 메모리 디바이스(104), 저장 디바이스(108), 입출력 인터페이스(130), 및 컴퓨팅 시스템(100)의 임의의 수의 다른 구성요소들에 버스(106)를 통해 연결될 수 있다. 다양한 실시예들에서, GPU(138)는, 프로세서(102)와 함께 또는 프로세서(102)와 독립적으로, 메모리 디바이스(104)에 저장된 명령어들과 같은 명령어들을 실행하도록 되어 있다. 예를 들어, GPU(138)는 포착된 영상들에 대한 깊이 데이터를 재구성하는 방법을 구현하기 위해 사용되는 명령어들의 전부 또는 일부분을 실행할 수 있다. 예를 들어, 일부 실시예들에서, 포착된 영상들에 대한 깊이 데이터의 재구성을 위해 프로세서(102) 및 GPU(138)가 병렬로 사용될 수 있다. 이러한 실시예들에서, 깊이 데이터가 약 20 fps(frames per second)의 레이트로 재구성될 수 있다.

도 1의 블록도는 컴퓨팅 시스템(100)이 도 1에 도시된 구성요소들 전부를 포함해야 하는 것을 나타내는 것으로 의도되어 있지 않다. 게다가, 컴퓨팅 시스템(100)은, 구체적인 구현의 상세들에 따라, 도 1에 도시되지 않은 임의의 수의 부가 구성요소들을 포함할 수 있다.

도 2는 본 명세서에 기술된 실시예들에 따른, 영상들을 포착하는 데 사용될 수 있는 촬영 디바이스(200)의 개략도이다. 일부 실시예들에서, 촬영 디바이스(200)는 도 1의 컴퓨팅 시스템(100)과 관련하여 기술된 촬영 디바이스(136)와 같은, 외부에서 컴퓨팅 시스템에 연결되는 디바이스이다. 다른 실시예들에서, 촬영 디바이스(200)는 도 1의 컴퓨팅 시스템(100)과 같은 컴퓨팅 시스템 내에 직접 포함되어 있다.

촬영 디바이스(200)는 IR 카메라(202) 및 다수의 IR 레이저들(204)을 포함할 수 있다. 예를 들어, 다양한 실시예들에서, 촬영 디바이스(200)는 IR 레이저들(204)을 포함한다. 각각의 IR 레이저(204)는 회절 격자(206)를 포함할 수 있다. 회절 격자들(206)은 각각의 IR 레이저(204)가 특이한 밀도 변조된 이진 패턴을 방출하게 할 수 있다. 게다가, 촬영 디바이스(200)는 IR 카메라(202) 및 IR 레이저들(204)의 기능을 제어하기 위한 동기화된 회로를 포함할 수 있다.

도 2에 도시된 실시예에서, IR 카메라(202)는 중앙 IR 레이저(204)와 수직으로 정렬되어 있다. 그렇지만, 촬영 디바이스(200)가 도 2에 도시된 구성으로 제한되지 않는다는 것을 잘 알 것이다. 예를 들어, 일부 실시예들에서, IR 카메라(202)가 외측 IR 레이저들(204) 중 하나와 일직선으로 그의 바로 옆에 나란히 위치될 수 있다.

다양한 실시예들에서, 촬영 디바이스(200)는 장면(208)의 영상들을 포착하기 위해 사용될 수 있다. 그에 부가하여, 촬영 디바이스(200)는 장면(208) 내의 하나 이상의 객체들(210)에 대한 깊이 데이터를 결정함으로써, 장면(208)의 3D 영상의 구성을 제공하기 위해 사용될 수 있다. 구체적으로는, IR 레이저들(204)은 3 개의 특이한 밀도 변조된 이진 패턴들을 장면(208) 상으로 재귀적으로 방출하는 데 사용될 수 있고, IR 카메라(202)는 각각의 밀도 변조된 이진 패턴에 대응하는 하나의 영상을 포착할 수 있다. 환언하면, 제1 IR 레이저(204)가 활성화될 수 있고, 제1 IR 카메라(202)가 그의 특이한 밀도 변조된 이진 패턴을 장면(208) 상으로 방출할 때, IR 카메라(202)는 장면(208)의 영상을 포착할 수 있다. 제1 IR 레이저(204)가 이어서 비활성화될 수 있고, 제2 및 제3 IR 레이저들(204)에 대해 이 프로세스가 반복될 수 있다. 이하에서 더 논의되는 바와 같이, 장면(208)에서의 하나 이상의 객체들(201)에 대한 깊이 데이터를 결정하기 위해, 포착된 영상들이 이어서 분석될 수 있다.

도 2의 블록도는 촬영 디바이스(200)가 도 2에 도시된 구성요소들 전부를 포함해야 하는 것을 나타내는 것으로 의도되어 있지 않다. 게다가, 촬영 디바이스(200)는, 구체적인 구현의 상세들에 따라, 도 2에 도시되지 않은 임의의 수의 부가 구성요소들을 포함할 수 있다.

도 3은 본 명세서에 기술된 실시예들에 따라 사용될 수 있는 밀도 변조된 이진 패턴들(300A 내지 300C)을 나타낸 개략도이다. 다양한 실시예들에서, 각각의 밀도 변조된 이진 패턴(300A 내지 300C)이 위상 정보를 담고 있도록 각각의 밀도 변조된 이진 패턴(300A 내지 300C)에 대한 광 스폿들의 밀도가 변조될 수 있다. 패턴은 P(r, c)로서 정의될 수 있고, 여기서 행 r = 0, . . . , R-1이고 열 c = 0, . . . , C-1이다. Microsoft Corporation의 Kinect™ 시스템과 같은 일부 기존의 시스템들에서, 광 스폿들은 P(r, c)로 랜덤하게 그리고 균일하게 분포되어 있다. 그렇지만, 본 명세서에 기술된 실시예들에 따르면, 밀도 변조된 이진 패턴들(300A 내지 300C)의 상이한 행들에서의 광 스폿들의 개수들은, 이하에서 수학식 1에 나타낸 바와 같이, 사인파 함수에 따라 결정된다.

수학식 1에서, Round( )는 부동 소수점 숫자(floating number)를 정수로 반올림하기 위한 함수이다. 항 r은 행 인덱스이다. 항 T는 하나의 사인파 주기 내의 행들의 개수이다. 항 α는 k(r)을 1부터 K까지의 정수로서 제어하는 스케일링 인자이다. 3 개의 밀도 변조된 패턴들(300A 내지 300C)은, 각각, θ를 -2π/3, 0, 또는 +2π/3로 설정하는 것에 의해 생성될 수 있다.

다양한 실시예들에서, 동일한 행에 있는 모든 픽셀들이 동일한 강도(intensity)를 가지도록 픽셀들이 결정될 수 있다. 이것은 1 x N 픽셀들이 패턴 생성에 대한 기본 단위로서 정의되는 패턴 생성 기법을 사용하여 달성될 수 있다. 항 N은 최대 k(r)보다 더 크다. 광 스폿들의 위치들이 기본 단위에서는 랜덤하지만, 동일한 행에 있는 모든 기본 단위들에 대해서는 동일하다. 이것은 동일한 행에 위치된 모든 슬라이드 창(slide window)이 동일한 평균 강도를 갖도록 보장한다. 그에 부가하여, 상이한 행들에서 광 스폿들의 개수 및 그의 위치들이 상이하기 때문에, 모든 블록에서의 광 스폿들의 위치들이 여전히 특이하다. 그러면, 패턴 생성 기법이 하기의 의사 코드에 따라 규정될 수 있다.

Require: 하나의 주기 내의 행들의 개수는 T이고, 스케일링 인자는 α이며, 초기 위상은 θ이다.

for r = 1, ..., R do

수학식 1에 따라 k(r)을 계산한다.

행을 M 개의 비중첩 기본 단위들로 분리시킨다.

for m = 1, ..., M do

N까지 k(r) 개의 위치들을 랜덤하게 선택한다. 선택된 위치들에 있는 픽셀들이 광 스폿들이다.

end for

end for

다양한 실시예들에서, 스케일링 인자 α는 항 N 및 k(r)의 범위에 기초하여 결정될 수 있고, 여기서 N은 경험적 파라미터이다. N의 값이 클수록, k(r)이 더 많은 수의 상이한 값들을 가질 수 있다. N의 값이 너무 큰 경우[예컨대, k(r)이 작은 정수일 때] 밀도 k(r)/N이 너무 작아 대응관계들을 확정하지 못할 것이다. 이와 같이, 일부 실시예들에서, N은 8의 값으로 설정될 수 있다. N의 값이 결정될 때, 하나의 주기에 보다 많은 밀도들을 갖기 위해 k(r)의 최대 값이 5 정도로 선택될 수 있다. N = 8 및 k(r) ∈ {1, ..., 5}를 갖는 패턴들을 생성하기 위해 몇 가지 상이한 접근법들이 사용될 수 있다. 예를 들어, 하나 걸러 있는 행이 수학식 1에 의해 계산된 개수의 광 스폿들을 포함하고 나머지 행들이 흑색인 패턴이 사용될 수 있다.

주기 T의 값이 작을수록, 깊이 측정이 더 정확할 것이다. 그렇지만, 본 명세서에 기술된 실시예들에 따르면, T가 또한 최소 허용 가능 값을 가질 수 있다. N = 8 및 k(r) ∈ {1, ..., 5}에 대해, T가 32보다 작은 경우, 반올림 오차로 인해 모든 밀도 k(r)이 다 나타나지는 않는다. 환언하면, k(r)의 범위가 전체적으로 사용되지는 않는다. 따라서, 일부 실시예들에서, 주기 T가 32로 설정될 수 있다.

어떤 경우들에서, 생성된 밀도 변조된 이진 패턴들(300A 내지 300C)의 밀도들이 사인파 프린지(sinusoidal fringe)를 잘 근사화할 수 있는지를 평가하는 것이 바람직할 수 있다. 이 근사화는 N x N 슬라이드 창에서의 평균 에너지에 의해 완료된다. 간단함을 위해, 이하에서 수학식 2에 나타낸 바와 같이, 신호 k(r)이 연속적인 경우가 생각될 수 있다.

수학식 1이 수학식 2에 대입되고, 반올림 및 상수 항이 무시되면, 수학식 2는 이하에서 수학식 3에 나타낸 바와 같이 고쳐 써질 수 있다.

수학식 3에서, 항 β 및 항

는 상수이다.

따라서, 제안된 밀도 변조된 이진 패턴들(300A 내지 300C)에서의 에너지 E는 수학적으로 사인파 함수이다. 그렇지만, 제안된 밀도 변조된 이진 패턴들(300A 내지 300C)이 이진이기 때문에, 수학식 1에서의 k(r)은 정수로 반올림되어야만 한다. 사인파 프린지를 근사화할 때, 이러한 반올림은 근사화에서 명백한 단계적 오차(stair-wise error)들을 야기할 수 있다. 이 오차들이 깊이 데이터의 재구성 동안 주의하여 처리되지 않으면, 재구성된 깊이 데이터에 시스템적 오차가 유입될 것이다.

도 4는 본 명세서에 기술된 실시예들에 따른, 3 개의 IR 레이저들에 의한 밀도 변조된 이진 패턴들의 방출을 제어하기 위한 타이밍 회로들(402A 내지 402C)을 나타낸 그래프(400)이다. 그래프(400)의 x 축(404)은 시간을 나타낼 수 있다. 그래프의 y 축(406)은 3 개의 IR 레이저들에 의한 밀도 변조된 이진 패턴들의 방출을 제어하기 위한 타이밍 회로들(402A 내지 402C)은 물론, IR 카메라에 대한 영상 포착 타이밍 회로(408)를 나타낼 수 있다.

도 4에 도시된 바와 같이, 각각의 IR 레이저는 그 각자의 밀도 변조된 이진 패턴을 방출하기 위한 상이한 타이밍 회로(402A 내지 402C)를 포함한다. 따라서, 밀도 변조된 이진 패턴들이 3 개의 적외선 레이저들에 의해 재귀적으로 방출될 수 있다. IR 카메라는, IR 카메라에 대한 영상 포착 타이밍 회로(408)로 나타낸 바와 같이, 각각의 밀도 변조된 이진 패턴이 IR 레이저들 중 하나에 의해 방출될 때 그를 포착하는 데 사용될 수 있다.

도 5a는 방출된 패턴을 갖는 포착된 영상(500)을 나타낸 개략도이다. 모든 작은 블록에서의 광 스폿들의 위치들이 여전히 특이하기 때문에, 기준 영상

와 포착된 영상

사이의 모든 픽셀의 차이(disparity)를 결정하기 위해 블록 정합 기법이 사용될 수 있다. 기준 영상

는 기지의 거리를 갖는 수직 평면에서의 포착된 영상이다. 블록에 걸친 ZNCC(zero-normalized cross-correlation)가 측정치로서 사용될 수 있다.

에서의 차이는 이하에서 수학식 4에 나타낸 바와 같이 계산될 수 있다.

수학식 4에서,

이고

이다. 항

및 항

는, 각각,

및

의 평균 강도들이다. 항

는 최대 ZNCC를 갖는 행 및 열 차이이다. 모든 픽셀이 ZNCC를 계산하기 위한 다수의 중첩 블록들에 속하고, 따라서, 수학식 4에 의해 계산되는 다수의 차이들을 가진다. 픽셀의 차이는 가장 큰 ZNCC를 갖는 블록에 의해 결정될 수 있다.

도 5b는 블록 정합 기법을 통해 도 5a의 포착된 영상(500)에 대한 재구성된 깊이 데이터를 포함하는 영상(502)을 나타낸 개략도이다. 도 5b의 영상(502)에 따라, 깊이 데이터가 앞서 기술된 블록 정합 기법을 사용하여 재구성된다. 영상(502)의 매끄러운 표면에서의 불연속이 도 5b로부터 명확히 관찰될 수 있다. 모든 포착된 영상에 대해, 수학식 2의 이산 버전(discrete version)을 사용하여 에너지 영상이 계산될 수 있다.

도 5c는 도 5a의 포착된 영상(500)으로부터 생성되는 에너지 영상(504)을 나타낸 개략도이다. 기준 영상 및 포착된 영상들의 에너지 영상들이, 각각,

및

로서 정의될 수 있고, 여기서 항 i는 상이한 θ를 나타낸다. 3 개의 에너지 영상들이 이하에서 수학식 5에 나타낸 관계를 가질 수 있다.

수학식 5에서, 항

는 배경 강도이고; 항

는 사인파 진폭이며; 항

는 구해질 위상 영상이다. 그에 부가하여, 항

는 작은 영역에서의 평균 강도이다. 위상

는 수학식 6을 푸는 것에 의해 획득될 수 있다.

전형적인 위상 천이 시스템들의 경우, 깊이 데이터가

로부터 직접 계산될 수 있다. 그렇지만, 본 명세서에 기술된 실시예들에 따라 사용되는 패턴이 사인파 위상을 근사화하는 것에 대한 단계적 오차를 포함하기 때문에, 깊이 데이터가

로부터 직접 계산될 수 없다. 그 대신에, 깊이 데이터를 계산하기 위해 픽셀 기반 위상 정합 기법이 사용될 수 있다. 먼저,

가 기준 에너지 영상들

로부터 계산될 수 있다. 모든 위상

에 대해, 하나의 주기 내에서 가장 정합된

가 결정될 수 있다. 하나의 주기에서의 차이

가 이어서 수학식 7에 따라 계산될 수 있다.

수학식 7에서, Δr은 정수 행 차이(integer row disparity)이다. 수학식 7의 다른 항은 선형 보간에 의한 분수 행 차이(fractional row disparity)이다.

모호성 문제가 또한 해결될 수 있다. 포착된 영상들에 M 개의 주기들이 있는 경우, 차이

를 갖는 주기가 식별될 수 있다. 광 스폿들의 위치들이 모든 주기에 대해 상이하기 때문에, 차이

를 갖는 주기를 식별하는 것은 비교적 쉬울 수 있다. m = 1, ..., M에 대한 ZNCC 값들이 결정될 수 있고, 가장 큰 ZNCC를 갖는 주기 m이 선택될 수 있다. 마지막으로, 수학식 8에 따라 차이가 재구성될 수 있다.

수학식 8에서, 항 L은 포착된 영상들에서의 하나의 주기 내의 행들의 개수이다.

도 5d는 본 명세서에 기술된 실시예들에 따른, 3 개의 에너지 영상들로부터 재구성될 수 있는 도 5a의 영상(500)에 대한 깊이 데이터를 포함하는 영상(506)을 나타낸 개략도이다. 구체적으로는, 앞서 기술된 픽셀 기반 위상 정합 기법을 사용하여 깊이 데이터가 재구성될 수 있다.

장면에서의 객체들에 대한 깊이 데이터를 재구성하기 위해 매립된 위상(embedded phase)을 사용하는 것이 고품질 결과들을 생성할 수 있지만, 이 기법은 적어도 3 개의 포착된 영상들을 이용하고, 장면에서의 움직이는 객체들을 처리할 수 없다. 이와 달리, 깊이 데이터를 재구성하는 블록 정합 기법은 하나의 포착된 영상만을 이용하고 장면에서의 움직이는 객체들을 처리할 수 있다. 따라서, 본 명세서에 기술된 실시예들에 따르면, 움직이는 객체들을 갖는 장면에 대한 깊이 데이터를 결정하기 위해 블록 정합 기법이 사용될 수 있다.

블록 정합 기법에 따르면, 깊이 데이터

및

가 장면에서 검출된 움직임에 따라 적분될 수 있다. 장면에 임의의 움직임이 있는지를 검출하기 위해 강도의 변화들이 사용될 수 있다. 현재의 포착된 영상이 이전의 세 번째 영상과 비교될 수 있는데, 왜냐하면 그들의 패턴들이 동일하기 때문이다. 영역에서의 평균 강도 변화가 임계치보다 큰 경우, 영역이 움직이는 것으로 표시될 수 있다. 움직이는 영역들에서는 깊이 데이터

가 이어서 채택될 수 있는 반면, 정지한 영역들에서는 깊이 데이터

가 채택될 수 있다.

도 6은 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법(600)의 프로세스 흐름도이다. 방법(600)은 도 1 및 도 2와 관련하여, 각각, 논의된 컴퓨팅 시스템(100) 및/또는 촬영 디바이스(200)에 의해 구현될 수 있다. 본 방법(600)은 IR 카메라 및 회절 격자들을 포함하는 다수의 IR 레이저들을 사용하여 장면에 대한 다수의 영상들이 포착되는 블록(602)에서 시작된다. 각각의 영상은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함한다.

다양한 실시예들에서, 3 개의 영상들은 IR 카메라 및 회절 격자들을 포함하는 3 개의 IR 레이저들을 사용하여 포착된다. 그렇지만, 본 명세서에 기술된 실시예들에 따라 임의의 적당한 수의 IR 레이저들을 사용하여 임의의 적당한 수의 영상들이 포착될 수 있다는 것을 잘 알 것이다.

블록(604)에서, 이진 패턴들에 담겨 있는 위상 정보에 기초하여 장면에 대한 깊이 데이터를 결정하기 위해 영상들에 대해 픽셀 기반 위상 정합이 수행된다. 이것은 이진 패턴들로부터 위상 정보를 추출하는 것 및 이진 패턴들에 대한 위상 정보의 조합에 기초하여 장면에 대한 깊이 데이터를 재구성하는 것에 의해 달성될 수 있다. 그에 부가하여, 다양한 실시예들에서, 영상들에 대해 픽셀 기반 위상 정합을 수행하기 전에 영상들 내에서의 위상 모호성이 정정된다. 각각의 이진 패턴의 국소 특이성에 기초하여 위상 모호성이 정정될 수 있다.

일부 실시예들에서, 장면은 하나 이상의 움직이는 객체들을 포함한다. 이러한 실시예들에서, 하나 이상의 움직이는 객체들을 포함하는 장면의 부분(들)에 대한 깊이 데이터를 결정하기 위해 블록 정합이 수행된다.

다양한 실시예들에서, 장면에 대한 절대 깊이를 결정하기 위해 깊이 데이터가 사용된다. 그에 부가하여, 장면의 3 차원 영상(또는 비디오)을 생성하기 위해 깊이 데이터가 사용될 수 있다.

도 6의 프로세스 흐름도는 방법(600)의 블록들이 임의의 특정의 순서로 실행되어야 하는 것 또는 블록들 모두가 모든 경우에 포함되어야 하는 것을 나타내는 것으로 의도되어 있지 않다. 게다가, 구체적인 구현의 상세들에 따라, 도 6에 도시되지 않은 임의의 수의 부가 블록들이 방법(600) 내에 포함될 수 있다.

방법(600)이 각종의 애플리케이션들에 대해 사용될 수 있다. 일부 실시예들에서, 방법(600)은 게임 애플리케이션들에 대한 3D 영상들(또는 비디오들)을 제공하는 데 사용될 수 있다. 예를 들어, 방법(600)은 Microsoft Corporation의 Kinect™ 시스템 내에서 구현될 수 있다. 그에 부가하여, 일부 실시예들에서, 방법(600)은 텔레프레즌스(telepresence) 애플리케이션들 또는 다른 가상 현실 애플리케이션들에 대한 3D 영상들(또는 비디오들)을 제공하는 데 사용될 수 있다.

도 7은 밀도 변조된 이진 패턴들을 사용하여 포착된 영상들에 대한 깊이 데이터를 결정하도록 되어 있는 코드를 저장하는 컴퓨터 판독 가능 저장 매체(700)의 블록도이다. 컴퓨터 판독 가능 저장 매체(700)는 컴퓨터 버스(704)를 통해 프로세서(702)에 의해 액세스될 수 있다. 게다가, 컴퓨터 판독 가능 저장 매체(700)는 본 방법의 단계들을 수행하라고 프로세서(702)에 지시하도록 구성된 코드를 포함할 수 있다.

본 명세서에서 논의된 다양한 소프트웨어 구성요소들이 도 7에 나타낸 컴퓨터 판독 가능 저장 매체(700) 상에 저장될 수 있다. 예를 들어, 영상 포착 모듈(706)은 IR 카메라 및 회절 격자들을 포함하는 다수의 IR 레이저들을 사용하여 장면의 영상들을 포착하도록 되어 있을 수 있다. 그에 부가하여, 깊이 재구성 모듈(708)은 영상들 내의 이진 패턴들에 기초하여 포착된 영상들에 대한 깊이 데이터를 재구성하도록 되어 있을 수 있다.

도 7의 블록도는 컴퓨터 판독 가능 저장 매체(700)가 도 7에 도시된 구성요소들 전부를 포함해야 하는 것을 나타내는 것으로 의도되어 있지 않다. 게다가, 컴퓨터 판독 가능 저장 매체(700)는, 구체적인 구현의 상세들에 따라, 도 7에 도시되지 않은 임의의 수의 부가 구성요소들을 포함할 수 있다.

발명 요지가 구조적 특징들 및/또는 방법 동작들과 관련하여 기술되어 있지만, 첨부된 청구범위에 한정된 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 꼭 제한되는 것은 아님을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시되어 있다.

Claims (10)

1. 밀도 변조된 이진 패턴(density modulated binary pattern)들로부터 깊이를 획득하는 방법에 있어서,
   IR 카메라 및 회절 격자(diffraction grate)들을 포함하는 복수의 IR 레이저들을 사용하여 장면에 대한 복수의 영상들 - 상기 복수의 영상들 각각은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함함 - 을 포착하는 단계; 및
   상기 밀도 변조된 이진 패턴들에 담겨 있는 상기 위상 정보에 기초하여 상기 장면에 대한 깊이 데이터를 결정하기 위해 상기 복수의 영상들에 대해 픽셀 기반 위상 정합(pixel based phase matching)을 수행하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
2. 제1항에 있어서, 상기 복수의 영상들에 대해 픽셀 기반 위상 정합을 수행하는 단계는,
   상기 복수의 영상들 각각에 대한 상기 밀도 변조된 이진 패턴으로부터 상기 위상 정보를 추출하는 단계; 및
   상기 복수의 영상들 모두에 대해 상기 밀도 변조된 이진 패턴들에 대한 상기 위상 정보의 조합에 기초하여 상기 장면에 대한 상기 깊이 데이터를 재구성하는 단계를 포함하는 것인, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
3. 제1항에 있어서, 상기 깊이 데이터에 기초하여 상기 장면에 대한 절대 깊이(absolute depth)를 결정하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
4. 제1항에 있어서, 상기 깊이 데이터에 기초하여 상기 장면에 대한 3 차원 영상을 생성하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
5. 제1항에 있어서, 상기 복수의 영상들을 포착하는 단계는, IR 카메라 및 회절 격자들을 포함하는 3 개의 IR 레이저들을 사용하여 3 개의 영상들을 포착하는 단계를 포함하는 것인, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
6. 제1항에 있어서, 상기 복수의 영상들 각각 내에서의 위상 모호성을 정정하기 위해 각각의 밀도 변조된 이진 패턴의 국소 특이성(local uniqueness)을 사용하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
7. 제1항에 있어서, 움직이는 객체를 포함하는 상기 장면의 일부분에 대한 깊이 데이터를 결정하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
8. 제1항에 있어서, 상기 복수의 영상들 각각에서의 광 스폿(light spot)들의 밀도에 기초하여 상기 밀도 변조된 이진 패턴들에 대한 상기 위상 정보를 결정하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
9. 제1항에 있어서, 게임 애플리케이션 또는 가상 현실 애플리케이션에 대해 상기 깊이 데이터를 사용하는 단계를 포함하는, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 방법.
10. 컴퓨터 판독 가능 명령어들을 저장하기 위한 하나 이상의 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 판독 가능 명령어들은, 하나 이상의 프로세싱 디바이스들에 의해 실행될 때, 밀도 변조된 이진 패턴들로부터 깊이를 획득하는 시스템을 제공하고, 상기 컴퓨터 판독 가능 명령어들은,
    장면에 대한 영상들 - 상기 영상들은 IR 카메라 및 회절 격자들을 포함하는 복수의 IR 레이저들을 사용하여 재귀적으로 포착되고, 각각의 영상은 위상 정보를 담고 있는 밀도 변조된 이진 패턴을 포함함 - 을 획득하고;
    각각의 밀도 변조된 이진 패턴의 국소 특이성에 기초하여 상기 영상들 내에서의 위상 모호성을 정정하며;
    상기 밀도 변조된 이진 패턴들에 담겨 있는 상기 위상 정보에 기초하여 상기 장면에 대한 깊이 데이터를 재구성하기 위해 상기 영상들에 대해 픽셀 기반 위상 정합을 수행하도록 구성된 코드를 포함하는 것인, 하나 이상의 컴퓨터 판독 가능 저장 매체.

Images