KR102575114B1

KR102575114B1 - 구조화된 광 시스템에서의 심도 맵 생성

Info

Publication number: KR102575114B1
Application number: KR1020187018320A
Authority: KR
Inventors: 제임스 윌슨 내쉬; 칼린 미트코브 아타나소브
Original assignee: 퀄컴 인코포레이티드
Priority date: 2016-01-04
Filing date: 2016-10-31
Publication date: 2023-09-05
Also published as: BR112018013552A2; EP3400414B1; JP6824990B2; EP3400414A1; CN108474652B; CN108474652A; TW201734956A; KR20180100121A; WO2017119941A1; US20170195656A1; JP2019500606A; US11057608B2; TWI732796B; CA3006583A1

Abstract

기법들은 광 송신기가 광 수신기에 대해 기울어지게 되는 구조화된 광 시스템에서 심도 맵 생성을 위해 개시된다. 광 송신기는 구조화된 광이 퍼지는 송신기 광축을 갖고, 광 수신기는 구조화된 광의 반사가 캡처될 수 있는 수신기 광축을 갖는다. 송신기 광축 및 수신기 광축은 서로 교차한다. 프로세싱 회로는 심도 맵을 생성하기 위해 반사된 패턴에서의 틸트의 각도를 보상한다.

Description

구조화된 광 시스템에서의 심도 맵 생성

본 출원은 2016년 1월 4일자로 출원된 미국 가특허출원 제62/274,600호의 이익을 주장하고, 그 전체 내용은 이로써 본 명세서에 참조로 통합된다.

기술분야

본 개시는 심도 맵 생성에 관한 것으로, 특히 구조화된 광 능동 센싱 시스템에서의 심도 맵 생성에 관한 것이다.

구조화된 광 능동 센싱 시스템들은 장면에 대한 심도 맵을 생성하기 위해, 공간 코드들 (코드워드들) 에 대응하는 패턴들을 송신 및 수신한다. 오브젝트가 송신기 및 수신기로부터 더 멀리 떨어져 있을수록, 아웃고잉 공간 코드 프로젝션과 반사된 인커밍 공간 코드 프로젝션은 더 평행하기 때문에, 수신된 공간 코드 프로젝션은 수신기(들)에서의 그 원래의 포지션에 더 가깝다. 반대로, 오브젝트가 송신기 및 수신기에 더 가까울수록, 수신된 공간 코드 프로젝션은 수신기(들)에서의 그 원래의 포지션으로부터 더 멀다. 따라서, 수신된 및 송신된 코드워드 포지션 간의 차이는 장면에서의 오브젝트의 심도를 표시한다. 구조화된 광 능동 센싱 시스템은 이들 상대 심도들을 이용하여 장면의 3 차원 표현, 또는 심도 맵을 생성한다.

본 개시는 오브젝트에 구조화된 광을 송신하는 송신기가 오브젝트들로부터 구조화된 광의 반사 (reflection) 를 수신하는 수신기에 대해 각지게 되는 오브젝트들의 심도 맵을 결정하는 예의 기법들을 설명한다. 예를 들어, 송신기는 구조화된 광이 퍼지는 송신기 광축에 대해 화각 (angle of view) 을 갖고, 수신기는 반사된 구조화된 광이 캡처되는 수신기 광축에 대해 화각을 갖는다. 본 개시에서 설명된 예들에서, 송신기 광축과 수신기 광축은 수신기에 대해 각지게 되는 송신기로 인해 교차한다. 더 상세히 설명한 바와 같이, 송신기와 수신기를 서로에 대해 각지게 하면 더 가까운 시야를 허용하고 더 용이한 설계를 허용할 수도 있다.

하나의 예에서, 본 개시는 이미지 프로세싱의 방법을 설명하며, 그 방법은 광 송신기 (optical transmitter) 로, 구조화된 광을 송신하는 단계로서, 광 송신기는 송신기 광축에 대해 제 1 화각을 갖는, 상기 구조화된 광을 송신하는 단계, 광 수신기 (optical receiver) 로, 구조화된 광의 반사를 수신하는 단계로서, 광 수신기는 수신기 광축에 대해 제 2 화각을 갖고, 광 송신기는, 송신기 광축이 수신기 광축과 교차하도록 광 수신기에 대해 각지게 되고, 그리고 광 수신기에 대한 광 송신기의 포지션은 일정한, 상기 구조화된 광의 반사를 수신하는 단계, 및 구조화된 광의 수신된 반사에 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하는 단계를 포함한다.

하나의 예에서, 본 개시는 이미지 프로세싱을 위한 디바이스를 설명하며, 그 디바이스는 구조화된 광을 송신하도록 구성된 광 송신기로서, 광 송신기는 송신기 광축에 대해 제 1 화각을 갖는, 상기 광 송신기, 구조화된 광의 반사를 수신하도록 구성된 광 수신기로서, 그 수신기는 수신기 광축에 대해 제 2 화각을 갖고, 광 송신기는, 송신기 광축이 수신기 광축과 교차하도록 광 수신기에 대해 각지게 되고, 그리고 광 수신기에 대한 광 송신기의 포지션은 일정한, 상기 광 수신기, 및 구조화된 광의 수신된 반사에 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하도록 구성된 프로세싱 회로를 포함한다.

하나의 예에서, 본 개시는 저장된 명령들을 포함하는 컴퓨터 판독가능 저장 매체를 설명하며, 그 명령들은, 실행될 때, 이미지 프로세싱을 위한 디바이스의 하나 이상의 프로세서들로 하여금, 광 송신기가 구조화된 광을 송신하도록 하게 하는 것으로서, 광 송신기는 송신기 광축에 대해 제 1 화각을 갖는, 상기 구조화된 광을 송신하도록 하게 하고, 구조화된 광의 수신된 반사에 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하게 하는 것으로서, 수신된 반사는 광 수신기로 수신되고, 광 수신기는 수신기 광축에 대해 제 2 화각을 갖고, 광 송신기는, 송신기 광축이 수신기 광축과 교차하도록 광 수신기에 대해 각지게 되고, 그리고 광 수신기에 대한 광 송신기의 포지션은 일정한, 상기 심도 맵을 생성하게 한다.

하나의 예에서, 본 개시는 이미지 프로세싱을 위한 디바이스를 설명하며, 그 디바이스는 구조화된 광을 송신하기 위한 수단으로서, 송신하기 위한 수단은 송신기 광축에 대해 제 1 화각을 갖는, 상기 구조화된 광을 송신하기 위한 수단, 구조화된 광의 반사를 수신하기 위한 수단으로서, 수신하기 위한 수단은 수신기 광축에 대해 제 2 화각을 갖고, 송신하기 위한 수단은, 송신기 광축이 수신기 광축과 교차하도록 수신하기 위한 수단에 대해 각지게 되고, 그리고 송신하기 위한 수단의 포지션은 수신하기 위한 수단에 대해 일정한, 상기 구조화된 광의 반사를 수신하기 위한 수단, 및 구조화된 광의 수신된 반사에 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하기 위한 수단을 포함한다.

하나 이상의 예들의 상세들은 첨부하는 도면들 및 이하의 설명에 기재된다. 다른 피처들, 목적들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백할 것이다.

도 1a 및 도 1b 는 심도 맵을 생성하기 위한 송신기 필드 및 수신기 필드의 예들을 예시하는 개념적 다이어그램들이다.
도 2 는 본 개시에서 설명된 하나 이상의 예의 기법들을 수행하도록 구성된 이미지 프로세싱을 위한 디바이스의 블록 다이어그램이다.
도 3 은 본 개시에서 설명된 하나 이상의 예의 기법들을 수행하기 위한 이미지 프로세싱의 방법의 플로우 차트이다.
도 4 는 도 2 의 송신기 디바이스 및 수신기 디바이스를 더 상세히 예시하는 블록 다이어그램이다.
도 5 는 요 (yaw) 에 따른 근시야 (near field of view) 및 원시야 (far field of view) 의 온셋을 예시하는 그래프이다.
도 6a 및 도 6b 는 근거리 (near range) 시야 오버랩의 증가를 예시하는 그래프들이다.
도 7a 및 도 7b 는 요 및 거리에 따른 근거리 시야 오버랩의 증가를 예시하는 그래프들이다.
도 8 은 패턴 왜곡을 예시하는 그래프이다.

3 차원 공간을 포괄하는 것으로 사용자가 감지하는 스테레오스코픽 이미지들을 생성하기 위해, 디바이스는 렌더링될 이미지들에서의 장면 또는 오브젝트의 심도 맵을 생성한다. 심도 맵을 생성하기 위한 하나의 방식은, 버징된 (verged) 능동 스테레오 시스템으로도 또한 지칭되는, 구조화된 광 시스템에 있다. 구조화된 광 시스템에서, 송신기 디바이스는 장면 상에 알려진 패턴 또는 코드를 프로젝팅하고 수신기 디바이스는 그 패턴 또는 코드를 수신하여 심도 맵을 획득한다. 예를 들어, 송신기 디바이스는 장면 또는 오브젝트에 패턴 또는 코드를 포함하는 구조화된 광을 송신하고, 수신기 디바이스는 장면 또는 오브젝트로부터 구조화된 광의 반사를 수신한다. 수신기 디바이스는 수신된 패턴 또는 코드와 알려진 패턴들 또는 코드들의 리스트를 비교하여 수신된 패턴 또는 코드가 유효한지 확인한다.

그 후, 수신기가 패턴 또는 코드를 수신한 포지션에 기초하여, 수신기 디바이스는 수신기로부터의 장면 또는 오브젝트의 거리의 추정치를 결정할 수도 있다. 결정된 거리들에 기초하여, 수신기 디바이스는 심도 맵을 생성한다. 프로세싱 회로 (이는 프로그래밍가능 및/또는 고정 함수 프로세싱 회로일 수도 있다) 는 그 후 생성된 심도 맵을 이용하여 하나 이상의 이미지들에 대한 그래픽 데이터를 생성할 수도 있다 (예를 들어, 그래픽스 프로세싱 회로 (GPU) 는 심도 맵을 이용하여 스테레오스코픽 이미지들을 생성한다).

송신기 디바이스는 구조화된 광을 송신하기 위한 광 송신기를 포함하고 수신기 디바이스는 구조화된 광을 수신하기 위한 광 수신기를 포함한다. 광 송신기와 광 수신기는 거리 (B) 만큼 분리된다. 광 송신기는 구조화된 광을 송신하고, 여기서 구조화된 광은 프로젝션 필드를 포괄한다. 예를 들어, 광 송신기는 송신기 광축에 대해 화각을 갖는다. 송신기 광축은 광 송신기로부터 밖을 향해 연장하는 라인이고 화각은 구조화된 광이 퍼지는 영역을 정의한다.

유사하게, 광 수신기는 수신기 광축에 대해 화각을 갖는다. 수신기 광축은 광 수신기로부터 밖을 향해 연장하는 라인이고 화각은 광 수신기가 구조화된 광의 반사를 캡처하는 것이 가능한 영역을 정의한다.

광 송신기 및 광 수신기가 거리 (B) 만큼 분리되기 때문에, 구조화된 광이 퍼지는 영역과 광 수신기가 광을 캡처할 수 있는 영역은 동일하지 않다. 이것은 결과적으로 구조화된 광이 도달하지 않는 영역들 또는 구조화된 광의 반사가 캡처될 수 없는 영역들을 만들어 낸다. 송신기 및 수신기의 화각은 또한 프로젝션 필드 및 캡처 필드에 영향을 미친다. 이에 따라, 광 송신기 및 광 수신기 각각은 개별의 시야 (예를 들어, 송신기를 위한 프로젝션 필드 및 수신기를 위한 캡처 필드) 를 갖고, 시야 오버랩은 프로젝션 필드와 캡처 필드가 얼마만큼 오버랩하는지를 정의한다.

각각의 컴포넌트의 특성들이 다른 컴포넌트들의 다른 특성들과 상호작용하여 컴포넌트들의 신중한 밸런스를 초래하므로 컴포넌트들을 선택하는데 세심한 주의가 필요할 수도 있기 때문에 심도 맵을 생성하기 위한 구조화된 광 시스템을 설계하는 것은 복잡하다. 예를 들어, 스페클 잡음 허용오차는 애퍼처 사이즈에 대한 하한 (lower bound) 을 설정하고, 여기서 수신기에 대한 애퍼처 사이즈는 광이 캡처되는 개구를 정의하고 송신기의 애퍼처 사이즈는 광이 프로젝팅되는 개구를 정의한다. 수신기 및 송신기에 대한 애퍼처 사이즈는 상이할 수도 있지만, 기법들은 그렇게 제한되지는 않는다.

피사계 심도 (depth of field; DoF) 는 포커스 범위를 정의하고 렌즈의 초점 거리 (예를 들어, 광이 렌즈로부터 집중되는 포인트) 대 애퍼처의 직경의 비율인 F 수 (F-number) 에 대한 상한 (upper bound) 을 설정한다. 따라서 F 수는 초점 거리에 대한 하한을 설정하고, 초점 거리는 시야에 대한 상한을 설정한다. 송신기와 수신기 간의 베이스라인 거리 (B) 는 시스템 정확도에 대한 상한을 설정하고, 베이스라인은 시야 오버랩을 감소시킨다.

시야 오버랩은 근시야를 설정한다. 근시야 (예를 들어, 오브젝트가 시야 오버랩 내에 얼마나 가깝게 있을 수 있는지) 는 모든 이들 예의 특성들에 의해 특히 영향을 받는다.

일부 경우들에서, 상대적으로 가까운 근시야를 갖는 것이 바람직할 수도 있다. 예를 들어, 디바이스가 모바일 디바이스이면, 사용자는 모바일 디바이스에 상대적으로 가까운 오브젝트들의 심도 맵을 생성하길 원할 수도 있다. 그러나, 상기 설명한 바와 같이, 시야를 설정하는 것은 몇몇 예들로서 애퍼처 사이즈, 초점 거리, 및 스페클 잡음 허용오차와 상호관련되기 때문에 모바일 디바이스에 상대적으로 가까운 근시야를 달성하기 위해서는 심도 맵을 생성하는데 필요한 광학 컴포넌트들의 매우 정밀한 선택을 요구할 수도 있다.

본 개시에서 설명된 기법들은 심도 맵을 생성하기 위해 이용되는 광학 컴포넌트들의 선택들을 제한하지 않고 광 송신기 및 광 수신기에 상대적으로 가까운 근시야를 갖기 위한 방식을 제공한다. 본 개시에서 설명된 기법들로, 근시야의 설정은 다양한 광학 컴포넌트들 및 구조화된 광 시스템들에 대한 심도 맵 생성을 위한 근시야를 설정하는 것을 허용하는 특정 컴포넌트들로부터 디커플링된다.

본 개시에서 설명된 예들에서, 광 송신기는 광 수신기에 대해 기울어지게 되거나 각지게 된다. 예를 들어, 광 송신기와 광 수신기가 동일한 방향으로 지향되는 (예를 들어, 동일한 방향을 향하는) 것보다는, 광 송신기와 광 수신기 사이에 틸트각 (angle of tilt) 이 존재한다. 광 송신기와 광 수신기 사이의 틸트각은, 광 송신기 및 광 수신기가 동일한 방향으로 지향되는 경우와 비교하여 프로젝션 필드를 기울어지게 하여 디바이스에 더 가까운 캡처 필드와 교차하게 한다. 예를 들어, 광 송신기와 광 수신기가 동일한 방향으로 지향되었다면, 송신기 광축과 수신기 광축은 평행할 것이다. 본 개시에서 설명된 예들에서, 수신기에 대한 송신기에서의 틸트 (tilt) 는 송신기 광축과 수신기 광축이 평행하는 것이 아니라 교차하는 것을 초래한다.

수신기 디바이스는 광 송신기가 광 수신기에 대해 각지게 되는 예들에서 구조화된 광의 반사를 캡처할 수도 있다. 수신기 디바이스는 캡처된 반사된 구조화된 광에 기초하여 심도 맵을 결정한다. 그러나, 이 경우에, 수신기 디바이스는 심도 맵을 결정하는데 있어서 틸트각을 보상할 필요가 있을 수도 있다. 예를 들어, 수신기 디바이스는 광 수신기에 대한 광 송신기의 틸트각 및 광 수신기의 초점 거리에 기초하여 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 포지션을 스케일링할 수도 있다. 수신기 디바이스는 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 스케일링된 포지션, 구조화된 광의 수신된 반사에서의 개별의 엘리먼트에 대응하는 구조화된 광에서의 각각의 엘리먼트, 광 수신기의 초점 거리, 및 광 송신기와 광 수신기 간의 거리 (예를 들어, 베이스라인 거리) 에 기초하여 심도 맵을 생성할 수도 있다.

이에 따라, 본 개시에서 설명된 예들에서, 프로젝터 (즉, 광 송신기) 는 근시야를 증가시키기 위해 의도적으로 기울어지게 되거나 또는 각지게 된다. 광 송신기의 기울어짐 (tilting) 및 각짐 (angling) 은 광 송신기에 있어서 "요 (yaw)" 를 생성하고, 기법들은 알려진 요를 수용하기 위해 계산들을 수정한다. 더 상세히 설명한 바와 같이, 요는 또한 반사된 패턴 또는 코드를 왜곡시킨다. 그러나, 일부 경우들에서, 수신기 디바이스는 반사된 패턴 또는 코드가 유효한 패턴 또는 코드인지 확인하기 위해 요를 보상할 필요가 없을 수도 있다.

도 1a 및 도 1b 는 심도 맵을 생성하기 위한 송신기 필드 및 수신기 필드의 예들을 예시하는 개념적 다이어그램들이다. 도 1a 및 도 1b 는 광 송신기 (16) 에 커플링되는 송신기 디바이스 (14) 및 광 수신기 (20) 에 커플링되는 수신기 디바이스 (18) 를 포함하는 디바이스 (10) 를 예시한다. 디바이스 (10) 의 예들은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 무선 통신 디바이스, 폰, 텔레비전, 카메라, 디스플레이 디바이스, 디지털 미디어 플레이어, 비디오 게임 콘솔, 비디오 게이밍 콘솔, 또는 비디오 스트리밍 디바이스를 포함한다.

송신기 디바이스 (14) 및 수신기 디바이스 (18) 의 예들은 마이크로프로세서, 집적 회로, 디지털 신호 프로세서 (DSP), 필드 프로그래밍가능 게이트 어레이 (FPGA), 또는 주문형 집적 회로 (ASIC) 를 포함한다. 일반적으로, 송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 프로그래밍가능 회로부를 포함하는 프로세싱 회로부를 포함한다. 광 송신기 (16) 의 예들은 레이저를 포함하고 광 수신기 (20) 의 예들은 하나 이상의 광 센서들을 포함한다. 일부 예들에서, 레이저는 적외선 스펙트럼에서의 광 (즉, 심도 맵) 을 출력하고 센서는 적외선 스펙트럼에서의 광 (즉, 심도 맵) 을 수신한다.

광 송신기 (16) 는 송신기 디바이스 (14) 의 일부로서 예시되고 광 수신기 (20) 는 수신기 디바이스 (18) 의 일부로서 예시되지만, 본 개시에서 설명된 기법들은 그렇게 제한되지는 않는다. 일부 예들에서, 송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 광 송신기 (16) 및 광 수신기 (20) 의 개별의 것들을 포함하지 않을 수도 있다. 일부 예들에서, 송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 시스템 온 칩 (system on chip; SoC) 을 형성하는 다른 프로세싱 회로들과 함께 동일한 집적 회로에 형성될 수도 있다.

송신기 디바이스 (14) 는 광 송신기 (16) 로 하여금 패턴 또는 코드워드를 포함하는 구조화된 광을 송신하게 하도록 구성될 수도 있다. 예를 들어, 송신기 디바이스 (14) 는 심도 맵 생성을 위해 이용되는 패턴 또는 코드워드들을 저장하는 로컬 메모리를 포함할 수도 있다. 송신기 디바이스 (14) 의 프로세싱 회로는 패턴 또는 코드워드들을 취출하고 광 송신기 (16) 로 하여금 패턴 또는 코드워드를 송신하게 한다. 패턴 또는 코드워드는 오브젝트들로부터 반사하고 렌즈 또는 애퍼처를 통하여, 광 수신기 (20) 에 의한 패턴 또는 코드워드 반사로서 수신된다.

패턴 또는 코드워드의 반사들은 광 수신기 (20) 상의 상이한 로케이션들에서 캡처된다. 예를 들어, 제 1 오브젝트는 디바이스 (10) 로부터 제 1 거리만큼 떨어져 있고 제 2 오브젝트는 디바이스 (10) 로부터 제 2 거리만큼 떨어져 있다는 것을 가정한다. 이 예에서, 제 1 오브젝트에서 반사하는 패턴 또는 코드워드는 광 수신기 (20) 상의 제 1 로케이션에서 나타날 것이고 제 2 오브젝트에서 반사하는 패턴 또는 코드워드는 광 수신기 (20) 상의 제 2 로케이션에서 나타날 것이다. 이 예에서, 제 1 로케이션과 제 2 로케이션 간의 디스패리티 (예를 들어, 제 1 로케이션 및 제 2 로케이션의 포지션들의 차이) 는 제 1 및 제 2 오브젝트들의 서로에 대한 상대 심도를 표시하고 제 1 로케이션 및 제 2 로케이션의 포지션들은 제 1 및 제 2 오브젝트들의 절대 심도를 표시한다.

일부 예들에서, 오브젝트가 광 송신기 (16) 및 광 수신기 (20) 로부터 더 멀리 떨어져 있을수록, 수신된 프로젝팅된 패턴 또는 코드워드는 광 수신기 (20) 에서의 그 원래의 포지션으로부터 더 가깝다 (예를 들어, 아웃고잉 프로젝션 및 인커밍 프로젝션은 더 평행하다). 반대로, 오브젝트가 광 송신기 (16) 및 광 수신기 (20) 로부터 더 가까울수록, 수신된 프로젝팅된 패턴 또는 코드워드는 광 수신기 (20) 에서의 그 원래의 포지션으로부터 더 멀다. 따라서, 수신된 및 송신된 코드워드 포지션 간의 차이는 오브젝트의 심도의 표시자로서 이용될 수도 있다. 하나의 예에서, 이러한 심도 (예를 들어, 상대 심도) 는 이미지에서 각각의 픽셀 또는 그룹화된 픽셀들 (예를 들어, 2 개 이상의 픽셀들의 영역들) 에 의해 묘사된 오브젝트들에 대한 심도 값을 제공할 수도 있다.

패턴 또는 코드워드는 복수의 엘리먼트들을 포함하는 것으로 간주될 수도 있으며, 여기서 구조화된 광에서의 엘리먼트들은 함께 패턴 또는 코드워드를 형성한다. 구조화된 광에서의 각각의 엘리먼트는 송신 시에 특정한 로케이션에 로케이트되고 그 후 광 수신기 (20) 상의 특정한 로케이션에 로케이트된다. 수신기 디바이스 (18) 는 심도 맵 생성을 위해 이용되는 패턴 또는 코드워드들을 저장하는 로컬 메모리를 포함할 수도 있다. 수신기 디바이스 (18) 의 프로세싱 회로는 수신된 패턴 또는 코드워드들의 엘리먼트들과 로컬 메모리에 저장된 것들을 비교하여 수신된 패턴 또는 코드워드가 유효한 패턴 또는 코드워드인지 확인하고 심도 맵을 결정한다.

예를 들어, 구조화된 광에서의 엘리먼트는 결정된 바와 같이 특정한 로케이션에 로케이트되고 반사된 구조화된 광에서 수신된 엘리먼트는 특정한 로케이션에 로케이트된다. 수신기 디바이스 (18) 내의 프로세싱 회로는 그 후 송신된 구조화된 광 및 수신된 반사된 구조화된 광에서의 각각의 엘리먼트의 로케이션 간의 디스패리티 (예를 들어, 차이) 를 결정하고, 그 디스패리티에 기초하여 심도 맵을 결정한다.

광 송신기 (16) 는 프로젝팅된 필드를 생성하기 위해 퍼지는 광축 (22A) 을 따라 구조화된 광을 송신한다. 예를 들어, 광축 (22A) 은 광 송신기 (16) 에 수직으로 밖을 향해 연장하고 구조화된 광은 광축 (22A) 에 대해 화각 (17) 을 따라 퍼진다. 광 수신기 (20) 는 유사하게 화각 (19) 을 따라 광축 (24) 주위에 퍼지는 캡처 필드를 포함한다. 하나의 예로서, 화각 (17) 은 60°이고 화각 (19) 은 53°이지만, 다른 각도들도 고려된다.

도 1a 에 예시한 바와 같이, 프로젝션 필드와 캡처 필드는 교차하고 여기서 프로젝션 필드 및 캡처 필드 오버랩은 시야 오버랩을 설정한다. 오브젝트가 시야 오버랩 내에 있다면, 오브젝트는 구조화된 광을 수신하고 광 수신기 (20) 는 반사된 구조화된 광을 수신한다. 오브젝트가 시야 오버랩 밖에 있다면, 오브젝트는 캡처 필드 내에만 있고 프로젝션 필드 내에는 있지 않기 때문에 오브젝트는 구조화된 광을 수신하지 않거나 또는 오브젝트는 프로젝션 필드 내에만 있기 때문에 광 수신기 (20) 는 반사된 구조화된 광을 수신하지 않는다.

일부 경우들에서, 오브젝트는 프로젝션 필드 내에 있는 것도 아니고 캡처 필드 내에 있는 것도 아닐 수도 있다. 예를 들어, 오브젝트가 근시야보다 더 가깝다면, 오브젝트는 프로젝션 필드 내에 있는 것도 캡처 필드 내에 있는 것도 아닐 수도 있다. 도 1a 에 예시한 바와 같이, 프로젝션 필드 및 캡처 필드는 디바이스 (10) 로부터 거리 (12A) 만큼 떨어진 포인트에서 교차한다. 거리 (12A) 는 근시야를 정의할 수도 있다. 이 경우에, 거리 (12A) 보다 더 가깝고 광 송신기 (16) 와 광 수신기 (20) 사이에 있는 오브젝트는 캡처되지 않을 수도 있다.

그러나, 디바이스 (10) 의 사용자는 오브젝트가 거리 (12A) 보다 더 가까운 이미지에 대한 심도 맵을 결정하는 것이 바람직하다는 것을 알게 될 수도 있다. 상기 설명한 바와 같이, 근시야가 거리 (12A) 보다 더 가깝도록 디바이스 (10) 를 설계하는 것은 광 송신기 (16) 및 광 수신기 (20) 의 다양한 특성들이 서로 상호작용하기 때문에 광범위한 테스팅 및 전문화된 수의 컴포넌트 옵션들을 요구하여, 원하는 근시야를 갖고 또한 원시야 (far field of view) 에 대한 최소 영향을 가진 구조화된 광 시스템을 생성하기 위해 사용할 수 있는 이용가능한 컴포넌트들의 수를 제한할 수도 있다.

도 1b 에 예시한 바와 같이, 광 송신기 (16) 는 광 수신기 (20) 에 대해 기울어지게 되거나 각지게 된다. 예를 들어, 광 송신기 (16) 및 광 수신기 (20) 는 동일한 방향으로 지향되지 않는다 (예를 들어, 동일한 방향을 향하고 있지 않다). 광 송신기 (16) 는 광 수신기 (20) 에 대해 기울어지게 되는 것으로서 예시되지만, 일반적으로, 광 송신기 (16) 또는 광 수신기 (20) 중 하나는 디바이스 (10) 의 일 면 (face) 과 평행하고, 광 송신기 (16) 또는 광 수신기 (20) 중 다른 하나는 디바이스 (10) 의 그 면에 대해 기울어지게 된다. 예를 들어, 광 송신기 및 광 수신기 (20) 는 양자 모두 디바이스 (10) 의 뒷면 (back-face) 상에 있을 수도 있고, 여기서 앞면 (front-face) 은 사용자가 상호작용을 하는 인터페이스를 포함한다. 도 1b 에 예시한 바와 같이, 광 수신기 (20) 는 디바이스 (10) 의 뒷면과 평행할 수도 있고, 광 송신기 (16) 는 디바이스 (10) 의 뒷면에 대해 기울어지게 될 수도 있다. 그러나, 일부 예들에서, 광 송신기 (16) 는 디바이스 (10) 의 뒷면과 평행할 수도 있고, 광 수신기 (20) 는 디바이스 (10) 의 뒷면에 대해 기울어지게 될 수도 있다. 이들 예들에서, 광 송신기 (16) 는 광 수신기 (20) 에 대해 기울어지게 되는 (각지게 되는) 것으로 간주될 수도 있다.

광 수신기 (20) 및 광 송신기 (16) 양자 모두가 디바이스 (10) 의 뒷면에 대해 각지게 되는 것이 가능할 수도 있다. 이러한 예들에 대해, 광 송신기 (16) 및 광 수신기 (20) 는 일부 방향을 향하고 있지 않고 및/또는 개별의 광축들이 교차하기 때문에 광 송신기 (16) 는 광 수신기 (20) 에 대해 기울어지게 될 수도 있다.

도 1a 와 유사하게, 광 송신기 (16) 는 광축 (22B) 을 따라 화각 (17) 으로 퍼지는 구조화된 광을 송신한다. 광축 (22B) 은 도 1a 에서의 광축 (22A) 처럼 광 송신기 (16) 에 수직이다. 그러나, 도 1b 에서, 광축 (22B) 과 광 수신기 (20) 의 광축 (24) 은, 광축 (22A) 과 광축 (24) 이 평행한 도 1a 에서와 달리 서로 교차한다. 이에 따라, 도 1b 에서, 광 송신기 (16) 는 송신기 광축 (22B) 이 수신기 광축 (24) 과 교차하도록 광 수신기 (20) 에 대해 각지게 된다. 광 수신기 (20) 에 대한 광 송신기 (16) 의 틸트각은 틸트각 (46) (예를 들어, 교차에 의해 형성된 각도) 에 의해 정의된다. 틸트각 (46) 은 대략 1°내지 2°일 수도 있지만, 다른 각도들도 고려된다.

도 1b 에서, 프로젝션 필드는 디바이스 (10) 로부터 거리 (12B) 만큼 떨어진 포인트 (34) 에서 캡처 필드와 교차한다. 거리 (12B) 는 거리 (12A) 보다 작고, 따라서 광 송신기 (16) 를 기울어지게 하는 (각지게 하는) 하는 것에 의해, 본 개시에서 설명된 기법들은 전문화된 컴포넌트들에 의존할 필요 없이 그리고 다양한 광 컴포넌트 타입들의 이용을 허용함 없이 근시야를 디바이스 (10) 에 더 가깝게 만들 수도 있다.

그러나, 광 송신기 (16) 를 기울어지게 하는 것은 심도 맵을 생성하기 위한 가외의 컴퓨테이션들을 초래한다. 예를 들어, 반사된 패턴 또는 코드워드가 도 1b 에 예시된 예에서 광 수신기 (20) 상에 나타날 로케이션은 반사된 패턴 또는 코드워드가 도 1a 에 예시된 예에서 광 수신기 (20) 상에 나타날 로케이션과는 상이하다. 이에 따라, 수신기 디바이스 (18) 는 더 상세히 설명한 바와 같이, 틸트각 (46) 및 광 수신기 (20) 의 초점 거리에 기초하여 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 포지션을 스케일링할 수도 있다.

추가로, 광 송신기 (16) 와 광 수신기 (20) 간의 틸트는 반사된 패턴 또는 코드워드에서 왜곡들을 야기한다. 예를 들어, 광 수신기 (20) 가 도 1b 에서 수신하는 반사된 패턴은 광 수신기 (20) 가 도 1a 에서 수신하는 반사된 패턴에 대해 기울어지게 될 수도 있다.

상기 설명한 바와 같이, 광 수신기 (20) 는 반사된 패턴과 알려진 패턴들을 비교하여 반사된 패턴이 유효한지 확인한다. 반사된 패턴이 기울어지게 되기 때문에, 패턴 또는 코드워드를 재구성하는데 있어서 가능하게는 일부 에러들이 있을 수 있다. 일부 예들에서, 틸트는 최소일 수도 있고 따라서 에러들이 최소이며 어떤 보정 액션도 필요하지 않다. 일부 예들에서, 광 수신기 (20) 는 틸트를 보상할 수도 있다. 일부 예들에서, 수신기 디바이스 (18) 의 로컬 메모리에 저장된 패턴들 또는 코드워드들은 틸트각 (46) 에 기초하여 기울어지게 되고, 따라서 수신기 디바이스 (18) 는 에러들 없이 패턴들 또는 코드워드들을 재구성하는 것이 가능할 수도 있다.

프로젝션 필드는 도 1b 에서 라인들 (28 및 32) 에 의해 정의되고 캡처 필드는 도 1b 에서 라인들 (26 및 30) 에 의해 정의된다. 라인 (28) 의 식은 이고, 라인 (32) 의 식은 이다. 라인 (26) 의 식은 이고, 라인 (30) 의 식은 이다. 상기 식들에서, 은 화각 (17) 이고, 는 화각 (19) 이고, 는 틸트각 (46) (요로도 또한 지칭됨) 이고, 그리고 B 는 광 송신기 (16) 와 광 수신기 (20) 간의 거리이다. 식들에서, x1, x2, x3, 및 x4 는 z1, z2, z3, 및 z4 가 결정되는 개별의 라인들을 따른 좌표 값을 표현한다.

x1, x2, x3, 및 x4 는 시야 오버랩을 설정하는 것으로 보일 수 있다. 예를 들어, 포인트 (34) 에서, 프로젝션 필드와 캡처 필드는 먼저 교차한다. 포인트 (34) 로부터 포인트 (38) 까지, 시야 오버랩은 라인 (40) 에 의해 예시한 바와 같이, x3-x2 로서 표현될 수 있는 라인들 (26 및 32) 에 의해 정의된다. 포인트 (38) 로부터 포인트 (36) 까지, 시야 오버랩은 라인 (42) 에 의해 예시한 바와 같이, x1-x2 로서 표현될 수 있는 라인들 (26 및 30) 에 의해 정의된다. 포인트 (36) 및 상부로부터, 시야 오버랩은 라인 (44) 에 의해 예시한 바와 같이, x1-x4 로서 표현될 수 있는 라인들 (28 및 30) 에 의해 정의된다.

포인트 (34) 의 로케이션은 이다. 포인트 (38) 의 로케이션은 이다. 포인트 (36) 의 로케이션은 이다.

도 1a 및 도 1b 에 예시한 바와 같이, 거리 (12B) 는 거리 (12A) 보다 작다. 이에 따라, 광 수신기 (20) 에 대해 광 송신기 (16) 를 기울어지게 하는 것에 의해, 요는 근시야의 로케이션을 감소시키기 (예를 들어, 근시야를 디바이스 (10) 에 더 가깝게 하기) 위해 이용될 수 있다.

상기 설명한 바와 같이, 예의 기법들에서, 수신기 디바이스 (18) 는 심도 맵을 결정하기 위해 요를 보상할 필요가 있을 수도 있다. 예를 들어, 수신기 디바이스 (18) 의 프로세싱 회로는 틸트각 및 광 수신기 (20) 의 초점 거리에 기초하여 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 포지션을 스케일링할 수도 있다. 프로세싱 회로는 그 후 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 스케일링된 포지션, 구조화된 광의 수신된 반사에서의 개별의 엘리먼트에 대응하는 구조화된 광에서의 각각의 엘리먼트, 광 수신기 (20) 의 초점 거리, 및 광 송신기 (16) 와 광 수신기 (20) 간의 베이스라인 거리 (B) 에 기초하여 심도 맵을 생성할 수도 있다.

일 예로서, 프로세싱 회로는 다음의 식을 구현할 수도 있다:

식에서, Z 는 심도 맵이고, f 는 광 수신기 (20) 의 초점 거리이고, B 는 광 송신기 (16) 와 광 수신기 (20) 간의 거리이고, xT 는 송신된 구조화된 광에서의 엘리먼트의 포지션이고, 그리고 xR 은 구조화된 광의 수신된 반사에서의 대응하는 엘리먼트의 포지션이다. 예를 들어, xT 및 xR 은 동일한 엘리먼트에 대한 포지션들이지만, xT 는 송신 시의 로케이션이고, xR 은 구조화된 광의 수신된 반사에서의 로케이션이다.

수신기 디바이스 (18) 의 프로세싱 회로부는 각각의 엘리먼트에 대한 심도 값 (Z) 을 결정하기 위해 식을 구현할 수도 있다. 예를 들어, 는 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 포지션 (예를 들어, xR) 을 스케일링하기 위해 프로세싱 유닛이 이용하는 식으로서 간주될 수 있다. 스케일링은 틸트각 및 초점 거리 f 에 기초하여 수행된다. 또한, 식에서, 심도 맵은 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 스케일링된 포지션 (예를 들어, xR), 구조화된 광의 수신된 반사에서의 개별의 엘리먼트 (예를 들어, xR) 에 대응하는 구조화된 광에서의 각각의 엘리먼트 (예를 들어, xT), 광 수신기 (20) 의 초점 거리 (예를 들어, f), 및 광 송신기 (16) 와 광 수신기 (20) 간의 거리 (예를 들어, 베이스라인 거리 (B)) 로부터 생성된다.

본 개시는 근시야를 증가시키고 그리고 알려진 요를 수용하기 위해 디스패리티 계산을 수정하도록 광 송신기 (16) 를 의도적으로 기울어지게 하는 것을 설명한다. 본 개시에서 설명된 기법들로, 유용한 심도 맵 사이즈에서 5% 이득이 있을 수도 있고 시스템 컴포넌트들은 심도 맵 생성의 수행으로부터 디커플링될 수도 있다 (예를 들어, 광 컴포넌트들에 대한 많은 선택들을 허용함). 예를 들어, 광 송신기 (16) 및 광 수신기 (20) 에 의해 생성된 근거리 FOV 는 광 송신기 (16) 가 광 수신기 (20) 에 대해 각지지 않고 송신기 광축이 수신기 광축과 교차하지 않는 도 1a 의 예와 비교하여 광 송신기 (16) 및 광 수신기 (20) 를 포함하는 디바이스 (10) 에 더 가깝다.

또한 상기 설명한 바와 같이, 광 송신기 (16) 에서의 틸트는 패턴 검출 또는 코드워드 검출의 목적들을 위해 구조화된 맵의 수신된 반사에서 왜곡을 야기한다. 일부 예들에서, 프로젝티브 왜곡은 그리드 검출 알고리즘에서 핸들링되며, 이는 광 송신기 (16) 의 틸트를 보상하기 위한 추가적인 보정 액션들이 필요하지 않을 수도 있다는 것을 의미한다. 예를 들어, 상기 설명한 바와 같이, 수신기 디바이스 (18) 가 저장하는 코드워드들은 알려진 틸트 각도에 기초하여 이미 기울어지게 될 수도 있고, 따라서, 수신기 디바이스 (18) 의 프로세싱 회로가 코드워드들을 결정하기 위해 그리드 검출을 수행할 때, 프로세싱 회로는 광 송신기 (16) 의 틸트를 보상하기 위해 어떤 추가적인 보정 액션도 수행할 필요가 없다.

도 2 는 본 개시에서 설명된 하나 이상의 예의 기법들을 수행하도록 구성된 이미지 프로세싱을 위한 디바이스의 블록 다이어그램이다. 도 2 는 디바이스 (10) 를 더 상세히 예시한다. 상기 설명한 바와 같이, 디바이스 (10) 의 예들은 개인 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 비디오 게임 플랫폼 또는 콘솔, 무선 통신 디바이스 (이를 테면, 예를 들어, 모바일 전화기, 셀룰러 전화기, 테이블 컴퓨터, 위성 전화기, 및/또는 모바일 전화기 핸드셋), 랜드라인 전화기, 인터넷 전화기, 핸드헬드 디바이스, 이를 테면 휴대용 비디오 게임 디바이스 또는 PDA (personal digital assistant), 개인 뮤직 플레이어, 비디오 플레이어, 디스플레이 디바이스, 카메라, 텔레비전, 텔레비전 셋-톱 박스, 서버, 중간 네트워크 디바이스, 메인프레임 컴퓨터 또는 그래픽 데이터를 프로세싱 및/또는 디스플레이하는 임의의 다른 타입의 디바이스를 포함한다.

도 2 의 예에 예시한 바와 같이, 디바이스 (10) 는 광 송신기 (16) 를 포함하는 송신기 디바이스 (14), 광 수신기 (20) 를 포함하는 수신기 디바이스 (18), 중앙 프로세싱 회로 (CPU) (45), 그래픽 프로세싱 유닛 (GPU) (48) 및 GPU (48) 의 로컬 메모리, 사용자 인터페이스 (52), 시스템 메모리 (60) 에 액세스를 제공하는 메모리 제어기 (54), 및 그래픽 데이터가 디스플레이 (58) 상에 디스플레이되게 하는 신호들을 출력하는 디스플레이 인터페이스 (56) 를 포함한다.

송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 도 1a 및 도 1b 에 대하여 상기 설명된 것들과 유사하며 추가로 설명되지 않는다. 그러나, 일부 예들에서, 수신기 디바이스 (18) 는 디바이스 (10) 용 카메라로서 또한 기능할 수도 있고, 이러한 예들에서,수신기 디바이스 (18) 는 심도 맵 생성을 위해 그리고 포토그래픽 이미지들을 캡처하기 위해 이용될 수도 있거나 또는 디바이스 (10) 는 포토그래픽 이미지들을 캡처하기 위한 별도의 카메라를 포함할 수도 있다. 본 개시에서, 수신기 디바이스 (18) 는 심도 맵을 생성하는 것과 포토그래픽 이미지들을 캡처하는 것 양자 모두를 위해 이용되는 것으로서 설명된다. 수신기 디바이스 (18) 의 프로세싱 회로는 카메라 프로세서로서도 물론 기능할 수도 있다.

또한, 다양한 컴포넌트들은 별도의 컴포넌트들로서 예시되지만, 일부 예들에서, 그 컴포넌트들은 시스템 온 칩 (SoC) 을 형성하기 위해 결합될 수도 있다. 일 예로서, 수신기 디바이스 (18) 의 프로세싱 회로는 CPU (45), GPU (48), 및 디스플레이 인터페이스 (56) 중 하나 이상과 함께 형성될 수도 있다. 이러한 예들에서, 광 수신기 (20) 는 수신기 디바이스 (18) 와는 별도일 수도 있다. 더욱이, 심도 맵을 생성하는 수신기 디바이스 (18) 의 프로세싱 회로에 대하여 상기 설명된 예들은 이해를 용이하기 위해 단지 제공될 뿐이다. 일부 예들에서, CPU (45), GPU (48), 또는 일부 다른 디바이스는 수신기 디바이스 (18) 의 프로세싱 회로에 대해 상기 설명된 예들을 수행하도록 구성될 수도 있다.

도 2 에 예시된 다양한 컴포넌트들은 하나 이상의 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 디지털 신호 프로세서들 (DSP들), 또는 다른 등가의 통합된 또는 별개의 로직 회로부에 형성될 수도 있다. 또한, 송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 패턴들 또는 코드워드들과 같은 데이터의 저장을 위한 로컬 메모리를 포함할 수도 있다. 이러한 로컬 메모리의 예들은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들, 이를 테면, 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광 저장 매체들을 포함한다.

도 2 에 예시된 다양한 유닛들은 버스 (62) 를 이용하여 서로 통신한다. 버스 (62) 는 제 3 세대 버스 (예를 들어, 하이퍼트랜스포트 (HyperTransport) 버스 또는 인피니밴드 (InfiniBand) 버스), 제 2 세대 버스 (예를 들어, 어드밴스드 그래픽스 포트 (Advanced Graphics Port) 버스, 주변 컴포넌트 인터커넥트 (Peripheral Component Interconnect; PCI) 익스프레스 버스, 또는 AXI (Advanced eXentisible Interface) 버스) 또는 다른 타입의 버스 또는 디바이스 인터커넥트와 같은 다양한 버스 구조들 중 임의의 것일 수도 있다. 도 2 에 도시된 상이한 컴포넌트들 간의 특정 구성의 버스들 및 통신 인터페이스들은 단지 예시적일 뿐이며, 동일한 또는 상이한 컴포넌트들을 가진 다른 구성들의 컴퓨팅 디바이스들 및/또는 다른 이미지 프로세싱 시스템들이 본 개시의 기법들을 구현하는데 이용될 수도 있다는 것에 유의해야 한다.

CPU (45) 는 디바이스 (10) 의 동작을 제어하는 범용 또는 특수-목적 프로세서를 포함할 수도 있다. 사용자는 CPU (45) 로 하여금 하나 이상의 소프트웨어 애플리케이션들을 실행하게 하기 위해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다. CPU (45) 상에서 실행하는 소프트웨어 애플리케이션들은, 예를 들어, 오퍼레이팅 시스템, 워드 프로세서 애플리케이션, 이메일 애플리케이션, 스프레드 시트 애플리케이션, 미디어 플레이어 애플리케이션, 비디오 게임 애플리케이션, 그래픽 사용자 인터페이스 애플리케이션 또는 다른 프로그램을 포함할 수도 있다. 사용자는 키보드, 마우스, 마이크로폰, 터치 패드 또는 사용자 인터페이스 (52) 를 통해 컴퓨팅 디바이스 (10) 에 커플링되는 다른 입력 디바이스와 같은 하나 이상의 입력 디바이스들 (미도시) 을 통해 컴퓨팅 디바이스 (10) 에 입력을 제공할 수도 있다.

하나의 예로서, 사용자는 스테레오스코픽 이미지들에 대한 그래픽 데이터를 생성하는 애플리케이션을 실행할 수도 있다. 애플리케이션은 광 수신기 (20) 에 의해 캡처된 이미지들을 이용할 수도 있다. 이러한 예들에서, 송신기 디바이스 (14) 및 수신기 디바이스 (18) 는 함께 심도 맵을 생성하기 위해 본 개시에서 설명된 예의 기법들을 수행할 수도 있다. CPU (45) 상에서 실행하는 애플리케이션은 심도 맵 및 캡처된 이미지들을 이용할 수도 있다.

예를 들어, CPU (45) 는 그래픽 이미지들을 렌더링하기 위해 GPU (48) 에 명령들 및 데이터를 송신할 수도 있다. 이러한 예들에서, CPU (45) 상에서 실행하는 애플리케이션은 스테레오스코픽 이미지들을 생성할 것을 GPU (48) 에 명령하는 명령들, 심도 맵, 및 다른 데이터를 GPU (48) 에 송신할 수도 있다. 예를 들어, GPU (48) 는 고정-함수 회로들과 프로그래밍가능 회로들의 결합인 복수의 병렬 파이프라인들을 포함하고, GPU (48) 는 병렬 파이프라인들을 통하여 픽셀들을 프로세싱하여 스테레오스코픽 이미지들을 생성한다.

메모리 제어기 (54) 는 시스템 메모리 (60) 의 안으로 들어가고 밖으로 나가는 데이터의 전송을 용이하게 한다. 예를 들어, 메모리 제어기 (54) 는 메모리 판독 및 기록 커맨드들을 수신하고, 컴퓨팅 디바이스 (10) 에서의 컴포넌트들에 대해 메모리 서비스들을 제공하기 위하여 메모리 (60) 에 대하여 이러한 커맨드들을 서비스할 수도 있다. 메모리 제어기 (54) 는 시스템 메모리 (60) 에 통신가능하게 커플링된다. 메모리 제어기 (54) 는 도 2 의 예의 컴퓨팅 디바이스 (10) 에서 CPU (45) 와 시스템 메모리 (60) 양자 모두와는 별도인 프로세싱 모듈인 것으로서 예시되지만, 다른 예들에서, 메모리 제어기 (54) 의 기능성의 일부 또는 전부는 CPU (45) 및 시스템 메모리 (60) 중 하나 또는 양자 모두 상에서 구현될 수도 있다.

시스템 메모리 (60) 는 송신기 디바이스 (14), 수신기 디바이스 (18), CPU (45), 및 GPU (48) 에 의해 액세스가능한 프로그램 모듈들 및/또는 명령들 및/또는 데이터를 저장할 수도 있다. 예를 들어, 시스템 메모리 (60) 는 사용자 애플리케이션들 및 그 애플리케이션들과 연관된 그래픽스 데이터를 저장할 수도 있다. 시스템 메모리 (60) 는 컴퓨팅 디바이스 (10) 의 다른 컴포넌트들에 의한 이용을 위한 및/또는 그 다른 컴포넌트들에 의해 생성된 정보를 추가적으로 저장할 수도 있다. 예를 들어, 시스템 메모리 (60) 는 송신기 디바이스 (14) 및 수신기 디바이스 (18) 용 디바이스 메모리 (예를 들어, 수신기 디바이스 (18) 의 카메라 프로세서용 디바이스 메모리) 로서의 역할을 할 수도 있다. 시스템 메모리 (60) 는 예를 들어, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 소거가능한 프로그래밍가능 ROM (EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM (EEPROM), 플래시 메모리, 자기 데이터 매체들 또는 광 저장 매체들과 같은 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함할 수도 있다.

일부 양태들에서, 시스템 메모리 (60) 는 송신기 디바이스 (14), 수신기 디바이스 (18), CPU (45), GPU (48), 및 디스플레이 인터페이스 (56) 로 하여금, 본 개시에서 송신기 디바이스 (14), 수신기 디바이스 (18), CPU (45), GPU (48), 및 디스플레이 인터페이스 (45) 에 주어진 기능들을 수행하게 하는 명령들을 포함할 수도 있다. 이에 따라, 시스템 메모리 (60) 는, 실행될 때, 하나 이상의 프로세서들 (예를 들어, 송신기 디바이스 (14) 및/또는 수신기 디바이스 (18) 의 프로세싱 회로들 및 CPU (45), GPU (48), 및 디스플레이 인터페이스 (56)) 로 하여금 다양한 기능들을 수행하게 하는 저장된 명령들을 갖는 컴퓨터 판독가능 저장 매체일 수도 있다.

일부 예들에서, 시스템 메모리 (60) 는 비일시적 저장 매체이다. 용어 "비일시적" 은 저장 매체가 캐리어파 또는 전파된 신호로 구현되지 않는다는 것을 표시한다. 그러나, 용어 "비일시적" 은 시스템 메모리 (60) 가 비-이동가능하거나 또는 그 콘텐츠들이 정적임을 의미하는 것으로 해석되어서는 안된다. 하나의 예로서, 시스템 메모리 (60) 는 디바이스 (10) 로부터 제거되고, 다른 디바이스로 이동될 수도 있다. 다른 예로서, 메모리는, 시스템 메모리 (60) 와 실질적으로 유사하게, 디바이스 (10) 에 삽입될 수도 있다. 소정의 예들에서, 비일시적 저장 매체는 (예를 들어, RAM 에서) 시간의 경과에 따라 변화할 수 있는 데이터를 저장할 수도 있다.

수신기 디바이스 (18), CPU (45), 및 GPU (48) 는 시스템 메모리 (60) 내에 할당되는 개별의 버퍼들에 심도 맵들, 이미지 데이터, 렌더링된 이미지 데이터 등을 저장할 수도 있다. 디스플레이 인터페이스 (56) 는 시스템 메모리 (60) 로부터 데이터를 취출하고 렌더링된 이미지 데이터에 의해 표현된 이미지를 디스플레이하도록 디스플레이 (58) 를 구성할 수도 있다. 일부 예들에서, 디스플레이 인터페이스 (56) 는 시스템 메모리 (60) 로부터 취출된 디지털 값들을 디스플레이 (58) 에 의해 소비가능한 아날로그 신호로 컨버팅하도록 구성되는 디지털-투-아날로그 컨버터 (DAC) 를 포함할 수도 있다. 다른 예들에서, 디스플레이 인터페이스 (56) 는 프로세싱을 위해 디스플레이 (58) 에 직접 디지털 값들을 전달할 수도 있다.

디스플레이 (58) 는 모니터, 텔레비전, 프로젝션 디바이스, 액정 디스플레이 (LCD), 플라즈마 디스플레이 패널, 발광 다이오드 (LED) 어레이, 음극선관 (CRT) 디스플레이, 전자 페이퍼, SED (surface-conduction electron-emitted display), 레이저 텔레비전 디스플레이, 나노결정 디스플레이 또는 다른 타입의 디스플레이 유닛을 포함할 수도 있다. 디스플레이 (58) 는 컴퓨팅 디바이스 (10) 내에 통합될 수도 있다. 예를 들어, 디스플레이 (58) 는 모바일 전화기 핸드셋 또는 태블릿 컴퓨터의 스크린일 수도 있다. 대안적으로, 디스플레이 (58) 는 유선 또는 무선 통신 링크를 통해 컴퓨팅 디바이스 (10) 에 커플링된 스탠드-얼론 디바이스일 수도 있다. 예를 들어, 디스플레이 (58) 는 케이블 또는 무선 링크를 통해 개인 컴퓨터에 접속된 컴퓨터 모니터 또는 플랫 패널 디스플레이일 수도 있다.

도 3 은 본 개시에서 설명된 하나 이상의 예의 기법들을 수행하기 위한 이미지 프로세싱의 방법의 플로우 차트이다. 이미지 프로세싱은, 후에 심도의 지각 (perception) 을 뷰어에게 제공하는 스테레오스코픽 이미지들을 생성하는데 이용될 수 있는 오브젝트의 심도 맵을 생성하기 위한 것일 수도 있다.

예시한 바와 같이, 송신기 디바이스 (14) 는 광 송신기 (16) 를 통해 구조화된 광을 송신할 수도 있고, 광 송신기 (16) 는 송신기 광축 (22B) 에 대해 제 1 화각 (17) 을 갖는다 (예를 들어, 정의한다) (70). 구조화된 광을 송신하는 것은 구조화된 광을 통해 패턴을 송신하는 것을 포함할 수도 있다. 수신기 디바이스 (18) 는, 광 수신기 (20) 를 통해, 구조화된 광의 반사를 수신할 수도 있고, 광 수신기 (20) 는 수신기 광축 (24) 에 대해 제 2 화각 (19) 을 갖는다 (예를 들어, 정의한다) (72). 구조화된 광의 반사를 수신하는 것은 반사를 통해 왜곡된 패턴을 수신하는 것을 포함할 수도 있다.

수신기 디바이스 (18) 는 수신기 디바이스 (18) 의 프로세싱 회로를 통해, 구조화된 광의 수신된 반사에 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성할 수도 있다 (74). 예를 들어, 수신기 디바이스 (18) 의 프로세싱 회로부는 Z 에 대한 식의 연산들을 수행할 수도 있고, 여기서 이다. 수신기 디바이스 (18) 의 프로세싱 회로부는 각각의 수신된 엘리먼트에 대한 심도 값 (Z) 을 결정하기 위해 식의 연산들을 수행할 수도 있다. 상기 설명한 바와 같이, Z 에 대한 식은 틸트각을 보상하는데 이용되는 스케일링을 표현한다. 스케일링은 틸트각 및 초점 거리 f 에 기초하여 수행된다. 또한, 식에서, 심도 맵은 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 스케일링된 포지션 (예를 들어, xR), 구조화된 광의 수신된 반사에서의 개별의 엘리먼트 (예를 들어, xR) 에 대응하는 구조화된 광에서의 각각의 엘리먼트 (예를 들어, xT), 광 수신기 (20) 의 초점 거리 (예를 들어, f), 및 광 송신기 (16) 와 광 수신기 (20) 간의 거리 (예를 들어, 베이스라인 거리 (B)) 로부터 생성된다.

GPU (48) 는 생성된 심도 맵에 기초하여 하나 이상의 이미지들에 대한 그래픽 데이터를 생성할 수도 있다 (76). 예를 들어, 심도 맵은 디바이스 (10) 로부터의 오브젝트들의 상대 거리들을 표시한다. GPU (48) 는 제 1 이미지 및 제 2 이미지를 생성할 수도 있고, 여기서 제 1 이미지 및 제 2 이미지는 실질적으로 유사한 콘텐츠를 포함한다. 그러나, 콘텐츠 간에는 수평 디스패리티가 존재한다. 하나의 예로서, GPU (48) 는 뷰어가 제 1 및 제 2 이미지 양자 모두를 함께 뷰잉할 때 뷰어가 심도 맵으로 표시된 거리에서 오브젝트를 감지하도록 제 1 및 제 2 이미지에서의 오브젝트들에 추가할 수평 디스패리티의 양을 결정할 수도 있다.

예를 들어, 테스팅으로부터 및 디스플레이 (58) 의 사이즈에 기초하여, 제조자는 제 1 및 제 2 이미지 간의 주어진 디스패리티에 대해 뷰어가 오브젝트를 감지하는 디바이스 (10) 로부터 떨어져 있는 거리를 결정할 수도 있다. 뷰어가 이미지를 감지하는 거리 및 이미지들에서의 디스패리티 간의 관계에 기초하여, 제조자 또는 컴퓨터 모델은 심도 (예를 들어, 디바이스 (10) 로부터 떨어져 있는 거리) 와 디스패리티 간의 관계를 추출할 수도 있다. GPU (48) 또는 디바이스 (10) 의 일부 다른 유닛은 이 관계 정보를 저장하고 예의 기법들을 통해 결정된 심도 맵에 기초하여, 2 개의 이미지들에서의 오브젝트들에서의 디스패리티를 결정할 수도 있고, GPU (48) 는 오브젝트들에서 결정된 디스패리티를 갖도록 이미지들을 렌더링한다.

다른 예로서, GPU (48) 또는 디바이스 (10) 의 일부 다른 유닛은 제 1 및 제 2 이미지들에서의 오브젝트들 간의 디스패리티 및 심도를 연관시키는 룩-업 테이블을 저장할 수도 있다. 심도 맵 및 룩-업 테이블로부터의 결정된 심도에 기초하여, GPU (48) 또는 일부 다른 유닛은 제 1 및 제 2 이미지들에서의 오브젝트들 간의 디스패리티 (예를 들어, 제 1 및 제 2 이미지들에서의 오브젝트들의 포지션) 를 결정한다. GPU (48) 는 제 1 및 제 2 이미지들에서의 오브젝트들의 결정된 포지션들에 기초하여 오브젝트들에서의 결정된 디스패리티를 갖도록 이미지를 렌더링한다.

이전의 예들은 생성된 심도 맵에 기초하여 하나 이상의 이미지들에 대한 그래픽 데이터를 생성하기 위해 2 개의 예의 알고리즘들을 제공하였다. 그러나, 다른 예의 기법들이 가능하고 그 예들은 상기 예들에 제한되는 것으로 간주되어서는 안된다.

일부 예들에서, 수신기 디바이스 (18) 는 광 수신기 (20) 에 대한 광 송신기 (16) 의 틸트각 을 보상하지 않고 수신된 왜곡된 패턴이 송신된 패턴에 대응하는지 여부를 결정할 수도 있다. 수신기 디바이스 (18) 는 왜곡된 패턴이 광 수신기 (20) 에 의해 수신되는 로케이션을 결정하고, 왜곡된 패턴이 광 수신기 (20) 에 의해 수신되는 로케이션 및 광 수신기 (20) 에 대한 광 송신기 (16) 의 틸트각 에 기초하여 심도 맵을 생성할 수도 있다.

일부 예들에서, 심도 맵을 생성하기 위해, 수신기 디바이스 (18) 는 광 수신기 (20) 에 대한 광 송신기 (16) 의 틸트각 및 광 수신기 (20) 의 초점 거리 (f) 에 기초하여 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 포지션을 스케일링할 수도 있다. 수신기 디바이스 (18) 는 구조화된 광의 수신된 반사에서의 각각의 엘리먼트의 스케일링된 포지션, 구조화된 광의 수신된 반사에서의 개별의 엘리먼트에 대응하는 구조화된 광에서의 각각의 엘리먼트, 광 수신기 (20) 의 초점 거리, 및 광 송신기 (16) 와 광 수신기 (20) 간의 거리 (예를 들어, 베이스라인 거리 (B)) 에 기초하여 심도 맵을 생성할 수도 있다.

도 4 는 도 2 의 송신기 디바이스 및 수신기 디바이스를 더 상세히 예시하는 블록 다이어그램이다. 도 4 는 광 송신기 (16) 에 대한 2 개의 포지션들을 예시한다. 대시들에서, 광 송신기 (16) 는 기울어지지 않고 그 송신기 광축은 (예를 들어, 1a 와 유사하게) 광 수신기 (20) 의 수신기 광축과 평행하다. 솔리드 라인에서, 광 송신기 (16) 는 기울어지게 되고 그 송신기 광축은 (예를 들어, 도 1b 와 유사하게) 광 수신기 (20) 의 수신기 광축과 교차한다.

도 4 는 또한, 광 송신기 (16) 가 송신하는 구조화된 광이 광 수신기 (20) 에 반사되는 각각의 오브젝트들인 오브젝트들 (78 및 80) 을 예시한다. 예의 기법들에서, TX-프로세싱 회로 (82) 는 메모리 (86) 로부터 코드워드를 수신하고 광 송신기 (16) 로 하여금 그 코드워드를 갖는 구조화된 광을 송신하게 할 수도 있다. 이 구조화된 광은 오브젝트 (78) 및 오브젝트 (80) 에서 광 수신기 (20) 위로 반사할 것이다. RX-프로세싱 회로 (84) 는 수신된 구조화된 광을 코드워드로 컨버팅하고, 컨버팅된 코드워드와 메모리 (88) 에 저장된 코드워드들을 비교하여 수신된 광이 실제로 인정된 코드워드를 포함하고 주변 광이 아닌지 확인할 수도 있다. 구조화된 광에 대해, RX-프로세싱 회로 (84) 는 구조화된 광의 코드워드가 광 수신기 (20) 상에 캡처된 위치를 결정하고, 수신된 코드워드의 포지션에 기초하여 오브젝트들 (78 및 80) 의 심도를 결정할 수도 있다.

심도를 결정하기 위한 동작들을 설명하기 이전에, 다음은 수행될 수도 있는 기울어짐 및 보상의 추가적인 설명을 제공한다. 도 4 에서, 대시 라인은, 후에 오브젝트 (78) 에서 바운싱하고 광 수신기 (20) 의 중간쯤으로 반사하는 광 송신기 (16) 의 기울어지지 않은 (non-tilted) 예 (대시 버전) 에 의해 출력되는 것으로서 예시된다. 또한, 하나의 솔리드 라인은, 후에 오브젝트 (78) 에서 바운싱하고 광 수신기 (20) 의 단부 가까이로 반사하는 광 송신기 (16) 의 기울어진 버전 (솔리드 버전) 에 의해 출력되는 것으로서 예시된다.

예시한 바와 같이, 구조화된 광이 광 수신기 (20) 상에서 반사하는 포지션은, 광 송신기 (16) 의 기울어지지 않은 버전에 대한 것과는 광 송신기 (16) 의 기울어진 버전에 대해 상이하다. 따라서, 보상 없이, RX-프로세싱 회로 (84) 는 광 송신기 (16) 의 기울어진 버전 및 광 송신기 (16) 의 기울어지지 않은 버전에 대해 오브젝트 (78) 에 대한 상이한 심도들을 결정할 수도 있다. 이에 따라, 심도 맵을 결정하는 목적들을 위해, RX-프로세싱 회로 (84) 는 상기 설명한 바와 같이, 요 보상 (예를 들어, 을 수행할 수도 있다.

개별의 심도들을 결정하기 위한 일 예의 알고리즘을 참조하면, 예시한 바와 같이, 기울어진 광 송신기 (16) 에 의해 송신되는 것으로서 예시된 제 1 솔리드 라인은 오브젝트 (78) 에서 광 수신기 (20) 의 좌측 에지로부터 거리 (d1) 만큼 떨어진 광 수신기 (20) 위로 반사한다. 기울어진 광 송신기 (16) 에 의해 송신되는 것으로서 예시된 제 2 솔리드 라인은 오브젝트 (80) 에서 광 수신기 (20) 의 좌측 에지로부터 거리 (d2) 만큼 떨어진 광 수신기 (20) 위로 반사한다. RX-프로세싱 회로 (84) 는 각각 거리들 (d1 및 d2) 에 기초하여 오브젝트 (78 및 80) 의 심도를 결정할 수도 있다. 예를 들어, 디바이스 (10) 에 더 가까운 오브젝트들은 디바이스 (10) 로부터 더 멀리 떨어져 있는 오브젝트들보다 광 수신기 (20) 의 에지로부터 더 멀리 반사하는 경향이 있다. 예시한 바와 같이, 오브젝트 (80) 는 오브젝트 (78) 보다 더 멀리 떨어져 있다. 따라서, 오브젝트 (78) 의 반사로부터의 거리 (d1) 는 오브젝트 (80) 의 반사로부터의 거리 (d2) 보다 광 수신기 (20) 의 에지로부터 더 멀리 떨어져 있다.

하나 이상의 예의 기법들에서, 광 송신기 (16) 의 포지션은 수신기 디바이스 (18) 에 대해 일정하다 (예를 들어, 그들 개별의 포지션들은 고정되고 서로에 대해 움직이지 않는다). 광 송신기 (16) 가 오브젝트 상에 스캐닝 패턴으로 광 신호들을 출력하게 하고, 광 수신기 (20) 가 이러한 스캐닝 패턴을 수신하게 하는 것보다는, 광 송신기 (16) 는 광 수신기 (20) 에 대해 일정한 포지션으로 고정될 수도 있다. 송신기 광축 및 수신기 광축은 각도 가 심도 맵의 생성 동안에 변화하지 않도록 동일한 포인트에서 항상 교차할 수도 있다.

또한, 광 송신기 (16) 로 송신된 구조화된 광은 RX-프로세싱 회로 (84) 에 의한 심도 맵의 생성 내내 동일할 수도 있다. TX-프로세싱 회로 (82) 는 특정한 패턴을 갖는 구조화된 광을 출력할 수도 있고, 그 패턴의 반사로부터, RX-프로세싱 회로 (84) 는 심도 맵을 생성할 수도 있다. 송신되고 수신되는 하나의 구조화된 광 패턴이 존재할 수도 있고, 이 하나의 구조화된 광 패턴으로부터, RX-프로세싱 회로 (84) 는 심도 맵을 결정할 수도 있다.

도 5 는 요에 따른 근시야 및 원시야의 온셋을 예시하는 그래프이다. 도 5 에서, 하부 라인은 틸트각 에 따라 근시야의 거리가 어디에서 오버랩하는지를 예시하고, 상부 라인은 틸트각 에 따라 원시야의 거리가 어디에서 오버랩하는지를 예시한다.

도 5 의 하부 라인에 의해 예시한 바와 같이, 틸트각 이 증가함에 따라, 근시야는 디바이스 (10) 에 더 가까워지지만, 원시야가 또한 가까워진다. 예를 들어, 다시 도 1b 를 참조하면, 틸트각 이 증가함에 따라, 포인트 (34) 는 디바이스 (10) 에 더 가까워진다 (예를 들어, 거리 (12B) 는 감소한다). 그러나, 도 5 의 상부 라인에 의해 표시한 바와 같이, 틸트각 의 증가는 또한 원시야를 디바이스 (10) 에 더 가깝게 이동시킨다. 예를 들어, 다시 도 1b 를 참조하면, 틸트각 이 증가함에 따라, 포인트 (36) 는 라인 (26) 을 내려서 디바이스 (10) 에 더 가깝게 이동한다. 따라서, 근시야 및 원시야가 어디에 있어야 하는지에 대한 설계에 기초하여 틸트각 을 어느 정도 설정할지에 균형이 있다.

도 6a 및 도 6b 는 근거리 시야 오버랩의 증가를 예시하는 그래프들이다. 도 6a 및 도 6b 는 상이한 요각 (yaw angle) 들 에 대한 시야의 수평 오버랩을 예시한다. 상부 라인 (90) 은 2°요각에 대한 것이고, 그 다음 라인 (92) 은 1.5°각도에 대한 것이고, 그 다음 라인 (94) 은 1°각도에 대한 것이고, 그 다음 라인 (96) 은 0.5°에 대한 것이고, 그리고 그 다음 라인 (98) 은 0°에 대한 것이다. 도 6b 는 상이한 요각들 에 대한 분리를 도시하는 도 6a 의 주밍된 버전이다. 예를 들어, 도 6b 의 라인 (100) 은 도 6a 의 라인 (90) 에 대응하고, 도 6b 의 라인 (102) 은 도 6a 의 라인 (92) 에 대응하고, 도 6b 의 라인 (104) 은 도 6a 의 라인 (94) 에 대응하고, 도 6b 의 라인 (106) 은 도 6a 의 라인 (96) 에 대응하고, 그리고 도 6b 의 라인 (108) 은 도 6a 의 라인 (108) 에 대응한다. 일반적으로, 요를 증가시키면 근거리 시야 오버랩을 증가시킨다. 충분히 큰 범위에서, 요는 감소된 시야를 야기한다.

도 7a 및 도 7b 는 요 및 거리에 따른 근거리 시야 오버랩의 증가를 예시하는 그래프들이다. 도 7a 및 도 7b 에서, y-축은 시야 오버랩 증가이다. 도 7a 에서, x-축은 요각 이고, 도 7b 에서, x-축은 거리이다. 예를 들어, 도 7a 에서, 그래프는 상이한 거리들에 대해 그려지는데, 하부 라인 (118) 은 3.5m 에 대한 것이고, 그 위의 다음 라인 (라인 (116)) 은 1m 에 대한 것이고, 그 위의 라인 (라인 (114)) 은 0.85m 에 대한 것이고, 그 위의 라인 (라인 (112)) 은 0.75m 에 대한 것이고, 그리고 그 위의 라인 (라인 (110)) 은 0.5m 에 대한 것이다. 도 7a 에서, 1.5°의 요각은 거리 3.5m 에서 오브젝트에 대한 단거리 FOV 오버랩 이득을 최대화할 수도 있는 일 예의 요각을 예시하기 위해 예시된다. 도 7b 에서, 그래프는 상이한 요각들 에 대해 그려진다. 상부 라인 (128) 은 2°에 대한 것이고, 그 아래의 다음 라인 (라인 (126)) 은 1.5°에 대한 것이고, 그 아래의 다음 라인 (라인 (124)) 은 1°에 대한 것이고, 그 아래의 다음 라인 (라인 (122)) 은 0.5°에 대한 것이고, 그리고 그 아래의 다음 라인 (라인 (120)) 은 0°에 대한 것이다.

본 개시에서 설명된 예의 기법들에서, 근거리 시야 (예를 들어, 근시야 FOV) 는 다른 예들과 비교하여 디바이스 (10) 에 더 가까울 수도 있다. 예를 들어, 광 송신기 (16) 및 광 수신기 (20) 에 의해 생성된 근시야 FOV 는 광 송신기 (16) 가 광 수신기 (20) 에 대해 각지지 않고 송신기 광축이 수신기 광축과 교차하지 않는 경우와 비교하여 디바이스 (10) 에 더 가깝다.

도 8 은 패턴 왜곡을 예시하는 그래프이다. 예를 들어, 도 8 에서, 가장 왼쪽에는 송신된 패턴을 예시하지만, 반사된 및 수신된 패턴들은 틸트각 으로 인해 왜곡된다 (예를 들어, 수신된 패턴은 반사된 패턴에 대해 약간 기울어지게 된다). 일반적으로, 요로 인한 패턴 왜곡은 작은 틸팅 각도들의 경우 무시해도 될 정도이다. 수신기 디바이스 (18) 는 패턴 검출을 위한 그리드 검출 스킴 내에 패턴 왜곡을 수용할 수도 있다. 예를 들어, 상기 설명한 바와 같이, RX-프로세싱 회로 (84) 는 메모리 (88) 에 저장된 코드워드들에 기초하여 구조화된 광으로부터 패턴을 검출할 필요가 있을 수도 있다. 왜곡이 있다면, RX-프로세싱 회로 (84) 는 패턴 왜곡 보상을 수행할 필요가 있을 수도 있다. 이러한 패턴 왜곡 보상의 하나의 방식은 알려진 요에 기초하여 메모리 (88) 에 저장된 코드워드들을 사전-왜곡시키는 것이고, 따라서 RX-프로세싱 회로 (84) 는 에러들 없이 패턴 검출을 수행할 수도 있다. 다시 말해서, 요각이 알려져 있기 때문에, 왜곡 필드는 사전-컴퓨팅될 수 있고, 고정밀 애플리케이션들을 위해, 그 왜곡은 정확도의 손실 없이 보상될 수 있다. 그러나, 일부 경우들에서, 광 송신기 (16) 의 기울어짐에 의해 야기된 왜곡은 상대적으로 최소일 수도 있는데, 이는 RX-프로세싱 회로 (84) 에 의한 추가적인 보상이 필요하지 않다는 것을 의미한다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터 판독가능 매체 상에 저장되고 하드웨어-기반 프로세싱 회로에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있다. 이 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 비일시적인 유형의 컴퓨터 판독가능 저장 매체들에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

제한 없이 일 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 그 대신에 비일시적, 유형의 저장 매체들로 다이렉팅되는 것으로 이해되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 프로세서들, 이를 테면 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 통합된 또는 별개의 로직 회로부에 의해 실행될 수도 있다. 이에 따라, 용어 "프로세서" 는, 본 명세서에서 사용한 바와 같이, 전술한 구조 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 통합될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.

본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예를 들어, 칩 세트) 를 포함하여, 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 설명되지만, 상이한 하드웨어 구현들에 의한 실현을 반드시 요구하는 것은 아니다. 오히려, 상기 설명한 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에서 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명한 바와 같은 하나 이상의 프로세서들을 포함하여, 상호운용적 하드웨어 유닛들의 콜렉션에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

이미지 프로세싱의 방법으로서,
광 송신기로, 구조화된 광을 송신하는 단계로서, 상기 광 송신기는 송신기 광축에 대해 제 1 화각을 갖는, 상기 구조화된 광을 송신하는 단계;
광 수신기로, 상기 구조화된 광의 반사를 수신하는 단계로서, 상기 광 수신기는 수신기 광축에 대해 제 2 화각을 갖고, 상기 광 송신기는, 상기 송신기 광축이 상기 수신기 광축과 교차하여 그들 간에 각도를 형성하도록 상기 광 수신기에 대해 각지게 (angle) 되고, 그리고 상기 광 수신기에 대한 상기 광 송신기의 포지션은 일정한, 상기 구조화된 광의 반사를 수신하는 단계;
프로세싱 회로로, 상기 광 수신기에서 수신되는, 상기 구조화된 광의 수신된 상기 반사에서의 엘리먼트의 포지션을 스케일링하는 단계로서, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션을 스케일링하는 것은 상기 광 수신기에 대한 상기 광 송신기의 상기 각도 및 상기 광 수신기의 초점 거리에 기초하고, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션은 상기 송신된 구조화된 광에서의 상기 엘리먼트의 포지션에 대응하는, 상기 엘리먼트의 상기 포지션을 스케일링하는 단계; 및
스케일링된 상기 반사에 적어도 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하는 단계를 포함하는, 이미지 프로세싱의 방법.
제 1 항에 있어서,
상기 광 송신기로 송신된 상기 구조화된 광은 상기 심도 맵의 상기 생성 내내 동일한, 이미지 프로세싱의 방법.
삭제
제 1 항에 있어서,
상기 심도 맵을 생성하는 단계는, 상기 스케일링된 반사, 상기 구조화된 광의 수신된 상기 반사에서의 개별의 엘리먼트에 대응하는 상기 구조화된 광에서의 각각의 엘리먼트, 상기 광 수신기의 상기 초점 거리, 및 상기 광 송신기와 상기 광 수신기 간의 거리에 기초하여 상기 심도 맵을 생성하는 단계를 포함하는, 이미지 프로세싱의 방법.
제 1 항에 있어서,
상기 구조화된 광을 송신하는 단계는 상기 구조화된 광을 통해 패턴을 송신하는 단계를 포함하고, 상기 구조화된 광의 반사를 수신하는 단계는 상기 반사를 통해 왜곡된 패턴을 수신하는 단계를 포함하고, 상기 이미지 프로세싱의 방법은,
상기 광 수신기에 대한 상기 광 송신기의 상기 각도를 보상하지 않고 수신된 상기 왜곡된 패턴이 송신된 상기 패턴에 대응하는지 여부를 결정하는 단계를 더 포함하는, 이미지 프로세싱의 방법.
제 5 항에 있어서,
상기 왜곡된 패턴이 상기 광 수신기에 의해 수신되는 로케이션을 결정하는 단계를 더 포함하고,
상기 심도 맵을 생성하는 단계는, 상기 왜곡된 패턴이 상기 광 수신기에 의해 수신되는 상기 로케이션 및 상기 광 수신기에 대한 상기 광 송신기의 상기 각도에 기초하여 상기 심도 맵을 생성하는 단계를 포함하는, 이미지 프로세싱의 방법.
제 1 항에 있어서,
생성된 상기 심도 맵을 수신하는 단계; 및
생성된 상기 심도 맵에 기초하여 상기 하나 이상의 이미지들에 대한 그래픽 데이터를 생성하는 단계를 더 포함하는, 이미지 프로세싱의 방법.
제 1 항에 있어서,
디바이스는 상기 광 송신기 및 상기 광 수신기를 포함하고, 상기 광 송신기 또는 상기 광 수신기 중 하나는 상기 디바이스의 일 면 (face) 과 평행하고, 상기 광 송신기 또는 상기 광 수신기 중 다른 하나는 상기 디바이스의 상기 면에 대해 기울어지게 되는, 이미지 프로세싱의 방법.
제 1 항에 있어서,
상기 광 송신기 및 상기 광 수신기에 의해 생성된 근거리 시야 (FOV) 는, 상기 광 송신기가 상기 광 수신기에 대해 각지지 않고 상기 송신기 광축이 상기 수신기 광축과 교차하지 않는 경우와 비교하여 상기 광 송신기 및 상기 광 수신기를 포함하는 디바이스에 더 가까운, 이미지 프로세싱의 방법.
이미지 프로세싱을 위한 디바이스로서,
구조화된 광을 송신하도록 구성된 광 송신기로서, 상기 광 송신기는 송신기 광축에 대해 제 1 화각을 갖는, 상기 광 송신기;
상기 구조화된 광의 반사를 수신하도록 구성된 광 수신기로서, 상기 광 수신기는 수신기 광축에 대해 제 2 화각을 갖고, 상기 광 송신기는, 상기 송신기 광축이 상기 수신기 광축과 교차하여 그들 간에 각도를 형성하도록 상기 광 수신기에 대해 각지게 되고, 그리고 상기 광 수신기에 대한 상기 광 송신기의 포지션은 일정한, 상기 광 수신기; 및
프로세싱 회로를 포함하고,
상기 프로세싱 회로는,
상기 광 수신기에서 수신되는, 상기 구조화된 광의 수신된 상기 반사에서의 엘리먼트의 포지션을 스케일링하는 것으로서, 상기 엘리먼트의 포지션을 스케일링하기 위해서, 상기 프로세싱 회로는 상기 광 수신기에 대한 상기 광 송신기의 상기 각도 및 상기 광 수신기의 초점 거리에 기초하여 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션을 스케일링하도록 구성되고, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션은 상기 송신된 구조화된 광에서의 상기 엘리먼트의 포지션에 대응하는, 상기 엘리먼트의 상기 포지션을 스케일링하고; 그리고
스케일링된 상기 반사에 적어도 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하도록 구성된, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 광 송신기는 상기 심도 맵의 상기 생성 내내 동일한 구조화된 광을 송신하는, 이미지 프로세싱을 위한 디바이스.
삭제
제 10 항에 있어서,
상기 심도 맵을 생성하기 위해, 상기 프로세싱 회로는, 상기 스케일링된 반사, 상기 구조화된 광의 수신된 상기 반사에서의 개별의 엘리먼트에 대응하는 상기 구조화된 광에서의 각각의 엘리먼트, 상기 광 수신기의 상기 초점 거리, 및 상기 광 송신기와 상기 광 수신기 간의 거리에 기초하여 상기 심도 맵을 생성하도록 구성되는, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 광 송신기는 상기 구조화된 광을 통해 패턴을 송신하도록 구성되고, 상기 광 수신기는 상기 반사를 통해 왜곡된 패턴을 수신하도록 구성되고, 상기 프로세싱 회로는, 상기 광 수신기에 대한 상기 광 송신기의 상기 각도를 보상하지 않고 수신된 상기 왜곡된 패턴이 송신된 상기 패턴에 대응하는지 여부를 결정하도록 구성되는, 이미지 프로세싱을 위한 디바이스.
제 14 항에 있어서,
상기 프로세싱 회로는, 왜곡된 상기 패턴이 상기 광 수신기에 의해 수신되는 로케이션을 결정하도록 구성되고, 그리고 상기 심도 맵을 생성하기 위해, 상기 프로세싱 회로는, 왜곡된 상기 패턴이 상기 광 수신기에 의해 수신되는 상기 로케이션 및 상기 광 수신기에 대한 상기 광 송신기의 상기 각도에 기초하여 상기 심도 맵을 생성하도록 구성되는, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 프로세싱 회로는 제 1 프로세싱 회로를 포함하고, 상기 디바이스는,
상기 제 1 프로세싱 회로로부터 생성된 상기 심도 맵을 수신하고; 그리고
생성된 상기 심도 맵에 기초하여 상기 하나 이상의 이미지들에 대한 그래픽 데이터를 생성하도록 구성된 제 2 프로세싱 회로를 더 포함하는, 이미지 프로세싱을 위한 디바이스.
제 16 항에 있어서,
상기 제 1 프로세싱 회로와 상기 제 2 프로세싱 회로는 동일한 프로세싱 회로인, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 디바이스는,
무선 통신 디바이스, 랩톱, 데스크톱, 태블릿, 카메라, 및 비디오 게이밍 콘솔 중 하나를 포함하는, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 광 송신기 및 상기 광 수신기 중 하나는 상기 디바이스의 일 면과 평행하고, 상기 광 송신기 또는 상기 광 수신기 중 다른 하나는 상기 디바이스의 상기 면에 대해 기울어지게 되는, 이미지 프로세싱을 위한 디바이스.
제 10 항에 있어서,
상기 광 송신기 및 상기 광 수신기에 의해 생성된 근거리 시야 (FOV) 는, 상기 광 송신기가 상기 광 수신기에 대해 각지지 않고 상기 송신기 광축이 상기 수신기 광축과 교차하지 않는 경우와 비교하여 상기 광 송신기 및 상기 광 수신기를 포함하는 상기 디바이스에 더 가까운, 이미지 프로세싱을 위한 디바이스.
저장된 명령들을 포함하는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 이미지 프로세싱을 위한 디바이스의 하나 이상의 프로세서들로 하여금,
상기 디바이스의 광 송신기가 구조화된 광을 송신하도록 하게 하는 것으로서, 상기 광 송신기는 송신기 광축에 대해 제 1 화각을 갖고, 상기 광 송신기는, 상기 송신기 광축이 수신기 광축과 교차하여 그들 간에 각도를 형성하도록 상기 디바이스의 광 수신기에 대해 각지게 되고, 그리고 상기 광 수신기에 대한 상기 광 송신기의 포지션은 일정한, 상기 구조화된 광을 송신하도록 하게 하고;
상기 광 수신기에서 수신되는, 상기 구조화된 광의 수신된 반사에서의 엘리먼트의 포지션을 스케일링하게 하는 것으로서, 하나 이상의 프로세서들로 하여금 상기 구조화된 광의 수신된 반사에서의 엘리먼트의 포지션을 스케일링하게 하는 상기 명령들은 상기 하나 이상의 프로세서로 하여금, 상기 광 수신기에 대한 상기 광 송신기의 상기 각도 및 상기 광 수신기의 초점 거리에 기초하여 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션을 스케일링하게 하고, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션은 상기 송신된 구조화된 광에서의 상기 엘리먼트의 포지션에 대응하는, 상기 엘리먼트의 상기 포지션을 스케일링하게 하고; 그리고
스케일링된 상기 반사에 적어도 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하게 하는 것으로서, 상기 수신된 반사는 상기 광 수신기에 의해 수신되고, 상기 광 수신기는 상기 수신기 광축에 대해 제 2 화각을 갖는, 상기 하나 이상의 이미지들에 대한 심도 맵을 생성하게 하는, 컴퓨터 판독가능 저장 매체.
제 21 항에 있어서,
상기 광 송신기로 송신된 상기 구조화된 광은 상기 심도 맵의 상기 생성 내내 동일한, 컴퓨터 판독가능 저장 매체.
삭제
이미지 프로세싱을 위한 디바이스로서,
구조화된 광을 송신하기 위한 수단으로서, 상기 송신하기 위한 수단은 송신기 광축에 대해 제 1 화각을 갖는, 상기 구조화된 광을 송신하기 위한 수단;
상기 구조화된 광의 반사를 수신하기 위한 수단으로서, 상기 수신하기 위한 수단은 수신기 광축에 대해 제 2 화각을 갖고, 상기 송신하기 위한 수단은, 상기 송신기 광축이 상기 수신기 광축과 교차하여 그들 간에 각도를 형성하도록 상기 수신하기 위한 수단에 대해 각지게 되고, 그리고 상기 송신하기 위한 수단의 포지션은 상기 수신하기 위한 수단에 대해 일정한, 상기 구조화된 광의 반사를 수신하기 위한 수단;
상기 광 수신기에서 수신되는, 상기 구조화된 광의 수신된 상기 반사에서의 엘리먼트의 포지션을 스케일링하기 위한 수단으로서, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션을 스케일링하기 위한 수단은 상기 수신하기 위한 수단에 대한 상기 송신하기 위한 수단의 상기 각도 및 상기 수신하기 위한 수단의 초점 거리에 기초하여 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션을 스케일링하기 위한 수단을 포함하고, 상기 수신된 반사에서의 상기 엘리먼트의 상기 포지션은 상기 송신된 구조화된 광에서의 상기 엘리먼트의 포지션에 대응하는, 상기 일레먼트의 상기 포지션을 스케일링하기 위한 수단; 및
스케일링된 상기 반사에 적어도 기초하여 하나 이상의 이미지들에 대한 심도 맵을 생성하기 위한 수단을 포함하는, 이미지 프로세싱을 위한 디바이스.
제 24 항에 있어서,
상기 송신하기 위한 수단은 상기 심도 맵의 상기 생성 내내 동일한 구조화된 광을 송신하는, 이미지 프로세싱을 위한 디바이스.
삭제
제 24 항에 있어서,
상기 수신하기 위한 수단은 수신하기 위한 제 1 수단을 포함하고, 상기 생성하기 위한 수단은 생성하기 위한 제 1 수단을 포함하며, 상기 디바이스는:
생성된 상기 심도 맵을 수신하기 위한 제 2 수단; 및
생성된 상기 심도 맵에 기초하여 상기 하나 이상의 이미지들에 대한 그래픽 데이터를 생성하기 위한 제 2 수단을 더 포함하는, 이미지 프로세싱을 위한 디바이스.
제 24 항에 있어서,
상기 송신하기 위한 수단 또는 상기 수신하기 위한 수단 중 하나는 상기 디바이스의 일 면과 평행하고, 상기 송신하기 위한 수단 또는 상기 수신하기 위한 수단 중 다른 하나는 상기 디바이스의 상기 면에 대해 기울어지게 되는, 이미지 프로세싱을 위한 디바이스.
제 24 항에 있어서,
상기 송신하기 위한 수단 및 상기 수신하기 위한 수단에 의해 생성된 근거리 시야 (FOV) 는, 상기 송신하기 위한 수단이 상기 수신하기 위한 수단에 대해 각지지 않고 상기 송신기 광축이 상기 수신기 광축과 교차하지 않는 경우와 비교하여 상기 송신하기 위한 수단 및 상기 수신하기 위한 수단을 포함하는 상기 디바이스에 더 가까운, 이미지 프로세싱을 위한 디바이스.