KR20170027776A

KR20170027776A - 구조화 광 이미징용 광 패턴 조정을 위한 방법 및 시스템

Info

Publication number: KR20170027776A
Application number: KR1020177001109A
Authority: KR
Inventors: 가이 라즈
Original assignee: 페이스북, 인크.
Priority date: 2014-07-08
Filing date: 2015-07-07
Publication date: 2017-03-10
Also published as: IL249931A0; WO2016005976A3; CA2954430A1; CN106716175B; EP3167311A4; EP3167311A2; AU2015287252B2; CN110360953A; MX2017000193A; JP2017521660A; US20190285405A1; KR102372449B1; US20170199029A1; US10408605B2; EP3627186A1; WO2016005976A2; AU2015287252C1; EP3167311B1; MX364492B; BR112017000460A2

Abstract

조정가능한 광 패턴을 생성하기 위한 시스템 및 방법이 본 명세서에 제공된다. 시스템은: 기정의된 기준에 기반하여 조정되는 패턴화 광으로 장면을 조명하도록 구성된 송신기; 조정된 패턴화 광의반사를 수신하도록 구성된 수신기; 및 장면 내에서 사물의 깊이 맵을 생성하기 위해, 패턴화 광의 조정을 제어하고 수신된 반사를 더 분석하도록 구성된 컴퓨터 프로세서를 포함하며, 상기 송신기는: 광 빔을 생성하도록 구성된 광원; 데카르트 x-y-z 좌표계에서 x-y 평면상에 선을 대략 따라 기울어질 수 있는 제1 반사기; 및 상기 좌표계에서 z-축을 따라 기울어질 수 있는 제2 반사기를 포함하고, 상기 반사기들은 조정된 패턴화 광을 생성하기 위해 광 빔을 우회시키도록 그들 각각의 축을 따라 앞뒤로 기울어진다.

Description

구조화 광 이미징용 광 패턴 조정을 위한 방법 및 시스템{METHOD AND SYSTEM FOR ADJUSTING LIGHT PATTERN FOR STRUCTURED LIGHT IMAGING}

본 발명은 일반적으로 구조화 광에 관한 것으로서, 더욱 특히 구조화 광 시스템에서 광 패턴을 조정하는 것에 관한 것이다.

본 발명의 배경을 기재하기에 앞서, 이하의 명세서에서 사용될 특정 용어의 정의를 기재하는 것이 유용할 것이다.

본 명세서에서 사용되는 용어 "구조화 광(structured light)"은 알려진 패턴의 픽셀(예컨대, 그리드나 수평 바)을 장면 상에 투사하는 프로세스로 정의된다. 투사된 패턴화 광은 표면에 부딪힐 때 변형되고, 변형의 분석은 장면에서 사물의 깊이 및 표면 정보를 비전 시스템이 계산하도록 허용한다. 어떻게 구조화 광이 구현되는지의 추가 세부사항을 제공하기 위해, 오로지 예시적인 목적으로 국제공개공보 WO2013088442호가 본 명세서에 전체가 참조로 통합된다.

본 명세서에 사용되는 용어 "공간 코딩(spatial coding)"은 장면에 투사되고 센서의 카메라에 의해 이미징되는 고정 패턴으로 정의된다. 고정 패턴은, 국소 인접 영역을 고려함으로써 패턴의 각 영역이 등극선을 따라 고유하게 식별될 수 있도록 디자인된다. 이 방법은 투사된 패턴 전력 사용 및 획득 시간에 있어 효율적이지만, 각각의 레이블에 몇몇 픽셀을 공여할 것을 요구하며, 따라서 낮은 공간 해상도를 발생시킨다. 주요 단점은 고정 패턴이 상이한 패턴을 사용함으로써 상이한 장면 조건들에 대응할 유연성이 부족하다는 것이다. 도 1a는 종래 기술에 따른 파선을 나타내는 고정 광 패턴(100A)을 도시한다. 고정 패턴은 보강 및 상쇄 간섭의 조합을 발생시키도록 구성된 위상 시프터 마스크를 사용하여 구현될 수 있다.

본 명세서에 사용되는 용어 "시간 코딩(temporal coding)"은 일련의 패턴에 의해 장면을 조명하는 것으로 정의된다. 패턴 열은 특정 등극선에서 각각의 패턴 위치가 고유의 시계열에 의해 코딩되도록 디자인된다. 상기 방법은 정확하고 유연성을 가질 수 있으나, 전력 효율이 없고 긴 획득 시간이 있어야 한다. 도 1b는 각각의 타임 스탬프들 t1, t2, t3 및 t4에 대한 고유의 수직선(111, 112, 113, 114)을 표시하는 종래 기술에 따른 시간 광 패턴(100B)을 도시한다.

패턴을 동적으로 변화하는 능력이 매우 바람직하지만, 그에 따른 전력 비효율은 많은 활용에서 매력적이지 않도록 만든다. 동적 패턴을 허용하기 위해, 전형적으로 이미지 소스가 사용된다. 이러한 이미지 소스는, 패턴의 밝고 어두운 영역들을 생성하도록 변조된 광원을 형성하는 이미지로 장면을 점진적으로 스캔하거나 동시에 조명한다. 광원의 최대 출력을 고려하면, 그것의 변조는 "온(on)" 시간을 감소시키고, 따라서 총 출력 전력을 감소시킨다.

스캔 거울 시스템을 사용하여 투사되는 광원의 예로 연속파(CW) 레이저 다이오드를 고려한다. 이러한 레이저 다이오드는 일정량의 최대 광 출력을 방출할 수 있다. 광이 원하는 패턴을 생성하기 위해 변조될 때, 평균 강도는 변조에 의해 감소하고 따라서, 휘도 손실이 발생한다. 이러한 절충은 어떠한 이미지 투사 방법의 표준 사용에 있어서도 사실이다.

본 발명의 일부 실시예는 고정 패턴화 광의 전술한 단점, 즉 유연성의 부족과 낮은 에너지 효율 및 더 긴 장면 획득 시간인 시간 코딩의 단점을 극복한다.

본 발명의 실시예는 구조화 광 이미징 장치를 위해 광 패턴을 조정하는 시스템을 제공한다. 시스템은: 기정의된 기준에 기반하여 조정되는 패턴화 광으로 장면을 조명하도록 구성된 송신기; 조정된 패턴화 광의 반사를 수용하도록 구성된 수신기; 및 장면 내에서 사물의 깊이 맵을 생성하기 위해, 수신된 반사들을 추가로 분석하고 패턴화 광의 조정을 제어하도록 구성된 컴퓨터 프로세서를 포함하며, 상기 송신기는: 광 빔을 생성하도록 구성된 광원; 데카르트 x-y-z 좌표 시스템에서 x-y 평면상에 대략 -45도를 따라 기울어질 수 있는 제1 반사기; 및 상기 좌표 시스템에서 z-축을 따라 기울어질 수 있는 제2 반사기를 포함하며, 상기 반사기는 조정된 패턴화 광을 생성하기 위한 광 빔을 우회시키기 위해 앞뒤로 그들 각각의 축을 따라 기울어진다.

본 발명의 이러한 장점, 추가적 및/또는 다른 양태 및/또는 장점은 이하의 상세한 설명에 기재되거나; 상세한 설명으로부터 아마도 추론가능하거나, 및/또는 본 발명의 실시예의 구현에 의해 습득가능하다.

본 발명의 내용 중에 포함되어 있다.

본 발명의 실시예의 더 나은 이해와 어떻게 실시예가 실제로 수행될 수 있는지를 보여주기 위해, 동일한 참조번호가 전체에 걸쳐 해당 구성 또는 섹션을 가리키는 첨부 도면에 대한 참조가 이제 순전히 예시적인 목적을 위해 이루어질 것이다.
첨부 도면에서 :
도 1a 및 1b는 종래 기술에 따른 몇몇 공지된 구조화 광 기술을 도시하는 개략도이다.
도 2는 본 발명의 실시예에 따른 시스템을 도시하는 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따른 조정가능한 패턴의 양태를 도시하는 개략도이다.
도 4는 본 발명의 실시예에 따른 조정가능한 패턴의 다른 양태를 도시하는 개략도이다.
도 5는 본 발명의 실시예에 따른 조정가능한 패턴의 또 다른 양태를 도시하는 개략도이다.
도 6은 본 발명의 실시예에 따른 조정가능한 패턴의 또 다른 양태를 도시하는 개략도이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 시스템의 양태를 도시하는 개략도이다.
도 8은 본 발명의 실시예에 따른 양태를 도시하는 다이어그램이다.
도 9는 본 발명의 실시예에 따른 방법을 도시하는 상위 레벨 흐름도이다.
도 10은 본 발명의 실시예에 따른 시스템에 의해 생성된 실제 광 패턴이다.

이제 도면을 상세히 구체적으로 참조하면, 도시된 특정사항은 오로지 본 기술의 바람직한 실시예의 예시적인 논의를 위한 목적 및 예시를 위한 것이며, 본 기술의 이론적 양태 및 원리의 설명을 가장 유용하고 쉽게 이해하는 것을 제공하기 위한 목적으로 제시된다. 이러한 관점에서, 본 기술의 기본적인 이해를 위해 필요한 것보다도 더 상세히 본 기술의 구조적 세부사항을 보여주려 하지 않으며, 도면과 함께 취해지는 설명은 어떻게 본 발명의 다양한 형태가 실제 구현될 수 있는지를 통상의 기술자에게 자명하게 만들 것이다.

본 기술의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 이하의 설명에 기재되거나 도면에 도시된 컴포넌트들의 구성 및 배치의 세부사항으로 그 응용이 제한되지 않음을 이해되어야 한다. 본 기술은 다양한 방식으로 실시 또는 수행되거나 다른 실시예에 적용될 수 있다. 또한, 본 명세서에 사용되는 어구 및 용어는 설명의 목적을 위한 것이며 제한하는 것으로 간주되어서는 안된다는 것을 이해해야 한다.

다르게 특정적으로 기재되어 있지 않다면, 이하의 논의로부터 자명하듯이 명세서 전반에 걸쳐 용어, 가령 "프로세싱", "컴퓨팅", "저장", "결정" 등을 사용하는 논의는 컴퓨팅 시스템의 메모리, 레지스터 또는 다른 이러한 정보 저장소, 전송, 또는 디스플레이 장치 내에서 물리적인 양으로 유사하게 표현되는 다른 데이터로 컴퓨팅 시스템의 레지스터 및/또는 메모리 내의 물리적, 가령 전기적인 양으로 표현되는 데이터를 조작 및/또는 변형하는 컴퓨터 또는 컴퓨팅 시스템이나 유사 전자 컴퓨팅 장치의 행위 및/또는 프로세스를 지칭한다.

본 발명의 실시예들은 본 명세서에서 동작을 수행하기 위한 장치를 포함할 수 있다. 이러한 장치는 특수 목적을 위해 구성될 수 있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 컨트롤러, 컴퓨터 또는 프로세서를 포함할 수 있다. 이러한 컴퓨터 프로그램은, 가령 플로피 디스크, 광디스크, CD-ROM, 자성 광디스크, ROMs(read-only memories), RAMs(random access memories), EPROMs(electrically programmable read-only memories), EEPROMs(electrically erasable and programmable read only memories), 자성 또는 광학 카드를 포함하는 임의의 타입의 디스크, 또는 전자 명령어를 저장하기에 적합하고 컴퓨터 시스템 버스에 연결될 수 있는 임의의 다른 타입의 매체와 같으나 이들로 제한되지 않는 컴퓨터 판독가능한 저장 매체(예컨대, 비-일시적 컴퓨터 판독가능한 저장 매체)에 저장될 수 있다. 다양한 프로그래밍 언어가 본 명세서에 기술된 본 발명의 교시를 구현하는데 사용될 수 있음을 인식할 것이다.

본 발명의 실시예는 명령어, 예컨대 프로세서 또는 컨트롤러에 의해 실행될 때, 본 명세서에 개시된 방법을 수행하는 컴퓨터-실행가능한 명령어를 인코딩하거나, 포함하거나, 또는 저장하는 컴퓨터나 프로세서 판독가능한 매체, 또는 컴퓨터나 프로세서 저장 매체, 가령 예컨대 메모리, 디스크 드라이브, 또는 USB 플래시 메모리와 같은 물품을 포함할 수 있다. 프로세서는 마이크로프로세서, 멀티프로세서, 가속 보드, 또는 임의의 다른 직렬 또는 병렬 고성능 데이터 프로세서와 같은 임의의 표준 데이터 프로세서를 포함할 수 있다. 본 발명의 실시예는 컴퓨팅 시스템, 가령 예컨대 운영 시스템, 프로세서, 메모리, 디스크 드라이브, 및 입출력 장치와 같은 표준 컴포넌트를 포함하는 개인용 컴퓨터나 워크스테이션의 일부로 포함될 수 있다. 본 발명의 실시예는 OSX 운영 시스템이나 WINDOWS® 운영 시스템을 제한 없이 포함하는 임의의 장치상의 임의의 운영 시스템과 호환되거나 통합될 수 있다. 대안적 컴퓨터 구성이 가능하며, 본 발명의 시스템 및 방법은 핸드-헬드, 장착형 또는 모바일 컴퓨팅 시스템을 제한 없이 포함하는 다양하고 적절한 컴퓨팅 시스템들에서 구현될 수 있다.

도 2는 본 발명의 실시예에 따른 시스템(200)의 개략적인 블록도이다. 시스템(200)은 하드웨어 및 소프트웨어의 조합에 의해 구현되고 조정가능한 광 패턴을 생성하고 분석하도록 구성되며, 조정가능한 패턴은 구조화 광의 공간 코딩을 위해 사용가능하다. 시스템(200)은 송신기(210), 수신기(220) 및 컴퓨터 프로세서(230)를 포함할 수 있다.

(x-축은 좌측으로 향하고, y-축은 위쪽을 향하며, z-축은 페이지 내부를 향하는 x-y-z 데카르트 좌표 시스템에 도시되는) 송신기(210)는, (예컨대, 컴퓨터 프로세서(230))에 의해 기울어질 수 있고 제어가능한 제1 반사기(214)(예컨대, 거울) 위로 향하는 광 빔(예컨대, 레이저)을 생성하도록 구성된 광원(212)을 포함할 수 있고, 제1 반사기(214)는 주기적인 스캐닝 운동을 하며(예컨대, 정현파 운동, 기정의된 각도의 섹터에서 앞뒤로 스캐닝) x-y-z 데카르트 좌표 시스템에서 x-y 평면상에 대략 -45°직선을 따르는 제1 축(예컨대, 수평으로, H를 의미함)을 중심으로 기울어져 광 빔을 앞뒤로 스캐닝하는 운동으로 폴딩하는 것을 발생시킬 수 있다. 유사하게, 송신기(210)는 제1 반사기(214)에 의해 폴딩된 후 광의 광 경로를 따라 위치할 수 있는 제2 반사기(216)(예컨대, 거울)를 더 포함할 수 있다. 제2 반사기(216)는 또한, (예컨대, 컴퓨터 프로세서(230)에 의해) 모두 기울어질 수 있고 제어가능하여 제2 반사기(216)가 (예컨대, 정현파 운동에서 기정의된 각도의 섹터로 앞뒤로 스캐닝하는) 주기적인 스캐닝 운동하여 동일한 x-y-z 데카르트 좌표계에서 z-축(예컨대, 수직의, V로 표시)인 제2 축에 대해 기울어질 수 있고, 제2 반사기(216)의 기울기 축과 제1 반사기(214)의 기울기 축은 실질적으로 수직(예컨대, 각각의 상기 기울기 축을 교차하는 수직선에 대해 +10°에서 -10° 사이)이다. 따라서, 제2 반사기(216)에 도달하는 광 빔은 (예컨대, 광원(212)을 떠남에 따라 광 빔의 원래 방향에 실질적으로 평행인 방향으로) 다시 폴딩된다. 2개의 반사기의 동기화된 기울어짐은 따라서 장면에서 조정가능한 광 패턴을 생성하고, 이들의 경계는 이하에서 상세히 기술되는 것처럼 장면 내에서 하나 이상의 섹터에 대해 조정가능하며 제한될 수 있다.

또한, 본 발명의 실시예에 따르면, 제1 반사기(214)의 스캐닝 속도 및 제2 반사기(216)의 스캐닝 속도는 그들 사이에서 일정한 비율을 보인다(예컨대, 수평 스캐닝 반사기의 스캐닝 속도와 수직 스캐닝 반사기의 스캐닝 속도 사이의 비율은 정수이다). 결국, 송신기(210)에 의해 생성되고 장면(10)으로 투사된 패턴화 광은 가령 폐쇄된 리 사쥬 곡선과 같은 복잡한 조화 곡선을 제공한다.

본 발명의 일부 실시예에 따르면, 2개의 스캐닝 속도(예컨대, 수평 및 수직) 사이의 비율은, 이하에서 더 상세히 설명될 장면에서 시간에 걸쳐 변화할 수 있는 다양한 인자들에 대해 패턴을 조정하기 위해 시간에 걸쳐 제어될 수 있는 실질적으로 지그소우(jigsaw) 패턴을 생성하도록 선택된다.

본 발명의 일부 실시예에 따르면, 제1 및 제2 반사기(214, 216)는 요구되는 빔 변형을 허용하도록 선택된 수치를 갖는 MEMS(micro electro mechanic system) 내의 거울로서 구현될 수 있다. 거울 구동은 정전기, 자기, 또는 압전기적이거나 이와 유사할 수 있다.

본 발명의 일부 실시예에 따르면, 광원(212)은 약 830nm의 파장을 갖는 평행 단일 모드 레이저일 수 있다. 광의 시준은 간단한 굴절 또는 회절 렌즈에 의해 달성될 수 있다.

수신기(220)는 장면(10)으로부터의 광 패턴의 반사가 수집되는 광학계(222) 및 CMOS(complimentary metal oxide substrate) 매트릭스 검출기의 형태가 가능한 센서(224)를 포함할 수 있다. 센서(224)는 장면(10)에서 동적인 변화를 감지하기에 충분한 리프레시 속도로 반사를 검출하도록 구성될 수 있다. 추가적으로, 속도는 곡선을 따라 그려질 시간이 소요되는 전송 패턴 전체를 관찰하는 것을 가능하게 하도록 충분해야 한다.

컴퓨터 프로세서(230)는 송신기(210)의 컴포넌트들을 제어하고, 또한 수신기(220)에 의해 수신되고 검출된 장면(10)으로부터 오는 패턴화 광의 반사를 분석하도록 구성될 수 있는 컴퓨터 판독가능한 코드(예컨대, 컴퓨터 프로그램이나 소프트웨어)를 실행할 수 있다. 구체적으로, 컴퓨터 프로세서(230)는 구조화 광 분야에서 알려진 공간 코딩 기술을 이용하도록 구성될 수 있다. 이를 위해, 예컨대, 폐쇄된 리사주 곡선을 생성하기 위한 전체 스캔은 적어도 하나의 프레임을 위하여 기인되고, 센서(224)의 통합이 그에 따라 선택된다. 송신기(210)에 의해 생성된 임의의 주어진 (알려진) 패턴에 대해, 컴퓨터 프로세서(230)는 패턴이 정적인 패턴(예컨대, 명시된 섹터를 커버하기 위해 동시에 전송)인 것처럼 최적으로 공간 코딩을 구현하기 위해 그것의 분석을 조정할 수 있다.

바람직하게는, 앞서 설명된 송신기(210)에 의해 생성된 패턴은, 장면 및/또는 송신기로부터 원격으로 위치한 사물(예컨대, 원거리 시나리오) 또는 대안으로 사물이 송신기에 인접하여 위치하는 경우(예컨대, 근거리 시나리오)를 포함하는, 가령 장면과 같은 것 내의 사물 둘 다의 동적 특징에 기반하여 구조화 광 이미징 시스템을 위해 패턴을 맞춤화(tailor)할 수 있다. 또한, 본 발명의 실시예는 필요한 경우, 패턴에 무관하게 그것이 폐쇄된 리사주 곡선이라면 광원(212)의 최대 강도를 사용하도록 인에이블된다. 이것은 다양한 시간 슬롯에서 광원을 종료할 것이 요구되는 스캐닝-생성 광 패턴에 비해 중요한 이점을 제시할 수 있다. 이하에서는 송신기(210)에 의해 송신된 광 패턴을 조정하기 위한 몇몇 예시적이고, 설명적인 비-제한적 실시예와 그들의 해당 이점 및 사용법이 상세히 설명된다.

도 3은 본 발명의 실시예에 따른 조정가능한 패턴의 양태를 도시하는 개략도이다. 광 패턴(300)은, 일정한 강도의 광의 선(310)이 (200Hz의 리프레시 속도로) 앞뒤로 이동하는 독특한 지그소우(jigsaw) 패턴을 보여줄 수 있다. 전술한 바와 같이, 수직 스캐닝 속도 및 수평 스캐닝 속도 사이의 비율은 스캐닝의 각 사이클에서 패턴(300)은 동일하게 유지되도록 유리수인 것이 바람직하다. 이것이 공간 코딩이 달성될 수 있는 선제조건이다. 비율 자체는 아래에서 설명될 것처럼 시간에 걸쳐 변화하지만, 항상 유리수를 반영하는 것이 바람직하다. 반사기(예컨대, 수직 및 수평)가 지그소우 지점(312A-312F)과 패턴(300)의 최상단 및 최하단 선들에서 그들의 스캐닝 운동의 방향을 변경하는 지점들에서, 선(310)은 더 굵게 표시될 수 있으나, 일반적으로 선(310)은 광원(212)의 불필요한 중단 없이 대략 일정한 강도를 보여준다. 또한, 강도는 수평 거울의 속도로 인해 선을 따라 다소 변화할 수 있음을 유의해야 한다. (예컨대, 커버된 영역에 대해 지그소우 패턴에서 선들 사이의 거리가) 충분히 밀집된 광 패턴을 생성하기 위해, 수평축 및 수직축 사이의 비율은 대략 1:10이거나 그 이상일 것이 요구될 수 있다. 전술한 비율은 선들의 개수를 지정하므로 1:10은 오로지 10개의 선만을 제공할 것이며 실용적인 활용을 위해서는 더 많은 수의 선들(예컨대, 100개 이상의 선들)이 요구됨을 유의해야 한다. 높은 스캐닝 속도가 (입체 이미지가 2개의 시점에서 생성되는 축인) 입체축을 따라 요구되며, 이는 추적될 사물, 가령 사용자의 손의 손바닥이나 머리가 수직으로 배향되는 선 패턴화 광을 사용하는 구조화 광 활용에서 대개 수직축이다. 본 출원의 특정 실시예에 따라 패턴의 반사로부터 추출된 깊이 맵이 자세 및 제스처의 인식을 위해 사용될 수 있다.

도 4는 본 발명의 실시예에 따른 조정가능한 패턴의 다른 양태를 도시하는 개략도이다. 광 패턴(400)은, 송신기에 의해 패턴(400)의 잠재적인 커버리지를 정의하는 영역(410)의 서브세트 ROI(region of interest, 420)에서 광 패턴이 집중되는 수치 조정을 도시한다. 패턴(400)의 수치 조정은, 하나 이상의 반사기 각각이 더 작은 섹터를 커버하도록 반사기 각각의 스캔의 길이를 조정함으로써 달성될 수 있다. 반사기의 스캐닝 길이를 제한하는 것은 수직 및 수평 스캐닝 사이의 비율에 영향을 줄 수 있고, 따라서 폐쇄된 리사주 곡선 요구사항을 충족하도록 주의해야 한다. ROI(420)를 조명하는 것은, 원하는 관심 영역으로 더 많은 광을 배치함으로써 SNR(signal to noise ratio) 및 신호 대 배경 비율을 향상시키는데 유용할 수 있다. ROI 조명은 또한, 가령 손(430)의 손바닥과 같은 특정 물체가 더 높은 조명 강도를 요구하거나 장면에서의 다른 물체가 전혀 조명되어서는 안 되는 경우에 유용할 수 있다.

도 5는 본 발명의 특정 실시예에 따른 조정가능한 패턴의 또 다른 양태를 도시하는 개략도이다. 광 패턴(509)은 원래 (최대) 영역(510)을 2개 (이상의) ROI들 - (손의 손바닥을 향하는) 영역(520) 및 사용자의 머리로 향하는 영역(530)으로 조정하는 것을 도시한다. 위의 도 4에 도시된 조정과 반대로, 여기에서 수치 조정은 ROI들(520, 530)이 아닌 임의의 픽셀에서 조명 빔을 종료함으로써 수행된다. 이는 도 4에 도시된 조정의 패턴과 비교하여 일부 에너지 효율성을 이끌어낸다. 그러나, 복수의 ROI들의 사용은, 단일 스캔 사이클에서 상이한 물체들의 동시 조명의 경우처럼 구조화 광 활용의 타입에 따라 때때로 필요할 수 있다.

유사하게, 조명원을 종료하는 것 대신에 그것의 강도가 장면 반사율에서의 강한 변동성을 극복하기 위해 조정될 수 있다. 이러한 방식으로, 더 많은 반사성 장면 부분들이 포화를 피하고 감지 동적 범위를 증가시키기 위해 더 낮은 강도의 패턴으로 투사될 것이다.

도 6은 본 발명의 실시예에 따른 조정가능한 패턴의 또 다른 양태를 도시하는 개략도이다. 광 패턴(610, 620, 630)은 공통 베이스 선으로부터의 상이한 수직 변위를 제외하고는 유사하다. 일부 실시예에 따르면, 시간에 걸쳐 광 패턴을 조정하고 (아마도 주기적으로) 각각의 프레임에 대해 상이한 패턴을 표시하는 것이 가능할 수 있다. 여기서, 예를 들면, 광 패턴(610, 620, 630) 각각은 일련의 프레임 A, 프레임 B, 프레임 C 등에 대응한다. 시간에 걸친 조정은 다수의 노출로부터 더 높은 해상도를 획득하기에 유리할 수 있다. 그것에 대한 예는 선들 사이의 거리의 일부만큼 패턴을 위로 이동시켜서 더 큰 수직선 해상도를 얻는 것이다. 다중 노출의 구현은 다수의 노출을 달성하기 위해 느리게 변화하는 장면이 필요하다. 송신기에 의해 생성된 패턴에 대한 모든 다른 조정에서와 같이, 수신기에는 조정된 모든 패턴의 분석이 여전히 기술분야에서 알려진 공간 코딩과 유사하게 되도록 패턴에 적용되는 조정과 관련된 데이터가 제공된다.

도 7a 내지 7c는 본 발명의 특정 실시예에 따른 시스템의 양태를 도시하는 개략도이다. 도 7b는 벽들 중 하나 근처에 위치하는 본 발명의 실시예에 따른 시스템(200)을 갖는 공간(730B)의 평면도를 도시한다. 도시되는 것처럼, 패턴화 광은 시스템(200)으로부터 전송되고, 광의 일부, 특히 시스템(200)의 우측 및 좌측으로부터 오는 광은 공간(730B)의 벽들(740B)에 부딪친다. 공간(730B)의 전술한 기하학적 구조로 인해, 도 7a에 도시되고 700으로 표시되는 사용된 광 패턴은 더 낮은 강도의 선들(720A)이 선(710B)의 우측 및 선(710A)의 좌측 영역에 있도록 다양한 강도 레벨을 보여주는 것이 바람직할 것이다. 다른 실시예에서, 선 강도의 감소는 점진적이고 공간의 기하학적 구조마다 조정될 수 있다. 도 7c는 (아마도 패턴 선에 대해 더 균일한 강도로) 완전히 상이한 패턴이 필요할 수 있는 벽들(740C)을 갖는 타원형 공간(730C)을 도시한다. 본 발명의 실시예는 공간의 기하학적 구조를 결정하고, 구조화 광 시스템의 효율성을 향상시키기 위해 적절히 광 패턴을 조정한다. 도 8은 본 발명의 또 다른 양태를 도시한다. 패턴(800)은 그것의 선(810)을 따르는 하나 이상의 노치(notch, 820)(모든 노치가 표시되는 것이 아님을 유의해야 함)를 나타내고, 각각의 수평선에 대해 노치는 상이한 위치에 배치된다. 이러한 특징은 노치의 위치에 기반하여 수신기에서 특정 선들을 구별하는 것을 가능하게 함으로써 선들을 인덱싱하는 역할을 할 수 있다. 노치는 명시된 세그먼트를 따르는 임의의 광의 생략일 수 있다. 도 9는 본 발명의 특정 실시예에 따른 방법을 도시하는 상위 레벨 흐름도이다. 방법(900)은 패턴 조정 파라미터(910)를 획득하는 단계를 포함한다. 이들은 사용자 정의되거나 자동으로 정의될 수 있고, 활용에 기반하여 맞춤화된다. 장면은 이후 조정된 패턴(920)으로 조명될 수 있고, 조정된 패턴의 반사는 탐지(930)되며, 여기서 특정 실시예로 전체 조정된 패턴의 탐지는 패턴당 단일 노출에서 수행된다. 추가 노출이 고려된다. 마지막으로, 분사는 다른 구조화 광 방법과 유사한 방식으로 깊이 맵(940)을 생성하기 위해 분석된다.

도 10은 본 발명의 특정 실시예에 따른 시스템에 의해 생성된 실제 광 패턴이다. 패턴(100)에서 보여지는 것처럼, 약 1:100의 비율에서 수평 스캔을 갖는 전후 정현파 운동은 직선 패턴의 근사치를 생성한다.

바람직하게는, 본 발명의 실시예는 공간 및 시간 구조화 광 기술 간의 효율적인 다리로서의 역할을 한다. 실시예는 3차원 데이터의 신속한 추출을 허용하는 일시적 고정 패턴을 제시하지만, 실시예는 또한, 패턴을 수정하여 변화하는 장면 조건과 요구사항에 대해 동적으로 조정할 수 있다. 동적 변경은 현재 장면에 대한 정보를 점진적으로 강화하거나 전력, 신호대잡음 비율, 및 배경 대처와 관련하여 데이터 획득을 최적화하도록 고안될 수 있다.

바람직하게는, 본 발명의 실시예는 불필요하게 비효율적인 "오프 시간"을 요구함이 없이 이용가능한 광원의 이용을 허용하는 패턴을 그것의 최대 잠재력으로 생산하는 효율적인 방식을 제시한다.

따라서, 본 발명의 특정 실시예에 따른 방법은 "온" 기반의 완전한 광 패턴을 사용함으로써 시간적 구조화 광 기술의 주요 단점을 극복하며, 다양한 조건에 적용될 수 없는 패턴의 강성인 공간 구조화 광 기술의 주요 단점을 극복한다.

위의 설명에서, 실시예는 발명의 예시 또는 구현예이다. "일실시예", "실시예", "특정 실시예", 또는 "일부 실시예"의 다양한 출현은 모두 필연적으로 동일한 실시예를 가리키는 것이 아니다.

본 발명의 다양한 특징은 단일 실시예의 문맥에서 기술될 수 있으나, 특징은 또한, 분리되어 또는 임의의 적절한 조합으로 제공될 수 있다. 반면에, 본 발명은 본 명세서에서 명료함을 위해 분리된 실시예들의 문맥에서 기술될 수 있지만, 본 발명은 또한, 단일 실시예에서 구현될 수 있다.

"일부 실시예", "실시예", "하나의 실시예", "특정 실시예" 또는 "다른 실시예"에 대한 본 명세서에서의 참조는 실시예와 연계하여 기술된 특정 특징, 구조, 또는 특성이 적어도 일부 실시예에 포함되지만, 본 발명의 모든 실시예에 필연적으로 포함되는 것은 아님을 의미한다.

본 명세서에서 사용되는 표현 및 용어는 제한적인 것이 아니며 설명적 목적만을 위한 것으로 해석될 것임이 이해될 것이다.

본 발명의 교시의 사용 및 원리는 수반되는 설명, 도면 및 예시를 참조하여 더 잘 이해될 수 있다.

본 명세서에 기재되는 세부사항은 본 발명의 적용에 대한 한계로 해석되지 않는 것으로 이해될 것이다.

또한, 본 발명은 다양한 방식으로 수행되거나 실시될 수 있고, 본 발명은 위의 설명에서 기술된 것들과는 다른 실시예로 구현될 수 있음이 이해될 것이다.

용어 "포함하는(including)", "포함하는(comprising)", "구성하는(consisting)" 및 이들의 문법적 변형은 하나 이상의 컴포넌트, 특징, 단계, 또는 정수나 이들의 그룹의 추가를 배제하지 않으며, 용어는 컴포넌트, 특징, 단계 또는 정수를 특정하는 것으로 해석될 것이다.

명세서 또는 청구범위가 "추가적인" 요소를 지칭한다면, 이는 하나 보다 많은 추가 요소가 있는 것을 배제하지 않는다.

청구범위나 명세서가 "하나의(a)" 또는 "하나의(an)" 구성을 언급한다면, 이러한 언급은 오로지 하나의 구성이 있는 것으로 해석되지 않는다는 것이 이해될 것이다.

명세서가 컴포넌트, 특징, 구조, 또는 특징을 포함 "할 수 있다(may)", "할 수 있다(might)", "가능하다(can)", 또는 "가능할 수 있다(could)"로 기재하는 경우, 그 특정 컴포넌트, 특징, 구조, 또는 특징은 포함될 것이 요구되는 것이 아님을 이해할 것이다.

적용가능한 경우, 상태도, 흐름도 또는 둘 다가 실시예를 기술하는데 사용될 수 있으나, 본 발명은 그러한 다이어그램이나 해당 설명으로 제한되는 것으로 해석되어서는 안 된다. 예를 들어, 흐름은 각각의 도시된 박스나 상태를 통해 이동할 필요가 없거나, 도시되거나 기술된 것과 정확히 동일한 순서로 이동할 필요가 없다.

본 발명의 방법은 선택된 단계 또는 작업을 수동으로, 자동으로, 또는 이들의 조합으로 수행하거나 완료함으로써 구현될 수 있다.

청구범위 및 명세서에 제시되는 설명, 예시, 방법 및 재료는 한정하는 것이 아니며 오로지 예시적인 것으로 해석되어야 한다.

본 명세서에서 사용되는 기술적 및 과학적 용어의 의미는 달리 정의되지 않는다면, 본 발명이 속하는 기술분야의 통상의 기술자에 의해 통상적으로 이해되는 것이다.

본 발명은 본 명세서에 기술된 것들과 유사하거나 균등범위인 방법 및 재료로 시험 또는 수행되어 구현될 수 있다.

본 발명은 제한된 수의 실시예에 관해 기술되었으나, 이것들은 발명의 범위에 대한 제한으로 해석될 것이 아니라, 바람직한 실시예의 일부의 예시로서 해석되어야 한다. 다른 가능한 변형, 수정 및 응용은 또한, 본 발명의 범위 내에 있다. 따라서, 본 발명의 범위는 지금까지 설명된 내용에 의해 한정되지 않고 첨부된 청구범위 및 균등범위에 의해 한정되어야 한다.

Claims

기정의된 기준에 기반하여 조정되는 패턴화 광으로 장면을 조명하도록 구성된 송신기;
조정된 패턴화 광의 반사를 수신하도록 구성된 수신기; 및
장면 내에서 물체의 깊이 맵을 생성하기 위해, 패턴화 광의 조정을 제어하고 수신된 반사를 더 분석하도록 구성된 컴퓨터 프로세서를 포함하며,
상기 송신기는:
광 빔을 생성하도록 구성된 광원;
데카르트 x-y-z 좌표계에서 x-y 평면상에 기울일 수 있는 제1 반사기; 및
상기 데카르트 x-y-z 좌표계에서 z축을 따라 기울일 수 있는 제2 반사기를 포함하고,
상기 반사기는 조정된 패턴화 광을 생성하기 위해 광 빔을 우회시키도록 그들 각각의 축을 따라 기울어지는 시스템.
제 1 항에 있어서,
수신된 반사의 분석은 패턴화 광의 공간 코딩(spatial coding)에 기반하는 시스템.
제 1 항에 있어서,
패턴화 광은 폐쇄된 리사주 곡선(closed Lissajous curve)인 시스템.
제 1 항에 있어서,
패턴의 조정은 반사기의 스캔을 명시된 섹터 내의 제한된 섹터로 제한함으로써 수행되는 시스템.
제 1 항에 있어서,
패턴의 조정은 기정의된 조정 기준을 고려함으로써 수행되는 시스템.
제 1 항에 있어서,
패턴의 조정은 패턴화 광이 조명하는 관심 영역(regions of interest, ROIs)을 생성하기 위해 광 빔의 강도를 감소시킴으로써 수행되는 시스템.
제 1 항에 있어서,
조정은 센서에 의해 캡처된 장면의 각각의 프레임에 대해 상이한 패턴화 광을 설정하는 것을 포함하는 시스템.
제 1 항에 있어서,
조정은 패턴화 광의 상이한 세그먼트들에 대해 상이한 강도를 설정하는 것을 포함하는 시스템.
제 7 항에 있어서,
상이한 강도는 장면의 기하하적 특성에 기반하여 결정되는 시스템.
제 1 항에 있어서,
조명은 가시 파장 내의 레이저를 포함하는 시스템.
제 1 항에 있어서,
컴퓨터 프로세서는 또한, 패턴에서 선들의 수를 변경하기 위해 상대 주파수를 제어하도록 구성되는 시스템.
제 1 항에 있어서,
컴퓨터 프로세서는 또한, 더 높은 해상도를 제공하기 위해 다수의 노출을 생성하도록 구성되는 시스템.
제 1 항에 있어서,
제1 반사기는 대략 x-y 평면에서 45°인 선을 따라 기울일 수 있는 시스템.
제 1 항에 있어서,
반사기는 그들 각각의 축을 따라 앞뒤로 기울일 수 있는 시스템.
광 빔을 생성하는 단계;
데카르트 x-y-z 좌표계에서 x-y 평면상에 제1 반사기를 기울이는 단계;
상기 데카르트 x-y-z 좌표계에서 z축을 따라 제2 반사기를 기울이는 단계;
조정된 패턴화 광의 반사를 수신하는 단계;
패턴화 광의 조정을 제어하는 단계; 및
장면 내에서 물체의 깊이 맵을 생성하기 위해 수신된 반사를 분석하는 단계를 포함하는 기정의된 기준에 기반하여 조정되는 패턴화 광으로 장면을 조명하는 방법으로서,
반사기 둘 다를 기울이는 것은 조정된 패턴화 광을 생성하기 위해 광 빔을 우회시키도록 조율(coordinate)되는 장면을 조명하는 방법.
제 15 항에 있어서,
수신된 반사의 분석은 패턴화 광의 공간 코딩(spatial coding)에 기반하는 장면을 조명하는 방법.
제 15 항에 있어서,
패턴화 광은 폐쇄된 리사주 곡선(closed Lissajous curve)인 장면을 조명하는 방법.
제 15 항에 있어서,
패턴의 조정은 기정의된 조정 기준을 고려함으로써 수행되는 장면을 조명하는 방법.
제 15 항에 있어서,
패턴의 조정은 패턴화 광이 조명하는 관심 영역(regions of interest, ROIs)을 생성하기 위해 광 빔의 강도를 감소시킴으로써 수행되는 장면을 조명하는 방법.
제 15 항에 있어서,
조정은 센서에 의해 캡처된 장면의 각각의 프레임에 대해 상이한 패턴화 광을 설정하는 것을 포함하는 장면을 조명하는 방법.
제 15 항에 있어서,
조정은 패턴화 광의 상이한 세그먼트들에 대해 상이한 강도를 설정하는 것을 포함하는 장면을 조명하는 방법.
제 21 항에 있어서,
상이한 강도는 장면의 기하하적 특성에 기반하여 결정되는 장면을 조명하는 방법.
제 15 항에 있어서,
조명은 가시 파장 내의 레이저를 포함하는 장면을 조명하는 방법.
제 15 항에 있어서,
제1 반사기를 기울이는 단계는 대략 x-y 평면에서 45°인 선을 따르는 장면을 조명하는 방법.
제 15 항에 있어서,
반사기를 기울이는 단계는 그들 각각의 축을 따라 앞뒤로 수행되는 장면을 조명하는 방법.
기정의된 기준에 기반하여 조정되는 패턴화 광으로 장면을 조명하도록 구성된 송신기;
조정된 패턴화 광의 반사를 수신하도록 구성된 수신기; 및
장면 내에서 물체의 깊이 맵을 생성하기 위해, 패턴화 광의 조정을 제어하고 수신된 반사를 더 분석하도록 구성된 컴퓨터 프로세서를 포함하며,
상기 송신기는 조정된 패턴화 광으로서 폐쇄된 리사주 곡선을 생성하도록 동기화된 적어도 2개의 제어가능한 반사기를 포함하는 시스템.