KR20230017929A - 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법 및 장치 - Google Patents

Abstract

감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법들, 시스템들, 및 컴퓨터 판독가능 매체가 설명된다. 일부 양태들에서, 시스템은 적어도 2개의 이미지 센서, 적어도 2개의 프로젝터, 및 프로세서를 포함한다. 각각의 이미지 센서는 물체의 하나 이상의 이미지를 캡처하도록 구성된다. 각각의 프로젝터는 연관된 광학 패턴으로 그리고 상이한 관점으로부터 물체를 조명하도록 구성된다. 프로세서는 각각의 이미지 센서로부터, 각각의 프로젝터에 대해, 연관된 광학 패턴으로 조명된 물체의 이미지들을 수신하는 동작 및 수신된 이미지들로부터, 물체의 3차원 재구성을 생성하는 동작을 수행하도록 구성된다. 3차원 재구성은 수신된 물체의 이미지들이 각각의 프로젝터가 상이한 관점으로부터 연관된 광학 패턴으로 물체를 조명할 때 생성되기 때문에 감소된 왜곡을 갖는다.

Description

감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법 및 장치{METHODS AND APPARATUS FOR GENERATING A THREE-DIMENSIONAL RECONSTRUCTION OF AN OBJECT WITH REDUCED DISTORTION}

본 명세서에 설명된 기법들은 일반적으로 물체의 2차원 이미지들로부터의 3차원(3D) 재구성에 관한 것으로, 특히 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하는 것에 관한 것이다.

진보된 머신 비전 시스템들 및 이들의 기저 소프트웨어의 사용은 다양한 제조 및 품질관리 프로세스들에서 점점 더 이용되고 있다. 머신 비전은 대량 생산 제품 및 주문 제작 제품 둘 다의 생산에서 더 빠르고, 더 정확하고, 반복 가능한 결과들이 획득되는 것을 가능하게 한다. 전형적인 머신 비전 시스템들은 관심 영역으로 지향되는 하나 이상의 카메라, 이미지들을 캡처 및 송신하는 프레임 그래버/이미지 처리 요소들, 컴퓨터 또는 온보드 처리 디바이스, 및 머신 비전 소프트웨어 애플리케이션을 실행하고 캡처된 이미지들을 조작하기 위한 사용자 인터페이스, 및 관심 영역에 대한 적절한 조명을 포함한다.

3D 비전 시스템의 한 형태는 카메라들 간에 1 내지 수 인치의 기준선과 나란한 관계로 배열된 적어도 2개의 카메라를 이용하는 스테레오 카메라들에 기초한다. 스테레오-비전 기반 시스템들은 일반적으로 에피폴라 지오메트리(epipolar geometry) 및 이미지 보정(image rectification)에 기초한다. 이들은 상관 기반 방법들을 이용하거나 또는 완화 기법들과 조합하여 2개 이상의 카메라들로부터의 보정된 이미지들에서의 대응을 찾을 수 있다. 그러나, 낮은 표면 거칠기 및 높은 정반사(specular reflection)를 갖는 물체들의 이미지들은 캡처된 이미지들에서의 과포화(oversaturation)로 이어질 수 있다. 종래의 스테레오 비전 시스템들은 그러한 캡처된 이미지들로부터 물체들의 정확한 3차원 재구성들을 생성하는 이들의 능력이 제한된다.

개시된 주제에 따르면, 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 장치, 시스템, 및 방법이 제공된다.

일부 양태들에서, 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 시스템, 방법, 및/또는 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 시스템은 적어도 2개의 이미지 센서를 포함할 수 있다. 각각의 이미지 센서는 물체의 하나 이상의 이미지를 캡처하도록 구성될 수 있다. 시스템은 연관된 광학 패턴으로 물체를 조명하도록 구성된 적어도 2개의 프로젝터를 포함할 수 있다. 각각의 프로젝터는 상이한 관점으로부터 물체를 조명할 수 있다. 시스템은 적어도 2개의 이미지 센서 각각으로부터, 적어도 2개의 프로젝터의 각각의 프로젝터에 대해, 연관된 광학 패턴으로 조명된 물체의 이미지들을 수신하는 동작을 수행하도록 구성된 프로세서를 포함할 수 있다. 프로세서는, 수신된 이미지들로부터, 물체의 3차원 재구성을 생성하는 동작을 수행하도록 구성될 수 있다. 3차원 재구성은 수신된 물체의 이미지들이 적어도 2개의 프로젝터 각각이 상이한 관점으로부터 연관된 광학 패턴으로 물체를 조명할 때 생성되기 때문에 감소된 왜곡을 갖는다.

일부 실시예들에서, 적어도 2개의 프로젝터 중 하나 이상은 적어도 2개의 이미지 센서의 동작과 동기화되지 않을 수 있다.

일부 실시예들에서, 적어도 2개의 이미지 센서는 동시에 물체의 이미지들을 캡처하기 위해 시간-동기화될 수 있다.

일부 실시예들에서, 적어도 2개의 이미지 센서는 복수의 이미지 센서의 적어도 하나의 서브세트의 일부이고, 적어도 2개의 이미지 센서는 동시에 물체의 복수의 이미지를 캡처하기 위해 시간-동기화된다.

일부 실시예들에서, 적어도 2개의 이미지 센서는 제1 시간에 물체의 하나 이상의 이미지를 캡처하기 위해 서로 시간-동기화된 제1 이미지 센서 및 제2 이미지 센서, 및 제1 시간과 상이한 제2 시간에 물체의 하나 이상의 이미지를 캡처하기 위해 서로 시간-동기화된 제3 이미지 센서 및 제4 이미지 센서를 포함할 수 있다.

일부 실시예들에서, 적어도 2개의 이미지 센서는 동시에 물체의 하나 이상의 이미지를 캡처하기 위해 시간-동기화된 제1 이미지 센서, 제2 이미지 센서, 및 제3 이미지 센서를 포함할 수 있다.

일부 실시예들에서, 적어도 2개의 프로젝터는 제1 프로젝터 및 제2 프로젝터를 포함할 수 있다. 프로세서는 제1 이미지 센서로부터, 제1 시간에 제1 프로젝터로부터의 광학 패턴으로 조명된 물체의 제1 이미지 세트를 수신하는 동작을 수행하도록 구성될 수 있다. 프로세서는 제2 이미지 센서로부터, 제1 시간에 제1 프로젝터로부터의 광학 패턴으로 조명된 물체의 제2 이미지 세트를 수신하는 동작을 수행하도록 구성될 수 있다. 프로세서는 제1 이미지 센서로부터, 제2 시간에 제2 프로젝터로부터의 광학 패턴으로 조명된 물체의 제3 이미지 세트를 수신하는 동작을 수행하도록 구성될 수 있다. 프로세서는 제2 이미지 센서로부터, 제2 시간에 제2 프로젝터로부터의 광학 패턴으로 조명된 물체의 제4 이미지 세트를 수신하는 동작을 수행하도록 구성될 수 있다.

일부 실시예들에서, 적어도 2개의 프로젝터의 상이한 관점들은 제1 관점 및 제2 관점을 포함할 수 있고, 제1 관점과 제2 관점의 분리각(angular separation)은 물체의 표면의 반사 원뿔의 반각보다 클 수 있다.

일부 실시예들에서, 광학 패턴은 움직이는 광학 패턴을 포함할 수 있다.

일부 실시예들에서, 움직이는 광학 패턴은 원형 경로를 따라 병진하는 광학 패턴을 포함할 수 있다.

일부 실시예들에서, 적어도 2개의 이미지 센서는 3개 이상의 이미지 센서들을 포함할 수 있다. 3개 이상의 이미지 센서 중 2개 이상을 포함하는 이미지 센서들의 제1 서브세트는 서로 시간-동기화될 수 있다. 이미지 센서들의 제1 서브세트에 있지 않은 3개 이상의 이미지 센서 중 하나 이상을 포함하는 이미지 센서들의 제2 서브세트는 서로 시간-동기화되지만 이미지 센서들의 제1 서브세트와 시간-동기화되지 않을 수 있다.

일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은 생성 프로세스 동안 왜곡을 식별하는 것 및 적어도 2개의 프로젝터 각각이 상이한 관점들에서 그와 연관된 광학 패턴으로 물체를 조명할 때 생성되는 물체의 이미지들을 사용하여 왜곡을 수정하는 것을 포함할 수 있다.

일부 실시예들에서, 왜곡을 식별하는 것은 상이한 관점들 중 제1 관점의 하나 이상의 이미지에서 왜곡을 식별하는 것을 포함할 수 있다. 왜곡을 수정하는 것은 상이한 관점들 중 제2 관점의 하나 이상의 이미지에 기초하여 왜곡을 수정하는 것을 포함할 수 있다.

일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은, 수신된 이미지들로부터, 높은 신뢰도 값을 갖는 하나 이상의 이미지 포인트를 선택하는 것 및 선택된 이미지 포인트들에 기초하여, 물체의 3차원 재구성을 생성하는 것을 포함한다. 신뢰도 값은 과포화 값, 하나 이상의 다른 이미지 포인트와의 상관 스코어, 및/또는 변조 값에 기초하여 결정될 수 있다.

일부 실시예들에서, 프로세서는, 이미지들이 캡처되기 전에, 연관된 광학 패턴으로 물체를 조명하기 위해 적어도 2개의 프로젝터 중 제1 프로젝터에 대한 제1 명령어를 생성하는 동작을 수행하도록 구성될 수 있다. 프로세서는, 이미지들이 수신되는 것에 후속하여, 연관된 광학 패턴으로 물체를 조명하는 것을 중지하기 위해 적어도 2개의 프로젝터 중 제1 프로젝터에 대한 제2 명령어를 생성하는 동작을 수행하도록 구성될 수 있다.

일부 실시예들에서, 적어도 2개의 이미지 센서 중 적어도 하나는 적어도 2개의 프로젝터의 스펙트럼 범위 밖의 환경 광을 차단하기 위해 프로젝터에 적응된 스펙트럼 필터를 포함한다.

일부 실시예들에서, 스펙트럼 필터는 상이한 파장들에서 동작하는 적어도 2개의 프로젝터를 지원하기 위해 다수의 스펙트럼 대역을 지원한다.

일부 양태들에서, 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 시스템, 방법, 및/또는 컴퓨터 판독가능 저장 매체가 제공될 수 있다. 시스템은 적어도 3개의 이미지 센서를 포함할 수 있다. 각각의 이미지 센서는 상이한 관점으로부터 물체의 하나 이상의 이미지를 캡처하도록 구성될 수 있다. 시스템은 광학 패턴으로 물체를 조명하도록 구성된 프로젝터를 포함할 수 있다. 프로젝터는 적어도 3개의 이미지 센서의 동작과 동기화되지 않을 수 있다. 시스템은, 적어도 3개의 이미지 센서 각각으로부터, 프로젝터로부터의 광학 패턴으로 조명된 물체의 하나 이상의 이미지를 수신하는 동작을 수행하도록 구성된 프로세서를 포함할 수 있다. 프로세서는, 수신된 하나 이상의 이미지로부터, 물체의 3차원 재구성을 생성하는 동작을 수행하도록 구성될 수 있다. 3차원 재구성은 광학 패턴으로 조명된 물체의 수신된 하나 이상의 이미지가 상이한 관점으로부터 적어도 3개의 이미지 센서 각각에 의해 생성되기 때문에 감소된 왜곡을 가질 수 있다.

일부 실시예들에서, 적어도 3개의 이미지 센서는 동시에 물체의 하나 이상의 이미지를 캡처하기 위해 시간-동기화될 수 있다.

일부 실시예들에서, 적어도 3개의 이미지 센서는 복수의 이미지 센서의 적어도 하나의 서브세트의 일부이고, 적어도 3개의 이미지 센서는 동시에 물체의 복수의 이미지를 캡처하기 위해 시간-동기화된다.

이와 같이, 다음에 오는 상세한 설명이 더 잘 이해될 수 있도록 하기 위해, 그리고 본 기술분야에 대한 본 기여가 더 잘 인정될 수 있도록 하기 위해, 개시된 주제의 특징들이 다소 광범위하게 개요화되었다. 물론, 이하에 설명되고 본 명세서에 첨부된 청구항들의 주제를 형성할 개시된 주제의 추가적인 특징들이 있다. 본 명세서에서 이용되는 어법 및 용어는 설명을 위한 것이고 제한하는 것으로 간주되어서는 안 된다는 것을 이해해야 한다.

도면들에서, 다양한 도면들에 예시되는 각각의 동일하거나 거의 동일한 컴포넌트는 유사한 참조 문자로 표현된다. 명료성을 위해, 모든 도면에서 모든 컴포넌트가 라벨링되지는 않을 수 있다. 도면들은 반드시 축척대로 그려진 것은 아니며, 대신에 본 명세서에 설명된 기법들 및 디바이스들의 다양한 양태들을 예시하는 것에 역점을 둔다.
도 1은 일부 실시예들에 따른, 프로젝터 및 2개의 카메라가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 물체의 이미지들을 캡처하도록 배열되는 예시적인 실시예를 도시한다.
도 2는 일부 실시예들에 따른, 2개의 프로젝터 및 2개의 카메라가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 물체의 이미지들을 캡처하도록 배열되는 예시적인 실시예를 도시한다.
도 3은 일부 실시예들에 따른, 제1 관점을 갖는 제1 프로젝터 및 제2 관점을 갖는 제2 프로젝터와 카메라를 사용하여 캡처된 물체의 예시적인 이미지들을 도시한다.
도 4는 일부 실시예들에 따른, 제1 관점을 갖는 제1 프로젝터 및 제2 관점을 갖는 제2 프로젝터와 2개의 카메라를 사용하여 캡처된 물체의 예시적인 이미지들을 도시한다.
도 5는 일부 실시예들에 따른, 물체의 스테레오 이미지들의 예시적인 쌍을 도시한다.
도 6은 일부 실시예들에 따른, 제1 관점을 갖는 제1 프로젝터 및 제2 관점을 갖는 제2 프로젝터를 사용한 물체의 예시적인 3차원 재구성들을 도시한다.
도 7은 일부 실시예들에 따른, 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 예시적인 흐름도를 도시한다.
도 8은 일부 실시예들에 따른, 광학 패턴으로 조명된 물체의 하나 이상의 이미지를 수신하기 위한 예시적인 흐름도를 도시한다.

본 명세서에서 논의된 기법들은 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위해 사용될 수 있다.

다음 설명에서는, 개시된 주제의 철저한 이해를 제공하기 위해, 개시된 주제의 시스템들 및 방법들 및 그러한 시스템들 및 방법들이 동작할 수 있는 환경 등에 관한 다수의 특정 상세가 제시된다. 또한, 아래에 제공되는 예들은 예시적인 것이고, 개시된 주제의 범위 내에 있는 다른 시스템들 및 방법들이 있다고 고려된다는 것이 이해될 것이다.

본 발명자들은, 제조와 같은, 특정 분야들에서, 많은 물체들이 머시닝되고 따라서 그들의 표면 거칠기가 낮을 수 있다는 것을 인식하였다. 낮은 표면 거칠기로 인해, 그러한 물체들은 많은 정반사의 부분 및 적은 난반사의 부분을 가질 수 있다. 따라서, 그러한 물체들은 캡처된 이미지들에서 빛나는 것처럼 보일 수 있다. 패키지 검사를 수반하는 다른 예시적인 분야에서, 많은 물체들은 플라스틱 또는 포일로 패킹되거나, 투명창들을 갖거나, 또는 광택 첨가 페인트로 채색된다. 이들 물체도 캡처된 이미지들에서 빛나는 것처럼 보일 수 있다. 그 후, 그러한 캡처된 이미지들은 과포화될 수 있고 캡처된 이미지들로부터 물체의 정확한 3차원 재구성을 생성하는 시스템의 능력을 방해할 수 있다. 예를 들어, 과포화는 장면의 조명으로 인해 이미지의 부분들이 균일한 컬러 또는 그레이스케일 값(예를 들어, 백색)으로 나타나게 할 수 있다. 이것은, 예를 들어, 그러한 과포화가 3D 재구성에 부정적으로 영향을 미칠 수 있기 때문에 문제가 될 수 있다(예를 들어, 그 영역들이 실제 장면의 상세를 나타내지 않기 때문에, 균일한 컬러는 스테레오 이미지 쌍들 사이의 대응들을 결정하기 어렵게 만들기 때문에, 스테레오 이미지 쌍의 이미지들이 상이한 조명을 캡처할 수 있기 때문에, 및/또는 등등).

일부 실시예들에서, 예를 들어, 물체의 3D 형상을 추정하기 위한 물체의 3차원 재구성은 2개의 카메라 및 단일 프로젝터를 갖는 스테레오 삼각측량 시스템을 사용하여 생성될 수 있다. 본 발명자들은 카메라들에 의해 캡처된 이미지들 내의 특정 포인트들이, 예컨대 프로젝터로부터의 조명으로 인해 과포화될 수 있다는 것을 발견하였다. 예를 들어, 물체의 표면에 떨어지는 투사된 광의 반사 각도가 프로젝터와 제1 카메라(예를 들어, 반사광을 수신하는 카메라) 사이의 반각과 동등한 물체의 임의의 포인트에 대해, 카메라에 의해 캡처된 물체의 이미지는 정반사로 인해 그 포인트에서 과포화될 수 있다. 결과적으로, 동일한 포인트에 대해, 제2 카메라에 의해 캡처된 물체의 이미지는 그 포인트에서 불포화(undersaturated)될 수 있다(예를 들어, 매우 어두울 수 있다). 이것은 광의 대부분(또는 전부)이 반사각 조건을 충족시키는 제1 카메라 내로 반사되기 때문에 발생할 수 있다. 그러한 포인트들에 대해, 2개의 카메라에 의해 캡처된 이미지들 간의 극단적인 포화도의 차이로 인해 포인트의 3D 추정을 재구성하는 것이 어려울 수 있다. 그러한 경우에, 물체의 3차원 재구성 데이터는 2개의 캡처된 이미지 간에 극단적인 포화도의 차이를 갖는 포인트들에서 정보를 누락할 수 있다. 이 결과는 평평한 물체, 예를 들어, 직육면체에 대해 특히 불리할 수 있는데, 그 이유는 그 물체의 많은 부분들이 반사각 조건을 충족시킬 수 있고 물체의 3차원 재구성 데이터가 다수의 대응하는 포인트들에서 정보를 누락할 수 있기 때문이다.

일부 기법들에서, 스테레오 삼각측량 시스템은 카메라 및 프로젝터 둘 다에 보이는 그러한 물체 포인트들에 대해서만 3D 포인트들을 생성할 수 있다. 프로젝터가 가려지거나 이미지들의 부분들 간에 극단적인 차이가 존재하는 경우, 양쪽 카메라들에 보이는 포인트들에서조차, 포인트들이 재구성될 수 없다. 일부 실시예들에서, 스테레오 삼각측량 시스템은 편광된 광을 사용하여 2개의 캡처된 이미지 간의 극단적인 포화도의 차이로부터 발생하는 문제들을 해결할 수 있다. 그러나, 이 접근법은 많은 광을 필요로 할 수 있고 사용되는 광의 75%보다 많이 낭비할 수 있다. 또한, 이 접근법은 광의 부족을 극복하기 어려운 어두운 또는 흑색 물체들, 및/또는 등등에 대해, 큰 시야를 수반하는 응용들에서는 적용가능하지 않을 수 있다.

과포화는 알려진 또는 결정론적 포인트들(예를 들어, 물체의 표면에 떨어지는 투사된 광의 반사각이 프로젝터와 카메라 사이의 반각과 동등한 곳)에서만 발생할 수 있기 때문에, 본 발명자들은 다른 방향으로부터 광을 방출하는 제2 프로젝터가 3D 비전 시스템에서 사용될 수 있다는 것을 인식하고 인정하였다. 예를 들어, 제1 프로젝터에 비해, 제2 프로젝터는 캡처된 이미지들 내의 각각의 물체 포인트에 대한 광의 반사각을 변경하고, 각도 동등성 문제를 피하고/하거나, 과포화를 감소시킬 수 있다. 제2 프로젝터를 갖는 스테레오 삼각측량 시스템을 사용하는 것 또한 제2 프로젝터를 사용하여 캡처된 이미지들에서의 정반사 및 과포화로 이어질 수 있지만, 이미지들 내의 그러한 포인트들은 제1 프로젝터를 사용하여 캡처된 이미지들에서의 포인트들과 상이할 수 있다. 따라서, 본 발명자들은 제1 프로젝터를 사용하여 물체에 대한 하나의 3D 포인트들의 세트를 캡처하는 것, 제2 프로젝터를 사용하여 물체에 대한 다른 3D 포인트들의 세트를 캡처하는 것, 및 그 2개의 3D 포인트들의 세트를 조합하는 것이 전체 물체에 걸쳐 일관되고 조밀한 3D 포인트 데이터를 초래할 수 있다는 것을 인식하고 인정하였다. 또한, 본 발명자들은 프로젝터들 및 카메라들이 동기화될 것을 요구하지 않는, 본 명세서에서 더 논의되는 바와 같은, 기법들을 개발하였다.

일부 실시예들에서, 스테레오 삼각측량 시스템은 제1 프로젝터에 의해 투사된 패턴으로 장면의 N개의 이미지의 세트를 취득하고 물체에 대한 3차원 재구성 데이터 3D 데이터 1을 생성할 수 있다. 시스템은 그 후 제2 프로젝터에 의해 투사된 패턴으로 장면의 N개의 이미지의 다른 세트를 취득하고 물체에 대한 3차원 재구성 데이터 3D 데이터 2를 생성할 수 있다. 마지막으로, 시스템은 3D 데이터 1 및 3D 데이터 2를 조합하여, 예를 들어, 정반사로 인해, 감소된 왜곡을 갖는 물체에 대한 3D 데이터를 생성할 수 있다. 이 프로세스는, 물체에 대한 일관되고 조밀한 3D 데이터가 프로젝터들 및 카메라들의 하드웨어 동기화에 대한 필요 없이 신뢰성 있고 강건한 방식으로 획득될 수 있기 때문에 유리할 수 있다. 일부 실시예들에서, 제2 프로젝터를 추가하는 것은 제1 프로젝터에 보이지 않는 시야 내의 영역을 조명하는 데 도움이 될 수 있고 따라서 물체에 대한 3D 포인트의 양을 증가시킬 수 있다.

도 1은 프로젝터(104) 및 2개의 카메라(106)가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 물체(102)의 이미지들을 캡처하도록 배열되는 예시적인 실시예(100)를 도시한다. 일부 실시예들에서, 프로젝터는 물체 상에 광 또는 광학 패턴을 투사할 수 있고, 각각의 카메라는 연관된 광 또는 광학 패턴을 사용하여 조명된 물체의 이미지를 캡처할 수 있다. 각각의 이미지는 이미지를 구성하는 픽셀들 또는 이미지 포인트들의 세트를 포함한다. 본 명세서에 설명된 카메라들, 예를 들어, 카메라들(106) 각각은 전하 결합 소자(CCD)이미지 센서, 상보성 금속 산화물 반도체(CMOS)이미지 센서, 또는 다른 적합한 이미지 센서를 포함할 수 있다. 일부 실시예들에서, 카메라는 롤링 셔터, 글로벌 셔터, 또는 다른 적합한 셔터 타입을 가질 수 있다. 일부 실시예들에서, 카메라는 GigE Vision 인터페이스, USB(Universal Serial Bus) 인터페이스, 동축 인터페이스, FIREWIRE 인터페이스, 또는 다른 적합한 인터페이스를 가질 수 있다. 일부 실시예들에서, 카메라는 하나 이상의 스마트 기능을 가질 수 있다. 일부 실시예들에서, 카메라는 C-마운트 렌즈, F-마운트 렌즈, S-마운트 렌즈, 또는 다른 적합한 렌즈 타입을 가질 수 있다. 일부 실시예들에서, 카메라는 하나 이상의 프로젝터의 스펙트럼 범위 밖의 환경 광을 차단하기 위해 프로젝터에 적응된 스펙트럼 필터를 가질 수 있다. 일부 실시예들에서, 카메라의 스펙트럼 필터는 상이한 파장들에서 동작하는 다수의 프로젝터를 지원하기 위해 다수의 스펙트럼 대역을 지원한다.

프로젝터(104)는 광을 사용하여 도 4와 관련하여 더 논의되는 패턴과 같은 광학 패턴을 투사할 수 있다. 일부 실시예들에서, 프로젝터(104)는 움직이는 광학 패턴을 투사한다. 일부 실시예들에서, 움직이는 광학 패턴은 원형 경로를 따라 병진하는 광학 패턴을 포함할 수 있다. 일부 실시예들에서, 광학 패턴은 수평 및/또는 수직 방향들로 시프트함으로써 원형 경로를 따라 병진할 수 있어 패턴이 물체 위에서 회전한다(예를 들어, 패턴 자체가 시계방향 또는 반시계방향으로 회전하지 않고).

도 2는 2개의 프로젝터(204A 및 204B)(집합적으로 프로젝터(204)라고 지칭됨 및 2개의 카메라(206)가 스테레오 이미지 대응을 생성하기 위해 일관된 방식으로 물체(202)의 이미지들을 캡처하도록 배열되는 예시적인 실시예(200)를 도시한다. 프로젝터들(204)은 카메라들의 동작과 동기화되지 않을 수 있다. 프로젝터(204)는 동일한 패턴, 유사한 패턴들, 또는 상이한 패턴들을 투사할 수 있다. 일부 실시예들에서, 프로젝터들(204)의 제조의 용이함을 위해, 각각의 프로젝터(204)에 대해 동일한 패턴이 제공될 수 있다. 일부 실시예들에서, 시스템은 각각의 프로젝터에 대한 시작 명령 및/또는 정지 명령을 발행할 수 있다. 예를 들어, 시작 명령은 특정 프로젝터(204A)에 의해 조명된 물체의 이미지들이 카메라들에 의해 캡처되기 전에 발행될 수 있고, 정지 명령은 특정 프로젝터(204A)에 의해 조명된 물체의 이미지들이 카메라들에 의해 캡처된 후에 발행될 수 있다. 일부 실시예들에서, 정반사를 완화하기 위해, 제1 프로젝터(204A) 및 제2 프로젝터(204B)의 도 2에 도시된 분리각 θ는 물체(202)의 표면의 반사 원뿔의 반각보다 클 수 있다.

도 3은 제1 관점을 갖는 제1 프로젝터 및 제2 관점을 갖는 제2 프로젝터와 각각 하나의 카메라를 사용하여 캡처된 물체의 예시적인 이미지들(300 및 350)을 도시한다. 예를 들어, 제1 프로젝터(예를 들어, 도 2의 프로젝터(204A))는 광학 패턴으로 물체를 조명할 수 있고, 카메라는 이미지(300)를 취득할 수 있다. 이 예에서, 이미지(300)가 카메라에 의해 캡처되기 전에 제1 프로젝터에 대해 시작 명령이 발행될 수 있고, 이미지(300)가 카메라에 의해 캡처된 후에 제1 프로젝터에 대해 정지 명령이 발행될 수 있다. 이 예를 계속하여, 제2 프로젝터(예를 들어, 도 2의 프로젝터(204B))는 광학 패턴(예를 들어, 제1 프로젝터의 광학 패턴과 동일하거나 상이함)으로 물체를 조명할 수 있고, 카메라는 이미지(350)를 취득할 수 있다. 이 예에서, 이미지(350)가 카메라에 의해 캡처되기 전에 제2 프로젝터에 대해 시작 명령이 발행될 수 있고, 이미지(350)가 카메라에 의해 캡처된 후에 제2 프로젝터에 대해 정지 명령이 발행될 수 있다.

도 4는 제1 투사된 광학 패턴에 대응하는 스테레오 이미지들(400 및 450)의 제1 예시적인 쌍 및 제2 투사된 광학 패턴에 대응하는 스테레오 이미지들(402 및 452)의 제2 예시적인 쌍을 도시한다. 예를 들어, 제1 프로젝터(예를 들어, 도 2의 프로젝터(204A))는 물체 상에 광학 패턴을 투사할 수 있고, 카메라(206)는 스테레오 이미지들(400 및 450)을 캡처할 수 있다. 그 후, 제2 프로젝터(예를 들어, 도 2의 프로젝터(204B))는 물체 상에 광학 패턴을 투사할 수 있고(예를 들어, 제1 프로젝터의 광학 패턴과 동일하거나 상이함), 카메라들(예를 들어, 도 2의 카메라들(206))은 스테레오 이미지들(402 및 452)을 캡처할 수 있다. 일부 실시예들에서, 카메라들은 동시에 특정 프로젝터에 의해 조명된 물체의 이미지들을 캡처하기 위해 시간-동기화될 수 있다. 위에서 논의된 바와 같이, 광학 패턴은 움직이는 광학 패턴(예를 들어, 원형 경로를 따라 수평 및/또는 수직 방향들로 병진하는)을 포함할 수 있다. 카메라들은 시간 경과에 따라 움직이는 광학 패턴의 스테레오 이미지들의 시퀀스들을 캡처하여 패턴이 시간 경과에 따라 어떻게 변화하는지를 나타내는 각각의 픽셀에 대한 정보를 개발할 수 있다. 이 정보는 이미지들 간의 대응들을 식별하기 위해 이미지들의 픽셀들 간의 대응들을 검색하기 위해 사용될 수 있다.

도 5는 이미지들(500 및 550)에서 투사된 패턴의 동일한 부분을 나타내는, 대응하는 픽셀들(502 및 552)을 갖는 스테레오 이미지들(500 및 550)(및 연관된 픽셀들 또는 이미지 포인트들)의 예시적인 쌍을 도시한다. 예를 들어, 위에서 논의된 바와 같이, 프로젝터들(204) 중 하나는 연관된 광학 패턴을 물체 상에 투사할 수 있고, 카메라들(206)은 스테레오 이미지들(500 및 550)을 캡처할 수 있다. 캡처된 스테레오 이미지들(500 및 550)은 2개의 픽셀에 걸친 대응들을 식별하기 위해 사용될 수 있다. 일부 실시예들에서, 본 명세서에서 논의된 바와 같이, 시간 경과에 따라 캡처된 스테레오 이미지들의 시퀀스들은 대응들을 식별하기 위해 사용될 수 있다. 일부 실시예들에서, 2개의 카메라로부터의 스테레오 이미지 시퀀스들로부터 3차원 데이터를 재구성하기 위해, 픽셀들(502 및 552)과 같은 픽셀들의 대응하는 쌍들이 각각의 카메라로부터의 이미지들 사이에서 발견될 필요가 있을 수 있다.

도 6은 제1 관점으로부터 장면 상에 광을 투사하는 제1 프로젝터 및 제2 관점으로부터 장면 상에 광을 투사하는 제2 프로젝터를 사용한 물체의 예시적인 3차원 재구성들(600 및 602)을 도시한다. 3차원 재구성들(600 및 602)은 왜곡의 임의의 개선 또는 감소 전의 물체의 예시적인 재구성들이다.

재구성들을 개선하고 왜곡을 감소시키기 위해, 물체의 이미지들, 예를 들어, 이미지들(400 및 450) 및 이미지들(402 및 452)은 각각의 프로젝터가 상이한 관점으로부터 연관된 광학 패턴으로 물체를 조명할 때 생성될 수 있다. 일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은 생성 프로세스 동안 왜곡을 식별하는 것 및 각각의 프로젝터가 상이한 관점에서 그와 연관된 광학 패턴으로 물체를 조명할 때 생성되는 물체의 이미지들을 사용하여 왜곡을 수정하는 것을 포함할 수 있다. 예를 들어, 왜곡은 제1 관점으로부터 캡처된 이미지들에서 식별될 수 있고, 왜곡은 제2 관점으로부터 캡처된 이미지들에 기초하여 수정되어 개선된 3차원 재구성(650)을 생성할 수 있다. 일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은, 수신된 하나 이상의 이미지로부터, 높은 신뢰도 값을 갖는 하나 이상의 이미지 포인트를 선택하는 것 및 선택된 이미지 포인트들에 기초하여 물체의 3차원 재구성을 생성하는 것을 포함할 수 있다. 신뢰도 값은 과포화 값, 그레이 값 속성들, 하나 이상의 다른 이미지 포인트와의 상관 스코어, 및/또는 변조 값에 기초하여 결정될 수 있다. 일부 실시예들에서, 상관 스코어는 상관될 이미지 포인트들의 쌍의 픽셀 값들에 기초하여 정규화된 교차-상관을 사용하여 계산될 수 있다. 일부 실시예들에서, 특정한 이미지 포인트는 다수의 카메라 및/또는 투사 방향의 사용으로 인해 다수의 대응하는 이미지 포인트를 가질 수 있다. 일부 실시예들에서, 시스템은 대응하는 이미지 포인트들 내에서 더 높은 최대값으로 이어지는 투사 방향으로부터 대응하는 이미지 포인트를 선택할 수 있다. 일부 실시예들에서, 시스템은 대응하는 포인트들의 최대값들의 합이 최대화되는 것으로 이어지는 투사 방향으로부터 대응하는 이미지 포인트를 선택할 수 있다. 일부 실시예들에서, 시스템은 가장 높은 상관 스코어를 갖는 대응하는 이미지 포인트를 선택할 수 있다. 일부 실시예들에서, 시스템은 가장 높은 변조 값(예를 들어, 시간 도메인에서 대응하는 이미지 포인트의 그레이 값들의 표준 편차(제곱 평균 제곱근) 및/또는 대응에 관여하는 양쪽 시간 시퀀스들의 평균)을 갖는 대응하는 이미지 포인트를 선택할 수 있다. 일부 실시예들에서, 시스템은 과포화에 의해 영향을 받지 않거나 과포화에 의해 최소로 영향을 받은 대응하는 이미지 포인트(예를 들어, 이미지 포인트의 시간 시퀀스에서 더 적은 수의 과포화된 그레이 값들)를 선택할 수 있다.

도 7은 일부 실시예들에 따른, 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 예시적인 컴퓨터화된 방법(700)을 도시한다. 방법(700)은 임의의 적합한 컴퓨팅 시스템(예를 들어, 범용 컴퓨팅 디바이스(CPU), 그래픽 처리 유닛(GPU), 필드 프로그래머블 게이트 어레이 디바이스(FPGA), 주문형 집적 회로 디바이스(ASIC), ARM 기반 디바이스, 또는 다른 적합한 컴퓨팅 시스템) 상에서 수행될 수 있는데, 본 명세서에 설명된 기술의 양태들은 이 점에서 제한되지 않는다.

동작 702에서, 시스템은 광학 패턴으로 조명된 물체의 하나 이상의 이미지를 수신할 수 있다. 이미지들은 적어도 2개의 이미지 센서 각각으로부터 그리고 적어도 2개의 프로젝터의 각각의 프로젝터에 대해 수신될 수 있다. 예를 들어, 제1 프로젝터(예를 들어, 도 2의 프로젝터(204A))는 광학 패턴으로 물체를 조명할 수 있고, 제1 이미지 센서 및 제2 이미지 센서는 동기화된 N개의 이미지를 취득할 수 있다. 그 후, 제2 프로젝터(예를 들어, 도 2의 프로젝터(204B))는 광학 패턴(예를 들어, 제1 프로젝터의 광학 패턴과 동일하거나 상이함)으로 물체를 조명할 수 있고, 제1 이미지 센서 및 제2 이미지 센서는 동기화된 N개의 이미지를 취득할 수 있다. 도 8은 아래에 설명되는 일부 실시예들에 따른, 동작 702에 대한 예시적인 컴퓨터화된 방법을 도시한다.

일부 실시예들에서, 본 명세서에서 논의되는 바와 같이, 프로젝터들은 이미지 센서들의 동작과 동기화되지 않을 수 있다(예를 들어, 프로젝터들로부터 투사되는 움직이는 패턴이 움직이는 속도가 이미지 센서들의 동작과 동기화되지 않을 수 있다). 일부 실시예들에서, 이미지 센서들은 이미지 센서들 각각이 동시에 물체의 이미지들을 캡처하도록 시간-동기화될 수 있다. 일부 실시예들에서, 시스템은 이미지 센서들로부터 캡처된 이미지들에 대해 어느 프로젝터가 장면을 조명하는지를 제어하도록 구성될 수 있다. 예를 들어, 시스템은 프로젝터들의 동작을 제어하기 위해 시작 명령 및/또는 정지 명령을 발행하도록 구성될 수 있다. 시작 명령은 이미지 센서들에 의해 이미지들이 캡처되기 전에 프로젝터를 턴온하기 위해 특정 프로젝터에 대해 발행될 수 있고, 정지 명령은 프로젝터를 턴오프하기 위해 이미지들이 이미지 센서들에 의해 캡처된 후에 발행될 수 있다. 시스템은 프로젝터들 사이에 스위칭하기 위해 시작 및 정지 명령들을 사용할 수 있다.

일부 실시예들에서, 프로젝터들의 상이한 관점들은 제1 관점 및 제2 관점을 포함할 것이다. 시스템은 제1 및 제2 관점들을 제공하기 위해 프로젝터들 사이에 특정 분리각을 갖도록 구성될 수 있다. 예를 들어, 제1 관점 및 제2 관점의 분리각은 그것이 물체의 표면의 반사 원뿔의 반각보다 크도록 설정될 수 있다.

일부 실시예들에서, 이미지들은 2개의 이미지 센서로부터 그리고 하나의 프로젝터에 대해 수신될 수 있다. 프로젝터는 이미지 센서들의 동작과 동기화되지 않을 수 있다.

동작 704에서, 시스템은 수신된 이미지들로부터 물체의 3차원 재구성을 생성할 수 있다. 본 명세서에서 논의되는 바와 같이, 3차원 재구성은 상이한 관점들로부터의 조명 하에서(예를 들어, 각각의 프로젝터가 상이한 관점으로부터 연관된 광학 패턴으로 물체를 조명할 때) 생성되는 물체의 수신된 이미지들을 이용함으로써 감소된 왜곡을 가질 수 있는 방식으로 생성될 수 있다.

일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은 생성 프로세스 동안 왜곡을 식별하는 것, 및 각각의 프로젝터가 상이한 관점으로부터 그와 연관된 광학 패턴으로 물체를 조명할 때 생성되는 물체의 이미지들을 사용하여 왜곡을 수정하는 것을 포함할 수 있다. 예를 들어, 왜곡은 제1 관점으로부터 캡처된 이미지들에서 식별될 수 있고, 왜곡은 제2 관점으로부터 캡처된 이미지들에 기초하여 수정될 수 있다(예를 들어, 이들은 조명 관점들의 분리각으로 인해 동일한 왜곡을 갖지 않는다). 일부 실시예들에서, 물체의 3차원 재구성을 생성하는 것은, 수신된 하나 이상의 이미지로부터, 높은 신뢰도 값을 갖는 하나 이상의 이미지 포인트를 선택하는 것 및 선택된 이미지 포인트들에 기초하여 물체의 3차원 재구성을 생성하는 것을 포함할 수 있다. 신뢰도 값은 이미지 포인트들이 3차원 생성 프로세스에 유용한 정보를 포함한다고 결정하기 위해 사용될 수 있는 메트릭을 반영할 수 있다. 신뢰도 값은 과포화 값, 하나 이상의 다른 이미지 포인트와의 상관 스코어, 및/또는 변조 값에 기초하여 결정될 수 있다. 신뢰도 값을 만족시키지 않는 해당 포인트들에 대해, 시스템은 3차원 모델의 해당 부분들을 완성하기 위해 상이한 관점으로부터의 조명 하에서 캡처된 이미지들을 사용할 수 있다. 일부 실시예들에서, 변조 값은, 예를 들어, 이미지 포인트의 시간 그레이 값들의 제곱 평균 제곱근일 수 있다. 일부 실시예들에서, 신뢰도 값은 대응하는 이미지 포인트들의 정규화된 교차-상관의 결과일 수 있다. 예를 들어, 대응하는 이미지 포인트들이 제1 투사 방향에 대해 그리고 제2 투사 방향에 대해 발견되면, 더 높은 상관 값을 산출하는 투사 방향으로부터의 이미지 포인트가 선택될 수 있다. 일부 실시예들에서, 과포화를 해결하기 위해, 대응하는 이미지 포인트들 중 하나가 과포화되면, 해당 이미지 포인트는 무시될 수 있다. 대신에, 다른 투사 방향으로부터의, 그리고 과포화되지 않은, 다른 대응하는 이미지 포인트가 선택될 수 있다.

도 8은 일부 실시예들에 따른, 도 7의 동작 702에 대한 예시적인 흐름도를 도시한다. 방법(800)은 임의의 적합한 컴퓨팅 시스템(예를 들어, 범용 컴퓨팅 디바이스(CPU), 그래픽 처리 유닛(GPU), 필드 프로그래머블 게이트 어레이 디바이스(FPGA), 주문형 집적 회로 디바이스(ASIC), ARM 기반 디바이스, 또는 다른 적합한 컴퓨팅 시스템) 상에서 수행될 수 있는데, 본 명세서에 설명된 기술의 양태들은 이 점에서 제한되지 않는다.

동작 802에서, 시스템은 제1 이미지 센서로부터, 제1 시간에 제1 프로젝터로부터의 광학 패턴으로 조명된 물체의 제1 이미지 세트를 수신할 수 있다. 제1 이미지 센서는 제1 시간에 제1 이미지 세트를 캡처하기 위해 제2 이미지 센서와 시간-동기화될 수 있다.

동작 804에서, 시스템은 제2 이미지 센서로부터, 제1 시간에 제1 프로젝터로부터의 광학 패턴으로 조명된 물체의 제2 이미지 세트를 수신할 수 있다. 제2 이미지 센서는 제1 시간에 제2 이미지 세트를 캡처하기 위해 제1 이미지 센서와 시간-동기화될 수 있다.

동작 806에서, 시스템은 제1 이미지 센서로부터, 제2 시간에 제2 프로젝터로부터의 광학 패턴으로 조명된 물체의 제3 이미지 세트를 수신할 수 있다. 제1 이미지 센서는 제2 시간에 제3 이미지 세트를 캡처하기 위해 제2 이미지 센서와 시간-동기화될 수 있다.

동작 808에서, 시스템은 제2 이미지 센서로부터, 제2 시간에 제2 프로젝터로부터의 광학 패턴으로 조명된 물체의 제4 이미지 세트를 수신할 수 있다. 제2 이미지 센서는 제2 시간에 제4 이미지 세트를 캡처하기 위해 제1 이미지 센서와 시간-동기화될 수 있다.

일부 실시예들에서, 2개보다 많은 이미지 센서가 사용될 수 있고, 이미지 센서들은 다양한 관점들에서 장면의 이미지들을 캡처하기 위해 서브세트들(예를 들어, 수 개의 쌍)로 그룹화될 수 있다. 예를 들어, 이미지 센서들의 쌍은 제1 시간에 물체의 이미지 세트를 캡처하기 위해 시간-동기화될 수 있고, 다른 이미지 센서들의 쌍은 제2 시간에 물체의 다른 이미지 세트를 캡처하기 위해 시간-동기화될 수 있다(예를 들어, 여기서 이미지 센서들의 쌍들은 동일한 이미지 센서들 중 하나 이상을 사용할 수 있다). 일부 실시예들에서, 3개의 이미지 센서를 사용할 때, 3개의 이미지 센서 중 2개는 동시에 이미지들을 캡처하기 위해 시간-동기화될 수 있고, 제3 이미지 센서는 프로젝터들과 시간-동기화될 수 있고(예를 들어, 그렇지 않으면 단일 카메라가 3차원 재구성에 유용한 정보를 캡처하지 못할 수 있으므로). 일부 실시예들에서, 3개보다 많은 이미지 센서가 있다면, 이미지 센서들은 제1 및 제2 서브세트들로 분할될 수 있다. 이미지 센서들의 제1 서브세트는 하나의 이미지 센서(예를 들어, 프로젝터들과 하드 동기화될 수 있는), 또는 서로 시간-동기화된 2개 이상의 이미지 센서를 포함할 수 있다. 이미지 센서들의 제2 서브세트는 하나의 이미지 센서(예를 들어, 프로젝터들과 하드 동기화될 수 있는), 또는 서로 시간-동기화되지만, 이미지 센서들의 제1 서브세트와 시간-동기화되지 않은 2개 이상의 이미지 센서를 포함할 수 있다.

이 기법들은 2개보다 많은 프로젝터를 사용하도록 구성될 수 있다. 예를 들어, 카메라들은 본 명세서에서 논의된 기법들을 사용하여, 3개(또는 그 이상의) 관점으로부터의 조명 하에서 장면의 이미지 세트를 캡처하도록 구성될 수 있다. 2개보다 많은 프로젝터를 사용하는 것은 장면의 추가 정보를 제공할 수 있다. 예를 들어, 시스템이 2개의 상이한 관점으로부터의 조명 하에서 캡처된 이미지들을 사용하여 3차원 재구성의 부분들을 결정할 수 없다면, 시스템은 3차원 재구성을 완성하기 위해 제3(또는 n번째) 관점으로부터의 조명 하에서 캡처된 이미지들을 사용할 수 있다.

본 명세서에 설명된 원리들에 따라 동작하는 기법들은 임의의 적합한 방식으로 구현될 수 있다. 위 흐름도들의 처리 및 결정 블록들은 이들 다양한 프로세스들을 수행하는 알고리즘들에 포함될 수 있는 단계들 및 동작들을 나타낸다. 이들 프로세스들부터 도출된 알고리즘들은 하나 이상의 단일 또는 다목적 프로세서들과 통합되어 이들의 동작을 지시하는 소프트웨어로서 구현될 수 있고, DSP(Digital Signal Processing) 회로 또는 ASIC(Application-Specific Integrated Circuit)와 같은 기능적으로 등가인 회로들로서 구현될 수 있거나, 또는 임의의 다른 적합한 방식으로 구현될 수 있다. 본 명세서에 포함된 흐름도들은 임의의 특정한 회로의 또는 임의의 특정한 프로그래밍 언어의 구문 또는 동작 또는 프로그래밍 언어의 타입을 묘사하지 않는다는 점이 인정되어야 한다. 오히려, 흐름도들은 본 기술분야의 통상의 기술자가 본 명세서에 설명된 기법들의 타입들을 수행하는 특정 장치의 처리를 수행하기 위해 회로들을 제조하거나 컴퓨터 소프트웨어 알고리즘들을 구현하기 위해 사용할 수 있는 기능 정보를 예시하고 있다. 본 명세서에서 달리 지시되지 않는 한, 각각의 흐름도에서 설명된 단계들 및/또는 동작들의 특정 시퀀스는 구현될 수 있고 본 명세서에 설명된 원리들의 구현들 및 실시예들에서 달라질 수 있는 알고리즘들의 예시하는 것에 불과하다는 점도 인정되어야 한다.

따라서, 일부 실시예들에서, 본 명세서에 설명된 기법들은 애플리케이션 소프트웨어, 시스템 소프트웨어, 펌웨어, 미들웨어, 임베디드 코드, 또는 임의의 다른 적합한 타입의 컴퓨터 코드로서 구현되는 것을 포함하여 소프트웨어로서 구현되는 컴퓨터 실행가능 명령어들로 구현될 수 있다. 그러한 컴퓨터 실행가능 명령어들은 다수의 적합한 프로그래밍 언어들 및/또는 프로그래밍 또는 스크립팅 툴들 중 임의의 것을 이용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신 상에서 실행되는 실행가능 기계어 코드 또는 중간 코드로서 컴파일될 수 있다.

본 명세서에 설명된 기법들이 컴퓨터 실행가능 명령어들로서 구현될 때, 이들 컴퓨터 실행가능 명령어들은, 각각이 이들 기법에 따라 동작하는 알고리즘들의 실행을 완성하기 위해 하나 이상의 동작을 제공하는 다수의 기능 설비로서 구현되는 것을 포함하여 임의의 적합한 방식으로 구현될 수 있다. 그러나 인스턴스화된 "기능 설비(functional facility)"는, 하나 이상의 컴퓨터와 통합되어 그에 의해 실행될 때, 하나 이상의 컴퓨터로 하여금 특정 동작 역할을 수행하게 하는 컴퓨터 시스템의 구조적 컴포넌트이다. 기능 설비는 전체 소프트웨어 요소 또는 그의 일부분일 수 있다. 예를 들어, 기능 설비는 프로세스의 함수로서, 또는 개별 프로세스로서, 또는 임의의 다른 적합한 처리의 유닛으로서 구현될 수 있다. 본 명세서에 설명된 기법들이 다수의 기능 설비로서 구현되는 경우, 각각의 기능 설비는 그 자신의 방식으로 구현될 수 있다; 모두가 동일한 방식으로 구현될 필요는 없다. 또한, 이들 기능 설비는 병렬로 그리고/또는 직렬로 적절하게 실행될 수 있고, 그들이 실행하고 있는 컴퓨터(들) 상의 공유 메모리를 사용하여, 메시지 전달 프로토콜을 사용하여, 또는 임의의 다른 적합한 방식으로 서로 간에 정보를 전달할 수 있다.

일반적으로, 기능 설비는 특정 작업을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴, 프로그램, 물체, 컴포넌트, 데이터 구조 등을 포함한다. 전형적으로, 기능 설비들의 기능성은 그들이 동작하는 시스템들에서 원하는 대로 조합 또는 분산될 수 있다. 일부 구현들에서, 본 명세서의 기법들을 수행하는 하나 이상의 기능 설비는 함께 완전한 소프트웨어 패키지를 형성할 수 있다. 대안적인 실시예들에서, 이들 기능 설비는 소프트웨어 프로그램 애플리케이션을 구현하기 위해 다른 관련되지 않은 기능 설비들 및/또는 프로세스들과 상호작용하도록 적응될 수 있다.

하나 이상의 작업을 수행하기 위한 일부 예시적인 기능 설비들이 본 명세서에 설명되었다. 그러나, 설명된 작업들의 기능 설비들 및 분할은 본 명세서에 설명된 예시적인 기법들을 구현할 수 있는 기능 설비들의 타입을 예시하는 것에 불과하고, 실시예들은 임의의 특정 수, 분할, 또는 타입의 기능 설비들로 구현되는 것으로 제한되지 않는다는 점이 인정되어야 한다. 일부 구현들에서, 모든 기능성은 단일 기능 설비에서 구현될 수 있다. 일부 구현들에서, 본 명세서에 설명된 기능 설비들 중 일부는 다른 것들과 함께 또는 다른 것들과 별개로 구현될 수 있거나(즉, 단일 유닛 또는 별개 유닛들로서), 또는 이들 기능 설비의 일부는 구현되지 않을 수 있다는 점도 인정되어야 한다.

본 명세서에 설명된 기술들을 구현하는 컴퓨터 실행가능 명령어들은(하나 이상의 기능 설비로서 또는 임의의 다른 방식으로 구현될 때), 일부 실시예들에서, 하나 이상의 컴퓨터 판독가능 매체 상에 인코딩되어 매체에 기능성을 제공할 수 있다. 컴퓨터 판독가능 매체는 하드 디스크 드라이브와 같은 자기 매체, CD(Compact Disk) 또는 DVD(Digital Versatile Disk)와 같은 광학 매체, 영구 또는 비영구적 솔리드-스테이트 메모리(예를 들어, 플래시 메모리, 자기 RAM 등), 또는 임의의 다른 적합한 저장 매체를 포함한다. 그러한 컴퓨터 판독가능 매체는 임의의 적합한 방식으로 구현될 수 있다. 본 명세서에서 사용된, "컴퓨터 판독가능 매체"("컴퓨터 판독가능 저장 매체"라고도 불림)는 유형의 저장 매체를 지칭한다. 유형의 저장 매체는 비일시적이고 적어도 하나의 물리적, 구조적 컴포넌트를 갖는다. 본 명세서에서 사용된, "컴퓨터 판독가능 매체"에서, 적어도 하나의 물리적, 구조적 컴포넌트는 내장된 정보를 갖는 매체를 생성하는 프로세스, 그 위에 정보를 기록하는 프로세스, 또는 정보로 매체를 인코딩하는 임의의 다른 프로세스 동안에 일부 방식으로 변경될 수 있는 적어도 하나의 물리적 속성을 갖는다. 예를 들어, 기록 프로세스 동안 컴퓨터 판독가능 매체의 물리적 구조의 일부분의 자화 상태가 변경될 수 있다.

또한, 위에 설명된 일부 기법들은 이들 기법에 의한 사용을 위해 특정 방식들로 정보(예를 들어, 데이터 및/또는 명령어들)를 저장하는 동작들을 포함한다. 이들 기법들의 일부 구현들―예컨대 기법들이 컴퓨터 실행가능 명령어들로서 구현되는 구현들―에서 정보는 컴퓨터 판독가능 저장 매체 상에 인코딩될 수 있다. 이 정보를 저장하기 위한 유리한 포맷으로서 특정 구조들이 본 명세서에 설명되는 경우, 이들 구조는 저장 매체 상에 인코딩될 때 정보의 물리적인 조직을 부여하기 위해 사용될 수 있다. 이들 유리한 구조는 그 후 정보와 상호작용하는 하나 이상의 프로세서의 동작들에 영향을 미치는 것에 의해 기능성을 저장 매체에 제공할 수 있다; 예를 들어, 프로세서(들)에 의해 수행되는 컴퓨터 동작들의 효율을 증가시킴으로써.

이 기법들이 컴퓨터 실행가능 명령어들로서 구현될 수 있는 전부는 아니지만 일부 구현들에서, 이들 명령어는 임의의 적합한 컴퓨터 시스템에서 동작하는 하나 이상의 적합한 컴퓨팅 디바이스(들) 상에서 실행될 수 있거나, 하나 이상의 컴퓨팅 디바이스(또는 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서)가 컴퓨터 실행가능 명령어들을 실행하도록 프로그래밍될 수 있다. 컴퓨팅 디바이스 또는 프로세서는 명령어들이 컴퓨팅 디바이스 또는 프로세서에 의해 액세스 가능한 방식으로, 예컨대 데이터 저장소(예를 들어, 온-칩 캐시 또는 명령어 레지스터, 버스를 통해 액세스 가능한 컴퓨터 판독가능 저장 매체, 하나 이상의 네트워크를 통해 액세스 가능하고 디바이스/프로세서에 의해 액세스 가능한 컴퓨터 판독가능 저장 매체 등)에 저장될 때 명령어들을 실행하도록 프로그래밍될 수 있다. 이들 컴퓨터 실행가능 명령어들을 포함하는 기능 설비들은 단일의 다목적 프로그램 가능한 디지털 컴퓨팅 디바이스, 처리 능력을 공유하고 본 명세서에 설명된 기법들을 공동으로 수행하는 2개 이상의 다목적 컴퓨팅 디바이스의 협력 시스템, 본 명세서에 설명된 기법들을 실행하는 데 전용되는 단일 컴퓨팅 디바이스 또는 컴퓨팅 디바이스의 협력 시스템(공동 위치 또는 지리적으로 분산됨), 본 명세서에 설명된 기법들을 수행하기 위한 하나 이상의 FPGA(Field-Programmable Gate Array), 또는 임의의 다른 적합한 시스템과 통합되고 그의 동작을 지시할 수 있다.

컴퓨팅 디바이스는 적어도 하나의 프로세서, 네트워크 어댑터, 및 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 데스크톱 또는 랩톱 개인용 컴퓨터, PDA(personal digital assistant), 스마트 모바일 폰, 서버, 또는 임의의 다른 적합한 컴퓨팅 디바이스일 수 있다. 네트워크 어댑터는 컴퓨팅 디바이스가 임의의 적합한 컴퓨팅 네트워크를 통해 임의의 다른 적합한 컴퓨팅 디바이스와 유선 및/또는 무선으로 통신하는 것을 가능하게 하는 임의의 적합한 하드웨어 및/또는 소프트웨어일 수 있다. 컴퓨팅 네트워크는 무선 액세스 포인트들, 스위치들, 라우터들, 게이트웨이들, 및/또는 다른 네트워킹 장비뿐만 아니라 인터넷을 포함하는 2개 이상의 컴퓨터 사이에서 데이터를 교환하기 위한 임의의 적합한 유선 및/또는 무선 통신 매체 또는 매체들을 포함할 수 있다. 컴퓨터 판독가능 매체는 처리될 데이터 및/또는 프로세서에 의해 실행될 명령어들을 저장하도록 적응될 수 있다. 프로세서는 데이터의 처리 및 명령어들의 실행을 가능하게 한다. 데이터 및 명령어들은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다.

컴퓨팅 디바이스는 또한 입력 및 출력 디바이스들을 포함하는 하나 이상의 컴포넌트 및 주변기기를 가질 수 있다. 이들 디바이스는, 특히, 사용자 인터페이스를 제시하기 위해 사용될 수 있다. 사용자 인터페이스를 제공하기 위해 사용될 수 있는 출력 디바이스의 예들은 출력의 시각적 프레젠테이션을 위한 프린터 또는 디스플레이 스크린 및 출력의 가청 프레젠테이션을 위한 스피커 또는 다른 사운드 생성 디바이스를 포함한다. 사용자 인터페이스를 위해 사용될 수 있는 입력 디바이스들의 예들은 키보드들, 및 마우스들, 터치 패드들, 및 디지털화 태블릿들과 같은 포인팅 디바이스들을 포함한다. 다른 예로서, 컴퓨팅 디바이스는 음성 인식을 통해 또는 다른 가청 포맷으로 입력 정보를 수신할 수 있다.

기법들이 회로 및/또는 컴퓨터 실행가능 명령어들로 구현되는 실시예들이 설명되었다. 일부 실시예들은 적어도 하나의 예가 제공된 방법의 형태일 수 있다는 점이 인정되어야 한다. 방법의 일부로서 수행되는 동작들은 임의의 적합한 방식으로 순서화될 수 있다. 따라서, 예시적인 실시예들에서 순차적인 동작들로서 도시되더라도, 일부 동작들을 동시에 수행하는 것을 포함할 수 있는, 예시된 것과는 상이한 순서로 동작들이 수행되는 실시예들이 구성될 수 있다.

위에 설명된 실시예들의 다양한 양태들은 단독으로, 조합하여, 또는 전술한 것에서 설명된 실시예들에서 구체적으로 논의되지 않은 다양한 배열로 사용될 수도 있고, 따라서, 전술한 설명에서 제시되거나 도면에 예시된 컴포넌트들의 상세 및 배열로 그 응용이 제한되지 않는다. 예를 들어, 일 실시예에서 설명된 양태들은 다른 실시예들에서 설명된 양태들과 임의의 방식으로 조합될 수 있다.

청구항 요소를 수정하기 위해 청구항들에서 "제1", "제2", "제3" 등과 같은 서수 용어들의 사용은 그 자체로 하나의 청구항 요소의 다른 청구항 요소에 대한 임의의 우선순위, 선행, 또는 순서 또는 방법의 동작들이 수행되는 시간적 순서를 의미하지 않고, 특정 명칭을 갖는 하나의 청구항 요소를 동일 명칭(서수 용어의 사용이 없다면)을 갖는 다른 요소와 구별하여 청구항 요소들을 구별하기 위한 라벨들로서 사용되는 것에 불과하다.

또한, 본 명세서에서 사용되는 어법 및 용어는 설명을 위한 것이고 제한하는 것으로 간주되어서는 안 된다. 본 명세서에서 "포함하는(including)", "포함하는(comprising), "갖는(having), "함유하는(containing)", "수반하는(involving)" 및 그의 변형들의 사용은 그 후에 열거된 항목 및 그의 등가물뿐만 아니라 추가의 항목을 포함하도록 의도된 것이다.

"예시적인"이라는 단어는 본 명세서에서 예, 사례, 또는 예시로서 역할을 하는 것을 의미하기 위해 사용된다. 따라서, 예시적인 것으로 본 명세서에 설명되는 임의의 실시예, 구현, 프로세스, 특징 등은 예시적인 예인 것으로 이해되어야 하고, 달리 지시되지 않는 한, 선호되는 또는 유리한 예인 것으로 이해되어서는 안 된다.

*이와 같이 적어도 하나의 실시예의 여러 양태들을 설명하였지만, 다양한 변경들, 수정들, 및 개선들이 본 기술분야의 통상의 기술자들에게 쉽게 떠오를 것이라는 점이 인정되어야 한다. 그러한 변경들, 수정들, 및 개선들은 본 개시내용의 일부인 것으로 의도되고, 본 명세서에 설명된 원리들의 사상 및 범위 내에 있는 것으로 의도된다. 따라서, 전술한 설명 및 도면들은 단지 예로서 제시된 것이다.

Claims (10)

1. 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 시스템으로서,
   적어도 3개의 이미지 센서 - 각각의 이미지 센서는 상이한 관점(perspective)으로부터 물체의 하나 이상의 이미지를 캡처하도록 구성됨 -;
   광학 패턴으로 상기 물체를 조명하도록 구성된 프로젝터 - 상기 프로젝터는 상기 적어도 3개의 이미지 센서의 동작과 동기화되지 않음 -; 및
   프로세서를 포함하고, 상기 프로세서는,
   상기 적어도 3개의 이미지 센서 각각으로부터, 상기 프로젝터로부터의 상기 광학 패턴으로 조명된 상기 물체의 하나 이상의 이미지를 수신하는 동작; 및
   상기 수신된 하나 이상의 이미지로부터, 상기 물체의 3차원 재구성을 생성하는 동작을 수행하도록 구성되며, 상기 3차원 재구성은 상기 광학 패턴으로 조명된 상기 물체의 상기 수신된 하나 이상의 이미지가 상기 상이한 관점으로부터 상기 적어도 3개의 이미지 센서 각각에 의해 생성되기 때문에 감소된 왜곡을 갖는, 시스템.
2. 제1항에 있어서,
   상기 적어도 3개의 이미지 센서는 상기 물체의 상기 하나 이상의 이미지를 동시에 캡처하도록 시간-동기화되거나,
   상기 적어도 3개의 이미지 센서는 복수의 이미지 센서의 적어도 하나의 서브세트의 일부이고, 상기 적어도 3개의 이미지 센서는 상기 물체의 상기 하나 이상의 이미지를 동시에 캡처하도록 시간-동기화되는, 시스템.
3. 제1항에 있어서, 상기 적어도 3개의 이미지 센서는,
   제1 시간에 상기 물체의 제1 복수의 이미지를 캡처하도록 서로 시간-동기화되는 제1 이미지 센서 및 제2 이미지 센서; 및
   상기 제1 시간과 상이한 제2 시간에 상기 물체의 제2 복수의 이미지를 캡처하도록 서로 시간-동기화되는 제3 이미지 센서 및 제4 이미지 센서를 포함하는, 시스템.
4. 제1항에 있어서,
   상기 적어도 3개의 이미지 센서 중 2개 이상을 포함하는 이미지 센서들의 제1 서브세트가 서로 시간-동기화되고;
   상기 이미지 센서들의 제1 서브세트에 있지 않은, 상기 적어도 3개의 이미지 센서 중 하나 이상을 포함하는 이미지 센서들의 제2 서브세트가 서로 시간-동기화되지만 상기 이미지 센서들의 제1 서브세트와는 시간-동기화되지 않는, 시스템.
5. 제1항에 있어서, 상기 광학 패턴은 원형 경로를 따라 병진하는 이동 광학 패턴을 포함하는, 시스템.
6. 제5항에 있어서, 상기 이동 광학 패턴은 수평 및/또는 수직 방향들로 시프트함으로써 상기 원형 경로를 따라 병진하여, 상기 이동 광학 패턴은 상기 물체 위에서 회전하는, 시스템.
7. 제1항에 있어서, 상기 물체의 상기 3차원 재구성을 생성하는 동작은,
   상기 수신된 하나 이상의 이미지로부터, 높은 신뢰도 값을 갖는 하나 이상의 이미지 포인트를 선택하는 동작 - 상기 신뢰도 값은 과포화 값, 하나 이상의 다른 이미지 포인트와의 상관 스코어, 및/또는 변조 값에 기초하여 결정됨 -; 및
   상기 선택된 이미지 포인트들에 기초하여, 상기 물체의 상기 3차원 재구성을 생성하는 동작을 포함하는, 시스템.
8. 제7항에 있어서,
   상기 과포화 값은 상기 하나 이상의 이미지 포인트 중의 이미지 포인트의 시간적 시퀀스에서의 과포화된 그레이 값들의 수에 기초하여 계산되거나,
   하나 이상의 다른 이미지 포인트와의 상기 상관 스코어는 상관될 이미지 포인트들의 쌍의 픽셀 값들에 기초하여 정규화된 교차-상관을 사용하여 계산되거나,
   상기 변조 값은 시간 도메인에서의 상기 하나 이상의 이미지 포인트 중의 이미지 포인트의 그레이 값들의 표준 편차에 기초하여 계산되거나,
   상기 변조 값은 상기 하나 이상의 이미지 포인트 중의 이미지 포인트 및 대응에 관여된 상기 하나 이상의 이미지 포인트 중의 다른 이미지 포인트의 시간적 시퀀스의 평균에 기초하여 계산되는, 시스템.
9. 감소된 왜곡을 갖는 물체의 3차원 재구성을 생성하기 위한 방법으로서,
   프로세서를 사용하여,
   적어도 3개의 이미지 센서 각각으로부터, 프로젝터로부터의 광학 패턴으로 조명된 물체의 하나 이상의 이미지를 수신하는 동작 - 각각의 이미지 센서는 상이한 관점으로부터 상기 물체의 상기 하나 이상의 이미지를 캡처하고, 상기 프로젝터는 상기 적어도 3개의 이미지 센서의 동작과 동기화되지 않음 -; 및
   상기 수신된 하나 이상의 이미지로부터, 상기 물체의 3차원 재구성을 생성하게 하는 동작 - 상기 3차원 재구성은 상기 광학 패턴으로 조명된 상기 물체의 상기 수신된 하나 이상의 이미지가 상기 상이한 관점으로부터 상기 적어도 3개의 이미지 센서 각각에 의해 생성되기 때문에 감소된 왜곡을 가짐 -
   을 수행하는 단계를 포함하는, 방법.
10. 프로세서 실행가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 프로세서 실행가능 명령어들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
    적어도 3개의 이미지 센서 각각으로부터, 프로젝터로부터의 광학 패턴으로 조명된 물체의 하나 이상의 이미지를 수신하는 동작 - 각각의 이미지 센서는 상이한 관점으로부터 상기 물체의 상기 하나 이상의 이미지를 캡처하고, 상기 프로젝터는 상기 적어도 3개의 이미지 센서의 동작과 동기화되지 않음 -; 및
    상기 수신된 하나 이상의 이미지로부터, 상기 물체의 3차원 재구성을 생성하게 하는 동작 - 상기 3차원 재구성은 상기 광학 패턴으로 조명된 상기 물체의 상기 수신된 하나 이상의 이미지가 상기 상이한 관점으로부터 상기 적어도 3개의 이미지 센서 각각에 의해 생성되기 때문에 감소된 왜곡을 가짐 -
    을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.

Images