KR20170141808A

KR20170141808A - 반사도 맵 표현을 이용한 깊이 맵 표현의 증강

Info

Publication number: KR20170141808A
Application number: KR1020177035777A
Authority: KR
Inventors: 니타이 로마노; 나다브 그로싱거
Original assignee: 페이스북, 인크.
Priority date: 2015-05-13
Filing date: 2016-05-13
Publication date: 2017-12-26
Also published as: CN107850782A; JP2018518750A; EP3295239A1; EP3295239A4; WO2016183395A1; US20160335773A1; US9947098B2; JP6377863B2; CN107850782B; KR101892168B1; EP3295239B1

Abstract

장면 내의 객체의 3D 표현을 생성하기 위한 솔루션이 제공된다. 객체의 깊이 맵 표현은 객체의 3D 표현을 생성하기 위해 객체의 반사도 맵 표현과 함께 조합된다. 객체의 3D 표현은 객체의 보다 완전하고 정확한 정보를 제공한다. 객체의 이미지는 구조화 광에 의해 조명되고 캡처된다. 객체의 캡처된 이미지 내에 렌더링되는 패턴 특징은 조명된 객체의 깊이 맵 표현과 반사도 맵 표현을 도출하도록 분석된다. 깊이 맵 표현은 깊이 정보를 제공하는 한편, 반사도 맵 표현은 조명된 객체의 표면 정보(예컨대, 반사도)를 제공한다. 객체의 3D 표현은 객체에 투사되는 추가 조명과 객체의 추가 이미지로 강화될 수 있다.

Description

반사도 맵 표현을 이용한 깊이 맵 표현의 증강

본 명세서는 일반적으로 구조화 광 이미징 분야에 관한 것이며, 보다 구체적으로는 객체의 반사도 맵 표현으로 객체의 3차원(3D) 표현을 향상시키는 것에 관한 것이다.

장면이나 장면 내의 객체의 3D 표현은 가상 현실(Virtual Reality; VR) 시스템의 사용자들에게 가상의 경험을 제공하는 VR 시스템을 위해 이미지를 렌더링하는데 사용된다. 하지만, 객체의 3D 표현을 생성하기 위해 종래의 방식에서 객체의 깊이 맵 표현만을 사용하는 것은 단점을 가진다. 예컨대, 장면의 3D 표현을 위해 장면 내의 캡처된 객체의 깊이 맵만을 사용하는 것은 객체의 표면의 상세한 정보를 제공하지 않으며, 이는 캡처된 객체의 깊이 맵 표현으로부터 생성된 3D 장면의 효과에 대한 사용자 경험을 저해시킨다.

본 발명의 내용 중에 포함되어 있다.

개시된 발명의 실시예는 객체의 3차원(3D) 표현을 생성하기 위해 객체의 반사도 맵 표현으로 객체의 깊이 맵 표현을 증강하기 위한 시스템 (또는 컴퓨터 구현 방법 또는 비-일시적 컴퓨터 판독가능한 매체)을 포함한다. "객체"는 이미지의 배경 및/또는 임의의 수의 특정 요소를 포함하는, 디지털 이미지의 임의의 타겟을 지칭한다. 객체는 전체 이미지이거나 또는 이미지에 의해 캡처되는 장면 내의 특정 요소일 수 있다. 객체의 "3D 표현"은 2차원(2D) 이미지와 비교할 때 더 현실적으로 나타나는 객체의 입체적 표현을 지칭한다. 객체의 "깊이 맵 표현"은 지정된 시점(예컨대, 객체의 이미지를 캡처하는 센서의 위치)으로부터 객체의 표현의 상이한 부분들의 거리에 관한 정보를 포함하는 이미지를 지칭한다.　객체의 깊이 맵 표현은 Z-축 데이터를 갖는 모든 점들을 연결하는 메쉬의 형태일 수 있고, Z-축은 객체로부터 지정된 시점까지의 거리를 측정한다. 객체의 "반사도 맵 표현"은 객체의 표면의 상이한 부분들에서의 반사도에 관한 정보를 포함하는 이미지를 지칭하고, 반사도 맵 표현은 객체의 깊이 맵 표현에 비해 객체의 표현의 더 미세한-스케일의 세부사항을 제공한다.

본 방법의 실시예는 구조화 광에 의해 조명되는 장면 내의 객체의 이미지를 캡처하는 동작을 포함한다. "구조화 광"은 객체에 투사되는 특정 불균일 조명 패턴의 광을 지칭한다. 캡처된 이미지는 조명 패턴으로부터 발생하는 패턴 특징(예컨대, 하나의 차원에서의 스트라이프)을 포함한다. "패턴 특징" 또는 "패턴"은 불균일 조명, 예컨대 특히 구조화 광에 의해 생성된 특정 형태나 형상(예컨대, 선, 스트라이프, 점 및 특정 기하학적 형상)을 지칭한다. 다중 패턴 특징은 균일하거나 상이한 특성(예컨대, 형상, 크기 및/또는 강도)을 가질 수 있다. 패턴 특징은 패턴 특징의 기하학적 변형으로부터 도출된 정보를 모델링함으로써 장면 내의 캡처된 객체의 깊이 맵 표현을 도출하도록 분석된다. 패턴 특징은 또한, 객체의 반사도 특성에 관한 정보를 획득함으로써 반사도 맵 표현을 도출하도록 분석된다. 예컨대, 장면 내의 객체의 패턴 특징은 우선 그들의 특징적 특성(예컨대, 강도, 색상, 형상)에 따라 인덱스되고 패턴 특징의 기능적 행동이 이후 도출된다. 기능적 행동이 도출된 후 패턴 특징은 캡처된 이미지로부터 제거되고 객체의 반사도 맵 표현이 생성된다. 생성된 깊이 맵 표현과 반사도 맵 표현은 조합되어서 객체의 3차원(3D) 표현을 생성한다. 객체의 3D 표현은 또한, 객체의 반사도 맵 표현에 의해 제공된 표면 세부사항 및 객체의 깊이 맵 표현에 의해 제공된 깊이 정보 둘 모두를 반영한다. 객체의 깊이 맵 표현을 객체의 반사도 맵 표현과 조합하는 프로세스는 또한, 객체의 깊이 맵 표현을 객체의 반사도 맵 표현으로 증강하는 것으로 지칭된다.

일부 실시예로, 추가 조명이 제공되어서 객체의 반사도 맵 표현의 도출을 향상시킬 수 있고, 객체의 추가 이미지가 캡처될 수 있다. 객체의 반사도 맵 표현은 추가 3D 데이터를 도출하기 위해 객체의 깊이 맵 표현에 추가 이미지를 등록한다. 객체의 향상된 3D 표현은 도출된 추가 3D 데이터에 기반하여 생성된다. 일부 실시예로, 객체의 3D 표현은 VR 시스템에서 객체의 가상 장면을 제공하는데 사용된다. VR 헤드셋을 착용하는 사용자는 객체의 증강된 깊이 맵에 의해 제공된 객체의 가상 장면들을 경험할 수 있다.

본 발명의 내용 중에 포함되어 있다.

도 1a는 일실시예에 따른, 객체의 3D 표현을 사용하여 객체의 가상 장면을 제공하는 가상 현실(VR) 시스템을 포함하는 시스템 환경의 블록도이다.
도 1b는 일실시예에 따른, 도 1a에 도시된 VR 시스템 내에서 동작하는 예시적인 VR 헤드셋의 사시도이다.
도 2a는 일실시예에 따른, 도 1a에 도시된 VR 시스템 내에서 동작하는 프로세서의 블록도이다.
도 2b는 일실시예에 따른, 장면 내의 객체의 이미지를 캡처하고, 객체의 반사도 맵 표현으로 객체의 깊이 맵 표현을 증강하는 단계들을 도시하는 흐름도이다.
도 3은 일실시예에 따른, 특정 조명 패턴으로 구조화 광에 의해 조명되는 객체의 예시적인 캡처된 이미지이다.
도 4는 일실시예에 따른, 도 3에 도시된 캡처된 이미지 내의 객체의 예시적인 깊이 맵 표현이다.
도 5는 일실시예에 따른, 도 3에 도시된 캡처된 이미지 내의 객체의 예시적인 반사도 맵 표현이다.
도 6a는 일실시예에 따른, 도 3에 도시된 캡처된 이미지 내의 객체의 패턴 특징의 기능적 동작, 패턴 특징의 제거 및 패턴 특징 제거로부터의 잔류 신호의 예시를 도시한다.
도 6b는 일실시예에 따른, 도 3에 도시된 캡처된 이미지 내의 객체의 조명된 신호와 객체의 표면 상에서 패턴 특징을 제거하는데 사용되는 곱셈 함수를 도시한다.
도 6c는 일실시예에 따른, 캡처된 이미지 내의 객체의 반사도 맵 표현을 생성하기 위한 원래의 신호, 곱셈 함수 및 조명 모델의 다른 예시를 도시한다.
도 7은 일실시예에 따른, 도 4에 도시된 깊이 맵 표현과 도 5에 도시된 반사도 맵 표현을 조합함으로써 도 3에 도시된 객체의 3D 표현의 생성을 도시하는 흐름도이다.
도 8a는 일실시예에 따른, 객체를 캡처하는 이미지 내의 객체의 패턴 특징과 픽셀 사이의 상대적 위치의 영향의 예시를 도시한다.
도 8b는 일실시예에 따른, 객체를 캡처하는 이미지 내의 객체의 패턴 특징과 픽셀 사이의 상대적 위치의 영향의 다른 예시를 도시한다.
도 9a는 일실시예에 따른, 객체의 깊이 맵 표현을 객체의 반사도 맵 표현으로 증강함으로써 객체를 캡처하는 이미지 내의 객체의 3D 표현을 프로세서에 의해 생성하는 프로세스를 도시하는 예시적인 흐름도이다.
도 9b는 일실시예에 따른, 도 9a에 도시된 프로세스에 기반하여 향상된 3D 표현을 생성하는 프로세스를 도시하는 예시적인 흐름도이다.
도면은 오로지 예시의 목적으로 본 명세서의 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.

도 1a는 일실시예에 따른, 가상 현실(VR) 시스템(100)을 포함하는 시스템 환경의 블록도이다. VR 시스템(100)은 VR 헤드셋(140)과 이미징 장치(115)를 포함하고, 이들 각각은 VR 콘솔(120)에 결합된다. 단순화를 위해, 오로지 하나의 VR 헤드셋(140), 하나의 이미징 장치(115) 및 하나의 VR 콘솔(120)이 VR 시스템(100) 내에 보여진다. 도시되지 않은 대안의 실시예로, VR 시스템(100)은 다수의 VR 헤드셋(140), 이미징 장치(115), VR 콘솔(120) 및 추가적인 또는 상이한 컴포넌트들을 포함할 수 있다. 마찬가지로, VR 시스템(100)에 포함된 다양한 엔티티들에 의해 수행되는 기능은 상이한 실시예들에서 상이할 수 있다.

VR 헤드셋(140)은 사용자에게 미디어를 제시하는 헤드-마운트 디스플레이(HMD)이다. VR 헤드셋(140)이 제시하는 미디어의 예시는 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, VR 헤드셋(140)은 또한, 증강 현실(AR) 헤드셋 및/또는 혼합 현실(MR) 헤드셋으로 동작할 수 있다. 이들 실시예에서, VR 헤드셋(140)은, 가령 물리적, 실제 세계 환경을 컴퓨터 생성된 감각 입력 가령 사운드, 비디오, 그래픽 데이터로 보강하는 것과 같이 물리적, 실제 세계 환경의 뷰를 컴퓨터 생성된 요소(예컨대, 이미지, 비디오, 사운드 등)로 증강한다. 도 1a에 도시된 실시예에서, VR 헤드셋(140)은 전자 디스플레이(142), 광학 블록(143), 하나 이상의 조명기(144), 하나 이상의 이미지 센서(145), 하나 이상의 로케이터(146), 하나 이상의 위치 센서(147) 및 관성 측정 유닛(IMU)(148)을 포함한다.

전자 디스플레이(142) 및 광학 블록(143)은, VR 헤드셋(140)을 착용 중인 사용자의 눈으로 제시되는 이미지 광을 함께 모니터한다. 더 구체적으로는, 전자 디스플레이(142)는 원래의 이미지 광을 제공한다. 광학 블록(143)은 전자 디스플레이(142)로부터 수신된 이미지 광을 확대하고, 수신된 이미지 광과 관련된 광학 오차를 보정하며, 보정된 이미지 광은 VR 헤드셋(140)의 사용자에게 제시된다. 광학 블록(143)은 하나 이상의 광학 요소를 가질 수 있다. 광학 요소는 개구, 프레넬(Fresnel) 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 전자 디스플레이(142)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소일 수 있다. 또한, 광학 블록(118)은 상이한 광학 요소들의 조합을 포함할 수 있다. 일부 실시예로, 광학 블록(143) 내의 하나 이상의 광학 요소는 하나 이상의 코팅, 가령 반사방지 코팅을 가질 수 있다.

조명기(144)는 장면에서의 객체를 조명하는 조명을 제공한다. 일실시예로, 조명기(144)는 구조화 광을 제공하여 객체를 조명한다. "구조화 광"은 알려진 조명 패턴의 픽셀들을 조명된 객체나 장면으로 투사하는 하나 이상의 조명기(144)에 의해 제공되는 광을 지칭한다. 예시적인 조명기(144)는 레이저 송신기와 적외선(infra-red; IR) 패턴 조명기일 수 있다.

이미지 센서(145)는 조명기(144)에 의해 조명되는 객체나 장면의 이미지를 캡처한다. VR 헤드셋(140) 내에 포함된 이미지 센서(145)는 시각적 범위의 단색 센서, RGB(red-green-blue) 센서 또는 IR 센서일 수 있다. 예시적인 이미지 센서(145)는 IR 카메라 또는 RGB 카메라일 수 있다.

로케이터(146)는 서로에 대하여 그리고 VR 헤드셋(140) 상의 특정 기준점에 대하여 VR 헤드셋(140) 상의 특정 위치에 위치하는 객체들을 찾는다. 로케이터(146)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, VR 헤드셋(140)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 로케이터(146)가 능동(즉, LED 또는 다른 타입의 발광 장치)인 실시예에서, 로케이터(146)는 가시광 대역(~380 nm 내지 750 nm), 적외선(IR) 대역(~750 nm 내지 1mm), 적외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 임의의 조합 내에서 광을 방출할 수 있다.

일부 실시예로, 로케이터(146)는, 로케이터(146)에 의해 방출되거나 반사된 광의 파장에 대해 투명하거나 로케이터(146)에 의해 방출되거나 반사된 광의 파장을 실질적으로 감쇠하지 않도록 충분히 얇게 되도록 VR 헤드셋(140)의 외부 표면 아래에 위치한다. 추가로, 일부 실시예에서, VR 헤드셋(140)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명하다. 따라서, 로케이터(146)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.

IMU(148)는 하나 이상의 위치 센서들(147)로부터 수신된 측정 신호에 기반하여 캘리브레이션 데이터를 생성하는 전자 장치이다. 위치 센서(147)는 VR 헤드셋(140)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(147)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(148)의 오차 보정에 사용되는 센서 타입, 또는 이들의 임의의 조합을 포함한다. 위치 센서(147)는 IMU(148)의 외부, IMU(148)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.

하나 이상의 위치 센서(147)로부터의 하나 이상의 측정 신호에 기반하여, IMU(148)는 VR 헤드셋(140)의 초기 위치에 상대적인 VR 헤드셋(140)의 추정된 위치를 표시하는 캘리브레이션 데이터를 생성한다. 예컨대, 위치 센서(147)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(148)는 측정 신호를 샘플링하고 샘플링된 데이터로부터 VR 헤드셋(140)의 추정된 위치를 계산한다. 예컨대, IMU(148)는 VR 헤드셋(140)의 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, VR 헤드셋(140) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(148)는 캘리브레이션 데이터를 결정하는 VR 콘솔(120)로 샘플링된 측정 신호를 제공한다. 기준점은 VR 헤드셋(140)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있고, 일실시예로, 기준점은 VR 헤드셋(140) 내의 지점(예를 들어, IMU(148)의 중심)으로 정의된다.

IMU(148)는 VR 헤드셋(140)의 동작을 추적하기 위해 VR 콘솔(120)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 수신된 캘리브레이션 파라미터에 기반하여, IMU(148)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 캘리브레이션 파라미터는 IMU(148)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 VR 헤드셋(140)이 기준점의 다음 캘리브레이션된 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 결정된 추정 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.

이미징 장치(115)는 VR 콘솔(120)로부터 수신된 캘리브레이션 파라미터에 따라 캘리브레이션 데이터를 생성한다. 캘리브레이션 데이터의 예시는 이미징 장치(115)에 의해 감지된 로케이터(146)의 관측된 위치를 보여주는 하나 이상의 이미지를 포함한다. 이미징 장치(115)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 이미지를 캡처할 수 있는 임의의 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 이미징 장치(115)는 (예컨대, 이미징 장치(115)에 의해 캡처되는 이미지의 신호-대-노이즈 비율을 증가시키는데 사용되는) 하나 이상의 필터를 포함할 수 있다. 이미징 장치(115)는 이미징 장치(115)의 시야에서 로케이터(146)로부터 방출되거나 반사되는 광을 감지하도록 설계된다. 로케이터(146)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 이미징 장치(115)는 이미징 장치(115)에서 광원을 향해 광을 역반사하는, 로케이터(146)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 캘리브레이션 데이터는 이미징 장치(115)로부터 VR 콘솔(120)로 통신되고, 이미징 장치(115)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 레이트, ISO, 센서 온도, 셔터 속도, 조리개 등)를 조정하기 위해 VR 콘솔(120)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다.

VR 콘솔(120)은: 이미징 장치(115) 및 VR 헤드셋(140) 중 하나 또는 둘 모두로부터 수신된 정보에 따라 사용자에게 제시하기 위해 미디어를 VR 헤드셋(140)으로 제공한다. 도 1a에 도시된 예시에서, VR 콘솔(120)은 애플리케이션 스토어(122), 추적 모듈(124), VR 엔진(126), 및 프로세서(200)를 포함한다. VR 콘솔(120)의 일부 실시예는 도 1a와 함께 기술된 것들과는 상이한 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 콘솔(120)의 컴포넌트들 사이에 분산될 수 있다.

애플리케이션 스토어(122)는 VR 콘솔(120)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서(예컨대, 컴퓨터 프로세서)에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들(예컨대, 실행가능한 컴퓨터 프로그램 명령어들)의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 VR 헤드셋(140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.

추적 모듈(124)은 하나 이상의 캘리브레이션 파라미터를 사용하여 VR 시스템(100)을 캘리브레이션하고, VR 헤드셋(140)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(124)은 VR 헤드셋(140) 상의 관측된 위치에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(115)의 초점을 조정한다. 또한, 추적 모듈(124)에 의해 수행되는 캘리브레이션은 IMU(148)로부터 수신된 정보를 감안한다. 추가로, VR 헤드셋(140)의 추적이 손실된다면(예컨대, 이미징 장치(115)가 적어도 임계 수의 로케이터(146)에 대한 시야를 손실한다면), 추적 모듈(124)은 VR 시스템(100)의 일부 또는 전부를 다시 캘리브레이션한다.

추적 모듈(124)은 이미징 장치(115)로부터 수신된 캘리브레이션 정보를 사용하여 VR 헤드셋(140)의 움직임을 추적한다. 추적 모듈(124)은 캘리브레이션 정보로부터 관측된 로케이터를 사용하여 VR 헤드셋(140)의 기준점의 위치를 결정한다. 추적 모듈(124)은 또한, IMU(148)로부터 수신된 위치 정보를 사용하여 VR 헤드셋(140)의 기준점의 위치를 결정한다. 추가로, 일부 실시예에서, 추적 모듈(124)은 VR 콘솔(120)로부터의 캘리브레이션 정보, 이미징 장치(115)로부터의 캘리브레이션 정보, 또는 이들의 임의의 조합을 사용하여 VR 헤드셋(140)의 미래의 위치를 예측할 수 있다. 추적 모듈(124)은 VR 헤드셋(140)의 추정 또는 예측된 미래 위치를 VR 엔진(126)으로 제공한다.

VR 엔진(126)은 VR 시스템(100) 내에서 애플리케이션을 실행하고, 추적 모듈(124)로부터 VR 헤드셋(140)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(126)은 사용자에게 제시하기 위해 VR 헤드셋(140)으로 제공하기 위한 컨텐츠를 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(126)은 가상 현실에서 사용자의 움직임을 미러링하는 VR 헤드셋(140)을 위한 컨텐츠를 생성한다.

프로세서(200)는 이미징 장치(115) 및/또는 VR 헤드셋(140)으로부터 수신된 정보를 프로세싱한다. 일부 실시예로, 프로세서(200)는 이미징 장치(115)로부터 이미지와 관련 이미지 데이터를 수신하고, 수신된 이미지의 하나 이상의 가상의 장면을 생성하고, VR 헤드셋(140)의 사용자에게 제시하기 위해 VR 헤드셋(140)으로 생성된 가상의 장면을 제시한다. 예컨대, 프로세서(200)는 이미징 장치(115)로부터, 구조화 광으로 조명되는 장면 내의 객체의 캡처된 이미지를 수신하고, 캡처된 이미지의 하나 이상의 패턴 특징을 분석한다. 프로세서(200)는 분석된 패턴 특징에 기반하여 캡처된 이미지로부터 객체의 반사도 맵 표현과 장면 내의 객체의 깊이 맵 표현을 생성하고, 도 2a 내지 2b에서 아래에 더욱 완전히 기술되는 바와 같이, 객체의 깊이 맵 표현과 객체의 반사도 맵 표현을 조합함으로써 객체의 3D 표현을 생성한다.

도 1b는 일실시예에 따른, 도 1a에 도시된 VR 시스템(100) 내에서 동작하는 예시적인 VR 헤드셋(160)의 사시도이다. 도 1b에서, VR 헤드셋(160)은 밴드(161), VR 헤드셋(160)의 몸체를 유지하는 유지 슬리브(162), 조명기(165), 측면 센서(164) 및 전면 센서(166)를 포함한다. 예시의 목적으로, 오로지 하나의 밴드(161), 하나의 유지 슬리브(162), 하나의 조명기(165), 하나의 전면 센서(166) 및 하나의 측면 센서(164)가 도시된다. 도시되지 않은 대안의 실시예로, VR 헤드셋(160)은 다수의 밴드(161), 유지 슬리브(162), 조명기(165), 전면 센서(166), 측면 센서(166) 및 추가 또는 상이한 컴포넌트를 포함할 수 있다. 추가로, VR 헤드셋(160) 내의 다양한 엔티티에 의해 수행되는 기능은 상이한 실시예에서 상이할 수 있다. 일부 실시예로, 도 1b에 도시된 VR 헤드셋은 도 1a에 도시된 VR 시스템(100) 내의 VR 헤드셋(140)과 동일하거나 유사하다.

조명기(165)는 장면 내의 객체나 장면을 조명한다. 일부 실시예로, 조명기(165)는 조명기에 의해 조명되는 객체나 장면이 구조화 광에 기반하여 특정 패턴을 만들어내는 특정 조명 패턴을 갖는 구조화 광을 제공한다. 프로세서(200)(도 1a에 도시)는 상이한 시간들에서 상이한 조명 패턴으로 구조화 광을 제공하도록 조명기(165)를 제어할 수 있다. 단순화를 위해, 오로지 하나의 조명기(165)가 도 1b에 도시된다. 도시되지 않는 대안의 실시예로, VR 헤드셋(160)은 상이한 타입을 갖는 추가 조명기를 포함할 수 있다. 예컨대, VR 헤드셋(160)은 장면 내에서 객체에 추가 조명을 제공하기 위한 추가 조명기(여기서는 도시되지 않음)를 포함한다. 일부 실시예로, 도 1b에 도시된 조명기(165)는 도 1a에 도시된 VR 시스템(100) 내의 조명기(144)와 동일하거나 유사하다.

전면 센서(166) 및 측면 센서(164)는 상이한 관점으로부터 VR 헤드셋(160) 전방의 객체나 장면의 이미지를 캡처한다. 일실시예로, 전면 센서(166)는 VR 헤드셋(160)의 핵심 센서일 수 있고, 측면 센서(164)는 객체의 추가 이미지를 캡처하기 위한 추가 센서로서 기능한다. 전면 센서(166)와 측면 센서(164) 둘 모두는 적외선 센서, RGB 센서 또는 단색 센서일 수 있다. 단순화를 위해, 오로지 하나의 전면 센서(166)와 하나의 측면 센서(164)가 도 1b에 도시된다. 도시되지 않는 대안의 실시예로, VR 헤드셋(160)은 VR 헤드셋 상에 상이한 장소들에 배치되거나 및/또는 상이한 타입을 갖는 상이한 개수의 센서를 포함할 수 있다. 마찬가지로, 추가 센서(들)는 상이한 타입을 갖는 센서일 수 있다. 일부 실시예로, 전면 센서(166)와 측면 센서(164)는 도 1a에 도시된 VR 시스템(100) 내의 이미지 센서(145)와 동일하거나 유사하다.

도 2a는 일실시예에 따른, 도 1a에 도시된 VR 시스템(100) 내에서 동작하는 프로세서(200)의 블록도이다. 도 2a에 도시된 예시에서, 프로세서(200)는 캡처 모듈(212), 깊이 맵 모듈(214), 반사도 맵 모듈(216), 3D 표현 모듈(218), 이미지 데이터 스토어(232), 깊이 맵 데이터 스토어(234), 반사도 맵 데이터 스토어(236) 및 3D 표현 데이터 스토어(238)를 포함한다. 도시되지 않는 대안의 실시예로, 프로세서(200)는 추가 및/또는 상이한 모듈 또는 데이터 스토어를 포함할 수 있다. 유사하게, 프로세서(200)의 다양한 엔티티에 의해 수행되는 기능은 상이한 실시예에서 상이할 수 있다.

캡처 모듈(212)은 장면 내에서 장면이나 객체의 이미지를 캡처한다. 일실시예로, 프로세서(200)는 장면 내의 객체 또는 장면 그 자체의 이미지를 캡처하도록 하나 이상의 센서(예컨대, 도 1b에 도시된 전면 센서(166), 측면 센서(164))를 명령한다. 하나의 예시로서, 캡처 모듈(212)은 객체의 깊이 맵 표현과 객체의 반사도 맵 표현을 생성하는데 사용되는 객체의 원래의 이미지를 캡처할 수 있다. 다른 예시로서, 캡처 모듈(212)은 객체의 생성된 3D 표현을 강화시키기 위해 동일한 객체의 하나 이상의 추가 이미지를 캡처할 수 있다. 추가 이미지는 동일한 센서 또는 상이한 센서에 의해, 원래의 이미지와 비교할 때 동일한 관점 또는 상이한 관점으로부터 캡처될 수 있다. 다른 예로서, 캡처 모듈(212)은 상이한 객체 또는 상이한 장면의 이미지를 캡처할 수 있다.

일실시예로, 캡처 모듈(212)은 특정 조명 패턴을 갖는 구조화 광을 객체 상에 투사하는 조명기에 의해 조명되는 객체의 이미지를 캡처한다. 객체의 캡처된 이미지는 조명 패턴이 없는 보통의 광(예컨대, 균일 조명)으로 조명된 동일한 객체의 이미지에 비해 반사도 맵의 향후의 생성을 위해 더 유용한 정보를 제공한다. 구조화 광으로 조명된 객체의 캡처된 이미지는 객체 상으로 투사된 조명 패턴에 대응하는 특정 패턴 특징을 포함한다. 패턴 특징은 스트라이프, 선, 점 또는 다른 기하학적 형상일 수 있고, 가령 형상, 크기 및 강도와 같은 균일 또는 불균일한 특성을 포함한다. 특정 구조화 광으로 조명된 예시적인 캡처된 이미지는 아래 도 3에서 기술된다. 캡처된 이미지 및 관련 이미지 데이터(예컨대, 강도, 각 픽셀의 깊이와 그라디언트)는 이하에서 더 완전히 기술되는 바와 같이 이미지 데이터 스토어(232)에 저장된다.

깊이 맵 모듈(214)은 이미지 데이터 스토어(232)로부터 조명된 객체의 캡처된 이미지를 검색하고 조명된 객체의 캡처된 이미지로부터 객체의 깊이 맵 표현을 생성한다. 전술한 바와 같이, 객체의 깊이 맵 표현은 지정된 시점으로부터 객체의 표현의 상이한 부분들의 거리에 관한 정보를 포함하는 이미지를 지칭하고, 지정된 시점은 객체의 이미지를 캡처하는 센서의 위치일 수 있다. 예시적인 깊이 맵 표현이 도 4를 참조하여 아래에 더 기술된다. 객체의 생성된 깊이 맵 표현과 관련 깊이 데이터는 이하에서 더 완전히 기술되는 바와 같이 깊이 맵 데이터 스토어(234) 내에 저장된다.

일실시예로, 깊이 맵 모듈(214)은 캡처된 이미지의 깊이 정보를 도출하기 위한 패턴 특징을 식별하고 분석한다. 객체와 연관된 식별되고 분석된 패턴 특징에 기반하여, 깊이 맵 모듈(214)은 객체의 깊이 맵 표현을 생성한다. 깊이 정보의 예시는 캡처된 이미지 내의 객체 상의 각 픽셀의 깊이의 차이로 인한 객체의 기하학적 변형일 수 있다. 객체 상의 픽셀의 "깊이"는 실제 객체 상의 픽셀과 지정된 시점(예컨대, 센서의 위치) 사이의 거리를 지칭한다.

일부 실시예로, 깊이 맵 모듈(214)은 캡처된 이미지 내의 감지된 패턴과 기준 패턴 사이의 상관관계에 기반하여 캡처된 이미지 내의 객체의 깊이 맵 표현을 생성한다. 감지된 패턴은 객체 상에 투사되고 캡처된 이미지 내에 렌더링된 패턴을 지칭하고, 기준 패턴은 조명기에 의해 제공되는 원래의 조명 패턴을 지칭한다. 객체 상에 투사되는 조명 패턴을 갖는 구조화 광에 대해, 객체의 캡처된 이미지 내에 감지되는 패턴은 구조화 광의 원래의 조명 패턴의 왜곡된 버전이다. 원래의 패턴의 왜곡된 버전은 객체의 깊이로 인한 이전(shift) 및 다른 변형을 포함한다. 감지된 패턴을 원래의 조명 패턴, 또는 원래의 조명 패턴의 대응하는 부분을 갖는 감지된 패턴의 부분과 비교함으로써, 깊이 맵 모듈(214)은 이전(shift)이나 왜곡을 식별하고 객체의 깊이 맵 표현을 생성한다.

일실시예로, 감지된 패턴과 기준 패턴 사이의 상관관계는 캡처된 이미지 내에 감지된 패턴 특징의 조정된 특징의 시퀀스를 사용하여 획득된다. 예컨대, 캡처된 이미지 상에 렌더링되는 패턴 특징은 감지된 패턴과 기준 패턴 사이의 상관관계를 보조하기 위해 개별화된다. 일실시예로, 상관관계는 전체 감지된 패턴의 개별화된 패턴 특징을 기준 패턴의 대응하는 패턴 특징과 비교하는 것에 기반한다. 다른 실시예로, 상관관계는 감지된 패턴의 부분의 개별화된 특징과 기준 패턴의 대응하는 부분의 특징과의 비교에 기반한다. 상관관계는 캡처된 이미지에서 객체의 개별 픽셀의 깊이 정보가 도출되도록 허용한다.

깊이 맵 모듈(214)은 또한, 하나 이상의 상이한 변형을 직교 방향으로 조명 패턴에 적용하는 것에 기반하여 캡처된 이미지 내의 객체의 깊이 맵 표현을 생성할 수 있다. 조명 패턴에 대한 변형은 깊이 맵 모듈(214)이 객체의 캡처된 이미지 내에서 감지된 특정 패턴 특징을 모호하지 않게 식별하도록 허용한다. 하나의 예시로서, 조명 패턴의 변형은 강도 변형(예컨대, 도 3에 도시된 스트라이프)일 수 있고, 조명 패턴으로부터 발생되는 패턴 특징의 각각의 부분으로 고유한 서명을 제공할 수 있다. 다른 예로서, 변형은, 최소 컴퓨팅 자원을 사용하여 최대 고유 식별을 제공하기 위해 주기적(하지만, 동일 위상은 아님)일 수 있다. 추가로, 깊이 맵 모듈(214)은 둘 이상의 상이한 타입의 변형을 사용할 수 있다. 상이한 타입의 변형은 서로에 대해 측정될 수 있어서 캡처된 이미지 내의 객체의 상이한 위치들에 배치된 픽셀들의 깊이 정보를 제공할 수 있다.

하나의 예시로서, 패턴 특징의 하나의 강도 변형(예컨대, 변화하는 강도를 갖는 스트라이프)을 사용한다면, 깊이 맵 모듈(214)은 지정된 수치(예컨대, 캡처된 이미지와 공유되는 동일한 좌표 시스템 내의 Y 축과 정렬되는 방향)로 각각의 스트라이프에 고유한 서명(예컨대, 주기적으로 고유한 서명)을 적용한다. 깊이 맵 모듈(214)은 지정된 기저 위치로부터 각각의 스트라이프의 이전에 기반하여 캡처된 이미지 내의 객체의 깊이 맵 표현을 생성한다. 이전을 정확히 감지하기 위해, 깊이 맵 모듈(214)은 각각의 개별 선에 주기적으로 고유한 서명을 할당함으로써 캡처된 이미지 내의 객체의 픽셀들의 각각의 개별 선을 식별할 수 있고, 각 선과 연관되는 고유한 서명에 기반하여 식별을 달성한다. 이 예시에서, 강도 변형은 하나의 수치에서 상이한 강도의 스트라이프를 포함하며, 감지된 스트라이프는, 예컨대, 일부 스트라이프는 약할 수 있고, 일부는 중간일 수 있고, 일부는 강력할 수 있는 상이한 감지 효과를 만들어 낼 수 있다. 감지된 패턴은 주어진 순서(예컨대, 약함에서 강함으로)로 약함, 중간, 및 강한 스트라이프가 일치하는 단일의 위치를 가질 수 있고, 이 경우 깊이 맵 모듈(214)은 패턴 특징의 인덱싱을 달성한다. 대안의 예시로, 상이한 강도의 제곱이 사용될 수 있고, 깊이 맵 모듈(214)은 단순히 패턴 특징의 인덱싱을 달성한다.

다른 예시로, 깊이 맵 모듈(214)은 패턴 특징의 두 개의 강도 변형을 사용할 수 있다. 두 개의 강도 변형은 주기적일 수 있고, 주기적 강도 변형은, 예컨대, 비용-절감 대안으로서 캡처된 이미지 내의 객체의 개별 픽셀들에 대해 설정될 수 있는 이용가능한 그레이 레벨에 기반하여, 생성될 수 있다. 두 개의 주기적 변형이 위상에서 벗어나는(동일 위상이 아닌) 한, 깊이 맵 모듈(214)은 독립적으로 고려될 때의 두 개의 주기적 변형의 개별 주기보다 상대적으로 더 큰 조합된 주기를 획득할 수 있다.

또 다른 실시예로, 깊이 맵 모듈(214)은 캡처된 이미지 내의 객체의 깊이 맵을 계산하기 위해 둘 이상의 특유의 강도 변형을 사용한다. 하나, 둘 또는 그 이상의 특유의 강도 변형을 갖는 조명 패턴이 투사될 수 있다. 각 변형은 VR 헤드셋의 공간 전체에 걸쳐 고유한 강도 교대 함수를 가질 수 있다. 예컨대, 패턴은, 패턴 특징으로서, 각 스트라이프를 따르는 가우시안 형태의 강도 핫스팟을 갖는 연속적인 스트라이프를 포함할 수 있다. 스트라이프 강도는 센서로부터 조명된 객체로 향하는 방향에서 이동하는 동안 선형적으로 저하되지만, 각각의 핫스팟의 최고점에서 카메라에 의해 측정되는 강도는 일정하게 유지된다. 깊이 정보(예컨대, 센서로 다시 조명 패턴을 반사시키는 객체까지의 거리)는 핫스팟 강도를 그 주변의 스트라이프 강도에 비교함으로써 추출될 수 있다.

일부 실시예로, 깊이 맵 모듈(214)은 전술한 바와 같이 스트라이프 이전에 기반하여 보조 깊이 맵 계산을 제공하기 위해 핫스팟 강도와 선 강도 사이의 비율을 더 계산한다. 핫스팟 강도 및 선 강도는 캡처된 이미지 상에 렌더링되는 패턴 특징의 절대적인 인덱싱을 도출하기 위한 적어도 두 개의 변형을 제공한다. 예컨대, 캡처된 이미지 상에 렌더링되는 패턴 특징은 평행 스트라이프로 구성될 수 있다. 평행 스트라이프는, 예컨대, 제1 방향, 가령 평행 스트라이프에 직교하는 방향에서 하나의 주기에서 변형을 주기 위해 그들의 기저 강도가 다양할 수 있다. 스트라이프 자체는 그들의 길이 방향으로 표기법을 지닐 수 있고, 변형은 상이한 스트라이프 상에서 상이하게 배열되어 각 스트라이프 또는 스트라이프의 각 클러스터가 식별되고 인덱싱되도록 할 수 있다. 일실시예로, 스트라이프가 지니는 표기법은 일정하게 유지되는 강도에 있어서 피크 강도 또는 피크 값을 가질 수 있다. 모든 강도는 광원 및 객체를 감지하는 센서로부터의 객체의 증가하는 거리에 따라 점차적으로 감소하는 것으로 예측되고, 센서에 의해 캡처되는 스트라이프의 감소된 강도는 깊이 정보를 제공할 수 있다. 일부 실시예로, 캡처된 이미지 내의 객체의 절대 휘도는 또한, 반사하는 표면에 의존하며, 이 경우 다른 요인들(예컨대, 반사하는 표면의 특성)뿐만 아니라 광원이나 센서 및 주명된 객체 사이의 거리를 포함하는 다수의 요인이 깊이 정보를 획득하기 위해 함께 고려된다.

일실시예로, 깊이 맵 모듈(214)은 스트라이프의 기저 강도와 스트라이프의 피크 강도 사이의 비율을 사용하여 특히 세그먼트화 또는 삼각측량 결과와 함께 조합될 때에 더 정확한 깊이 계산을 할 수 있다. 다른 실시예로, 깊이 맵 모듈(214)은, 각각의 스트라이프 또는 단일 스트라이프의 특정 섹터 상의 상이한 강도 및 상이한 표기 분포를 식별하며, 이는 또한, 더 정확한 깊이 맵 계산을 허용한다. 일부 실시예로, 전술한 표기법은 사용의 편의를 위해 가우시안 휘도 분포로부터 구성될 수 있다.

프로세서(200)의 반사도 맵 모듈(216)은 이미지 데이터 스토어(232)에 저장된 캡처된 이미지 내의 객체의 반사도 맵 표현을 생성한다. 전술한 바와 같이, 객체의 반사도 맵 표현은 캡처된 이미지 내의 객체의 표면의 상이한 부분들의 반사도 특성에 관한 정보를 포함하는 이미지를 지칭하고, 객체의 반사도 맵 표현은 표면 세부사항(객체의 표면 상의 시각적으로 구별되는 지점들의 미세-스케일 세부사항)을 제공한다. 일실시예로, 반사도 맵 모듈(216)은 객체 상에 투사되는 구조화 광으로부터 발생되는 객체의 본질적으로 불균일한 조명을 프로세싱함으로써 캡처된 이미지 내의 객체의 더 균일한 조명을 나타내기 위해 객체의 반사도 맵을 도출한다. 예시적인 반사도 맵 표현이 도 5에 도시된다. 생성된 반사도 맵 표현과 관련 데이터는 반사도 맵 데이터 스토어(236)에 저장된다.

일실시예로, 반사도 맵 모듈(216)은 캡처된 이미지 내의 동일한 객체의 반사도 맵 표현을 생성하고, 이로부터 객체의 깊이 맵 표현이 깊이 맵 모듈(214)에 의해 생성된다. 또 다른 실시예로, 반사도 맵 모듈(216)은, 깊이 맵 표현이 생성되는 객체의 캡처된 이미지와는 상이한, 객체의 캡처된 이미지의 반사도 맵을 생성할 수 있다. 이 실시예에서, 두 상이한 캡처된 이미지는 동일하지만 상이한 관점으로부터의 객체 또는 장면을 포함할 수 있다.

일부 실시예로, 반사도 맵 모듈(216)은 객체의 반사도 맵 표현을 생성하기 위한 미세 스케일의 세부사항을 갖는 영역과 같은, 조명된 객체의 특정 영역을 위한 반사도 맵 표현을 도출할 수 있다. 예컨대, 사람의 전면을 포함하는 객체의 경우, 얼굴의 피부 영역은 조명되지 않는 영역(즉, 조명 패턴 특징들 사이의 영역)으로 패턴화된 조명을 확산시키기 위한 정보뿐만 아니라 표면 세부사항에 관한 풍부한 정보를 포함한다. 이 예시에서, 반사도 맵 모듈(216)은 풍부한 표면 정보를 제공하는 피부 영역에 대한 반사도 맵 표현을 도출할 수 있다.

캡처된 이미지 내에 객체의 반사도 맵 표현을 생성하기 위해, 반사도 맵 모듈(216)은 우선 조명된 객체 상에 투사되고 객체의 캡처된 이미지 내에 렌더링되는 패턴 특징을 인덱싱한다. 캡처된 이미지 내의 패턴 특징의 인덱싱의 예시는 도 3을 참조하여 아래에서 더 완전히 기술된다. 반사도 맵 모듈(216)은 조명기에 의해 제공되는 조명 패턴의 특징을 캡처된 이미지 내에 렌더링되는 패턴 특징과 상관시키도록 인덱싱을 적용한다. 상관관계는 캡처된 이미지 내의 조명된 객체의 표면 상에 투사되는 패턴 특징의 기능적 행동의 계산을 또한, 가능하게 한다. 패턴 특징의 기능적 행동은 기정의된 선을 따르는 캡처된 강도와 같이 캡처된 이미지 내에 렌더링되는 패턴 특징과 연관되는 하나 이상의 특징에 의해 표현될 수 있다. 기능적 행동의 예시는, 아래에서 더 완전히 기술되는 것처럼 도 6a에 도시된다. 패턴 특징의 기능적 행동으로부터, 반사도 맵 모듈(216)은 객체의 캡처된 이미지로부터 패턴 특징을 제거함으로써 조명된 객체의 실제 표면 반사도를 계산할 수 있다. 패턴 특징의 기능적 행동에 기반하여 패턴 특징을 제거하는 것의 예시는 도 6a 및 도 6b에 도시된다.

일부 실시예로, 반사도 맵 모듈(216)은 조명 패턴을 최적화하기 위해 추가 조명기에 의해 제공되는 추가 조명으로 객체의 생성된 반사도 맵 표현을 향상시킬 수 있다. 추가 조명은 패턴 특징들 사이에 위치한 객체의 영역을 조명하는데 사용될 수 있다. 예컨대, 하나의 수치의 스트라이프인 패턴 특징의 경우 추가 조명에 의해 조명될 영역은 밝은 스트라이프 사이의 어두운 영역이다. 이러한 조명은 반사도 맵의 도출을 향상시킬 수 있다. 일부 실시예로, 조명 패턴은 또한, 몇몇 수용가능한 최적화 제약, 가령 객체의 깊이 맵 표현의 수용가능한 저하와 객체의 향상된 반사도 맵 표현 간의 트레이드오프 하에 더 넓은 표면 조명을 제공하기 위해 임의의 배경 조명 및/또는 더 넓은 특징 수치를 도입하도록 수정될 수 있다.

프로세서(200)의 3D 표현 모듈(218)은 객체의 생성된 깊이 맵 표현과 캡처된 이미지 내의 객체의 반사도 맵 표현에 기반하여 캡처된 이미지 내의 객체의 3D 표현을 생성한다. 일실시예로, 3D 표현 모듈(218)은 객체의 3D 표현을 생성하기 위해 객체의 반사도 맵 표현과 객체의 깊이 맵 표현을 조합한다. 객체의 3D 표현은 객체의 표면 세부사항과 깊이 정보 둘 모두를 포함한다. 생성된 3D 표현 및 관련 데이터는 3D 표현 데이터 스토어(238)에 저장된다.

일부 실시예로, 3D 표현 모듈(218)은 캡처된 객체의 하나 이상의 추가 이미지를 사용하여 객체의 3D 표현을 향상시킬 수 있다. 하나의 추가 이미지를 예로 들면, 3D 표현을 향상시키기 위해, 3D 표현 모듈(218)은 반사도 맵 데이터 스토어(236)로부터 객체의 생성된 반사도 맵 표현 및 3D 표현 데이터 스토어(238)로부터 객체의 생성된 깊이 맵 표현을 검색한다. 3D 표현 모듈(218)은 추출된 깊이 맵 표현으로 추가 이미지를 등록하기 위해 객체의 반사도 맵 표현을 사용하고 추가 이미지의 표면 정보를 3D 표현 내에 이미 포함된 표면 정보와 상관시킨다. 3D 표현 모듈(218)은 객체의 반사도 맵 표현과 객체의 추가 이미지를 비교함으로써 객체의 추가적인 3D 정보를 도출하고, 깊이 맵 표현을 향상시키기 위해 도출된 3D 정보를 추가하며, 더 향상된 3D 표현을 또한, 생성한다.

프로세서(200)의 이미지 데이터 스토어(232)는 캡처된 이미지와 관련된 이미지 데이터 및 특정 객체나 장면의 캡처된 이미지를 저장한다. 일실시예로, 이미지 데이터 스토어(232)에 저장된 캡처된 이미지는 동일한 객체 또는 동일한 장면의 이미지들일 수 있다. 이 실시예에서, 캡처된 이미지는 또한, 하나 이상의 조명기에 의해 제공되는 조명 패턴의 측면에서 다양할 수 있다. 예컨대, 전술한 바와 같이, 캡처된 이미지는 동일하지만 추가 조명을 갖는 객체 또는 장면의 이미지일 수 있고, 이는 반사도 맵 표현의 구성을 향상시키는데 사용된다. 다른 실시예로, 이미지 데이터 스토어(232)에 저장된 캡처된 이미지는 동일하거나 상이한 조명 패턴을 갖는 상이한 객체 또는 상이한 장면의 이미지를 포함할 수 있다. 이미지 데이터 스토어(232)는 또한, 추가 센서에 의해 캡처된 추가 이미지 및 추가 이미지와 관련된 이미지 데이터를 저장한다.

프로세서(200)의 깊이 맵 데이터 스토어(234)는 깊이 맵 표현과 깊이 맵 모듈(214)에 의해 생성된 객체의 관련 데이터를 저장한다. 예컨대, 깊이 맵 데이터 스토어(234)는 향상된 깊이 맵 표현과 관련 깊이 데이터뿐만 아니라 원래의 깊이 맵 표현과 관련 깊이 데이터를 저장한다. 상술한 바와 같이, 원래의 깊이 맵 표현은 추가 이미지가 없는 원래의 캡처된 이미지로부터 도출된 깊이 맵 표현을 지칭하는 한편, 향상된 깊이 맵 표현은 추가 이미지와 추가 3D 데이터로 향상되는 깊이 맵 표현을 지칭한다.

프로세서(200)의 반사도 맵 데이터 스토어(236)는 반사도 맵 모듈(216)에 의해 생성된 객체의 반사도 맵 표현과 관련 데이터를 저장한다. 예컨대, 반사도 맵 데이터 스토어(236)는 향상된 반사도 맵 표현과 관련 반사도 데이터뿐만 아니라 원래의 반사도 맵 표현과 관련 반사도 데이터를 저장한다. 전술한 바와 같이, 원래의 반사도 맵 표현은 추가 조명 없이 원래의 캡처된 이미지로부터 도출된 반사도 맵 표현을 지칭하는 한편, 향상된 반사도 맵 표현은 추가 조명으로 향상된 반사도 맵 표현을 지칭한다. 반사도 맵 표현과 관련 반사도 데이터는 캡처된 이미지 내의 객체의 표현의 반사도 특성을 제공한다.

프로세서(200)의 3D 표현 데이터 스토어(238)는 3D 표현 모듈(218)에 의해 생성된 객체의 3D 표현과 관련 데이터를 저장한다. 예컨대, 3D 표현 데이터 스토어(238)는 향상된 3D 표현과 관련 3D 데이터뿐만 아니라 원래의 3D 표현과 관련 3D 데이터를 저장한다. 전술한 바와 같이, 원래의 3D 표현은 추가 이미지나 향상된 깊이 맵 표현이 없는 반사도 맵 표현과 깊이 맵 표현으로부터 도출되는 3D 표현을 지칭하는 한편, 향상된 3D 표현은 추가 이미지와 그리고 또한, 추가 3D 데이터 및 향상된 깊이 맵 표현으로 생성된 3D 표현을 지칭한다.

도 2b는 일실시예에 따른, 장면(252) 내에서 객체(254)의 이미지(260)를 캡처하고 객체의 반사도 맵 표현(288)으로 객체(254)의 깊이 맵 표현(270)을 증강하는 단계를 도시하는 흐름도(250)이다. 도 2b에 도시되는 것처럼, 조명기(265)는 장면(252) 내에서 객체(254)로 특정 조명 패턴(예컨대, 스트립)을 갖는 구조화 광을 제공하고, 센서(266)는 장면(252) 내에서 객체(254)의 이미지를 캡처한다. 일실시예로, 프로세서(200)는 조명기(265)로 하여금 특정 구조화 광을 갖는 객체(254)를 조명하도록 지시할 수 있다. 캡처된 이미지(260)는 객체(254)의 깊이 맵 표현(270) 및 객체(254)의 반사도 맵 표현(288)을 생성하도록 프로세서(200)로 제공된다. 객체(254)의 반사도 맵 표현(288)을 생성하기 위해, 프로세서(200)는 우선 캡처된 이미지(260) 내에 렌더링된 패턴 특징을 인덱싱함으로써 인덱싱된 패턴 특징(282)을 도출한다. 프로세서(200)는 이후 캡처된 이미지(260) 내의 인덱싱된 패턴 특징을 분석함으로써 적어도 하나의 패턴 특징(284)의 기능적 행동을 도출한다. 프로세서(200)는 패턴 특징의 도출된 기능적 행동에 기반하여 캡처된 이미지(260)로부터 패턴 특징의 제거(286)로 객체(254)의 반사도 맵 표현(288)을 생성한다. 프로세서(200)는 객체(254)의 3D 표현(290)을 생성하기 위해 객체(254)의 깊이 맵 표현(270)과 객체(254)의 반사도 맵 표현(288)을 조합한다.

일실시예로, 도 2b에 도시되는 것처럼, 추가 조명기(267)는 도 2a에서 전술한 바와 같이, 반사도 맵 표현(288)의 구성을 향상시키기 위해 장면(252) 내의 객체(254)로 추가 조명을 갖는 구조화 광을 제공할 수 있다. 추가 센서(268)는 장면(252) 내의 객체(254)의 추가 이미지(269)를 캡처할 수 있고, 프로세서(200)는 도 2a에서 전술한 바와 같이 향상된 3D 표현(292)을 생성하기 위해 반사도 맵 표현(288)으로 하여금 깊이 맵 표현(270) 상으로 추가 이미지를 등록하도록 명령한다.

도 3은 일실시예에 따른, 특정 조명 패턴(320)으로 구조화 광에 의해 조명되는 객체(354)의 예시적인 캡처된 이미지(300)이다. 도 3에 도시되는 것처럼, 캡처된 이미지(300) 내의 객체(354)는 조명 패턴(320)을 갖는 구조화 광에 의해 조명되는 전면 얼굴, 목 및 어깨를 가지는 사람이다. 캡처된 이미지(300)는, 객체(354)의 전면 얼굴(즉, 322A) 및 어깨(즉, 322B) 상에 렌더링되는 패턴 특징(322)이 상이한 강도를 갖는 하나의 방향(수평 방향)에 있는 선형 스트라이프이며, 특정 강도를 갖는 각각의 개별 스트라이프는 패턴 특징임을 도시한다. 캡처된 이미지(300)는 또한, 패턴 특징(322)의 인덱싱(342) 및 패턴 특징의 도출된 기능적 행동(344)을 도시한다. 예컨대, 패턴 특징(322)들 각각(예컨대, 다양한 강도를 갖는 수평 스트라이프)은 각 패턴 특징의 특징적 특성(예컨대, 강도)에 따라 화살표에 의해 보여지도록 인덱싱된다. "특징적 특성"은 개별 패턴 특징을 구별하는데 사용될 수 있는 패턴 특정의 특정 타입의 특성을 지칭한다. 이 예시에서, 특징적 특성은, 개별 스트라이프의 강도가 두 개의 인접하는 밝은 스트라이프 사이를 어두운 간격으로 서로로부터 분리하므로 각 패턴 특징(예컨대, 각각의 수평 스트라이프)을 구별하는데 사용되는 강도이며, 이는 개별 패턴 특징의 인덱싱을 허용한다. 도시되지 않는 대안의 예시에서, 특징적 특성의 상이한 타입이 패턴 특징의 대응하는 타입의 인덱싱을 보조하도록 적용될 수 있다. 예컨대, 형상(이를테면 선의 폭)과 색상이 패턴 특징의 다른 타입들의 다른 특징적 특성일 수 있다. 추가로, 상이한 타입의 조명 패턴으로 조명된 상이한 객체가 캡처될 수 있고, 캡처된 이미지는 상이한 타입의 패턴 특징을 렌더링할 수 있고, 대응하는 특징적 특성이 패턴 특징을 인덱싱하는데 사용된다.

객체의 상이한 부분에서 패턴 특징(322)의 기능적 행동(344)이 상이할 수 있다. 예컨대, 피부 영역 위의(예컨대, 얼굴이나 목 위의) 패턴 특징(322A)은 의복 영역(예컨대, 어깨)위의 패턴 특징(322B)보다 더 확산적으로 나타난다. 의복 위의 패턴 특징(322B)은 더 많이 분포되는 것으로 또한, 나타나고, 특징 간의 간극(324)이 또한, 피부를 통한 조명의 확산으로 인해 조명된다.

본 명세서에 기술되는 특징 간의 간극(324)은 동일한 패턴 특징 내의(예컨대, 동일한 수평 스트라이프 내의) 강도의 간극을 지칭한다. 일부 실시예로, 피부 영역 상의 패턴 특징(322A)과 의복 영역 상의 패턴 특징(322B) 사이의 차이는 두 영역의 텍스처의 차이로부터 발생될 수 있다. 패턴 특징들(322A, 322B) 사이의 차이는 또한, 피부 영역 상의 패턴 특징(322A)이 패턴 특징의 더 나은 가시성으로 인해 패턴 특징의 기능적 행동을 도출하고 또한, 대응하는 반사도 맵 표현을 구성하는데 더 적절함을 보여준다.

도 4는 일실시예에 따른, 도 3에 도시된 캡처된 이미지(300) 내의 객체(354)의 예시적인 깊이 맵 표현(400)이다. 도 4에 도시되는 것처럼, 깊이 맵 표현(400)은 캡처된 이미지(300) 내의 객체(354)의 타겟 패턴 특징의 변형으로부터 도출된다. 타겟 패턴 특징은 캡처된 이미지(300) 내의 사람의 피부 영역 위의(예컨대, 얼굴 위나 목 위의) 패턴 특징을 포함한다. 타겟 패턴 특징의 변형은 캡처된 이미지(300) 내의 수평 스트라이프의 변형을 포함한다. 일실시예로, 타겟 패턴 특징의 변형은 변형을 생성하도록 보정(interpolate)되는, 메쉬-기반 모델(440)에 기반한다. 사람의 깊이 맵 표현(400)은 캡처된 이미지(300) 내의 사람의 깊이 정보를 포함하지만, 캡처된 객체(354)의 표면 상의 표면 정보 및 미세-스케일 세부사항을 갖지는 않는다.

도 5는 일실시예에 따른, 도 3에 도시된 캡처된 이미지(300) 내의 객체(354)의 예시적인 반사도 맵 표현(500)이다. 도 5에 도시된 반사도 맵 표현(500)은, 객체(354)의 의복 영역을 포함하지 않는, 객체(354)의 피부 영역(예컨대, 얼굴과 목) 위의 반사도 정보만을 포함한다. 반사도 맵 표현(500)의 의복 영역과 배경은 도 3에 도시되는 캡처된 이미지(300)의 대응하는 부분들로부터 취해진다. 피부 영역만을 구성하는 하나의 이유는 위에서 도 3에 도시되는 바와 같이 이러한 영역들에서 패턴 특징의 기능적 행동이 더 가시적이기 때문이다. 도 4에 도시된 깊이 맵 표현(400)과 비교할 때, 반사도 맵 표현(500)은 객체(354)의 표면의 미세-스케일 세부사항을 제공한다. 예컨대, 반사도 맵 표현(500)은 도 4에 도시되는 깊이 맵 표현(400)으로부터는 볼 수 없는, 객체(354)의 얼굴 상의 눈썹(522), 속눈썹(523), 뺨(524), 콧구멍(525) 및 입(526)을 도시한다.

도 6a-6c는 일실시예에 따른, 도 3에 도시된 캡처된 이미지(300) 내의 객체(354)의 반사도 맵 표현을 생성하는 다양한 양태를 도시한다. 보다 구체적으로, 도 6a는 일실시예에 따른, 객체(354)의 패턴 특징의 기능적 행동(610), 패턴 특징(620)의 제거, 및 도 3에 도시된 캡처된 이미지(300) 내의 객체(354)의 발생되는 잔류 신호(630)의 예시를 도시한다. 610에 도시된 예시에서, 객체(354)의 패턴 특징의 기능적 행동은 도 3에 도시된 캡처된 이미지(300) 내의 객체(354) 상에 렌더링되는 수평 스트라이프의 길이 방향에 직교하는 선(612)을 따르는 캡처된 강도로 표현된다. 기능적 행동의 선 다이어그램(610) 상의 피크값(614)은 캡처된 이미지(300) 내의 객체(354) 상의 패턴 특징(예컨대, 밝은 스트라이프)의 최대 강도를 나타낸다. 최저값(valley value, 616)은 캡처된 이미지(300) 내의 객체(354) 상의 패턴 특징(예컨대, 밝은 스트라이프) 간의 최소 강도를 나타낸다.

예시(620)는 패턴 특징(622)의 기능적 행동에 기반하여 패턴 특징(622)의 제거를 보여준다. 객체(354)로부터의 패턴 특징(622)의 제거는 캡처된 이미지(300) 내의 객체(354)(예컨대, 사람)의 표면의 반사도를 표현하거나 근사화하는 잔류 신호(624)를 생성한다. 아래에서 도 6b에 보다 완전히 기술되는 것처럼, 패턴 특징의 제거는 곱셈 함수(654)에 의해 수행될 수 있다.

발생되는 잔류 신호의 예시(630)는 캡처된 이미지(300)로부터 패턴 특징이 제거된 후의 잔류 신호(624)를 보여준다. 잔류 신호(624)는 캡처된 이미지(300) 내의 객체(354)의 표면 상의 반사도에 관한 정보를 제공하고 캡처된 이미지(300) 내의 객체(354)의 반사도 맵 표현을 구성하는데 사용된다.

도 6b는 캡처된 이미지(300) 내의 객체(354)의 조명된 신호(652) 및 캡처된 이미지(300) 내의 객체(354)의 표면 상의 패턴 특징을 제거하는데 사용되는 곱셈 함수(654)를 도시한다. 보다 상세하게는, 곱셈 함수(654)는 조명된 신호(652)로부터 도출되고, 대응하는 2차원 형태로 객체(354)의 반사도 맵 표현을 생성하도록 캡처된 이미지를 곱하는데 사용된다.

도 6c는 원래의 신호(672), 곱셈 함수(674) 및 조명 모델(676)의 다른 예시(670)를 도시한다.

도 7은 일실시예에 따른, 도 4에 도시되는 객체의 깊이 맵 표현(400)과 도 5에 도시되는 객체의 반사도 맵 표현(500)을 조합함으로써 도 3에 도시된 객체(354)의 3D 표현(750)의 생성을 도시하는 흐름도(700)이다. 도 7에 도시되는 것처럼, 캡처된 이미지(300)는 캡처된 객체(354)(예컨대, 사람) 상의 패턴 특징을 렌더링한다. 객체의 깊이 맵 표현(400)과 반사도 맵 표현(500)은 객체의 캡처된 이미지(300)로부터 도출되고, 여기서 객체의 깊이 맵 표현(400)은 객체의 깊이 정보를 제공하는 한편, 반사도 맵 표현(500)은 객체의 표면의 반사도 정보를 제공한다. 3D 표현(750)은 객체의 깊이 맵 표현(400)과 객체의 반사도 맵 표현(500)을 조합함으로써 생성된다. 생성된 3D 표현(750)의 실제 3D 효과는 예컨대, 도 1에 도시된 VR 헤드셋(140)과 같은 VR 장치를 사용함으로써 입체적으로 보여질 수 있다.

도 8a는 일실시예에 따른, 객체를 캡처하는 이미지 내의 객체의 패턴 특징과 픽셀 사이의 상대적 위치들의 효과의 예시를 도시한다. 도 8a에서, 선 다이어그램(810)은 패턴 특징이 캡처된 이미지 내에서 객체의 픽셀 중심을 따라 중심에 위치함을 도시한다. 선 다이어그램(820)은 그들의 기능적 행동에 따라 패턴 특징을 제거하도록 적용되는 보정 모듈을 도시하고, 선 다이어그램(830)은 패턴 특징의 완전한 제거를 도시한다.

도 8b는 일실시예에 따른, 객체를 캡처하는 이미지 내의 객체의 패턴 특징과 픽셀 사이의 상대적 위치들의 효과의 다른 예시를 도시한다. 도 8b에서, 선 다이어그램(860)은 패턴 특징이 캡처된 이미지 내의 객체의 픽셀 중심을 따라 중심에 위치하지 않는 것을 도시한다. 선 다이어그램(870)은 그들의 기능적 행동에 따라 패턴 특징을 제거하도록 적용되는 보정 모듈을 도시하고, 선 다이어그램(880)은 이전된 패턴 특징으로 인해 패턴 특징의 제거가 완전하지 않음을 도시한다.

일부 실시예로, 캡처된 이미지 내의 객체의 픽셀 중심을 따라 중심에 위치하지 않는 패턴 특징들에 대해, 객체의 픽셀 중심에 대한 패턴 특징의 이전은 하위-해상도 보정으로 보정될 수 있고, 보정된 반사도 맵 표현이 이러한 보정으로 생성될 수 있다. 픽셀 중심에 대한 패턴 특징의 이전에 대한 보정은 이웃하는 픽셀들 상의 광 분포를 추적하는 것과 픽셀 크기보다 작은 단일 픽셀 상의 스팟으로, 2차원 또는 3차원에서 다수의 픽셀 상의 전체 분포 패턴을 맵핑하는 것을 수반할 수 있다. 하위-해상도 보정에 관한 더 많은 세부사항들은 미국 특허출원 제14/595,369호에서 찾을 수 있다.

도 9a는 일실시예에 따른, 객체의 깊이 맵 표현을 객체의 반사도 맵 표현으로 증강함으로써 객체를 캡처하는 이미지 내의 객체의 3D 표현을 프로세서(200)에 의해 생성하는 프로세스를 도시하는 예시적인 흐름도(900)이다. 초기에, 장면 내의 객체는 조명기(예컨대, 도 2b의 조명기(265))에 의해 구조화 광으로 조명되고(910), 조명된 객체의 이미지는 이미지 센서(예컨대, 도 2b의 센서(266))에 의해 캡처된다. 전술한 바와 같이, 캡처된 이미지는 구조화 광에 의해 제공되는 조명 패턴으로부터 발생되는 패턴 특징을 렌더링한다. 프로세서(200)는 캡처된 이미지 내의 패턴 특징을 분석한다(930). 프로세서(200)는 분석된 패턴 특징에 기반하여 캡처된 이미지로부터 객체의 깊이 맵 표현을 생성한다(940). 프로세서(200)는 또한, 분석된 특징에 기반하여 캡처된 이미지로부터 객체의 반사도 맵 표현을 생성한다(950).

객체의 반사도 맵 표현을 생성하기 위해, 프로세서(200)는 우선 캡처된 이미지 내에 도시되는 객체에 걸쳐 패턴 특징을 인덱싱하고(952), 이후 객체의 표면 상에 패턴 특징(들)의 기능적 행동을 도출한다(954). 기능적 행동을 도출한 후에, 프로세서(200)는 객체의 반사도 맵 표현을 생성하도록 캡처된 이미지로부터 패턴 특징을 제거한다(956).

깊이 맵 표현과 반사도 맵 표현 둘 모두가 생성된 후, 프로세서(200)는 깊이 맵 표현과 객체의 반사도 맵 표현을 조합함으로써 객체의 3D 표현을 생성한다(960). 프로세서(200)는 객체의 하나 이상의 추가 이미지 및 추가 조명으로 객체의 향상된 3D 표현을 더 생성한다(970).

도 9b는 일실시예에 따른, 도 9a에 도시된 프로세스에 기반하여 향상된 3D 표현을 생성하는 프로세스를 도시하는 예시적인 흐름도이다. 도 9b에 도시되는 것처럼, 추가 조명기는 반사도 맵 표현의 구성을 향상시키기 위해 객체로 추가 조명을 제공한다(971). 장면 내의 객체의 하나 이상의 추가 이미지가 캡처된다(972). 프로세서(200)는 추가 조명에 의해 향상된 반사도 맵 표현으로 객체의 깊이 맵 표현 상에 추가 이미지들을 등록한다(973). 프로세서(200)는 등록된 추가 이미지에 기반하여 객체 상의 추가 3D 데이터를 도출한다(974). 프로세서(200)는 추가 3D 데이터와 향상된 반사도 맵 표현에 기반하여 객체의 향상된 3D 표현을 생성한다(975).

추가적인 구성 정보

본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 명세서를 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.

본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.

본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.

본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.

본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

마지막으로, 본 명세서에 사용된 언어는 가독성과 지시의 목적으로 이론적으로 선택된 것으로 발명의 사상을 제한하거나 한정하기 위하여 선택된 것이 아니다. 따라서, 본 명세서의 범위는 발명의 상세한 설명에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 하기의 청구범위에서 제시되는 명세서의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.

Claims

조명 패턴의 구조화 광으로 장면 내의 객체를 조명하는 단계;
조명 패턴에 따라 복수의 패턴 특징을 갖는 조명된 객체의 이미지를 캡처하는 단계;
조명된 객체의 캡처된 이미지 내의 적어도 하나의 패턴 특징을 분석하는 단계;
캡처된 이미지의 적어도 하나의 패턴 특징의 분석에 기반하여 객체의 깊이 맵 표현을 생성하는 단계;
객체의 캡처된 이미지로부터 반사도 맵 표현을 생성하는 단계;
객체의 깊이 맵 표현과 객체의 반사도 맵 표현을 조합하는 단계; 및
객체의 깊이 맵 표현과 객체의 반사도 맵 표현의 조합에 기반하여 객체의 3차원(3D) 표현을 생성하는 단계를 포함하고,
객체의 깊이 맵 표현은 객체의 이미지를 캡처할 때 시점(viewpoint)에 대한 객체의 거리를 기술하는 정보를 포함하고,
객체의 반사도 맵 표현은 객체의 적어도 일부의 반사도 특성을 기술하는 정보를 포함하는 방법.
제 1 항에 있어서,
객체의 반사도 맵 표현을 생성하는 단계는:
캡처된 이미지 내의 객체로 투사되는 적어도 하나의 패턴 특징을 인덱싱하는 단계;
적어도 하나의 인덱싱된 패턴 특징의 기능적 행동을 도출하는 단계; 및
패턴 특징의 도출된 기능적 행동에 기반하여 객체의 캡처된 이미지로부터 적어도 하나의 패턴 특징을 제거하는 단계를 포함하는 방법.
제 2 항에 있어서,
적어도 하나의 패턴 특징을 인덱싱하는 단계는:
패턴 특징의 특징적 특성에 기반하여 적어도 하나의 패턴 특징을 라벨링하는 단계를 포함하고,
특징적 특성은 패턴 특징의 강도, 형상, 크기 또는 색상 중 적어도 하나를 포함하는 방법.
제 2 항에 있어서,
적어도 하나의 패턴 특징의 기능적 행동은 기결정된 방향을 따르는 패턴 특징의 강도에 의해 표현되는 방법.
제 2 항에 있어서,
적어도 하나의 패턴 특징을 제거하는 단계는:
적어도 하나의 패턴 특징에 곱셈 함수를 적용하는 단계; 및
곱셈 함수의 적용에 기반하여 적어도 하나의 패턴 특징을 제거하는 단계를 포함하는 방법.
제 1 항에 있어서,
적어도 하나의 패턴 특징을 제거하는 단계는:
캡처된 이미지 내의 객체의 픽셀의 중심에 대한 적어도 하나의 패턴 특징의 위치를 결정하는 단계; 및
객체의 픽셀의 중심에 대한 적어도 하나의 패턴 특징의 위치를 보정하는 단계를 포함하고,
적어도 하나의 패턴 특징은 보정 후 객체의 캡처된 이미지로부터 제거되는 방법.
제 1 항에 있어서,
객체에 추가 조명을 제공하는 단계; 및
객체에 대한 추가 조명으로 객체의 반사도 맵 표현을 향상시키는 단계를 더 포함하고,
객체의 향상된 반사도 맵 표현은 객체의 표면의 하나 이상의 부분의 반사도를 기술하는 추가 정보를 제공하는 방법.
제 1 항에 있어서,
객체의 강화된 3D 표현을 생성하는 단계를 더 포함하고,
객체의 강화된 3D 표현을 생성하는 단계는:
객체의 하나 이상의 추가 이미지를 캡처하는 단계;
반사도 맵 표현으로 객체의 깊이 맵 표현에 하나 이상의 추가 이미지를 등록하는 단계;
추가 이미지로부터 추가 3D 데이터를 도출하는 단계; 및
추가 3D 데이터로 객체의 강화된 3D 표현을 생성하는 단계를 포함하는 방법.
제 8 항에 있어서,
객체의 향상된 반사도 맵 표현으로 객체의 강화된 3D 표현을 생성하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
패턴 특징은 상이한 강도를 갖는 스트라이프이며, 인접하는 두 개의 스트라이프는 어두운 간격으로 분리되는 방법.
컴퓨터 프로세서에 의해 실행될 때, 프로세서로 하여금:
조명 패턴의 구조화 광으로 장면 내의 객체를 조명하는 단계;
조명 패턴에 따라 복수의 패턴 특징을 갖는 조명된 객체의 이미지를 캡처하는 단계;
조명된 객체의 캡처된 이미지 내의 적어도 하나의 패턴 특징을 분석하는 단계;
캡처된 이미지의 적어도 하나의 패턴 특징의 분석에 기반하여 객체의 깊이 맵 표현을 생성하는 단계;
객체의 캡처된 이미지로부터 반사도 맵 표현을 생성하는 단계;
객체의 깊이 맵 표현과 객체의 반사도 맵 표현을 조합하는 단계; 및
객체의 깊이 맵 표현과 객체의 반사도 맵 표현의 조합에 기반하여 객체의 3차원(3D) 표현을 생성하는 단계를 수행하도록 야기하는 컴퓨터 프로그램 명령어를 저장하고,
객체의 깊이 맵 표현은 객체의 이미지를 캡처할 때 시점(viewpoint)에 대한 객체의 거리를 기술하는 정보를 포함하고,
객체의 반사도 맵 표현은 객체의 적어도 일부의 반사도 특성을 기술하는 정보를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 11 항에 있어서,
객체의 반사도 맵 표현을 생성하는 단계는:
캡처된 이미지 내의 객체로 투사되는 적어도 하나의 패턴 특징을 인덱싱하는 단계;
적어도 하나의 인덱싱된 패턴 특징의 기능적 행동을 도출하는 단계; 및
패턴 특징의 도출된 기능적 행동에 기반하여 객체의 캡처된 이미지로부터 적어도 하나의 패턴 특징을 제거하는 단계를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 12 항에 있어서,
적어도 하나의 패턴 특징을 인덱싱하는 단계는:
패턴 특징의 특징적 특성에 기반하여 적어도 하나의 패턴 특징을 라벨링하는 단계를 포함하고,
특징적 특성은 패턴 특징의 강도, 형상, 크기 또는 색상 중 적어도 하나를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 12 항에 있어서,
적어도 하나의 패턴 특징의 기능적 행동은 기결정된 방향을 따르는 패턴 특징의 강도에 의해 표현되는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 12 항에 있어서,
적어도 하나의 패턴 특징을 제거하는 단계는:
적어도 하나의 패턴 특징에 곱셈 함수를 적용하는 단계; 및
곱셈 함수의 적용에 기반하여 적어도 하나의 패턴 특징을 제거하는 단계를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 11 항에 있어서,
적어도 하나의 패턴 특징을 제거하는 단계는:
캡처된 이미지 내의 객체의 픽셀의 중심에 대한 적어도 하나의 패턴 특징의 위치를 결정하는 단계; 및
객체의 픽셀의 중심에 대한 적어도 하나의 패턴 특징의 위치를 보정하는 단계를 포함하고,
적어도 하나의 패턴 특징은 보정 후 객체의 캡처된 이미지로부터 제거되는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 11 항에 있어서,
객체에 추가 조명을 제공하는 단계; 및
객체에 대한 추가 조명으로 객체의 반사도 맵 표현을 향상시키는 단계를 더 포함하고,
객체의 향상된 반사도 맵 표현은 객체의 표면의 하나 이상의 부분의 반사도를 기술하는 추가 정보를 제공하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 11 항에 있어서,
객체의 강화된 3D 표현을 생성하는 단계를 더 포함하고,
객체의 강화된 3D 표현을 생성하는 단계는:
객체의 하나 이상의 추가 이미지를 캡처하는 단계;
반사도 맵 표현으로 객체의 깊이 맵 표현에 하나 이상의 추가 이미지를 등록하는 단계;
추가 이미지로부터 추가 3D 데이터를 도출하는 단계; 및
추가 3D 데이터로 객체의 강화된 3D 표현을 생성하는 단계를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 18 항에 있어서,
객체의 향상된 반사도 맵 표현으로 객체의 강화된 3D 표현을 생성하는 단계를 더 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체.
제 11 항에 있어서,
패턴 특징은 상이한 강도를 갖는 스트라이프이며, 인접하는 두 개의 스트라이프는 어두운 간격으로 분리되는 비-일시적 컴퓨터 판독가능한 저장 매체.