KR101978896B1

KR101978896B1 - 스테레오 렌더링 시스템

Info

Publication number: KR101978896B1
Application number: KR1020177031610A
Authority: KR
Inventors: 앤드류 이안 러셀
Original assignee: 구글 엘엘씨
Priority date: 2015-09-10
Filing date: 2016-09-09
Publication date: 2019-05-15
Also published as: JP2018533232A; GB201717596D0; CN107810633B; KR20170133461A; JP6596510B2; GB2556207A; WO2017044790A1; GB2556207B; EP3348054B1; CN107810633A; US10757399B2; EP3348054A1; DE112016004114T5; US20170078651A1

Abstract

방법은 헤드 장착형 디스플레이(HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드(field of view)의 지시를 수신하는 단계; 상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도(depth of view)의 지시를 수신하는 단계; 상기 시야 필드에 기초하여 제1 우안(right eye) 이미지 및 제2 우안 이미지를 선택하는 단계; 상기 시야 심도에 기초하여 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계; 상기 시야 필드에 기초하여 제1 좌안(left eye) 이미지 및 제2 좌안 이미지를 선택하는 단계; 및 상기 시야 심도에 기초하여 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계를 포함한다.

Description

스테레오 렌더링 시스템

관련 출원에 대한 상호 참조

본 출원은 전체 내용이 본 명세서에 병합된 2015년 9월 10일에 출원된 미국 특허 출원 번호 14/850,114의 계속 출원이고 그 우선권을 주장한다.

기술 분야

본 실시예는 스테레오 이미지 및/또는 비디오의 좌안(left eye) 및 우안(right eye) 이미지 및/또는 비디오를 렌더링하는 것에 관한 것이다.

통상적인 스테레오 렌더링은 카메라 쌍들 사이에 조밀한 광학 흐름 필드(optical flow field)를 계산한 다음, 전체 3D 이미지에 걸쳐 시점(viewpoint)을 보간하는 것을 포함한다. 이것은 반투명한 물체와 같은 일부 경우에 곤란하며 심지어 불가능한 것으로 고려될 수도 있다. 심지어 일반 고체 물체의 경우에도 이것은 대부분의 광학 흐름 알고리즘을 실시간으로 수행하기에는 너무 느리기 때문에 곤란하다. 다시 말해, 캡처된 2D 이미지로부터 3D 이미지를 보간하는 것은 프로세서 집약적일 수 있다. 그 결과, 원하는 재생 사용자 경험을 달성하기 위해 실시간으로 3D 이미지 및/또는 3D 비디오를 생성하는 것이 곤란할 수 있다. 그리하여, 실시간으로 및/또는 이미지 또는 비디오가 스트리밍될 때 광학 흐름 보간 없이 3D 이미지 및/또는 3D 비디오를 렌더링하는 것이 바람직하다.

예시적인 실시예는 3D 이미지 및/또는 비디오에 대한 시스템 및 방법을 설명한다. 일반적인 양태에서, 방법은 헤드 장착형 디스플레이(head mount display: HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드(field of view)의 지시(indication)를 수신하는 단계; 상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도(depth of view)의 지시를 수신하는 단계; 상기 시야 필드에 기초하여 제1 우안 이미지 및 제2 우안 이미지를 선택하는 단계; 상기 시야 심도에 기초하여 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계; 상기 시야 필드에 기초하여 제1 좌안 이미지와 제2 좌안 이미지를 선택하는 단계; 및 상기 시야 심도에 기초하여 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계를 포함한다.

예시적인 실시예들은 이하에 제시된 상세한 설명 및 첨부된 도면으로부터 더욱 완전히 이해될 수 있을 것이며, 첨부된 도면에서 동일한 요소들은 동일한 참조 번호들로 표시되며, 이 첨부된 도면은 단지 예시를 위하여 주어진 것이어서 예시적인 실시예들을 제한하려는 것은 아니다.
도 1은 적어도 하나의 예시적인 실시예에 따라 이미지 및/또는 비디오를 캡처하고 렌더링하기 위한 시스템의 블록도를 도시한다.
도 2는 적어도 하나의 예시적인 실시예에 따른 이미지 처리 시스템의 블록도를 도시한다.
도 3a는 적어도 하나의 예시적인 실시예에 따른 이미지 캡처 구성의 블록도의 평면 투시도를 도시한다.
도 3b는 적어도 하나의 예시적인 실시예에 따른 이미지 캡처 구성의 블록도의 정면 투시도를 도시한다.
도 4는 적어도 하나의 예시적인 실시예에 따른 방법의 블록도를 도시한다.
도 5a, 도 5b 및 도 5c는 적어도 하나의 예시적인 실시예에 따라 캡처될 장면의 중심, 좌측 및 우측에 위치된 카메라에 의해 캡처된 이미지를 도시한다.
도 6a 및 도 6b는 적어도 하나의 예시적인 실시예에 따라 카메라와 동일한 평면을 따라 두 눈으로 본 동일한 이미지를 도시한다.
도 7a, 도 7b 및 도 7c는 인간 시각 시스템(human visual system)에 의해 시각화된 이미지를 도시한다.
도 8a 및 도 8b는 적어도 하나의 예시적인 실시예에 따른 결합된 이미지의 다이아그램을 도시한다.
도 8c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이될 때 결합된 이미지에 기초하여 시각화된 이미지를 도시한다.
도 9a 및 도 9b는 적어도 하나의 예시적인 실시예에 따라 결합된 이미지의 다이어그램을 도시한다.
도 9c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이될 때 시각화된 이미지를 도시한다.
도 10a 및 도 10b는 적어도 하나의 예시적인 실시예에 따라 결합된 이미지의 다이아그램을 도시한다.
도 10c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이될 때 시각화된 이미지를 도시한다.
도 11a 및 도 11b는 적어도 하나의 예시적인 실시예에 따라 원거리(far) 심도에서 시각화된 이미지들을 나란히 비교한 다이아그램을 도시한다.
도 11c 및 도 11d는 적어도 하나의 예시적인 실시예에 따라 중거리(mid) 심도에서 시각화된 이미지들을 나란히 비교한 다이어그램을 도시한다.
도 11e 및 도 11f는 적어도 하나의 예시적인 실시예에 따라 근거리(near) 심도에서 시각화된 이미지들을 나란히 비교한 다이어그램을 도시한다.
도 12a 및 도 12b는 적어도 하나의 예시적인 실시예에 따른 헤드 장착형 디스플레이(HMD)의 블록도를 도시한다.
도 13a는 시야 영역(visual field)의 개략도를 도시한다.
도 13b는 전두면(frontal plane) 및 정중시상 전두면(midsagittal frontal plane)을 도시한다.
도 13c는 두 눈을 이등분하는, 전두면에 직교하는 평면을 도시한다. 또한 두 눈으로부터 점(A)까지의 응시 벡터(gaze vector)가 도시된다.
도 14는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 일례를 도시한다.
이들 도면은 특정 예시적인 실시예에서 사용되는 방법, 구조 및/또는 재료의 일반적인 특성을 예시하고, 아래에 제공된 상세한 설명을 보충하는 것으로 의도된 것으로 이해된다. 그러나, 이들 도면은 축척에 맞는 것은 아니고, 임의의 주어진 실시예의 정확한 구조적 또는 수행 특성을 정확히 반영하지는 않을 수 있으며, 예시적인 실시예에 포함되는 값들 또는 특성들의 범위를 한정하거나 제한하는 것으로 해석되어서는 안 된다. 예를 들어, 구조적 요소들의 상대적 두께 및 위치는 명료함을 위해 감소되었거나 과장되었을 수 있다. 여러 도면에서 유사하거나 동일한 참조 번호는 유사하거나 동일한 요소 또는 특징부의 존재를 나타내려고 사용된 것으로 의도된다.

예시적인 실시예들은 다양한 수정 및 대안적인 형태를 포함할 수 있지만, 실시예들은 도면에 예로서 도시되고 본 명세서에 상세히 설명될 것이다. 그러나, 예시적인 실시예들을 개시된 특정 형태로 제한하려는 의도는 없지만, 반대로, 예시적인 실시예들은 청구범위에 속하는 모든 수정, 등가물 및 대안을 포함하는 것으로 이해되어야 한다. 동일한 도면 부호는 도면의 설명 전반에 걸쳐 동일한 요소를 나타낸다.

도 1은 3D 가상 현실(virtual reality: VR) 환경에서 이미지 및/또는 비디오를 캡처하고 렌더링하기 위한 예시적인 시스템(100)의 블록도이다. 예시적인 시스템(100)에서, 카메라 장비(102)는 이미지를 캡처하고 이미지를 네트워크(104)를 통해 제공하거나, 또는 대안적으로 분석 및 처리를 위해 이미지를 직접 이미지 처리 시스템(106)에 제공할 수 있다. 시스템(100)의 일부 구현예에서, 이미지 처리 시스템(106)은 카메라 장비(102)에 의해 캡처된 이미지에 기초하여 이미지 및/또는 비디오를 저장, 수정 및/또는 스트리밍할 수 있다. 이미지 처리 시스템(106)은 아래에 보다 상세히 설명된다. 시스템(100)의 일부 구현예에서, 모바일 디바이스(108)는 카메라 장비(102)로서 기능하며 네트워크(104)를 통해 이미지를 제공할 수 있다. 이미지들이 캡처되면, 이미지 처리 시스템(106)은 이미지에 다수의 계산 및 처리를 수행할 수 있고, 처리된 이미지를, 렌더링하기 위해, 예를 들어, 네트워크(104)를 통해 HMD(Head mounted display) 디바이스(110)에 제공할 수 있다. 일부 구현예에서, 이미지 처리 시스템(106)은 렌더링, 저장 또는 추가 처리를 위해 처리된 이미지를 모바일 디바이스(108) 및/또는 컴퓨팅 디바이스(112)에 제공할 수도 있다.

HMD 디바이스(110)는, 가상 현실 헤드셋, 안경, 접안 렌즈(eyepiece), 또는 가상 현실 콘텐츠를 디스플레이할 수 있는 다른 착용 가능한 디바이스를 나타낼 수 있다. 동작시, HMD 디바이스(110)는 수신되거나 및/또는 처리된 이미지를 사용자에게 재생할 수 있는 VR 애플리케이션(도시되지 않음)을 실행할 수 있다. 일부 구현예에서, VR 애플리케이션은 도 1에 도시된 하나 이상의 디바이스(106, 108 또는 112)에 의해 호스팅될 수 있다. 일 예에서, HMD 디바이스(110)는 카메라 장비(102)에 의해 캡처된 장면의 비디오 재생을 제공할 수 있다. 다른 예에서, HMD 디바이스(110)는 단일 장면으로 스티치(stitched)된 스틸 이미지(still image: 정지 이미지)의 재생을 제공할 수 있다.

카메라 장비(102)는 카메라(캡처 디바이스라고도 지칭됨) 및/또는 처리 디바이스로서 사용되어 VR 환경에서 콘텐츠를 렌더링하기 위한 이미지 데이터를 수집하도록 구성될 수 있다. 예를 들어, 시스템(100)의 기능을 설명할 때, 도 1은, 이미지를 캡처하는, 장비 주위에 배치된 카메라들이 없는 카메라 장비(102)를 도시한다. 카메라 장비(102)의 다른 구현예는 장비(102)와 같은 원형 카메라 장비의 원주 둘레에 배치될 수 있는 임의의 개수의 카메라를 포함할 수 있다.

도 1에 도시된 바와 같이, 카메라 장비(102)는 다수의 카메라(130) 및 통신 시스템(132)을 포함한다. 카메라(130)는 단일 스틸 카메라 또는 단일 비디오 카메라를 포함할 수 있다. 일부 구현예에서, 카메라(130)는 카메라 장비(102)의 외부 주변(예를 들어, 링)을 따라 나란히 배치된 (예를 들어, 안착된) 다수의 스틸 카메라 또는 다수의 비디오 카메라를 포함할 수 있다. 카메라(130)는 비디오 카메라(들), 이미지 센서(들), 입체 카메라(들), 적외선 카메라(들), 모바일 디바이스 및/또는 등일 수 있다. 통신 시스템(132)은 이미지, 명령 및/또는 다른 카메라 관련 콘텐츠를 업로드 및 다운로드하는데 사용될 수 있다. 통신은 유선 또는 무선일 수 있으며 사설 네트워크 또는 공중 네트워크를 통해 인터페이스할 수 있다.

일부 구현예에서, 카메라 장비(102)는, 주변 장면이나 환경의 상이한 부분을 보기 위하여 렌즈들이 각각 방사방향 외측 방향(radially outward direction)을 향하도록 좌우 또는 전후 방식으로 배치된 다수의 디지털 비디오 카메라를 포함한다. 일부 구현예에서, 다수의 디지털 비디오 카메라는 원형 카메라 장비(102)에 접선 방향의 시야 방향을 갖는 접선 방향 구성으로 배치된다. 예를 들어, 카메라 장비(102)는 렌즈들이 각각 장비의 베이스에 접선 방향으로 배열되면서 방사방향 외측 방향을 향하도록 배치된 다수의 디지털 비디오 카메라를 포함할 수 있다. 이들 디지털 비디오 카메라는 상이한 방향으로 콘텐츠를 캡처하여 주위 장면의 상이한 각진 부분을 관할하도록 지향될 수 있다.

일부 구현예에서, 카메라는 특정 시점에서 카메라 장비 상의 카메라로부터 비디오를 캡처하기 위해 동기적으로 기능하도록 구성(예를 들어, 설정)될 수 있다. 일부 구현예에서, 카메라는 시간 기간 동안 하나 이상의 카메라로부터 특정 비디오 부분을 캡처하도록 동기적으로 기능하도록 구성될 수 있다. 카메라 장비를 교정하는 다른 예는 입력되는 이미지를 저장하는 방식을 구성하는 것을 포함할 수 있다. 예를 들어, 입력되는 이미지는 개별 프레임 또는 비디오(예를 들어, .avi 파일, .mpg 파일)로 저장될 수 있고, 이 저장된 이미지는 인터넷, 다른 서버 또는 디바이스에 업로드되거나, 또는 카메라 장비(102) 상의 각 카메라에 로컬로 저장될 수 있다. 일부 구현예에서, 입력되는 이미지는 인코딩된 비디오로서 저장될 수 있다.

예시적인 시스템(100)에서, 디바이스(106, 108 및 112)는 랩탑 컴퓨터, 데스크탑 컴퓨터, 모바일 컴퓨팅 디바이스 또는 게임 콘솔일 수 있다. 일부 구현예에서, 디바이스(106, 108 및 112)는 HMD 디바이스(110) 내에 배치될 (예를 들어, 놓일/위치될) 수 있는 모바일 컴퓨팅 디바이스일 수 있다. 모바일 컴퓨팅 디바이스는, 예를 들어, HMD 디바이스(110)를 위한 스크린으로 사용될 수 있는 디스플레이 디바이스를 포함할 수 있다. 디바이스(106, 108 및 112)는 VR 애플리케이션을 실행하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 또한, 디바이스(106, 108 및 112)는, HMD 디바이스(110)의 전방에 놓이거나 HMD 디바이스에 대한 위치 범위 내에 유지될 때, HMD 디바이스(110)의 3D 움직임을 인식, 모니터링 및 추적할 수 있는 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 일부 구현예에서, 디바이스(106, 108, 및 112)는 네트워크(104)를 통해 HMD 디바이스(110)에 추가적인 콘텐츠를 제공할 수 있다. 일부 구현예에서, 디바이스(102, 106, 108, 110 및 112)는, 네트워크(104)를 통해 서로 짝(paired)을 이루거나 연결된 하나 이상과 서로 연결/인터페이스될 수 있다. 이 연결은 유선 또는 무선일 수 있다. 네트워크(104)는 공중 통신 네트워크 또는 사설 통신 네트워크일 수 있다.

HMD(예를 들어, HMD 디바이스(110))에서, 관찰자(viewer)는 인식된 3차원(3D) 비디오 또는 이미지를 투사하는 좌측 (예를 들어, 좌안) 디스플레이 및 우측 (예를 들어, 우안) 디스플레이의 사용을 통해 시각적으로 가상 현실을 경험한다. 예시적인 실시예에 따르면, 스테레오 또는 3D 비디오 또는 이미지는 서버 상에 (예를 들어, 카메라 장비(102)에 의해 캡처된 복수의 관련 2D 이미지로서) 저장된다. 비디오 또는 이미지는 인코딩되어 서버로부터 HMD로 스트리밍될 수 있다. 3D 비디오 또는 이미지는 좌측 이미지 및 우측 이미지에 관한 메타데이터와 함께 (예를 들어, 데이터 패킷 내에) 패키징된 좌측 이미지 및 우측 이미지로서 인코딩될 수 있다. 좌측 이미지 및 우측 이미지는 이후 디코딩되어 좌측 (예를 들어, 좌안) 디스플레이 및 우측 (예를 들어, 우안) 디스플레이에 의해 디스플레이된다. 예시적인 실시예에 따르면, 좌측 이미지 및 우측 이미지는 동기적으로 캡처된 2개 이상의 이미지에 기초하여 생성된 이미지(예를 들어, 하나의 이미지로 결합된 이미지)일 수 있다. 예시적인 실시예에 따르면, 좌측 이미지 및 우측 이미지는 시야 필드 및/또는 시야 심도에 기초하여 생성된 (예를 들어, 하나의 이미지로서 결합된) 이미지일 수 있다.

본 명세서에 설명된 시스템(들) 및 방법(들)은 좌측 이미지 및 우측 이미지 모두에 적용 가능하고, 본 명세서 전체에서, 사용 경우에 따라, 이미지, 프레임, 이미지의 부분, 프레임의 부분, 타일 및/또는 등으로 지칭될 수 있다. 다시 말해, 서버(예를 들어, 스트리밍 서버)로부터 사용자 디바이스(예를 들어, HMD)로 전달된 다음, 디스플레이를 위해 디코딩되는 인코딩된 데이터는 3D 비디오 또는 이미지와 관련된 좌측 이미지 및/또는 우측 이미지일 수 있다.

시스템(100)은 전자 저장부를 포함할 수 있다. 전자 저장부는 전자적으로 정보를 저장하는 비-일시적인 저장 매체를 포함할 수 있다. 전자 저장부는 캡처된 이미지, 획득된 이미지, 전-처리된 이미지, 후-처리된 이미지 등을 저장하도록 구성될 수 있다. 개시된 카메라 장비들 중 임의의 카메라 장비로 캡처된 이미지는 처리되어 비디오의 하나 이상의 스트림으로서 저장되거나 또는 개별 프레임으로 저장될 수 있다. 일부 구현예에서는, 캡처 동안 저장이 발생할 수 있고, 캡처 및 처리가 동시에 수행되는 경우보다 더 일찍 콘텐츠에 더 빨리 액세스하기 위해 캡처 부분 직후 렌더링이 수행될 수 있다.

도 2는 적어도 하나의 예시적인 실시예에 따른 이미지 처리 시스템(106)을 포함하는 장치(200)의 블록도를 도시한다. 도 2에 도시된 바와 같이, 장치(200)는 적어도 하나의 메모리(205) 및 적어도 하나의 프로세서(210)를 포함할 수 있다. 적어도 하나의 메모리(205)는 이미지 처리 시스템(106)을 포함할 수 있다. 이미지 처리 시스템(106)은 적어도 하나의 이미지/비디오 소스 저장소(215), 이미지 선택 모듈(220), 심도 처리 모듈(225) 및 이미지 결합 모듈(230)을 포함할 수 있다. 장치(200)는 디바이스(106, 108, 110 또는 112) 중 적어도 하나의 디바이스의 요소일 수 있다. 나아가, 장치(200)의 요소들은 디바이스(106, 108, 110 또는 112) 중 적어도 하나의 디바이스 중에 분할될 수 있다. 예를 들어, 적어도 하나의 이미지/비디오 소스 저장소(215)는 이미지 처리 시스템(106)과 관련된 전술된 전자 저장부에 포함될 수 있는 반면, 심도 처리 모듈(225)은 HMD(110)의 서브시스템일 수 있다.

적어도 하나의 이미지/비디오 소스 저장소(215)는 복수의 2D 및/또는 3D 이미지 및/또는 비디오를 저장하도록 구성될 수 있다. 이미지 및/또는 비디오는 카메라(들)(130)에 의해 캡처된 장면을 나타낼 수 있고, 통신 모듈(132)을 사용하여 카메라 장비(102)에 의해 적어도 하나의 이미지/비디오 소스 저장소(215)에 전달될 수 있다. 이미지 및/또는 비디오는 카메라 위치, 시야 필드, 이미지 해상도, 캡처 시간, 프레임 순서 및/또는 등을 나타내는 대응하는 메타데이터를 가질 수 있다.

이미지 선택 모듈(220)은 (예를 들어, HMD(110)로부터 수신된) 시야 필드의 지시에 기초하여 이미지/비디오 소스 저장소(215)로부터 2D 이미지를 선택하도록 구성될 수 있다. 예를 들어, 이미지 선택 모듈(220)은 이미지/비디오 소스 저장소(215)로부터의 시야 필드에 기초하여 2개 이상의 우안 이미지 및 2개 이상의 좌안 이미지를 선택할 수 있다. 2개 이상의 우안 이미지 및 2개 이상의 좌안 이미지는 실질적으로 동일한 순간에 여러 카메라(130)에 의해 촬영된 장면의 이미지일 수 있다. 선택은 이미지/비디오 소스 저장소(215)에 저장된 이미지에 대한 대응하는 메타데이터에 기초할 수 있다.

심도 처리 모듈(225)은 HMD(110)를 사용하여 이미지 및/또는 비디오를 보는 사용자의 시야 심도 또는 초점 심도(focal depth)를 결정하도록 구성될 수 있다. 예를 들어, HMD(110)는 시야 심도를 결정하거나 및/또는 시야 심도를 결정할 수 있는 측정을 수행하도록 구성된 안구 추적 디바이스(eye tracking device)(도 12b에 도시된 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R))를 포함할 수 있다. 예를 들어, 안구 추적 디바이스는 사용자의 눈의 동공의 위치를 측정할 수 있다. 안구 추적 디바이스는 동공의 수렴을 측정하고 각도(C)(도 13a 참조)를 결정할 수 있다. 각도(C)는 시야 심도를 결정하는데 사용될 수 있다.

이미지 결합 모듈(230)은 HMD(110)의 디스플레이 상에 랜더링하기 위해 HMD(110)에 전달되는 제3 이미지를 생성하기 위해 2개 이상의 이미지를 결합하도록 구성될 수 있다. 예를 들어, 좌안 이미지는 결합된 이미지가 시야 심도에서 샤프(sharp)하도록 (예를 들어, 왜곡되지 않거나 흐려지지 않도록) 2개 이상의 좌안 이미지를 결합하는 것에 의해 생성될 수 있다. 결합된 이미지를 생성하기 위해, 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것)는 결합된 이미지의 부분이 샤프할 때까지 (예를 들어, 시야 심도에서 제1 이미지의 부분이 동일한 시야 심도에서 제2 이미지의 부분과 실질적으로 오버랩(overlap)될 때까지) 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것)에 대해 시프트(shift)될 수 있다. 예시적인 구현예에서, 제1 이미지는 2개의 카메라들 사이의 거리 및 각도(예를 들어, C, 도 13a 참조)에 기초하여 픽셀의 수로 시프트된다. 다른 예시적인 구현예에서, 두 이미지는 결합된 이미지의 (시야 심도에 대응하는) 부분이 샤프할 때까지 시야 필드의 위치와 관련하여 대응하는 카메라 위치에 기초하여 시야 필드의 중심 쪽으로 (예를 들어, 좌안의 중심으로) 시프트된다.

도 3a는 적어도 하나의 예시적인 실시예에 따른 이미지 캡처 구성의 블록도를 도시하는 평면 투시도이다. 도 3a에 도시된 바와 같이, 이 구성은 이미지(300)의 3개의 부분을 포함한다. 이미지(300)의 3개의 부분은 이미지(300)의 원거리 부분(305), 이미지(300)의 중거리 부분(310), 및 이미지(300)의 근거리 부분(315)을 포함한다. 원거리, 중거리, 및 근거리는 이미지(300)의 관찰자(예를 들어, 눈(325-1)과 눈(325-2)을 갖는 관찰자)와 관련된 초점 심도를 나타낸다. 다시 말해, 이미지(300)의 원거리 부분(305)은 관찰자가 보는 상대적으로 원거리 초점 심도에 있고, 이미지(300)의 중거리 부분(310)은 관찰자가 보는 근거리 초점 심도와 원거리 초점 심도 사이에 상대적으로 존재하고, 이미지(300)의 근거리 부분(315)은 관찰자가 보는 상대적으로 근거리 또는 근접한 초점 심도에 있다.

도 3b는 적어도 하나의 예시적인 실시예에 따른 이미지(300) 캡처 구성의 블록도의 정면 투시도를 도시한다. 도 3b에 도시된 바와 같이, 이미지(300)의 근거리 부분(315)은 이미지(300)의 중거리 부분(310)의 앞에 있는 것으로 도시된다. 또한, 이미지(300)의 원거리 부분(305)은 이미지(300)의 근거리 부분(310) 및 이미지(300)의 중거리 부분(315) 뒤에 (및 명료함을 위해 위에) 있는 것으로 도시된다.

예시적인 실시예에서, 3D 이미지 캡처는 각각이 상이한 위치에 있는 둘 이상의 카메라의 사용을 포함할 수 있다. 이것은 카메라(320-1, 320-2 및 320-3)로 도시된다. 카메라(320-1, 320-2, 및 320-3)는 스틸 이미지, 비디오 및/또는 비디오의 프레임을 캡처하도록 구성된 디지털 카메라일 수 있다.

도 4는 적어도 하나의 예시적인 실시예에 따른 방법의 블록도를 도시한다. 도 4에 도시된 바와 같이, 단계(S405)에서 시야 필드가 결정된다. 예를 들어, HMD(110)는 HMD(110) 헤드의 사용자의 위치 또는 움직임을 모니터링하기 위해 가속도계를 포함할 수 있다. 예를 들어, HMD(110)의 외부의 디바이스(예를 들어, 카메라 및/또는 적외선 센서)는 HMD(110) 헤드의 사용자의 위치 또는 움직임을 모니터링할 수 있다. 예를 들어, HMD(110)는 응시 방향을 결정하도록 구성된 안구 추적 디바이스(예를 들어, 도 12b에 도시된 바와 같은 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R))를 포함할 수 있다. HMD(110)의 위치 및/또는 움직임 및/또는 응시 방향으로부터, 시야 필드가 결정될 수 있다. 다시 말해, HMD(110)의 위치 및/또는 움직임 및/또는 응시 방향은 HMD(110)의 사용자가 보고 있는 것(예를 들어, 시야 필드)을 결정할 수 있다.

단계(S410)에서, 시야 심도가 결정된다. 예를 들어, HMD(110)는 시야 심도를 결정하고 시야 심도를 결정할 수 있는 측정을 수행하도록 구성된 안구 추적 디바이스(예를 들어, 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R))를 포함할 수 있다. 예를 들어, 안구 추적 디바이스는 사용자의 눈의 동공의 위치를 측정할 수 있다. 안구 추적 디바이스는 동공의 수렴을 측정하고 각도(C)(도 13a 참조)를 결정할 수 있다. 각도(C)는 시야 심도를 결정하는데 사용될 수 있다. 심도 처리 모듈(225)은 이미지와 관련된 시야 심도를 결정하기 위해 HMD(110)로부터 수신된 측정값 및/또는 시야 심도의 지시를 사용하도록 구성될 수 있다.

단계(S415)에서, 시야 필드에 기초하여 2개 이상의 우안 이미지 및 2개 이상의 좌안 이미지가 선택된다. 예를 들어, 이미지는 데이터저장부(예를 들어, 메모리 및/또는 데이터베이스)로부터 선택되거나 및/또는 라이브 캡처(live capture)에 기초하여 선택될 수 있다. 예를 들어, 이미지 선택 모듈(220)은 좌안과 우안 각각에 대한 시야 필드의 지시에 기초하여 이미지/비디오 소스 저장소(215)로부터 2D 이미지를 선택할 수 있다. 예시적인 구현예에서, 복수의 카메라(예를 들어, 카메라(320-1, 320-2, 320-3 또는 1230))가 이미지 및/또는 비디오를 캡처하는데 사용될 수 있다. 좌안에 대한 시야 필드는 2개의 카메라(예를 들어, 카메라(320-1 및 320-2)) 사이에 있을 수 있고, 우안에 대한 시야 필드는 2개의 (예를 들어, 상이한) 카메라(예를 들어, 카메라(320-2 및 320-3) 사이에 있을 수 있다. 그리하여, 좌안에 인접해 있는 카메라(예를 들어, 카메라(320-1 및 320-2))들 각각에 의해 캡처된 이미지가 선택될 수 있고, 우안에 인접해 있는 카메라(예를 들어, 카메라(320-2) 및 320-3))들 각각에 의해 캡처된 이미지가 선택될 수 있다.

단계(S420)에서, 2개 이상의 좌안 이미지 및 시야 심도에 기초하여 좌안 이미지가 생성된다. 예를 들어, 좌안 이미지는 결합된 이미지가 시야 심도에서 샤프하도록(즉, 왜곡되지 않고 흐려지지 않도록) 2개 이상의 좌안 이미지를 결합함으로써 (예를 들어, 이미지 결합 모듈(230)에 의해) 생성될 수 있다. 결합된 이미지를 생성하기 위해 프로세서(예를 들어, 명령 세트를 실행하는 프로세서(210))는 결합된 이미지의 부분이 샤프할 때까지 (예를 들어, 시야 심도에서 제1 이미지의 부부분이 동일한 시야 심도에서 제2 이미지의 부분과 실질적으로 오버랩할 때까지) 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것)를 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320)에 의해 캡처된 것)에 대하여 시프트시킬 수 있다. 예시적인 구현예에서, 제1 이미지는 2개의 카메라 사이의 거리 및 각도(예를 들어, C, 도 13a 참조)에 기초하여 픽셀의 수로 시프트된다. 다른 예시적인 구현예에서, 두 이미지는 결합된 이미지의 (시야 심도에 대응하는) 부분이 샤프할 때까지 시야 필드의 중심 쪽으로 (예를 들어, 좌안의 중심으로) 시프트된다.

그런 다음, 제1 이미지와 제2 이미지는 시프트에 기초하여 서로 결합(예를 들어, 오버레이)될 수 있다. 나아가, 후-처리가 발생할 수 있다. 예를 들어, 이미지의 결합된 부분이 제1 이미지 및/또는 제2 이미지 내 이미지의 부분과 실질적으로 동일한 컬러 팔레트(color palette)를 갖도록 컬러를 병합하거나 또는 조정하는 것이 수행될 수 있다. 예를 들어, 컬러(또는 픽셀 데이터 값) 오프셋이 결정되어, 결합된 이미지에 걸쳐 적용될 수 있다. 컬러 오프셋은 시야 필드의 중심으로부터의 카메라의 거리에 기초하여 가중된 오프셋일 수 있다.

단계(S425)에서, 2개 이상의 우안 이미지 및 시야 심도에 기초하여 우안 이미지가 생성된다. 예를 들어, 결합된 이미지가 시야 심도에서 샤프하도록 (예를 들어, 왜곡되지 않고 흐려지지 않도록) 2개 이상의 우안 이미지를 결합함으로써 우안 이미지가 (예를 들어, 이미지 결합 모듈(230)에 의해) 생성될 수 있다. 결합된 이미지를 생성하기 위해 프로세서(예를 들어, 명령 세트를 실행하는 프로세서(210))는 결합된 이미지의 부분이 샤프할 때까지 (예를 들어, 시야 심도에서 제1 이미지의 부분이 동일한 시야 심도에서 제2 이미지의 부분과 실질적으로 오버랩할 때까지) 제1 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것)를 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-3)에 의해 캡처된 것)에 대해 시프트시킬 수 있다. 예시적인 구현예에서, 제1 이미지는 두 카메라들 사이의 거리 및 각도(예를 들어, C, 도 13a 참조)에 기초하여 픽셀의 수로 시프트된다. 다른 예시적인 구현예에서, 결합된 이미지의 (시야 심도에 대응하는) 부분이 샤프할 때까지 두 이미지는 시야 필드의 중심 쪽으로 (예를 들어, 우안의 중심으로) 시프트된다.

그런 다음, 제1 이미지 및 제2 이미지는 상기 시프트에 기초하여 서로 결합(예를 들어, 오버레이)될 수 있다. 나아가, 후-처리가 발생할 수 있다. 예를 들어, 이미지의 결합된 부분이 제1 이미지 및/또는 제2 이미지 내 이미지의 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 컬러를 병합하거나 또는 조정하는 것이 수행될 수 있다. 예를 들어, 컬러(또는 픽셀 데이터 값) 오프셋이 결정되어, 결합된 이미지에 걸쳐 적용될 수 있다. 컬러 오프셋은 시야 필드의 중심으로부터의 카메라의 거리에 기초하여 가중된 오프셋일 수 있다.

단계(S430)에서, 좌안 이미지 및 우안 이미지는 HMD(110)의 적어도 하나의 디스플레이 상에 디스플레이된다. 예를 들어, HMD(110)는 좌안과 관련된 제1 디스플레이 및 우안과 관련된 제2 디스플레이를 가질 수 있다. 생성된 좌안 이미지는 제1 디스플레이 상에 렌더링될 수 있고, 생성된 우안 이미지는 제2 디스플레이 상에 렌더링될 수 있다. 예시적인 구현예에서, HMD(110)는 좌안과 관련된 제1 부분 및 우안과 관련된 제2 부분을 포함하는 단일 디스플레이를 포함할 수 있다.

도 5a, 도 5b 및 도 5c는 카메라(320-1, 320-2 및 320-3)에 의해 각각 캡처된 이미지(300)를 도시한다. 도 6a 및 도 6b는 두 눈(325-1 및 325-2)이 각각 본 이미지(300)를 도시한다. 도 5b에 도시된 바와 같이, 카메라(320-2)는 도 3b에 도시된 이미지(300)를 도 5b에 도시된 이미지(300)와 비교할 때 (만약 존재한다면) 차이가 최소일 때 실질적으로 바로 이미지(300)를 캡처할 수 있다. 도 5a에 도시된, 카메라(320-1)에 의해 캡처된 이미지(300)와 대조된다. 볼 수 있는 바와 같이, 이미지(300)는 중거리 부분(310)에 비해 우측(또는 카메라(320-1)로부터 멀리) 시프트된 근거리 부분(315), 및 중거리 부분(310)에 비해 좌측(또는 카메라(320-1) 쪽으로) 시프트된 원거리 부분(305)을 갖게 도시된다. 나아가 도 5c에 도시된, 카메라(320-3)에 의해 캡처된 이미지(300)는 중거리 부분(310)에 비해 좌측(또는 카메라(320-3)로부터 멀리) 시프트된 근거리 부분(315), 및 중거리 부분(310)에 비해 우측(또는 카메라(320-3) 쪽으로) 시프트된 원거리 부분(305)을 갖게 도시된다.

도 6a에 도시된 바와 같이, 눈(325-1)이 본 이미지(300)(예를 들어, 눈(325-2)을 감은 상태에서 본 것)는 카메라(320-1)에 의해 캡처되거나 도 5a에 도시된 이미지(300)와 다소 유사하다. 따라서, 도 6a에서, 이미지(300)는 중거리 부분(310)에 비해 우측(또는 눈(325-1)으로부터 멀리) 시프트된 근거리 부분(315), 및 중거리 부분(310)에 비해 좌측(또는 눈(325-1) 쪽으로) 시프트된 원거리 부분(305)을 갖게 도시된다. 도 6b에 도시된 바와 같이, 눈(325-2)이 본 이미지(300)(예를 들어, 눈(325-1)을 감은 상태에서 본 것)는 카메라(320-3)에 의해 캡처되거나 도 5c에 도시된 이미지(300)와 다소 유사하다. 따라서, 도 6a에서, 이미지(300)는 중거리 부분(310)에 비해 좌측으로 (또는 눈(325-2)으로부터 멀리) 시프트된 근거리 부분(315), 및 중거리 부분(310)에 비해 우측(또는 눈(325-2) 쪽으로) 시프트된 원거리 부분(305)을 갖게 도시된다.

도 7a, 도 7b 및 도 7c는 인간 시각 시스템에 의해 시각화된 이미지(300)로 표현된 장면을 도시한다. 예를 들어, 도 7a, 도 7b 및 도 7c는 실시간으로 또는 실세계에서 볼 때 인간 시각 시스템에 의해 시각화된 이미지(300)를 도시한다. 도 7a는 초점 심도가 원거리일 때 인간 시각 시스템에 의해 시각화된 이미지(300)로 표현된 장면을 도시한다. 다시 말해, 도 7a는 실시간으로 또는 실세계에서 볼 때 이미지(300)로 표현된 장면의 시각화를 도시하고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)로 표현된 장면의 원거리 부분(305)으로 표현된 장면 상에 초점이 있다.

도 7a에 도시된 바와 같이, 이미지(300)의 원거리 부분(305)은 도 3b에 도시된 바와 같다. 다시 말해, 이미지(300)의 원거리 부분(305)은 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310) 뒤에 (및 명료함을 위해 위에) 있는 것으로 도시되어 있다. 이미지(300)의 원거리 부분(305)은 도 3b에 도시된 바와 같은 형상(예를 들어, 단일 음영으로 표시된 별)이다. 그러나, 도 7a에서, 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)에 비해 왜곡된 것으로 도시된다. 이것은 인간의 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 7a에 도시된 바와 같이, 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)은 이중 시야 부분(double vision portion)으로 도시된다. 예를 들어, 이미지(300)의 근거리 부분(315)은 3개의 시각화된 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시되어 있다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 근거리 부분(315)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305)으로 표현된 장면 상에 초점이 있다.

예를 들어, 이미지(300)의 중거리 부분(310)은 3개의 시각화된 중거리 부분(310-1, 310-2 및 310-3)으로 분할된다. 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)의 폭보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 중거리 부분(310)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305)으로 표현된 장면 상에 초점이 있다.

도 7b는 초점 심도가 중거리에 있을 때 인간 시각 시스템에 의해 시각화된 이미지(300)로 표현된 장면을 도시한다. 다시 말해, 도 7b는 실시간으로 또는 실세계에서 볼 때 이미지(300)로 표현된 장면의 시각화를 도시하고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)로 표현된 장면의 중거리 부분(310)으로 표현된 장면 상에 초점이 있다.

도 7b에 도시된 바와 같이, 이미지(300)의 중거리 부분(310)은 도 3b에 도시된 바와 같다. 다시 말해, 이미지(300)의 중거리 부분(310)은 이미지(300)의 근거리 부분(315)의 뒤에 및 이미지(300)의 원거리 부분(305)의 앞에 있는 것으로 도시된다. 도 7b에 도시된 이미지(300)의 중거리 부분(310)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 십자 음영을 갖는 직사각형) 및 크기이다. 그러나, 도 7b에서, 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다. 이것은 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 7b에 도시된 바와 같이, 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 이미지(300)의 근거리 부분(315)은 3개의 시각화된 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 근거리 부분(315)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 중거리 부분(310)으로 표현된 장면 상에 초점이 있다.

예를 들어, 이미지(300)의 원거리 부분(305)은 2개의 시각화된 원거리 부분(305-1 및 305-2)으로 분할된다. 도 7b에 도시된 시각화된 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 원거리 부분(305-1 및 305-2)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 원거리 부분(305)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 중거리 부분(310)으로 표현된 장면 상에 초점이 있다.

도 7c는 초점 심도가 근거리일 때 인간 시각 시스템에 의해 시각화된 이미지(300)로 표현된 장면을 도시한다. 다시 말해, 도 7c는 실시간으로 또는 실세계에서 볼 때 이미지(300)로 표현된 장면의 시각화를 도시하고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)로 표현된 장면의 근거리 부분(315)으로 표현된 장면 상에 초점이 있다.

도 7c에 도시된 바와 같이, 이미지(300)의 근거리 부분(315)은 도 3b에 도시된 바와 같다. 다시 말해, 이미지(300)의 근거리 부분(315)은 이미지(300)의 중거리 부분(310)의 앞에 및 이미지(300)의 원거리 부분(305)의 앞에 있는 것으로 도시된다. 도 7c에 도시된 이미지(300)의 근거리 부분(315)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 도트 음영을 갖는 직사각형) 및 크기이다. 그러나, 도 7c에서, 이미지(300)의 중거리 부분(310) 및 이미지(300)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 중거리 부분(310) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다. 이것은 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 7c에 도시된 바와 같이, 이미지(300)의 중거리 부분(310) 및 이미지(300)의 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 이미지(300)의 중거리 부분(310)은 3개의 시각화된 중거리 부분(310-1, 310-2 및 310-3)으로 분할된다. 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)의 폭보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 중거리 부분(310)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 근거리 부분(315)으로 표현된 장면 상에 초점이 있다.

예를 들어, 이미지(300)의 원거리 부분(305)은 2개의 시각화된 원거리 부분(305-1 및 305-2)으로 분할된다. 도 7c에 도시된 시각화된 원거리 부분(305-1, 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 원거리 부분(305-1 및 305-2)은 실시간으로 또는 실세계에서 볼 때 이미지(300)의 원거리 부분(305)의 이중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 근거리 부분(315)으로 표현된 장면 상에 초점이 있다.

도 7a, 도 7b 및 도 7c에 도시된 예는 또한 서로 비교될 수 있다. 예를 들어, 전술된 이중 시야 부분들은 초점 심도가 시각화로부터 멀어질수록 더 큰 왜곡을 갖는 것으로 지시된다. 예를 들어, 도 7b는 이미지(300)의 중거리 부분(310)으로 표현된 장면 상에 초점이 있는 이미지(300)를 도시하고, 도 7c는 이미지(300)의 근거리 부분(315)으로 표현된 장면 상에 초점이 있는 이미지(300)를 도시한다. 따라서, 이미지(300)의 원거리 부분(305)으로 표현된 장면에 비해 초점 심도는 도 7b에서보다 도 7c에서 더 멀리 있는 것으로 도시된다. 그리하여, 도 7c 및 도 7b에 도시된 시각화된 원거리 부분(305-1, 305-2)은 상이한 위치에 도시된다. 예를 들어, 도 7b에 도시된 시각화된 원거리 부분(305-1 및 305-2)은 도 7c에 도시된 시각화된 원거리 부분(305-1 및 305-2)에 비해 서로 가까이 있고 (예를 들어, 덜 왜곡되고) 실질적으로 중거리 부분(310)의 폭 내에 있다. 초점이 이미지(300)의 중거리 부분(310) 및 원거리 부분(305)으로 표현된 장면 상에 있을 때 유사한 분석이 수행될 수 있다.

도 8a 및 도 8b는 적어도 하나의 예시적인 실시예에 따라 결합된 이미지의 다이아그램을 도시한다. 도 8a는 카메라(320-1 및 320-2)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(805)를 도시한다. 결합된 이미지(805)는 이미지(300)의 원거리 부분(305)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(805)는 2개의 상이한 시야 필드로부터의 이미지(300)의 결합이다. 도 8a에 도시된 바와 같이, 결합된 이미지(805)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 실질적으로 유사하다. 다시 말해, 도 8a에서, 결합된 이미지(805)의 원거리 부분(305)은 근거리 부분(315) 및 중거리 부분(310)의 뒤에 (및 명료함을 위해 위에) 있는 것으로 도시된다. 결합된 이미지(805)의 원거리 부분(305)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 단일 음영을 갖는 별)이다. 그러나, 도 8a에서, 결합된 이미지(805)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)에 비해 좌측으로 시프트되어 도시된다. 대안적으로, 근거리 부분(315) 및 중거리 부분(310)은 우측으로 시프트된 것으로 도시된다. 또한, 도 8a에서, 근거리 부분(315) 및 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)에 비해 왜곡된 것으로 도시된다.

도 8a에 도시된 바와 같이, 근거리 부분(315) 및 중거리 부분(310)은 이중 시야 부분으로 도시된다. 예를 들어, 근거리 부분(315)은 3개의 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 결합된 이미지(805)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영(예를 들어, 왜곡되지 않은 것)을 갖는 것으로 도시된다. 그러나, 결합된 이미지(805)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 결합된 이미지(805)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(805)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(805)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시된다.

예를 들어, 중거리 부분(310)은 3개의 중거리 부분(310-1, 310-2, 310-3)으로 분할된다. 결합된 이미지(805)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 결합된 이미지(805)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 결합된 이미지(805)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(805)의 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(805)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시되고, 여기서 시프트는 결합된 이미지(805)의 근거리 부분(315-1 및 315-3)의 시프트보다 약간 더 작다(예를 들어, 결합된 이미지(805)의 근거리 부분(315-2)은 중거리 부분(310-2)의 우측 경계를 지나 연장하여, 도 7a에 도시된 것과 상이하다).

도 8b는 카메라(320-2 및 320-3)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(810)를 도시한다. 결합된 이미지(810)는 이미지(300)의 원거리 부분(305)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(810)는 2개의 상이한 시야 필드로부터의 이미지(300)의 결합이다. 도 8b에 도시된 바와 같이, 결합된 이미지(810)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 실질적으로 유사하다. 다시 말해, 도 8b에서, 결합된 이미지(810)의 원거리 부분(305)은 근거리 부분(315) 및 중거리 부분(310)의 뒤에 (및 명료함을 위해 위에) 있는 것으로 도시된다. 결합된 이미지(810)의 원거리 부분(305)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 하나의 음영을 갖는 별)이다. 그러나, 도 8b에서, 결합된 이미지(805)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)에 비해 우측으로 시프트된 것으로 도시된다. 대안적으로, 근거리 부분(315) 및 중거리 부분(310)은 좌측으로 시프트된 것으로 도시된다. 또한, 도 8b에서 근거리 부분(315) 및 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)에 비해 왜곡된 것으로 도시된다.

도 8b에 도시된 바와 같이, 근거리 부분(315) 및 중거리 부분(310)은 이중 시야 부분으로 도시된다. 예를 들어, 근거리 부분(315)은 3개의 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 결합된 이미지(810)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영(예를 들어, 왜곡되지 않은 것)을 갖는 것으로 도시된다. 그러나, 결합된 이미지(810)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 결합된 이미지(810)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(810)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(810)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시된다.

예를 들어, 중거리 부분(310)은 3개의 중거리 부분(310-1, 310-2, 310-3)으로 분할된다. 결합된 이미지(810)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 결합된 이미지(810)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 결합된 이미지(810)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(810)의 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(810)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시되고, 여기서 시프트는 결합된 이미지(810)의 근거리 부분(315-1 및 315-3)의 시프트보다 약간 더 작다(예를 들어, 결합된 이미지(810)의 근거리 부분(315-2)은 중거리 부분(310)의 좌측 경계를 지나 연장하여, 도 7a에 도시된 것과 상이하다).

결합된 이미지(예를 들어, 결합된 이미지(805) 및/또는 결합된 이미지(810))를 생성하기 위해, 프로세서(예를 들어, 명령 세트를 실행하는 프로세서(210))는 결합된 이미지의 부분(예를 들어, 원거리 부분(305))이 샤프할 때까지 (예를 들어, 제1 이미지의 부분이 제2 이미지의 부분과 실질적으로 오버랩할 때까지) 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것)를 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것)에 대해 시프트시킬 수 있다. 예시적인 구현예에서, 제1 이미지는 두 카메라들 사이의 거리 및 각도(예를 들어, C, 도 13a 참조)에 기초하여 픽셀의 수로 시프트된다. 대안적으로 또는 추가적으로, 프로세서는 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것) 내 이미지의 부분(예를 들어, 원거리 부분(305))의 위치를, 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것) 내 이미지(예를 들어, 원거리 부분(305))의 동일한 부분의 위치와 매칭(match)시킬 수 있다. 그런 다음, 제1 이미지는 매칭된 위치에 기초하여 시프트될 수 있다.

그런 다음, 제1 이미지와 제2 이미지는 시프트에 기초하여 서로 결합(예를 들어, 오버레이)될 수 있다. 나아가, 후-처리가 발생할 수 있다. 예를 들어, 이미지의 결합된 부분이 제1 이미지 및/또는 제2 이미지 내 이미지의 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 컬러를 병합하거나 또는 조정하는 것이 수행될 수 있다. 예를 들어, 컬러(또는 픽셀 데이터 값) 오프셋이 결정되어, 결합된 이미지에 걸쳐 적용될 수 있다.

도 8c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이될 때 (및 보여질 때) 시각화된 이미지(815)를 도시한다. 예를 들어, 결합된 이미지(805)는 디스플레이(105-L) 상에 디스플레이될 수 있고, 결합된 이미지(810)는 도 1b에 도시된 HMD(150) 각각의 디스플레이(105-R) 상에 디스플레이될 수 있다. 시각화된 이미지(815)는 최대 양안 오버랩 시야 영역(1320) 및/또는 양안 오버랩 시야 영역의 고해상도 영역(1325)(도 13a 참조)에서 시각화된 인간 시각 시스템에 의해 인식된 이미지일 수 있다. 다시 말해, 도 8c는 결합된 이미지(805 및 810)를 사용하여 HMD 상에 렌더링되고 HMD를 통해 볼 때 이미지(300)로 표현된 장면의 시각화를 도시한다. 나아가, 결합된 이미지(805 및 810)를 사용하는 것에 의해, 인식된 3D 이미지는, 캡처된 2D 이미지로부터 3D 이미지를 보간함이 없이 렌더링된다.

도 8c에 도시된 바와 같이, 시각화된 이미지(815)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 실질적으로 유사하다. 다시 말해, 시각화된 이미지(815)의 원거리 부분(305)은 시각화된 이미지(815)의 근거리 부분(315) 및 시각화된 이미지(815)의 중거리 부분(310)의 뒤에 (및 명료함을 위해 위에) 있는 것으로 도시된다. 시각화된 이미지(815)의 원거리 부분(305)은 또한 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 같은 형상(예를 들어, 단일 음영을 갖는 별)이다. 그러나, 도 8c에서, 시각화된 이미지(815)의 근거리 부분(315) 및 시각화된 이미지(815)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 중거리 부분(310)에 비해 왜곡된 것으로 도시된다. 이것은 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 8c에 도시된 바와 같이, 시각화된 이미지(815)의 근거리 부분(315) 및 시각화된 이미지(815)의 중거리 부분(310)은 삼중 시야 부분(triple vision portion)으로서 도시된다. 예를 들어, 시각화된 이미지(815)의 근거리 부분(315)은 5개의 시각화된 근거리 부분(315-1, 315-2, 315-3, 315-4 및 315-5)으로 분할된다. 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-4 및 315-5)은 시각화된 근거리 부분(315-1 및 315-3)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-1, 315-3, 315-4 및 315-5)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 시각화된 이미지(815)의 중거리 부분(310)의 폭을 지나 시각화된 이미지(815)의 근거리 부분(315-2)의 폭을 연장하는 것으로 도시된다. 시각화된 근거리 부분(315-1, 315-3, 315-4, 315-5)은 결합된 이미지(805 및 810)를 사용하여 HMD를 통해 볼 때 이미지(300)의 근거리 부분(315)의 삼중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305) 상에 초점이 있다.

예를 들어, 시각화된 이미지(815)의 중거리 부분(310)은 5개의 시각화된 중거리 부분(310-1, 310-2a, 310-2b, 310-3 및 310-4)으로 분할된다. 시각화된 이미지(815)의 시각화된 중거리 부분(310-2a 및 310-2b)은 도 3에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 중거리 부분(310-2a 및 310-2b)은 이들 부분 사이에 왜곡 부분(310-4)을 갖는 것으로 도시되지만, 도 3b에 도시된 이미지(300)의 중거리 부분(310)은 연속적이다. 시각화된 이미지(815)의 시각화된 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 이미지(815)의 시각화된 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 시각화된 이미지(815)의 시각화된 중거리 부분(310-1, 310-3, 310-5)은 결합된 이미지(805, 810)를 사용하여 HMD를 통해 볼 때 이미지(300)의 중거리 부분(310)의 삼중 시야 부분을 나타낼 수 있고 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305) 상에 초점이 있다.

도 9a 및 도 9b는 적어도 하나의 예시적인 실시예에 따라 결합된 이미지의 다이어그램을 도시한다. 도 9a는 카메라(320-1 및 320-2)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(905)를 도시한다. 결합된 이미지(905)는 이미지(300)의 중거리 부분(310)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(905)는 2개의 상이한 시야 필드로부터 이미지(300)의 결합이다. 도 9a에 도시된 바와 같이, 결합된 이미지(905)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 실질적으로 유사하다. 다시 말해, 도 9a에서, 결합된 이미지(905)의 중거리 부분(310)은 근거리 부분(315)의 뒤에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 결합된 이미지(905)의 중거리 부분(310)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 십자 음영을 갖는 직사각형) 및 크기이다. 그러나, 도 9a에서, 결합된 이미지(905)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)에 비해 좌측으로 시프트된 것으로 도시된다. 대안적으로, 근거리 부분(315) 및 원거리 부분(305)은 우측으로 시프트된 것으로 도시된다. 또한, 도 9a에서 근거리 부분(315) 및 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다.

도 9a에 도시된 바와 같이, 근거리 부분(315) 및 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 근거리 부분(315)은 3개의 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 결합된 이미지(905)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영(예를 들어, 왜곡되지 않은 것)을 갖는 것으로 도시된다. 그러나, 결합된 이미지(905)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 결합된 이미지(905)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(905)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시한다. 결합된 이미지(905)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시된다.

예를 들어, 원거리 부분(305)은 2개의 원거리 부분(305-1, 305-2)으로 분할된다. 도 9a에 도시된 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(905)의 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시된다.

도 9b는 카메라(320-2 및 320-3)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(910)를 도시한다. 결합된 이미지(910)는 이미지(300)의 중거리 부분(310)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(910)는 2개의 상이한 시야 필드로부터의 이미지(300)의 결합이다. 도 9b에 도시된 바와 같이, 결합된 이미지(910)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 실질적으로 유사하다. 다시 말해, 도 9b에서, 결합된 이미지(910)의 중거리 부분(310)은 근거리 부분(315)의 뒤에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 결합된 이미지(910)의 원거리 부분(305)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 십자 음영을 갖는 직사각형) 및 크기이다. 그러나, 도 9b에서, 결합된 이미지(910)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)에 비해 우측으로 시프트된 것으로 도시된다. 대안적으로, 근거리 부분(315) 및 원거리 부분(305)은 좌측으로 시프트된 것으로 도시된다. 또한, 도 9b에서, 근거리 부분(315) 및 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다.

도 9b에 도시된 바와 같이, 근거리 부분(315) 및 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 근거리 부분(315)은 3개의 근거리 부분(315-1, 315-2 및 315-3)으로 분할된다. 결합된 이미지(910)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영(예를 들어, 왜곡되지 않은 것)을 갖는 것으로 도시된다. 그러나, 결합된 이미지(910)의 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 결합된 이미지(910)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(910)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 이미지(300)의 중거리 부분(310)의 폭을 지나 이미지(300)의 근거리 부분(315)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(910)의 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시된다.

예를 들어, 원거리 부분(305)은 2개의 원거리 부분(305-1, 305-2)으로 분할된다. 도 9b에 도시된 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(910)의 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시된다.

결합된 이미지(예를 들어, 결합된 이미지(905) 및/또는 결합된 이미지(910))를 생성하기 위해, 프로세서(예를 들어, 명령 세트를 실행하는 프로세서(210))는 결합된 이미지의 부분(예를 들어, 중거리 부분(310))이 샤프할 때까지 (예를 들어, 제1 이미지의 부분이 제2 이미지의 부분과 실질적으로 오버랩할 때까지) 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것)를 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것)에 대해 시프트시킬 수 있다. 예시적인 구현예에서, 제1 이미지는 두 카메라들 사이의 거리 및 각도(예를 들어, C, 도 2a 참조)에 기초하여 픽셀의 수로 시프트된다. 대안적으로 또는 추가적으로, 프로세서는 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것) 내 이미지의 부분(예를 들어, 중거리 부분(310))의 위치를, 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것) 내 이미지의 동일한 부분(예를 들어, 원거리 부분(305))의 위치와 매칭시킬 수 있다. 그런 다음, 제1 이미지는 매칭된 위치에 기초하여 시프트될 수 있다.

그런 다음, 제1 이미지 및 제2 이미지는 이 시프트에 기초하여 서로 결합(예를 들어, 오버레이)될 수 있다. 나아가, 후-처리가 발생할 수 있다. 예를 들어, 이미지의 결합된 부분이 제1 이미지 및/또는 제2 이미지 내 이미지의 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 컬러를 병합하거나 또는 조정하는 것이 수행될 수 있다. 예를 들어, 컬러(또는 픽셀 데이터 값) 오프셋이 결정되어, 결합된 이미지에 걸쳐 적용될 수 있다.

도 9c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이되었을 때 (및 보여질 때) 시각화된 이미지(915)를 도시한다. 예를 들어, 결합된 이미지(905)는 디스플레이(105-L) 상에 디스플레이될 수 있고, 결합된 이미지(910)는 도 1b에 도시된 HMD(150) 각각의 디스플레이(105-R) 상에 디스플레이될 수 있다. 시각화된 이미지(915)는 최대 양안 오버랩 시야 영역(1320) 및/또는 양안 오버랩 시야 영역의 고해상도 영역(1325)(도 13a 참조)에서 시각화된 인간 시각 시스템에 의해 인식된 이미지일 수 있다. 다시 말해, 도 9c는 결합된 이미지(905 및 910)를 사용하여 HMD 상에 렌더링되고 HMD를 통해 볼 때, 이미지(300)로 표현된 장면의 시각화를 도시한다. 또한, 결합된 이미지(905 및 910)를 사용함으로써, 인식된 3D 이미지는 캡처된 2D 이미지로부터 3D 이미지를 보간하지 않고 렌더링된다.

도 9c에 도시된 바와 같이, 시각화된 이미지(915)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 실질적으로 유사하다. 다시 말해, 도 9c에서, 시각화된 이미지(915)의 중거리 부분(310)은 근거리 부분(315)의 뒤에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 시각화된 이미지(915)의 중거리 부분(310)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 십자 음영을 갖는 직사각형) 및 크기이다. 그러나, 도 9c에서, 시각화된 이미지(915)의 근거리 부분(315) 및 시각화된 이미지(915)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다. 이것은 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 9c에 도시된 바와 같이, 시각화된 이미지(915)의 근거리 부분(315) 및 시각화된 이미지(915)의 원거리 부분(305)은 삼중 시야 부분으로 도시된다. 예를 들어, 시각화된 이미지(915)의 근거리 부분(315)은 5개의 시각화된 근거리 부분(315-1, 315-2, 315-3, 315-4 및 315-5)으로 분할된다. 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 근거리 부분(315-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)보다 더 좁은 것으로 도시된다. 시각화된 근거리 부분(315-1 및 315-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-4 및 315-5)은 시각화된 근거리 부분(315-1 및 315-3)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 근거리 부분(315-1, 315-3, 315-4 및 315-5)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 시각화된 이미지(915)의 중거리 부분(310)의 폭을 지나 시각화된 이미지(915)의 근거리 부분(315-2)의 폭을 연장하는 것으로 도시된다. 시각화된 근거리 부분(315-1, 315-3, 315-4, 315-5)은 결합된 이미지(905 및 910)를 사용하여 HMD를 통해 볼 때 이미지(300)의 근거리 부분(315)의 삼중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305) 상에 초점이 있다.

예를 들어, 시각화된 이미지(915)의 원거리 부분(305)은 3개의 시각화된 원거리 부분(305-1, 305-2 및 305-3)으로 분할된다. 시각화된 이미지(915)의 시각화된 원거리 부분(305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 이미지(915)의 시각화된 원거리 부분(305-1 및 305-3)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 이미지(915)의 시각화된 원거리 부분(305-1 및 305-3)은 결합된 이미지(905 및 910)를 사용하여 HMD를 통해 볼 때 이미지(300)의 원거리 부분(305)의 삼중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 원거리 부분(305) 상에 초점이 있다.

도 10a 및 도 10b는 적어도 하나의 예시적인 실시예에 따라 결합된 이미지의 다이아그램을 도시한다. 도 10a는 카메라(320-1 및 320-2)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(1005)를 도시한다. 결합된 이미지(1005)는 이미지(300)의 근거리 부분(315)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(1005)는 2개의 상이한 시야 필드로부터의 이미지(300)의 결합이다. 도 10a에 도시된 바와 같이, 결합된 이미지(1005)의 근거리 부분(315)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 실질적으로 유사하다. 다시 말해, 도 10a에서, 결합된 이미지(1005)의 중거리 부분(315)은 중거리 부분(310)의 앞에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 결합된 이미지(1005)의 근거리 부분(315)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 도트 형상의 직사각형) 및 크기이다. 그러나, 도 10a에서, 결합된 이미지(1005)의 근거리 부분(315)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시된다. 대안적으로, 중거리 부분(310) 및 원거리 부분(305)은 좌측으로 시프트된 것으로 도시된다. 또한, 도 10a에서, 중거리 부분(310) 및 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 중거리 부분(310) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다.

도 10a에 도시된 바와 같이, 중거리 부분(310) 및 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 중거리 부분(310)은 3개의 중거리 부분(310-1, 310-2 및 310-3)으로 분할된다. 결합된 이미지(1005)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 결합된 이미지(1005)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 결합된 이미지(1005)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(1005)의 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장하는 것으로 도시된다. 결합된 이미지(1005)의 중거리 부분(310-1, 310-2, 310-3)은 좌측으로 시프트된 것으로 도시된다.

예를 들어, 원거리 부분(305)은 2개의 원거리 부분(305-1 및 305-2)으로 분할된다. 도 10a에 도시된 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(1005)의 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시된다.

도 10b는 카메라(320-2 및 320-3)에 의해 캡처된 이미지(300)를 결합하는 것에 기초하여 결합된 이미지(1010)를 도시한다. 결합된 이미지(1010)는 이미지(300)의 근거리 부분(315)에 기초하여 초점 심도에서 결합된 것으로 도시된다. 다시 말해, 결합된 이미지(1010)는 2개의 상이한 시야 필드로부터의 이미지(300)의 결합이다. 도 10b에 도시된 바와 같이, 결합된 이미지(1010)의 근거리 부분(315)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 실질적으로 유사하다. 다시 말해, 도 10b에서, 결합된 이미지(1010)의 근거리 부분(315)은 중거리 부분(310)의 앞에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 결합된 이미지(1010)의 근거리 부분(315)은 또한 도 3B에 도시된 바와 같은 형상(예를 들어, 도트 형상을 갖는 직사각형) 및 크기이다. 그러나, 도 10b에서, 결합된 이미지(1010)의 근거리 부분(315)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 좌측으로 시프트된 것으로 도시된다. 대안적으로, 중거리 부분(310) 및 원거리 부분(305)은 우측으로 시프트된 것으로 도시된다. 또한, 도 10b에서, 중거리 부분(310) 및 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 중거리 부분(310) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다.

도 10b에 도시된 바와 같이, 중거리 부분(310) 및 원거리 부분(305)은 이중 시야 부분으로 도시된다. 예를 들어, 중거리 부분(310)은 3개의 중거리 부분(310-1, 310-2 및 310-3)으로 분할된다. 결합된 이미지(1010)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 결합된 이미지(1010)의 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 결합된 이미지(1010)의 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(1010)의 중거리 부분(310-1 및 310-3)은 이미지(300)의 중거리 부분(310)의 폭이 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 넓도록 이미지(300)의 중거리 부분(310)의 폭을 연장시키는 것으로 도시된다. 결합된 이미지(1005)의 중거리 부분(310-1, 310-2, 및 310-3)은 우측으로 시프트된 것으로 도시된다.

예를 들어, 원거리 부분(305)은 2개의 원거리 부분(305-1 및 305-2)으로 분할된다. 도 10b에 도시된 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상(예를 들어, 별) 및 더 밝은 음영을 갖는 것으로 도시된다. 결합된 이미지(1010)의 원거리 부분(305-1 및 305-2)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)에 비해 우측으로 시프트된 것으로 도시된다.

결합된 이미지(예를 들어, 결합된 이미지(1005) 및/또는 결합된 이미지(1010))를 생성하기 위해, 프로세서(예를 들어, 명령 세트를 실행하는 프로세서(210))는, 결합된 이미지의 부분(예를 들어, 근거리 부분(315))이 샤프할 때까지 (예를 들어, 제1 이미지의 부분이 제2 이미지의 부분과 실질적으로 오버랩할 때까지) 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것)를, 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것)에 대해 시프트시킬 수 있다. 예시적인 구현예에서, 제1 이미지는 두 카메라들 사이의 거리 및 각도(예를 들어, C, 도 2a 참조)에 기초하여 픽셀의 수로 시프트된다. 대안적으로 또는 추가적으로, 프로세서는 제1 이미지(예를 들어, 카메라(320-1)에 의해 캡처된 것) 내 이미지의 부분(예를 들어, 근거리 부분(315))의 위치를, 제1 이미지와 동일한 (또는 실질적으로 동일한) 시간에 캡처된 제2 이미지(예를 들어, 카메라(320-2)에 의해 캡처된 것) 내 이미지의 동일한 부분(예를 들어, 근거리 부분(315))의 위치와 매칭시킬 수 있다. 그런 다음, 제1 이미지는 매칭된 위치에 기초하여 시프트될 수 있다.

그런 다음, 제1 이미지 및 제2 이미지는 시프트에 기초하여 서로 결합(예를 들어, 오버레이)될 수 있다. 나아가, 후-처리가 발생할 수 있다. 예를 들어, 이미지의 결합된 부분이 제1 이미지 및/또는 제2 이미지 내 이미지의 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 컬러를 병합하거나 또는 조정하는 것이 수행될 수 있다. 예를 들어, 컬러(또는 픽셀 데이터 값) 오프셋이 결정되어, 결합된 이미지에 걸쳐 적용될 수 있다.

도 10c는 적어도 하나의 예시적인 실시예에 따라 HMD의 디스플레이 상에 디스플레이될 때(그리고 보여질 때) 시각화된 이미지(1015)를 도시한다. 예를 들어, 결합된 이미지(1005)는 디스플레이(105-L) 상에 디스플레이될 수 있고, 결합된 이미지(1010)는 도 1b에 도시된 HMD(150) 각각의 디스플레이(105-R) 상에 디스플레이될 수 있다. 시각화된 이미지(1015)는 최대 양안 오버랩 시야 영역(1320) 및/또는 양안 오버랩 시야 영역의 고해상도 영역(1325)(도 13a 참조)에서 시각화된 인간 시각 시스템에 의해 인식된 이미지일 수 있다. 다시 말해, 도 10c는 결합된 이미지(1005 및 1010)를 사용하여 HMD 상에 렌더링되고 HMD를 통해 볼 때, 이미지(300)로 표현된 장면의 시각화를 도시한다. 또한, 결합된 이미지(1005 및 1010)를 사용함으로써, 인식된 3D 이미지는 캡처된 2D 이미지로부터 3D 이미지를 보간하지 않고 렌더링된다.

도 10c에 도시된 바와 같이, 시각화된 이미지(1015)의 중거리 부분(310)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 실질적으로 유사하다. 다시 말해, 도 10c에서, 시각화된 이미지(1015)의 근거리 부분(315)은 중거리 부분(310)의 앞에 및 원거리 부분(305)의 앞에 있는 것으로 도시된다. 시각화된 이미지(1015)의 근거리 부분(315)은 또한 도 3b에 도시된 바와 같은 형상(예를 들어, 도트 형상 직사각형) 및 크기이다. 그러나, 도 10c에서, 시각화된 이미지(1015)의 중거리 부분(310) 및 시각화된 이미지(915)의 원거리 부분(305)은 도 3b에 도시된 이미지(300)의 근거리 부분(315) 및 이미지(300)의 원거리 부분(305)에 비해 왜곡된 것으로 도시된다. 이것은 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 그렇다.

도 10c에 도시된 바와 같이, 시각화된 이미지(1015)의 중거리 부분(310) 및 시각화된 이미지(1015)의 원거리 부분(305)은 삼중 시야 부분으로 도시된다. 예를 들어, 시각화된 이미지(1015)의 중거리 부분(310)은 5개의 시각화된 중거리 부분(310-1, 310-2, 310-3, 310-4 및 310-5)으로 분할된다. 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 중거리 부분(310-2)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)보다 더 좁은 것으로 도시된다. 시각화된 중거리 부분(310-1 및 310-3)은 도 3b에 도시된 이미지(300)의 근거리 부분(315)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 중거리 부분(310-4 및 310-5)은 시각화된 중거리 부분(310-1 및 310-3)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 중거리 부분(310-1, 310-3, 310-4, 310-5)은 도 3b에 도시된 이미지(300)의 중거리 부분(310)과 유사한 시각화된 이미지(915)의 중거리 부분(310)의 폭을 지나 시각화된 이미지(915)의 중거리 부분(310-2)의 폭을 연장하는 것으로 도시된다. 시각화된 중거리 부분(310-1, 310-3, 310-4, 310-5)은 결합된 이미지(1005 및 1010)를 사용하여 HMD를 통해 볼 때 이미지(300)의 근거리 부분(315)의 삼중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 근거리 부분(315) 상에 초점이 있다.

예를 들어, 시각화된 이미지(1015)의 원거리 부분(305)은 3개의 시각화된 원거리 부분(305-1, 305-2 및 305-3)으로 분할된다. 시각화된 이미지(1015)의 시각화된 원거리 부분(305-2)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상 및 음영을 갖는 것으로 도시된다. 그러나, 시각화된 이미지(1015)의 시각화된 원거리 부분(305-1 및 305-3)은 도 3b에 도시된 이미지(300)의 원거리 부분(305)과 동일한 형상 및 더 밝은 음영을 갖는 것으로 도시된다. 시각화된 이미지(915)의 시각화된 원거리 부분(305-1 및 305-3)은 결합된 이미지(1005 및 1010)를 사용하여 HMD를 통해 볼 때 이미지(300)의 원거리 부분(305)의 삼중 시야 부분을 나타낼 수 있고 눈(예를 들어, 눈(205-1, 205-2 또는 325-1, 325-2))은 이미지(300)의 근거리 부분(315) 상에 초점이 있다.

도 11a 및 도 11b는 적어도 하나의 예시적인 실시예에 따라 원거리 심도에서 시각화된 이미지를 나란히 비교한 것의 다이어그램을 도시한다. 도 11a에 도시된 시각화된 이미지(300)는 도 7a에 도시된 것과 동일한 시각화된 이미지(300)이다. 따라서, 도 11a에 도시된 시각화된 이미지(300)는 도 7a와 관련하여 앞서 설명되었다. 도 11b에 도시된 시각화된 이미지(815)는 도 8c에 도시된 것과 동일한 시각화된 이미지(815)이다. 따라서, 도 11b에 도시된 시각화된 이미지(815)는 도 8c와 관련하여 앞서 설명되었다. 도 11a에 도시된 시각화된 이미지(300)는 도 3b에 도시된 이미지(300)에 대응하는 장면을 볼 때 인간 시각 시스템이 실제 볼 수 있는 것에 대응할 수 있다. 도 11a에 도시된 시각화된 이미지(815)는 예시적인 구현예에 따라 결합된 이미지(805 및 810)를 사용하여 HMD 상에 렌더링된 도 3b에 도시된 이미지(300)에 대응하는 3D 이미지를 볼 때 인간 시각 시스템이 실제로 볼 수 있는 것과 대응할 수 있다.

도 11a에 도시된 시각화된 이미지(300)를 도 11b에 도시된 시각화된 이미지(815)와 비교하면, 초점 심도에서 시각화된 이미지들의 부분은 실질적으로 동일하다. 다시 말해, 도 11a에 도시된 이미지(300)의 원거리 부분(305)은 도 11b에 도시된 이미지(815)의 원거리 부분(305)과 실질적으로 동일하다. 도 11a에 도시된 이미지(300)의 중거리 부분(310) 및 근거리 부분(315)은 도 11b에 도시된 이미지(815)의 중거리 부분(310) 및 근거리 부분(315)과 상이하다. 예를 들어, 도 11a에 도시된 이미지(300)의 중거리 부분(310) 및 근거리 부분(315)은 2배로 되고, 도 11b에 도시된 이미지(815)의 중거리 부분(310) 및 근거리 부분(315)은 3배로 된다. 도 11a에 도시된 시각화된 이미지(300)와 도 11b에 도시된 렌더링된 시각화된 이미지(815) 사이의 차이는 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에, 허용 가능하다.

도 11c 및 도 11d는 적어도 하나의 예시적인 실시예에 따라 중거리 심도에서 시각화된 이미지를 나란히 비교한 것의 다이어그램을 도시한다. 도 11c에 도시된 시각화된 이미지(300)는 도 7b에 도시된 것과 동일한 시각화된 이미지(300)이다. 따라서, 도 11c에 도시된 시각화된 이미지(300)는 도 7b와 관련하여 앞서 설명되었다. 도 11d에 도시된 시각화된 이미지(915)는 도 9c에 도시된 것과 동일한 시각화된 이미지(915)이다. 따라서, 도 11d에 도시된 시각화된 이미지(915)는 도 9c와 관련하여 앞서 설명되었다. 도 11c에 도시된 시각화된 이미지(300)는 도 3b에 도시된 이미지(300)에 대응하는 장면을 볼 때 인간 시각 시스템이 실제로 볼 수 있는 것에 대응할 수 있다. 도 11d에 도시된 시각화된 이미지(915)는 예시적인 구현예에 따라 결합된 이미지(905 및 910)를 사용하여 HMD 상에 렌더링된 도 3b에 도시된 이미지(300)에 대응하는 3D 이미지를 볼 때 인간 시각 시스템이 실제로 볼 수 있는 것에 대응할 수 있다.

도 11c에 도시된 시각화된 이미지(300)를 도 11d에 도시된 시각화된 이미지(915)와 비교하면, 초점 심도에서 시각화된 이미지들의 부분은 실질적으로 동일하다. 다시 말해, 도 11c에 도시된 이미지(300)의 중거리 부분(310)은 도 11d에 도시된 이미지(915)의 중거리 부분(310)과 실질적으로 동일하다. 도 11c에 도시된 이미지(300)의 원거리 부분(305) 및 근거리 부분(315)은 도 11d에 도시된 이미지(915)의 원거리 부분(305) 및 근거리 부분(315)과 상이하다. 예를 들어, 도 11c에 도시된 이미지(300)의 원거리 부분(305) 및 근거리 부분(315)은 2배로 되고 도 11d에 도시된 이미지(915)의 원거리 부분(305) 및 근거리 부분(315)은 3배로 된다. 도 11c에 도시된 시각화된 이미지(300)와 도 11d에 도시된 렌더링된 시각화된 이미지(915) 사이의 차이는 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 허용 가능하다.

도 11e 및 도 11f는 적어도 하나의 예시적인 실시예에 따라 근거리 심도에서 시각화된 이미지를 나란히 비교한 것의 다이어그램을 도시한다. 도 11e에 도시된 시각화된 이미지(300)는 도 7c에 도시된 것과 동일한 시각화된 이미지(300)이다. 따라서, 도 11e에 도시된 시각화된 이미지(300)는 도 7c와 관련하여 앞서 설명되었다. 도 11f에 도시된 시각화된 이미지(1015)는 도 10c에 도시된 것과 동일한 시각화된 이미지(1015)이다. 따라서, 도 11f에 도시된 시각화된 이미지(1015)는 도 10c와 관련하여 앞서 설명되었다. 도 11e에 도시된 시각화된 이미지(300)는 도 3b에 도시된 이미지(300)에 대응하는 장면을 볼 때 인간 시각 시스템이 실제로 볼 수 있는 것에 대응할 수 있다. 도 11f에 도시된 시각화된 이미지(1015)는 예시적인 구현예에 따라 결합된 이미지(1005 및 1010)를 사용하여 HMD 상에 렌더링된 도 3b에 도시된 이미지(300)에 대응하는 3D 이미지를 볼 때 인간 시각 시스템이 실제로 볼 수 있는 것에 대응할 수 있다.

도 11e에 도시된 시각화된 이미지(300)를 도 11f에 도시된 시각화된 이미지(1015)와 비교하면, 초점 심도에서 시각화된 이미지들의 부분은 실질적으로 동일하다. 다시 말해, 도 11e에 도시된 이미지(300)의 근거리 부분(315)은 도 11f에 도시된 이미지(1015)의 근거리 부분(315)과 실질적으로 동일하다. 도 11e에 도시된 이미지(300)의 원거리 부분(305) 및 중거리 부분(310)은 도 11f에 도시된 이미지(1015)의 원거리 부분(305) 및 중거리 부분(310)과 상이하다. 예를 들어, 도 11e에 도시된 이미지(300)의 원거리 부분(305) 및 중거리 부분(310)은 2배로 되고 도 11f에 도시된 이미지(1015)의 원거리 부분(305) 및 중거리 부분(310)은 3배로 된다. 도 11e에 도시된 시각화된 이미지(300)와 도 11f에 도시된 렌더링된 시각화된 이미지(1015) 사이의 차이는 인간 시각 시스템이 하나의 초점 심도에서만 명확히 볼 수 있기 때문에 허용 가능하다.

도 12a는 적어도 하나의 예시적인 실시예에 따른 헤드 장착형 디스플레이(HMD)의 블록도를 도시한다. 도 12a에 도시된 바와 같이, HMD(1200)는 디스플레이(1205), 디스플레이의 제1 부분(1210), 및 디스플레이의 제2 부분(1215)을 포함한다. 디스플레이의 제1 부분(1210)은 눈이 초점을 맞추는 디스플레이(1205)의 부분이거나 또는 HMD(1200)의 사용자의 시야 필드일 수 있다. 디스플레이의 제2 부분(1215)은 눈의 초점 주변의 디스플레이(1205)의 부분이거나 또는 HMD(1200)의 사용자의 주변을 도시하는 부분일 수 있다.

예시적인 실시예에 따르면, 비디오의 2D 이미지 및/또는 2D 프레임은 3D 이미지 및/또는 3D 비디오를 렌더링하기 위해 안구 추적 센서를 사용하여 눈의 시야 필드 및 시야 심도를 추적하는 것에 기초하여 HMD의 각 디스플레이 상에 디스플레이하기 위해 선택될 수 있다. 그 결과, HMD의 사용자는 캡처된 2D 이미지로부터 3D 이미지를 보간하지 않고 3D 경험을 갖는다.

도 12b는 적어도 하나의 예시적인 실시예에 따른 헤드 장착형 디스플레이(HMD)의 블록도를 도시한다. 도 12b에 도시된 바와 같이, HMD(1250)는 제1 디스플레이(1205-L), 제2 디스플레이(1205-R), 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)를 포함한다. 제1 디스플레이(1205-L)는 디스플레이의 제1 부분(1210-L) 및 디스플레이의 제2 부분(1215-L)을 포함할 수 있다. 디스플레이의 제1 부분(1210-L)은 눈이 초점을 맞추는 제1 디스플레이(1205-L)의 부분이거나 또는 HMD(1250)의 사용자의 시야 필드일 수 있다. 디스플레이의 제2 부분(1215-L)은 눈의 초점 주변의 제1 디스플레이(1205-L)의 부분이거나 또는 HMD(1250)의 사용자의 주변을 도시하는 부분일 수 있다. 제2 디스플레이(1205-R)는 디스플레이의 제1 부분(1210-R) 및 디스플레이의 제2 부분(1215-R)을 포함할 수 있다. 디스플레이의 제1 부분(1210-R)은 눈이 초점을 맞추는 제2 디스플레이(1205-R)의 부분이거나 또는 HMD(1250)의 사용자의 시야 필드일 수 있다. 디스플레이의 제2 부분(1215-R)은 눈의 초점 주변의 제2 디스플레이(1205-R)의 부분이거나 또는 HMD(1250)의 사용자의 주변을 도시하는 부분일 수 있다.

제1 디스플레이(1205-L)의 디스플레이의 제1 부분(1210-L) 및 제2 디스플레이(1205-R)의 디스플레이의 제1 부분(1210-R)은 이미지 및/또는 비디오 데이터를 양안 오버랩의 고해상도 영역과 관련된 시야 영역에 디스플레이하도록 구성될 수 있다(이하에서 보다 상세하게 설명됨). 제1 디스플레이(1205-L)의 디스플레이의 제2 부분(1215-L) 및 제2 디스플레이(1205-R)의 디스플레이의 제2 부분(1215-R)은, 더 낮은 해상도를 포함하는 추가적인 양안 오버랩 구역을 포함하는, 양안 오버랩의 고해상도 영역의 외부 또는 주변의 시야 영역에 이미지 및/또는 비디오를 디스플레이하도록 구성될 수 있다. 제1 디스플레이(1205-L)는 좌안과 관련될 수 있으며, 좌안 이미지를 3D 이미지 또는 비디오로 디스플레이하도록 구성될 수 있다. 제2 디스플레이(1205-R)는 우안과 관련될 수 있으며, 우안 이미지를 3D 이미지 또는 비디오로 디스플레이하도록 구성될 수 있다. 대안적인 실시예에서, 제1 디스플레이(1205-L) 및 제2 디스플레이(1205-R)는 좌측 이미지 및 우측 이미지를 포함하는 2개의 부분으로 분할된 이미지를 보여줄 수 있는 하나의 통합된 디스플레이 패널로 형성된다.

제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)는 대응하는 안구의 위치를 추적하도록 구성될 수 있다. 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)는 카메라, 적외선 센서, 이들의 조합 및/또는 등일 수 있다. 예시적인 구현예에서, 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)는 저전력 적외선 광을 사용자의 눈에 투사하도록 구성될 수 있다. 그런 다음, 반사된 적외선 광이 검출될 수 있고, 반사된 적외선 광을 (예를 들어, 퍼킨제(Perkinje) 이미지로서) 측정한 측정값이 눈의 위치를 결정하는데 사용될 수 있다. 다른 예시적인 구현예에서, 주위 광 조건 하에서 나머지 눈 부분에 대해 동공을 찾아냄으로써 응시 방향이 결정될 수 있다. 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)는 HMD 상의 점에 대한 사용자의 절대적 응시 방향 및/또는 각 눈이 움직일 때 동공의 각도 변위를 측정할 수 있다.

예시적인 구현예에서, 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)는 HMD 사용자의 응시 방향(본 명세서에서 시야 투시도라고도 지칭됨) 및 응시 심도를 결정하는데 사용될 수 있다. 응시 방향과 응시 심도는 제1 디스플레이(1205-L) 및 제2 디스플레이(1205-R) 각각에 디스플레이될 이미지를 결정하는데 사용될 수 있다.

도 13a는 수평 시야 영역의 개략 상면도를 도시한다. 도 13a에 도시된 바와 같이, 동공(1330-1, 1330-2)을 포함하는 두 눈(1305-1, 1305-2)(예를 들어, 사람의 두 눈)은 좌측 시야 영역(1310) 및 우측 시야 영역(1315)을 시각적으로 인식할 수 있다. 좌측 시야 영역(1310) 및 우측 시야 영역(1315) 내에서 두 눈(1305-1, 1305-2)은 120°만큼 클 수 있는 최대 양안 오버랩 시야 영역(1320)을 시각적으로 인식할 수 있다. 최대 양안 오버랩의 서브-영역은 양안 오버랩 시야 영역의 고해상도 영역(1325)이라고 지칭될 수 있다. 도 13b에 도시된 바와 같이(및 본 설명을 통해), 이후에 정중시상 전두면이라고 하는 수직면은 두 눈 사이에서 머리를 이등분하고, 이후 수직 전두면이라고 하는 수직면은 두 눈(1305-1 및 1305-2)을 이등분하는 위치에서 정중시상면에 직각인 머리와 교차한다. 도 13c는, 두 눈(1305-1, 1305-2)에 대하여 좌우 방향(또는 수평 방향)으로 연장되어 두 눈을 또한 이등분하는 수평면을 도시한다. 도 13c의 평면은 수평 전두면이라 지칭될 수 있다. 도 13b 및 도 13c에 한정된 3개의 평면은, 좌안의 중심으로부터 우안의 중심으로 연장되는 선분의 중점(midpoint)에서 교차할 수 있다.

황반(fovea)은 가장 높은 해상도를 인식하는 눈(1305-1, 1305-2)들 각각의 망막의 중심 부분이다. (정중시상면에 평행한 벡터(G)로 도시된) 응시 방향은 황반의 중심으로부터 동공의 중심을 통과하는 벡터에 의해 정의될 수 있다. 두 눈(1305-1, 1305-2) 중 그 어느 것도 응시 방향이 최대 수평 시야 영역(1310 또는 1315)을 스캔할 수 있도록 충분히 회전하거나 선회하지 않는다. 그리하여, 두 눈(1305-1, 1305-2)의 선회 한계를 넘는 이미지는 황반에서는 볼 수 없을 수 있다(그러나 이러한 이미지가 망막의 다른 부분에서는 보일 수 있다).

황반이 작은 호(arc)만을 이루지만, 두 눈이 회전하면 디스플레이가 황반의 해상도와 매칭해야 하는 각도 범위를 연장시킬 수 있다는 것을 알아야 한다. 사용자의 눈이 이동하고 응시 방향이 변하면, 황반과 매칭하는 해상도가 편안한 응시 스캔 범위에 요구된다. 편안한 응시 스캔의 범위는 도 13a에서 벡터(G)에 대해 임의의 방향으로 약 15°이다. 이 응시는 스캔 각도가 벡터(G)로부터 15°를 넘어 증가하면서 더 큰 각도를 스캔하는데 점차 더 불편할 수 있다.

(도 13c를 참조하면) HMD의 예시적인 구현예에서, 모든 수평 각도(예를 들어, θ와 같은 수평 전두면을 따른 각도)가 정중시상 전두면(예를 들어, 두 눈 사이에 중심이 있는 머리의 대칭면)에 대해 (예를 들어, 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)를 사용하여) 측정될 수 있다. 좌측 시야 영역(1310) 및 우측 시야 영역(1315)은 눈마다 120°만큼 클 수 있는 부분 양안 오버랩을 갖는 이미지가 제공될 수 있는 좌안과 우안의 시야 영역(예를 들어, 인간 시각 시스템의 오버랩과 매칭하는 최대 양안 오버랩 시야 영역(1320))을 나타낸다. 양안 오버랩 시야 영역의 고해상도 영역(1325)은 좌측 디스플레이 및 우측 디스플레이(예를 들어, 디스플레이(105-L) 및 디스플레이(105-R))에 의해 공급될 수 있다.

그리하여, 두 눈(1305-1, 1305-2)은 양안 오버랩 시야 영역(및 어느 정도까지는 최대 양안 오버랩 시야 영역(1320))의 고해상도 영역(1325)의 좌안과 우안의 시야 영역을 나타내는 좌측 디스플레이 및 우측 디스플레이에 투사되는 (또는 디스플레이되는) 이미지를 선택하는 것에 기초하여 3D 이미지를 시각화할 수 있다. 다시 말해, 최대 양안 오버랩 시야 영역(1320)에 디스플레이하기 위한 이미지를 선택하는 것은 인간 시각 시스템의 오버랩과 매칭시켜 인간 시각 시스템이 3D 이미지 및/또는 3D 비디오를 시각화할 수 있게 한다. 아래에 보다 상세히 설명된 바와 같이 응시 심도는 인간 시각 시스템을 보다 현실감 있게 표현하는 데 사용될 수 있다.

예시적인 구현예에 따르면, 각 눈을 위한 디스플레이 상에 투사하기 위한 이미지는 도 13c에 도시된 점(A)에 대해 도시된 응시 방향 및 각도(θ)에 기초할 수 있다. 각 이미지는 도 13a에 도시된 각도(C)에 기초하여 시야 심도에 의해 수정될 수 있다. 예를 들어, 점(A), 각도(θ) 및 각도(C)는 제1 안구 추적 센서(1220-L) 및 제2 안구 추적 센서(1220-R)를 사용하여 캡처된 측정값에 기초하여 결정될 수 있다. 점(A), 각도(θ) 및/또는 각도(C)는 위에서 논의된 시야 필드 및/또는 시야 심도를 결정하는데 사용될 수 있다. 예를 들어, 각도(C)는 시야 심도를 나타낼 수 있고, 각도(θ)와 함께 점(A)은 시야 필드를 나타낼 수 있다.

도 14는 본 명세서에 설명된 기술과 사용될 수 있는 컴퓨터 디바이스(1400) 및 모바일 컴퓨터 디바이스(1450)의 일례를 도시한다. 컴퓨팅 디바이스(1400)는 랩탑, 데스크탑, 워크스테이션, 개인 정보 단말기(personal digital assistant), 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 의도된다. 컴퓨팅 디바이스(1450)는 개인 정보 단말기, 셀룰러 폰, 스마트 폰 및 다른 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위해 의도된다. 본 명세서에 제시된 구성 요소들, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것으로 의도되며, 본 명세서에 설명된 및/또는 청구된 본 발명의 구현예를 제한하려고 의도된 것이 아니다.

컴퓨팅 디바이스(1400)는 프로세서(1402), 메모리(1404), 저장 디바이스(1406), 메모리(1404) 및 고속 확장 포트(1410)에 연결된 고속 인터페이스(1408), 및 저속 버스(1414) 및 저장 디바이스(1406)에 연결된 저속 인터페이스(1412)를 포함한다. 구성 요소(1402, 1404, 1406, 1408, 1410 및 1412)들 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(1402)는, 메모리(1404) 또는 저장 디바이스(1406)에 저장된 명령을 포함하여, 컴퓨팅 디바이스(1400) 내에서 실행되는 명령을 처리하여, 고속 인터페이스(1408)에 결합된 디스플레이(1416)와 같은 외부 입력/출력 디바이스 상에 GUI를 위한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 메모리 및 메모리 유형과 함께 다수의 프로세서 및/또는 다수의 버스가 적절히 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스(1400)가 연결될 수 있고, 각 디바이스는 필요한 동작(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 다중 프로세서 시스템)의 일부를 제공한다.

메모리(1404)는 컴퓨팅 디바이스(1400) 내에 정보를 저장한다. 일 구현예에서, 메모리(1404)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현예에서, 메모리(1404)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(1404)는 또한 자기 디스크 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독 가능한 매체일 수 있다.

저장 디바이스(1406)는 컴퓨팅 디바이스(1400)를 위한 대용량 저장 디바이스를 제공할 수 있다. 일 구현예에서, 저장 디바이스(1406)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이와 같은 컴퓨터-판독가능한 매체이거나 이 컴퓨터-판독가능한 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 운반매체에 유형적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한, 실행될 때, 전술한 방법과 같은 하나 이상의 방법을 수행하는 명령을 포함할 수 있다. 정보 운반매체는 메모리(1404), 저장 디바이스(1406) 또는 프로세서(1402) 상의 메모리와 같은 컴퓨터 판독 가능한 매체 또는 기계 판독 가능한 매체이다.

고속 제어기(1408)는 컴퓨팅 디바이스(1400)에 대한 대역폭 집약적인 동작을 관리하는 반면, 저속 제어기(1412)는 낮은 대역폭 집약적인 동작을 관리한다. 이러한 기능 할당은 단지 예시적인 것이다. 일 구현예에서, 고속 제어기(1408)는 메모리(1404), 디스플레이(1416)(예를 들어, 그래픽 프로세서 또는 가속기를 통해), 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(1410)에 결합된다. 구현예에서, 저속 제어기(1412)는 저장 디바이스(1406) 및 저속 확장 포트(1414)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스, 또는 예를 들어 네트워크 어댑터를 통해 라우터 또는 스위치와 같은 네트워킹 디바이스에 결합될 수 있다.

컴퓨팅 디바이스(1400)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 이 컴퓨팅 디바이스는 표준 서버(1420)로서 구현되거나, 또는 이러한 서버의 그룹으로 다수회 구현될 수 있다. 이 컴퓨팅 디바이스는 또한 랙 서버(rack server) 시스템(1424)의 일부로서 구현될 수도 있다. 또한, 이 컴퓨팅 디바이스는 랩탑 컴퓨터(1422)와 같은 개인용 컴퓨터에서 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(1400)로부터의 구성 요소들은 디바이스(1450)와 같은 모바일 디바이스(미도시) 내의 다른 구성 요소들과 결합될 수 있다. 이러한 디바이스 각각은 컴퓨팅 디바이스(1400, 1450) 중 하나 이상을 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스(1400, 1450)로 구성될 수 있다.

컴퓨팅 디바이스(1450)는 특히 프로세서(1452), 메모리(1464), 디스플레이(1454)와 같은 입력/출력 디바이스, 통신 인터페이스(1466) 및 트랜시버(1468)를 포함한다. 디바이스(1450)는 추가적인 저장소를 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스를 또한 구비할 수 있다. 구성 요소(1450, 1452, 1464, 1454, 1466 및 1468)들 각각은 다양한 버스를 사용하여 상호 연결되며, 일부 구성 요소는 공통 마더보드 상에 또는 적절히 다른 방식으로 장착될 수 있다.

프로세서(1452)는 메모리(1464)에 저장된 명령을 포함하여 컴퓨팅 디바이스(1450) 내의 명령을 실행할 수 있다. 프로세서는 별도의 및 다수의 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋(chipset)으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스의 제어, 디바이스(1450)에 의해 실행되는 애플리케이션, 및 디바이스(1450)에 의한 무선 통신과 같은 디바이스(1450)의 다른 구성 요소들의 조정을 제공할 수 있다.

프로세서(1452)는 제어 인터페이스(1458) 및 디스플레이(1454)에 결합된 디스플레이 인터페이스(1456)를 통해 사용자와 통신할 수 있다. 디스플레이(1454)는, 예를 들어, 박막 트랜지스터 액정 디스플레이(Thin-Film-Transistor Liquid Crystal Display: TFT LCD) 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 디스플레이 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(1456)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(1454)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(1458)는 사용자로부터 명령을 수신하여 이 명령을 프로세서(1452)에 전달하기 위해 이들 명령을 변환할 수 있다. 또한, 외부 인터페이스(1462)는 프로세서(1452)와 통신하며 다른 디바이스와 디바이스(1450)의 근거리 통신이 가능하도록 제공될 수 있다. 외부 인터페이스(1462)는, 예를 들어, 일부 구현예에서 유선 통신을 제공하거나, 또는 다른 구현예에서 무선 통신을 제공할 수 있으며, 다수의 인터페이스가 또한 사용될 수 있다.

메모리(1464)는 컴퓨팅 디바이스(1450) 내에 정보를 저장한다. 메모리(1464)는 컴퓨터 판독 가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로 구현될 수 있다. 확장 메모리(1474)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(1472)를 통해 디바이스(1450)에 제공되고 연결될 수 있다. 이러한 확장 메모리(1474)는 디바이스(1450)를 위한 여분의 저장 공간을 제공하거나, 또는 디바이스(1450)를 위한 애플리케이션 또는 다른 정보를 더 저장할 수 있다. 구체적으로, 확장 메모리(1474)는 전술된 처리를 수행하거나 보충하기 위한 명령을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(1474)는 디바이스(1450)를 위한 보안 모듈로서 제공될 수 있고, 디바이스(1450)의 보안 사용을 가능하게 하는 명령으로 프로그래밍될 수 있다. 또한, 예를 들어 SIMM 카드 상에 식별 정보를 해킹할 수 없는 방식으로 배치하는 보안 애플리케이션이 추가적인 정보와 함께 SIMM 카드를 통해 제공될 수 있다.

메모리는, 예를 들어, 후술된 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 운반매체에 유형적으로 구현된다. 컴퓨터 프로그램 제품은, 실행될 때, 전술한 방법과 같은 하나 이상의 방법을 수행하는 명령을 포함한다. 정보 운반매체는, 예를 들어 트랜시버(1468) 또는 외부 인터페이스(1462)를 통해 수용될 수 있는, 메모리(1464), 확장 메모리(1474) 또는 프로세서(1452) 상의 메모리와 같은 컴퓨터 판독 가능한 매체 또는 기계 판독 가능한 매체이다.

디바이스(1450)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(1466)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(1466)는 특히 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 트랜시버(1468)를 통해 발생할 수 있다. 또한, 예를 들어 블루투스, Wi-Fi 또는 다른 이러한 트랜시버(미도시)를 사용하는 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(1470)은 디바이스(1450) 상에서 실행되는 애플리케이션에 의해 적절히 사용될 수 있는 추가적인 네비게이션 관련 무선 데이터 및 위치 관련 무선 데이터를 디바이스(1450)에 제공할 수 있다.

디바이스(1450)는 또한 사용자로부터 발성된(spoken) 정보를 수신하고 이 발성된 정보를 사용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(1460)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(1460)은 또한 예를 들어 디바이스(1450)의 핸드셋 내 예를 들어 스피커를 통해, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 기록된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있고, 또한 디바이스(1450) 상에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수도 있다.

컴퓨팅 디바이스(1450)는 도면에 도시된 바와 같이 다수의 다른 형태로 구현될 수 있다. 예를 들어, 이 컴퓨팅 디바이스는 셀룰러 폰(1480)으로 구현될 수 있다. 이 컴퓨팅 디바이스는 또한 스마트 폰(1482), 개인 정보 단말기, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.

일반적인 양태에서, 방법은 헤드 장착형 디스플레이(HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드의 지시를 수신하는 단계; 상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도의 지시를 수신하는 단계; 상기 시야 필드에 기초하여 제1 우안 이미지와 제2 우안 이미지를 선택하는 단계; 상기 시야 심도에 기초하여 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계; 상기 시야 필드에 기초하여 제1 좌안 이미지 및 제2 좌안 이미지를 선택하는 단계; 및 상기 시야 심도에 기초하여 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계를 포함한다.

다른 일반적 양태에서, 방법은 3차원(3D) 비디오를 헤드 장착형 디스플레이(HMD)로 스트리밍하는 단계를 포함한다. 상기 3D 비디오의 각 프레임은 좌안 이미지와 우안 이미지를 포함한다. 상기 방법은 후속 프레임을 생성하는 단계를 더 포함하고, 상기 후속 프레임을 생성하는 단계는, 상기 3D 비디오와 관련된 시야 필드를 결정하는 단계; 상기 3D 비디오와 관련된 시야 심도를 결정하는 단계; 상기 시야 필드에 기초하여 제1 우안 이미지 및 제2 우안 이미지를 선택하는 단계; 상기 시야 심도에 기초하여 상기 제1 우안 이미지와 상기 제2 우안 이미지를 상기 우안 이미지로서 결합하는 단계; 상기 시야 필드에 기초하여 제1 좌안 이미지 및 제2 좌안 이미지를 선택하는 단계; 및 상기 시야 심도에 기초하여 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지를 상기 좌안 이미지로서 결합하는 단계를 포함한다.

또 다른 일반적 양태에서, 컴퓨터 시스템 상에서 실행될 때, 상기 컴퓨터 시스템이 단계들을 수행하게 하는 컴퓨터 실행 가능한 프로그램 코드를 저장하는 비-일시적인 컴퓨터 판독 가능한 저장 매체가 제공된다. 상기 단계들은 헤드 장착형 디스플레이(HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드의 지시를 수신하는 단계; 상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도의 지시를 수신하는 단계; 상기 시야 필드에 기초하여 제1 우안 이미지 및 제2 우안 이미지를 선택하는 단계; 상기 시야 심도에 기초하여 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계; 상기 시야 필드에 기초하여 제1 좌안 이미지 및 제2 좌안을 선택하는 단계; 및 상기 시야 심도에 기초하여 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계를 포함한다.

구현예는 다음 특징들 중 하나 이상을 하나 이상의 조합으로 포함할 수 있다. 예를 들어, 상기 제1 우안 이미지 및 상기 제2 우안 이미지를 선택하는 단계는, 상기 HMD의 사용자의 우안 위치를 결정하는 단계; 상기 제1 우안 이미지를, 상기 우안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및 상기 제2 우안 이미지를, 상기 우안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함할 수 있다.

예를 들어, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 선택하는 단계는 상기 HMD의 사용자의 좌안 위치를 결정하는 단계; 상기 제1 좌안 이미지를, 상기 제1 좌안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및 상기 제2 좌안 이미지를, 상기 좌안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함할 수 있다. 상기 제1 우안 이미지, 상기 제2 우안 이미지, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지는 시간적으로 거의 동일한 순간에 캡처된 복수의 이미지로부터 선택될 수 있다. 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제2 우안 이미지에 대해 상기 제1 우안 이미지를 시프트하는 단계를 포함할 수 있다. 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 우안 이미지와 상기 제2 우안 이미지를 상기 시야 필드의 중심을 향해 시프트시키는 단계를 포함할 수 있다.

예를 들어, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는 상기 결합된 이미지의 부분이 상기 제1 우안 이미지와 상기 제2 우안 이미지 중 적어도 하나의 이미지에 대응하는 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 컬러를 병합하는 단계를 포함할 수 있다. 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는 상기 시야 필드의 중심으로부터의 카메라의 거리와 관련된 가중된 오프셋에 기초하여 컬러 오프셋을 사용하여 컬러를 병합하는 단계를 포함할 수 있다. 상기 제1 좌안 이미지, 상기 제2 좌안 이미지, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지는 실질적으로 동일한 순간에 캡처된 복수의 이미지로부터 선택될 수 있다. 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제2 좌안 이미지에 대해 상기 제1 좌안 이미지를 시프트하는 단계를 포함할 수 있다.

예를 들어, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 좌안 이미지와 상기 제2 좌안 이미지 모두를 상기 시야 필드의 중심을 향해 시프트하는 단계를 포함할 수 있다. 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는, 상기 결합된 이미지의 부분이 상기 제1 좌안 이미지와 상기 제2 좌안 이미지 중 적어도 하나의 이미지의 대응하는 부분과 실질적으로 동일한 컬러 팔레트를 갖도록 상기 결합된 이미지를 컬러 병합하는 단계를 포함할 수 있다. 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는 상기 시야 필드의 중심으로부터의 카메라의 거리와 관련된 가중된 오프셋에 기초하여 컬러 오프셋을 사용하여 상기 결합된 이미지를 컬러 합병하는 단계를 포함할 수 있다.

예를 들어, 상기 제1 우안 이미지 및 상기 제2 우안 이미지를 선택하는 단계는 상기 HMD의 사용자의 우안 위치를 결정하는 단계; 상기 제1 우안 이미지를, 상기 제1 우안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및 상기 제2 우안 이미지를, 상기 우안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함할 수 있다. 예를 들어, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 선택하는 단계는 상기 HMD의 사용자의 좌안 위치를 결정하는 단계; 상기 제1 좌안 이미지를, 상기 좌안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및 상기 제2 좌안 이미지를, 상기 좌안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함할 수 있다.

본 명세서에 설명된 시스템 및 기술의 다양한 구현예는 디지털 전자 회로, 집적 회로, 특별히 설계된 응용 특정 집적 회로(application specific integrated circuit: ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예는, 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고 이들로 데이터 및 명령을 송신하도록 결합된, 특수 목적 또는 일반 목적일 수 있는 적어도 하나의 프로그래밍 가능한 프로세서를 포함하는 프로그래밍 가능한 시스템 상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서 구현예를 포함할 수 있다. 본 명세서에 설명된 시스템 및 기술의 다양한 구현예는 소프트웨어 및 하드웨어 양태를 결합할 수 있는 회로, 모듈, 블록 또는 시스템으로서 실현될 수 있고 및/또는 일반적으로 본 명세서에서 언급될 수 있다. 예를 들어, 모듈은 프로세서(예를 들어, 실리콘 기판, GaAs 기판 등 상에 형성된 프로세서) 또는 일부 다른 프로그래밍 가능한 데이터 처리 장치 상에서 실행되는 기능/액션/컴퓨터 프로그램 명령을 포함할 수 있다.

상기 예시적인 실시예들 중 일부는 흐름도로서 도시된 공정 또는 방법으로 설명된다. 흐름도가 동작들을 순차적인 공정으로서 설명하지만, 많은 동작들이 병렬로, 동반하여 또는 동시에 수행될 수 있다. 또한 동작 순서가 재-배열될 수 있다. 공정은 동작이 완료될 때 종료될 수 있지만 도면에 포함되지 않은 추가적인 단계를 더 포함할 수도 있다. 공정은 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수 있다.

일부가 흐름도로 도시된 전술된 방법은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 기계 또는 컴퓨터 판독 가능한 매체에 저장될 수 있다. 프로세서(들)가 필요한 작업을 수행할 수 있다.

본 명세서에 개시된 특정 구조적 및 기능적 상세는 단지 예시적인 실시예를 설명하는 대표적인 예일 뿐이다. 그러나, 예시적인 실시예들은 많은 대안적인 형태로 구현될 수 있으며, 본 명세서에 제시된 실시예들에만 한정되는 것으로 해석되어서는 안 된다.

제1, 제2 등의 용어는 본 명세서에서 다양한 요소를 설명하는데 사용될 수 있지만, 이들 요소는 이들 용어에 의해 제한되지 않는 것으로 이해된다. 이들 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 사용된 것일 뿐이다. 예를 들어, 제1 요소는 제2 요소로 지칭될 수 있고, 유사하게, 제2 요소는 예시적인 실시예들의 범위를 벗어남이 없이 제1 요소로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, '및/또는'이라는 용어는 관련된 나열된 항목들 중 하나 이상의 항목의 임의의 및 모든 조합을 포함한다.

하나의 요소가 다른 요소에 연결되거나 결합된 것으로 언급될 때, 하나의 요소가 다른 요소에 직접 연결되거나 결합될 수 있거나 또는 개재 요소가 존재할 수 있는 것으로 이해된다. 대조적으로, 하나의 요소가 다른 요소에 직접 연결되거나 직접 결합된 것으로 언급될 때에는, 개재 요소가 존재하지 않는다. 요소들 간의 관계를 설명하기 위해 사용된 다른 단어(예를 들어, 사이에, 바로 사이에, 인접한 또는 바로 인접한 등)들은 유사한 방식으로 해석되어야 한다.

본 명세서에 사용된 용어는 단지 특정 실시예를 설명하기 위한 것일 뿐, 예시적인 실시예를 제한하려고 의도된 것이 아니다. 본 명세서에 사용된 단수 형태 및 "상기" 형태는, 문맥 상 달리 지시하지 않는 한, 복수 형태를 포함하는 것으로 의도된다. 본 명세서에 사용된 "포함하고", "포함하는", "구비하고" 및/또는 "구비하는" 이라는 용어는 언급된 특징, 정수, 단계, 동작, 요소 및/또는 구성 요소의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹이 존재하거나 또는 추가되는 것을 배제하지 않는 것으로 더 이해된다.

또한, 일부 대안적인 구현예에서, 기능/액션은 도면에 도시된 순서를 벗어나 발생할 수 있다는 것을 알아야 한다. 예를 들어, 연속적으로 도시된 2개의 도면은 실제로 수반된 기능/액션에 따라 동시에 실행될 수도 있고 또는 종종 역순으로 실행될 수도 있다.

달리 한정되지 않는 한, 본 명세서에서 사용된 모든 용어(기술적 용어 및 과학적 용어를 포함하는 용어)는 예시적인 실시예가 속하는 이 기술 분야에 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 용어들, 예를 들어, 일반적으로 사용되는 사전에서 정의된 용어들은 관련 기술의 맥락에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 본 명세서에 명시적으로 한정되지 않는 한, 이상적이거나 또는 지나치게 형식적인 의미로 해석되어서는 안 되는 것으로 더 이해된다.

상기 예시적인 실시예의 부분 및 대응하는 상세한 설명은 컴퓨터 메모리 내의 데이터 비트에 대한 동작 소프트웨어 또는 알고리즘 및 심볼 표현으로 제시된다. 이러한 설명 및 표현은 이 기술 분야에 통상의 지식을 가진 자가 이 기술 분야에 통상의 지식을 가진 다른 자에게 본 발명의 내용을 효과적으로 전달하기 위한 것이다. 알고리즘이라는 용어는 본 명세서에서 사용될 때 그리고 일반적으로 사용될 때 원하는 결과를 야기하는 일관된 일련의 단계인 것으로 인식된다. 이들 단계는 물리적 양을 물리적으로 조작할 것을 요구하는 단계이다. 통상적으로 반드시 그러한 것은 아니지만, 이러한 양은 저장, 전송, 결합, 비교 및 기타 조작될 수 있는 광학 신호, 전기 신호 또는 자기 신호의 형태를 취한다. 이것은 주로 흔히 사용된다는 이유 때문에 이 신호를 비트, 값, 요소, 기호, 문자, 조건, 숫자 등으로 언급하는 것이 때때로 편리하다는 것이 입증되었다.

상기 예시적인 실시예에서, 프로그램 모듈 또는 기능 공정으로 구현될 수 있는 동작의 심볼 기호 및 액션을 (예를 들어, 흐름도의 형태로) 언급하는 것은 특정 작업을 수행하거나 또는 특정 추상 데이터 유형을 구현하고 기존 구조적 요소에서 기존 하드웨어를 사용하여 설명되거나 및/또는 구현될 수 있는 루틴, 프로그램, 객체, 구성 요소, 데이터 구조 등을 포함한다. 이러한 기존 하드웨어는 하나 이상의 중앙 처리 유닛(Central Processing Unit: CPU), 디지털 신호 프로세서(digital signal processor: DSP), 응용 특정 집적 회로, 전계 프로그래밍 가능한 게이트 어레이(field programmable gate array: FPGA) 컴퓨터 등을 포함할 수 있다.

그러나, 이들 및 유사한 용어들 모두는 적절한 물리적 양들과 관련되는 것이고 단지 이들 양들에 적용되는 단지 편리한 라벨일 뿐이라는 것을 상기하여야 한다. 달리 구체적으로 언급되지 않거나 또는 논의에서 명백한 경우를 제외하고는, 처리하거나 또는 컴퓨팅하거나 또는 계산하거나 또는 디스플레이 등을 결정하는 것과 같은 용어는, 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적, 전자적 양으로 표현되는 데이터를, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 정보 저장 디바이스, 전송 또는 디스플레이 디바이스들 내의 물리적 양들로 유사하게 표현되는 다른 데이터로 조작하고 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션 및 공정을 말한다.

또한, 예시적인 실시예의 소프트웨어로 구현된 양태들은 통상적으로 일정 형태의 비-일시적인 프로그램 저장 매체 상에 인코딩되거나 또는 일부 유형의 전송 매체를 통해 구현된다는 것을 주목해야 한다. 프로그램 저장 매체는 자기 매체(예를 들어, 플로피 디스크 또는 하드 드라이브) 또는 광학 매체(예를 들어, 콤팩트 디스크 판독 전용 메모리 또는 CD ROM)일 수 있고, 판독 전용 또는 랜덤 액세스 매체일 수 있다. 유사하게, 전송 매체는 꼬인 전선 쌍, 동축 케이블, 광섬유, 또는 이 기술 분야에 알려진 일부 다른 적절한 전송 매체일 수 있다. 예시적인 실시예들은 임의의 주어진 구현예의 이러한 양태들에 의해 제한되지 않는다.

마지막으로, 첨부된 청구범위는 본 명세서에 설명된 특징들의 특정 조합을 제시하지만, 본 발명의 범위는 이후에 청구된 특정 조합으로 제한되지 않고, 대신에 특정 조합이 현재 첨부된 청구범위에서 구체적으로 열거되었는지 여부와 상관 없이 본 명세서에 개시된 특징 또는 실시예의 임의의 조합을 포함하도록 확장되는 것임을 또한 주목해야 한다.

Claims

방법으로서,
헤드 장착형 디스플레이(HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드(field of view)의 지시를 수신하는 단계;
상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도(depth of view)의 지시를 수신하는 단계;
상기 시야 필드에 기초하여 제1 우안(right eye) 이미지 및 제2 우안 이미지를 선택하는 단계;
상기 제2 우안 이미지를 상기 제1 우안 이미지에 오버레이(overlaying)함으로써 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계;
상기 시야 심도의 상기 지시를 수신함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 우안 이미지를 상기 제1 우안 이미지에 대해 수평적으로 시프트(shift)시키는 단계;
상기 시야 필드에 기초하여 제1 좌안(left eye) 이미지 및 제2 좌안 이미지를 선택하는 단계;
상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 오버레이함으로써 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계; 및
상기 시야 심도의 상기 지시를 수신함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 대해 수평적으로 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지 및 상기 제2 우안 이미지를 선택하는 단계는,
상기 HMD의 사용자의 우안 위치를 결정하는 단계;
상기 제1 우안 이미지를, 상기 우안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및
상기 제2 우안 이미지를, 상기 우안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지를 선택하는 단계는,
상기 HMD의 사용자의 좌안 위치를 결정하는 단계;
상기 제1 좌안 이미지를, 상기 좌안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및
상기 제2 좌안 이미지를, 상기 좌안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지, 상기 제2 우안 이미지, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지는 동일한 순간에 캡처된 복수의 이미지 중에서 선택되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프(sharp)할 때까지 상기 제1 우안 이미지를 상기 제2 우안 이미지에 대해 시프트(shift)시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 우안 이미지 및 상기 제2 우안 이미지를 모두 상기 시야 필드의 중심을 향해 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는 상기 결합된 이미지의 부분이 상기 제1 우안 이미지와 상기 제2 우안 이미지 중 적어도 하나의 이미지의 대응하는 부분과 동일한 컬러 팔레트를 갖도록 컬러를 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는 상기 시야 필드의 중심으로부터의 카메라의 거리와 관련된 가중된 오프셋에 기초하여 컬러 오프셋을 사용하여 컬러를 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 우안 이미지, 상기 제2 우안 이미지, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지는 동일한 순간에 캡처된 복수의 이미지로부터 선택되는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 좌안 이미지를 상기 제2 좌안 이미지에 대해 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 모두 상기 시야 필드의 중심을 향해 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지를 결합하는 단계는, 상기 결합된 이미지의 부분이 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지 중 적어도 하나의 이미지의 대응하는 부분과 동일한 컬러 팔레트를 갖도록 상기 결합된 이미지를 컬러 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는 상기 시야 필드의 중심으로부터의 카메라의 거리와 관련된 가중된 오프셋에 기초하여 컬러 오프셋을 사용하여 상기 결합된 이미지를 컬러 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
방법으로서,
3차원(3D) 비디오를 헤드 장착형 디스플레이(HMD)에 스트리밍하는 단계로서, 상기 3D 비디오의 각 프레임은 좌안 이미지와 우안 이미지를 포함하는, 상기 3차원 비디오를 스트리밍하는 단계; 및
후속 프레임을 생성하는 단계를 포함하고, 상기 후속 프레임을 생성하는 단계는,
상기 3D 비디오와 관련된 시야 필드를 결정하는 단계;
상기 3D 비디오와 관련된 시야 심도를 결정하는 단계;
상기 시야 필드에 기초하여 제1 우안 이미지 및 제2 우안 이미지를 선택하는 단계;
상기 제2 우안 이미지를 상기 제1 우안 이미지에 오버레이(overlaying)하는 단계;
상기 시야 심도를 결정함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 우안 이미지를 상기 제1 우안 이미지에 대해 수평적으로 시프트(shift)시키는 단계;
상기 시야 필드에 기초하여 제1 좌안 이미지 및 제2 좌안 이미지를 선택하는 단계;
상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 오버레이하는 단계; 및
상기 시야 심도를 결정함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 대해 수평적으로 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,
상기 제1 우안 이미지 및 상기 제2 우안 이미지를 선택하는 단계는,
상기 HMD의 사용자의 우안 위치를 결정하는 단계;
상기 제1 우안 이미지를, 상기 우안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및
상기 제2 우안 이미지를, 상기 우안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함하고;
상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 선택하는 단계는,
상기 HMD의 사용자의 좌안 위치를 결정하는 단계;
상기 제1 좌안 이미지를, 상기 좌안 위치의 우측에 위치된 제1 카메라에 의해 촬영된 이미지로서 선택하는 단계; 및
상기 제2 좌안 이미지를, 상기 좌안 위치의 좌측에 위치된 제2 카메라에 의해 촬영된 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서, 상기 제1 우안 이미지, 상기 제2 우안 이미지, 상기 제1 좌안 이미지 및 상기 제2 좌안 이미지는 동일한 순간에 캡처된 복수의 이미지 중에서 선택되는 것을 특징으로 하는 방법.
제14항에 있어서,
상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 우안 이미지를 상기 제2 우안 이미지에 대해 시프트시키는 단계를 포함하고,
상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 좌안 이미지를 상기 제2 좌안 이미지에 대해 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서,
상기 제1 우안 이미지와 상기 제2 우안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지, 상기 제1 우안 이미지와 상기 제2 우안 이미지를 모두 상기 시야 필드의 중심을 향해 시프트시키는 단계를 포함하고,
상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는, 결합된 이미지의 부분이 상기 시야 심도에 기초하여 샤프할 때까지 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 모두 상기 시야 필드의 중심을 향해 시프트시키는 단계를 포함하는 것을 특징으로 하는 방법.
제14항에 있어서, 상기 제1 좌안 이미지와 상기 제2 좌안 이미지를 결합하는 단계는 상기 결합된 이미지를 컬러 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
컴퓨터 실행 가능한 프로그램 코드를 저장하는 비-일시적인 컴퓨터 판독 가능한 저장 매체로서, 상기 프로그램 코드는, 컴퓨터 시스템 상에서 실행될 때, 상기 컴퓨터 시스템으로 하여금,
헤드 장착형 디스플레이(HMD) 상에 디스플레이되는 3차원(3D) 이미지와 관련된 시야 필드의 지시를 수신하는 단계;
상기 HMD 상에 디스플레이되는 상기 3D 이미지와 관련된 시야 심도의 지시를 수신하는 단계;
상기 시야 필드에 기초하여 제1 우안 이미지 및 제2 우안 이미지를 선택하는 단계;
상기 제2 우안 이미지를 상기 제1 우안 이미지에 오버레이(overlaying)하는 단계;
상기 시야 심도의 상기 지시를 수신함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 우안 이미지를 상기 제1 우안 이미지에 대해 수평적으로 시프트(shift)시키는 단계;
상기 시야 필드에 기초하여 제1 좌안(left eye) 이미지 및 제2 좌안 이미지를 선택하는 단계;
상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 오버레이하는 단계; 및
상기 시야 심도의 상기 지시를 수신함에 응답하여, 상기 시야 심도에 기초하여 상기 제2 좌안 이미지를 상기 제1 좌안 이미지에 대해 수평적으로 시프트시키는 단계를 포함하는 단계를 수행하도록 하는, 비-일시적인 컴퓨터 판독 가능한 저장 매체.