KR20200143504A - 단일 깊이 추적 순응-수렴 솔루션 - Google Patents

Abstract

뷰어가 제 1 좌안 이미지 및 제 1 우측 이미지를 포함하는 제 1 입체 영상을 보고 있는 동안, 뷰어의 좌안의 좌측 수렴각 및 뷰어의 우안의 우측 수렴각이 결정된다. 가상 물체 깊이는 (i) 뷰어의 좌안의 좌측 수렴각 및 (ⅱ) 뷰어의 우안의 우측 수렴각에 적어도 부분적으로 기초하여 결정된다. 뷰어에 대한 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상은 하나 이상의 이미지 디스플레이들상에 렌더링된다. 제 2 입체 영상은 제 1 입체 영상에 후속한다. 제 2 입체 영상은 하나 이상의 이미지 디스플레이들로부터 가상 물체 깊이의 가상 물체 평면에 투영된다.

Description

단일 깊이 추적 순응-수렴 솔루션{SINGLE DEPTH TRACKED ACCOMMODATION-VERGENCE SOLUTIONS}

본 발명은 일반적으로 이미지 렌더링에 관한 것이고, 특히 디스플레이 디바이스들에 의한 3차원(3D) 및 다중뷰 이미지 렌더링에 대한 단일 깊이 추적 순응-수렴 솔루션들을 적용하는 것에 관한 것이다.

망막(retina)은 눈의 동공(pupil)과 반대되는 시각 센서들을 갖는 눈(예를 들면, 인간, 뷰어 등)의 내부 표면의 실질적인 부분을 지칭한다. 중심와(fovea)는 가장 시야가 선명하고 눈에서 가장 민감한 컬러 수신이 가능한 다수의 시각 센서들을 수용하는 망막의 비교적 작은 중간 부분을 말한다.

인간의 뇌는 3D 물체로서 물체의 인지를 지원하기 위해 (인간) 뷰어의 두 눈을 장면에서 임의의 가시적인 물체를 향해 동시에 수렴 또는 발산하도록 외안근들(extraocular muscles)을 제어하기 위해 수렴 프로세스(vergence process)를 사용한다. 동시에, 인간의 뇌는 물체의 명확한 시각 또는 중심와 시각(foveal vision)을 지원하기 위해 두 눈의 동공들 뒤에 위치된 눈 렌즈들 각각을 특정 초점 거리들(또는 초점력들)에 대해 적응시키도록 섬모체근들(ciliary muscles)을 제어하기 위해 순응 프로세스(accommodation process)를 사용한다.

실세계 환경(또는 장면)에서 실세계 물체들을 볼 때, 인간의 뇌는 특정 공간 위치에 있는 실세계 물체의 명확한 시각(또는 중심와 시각)을 지원하기 위해 뷰어의 개별적인 눈 렌즈들의 양쪽 초점 길이들을 적응시키기 위해 섬모체근들과 외안근들을 동시에 제어하고 실세계 환경의 인지를 지원하기 위해 특정 공간 위치에서 눈들의 양쪽 모두를 실시계 물체를 향해 동시에 수렴 및 발산하도록 정상의 상호 의존적인 순응 및 수렴 프로세스들을 사용한다.

대조적으로, 눈 근접 디스플레이들로 3D 이미지들을 볼 때, 인간의 뇌는 섬모체근들 및 외안근들을 제어하기 위해 모순되는 순응 및 수렴 프로세스들을 사용하기 위해 재학습 프로세스를 거쳐야 한다. 이들 모순되는 순응 및 수렴 프로세스들은, 순응 수렴 프로세스들이 실세계 환경에서 실세계 물체들을 볼 때 섬모체근들 및 외안근들을 제어하는 방법과 매우 상이하게 3D 이미지들을 볼 때 섬모체근들 및 외안근들을 제어한다.

더 구체적으로, 인간의 뇌는 뷰어에게 보여지는 이미지들에서 묘사된 물체가 어디에 위치하는지에 관계없이 눈으로부터 고정된 거리에 위치된 눈 근접 디스플레이들상에 렌더링되는 이미지들의 명확한 시각(또는 중심와 시각)을 지원하기 위해 뷰어의 눈들의 눈 렌즈들을 일정한 초점 길이로 설정하도록 섬모체근들을 제어할 필요가 있다. 동시에 섬모체근들이 눈 근접 디스플레이들에서 명확하게 보기 위해 눈 렌즈들의 초점 길이들을 고정할 때, 인간의 뇌는 눈 근접 디스플레이에서 명확하게 볼 때, 인간의 뇌는 여전히 3D 물체로서 물체의 인지를 지원하기 위해 눈 근접 디스플레이들로부터 먼 거리의 이미지들의 묘사된 물체를 향해 눈들을 동시에 수렴 또는 발산하도록 외안근들을 제어할 필요가 있다.

이것은 순응-수렴 모순으로 알려진다. 즉, 뇌는 3D 이미지들을 볼 때 섬모체근들 및 외안근들을 실세계의 물체를 보는 것과 매우 상이하게 제어해야 한다. 불행히도, 3D 이미지 보기에서의 순응-수렴 모순은 3D 이미지들을 보는 동안 및 그 이후에 구역질, 두통, 방향 감각 상실 등과 같은 빈번하고 심각한 생리적인 불편들/질환들을 야기할 수 있다.

본 섹션에서 설명된 방식들은 추구될 수 있는 방식들이지만, 반드시 이전에 생각되거나 추구된 방식들은 아니다. 따라서, 달리 명시되지 않는 한, 본 섹션에서 설명된 방식들 중 임의의 것이 단순히 본 섹션에 포함되는 것에 때문에 종래 기술로서 간주되는 것으로 가정되지 않아야 한다. 유사하게, 하나 이상의 방식들과 관련하여 식별된 문제들은 별도로 명시하지 않는 한 본 섹션을 기준으로 임의의 종래 기술에서 인식된 것으로 가정되지 않아야 한다.

본 발명은 디스플레이 디바이스들로 3D 및/또는 다중뷰 이미지 렌더링에 단일 깊이 추적된 순응-수렴 솔루션들의 적용에 관한 것이다.

본 발명은 첨부 도면의 도면들에 한정되는 것이 아니라 예로서 도시되고, 유사한 도면 번호들은 유사한 요소들을 나타낸다.
도 1a는 예시적인 인간의 눈의 단면도; 도 1b는 좌안 및 우안에 의해 물체 평면에 위치된 실세계 물체의 예시적인 보기를 도시하는 도면.
도 2a, 도 2b 및 도 2d는 좌측 이미지 및 우측 이미지를 포함하는 입체 영상(stereoscopic image)에서 묘사된 가상 물체(들)의 예시적인 보기를 도시한 도면들; 도 2c는 입체 영상들의 시간 순서를 볼 때 뷰어의 수렴각들(vergence angles)의 예시적인 추적을 도시하는 도면; 도 2e는 예시적인 블러링 필터(blurring filter)를 도시하는 도면.
도 3a 및 도 3b는 예시적인 비디오 스트리밍 서버들 및 클라이언트들을 도시하는 도면들.
도 4a 및 도 4b는 예시적인 프로세스 흐름들을 도시하는 도면들.
도 5는 여기에 설명된 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시하는 도면.

디스플레이 디바이스들로 3D 및/또는 다중뷰 이미지 렌더링에 단일 깊이 추적된 순응-수렴 솔루션들을 적용하는 것과 관련된 예시적인 실시예들이 여기에 설명된다. 이하의 설명에서, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정한 상세들이 제시된다. 그러나, 본 발명은 이들 특정 상세들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 경우들에서, 잘 알려진 구조들 및 디바이스들은 본 발명을 불필요하게 한정하거나, 애매하게 하거나 또는 모호하게 하는 것을 피하기 위해 철저하게 상세히 기술되지는 않는다.

예시적인 실시예들은 이하의 개요에 따라 본 명세서에 기술된다:

1. 일반 개요

2. 순응 및 수렴

3. 순응과 수렴 사이의 모순

4. 순응과 수렴 사이의 모순 해결

5. 수렴각들 추적

6. 예시적인 비디오 스트리밍 서버들 및 클라이언트들

7. 예시적인 프로세스 흐름

8. 구현 메커니즘-하드웨어 개요

9. 등가물들, 확장들, 대안들 및 기타

1. 일반 개요

본 개요는 본 발명의 일 예시적인 실시예의 일부 양태들의 기본 설명을 제공한다. 본 개요가 예시적인 실시예의 양태들의 광범위하거나 철저한 요약이 아닌 것이 주의되어야 한다. 더욱이, 본 개요는 예시적인 실시예의 임의의 특히 중요한 양태들 또는 요소들을 식별하는 것으로 이해되도록 의도되지 않고, 특히 예시적인 실시예의 임의의 범위로서 설명되는 것이 아니고, 일반적으로 본 발명도 아니라는 점에 유의해야 한다. 본 개요는 단순히 압축되고 간략화된 포맷의 예시적인 실시예와 관련되는 몇몇 개념을 제시하고, 하기의 예시적인 실시예들에 대한 더 상세한 설명의 개념적 도입부로서 이해되어야 한다. 개별적인 실시예들이 본 명세서에서 논의되지만, 본 명세서에서 논의된 실시예들 및/또는 부분 실시예들의 임의의 조합이 조합되어 다른 실시예들을 형성할 수 있다는 것을 주목한다.

본 명세서에 기술된 예시적인 실시예들은 자동-조정 가능한 렌즈들(auto-tunable lenses)을 통해 3D 이미지들(또는 다중뷰 이미지)을 렌더링하고 볼 때의 순응-수렴 모순을 해결하는 것에 관한 것이다. 뷰어가 제 1 좌측 이미지 및 제 1 우측 이미지를 포함하는 제 1 입체 영상을 보는 동안, 뷰어의 좌안의 좌측 수렴각 및 뷰어의 우안의 우측 수렴각이 결정된다. 가상 물체 깊이는 (i) 뷰어의 좌안의 좌측 수렴각 및 (ⅱ) 뷰어의 우안의 우측 수렴각에 적어도 부분적으로 기초하여 결정된다. 뷰어에 대한 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상은 하나 이상의 이미지 디스플레이들상에 렌더링된다. 제 2 입체 영상은 제 1 입체 영상에 후속된다. 제 2 입체 입체 영상은 하나 이상의 영상 디스플레이들로부터 가상 물체 깊이의 가상 물체 평면으로 투영된다.

일부 실시예들에서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면에 투영될 때 가상 물체 깊이의 가상 물체에 투영되는 제 2 좌측 이미지 및 제 2 우측 이미지에 묘사된 시각적 물체들의 변경된 종횡비들에 대해 입력 좌측 이미지 및 입력 우측 이미지에 묘사된 시각적 물체들의 종횡비들을 조정하는 하나 이상의 양태 비율 조정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성된다.

일부 실시예들에서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면에 투영될 때 입력 좌측 이미지 및 입력 우측 이미지에서 묘사된 시각적 물체들의 깊이들을 제 2 좌측 이미지 및 제 2 우측 이미지에 묘사된 시각적 물체들의 수정된 깊이들로 변환하는 하나 이상의 깊이 보정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성된다.

일부 실시예들에서, 제 2 좌측 이미지 및 제 2 우측 이미지에 관하여 제 2 좌측 이미지 및 상기 제 2 우측 이미지의 상기 하나 이상의 공간 영역들을 블러링하는 하나 이상의 블러링 필터링 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성되고, 제 2 좌측 이미지 및 제 2 우측 이미지의 하나 이상의 공간 영역들은 뷰어의 중심와 시각으로부터 떨어져 있다.

일부 예시적인 실시예들에서, 본 명세서에 설명된 메커니즘들은 눈 근접 디스플레이들, 클라우드 기반 서버, 이동 장치, 가상 현실 시스템, 증강 현실 시스템, 헤드 업 디스플레이 디바이스, 헬멧 장착 디스플레이 디바이스, zSpace 디스플레이, CAVE형 시스템 또는 월-사이즈 디스플레이(wall-sized display), 비디오 게임 디바이스, 디스플레이 디바이스, 미디어 플레이어, 미디어 서버, 미디어 프로덕션 시스템, 카메라 시스템, 가정용 시스템들, 통신 장치들, 비디오 프로세싱 시스템, 비디오 코덱 시스템, 스튜디오 시스템, 스트리밍 서버, 클라우드 기반 컨텐트 서비스 시스템, 휴대용 장치, 게임기, 텔레비전, 영화 디스플레이, 랩탑 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 셀룰러 무선 전화, 전자 북 리더, 판매시점 단말(point of sale terminal), 데스크탑 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 서버, 컴퓨터 키오스크, 또는 다양한 다른 종류의 단말들 및 미디어 프로세싱 유닛들 중 어느 하나를 포함하지만 이에 한정되지 않는 미디어 처리 시스템의 일부를 형성한다.

본원에 기재된 바람직한 실시예들 및 일반적인 원리들 및 특징들에 대한 다양한 변형들은 당업자에게 쉽게 명백할 것이다. 따라서, 본 개시는 도시된 실시예들에 한정되도록 의도되는 것이 아니라, 본 명세서에 설명된 원리들 및 특징들과 일치하는 가장 넓은 범위에 따른다.

2. 순응 및 수렴

도 1a는 뷰어의 머리 바로 위에서 바라본, 뷰어의 일 예시적인 인간의 눈(100)의 단면도를 도시한다. 도시된 바와 같이, 눈(100)은 눈(100)의 전방부에 위치한 동공(104)의 중심점과 눈(100)의 후방부에 위치한 중심와(106)의 중심점을 통과하는 광축(102)(측선(112)에 수직)을 갖는다. 동공(104) 뒤에 위치한 눈 렌즈(108)를 통해 수집된 광은 눈 렌즈(108)에 의해 중심와(106)상에 투영될 수 있다. 단지 예시의 목적으로, 눈 렌즈(108)는 눈 초점 길이로 광학적으로 특성화될 수 있다. 눈 렌즈는 단일 초점 길이의 광학 렌즈를 나타낼 수도 있고 나타내지 않을 수도 있으므로, 여기에 설명된 눈 초점 거리는 광축(102) 근처의 광에 대한 초점 길이, 눈 렌즈의 중심부의 평균 초점 길이, 광축(102) 근처의 광에 대한 유효 초점 길이, 중심와상에 투영된 광에 대한 초점 길이, 중심와 시각에 관한 국부적으로 거의 퍼펙트 렌즈의 초점 길이 중 하나를 말할 수 있다. 다양한 실시예들에서, 눈 렌즈는 단일 렌즈 또는 다중 렌즈로서 모델링될 수 있고, 그 중 하나, 일부 또는 모두는 예를 들면 눈(100) 내의 또는 눈과 연관된 섬모체근들을 통해 제어 가능한 가변 초점 렌즈를 가질 수 있다는 것이 주의되어야 한다.

도 1b는 뷰어의 좌안(100-1) 및 우안(100-2)에 의해 물체 평면(116)에 위치된 실세계 물체(114)의 예시적인 보기를 도시한다. 도시된 바와 같이, 실세계 물체(114)가 위치하는 물체 평면(116)은 뷰어의 전방 보기 방향(118)에 수직이고 뷰어의 동공간 선(inter-pupillary line; 120)에 평행하다.

좌안(100-1)의 좌측 중심와(106-1) 및 우안(100-2)의 우측 중심와(106-2) 모두를 통해 실세계 물체(114)의 명확한 시각을 실현하기 위해, 뷰어의 뇌는 좌안(100-1)과 우안(100-2)을 실세계 물체(114)를 향해 지향시키기 위해 두 눈의 외안근들을 동시에 제어하도록 수렴 프로세스(예를 들면, 발산 프로세스, 수렴 프로세스 등)을 사용한다. 뷰어의 광축(102-1 및 102-2, 각각 측선들(112-1 및 112-2)에 수직)이 실세계 물체(114)에 더 가까운 공간 지점에 이전에 지향된 경우, 뷰어의 뇌는 좌안(100-1)과 우안(100-2)을 실세계 물체(114)를 향해 지향시키기 위해 동시에 발산시키기 위해 양안의 외안근들을 동시에 제어하기 위해 수렴 프로세스를 사용한다. 그렇지 않으면, 뷰어의 광축들(102-1 및 102-2)이 실세계 물체(114)보다 먼 공간 지점에 이전에 지향된 경우, 뷰어의 뇌는 좌안(100-1) 및 우안(100-2)을 실세계 물체(114)를 향해 동시에 수렴시키기 위해 양안의 외안근들을 제어하기 위해 수렴 프로세스를 사용한다.

그 결과, 좌안(100-1)의 좌측 광축(102-1)과 우안(100-2)의 우측 광축(102-2)(예를 들면, 정상 시각을 갖는)은 실세계 물체(114)로부터의 광을 좌안(100-1)의 좌측 중심와(106-1) 및 우안(100-2)의 우측 중심와(106-2)의 양쪽에 투영되게 하기 위해 실세계 물체(114)에 일치한다.

실세계 환경/장면에서 실세계의 물체들을 관찰할 때, 순응 및 수렴 프로세스들/기능들은 물체를 향해 및 동일한 물체상에 동시에 초점을 맞추도록(예를 들면, 그에 적응되도록) 근육들을 제어하기 위해 뷰어의 뇌에서 독립적이지 않고 상호 의존적이다. 예를 들면, 좌안(100-1)과 우안(100-2)을 실세계 물체(114)를 향해 지향시키기 위해 양안의 외안근들을 동시에 제어하기 위해 수렴 프로세스가 사용되는 동시에, 뷰어의 뇌는 좌안(100-1)과 우안(100-2)을 실시계 물체(114)상에 초점을 맞추기 위해 양안의 섬모체근들을 동시에 제어하기 위해 순응 프로세스를 사용한다. 좌안(100-1)과 우안(100-2)의 초점 길이들은 실세계 물체(114)로부터의 광(예를 들면, 방출되는, 반사되는 등)이 좌측 중심와(106-1) 및 우측 중심와(106-2)와 일치하는 이미지 평면들(또는 망막들)에 초점이 맞춰지도록 순응 프로세스에 의해 조정될 수 있다. 더 구체적으로, 좌안(100-1)의 초점 길이는 실세계 물체(114)로부터의 광이 좌측 중심와(106-1)와 일치하는 좌측 이미지 평면(또는 좌측 망막)에 초점이 맞춰지게 하기 위해 실세계 물체(114)와 좌안 렌즈(108-1) 사이의 (좌측) 거리(122-1)에 적어도 부분적으로 기초한 순응 프로세스에 의해 설정될 수 있고, 반면에 우안(100-2)의 초점 길이는 우측 중심와(106-2)와 일치하는 우측 이미지 평면(또는 우측 망막)에 초점이 맞춰지게 하기 위해 실세계 물체(114)와 우안 렌즈(108-2) 사이의(우측) 거리(122-2)에 적어도 부분적으로 기초한 순응 프로세스에 의해 설정될 수 있다. 실세계 물체(114)가 뷰어의 눈으로부터 동공간 선(120)을 따라 뷰어의 동공간 거리(뷰어의 두 눈 사이의 거리)보다 훨씬 큰(예를 들면, 10배 등) 거리에 위치하는 시나리오들에서, 좌안(100-1)과 우안(100-2)의 초점 길이들은 동일한 초점 길이 또는 대략 동일한 초점 길이들로 순응 프로세스에 의해 조정될 수 있다.

3. 순응과 수렴 사이의 모순

일부 실시예들에서, 본 명세서에 설명된 입체 영상들 또는 다중뷰 이미지들은 하나 이상의 공간 환경들에 배치된 하나 이상의 카메라 시스템들로 캡처될 수 있다. 예시적인 공간 환경들은 물리적 공간 환경, 시뮬레이션된 공간 환경, 영화 스튜디오들, 옥외 장면들, 실내 장면들, 터널들, 거리들, 차량들, 선박들, 항공기들, 우주 공간 등 중 어느 하나를 포함할 수 있지만, 단지 그로 제한되지는 않는다. 예시 카메라 시스템들은 3D 카메라, 다중뷰 카메라들, 광 필드 카메라들, 중첩 및/또는 중첩되지 않는 시야들을 갖는 다수의 카메라들, 디지털 카메라들, 아날로그 카메라들, 웹캠들 등 중 어느 하나를 포함할 수 있지만, 단지 그로 제한되지는 않는다.

본 명세서에서 설명된 다중뷰 이미지 또는 입체 영상의 복수의 상이한 뷰들에서 좌측 이미지, 우측 이미지, 특정 뷰의 이미지는 이미지 프레임의 픽셀들에 분배된 픽셀값들로서 기록 또는 어셈블리될 수 있다.

도 2a는 좌측 이미지(202-1) 및 우측 이미지(202-2)를 포함하는 입체 영상에 도시된 가상 물체(214)의 예시적인 보기를 도시한다. 가상 물체(214)는 뷰어의 좌안(100-1) 및 우안(100-2)에 의해 가상 물체 평면(216)에 위치된 입체 영상으로 나타내질 수 있다. 설명의 목적만을 위해, 가상 물체(214)가 (가상으로) 위치되는 가상 물체 평면(216)은 뷰어의 정면 보기 방향(118)에 수직이고 뷰어의 동공간 선(120)에 평행이다.

좌안(100-1)의 좌측 중심와(106-1) 및 우안(100-2)의 우측 중심와(106-2) 양쪽을 통한 가상 물체(214)의 명확한 시각을 달성하기 위해, 뷰어의 뇌는 가상 물체(214)를 향해 좌안(100-1)과 우안(100-2)을 지향시키기 위해 양안의 외안근들을 동시에 제어하기 위해 수렴 프로세스(예를 들면, 발산 프로세스, 수렴 프로세스 등)을 사용한다. 뷰어의 광축들(102-1 및 102-2)이 가상 물체(214)보다 가까운 가상 공간 점(입체 영상에 묘사됨)에 이전에 지향된 경우, 뷰어의 뇌는 좌안(100-1) 및 우안(100-2)을 가상 물체(214)를 향해 동시에 발산시키도록 양안의 외안근들을 제어하기 위한 발산 프로세스를 사용한다. 그렇지 않으면, 뷰어의 광축들(102-1 및 102-2)이 가상 물체(214)보다 멀리 있는 가상 공간 점(입체 영상으로 묘사됨)에 이전에 지향된 경우, 뷰어의 뇌는 가상 물체(214)를 향해 좌안(100-1)과 우안(100-2)을 동시에 수렴시키도록 양안의 외안근들을 제어하기 위해 수렴 프로세스를 사용한다.

결과로서, 좌안(100-1)의 좌측 광축(102-1)과 우안(100-2)의 우측 광축(214)은 가상 물체(214)를 묘사하는 좌측 픽셀(224-1)(좌측 이미지(202-1)에서의) 및 우측 픽셀(224-2)(우측 이미지(202-2)에서의)로부터의 광이 좌안(100-1)의 좌측 중심와(106-1)와 우안의 우측 중심와(600-2)상에 각각 투영되도록 가상 물체(214)에서 일치한다.

좌안(100-1)과 우안(100-2)을 가상 물체(214)를 향해 지향시키기 위해 양안의 외안근들을 동시에 제어하기 위해 수렴 프로세스가 사용되는 동시에, 뷰어의 뇌는 가상 물체(214)를 묘사하는 좌측 픽셀들(224-1) 및 우측 픽셀들(224-2)상에 좌안(100-1) 및 우안(100-2)을 각각 초점을 맞추기 위해 양안의 섬모체근들을 동시에 제어하기 위해 순응 프로세스를 사용한다. 좌안(100-1)과 우안(100-2)의 초점 길이들은 가상 물체(214)를 묘사하는 좌측 픽셀들(224-1) 및 우측 픽셀들(224-2)로부터의 광이 좌측 중심와(106-1) 및 우측 중심와(106-2)와 일치하는 각각의 이미지 평면들(또는 망막들)에 초점이 맞춰지도록 순응 프로세스에 의해 조정될 수 있다. 더 구체적으로, 좌안(100-1)의 초점 길이는 좌측 픽셀들(224-1)로부터의 광이 좌측 중심와(106-1)와 일치하는 좌측 이미지 평면(또는 좌측 망막)에 초점이 맞춰지게 하기 위해 좌측 픽셀들(224-1)과 좌안 렌즈(108-1) 사이의 (좌측) 거리(222-1)에 적어도 부분적으로 기초하여 순응 프로세스에 의해 설정될 수 있고, 반면에 우안(100-2)의 초점 길이는 우측 픽셀들(224-2)로부터의 광이 우측 중심와(106-2)에 일치하는 우측 이미지 평면(또는 우측 망막)에 초점이 맞춰지도록 우측 필셀들(224-2)과 우안 렌즈(108-2) 사이의 (우측) 거리(222-2)에 적어도 부분적으로 기초하여 순응 프로세스에 의해 설정될 수 있다. 좌측 및 우측 이미지들(202-1 및 202-2)이 뷰어의 눈으로부터 동공간 선(120)을 따라 뷰어의 동공간 거리(뷰어의 두 눈 사이의 거리)의 것과 유사한 거리에 위치하는 시나리오들에서, 좌안(100-1)과 우안(100-2)의 초점 거리들은 각각 상이한 초점 길이들에 대한 순응 프로세스에 의해 조정될 수 있다.

도 2a에서 뷰어의 뇌에 의해 사용된 순응 및 수렴 프로세스들/기능들은 도 1b의 뷰어의 뇌에 의해 사용된 순응 및 수렴 프로세스/기능들과는 상당히 상이하게 동작한다.

예를 들면, 이전에 주의된 바와 같이, 도 1b에 도시된 바와 같은 실세계 물체를 볼 때, 뷰어의 뇌는 물체를 향하여 수렴(수렴/발산)하고 동시에 동일한 물체에 초점을 맞추도록 (적응시키기 위해) 근육을 제어하기 위하여 정상적인 순응 및 수렴 프로세스들을 사용한다. 더 구체적으로, 도 1b의 순응 프로세스는 실세계 물체(114)와 좌안 및 우안 렌즈(108-1, 108-2) 사이의 거리들에 기초하여 좌안 렌즈(108-1) 및 우안 렌즈(108-2)의 초점 길이들을 조정한다. 이들 거리들은 좌안(100-1)과 우안(100-2)의 광축들(102-1, 102-2)의 교차점과 일치 또는 한정/종단한다. 또한, 대부분의 경우들에서, 이들 거리들이 동공간 거리의 다수배가 되기 때문에, 도 1b의 순응 프로세스에 의해 설정되는 좌안 렌즈(108-1) 및 우안 렌즈(108-2)의 초점 거리들은 실질적으로 동일하다.

다른 한편으로, 도 2a에 도시된 바와 같은 가상 대상을 볼 때, 뷰어의 뇌는 가상 물체를 향해 근육들을 수렴(발산/수렴)하도록 제어하고 가상 공간 위치에서 가상 물체보다 가상 물체를 묘사하는 픽셀들상(디스플레이(들)상)에 동시에 및 모순되게 초점을 맞추기 위한 새롭고 비정상적인 순응 및 수렴 프로세스들을 사용해야 한다. 더 구체적으로, 도 2a의 순응 프로세스는 좌측 및 우측 픽셀들(224-1, 224-2)이 렌더링된 디스플레이(들)에서 가장 선명한 시각을 정하기 위해 좌측 픽셀들(224-1)과 좌안 렌즈(108-1) 사이 및 우측 픽셀들(224-2)와 우안 렌즈(108-2) 사이의 거리들에 기초하여 좌안 렌즈(108-1)와 우안 렌즈(108-2)의 초점 길이들을 조정한다. 이들 거리들은 좌안(100-1)과 우안(100-2)의 광축들(102-1, 102-2)의 교차점들과 일치하지 않고 한정되고/종단되지 않는다. 좌측 중심와(106-1) 및 우측 중심와(106)와 함께 좌안 렌즈(108-1) 및 우안 렌즈(108-2)는 2개의 상이한 디스플레이들에 각각 위치된 (또는 동일한 디스플레이의 상이한 공간 위치에 위치된) 2개의 상이한 픽셀 그룹들로 지향되도록 필수적으로 초점이 맞춰진다.

또한, 좌측 및 우측 이미지들(202-1 및 202-2)이 뷰어의 눈(100-1, 100-2)에 근접하게 렌더링되는 경우들에서, 좌측 픽셀들(224-1)과 좌안 렌즈(108-1) 사이 및 우측 픽셀들(224-2)과 우안 렌즈(108-2) 사이의 거리들이 동공간 거리에 비교될 때, 도 2a의 순응 프로세스에 의해 설정되는 좌안 렌즈(108-1) 및 우안 렌즈(108-2)의 초점 길이들은 순응-수렴 모순을 극복하는 부분으로서 눈 렌즈의 상이한 초점 렌즈들을 사용하기 위해 눈의 추가적인 새로운 제어들을 재학습하도록 뷰어의 뇌에 강제하기 위해 충분히 다를 수 있다.

4. 순응과 수렴 사이의 모순 해결

도 2b는 (a) 좌측 이미지(252-1) 및 우측 이미지(252-2)가 렌더링되는 하나 이상의 이미지 디스플레이들과 (b) 뷰어의 눈들(100-1 및 100-2) 사이에 배치된, 하나 이상의 자동-조정 가능한 렌즈들(228-1, 228-2 등)을 통해 좌측 이미지(252-1) 및 우측 이미지(252-2)를 포함하는 입체 영상으로 묘사된 가상 물체(214)의 예시적인 보기를 도시한다. 일부 실시예들에서, 이미지 디스플레이들의 일부 또는 전부는 뷰어에 대해 고정되고(예를 들면, 뷰어에 대해 고정된 거리에서), 및 동공간 선(120)에 평행(또는 실질적으로 평행)하다. 단지 예시의 목적을 위해, 자동 조정 가능한 렌즈들은 좌측 이미지(252-1)와 좌안(100-1) 사이에 배치된 좌측 자동-조정 가능한 렌즈(228-1) 및 우측 이미지(252-2)와 우안(100-2) 사이에 배치된 우측 자동 조정 가능한 렌즈(228-2)를 포함한다. 본 명세서에 설명된 예시적인 자동-조정 가능한 렌즈들은 기계적으로 제어 가능한 자동-조정 가능한 렌즈들, 전자적으로 제어 가능한 자동-조정 가능한 렌즈들, 액체-기반 자동-조정 가능한 렌즈들 등 중 임의의 것을 포함할 수 있지만 반드시 그것으로만 한정되는 것은 아니다.

본 명세서에 설명된 이미지 처리 시스템은 3D 디스플레이 애플리케이션들, 다중-뷰 디스플레이 애플리케이션들, 구형 이미지 디스플레이 애플리케이션들, 가상 현실(VR) 애플리케이션들, 증강 현실(AR) 애플리케이션들, 원격 프레즌스 애플리케이션들 등을 포함하지만, 그로 한정되지 않는 다양한 디스플레이 애플리케이션들 중 어느 하나에 사용될 수 있다. 이미지 처리 시스템은 뷰어가 보도록 렌더링하는 디스플레이 애플리케이션에서 임의의 주어진 시간에 특정 가상 공간 위치가 뷰어에 의해 응시되고 있는지를 결정하기 위해 실시간으로 시선 추적 동작들(gaze tracking operations)(및/또는 눈 추적 동작들)을 수행하도록 구성될 수 있다. 예시의 목적들을 위해, 시선/눈 추적 동작들의 결과들에 기초하여, 이미지 처리 시스템은 가상 물체(214)가 위치한 특정 가상 공간 위치를 결정/추론한다. 시선/눈 추적 동작들은 하나 이상의(예를 들면, 실시간) 시선/눈 추적 방법들의 임의의 조합에 기초할 수 있다. 예를 들면, 이들 시선/눈 추적 방법들은 눈 부착물들, 광학 센서들, 눈 이미지 포착 및 분석들, 전계 측정들, 적외선 등 중 하나 이상으로 작동할 수 있다.

다양한 실시예들에서, 특정 가상 공간 위치는 뷰어가 위치한 이미지 렌더링 환경에 나타내진 임의의 공간 좌표계(예를 들면, 데카르트 좌표계, 극좌표계, 국제 좌표계, 상대 좌표계 등)로 표현될 수 있다.

주어진 시간에서의 특정 가상 공간 위치에 기초하여, 이미지 처리 시스템은 특정 가상 공간 위치(또는 가상 물체(214))가 주어진 시간에 위치되는 가상 물체 평면(216)을 식별/결정한다. 예를 들면, 주어진 시간에서의 특정 가상 공간 위치에 기초하여, 이미지 처리 시스템은 주어진 시간에서 가상 물체 평면(216)에 대한 단일 깊이(236)(또는 가상 물체 깊이)를 계산할 수 있다. 단일 깊이(236)는 가상 물체 평면(216)과 자동 조정 가능한 렌즈(228-1 및 228-2) 사이의 거리로 표현될 수 있지만, 반드시 이에 한정되는 것은 아니다. 이미지 렌더링 평면들에 렌더링된 좌측 이미지(252-1) 및 우측 이미지(252-2) 양쪽 모두는 각각 좌측 자동 조정 가능한 렌즈(228-1) 및 우측 자동 조정 가능한 렌즈(228)에 의해 가상 물체 평면(216)에 투영될 수 있다.

일부 실시예들에서, 이미지 처리 시스템은 좌측 및 우측 자동-조정 가능한 렌즈들(228-1 및 228-2)의 초점 길이(들)을 결정하기 위하여 렌즈 방정식(들)을 사용한다.

비제한적인 구현예에서, 단일 초점 길이는 렌즈 방정식을 사용하여 계산될 수 있다; 좌측 및 우측 자동-조정 가능한 렌즈들(228-1 및 228-2) 모두는 동일한 계산된 단일 초점 길이로 자동적으로 조정될 수 있다. 이러한 단일 초점 길이를 계산할 때 렌즈 방정식에 대한 입력은 (a) 가상 물체 평면(216)과 자동 조정 가능한 렌즈들(228-1 및 228-2) 사이의 거리로 표현되는 단일 깊이(236) 및 (b) 좌측 이미지(252-1) 및 우측 이미지(252)가 렌더링되는 이미지 디스플레이들과 자동-조정 가능한 렌즈들(228-1 및 228-2) 사이의 거리로 표현되는 이미지 디스플레이 깊이(242)를 포함할 수 있다. 단일 깊이(236)는 렌즈 방정식에서 이미지 거리(d2)로서 사용될 수 있고, 반면에 이미지 디스플레이 깊이(242)는 렌즈 방정식에서 물체 거리(d1)로서 사용될 수 있다. 본 명세서에 기술된 바와 같이 자동-조정 가능한 렌즈의 초점 길이를 계산하기 위한 렌즈 방정식의 일 예는 다음과 같이 제공된다:

자동 조정 가능한 렌즈들(228-1 및 228-2)의 존재는 좌측 이미지(252-1) 및 우측 이미지(252-2)가 자동-조정 가능한 렌즈들(228-1 및 228-2)에 의해 투영되는 (가상 물체 평면(216)에 의해 나타내진) 가상 이미지 디스플레이로 좌측 이미지(252-1) 및 우측 이미지(252-2)가 실제로 렌더링되는 이미지 디스플레이들로부터 이미지들을 효과적으로 이동시킨다.

좌안(100-1)의 좌측 중심와(106-1) 및 우안(100-2)의 우측 중심와(106-2) 양쪽 모두를 통해 가상 물체(214)의 명확한 시각을 달성하기 위해, 뷰어의 뇌는 가상 물체(214)를 향해 좌안(100-1)과 우안(100-2)을 지향시키기 위해 양안의 외안근들을 동시에 제어하도록 수렴 프로세스(예를 들면, 발산 프로세스, 수렴 프로세스 등)를 사용한다.

결과로서, 좌안(100-1)의 좌측 광축(102-1) 및 우안(100-2)의 우측 광축(102-2)은 가상 물체(214)로부터의 광이 좌안(100-1)의 좌측 중심와(106-1) 및 우안(100-2)의 우측 중심와(106-2)상에 투영되게 하기 위해 가상 물체(214)에서 일치한다. 더 구체적으로, 가상 물체(214)로부터의 광은 (a) (좌측 이미지(252-1)에서) 좌측 픽셀들(234-1)로부터 좌측 자동-조정 가능한 렌즈(228-1)에 의해 투영되는 좌측 광 부분 및 (b) (우측 이미지(252-2)에서) 우측 픽셀들(234-2)로부터 우측 자동-조정 가능한 렌즈(228-2)에 의해 투영된 우측 광 부분을 포함하고, 좌측 픽셀들(234-1) 및 우측 픽셀들(234-2)은 가상 물체(214)를 묘사한다. 좌측 픽셀들(234-1)의 가상 이미지 부분들에 대응하는 좌측 광 부분은 좌안(100-1)의 좌측 중심와(106-1)에 의해 수신되고, 반면에 우측 픽셀들(234-2)의 가상 이미지 부분들에 대응하는 우측 광 부분은 우안(100-2)의 우측 중심와(106-2)에 의해 수신된다.

수렴 프로세스가 좌안(100-1) 및 우안(100-2)을 가상 물체(214)를 향해 지향시키기 위해 양안의 외안근들을 동시에 제어하기 위해 사용되는 동시에, 뷰어의 뇌는 가상 물체 평면(216)에서 가상 물체(214)상에 각각 좌안(100-1) 및 우안(100-2)을 초점을 맞추기 위해 양안의 섬모체근들을 동시에 제어하기 위한 순응 프로세스를 사용한다. 좌안(100-1)과 우안(100-2)의 초점 길이들은 가상 물체(214)로부터의 광이 좌측 중심와(106-1) 및 우측 중심와(106-2)와 일치하는 각각의 이미지 평면들에 초점이 맞춰지도록 순응 프로세스에 의해 조정될 수 있다. 더 구체적으로, 좌안(100-1)의 초점 길이는 가상 물체(214)로부터의 광의 좌측 광 부분이 좌측 중심와(106-1)에 일치하는 좌측 이미지 평면에 초점이 맞춰지게 하기 위해 가상 물체(214)가 위치하는 가상 공간 위치와 좌안 렌즈(108-1) 사이의 (좌측) 거리에 적어도 부분적으로 기초한 순응 프로세스에 의해 설정될 수 있고, 반면에 우안(100-2)의 초점 길이는 가상 물체(214)로부터의 광으로부터의 광의 우측 광 부분이 우측 중심와(106-2)와 일치하는 우측 이미지 평면에 초점이 맞춰지게 하기 위해 가상 물체(214)가 위치하는 가상 공간 위치와 우안 렌즈(108-2) 사이의(우측) 거리에 적어도 부분적으로 기초한 순응 프로세스에 의해 설정될 수 있다. 가상 물체(214)가 위치하는 가상 공간 위치가 뷰어의 눈으로부터 동공간 선(120)을 따라 뷰어의 동공간 거리(뷰어의 양안 사이의 거리)보다 훨씬 큰 거리에서 있는 시나리오들에서, 좌안(100-1)과 우안(100-2)의 초점 거리들은 동일하거나 거의 동일할 수 있다.

도 2b의 뷰어의 뇌에 의해 사용된 순응 프로세스는, 도 1b의 뷰어의 뇌에 의해 사용된 순응 프로세스와 동일하거나 실질적으로 동일하다. 예를 들면, 도 1b에서와 같이, 도 2b의 순응 프로세스는 뷰어의 중심와 시각에 있는 가상 물체(214)와 좌안 및 우안 렌즈(108-1, 108-2) 사이의 거리들에 기초하여 좌안 렌즈(108-1) 및 우안 렌즈(108-2)의 초점 길이들을 조정한다. 도 1b에서와 같이, 도 2b의 이들 거리들은 좌안(100-1)과 우안(100-2)의 광축들(102-1, 102-2)의 교점과 일치 또는 그로 한정/종단된다. 또한, 도 1b에서와 같이, 대부분의 경우들에서, 이들 거리들은 동공간 거리의 다배수이기 때문에, 도 1b의 순응 프로세스에 의해 설정된 좌안 렌즈(108-1) 및 우안 렌즈(108-2)의 초점 거리들은 실질적으로 동일하다.

일부 방식들하에서, 단일 입체 영상에 대하여, 다수의 렌더링된 이미지들(예를 들면, 6개의 다른 깊이들에 6개의 렌더링된 이미지들, 12개의 다른 깊이들에 12개의 렌더링된 이미지들, 연속적으로 다양한 깊이들에 렌더링된 이미지들 등)이 다수의 깊이들에서 생성 및 디스플레이될 수 있다. 입체 영상에 묘사된 물체들은 다수의 렌더링된 이미지들의 깊이들과 관련하여 묘사된 물체들의 깊이들에 기초하여 다수의 렌더링된 이미지들 중 하나에 디스플레이될 수 있다. 이는 다수의 렌더링된 이미지가 생성 및 디스플레이되고 다수의 깊이들 사이에서 묘사된 물체들 중 일부가 부정확하게 나타내지거나 및/또는 다수의 렌더링된 이미지들의 다수의 깊이들과 불일치하는 깊이들을 갖는 묘사된 물체들을 보간하기 위해 다량의 계산들을 필요로 하는 디스플레이 시스템을 초래한다. 디스플레이 시스템의 주어진 프레임 리프레쉬 레이트(예를 들면, 초당 60 프레임, 120 프레임 등)에 대하여, 단일 입체 영상에 대해 다수의 상이한 깊이들에서 다수의 렌더링된 이미지들을 디스플레이하는 것은 인지 가능한 이미지 저더들(image judders)을 발생시키는 경향이 있다.

대조적으로, 본 명세서에 설명된 기술들은 뷰어가 현재 보고 있는 위치에 기초하여 단일 입체 영상 또는 다중뷰 이미지가 디스플레이되어야 하는 단일 깊이를 결정하기 위해 사용될 수 있다. 이는 본 명세서에 설명된 기술들을 구현하는 디스플레이 시스템이 예를 들면, 하나 이상의 자동-조정 가능한 렌즈들의 사용을 통해, 좌측 이미지 및 우측 이미지를 단일 깊이 또는 매우 적은 수의 깊이들로 표시/투영하도록 허용한다. 상기 기술들은 순응 및 수렴 프로세스들이 예를 들면 물체/사람을 묘사하는 입체 영상의 이미지 세부 사항과 동일한 공간 위치를 향해 뷰어의 눈을 적응시킬 수 있기 때문에, 순응-수렴 모순을 효과적으로 해결한다. 또한, 본 명세서에 설명된 기술들은 눈 근접 디스플레이들, 헤드-장착 디스플레이들, zSpace 디스플레이들, 시네마 디스플레이들, 대형 디스플레이 시스템들, 의료용 디스플레이 시스템들, 고 프레임 레이트 디스플레이 시스템들, 비교적 저 프레임 레이트 디스플레이 시스템들, 3D 안경, TV들 등을 포함하지만, 반드시 그들 중 임의의 것으로 한정되지는 않는 매우 다양한 디스플레이 시스템들에 효율적으로 사용될 수 있다.

일부 실시예들에서, 자동-조정 가능한 렌즈(예컨대, 228-1, 228-2 등)는 단일 렌즈 소자를 포함한다; 단일 렌즈 소자의 초점 길이는 이미지(예를 들면, 252-1, 252-2)가 자동-조정 가능한 렌즈에 의해 투영되는 곳에 기초하여 조정될 수 있다.

일부 실시예들에서, 자동-조정 가능한 렌즈(예를 들면, 228-1, 228-2 등)는 다수의 렌즈 소자들을 포함한다; 다수의 렌즈 소자들의 초점 길이들의 일부 또는 모두는 이미지(예를 들면, 252-1, 252-2)가 자동-조정 가능한 렌즈에 의해 투영되는 곳에 기초하여 조정될 수 있다. 예를 들면, 자동-조정 가능한 렌즈의 하나 이상의 렌즈 소자들은 가상 물체 평면(216)에 이미지의 일부를 투영하도록 본 명세서에서 설명된 바와 같은 이미지 처리 시스템에 의해 결정/선택될 수 있고, 이미지의 일부는 뷰어의 중심와 시각(예를 들면, 106-1, 106-2, 등) 내에 있는 특정 가상 공간 위치(가상 물체 평면(216) 상)를 포함한다. 특정 가상 공간 위치와 렌즈 소자들 사이의 거리(예를 들면, 232-1, 232-2 등)는 가상 물체 평면(216)과 자동-조정 가능한 렌즈가 위치하는 평면(예를 들면, 렌즈 소자들의 위치들, 자동-조정 가능한 렌즈의 위치 등) 사이의 기하학적 관계(예를 들면, 단일 깊이(236) 등)에 기초하여 결정될 수 있다. 특정 가상 공간 위치와 렌즈 소자들 사이의 거리에 적어도 부분적으로 기초하여, 렌즈 소자들의 초점 길이들은 하나 이상의 렌즈 방정식들에서 결정될 수 있다.

일부 실시예들에서, 단일 자동-조정 가능한 렌즈는 임의의 주어진 시간 지점에서 단일 깊이에서 하나 이상의 이미지 디스플레이들상의 좌측 이미지 및 우측 이미지 모두를 가상 물체 평면으로 투영하기 위해 사용된다.

다른 뷰어들은 근시(nearsightedness), 원시(far-sightedness), 정상 입체 영상 시각, 비정상 입체 영상 시각, 안경 착용, 안경 미착용, 콘택트 렌즈 착용 등을 포함하는 상이한 시각 특성들을 가질 수 있다. 추가로, 선택적으로, 또는 대안적으로, 상이한 뷰어들은 동공간 거리들, 눈 대 자동 조정 가능한 렌즈 거리들 등을 포함하는 상이한 헤드 기하학적 특성들을 가질 수 있다. 일부 실시예들에서, 이미지 처리 시스템은 특정한 시각 특성들 및/또는 특정한 헤드 기하학적 특성들을 갖는 특정한 뷰어에 대해 특정하게 교정될 수 있다. 예를 들면, 이미지 처리 시스템이 디스플레이 애플리케이션의 3D 또는 다중뷰 이미지들을 보기 위해 사용되기 전에, 교정 세션에서, 테스트 입체 영상은 정상/기준 시각을 가진 기준 뷰어에 대응하는 단일 깊이 주변에 분배된 상이한 깊이들에서 뷰어에게 이미지 처리 시스템에 의해 표시될 수 있다. 뷰어에게 특정된 보정된 깊이는 사용자 입력의 유무에 관계없이 자동으로 결정될 수 있다. 이러한 프로세스는 정상/기준 시각을 갖는 기준 뷰어에 대응하는 복수의 깊이들 각각에 걸쳐 뷰어에 대해 반복될 수 있다. 곡선, 룩업 테이블(LUT) 등은 교정 세션에서 결정될 수 있다. 뷰어의 특정한 깊이들은 정상/기준 시각을 갖는 기준 뷰어에 대한 런타임 계산 깊이들을 조정함으로써 계산될 수 있다. 추가로, 선택적으로 또는 대안적으로, 뷰어의 특정한 헤드 기하학적 특성들은 상이한 시점들에서의 이미지들이 이미지 처리 시스템의 하나 이상의 자동-조정 가능한 렌즈들에 의해 투영되는 가상 물체 평면들의 정확한 배치 및 정확한 시선/눈 추적을 수행하는 목적들을 위해 이미지 처리 시스템에 입력 및/또는 측정될 수 있다.

좌측 이미지(252-1) 및 우측 이미지(252-2)에 묘사된 가상 물체(214)를 포함하는 물체들/사람들은 자동-조정 가능한 렌즈들(228-1 및 228-2)에 의해 확대될 수 있다. 일부 실시예들에서, 단일 깊이(236)에 적어도 부분적으로 기초하여, 이미지 처리 시스템은 배율 팩터를 결정한다. 예를 들면, 배율 팩터는 이미지 디스플레이 깊이(242)에 걸쳐 단일 깊이(236)의 비율로서 결정될 수 있다. 이미지 처리 시스템은 가상 물체 평면(216)의 단일 깊이(236)와 관련하여 결정된 배율 팩터에 기초하여 종횡비 조정 동작들을 수행할 수 있다. 예를 들면, 이미지 처리 시스템은 입력 비디오 신호로부터 좌측 이미지(252-1)과 우측 이미지(252-2)을 도출하기 위해 사용되는 입력 좌측 이미지 및 입력 우측 이미지를 수신 또는 디코딩할 수 있다. 이미지 처리 시스템은 자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재에 의해 인지되는 좌측 이미지(252-1) 및 우측 이미지(252-2)에 묘사된 - 가상 물체 평면(216)에 위치될 수 있거나 그렇지 않은- 물체들/사람들이 자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재 없이 인지되는 입력 좌측 이미지 및 입력 좌측 이미지에 묘사된 동일한 물체들/사람들과 종횡비, 크기 등에서 매칭하도록 좌측 이미지(252-1) 및 우측 이미지(252-2)를 생성하기 위해 배율 팩터의 역수를 입력 좌측 이미지 및 입력 우측 이미지에 적용할 수 있다.

자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재 없이 이미지 디스플레이들에서 인지된 좌측 이미지(252-1) 및 우측 이미지(252-2)의 깊이 정보는 자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재로 가상 물체 평면(216)에서 인지된 투영된 이미지들의 새로운 깊이 정보로 변경될 수 있다.

일부 실시예들에서, 깊이 정보는 입력 좌측 및 우측 이미지들에 관련된 불일치 이미지(들), 입력 좌측 및 우측 이미지들을 획득/발생/생성하는(가상 또는 실제) 카메라 시스템의 카메라 기하학적 정보 등의 조합으로부터 도출될 수 있다. 일부 실시예들에서, 깊이 정보는 입력 좌측 및 우측 이미지들과 함께 수신된 깊이 맵(들)으로부터 직접 판독될 수 있다. 불일치 이미지(들), 깊이 맵(들), 카메라 기하학적 정보 등의 일부 또는 전부는 입력 비디오 신호의 좌측 및 우측 이미지들로 수신될 수 있다.

추가로, 선택적으로, 또는 대안적으로, 일부 실시예들에서, 이미지 처리 시스템은 자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재로 인지되는 좌측 이미지(252-1) 및 우측 이미지(252-2)에 묘사된 - 가상 물체 평면(216)에 위치할 수도 있고 그렇지 않을 수도 있는 - 물체들/사람들의 새로운 깊이 정보가 자동-조정 가능한 렌즈들(228-1 및 228-2)의 존재 없이 인지되는 입력 좌측 이미지 및 입력 좌측 이미지에 묘사된 동일 물체들/사람들의 입력 깊이 정보와 매칭하도록 좌측 이미지(252-1) 및 우측 이미지(252-2)를 생성할 때 입력 좌측 이미지 및 입력 우측 이미지에 깊이 보정 동작들을 적용할 수 있다.

추가로, 임의적으로 또는 대안적으로, 일부 실시예들에서, 가변 공간 분해능들(variable spatial resolutions)을 갖는 (예를 들면, 낮은 강도) 블러링 필터는 뷰어의 중심와 시각 외에 위치되는 좌측 이미지(252-1) 및 우측 이미지(252-2)로부터 높은 공간 주파수 컨텐츠를 변화도로 약화시키기 위해 좌측 이미지(252-1) 및 우측 이미지(252-2)를 생성하는 이미지 처리 동작들에 적용될 수 있다. 블러링 필터는 뷰어의 망막에 의해 수행된 블러링 기능들을 시뮬레이션하기 위해 사용될 수 있다. 블러링 필터링의 강도는 뷰어의 중심와 시각에 비해 가상 물체 평면(예를 들면, 216-1 등)에서 나타내지는 이미지 상세들의 거리들로서 증가할 수 있다.

일부 실시예들에서, 블러링 필터는 뷰어의 중심와 시각(예를 들면, 106-1, 106-2 등)을 포함하는 이미지 상세들에서 블러링을 수행하지 않거나 거의 수행하지 않고, 예를 들면, 뷰어의 중심와 시각(예를 들면, 106-1, 106-2 등) 외부에 있는 망막의 영역들(예를 들면, 110-1, 110-2 등)에서 뷰어의 중심와 시각으로부터 점점 더 멀리 있는 이미지 상세들에서 점점 더 강한 블러링을 수행한다.

예를 들면, 도 2e에 도시된 바와 같이, 제 1 블러링 필터는 가상 물체 평면(예를 들면, 216-1 등)의 좌측 중심와 시각 섹션(256)상에 투영되는 좌측 이미지(252-1)의 이미지 상세들에서 블러링을 수행하지 않거나 거의 수행하지 않도록 사용될 수 있다. 가상 물체 평면의 좌측 중심와 시각 섹션(256)은 뷰어의 좌측 중심와 시각(106-1)을 포함한다. 제 1 블러링 필터는 가상 물체 평면(예를 들면, 216-1 등)의 하나 이상의 좌측 비중심와 시각 섹션들(258) 상에 투영되는 좌측 이미지(252-1)의 이미지 상세들에서 더 강한 블러링을 수행하기 위해 사용될 수 있다. 가상 물체 평면의 좌측 비중심와 시각 섹션(258)은 뷰어의 좌측 중심와 시각(106-1) 내에 있지 않다.

유사하게, 제 2 블러링 필터는 가상 물체 평면(예를 들면, 216-1 등)의 우측 중심와 시각 섹션(도시되지 않음)상에 투영되는 우측 이미지(252-2)의 이미지 상세들에 블러링을 수행하지 않거나 적게 수행하기 위해 사용될 수 있다. 가상 물체 평면의 우측 중심와 시각 섹션은 뷰어의 우측 중심와 시각(106-2)을 포함한다. 제 2 블러링 필터는 가상 물체 평면(도시되지 않음)의 하나 이상의 우측 비중심와 시각 섹션(도시되지 않음) 상에 투영되는 우측 이미지(252-2)의 이미지 상세들에서 더 강한 블러링을 수행하기 위해 사용될 수 있다. 가상 물체 평면의 우측 비중심와 시각 섹션들은 뷰어의 우측 중심와 시야(106-2)에 있지 않다.

5. 수렴각들 추적

도 2c는 입체 영상의 시간 시퀀스를 볼 때 뷰어의 수렴각들을 추적하는 예를 도시한다. 입체 영상의 시간 시퀀스는 하나 이상의 장면들, 장면의 하위 분할, 화상 집합(Group of Pictures; GOP) 등을 묘사할 수 있다. 입체 영상들 각각은 2개의 3D 이미지들의 조합 또는 2개 이상의 다중뷰 이미지들의 조합으로 나타내질 수 있다. 본 명세서에 사용된 바와 같이, 수렴각들은 뷰어의 개별적인 눈(예를 들면, 좌안, 우안 등)의 수렴각들을 말한다. 여기에 설명된 기술들에 의해 추적될 예시적인 수렴각들은 좌측 수렴각(또는 좌안의 수렴각들), 우측 수렴각(또는 우안의 수렴각들), 뷰어의 동공간 선(120), 뷰어의 전방 보기 방향(118) 등 중 하나와 같은 기준 방향에 관한 수렴각들, 뷰어의 레벨 보기 평면 또는 뷰어의 얼굴 (수직) 중심선에 관한 고도각들(elevation angles)을 포함할 수 있지만, 반드시 그 중 어느 하나로만 한정되는 것은 아니다.

설명의 목적으로만, 제 1 시점에서, 본 명세서에 기술된 바와 같은 이미지 처리 시스템은 입체 영상들의 시간 시퀀스를 나타내는 이미지들이 렌더링되는 이미지 디스플레이들로부터 가상 물체 평면(216)에 이미지 처리 시스템의 하나 이상의 자동-조정 가능한 렌즈들에 의해 투영될 때 제 1 좌측 이미지 및 제 2 우측 이미지의 조합을 포함하는 제 1 입체 영상에서 가상 물체 평면(216)에 위치된 가상 물체(214)를 뷰어의 눈이 응시하고 있는 것을 결정 또는 측정한다.

제 1 시점부터 제 2 시점까지, 뷰어의 눈은 입체 영상들의 시간 시퀀스로 묘사된 제 2 가상 물체 평면(216-1)에 위치한 제 2 가상 물체(214-1)로 수렴 또는 발산한다.

제 2 시점은: 제 1 시점의 바로 다음, 하나 이상의 프레임 시간 간격들(각 프레임 시간 간격은 하나의 이미지 프레임을 디스플레이하는 것에 대응)만큼 제 1 시점 다음, 프레임 시간 간격의 일부분만큼 제 1 시점 다음 중 하나인 시점일 수 있다.

도 2c에 도시된 바와 같이, 제 2 시점에서, 뷰어의 좌안은 제 2 가상 물체(214-1)에 수렴(내측으로 이동)하고, 반면에 뷰어의 우안은 제 2 가상 물체(214-1)로 발산(바깥쪽으로 이동)한다. 다양한 시나리오들에서 뷰어의 눈은 모두 수렴할 수도 있고 모두 발산할 수도 있다.

일부 실시예들에서, 이미지 처리 시스템은 제 2 시점에서 뷰어의 수렴각을 측정/추적할 수 있다. 제 2 시점에서의 뷰어의 수렴각들에 기초하여, 이미지 처리 시스템은 뷰어가 제 2 가상 물체 평면(216-1)에 위치한 제 2 가상 물체(214-1)를 응시하고 있는지를 결정할 수 있다.

뷰어가 제 2 가상 물체 평면(216-1)에 위치한 제 2 가상 물체(214-1)를 응시하고 있다고 결정하는 것에 응답하여, 이미지 처리 시스템은 제 2 가상 물체 평면(216-1)에 제 2 좌측 이미지 및 제 2 우측 이미지의 조합에 의해 나타내진 제 2 입체 영상을 투영할 수 있다. 제 2 입체 영상은: 제 1 입체 영상 바로 다음, 하나 이상의 프레임 시간 간격들(각 프레임 시간 간격은 표시에 대응한다)만큼 제 1 입체 영상 다음, (예를 들면, 엄격하게) 고정된 시간 기간 내 제 1 입체 영상 다음 등 중 어느 하나인 입체 영상(입체 영상들의 시간 시퀀스에서)일 수 있다.

도 2d는 (a) 좌측 이미지(252-1) 및 우측 이미지(252-2)가 렌더링되는 하나 이상의 이미지 디스플레이들과 (b) 뷰어의 눈(100-1 및 100-2) 사이에 배치된 하나 이상의 자동-조정 가능한 렌즈들(228-1, 228-2, 등)을 통해 좌측 이미지(252-1) 및 우측 이미지(252-2)를 포함하는 입체 영상의 예시적인 보기를 도시한다. 도시된 바와 같이, 좌측 이미지(252-1) 및 우측 이미지(252-2)가 단일 디스플레이 스크린(254)에 의해 제공될 수 있는 이미지 디스플레이들. 일 예에서, 단일 디스플레이 스크린(254)은 휴대 전화의 디스플레이 스크린, 개인용 정보 단말(Personal Digital Assistant; PDA), 전자북 리더, TV 등일 수 있다.

일부 실시예들에서, 본 명세서에 기술되는 입체 영상(예를 들면, 입력 입체 영상, 입력 입체 영상으로부터 도출된 변형 입체 영상 등)의 좌측 이미지(예를 들면, 252-1) 및 우측 이미지(예를 들면, 252-2)는 서로 중첩하거나 중첩하지 않을 수 있는 하나 이상의 이미지 디스플레이들에서 동시에 또는 프레임 순차적으로 렌더링될 수 있다. 추가로, 선택적으로, 또는 대안적으로, 입체 영상을 렌더링하기 위해 사용된 본 명세서에 기재된 다수의 이미지 디스플레이들은 단일 디스플레이 스크린 또는 다중 디스플레이 스크린들에 의해 제공될 수 있다.

일부 실시예들에서, 2개의 이미지 디스플레이들은 입체 영상의 좌측 이미지 및 우측 이미지를 렌더링하기 위해 사용되고, 2개의 개별 디스플레이 스크린들(예를 들면, 눈 근접 디스플레이 디바이스의 2개의 디스플레이 스크린들 등)에 의해 제공된다. 이들 실시예들에서, 좌측 이미지와 우측 이미지는 뷰어에 동시에 디스플레이될 수 있다. 또한, 선택적으로 또는 대안적으로, 좌측 이미지 및 우측 이미지는 먼저 디스플레이된 좌측 이미지 및 우측 이미지 중 하나가 뷰어에 디스플레이되고 디스플레이된 좌측 이미지 및 우측 이미지 중 다른 하나가 후속하는 프레임 순차적일 수 있다.

일부 실시예들에서, 2개의 이미지 디스플레이는 입체 영상의 좌측 이미지 및 우측 이미지를 렌더링하기 위해 사용되고, 단일 디스플레이 스크린상의 2 개의 공간 섹션들(예를 들면, iPhone 스크린상의 2개의 공간 섹션들 등)에 의해 각각 제공된다. 일부 실시예들에서, 이들 2개의 공간 섹션들은 중첩되지 않을 수 있다. 일부 실시예들에서, 이들 2개의 공간 섹션들은 적어도 부분적으로 중첩될 수 있다. 모든 이들 실시예들에서, 좌측 이미지 및 우측 이미지는 뷰어에 동시에 디스플레이될 수 있다. 추가로, 선택적으로 또는 대안적으로, 좌측 이미지 및 우측 이미지는 먼저 디스플레이된 좌측 이미지 및 우측 이미지 중 하나가 뷰어에 디스플레이되고 디스플레이된 좌측 이미지 및 우측 이미지 중 다른 하나가 후속하는 프레임 순차적일 수 있다.

일부 실시예들에서, 하나의 이미지 디스플레이는 입체 영상의 좌측 이미지 및 우측 이미지를 렌더링하기 위해 사용되고, 단일 디스플레이 스크린(예를 들면, TV 등)에 의해 제공된다. 좌측 이미지 및 우측 이미지는 뷰어에 동시에 디스플레이될 수 있다. 동시에 디스플레이된 이미지들은 상이한 광 파장들, 상이한 렌티큘러 뷰들, 상이한 광 편광들 등을 사용함으로써 구별될 수 있다. 추가로, 선택적으로 또는 대안적으로, 좌측 이미지 및 우측 이미지는 먼저 디스플레이된 좌측 이미지 및 우측 이미지 중 하나가 뷰어에 디스플레이되고 디스플레이된 좌측 이미지 및 우측 이미지 중 다른 하나가 후속하는 프레임 순차적일 수 있다.

다양한 실시예들에서, 본 명세서에서 기술된 입체 영상(또는 다중뷰 이미지)의 상이한 뷰들(예를 들면, 좌측 및 우측 이미지들 등)은 이미지 프로세싱 시스템에서: 상이한 디스플레이 스크리들, 하나의 디스플레이 스크린의 상이한 공간 섹션들, 상이한 시점들에서의 상이한 프레임들, 상이한 뷰들에 할당된 상이한(예를 들면, 비중첩) 광 파장들, 상이한 뷰에 할당된 상이한 렌티큘러 뷰들, 상이한 뷰들에 대한 상이한 광 편광들 등 중 하나 이상에 의해 서로 구별될 수 있다.

6. 예시적인 비디오 스트리밍 서버들 및 클라이언트들

도 3a는 이미지 프로세서(302), 깊이-기반 이미지 생성기(312) 등을 포함하는 일 예시적인 비디오 스트리밍 서버(300)를 도시한다. 일부 실시예들에서, 이미지 프로세서(302)는 이미지 수신기(306), 데이터 저장소(310) 등을 포함한다. 비디오 스트리밍 서버(300)의 구성 요소들 모두 또는 일부는 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등으로 하나 이상의 장치들, 모듈들, 유닛들 등에 의해 구현될 수 있다.

일부 실시예들에서, 이미지 수신기(306)는 클라우드 기반 이미지 소스와 같은 이미지 소스, VR 애플리케이션, AR 애플리케이션, 원격 프레즌스 애플리케이션, 3D 디스플레이 애플리케이션, 다중뷰 디스플레이 애플리케이션과 연결된 카메라 시스템 등으로부터 입력 이미지 스트림(304)을 수신하고; 입력 이미지 스트림(304)을 하나 이상의 입력 입체 영상들(예를 들면, 입력 입체 영상들의 시퀀스, 입력 다중뷰 이미지들의 시퀀스 등)로 디코딩하는 등으로 구성된, 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다. 일부 실시예들에서, 입력 이미지 스트림(304)은 입력 이미지 스트림(304)으로부터 이미지 수신기(306)에 의해 디코딩될 수 있는 이미지 메타 데이터(예를 들면, 카메라 기하학적 정보 등)를 전달할 수 있다.

일부 실시예들에서, 데이터 저장소(310)는 입력 입체 영상들, 이미지 메타데이터 등의 모두 또는 그의 일부에 관하여 저장, 업데이트, 검색, 삭제 등과 같은 동작들을 지원하도록 구성된 하나 이상의 데이터베이스들, 하나 이상의 데이터 저장 유닛들/모듈들/디바이스들 등을 나타낸다. 일부 실시예들에서, 입력 입체 영상들은 입력 이미지 스트림(304) 대신에 깊이-기반 이미지 생성기(308)에 의해 데이터 저장소(310)로부터 검색된다.

일부 실시예들에서, 깊이-기반 이미지 생성기(308)는 양방향 데이터 흐름(314)을 통해 시간에 걸쳐 사용자(또는 뷰어)의 수렴각들 등을 수신하고; 깊이-기반 입체 영상들 및 깊이 제어 메타데이터를 포함하는 출력 비디오 스트림을 생성하고; 양방향 데이터 흐름(314)을 통해 직접 또는 간접적으로 중간 장치들 등을 통하여 입체 영상 비디오 스트리밍 클라이언트, 디스플레이 디바이스, 저장 디바이스 등에 출력 비디오 스트림을 제공/전송하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다. 다양한 실시예들에서, 깊이-기반 입체 영상들은 (예를 들면, 비디오 스트리밍 서버(300) 등에 의해 수신된) 입력 입체 영상들 또는 입력 입체 영상들로부터 유도된 변형된 입체 영상들을 말할 수 있다.

깊이 제어 메타데이터는 시간에 따른 단일 깊이들의 함수를 나타낼 수 있다. 깊이 제어 메타데이터에서 지시된 임의의 주어진 시점에서의 단일 깊이는 사용자의 수렴각들 및 이미지 디스플레이들 등과 관련된 다른 기하학적 정보(예를 들면, 이미지 디스플레이들과 사용자의 눈 사이의 거리들, 이미지 디스플레이들과 자동-조정 가능한 렌즈들 사이의 거리 등)에 적어도 부분적으로 기초하여 계산되어 결정될 수 있고, 단일 깊이가 결정/계산되는 대응하는 입체 영상을 투영하기 위해 입체 영상들을 보기 위해 사용자에 의해 사용되고 있는 이미지 렌더링 디바이스에서 하나 이상의 자동-조정 가능한 렌즈들의 하나 이상의 초점 길이들을 제어하기 위해 사용될 수 있다.

추가로, 선택적으로 또는 대안적으로, 종횡비 조정 동작들, 깊이 보정 동작들, 블러링 필터링, 장면 컷 검출들, 좌표계들간의 변환들, 시간적 감쇠, 디스플레이 관리, 콘텐츠 맵핑, 컬러 맵핑, 시야 관리 등과 같은 이미지 처리 동작들 모두 또는 그의 일부는 입체형 비디오 스트리밍 서버(300)는 출력 비디오 스트림으로 인코딩된 깊이-기반 입체 영상들 및 깊이 제어 메타데이터를 생성하기 위한 목적을 위해 입체 영상 비디오 스트리밍 서버(300)에 의해 수행될 수 있다.

비디오 스트리밍 서버(300)는 실시간 비전 애플리케이션들, 근거리 실시간 비전 애플리케이션들, 비실시간 비전 애플리케이션들, 가상 현실, 증강 현실, 헬멧 장착 디스플레이 애플리케이션들, 헤드 업 디스플레이 애플리케이션들, 게임들, 2D 디스플레이 애플리케이션들, 3D 디스플레이 애플리케이션들, 다중뷰 디스플레이 애플리케이션들 등을 지원하기 위해 사용될 수 있다.

도 3b는 깊이-기반 이미지 수신기(316), 수렴각 추적기(326), 자동-조정 가능한 렌즈 제어기(318), 하나 이상의 이미지 디스플레이들(320) 등을 포함하는 예시적인 이미지 렌더링 시스템(324-1)을 도시한다. 이미지 렌더링 시스템(324-1)의 구성요소들의 모두 또는 일부는 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등의 하나 이상의 장치들, 모듈들, 유닛들 등에 의해 구현될 수 있다.

사용자(또는 뷰어)는 런타임시 상이한 시점들에서 각각 상이한 깊이들의 이미지 상세들(또는 입체 영상들에 묘사된 시각적 물체들/사람들)로 사용자의 수렴각들을 이동할 수 있다. 일부 실시예들에서, 수렴각 추적기(326)는 시간에 걸쳐 사용자의 수렴각들 등을 추적하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다. 시간에 걸친 사용자의 수렴각들은 비교적 미세한 시간 스케일들(예를 들면, 밀리초마다, 5 밀리초마다 등)로 샘플링되거나 측정될 수 있다.

일부 실시예들에서, 깊이-기반 이미지 수신기(316)는 양방향 데이터 흐름(314)을 통해 사용자의 수렴각들, 다른 기하학적 정보(예를 들면, 이미지 디스플레이들과 사용자의 눈 사이의 거리들, 이미지 디스플레이들과 자동-조정 가능한 렌즈들 사이의 거리들 등) 등을 전송하고; 깊이-기반 입체 영상에 대응하는 깊이-기반 입체 영상들 및 깊이 제어 메타데이터를 포함하는 비디오 스트림(예를 들면, 업스트림 디바이스 등에 의해 출력)을 수신하는 등을 위해 구성된, 소프트웨어, 하드웨어, 소프트웨어와 하드웨어의 조합을 포함한다.

이미지 렌더링 시스템(324-1)은 수신된 비디오 스트림을 깊이-기반 입체 영상들 및 깊이 제어 메타 데이터로 디코딩하고; 수신된 비디오 스트림으로부터 디코딩된 깊이-기반 입체 영상들(예를 들면, 각각이 좌측 및 우측 이미지들을 포함)을 이미지 디스플레이들(320) 상에 렌더링하도록 구성된다.

일부 실시예들에서, 자동-조정 가능한 렌즈 제어기(318)는 이미지 디스플레이들(320)상에 렌더링된 입체 영상들을 상이한 시점들(예를 들면, 밀리초, 10 밀리초, 프레임 시간의 일부분 등의 실시간 처리 지연을 조건으로 하는)에서 상이한 깊이들 각각에서 가상 이미지들에 투영하기 위해 하나 이상의 자동-조정 가능한 렌즈들을 제어하기 위해 깊이 제어 메타데이터를 사용하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.

추가로, 선택적으로 또는 대안적으로, 시선/눈 추적, 종횡비 조정 동작들, 깊이 보정 동작들, 블러링 필터링, 장면 컷 검출들, 시변 이미지 파라미터들의 시간적 감쇠, 이미지 파라미터들의 임의의 다른 시간적 조작, 디스플레이 관리, 콘텐트 맵핑, 톤 맵핑, 컬러 맵핑, 시야 관리, 예측, 마우스, 트랙볼, 키보드, 풋 트랙커를 통한 내비게이션들, 실제 신체 움직임 등과 같은 이미지 렌더링 동작들 모두 또는 일부는 이미지 렌더링 시스템(324-1)에 의해 수행될 수 있다.

이미지 렌더링 시스템(324-1)은 실시간, 근 실시간 또는 비실시간 비전 애플리케이션들, 근 실시간 비전 애플리케이션들, 비실시간 비전 애플리케이션들, 가상 현실, 증강 현실, 헬멧 장착 디스플레이 애플리케이션들, 헤드 업 디스플레이 애플리케이션들, 게임들, 2D 디스플레이 애플리케이션들, 3D 디스플레이 애플리케이션들, 다중뷰 디스플레이 애플리케이션들 등을 지원하기 위해 사용될 수 있다.

본 명세서에 설명된 기술들은 다양한 시스템 아키텍처들에서 구현될 수 있다. 본 명세서에 설명된 일부 또는 이미지 처리 동작들 모두 또는 일부는 클라우드-기반 비디오 스트리밍 서버들, 비디오 스트리밍 클라이언트들과 함께 배치되거나 통합된 비디오 스트리밍 서버들, 이미지 렌더링 시스템들, 이미지 렌더링 시스템들, 디스플레이 디바이스들 등 중 하나 이상의 조합에 의해 구현될 수 있다. 수신자 디바이스들의 비전 애플리케이션들의 형태들, 대역폭/비트레이트 버짓들, 컴퓨팅 능력들, 리소스들, 부하들 등, 비디오 스트리밍 서버들의 컴퓨팅 능력들, 리소스들, 부하들 등, 및/또는 컴퓨터 네트워크들 등과 같은 하나 이상의 팩터들에 기초하여, 일부 이미지 처리 동작들은 비디오 스트리밍 서버에 의해 수행될 수 있고, 반면에 일부 다른 이미지 처리 동작들은 비디오 스트리밍 클라이언트, 이미지 렌더링 시스템, 디스플레이 디바이스 등에 의해 수행될 수 있다.

도 3c는 깊이-기반 이미지 생성기(예를 들면, 312 등)가 에지 비디오 스트리밍 서버(324-2)에 통합되는 일 예시적인 구성을 도시한다. 일부 실시예들에서, 도 3c의 이미지 프로세서(302)는 클라우드 기반일 수 있다. 일부 실시예들에서, 이미지 프로세서(302)는 에지 비디오 스트리밍 서버(324-2)와 같은 에지 디바이스들과 별개의 코어 네트워크에 위치될 수 있다. 도 3a에서와 같이, 이미지 프로세서(302)는 이미지 수신기(306), 데이터 저장소(310) 등을 포함할 수 있다. 이미지 프로세서(302)는 비교적 높은 비트레이트들을 거쳐 에지 비디오 스트리밍 서버(324-2)와 통신하는 업스트림 비디오 스트리밍 서버를 나타낼 수 있다. 이미지 프로세서(302) 및/또는 에지 비디오 스트리밍 서버(324-2)의 구성요소들 모두 또는 일부는 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합 등에서 하나 이상의 장치들, 모듈들, 유닛들 등에 의해 구현될 수 있다.

일부 실시예들에서, 이미지 프로세서(302)는 데이터 흐름(322) 내의 입력 입체 영상들을 그 중 하나가 에지 비디오 스트리밍 서버(324-2)일 수 있는 다운스트림 디바이스들에 전송하도록 구성된다.

일부 실시예들에서, 에지 비디오 스트리밍 서버(324-2) 또는 그 내부의 깊이-기반 이미지 생성기(312)는 시간에 걸친 사용자의 수렴각들, 다른 기하학적 정보 등을 결정하고; 깊이-기반 입체 영상들 및 깊이 제어 메타데이터를 포함하는 출력 비디오 스트림을 생성하고; 직접적으로 또는 간접적으로 중간 디바이스들을 통하여 양방향 데이터 흐름(314)을 통해 출력 비디오 스트림을 비디오 스트리밍 클라이언트, 디스플레이 디바이스, 저장 디바이스 등에 제공/전송하는 등을 위해 구성된, 소프트웨어, 하드웨어, 소프트웨어와 하드웨어의 조합 등을 포함할 수 있다.

7. 예시적인 프로세스 흐름

도 4는 본 발명의 일 예시적인 실시예에 따른 예시적인 프로세스 흐름을 도시한다. 일부 예시적인 실시예들에서, 하나 이상의 컴퓨팅 디바이스들 또는 구성요소들이 이러한 프로세스 흐름을 수행할 수 있다. 블록(402)에서, 이미지 처리 시스템(예를 들면, 도 3a 내지 도 3c의 비디오 스트리밍 서버 또는 비디오 스트리밍 클라이언트의 임의의 조합 등)은 뷰어가 제 1 좌측 이미지 및 제 1 우측 이미지를 포함하는 제 1 입체 영상을 보고 있는 동안 뷰어의 좌안의 좌측 수렴각 및 뷰어의 우안의 우측 수렴각을 결정한다.

블록(404)에서, 이미지 처리 시스템은, (ⅰ) 뷰어의 좌안의 좌측 수렴각 및 (ⅱ) 뷰어의 우안의 우측 수렴각에 적어도 부분적으로 기초하여 가상 물체 깊이를 결정한다.

블록(406)에서, 이미지 처리 시스템은 하나 이상의 이미지 디스플레이들상에 뷰어에 대한 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상을 렌더링한다. 제 2 입체 영상은 제 1 입체 영상에 후속한다.

블록(408)에서, 이미지 처리 시스템은 제 2 입체 영상을 하나 이상의 이미지 디스플레이들로부터 가상 물체 깊이의 가상 물체 평면에 투영한다.

일 실시예에서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면에 투영될 때 제 2 좌측 이미지 및 제 2 우측 이미지에 묘사된 시각적 물체들의 변경된 종횡비들에 입력 좌측 이미지 및 입력 우측 이미지에 묘사된 가상 물체들의 종횡비들을 조정하는 하나 이상의 종횡비 조정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성된다.

일 실시예에서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면에 투영될 때 제 2 좌측 이미지 및 제 2 우측 이미지에 묘사된 가상 물체들의 변경된 깊이들에 입력 좌측 이미지 및 입력 우측 이미지에 묘사된 시각적 물체들의 깊이를 변환하는 하나 이상의 깊이 보정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성된다.

일 실시예에서, 제 2 좌측 이미지 및 제 2 우측 이미지는 입력 좌측 이미지 및 입력 우측 이미지에 관한 제 2 좌측 이미지 및 제 2 우측 이미지의 하나 이상의 공간 영역들을 블러링하는 하나 이상의 블러링 필터링 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성되고; 제 2 좌측 이미지 및 제 2 우측 이미지의 하나 이상의 공간 영역들은 뷰어의 중심와 시각으로부터 떨어져있다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 뷰어가 보도록 동시에 렌더링된다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 뷰어가 보도록 프레임 순차적으로 렌더링된다.

일 실시예에서, 제 2 입체 영상은 뷰어가 보도록 렌더링된 입체 영상의 시퀀스에서 시간상 제 1 입체 영상에 바로 후속된다.

일 실시예에서, 하나 이상의 자동-조정 가능한 렌즈들은 가상 물체 깊이의 가상 물체 평면에 제 2 입체 영상을 투영하기 위해 사용되고; 하나 이상의 자동-조정 가능한 렌즈들의 하나 이상의 초점 길이들은 가상 물체 깊이에 적어도 부분적으로 기초하여 결정된다.

일 실시예에서, 제 2 입체 영상은 일련의 입력 입체 영상들에서 제 2 입력 입체 영상으로부터 생성되고; 제 2 입력 입체 영상 이외의 다른 입체 영상은 제 2 입력 입체 영상으로부터 생성되지 않고; 가상 물체 깊이 이외의 다른 가상 물체 깊이는 제 2 입체 영상이 투영되지 않는다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 각각 제 1 이미지 디스플레이 및 제 2 이미지 디스플레이상에 렌더링된다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 단일 이미지 디스플레이상에 렌더링된다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지 중 적어도 하나는 단일 렌즈 소자를 포함하는 자동-조정 가능한 렌즈에 기초하여 가상 물체 평면에 투영된다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지 중 적어도 하나는 다수의 렌즈 소자들을 포함하는 자동-조정 가능한 렌즈에 기초하여 가상 물체 평면에 투영된다.

일 실시예에서, 제 2 입체 영상의 제 2 좌측 이미지는 뷰어의 좌안에만 보이고, 반면에 제 2 입체 영상의 제 2 우측 이미지는 뷰어의 우안에서만 보인다.

일 실시예에서, 이미지 처리 시스템은 또한: 뷰어가 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상을 보고 있는 동안, 뷰어의 좌안의 제 2 좌측 수렴각 및 뷰어의 우안의 제 2 우측 수렴각을 결정하고; (ⅰ) 뷰어의 좌안의 제 2 좌측 수렴각 및 (ⅱ) 뷰어의 우안의 제 2 우측 수렴각에 적어도 부분적으로 기초하여 제 2 가상 물체 깊이를 결정하고; 뷰어에 대한 제 3 좌측 이미지 및 제 3 우측 이미지를 포함하는 제 3 입체 영상을 하나 이상의 이미지 디스플레이들상에 렌더링하고, 제 3 입체 영상은 제 2 입체 영상에 후속하고; 제 3 입체 영상을 하나 이상의 이미지 디스플레이상으로부터 제 2 가상 물체 깊이의 제 2 가상 물체 평면에 투영하는 등을 수행하도록 구성된다.

일 실시예에서, 가상 물체 깊이는 뷰어의 특정 시각 특성들에 적어도 부분적으로 기초하여 조정된다.

다양한 예시적인 실시예들에서, 장치, 시스템, 장치, 또는 하나 이상의 다른 컴퓨팅 디바이스들은 설명된 바와 같은 전술한 방법들 중 임의의 것 또는 일부를 수행한다. 일 실시예에서, 비일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서들에 의해 실행될 때 본 명세서에 설명된 방법의 수행을 야기하는 소프트웨어 명령들을 저장한다.

개별적인 실시예들이 본 명세서에서 논의되지만, 본 명세서에서 논의된 실시예 및/또는 부분 실시예들의 임의의 조합이 다른 실시예들을 형성하기 위해 조합될 수 있다는 것을 주의하라.

8. 구현 메커니즘-하드웨어 개요

일 실시예에 따르면, 여기에 설명된 기술들은 하나 이상의 특수-목적 컴퓨팅 디바이스들에 의해 구현된다. 특수-목적 컴퓨팅 디바이스들은 기술들을 수행하기 위해 하드-와이어(hard-wired)될 수 있거나, 또는 기술들을 수행하도록 지속적으로 프로그래밍되는 하나 이상의 주문형 집적 회로들(ASICs) 또는 필드 프로그램 가능한 게이트 어레이들(FPGAs)과 같은 디지털 전자 디바이스들을 포함할 수 있고, 펌웨어, 메모리, 다른 저장 디바이스 또는 조합에서 프로그램 명령들에 따라 기술들을 수행하도록 프로그램된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수 있다. 이러한 특수-목적 컴퓨팅 디바이스들은 또한 맞춤형 하드 와이어드 로직, ASIC 또는 FPGA를 맞춤 프로그래밍과 결합하여 기술을 수행할 수도 있다. 특수 목적 컴퓨팅 디바이스들은 데스크탑 컴퓨터 시스템들, 휴대용 컴퓨터 시스템들, 휴대용 장치들, 네트워킹 디바이스들 또는 기술들을 구현하기 위한 하드-와이어드 및/또는 프로그램 논리를 포함하는 임의의 다른 디바이스일 수 있다.

예를 들면, 도 5는 본 발명의 일 예시적인 실시예가 구현될 수 있는 컴퓨터 시스템(500)을 나타내는 블록도이다. 컴퓨터 시스템(500)은 정보를 전달하기 위한 버스(502) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(502)와 결합된 하드웨어 프로세서(504)를 포함한다. 하드웨어 프로세서(504)는, 예를 들면, 범용 마이크로 프로세서일 수 있다.

컴퓨터 시스템(500)은 또한 프로세서(504)에 의해 실행될 명령들 및 정보를 저장하기 위해 버스(502)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(506)를 포함한다. 메인 메모리(506)는 또한 프로세서(504)에 의해 실행될 명령들의 실행 동안 일시적 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 이러한 명령들은, 프로세서(504)에 액세스 가능한 비일시적 저장 매체에 저장될 때, 컴퓨터 시스템(500)을 명령들에 특정된 동작들을 수행하도록 주문 제작되는 특수 목적 기계로 렌더링한다.

컴퓨터 시스템(500)은 정적 정보 및 프로세서(504)에 대한 명령들을 저장하기 위해 버스(502)에 결합된 판독 전용 메모리(ROM)(508) 또는 다른 정적 저장 디바이스를 더 포함한다.

자기 디스크 또는 광 디스크, 고체 상태 RAM과 같은 저장 디바이스(510)가 제공되어 정보 및 명령을 저장하기 위해 버스(502)에 결합된다.

컴퓨터 시스템(500)은 컴퓨터 사용자에게 정보를 디스플레이하기 위해 버스(502)를 통해 액정 디스플레이와 같은 디스플레이(512)에 결합될 수 있다. 영숫자 및 다른 키들을 포함하는 입력 디바이스(514)는 정보 및 명령 선택들을 프로세서(504)에 전달하기 위해 버스(502)에 결합된다. 다른 형태의 사용자 입력 디바이스는 방향 정보 및 명령 선택들을 프로세서(504)에 전달하기 위해 및 디스플레이(512)상의 커서 이동을 제어하기 위해 마우스, 트랙볼 또는 커서 방향 키들과 같은 커서 제어(516)이다. 이러한 입력 디바이스는 일반적으로 2개의 축들, 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)에서 2개의 자유도를 가져서 디바이스가 평면의 위치들을 지정하게 한다.

컴퓨터 시스템(500)은 컴퓨터 시스템과 조합하여 컴퓨터 시스템(500)을 특수 목적 기계로 만들거나 프로그래밍하는 주문형 하드-와이어드 로직, 하나 이상의 ASICs 또는 FPGAs, 펌웨어 및/또는 프로그램 로직을 사용하여 본 명세서에 설명된 기술들을 구현할 수 있다. 일 실시예에 따르면, 본 명세서의 기술들은 프로세서(504)가 메인 메모리(506)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 것에 응답하여 컴퓨터 시스템(500)에 의해 수행된다. 이러한 명령들은 저장 디바이스(510)와 같은다른 저장 매체로부터 메인 메모리(506)로 판독될 수 있다. 메인 메모리(506)에 포함된 명령들의 시퀀스들의 실행은 프로세서(504)가 본 명세서에 설명된 프로세스 단계들을 수행하게 한다. 대안적인 실시예들에서, 하드 와이어드 회로는 소프트웨어 명령들 대신 또는 소프트웨어 명령들과 함께 사용될 수 있다.

본 명세서에 사용된 용어 "저장 매체"는 기계가 특정한 방식으로 동작하게 하는 데이터 및/또는 명령들을 저장하는 임의의 비일시적인 매체를 말한다. 이러한 저장 매체는 비휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비휘발성 매체는, 예를 들면, 저장 디바이스(510)와 같은 광 또는 자기 디스크들을 포함한다. 휘발성 매체는 메인 메모리(506)와 같은 동적 메모리를 포함한다. 일반적인 형태들의 저장 매체는, 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광 데이터 저장 매체, 홀들의 패턴을 갖는 임의의 물리적 매체, RAM, PROM 및 EPROM, FLASH-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.

저장 매체는 송신 매체와 구별되지만 전송 매체와 함께 사용될 수 있다. 송신 매체는 저장 매체간에 정보를 전송할 때 참여한다. 예를 들면, 송신 매체는 버스(502)를 포함하는 와이어를 포함하는 동축 케이블들, 구리 와이어 및 광섬유들을 포함한다. 송신 매체는 또한 전파 및 적외선 데이터 통신들 동안 생성되는 것들과 같은 음파 또는 광파들의 형태를 취할 수 있다.

다양한 형태들의 매체가 실행을 위해 프로세서(504)에 하나 이상의 명령들의 하나 이상의 시퀀스들을 운반할 때 포함될 수 있다. 예를 들면, 명령들은 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브상에서 수행될 수 있다. 원격 컴퓨터는 그의 동적 메모리에 명령들을 로딩하고 모뎀을 사용하여 전화선을 통해 명령들을 전송할 수 있다. 컴퓨터 시스템(500)에 로컬인 모뎀은 전화선상의 데이터를 수신할 수 있고 적외선 송신기를 사용하여 데이터를 적외선 신호로 변환할 수 있다. 적외선 검출기는 적외선 신호로 운반된 데이터를 수신할 수 있고, 적절한 회로는 버스(502)상에 데이터를 배치할 수 있다. 버스(502)는 데이터를 메인 메모리(506)에 전달하고, 프로세서(504)는 명령을 검색하고 실행한다. 메인 메모리(506)에 의해 수신된 명령들은 프로세서(504)에 의한 실행 전 또는 후에 저장 디바이스(510)상에 선택적으로 저장될 수 있다.

컴퓨터 시스템(500)은 또한 버스(502)에 결합된 통신 인터페이스(518)를 포함한다. 통신 인터페이스(518)는 로컬 네트워크(522)에 연결되는 네트워크 링크(520)에 결합하는 양방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(518)는 대응하는 유형의 전화선에 데이터 통신 연결을 제공하기 위한 디지털 회선(ISDN) 카드, 케이블 모뎀, 위성 모뎀 또는 모뎀일 수 있다. 또 다른 예로서, 통신 인터페이스(518)는 호환 가능한 LAN에 데이터 통신 접속을 제공하기 위한 근거리 통신망(LAN) 카드일 수 있다. 무선 링크들도 구현될 수 있다. 임의의 이러한 구현에서, 통신 인터페이스(518)는 다양한 형태들의 정보를 나타내는 디지털 데이터 스트림들을 운반하는 전기, 전자기 또는 광 신호들을 전송 및 수신한다.

네트워크 링크(520)는 일반적으로 하나 이상의 네트워크들을 통해 다른 데이터 디바이스들에 데이터 통신을 제공한다. 예를 들면, 네트워크 링크(520)는 로컬 네트워크(522)를 통해 호스트 컴퓨터(524)로 또는 인터넷 서비스 제공자(ISP)(526)에 의해 운영되는 데이터 장비에 접속을 제공할 수 있다. ISP(526)는 차례로 "인터넷"(528)이라고 지금 공통적으로 불리는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스들을 제공한다. 로컬 네트워크(522) 및 인터넷(528)은 모두 디지털 데이터 스트림들을 운반하는 전기, 전자기 또는 광 신호들을 사용한다. 다양한 네트워크들을 통한 신호들 및 컴퓨터 링크(520)상 및 컴퓨터 시스템(500)으로 디지털 신호를 전달하는 통신 인터페이스(518)를 통한 신호들은 송신 매체들의 예시적인 형태들이다.

컴퓨터 시스템(500)은 네트워크(들), 네트워크 링크(520) 및 통신 인터페이스(518)를 통해 메시지를 전송하고 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷 예에서, 서버(530)는 인터넷(528), ISP(526), 로컬 네트워크(522) 및 통신 인터페이스(518)를 통해 애플리케이션 프로그램을 위해 요청된 코드를 송신한다.

수신된 코드는 수신될 때 프로세서(504)에 의해 실행되고, 및/또는 나중의 실행을 위해 저장 디바이스(510) 또는 다른 비휘발성 저장 디바이스에 저장될 수 있다.

9. 등가물들, 확장들, 대안들 및 기타

전술한 명세서에서, 본 발명의 예시적인 실시예들은 구현마다 다를 수 있는 다수의 특정 상세들을 참조하여 설명되었다. 따라서, 발명이 무엇인지 및 출원인에 의해 발명으로 의도된 것에 대한 유일하고 독점적인 표시자는 본 출원으로부터의 청구 범위들이고, 특정한 형태에서 이러한 청구항들은 임의의 후속 보정을 포함하여 제기된다. 그러한 청구항에 포함된 용어들에 대해 본 명세서에 명시적으로 정의된 임의의 정의는 청구 범위에서 사용된 이러한 용어들의 의미를 통제한다. 따라서, 청구항에 명시적으로 언급되지 않은 제한, 요소, 속성, 피처, 이점 또는 특성은 임의의 방식으로 그러한 청구항의 범위를 제한하지 않아야 한다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주될 것이다.

본 발명의 다양한 양태들은 다음의 열거된 예시적인 실시예들(EEEs)로부터 이해될 수 있다:

EEE 1. 방법에 있어서,

뷰어가 제 1 좌측 이미지 및 제 1 우측 이미지를 포함하는 제 1 입체 영상을 보는 동안, 뷰어의 좌안의 좌측 수렴각 및 뷰어의 우안의 우측 수렴각을 결정하는 단계;

ⅰ) 뷰어의 좌안의 좌측 수렴각 및 ⅱ) 뷰어의 우안의 우측 수렴각에 적어도 부분적으로 기초하여, 가상 물체 깊이를 결정하는 단계;

뷰어에 대한 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상을 하나 이상의 이미지 디스플레이들상에 렌더링하는 단계로서, 상기 제 2 입체 영상은 제 1 입체 영상에 후속하는, 상기 렌더링 단계;

제 2 입체 영상을 하나 이상의 이미지 디스플레이들로부터 가상 물체 깊이의 가상 물체 평면에 투영하는 단계를 포함한다.

EEE 2. EEE 1에 있어서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면에 투영될 때 제 2 좌측 이미지 및 제 2 우측 이미지에서 묘사된 가상 물체들의 변경된 종횡비들에 입력 좌측 이미지 및 입력 우측 이미지에서 묘사된시각적 물체들의 종횡비들을 조정하는 하나 이상의 종횡비 조정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성된다.

EEE 3. EEE 1에 있어서, 제 2 좌측 이미지 및 제 2 우측 이미지는 가상 물체 깊이의 가상 물체 평면으로 투영하는 제 2 좌측 이미지 및 상기 제 2 우측 이미지에서 묘사된 시각적 물체들의 변형된 깊이들에 입력 좌측 이미지 및 입력 우측 이미지로부터 입력 좌측 이미지에 표현된 시각적 물체들의 깊이들을 변환하는 하나 이상의 깊이 보정 동작들을 적용함으로써 입력 좌측 이미지 및 입력 오른쪽 이미지로부터 생성된다.

EEE 4. EEE 1에 있어서, 제 2 좌측 이미지 및 제 2 우측 이미지는 입력 좌측 이미지 및 입력 우측 이미지에 관하여 제 2 좌측 이미지 및 제 2 우측 이미지의 하나 이상의 공간 영역들을 블러링하는 하나 이상의 블러링 필터링 동작들을 적용함으로써 입력 좌측 이미지 및 입력 우측 이미지로부터 생성되고, 제 2 좌측 이미지 및 제 2 우측 이미지의 하나 이상의 공간 영역들은 뷰어의 중심와 시각(foveal vision)으로부터 떨어져 있다.

EEE 5. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 뷰어에게 보여지도록 동시에 렌더링된다.

EEE 6. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 뷰어에게 보여지도록 순차적으로 렌더링된다.

EEE 7. EEE 1에 있어서, 제 2 입체 영상은 뷰어에게 보이도록 렌더링된 입체 영상들의 시퀀스에서 시간상 제 1 입체 영상에 바로 후속된다.

EEE 8. EEE 1에 있어서, 하나 이상의 자동-조정 가능한 렌즈들이 가상 물체 깊이의 가상 물체 평면에 제 2 입체 영상을 투영하기 위해 사용되고, 하나 이상의 자동-조정 가능한 렌즈들의 하나 이상의 초점 거리들은 가상 물체 깊이에 적어도 부분적으로 기초하여 결정된다.

EEE 9. EEE 1에 있어서, 제 2 입체 영상은 입력 입체 영상들의 시퀀스에서 제 2 입력 입체 영상으로부터 생성되고, 제 2 입체 영상 이외의 다른 입체 영상은 제 2 입력 입체 영상으로부터 생성되지 않고, 가상 물체 깊이 이외의 다른 가상 물체 깊이는 제 2 입체 영상이 투영되지 않는다.

EEE 10. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 각각 제 1 이미지 디스플레이 및 제 2 이미지 디스플레이상에 렌더링된다.

EEE 11. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지는 단일 이미지 디스플레이상에 렌더링된다.

EEE 12. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지 및 제 2 우측 이미지 중 적어도 하나는 단일 렌즈 소자를 포함하는 자동-조정 가능한 렌즈에 기초하여 가상 물체 평면에 투영된다.

EEE 13. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지와 제 2 우측 이미지 중 적어도 하나는 다수의 렌즈 소자들을 포함하는 자동-조정 가능한 렌즈에 기초하여 가상 물체 평면에 투영된다.

EEE 14. EEE 1에 있어서, 제 2 입체 영상의 제 2 좌측 이미지는 뷰어의 좌안에 의해서만 시각적으로 인지 가능하고, 반면에 제 2 입체 영상의 제 2 우측 이미지는 뷰어의 우안에 의해서만 시각적으로 인지 가능하다.

EEE 15. EEE 1에 있어서,

뷰어가 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상을 보는 동안, 뷰어의 좌안의 제 2 좌심 수렴각 및 뷰어의 우안의 제 2 수렴각을 결정하는 단계;

(ⅰ) 뷰어의 좌안의 제 2 좌측 수렴각 및 (ⅱ) 뷰어의 우안의 제 2 우측 수렴각에 적어도 부분적으로 기초하여, 제 2 가상 물체 깊이를 결정하는 단계;

하나 이상의 이미지 디스플레이들상에 뷰어에 대한 제 3 좌측 이미지 및 제 3 우측 이미지를 포함하는 제 3 입체 영상을 렌더링하는 단계로서, 제 3 입체 영상은 제 2 입체 영상에 후속하는, 상기 제 3 입체 영상을 렌더링하는 단계; 및

제 3 입체 영상을 하나 이상의 이미지 디스플레이들로부터 제 2 가상 물체 깊이의 제 2 가상 물체 평면으로 투영하는 단계를 더 포함한다.

EEE 16. EEE 1에 있어서, 가상 물체 깊이는 뷰어의 특정 시각 특성들에 적어도 부분적으로 기초하여 조정된다.

EEE 17. EEE 1-16에 기재된 방법들 중 어느 하나를 수행하는 장치.

EEE 18. EEE 1-16에 기재된 방법들 중 어느 하나를 수행하는 시스템.

EEE 19. 하나 이상의 프로세서들에 의해 실행될 때 EEE 1-16의 어느 하나에 기재된 방법의 수행을 야기하는 소프트웨어 명령들을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체.

EEE 20. 하나 이상의 프로세서들에 의해 실행될 때 EEE 1-16 중 어느 하나에 기재된 방법의 수행을 야기하는 명령들의 세트를 저장하는 하나 이상의 저장 매체 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 디바이스.

Claims (4)

1. 방법에 있어서,
   뷰어가 제 1 좌측 이미지 및 제 1 우측 이미지를 포함하는 제 1 입체 영상(stereoscopic image)을 보고 있는 동안, 상기 뷰어의 좌안의 좌측 수렴각(left vergence angle) 및 상기 뷰어의 우안의 우측 수렴각을 결정하는 단계;
   (ⅰ) 상기 뷰어의 상기 좌안의 상기 좌측 수렴각 및 (ⅱ) 상기 뷰어의 상기 우안의 상기 우측 수렴각에 적어도 부분적으로 기초하여, 가상 물체 깊이를 결정하는 단계;
   상기 뷰어에 대한 제 2 좌측 이미지 및 제 2 우측 이미지를 포함하는 제 2 입체 영상을 하나 이상의 이미지 디스플레이들상에 렌더링하는 단계로서, 상기 제 2 입체 영상은 상기 제 1 입체 영상에 후속하는, 상기 제 2 입체 영상을 렌더링하는 단계; 및
   상기 제 2 입체 영상을 상기 하나 이상의 이미지 디스플레이들로부터 상기 가상 물체 깊이의 가상 물체 평면으로 투영하는 단계로서, 상기 제 2 좌측 이미지 및 상기 제 2 우측 이미지는 입력 좌측 이미지 및 입력 우측 이미지에 관하여 상기 제 2 좌측 이미지 및 상기 제 2 우측 이미지의 하나 이상의 공간 영역들을 블러링하는 하나 이상의 블러링 필터링 동작들을 적용함으로써 상기 입력 좌측 이미지 및 상기 입력 우측 이미지로부터 생성되고, 상기 제 2 좌측 이미지 및 상기 제 2 우측 이미지의 상기 하나 이상의 공간 영역들은 상기 뷰어의 중심와 시각(foveal vision)으로부터 떨어져 있는, 상기 제 2 입체 영상을 투영하는 단계를 포함하는, 방법.
2. 제 1 항에 기재된 방법을 수행하도록 구성된 장치.
3. 하나 이상의 프로세서에 의해 실행될 때 제 1 항에 기재된 방법의 수행을 야기하는 소프트웨어 명령들을 저장하는, 비일시적 컴퓨터 판독 가능 저장 매체.
4. 하나 이상의 프로세서들에 의해 실행될 때 제 1 항에 기재된 방법의 수행을 야기하는 명령들의 세트를 저장하는 하나 이상의 저장 매체 및 하나 이상의 프로세서들을 포함하는, 컴퓨팅 디바이스.
   

Images