KR20180019695A - 가변적 계산 복잡도를 이용하는 이미지의 광 필드 렌더링 - Google Patents

Abstract

복수의 수집된 이미지들에 기초한 광 필드 렌더링(light field rendering)을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀을 생성하도록 가변적 계산 복잡도(variable computational complexity)를 사용하여 렌더링된 이미지를 생성하는 단계를 포함하는 시스템 및 방법이 개시된다. 생성하는 단계는, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩(blending)에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 단계, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩을 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함하고, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 낮은 해상도이다.

Description

가변적 계산 복잡도를 이용하는 이미지의 광 필드 렌더링

본 출원은 2015년 12월 16일자로 출원된 "가변적 계산 복잡도를 이용하는 이미지의 광 필드 렌더링"이라는 명칭의 미국 가출원 번호 62/268,397의 우선권을 주장하는, 2016년 12월 15자로 출원된 "가변적 계산 복잡도를 이용하는 이미지의 광 필드 렌더링"이라는 명칭의 미국 정규 출원 번호 제15/380,948호의 계속 출원으로 그의 우선권을 주장하며, 이들의 개시 내용은 그 전체가 본원에 참고로 포함된다.

또한, 본 출원은 2015년 12월 16일자로 가출원된 미국 출원 번호 제62/268,397호의 우선권을 주장하며, 그 개시 내용은 그 전체가 본 명세서에 참고로 포함된다.

본 발명은 일반적으로 이미지의 광 필드 렌더링(light field rendering)에 관한 것이다. 특히, 본 발명은 가변적 계산 복잡도(variable computational complexity)를 이용하는 이미지의 광 필드 렌더링에 관한 것이다.

광 필드(light field)는 주어진 방향의 점(point)에서의 래디언스(radiance)로 설명될 수 있다. 따라서, 예를 들어, 광 필드의 표현에서, 래디언스는 폐색기 (occluders)가 없는 공간 영역에서의 위치 및 방향의 함수이다. 자유 공간에서, 광 필드는 4D 함수이다. 다수의 이미지가 4D 광 필드의 일부로서 수집될 수 있다.

일 구현예에 따르면, 컴퓨터 구현 방법은 다수의 카메라로부터 복수의 이미지를 수집하는 단계; 복수의 수집된 이미지에 기초한 광 필드 렌더링(light field rendering)을 사용하여, 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하는 단계, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고; 상기 생성하는 단계는 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계, 및 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계; 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계;를 포함한다.

일 구현예에 따르면, 장치는 다수의 카메라로부터 수집된 복수의 이미지를 저장하는 메모리; 복수의 수집된 이미지를 수신하고, 복수의 수집된 이미지에 기초한 광 필드 렌더링을 이용하여 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하고, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하고, 그리고 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 광 필드 렌더링 모듈; 및 렌더링된 이미지를 디스플레이하는 디스플레이를 포함한다.

예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금 다수의 카메라로부터 복수의 이미지를 수집하고, 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하고, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부 및 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 것은 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하고, 그리고 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 것을 포함하며, 및 렌더링된 이미지를 디스플레이상에 디스플레이하게 한다.

예시적인 구현예에 따르면, 컴퓨터 구현 방법은 복수의 이미지들에 기초하여 이미지를 생성하고 가변적 계산 복잡도를 이용하기 위해 광 필드 렌더링을 사용하는 컴퓨터 구현 방법이 제공되며, 상기 방법은 다수의 카메라로부터 복수의 이미지들을 수집하는 단계; 수집된 복수의 이미지들 각각에 대해, 복수의 순차적으로 (progressively) 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계; 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위해 렌더링된 이미지를 생성하는 단계, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 단계는 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵(mipmap) 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 단계, 그리고 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 단계를 포함하며, 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 저해상도이며; 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 다수의 카메라로부터 복수의 이미지를 수집하고; 복수의 수집된 이미지들 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하고, 상기 밉맵 이미지들 각각은 수집된 이미지를 나타내며; 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위해 렌더링된 이미지를 생성하며; 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 것은 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하고, 그리고 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 것을 포함하며, 여기서 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 저해상도이며; 및 렌더링된 이미지를 디스플레이상에 디스플레이하게 한다.

예시적인 구현예에 따르면, 컴퓨터 구현 방법은 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하기 위해 가변적 계산 복잡도를 이용하는 렌더링된 이미지를 생성하는 단계; 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

다른 예시적 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하도록 가변적 계산 복잡도를 이용하는 렌더링된 이미지를 생성하고, 그리고 렌더링된 이미지를 디스플레이상에 디스플레이하도록 한다.

다른 예시적 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하도록 가변적 계산 복잡도를 사용하는 렌더링된 이미지를 생성하게 하고, 상기 장치로 하여금 제1블렌딩 기법을 이용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하고; 그리고 제1블렌딩 기법과 상이한 제2블렌딩 기법을 이용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하게 하며, 여기서 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 저해상도이고; 및 디스플레이상에 렌더링된 이미지를 디스플레이하게 한은 것을 포함한다.

하나 이상의 구현의 세부 사항은 첨부된 도면 및 이하의 설명에서 기술된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들 로부터 명백할 것이다.

도 1은 예시적인 구현예에 따른 광 필드의 지향 선을 도시하는 도면이다.
도 2a는 예시적인 구현예에 따른 디스플레이를 도시하는 도면이다.
도 2b는 예시적인 구현예에 따른 좌측 절반부 및 우측 절반부를 포함하는 디스플레이를 나타내는 도면이다.
도 3은 다수의 카메라로부터 광 필드에 대한 이미지를 캡처하여, 광 필드 렌더링을 사용하여, 예시적인 구현예에 따라 렌더링된 이미지를 생성하기 위한 예시적인 시스템의 블록도이다.
도 4는 예시적인 구현예에 따라 가변적 계산 복잡도을 사용하여 복수의 이미지에 기초한 이미지를 생성하기 위해 광 필드 렌더링을 사용하는데 사용될 수 있는 동작을 도시하는 흐름도이다.
도 5는 복수의 이미지에 기초하여 이미지를 생성하고 예시적인 구현예에 따라 가변적 계산 복잡도을 사용하기 위해 광 필드 렌더링을 이용하는 방법을 나타내는 흐름도이다.
도 6은 예시적인 구현예에 따라 렌더링된 이미지를 생성하는 방법을 나타내는 흐름도이다.
도 7은 본 발명에서 설명된 기술을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 이동 컴퓨터 디바이스의 예를 도시한다.
다양한 도면에서 유사한 참조 부호는 동일한 요소를 나타낸다.

광 필드는 주어진 방향의 한 점에서의 래디언스(radiance)로 설명될 수 있다. 따라서, 예를 들어, 광 필드의 표현(representation)에서, 래디언스는 폐색기 (occluders)가 없는 공간 영역에서의 위치와 방향의 함수이다. 자유 공간에서 광 필드는 4D 함수이다. 다수의 이미지/뷰가 4D 광 필드의 일부로서 수집될 수 있다. 새로운 이미지(또는 새로운 뷰)는 예를들어, 광 필드로부터 슬라이스 또는 2D 이미지를 추출 및 재샘플링함으로써 광 필드의 기존 이미지 세트로부터 생성될 수 있다. 4D 광 필드는 일련의 파라미터화된 선(line)을 포함할 수 있다. 모든 선들의 공간은 무한대일 수 있지만 한정된 선의 서브 세트만 필요로 한다. 예시적인 구현에 따르면, 더 많은 선들은 더 많은 해상도/세부 사항을 의미한다.

일 구현예에서, 4D 광 필드의 선들은 임의의 위치에서 2개의 평면과의 교차에 의해 파라미터화될 수 있다. 도 1은 예시적인 구현예에 따른 광 필드의 지향선(oriented line)을 도시하는 다이어그램이다. 지향선(또는 광 슬래브) L(a, b, c, d)은 ab 평면상의 한 점을 cd 평면상의 한 점에 연결하여 정의할 수 있다. 이 표현은 광 슬래브로 지칭될 수 있다. 평면들 중 하나, 예를 들어, cd 평면은 무한대로 배치될 수 있다. 이는 선들이 점(예컨대, 선의 원점) 및 방향에 의해 파라미터화될 수 있기 때문에 용이(convenient)할 수 있다. 광 필드는 복수의 카메라를 사용하고 복수의 이미지(예컨대, 객체의 이미지)를 생성 및 수집(또는 저장)함으로써 생성될 수 있다. 따라서, 광 필드는 이미지들의 집합(collection)을 포함할 수 있다. 그런 다음, 새로운 2D 이미지 또는 뷰가 4D 광 필드의 2D 슬라이스를 리샘플링함으로써 획득될 수 있으며, 이는 예를 들어 1) 각 이미지 광/선(ray/line)에 대한 라인 파라미터들을 계산하는 것(a, b, c, d) 및 2) 이들 선 파라미터에서 래디언스를 리샘플링하는 것을 포함할 수 있다.

새로운 픽셀들(새로운 픽셀 값들)을 계산하고 이러한 새로운 픽셀들(픽셀 값들)을 디스플레이에 표시하려면 상당한 양의 계산 능력과 시간이 필요할 수 있다. 예시적인 예로서, 디스플레이는 예를 들어, 약 2백만 픽셀을 가질 수 있고, 디스플레이는 예를 들어, 초당 75회, 예컨대, 75Hz의 스크린/디스플레이 리프레쉬 레이트로 리프레쉬될 수 있다. 그러나, 이러한 예시적인 숫자들(number)은 단지 예시적인 예로서 사용되며, 임의의 디스플레이 크기(또는 디스플레이 당 임의의 수의 픽셀들) 및 임의의 리프레쉬 레이트가 사용될 수 있다. 75Hz의 디스플레이 리프레쉬 레이트를 가정하면, 평균적으로 컴퓨터 또는 컴퓨팅 시스템은 업데이트된 픽셀들(또는 픽셀 값들)을 결정한 다음 1초의 1/75th마다 이러한 픽셀들을 표시해야 한다. 경우에 따라 이러한 픽셀 업데이트들을 수행하고 리프레쉬들을 표시하는 시스템의 컴퓨팅 성능, 메모리 등에 따라, 이러한 디스플레이 리프레쉬 동작들은 많은 컴퓨터 또는 컴퓨팅 시스템에 심각한 부담을 줄 수 있다.

픽셀이라는 용어(또는 영상 요소)는 디스플레이상에 제공된 영상(picture) 요소를 포함할 수 있고, 픽셀의 휘도(또는 밝기) 및/또는 색상을 식별할 수 있는 픽셀 값(예컨대, 다중 비트 값) 또는 다른 픽셀 특성(들)을 포함할 수 있다. 따라서, 예를 들어, 본 명세서에서 사용된 바와 같이, 업데이트된 픽셀을 결정함으로써, 이것은 업데이트된 픽셀 값을 결정하는 것을 지칭하거나 포함할 수 있다.

그러나, 적어도 몇몇 경우에서, 디스플레이의 업데이트 및/또는 리프레쉬를 위한 계산 부하 및/또는 계산 복잡도(computational comple×ity)를 감소시키기 위해 인간의 눈의 해상도의 정도를 변화시키는 것을 이용할 수 있다. 인간의 눈 내에서 망막은 내부 표면의 약 65%를 덮고 있는 눈 뒤쪽의 광 민감 층이다. 망막에서 간상체(rods)와 추상체(cones)라고 불리는 감광성 세포는 입사광 에너지를 시신경에 의해 뇌로 전달되는 신호로 변환한다. 망막의 중간에는 중심와(fovea 또는 fovea centralis)라고 하는 작은 오목 부분(dimple)이 있다. 이것은 눈의 가장 선명한 시야의 중심이며 대부분의 색상 인식의 위치이다. 따라서, 눈의 가장 선명하고 가장 정확하게(brilliantly) 착색된 시력은 빛이 중신와 라고 불리는 망막의 작은 딤플에 집중될(focus) 때 발생한다. 이 영역은 독점적으로 추상체를 가지고 있으며, 그들은 망막의 다른 곳보다 작거나 더 밀집되어 있다. 눈은 약 200°(예를 들어)의 필드(field)로부터 데이터를 수신하지만, 그 범위의 대부분에서 시력의 예리함(acuity)은 떨어진다. 고해상도 이미지를 형성하려면 광이 중심와에 맺혀야 하고 예리한(또는 고해상도) 시야각을 약 15°(예를 들어)로 제한해야 한다. 인간 눈의 다양한 특성을 설명하기 위해 본 명세서에서 사용된 숫자는 예이며 변경될 수 있다.

따라서, 예시적인 구현예에 따르면, 광 필드 렌더링은 렌더링된 이미지의 하나 이상의 픽셀에 대해 가변적 계산 복잡도를 사용하여(광 필드의) 복수의 이미지에 기초하여 렌더링된 이미지를 생성하는데 사용될 수 있다. 예를 들어, 광 필드 렌더링은 디스플레이 내의 하나 이상의 하나 이상의 픽셀의 위치에 기초하여(또는 렌더링된 이미지 내의 하나 이상의 픽셀의 위치에 기초하여) 상기 렌더링된 이미지의 하나 이상의 픽셀에 대해 가변적 계산 복잡도(또는 가변적인 계산 작업부하)를 사용하여(광 필드의) 복수의 이미지에 기초하여 렌더링된 이미지를 생성하는데 사용될 수 있다 계산 복잡도 및/또는 계산 작업부하는, 예를 들어, 렌더링된 이미지에 대한 디스플레이 픽셀들을 결정하기 위해 사용되는 기술들의 복잡도(예컨대, 사용될 수 있는 다양한 픽셀 블렌딩 기법들의 복잡도); 렌더링된 이미지의 픽셀들을 생성하거나 디스플레이하는데 사용되는 하나 이상의 이미지 및/또는 다수의 이미지의 해상도; 광 필드 렌더링을 사용하여 렌더링된 이미지의 픽셀을 생성하는데 필요한 다수의 계산; 및/또는 몇몇 예와 같이 렌더링된 이미지의 픽셀 또는 픽셀들을 결정하는데 필요한 메모리 및/또는 메모리 트랜잭션의 양(예컨대, 메모리에 대한 판독 및/또는 기록)을 포함할 수 있다.

예시적인 구현예에 따르면, 이러한 픽셀들은 눈의 중심와(fovea 또는 fovea centralis) 내에 있을 가능성이 높기 때문에, 비교적 높은 계산 복잡도 또는 비교적 높은 계산 작업부하가 디스플레이 또는 렌더링된 이미지의 중심 또는 중심부 근처(near) 또는 근방(proximate)에 있는 렌더링된 이미지의 픽셀들(픽셀 값들)을 결정하거나 또는 생성하는데 사용될 수 있다. 따라서, 예를 들어, 눈의 중심와(fovea 또는 fovea centralis) 내의 픽셀들은 바람직하게는 더 높은 컬러 해상도이거나 더 높은 컬러 해상도를 가져야 하며, 따라서 더 높은 계산 작업부하 또는 더 높은 계산 복잡도가 렌더링된 이미지의 그러한 픽셀들의 결정 또는 생성을 위해 보증되거나 정당화될 수 있다.

한편, 디스플레이의 주변 근처 또는 근방에 있는 픽셀들 또는 렌더링된 이미지의 주변 근처에 있는 픽셀들과 같은, 디스플레이 또는 렌더링된 이미지의 중심 또는 중심부로부터 문턱값(x) 이상 떨어져 있는 렌더링된 이미지의 픽셀들을 결정하거나 생성하기 위해 낮은 계산 복잡도 및/또는 낮은 계산 작업부하가 사용될 수 있는데, 그 이유는 그러한 픽셀들이 눈의 중심와의 외부(outside)에 있을 가능성이 높기 때문이다. 따라서, 예를 들어, 렌더링된 이미지의 주변(또는 디스플레이의 주변 근처 또는 근방)에 인접하거나 근접한 픽셀들에 대하여 더 낮은 계산 복잡도 및/또는 더 낮은 컬러 해상도가 사용될 수 있는데, 그 이유는 중심와 외부의 픽셀들에 대한 눈의 해상도가 고해상도 이미지(또는 고해상도 색상들 또는 픽셀들)와 저해상도 이미지를 구별하지 못하기 때문이다.

따라서, 계산 작업 부하를 절약하고 및/또는 이미지의 생성 또는 렌더링에서의 계산 복잡도를 감소시키고 및/또는 디스플레이 리프레쉬를 수행하는 속도를 증가시키기 위하여, 낮은 계산 복잡도 또는 낮은 계산 작업부하가 예를 들어, 디스플레이 또는 렌더링된 이미지의 주변을 따라 또는 인접하는 픽셀들을 적어도 포함할 수 있는, 이미지의 중심으로부터의 임계 거리 밖에 있는 하나 이상의 픽셀과 같은, 눈의 중심와의 바깥쪽에 있는 픽셀들의 결정 또는 생성에 사용될 수 있다.

도 2a는 예시적인 구현에 따른 디스플레이(200)를 도시하는 다이어그램이다. 예를 들어, 디스플레이(200)는 모바일 장치(device)상에 제공될 수 있고/있거나 헤드 장착 디스플레이(HMD) 또는 다른 장치 내에 제공될 수 있다. 디스플레이(200)는 LED(발광 다이오드) 디스플레이, LCD(액정 디스플레이) 디스플레이 또는 다른 유형의 디스플레이와 같은, 임의의 유형의 디스플레이일 수 있다. 디스플레이(200)는 그 위에 렌더링된 이미지(미도시)를 포함할 수 있으며, 예를 들어, 여기서 상기 이미지는 광 필드 렌더링을 사용하여 생성될 수 있다. 디스플레이상에 렌더링된 이미지는 디스플레이의 중앙에 위치할((centered) 수 있고 디스플레이(200)의 모든 픽셀을 사용할 수 있거나, 디스플레이상에서 오프셋될 수 있고(예컨대, 일측으로 시프트됨) 및/또는 디스플레이(200)의 픽셀들의 일 부분만을 사용할 수도 있다. 렌더링된 이미지에 대한 픽셀들의 상대적 위치에 대한 설명은 렌더링된 이미지가 디스플레이의 중앙에 위치한다고 가정할 수 있지만(도시된 예로서), 렌더링된 이미지가 반드시 디스플레이의 중앙에 위치할 필요는 없다.

도 2a에 도시된 바와 같이, 디스플레이(200)는 중심(206)(예컨대, 렌더링된 이미지의 중심일 수도 있는) 및 디스플레이(200)의 주변(210) 또는 디스플레이(200)의 외부 에지(렌더링된 이미지의 주변 또는 외부 에지에 대응할 수도 있는)를 포함할 수 있다. 디스플레이(200)에 대한 픽셀들은 픽셀들의 위치에 기초하여 다수의 그룹(또는 부분들)으로 분할될 수 있으며, 여기서 상이한 계산 복잡도 또는 계산 부하가 각 그룹 내의 업데이트된 픽셀을 생성하는데 사용될 수 있다.

예를 들어, 도 2a에 도시된 바와 같이, 디스플레이(200)는 1) 디스플레이(200)의 중심(206)의 임계 거리(z) 이내(예컨대, 중심(206)의 150 픽셀 이내 또는 1.5인치 이내)와 같이 디스플레이(200)의 중심(206)에 근접하거나 인접한 픽셀들을 포함할 수 있는 중심부(204)(의 픽셀들)와 2) 중심부(204)의 외부에 있는 픽셀들 및/또는 예를들어, 중심(206)으로부터 임계 거리(z)이상인 픽셀들을 포함할 수 있는 외측부(outer portion)(208)(의 픽셀들)를 포함하는, 적어도 2개의 픽셀 그룹을 포함할 수 있다. 예시적인 구현예에서, 외측부(208)의 픽셀들은 디스플레이(200)의 주변(또는 외부 에지)에 근접하거나 인접한(또는 이미지의 주변 또는 외부 에지에 근접하거나 인접한) 픽셀들을 포함할 수 있다. 디스플레이(200)의 2개의 픽셀 그룹(중심부(204) 및 외측부(208)) 만이 도 2a에 도시되어 있지만, 디스플레이(200)의 픽셀들(또는 렌더링된 이미지의 픽셀들)은 임의의 수의 그룹, 예를 들어 3, 4, 5 또는 그 이상의 그룹으로 분할될 수 있으며, 여기서 상이한 계산 복잡도가 예를 들어, 픽셀에 대한 픽셀 또는 그룹의 위치에 기초하여 각 그룹의 픽셀들을 생성하는데 사용될 수 있다. 예시적인 구현예에 따르면, 더 높은 레벨의 계산 복잡도가 중심 그룹(204) 내의 픽셀들 생성하는데 사용될 수 있고, 순차적으로 더 낮은 계산 복잡도가 중심(206)으로부터 순차적으로 더 멀리 있는(또는 중심부(204)로부터 더 멀리 있는) 그룹들의 픽셀들을 생성하는데 사용될 수 있다.

따라서, 예시적인 구현예에 따르면, 이것은 사용자의 눈으로 볼 때 안구의 중심와 내 또는 근처에 있는 픽셀들을 생성하기 위해 더 큰 계산 자원들/더 큰 계산 복잡도가 사용될 수 있게 하며, 예를 들어, 사용자의 눈으로 볼 때 중심와 외부에 있는 것으로 간주되는 픽셀들을 생성하기 위해 더 적은 또는 더 낮은 계산 자원들/더 적은 계산 복잡도가 사용될 수 있게 한다. 이러한 방식으로, 적어도 몇몇 경우들에서는, 예를 들어, 전형적으로 눈의 중심와 외부에 위치할 것으로 예상되는 디스플레이(200)(또는 이미지 내)의 영역들(areas) 또는 픽셀들에 대한 픽셀들을 생성하기 위해 더 낮은 복잡도 계산/더 낮은 계산 작업부하가 사용될 수 있기 때문에, 전체적인 계산 작업 부하는 광 필드 렌더링의 사용에서 경감될 수 있는 반면, 계산 복잡도 또는 계산 작업 부하에서의 경감(reduction) 또는 감소(decrease)는 사람 눈에 덜 두드러질 수 있다.

이 예에서, 예를 들어, 사용자의 눈이 디스플레이의 중심(206) 및/또는 중심부(204)(또는 적어도 그 부근)를 향하거나 디스플레이의 중심(206)(또는 적어도 그 부근) 및/또는 중심부(204)를 응시하고 있다고 가정할 수 있다. 따라서, 그러한 경우에, 중심(206) 근처의 픽셀들 예컨대, 디스플레이(200)상의 픽셀들의 중심부(204)는 예를 들어, 중심와 내에 있을 가능성이 더 크다. 그러나, 눈이 중심(206) 또는 그 부근에 있지 않은 디스플레이(200)상의 한 점을 보고 있을 가능성이 있다. 따라서, 대안적인 실시예에서, HMD(head mounted display) 장치상에 제공되거나 HMD 디바이스에 장착될 수 있는 카메라 또는 다른 눈 움직임 검출기와 같은 눈 추적기 또는 눈 추적 시스템은 눈의 움직임을 추적할 수 있고, 눈이 보고 있는 디스플레이(200) 또는 이미지상의 점(point)을 검출할 수 있다. 이것은 HMD 디바이스 또는 렌더링을 수행하는 다른 시스템이, 눈이 보고 있는 주변 또는 근처의 디스플레이의 픽셀들을 생성하기 위해 더 높은 계산 복잡도 또는 더 높은 계산 작업 부하를 자동으로 조정하거나 선택하고, 눈이 보고 있는 영역 외부의 픽셀들에 대해 더 낮은 계산 복잡도 또는 더 낮은 계산 작업 부하를 사용할 수 있게 한다. 이것은 예를 들어, 중심(206) 및 중심부(204)를 디스플레이(200)의 중심 및 중심부로부터 오프셋될 수 있는, 사용자의 눈이 보고 있는 중심 및 중심부(204)가 되도록 이동시킴으로써 달성될 수 있다. 다른 기법들이 또한 사용될 수 있다. 그러나, 일반적으로, 사용자는 디스플레이의 중심 또는 중심부를 볼 수 있다고 가정할 수 있지만, 예를 들어, 사용자의 눈이 중심을 보고 있지 않다는 것이 검출되면 그러한 기법들이 중심/중심부를 조정하는데 사용될 수 있다.

도 2b는 예시적인 구현예에 따른 좌측 절반부(225-L) 및 우측 절반부(225-R)를 포함하는 디스플레이(220)를 나타내는 도면이다. 따라서, 예로서, 도 2b의 디스플레이(220)는 2개의 분리된 디스플레이 절반부(좌측 절반부 및 우측 절반부)을 포함할 수 있거나, 2개의 절반부로 분할된 하나의 디스플레이를 포함할 수 있다. 예시적인 구현예에 따르면, 디스플레이(220)의 좌측 절반부(225-L)는 좌측 이미지(미도시)를 좌측 눈에 디스플레이할 수 있고, 우측 절반부(225-R)는 우측 이미지(미도시)를 우측 눈, 예를 들어 HMD 디바이스 또는 다른 장치에 디스플레이할 수 있다. 도 2a와 유사하게, 도 2b에서, 좌측 절반부(225-L)는 1) 좌측 절반부(225-L)의 중심(240-L)에 근접하거나 인접한 픽셀들을 포함하는 중심부(230-L)(필셀들의), 및 2) 중심부(230-L) 외부의 픽셀들을 포함하는 외측부(245-L)을 포함한다. 외측부(245-L)은 디스플레이(220)의 좌측 절반부(225-L)의 주변(250-L) 또는 외측 에지(또는 좌측 이미지의 주변 또는 외측 에지일 수 있음) 근처 또는 근방 픽셀들을 포함할 수 있다. 마찬가지로, 도 2b에서, 디스플레이(220)의 우측 절반부(225-R)는 1) 우측 절반부(225-R)의 중심(240-R)에 근접하거나 인접한 픽셀들을 포함하는 중심부(230-R)(우측 이미지의 중심일 수도 있음), 및 2) 중심부(230-R) 외부의 픽셀들을 포함하는 외측부(245-R)를 포함한다. 외측부(245-R)는 디스플레이(230)의 우측 절반부(225-R)의 주변(250-R) 또는 외측 에지에 근접하거나 인접한 픽셀을 포함할 수 있다(우측 이미지의 주변 또는 외측 에지일 수도 있음). 본 명세서에서 보다 상세하게 설명된 바와 같이, 예시적인 구현예에 따르면, 렌더링된 이미지는 광 필드 렌더링을 사용하여 생성될 수 있는데, 여기서 예를 들어, 눈의 중심와 (예컨대, 중심부의 픽셀들)내에 있을 가능성이 높은 렌더링된 이미지의 픽셀들을 생성하는데 더 많은 계산 자원을 사용하게 하고, 중심와의 외부(예컨대, 외측부의 픽셀들)에 있을 가능성이 있는 픽셀들을 생성하는데 더 적은 계산 자원을 사용하게 하는 상이한 계산 복잡도가 중심부 픽셀들 및 외측부 픽셀들을 결정하기 위해 사용될 수 있다.

도 3은 광 필에 대해 다수의 카메라로부터 이미지들을 캡쳐하여, 예시적인 구현예에 따라 광 필드 렌더링을 사용하여 렌더링된 이미지를 생성하기 위한 예시적인 시스템(300)의 블록도이다. 시스템(300)은 가상 현실(VR) 환경에서 사용될 수 있지만, 다른 환경들 또는 애플리케이션들이 역시 사용될 수 있다. 예를 들어, 광 필드 렌더링은, 예컨대, 일 예로서, 헤드 장착 디스플레이(HMD) 디바이스(310)에 대한 좌안 및 우안용 스테레오 이미지를 제공하기 위해 광 필드의 다수의 이미지에 기초한 VR용 객체(object)들의 정확한 이미지를 생성하는데 사용될 수 있다. 예시적인 시스템(300)에서, 다수의 카메라(339)를 포함하는 카메라 장치(camera rig)(302)는 복수의 이미지를 캡처하여 분석 및 처리를 위해 이미지 처리 시스템(306)으로 직접 또는 네트워크(304)를 통해 제공할 수 있다. 이미지 처리 시스템(306)은 다수의 모듈(예컨대, 로직 또는 소프트웨어)을 포함할 수 있고 서버(307) 또는 다른 컴퓨터 또는 컴퓨팅 디바이스에서 실행될 수 있다. 다수의 카메라로부터의 다수의 이미지는 예를 들어 광 필드일 수 있다. 시스템(300)의 일부 구현예에서, 모바일 디바이스(308)는 네트워크(304)를 통해 이미지를 제공하기 위해 카메라 장치(302)로서 기능할 수 있다. 대안적으로, 카메라 세트는 각각 상이한 위치 또는 시각들(perspectives)로부터의 객체의 다수의 이미지 또는 뷰들을 취하고 제공할 수 있다. 비 제한적인 예로서, 16개의 카메라 세트(일 예로서)는 각각 광 필드에 대해 총 256개의 상이한 뷰들/이미지들에 대해, 객체에 대해 16개의 서로 다른 이미지 또는 뷰를 취할 수 있다. 이들 갯수는 단지 예시적인 예일 뿐이다. 일단 이미지들이 캡쳐되거나 수집되어 메모리에 저장되면, 이미지 프로세싱 시스템(306)은 이미지들에 대한 다수의 계산들 및 프로세스들을 수행하여 원본으로 수집된 이미지들 및 프로세싱된 이미지들을 예로서 헤드 장착 디스플레이(HMD) 디바이스(310), 모바일 디바이스(308) 또는 컴퓨팅 디바이스(312)로 제공할 수 있다. HMD 디바이스(310)는 프로세서, 메모리, 입력/출력 및 디스플레이, 및 다수의 모듈(소프트웨어 모듈들 또는 로직)을 포함하는 HMD 애플리케이션(340)을 포함할 수 있다. 일 실시예에서, HMD 디바이스(310)는 모바일 디바이스(308)의 프로세서, 메모리, 디스플레이 등이 HMD 디바이스(310)에 취부될 수 있고(또는 그 일부일 수 있는) HMD 디바이스(310)에 의해 사용될 수 있는 모바일 디바이스(308)에서 호스팅(또는 실행)되어 HMD 애플리케이션(340)을 실행하고 HMD 애플리케이션(340)의 모듈들과 관련된 다양한 기능들 또는 동작들을 수행할 수 있다. 다른 실시예에서, HMD 디바이스(310)는 그 자신의 프로세서, 메모리, 입력/출력 장치들 및 디스플레이를 가질 수 있다.

이미지 처리 시스템(306)은 수신되거나 수집된 이미지들 중 하나 이상을 분석 및/또는 처리할 수 있다. 이미지 수집 및 광 필드 생성 모듈(314)은 복수의 카메라 각각으로부터 다수의 이미지를 수신하거나 수집할 수 있다. 광 필드의 이들 원본 이미지들은 예를 들어 서버(307)에 저장될 수 있다.

이미지 사전 필터링(prefiltering) 모듈(316)은 하나 이상의 카메라(339)로부터 수집된 이미지들의 각각 또는 하나 이상에 대해 사전 필터링을 수행할 수 있다. 예시적인 구현예에 따르면, 이미지 사전 필터링 모듈(316)에 의해 수행되는 이미지 사전 필터링은 수집된 이미지의 저해상도 버전(표현)을 생성하기 위해 상기 수집된 이미지들의 각각 또는 하나 이상을 평활화(smoothing) 및/또는 사전 블러링(pre-blurring)하는 것을 포함한다. 수집된 각 이미지의 사전 필터링 또는 사전 블러링 또는 평활화 동작을 수행하여 원본 수집 이미지를 나타내는 하나 이상의 저해상도 이미지를 생성할 수 있도록 상기 수집된 각 이미지에 대해 밉맵(mipmap)이 생성될 수 있다. 밉맵은 사전 계산된 일련의 텍스처들 또는 밉맵 이미지들의 세트를 포함할 수 있는데, 여기서 각 밉맵 이미지는 원본 이미지의 순차적으로 낮은 해상도 표현이다. 밉맵 이미지들의 사용은 앨리어싱(aliasing) 및 급격한 변경들(abrupt changes)들을 줄일 수 있어 보다 매끄러운 이미지를 얻을 수 있다. 따라서, 예시적인 예로서, 만약 원본 이미지가 16×16(16×16 픽셀들)이면, 이미지 사전 필터링 모듈(316)은 밉맵 이미지 세트를 생성할 수 있으며, 여기서 각 밉맵 이미지는 원본 16×16 이미지의 순차적으로 낮은 해상도이다. 따라서, 예를 들어, 이미지 사전 필터링 모듈(316)은 원본 16×16 이미지의 저해상도 표현인 8×8 밉맵 이미지를 생성할 수 있다. 예를 들어, 원본 16×116 이미지의 2×2 픽셀(총 4 픽셀)의 다른 세트(또는 타일)는 8×8 밉맵 이미지의 픽셀을 얻기 위해 평균될 수 있다. 따라서, 이러한 방식으로, 8×8 밉맵 이미지의 크기는 원본 이미지의 256비트와 비교할 때 64비트이다. 예시적인 예에서, 각 픽셀은 3바이트, 예를 들어, 적색, 녹색 및 청색 구성요소들 각각에 대해 1바이트로 표현될 수 있다. 유사한 방식으로, 이미지 사전 필터링 모듈(316)은 예를 들어 4×4 밉맵 이미지의 각 비트를 획득하기 위해 8×8 밉맵 이미지의 2×2 타일(tile)의 상이한 4비트를 평균함으로써 원본 이미지를 나타내는 저해상도 4×4 밉맵 이미지를 생성 또는 결정할 수 있다. 유사한 방식으로, 2×2 밉맵 이미지 및 1×l 밉맵 이미지가 원본의 16×16 이미지를 나타내는 순차적으로 낮은 해상도의 밉맵 이미지들(이 예에서, 8×8, 4×4, 2×2 및 1×l)의 세트를 제공하기 위해 이미지에 대해 생성되거나 결정될 수 있다. 각각의 수집된 이미지에 대한 밉맵 이미지들의 세트(315)는 예컨대 서버(307)와 같은 메모리에 저장될 수 있다.

또한, 도 3을 참조하면, HMD 디바이스(310)는 가상 현실 헤드셋, 안경, 접안 렌즈 또는 가상 현실 콘텐츠를 디스플레이할 수 있는 다른 웨어러블 장치를 나타낼 수 있다. 동작시, HMD 디바이스(310)는 수신 및/또는 처리된 이미지들을 사용자에게 재생할 수 있는 VR 애플리케이션(342)을 포함하는, HMD 애플리케이션(340)(및 그의 모듈들 중 하나 이상 또는 모두)을 실행할 수 있다. 일부 구현예에서, VR 애플리케이션(342)과 같은 HMD 애플리케이션(340)의 하나 이상의 모듈은 디바이스들(307, 308, 312) 중 하나 이상에 의해 호스팅될 수 있다. 일 예에서, HMD 디바이스(310)는 카메라 장치(102)에 의해 캡쳐된 장면의 비디오 재생을 제공할 수 있거나, HMD 디바이스(310)는 복수의 수집된 이미지(이미지 프로세싱 시스템(306)에 의해 처리될 수 있는)에 기초하여 4D 광 필드의 새로운 2D 이미지를 생성할 수 있다.

따라서, HMD 디바이스(310)는 다수의 카메라로부터 복수의 이미지를 수신할 수 있다(수신된 이미지는 또한 서버(307)에 저장된, 처리되거나 사전 필터링된 이미지들/밉맵 이미지들을 포함할 수 있다). HMD 디바이스(310)는 광 필드 렌더링을 사용하여, 복수의 이미지들(광 필드의 모든 이미지들의 서브 세트 일 수 있고 및/또는 하나 이상의 밉맵 이미지들을 포함할 수 있는)에 기초한 렌더링된 이미지를 생성할 수 있고, 예를 들어, 디스플레이 또는 렌더링된 이미지 내의 하나 이상의 픽셀의 위치에 기초하여 렌더링된 이미지의 픽셀들을 결정하기 위하여 가변적 계산 복잡도를 사용할 수 있다. HMD 디바이스(310)는 렌더링된 이미지를 HMD 디바이스(310)의 디스플레이 상에 디스플레이할 수 있다.

HMD 애플리케이션(340)은 간략하게 기술될 다수의 소프트웨어(또는 로직) 모듈을 포함할 수 있다. VR 애플리케이션(342)은 광 필드로부터 렌더링된 2D 이미지와 같은 수신 및/또는 처리된 이미지들을 사용자에게 재생하거나 출력할 수 있다. 계산 복잡도 결정 모듈(344)은 디스플레이에서 각각의 픽셀에 대해 계산 복잡도 또는 계산 작업 부하를 결정 또는 적용할 수 있다. 예를 들어, 모듈(344)은 디스플레이의 각 픽셀에 대해, 픽셀이 중심부(204) 또는 외측부(208) 내에 있는지 결정할 수 있다. 다음으로, 계산 복잡도 결정 모듈(344)은 픽셀이 위치하는 위치 또는 부분, 예를 들어, 픽셀이 중심부(204)에 있는지 또는 외측부(208)에 있는지 여부에 기초하여, 광 필드에 기초한 이미지의 렌더링 또는 생성의 일부로서 각각의 픽셀에 대한 하나 이상의 계산 파라미터를 결정 또는 적용할 수 있다. 따라서, 예를 들어, 모듈(344)은, 예를 들어 렌더링된 이미지를 위한 하나 이상의 픽셀을 결정하는데 사용되는 복수의 블렌딩 알고리즘 중의 하나의 블렌딩 알고리즘 또는 블렌딩 기법을 선택하는 단계, 렌더링된 이미지를 생성하는데 사용되는 복수의 이미지들의 각각의 이미지의 해상도를 조정하거나 또는 특정 해상도를 선택하는 단계 및/또는 랜더링된 이미지의 픽셀을 결정하는데 사용되는 수집된 이미지의 수를 조정 또는 선택하는 단계와 같이, 각 디스플레이 픽셀의 결정에 사용되는 다수의 계산 파라미터들을 선택하거나 적용할 수 있다. 렌더링된 이미지의 픽셀을 결정하기 위한 계산 복잡도를 증가시키거나 렌더링된 이미지의 픽셀을 결정하기 위한 계산 복잡도를 감소시킬 수 있는 다른 계산 파라미터들 또는 특징들이 또한 선택되거나 변경될 수 있다.

블렌딩 알고리즘(346)은 렌더링된 이미지에 대한 디스플레이 픽셀들의 결정 또는 생성시 다수의 이미지 또는 처리된 이미지들로부터의 하나 이상의 픽셀들을 블렌딩하는데 사용될 수 있는 하나 이상의 블렌딩 알고리즘을 포함할 수 있다. 이들 블렌딩 알고리즘(346)은 상이하거나 다양한 계산 복잡도들을 가질 수 있다. 예를 들어, 제1블렌딩 알고리즘 또는 블렌딩 기법은 렌더링된 이미지의 픽셀을 결정하기 위해 다수의 이미지 또는 처리된 이미지들 중 다수의 픽셀 또는 하나 이상의 픽셀의 평균(averging) 또는 단순 평균(straight averaging)를 포함할 수 있다. 다른 예시적인 예로서, 제2블렌딩 알고리즘은 렌더링된 이미지의 디스플레이 픽셀을 결정하기 위해 다수의 이미지 또는 처리된 이미지들 중 픽셀 또는 픽셀들의 가중 평균(weighted averaging)을 포함할 수 있다. 이 예시적인 실시예에서, 단순 평균은 가중 평균과 비교하여 낮은 계산 복잡도로 고려될 수 있는데, 예를 들어, 가중 평균은 블렌딩 또는 평균화되는 각 픽셀 또는 픽셀 그룹에 대한 가중치를 먼저 결정할 필요가 있는 반면, 단순 평균은 반드시 어떤 가중치를 포함할 필요가 없기 때문이다. 예시적인 예로서, 보다 큰 가중치가 사용자에 더 가까운 이미지들 또는 처리된 이미지들에 적용될 수 있고, 더 작은 가중치가 사용자로부터 더 멀리 있는 이미지들의 픽셀들에 적용될 수 있다. 결과적으로, 가중 평균 알고리즘은 예를 들어 단순 평균보다 더 계산적으로 복잡한 것으로 간주될 수 있다.

몇몇 예시적인 구현예들에서, 시선 추적(eye tracking) 모듈(350)이 사용될 수 있다. 시선 추적 모듈(350)은, 예를 들어, 카메라 또는 다른 시선 방향 검출기를 사용하여 시선 이동(eye mevement)을 추적하거나 인식하고 눈이 어디를 보고 있는지를 결정할 수 있다. 이것은 예를 들어, 눈이 HMD 디바이스(310)의 디스플레이의 중심(206) 또는 중심부(204)를 응시하거나 그 부근을 응시하는지 여부를 결정하는 것을 포함할 수 있다. 만약, 예를 들어, 사용자의 눈이 디스플레이 디바이스의 중심부를 응시하지 않거나 또는 그 부근을 응시하지 않으면, 중앙 중심부(204)의 고해상도(높은 계산 복잡도) 픽셀들은 통상적으로 중심와 내에 놓일 수 있고, 외측부 픽셀들은 전형적으로 중심와의 외측부(낮은 계산 복잡도 또는 낮은 계산 작업 부하를 사용하여 결정된)에 떨어질 것으로 예상될 수 있도록, 중심 및/또는 중심부는 눈이 응시하고 있는 곳 내에 또는 그 부근에 떨어지도록 좌우 또는 상하로 조정될 수 있다. 따라서, 하나의 예시적인 실시예에서, 시선 추적 모듈(350)은 눈이 보고 있는 곳에 따라 중심부(204) 및/또는 중심(206)의 조정 또는 이동을 허용(또는 수행)할 수 있어, 예를 들어, 중심(206) 및/또는 중심부(204)는 예컨대, 눈이 디스플레이의 중심 또는 중심부를 바라보지 않는 정도까지, 눈이 응시하는 곳과 대략적으로 일치(coincide)하거나 일치(match)할 수 있다.

이미지 사전 필터링 모듈(316)은 이미지 프로세싱 시스템(306) 및/또는 HMD 애플리케이션(340) 내에 제공될 수 있다. 따라서, 예시적인 구현예에 따르면, 이미지 사전 필터링 모듈(316)은 하나 이상의 카메라(339)로부터 수집된 이미지들 각각 또는 하나 이상에 대해 사전 필터링을 수행할 수 있다. 이미지 사전 필터링 모듈(316)은, 예를 들어 원문으로 수집된 이미지를 나타내는 순차적으로 낮은 해상도의 밉맵 이미지들의 세트를 생성할 수 있다. 이들 밉맵 이미지(315)는 원문 이미지들뿐만 아니라, 예를 들어 서버(307)와 같은 메모리에 저장될 수 있다. 일 실시예에서, 이미지 사전 필터링 모듈(316)에 의해 수행된 사전 필터링은 서버(307) 또는 다른 컴퓨터에서 실행될 수 있는 이미지 프로세싱 시스템(306)으로 오프로딩 될(offloaded) 수 있다. 다른 실시예에서, 이미지 사전 필터링 모듈(316)에 의해 수행된 사전 필터링은 예를 들어 HMD 애플리케이션(340)에 의한 것과 같이 HMD 디바이스(310)에 의해 수행될 수 있다. 따라서, 이미지 사전 필터링 모듈(316)은 예시적인 구현예들에 따라 이미지 프로세싱 시스템(306), HMD 애플리케이션(340)/ HMD 디바이스(310), 또는 양자 모두에 제공될 수 있다.

예시적인 구현예에 따르면, 이미지 렌더링 모듈(348)(도 3)은, 예를 들어, 복수의 이미지에 기초한 광 필드 렌더링을 사용하여, 디스플레이에 출력하기 위한 렌더링된 이미지를 생성할 수 있다. 렌더링된 이미지를 생성하는 일부로서, 이미지 렌더링 모듈(348)은 제1계산 복잡도를 사용하여 픽셀들의 중심부(예컨대, 도 2a의 중심부(204))에 대한 픽셀들을 결정할 수 있고, 제2계산 복잡도를 이용하여 픽셀들의 외측부(예컨대, 도 2a의 외측부(208))에 대한 픽셀들을 결정할 수 있다. 이러한 방식으로, 더 높은 계산 복잡도/계산 작업 부하가 중심부 또는 중심와의 뷰 내에있는 픽셀들을 결정하는데 사용될 수 있고, 예를 들어 중심부의 외부 또는 중심와의 뷰 외부에 위치할 수 있는 픽셀들을 결정하기 위해 보다 낮은 계산 복잡도/계산 작업 부하가 사용될 수 있다.

다양한 기법들이 예를 들어, 다수의 이미지들 사이에서 픽셀을 블렌딩하기 위해 상이한 블렌딩 알고리즘들/기법들을 선택하는 단계, 렌더링된 이미지의 픽셀을 획득하기 위해 픽셀들을 블렌딩하기 위한 수집된 원문 이미지들을 나타내는 상이한 해상도 이미지들(예컨대, 고해상도 밉맵 이미지들을 사용하는 것이 저해상도 밉맵 이미지들을 사용하는 것보다 더 계산상으로 복잡한 상이한 해상도 밉맵 이미지들)을 선택하는 단계, 및/또는 블렌딩할(예컨대, 더 많은 이미지들이 더 계산상 복잡함) 다른 갯수의 이미지들을 선택하는 단계와 같이, 상이한 위치들에서 디스플레이 픽셀들을 결정하기 위해 계산 복잡도를 변경하거나 변화시키기 위해 사용될 수 있다.

또한, 저해상도의 밉맵 이미지들을 사용하는 추가적인 장점은 컴퓨터/컴퓨팅 디바이스 내 대역폭이 적고 이미지들을 위한 네트워크 대역폭이 적을 수 있으며, 이미지들 또는 처리된 이미지들을 저장하는데 사용되는 더 적은 메모리(예컨대, RAM이 적고, 플래시 드라이브 또는 하드 드라이브의 저장 공간이 적음)가 적어, 더 적은 대역폭 사용된다는 것이다. 이미지 렌더링 모듈(348)은 계산 복잡도 결정 모듈(344)에 의해, 디스플레이의 특정 픽셀들 또는 픽셀들의 부분을 결정 또는 생성하기 위해 어느 레벨의 계산 복잡도가 적용되어야 하는지를 통지받을 수 있다. 예를 들어, 계산 복잡도 결정 모듈(344)은 중심부(204)(도 2a) 내의 픽셀들은 제1블렌딩 알고리즘을 사용하여 4개의 제1해상도(예컨대, 16비트) 밉맵 이미지들의 블렌딩 픽셀들에 기초하여 결정되어야 함을 이미지 렌더링 모듈(348)로 통지할 수 있고, 외측부(208)(도 2a) 내의 픽셀들은 3개의 이미지(예컨대, 적은 이미지들)에 대한 제2(예컨대, 더 낮은 계산 복잡도) 블렌딩 알고리즘을 사용하여 3개의 제2(예컨대, 8비트) 해상도 밉맵 이미지들의 블렌딩 픽셀들에 기초하여 결정되어야 함을 이미지 렌더링 모듈(348)로 통지할 수 있다.

예를 들어, 중심부(204)(예컨대, 중심와의 뷰 내) 내의 픽셀은 원래의 (originally) 수집된/수신된 이미지들 중 하나를 나타내는 각 밉맵 이미지를 갖는, 4개의 16비트 밉맵 이미지들로부터의 픽셀(또는 다수의 픽셀)을 가중 평균함으로써(예컨대, 제안으로서) 결정될 수 있고, 외측부(208)(예컨대, 중심와의 외부) 내의 픽셀은 3개의 8비트 밉맵 이미지들을 단순 평균함으로써(예컨대, 제안으로서) 결정될 수 있다. 이는 단지 예시적인 예일 뿐이며 다른 기법들이 사용될 수 있다.

실시예 1 : 도 4는 예시적인 구현예에 따라 가변적 계산 복잡도을 사용하여 복수의 이미지에 기초하여 이미지를 생성하기 위해 광 필드 렌더링을 사용하는데 사용될 수 있는 동작을 도시하는 흐름도이다. 동작(410)은 다수의 카메라로부터 복수의 이미지를 수집하는 단계를 포함한다. 동작(420)은 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하는 단계를 포함하고, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부 및 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함한다. 생성 동작(420)은 동작들(430 및 440)을 포함할 수 있다. 동작(430)은 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계를 포함한다. 동작(440)은 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함한다, 그리고, 동작(450)은 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

실시예 2 : 실시예 1의 방법의 예시적인 구현예에 따르면, 제1계산 복잡도 및 제2계산 복잡도는, 렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 블렌딩 기법들의 하나의 블렌딩 기법을 선택하는 단계, 렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 수집된 이미지의 해상도를 조정하는 단계, 그리고 렌더링된 이미지에 대한 적어도 일부 픽셀을 결정하는데 사용되는 복수의 수집된 이미지의 갯수를 조정하는 단계 중 하나 이상에 기초하여 결정되거나 변경될 수 있다.

실시예 3 : 실시예 1 내지 실시예 2 중 어느 하나의 방법의 예시적인 구현예에 따르면, 픽셀들의 중심부를 결정하는 단계는 제1블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계를 포함하고, 그리고 픽셀들의 외측부를 결정하는 단계는 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함할 수 있다.

실시예 4 : 실시예 1 내지 실시예 3 중 어느 하나의 방법의 예시적인 구현예에 따르면, 제1블렌딩 기법은 픽셀들의 중심부의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 사용하는 단계를 포함하고, 가중 평균에 대해, 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀들보다 더 많이 가중되고; 그리고 제2블렌딩 기법은 픽셀들의 외측부의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 사용하는 단계를 포함하며, 가중 평균은 단순 평균보다 계산적으로 더 복잡하다.

실시예 5 : 실시예 1 내지 실시예 4 중 어느 하나의 방법의 예시적인 구현예에 따르면, 상기 생성하는 단계는 복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계로서, 상기 밉맵 이미지들 각각은 수집된 이미지를 나타내고, 복수의 수집된 이미지 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 단계, 및 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 단계를 포함하고, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 저해상도이다.

실시예 6 : 실시예 1 내지 실시예 5 중 어느 하나의 방법의 예시적인 구현에 따르면, 상기 방법은, 복수의 이미지에 기초하여 좌측 이미지 및 우측 이미지 각각을 생성하고 가변적 계산 복잡도를 사용하기 위해 광 필드 렌더링을 사용하는 단계; 및 좌측 이미지 및 우측 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

실시예 7 : 실시예 제1 내지 실시예 6 중 어느 하나의 방법의 예시적인 구현에 따르면, 상기 디스플레이하는 단계는 가상 현실 헤드셋의 디스플레이상에 렌더링된 이미지를 디스플레이하는 단계를 포함한다.

실시예 8 : 예시적인 구현예에 따르면, 상기 장치는, 다수의 카메라로부터 수집된 복수의 이미지를 저장하는 메모리; 복수의 수집된 이미지를 수신하고, 복수의 수집된 이미지에 기초한 광 필드 렌더링을 이용하여 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하고, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하며, 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하고, 그리고 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 광 필드 렌더링 모듈; 및 렌더링된 이미지를 디스플레이하는 디스플레이를 포함한다.

실시예 9 : 실시예 8의 장치의 예시적인 구현예에 따르면, 상기 장치는 헤드 장착 디스플레이(HMD)의 일부로서 제공된다.

실시예 10 : 실시예 8 내지 실시예 9 중 어느 하나의 장치의 구현예에 따르면, 상기 장치는 가상 현실 헤드셋 또는 가상 현실 시스템의 일부로서 제공된다.

실시예 11 : 예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 다수의 카메라로부터 복수의 이미지를 수집하고; 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하고; 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부 및 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하며, 상기 생성하는 것은 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하고, 그리고 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 것을 포함하며; 및 렌더링된 이미지를 디스플레이상에 디스플레이하도록 한다.

실시예 12 : 장치는 다수의 카메라로부터 복수의 이미지를 수집하는 수단; 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여 디스플레이로 출력하기 위해 렌더링된 이미지를 생성하는 수단; 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부 및 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 수단은 제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 수단, 및 제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 수단; 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 수단을 포함한다.

실시예 13 : 실시예 12의 장치의 예시적인 구현예에 따르면, 제1계산 복잡도 및 제2계산 복잡도는, 렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 블렌딩 기법들 중의 하나의 블렌딩 기법을 선택하는 수단, 렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 수집된 이미지의 해상도를 조정하는 수단, 및 렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 수집된 이미지의 갯수를 조정하는 수단 중 하나 이상에 기초하여 결정되거나 변경될 수 있다.

실시예 14 : 실시예 12 내지 실시예 13 중 어느 하나의 장치의 일 구현예에 따르면, 픽셀들의 중심부를 결정하는 수단은 제1블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 수단을 포함하고; 그리고 픽셀들의 외측부를 결정하는 수단은 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 다수의 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 수단을 포함할 수 있다.

실시예 15 : 실시예 12 내지 14 중 어느 하나의 장치의 예시적 구현예에 따르면, 제1블렌딩 기법은 픽셀들의 중심부의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 사용하는 단계를 포함할 수 있고, 상기 가중 평균에 대해, 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀들보다 더 많이 가중되고, 그리고 제2블렌딩 기법은 픽셀들의 외측부의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 사용하는 단계를 포함할 수 있고, 상기 가중 평균은 단순 평균보다 계산적으로 더 복잡하다.

실시예 16 : 실시예 12 내지 실시예 15 중 어느 하나의 장치의 예시적 구현예에 따르면, 생성하는 수단은 복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 수단, 상기 밉맵 이미지들 각각은 수집된 이미지를 나타내고, 복수의 수집된 이미지 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 수단, 및 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 수단을 포함할 수 있고, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 저해상도이다.

실시예 17 : 실시예 12 내지 16 중 어느 하나의 장치의 예시적인 구현예에 따르면, 장치는 복수의 이미지에 기초한 좌측 이미지 및 우측 이미지 각각을 생성하고 가변적 계산 복잡도를 이용하기 위해 제1실시예의 방법에 따른 광 필드 렌더링을 사용하는 수단, 및 좌측 이미지 및 우측 이미지를 디스플레이상에 디스플레이하는 수단을 포함할 수 있다.

실시예 17 : 실시예 12 내지 17 중 어느 하나의 장치의 예시적인 구현예에 따르면, 디스플레이하는 수단은 렌더링된 이미지를 가상 현실 헤드셋의 디스플레이상에 디스플레이하는 수단을 포함할 수 있다.

실시예 19 : 도 5는 복수의 이미지에 기초하여 이미지를 생성하고 가변적 계산 복잡도를 이용하기 위해 예시적인 구현예에 따른 광 필드 렌더링을 사용하기 위한 방법을 나타내는 흐름도이다. 동작(510)은 다수의 카메라로부터 복수의 이미지를 수집하는 단계를 포함한다. 동작(520)은 수집된 복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계를 포함하고, 밉맵 이미지들 각각은 수집된 이미지를 나타낸다. 동작(530)은 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 디스플레이로의 출력을 위한 렌더링된 이미지를 생성하는 단계를 포함하며, 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부 및 픽셀들의 중심부의 외부에 있는 외측부를 포함한다. 동작(530)의 발생은 동작들(540 및 550)을 포함한다. 동작(540)은 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 단계를 포함한다. 동작(550)은 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함하며, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 낮은 해상도이다. 동작(560)은 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

실시예 20 : 실시예 19의 방법의 예시적인 구현예에 따르면, 픽셀들의 중심부를 결정하는 단계는 제1블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계를 포함하고, 그리고 픽셀들의 외측부를 결정하는 단계는 제2블렌딩 기법을 사용하여, 복수의 수집된 다수의 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함하며, 제1블렌딩 기법은 제2블렌딩 기법보다 계산적으로 비용이 더 많이 든다.

실시예 21 : 예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치는 다수의 카메라로부터 복수의 이미지를 수집하고; 복수의 수집된 이미지들 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하고; 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위해 렌더링된 이미지를 생성하며; 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 것은, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵(mipmap) 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하고, 그리고 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 것을 포함하며, 여기서 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 낮은 해상도이며; 및 렌더링된 이미지를 디스플레이상에 디스플레이한다.

실시예 22 : 예시적인 구현 예에 따르면, 장치는 다수의 카메라로부터 복수의 이미지를 수집하는 수단, 복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 수단, 밉맵 이미지들 각각은 수집된 이미지를 나타내고, 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여 디스플레이에 출력하기 위해 렌더링된 이미지를 생성하는 수단, 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 수단은 복수의 수집된 이미지 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 수단, 그리고 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 수단을 포함하고, 상기 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 저해상도이고, 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 수단을 포함한다.

실시예 23 : 실시예 22의 장치의 일 구현예에 따르면, 픽셀들의 중심부를 결정하는 수단은 제1블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 수단을 포함하고, 그리고 픽셀들의 외측부를 결정하는 수단은 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 수단을 포함하고, 제1블렌딩 기법은 제2블렌딩 기법보다 계산적으로 비용이 더 많이 든다.

실시예 24 : 도 6은 예시적인 구현예에 따라 렌더링된 이미지를 생성하는 방법을 나타내는 흐름도이다. 동작(610)은 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초하여 렌더링된 이미지의 복수의 픽셀을 생성하기 위해 가변적 계산 복잡도을 사용하는 렌더링된 이미지를 생성하는 단계를 포함한다. 동작(620)은 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함한다.

실시예 25 : 실시예 24의 방법의 예시적인 구현예에 따르면, 생성하는 단계는 제1블렌딩 기법을 사용하여, 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지의 제1픽셀 세트(first set of pixels)를 결정하는 단계, 및 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트를 결정하는 단계를 포함할 수 있다.

실시예 26 : 실시예 24 내지 실시예 25 중 어느 하나의 방법의 예시적인 구현 예에 따르면, 제1픽셀 세트는 디스플레이의 중심에 근접한 픽셀들의 중심부를 포함할 수 있고, 제2픽셀 세트는 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함할 수 있다.

실시예 27 : 실시예 24 내지 실시예 26 중 어느 하나의 방법의 예시적인 구현예에 따르면, 제1블렌딩 기법은 제1픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 수행하는 단계를 포함하고, 가중 평균에 대해, 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀들보다 더 많이 가중되고, 그리고 제2블렌딩 기법은 제2픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 수행하는 단계를 포함하고, 가중 평균은 단순 평균보다 계산적으로 더 복잡하다.

실시예 28 : 실시예 24 내지 실시예 27 중 어느 하나의 방법의 예시적인 구현예에 따르면, 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함할 수 있으며, 상기 생성하는 단계는 복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계, 밉맵 이미지들 각각은 수집된 이미지를 나타내고, 복수의 수집된 이미지 각각에 대해 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 단계, 및 복수의 수집된 이미지 각각에 대해 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함하고, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 낮은 해상도이다.

실시예 29 : 실시예 24 내지 실시예 28 중 어느 하나의 방법의 예시적인 구현에 따라, 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함할 수 있으며, 상기 생성하는 단계는, 제1블렌딩 기법을 이용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 단계, 및 제1블렌딩 기법과 상이한 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함하고, 제2해상도 밉맵 이미지는 상기 제1해상도 밉맵 이미지보다 저해상도이다.

실시예 30 : 예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하며, 적어도 하나의 프로세서에 의해 실행될 때, 장치로 하여금 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 랜터링된 이미지의 복수의 픽ㄹ셀을 생성하기 위해 가변적 계산 복잡도를 사용하는 렌더링된 이미지를 생성하고, 그리고 렌더링된 이미지를 디스플레이 상에 디스플레이하게 한다.

실시예 31 : 실시예 30의 장치의 예시적인 구현예에 따라, 장치로 하여금 제1블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지의 제1픽셀 세트를 결정하게 하고, 그리고 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 다수의 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트를 결정하게 한다.

실시예 32 : 실시예 30 내지 실시예 31 중 어느 하나의 장치의 예시적인 구현예에 따르면, 제1픽셀 세트는 디스플레이의 중심에 근접한 픽셀들의 중심부를 포함하고, 제2픽셀 세트는 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함한다.

실시예 33 : 실시예 30 내지 실시예 32 중 임의의 실시예의 장치의 예시적인 구현예에 따르면, 장치로 하여금 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 좌측 이미지 및 렌더링된 우측 이미지의 복수의 픽셀들을 생성하기 위해 각각이 가변적 계산 복잡도를 사용하는 렌더링된 좌측 이미지 및 렌더링된 우측 이미지를 생성하게 하고; 그리고 상기 장치는 렌더링된 좌측 이미지 및 렌더링된 우측 이미지를 디스플레이상에 디스플레이하도록 한다.

실시예 34 : 실시예 30 내지 실시예 33 중 어느 하나의 장치의 예시적인 구현예에 따르면, 장치로 하여금 가상 현실 헤드셋의 디스플레이상에 렌더링된 이미지를 디스플레이하도록 한다.

실시예 35 : 예시적인 구현예에 따르면, 장치는 적어도 하나의 프로세서 및 컴퓨터 명령들을 포함하는 적어도 하나의 메모리를 포함하고, 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치로 하여금 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하도록 가변적 계산 복잡도를 사용하는 렌더링된 이미지를 생성하게 하고, 상기 장치로 하여금 제1블렌딩 기법을 이용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하고; 그리고 제1블렌딩 기법과 상이한 제2블렌딩 기법을 이용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하며, 여기서 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 저해상도이고; 및 디스플레이상에 렌더링된 이미지를 디스플레이하게 하는 것을 포함한다.

실시예 36 : 예시적인 구현에 따르면, 장치는 복수의 수집된 이미지에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하기 위해 가변적 계산 복잡도를 사용하는 렌더링된 이미지를 생성하는 수단, 및 렌더링된 이미지를 디스플레이상에 디스플레이하는 수단을 포함한다.

실시예 37 : 실시예 36의 장치의 예시적인 구현예에 따르면, 생성하는 수단은 제1블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지의 제1픽셀 세트를 결정하는 수단, 및 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트를 결정하는 수단을 포함할 수 있다.

실시예 38 : 실시예 36 내지 실시예 37의 장치의 예시적인 구현예에 따르면, 제1픽셀 세트는 디스플레이의 중심에 근접한 픽셀들의 중심부를 포함할 수 있고, 제2픽셀 세트는 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함할 수 있다.

실시예 39 : 실시예 36 내지 실시예 38 중 어느 하나의 장치의 예시적인 구현예에 따르면, 제1블렌딩 기법은 제1픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 수행하는 단계를 포함하고, 가중 평균에 대해, 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀보다 더 많이 가중되며; 그리고 제2블렌딩 기법은 제2픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 수행하는 단계를 포함하며, 가중 평균은 단순 평균보다 계산적으로 더 복잡하다.

실시예 40 : 실시예 36 내지 실시예 39 중 어느 하나의 장치의 예시적인 구현예에 따르면, 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함하고, 상기 생성하는 수단은, 복수의 수집된 이미지들 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 수단, 밉맵 이미지들 각각은 수집된 이미지를 나타내고; 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 수단; 및 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 수단을 포함할 수 있고, 제2해상도 밉맵 이미지들은 제1해상도 밉맵 이미지들보다 저해상도이다.

실시예 41 : 실시예 36 내지 실시예 40 중 어느 하나의 장치의 예시적인 구현예에 따르면, 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함할 수 있고, 상기 생성하는 수단은, 제1블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 수단; 및 제1블렌딩 기법과 상이한 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함할 수 있고, 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 저해상도이다.

예시적인 구현예에 따르면, 렌더링될 이미지는 픽셀들의 제1부분 및 픽셀들의 제2부분을 포함할 수 있다. 예시적인 구현예에 따르면, 제1부분은 그에 따라 중심부일 수 있으며, 여기서 중심부는 렌더링된 이미지의 픽셀들에 대응하는 픽셀 세트에 해당할 수 있으며, 이는 이미지를 보고 있는 인간 눈의 중심와 상에 떨어질 가능성이 많은 반면, ("비-중심부" 또는 "외부 부분"으로 지칭될 수 있는) 픽셀의 제2부분은 렌더링된 이미지의 픽셀 세트 또는 영역에 대응할 수 있으며, 이는 렌더링된 이미지를 보는 사람의 눈의 중심와 상에 떨어질 가능성은 적다. 제1 및 제2픽셀 세트 또는 제1 및 제2영역 사이의 구별은 예를 들어, 이미지의 제1영역이 이미지의 제2영역 내에 완전히 또는 적어도 부분적으로 놓이도록 이미지의 제1영역을 둘러싸는 이미지의 제2영역을 갖는, 이미지의 제1영역 및 이미지의 제2영역을 정의함으로써 이루어질 수 있다. 제1 및 제2영역은 그에 따라 사전 정의된 패턴에 따라 임의로(arbitrarily) 형성될 수 있는 반면, 제1영역은 제2영역 내부에 놓이고, 제2영역에 의해 완전히 또는 적어도 부분적으로 제2영역에 의해 둘러싸여 있다. 중심와는 전형적으로 사용자의 시야의 중앙 영역(central area)에 해당하므로 제1영역 (중심 영역)과 제2영역 (비-중심 영역)으로의 분리는 제1영역의 화소들이 제1영역의 화소들보다 중심와에 떨어질 가능성이 높아지게 된다. 바꾸어 말하면, 제1영역은 그의 픽셀들이 제2영역의 픽셀들보다 중심와에 대응할 가능성이 높도록 선택된다.

이를 달성하기 위한 하나의 가능성 또는 예시적인 실시예는 이미지의 중앙 부분(center part)(또는 중심 영역 또는 중심 부분)에 해당하는 제1영역과 이미지의 나머지 부분에 해당하는 제2영역을 정의하는 것이다. 사용자가 이미지의 중앙 부분에 집중할 가능성이 있다고 가정하면, 그러한 분리는 제1영역을 중심와로 떨어뜨리는 목표를 달성할 가능성이 높다. 그러나, 제1 및 제2영역으로의 다른 분리들 또한 가능하다. 예를 들어, 제1영역은 소정 형상(정사각형, 원형 또는 임의의 다른 형상)의 영역일 수 있으며, 그 중심은 시선 추적기(eyetracker)에 의해 결정된 바와 같이 사용자의 관심 지점(point of regard)과 일치하도록 선택된다. 시선 추적기는 사용자에 의해 포커스된 관심 지점으로 시야의 중심을 결정하기 때문에, 관심 지점을 둘러쌀 수 있는 제1영역을 선택하면 렌더링된 이미지의 제1영역이 이미지가 사용자에게 보여질 때 제2영역보다 중심와상에 떨어질 가능성이 높다. 일단 제1영역 및 제2영역으로의 분리가 이루어지면, 예시적인 구현예에 따라, 상이한 계산 복잡도를 이용하는 방법을 사용하여 이미지의 제1 및 제2부분이 결정되거나 렌더링될 수 있다. 따라서, 예시적인 구현예에 따라, 중심와에 대응하는 제1영역의 픽셀들은 더 높은 계산 복잡도를 사용하여 결정되거나 렌더링되고, 제2영역의 픽셀들은 보다 낮은 계산 복잡도를 사용하여 렌더링된다. 이 실시예에 따르면, 이것은 제2영역에서 보다 제1영역에서 더 높은 화질을 유도한다. 그러나, 제2영역의 픽셀들이 중심와 상에 떨어지지 않기 때문에, 이는 전체적인 계산 복잡도을 감소시키면서 지각된 이미지 품질을 감소시키지 않으며, 그에 따라 계산 자원들을 절약하고 렌더링 속도를 향상시킨다. 또 다른 예시적인 실시예에서, 제2부분(second portion)의 픽셀들의 결정 또는 렌더링은 제1부분(first portion)의 픽셀들의 결정 또는 렌더링보다 작은 해상도를 사용하여 수행될 수 있다. 따라서, 제2부분의 픽셀들을 결정하는 것은 제1부분의 픽셀들의 렌더링을 결정하는 것보다 계산 복잡도를 덜(그리고 따라서 계산 자원을 덜) 요구할 수 있다.

도 7은 일반적인 컴퓨터 디바이스(700) 및 일반적인 모바일 컴퓨터 디바이스 (750)의 예를 도시하며, 이는 본 명세서에 설명된 기술들과 함께 사용될 수 있다. 컴퓨팅 디바이스(700)는 랩탑, 데스크탑, 워크 스테이션, PDA, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타 내기 위한 것이다. 컴퓨팅 디바이스(750)는 개인용 디지털 보조 장치, 셀룰러 전화, 스마트폰 및 다른 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스들을 나타내기 위한 것이다. 본 명세서에 도시된 구성 요소, 이들의 접속들 및 관계들, 및 그들의 기능들은 단지 예시적인 것으로 의도되며, 본 명세서에 기재된 및/또는 청구된 본 발명의 구현예들을 제한하지 않는다.

컴퓨팅 디바이스(700)는 프로세서(702), 메모리(704), 저장 장치 (706), 메모리(704)와 고속 확장 포트들(710)에 접속되는 고속 인터페이스(708), 및 저속 버스(714)와 저장 장치(706)에 접속되는 저속 인터페이스(712)를 포함한다. 구성 요소들(702, 704, 706, 708, 710 및 712) 각각은 다양한 버스를 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절하게 다른 방식으로 장착될 수 있다. 프로세서(702)는 메모리(704) 또는 저장 디아비스(706)에 저장된 명령들을 포함하여 컴퓨팅 디바이스(700) 내에서 실행하기 위한 명령들을 처리하여, 고속 인터페이스(708)에 결합된 디스플레이(716)와 같은 외부 입/출력 디바이스 상의 GUI에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 메모리 및 다수 유형의 메모리와 함께 다수의 프로세서 및/또는 다수의 버스가 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스(700)는 필요한 동작들의 일부를 제공하는 각각의 장치(예컨대, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템과 같은)에 접속될 수 있다.

메모리(704)는 컴퓨팅 디바이스(700) 내의 정보를 저장한다. 일 실시예에서, 메모리(704)는 휘발성 메모리 유닛(들)이다. 또 다른 구현예에서, 메모리(704)는 비 휘발성 메모리 유닛(들)이다. 메모리(704)는 또한 자기 또는 광학 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태일 수 있다.

저장 장치(706)는 컴퓨팅 디바이스(700)에 대한 대용량 저장 장치를 제공할 수 있다. 일 구현예에서, 저장 장치(706)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성들의 디바이스들을 포함하는 장치들의 어레이일 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어(carrier)에 확실하게 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상술한 바와 같은 하나 이상의 방법을 수행하는 명령들을 포함할 수 있다. 정보 캐리어는 메모리(704), 저장 장치(706) 또는 프로세서 (702)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.

고속 제어기(708)는 컴퓨팅 디바이스(700)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 제어기(712)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일 구현예에서, 고속 제어기(708)는 메모리(704), 디스플레이(716)(예컨대, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(710)에 결합된다. 구현예에서, 저속 제어기(712)는 저장 디아비스(706) 및 저속 확장 포트(714)에 결합된다. 다양한 통신 포트(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너 또는 스위치 또는 라우터와 같은 네트워킹 디바이스와 같은 하나 이상의 입력/출력 디바이스들에 예를 들어 네트워크 어댑터를 통해 결합될 수 있다.

컴퓨팅 디바이스(700)는 도면에 도시된 바와 같이, 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(700)는 표준 서버(720)로서 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 컴퓨팅 디바이스(700)는 랩 서버 시스템(724)의 일부로서 구현될 수도 있다. 또한, 컴퓨팅 디바이스(700)는 랩탑 컴퓨터(722)와 같은 퍼스널 컴퓨터에서 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(700)로부터의 구성 요소들은 디바이스(750)과 같은, 모바일 디바이스 내의 다른 구성 요소(미도시)와 결합될 수 있다. 이러한 디바이스들 각각은 하나 이상의 컴퓨팅 디바이스(700, 750)를 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(700, 750)로 구성될 수 있다.

컴퓨팅 디바이스(750)는 다른 구성 요소들 중에서 프로세서(752), 메모리 (764), 디스플레이(754)와 같은 입/출력 디바이스, 통신 인터페이스(766) 및 송수신기(768)를 포함한다. 디바이스(750)는 또한 추가 저장를 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은, 저장 장치를 구비할 수 있다. 구성 요소들(750, 752, 764, 754, 766 및 768) 각각은 다양한 버스를 사용하여 상호 접속되며, 몇몇 구성 요소는 공통 마더 보드 상에 또는 적절하게 다른 방식으로 장착될 수 있다.

프로세서(752)는 메모리(764)에 저장된 명령들을 포함하는 컴퓨팅 디바이스(750) 내의 명령들을 실행할 수 있다. 프로세서는 개별 및 다수의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩셋으로 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스의 제어, 디바이스(750)에 의해 실행되는 애플리케이션들 및 디바이스(750)에 의한 무선 통신과 같은, 디바이스(750)의 다른 구성 요소들의 조정(coordination)을 제공할 수 있다.

프로세서(752)는 제어 인터페이스(758) 및 디스플레이(754)에 결합된 디스플레이 인터페이스(756)를 통해 사용자와 통신할 수 있다. 디스플레이(754)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED(유기 발광 다이오드) 디스플레이 또는 다른 적절한 디스플레이 기술을 포함할 수 있다. 디스플레이 인터페이스(756)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(754)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(758)는 사용자로부터 명령을 수신하여 프로세서(752)로 제출하기 위해 이들을 변환할 수 있다. 또한, 외부 인터페이스(762)는 프로세서(752)와의 통신에서 제공되어 다른 디바이스들과 디바이스(750)의 근거리 통신을 가능하게 한다. 외부 인터페이스(762)는 예를 들어, 일부 구현예들에서는 유선 통신을 위해 또는 다른 구현 예들에서는 무선 통신을 위해 제공될 수 있으며, 다수의 인터페이스가 또한 사용될 수 있다.

메모리(764)는 컴퓨팅 디바이스(750) 내의 정보를 저장한다. 메모리(764)는 컴퓨터 판독 가능 매체 또는 미디어, 휘발성 메모리 유닛(들) 또는 비 휘발성 메모리 유닛(들) 중 하나 이상으로 구현될 수 있다. 확장 메모리(774)는 또한 예를 들어, SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(772)를 통해 디바이스(750)에 제공되고 접속될 수 있다. 이러한 확장 메모리(774)는 디바이스(750)에 대한 여분의 저장 공간을 제공하거나 디바이스 (750)에 대한 애플리케이션들 또는 다른 정보를 저장할 수도 있다. 특히 확장 메모리(774)는 전술한 프로세스들을 수행하거나 보충하기 위한 명령들을 포함할 수 있으며, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(774)는 디바이스(750)에 대한 보안 모듈로서 제공될 수 있고, 디바이스(750)의 보안 사용을 허용하는 명령들로 프로그램될 수 있다. 또한, 보안 애플리케이션은 SIMM 카드에 식별 정보를 해킹할 수 없게 배치하는 것과 같은, 추가 정보와 함께 SIMM카드를 통해 제공될 수 있다.

메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 확실하게 구체화된다. 컴퓨터 프로그램 제품은 실행될 때 위에 설명된 것과 같은 하나 이상의 방법을 수행하는 명령들을 포함한다. 정보 캐리어는 예를 들어, 송수신기(768) 또는 외부 인터페이스(762)를 통해 수신될 수 있는 메모리(764), 확장 메모리(774) 또는 프로세서(752)상의 메모리와 같은, 컴퓨터 또는 기계 판독 가능 매체이다.

디바이스(750)는 통신 인터페이스(766)를 통해 무선 통신할 수 있으며, 통신 인터페이스(766)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있다. 통신 인터페이스(766)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은, 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 송수신기(768)를 통해 발생할 수 있다. 또한, 블루투스, Wi-Fi 또는 다른 송수신기(미도시)를 사용하는 것과 같은 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(770)은 디바이스(750)상에서 실행되는 애플리케이션들에 의해 적절하게 사용될 수 있는 추가적인 네비게이션 및 위치 관련 무선 데이터를 디바이스(750)로 제공할 수 있다.

디바이스(750)는 또한 사용자로부터 음성 정보를 수신하고 그것을 이용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(760)을 사용하여 청각적으로 통신 할 수 있다. 오디오 코덱(760)은 마찬가지로, 예를 들어 디바이스(750)의 핸드셋의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예컨대, 음성 메시지들, 음악 파일들 등)를 포함할 수 있으며, 또한 디바이스(750) 상에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수도 있다.

컴퓨팅 디바이스(750)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(750)는 셀룰러 전화(780)로서 구현될 수 있다. 컴퓨팅 디바이스(750)는 또한 스마트폰(782), 개인 휴대 정보 단말기(personal digital assistant), 또는 다른 유사한 이동 디바이스의 일부로서 구현될 수도 있다.

본 명세서에서 설명된 시스템 및 기법(technique)의 다양한 구현예는 디지털 전자 회로, 집적 회로, 주문형 집적 회로(ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령을 수신하고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로 데이터 및 명령을 전송하도록 결합된, 특수 또는 범용일 수 있는 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램들에서의 구현을 포함할 수 있다.

이러한 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려진)은 프로그램 가능 프로세서에 대한 기계 명령들을 포함하고, 높은 수준(high-level)의 절차적 및/또는 객체 지향적 프로그래밍 언어로 구현될 수 있으며, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스((예컨대, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD)와 같은)를 지칭한다. 프로그래머블 로빅 디바이스들(PLDs)이 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는, 프로그램 가능 프로세서로 기계 명령 및/또는 데이터를 제공하는데 사용된다. "기계 판독 가능 신호"라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서로 제공하기 위해 사용되는 모든 신호를 지칭한다.

사용자와의 상호 작용(interaction)을 제공하기 위해, 본 명세서에서 설명 된 시스템 및 기법들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(cathode ray tube) 또는 LCD(액정 디스플레이) 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에 구현될 수 있다. 다른 종류의 디바이스들이 사용자와의 상호 작용을 제공하는데 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 그리고 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각 입력을 포함하는, 임의의 형태로 수신될 수 있다.

본 명세서에 설명된 시스템 및 기법은 백 엔드(back end) 구성 요소(예컨대, 데이터 서버로)를 포함하거나 미들웨어 구성 요소(예컨대, 애플리케이션 서버)를 포함하거나 프론트 엔드(front end) 구성 요소(예컨대, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 본 명세서에 설명된 시스템 및 기법의 구현과 상호 작용할 수 있는 웹 브라우저), 또는 이러한 백 엔드, 미들웨어 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성 요소들은 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망( "LAN"), 광역 통신망( "WAN") 및 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 전형적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들의 덕택으로 발생한다.

다수의 실시예가 설명되었다. 그럼에도 불구하고, 본 명세서의 사상(spirit)과 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다.

또한, 도면들에 도시된 논리 흐름들은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 설명된 시스템들에 다른 구성 요소들이 추가되거나 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 있다.

Claims (20)

1. 복수의 이미지들에 기초하여 이미지를 생성하고 가변적 계산 복잡도를 이용하기 위해 광 필드 렌더링을 사용하는 컴퓨터 구현 방법으로서,
   다수의 카메라로부터 복수의 이미지를 수집하는 단계;
   복수의 수집된 이미지에 기초한 광 필드 렌더링(light field rendering)을 사용하여, 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하는 단계, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고;
   제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계; 및
   제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계; 및
   상기 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 제1계산 복잡도 및 제2계산 복잡도는
   렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 블렌딩 기법 중의 하나의 블렌딩 기법을 선택하는 단계;
   렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 수집된 이미지의 해상도를 조정하는 단계; 및
   렌더링된 이미지에 대한 적어도 일부 픽셀들을 결정하는데 사용되는 복수의 수집된 이미지의 갯수를 조정하는 단계 중 하나 이상에 기초하여 결정되거나 변경될 수 있는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 픽셀들의 중심부를 결정하는 단계는 제1블렌딩 기법을 사용하여 복수의수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계를 포함하고; 그리고
   상기 픽셀들의 외측부를 결정하는 단계는 제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
4. 제3항에 있어서,
   제1블렌딩 기법은 픽셀들의 중심부의 각 픽셀을 결정하도록 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 사용하는 단계를 포함하고, 상기 가중 평균에 대해, 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀들보다 더 많이 가중되고; 그리고
   제2블렌딩 기법은 픽셀들의 외측부의 각 픽셀을 결정하도록 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 사용하는 단계를 포함하고, 상기 가중 평균은 단순 평균보다 계산적으로 더 복잡한 것을 특징으로 하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 생성하는 단계는,
   복수의 수집된 이미지 각각에 대해, 복수의 순차적으로 낮은 해상도 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계, 상기 밉맵 이미지들 각각은 수집된 이미지를 나타내고;
   복수의 수집된 이미지 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 단계; 및
   복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 단계를 포함하고, 상기 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 낮은 해상도인 것을 특징으로 하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법은,
   복수의 이미지에 기초하여 좌측 이미지 및 우측 이미지 각각을 생성하고 가변적 계산 복잡도를 사용하기 위해, 제1항의 방법에 따른, 광 필드 렌더링을 사용하는 단계; 및
   상기 좌측 이미지 및 우측 이미지를 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 디스플레이하는 단계는 가상 현실 헤드셋의 디스플레이상에 렌더링된 이미지를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 다수의 카메라로부터 수집된 복수의 이미지를 저장하는 메모리;
   복수의 수집된 이미지를 수신하고;
   복수의 수집된 이미지에 기초한 광 필드 렌더링(light field rendering)을 이용하여 디스플레이에 출력하기 위한 렌더링된 이미지를 생성하고, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고;
   제1계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하며; 그리고
   제1계산 복잡도보다 낮은 제2계산 복잡도를 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 광 필드 렌더링 모듈; 및
   상기 렌더링된 이미지를 디스플레이하는 디스플레이를 포함하는 것을 특징으로 하는 장치.
9. 제8항에 있어서, 상기 장치는 헤드 장착 디스플레이(head mounted display : HMD)의 일부로서 제공되는 것을 특징으로 하는 장치.
10. 제8항 또는 제9항에 있어서, 상기 장치는 가상 현실 헤드셋 또는 가상 현실 시스템의 일부로서 제공되는 것을 특징으로 하는 장치.
11. 복수의 이미지들에 기초하여 이미지를 생성하고 가변적 계산 복잡도를 이용하기 위해 광 필드 렌더링을 사용하는 컴퓨터 구현 방법으로서, 상기 방법은
    다수의 카메라로부터 복수의 이미지들을 수집하는 단계;
    수집된 복수의 이미지들 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계;
    복수의 수집된 이미지들에 기초한 광 필드 렌더링(light field rendering)을 사용하여 디스플레이에 출력하기 위해 렌더링된 이미지를 생성하는 단계, 상기 디스플레이는 디스플레이의 중심에 근접한 픽셀들의 중심부와 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하고, 상기 생성하는 단계는,
    복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵(mipmap) 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부의 각 픽셀을 결정하는 단계; 그리고
    복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부의 각 픽셀을 결정하는 단계를 포함하며, 상기 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 낮은 해상도이며; 및
    상기 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,
    상기 픽셀들의 중심부를 결정하는 단계는 제1블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 중심부를 결정하는 단계; 및
    상기 픽셀들의 외측부를 결정하는 단계는 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 픽셀들의 외측부를 결정하는 단계를 포함하고, 상기 제1블렌딩 기법은 제2블렌딩 기법보다 계산적으로 비용이 더 많이 드는 것을 특징으로 하는 방법
13. 컴퓨터 구현 방법에 있어서,
    복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 이미지의 복수의 픽셀들을 생성하도록 가변적 계산 복잡도를 이용하는 렌더링된 이미지를 생성하는 단계; 및
    상기 렌더링된 이미지를 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
14. 제13항에 있어서, 상기 생성하는 단계는,
    제1블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지의 제1픽셀 세트를 결정하는 단계; 및
    제1블렌딩 기법보다 계산적으로 덜 복잡한 제2블렌딩 기법을 사용하여 복수의 수집된 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트를 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
15. 제14항에 있어서, 상기 제1픽셀 세트는 디스플레이의 중심에 근접한 픽셀들의 중심부를 포함하고, 상기 제2픽셀 세트는 픽셀들의 중심부의 외부에 있는 픽셀들의 외측부를 포함하는 것을 특징으로 하는 방법.
16. 제14항 또는 제15항에 있어서,
    제1블렌딩 기법은 제1픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 가중 평균을 수행하는 단계를 포함하고, 상기 가중 평균에 대해, 상기 수집된 이미지들 중 일부의 픽셀들은 수집된 이미지들 중 다른 이미지의 픽셀보다 더 많이 가중되며; 그리고
    제2블렌딩 기법은 제2픽셀 세트의 각 픽셀을 결정하기 위해 복수의 수집된 이미지들 중에서 하나 이상의 픽셀들의 단순 평균을 수행하는 단계를 포함하며, 상기 가중 평균은 단순 평균보다 계산적으로 더 복잡한 것을 특징으로 하는 방법.
17. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함하고, 상기 생성하는 단계는,
    복수의 수집된 이미지들 각각에 대해, 복수의 순차적으로 낮은 해상도의 밉맵 이미지를 생성하기 위해 복수의 수집된 이미지 각각을 사전 필터링하는 단계;
    복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 단계; 및
    복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함하고, 상기 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 낮은 해상도인 것을 특징으로 하는 방법.
18. 제14항 내지 제16항 중 어느 한 항에 있어서, 상기 렌더링된 이미지는 제1픽셀 세트 및 제2픽셀 세트를 포함하고, 상기 생성하는 단계는,
    제1블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제1해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제1픽셀 세트의 각 픽셀을 결정하는 단계; 및
    제1블렌딩 기법과 상이한 제2블렌딩 기법을 사용하여, 복수의 수집된 이미지들 각각에 대한 제2해상도 밉맵 이미지의 하나 이상의 픽셀들의 블렌딩에 기초하여 렌더링된 이미지에 대한 제2픽셀 세트의 각 픽셀을 결정하는 단계를 포함하고, 상기 제2해상도 밉맵 이미지는 제1해상도 밉맵 이미지보다 낮은 해상도인 것을 특징으로 하는 방법.
19. 제14항 내지 제18항 중 어느 한 항에 있어서,
    상기 생성하는 단계는, 복수의 수집된 이미지들에 기초한 광 필드 렌더링을 사용하여, 픽셀의 위치에 기초한 렌더링된 좌측 이미지 및 렌더링된 우측 이미지의 복수의 픽셀들을 생성하도록 각각이 가변적 계산 복잡도를 사용하는 렌더링된 좌측 이미지 및 렌더링된 우측 이미지를 생성하는 단계를 포함하고; 그리고
    상기 디스플레이하는 단계는 렌더링된 좌측 이미지 및 렌더링된 우측 이미지를 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
20. 제13항 내지 제19항 중 어느 한 항에 있어서, 상기 디스플레이하는 단계는 렌더링된 이미지를 가상 현실 헤드셋의 디스플레이상에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.

Images