KR101701790B1 - 디포커스 블러에 대한 분산 추정 광 필드 재구성 - Google Patents

Abstract

분산 추정 광 필드 재구성 디포커스 블러를 위한 시스템, 디바이스 및 방법이 서술된다. 디포커스 블러를 행하는 방법은 노이즈 추정 계량을 사용하여 광 필드 정보를 복수의 깊이 레이어로 적응적으로 파티셔닝하는 단계, 깊이 레이어의 각각을 독립적으로 필터링하는 단계, 및 필터링된 레이어를 합성하여 최종 픽셀 컬러를 재구성하는 단계를 포함한다.

Description

디포커스 블러에 대한 분산 추정 광 필드 재구성{VARIANCE ESTIMATION LIGHT FIELD RECONSTRUCTION FOR DEFOCUS BLUR}

디포커스 블러(defocus blur)는 오늘날 영화 및 게임에 있어서의 컴퓨터 생성 화상(computer generated imagery)에서 널리 사용되는 카메라 렌즈 효과이다. 오프라인 렌더러(offline renderer)는 전형적으로 분산 광선 추적(distribution ray tracing), 확률적 래스터화(stochastic rasterization) 또는 멀티레이어 렌더링(multi-layer rendering)을 사용하여 렌즈에 있어서의 많은 위치를 샘플링함으로써 디포커스를 시뮬레이트한다. 실시간 렌더러는 전통적인 2D 래스터라이저(rasterizer)로부터의 샘플로 효과를 근사하여, 그 결과물은 성능은 빠르지만 시각적 품질은 만족스럽지 못하다. 실시간 확률적 렌더링 및 광선 추적의 분야에서 현저한 연구 진행이 이루어졌지만, 노이즈가 없는 디포커스 블러 화상을 생성하기 위해 대량의 샘플이 요구되는 것은 실시간 방식에 이러한 고품질의 렌더링을 적용하는데 있어서 주요 과제로 남아 있다.

광 필드(light field) 재구성 기술에 있어서의 최근의 진보로 인해 소수의 샘플로 낮은 노이즈의 디포커스 블러 화상을 재생하는 것이 가능하게 되었지만, 재구성 알고리즘의 계산 오버헤드로 인해 대화형 동작은 불가능하였다. 주파수 분석 및 전단된 필터링(sheared filtering)에 근거하는 재구성 기술이 특히 유망하다. 이들 기술은 광 필드의 주파수 스펙트럼을 확실하게 한정시키는 전단된 재구성 필터를 얻기 위해 광 필드의 국부도함수(local derivatives)를 사용함으로써 노이즈를 억제한다. 유감스럽게도, 이들 필터의 재구성 결과에는, 초점이 맞은 오브젝트 및 초점이 맞지 않은 오브젝트가 동일한 픽셀에 기여할 때와 같이 픽셀에 걸쳐서 국부도함수가 현저히 달라질 때에는 노이즈가 많아진다. 또한, 광 필드 파생물에 있어서의 변화는 각각의 픽셀에 대하여 상이한 필터링 파라미터로 이어질 수 있다. 이로 인해 효율적인 분리 가능한 필터를 구현할 수 없고 성능에 크게 영향을 준다.

본 명세서에 서술되는 자료는 첨부 도면에 있어서 예시의 목적으로 도시되고 한정의 목적으로 도시되지 않는다. 예시의 단순성 및 명료성을 위해, 도면에 도시되는 요소는 반드시 일정한 축척으로 그려지지는 않는다. 예컨대, 몇몇의 요소의 치수는 명료성을 위해 다른 요소에 비하여 과장될 수 있다. 또한, 적절하다고 생각되는 경우, 대응하는 또는 유사한 요소를 나타내기 위해 도면 사이에서 참조 부호가 반복되었다. 도면에서,
도 1~9는 예시의 도면이고,
도 10은 예시적인 시스템의 예시의 도면이고,
도 11은 예시적인 디바이스를 도시하고,
도 12는 모두가 본 개시의 적어도 몇몇의 구현에 따라서 배열된 예시의 처리를 도시하는 흐름도이다.

하나 이상의 실시 형태 또는 구현이 첨부된 도면을 참조하여 이하에 서술된다. 특정한 구성 및 배치가 논의되지만, 이것은 단지 예시의 목적으로 행해짐이 이해되어야 한다. 당업자는 서술된 내용의 정신 및 범위를 벗어나는 일 없이 다른 구성 및 배치가 채용될 수 있음을 인식할 것이다. 본 명세서에 서술되는 기술 및/또는 배치는 또한 본 명세서에 서술되는 것 이외의 여러 다른 시스템 및 응용에 채용될 수 있음이 당업자에게는 명백할 것이다.

이하의 서술은 예컨대 시스템 온 칩(SoC) 아키텍처와 같은 아키텍처로 나타내어질 수 있는 다양한 구현을 설명하지만, 본 명세서에 서술되는 기술 및/또는 배치의 구현은 특정한 아키텍처 및/또는 컴퓨팅 시스템으로 제한되지 않고 유사한 목적을 위해 임의의 아키텍처 및/또는 컴퓨팅 시스템에 의해 구현될 수 있다. 예컨대, 복수의 집적 회로(IC) 칩 및/또는 패키지를 채용하는 다양한 아키텍처, 및/또는 다양한 컴퓨팅 디바이스 및/또는 셋톱박스, 스마트폰 등과 같은 가전 제품(CE) 디바이스는 본 명세서에 서술되는 기술 및/또는 배치를 구현할 수 있다. 또한, 이하의 서술은 로직 구현, 시스템 컴포넌트의 타입 및 연관성, 로직 파티셔닝/통합 선택 등과 같은 많은 특정의 상세한 내용을 설명할 수 있지만, 청구되는 대상은 그러한 특정의 상세한 내용 없이 실시될 수 있다. 다른 예에서는, 예컨대, 제어 구조 및 완전한 소프트웨어 명령 시퀀스와 같은 몇몇의 자료는 본 명세서에 개시되는 자료를 모호하게 하지 않기 위해서 상세하게 나타내어지지 않을 수 있다.

본 명세서에 개시되는 자료는 하드웨어, 펌웨어, 소프트웨어, 또는 그 임의의 조합으로 구현될 수 있다. 본 명세서에 개시되는 자료는 또한 하나 이상의 프로세서에 의해 판독 및 실행될 수 있는 머신 판독 가능 매체에 저장되는 명령으로서 구현될 수 있다. 머신 판독 가능 매체는 머신(예컨대, 컴퓨팅 디바이스)에 의해 판독 가능한 형태로 정보를 저장 또는 송신하는 임의의 매체 및/또는 메커니즘을 포함할 수 있다. 예컨대, 머신 판독 가능 매체는 리드 온리 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스, 전파되는 신호의 전기적, 광학적, 음향적 또는 다른 형태(예컨대, 반송파, 적외선 신호, 디지털 신호 등) 등을 포함할 수 있다.

명세서에서 "한 구현", "구현", "예시적인 구현" 등에 대한 언급은 서술된 구현이 특정한 피쳐, 구조, 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시 형태가 반드시 특정한 피쳐, 구조, 또는 특성을 포함하지는 않을 수 있다. 또한, 그러한 문구(phrase)는 반드시 동일한 구현을 언급하고 있지는 않다. 또한, 특정한 피쳐, 구조, 또는 특성이 실시 형태에 관련하여 서술되는 때에, 본 명세서에 명확하게 서술되는지 여부에 관계없이 다른 구현에 관련하여 그러한 피쳐, 구조, 또는 특성을 달성하는 것은 당업자의 지식 내에 있다.

본 개시는 피사계 심도(depth of field), 디포커스 블러, 광 필드 재구성 및 푸리에 분석의 맥락에 있어서 3차원 컬러, 셰이딩(shading), 섀도잉(shadowing), 및 텍스처를 구현하는 시스템, 디바이스 및 방법에 관련된다.

이 개시는 드문드문(sparsely) 샘플링된 광 필드로부터의 디포커스 블러를 재구성하는 알고리즘을 제시한다. 알고리즘은 푸리에 분석 기반의 전단된 재구성 필터의 분야에 있어서의 최근의 발달을 기반으로 하고 재구성 품질 및 성능을 크게 향상시킨다. 본 명세서에 서술되는 알고리즘은 노이즈 추정 계량을 사용하여 광 필드 정보를 깊이 레이어(depth layer)로 적응적으로 파티셔닝함으로써 노이즈를 감소시키고, 각각의 레이어를 독립적으로 필터링하고, 필터링된 레이어를 합성함으로써 최종 픽셀 컬러를 재구성한다. 알고리즘은 독립된 픽셀 타일에서 광 필드 파티셔닝 및 재구성을 행하고 전단된 필터의 효율적인 분리 가능한 공식화를 사용함으로써 대화형 동작을 달성한다. 본 명세서에는, 특히, 종래의 재구성 알고리즘보다 약 1자릿수 빠른 성능으로 픽셀당 이백오십육(256)개의 샘플을 갖는 재구성되지 않은 화상의 품질과 동등한 품질의 화상을 픽셀당 8개의 샘플 및 재구성으로 생성할 수 있는 CPU 및 GPU 구현이 서술된다.

이 개시는, 특히, 전단된 재구성 필터의 재구성 품질 및 성능을 크게 향상시킬 수 있는 디포커스 블러에 대한 재구성 알고리즘을 소개한다. 본 명세서에 서술되는 알고리즘의 설계는 이하의 2개의 발견에 의해 동기부여가 된다. (1) 얻어지는 전단된 필터의 재구성 품질은 광 필드 파생물 샘플의 파생물의 경계에 의존한다(경계가 증가함에 따라, 필터는 덜 효과적이게 된다). (2) 디포커스 블러의 경우, 깊이에 의해 광 필드 정보를 파티셔닝하는 것은 각 파티션 내에서 광 필드 파생물의 경계를 감소시킨다.

본 개시는, 특히, 도 1의 예에 나타낸 바와 같이 광 필드 샘플을 깊이로 파티셔닝하는 것, 각각의 파티션에 대한 전단된 필터를 얻는 것, 이들 필터를 각각의 파티션에 각기 적용하는 것, 및 결과를 함께 합성하는 것을 서술한다. 깊이 파티션 위치는 후보 분할 포인트에 대한 출력 분산을 추정하고 보다 작은 추정된 출력 분산을 갖는 분할을 선택함으로써 얻어질 수 있다. 분리 가능한 전단된 필터는 충분히 큰 스크린 타일에 걸쳐서 샘플을 분석하고 전단축(shear axis)을 변경함으로써 각각의 파티션에 대하여 생성될 수 있다.

도 1은 픽셀당 8개의 샘플로 렌더링되는, 간단한 픽셀 와이드 필터로 재구성되고(왼쪽 위) 본 개시에 따른 재구성 알고리즘을 사용하는(오른쪽 위) 예시적인 신(scene)(100)을 도시한다. 파란 박스는 주변에 입력 샘플(a)이 적응적으로 두 레이어로 분할된 타일을 나타낸다. 방사 휘도(radiance) L 및 가시성(visibility) V의 항은 각각의 레이어에 대하여 독립적으로 필터링되고(b~e) 그 후 함께 합성되어(f) 타일에서 픽셀을 재구성한다.

본 개시는 적어도 부분적으로 이하를 서술한다. (1) 출력 분산을 추정 및 분석하는 것에 근거하여 광 필드 샘플을 적응적으로 파티셔닝하기 위한 알고리즘. (2) 이들 파티션을 가로지르는 폐색(occlusion)을 구성하는 상이한 깊이 파티션으로부터의 필터링된 결과를 조합하는 알고리즘. (3) 분리 가능한 전단된 재구성 필터의 효율적인 공식화 및 오프라인 기술에 필적하는 화상 품질을 갖는 대화형 구현.

최근의 연구는 광 필드 재구성 연구에서 상당한 진전을 이루었다. Chai et al.[2000]은 플렌옵틱(plenoptic) 샘플링의 문제를 검토하고 광 필드에 대한 스펙트럼 지원이 신(scene)에서의 최소 및 최대 깊이 값에 의해 경계가 이루어짐을 밝힌다. 그들은 샘플링된 광 필드에 대한 재구성 필터를 얻고 신을 깊이 레이어로 파티셔닝함으로써 필터 경계가 훨씬 더 좁아질 수 있음을 밝힌다. 하지만, 깊이 레이어 사이의 가시성은 논의되지 않는다. 본 개시는 인트라 레이어 가시성에 대한 해결책, 효율적인 분리 가능한 필터, 적응적인 레이어 파티셔닝 및 효율적인 레이어 합성을 제공한다.

주파수 기반의 적응적인 샘플링은 디포커스 블러에 대하여 서술되었다[Soler et al. 2009]. Egan et al.[2009]은 모션 블러(motion blur)에 대한 전단된 필터 접근법을 서술하고, 유사한 접근법이 소프트 섀도우(soft shadow)에 적용되고[Egan et al. 2011b; Mehta et al. 2012] 또한 방향성 폐색(directional occlusion)에 적용된다[Egan et al. 2011a]. 본 개시는 푸리에 분석을 사용하여 전단된 필터를 얻는 것을 제공하고 이 분석을 적응적인 파티셔닝과 조합하여 각각의 레이어에 대한 고유한 필터를 생성한다. 이것은 복잡한 폐색을 갖는 영역에서 브루트포스(brute-force) 필터로의 폴백(fallback)을 방지한다. 또한, 본 개시는 4D 광 필드에서 복잡한 검색을 방지하여 실시간 성능을 향상시키는 분리 가능한 전단된 필터를 서술한다.

Lehtinen et al[2011]은 매우 적은 입력 샘플로부터의 모션, 디포커스 및 소프트 섀도우를 포함하는 광 필드를 업샘플링하기 위해 고차원 재투영(reprojection) 및 가시성 재구성을 조합한다. 그들의 연구는 최근 간접 조명으로까지 확장되었다[Lehtinen et al. 2012]. 재투영 단계는 최적화된 GPU 구현에서조차 수십 초의 실행 시간을 갖는 고차원 광 필드에서의 검색 및 복잡한 국소적 가시성 재구성을 필요로 한다.

Shirley et al[2011]은 확률적 샘플로부터 빠르지만 거의 정확한 재구성 기술을 도입한다. 핵심 아이디어는 "각각의 샘플에 사용되는 필터는 그 디노이징 필터(denoising filter) 및 그 앞의 샘플의 디노이징 필터의 조합이어야 한다"이다. 디포커스 블러의 경우, 샘플은 깊이 레이어의 세트로 정적으로 파티셔닝되고, 필터 스케일 웨이트(filter scale weight)의 세트는 각각의 레이어에 대하여 축적된다. 마지막으로, 레이어는 필터 스케일 웨이트를 사용하여 앞에서 뒤로(front-to-back) 조합된다.

마지막으로, 디포커스 블러를 시뮬레이션하기 위해 핀홀 렌더링(pinhole rendering) 및 깊이 버퍼를 사용하는 디포커스 블러에 대한 후처리(post-processing) 알고리즘의 큰 세트[Potmesil and Chakravarty 1981; Demers 2004; Earl Hammon 2007]가 있다. 하지만, 이들 접근법은 가시성 정보가 부족하고 또한 종종 산물 생성물이 부족하다.

디포커스 블러에 대한 재구성 필터

전단된 재구성 필터는 광 필드 재구성[Chai et al. 2000], 모션 블러[Egan et al. 2009], 소프트 섀도우[Egan et al. 2011b] 및 방향성 폐색[Egan et al. 2011a]에 적용되었다. Lehtinen et al.[2011]은 모션 블러 분석을 디포커스 블러로 확장시키는 것을 제안하였지만, 상세한 내용을 설명하지는 않았다. 그들은 또한 전단된 필터 접근법은 복잡한 폐색의 영역에서 비효율적임을 언급하였다. 이 한계를 극복하기 위해, 본 개시는 샘플을 깊이 레이어로 적응적으로 파티셔닝하는 것, 및 고유한 전단된 필터를 각각의 레이어에 적용하는 것을 서술한다. 완전성을 위해, 본 개시는 이하의 디포커스 블러의 경우에 대한 전단된 필터의 도출을 포함한다.

주파수 분석

제시의 명료성을 위해, 본 개시는 우선 4D로 쉽게 확장될 수 있는 2D 광 필드에 대한 주파수 분석을 행하는 것을 서술한다. 전단된 재구성 필터는 광 필드의 주파수 경계에 근거하여 얻어질 수 있다.

L(x, u)를 상평면(image plane) 위의 점 x 및 카레라 렌즈 위의 점 u에 대응하는 방사 휘도로 한다. 상평면 위의 점 x(전형적으로 각각의 픽셀의 중심)에서의 방사 조도(irradiance) E(x)는 방사 휘도를 렌즈상에서 적분함으로써 평가될 수 있다.

여기서 A(u)는 카메라 조리개의 형상을 서술한다. 렌즈 형상 인자[Kolb et al. 1995]가 일정하다고 가정하면, 예시적인 분석에서는 무시되었다[Cook et al. 1984]. 식 (1)에서의 적분은 상수 1과의 컨벌루션으로서 표현될 수 있다[Egan et al. 2011b].

이것을 주파수 도메인으로 변환하면 다음과 같다.

여기서 Ω_x 및 Ω_u는 주파수 도메인에서의 대응하는 값을 나타낸다.

L의 주파수 응답

P를 방사 휘도 L의 소스인 신에서의 점으로 한다. 렌즈상의 상이한 점으로부터 보았을 때에 P로부터 방출되는 방사 휘도가 달라지지 않는다고 가정한다. 렌즈의 중심에서의 방사 휘도에 관한 렌즈상의 임의의 점 u에서의 방사 휘도는 다음과 같이 표현될 수 있다.

여기서 L ⁰=L(x, 0)은 렌즈의 중심에서의 방사 휘도이고 Φ는 부호를 갖는(signed) 착란원의 반경이다. 도 3은 깊이 z에서의 점 P에 대응하는 방사 휘도 L(x, u)(300)를 도시한다. 동일한 방사 휘도 값에 대하여, 렌즈 좌표를 0으로 시프트하는 것은 Φ가 (z-f)/z에 비례하는 상평면에서의 착란원의 반경인 상평면에서 대응하는 -Φ_u의 시프트를 필요로 한다.

이것을 푸리에 도메인으로 변환함으로써 이하의 식이 얻어진다.

여기서 전단의 양이 Φ에 의존하는 경우에 주파수 응답은 u를 따라서 전단되는 것을 볼 수 있다. 도 2(b)는 모든 주파수 성분이 선을 따라서 놓여 있는 경우의 L의 주파수 응답을 나타낸다.

도 2는 Ω_x, Ω_u 평면에서의 주파수 경계(200)를 도시한다. (a) 주파수 응답이 공간 주파수 경계 Ω_b에 의해 컷오프되는 렌즈 L ^{^} ₀의 중심에 대응하는 L ^{^}의 주파수 응답. (b) 주파수 응답은 착란원의 반경 Φ에 의존하여 Ω_u를 따라서 전단된다. (c) 전단된 주파수 응답은 결과의 주파수가 선분을 따라서 놓이도록 개구 함수(aperture function)의 주파수 경계 Ω_a에 의해 컷오프된다. (d) 상이한 전단을 갖는 2개 이상의 표면이 겹칠 때, 최소 전단과 최대 전단 사이의 차이가 증가함에 따라서 결과의 경계가 커지는 경우, 이 경계는 최소 및 최대 전단을 사용하여 근사된다.

주파수 경계

식 (3)으로부터, 최종 방사 휘도에 기여하는 주파수는 L ^{^}와 A ^{^}의 곱에 의해 주어짐을 알 수 있다. 개구 함수 A가 Ω_u를 따라서 컷오프 Ω_a를 갖는 로우 패스 필터와 같이 작용한다고 가정한다. 따라서 Ω_a를 넘는

의 모든 주파수 성분은 억제될 수 있다. 공간 앤티애일리어싱(antialiasing)과 마찬가지로, 공간 주파수 컷오프 Ω_b는 Ω_x를 따라서 적용될 수 있다.

의 결과의 주파수 성분은 도 2(c)에 나타낸 바와 같이 전단된 선분을 따라서 놓인다.

이 분석은 일정한 깊이에서 방사 휘도 소스에 대하여 유효할 수 있지만, 보다 일반적인 시나리오에서 깊이 값은 달라질 수 있어서 상이한 전단 및 보다 복잡한 주파수 응답을 생성한다. 또한, 상이한 깊이에 있어서의 방사 휘도 소스는 또한 서로를 가릴 수 있어서 방사 휘도 함수에 있어서 불연속성을 생성한다.

하지만, Egan at al.[Egan et al. 2011b]뿐만 아니라 Chai et al.[2000]도 주파수 성분의 상당한 부분이 최소 Φ^min 및 최대 Φ^max 전단 값에 의해 경계가 이루어지는 쐐기 내에 놓임을 발견한다. 대응하는 주파수 경계는 도 2(d)에 나타낸 바와 같이 전단된 박스 B에 의해 나타내어질 수 있다. 최소 전단이 Ω_a/Ω_b보다 클 때에 기울기 Φ_r 및 B의 치수 Ω₁, Ω₂는 다음과 같이 주어진다.

최소 전단이 작을 때에, 주파수 경계는 높이 2Ω_a 및 폭 2Ω_b의 좌표축에 평행한 박스에 의해 근사될 수 있다.

이들 주파수 경계는 x, u 및 y, v를 따른 주파수 경계의 곱을 평가함으로써 4D 광 필드 L(x, y, y, v)로 확장될 수 있다. 전단은 x, y 및 y, v 공간에서 동일하기 때문에, 두 주파수 경계는 유사하다.

최초 도메인에서의 필터링

다양한 구현에서, 주파수 경계 밖의 모든 노이즈를 억제하도록 설계되는 재구성 필터

는 필터 R ^{^}도 A ^{^}의 로우 패스 응답을 포함하는 식 (3)에 적용될 수 있다. 이것을 다시 최초 도메인으로 변환하는 것은 렌즈의 중심에서 평가되는 R과의 2D 컨벌루션으로서 표현될 수 있는 재구성된 방사 휘도를 제공한다.

분리 가능한 재구성 필터

주파수 경계를 나타내는 전단된 박스 B는 두 직사각형 함수의 곱으로서 표현될 수 있다(도 4(a)).

여기서 제 1 직사각형 함수는 Ω_x를 따라서 전단된다. 이들 경계를 최초 도메인으로 변환하는 것은 분리 가능한 필터 R=F ₁*F ₂를 제공한다. 여기서 성분 필터는 다음과 같이 주어진다.

도 4는 (a) B가 Ω_x를 따라서 전단되는 두 직사각형 함수의 곱으로서의 필터 주파수 경계 B, (b) 픽셀마다 N ₁ N ₂ 연산을 갖는 최초 도메인에서의 성분 필터, (c) B가 Ω_u를 따라서 전단되도록 전단축을 변경하기 위해 작은 한도만큼 필터 경계를 확장하는 것, (d) 성분 필터 F ₂가 u와 독립적으로 되도록 또한 픽셀마다 N ₁+N ₂ 연산을 갖도록 전단축을 변경하는 것을 도시한다.

F는 주파수 도메인에서 ±0.5의 컷오프를 갖는 정규화된 필터이다. 두 성분 필터는 모두 u의 함수이기 때문에, 제 1 필터는 u의 복수의 값에 대하여 각각의 픽셀 중심에서 평가될 수 있고 그 후 렌즈의 중심에서 u 공간을 붕괴시킬 제 2 필터가 평가될 수 있다. N ₁ 및 N ₂가 두 성분 필터의 사이즈인 경우, 이 필터는 픽셀마다 N ₁ N ₂ 연산을 채용한다(도 4(b)).

하지만, 필터 경계는 B가 수직축을 따라서 전단되도록 작은 한도만큼 확장될 수 있다(도 4(c)). 최초 도메인에서 이것은 성분 필터 중 하나가 u와 독립적인 분리 가능한 필터로 변환한다.

제 1 필터는 u 공간을 붕괴시키고 제 2 필터는 전적으로 x를 따라서 평가되기 때문에, 이 필터의 형태는 현저하게 더 효율적이다. 따라서 이 필터는 픽셀마다 N ₁+N ₂ 연산만을 채용한다. 수정된 필터 파라미터 Ω₁ 및 Ω₂는 다음과 같이 주어진다.

성분 필터는 최종 4D 필터를 제공하기 위해 y, u 공간으로 확장될 수 있다.

도 5는 각각의 입력 샘플이 필터 F ₁에 의해 스케일링된 후 렌즈의 중심에서의 2D x, y 격자에 재투영되는 다양한 구현에 따른 필터링 방법을 서술한다. 스케일링된 샘플 값이 각각의 x, y 위치에서 축적된 후 필터 F ₂가 이 격자에 걸쳐서 평가된다. 이와 비교하여, Lehtinen et al[Lehtinen et al. 2011]과 같은 종래의 접근법은 4D 공간에서 복수의 점 주변의 샘플을 재투영한 후 이들 점에서 방사 휘도를 국소적으로 재구성한다. 다시 말해서, 샘플이 우선 각각의 스크린 공간 위치에 대하여 재투영된 후 u축을 따라서 필터링되는 전통적인 접근법과 달리, 본 개시는 샘플을 u=0에 재투영함으로써 u차원을 우선 붕괴시키고 그 다음에 다시 스케일링된 필터를 x를 따라서 적용하는 것을 서술한다. 각각의 깊이 레이어 내의 일정한 전단 값을 고려해 볼 때 이것이 가능하다.

현실적인 개구

상술한 주파수 분석은 개구 함수가 로우 패스 필터와 같이 작용한다는 가정에 근거한다. 하지만 보케(bokeh)와 같은 보다 현실적인 카메라 효과는 원형 개구 함수 또는 심지어 6각형 개구 함수를 필요로 할 수 있다. 이들 함수는 u, v 공간에서 절단되고(truncated) 따라서 주파수 공간에서 싱크와 유사한(sinc-like) 응답과 함께 큰 스펙트럼 지원을 갖는다. 예컨대, 원형 개구의 주파수 응답은 징크 함수(jinc function)(싱크 함수(sinc function)의 정반대의 유사체(polar analogue))이다[Goodman 2005].

도 6은 절단된 개구 함수의 주파수 응답 및 Ω_u를 따라서 전단되는 수정된 재구성 필터를 나타낸다. 전단이 일정한 경우, 개구 응답은 Ω_x축에 투영되고 성분 필터 F ₂에 포함될 수 있다. 하지만 상이한 전단의 경우, 개구 응답은 Ω_x에 상이한 스케일로 투영된다.

응답의 주극(main lobe)에서 에너지를 보존하기 위해 가장 큰 투영이 선택되고 필터 F ₂에 포함될 수 있다. 최초 도메인에서, 이것은 가장 작은 전단에 근거하여 개구 함수를 스케일링하는 것에 해당한다. 전단 경계가 클 때, 개구 주파수 응답에 있어서의 부극(side lobe)은 억제되어 보케의 선예도(sharpness)를 낮출 것이다. 개구 함수에 따라서는, 필터 F ₂는 x, y에서 분리 가능하지 않을 수 있음을 주의하라.

파티셔닝 깊이

영역 내에서 최소 전단과 최대 전단 사이에 큰 차이가 있을 때, 결과의 주파수 경계는 매우 커져 도 2(d)에 나타낸 바와 같이 재구성 필터를 비효율적이게 할 수 있다.

전단은 깊이에 따라 단조적으로 달라지기 때문에, 광 필드 정보를 서로소의(disjoint) 깊이 범위로 파티셔닝함으로써, 각각의 파티션 내의 전단 경계는 줄어든다[Chai et al. 2000]. 따라서, 방사 휘도가 각각의 파티션에 대하여 각기 필터링되는 경우, 보다 효과적인 전단된 필터가 사용될 수 있다. 각각의 파티션으로부터의 필터링된 방사 휘도 값은 조합되어 픽셀의 최종 컬러를 재구성할 수 있다.

하지만 상이한 파티션은 서로를 가릴 수 있고 파티션에 대응하는 방사 휘도는 전체 방사 휘도에 기여하거나 기여하지 않을 수 있다. 각각의 파티션으로부터의 기여를 분석하기 위해, 파티션에 걸쳐 폐색의 원인이 되는 전체 방사 휘도에 대한 식이 이하와 같이 얻어질 수 있다.

파티션 G ₁이 카메라에 가장 가깝고 파티션 G _N이 카메라로부터 가장 먼, 앞에서 뒤로 순서가 지어진 N개의 파티션을 가정한다. L _i 를 점 P=(x, y, u, v)에서의 파티션 i로부터의 방사 휘도로 하고 V _i 를 파티션 i로부터의 방사 휘도가 점 P에서 잠재적으로 보이는지를 나타내는 가시성 함수로 한다. V _i 의 값은 전경(foreground) 레이어로부터의 폐색과 독립적이다.

P에서의 최종 방사 휘도는 P에 기여할 수 있는 가장 앞의 파티션의 방사 휘도에 의해 주어질 것이다. 이것은 이하와 같이 표현될 수 있다.

식 9의 출력을 필터링하는 것은 픽셀에 대한 재구성된 방사 조도 E를 제공한다. 하지만, 출력 방사 휘도 L을 필터링하는 대신에, 각각의 파티션 i의 L _i 항 및 V _i 항은 먼저 필터링될 수 있다. 식 (9)는 필터링된 값을 조합하기 위해 사용될 수 있는 블렌딩 식을 나타낸다.

가시성 함수의 주파수 경계

Ramamoorthi 및 Egan은 소프트 섀도우와 관련하여 가시성 함수를 이전에 분석하였고[Ramamoorthi et al. 2012; Egan et al. 2011b], 본 개시는 그 분석을 기반으로 하여 디포커스 블러로 확장한다. 식 (4)와 유사하게, 방사 휘도 소스가 일정한 깊이에 있는 경우에 V는 렌즈의 중심에 재투영될 수 있다.

함수 V ⁰은 렌즈의 중심에서의 가시성이고 함수의 에지가 방사 휘도 소스의 경계에 대응하는 직사각형 함수의 급수(series)에 의해 나타내어질 수 있다[Ramamoorthi et al. 2012]. 주파수 도메인으로 변환하여, 대응하는 주파수 응답은 Φ가 전단의 기울기인 Ω_x, Ω_u 공간에서 선을 따라서 전단된다. 다양한 깊이에서의 방사 휘도 소스에 대하여, 주파수 성분의 대부분은 최소 및 최대 전단에 의해 경계가 이루어지는 쐐기 내에 다시 놓일 것이다[Egan et al. 2011b].

주파수 도메인에서 L과 V의 곱은 컨벌루션으로 변환되어, 이하를 식 (3)에 도입한다.

L 및 V의 항이 먼저 필터링되기 때문에, 주파수 컷오프 Ω_a 및 Ω_b는 L 및 V에 독립적으로 적용된다. 따라서 L 및 V 모두에 대하여 동일한 근사 주파수 경계 및 동일한 전단된 필터가 얻어질 수 있다.

분할 휴리스틱

좋은 파티션을 선택하기 위한 중요한 측면은 재구성된 화상에서 분산을 줄이는 방식으로 그것을 행하는 것이다. 광 필드 샘플을 0 및 1의 번호를 갖는 두 파티션으로 분할하고, 파티션 0이 카메라에 더 가까운 경우를 생각한다. 분할점에 따라서, 특정한 전단 경계 및 대응하는 필터가 각각의 파티션에 대하여 얻어진다. 양쪽의 파티션에서 필터링된 출력의 분산을 추정할 수 있는 경우, 이들 추정은 재구성된 화상에서 전체 분산을 추정하는 분할 휴리스틱을 얻기 위해 조합될 수 있다.

특정한 분할점에 대하여, λ₀ 및 λ₁을 두 파티션에 대응하는 분산 추정으로 하고 N₀, N₁을 이들 파티션에 있어서의 샘플의 수로 한다. 파티션이 서로 막지 않는다고 가정되는 경우, 최종 분산은 각각의 파티션에 대한 분산 추정을 사용하여 평가될 수 있다. 이것은 분산 휴리스틱 S를 제공한다.

각각의 파티션에 대하여 분산 추정을 얻기 위해, 광 필드 샘플은 i.i.d 처리에 의해 서술된다고 가정될 수 있다. Φ_i ^min 및 Φ_i ^max를 전단 경계로 하고 R _i 를 파티션 i에 대한 대응하는 필터로 한다. 그러면 필터링된 결과의 분산은 σ²(R _i )σ²(L _i )에 의해 주어지고, 여기서 σ²(R _i )는 필터 응답의 분산이고 σ²(L _i )는 입력 방사 휘도의 분산이다.

σ²(L _i )의 값은 일반적으로 알려지지 않는다. 입력 분산은 일정하다고 가정하면 이 예에서 그것은 무시될 수 있다. σ²(R _i )의 계산을 간략화하기 위해, 필터는 이상적인 브릭월(brick-wall) 응답을 갖는다고 가정된다. 따라서 파시발의 정리(Parseval's theorem)를 사용하면, σ²(R _i )는 간단히 필터의 주파수 경계 B 내의 영역이다.

출력 분산은 또한 각각의 파티션 내에 들어가는 샘플의 수에 의존한다. 샘플의 수가 작은 경우에는 아무리 많은 필터링도 분산을 줄일 수 없다. 따라서, 최종 노이즈 분산 추정 λ_i는 파티션 N _i 에서의 샘플의 수에 근거하여 클램프될 수 있다.

예시적인 알고리즘

전체 신에서의 방사 휘도 소스의 깊이는 값이 넓은 범위에 퍼져, 많은 수의 파티션을 필요로 할 수 있다. 따라서 샘플은 x 및 y의 타일로 나누어질 수 있고 피치 타일은 독립적으로 처리될 수 있다. 또한, 전단된 재구성 필터가 채용되기 때문에, 타일의 바깥쪽으로부터의 샘플은 타일 안쪽의 필터링된 결과에 기여할 수 있다. 따라서, 외부의 타일은 또한 도 8의 예에서 나타낸 바와 같이 필터링을 위해 요구되는 추가의 샘플을 포함한다고 정의될 수 있다. 몇몇의 예에서, 지원될 수 있는 최대 필터 전단은 외부 타일의 사이즈에 의해 결정된다. 따라서, 몇몇의 구현에서, 필터 전단은 이 값으로 클램프될 수 있다.

도 8은 내부 타일 및 내부 타일의 코너에서의 필터 풋프린트(filter footprint)를 도시한다. 필터 풋프린트는 내부 타일의 바깥쪽의 샘플을 커버할 수 있다. 외부 타일은 이들 샘플을 포함한다. 인접한 외부 타일은 서로 겹칠 수 있다.

본 개시에 따른 다양한 예시적인 알고리즘은 적어도 동작의 세 단계를 포함한다. 제 1 단계에서, 외부 타일 내의 모든 샘플은 깊이에 있어서의 파티션을 얻기 위해 분석될 수 있다. 각각의 파티션에 대하여, 재구성 필터는 최소 및 최대 전단에 근거하여 얻어질 수 있다. 제 2 단계에서, 각각의 파티션에 대한 샘플 방사 휘도 및 가시성 값은 필터링될 수 있고, 최종 단계에서, 필터링된 방사 휘도 값은 식 (9)를 사용하여 함께 합성될 수 있다. 도 7은 2개의 오브젝트가 초점이 맞지 않고 상이한 파티션에 맵핑되어 있는 1개의 전경 및 1개의 배경의, 2개의 오브젝트를 갖는 간단한 신의 상이한 단계를 예시적인 알고리즘으로서 도시한다. 도 1은 상이한 단계로부터의 출력을 갖는 예시적인 신을 나타낸다.

재귀적인(recursive) 파티셔닝

분할 휴리스틱을 사용하여, 광 필드 샘플은 재구성된 신호의 전체 분산을 시험 및 최소화하도록 파티셔닝될 수 있다. 다양한 구현에서 예시적인 처리는 스크린 타일 내에 모든 샘플을 포함하는 하나의 파티션으로 시작할 수 있다. 전단 값의 히스토그램이 만들어질 수 있고 히스토그램 빈(histogram bin)은 보다 작은 자식 파티션(child partition)을 생성하기 위해 재귀적으로 분할될 수 있다.

각각의 히스토그램 빈 k는 그 빈 내의 최소

및 최대 전단

뿐만 아니라 샘플의 수 N _k 를 저장한다. 부모 파티션(parent partiton) i에 B개의 빈이 있는 경우에는 B-1개의 가능한 분할 위치가 있다. 빈 k에서 파티션을 분할하는 것은 빈 1~k에 대응하는 좌측 파티션 l 및 빈 k+1~B에 대응하는 우측 파티션 r의 2개의 파티션을 초래한다.

자식 파티션 내의 샘플의 총수뿐만 아니라 최소 및 최대 전단은 히스토그램 빈에 저장되는 값으로부터 얻어질 수 있다. 대응하는 분산 추정 λ _l 및 λ _r 은 식 (10)을 사용하여 계산될 수 있다. B-1 분할 위치의 각각에 대한 분산 휴리스틱 S _k 가 평가될 수 있고, 예컨대, 이하에 설명되는 바와 같은 예시적인 알고리즘 1에서 서술되는 바와 같이 가장 낮은 S의 값을 주는 분할이 선택된다. 다양한 구현에서, 파티션은 고정된 수의 파티션이 생성될 때까지 또는 분할의 결과로서 분산에 유의한(significant) 감소가 없는 경우에 재귀적으로 분할될 수 있다.

필터링

타일에 있어서의 샘플이 파티셔닝된 후, 대응하는 전단된 필터 R _i 를 적용함으로써 파티션 i에 대하여 방사 휘도가 재구성될 수 있다. G _i 를 파티션 i에 속하는 샘플의 세트로 한다. 그러면 점 P에서 파티션에 대한 재구성된 방사 휘도는 다음과 같이 주어진다.

여기서 분모는 정규화 항 W _L 이다.

가시성 함수는 전경 파티션으로부터의 폐색과 독립적이라는 것을 위로부터 상기하라. 따라서, 파티션 i에 대하여 가시성 함수 V _i 를 필터링하면서, 전경 파티션 0~i-1에 속하고 파티션 i를 잠재적으로 가릴 수 있는 샘플은 무시 또는 폐기될 수 있다. H _i 를 파티션 i~N에 속하는 가려지지 않은 샘플의 세트로 한다. 그러면 파티션 i에 대한 재구성된 v _i 의 값은 다음과 같이 주어진다.

여기서 분모는 정규화 항 W _V 이다. 정의에 의해, V의 값은 V가 파티션 i에 속할 때 1이고 그렇지 않을 때 0이므로, 식 (11)은 또한 다음과 같이 쓸 수 있다.

상술한 바와 같이, 필터 R _i 의 F ₁ 및 F ₂ 성분은 외부 타일의 샘플에 각기 적용될 수 있다. 외부 타일의 각각의 샘플에 있어서, 샘플 방사 휘도 및 가시성 항은 필터 F ₁에 의해 스케일링된 후, 예컨대, 이하의 예시적인 알고리즘 2에서 설정되는 각각의 파티션에 대한 2D 격자에 재투영될 수 있다. 그러면 필터 F ₂는 이들 2D 격자에 걸쳐서 평가될 수 있다. 개구 함수가 분리 가능한 경우, F ₂는 x 및 y를 따라서 각기 평가될 수 있다.

예시적인 구현 및 결과

여기(도 9)에 제시되는 것은 Microsoft Direct3D 11 컴퓨트 셰이더에 근거한 GPU 구현뿐만 아니라 스칼라 CPU 구현을 사용하는 본 개시에 따른 알고리즘(OUR)에 대한 예시적인 품질 및 성능 결과이다. 예시적인 GPU 구현의 성능은 NVIDIA GeForce GTX 680(GPU A) 및 AMD Radeon HD 7970(GPU B)에서 측정되었다.

Epic Games의 Unreal SDK로부터의 CITADEL, Unigine Heaven 벤치마크로부터의 HEAVEN 및 pbrt 광선 추적기에 포함되는 신인 SAN MIGUEL의 3개의 상이한 테스트 신이 예시적인 알고리즘을 평가하기 위해 채용되었다.

본 명세서에 제공되는 계층화된(layered) 재구성 필터(LR)에 근거하는 예시적인 알고리즘은 확률적으로 렌더링된 디포커스 블러에 대한 2개의 알려진 재구성 기술, 간접적 광 필드 재구성(ILFR)에 대한 Lehtinen et al의 알고리즘 및 Shirely et al로부터의 국소 화상 공간 재구성 알고리즘(ISR)과 비교된다.

이하의 표 1은 CPU 및 GPU에서 실행되는 OUR 및 TLFR에 대하여 수 초마다 화상 재구성 시간이 보고되는 예시적 성능 비교를 제공한다. 괄호 내의 수는 CPU 및 GPU 구현에 대하여, TLFR에 대한 OUR의 성능 향상을 각각 나타낸다.

도 10은 본 개시에 따른 예시적인 시스템(1000)을 도시한다. 다양한 구현에서, 시스템(1000)은 매체 시스템일 수 있지만 시스템(1000)은 이 맥락으로 한정되지 않는다. 예컨대, 시스템(1000)은 퍼스널 컴퓨터(PC), 랩톱 컴퓨터, 울트라 랩톱 컴퓨터, 태블릿, 터치패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인용 디지털 보조 장치(PDA), 휴대 전화, 휴대 전화/PDA 조합, 텔레비전, 스마트 디바이스(예컨대, 스마트폰, 스마트 태블릿 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스, 카메라(예컨대, 자동 노출 카메라(point-and-shoot camera), 수퍼줌 카메라, 디지털 일안 반사(DSLR) 카메라) 등에 포함될 수 있다.

다양한 구현에서, 시스템(1000)은 디스플레이(1020)에 연결되는 플랫폼(1002)을 포함한다. 플랫폼(1002)은 콘텐츠 서비스 디바이스(들)(1030) 또는 콘텐츠 전달 디바이스(들)(1040) 또는 다른 유사한 콘텐츠 소스와 같은 콘텐츠 디바이스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 기구를 포함하는 내비게이션 컨트롤러(1050)는, 예컨대, 플랫폼(1002) 및/또는 디스플레이(1020)와 상호 작용하기 위해 사용될 수 있다. 이들 성분의 각각은 이하에서 보다 상세하게 서술된다.

다양한 구현에서, 플랫폼(1002)은 칩셋(1005), 프로세서(1010), 메모리(1012), 안테나(1013), 스토리지(1014), 그래픽 서브시스템(1015), 애플리케이션(1016) 및/또는 라디오(1018)의 임의의 조합을 포함할 수 있다. 칩셋(1005)은 프로세서(1010), 메모리(1012), 스토리지(1014), 그래픽 서브시스템(1015), 애플리케이션(1016) 및/또는 라디오(1018) 사이의 상호 통신을 제공할 수 있다. 예컨대, 칩셋(1005)은 스토리지(1014)와의 상호 통신을 제공할 수 있는 스토리지 어댑터(도시하지 않음)를 포함할 수 있다.

프로세서(1010)는 복잡 명령 세트 컴퓨터(CISC) 또는 축소 명령 세트 컴퓨터(RISC) 프로세서, x86 명령 세트 호환 프로세서, 멀티코어, 또는 임의의 다른 마이크로프로세서 또는 중앙 처리 장치(CPU)로서 구현될 수 있다. 다양한 구현에서, 프로세서(1010)는 듀얼코어 프로세서(들), 듀얼코어 모바일 프로세서(들) 등일 수 있다.

메모리(1012)는 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 또는 정적 RAM(SRAM)과 같은, 그러나 이것으로 한정되지 않는 휘발성 메모리로서 구현될 수 있다.

스토리지(1014)는 자기 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 내부 스토리지 디바이스, 장착되는 스토리지 디바이스, 플래시 메모리, 배터리 백업 SDRAM(동기성 DRAM), 및/또는 네트워크 액세스 가능 스토리지 디바이스와 같은, 그러나 이것으로 한정되지 않는 비휘발성 스토리지 디바이스로서 구현될 수 있다. 다양한 구현에서, 스토리지(1014)는, 예컨대, 복수의 하드 드라이브가 포함될 때에 귀중한 디지털 매체에 대한 스토리지 성능 개선된 보호를 증가시키기 위한 기술을 포함할 수 있다.

그래픽 서브시스템(1015)은 표시를 위한 정지 화상 또는 비디오 화상과 같은 화상의 처리를 행할 수 있다. 그래픽 서브시스템(1015)은, 예컨대, 그래픽 프로세싱 유닛(GPU) 또는 시각 프로세싱 유닛(VPU)일 수 있다. 아날로그 또는 디지털 인터페이스는 그래픽 서브시스템(1015)과 디스플레이(1020)를 통신 가능하게 연결하기 위해 사용될 수 있다. 예컨대, 인터페이스는 고해상도 멀티미디어 인터페이스, 디스플레이포트, 무선 HDMI, 및/또는 무선 HD 호환 기술 중 하나일 수 있다. 그래픽 서브시스템(1015)은 프로세서(1010) 또는 칩셋(1005)에 포함될 수 있다. 몇몇의 구현에서, 그래픽 서브시스템(1015)은 칩셋(1005)에 통신 가능하게 연결되는 독립형(stand-alone) 디바이스일 수 있다.

본 명세서에 서술되는 그래픽 및/또는 비디오 프로세싱 기술은 다양한 하드웨어 아키텍처에 구현될 수 있다. 예컨대, 그래픽 및/또는 비디오 기능은 칩셋 내에 포함될 수 있다. 혹은, 별개의 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 구현으로서, 그래픽 및/또는 비디오 기능은 멀티코어 프로세서를 포함하는 범용 프로세서에 의해 제공될 수 있다. 추가 실시 형태에서, 기능은 가정용 전자 디바이스에 구현될 수 있다.

라디오(1018)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 송신 및 수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 그러한 기술은 하나 이상의 무선 네트워크를 통한 통신을 수반할 수 있다. 예시적인 무선 네트워크는 무선 근거리 네트워크(WLAN), 무선 개인 영역 네트워크(WPAN), 무선 대도시 영역 네트워크(WMAN), 셀룰러 네트워크, 및 위성 네트워크를 포함한다(하지만 이것으로 한정되지는 않는다). 그러한 네트워크를 통한 통신에서, 라디오(1018)는 임의의 버전의 하나 이상의 적용 규격에 따라서 동작할 수 있다.

다양한 구현에서, 디스플레이(1020)는 임의의 텔레비전 타입 모니터 또는 디스플레이를 포함할 수 있다. 디스플레이(1020)는, 예컨대, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전형 디바이스, 및/또는 텔레비전을 포함할 수 있다. 디스플레이(1020)는 디지털 및/또는 아날로그일 수 있다. 다양한 구현에서, 디스플레이(1020)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(1020)는 시각 투영을 수신할 수 있는 투명한 표면일 수 있다. 그러한 투영은 다양한 형태의 정보, 화상, 및/또는 오브젝트를 전달할 수 있다. 예컨대, 그러한 투영은 모바일 증강 현실(MAR) 애플리케이션을 위한 시각 오버레이일 수 있다. 하나 이상의 소프트웨어 애플리케이션(1016)의 제어에 의해, 플랫폼(1002)은 디스플레이(1020)에 사용자 인터페이스(1022)를 표시할 수 있다.

다양한 구현에서, 콘텐츠 서비스 디바이스(들)(1030)는 임의의 국가적, 국제적 및/또는 독립적 서비스에 의해 호스팅될 수 있고 따라서, 예컨대, 인터넷을 통해서 플랫폼(1002)에 액세스 가능하다. 콘텐츠 서비스 디바이스(들)(1030)는 플랫폼(1002) 및/또는 디스플레이(1020)에 연결될 수 있다. 플랫폼(1002) 및/또는 콘텐츠 서비스 디바이스(들)(1030)는 네트워크(1060)와 매체 정보를 통신(예컨대, 송신 및/또는 수신)하기 위해 네트워크(1060)에 연결될 수 있다. 콘텐츠 전달 디바이스(들)(1040)는 또한 플랫폼(1002) 및/또는 디스플레이(1020)에 연결될 수 있다.

다양한 구현에서, 콘텐츠 서비스 디바이스(들)(1030)는 케이블 텔레비전 박스, 퍼스널 컴퓨터, 네트워크, 전화, 인터넷 사용 가능 디바이스 또는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 기기, 및 네트워크(1060)를 거쳐서 또는 직접적으로 콘텐츠 제공자와 플랫폼(1002) 및/또는 디스플레이(1020)의 사이에서 단방향으로 또는 쌍방향으로 콘텐츠를 통신할 수 있는 임의의 다른 유사한 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(1060)를 거쳐서 시스템(1000)의 성분 중 어느 하나 및 콘텐츠 제공자와 단방향 및/또는 쌍방향으로 통신될 수 있음이 이해될 것이다. 콘텐츠의 예는, 예컨대, 비디오, 음악, 의학 및 게임 정보 등을 포함하는 임의의 매체 정보를 포함할 수 있다.

콘텐츠 서비스 디바이스(들)(1030)는 매체 정보, 디지털 정보, 및/또는 다른 콘텐츠를 포함하는 케이블 텔레비전 프로그래밍과 같은 콘텐츠를 수신할 수 있다. 콘텐츠 제공자의 예는 임의의 케이블 또는 위성 텔레비전 또는 라디오 또는 인터넷 콘텐츠 제공자를 포함할 수 있다. 제공되는 예는 어떤 방법으로도 본 개시에 따른 구현을 한정하도록 의도되지 않는다.

다양한 구현에서, 플랫폼(1002)은 하나 이상의 내비게이션 기구를 갖는 내비게이션 컨트롤러(1050)로부터 제어 신호를 수신할 수 있다. 컨트롤러(1050)의 내비게이션 기구는, 예컨대, 사용자 인터페이스(1022)와 상호 작용하기 위해 사용될 수 있다. 다양한 실시 형태에서, 내비게이션 컨트롤러(1050)는 사용자가 공간적(예컨대, 연속적이고 다차원적인) 데이터를 컴퓨터에 입력하게 하는 컴퓨터 하드웨어 성분(구체적으로, 휴먼 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. 그래픽 사용자 인터페이스(GUI)와 같은 많은 시스템, 및 텔레비전 및 모니터는 사용자가 물리적 제스처를 사용하여 데이터를 제어하고 그 데이터를 컴퓨터 또는 텔레비전에 제공하게 한다.

컨트롤러(1050)의 내비게이션 기구의 움직임은 포인터, 커서, 포커스링, 또는 디스플레이에 표시되는 다른 시각적 표시기의 움직임에 의해 디스플레이(예컨대, 디스플레이(1020))에 모사될 수 있다. 예컨대, 소프트웨어 애플리케이션(1016)의 제어에 의해, 내비게이션 컨트롤러(1050)에 위치하는 내비게이션 기구는, 예컨대, 사용자 인터페이스(1022)에 표시되는 가상 내비게이션 기구에 맵핑될 수 있다. 다양한 실시 형태에서, 컨트롤러(1050)는 분리된 성분이 아닐 수 있고 플랫폼(1002) 및/또는 디스플레이(1020)에 포함될 수 있다. 하지만, 본 개시는 본 명세서에 나타내어지거나 서술되는 요소 또는 맥락으로 한정되지 않는다.

다양한 구현에서, 드라이버(도시하지 않음)는, 예컨대, 사용 가능할 때에, 사용자가 초기 시동 후에 버튼의 터치로 텔레비전과 같이 플랫폼(1002)을 즉시 켜고 끌 수 있게 하기 위한 기술을 포함할 수 있다. 프로그램 로직은 플랫폼이 "꺼질 때"에도 플랫폼(1002)이 매체 어댑터 또는 다른 콘텐츠 서비스 디바이스(들)(1030) 또는 콘텐츠 전달 디바이스(들)(1040)에 콘텐츠를 스트리밍하게 할 수 있다. 또한, 칩셋(1005)은, 예컨대, 5.1 서라운드 사운드 오디오 및/또는 고해상도 7.1 서라운드 사운드 오디오를 위한 하드웨어 및/또는 소프트웨어 서포트를 포함할 수 있다. 드라이버는 통합된 그래픽 플랫폼을 위한 그래픽 드라이버를 포함할 수 있다. 다양한 실시 형태에서, 그래픽 드라이버는 주변 요소 접속(PCI) 익스프레스 그래픽 카드를 포함할 수 있다.

다양한 구현에서, 시스템(1000)에 나타낸 성분의 임의의 하나 이상은 통합될 수 있다. 예컨대, 플랫폼(1002) 및 콘텐츠 서비스 디바이스(들)(1030)가 통합될 수 있거나, 또는 플랫폼(1002) 및 콘텐츠 전달 디바이스(들)(1040)가 통합될 수 있거나, 또는 플랫폼(1002), 콘텐츠 서비스 디바이스(들)(1030), 및 콘텐츠 전달 디바이스(1040)가 통합될 수 있다. 다양한 실시 형태에서, 플랫폼(1002) 및 디스플레이(1020)는 통합된 유닛일 수 있다. 예컨대, 디스플레이(1020) 및 콘텐츠 서비스 디바이스(들)(1030)가 통합될 수 있거나, 또는 디스플레이(1020) 및 콘텐츠 전달 디바이스(들)(1040)가 통합될 수 있다. 이들 예는 본 개시를 한정하도록 의도되지 않는다.

다양한 실시 형태에서, 시스템(1000)은 무선 시스템, 유선 시스템, 또는 양쪽의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현될 때, 시스템(1000)은 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 제어 로직 등과 같은 무선 공유 매체를 통해서 통신하기에 적합한 성분 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 예는 RF 스펙트럼 등과 같은 무선 스펙트럼의 일부분을 포함할 수 있다. 유선 시스템으로서 구현될 때, 시스템(1000)은 입력/출력(I/O) 어댑터, I/O 어댑터를 대응하는 유선 통신 매체와 접속하기 위한 물리적 커넥터, 네트워크 인터페이스 카드(NIC), 디스크 컨트롤러, 비디오 컨트롤러, 오디오 컨트롤러 등과 같은 유선 통신 매체를 통해서 통신하기에 적합한 성분 및 인터페이스를 포함할 수 있다. 유선 통신 매체의 예는 와이어, 케이블, 금속납(metal lead), 인쇄 회로 기판(PCB), 백플레인(backplane), 스위치 구성(switch fabric), 반도체 물질, 꼬임 쌍선(twisted-pair wire), 동축 케이블(co-axial cable), 광섬유 등을 포함할 수 있다.

플랫폼(1002)은 정보를 통신하기 위한 하나 이상의 논리적 또는 물리적 채널을 확립할 수 있다. 정보는 매체 정보 및 제어 정보를 포함할 수 있다. 매체 정보는 사용자를 위한 콘텐츠를 나타내는 임의의 데이터를 가리킬 수 있다. 콘텐츠의 예는, 예컨대, 음성 대화로부터의 데이터, 영상 회의, 스트리밍 비디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 기호, 그래픽, 이미지, 비디오, 텍스트 등을 포함할 수 있다. 음성 대화로부터의 데이터는, 예컨대, 음성 정보, 침묵 기간, 배경 잡음, 쾌적 잡음, 음색 등일 수 있다. 제어 정보는 자동화 시스템을 위한 커맨드, 명령 또는 제어어를 나타내는 임의의 데이터를 가리킬 수 있다. 예컨대, 제어 정보는 시스템을 통해서 매체 정보를 라우팅하기 위해 또는 미리 결정된 방식으로 매체 정보를 처리하도록 노드에 명령하기 위해 사용될 수 있다. 하지만, 실시 형태는 도 10에 나타낸 또는 서술된 요소 또는 맥락으로 한정되지 않는다.

상술한 바와 같이, 시스템(1000)은 다양한 물리적 스타일 또는 폼 팩터로 구현될 수 있다. 도 11은 시스템(1100)이 구현될 수 있는 작은 폼 팩터 디바이스(1100)의 구현을 도시한다. 다양한 실시 형태에서, 예컨대, 디바이스(1100)는 무선 기능을 갖는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는 프로세싱 시스템 및 예컨대 하나 이상의 배터리와 같은 모바일 파워 소스 또는 서플라이를 갖는 임의의 디바이스를 가리킬 수 있다.

상술한 바와 같이, 모바일 컴퓨팅 디바이스의 예는 퍼스널 컴퓨터(PC), 랩톱 컴퓨터, 울트라 랩톱 컴퓨터, 태블릿, 터치패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팜톱 컴퓨터, 개인용 디지털 보조 장치(PDA), 휴대 전화, 휴대 전화/PDA 조합, 텔레비전, 스마트 디바이스(예컨대, 스마트폰, 스마트 태블릿, 또는 스마트 텔레비전), 모바일 인터넷 디바이스(MID), 메시징 디바이스, 데이터 통신 디바이스, 카메라(예컨대, 자동 노출 카메라, 수퍼줌 카메라, 디지털 일안 반사(DSLR) 카메라) 등을 포함할 수 있다.

모바일 컴퓨팅 디바이스의 예는 또한 손목 컴퓨터, 손가락 컴퓨터, 반지 컴퓨터, 안경 컴퓨터, 벨트클립 컴퓨터, 암밴드 컴퓨터, 신발 컴퓨터, 옷 컴퓨터, 및 다른 착용 가능한 컴퓨터와 같은 사람에 의해 착용되도록 마련되는 컴퓨터를 포함할 수 있다. 다양한 실시 형태에서, 예컨대, 모바일 컴퓨팅 디바이스는 음성 통신 및/또는 데이터 통신뿐만 아니라 컴퓨터 애플리케이션을 실행할 수 있는 스마트폰으로서 구현될 수 있다. 몇몇의 실시 형태는 예로서 스마트폰으로서 구현되는 모바일 컴퓨팅 디바이스로 서술될 수 있지만, 다른 실시 형태는 다른 무선 모바일 컴퓨팅 디바이스도 사용하여 구현될 수 있음이 이해될 것이다. 실시 형태는 이 맥락으로 한정되지 않는다.

도 11에 나타낸 바와 같이, 디바이스(1100)는 하우징(1102), 디스플레이(1104), 입력/출력(I/O) 디바이스(1106), 및 안테나(1108)를 포함할 수 있다. 디바이스(1100)는 또한 내비게이션 기구(1112)를 포함할 수 있다. 디스플레이(1104)는 모바일 컴퓨팅 디바이스에 적절한 정보를 표시하는 임의의 적합한 디스플레이 유닛을 포함할 수 있다. I/O 디바이스(1106)는 모바일 컴퓨팅 디바이스에 정보를 입력하는 임의의 적합한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(1106)의 예는 영숫자 키보드, 숫자 키패드, 터치패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등을 포함할 수 있다. 정보는 또한 마이크로폰(도시하지 않음)을 통해서 디바이스(1100)에 입력될 수 있다. 그러한 정보는 음성 인식 디바이스(도시하지 않음)에 의해 디지털화될 수 있다. 실시 형태는 이 맥락으로 한정되지 않는다.

도 12는 본 개시의 몇몇의 구현에 따른 예시적인 처리(1200)를 도시한다. 처리(1200)는 도 12의 블록(1202, 1204, 1206)의 하나 이상에 의해 도시되는 바와 같이 하나 이상의 동작, 기능 또는 행동을 포함할 수 있다. 처리(1200)는 블록(1202)에서 본 명세서에 서술되는 바와 같이 노이즈 계량을 사용하여 광 필드 정보를 복수의 깊이 레이어로 적응적으로 파티셔닝하는 것으로 시작될 수 있다. 그 후, 블록(1204)에서, 복수의 깊이 레이어의 각각의 깊이 레이어는 본 명세서에 서술되는 바와 같이 독립적으로 필터링될 수 있다. 그러면 처리(1200)는 블록(1206)에서 본 명세서에 서술되는 바와 같이 최종 픽셀 컬러를 재구성하기 위해 필터링된 레이어를 합성하는 것으로 끝날 수 있다.

예시적인 처리(1200)의 구현은, 도 12에 도시된 바와 같이, 도시된 순서로 나타낸 모든 블록를 수행하는 것을 포함할 수 있지만, 본 개시는 이것과 관련하여 한정되지 않고, 다양한 예에서, 처리(1200)의 구현은 나타낸 블록의 일부분만을 수행하는 것 및/또는 도시된 것과 상이한 순서로 수행하는 것을 포함할 수 있다.

또한, 도 12의 블록의 임의의 하나 이상은 하나 이상의 컴퓨터 프로그램 제품에 의해 제공되는 명령에 응답하여 수행될 수 있다. 그러한 프로그램 제품은, 예컨대, 프로세서에 의해 실행될 때에 본 명세서에 서술되는 기능을 제공할 수 있는 명령을 제공하는 신호 보유 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 머신 판독 가능 매체의 임의의 형태로 제공될 수 있다. 따라서, 예컨대, 하나 이상의 프로세서 코어(들)를 포함하는 프로세서는 하나 이상의 머신 판독 가능 매체에 의해 프로세서에 전달되는 프로그램 코드 및/또는 명령 또는 명령 세트에 응답하여 도 12에 나타낸 블록의 하나 이상을 수행할 수 있다. 일반적으로, 머신 판독 가능 매체는 본 명세서에 서술되는 디바이스 및/또는 시스템 중 어느 하나가 처리(1200)와 같은 본 개시에 따른 처리를 구현하게 할 수 있는 프로그램 코드 및/또는 명령 또는 명령 세트의 형태로 소프트웨어를 전달할 수 있다.

다양한 실시 형태는 하드웨어 요소, 소프트웨어 요소, 또는 양쪽의 조합을 사용하여 구현될 수 있다. 하드웨어 요소의 예는 프로세서, 마이크로프로세서, 회로, 회로 요소(예컨대, 트랜지스터, 저항, 커패시터, 인덕터 등), 집적 회로, 특정 용도용 집적 회로(ASIC), 프로그램 가능 논리 디바이스(PLD), 디지털 신호 프로세서(DSP), 필드 프로그램 가능 게이트 어레이(FPGA), 로직 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩셋 등을 포함할 수 있다. 소프트웨어의 예는 소프트웨어 성분, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 오퍼레이팅 시스템 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 기능, 방법, 절차, 소프트웨어 인터페이스, 애플리케이션 프로그램 인터페이스(API), 명령 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼, 또는 그 임의의 조합을 포함할 수 있다. 실시 형태가 하드웨어 요소 및/또는 소프트웨어 요소를 사용하여 구현되는지 여부를 결정하는 것은 요구되는 계산 속도, 전력 레벨, 내열성, 프로세싱 사이클 예산, 입력 데이터 속도, 출력 데이터 속도, 메모리 리소스, 데이터 버스 속도 및 다른 설계 또는 성능 제약과 같은 임의의 수의 요인에 따라서 달라질 수 있다.

적어도 한 실시 형태의 하나 이상의 측면은 머신에 의해 판독될 때 머신이 본 명세서에 서술되는 기술을 행하도록 로직을 제작하게 하는 프로세서 내의 다양한 로직을 재현하는 머신 판독 가능 매체에 저장되는 대표 명령에 의해 구현될 수 있다. "IP 코어"로 알려진 그러한 재현은 유형의 머신 판독 가능 매체에 저장되어 실제로 로직 또는 프로세서를 제조하는 제작 머신에 로딩되도록 다양한 고객 또는 제조 시설에 공급될 수 있다.

본 명세서에 설명되는 특정한 특징은 다양한 구현을 참조하여 서술되었지만, 이 서술은 한정하는 의미로 이해되도록 의도되지 않는다. 따라서, 다른 구현뿐만 아니라, 본 개시에 관련되는 분야의 당업자에게 명백한 본 명세서에 서술되는 구현의 다양한 수정은 본 개시의 정신 및 범위 내에 존재하는 것으로 여겨진다.

참조

CHAI, J. -X., TONG, X., CHAN, S. -C., AND SHUM, H. -Y. 2000. Plenoptic Sampling. In Proceedings of SIGGRAPH 2000, ACM, 307-318.

COOK, R. L., PORTER, T., AND CARPENTER, L. 1984. Distributed Ray Tracing. In Computer Graphics(Proceedings of SIGGRAPH 84), ACM, vol. 18, 137-145.

DEMERS, J. 2004. Depth of Field: A Survey of Techniques. In GPU Gems, R. Fernando, Ed. Addison-Wesley, 375-390.

EARL HAMMON, J. 2007. Practical Post-Process Depth of Field. In GPU Gems 3, H. Nguyen, Ed. Addison-Wesley, chapter 28, 583-606.

EGAN, K., TSENG, Y. -T., HOLZSCHUCH, N., DURAND, F., AND RAMAMOORTHI, R. 2009. Frequency Analysis and Sheared Reconstruction for Rendering Motion Blur. ACM Transactions on Graphics 28, 93:1-93:13.

EGAN, K., DURAND, F., AND RAMAMOORTHI, R. 2011. Practical filtering for efficient ray-traced directional occlusion. SIGGRAPH Asia 2011 30, 6(Dec.).

EGAN, K., HECHT, F., DURAND, F., AND RAMAMOORTHI, R. 2011. Frequency analysis and sheared filtering for shadow light fields of complex occluders. ACM Transactions on Graphics 30, 9:1-9:13.

GOODMAN, J. W. 2005. Introduction to Fourier Optics, 3rd ed. Roberts & Co.

KOLB, C., MITCHELL, D., AND HANRAHAN, P. 1995. A Realistic Camera Model for Computer Graphics. In Proceedings of SIGGRAPH 1995, ACM, 317-324.

LEHTINEN, J., AILA, T., CHEN, J., LAINE, S., AND DURAND, F. 2011. Temporal Light Field Reconstruction for Rendering Distribution Effects. ACM Transactions on Graphics, 30, 55:1-55:12.

LEHTINEN, J., AILA, T., LAINE, S., AND DURAND, F. 2012. Reconstructing the indirect light field for global illumination. ACM Trans. Graph. 31, 4(July), 51:1-51:10.

MEHTA, S., WANG, B., AND RAMAMOORTHI, R. 2012. Axis aligned filtering for interactive sampled soft shadows. ACM Trans. Graph. 31, 6(Nov), 163:1-163:10.

POTMESIL, M., AND CHAKRAVARTY, I. 1981. A Lens and Aperture Camera Model for Synthetic Image Generation. In Computer Graphics(Proceedings of SIGGRAPH 81), ACM, vol. 15, 297-305.

RAMAMOORTHI, R., ANDERSON, J., MEYER, M., AND NOWROUZEZAHRAI, D. 2012. A theory of monte carlo visibility sampling. ACM Trans. Graph. 31, 5(Sept.), 121:1-121:16.

SHIRLEY, P., AILA, T., COHEN, J., ENDERTON, E., LAINE, S., LUEBKE, D., AND MCGUIRE, M. 2011. A local image reconstruction algorithm for stochastic rendering. In Symposium on Interactive 3D Graphics and Games, ACM, 9-14.

SOLER, C., SUBR, K., DURAND, F., HOLZSCHUCH, N., AND SILLION, F. 2009. Fourier depth of field. ACM Transactions on Graphics 28, 18:1-18:12.

Claims (30)

1. 디포커스 블러(defocus blur)를 행하기 위한 컴퓨터 구현된 방법으로서,
   노이즈 추정 계량(noise estimation metric)을 사용하여 광 필드 정보를 복수의 깊이 레이어(depth layer)로 적응적으로 파티셔닝하는 단계와,
   상기 깊이 레이어의 각각을 독립적으로 필터링하는 단계와,
   최종 픽셀 컬러를 재구성하도록 상기 필터링된 레이어를 합성하는 단계를 포함하는
   방법.
   
2. 제 1 항에 있어서,
   상기 광 필드 정보를 적응적으로 파티셔닝하는 단계는 독립된 픽셀 타일에 적응적인 파티셔닝을 행하는 단계를 포함하는
   방법.
   
3. 제 1 항에 있어서,
   상기 깊이 레이어의 각각을 필터링하는 단계는 전단된 필터(sheared filter)를 채용하는 단계를 포함하는
   방법.
   
4. 제 3 항에 있어서,
   상기 전단된 필터는 분리 가능한 전단된 필터를 포함하는
   방법.
   
5. 제 3 항에 있어서,
   상기 광 필드 정보의 샘플을 분석하고 상기 분석에 근거하여 전단축(shear axis)을 변경함으로써 상기 전단된 필터를 생성하는 단계를 더 포함하는
   방법.
   
6. 제 3 항에 있어서,
   상기 광 필드 정보의 주파수 경계(frequency bound)에 근거하여 상기 전단된 필터를 얻는 단계를 더 포함하는
   방법.
   
7. 제 6 항에 있어서,
   상기 전단된 필터는 상기 주파수 경계 밖의 노이즈를 실질적으로 억제하는
   방법.
   
8. 제 3 항에 있어서,
   최소 전단 및 최대 전단에 근거하여 상기 전단된 필터를 얻는 단계를 더 포함하는
   방법.
   
9. 제 1 항에 있어서,
   상기 광 필드 정보를 적응적으로 파티셔닝하는 단계는 샘플 방사 휘도(radiance) 값 및 샘플 가시성(visibility) 값을 야기하고,
   상기 깊이 레이어의 각각을 필터링하는 단계는 필터링된 방사 휘도 값을 생성하기 위해 상기 샘플 방사 휘도 값을 필터링하는 단계를 포함하는
   방법.
   
10. 제 9 항에 있어서,
    상기 필터링된 레이어를 합성하는 단계는 상기 필터링된 방사 휘도 값을 합성하는 단계를 포함하는
    방법.
    
11. 제 1 항에 있어서,
    상기 광 필드 정보를 적응적으로 파티셔닝하는 단계는 상기 광 필드 정보를 복수의 타일에 배분하는 단계 및 상기 복수의 타일의 각각의 타일에서 상기 광 필드 정보를 각기 처리하는 단계를 포함하는
    방법.
    
12. 제 1 항에 있어서,
    상기 광 필드 정보를 적응적으로 파티셔닝하는 단계는,
    복수의 후보 분할 결합(joint)에 대하여 출력 분산을 추정함으로써 깊이 파티션 위치를 얻는 단계와,
    상기 복수의 후보 분할 결합 중 보다 작은 추정된 출력 분산을 갖는 후보 분할 결합을 선택하는 단계를 포함하는
    방법.
    
13. 컴퓨팅 디바이스에서 실행되는 것에 응답하여 상기 컴퓨팅 디바이스로 하여금 제 1 항 내지 제 12 항 중 어느 한 항에 기재된 방법을 수행하게 하는 복수의 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체.
    
14. 동작 가능할 때에 제 1 항 내지 제 12 항 중 어느 한 항에 기재된 방법을 행하도록 구성되는 장치.
    
15. 제 1 항 내지 제 12 항 중 어느 한 항에 기재된 방법을 행하는 수단을 포함하는 장치.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제

Images