KR20180053724A - 명시야 콘텐츠를 인코딩하기 위한 방법 - Google Patents

Abstract

일 실시예에서, 명시야 콘텐츠를 인코딩하기 위한 방법이 제안된다. 방법은, 상기 명시야 콘텐츠와 연관된 광선들의 세트(401)에 대해, 상기 명시야 콘텐츠의 2개의 평면 파라미터화(2000; 402, 403)로부터 광선 당 4개의 좌표를 획득하는 단계; 상기 세트로부터의 각각의 광선에 대해, 제1 2D 광선 다이어그램(

,

)의 포인트들을 정의하는, 상기 2개의 평면 파라미터화에서 사용되는 2개의 평면에 수직인 평면(404, 405, P) 상에의 상기 세트로부터의 상기 광선들의 투영에 대응하는, 상기 4개의 좌표로부터의 2개의 좌표를 획득하는 단계(2001); 상기 제1 2D 광선 다이어그램에서 관심 라인들을 전달하는 상기 제1 2D 광선 다이어그램(

,

) 상에 이산적 라돈 변환(discrete Radon transform)을 적용하는 단계(2002); 상기 관심 라인들을 인코딩된 관심 라인들로 인코딩하는 단계(2003); 및 상기 인코딩된 관심 라인들을 저장하는 단계(2004)를 포함한다는 점에서 주목할 만하다.

Description

명시야 콘텐츠를 인코딩하기 위한 방법

본 개시내용은 계산 이미징, 명시야 포착 디바이스들 및 플렌옵틱 카메라들의 분야에 관한 것이다. 더욱 정확하게는, 명시야 데이터의 송신, 렌더링, 프로세싱, 믹싱에 사용될 수 있는 명시야에 대한 표현 포맷(representation format)을 다룬다.

본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 발명의 다양한 양태와 관련될 수 있는 본 기술분야의 다양한 양태를 독자에게 소개하도록 의도된다. 이러한 논의는 본 발명의 다양한 양태의 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 선행 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.

4D 명시야의 샘플링으로 보일 수 있는 4D 명시야 데이터의 포착(즉, 논문[" Understanding camera trade-offs through a Bayesian analysis of light field projections " by Anat Levin et al., published in the conference proceedings of ECCV 2008]의 도 1에 설명된 바와 같은 광선들의 기록)은 어려운 연구 주제이다.

실제로, 카메라로부터 획득되는 전통적인 2D 이미지들에 비해, 4D 명시야 데이터는 사용자가 이미지들의 렌더링 및/또는 사용자와의 상호작용을 향상시키는 더 많은 후처리 특징에 액세스할 수 있게 한다. 예를 들어, 4D 명시야 데이터를 사용하면, 사후적인 이미지들의 리포커싱(즉, 자유롭게 선택된 초점화 거리들로 리포커싱하는 것은, 초점 평면의 위치가 사후적으로 특정/선택될 수 있음을 의미함)뿐만 아니라, 이미지의 장면에서 시점을 약간 변경하는 것을 용이하게 수행하는 것이 가능하다. 4D 명시야 데이터를 획득하기 위해, 몇몇 기술이 사용될 수 있다. 예를 들어, 문헌 WO 2013/180192 또는 문헌 GB 2488905에 예시된 바와 같이, 플렌옵틱 카메라는 4D 명시야 데이터를 포착할 수 있다. 플렌옵틱 카메라의 아키텍처에 대한 세부사항은 본 문헌의 도 1 및 도 2에 제공된다. 4D 명시야 데이터를 획득하는 다른 방식은 본 문헌의 도 3에 예시된 바와 같이 카메라 어레이를 사용하는 것이다. 카메라 어레이의 아키텍처에 대한 세부사항들은 도 3에 제공된다. 마지막으로, 4D 명시야를 포착하는 다른 방식은 상이한 초점 평면들에서 동일한 장면의 2D 이미지들의 시퀀스를 캡처하도록 구성된 종래의 카메라를 사용하는 것이다. 예를 들어, 문헌[" Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays " by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014]에 설명된 기술이 4D 명시야 데이터의 포착을 달성하기 위해 사용될 수 있다.

이하에서는 플렌옵틱 카메라와 카메라 어레이만이 설명되지만, 본 개시내용은 문헌 US 2010/0265386에서 또는 논문[" Image and depth from a conventional camera with a coded aperture " by A. Levin et al., published in the proceedings of SIGGRAPH 2007]에서 예시된 바와 같은 코딩된 애퍼처 엘리먼트들을 포함하거나, 또는 논문["Extended depth of field through wave-front coding" by Edward R. Dowski, Jr., and W. Thomas Cathe, published in Applied Optics, 1995 Apr 10]에서 언급된 바와 같은 파면 코딩 기술들을 사용하는 디바이스들과 같은 4D 명시야 데이터를 포착하는 다른 디바이스들에도 적용될 수 있음을 주목해야 한다.

최신 기술에서, 4D 명시야 데이터를 표현(또는 정의)하는 몇몇 방식이 존재한다. 실제로, 박사 학위 논문[" Digital Light Field Photography " by Ren Ng, published in July 2006]의 챕터 3.3에서, 4D 명시야 데이터를 표현하는 3가지 상이한 방식이 설명된다. 먼저, 4D 명시야 데이터는 예를 들어, 마이크로-렌즈 이미지들의 컬렉션에 의해, 도 1에 예시된 바와 같이 플렌옵틱 카메라에 의해 기록되는 경우 표현될 수 있다(본 문헌의 도 2의 설명 참조). 이러한 표현에서 4D 명시야 데이터는 원시 이미지들(또는 원시 4D 명시야 데이터)로 지칭된다. 둘째로, 4D 명시야 데이터는 서브-애퍼처 이미지들의 세트에 의해, 플렌옵틱 카메라로 또는 카메라 어레이로 기록되는 경우 표현될 수 있다. 서브-애퍼처 이미지는 일 시점으로부터의 장면의 포착된 이미지에 대응하고, 시점은 2개의 서브-애퍼처 이미지 사이에서 약간 상이하다. 이러한 서브-애퍼처 이미지들은 촬영된 장면의 시차(parallax) 및 깊이에 대한 정보를 제공한다. 셋째로, 4D 명시야 데이터는 에피폴라(epipolar) 이미지들의 세트로 표현될 수 있다(예를 들어, 문헌[" Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera ", by S. Wanner et al., published in the conference proceedings of ISVC 2011]을 참조한다).

그러나, 플렌옵틱 디바이스들은 극단적으로 이종이고(예를 들어, (마이크로 렌즈들(예를 들어, 상이한 초점 길이들 등을 갖는 마이크로-렌즈들)의 특정 광학 배열들을 정의하는) 유형 1 또는 2의 플렌옵틱 디바이스들을 구별할 수 있음), 카메라 어레이들은 상이한 취향들이라는 사실로 인해, 모든 이러한 명시야 포착 디바이스들은 이들의 사설 파일 포맷을 가져서, 명시야 기술은 정규의 2D 또는 3D 이미징 이외에는 존재할 수 없는 것으로 나타나는데, 이는 다차원 정보의 포착 및 송신을 지원하는 어떠한 표준도 존재하지 않기 때문이다. 예를 들어, 4D 명시야 데이터가 원시 4D 명시야 데이터로 표현되는 경우, 원시 4D 명시야 데이터의 프로세싱을 위해 및 모든 필요한 추가적인 정보를 나열하는 표준이 존재하지 않는 순간을 위해 마이크로-렌즈들의 크기 등과 같은 일부 추가적인 정보가 필요하다.

그러나, 이전에 언급된 바와 같은 4D 명시야 데이터는 또한 논문[" Light Field Analysis for Modeling Image Formation " by Chi-Kai Liang et al., published in the IEEE Transactions on Image Processing, Vol. 20, N°2, in February 2011]의 "Light Field Representation"로 명명된 단락 III 섹션 A에, 또는 논문[" Light Field Rendering " by Mar Levoy and Pat Hanrahan]에, 또는 문헌들 US 8,237,708, US 6,097,394 또는 US 6,023,523에 상세화된 바와 같이 파라미터화 프로세스로부터 유도된 값들에 의해 표현될 수 있다는 것을 주목해야 한다. 따라서, 4D 명시야 데이터는 좌표계에서 (광선들과 연관된) 포인트들의 세트로서 표현될 수 있다(문헌 WO 2013/180192의 단락들 [0028] 내지 [0030] 참조). 보다 정확하게는, 4D 명시야 데이터를 표현하기 위해(즉, 각각의 광선은 2개의 평면과 이러한 광선의 교차점에 대응하는 좌표 값들의 세트로 표현됨), 평행이든 아니든 2개의 평면의 사용을 통한 4D 명시야의 파라미터화의 사용은 사설 포맷들의 사용을 회피하고 4D 명시야 디바이스들(즉, 논문[" Near-Eye Light Field Displays " by D. Lanman and D. Luebke, presented at the conference SIGGRAPH 2013 in July 2013]에서 설명된 것과 같은, 예를 들어, 또한 4D 명시야 디스플레이 디바이스들에 대한 플렌옵틱 디바이스들 및/또는 카메라 어레이들) 사이의 상호운용성을 촉진하는 방식일 수 있다.

실제로 원시 정보를 복잡한 인터리빙 구조로 공유하는 것 대신에, 캡처된 광선들의 표현을 모든 이들의 관례에 따라 공유하는 것이 더 양호한 것으로 보인다. 그 다음, 데이터는 포착된 방식과 독립적으로 프로세싱, 공유, 송신 및 렌더링될 수 있다. 파라미터화된 명시야는 또한, 이전에 언급된 " Light Field Rendering "으로 명명된 논문에서 광 슬래브 표현으로 명명됨을 주목해야 한다.

그러나, 4D 명시야의 이러한 표현의 하나의 단점은 저장될 콘텐츠가 본 문헌의 23페이지에 언급된 것처럼 큰 것이다.

실제로, 이러한 표현을 사용하는 것은 각각의 파라미터화된 광선에 대해 좌표들을 2개의 평면에 저장하는 것을 의미한다(즉, 4-uplet 및 이러한 광선의 방사 휘도(radiance)의 값을 저장할 필요가 있다). 2D 이미지들의 세트(샘플링된 명시야를 정의함)를 광선들의 표현(4-uplet 및 방사 휘도의 값과 연관된 각각의 광선)으로 변환하는 프로세스는 예를 들어, 문헌 US 6,023,523에서 예시된다.

따라서, 이전에 언급된 저장 문제를 극복한다는 의미에서 콤팩트한 명시야 표현을 제공하기 위한 기술을 제공할 필요가 있다.

본 명세서에서 "일 실시예", "실시예", "예시적인 실시예"에 대한 참조들은, 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시예가 반드시 특정 특징, 구조, 또는 특성을 포함하지는 않을 수 있다. 또한, 이러한 문구들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 추가로, 특정한 특징, 구조 또는 특성이 실시예와 관련하여 설명되는 경우, 이는, 본 기술분야의 통상의 기술자의 지식 내에서, 명시적으로 설명되든 아니든 다른 실시예들과 관련하여 이러한 특징, 구조 또는 특성에 영향을 미치는 것이 제시된다.

본 개시내용은 명시야 콘텐츠를 인코딩하기 위한 방법에 관한 것이다. 방법은,

상기 명시야 콘텐츠와 연관된 광선들의 세트에 대해, 상기 명시야 콘텐츠의 2개의 평면 파라미터화로부터 광선 당 4개의 좌표를 획득하는 단계;

상기 세트로부터의 각각의 광선에 대해, 제1 2D 광선 다이어그램의 포인트들을 정의하는, 상기 2개의 평면 파라미터화에서 사용되는 2개의 평면에 수직인 평면 상에의 상기 세트로부터의 상기 광선들의 투영에 대응하는, 상기 4개의 좌표로부터의 2개의 좌표를 획득하는 단계;

상기 제1 2D 광선 다이어그램에서 관심 라인들을 전달하는 상기 제1 2D 광선 다이어그램 상에 이산적 라돈(Radon) 변환을 적용하는 단계;

상기 관심 라인들을 인코딩된 관심 라인들로 인코딩하는 단계; 및

상기 인코딩된 관심 라인들을 저장하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 인코딩하는 단계가 브레센함(Bresenham) 알고리즘을 적용하는 단계를 더 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면이 직사각형 엘리먼트들을 포함하는 이산화된 평면들이고, 상기 제1 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

와 동일하고, 여기서, z_f는 픽셀 피치 p를 갖는 카메라 디바이스에 포함된 센서 어레이의 깊이 값이고, f는 상기 카메라 디바이스의 초점 길이이고, z₁은 상기 제1 평면과 연관된 제1 깊이 값이고, 상기 제2 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

와 동일하고, z₂는 제2 평면과 연관된 제2 깊이 값인 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 저장하는 단계가 상기 제1 2D 광선 다이어그램에서 제1 인코딩된 관심 라인에 속하는 적어도 하나의 제1 포인트에 대해,

제2 2D 광선 다이어그램에서 제2 인코딩된 관심 라인에 속하는 적어도 제2 포인트와 연관된 광선의 방사 휘도를 저장하고, 광선의 존재를 표시하는 제1 추가적인 정보를 저장하는 단계 - 상기 제2 인코딩된 관심 라인은 상기 제1 인코딩된 관심 라인과 동일한 기울기를 가짐 -; 및/또는

상기 제2 인코딩된 관심 라인에 속하는 적어도 제3 포인트와 어떠한 광선도 연관되지 않음을 표시하는 제2 추가적인 정보를 저장하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 제1 및/또는 제2 추가적인 정보가 비트이고, 광선의 상기 방사 휘도는 3 바이트 값들에 의해 인코딩된다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 적어도 하나의 투영 중심의 좌표 및 상기 적어도 하나의 투영 중심과 연관된 반경을 추정하는 단계를 더 포함하며, 상기 추정하는 단계는,

상기 제1 2D 광선 다이어그램에서 관심 라인에 대한 적어도 하나의 기울기 파라미터 m 및 두께 파라미터

,

를 획득하는 단계 - 상기 관심 라인은 투영 중심 x₃,y₃,z₃ 및 반경 A와 연관됨 -;

상기 적어도 하나의 기울기 파라미터 m 및 상기 두께 파라미터

,

로부터 투영 중심의 상기 좌표 x₃,y₃,z₃ 및 상기 반경 A를 추정하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면이 각각 제1 깊이 값 z₁ 및 제2 깊이 값 z₂와 연관되고, 상기 추정하는 단계가

,

를 갖는

,

및

를 획득하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 인코딩된 관심 라인들을 저장하는 단계가 인코딩된 관심 라인과 연관된 기울기를 저장하는 단계, 및 상기 제1 2D 광선 다이어그램에서 인코딩된 관심 라인에 속하는 각각의 포인트에 대해, 제2 2D 광선 다이어그램에 속하는 포인트들의 세트를 저장하는 단계, 및 상기 제1 2D 광선 다이어그램에서 프로세싱된 인코딩된 관심 라인과 연관된 기울기가 상기 제1 2D 광선 다이어그램에서 다른 인코딩된 관심 라인들과 연관된 다른 기울기들보다 큰 경우에, 상기 제1 2D 광선 다이어그램의 포인트가 상기 프로세싱된 인코딩된 관심 라인과 상기 다른 인코딩된 관심 라인 사이의 교차점에 속할 때, 상기 제2 2D 광선 다이어그램에 속하는 상기 포인트의 세트의 저장을 회피하는 단계를 더 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 회피하는 단계가 폐색(occlusion)을 표시하는 정보를 저장하는 단계를 더 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 정보가 널(null) 값이라는 점에서 주목할 만하다.

변형예에서, 명시야 콘텐츠를 표현하는 테이블로부터 이미지들의 세트를 전달하기 위한 방법이 제안되며, 각각의 이미지는 m×n 픽셀들을 포함하고, m 및 n은 1보다 큰 정수이다. 방법은, 상기 테이블이 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초한다는 점, 및

상기 명시야 콘텐츠를 표현하는 상기 테이블 내의 데이터에 대한 포인터들을 포함하는 2차원 룩업 테이블을 획득하는 단계; 및 상기 세트의 각각의 이미지에 대해,

인덱스(i, j)에 의해 어드레스된 픽셀에 대해, 동일한 인덱스 (i,j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해 상기 명시야 콘텐츠를 표현하는 상기 테이블로부터의 광선의 방사 휘도 값을 획득하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 광선의 상기 방사 휘도는 3 바이트 값들에 의해 인코딩된다.

바람직한 실시예에서, 방법은, 상기 방사 휘도 값을 획득하는 상기 단계가 상기 이미지들에 포함된 모든 픽셀에 대해 수행된다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은 명시야 콘텐츠의 상기 2D 광선 다이어그램 표현에 기초한 상기 테이블이 라인들의 세트를 정의하는 파라미터들을 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은 상기 2차원 룩업 테이블 내의 각각의 포인터가 2개의 엘리먼트들의 인덱스인 점에서 주목할 만하다.

본 개시내용의 다른 실시예에서, 2차원 룩업 테이블을 생성하는 방법이 제안된다. 방법은,

명시야 콘텐츠를 표현하는 테이블을 획득하는 단계 - 상기 테이블은 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초함 -;

상기 2차원 룩업 테이블 내의 엘리먼트에 어드레스하는 인덱스 값 (i, j)에 대해, 상기 명시야 콘텐츠를 표현하는 상기 테이블 내의 방사 휘도 값에 대한 포인터 값을 결정하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 2차원 룩업 테이블을 생성하기 위한 방법은, 상기 결정하는 단계가 상기 인덱스 (i,j)에 의해 어드레스된 픽셀에 대해 픽셀 백 트레이싱 프로세스(pixel back tracing process)를 적용하는 단계; 2개의 평면 파라미터화를 통해 상기 인덱스 (i, j)에 의해 어드레스된 상기 픽셀과 연관된 광선에 대한 교차점 좌표를 결정하는 단계; 및 상기 명시야 콘텐츠를 표현하는 상기 테이블에서 상기 교차점 좌표와 연관된 방사 휘도 값에 대응하는 위치를 결정하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 생성하기 위한 방법은 상기 2차원 룩업 테이블 내의 각각의 포인터가 2개의 엘리먼트들의 인덱스인 점에서 주목할 만하다.

다른 실시예에서, 방사 휘도 값들을, 명시야 콘텐츠를 표현하는 테이블에 저장하기 위한 방법이 제안된다. 방법은, 상기 테이블이 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초한다는 점에서, 그리고

명시야 콘텐츠를 표현하는 테이블 내의 데이터 위치에 대한 포인터들을 포함하는 2차원 룩업 테이블을 획득하는 단계;

인덱스 (i, j)에 의해 어드레스된 픽셀에 대해, m×n 픽셀들을 포함하는 이미지로부터 광선의 방사 휘도 값을 획득하는 단계 - m 및 n은 1보다 큰 정수임 -; 및

동일한 인덱스 (i, j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해, 획득된 방사 휘도 값을 상기 테이블에 저장하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 저장하기 위한 방법은, 상기 저장하는 단계가 상기 이미지에 포함된 모든 방사 휘도 값에 대해 수행된다는 점에서 주목할 만하다.

바람직한 실시예에서, 저장하기 위한 방법은, 이미지의 모든 픽셀에 대해 획득된 방사 휘도 값들의 상기 저장이 병렬적으로 수행된다는 점에서 주목할 만하다.

이러한 방법들의 공통된 본 발명의 특징들은 2차원 룩업 테이블이다.

본 개시내용의 다른 실시예에서, 4D 명시야 데이터를 렌더링하기 위한 방법이 제안된다. 이러한 방법은 전자 디바이스에 의해 실행되고,

적어도 2개의 데카르트 좌표를 획득하는 단계 - 각각의 데카르트 좌표는 3차원 공간 내의 카메라 위치와 관련됨 -;

상기 적어도 2개의 데카르트 좌표로부터 선택된 데카르트 좌표와 연관된 적어도 하나의 4D 명시야 데이터를 획득하는 단계; 및

획득된 4D 명시야 데이터를 렌더링하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 적어도 하나의 4D 명시야 데이터를 획득하는 단계가 상기 적어도 하나의 4D 명시야 데이터의 디지털 라인 표현을 수신하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 방법은, 상기 적어도 하나의 4D 명시야 데이터를 획득하는 단계가 상기 선택된 데카르트 좌표에 기초하여, 테이블로부터 데이터를 선택하는 단계를 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 상기 테이블은 원거리 서버 상에 저장된다.

예시적인 구현에 따르면, 이전에 언급된 방법들의 상이한 단계들은 컴퓨터 소프트웨어 프로그램 또는 프로그램들에 의해 구현되며, 이러한 소프트웨어 프로그램은 본 개시내용에 따른 중계 모듈의 데이터 프로세서에 의해 실행되도록 설계되고 본 방법의 상이한 단계들의 실행을 제어하도록 설계되는 소프트웨어 명령어들을 포함한다.

결과적으로, 본 개시내용의 양태는 또한 컴퓨터 또는 데이터 프로세서에 의해 실행되기 쉬운 프로그램에 관한 것이며, 이러한 프로그램은 전술한 바와 같은 방법의 단계들의 실행을 커맨드하기 위한 명령어들을 포함한다.

이러한 프로그램은 모든 임의의 프로그래밍 언어를 사용할 수 있으며, 소스 코드, 오브젝트 코드 또는 소스 코드와 오브젝트 코드 사이의 중간적인 코드의 형태, 예를 들어, 부분적으로 컴파일된 형태 또는 임의의 다른 바람직한 형태일 수 있다.

본 개시내용은 또한 전술한 바와 같이 데이터 프로세서에 의해 판독가능하고 프로그램의 명령어들을 포함하는 정보 매체에 관한 것이다.

정보 매체는 프로그램을 저장할 수 있는 임의의 엔티티 또는 디바이스일 수 있다. 예를 들어, 매체는 저장 매체, 예를 들어, CD-ROM("Compact Disc - Read Only Memory"을 나타냄)과 같은 ROM("Read Only Memory"를 나타냄) 또는 마이크로전자 회로 ROM 또는 자기 기록 수단, 예를 들어, 플로피 디스크 또는 하드 디스크 드라이브를 포함할 수 있다.

또한, 정보 매체는 라디오에 의해 또는 다른 수단에 의해 전기 또는 광학 케이블을 통해 전달될 수 있는 전기 또는 광학 신호와 같은 송신가능한 케이블일 수 있다. 프로그램은 특히 인터넷-타입 네트워크에 다운로드될 수 있다.

대안적으로, 정보 매체는 프로그램이 통합된 집적 회로일 수 있고, 회로는 해당 방법을 실행하도록 적응되거나 실행에서 사용된다.

일 실시예에 따르면, 본 개시내용의 실시예는 소프트웨어 및/또는 하드웨어 컴포넌트들을 포함하는 모듈들에 의해 구현된다. 이러한 관점으로부터, 용어 "모듈"은 본 문헌에서 소프트웨어 컴포넌트 및 하드웨어 컴포넌트 둘 모두에, 또는 하드웨어와 소프트웨어 컴포넌트들의 세트에 대응할 수 있다.

소프트웨어 컴포넌트는 하나 이상의 컴퓨터 프로그램들, 프로그램의 하나 이상의 서브-프로그램들, 또는 더 일반적으로는 관련 모듈에 대해 본원의 아래에서 설명되는 것에 따른 기능 또는 기능들의 세트를 구현할 수 있는 프로그램 또는 소프트웨어 프로그램의 임의의 엘리먼트에 대응한다. 하나의 이러한 소프트웨어 컴포넌트는 물리적 엔티티(단말, 서버 등)의 데이터 프로세서에 의해 실행되고, 이러한 물리적 엔티티(메모리들, 기록 매체들, 통신 버스들, 입력/출력 전자 보드들, 사용자 인터페이스들 등)의 하드웨어 자원들에 액세스할 수 있다.

유사하게, 하드웨어 컴포넌트는 관련 모듈에 대해 본원의 아래에서 설명되는 것에 따른 기능 또는 기능들의 세트를 구현할 수 있는 하드웨어 유닛의 임의의 엘리먼트에 대응한다. 이는, 프로그래머블 하드웨어 컴포넌트 또는 소프트웨어의 실행을 위한 집적 회로를 갖는 컴포넌트, 예를 들어, 집적 회로, 스마트 카드, 메모리 카드, 펌웨어를 실행하기 위한 전자 보드 등일 수 있다. 변형예에서, 하드웨어 컴포넌트는 중앙 프로세싱 유닛 및/또는 마이크로프로세서, 및/또는 주문형 집적 회로(Application-specific integrated circuit)(ASIC), 및/또는 주문형 명령어-세트 프로세서(Application-specific instruction-set processor)(ASIP) 및/또는 그래픽 프로세싱 유닛(GPU) 및/또는 물리 프로세싱 유닛(PPU) 및/또는 디지털 신호 프로세서(DSP) 및/또는 이미지 프로세서 및/또는 코프로세서 및/또는 플로팅-포인트 유닛(floating-point unit), 및/또는 네트워크 프로세서 및/또는 오디오 프로세서 및/또는 멀티-코어 프로세서와 같은 집적 회로인 프로세서를 포함한다. 또한, 하드웨어 컴포넌트는 기저대역 프로세서(예를 들어, 메모리 유닛들 및 펌웨어를 포함함) 및/또는 무선 신호들을 수신 또는 송신하는 무선 전자 회로들(안테나들을 포함할 수 있음)을 또한 포함할 수 있다. 일 실시예에서, 하드웨어 컴포넌트는 ISO/IEC 18092 / ECMA-340, ISO/IEC 21481 / ECMA-352, GSMA, StoLPaN, ETSI / SCP(Smart Card Platform), GlobalPlatform(즉, 보안 엘리먼트)과 같은 하나 이상의 표준을 준수한다. 변형예에서, 하드웨어 컴포넌트는 무선 주파수 식별(RFID) 태그이다. 일 실시예에서, 하드웨어 컴포넌트는 블루투스 통신들 및/또는 와이파이(Wi-fi) 통신들 및/또는 지그비(Zigbee) 통신들 및 USB 통신들 및/또는 파이어와이어(Firewire) 통신들 및/또는 (근거리용) NFC 통신들을 가능하게 하는 회로들을 포함한다.

또한, 본 문헌에서 엘리먼트/값을 획득하는 단계는 전자 디바이스의 메모리 유닛에서 이러한 엘리먼트/값을 판독하는 단계 또는 이러한 엘리먼트/값을 통신 수단을 통해 다른 전자 디바이스로부터 수신하는 단계로서 간주될 수 있음을 주목해야 한다.

본 개시내용의 다른 실시예에서, 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스가 제안된다. 전자 디바이스는 메모리; 및 메모리에 커플링된 적어도 하나의 프로세서를 포함하고; 적어도 하나의 프로세서는,

상기 명시야 콘텐츠와 연관된 광선들의 세트에 대해, 상기 명시야 콘텐츠의 2개의 평면 파라미터화로부터 광선 당 4개의 좌표를 획득하고;

상기 세트로부터의 각각의 광선에 대해, 제1 2D 광선 다이어그램의 포인트들을 정의하는, 상기 2개의 평면 파라미터화에서 사용되는 2개의 평면에 수직인 평면 상에의 상기 세트로부터의 상기 광선들의 투영에 대응하는, 상기 4개의 좌표로부터의 2개의 좌표를 획득하고;

상기 제1 2D 광선 다이어그램에서 관심 라인들을 전달하는 상기 제1 2D 광선 다이어그램 상에 이산적 라돈 변환을 적용하고;

상기 관심 라인들을 인코딩된 관심 라인들로 인코딩하고;

상기 인코딩된 관심 라인들을 저장하도록 구성된다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는 상기 적어도 하나의 프로세서가 브레센함 알고리즘으로 상기 관심 라인들을 인코딩하도록 추가로 구성된다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는, 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면이 직사각형 엘리먼트들을 포함하는 이산화된 평면들이고, 상기 제1 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

와 동일하고, 여기서, z_f는 픽셀 피치 p를 갖는 카메라 디바이스에 포함된 센서 어레이의 깊이 값이고, f는 상기 카메라 디바이스의 초점 길이이고, z₁은 상기 제1 평면과 연관된 제1 깊이 값이고, 상기 제2 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

와 동일하고, z₂는 제2 평면과 연관된 제2 깊이 값인 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는, 상기 적어도 하나의 프로세서가 상기 제1 2D 광선 다이어그램에서 제1 인코딩된 관심 라인에 속하는 적어도 하나의 제1 포인트에 대해,

제2 2D 광선 다이어그램에서 제2 인코딩된 관심 라인에 속하는 적어도 제2 포인트와 연관된 광선의 방사 휘도를 저장하고, 광선의 존재를 표시하는 제1 추가적인 정보를 저장하고 - 상기 제2 인코딩된 관심 라인은 상기 제1 인코딩된 관심 라인과 동일한 기울기를 가짐 -; 그리고/또는

상기 제2 인코딩된 관심 라인에 속하는 적어도 제3 포인트와 어떠한 광선도 연관되지 않음을 표시하는 제2 추가적인 정보를 저장하도록 추가로 구성된다는 점에서 주목할 만하다.

본 개시내용의 다른 실시예에서, 명시야 콘텐츠를 표현하는 테이블로부터 이미지들의 세트를 전달하기 위한 전자 디바이스가 제안되며, 각각의 이미지는 m×n 픽셀들을 포함하고, m 및 n은 1보다 큰 정수이다. 전자 디바이스는, 상기 테이블이 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초한다는 점, 및

상기 명시야 콘텐츠를 표현하는 상기 테이블 내의 데이터에 대한 포인터들을 포함하는 2차원 룩업 테이블을 획득하도록 구성되는 모듈; 및 상기 세트의 각각의 이미지에 대해,

인덱스(i, j)에 의해 어드레스된 픽셀에 대해, 동일한 인덱스 (i,j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해 상기 명시야 콘텐츠를 표현하는 상기 테이블로부터의 광선의 방사 휘도 값을 획득하도록 구성되는 모듈을 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는, 상기 방사 휘도 값을 획득하도록 구성되는 상기 모듈이 상기 이미지들에 포함된 모든 픽셀들을 프로세싱하기 위해 사용된다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는 명시야 콘텐츠의 상기 2D 광선 다이어그램 표현에 기초한 상기 테이블이 라인들의 세트를 정의하는 파라미터들을 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는 상기 2차원 룩업 테이블 내의 각각의 포인터가 2개의 엘리먼트들의 인덱스인 점에서 주목할 만하다.

본 개시내용의 다른 실시예에서, 2차원 룩업 테이블을 생성하기 위한 전자 디바이스가 제안된다. 이러한 전자 디바이스는,

명시야 콘텐츠를 표현하는 테이블을 획득하도록 구성되는 모듈 - 상기 테이블은 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초함 -;

상기 2차원 룩업 테이블 내의 엘리먼트에 어드레스하는 인덱스 값 (i, j)에 대해, 상기 명시야 콘텐츠를 표현하는 상기 테이블 내의 방사 휘도 값에 대한 포인터 값을 결정하도록 구성되는 모듈을 포함한다는 점에서 주목할 만하다.

본 개시내용의 바람직한 실시예에서, 전자 디바이스는, 상기 결정하도록 구성되는 모듈이, 상기 인덱스 (i,j)에 의해 어드레스된 픽셀에 대해 픽셀 백 트레이싱 프로세스를 적용하고; 2개의 평면 파라미터화를 통해 상기 인덱스 (i, j)에 의해 어드레스된 상기 픽셀과 연관된 광선에 대한 교차점 좌표를 결정하고; 상기 명시야 콘텐츠를 표현하는 상기 테이블에서 상기 교차점 좌표와 연관된 방사 휘도 값에 대응하는 위치를 결정하도록 추가로 구성된다는 점에서 주목할 만하다.

바람직한 실시예에서, 전자 디바이스는 상기 2차원 룩업 테이블 내의 각각의 포인터가 2개의 엘리먼트들의 인덱스인 점에서 주목할 만하다.

본 개시내용의 다른 실시예에서, 방사 휘도 값들을, 명시야 콘텐츠를 표현하는 테이블에 저장하기 위한 전자 디바이스가 제안된다. 전자 디바이스는, 상기 테이블이 명시야 콘텐츠의 2D 광선 다이어그램 표현에 기초한다는 점, 및

명시야 콘텐츠를 표현하는 테이블 내의 데이터 위치에 대한 포인터들을 포함하는 2차원 룩업 테이블을 획득하도록 구성되는 모듈;

인덱스 (i, j)에 의해 어드레스된 픽셀에 대해, m×n 픽셀들을 포함하는 이미지로부터 광선의 방사 휘도 값을 획득하도록 구성되는 모듈 - m 및 n은 1보다 큰 정수임 -; 및

동일한 인덱스 (i, j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해 획득된 방사 휘도 값을 상기 테이블에 저장하도록 구성되는 모듈을 포함한다는 점에서 주목할 만하다.

본 개시내용의 다른 실시예에서, 4D 명시야 데이터를 렌더링하기 위한 전자 디바이스가 제안된다. 이러한 전자 디바이스는,

적어도 2개의 데카르트 좌표를 획득하도록 구성되는 제1 모듈 - 각각의 데카르트 좌표는 3차원 공간 내의 카메라 위치와 관련됨 -;

상기 적어도 2개의 데카르트 좌표로부터 선택된 데카르트 좌표와 연관된 적어도 하나의 4D 명시야 데이터를 획득하도록 구성되는 제2 모듈; 및

획득된 4D 명시야 데이터를 렌더링하도록 구성되는 제3 모듈을 포함한다는 점에서 주목할 만하다.

바람직한 실시예에서, 상기 제2 모듈은 상기 적어도 하나의 4D 명시야 데이터의 디지털 라인 표현을 수신하도록 추가로 구성된다.

바람직한 실시예에서, 상기 제2 모듈은 상기 선택된 데카르트 좌표에 기초하여, 테이블로부터 데이터를 선택하도록 추가로 구성된다.

본 개시내용의 상기 및 다른 특징들은 첨부된 도면들을 참조하여 본 개시내용의 예시적인 실시예들에 대한 다음의 상세한 설명에 의해 더욱 명백해질 것이다.
도 1은 본 개시내용의 일 실시예에 따른 명시야 카메라인 플렌옵틱 카메라의 개략도이다.
도 2는 도 1에 개시된 센서 어레이의 다른 뷰를 제시한다.
도 3은 본 개시내용의 일 실시예에 따른 명시야 카메라인 멀티-카메라 어레이의 개략도이다.
도 4는 본 개시내용의 일 실시예에 따른 적어도 2개의 평면의 사용에 의한 광선의 파라미터화를 제시한다.
도 5a 내지 도 5h는 본 개시내용의 일 실시예에 따른 2D 슬라이스들의 2개의 상이한 표현을 도시한다.
도 6은 본 개시내용의 일 실시예에 따른 랜덤 광선 팬의 2D 광선 다이어그램을 제시한다.
도 7a 및 도 7b는 본 개시내용의 일 실시예에 따른, 도 6의 2D 광선 다이어그램으로부터 명시야 필터링의 결과를 제시한다.
도 8은 본 개시내용의 일 실시예에 따른 일반적인 시점 렌더링에 사용되는 좌표계를 제시한다.
도 9는 본 개시내용의 일 실시예에 따른 광선들의 선택을 예시한다.
도 10은 본 개시내용의 일 실시예에 따른 도 9의 선택된 광선들의 렌더링 광선 트레이스를 제시한다.
도 11은 본 개시내용의 일 실시예에 따른 선택된 광선들을 갖는 2D 광선 다이어그램을 제시한다.
도 12는 본 개시내용의 일 실시예에 따른 도 11의 선택된 광선들의 렌더링 광선 트레이스를 도시한다.
도 13은 본 개시내용의 일 실시예에 따른 선택된 광선들을 갖는 2D 광선 다이어그램을 제시한다.
도 14는 본 개시내용의 일 실시예에 따른 도 13의 선택된 광선들의 렌더링 광선 트레이스를 도시한다.
도 15는 본 개시내용의 일 실시예에 따른 3개의 카메라의 2개의 그룹의 2D 광선 다이어그램이다. 제1 그룹은 평면 z₃=2에서 핀홀 세트 및 평면 z₃=14에서 제2 세트를 갖는다.
도 16은 도 15의 명시야 표현의 라돈 변환의 소노그램(sonogram)이다.
도 17은 본 개시내용의 일 실시예에 따른 3D 공간에서 일반적인 시점 렌더링에 사용되는 좌표계를 제시한다.
도 18은 본 개시내용의 일 실시예에 따라, |A|<0.5의 애퍼처를 갖는 좌표 x₃=2, z₃=2의 하나의 카메라에 의해 캡처된 광선들의 2D 광선 다이어그램이다. 파라미터화를 위해 사용되는 라인들은 256개의 셀들에 의해 샘플링된다.
도 19는 본 개시내용의 일 실시예에 따른 2D 광선 다이어그램의 라인의 예를 제시한다.
도 20은 본 개시내용의 일 실시예에 따른 6개의 라인 또는 디지털 라인을 포함하는 2D 광선 다이어그램이다.
도 21은 본 개시내용의 일 실시예에 따른 명시야 광선들의 표현의 예이다.
도 22a는 본 개시내용의 일 실시예에 따른 명시야 광선들의 표현의 다른 예이다.
도 22b는 본 개시내용의 일 실시예에 따른 명시야 광선들의 표현의 다른 예이다.
도 22c 및 도 22d는 본 개시내용의 일 실시예에 따른 이중 큐브에 인클로징된 오브젝트를 예시한다.
도 23은 도 18로부터의 데이터에 대한 이산적 라돈 변환의 적용 결과를 제시한다.
도 24는 도 23의 영역 상의 줌(zoom)이다.
도 25는, 좌측에, x의 2D 광선 다이어그램 및 이러한 2D 광선 다이어그램의 데이터에 대한 이산적 라돈 변환의 적용 결과를, 그리고 우측에, y의 2D 광선 다이어그램 및 이러한 2D 광선 다이어그램의 데이터에 대한 이산적 라돈 변환의 적용 결과를 제시한다.
도 26a는 본 개시내용의 일 실시예에 따른 콤팩트한 명시야 표현을 제공하기 위한 방법의 일부 단계들을 제시한다.
도 26b는 4D 명시야 데이터 또는 종래의 2D 이미지로부터, 본 개시내용의 일 실시예에 따른 2개의 평면의 사용을 통한 광선들의 파라미터화에 기초한 표현으로의 변환을 예시하는 합성 방식을 제시한다.
도 26c 및 도 26d는 본 개시내용의 일 실시예에 따라, 광선이 픽셀(또는 가상 픽셀) 센서로부터 어떻게 "추출"되는지를 제시한다.
도 27a는 본 발명의 일 실시예에 따른 방법의 샘플링 단계들을 유도하기 위해 사용되는 파라미터들을 제시한다.
도 27b는 본 개시내용의 일 실시예에 따른 투영 프로세스에 수반되는 평면들의 사시도를 제시한다.
도 27c는 본 개시내용의 일 실시예에 따라, 명시야의 파라미터화를 수행하기 위해 사용되는 평면들의 이산화를 제시한다.
도 28은 본 개시내용의 일 실시예에 따른 카메라들의 사용에 의해 이미지들이 획득되는 장면(2개의 오브젝트를 포함함)을 제시한다. 더욱 정확하게는, 이미지들은 2개의 카메라의 3개의 그룹으로부터 획득된다.
도 29는 본 개시내용의 일 실시예에 따른 2개의 카메라의 3개의 그룹의 2D 광선 다이어그램을 제시한다.
도 30은 본 개시내용의 일 실시예에 따른 명시야 콘텐츠의 폐색들을 핸들링하기 위한 방법을 예시한다.
도 31은 본 개시내용의 일 실시예에 따라, 전자 디바이스에 의해 전달될 이미지에 대해, 예를 들어 22a의 테이블로부터의 명시야 콘텐츠의 콤팩트한 표현으로부터 이러한 이미지의 픽셀들의 값들을 획득하기 위한 방식을 제시한다.
도 32는 이미지 및 2차원 룩업 테이블로부터, 예를 들어 도 22a의 테이블과 같이 명시야 콘텐츠의 간략한 표현을 생성하는 방식을 제시한다.
도 33은 본 개시내용의 일 실시예에 따라 사용자가 4D 명시야 데이터와 연관된 카메라의 위치를 선택할 수 있는 3D 표현을 포함하는 메뉴를 제시한다.
도 34는 본 문헌에 개시된 방법들 중 하나의 또는 몇몇 단계들을 수행하기 위해 사용될 수 있는 전자 디바이스의 예를 제시한다.

도 1은 플렌옵틱 카메라에 포함된 메인 컴포넌트들을 개략적으로 제시한다. 더욱 정확하게는, 플렌옵틱 카메라는 101로 참조된 메인 렌즈 및 104로 참조된 센서 어레이(즉, 픽셀들의 어레이)를 포함한다. 메인 렌즈(101)와 센서 어레이(104) 사이에, 103으로 참조된 마이크로 렌즈들의 세트를 포함하는 102로 참조된 마이크로렌즈 어레이가 위치된다. 임의적으로 일부 스페이서들이 각각의 렌즈 주위의 마이크로 렌즈 어레이와 센서 사이에 위치되어 하나의 렌즈로부터의 광이 센서 측에서 다른 렌즈들의 광과 중첩하는 것을 방지할 수 있음을 주목해야 한다. 따라서, 플렌옵틱 카메라는 도 1에 예시된 바와 같이 센서 바로 앞에 설정된 마이크로 렌즈 어레이와 종래의 카메라로 간주될 수 있다. 마이크로 렌즈를 통과한 광선들은 이러한 광선들의 방사 휘도를 기록하는 센서 어레이의 일부를 커버한다. 센서의 이러한 부분에 의한 기록은 마이크로 렌즈 이미지를 정의한다.

도 2는 센서 어레이(104)의 다른 뷰를 제시한다. 실제로, 이러한 뷰에서, 센서 어레이(104)는 201로 참조된 픽셀들의 세트를 포함하는 것으로 나타난다. 마이크로 렌즈를 통과한 광선들은 다수의 픽셀들(201)을 커버하고, 이러한 픽셀들은 입사/수용되는 광선들의 에너지 값을 기록한다.

따라서, 플렌옵틱 카메라의 센서 어레이(104)는 2D 이미지(원시 4D 명시야 이미지로 또한 지칭됨) 내에 배열된 2D 작은 이미지들(즉, 202로 참조된 마이크로 렌즈 이미지들)의 컬렉션을 포함하는 이미지를 기록한다. 실제로, 각각의 작은 이미지(즉, 마이크로 렌즈 이미지들)는 렌즈에 의해 생성된다(렌즈는 렌즈의 어레이로부터의 좌표 (i, j)에 의해 식별될 수 있다). 따라서, 명시야의 픽셀들은 4개의 좌표 (x, y, i, j)와 연관된다. 센서에 의해 기록된 4D 명시야인 L(x, y, i, j)는 센서에 의해 기록된 이미지를 예시한다. 각각의 마이크로 렌즈는 원으로 표현된 마이크로 이미지를 생성한다(작은 이미지의 형상은 일반적으로 원형인 마이크로 렌즈의 형상에 의존한다). (센서 어레이의) 픽셀 좌표는 (x, y)로 라벨링된다. p는 2개의 연속적인 마이크로-이미지들 사이의 거리이고, p는 반드시 정수 값일 필요는 없다. 마이크로 렌즈들은 p가 픽셀 크기 δ보다 커지도록 선택된다. 마이크로 렌즈 이미지들은 이들의 좌표 (i, j)로 참조된다. 각각의 마이크로 렌즈 이미지는 (u, v) 좌표계로 메인 렌즈의 동공(pupil)을 샘플링한다. 특히 마이크로 렌즈의 형상이 원형인 경우 일부 픽셀들은 임의의 마이크로 렌즈로부터 어떠한 광자도 수용하지 못할 수 있다. 이러한 경우, 마이크로 렌즈간 공간은 광자들이 마이크로 렌즈로부터 외부로 통과하는 것을 방지하기 위해 마스킹되어 마이크로 이미지들에 일부 다크 영역들을 초래한다. (마이크로 렌즈들이 정사각형 형상인 경우 마스킹은 필요없다). 마이크로-렌즈 이미지 (i, j)의 중심은 좌표 (x_{i, j}, y_{i, j})의 센서 상에 위치된다. θ는 픽셀의 정사각형 격자와 마이크로 렌즈들의 정사각형 격자 사이의 각도이다(도 2에서, θ = 0). 마이크로 렌즈가 규칙적인 정사각형 격자에 따라 배열된다고 가정하면, (x_0,0, y_0,0)을 마이크로 렌즈 이미지 (0,0)의 픽셀 좌표로 고려한 다음 방정식에 의해 (x_{i, j}, y_{i, j})가 계산될 수 있다:

도 2는 또한 장면으로부터의 객체가 몇몇 연속적인 마이크로 렌즈 이미지들(다크 점들) 상에서 가시적인 것을 예시한다. 오브젝트의 2개의 연속적인 뷰들 사이의 거리는 w이고, 이러한 거리는 복제 거리(replication distance)로 지칭된다. 따라서, 오브젝트는

를 갖는 r개의 연속적인 마이크로 렌즈 이미지 상에서 가시적이고; r은 1차원에서 연속적인 마이크로 렌즈 이미지들의 수이다. 오브젝트는 r²개의 마이크로 렌즈 이미지에서 가시적이다. 마이크로 렌즈 이미지의 형상에 따라, 오브젝트의 r²개의 뷰 중 일부는 비가시적일 수 있다.

본 문헌에서 이전에 언급된 바와 같이, 4D 명시야 데이터는 서브-애퍼처 이미지들에 의해 표현될 수 있다(예를 들어, 4D 명시야 데이터가 타입 1.0의 플렌옵틱 카메라에 의해 포착된 경우). 각각의 서브-애퍼처 이미지는 각각의 마이크로렌즈 이미지로부터 선택된 동일한 위치의 픽셀들로 구성된다.

픽셀의 위치에 따르면, 멀티뷰 서브-애퍼처 이미지들이 획득될 수 있고, 입사 광선들의 상이한 정보를 각각 가질 수 있다. 종래의 사진은 모든 서브-애퍼처 이미지들의 통합과 동일하여, 모든 입사광을 합산한다.

따라서, 서브-애퍼처 이미지들에 의해 표현되는 4D 명시야 이미지는 m×n 서브-애퍼처 이미지들의 세트(또는 컬렉션)인 것으로 정의되며, 여기서 각각의 서브-애퍼처 이미지는 동일한 장면의 약간 상이한 원근에 대응하고, 파라미터들 m 및 n은 1보다 크거나 동일한 정수이다. 이러한 4D 명시야 이미지는 또한 최신 기술에서 뷰의 행렬로 지칭된다. 이러한 표현을 획득하기 위해, 원시 센서 이미지로부터의 픽셀들은 이미지들의 어레이를 생성하도록 재배열되고, 각각에서의 픽셀들은 모든 마이크로 렌즈 하에서 동일한 위치로부터 온다. 각각의 서브-애퍼처 이미지는 카메라의 렌즈의 오직 작은 서브-애퍼처 영역만을 통과하는 광의 전통적인 이미지를 캡처하는 것으로 생각될 수 있다. 이러한 이미지들은 매우 유사하지만, 이들 각각은 카메라의 애퍼처 평면 내에 고유의 광학 중심을 갖고, 따라서, 동일한 실세계 오브젝트는 각각의 서브-애퍼처 이미지의 상이한 위치들에 나타날 것이다. 즉, 서브-애퍼처 이미지들은 캡처된 장면 상에 시차(parallax)를 제공하며; 전경 오브젝트들은 배경 오브젝트들보다 인접한 서브-애퍼처 이미지들 사이에서 비교적 더 높은 변위들을 갖는다.

통상적으로, 명시야 이미지가 타입 1.0의 플렌옵틱 카메라에 의해 포착되는 경우, 마이크로 렌즈 아래에 위치된 픽셀들의 수는 서브-애퍼처 이미지들의 수를 결정하고, 마이크로 렌즈의 수는 각각의 서브-애퍼처 이미지들의 픽셀들의 수를 결정한다.

플렌옵틱 카메라에 관한 더 상세한 내용들은 논문[" The Light Field Camera: Extended Depth of Field, Aliasing , and Superresolution " by Tom E. Bishop and Paolo Favaro, published in the IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, N°5, in May 2012]에서 "Image formation of a Light field camera"로 명명된 섹션 4에서 찾아볼 수 있다.

본 기술은 또한, 문헌 US2013258098에서 설명된 것과 같이, 종래의 카메라의 픽셀들 중 적어도 일부가 동일한 방식(또는 유사한 방식)으로 설계되는 경우, 이러한 (메인 렌즈와 픽셀들의 어레이 사이에 어떠한 추가적인 마이크로 렌즈 어레이도 위치되지 않는 관점에서) "종래의 카메라"에 대해 적용될 수 있음을 주목해야 한다. 실제로, US2013258098은, 몇몇 광 수용 섹션들(예를 들어, 문헌 US2013258098에서 116 및 117로 참조됨)의 사용으로 인해 명시야 데이터를 기록할 수 있는 픽셀을 개시한다. 따라서, 본 기술분야의 통상의 기술자는 도 1에 예시된 일종의 플렌옵틱 카메라로서 문헌 US2013258098의 기술을 통합하는 픽셀 어레이들을 갖는 이러한 종래의 카메라를 이해할 수 있으며, 여기서 각각의 마이크로 렌즈는 센서(104)에 포함된 2개의 픽셀들 상에 광선들을 집중시킨다. 문헌 US2013258098의 기술은, 더 많은 수신 섹션이 픽셀의 아키텍처에 통합되는 경우, 픽셀이 2개 초과의 데이터 정보(2개의 낮은 수신 섹션 및 높은 수신 섹션에 의해 획득됨)를 기록할 수 있다는 점에서 일반화될 수 있음을 주목해야 한다. 본 개시내용은 전술한 바와 같이 명시야 데이터를 기록할 수 있는 픽셀들을 통합하는 이러한 "종래 카메라"의 메인 렌즈의 수차를 감소시킬 수 있다.

본 개시내용은 문헌 US 2010/0265386에서, 또는 논문[" Image and depth from a conventional camera with a coded aperture " by A. Levin et al., published in the proceedings of SIGGRAPH 2007]에서 예시된 바와 같은 코딩된 애퍼처 엘리먼트들을 포함하거나, 또는 논문["Extended depth of field through wave-front coding" by Edward R. Dowski, Jr., and W. Thomas Cathe, published in Applied Optics, 1995 Apr 10]에서 언급된 바와 같은 파면 코딩 기술들을 사용하는 디바이스들과 같은 4D 명시야 데이터를 포착하는 다른 디바이스들에도 적용될 수 있음을 주목해야 한다.

도 3은 300으로 참조된 멀티-카메라 어레이를 개략적인 방식으로 제시한다. 멀티-카메라 어레이(300)는 302로 참조된 몇몇 렌즈들, 304로 참조된 하나의 또는 몇몇 센서 어레이들을 포함하는 301로 참조된 렌즈들의 어레이를 포함한다. 멀티-카메라 어레이(300)는 메인 렌즈가 없다. 렌즈들의 어레이는 종종, 통상적으로 마이크로 렌즈 어레이로 지칭되는 작은 디바이스이다. 단일 센서를 갖는 멀티-카메라 어레이는 메인 렌즈가 무한한 초점을 갖는 플렌옵틱 카메라의 특수한 경우로 간주될 수 있다는 점은 주목할 가치가 있다. 실제로, 무한한 초점 거리를 갖는 렌즈는 광선들에 어떠한 영향도 미치지 않는다.

예를 들어, 멀티-카메라 어레이는 문헌 WO 2014149403 A1에 예시된 것과 같은 펠리칸(Pelican) 어레이 카메라, 또는 논문["High Performance Imaging Using Large Camera Arrays", by B. Wilburn et al., published ACM Transactions on Graphics, Vol 24, No 3, July 2005, pp. 765-776 (Proceedings of ACM SIGGRAPH 2005)]에서 스탠포드 대학에 의해 개발된 것과 같은 멀티 카메라 어레이일 수 있다.

도 4는 3D 공간에서 402 및 403으로 참조된 2개의 평면의 사용에 의해, 401로 참조된 광선을 파라미터화하는 방법을 제시한다. 각각의 평면(402, 403)은 2개의 수직 벡터에 의해 정의된다(평면(402)에 대해, 벡터들

이 이를 정의하고, 2D 좌표계(즉, 직교 축들 (x₁) 및 (y₁)에 의해 정의되는 좌표계)가 사용될 수 있고, 평면(403)에 대해, 벡터들

이 이를 정의하고, 2D 좌표계(즉, 직교 축들 (x₂) 및 (y₂)에 의해 정의되는 좌표계)가 사용될 수 있다). 광선이 평면과 교차하는 경우, 3D 공간에서 교차점(3개의 성분을 포함함)의 좌표를 결정하는 것이 가능하다. 그러나, 광선의 방향을 획득하기 위해, 3D 공간에서 광선의 방향을 식별하기 위해 다른 평면을 사용하는 것이 필요하다. 파라미터화에 사용되는 2개의 평면이 평행하고 (3D 데카르트 좌표 공간에서) 공지된 z 값들을 갖는 것으로 고려함으로써, 오직 4개의 좌표(직교 축들 (x₁) 및 (y₁)에 의해 정의되는 2D 좌표계의 2개의 값 및 직교 축들 (x₂) 및 (y₂)에 의해 정의되는 2D 좌표계의 2개의 값) 및 이러한 광선의 강도/방사 휘도에 대응하는 값 L만으로 광선을 식별하는 것이 가능하다("Light Field Rendering"으로 명명된 이전에 언급된 논문의 이러한 파라미터화에 대한 추가적 세부사항들 참조). 따라서, 장면에서 광선들의 컬렉션으로 간주될 수 있는 명시야는, 한 쌍의 평면들에 의해 파라미터화될 수 있으며, 명시야의 각각의 광선은 4개의 좌표를 갖는 포인트(예를 들어, 좌표

및 방사 휘도 값

을 갖는 광선(401))로 표현된다. 표기법의 남용으로, 광선의 좌표들은

로 표기된다(이는 또한 축을 언급한 용어들 x₁, y₁, x₂, y₂로 오인될 수 있다).

광선은 또한 404로 참조된 평면 또는 405로 참조된 평면 상에 (정사영 또는 직교 투영을 통해) 투영될 수 있음을 주목해야 한다. 평면(404)은 3D 데카르트 좌표 공간에서 y가 일정한 값을 갖는 2개의 평면(402 및 403)에 수직인 평면이다. 평면(405)은 3D 데카르트 좌표 공간에서 x가 일정한 값을 갖는 2개의 평면(402 및 403)에 수직인 평면이다. 평면(404) 상에 일부 광선들의 투영 결과는 도 5a, 도 5c, 도 5e 및 도 5g에 도시된다. 그 다음, 도 5b, 도 5d, 도 5f 및 도 5h에서, 각각 도 5a, 도 5c, 도 5e 및 도 5g에 예시된 광선들의 2D 광선 다이어그램의 표현이 주어진다. 실제로, (도 5a, 도 5c, 도 5e, 및 도 5g에 표현된 바와 같이) 각각의 투영된 광선은 (문헌 WO 2013/180192의 도 4b에 또한 설명되는 바와 같이) 2D 광선 다이어그램의 포인트에 의해 표현된다. 따라서, 2D 광선 다이어그램의 포인트는 투영된 광선에 대응한다. 유사한 도면들은 평면(405) 상의 투영들을 고려함으로써 획득될 수 있음을 주목해야 한다.

실제로, 명시야는 4개의 변수의 함수이기 때문에, 일반적으로 예시하기 매우 어렵다. 그러나, 2D 슬라이스를 취하고, 특정 광선 세트들이 2D 그래프들에 매핑하는 방식을 2개의 상이한 방식으로 파악할 수 있다. 도 5a 내지 도 5h는 x₁ 및 x₂ 축으로 제한된 이러한 2D 슬라이스들의 2개의 상이한 표현을 도시한다. 도 5a는 시준된 광선 세트를 도시하고, 도 5c는 발산 광선 팬을 제시하고, 도 5e는 수렴 광선 팬을 제시하고, 도 5g는 평면(403) 상에 포커싱된 수렴 광선 팬을 제시한다. 도 5b, 도 5d, 도 5f 및 도 5h는 핸들링 또는 생성하기에 더 용이할 수 있지만 시각화하기에는 더 어려울 수 있는 2D 광선 좌표계로 명시야 데이터(즉, 이들의 방향을 갖는 광선들)를 플롯팅하는 다른 방식을 제시한다.

도 5b부터 시작하여, 2D 광선 다이어그램에서, 다양한 입사각을 갖는 시준된 광선 세트들을 플롯팅하였다. 광선 세트가 z 축에 평행한 경우, 각각의 광선은 (x₂ = x₁ + 상수라는 사실로 인해) 45° 라인을 따라 플롯팅된다. 광선 세트가 상방을 향하는 경우, 라인은 2D 다이어그램에서 상방으로 시프트되고, 광선 세트가 하방을 향하는 경우, 라인은 또한 하방(네거티브 x₂)으로 시프트된다. 결론은, 평행 광선들이 45°에서 일 라인 상에 매핑될 것이고, 평행 광선이 z 축과 각을 이루면, x₂ 라인 인터셉트는 그에 따라 시프트된다.

도 5d는 발산하는 빔을 제시한다. 실제로, 다양한 정도의 발산이 플롯팅된다. 적색 라인 상의 마커들은 무한대로부터 발산하는 광선들의 세트를 표현한다. 기본적으로, 이는 세트가 시준됨을 의미한다. 도 5a는, 라인이 45°이고 x₁과 x₂ 사이의 관계가 선형임을 이미 도시하였다. 발산 포인트가 무한대로부터 축 x₁을 향해 이동됨에 따라, 2D 광선 다이어그램들은 여전히 선형이지만 발산양에 따라 라인의 급경사가 증가한다.

제한에서, 광선의 세트가 그로부터 발산하는 포인트가 x₁ 축 상에 있으면, 광선들은 2D 광선 다이어그램 상의 수직 축 x₂를 따라 플롯팅될 것이다.

도 5e는 수렴 광선 세트를 제시한다. 다시, 적색 마커 라인은 45°이고, 무한대로부터 수렴하는 빔을 표현하며 이는 다시 광선들의 평행한 세트이다. 수렴 포인트가 x₂ 축을 향해 당겨지는 경우, 광선들은 감소하는 기울기들의 라인들 상에 매핑될 것임을 주목해야 한다.

도 5g는 수렴 포인트가 x₂의 포커싱된 광선 세트 상에 있는 경우의 제한이며, 다이어그램 상의 모든 광선들은 수평 축에 해당한다.

광선들을 표현하기 위해 2개의 2D 광선 다이어그램이 사용되는 경우에(하나는 평면(404)(도 5a, 도 5c, 도 5e 및 도 5g 참조) 상으로의 투영으로부터 유도되고

로 표기되며, 하나는 평면(405) 상으로의 투영으로부터 획득되고

로 표기됨), 하나의 2D 광선 다이어그램의 포인트(즉,

의 포인트)와 다른 2D 광선 다이어그램에(즉,

에) 포함되는 포인트 사이의 연결 또는 그 반대를 가능하게 하는 다른 정보를 저장할 필요가 있음을 주목해야 한다. 도 26에서, 이러한 명시적인 추가적인 정보의 저장을 바이패스할 수 있는 기술이 샘플링된 명시야 내의 모든 광선들에 대해 설명된다. 그러나, 이러한 기술을 이해하기 위해서는, 도 6 내지 도 24를 고려하여 몇몇 설명들 및 코멘트들이 주어져야 한다.

도 6은 랜덤 광선 팬의 2D 광선 다이어그램을 제시한다.

랜덤 명시야를 생성하기 위해, 균일한 난수 발생기가 사용될 수 있다. 그 다음, 명시야의 기본적 표현으로서의 2D 광선 다이어그램은 포맷으로부터 선택된 명시야의 부분들을 단순한 방식으로 재생성한다.

x 값은 [-10; 10]에 걸쳐 확장될 것이고, 전파 방향은 z이며, 파라미터화를 위한 제2 평면은 z = 1에 배치되고 광선들은 랜덤 방향으로 할당될 것이다. 균일하게 분포된 임의의 광선 방향들을 생성하기 위해, 예를 들어, [-15; 15] 내부의 균일한 숫자 발생기로 x₂ 성분을 랜덤으로 생성하는 것이 더 양호하다. 도 6은 대응하는 2D 광선 다이어그램을 도시한다. 예상되는 바와 같이,

및

내의 모든 곳에 광선들이 존재하고, 여기서

는 유클리드 표준이다.

여기서, 도 5a 내지 도 5g에서 이전에 식별된 관찰들에 대한 증거들을 얻으려 한다. 이는, 특정 렌더링들을 위한 일부 공식을 제공할 것이다. 다른 것들 중에서 해답을 구할 필요가 있는 질문들은 다음과 같다: 시점을 렌더링하는 방법, 다른 곳에 리포커싱하는 방법, 2D 광선 다이어그램에서 어떤 광선들이 어떤 목적으로 사용되는가? 도 6의 것과 같은 2D 광선 다이어그램에는 수백만 개의 포인트들이 존재할 수 있다. 일부 특정 이미지를 렌더링하기 위해 이들 모두를 테스트 또는 추적할 필요가 있는가?

컴퓨터 그래픽에서, 렌더링은 핀홀 카메라들을 사용하여 이미지들을 생성한다. 이미지는 그 평면 전방의 어떠한 초점 거리에서 작은 홀에 의해 명시야를 필터링함으로써 평면 상에 형성된다(예를 들어, 이전에 언급된 " Understanding camera trade-offs through a Bayesian analysis of light field projections "로 명명된 논문 참조). 따라서, 이미지들을 렌더링하는 것은 "홀"의 문제이다. 레이 스탠드 포인트(ray stand point)로부터, 이는 광선들의 세트의 수렴 또는 발산을 탐색하는 것과 동등하다.

도 17은 명시야와 광선 다이어그램 사이의 관계를 분석하기 위해 사용되는 표기법을 제시한다. 이러한 도면으로부터, z₁ ≠ z₂ 및 z₃ ≠ z₁이면:

수식 1로서 참조되는 이 공식은 핀홀 또는 시점 (x₃,z₃)을, 2D 광선 다이어그램의 위치인 기록된 명시야 파라미터들 (x₁,z₁,x₂,z₂)에 링크시키는데, 이는 z₁ 및 z₂가 공지되어 있기 때문이다. 수식 1은, 이전 섹션으로부터 예상되는 바와 같이 형태 ax + by = c의 라인이다. 또한, 예상되는 바와 같이, 이의 기울기(x₁의 계수)는 평면 중 하나까지 z₃에서 렌더링 핀홀의 깊이의 함수이고, y 인터셉트는 핀홀의 오프-축 위치 x₃의 함수이다. 이제, 그 수식의 일부 제한의 경우들을 고려한다:

a) 온 축 시준된 광선 팬(On axis collimated ray fan)(z₃→±∞, x₃=0)

z₃→±∞ 및 x₃=0이면, z축에 평행한 시준된 광선 팬의 존재에서 수식 1로부터,

이는, 실제로 선형 관계 x₂ = x₁이다. 따라서, 도 6의 2D 광선 다이어그램으로부터, 오직 관계 x₂ = x₁을 준수하는 광선들만을 선택 및 렌더링하고, z 축에 평행하게 전파되는 명시야로부터의 광선들만을 추적할 것이다.

b) 오프 축 시준된 광선 팬(Off axis collimated ray fan)(z₃→±∞, x₃≠0)

오프 축 시준된 광선 팬들의 경우, z₃과 x₃ 사이에 유사한 관계: x₃=az₃+b가 존재하여, 이를 수식 1에 넣으면,

이고, 이것은 도 5a에 예시되어 있고, 여기서 오프 축 빔들은, 시준된 빔들이 z 축과 형성하는 기울기에 따라 변하는 y 인터셉트들을 갖는 45° 라인들이다. 또한, 2D 광선 다이어그램으로부터, 관계 x₂ = x₁ + c를 준수하는 광선들만을 선택 및 렌더링하고, 전체 명시야로부터 z 축에 대해 일부 각도를 갖는 평행한 광선 세트로 전파되는 광선들을 추적할 것이다. 도 7a 및 도 7b는 도 6의 2D 다이어그램으로부터의 광선들을 선택함으로써 정확히 이러한 경우를 예시하고, 오프 축 평행 광선들이 추적되는 것이 확인된다. 실제로, 도 7a 및 도 7b는 도 6의 2D 광선 다이어그램으로부터 명시야 필터링 및 광선들의 재구성을 제시한다. 더욱 정확하게는, 도 7a는

인 선택 기준에 따라 도 6의 2D 광선 다이어그램에서 광선들의 선택을 예시하며, 이는 도 7b에 도시된 바와 같은 방향 전파를 갖는 광선들의 평행한 세트의 선택을 가능하게 한다. 실제로, 도 7b는 도 6의 2D 광선 다이어그램에서 선택된 광선들로부터 재구성된 명시야를 예시한다.

c) 포커싱된 광선 팬

"포커싱된"은, 팬이 z=z₂에서 제2 샘플링 라인 이후의 포인트에 수렴하는 것을 의미한다. 이러한 경우, z₃>z₂ 및 z₂>z₁이고, 수식 1은,

로 재기입될 수 있다.

그리고, 조건들 z₃>z₂ 및 z₂>z₁은

및

을 의미한다.

도 5e 및 도 5f와 유사하게 x₃=0에 수렴하는 축 광선 팬 상에서, 관계는 45° (α<1)보다 작은 기울기 각도를 갖는 라인들을 설명한다.

이것이 실제로 어떻게 사용되는지를 예시한다. 광선 다이어그램을 구축하는 2개의 평면의 샘플링된 명시야를 갖는 것으로 가정한다. 여전히 4D 명시야의 2D 슬라이스에 있다. 이러한 광선 다이어그램은 도 6으로부터의 것이다. 또한, 3개의 뷰들을 렌더링하려 하는 것으로 가정한다. 이러한 목적으로, 광선들이 수렴할 z=z₂ 이후 3개의 핀홀 또는 3개의 포인트를 정의한다. 이제, 이러한 광선들은 라인 x₂= αx₁+βx₃을 따라 2D 광선 다이어그램 상에서 선택될 수 있고, 여기서 |α| < 1임을 안다.

위치 C₀(z₃=+2,x₃=0), C_-1(z₃=+2,x₃=-2) 및 C₊₁(z₃=+2,x₃=+3)에 각각 위치된 3개의 카메라를 정의한다. z₁=0 및 z₂=1로 설정한다. 이러한 값들이 수식 1에서 설정되면, 2D 광선 다이어그램 상에서 3개의 관계를 준수하는 광선들을 선택해야 한다:

도 9는 선택 기준이

인 도 6의 광선들의 선택을 제시한다. 도 10은 (도 9에서 선택된 바와 같이) 선택된 광선들의 렌더링을 예시한다.

d) 발산 광선 팬

"발산"은, z=z₁의 제1 라인 전에 설정된 포인트 (z₃<z₁, x₃)로부터 발산하는 것으로 나타나는 광선 팬을 의미한다. z₃ <z₁ <z₂인 경우 z₂-z₃> z₁-z₃> 0이 되며 기울기 α는,

.

발산 빔들은 45°보다 큰 기울기를 갖는 선들로서 2D 광선 다이어그램에 매핑된다.

e) 제1 파라미터화 라인 상의 발산 광선 팬

발산 포인트는 z₃ = z₁에 배치될 수 있다. 이러한 경우, 수식 1은 재기입될 수 있고, x₁ = x₃을 얻는다. 제1 평면으로부터 발산하는 것으로 나타나는 그러한 광선들을 추적하기 위해 2D 광선 다이어그램 상에서 수직 라인들을 선택해야 한다.

f) 제2 파라미터화 라인 상의 수렴 광선 팬

수식 1로부터, z₃ = z₂를 설정하면 x₂ = x₃을 얻는다. 제2 평면에 수렴하는 광선 팬은 2D 광선 다이어그램 상에서 수평 라인들로서 매핑된다. 도 11 및 도 12는 (z₃,x₃) =(1,5)로 획득되었다.

g) 실제 렌즈들의 경우

핀홀들은 추상적인 오브젝트들이고, 실제 렌즈 모델들을 사용함으로써 명시야를 렌더링하기를 원하면, 렌즈의 입사 동공(entrance pupil)의 위치 및 크기를 알 필요가 있고, 그 다음, 광선 다이어그램에서 입사 동공을 통해 추적할 그러한 광선들을 선택할 필요가 있다. 입사 동공이 (z_l, x_l)에 있고, z 축에 평행한 렌즈 축을 갖는 애퍼처 직경 A를 가지면, 수식 1을 충족하지만

내에서 변하는 x₃을 갖는 좌표들을 갖는 광선 다이어그램의 모든 광선 포인트들을 광선 다이어그램에서 선택할 필요가 있다.

도 13 및 도 14에서, 입사 동공은 (z_l, x_l) =(4,7)이고, 그 크기는 A = 6이며, 이러한 크기로 인해, 전체 라인 세트에 속하는 광선들을 선택 및 추적할 필요가 있는 2D 광선 다이어그램에서 평행한 라인들의 전체 세트가 존재한다.

이제, 라돈 변환의 2D 광선 다이어그램에의 적용의 관찰들에 초점을 맞춘다. 이전에 언급된 바와 같이, 광선들이 집중되는 곳을 향해 핀홀들이 존재하면, 이러한 광선들의 2개의 평면 파라미터화가 2D 광선 다이어그램에서 라인들로서 표현된다. 예시를 위해 3개의 카메라의 2개의 그룹에 의해 캡처된 명시야를 셋업한다. 카메라들의 제1 그룹은 제1 깊이 (x₃,z₃) = {(10,2);(2,2);(-5,2)}에 있고, 제2 그룹은 다른 깊이 (x₃,z₃) = {(6,14);(-3,14);(-9,14)}에 있다. 모든 카메라는 0.1 단위의 입사 동공을 갖는다(단위는 미터, 센티미터 등일 수 있다). 파라미터화 평면들은 z₁=0; z₂=1에서 설정되고, 평면들의 크기는 |x₁|≤10; |x₂|≤10 단위이다. 평면들 둘 모두는 1000개의 셀로 샘플링되고, 따라서 2D 광선 다이어그램은 1000×1000 픽셀 이미지로서 표현된다(도 15 참조).

그 다음, 이전에 교시된 바와 같이, 단지 도 15를 관찰함으로써(도 15는 3개의 카메라의 2개의 그룹의 2D 광선 다이어그램이고, 제1 그룹은 평면 z₃=2에서 핀홀 세트들을 갖고, 제2 세트는 평면 z₃=14에서 가짐), 3개의 라인의 2개의 세트가 존재하고, 2D 광선 다이어그램 상에서 상이한 깊이들이 상이한 기울기들을 초래하기 때문에 각각의 그룹은 상이한 깊이에서 설정됨이 인식된다. 따라서, 이러한 관찰로부터, 이러한 도면에서, 명시야의 송신 또는 렌더링을 위해 오직 특정 라인들이 중요하고, 따라서 이러한 표현을 효율적으로 압축하기 위한 여지가 있음이 인식된다.

2D 광선 다이어그램으로부터 어느 값들이 중요한지를 정의하는 자연스러운 방식은 다이어그램으로부터 모든 라인들을 검출하는 것이다. 이는 라돈 변환의 사용을 통해 달성될 수 있다. 오스트리아 수학자 요한 라돈(Johann Radon)의 이름을 따서 명명된 2차원의 라돈 변환은 직선들에 대한 함수의 적분으로 구성된 정수 변환으로 정의된다.

이러한 변환은 2D 광선 다이어그램을, 명시야를 효율적으로 특성화하는 파라미터 공간으로 매핑한다. 도 16은, 도 15의 2D 광선 다이어그램에 적용된 라돈 변환의 시각화인 사이노그램(sinogram)이다. 3의 2개의 그룹들에서 6개의 로컬 최대값을 나타냄을 인식한다. 첫번째 것은 θ

42인 라인을 따르고 두번째 것은 θ

27도를 따른다.

도 17은 3D 공간에서 일반적인 시점 렌더링에 사용되는 좌표계를 제시한다.

도 4에 설명된 파라미터화로 인해, 파라미터화된 명시야를 렌더링하려 하는 포인트(이러한 포인트는 z=z₃에 위치된 평면에 위치됨, 도 17 참조)와, 파라미터화 프로세스에서 사용되는 2개의 평면들(도 17의 z= z₁ 및 z= z₂에서 각각 z 축에 수직인 2개의 평면들 참조)에 의한 교차점들 사이에 하기 관계가 나타남을 예시하는 것이 또한 가능하다:

모든 z_i가 공지되어 있기 때문에, 수식 2로서 참조된 이러한 수식의 유일한 파라미터들은 4개의 파라미터들 (x₁,y₁,x₂,y₂)이다. 수식 2는 기본적으로, 포인트 (x₃,y₃,z₃)를 통해 충돌하는 모든 광선들이 링크된 이들의 4개의 좌표를 가짐(또는 수렴하는 또는 동등한 공식이 "이미지를 형성"할 것임)을 의미한다.

또한, 수식 2가

에 초평면을 정의한다는 점을 주목해야 한다(논문[" Polyhedral geometry and the two-plane parameterization ", by X. Gu et al., published in Rendering Techniques'97, Proceedings of the Eurographics Workshop in St. Etienne, France, June 16-18, 1997] 참조).

또한, 이것은, 2개 평면의 파라미터화된 명시야로부터 이미지들을 렌더링하기를 원하는 경우, 초평면들 인근에서만 광선들을 렌더링할 것임을 의미한다. 이들 전부를 추적할 어떠한 필요도 없다. 물론, 항상 전파 방향 또는 렌더링 방향에서 파라미터화 평면들을 선택하기 때문에, 모든 것이 잘 작동한다.

2D에서 표현 포맷에 대한 일부 코멘트들

명시야가 2개의 평면에 의해 파라미터화되면, 위상 공간에서 이의 표현(즉, 4D 광선 다이어그램)은 4D 공간의 일부를 점유한다. 평면들이 유한한 차원들을 가지기 때문에, 그 위상 공간에서 플렌옵틱 기능의 4D 지원은 콤팩트하다. 이러한 방식으로 파라미터화된 명시야를 저장하기 위해 요구되는 공간을 추정할 수 있다. 2D 슬라이스의 경우들 및 전체 4D 경우들 둘 모두를 고려한다. 또한, 평면들이 1000 ×1000 셀들로 단순화되는 것으로 가정한다. 이는, 2D 위상 공간이 1000 × 1000 셀들의 행렬로 표현되고 4D 위상 공간은 1000⁴ 셀들의 행렬로 표현됨을 의미한다. 셀과 연관된 광선의 스펙트럼이 3개의 대역, 즉, 통상적으로 8 비트로 양자화된 적색(R), 녹색(G) 및 청색(B)으로 샘플링되면, 색상은 24 비트 또는 3 바이트 값으로 저장된다. 이러한 특정한 경우에 각각의 4D 표현은 2.8 TB의 저장소를 요구함을 인식할 수 있다.

도 15로부터, 또한, 행렬이 매우 희박하게 파퓰레이트될 것이고, 어떠한 값도 없는 수많은 셀들이 존재할 것이고, 이러한 경우는 명시야에 있어서 일반적인데, 이는 이산적 포착 수단에 의해 캡처되기 때문임을 인식한다. 4D 표현 행렬은 심지어 비례적으로 덜 파퓰레이트될 것이어서, 거대한 행렬들을 조작하는 것은 의미가 없다. 희박한 행렬 표현에서 수행되는 것과 유사하게, 아마도 이를 회피하기 위한 방식을 발견할 수 있다.

또한, 2D 슬라이스 표현의 경우, 광선들은 라인들 인근을 따라 매핑되는 것을 확인하였다. 4D의 경우에, 이는 초평면들 인근에 매핑된다.

하기 논의를 2D의 경우로 제한한다. 이산적 라돈 변환을 사용하여 라인들의 파라미터들을 발견하는 것은 의미가 있기 때문에, 대표적인 값들이 존재하는 행렬의 영역들을 위치확인할 수 있다.

설명들을 예시하기 위해, 이후에 노출되는 주요 아이디어들을 따르는 예를 취할 것이다. 도 18은 캡션에서 설명된 바와 같은 시스템의 2D 광선 다이어그램을 도시한다. 더욱 정확하게는, 도 18은 |A|<0.5의 애퍼처를 갖는 위치 x₃=2, z₃=2의 하나의 카메라에 의해 캡처된 광선들의 2D 광선 다이어그램을 예시하고, 여기서 파라미터화를 위해 사용되는 라인들은 256개의 셀들로 샘플링된다. 도 18에 도시된 이미지가 행렬로 해석되면, 매우 희박하게 파퓰레이트됨을 인식할 수 있다. 발생되는 문제는 다음과 같다: 그 행렬로부터 대표적인 데이터만을 추출하는 것이 어떻게 가능한가? 이를 파일에 (물론 구조화된 방식으로) 저장하기 위한 최상의 방식은 무엇인가? 광선들이 4D 위상 공간 행렬 대신 파일에 개별적으로 저장되는 경우에도, 이는 각각의 광선에 대해, 각각의 위치 x_i 또는 y_i에 대해 적어도 2 바이트 플러스 색상에 대한 3 바이트를 저장하도록 요구한다. 이는, 2D 슬라이스 명시야에 대해 광선 당 7 바이트이고, 이의 전체 4D 표현에 대해 광선 당 11 바이트이다. 그리고 심지어, 광선들은 파일에 랜덤으로 저장되고, 이는 표현을 조작할 필요가 있는 많은 애플리케이션들에 대해 매우 부적절할 수 있다.

디지털 라인들의 빔

광선들이 라인들을 따라 매핑되어 있음을 알기 때문에, 라인의 파라미터들(기울기 관련 s 및 인터셉트 d), 그 다음, 그 라인에 속하는 광선들의 컬렉션, 및 그 다음, 다음 라인 파라미터들 및 각각의 광선들 등을 순차적으로 저장하는 것이 더 효율적이다.

이는, s에 2 바이트, d에 2 바이트, 및 그 다음, 광선 당 오직 3 바이트만을 요구할 것이고, 이는 색상 데이터와 비교하여 라인 파라미터들의 오버헤드를 무시하면 2D, 4D 표현 각각에 대해 1:2 및 1:4의 압축 비율을 제공한다. 또한, 광선들은 파일의 라인들을 따라 순서화될 것이다. 행렬 셀들을 통해 라인들을 설정하기 위해, 최소 에러로 근사화하는 소위 디지털 라인들을 정의할 필요가 있다. 이산적 라돈 변환에 전용되는 문헌에서 정의된 공통 정의들 및 디지털 라인들을 따른다(예를 들어, 1995년 12월 Pattern Recogn., 28(12):1985-1992에서 W. A.

및 H. J.

에 의해 공표된 "A fast digital radon transform-an efficient means for evaluating the hough transform"로 명명된 논문, 및 2006년 Proc. Natl. Acad. Sci. USA, 103(51):19249-19254에서 W. H. Press에 의해 "Discrete Radon transform has an exact, fast inverse and generalizes to operations other than sums along lines"로 명명된 논문 참조).

이러한 스테이지에서 디지털 라인들은 브레센함의 알고리즘으로 생성된다. 더 진보된 회귀적 타입의 디지털 라인 생성은 추후에 나타낼 것이다. 이전 참조들로부터, 디지털 라인은 그리드의 2개의 포인트들 (0, d) 및 (N - 1, s)로 정의되고, 여기서 파라미터 s는 하기 수식에 의해 라인의 기울기와 커플링된다:

여기서 s∈{0,1,…,N-1}. d는 인터셉트이고, d∈{0,1,…,N-1}

예를 들어, d, s 및 디지털 라인들에 대한 x 축의 넘버링의 예시인 도 19를 참조한다. 이전에 인식된 바와 같이, 디지털 라인을 하나의 옥탄트(octant), 즉,

내의 첫번째 옥탄트 또는 두번째 옥탄트

로 제한할 수 있다.

지금까지, 라인의 오직 2개의 포인트들만을 갖는다. 이는 분석적 라인에 대해서는 충분하지만, 이제 또한 분석적 라인을 근사화하는 그리드 포인트들을 제공해야 한다. 디지털 라인을 얻기 위한 가장 간단한 방식은 분석적 라인을 이의 가장 가까운 그리드-포인트로 라운딩하는 것이다. 브레센함의 알고리즘은 최소의 연산 수로 이를 수행하는 방식을 제공하는 한편 이전의 언급된 논문들에서 개발된 접근법은, 빠른 이산적 라돈 변환 계산에 더 양호하게 적응되는 대안적인 정의를 제공한다. 브레센함 구현은 하기 참조로부터 적응된다: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html. 이전에 언급된 바와 같이, 분석은 하나의 옥탄트로 제한된다. 이러한 특정 경우에, 0≤a≤1이어서, d≤s이다.

이제, 동일한 기울기 그러나 상이한 인터셉트들 d를 갖는 디지털 라인들의 군을 고려하며, 라인들의 군은 인접하다. 디지털 라인들의 이러한 군은 "빔"으로 명명될 것이다. 도 20은 그 정의에 따라, 동일한 s-d 값, 그러나 상이한 d 인터셉트들을 갖는 6개의 디지털 라인들의 빔을 도시한다. 라인들의 빔에 의해 충돌되는 영역 내의 특정 픽셀은 하나의 고유의 라인에만 속한다.

따라서, 요약하면, (2D에서) 라인들의 샘플링된 쌍에 의해 파라미터화되고 하나의 카메라에 속하는 광선 데이터는 데이터를 표현하기 위해 사용되는 위상 공간에서 디지털 라인들의 군(빔)에 속한다. 빔의 헤더는 단순히 빔의 기울기 a 및 두께 d_max- d_min을 포함할 수 있다. 광선 값들은, d 및 s일 수 있는 헤더를 갖는 디지털 라인들을 따라 RGB 색상들로 저장될 것이다. 파일은 광선 다이어그램 샘플 공간의 보이드(void) 셀들을 저장하지 않을 것이다. 또한 광선들의 좌표들 x₁, x₂를 저장하지 않을 것이며 추후에 디지털 라인을 따라 셀의 위치로부터 그리고 d, s로부터 추론될 것이다. 도 21은 추후에 설명될 바와 같이, 이러한 설명들을 고려하는 포맷 설명이다.

디지털 라인들의 빔을 특성화하기 위한 이산적 라돈 변환

이전 포맷이 교환 및 렌더링 기반으로서 구현가능하고 사용가능하기 위해, 포맷 내부에 기입되어야 하는 기본 파라미터들을 측정 또는 추측할 수 있는 것이 적어도 바람직하다. 명시야로부터 또는 카메라의 기하구조로부터 추정될 필요가 있는 파라미터들은 기울기 a, 디지털 라인 인터셉트들의 하한 및 상한(d_min,d_max), 및 디지털 라인 파라미터들(d_i,s_i)이다. 이산적 라돈 변환은 광선 다이어그램에서 명시야의 지원 위치를 측정하기 위한 툴로서 논의되었다.

도 23은 디지털 라인 파라미터 공간(d, s)에서 이산적 라돈 변환을 도시하며, 이는 사이노그램의 (ρ, θ) 공간과 혼동하지 않아야 한다.

더욱 정확하게는, 도 23은 도 18로부터의 분포의 이산적 라돈 변환을 도시하고, 도 24는 도 23에 포함된 관심 영역으로의 줌이다. 디지털 라인들의 빔은 최대값 파라미터들에 대한 탐색에 의해 스폿팅된다(spotted). 이미지 콘텐츠로 인해 DRT의 대칭의 기하학적 중심과 최대값의 실제 위치 사이에 약간의 오프셋이 존재할 수 있어서, 추후에 최대값 대신 대칭의 중심을 정확히 적시하는 알고리즘이 발견되어야 한다. 적분 라인들을 따라 RGB 값들을 합산하는 대신에, 콘텐츠의 바이어스 없이 최대값을 발견하는 것은, 더 많은 허프(Hough) 변환(라돈의 이진 버전)인 적분 라인을 따라 셀 당 광선들의 수를 합산함으로써 수행될 수 있다. 그 다음, 도 24에 도시된 바와 같이, 빔 변환의 웨이스트(waist)는 발견하기 용이하고, 이는 포맷에 사용되는 값들(d_min, d_max)을 직접 제공한다. 실제로, 포인트(d_min=74, s=201)는 도 18로부터의 디지털 라인들의 빔의 하위 엔벨로프이고, (d_max=81, s=208)는 디지털 라인들의 빔의 상위 엔벨로프이다.

그러한 값들을 얻으면, 도 21에 의해 특정된 포맷으로 데이터를 채우기 시작할 수 있다.

직교 2D 라돈 변환들에 의한 초평면 위치의 평가

a) 원리

아마도, 명시야를 표현하는 이러한 접근법에서 가장 두려운 것은 광선 데이터의 초평면을 위치확인하기 위해 4D 공간에서 작업해야 할 필요성이다. 다음의 분석에서, 단지 2개의 직교 2D DRT들에 의해 전체 초평면의 위치 및 부피를 평가할 수 있음을 나타낼 것이다.

수식 2에서 2개의 직각 2D 슬라이스 공간들의 수식들을 기입한다.

그리고, x_i 좌표에 대해 2D 슬라이스를 취하면, (x₃,y₃,z₃)에서 크기 A의 애퍼처를 통해 광선 데이터가 매핑될 라인들의 빔의 수식은,

이다.

유사하게, y_i 좌표에 대해 2D 슬라이스를 취하면,

이다.

이전 섹션에 따르면, 이산적 도메인에서 m 및

,

,

,

의 값들을 평가할 수 있다.

이전에 논의된 포맷으로 정의된 명시야의 특성들을 로컬화하기 위해, 4D 이산적 라돈 변환을 수행할 필요가 없다. 2개의 직교 2D DRT를 수행하면, 초평면의 기울기 m 및 디지털 초평면들의 빔 폭을 측정할 수 있고, 여기서 모든 데이터는 4D 광선 다이어그램에 집중될 것이다.

위치의 이러한 더 단순한 절차는 원형 입사 동공 A를 가정하여,

,

,

,

는 모든 초평면 인터셉트들을 포함할 것이고, 포맷에 기입되는 일부 값들은 어떠한 값들도 포함하지 않을 것이다.

b) 예

예를, 섹션 3으로부터 4D의 경우로 확장한다. (x₃, y₃, z₃) =(2,5,2)에 위치된 카메라를 갖는 것으로 가정한다. (즉, 카메라 위치는 (x₃, y₃, z₃)). x의 샘플링된 광선 다이어그램에서 2D 슬라이스는 도 18에 표현된 것과 동일할 것이고, 2D-DRT는 도 23으로부터의 것이다. 도 25는 y 2D-슬라이스에서 직교 2D-DRT를 또한 도시한다. 더욱 정확하게는, 도 25는 2개의 2D 광선 다이어그램들,

및

뿐만 아니라 이러한 2D 광선 다이어그램들에 적용되는 이산적 라돈 변환의 결과를 예시한다.

2D-x 슬라이스 DRT로부터, 초평면의 기울기 m=0.5059에 대한 평가, 및 2D-y 슬라이스 DRT로부터 m=0,4980의 다른 독립적인 평가를 얻는다. 섹션 a)의 수식들로부터, 진정한 값은 m=0.5이다. 작은 차이는, 디지털 라인들의 빔을 변환한다는 사실로부터 온다. 따라서, 2D 라돈 변환의 최대값은 넓으며 최대값의 평가에는 불확실성이 존재한다. 웨이스트들의 측정으로부터, 2D-DRT 둘 모두 상에서, x에서 빔 엔벨로프에 대해

=80, s=208,

=74, s=201, 및 y에서 빔 엔벨로프에 대해

=87, s=214,

=80, s=208임을 발견한다. 그러한 값들은 정확히 예상된 것이다.

이제 도 21에서 도입된 포맷을 4D 콘텍스트로 확장하는 방식을 찾는 것이 남아 있다.

c) 멀티 카메라의 경우

멀티 카메라 시스템에 속하는 명시야를 가지면, 각각의 카메라가 점유하는 파라메트릭 볼륨을 회귀적으로 추정하기 위해 DRT의 선형성을 이용함으로써 진행할 수 있다.

2개의 직교 DRT를 수행하고 그 최대값에 속하는 디지털 초평면들의 최대값 및 엔벨로프를 찾는 것으로 시작할 수 있다. 일단 모든 파라미터들을 가지면, 4D 광선 다이어그램으로부터 또는 이들이 저장된 파일로부터 모든 광선들을 소거할 수 있고, 4D 광선 다이어그램을 비울 때까지 제2 최대값 등을 위치확인하기 위해 직교 DRT의 쌍으로 다시 시작할 수 있다.

2D의 경우에 대해 제안된 것과 유사한 4D의 경우에 대한 포맷, 즉, 도 21의 테이블을 획득하는 것에 관심을 가질 것이다. 이를 수행 하기 위해,

평면 상에서 발견된 2D 라인들을

평면 상에서 발견된 라인들, 즉,

과

의 2개의 직교 슬라이스들과 대응하는 초평면의 교차의 결과들인 라인들에 연관시키는 것에 관심을 가질 것이다. 섹션 a)에서 언급된 수식들로부터, 대응하는 라인들이 동일한 기울기 m을 갖는다는 것을 안다. 이것은, 특정 깊이의 카메라에 대해

상의 각각의 라인을

의 라인과 연관시키는 제1 파라미터이다. 이제, 동일한 깊이에 다수의 카메라들을 가지면(즉, 도 15의 경우), m의 동일한 추정된 기울기를 갖는

의 3개의 라인들 및

의 3개의 라인을 갖는다. 그 다음, 이러한 2개의 평면의 라인들 사이의 라인 오프셋들에서의 대응성들을 결정할 필요가 있다. 이를 수행하기 위해, 우리는 섹션 a)에서 언급된 수식들의 라인들의 공식을 이용한다. 특히,

을 표시하면, 다음과 같은 오프셋들을 갖는다:

및

k, x₃ 및 y₃에 대한 이러한 수식들의 세트들을 풀 수 있다. (x₃, y₃, z₃)은 카메라의 좌표, 즉 투영 중심이며, 이는 또한 카메라의 반경 A의 출사 동공(exit pupil)의 중심이다. z₃에 위치된 평면 상의 애퍼처가 원형이라고 가정했으므로,

이고, 수식들의 이전 세트들을 풀면:

이제, 브레센함 디지털 라인들을 사용하여

상에서 이전과 동일한 디지털 라인들을 스캔한다.

의 각각의 개별적인 (x₁,x₂) 에 대해, 명시야에서 캡처된

의 대응하는 (y₁,y₂)를 저장할 필요가 있다. 이러한 값들을 발견하기 위해, 수식 2를 이용한다. 다음 모두는, 이전에 언급된 수식들로부터 공지되거나 추정된다.

이제,

의 각각의 라인 상으로 이동하여, 각각의

에 대해, (y₁,y₂)에서 하기 관계를 갖는다:

따라서,

(

에서 식별된 라인들의 라인 파라미터들 대신에) 라인 파라미터를 포맷의

에 저장하기를 원하는 경우에,

의 라인의 포인트로부터

의 대응하는 값을 복원하기 위해 동일한 공식이 적용될 수 있다는 것을 주목해야 한다.

여기서 카메라의 애퍼처는 반경 A를 갖는 원이다. 따라서, 변수 y₃ ^*는 y3±A 사이에서 변한다. 결과적으로,

의 각각의 포인트에 대해

의 라인들의 컬렉션을 저장할 필요가 있다. 따라서

는

에 대해 스캔 및 저장될 필요가 있는 라인들의 오프셋에 대응한다. 이것이 어떻게 작동하는지를 알기 위해, 도 20을 참조할 수 있다. 착색된 사각형들의 각각의 하나는

, 포인트이고, 이러한 포인트들의 각각의 하나에 대해, 예시된 것들에 수직이지만 4D 공간에 있는 수식

에 의해 정의된 디지털 번들을 따라 도면의 평면으로부터 이어지는 브레센함 디지털 라인들의 세트가 존재한다.

이제, 콤팩트한 명시야 표현 포맷이 다음과 같이 정의된다(도 22a 참조): 먼저 4D 공간의 일반적인 메타데이터, 즉 4개 축들의 경계 및 이들의 대응하는 샘플링을 제공한다. 그 다음, 카메라들의 수(번들)를 제공한다. 각각의 카메라에 대해, 테이블에 블록을 생성하고, 카메라 j에 대해 다음 파라미터들을 저장한다:

- 애퍼처 A_j의 크기에 대응하는 cam_j;

- focusPoint = (x₃,y₃,z₃);

- d_j로 표기되는 (x₁,x₂)의 최저 cam_j인터셉트;

- cam_j 급경사에 대응하는 m_j;

- cam_j에 대한 (x₁,x₂)에서 디지털 라인들의 수에 대응하는

;

- cam_j에 대한 (y₁,y₂)의 디지털 라인들의 수에 대응하는

.

그 다음, 이러한 카메라에서, 각각의

에 대해 (y₁, y₂)를 스캔하기 시작한다. 수식

에 대해 브레센함 디지털 라인들을 사용하여 RGB 값들을 저장한다. 특히, y₃ ^*는 y₃ ^*-A로부터 y₃*+A로 변경되며, 대응하는 d_off는

에 따라 계산된다. 저장된 메타데이터를 사용하여 동일한 계산들이 디코딩 단계에서 수행된다. 특히, k는

를 결정함으로써 발견된다. 따라서, 포맷은 콤팩트하게 유지된다. 시스템에 각각의 광선에 대해 4개의 인덱스들을 저장할 필요가 없다. 게다가, 애퍼처 크기는 공지되고 모든 카메라들에 대해 동일하다고 가정한다. 그러나, 포맷을 일반적으로 유지하기 위해 각각의 카메라에 대해 이를 저장하도록 제안한다.

위의 초평면의 샘플링은 4D 광선-공간의 샘플링임을 주목하며, 단일 x₁, y₁, x₂, y₂ 위치를 누락하지 않을 것을 확신한다.

이는 모든 데이터를 매우 콤팩트한 형태로 저장하기 위한 4D 광선 공간의 체계적인 스캐닝의 오직 일례일 뿐이다. 물론 다른 방식들이 있을 수 있다. 파라메트릭 형태는 인터리빙된 공간 탐구를 허용하기 때문에, 초평면을 탐구하도록 적응되는 것처럼 보인다.

멀티 카메라들의 경우

초평면들의 몇몇 번들들(다수의 카메라들로 인한 라돈 변환에서 몇몇 최대값)을 포함하는 데이터에 대해 작동시키기 위해, 그리디(greedy) 알고리즘을 사용할 수 있다. 사전-프로세싱 단계로서, 파라미터들 (m, k)가

에 대한 라돈 변환의 모든 피크들에 대해 발견되고, 하나의 세트에 대입된다. 동일한 것이 (y₁, y₂)의 피크들에 대해 수행되고, 파라미터들은 다른 세트에 대입된다. 이제, 그리디 알고리즘의 각각의 반복에서, (x₁, x₂)의 2D 라돈 변환에서 최대 피크 강도가 발견되고, 이전에 발견된 파라미터들 (m, k)를 매칭시킴으로써 (y₁, y₂)의 대응하는 피크가 발견된다. 마지막 섹션에서 언급된 바와 같이 데이터를 저장한 후, 이러한 피크들은 라돈 변환들로부터 제거되고, 명시야에 의미있는 어떠한 것도 남아 있지 않을 때까지 다음 반복이 시작된다.

도 22a의 콘텍스트는 하나의 라이트 슬래브로 제한된다는 것을 주목해야 한다. 그러나, 6개의 라이트 슬래브들이 사용되는 경우의 콘텍스트로 일반화될 수 있다. 도 22c 및 도 22d는, 이중 박스 내에 인클로징될 수 있는 오브젝트(펭귄)를 도시하며, 이러한 박스의 측면들은 이중 박스/큐브의 외부에 배치된 일부 랜덤으로 분포된 카메라들에 의한 방출된 명시야 캡처를 파라미터화하기 위해 라이트 슬래브들을 구축하기 위해 사용된다. 따라서, 도 22a의 파일 포맷은 6개의 라이트 슬래브들에 대한 태그들을 보유하도록 확장될 수 있다. +z는 이전에 이미 가정되었지만, 전체 명시야의 완전한 파라미터화를 갖도록 -z, + x, -x, -y, + y를 추가할 수 있다.

그 다음, 파라미터화 평면들을 참조하기 위해, 6개의 배향들의 각각의 배향에 좌표계가 할당된다. 방향

를 파라미터화하기를 원한다고 가정한다. 이러한 방향에는 성분들(u, v, w)을 갖는 좌표계

가 할당된다. 평면들은 w₁ 및 w₂로 설정되며, 이들의 치수들은 u_min, u_max 및 v_min, v_max이다. 4D 광선 공간은 u₁, u₂, v₁, v₂ 내의 성분들을 가질 것이다.

도 22b는 도 22a의 포맷의 일반화를 제시한다. 도 22b는 단지 2개의 라이트 슬래브를 제시하지만, 일반적으로 애플리케이션 및 장면에 따라, 1 내지 6개의 임의의 수의 섹션이 존재할 수 있다. 1의 값은 오직 1 방향에서 명시야 전파에 대한 포맷일 것이고, 6의 값은 모든 방향에서 명시야 전파에 대한 것일 것이다. 명시야를 파라미터화하기 위해 사용되는 평면들은 큐브/박스의 필수적 면들이 아니며, 볼록 큐브를 구축하기 위해 평면의 각각의 것은 그 크기 제한을 가질 필요가 없음을 주목해야 한다.

도 26a는 콤팩트한 명시야 표현을 제공하기 위한 방법의 일부 단계들을 제시한다.

본 개시내용의 일 실시예에서, 명시야 콘텐츠가 전자 디바이스에 제공된다. 이러한 명시야 콘텐츠는 예를 들어 전술한 4D 명시야 데이터 또는 광선들의 2개의 평면 파라미터화일 수 있다.

2000으로 참조되는 단계에서, 명시야 콘텐츠가 2개의 평면의 사용을 통한 광선들의 파라미터화에 의해 표현되지 않으면, 2개의 평면의 사용을 통해 명시야 콘텐츠의 광선들의 파라미터화가 수행된다. 도 26b는 4D 명시야 데이터 또는 종래의 2D 이미지로부터, 상기 단계(2000)에 대응하는 2개의 평면의 사용을 통한 광선들의 파라미터화에 기초한 표현으로의 변환을 예시하는 합성 방식을 제시한다.

그 다음, 2001로 참조된 단계에서, 하나의 평면 상으로 광선들의 투영들이 수행되고(평면(405) 또는 평면(404) 상으로), 하나의 2D 광선 다이어그램의 생성이 수행된다(즉, 평면(404) 상으로의 투영이 사용되는 경우 2D 광선 다이어그램

또는 평면(405) 상으로의 투영이 사용되는 경우 2D 광선 다이어그램

). 명백하게, 상기 하나의 2D 광선 다이어그램의 생성은 2개의 파라미터화 평면들의 샘플링으로부터 직접 획득될 수 있다.

2002로 참조된 단계에서, 이산적 라돈 변환은 2D 광선 다이어그램에서 일부 관심 라인들을 식별하기 위해 단계(2001)에서 출력된 2D 광선 다이어그램 상에 적용된다(즉, 이산적 라돈 변환은 단계(2001)의 출력에 따라

또는

에 적용된다).

2003으로 참조된 단계에서, 단계(2002)에서 식별된 라인들을 인코딩하기 위해, 브레센함 알고리즘이 사용된다. 예를 들어 식별된 라인 파라미터들 d와 s를 전달한다. 변형예에서, 파라미터들 d 및 식별된 라인의 기울기만을 전달한다. 몇몇 식별된 라인들이 빔에 속하는 경우(이전에 설명된 바와 같이), 빔의 기울기 및 두께가 저장될 수 있다.

2004로 참조된 단계에서, 명시야 콘텐츠는 압축된 방식으로 저장된다. 실제로, 단계(2002)에서 식별된 라인들을 다른 2D 광선 다이어그램의 라인들과 연관시키는 것이 가능하기 때문에, 상기 다른 2D 광선 다이어그램에 좌표를 저장할 필요가 없다. 실제로, 단계(2001)에서 출력된 2D 광선 다이어그램이 2D 광선 다이어그램

에 대응하는 경우,

에서 식별된 라인은 2D 광선 다이어그램

에서 동일한 기울기를 갖는 라인과 연관될 수 있고, 더 정확하게는 다음 수식:

을 나타내며, 그 다음에, 식별된 라인 상의 각각의 포인트(즉, 식별된 라인에 속하기 때문에 명시적으로 저장될 필요가 없는 좌표

를 갖는 포인트)에 대해, 포인트들

의 컬렉션의 포인트를 "통과"하는 대응하는 광선의 값(즉, RGB 값)이 저장된다. 그러나, 일부 경우에, 대응하는 광선은 존재하지 않고, 널 값이 저장된다. 예를 들어, 식별된 라인을 표현하는 도 19의 값들을 취하면, 전자가 명시야 콘텐츠를 저장해야 하는 경우, 좌표 x₁=0, x₂=5, y₁=0, 및 y₂=m.0+d_off (0,5,x₃,y₃ ^*)를 "통과"하는 광선(더욱 정확하게는 이러한 광선의 투영)의 값(즉 RGB 값)이 저장될 것이고, 뿐만 아니라, x¹=0, x²=5, y¹=1, 및 y²=m.1+d_off(0,5,x₃,y₃ ^*) 등을 "통과"하는 광선의 값(즉, RGB 값)은 y₂의 값이 평면들의 경계들(예를 들어, x₁=0, x₂=5, y₁=15, 및 y₂=m.15+d_off(0,5,x₃,y₃ ^*)를 "통과"하는 광선의 값(즉, RGB 값)) 밖에 있을 때까지 저장되지 않는데, 이는 평면의 경계들 밖이기 때문이다. 그 다음, 좌표 x₁=1, x₂=6, y₁=0, 및 y₂=m.0+d_off(1,6,x₃,y₃ ^*)를 "통과"하는 광선의 값(즉, RGB 값)뿐만 아니라 x₁=1, x₂=6, y₁=1, 및 y₂=m.1+d_off(1,6,x₃,y₃ ^*) 등을 "통과"하는 광선의 값(즉, RGB 값)은, y₂의 값이 평면들의 경계들 밖에 있을 때까지 저장될 것이다. 동일한 프로세스가 식별된 라인 상의 각각의 포인트에 대해(즉, 포인트 x₁ = 15, x₂ = 13의 프로세싱까지) 반복된다. 명시야는 단계(2002)에서 식별된 라인들에 속한 모든 포인트가 핸들링될 때까지 이러한 콤팩트에서 인코딩된다.

도 26b는 4D 명시야 데이터 또는 종래의 2D 이미지로부터, 2개의 평면의 사용을 통한 광선들의 파라미터화에 기초한 표현으로의 변환을 예시하는 합성 방식을 제시한다.

일 실시예에서, 종래의 카메라로부터(즉, 픽셀들의 세트를 포함하는 종래의 2D 이미지로부터), 픽셀 백 트레이싱 동작을 통해 대략적/평균 명시야 표현에 대응하는 광선들의 세트를 획득하는 것이 가능함을 주목해야 한다.

본 개시내용의 일 실시예에서, 입력된 4D 명시야 데이터(예를 들어, 플렌옵틱 카메라 또는 카메라 어레이를 통해 획득 됨)는 광선들의 컬렉션이 추출될 수 있는 픽셀들의 세트를 포함한다. 이러한 광선들의 컬렉션을 추출하기 위해, 변환하기 위한 방법은 픽셀을 광선으로 변환할 수 있는 픽셀 백 트레이싱 방법/동작을 포함한다. 실제로, 이는, 4D 명시야 데이터의 표현 중 하나를 서브-애퍼처 이미지들의 세트(즉, 동일 시간 또는 근접 시간에 취해진 상이한 시점들로부터의 이미지들의 세트)로 변환하는 것이 가능하기 때문이다. 각각의 이미지들은 사실상 픽셀 센서와 연관될 수 있고, 따라서 서브-애퍼처 이미지들의 세트에 포함된 각각의 이미지들에 픽셀 백 트레이싱을 적용함으로써 4D 명시야 데이터의 광선 표현이 획득될 수 있다.

광선들의 세트가 픽셀들(또는 가상 픽셀들)로부터 추출되면, 파라미터화 동작은 전자 디바이스에 의해 실행된다. 광선을 4개의 좌표(즉, 2개의 평면들과 광선의 교차점의 좌표)로서 표현하기 위해 이러한 파라미터화 동작은 2개의 평면들(명백하게, 이러한 평면들은 유한 평면임)의 사용을 포함한다.

이하, "종래의" 2D 이미지로부터의 픽셀 백 트레이싱 동작과 관련된 세부사항들이 주어진다(그 다음, 이전에 설명된 바와 같이 4D 명시야 데이터에 대한 광선 표현을 획득하기 위해, 이러한 픽셀 백 트레이싱 동작은 서브-애퍼처 이미지들의 세트에 포함된 몇몇(또는 모든) 이미지들에 적용된다). 단순화하기 위해, 카메라들의 투영 중심이 (0, 0, 0)에 있고, 이미지 평면이 (0, 0, f)에 중심을 둔다고 가정할 것이다. 카메라는 회전되지 않고; 이의 축은 Z 방향을 향한다. 또한 m_u = m_v = m pixels.meter^-1이 되도록 픽셀들은 정사각형들이라고 가정한다. 마지막으로, 이미지 평면은 바닥 좌측 픽셀이 (u = 0, v = 0)에 있는 방식으로 (t_u, t_v)로 변환된다. 픽셀들은 이들의 열 인덱스 쌍(i, j)에 의해 어드레스된다. I가 픽셀들 (i, j, 1)의 이미지 위치 벡터인 경우, 픽셀과 중앙 투영을 통해 그 픽셀에 매핑되는 포인트 P(X, Y, Z) 사이의 관계는 다음과 같다:

그리고 이제, m, f, t_u, t_v는 교정 단계로부터 공지되고, 픽셀을 백 트레이싱하는 것은 단순히,

를 도출한다.

P는 픽셀(i, j)로부터 시작된 광선이 통과할 3D 공간의 포인트이다. 따라서, 하나의 위치 P를 갖고, 방향을 얻는 것은 입증의 문제이고, 광선이 또한 (0, 0, 0)을 통과하기 때문에 방향은 벡터 P(X, Y, Z)이다.

이러한 예는 픽셀을 백 트레이싱하는 방법, 즉 픽셀들로부터 명시야로 이동하는 방법을 예시한다.

4D 명시야 데이터의 프로세싱의 경우, 멀티-카메라 모델이 사용될 수 있다(즉, 서브-애퍼처 이미지들 각각은 카메라와 관련된다).

파라미터화는 일부 태그들로 각각의 광선을 고유하게 식별하는 프로세스이다. 광선이 위치를 통과하고 방향을 가지기 때문에 가장 간단한 파라미터화는 공간 좌표와 방향 좌표를 혼합한 6개의 실수 (x, y, z, u, v, w)의 세트일 것이다. 단순화를 위해, 여기서, 이전에 이미 논의된 2개의 평면 파라미터화를 채택할 것이다. 매우 자주 문의되는 질문은 포착 시스템에 대해 그러한 평면들을 어디에 둘 것인지이다. 종종 문헌에서, 특히 플렌옵틱 카메라들의 경우, 일부 계산의 편의성을 위해, 하나는 센서에 배치되고, 다른 하나는 렌즈릿(lenslet) 어레이 또는 메인 렌즈에 배치된다. 마이크로 렌즈는 두께를 갖기 때문에 그러한 위치들은 회피되어야 하며, 따라서 평면들 중 하나를 정확히 어디에 두어야 할 것인가? 메인 렌즈들은 미지의 매우 복잡한 렌즈 규정을 갖는다. 따라서, 일 실시예에서, 솔루션은 평면들을 포착 시스템의 외부에 두는 것이다.

z = z₁에 일 평면이 있고 z = z₂에 z₂> z₁인 다른 평면이 있다고 가정한다. 픽셀(i, j)로부터 백 트레이싱된 광선에 대한 파라미터들을 다음과 같이 발견할 수 있다:

수식 시스템이 기입되면, 2개의 제1 라인들은 z₁로 나누어져야 하는데, 이는 균일한 좌표에 대한 규칙이기 때문이다.

제2 평면과의 교차점으로부터 오는 파라미터들의 제2 세트는 또한 다음과 같이 기입할 수 있다:

(z₁, z₂) 쌍이 공지되기 때문에, 이전의 파생들로부터, 광선이 4-uplet (x₁, x₂, y₁, y₂) ∈

에 의해 고유하게 설명될 수 있음을 알 수 있다. 또한, 광선에 RGB 값이 할당된다. 따라서, 이러한 파라미터화에서 광선을 표현하기 위해, 4 플로트 및 3 바이트, 즉, 총 19 바이트가 필요하다(그러나, 지금까지 광선 공간을 샘플링하지 않았다)! 이미지 기반 포맷에서, 엘리먼트 데이터는 오직 2 플로트 및 3 바이트로만 표현된다. 따라서, 이러한 파라미터화는 콘텐츠에 많은 데이터를 추가하며, 일반적으로 명시야는 4차원 데이터 세트이므로, 관리할 수 없는 저장 양을 필요로 한다.

도 26c 및 도 26d는 광선이 픽셀(또는 가상 픽셀) 센서로부터 어떻게 "추출"되는지를 제시한다. 실제로, 261 또는 264로 참조되는 픽셀(또는 가상 픽셀)로부터, 주 광선(262 또는 263으로 참조됨)이 획득될 수 있다(광선은 픽셀 위치에서 원뿔(265로 참조되는 원뿔)의 피크를 통해, 원뿔의 베이시스(카메라의 메인 렌즈의 크기의 함수로서 정의되는 베이시스)의 중심까지 통과한다).

파라미터화에 사용된 2개의 평면의 샘플링이 너무 넓은 경우에 도 26a에 설명된 방법을 사용할 때 누락 데이터 또는 픽셀 크로스-토크는 여전히 발생할 수 있다는 것을 주목해야 한다. 본 개시내용의 일 실시예에서, 파라미터화 평면들을 샘플링하기 위한 기술과 관련된 세부사항들은 다음에서 설명된다. 이러한 기술은, 샘플링이 누락 데이터 또는 픽셀 크로스-토크를 회피하는 그러한 방식으로 도 21 및 도 22에서 설명되는 명시야 포맷으로 데이터를 채울 수 있게 한다.

도 27a는 본 개시내용의 일 실시예에 따른 방법의 샘플링 단계들을 유도하기 위해 사용되는 파라미터들을 제시한다. 도 27a의 뷰는 평면 P 상의 투영에 대응한다. 이러한 평면은

또는

등과 동일함을 주목해야 한다.

도 27b는 일부 추가적인 엘리먼트들을 갖는 도 17의 3D 표현에 대응한다.

더욱 정확하게는, 하나의 카메라로 시작한다고 가정하고 일반성을 잃지 않고 분석을 2D 슬라이스로 제한한다. 초점 길이 f의 카메라의 투영 중심은 좌표(x₃, y₃, z₃)에 있고, z_f - z₃ = f이도록 하는 깊이 z_f에서 픽셀 어레이를 갖는다. 픽셀 피치는 p이다. 실제로, 272로 참조되는 픽셀 어레이(또한 픽셀 센서로 명명됨)는 픽셀 엘리먼트들을 포함하고, 각각의 엘리먼트는 p²와 동일한 표면을 갖는다.

277로 참조되는 촛불이 있는 생일 케이크는, 광선들이 방출되는 오브젝트 공간(즉, 실제 장면)의 오브젝트를 표현하고, 3D 공간에서 좌표 (x₃, y₃, z₃)에 위치된, 단순화를 위해 카메라로 또한 명명된 카메라의 투영 중심을 통과한다. 이러한 카메라는 A로 표기된 애퍼처(반경 r의 원)를 갖는다.

동등한 삼각형들로부터 및 도 27a로부터 다음 수식을 설정할 수 있다:

이는 도 27a에서 270으로 참조되는 광선을 Π₂ 상의 위치로 유도하며:

이는, 도 27a로부터 271로 참조되는 광선인 인접 픽셀에 대해 기입될 수 있고:

z_f - z₃ = f로 설정하고, 픽셀 센서(272)로부터의 각각의 픽셀이 하나의 광선을 수신하고 이러한 광선이 평면들 둘 모두에 의해 고유하게 파라미터화되기를 원하면, x₂(및/또는 x₁) 상의 최대 샘플링 간격은

(각각

)이고 다음과 같이 한정되어야 한다:

분석을 2D 슬라이스로 제한하지 않으면, y 샘플링 단계에 대해서도 동일하게 적용된다.

따라서, 하기 수식들이 또한 나타난다:

이러한 실시예에서, 2개의 평면 (x₁,y₁) 및 (x₂,y₂)는 생일 케이크(277)를 갖는 장면을 포착하는 모든 카메라들 외부에서 전반적으로 및 그에 공통으로 선택된다. 평면(x₃, y₃)은 각각의 카메라의 애퍼처 상에 위치된다.

도 27c는 명시야의 파라미터화를 수행하기 위해 사용되는 평면들의 이산화를 제시한다. 도 27a 및 도 27b에 상세화된 구성에서 픽셀 센서 상에 오직 하나의 광선을 갖기 위해, 275 및 276로 참조된 이산화된 평면들이 이전에 언급된 제한을 충족시키는 것이 필요하다.

예를 들어, 픽셀 피치는 4μm(전체 프레임 카메라), 파라미터 f = 50mm, 값들 z₃-z₂ = 5m 및 z₃-z₁ = 6m과 동일할 수 있다. 센서가 6000 x 4000 픽셀들을 포함하는 경우, 이산화된 평면들은 (평면 x₁, x₂에서) 6000개의 셀들 및 (평면 y₁, y₂에서) 4000개의 셀들을 포함한다.

이제,

에서 투영 중심, 초점 길이 fⁱ 및 픽셀 피치 pⁱ를 갖는 다수의 카메라를 갖는다고 가정하고, 각각의 광선이 명시야 광선 파일 포맷으로 고유하게 매핑될 것을 보장하는 2개의 평면 상에서 최대 샘플링 단계들은,

이다.

그리고, 분석을 2D 슬라이스로 제한하지 않으면, y차원에 대해 수식들의 동일한 세트가 적용된다. 파라미터화 평면들 상의 샘플링 간격은 그보다 작을 수 있다. 유일한 효과는 저장 효율성의 부족일 것이지만, 그러한 값들보다 클 수 없을 것이다.

본 기술은 또한 반경 A와 연관된 좌표 x₃, y₃, z₃에서의 투영 중심에서 강도를 추정하기 위해 사용될 수 있음을 주목해야 한다.

이러한 강도의 추정은 x₁, x₂ 평면과 y₁, y₂ 평면 중 하나의 라돈 변환에 대해 대응하는 영역들의 합산을 수행하는 전자 디바이스에 의해 수행될 수 있다. 특히,

와

사이에 캡처된 강도들이 합산되어 평면

상의 강도에 대한 하나의 근사치를 제공한다.

에 대한 결과들을 획득하기 위해 동일한 작업이 수행되고, 마지막으로 2개의 값이 합산되어 투영 중심에서 강도의 최종 근사치를 얻는다. 이러한 기술은 투영 중심에서 오직 광 강도의 근사치를 제공하며, 투영 중심들 사이의 상대적 강도들이 관심있는 경우에만 사용될 것임을 주목해야 한다.

본 개시내용의 일 실시예에서, 2개의 평면 (x₁, y₁) 및 (x₂, y₂)는 모든 카메라의 외부에서 공통으로 선택되고, 평면 (x₃, y₃)은 각각의 카메라의 애퍼처 상에 위치되고 z₁, z₂ 및 z₃은 포지티브로 정의된다. 그 경우, (이전에 언급된 수식

에서) m의 더 큰 값들은 z₃의 더 큰 값들을 의미한다(

임을 주목한다). 2개의 상이한 값 m₁과 m₂를 갖는 2개의 번들을 가지면, m₁ > m₂인 경우, 제1 번들이 제2 라인에 의해 특정 좌표에서 폐색된다고 추론될 수 있다. 따라서 제1 번들 상의 대응하는 좌표에 대한 광선 강도들은 미지이다.

도 26a에 설명된 방법은 효율적인 방식으로 코딩된 명시야 콘텐츠의 획득을 가능하게 한다(즉, 이러한 명시야 콘텐츠의 저장 크기는 콤팩트하다). 그러나, 실제 장면에서, 도 28에 예시된 바와 같이 일부 폐색들이 발생할 수 있음을 주목해야 한다. 도 21 및 도 22에서 설명되는 제안된 포맷들은 장면에서 폐색들을 갖는 문제를 처리하지 못하며, 이는 장면의 폐색 부분들에 대한 정보가 또한 저장됨을 의미한다.

특정 또는 추가적인 특징부들의 사용은 이러한 문제를 극복할 수 있으며, 보다 효율적인 인코딩된 명시야 콘텐츠의 획득을 가능하게 한다. 도 28은 카메라들의 사용에 의해 이미지들이 획득되는 장면(2개의 오브젝트를 포함함)을 제시한다. 더욱 정확하게는, 이미지들은 2개의 카메라의 3개의 그룹으로부터 획득된다.

카메라의 그룹은 동일한 깊이 평면에 있는 카메라의 세트로서 정의됨을 주목해야 한다.

제1 그룹은 제1 카메라와 제2 카메라를 포함하며, 이들은 각각

와 함께 데카르트 좌표 값들

및

을 갖는다. 제1 카메라는 또한 애퍼처 값 A₁과 연관되고, 제2 카메라는 애퍼처 값 A₂와 연관된다.

제2 그룹은 제3 카메라와 제4 카메라를 포함하며, 이들은 각각

와 함께 데카르트 좌표 값들

및

을 갖는다. 제3 카메라는 또한 애퍼처 값 A₃과 연관되고, 제4 카메라는 애퍼처 값 A₄와 연관된다.

제3 그룹은 제5 카메라와 제6 카메라를 포함하며, 이들은 각각

와 함께 데카르트 좌표 값들

및

을 갖는다. 제5 카메라는 또한 애퍼처 값 A₅와 연관되고, 제6 카메라는 애퍼처 값 A₆과 연관된다.

도 28은 카메라 사이에서 일부 폐색이 발생하는 구성을 제시한다. 예를 들어, 제4 카메라는, 일부 광선들이 제1 카메라 또는 제2 카메라 중 어느 하나에 의해 차단된다는 사실로 인해, 장면의 뷰 필드에서 오브젝트들로부터의 모든 광선들을 캡처할 수는 없다.

도 29는 2개의 카메라의 3개의 그룹의 2D 광선 다이어그램을 제시한다.

제1 카메라와 연관된 2D 광선 다이어그램에서의 라인의 두께가 다른 것보다 두껍기 때문에, 제1 카메라의 애퍼처(즉, A₁의 값)의 값은 다른 카메라들로부터의 다른 애퍼처들의 값들보다 크다.

도 28에서 이전에 언급된 폐색들은 2D 광선 다이어그램의 교차점에 의해 표현될 수 있다. 예를 들어, 도 29에서 A로 참조된 세트는 제2 카메라 및 제3 카메라와 연관된 라인들에 속하는 포인트들의 세트에 대응한다. 본 기술은 2개(또는 그 초과의) 라인들의 교차점들에 대응하는 2D 광선 다이어그램(광선과 연관된 포인트)의 포인트들을 저장하기 위한 솔루션을 자세히 설명한다.

도 30은 명시야 콘텐츠의 폐색들을 핸들링하기 위한 방법을 예시한다. 더욱 정확하게는, 이러한 방법은 이전에 정의된 바와 같이 2개의 2D 광선 다이어그램

및

에 표현된 광원 필드의 입력 광선들을 취한다.

사전 프로세싱 단계로 간주되는 380으로 참조된 단계에서, 입력된 2D 광선 다이어그램

에 대한 이산적 라돈 변환의 적용에 의해 식별된 각각의 라인들의 파라미터들 (m, k)는 제1 세트 Ω₁에 저장된다. 그 다음, 입력된 2D 광선 다이어그램

에 대한 이산적 라돈 변환의 적용에 의해 식별된 각각의 라인들의 파라미터들 (m, k)는 제2 세트 Ω₂에 저장된다.

381로 참조된 단계에서, 제1 세트 Ω₁는 파라미터 m에 따라 정렬된다.

382로 참조된 단계에서, 최소 m 값을 갖는 번들들은 완전히 캡처되고, 따라서 도 22a에 도시된 방식으로 완전히 저장된다.

그 다음, 383으로 참조된 단계에서, 하기 단계들이 제1 세트 Ω₁에 대해 반복된다:

다음으로 가장 작은 기울기 m_n을 고려하고, 이러한 번들의 광선들과 m_n보다 작은 기울기를 가진 번들들의 모든 광선들과의 교차점을 찾는다; 언급되는 이러한 번들들의 세트는 ω_inf⊂Ω₁이다.

이러한 번들의 각각의 행 i에 대해, 기울기 m_i = m_n을 갖고,

의 라인 공식은 다음과 같이 기입된다:

여기서 d_i 대응하는 번들의

및

에 의해 한정된다. 이제, ω_inf의 번들들에 속하는 기울기들 m_j<m_i를 갖는 모든 라인들 j를 고려한다. 다음과 같이 i와 j 사이의 모든 교차점

을 발견한다:

라인 i에 대한 이러한 교차점들은 라인들 j에 의해 폐색된다. 따라서, 도 22a의 라인 i의 값들을 저장하는 경우, 이러한

에 대해 널 또는 미지(UnKnown)를 저장해야 한다.

마지막으로, 클리닝 단계에서,

및

의 2D 라돈 변환으로부터 대응하는 강도 피크들을 클리닝하고, 명시야에 어떠한 의미있는 것도 남지 않을 때까지 다음 반복이 시작된다.

따라서, 도 28에 예시된 예에 이러한 방법을 적용함으로써, 기울기 m₀을 갖는 라인에 속하는 모든 포인트들이 저장되는 것으로 나타난다.

그 다음, 기울기 m₁을 갖는 라인들이 프로세싱된다. 세트 A, B, C 및 D에 속하는 포인트들은 저장되지 않는다.

그 다음, 기울기 m₂를 갖는 라인들이 프로세싱된다. 세트 E, F, G, H, I 및 J에 속하는 포인트들은 저장되지 않는다.

더욱 정확하게는, 도 19의 예를 취함으로써, 더 작은 기울기를 갖는 다른 라인이 포인트들 (x₁,x₂)=(5,8),(x₁,x₂)=(6,8),(x₁,x₂)=(7,9),(x₁,x₂)=(8,9)에 대해 도 19의 라인과 교차하면(예를 들어, 좌표 (x₁,x₂)=(5,8),(x₁,x₂)=(6,8), (x₁,x₂)=(7,9), (x₁,x₂)=(8,9)의 포인트들이 이러한 2개의 라인들 사이의 교차점에 속하면, 포인트들의 컬렉션의 값들

을 저장하는 대신에, 이전에 언급된 바와 같이 도 19의 라인의 포인트들을 프로세싱하는 경우), 그 포인트들에 대해 이용가능한 어떠한 값들도 없음을 표시하는 정보가 저장된다(예를 들어, 널 값 또는 어떠한 심볼이 저장된다).

다른 실시예에서, 프로세싱된 2D 광선 다이어그램이 이전에 설명된 바와 같이

가 아니라

인 경우, 동일한 방법은,

의 라인들을 프로세싱하는 경우에, 즉, (더 작은 기울기를 갖는 라인을 갖는) 교차점 영역에 속하는 포인트들(y₁,y₂)에 대한 포인트들의 컬렉션의 값들

이 저장되지 않는 경우(또는 폐색을 표시하는 정보가 저장되는 경우) 적용될 수 있다.

본 개시내용의 일 실시예에서,

에서 식별된 라인 상에 포함된 좌표

를 갖는 포인트에 대해, 형태

를 갖는 특정 포인트를 "통과"하는 광선이 존재하지 않는 경우, 제로와 동일한 RGB 값(즉, 제로에서 셋업된 3 바이트)을 저장하는 대신에, 제안된 기술은 제로와 동일한 3 바이트의 저장을 회피하기 위해 추가적인 정보(예를 들어, 비트)를 사용한다. 실제로, 이러한 추가적인 정보는 명시야 콘텐츠를 표현하기 위한 모든 RGB 값에 연관된다. 실제로,

에서 식별된 라인 상에 포함된 좌표

를 갖는 포인트에 대해, 형태

를 갖는 특정 포인트를 통과하는 광선이 존재하는 경우, 추가적인 정보가 1로 셋업되고, 이러한 추가적인 정보 이후 RGV 값이 저장된다.

에서 식별된 라인 상에 포함된 좌표

를 갖는 포인트에 대해, 형태

를 갖는 특정 포인트를 "통과"하는 광선이 존재하지 않는 경우, 추가적인 정보가 제로로 셋업되고, 이러한 추가적인 정보 이후 RGV 값이 저장되지 않는다.

다음은 4D 샘플링된 광선 다이어그램으로부터 코딩된 데이터 라인의 예이다:

1 201 180 128 1 002 090 255 0 1 206 025 009 1 201 201 201 0 0 0 1 255 255 255

이는 다음과 같이 해석된다:

제1 데이터 셀은 RGB 값 201 180 128을 포함하고, 제2 데이터 셀은 RGB 값 002 090 255를 포함하고, 제3 데이터 셀은 어떠한 광선도 포함하지 않고, 제4 데이터 셀은 RGB 값 206 025 009를 포함하고, 제5 데이터 셀은 RGB 값 201 201 201을 포함하고, 제6, 제7 및 제8 데이터 셀은 어떠한 광선도 포함하지 않고, 제9 데이터 셀은 RGB 값 255 255 255를 포함한다.

또한, 이러한 추가적인 정보의 사용은 블랙 픽셀(black pixel)과, 이와 매우 상이한, 어떠한 광선 정보도 없는 것 사이를 구별하도록 허용한다. 또한, 많은 보이드 셀들이 있을 수 있기 때문에, 이러한 기술은 보다 콤팩트한 인코딩된 명시야 콘텐츠를 획득하는 것을 가능하게 한다.

도 31은 본 개시내용의 일 실시예에 따라, 전자 디바이스에 의해 전달될 이미지에 대해, 예를 들어 도 22a의 테이블로부터의 명시야 콘텐츠의 콤팩트한 표현으로부터 이러한 이미지의 픽셀들의 값들을 획득하기 위한 방식을 제시한다.

282로 참조되는 명시야 콘텐츠의 적어도 2개의 2D 광선 다이어그램 표현에 기초하는 테이블(예를 들어, 도 22a 또는 도 22b에서 설명되는 테이블들)로부터 m×n 픽셀들(m 및 n은 1보다 큰 정수임)을 포함하여 전달될, 280으로 참조되는 이미지의 픽셀들의 값들을 채우기 위해, 본 개시내용의 일 실시예에 따르면, 다음과 같이 제안된다:

테이블(282)(예를 들어, 도 22a 또는 도 22b의 테이블)의 데이터에 대한 포인터들을 포함하는, 281로 참조되는 2차원 룩업 테이블을 획득하고;

인덱스(i, j)에 의해 어드레스된 픽셀에 대해, 동일한 인덱스 (i,j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해 도 22a 또는 도 22b의 테이블로부터 광선의 방사 휘도 값을 획득한다.

그 다음, 위치 (l,k)에 위치된 이러한 방사 휘도 값은 인덱스 (i,j)의 픽셀에서 전달될 이미지(280)에 삽입된다.

이미지에 픽셀 값들을 채우기 위한 이러한 프로세스는 모든 픽셀에 대해 반복된다. 이는, 도 22a 또는 도 22b의 테이블로부터 어느 값들을 획득/추출할지를 결정하기 위한 계산들을 회피할 수 있게 한다.

도 31에서 사용된 2차원 룩업 테이블을 발생/생성하기 위해, 전자 디바이스가 도 26b에 설명된 픽셀 백 트레이싱을 수행하여, 포착 디바이스/카메라의 센서 평면으로부터의 각각의 픽셀에 대해, 대응하는 광선의 좌표를 결정할 수 있다는 것을 주목해야 한다. 이러한 좌표를 갖는 이러한 광선은 도 22a에 예시된 바와 같은 테이블에 저장된 방사 휘도 값을 갖는다. 그러나, 4-좌표는 사용된 콤팩트한 저장 표현으로 인해 저장되지 않는다. 따라서, 전달될 이미지 중 하나와 동일한 인덱스들을 갖는 2차원 룩업 테이블은 광선에 대해 도 22a에 예시된 것과 같은 테이블에서 방사 휘도 값들을 용이하게 위치검색하기 위한 포인터들(예를 들어, 2개의 엘리먼트를 각각 갖는 인덱스와 같은 인덱스들)을 포함한다. 이러한 2차원 룩업 테이블의 포인터들의 생성은 프로세스를 가속화하기 위해 병렬적으로 수행될 수 있다.

이러한 2차원 룩업 테이블의 사용은 도 22a 또는 도 22b와 같이 표현된 데이터로부터 이미지들의 생성 프로세스를 가속화할 수 있음을 주목해야 한다.

도 32는 본 개시내용의 다른 실시예에 따른 이미지 및 2차원 룩업 테이블로부터, 예를 들어 도 22a의 테이블과 같이 명시야 콘텐츠의 간략한 표현을 생성하는 방식을 제시한다.

더욱 정확하게는, 명시야 콘텐츠(282)의 적어도 2개의 2D 광선 다이어그램 표현에 기초하는 테이블(예를 들어, 도 22a 또는 도 22b에서 설명되는 테이블들)에서 방사 휘도 값들을 채우기 위해, 본 개시내용의 일 실시예에 따르면, 다음과 같이 제안된다:

테이블(282)(예를 들어, 도 22a 또는 도 22b의 테이블)의 데이터 위치에 대한 포인터들을 포함하는, 281로 참조되는 2차원 룩업 테이블을 획득하고;

인덱스 (i, j)에 의해 어드레스된 픽셀에 대해, m×n 픽셀들을 포함하는 이미지(280)로부터 광선의 방사 휘도 값을 획득하고 - m 및 n은 1보다 큰 정수임 -;

동일한 인덱스 (i, j)에 위치된 상기 2차원 룩업 테이블 내의 포인터의 획득을 통해 획득된 방사 휘도 값을 테이블(282)(즉, 도 22a 또는 도 22b의 테이블)에 저장한다. 따라서, 획득된 방사 휘도 값은 테이블(282)의 위치 (l,k)에 저장된다.

테이블(282)에 방사 휘도 값들을 채우기 위한 이러한 프로세스는 이미지(280)의 모든 픽셀에 대해 반복된다.

본 개시내용의 일 실시예에서, 방사 휘도 값들은 테이블(282)의 병렬적 프로세스에 저장된다.

본 개시내용의 다른 실시예에서, 사용자가 명시야 광선 포맷을 통해 내비게이트하는 것을 돕기 위한 방식이 제안된다. 이는, 이전 섹션들에서 정의된 포맷 정의에 매우 엄격하게 링크된다. 아마도, (명시야가 아닌) 멀티-뷰 캡처에서 내비게이트하는 일부 방식들이 존재하지만 여기서 제시하는 것은 특정 포맷을 이용하는 방식이다.

도 22a는 특정한 콤팩트한 광선 포맷을 설명한다. 이러한 포맷에서, 상이한 카메라들이 체계화된 방식으로 저장된다. 이들의 위치는 x_3i, y_3i, z_3i 트리플릿들로 태그되고, 먼저 가장 가까운 거리에서부터 가장 먼 거리까지 깊이 z_3i만큼, 그 다음, 바닥부터 최상부까지 x_3i만큼, 그리고 마지막으로 이들의 축 배향에 대해 또한 바닥부터 최상부까지 y_3i만큼 cam_i를 순서화하도록 결정할 수 있다.

명시야가 네트워크를 통해 송신되거나 안테나로 방송되는 경우, 대역폭을 절감하기 위해 부분적으로만 송신될 수 있어서, 오직 하나의 시점만이 송신된다. 그 시점으로, 또한 모든 cam_i 초점을 송신할 수 있다.

그 다음, 뷰어는 원래의 포맷에서 이용가능한 다른 명시야 시점들을 시각화하는 3D 스크린 오버레이를 메뉴 버튼으로부터 자신의 디스플레이 상에 디스플레이할 수 있다. 이는, 다른 시점들이 실제 관측자 위치에 상대적으로 위치되는 3D로 나타나는 3D 축 시스템의 형태일 수 있다.

방향 패드로, 사용자는 원하는 위치로 내비게이트하고, 위치를 검증하고, 피드백이 네트워크를 통해 서버에 전송된다. 그 다음, 서버는 최종 사용자에게 스트리밍 또는 브로드캐스트되어야 하는 선택된 데이터 라인을 포지셔닝한다.

스크린 오버레이는 또한 양태 및 시점들을 통한 내비게이션에서 상이할 수 있다.

파일 포맷은 개선된 카메라 쌍들에 태그하도록 수정되어, 사용자가 스테레오 콘텐츠를 시청하기를 원하는 경우 스크린 오버레이가 또한 스테레오 콘텐츠에 대한 표시를 나타낼 수 있고, 이러한 경우, 디지털 라인 데이터의 2개의 슬롯들이 송신되어야 한다.

표현 포맷에 대해 이러한 기술을 가능하게 하는 것은 특정 명시야 분석이다. 더 가까이 있는 초평면들이 더 멀리 있는 것들보다 작은 m을 갖는 것을 알기 때문에, 상이한 데이터 라인을 거리에 따라 정렬하기 시작할 수 있다. m은 이전에 설명된 바와 같이 이산적 라돈 변환에 의해 계산된다. 또한 이전에 언급된 바와 같이, x_3i, y_3i 및 z_3i를 컴퓨팅하고 상이한 데이터 라인들을 포커스 컴포넌트들의 부호 및 모듈러스에 따른 포맷으로 정렬하는 것이 가능하다.

데이터 라인들이 볼륨의 3D 초점 위치에 따라 정렬된다는 사실은 브로드캐스트에 요구되는 것에 대한 신속한 액세스를 가능하게 한다. 브로드캐스트되는 것은, 시점 또는 스테레오의 경우 한 쌍의 시점이며, 수학적으로, 4D에 브레센함 스캔 라인들 또는 파라메트릭 데이터 스캐닝에 따라 저장된 광선들의 컬렉션인 초평면들(또는 이들의 쌍)의 하나의 특정 번들이다.

도 33은 사용자가 4D 명시야 데이터와 연관된 카메라의 위치를 선택할 수 있는 3D 표현을 포함하는 메뉴를 제시한다.

더욱 정확하게는, 370으로 참조되는 디스플레이 디바이스는 몇몇 카메라(371 내지 375로 참조되는 위치들은 몇몇 카메라의 위치들에 대응함)의 3D 공간 내의 위치를 사용자에게 제시한다.

그 다음, 376으로 참조되는 원격 제어 유닛을 통해 사용자는 이러한 위치 중 하나를 선택할 수 있다. 선택이 완료되면, 선택된 카메라와 연관된 4D 명시야 데이터가 상기 디스플레이 디바이스에 의해 획득된다. 그 다음, 디스플레이 디바이스는 이러한 4D 명시야 데이터를 디스플레이한다.

본 개시내용의 다른 실시예에서, 사용자는 원격 제어 유닛(376)을 사용하는 대신에 디스플레이 디바이스(즉, 터치 스크린의 일종임)를 터치함으로써 이들 위치 중 하나를 선택할 수 있다.

또한, 본 개시내용의 일 실시예에서, 사용자가 4D 명시야 데이터와 연관된 카메라의 위치를 선택할 수 있는 디스플레이된 3D 표현은 한정된 공간 구역에 대응한다. 그러나, 본 개시내용의 일부 실시예에서, 카메라들의 위치들을 포함하는 공간 구역은 디스플레이된 영역보다 클 수 있다. 따라서, 카메라들의 위치들이 이용가능한 방향을 표시하기 위한 추가적인 시각적 표시자들(예를 들어, 화살표들 등)을 디스플레이하는 것이 가능할 수 있다. 다른 실시예에서, 원점 뿐만 아니라 축선들 x, y, z가 디스플레이된다. 일 실시예에서, 원점의 위치는 사용자의 입력에 따라 중심에 둔다.

본 개시내용의 일 실시예에서, 3개의 축선들의 회전을 수행하는 것이 가능하다. 본 개시내용의 일 실시예에서, 사용자는 사용자에 의해 선정되는 선택된 구역에서 줌인 또는 줌아웃할 수 있다.

도 34는 본 문헌에 개시된 방법들 중 하나의 또는 몇몇 단계들을 수행하기 위해 사용될 수 있는 전자 디바이스의 예를 제시한다.

340으로 참조되는 이러한 전자 디바이스는 341로 참조되는 컴퓨팅 유닛(예를 들어, CPU("Central Processing Unit")), 및 342로 참조되는 하나 이상의 메모리 유닛(예를 들어, 컴퓨터 프로그램인 명령어들의 실행 동안 중간 결과들이 일시적으로 저장될 수 있는 RAM("Random Access Memory") 블록, 또는 무엇보다도, 컴퓨터 프로그램들이 저장되는 ROM 블록, 또는 EEPROM("Electrically-Erasable Programmable Read-Only Memory") 블록, 또는 플래시 블록)을 포함한다. 컴퓨터 프로그램들은 컴퓨팅 유닛에 의해 실행될 수 있는 명령어들로 구성된다. 이러한 전자 디바이스(340)는 또한 디바이스(340)가 다른 전자 디바이스들과 통신하도록 허용하는 입출력 인터페이스를 구성하는, 343으로 참조되는 전용 유닛을 포함할 수 있다. 특히, 이러한 전용 유닛(343)은 안테나(접촉없이 통신을 수행하기 위해) 또는 직렬 포트들(통신 "접촉"을 전달하기 위해)과 연결될 수 있다. 도 34의 화살표들은 링크된 유닛이 예를 들어 함께 버스들을 통해 데이터를 교환할 수 있음을 나타내는 것을 주목해야 한다.

다른 실시예에서, 전술한 방법의 단계들 중 일부 또는 전부는 프로그래머블 FPGA("Field Programmable Gate Array") 컴포넌트 또는 ASIC("Application-Specific Integrated Circuit") 컴포넌트의 하드웨어로 구현될 수 있다.

다른 실시예에서, 이전에 설명된 방법의 단계들 중 일부 또는 전부는 도 34에 개시된 것과 같은 메모리 유닛들 및 프로세싱 유닛들을 포함하는 전자 디바이스 상에서 실행될 수 있다.

본 개시내용의 일 실시예에서, 도 34에 예시된 전자 디바이스는 이미지들(종래의 2D 이미지들 또는 명시야 샘플링)을 캡처하도록 구성되는 카메라 디바이스에 포함될 수 있다. 이러한 이미지들은 하나 이상의 메모리 유닛들 상에 저장된다. 따라서, 이러한 이미지들은 비트 스트림 데이터(즉, 비트들의 시퀀스)로 간주될 수 있다. 명백하게, 비트 스트림은 또한 바이트 스트림으로 변환될 수 있으며 그 반대도 마찬가지이다.

Claims (15)

1. 명시야 콘텐츠(light field content)를 인코딩하기 위한 방법으로서, 상기 방법은:
   상기 명시야 콘텐츠와 연관된 광선들의 세트(set of light rays)(401)에 대해, 상기 명시야 콘텐츠의 2개의 평면 파라미터화(two planes parametrization)(2000; 402, 403)로부터 광선 당 4개의 좌표(four coordinates per light ray)를 획득하는 단계;
   상기 세트로부터의 각각의 광선에 대해, 제1 2D 광선 다이어그램(2D ray diagram)(

   

   ,

   

   )의 포인트들을 정의하는, 상기 2개의 평면 파라미터화에서 사용되는 2개의 평면에 수직인 평면(404, 405, P) 상에의 상기 세트로부터의 상기 광선들의 투영(projection)에 대응하는, 상기 4개의 좌표로부터의 2개의 좌표를 획득하는 단계(2001);
   상기 제1 2D 광선 다이어그램에서 관심 라인들(lines of interest)을 전달(deliver)하는 상기 제1 2D 광선 다이어그램(

   

   ,

   

   ) 상에 이산적 라돈 변환(discrete Radon transform)을 적용하는 단계(2002);
   상기 관심 라인들을 인코딩된 관심 라인들로 인코딩하는 단계(2003); 및
   상기 인코딩된 관심 라인들을 저장하는 단계(2004)
   를 포함하는 것을 특징으로 하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
2. 제1항에 있어서, 상기 인코딩하는 단계(2003)는 브레센함(Bresenham) 알고리즘을 적용하는 단계를 더 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
3. 제1항 또는 제2항에 있어서, 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면은 직사각형 엘리먼트들(Δx₁,Δy₁; Δx₂,Δy₂)을 포함하는 이산화된 평면들(275, 276)이고, 상기 제1 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

   

   와 동일하고, z_f는 픽셀 피치 p를 갖는 카메라 디바이스에 포함된 센서 어레이의 깊이 값이고, f는 상기 카메라 디바이스의 초점 길이이고, z₁은 상기 제1 평면과 연관된 제1 깊이 값이고, 상기 제2 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

   

   와 동일하고, z₂는 제2 평면과 연관된 제2 깊이 값인, 명시야 콘텐츠를 인코딩하기 위한 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 저장하는 단계(2004)는, 상기 제1 2D 광선 다이어그램에서 제1 인코딩된 관심 라인에 속하는 적어도 하나의 제1 포인트(

   

   )에 대해,
   제2 2D 광선 다이어그램(

   

   ,

   

   )에서 제2 인코딩된 관심 라인에 속하는 적어도 제2 포인트((y₁,y₂);(x₁,x₂))와 연관된 광선의 방사 휘도(radiance)를 저장하고, 광선의 존재를 표시하는 제1 추가적인 정보를 저장하는 단계 - 상기 제2 인코딩된 관심 라인은 상기 제1 인코딩된 관심 라인과 동일한 기울기를 가짐 -; 및/또는
   상기 제2 인코딩된 관심 라인에 속하는 적어도 제3 포인트((y₁,y₂);(x₁,x₂))와 어떠한 광선도 연관되지 않음을 표시하는 제2 추가적인 정보를 저장하는 단계
   를 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
5. 제4항에 있어서, 상기 제1 및/또는 제2 추가적인 정보는 비트이고, 광선의 상기 방사 휘도는 3 바이트 값들에 의해 인코딩되는, 명시야 콘텐츠를 인코딩하기 위한 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 적어도 하나의 투영 중심의 좌표 및 상기 적어도 하나의 투영 중심과 연관된 반경을 추정하는 단계를 더 포함하며, 상기 추정하는 단계는,
   상기 제1 2D 광선 다이어그램에서 관심 라인에 대한 적어도 하나의 기울기 파라미터 m 및 두께 파라미터들

   

   ,

   

   을 획득하는 단계 - 상기 관심 라인은 투영 중심 x₃,y₃,z₃ 및 반경 A와 연관됨 -;
   상기 적어도 하나의 기울기 파라미터 m 및 상기 두께 파라미터들

   

   ,

   

   로부터 투영 중심의 상기 좌표 x₃,y₃,z₃ 및 상기 반경 A를 추정하는 단계
   를 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
7. 제6항에 있어서, 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면은 각각 제1 깊이 값 z₁ 및 제2 깊이 값 z₂와 연관되고, 상기 추정하는 단계는

   

   ,

   

   를 갖는

   

   ,

   

   및

   

   를 획득하는 단계를 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 인코딩된 관심 라인들을 저장하는 상기 단계(2004)는 인코딩된 관심 라인과 연관된 기울기를 저장하는 단계, 및 상기 제1 2D 광선 다이어그램에서 인코딩된 관심 라인에 속하는 각각의 포인트에 대해, 제2 2D 광선 다이어그램에 속하는 포인트들의 세트를 저장하는 단계, 및 상기 제1 2D 광선 다이어그램에서 프로세싱된 인코딩된 관심 라인과 연관된 기울기가 상기 제1 2D 광선 다이어그램에서 다른 인코딩된 관심 라인들과 연관된 다른 기울기들보다 큰 경우에, 상기 제1 2D 광선 다이어그램의 포인트가 상기 프로세싱된 인코딩된 관심 라인과 상기 다른 인코딩된 관심 라인 사이의 교차점에 속할 때, 상기 제2 2D 광선 다이어그램에 속하는 상기 포인트의 세트의 저장을 회피하는 단계를 더 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
9. 제8항에 있어서, 상기 회피하는 단계는 폐색(occlusion)을 표시하는 정보를 저장하는 단계를 더 포함하는, 명시야 콘텐츠를 인코딩하기 위한 방법.
10. 제9항에 있어서, 상기 정보가 널(null) 값인, 명시야 콘텐츠를 인코딩하기 위한 방법.
11. 명령어들이 컴퓨터에 의해 실행될 때, 명시야 콘텐츠를 인코딩하기 위한 방법을 구현하기 위한 컴퓨터 실행가능 명령어들의 세트를 포함하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 비일시적 저장 매체로서, 상기 명령어들은, 실행될 때, 제1항 내지 제10항 중 어느 한 항의 방법을 수행하도록 상기 컴퓨터를 구성하는 명령어들을 포함하는, 컴퓨터 판독가능한 비일시적 저장 매체.
12. 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스로서, 상기 전자 디바이스는 메모리; 및 상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고; 상기 적어도 하나의 프로세서는,
    상기 명시야 콘텐츠와 연관된 광선들의 세트(401)에 대해, 상기 명시야 콘텐츠의 2개의 평면 파라미터화(2000; 402, 403)로부터 광선 당 4개의 좌표를 획득하고;
    상기 세트로부터의 각각의 광선에 대해, 제1 2D 광선 다이어그램(

    

    ,

    

    )의 포인트들을 정의하는, 상기 2개의 평면 파라미터화에서 사용되는 2개의 평면에 수직인 평면(404, 405, P) 상에의 상기 세트로부터의 상기 광선들의 투영에 대응하는, 상기 4개의 좌표로부터의 2개의 좌표를 획득하고(2001);
    상기 제1 2D 광선 다이어그램에서 관심 라인들을 전달하는 상기 제1 2D 광선 다이어그램(

    

    ,

    

    ) 상에 이산적 라돈 변환을 적용하고(2002);
    상기 관심 라인들을 인코딩하고(2003);
    상기 인코딩된 관심 라인들을 저장(2004)
    하도록 구성되는 것을 특징으로 하는, 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스.
13. 제12항에 있어서, 상기 적어도 하나의 프로세서는 브레센함 알고리즘으로 상기 관심 라인들을 인코딩하도록 추가로 구성되는, 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스.
14. 제12항 또는 제13항에 있어서, 제1 평면 및 제2 평면으로 명명되는, 상기 2개의 평면 파라미터화에서 사용되는 상기 2개의 평면은 직사각형 엘리먼트들(Δx₁,Δy₁; Δx₂,Δy₂)을 포함하는 이산화된 평면들(275, 276)이고, 상기 제1 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

    

    와 동일하고, z_f는 픽셀 피치 p를 갖는 카메라 디바이스에 포함된 센서 어레이의 깊이 값이고, f는 상기 카메라 디바이스의 초점 길이이고, z₁은 상기 제1 평면과 연관된 제1 깊이 값이고, 상기 제2 평면의 직사각형 엘리먼트의 길이측에 대한 최대값은

    

    와 동일하고, z₂는 제2 평면과 연관된 제2 깊이 값인, 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스.
15. 제12항 내지 제14항 중 어느 한 항에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 2D 광선 다이어그램에서 제1 인코딩된 관심 라인에 속하는 적어도 하나의 제1 포인트(

    

    )에 대해,
    제2 2D 광선 다이어그램(

    

    ,

    

    )에서 제2 인코딩된 관심 라인에 속하는 적어도 제2 포인트((y₁,y₂);(x₁,x₂))와 연관된 광선의 방사 휘도를 저장하고, 광선의 존재를 표시하는 제1 추가적인 정보를 저장하고 - 상기 제2 인코딩된 관심 라인은 상기 제1 인코딩된 관심 라인과 동일한 기울기를 가짐 -; 그리고/또는
    상기 제2 인코딩된 관심 라인에 속하는 적어도 제3 포인트((y₁,y₂);(x₁,x₂))와 어떠한 광선도 연관되지 않음을 표시하는 제2 추가적인 정보를 저장
    하도록 추가로 구성되는, 명시야 콘텐츠를 인코딩하기 위한 전자 디바이스.

Images