KR20160106045A - 광필드 처리방법 - Google Patents

Abstract

본 발명은 광필드에 해당하는 데이터를 처리하기 위한 광필드 처리방법으로서, 플렌옵틱 카메라에 종속적인 포맷으로 광필드를 나타내는 초기 데이터를 플렌옵틱 카메라로 캡쳐하는 단계; 상기 초기 데이터를 카메라에 독립적인 포맷으로 상기 광필드를 나타내는 변환된 데이터로 변환하는 단계; 및 다른 광필드를 나타내는 처리된 데이터를 생성하기 위해 상기 변환된 데이터를 처리하는 단계를 포함하는 광필드 처리방법에 관한 것이다.

Description

광필드 처리방법{A light field processing method}

본 발명은 광필드 처리방법에 관한 것이다.

광필드를 캡쳐하기 위한 장치들 이 점점 더 인기를 얻고 있다. 광필드는 종종 플렌옵틱 카메라로 캡쳐된다. 플렌옵틱 카메라의 인기 있는 예는 가령 리트로(Lytro) 카메라를 포함한다.

각 플렌옵틱 카메라는 카메라 종속 포맷으로 캡쳐된 광필드를 나타내는 데이터를 생성한다. 예컨대, 리트로 카메라는 일련의 매트릭스로 광필드를 나타내고; 각 매트릭스는 다양한 방향으로부터 마이크로렌즈에 닿은 광의 세기를 나타내는 복수의 셀들을 포함한다. 셀들의 개수는 마이크로렌즈의 개수와 일치한다.

캡쳐된 정보의 포맷은 각 장치에 대해 다르기 때문에, 다른 플렌옵틱 카메라 세트에 의해 캡쳐된 광필드 데이터에 대한 처리를 적용하기가 지루하다.

따라서, 본 발명의 목적은 정보를 캡쳐하는데 사용된 플렌옵틱 카메라에 무관하게 다양한 후처리 방법들이 적용될 수 있는 장치 독립적 플렌옵틱 표현을 정의하는 것이다.

본 발명에 따르면, 이들 목적은:

플렌옵틱 카메라에 종속적인 포맷으로 광필드를 나타내는 초기 데이터를 플렌옵틱 카메라로 캡쳐하는 단계;

상기 초기 데이터를 카메라에 독립적인 포맷으로 상기 광필드를 나타내는 변환된 데이터로 변환하는 단계; 및

다른 광필드를 나타내는 처리된 데이터를 생성하도록 상기 변환된 데이터를 처리하는 단계를 포함하는 광필드에 해당하는 데이터를 처리하는 광필드 처리방법에 의해 달성된다.

광필드를 나타내는 데이터에 대한 카메라 독립적 표현의 사용은 하나의 방법이 다양한 플렌옵틱 카메라에 대해 프로그램될 수 있는 데이터 처리 소프트웨어의 프로그래머들에 이점이 있다.

본 발명의 내용에 포함됨.

본 발명은 예로써 주어지고 도면에 도시된 실시예에 대한 설명의 도움으로 더 잘 이해될 것이다.
도 1a 내지 도 1e는 광필드에 대한 다른 파라미터화 방법들을 개략적으로 나타낸 것이다.
도 2는 (좌측 도면의) 동일한 물리적 지점에서 나오고 (우측 도면의) 2면 도면을 이용해 재계산된 2개의 광선 값들을 나타낸다. U-V 면은 대표적인 장치의 주요 렌즈면이다. Rx-Ry 면은 관찰된 실제 세상을 나타낸다.
도 3은 (좌측 도면의) 초점면(11) 전후에 각각 놓인 2개의 다른 물리적 지점들(B,C)에서 나오고 (우측 도면의) 2면 도면을 이용해 재계산된 2개의 광선 값들을 나타낸다.
도 4는 플렌옵틱 카메라(1) 설계의 제 1 예를 도시한 것이다.
도 5 및 도 6은 플렌옵틱 카메라(1) 설계의 제 2 예를 도시한 것이다.
도 7은 플렌옵틱 카메라(1) 설계의 제 3 예를 도시한 것이다.
도 8은 공지의 기준 이미지의 플렌옵틱 표현, 여기서 체커보드로부터 미지의 플렌옵틱 카메라의 파라미터를 결정하기 위한 프로세스를 도시한 것이다.
도 9는 거리가 다른 물체들이 있는 장면에서 광필드의 2면 표현을 도시한 것이다.
도 10은 동일한 점에서 복수의 광선들 간에 삼각측량을 이용해, 장면의 각 점의 깊이를 결정하기 위한 제 1 방법을 도시한 것이다.
도 11은 두 면들 Rx-Ry 및 U-V를 교차하는 하나의 물리적 지점(A)에 의해 방출된 광선들을 도시한 것이다.
도 12는 U-Rx 도표에 나타난 등극선을 도시한 것이다.
도 13은 한 점(Rx,Ry)을 지나 U-V면에 부딪히는 광선들을 확산시키는 U-V면에 대한 가우시안 필터의 일예를 도시한 것이다.
도 14는 U-V면에 대한 가우시안 필터에 의해 흐릿해진 광선을 도시한 것이다.
도 15는 물체 리사이징 프로세스를 도시한 것이다.
도 16은 직각면 평행이동을 위한 방식을 간략히 도시한 것이다.

정의

·대물 초점면: 카메라 메인렌즈에 나란하고 플렌옵틱 카메라가 초점 맞춰지는 한 장면에서의 면

·이미지 초점면: 카메라 메인렌즈에 나란하고 대물 초점면에 놓인 물리적 지점들이 이미지 초점면 상의 초점에 투영되는 카메라내의 면

·초점면: "대물" 또는 "이미지"라는 언급이 없을 때, 이는 대물 초점면 또는 이미지 초점면 중 어느 하나를 말한다.

표현

플렌옵틱 기능은 논증으로서 다수의 파라미터들로 광필드를 기술하는 기능이다.

대표적인 플렌옵틱 기능은 3D 공간에서 소정의 지점(x,y,z)으로부터 방출되고 주어진 시간과 파장에서 2D 면 상의 소정 위치(u,v)에서 관찰되는 광의 복사를 말한다. 광선의 세기를 나타내는 플렌옵틱 기능(P)은 하기의 형태를 취한다:

P = P(x, y, z, u, v, t, λ)

여기서, t와 λ는 각각 관찰시간과 파장이다.

대안으로, 광선이 소정 각도(θ,φ)로 (x,y,z)에서 방출된 것으로 생각할 수 있다. 광선은 다음과 같이 파라미터화된다:

P = P(x, y, z, φ, θ, t, λ)

4D 플렌옵틱 함수

7개의 파라미터들 모두가 의무적인 것은 아니다. 예컨대, 한 장면에서 광선들 모두가 고정(즉, 정지 플렌옵틱 사진에서와 같이 t가 상수)이고 하나의 파장(λ)을 가지면, 상술한 7D 플렌옵틱 함수는 5D 함수로 감소될 수 있다. 더욱이, 광선들이 임의의 물체에 의해 차단되지 않고 투명한 공기를 통해 이동한다고 하면, 광선의 밝기는 여전히 선형 경로를 따라 일정하게 유지된다. 그 결과, 광선은 4개의 파라미터에 의해 완전히 파라미터화될 수 있다. 예컨대, 광선은 2개의 기정의된 면 상의 2개의 교차점의 위치로 표현될 수 있다. 예컨대, 시작점(x,y,z)과 또 다른 면 상의 보기/관찰점(u,v) 대신, 광선이 통과하는 소정 표면 상의 위치(x',y') 및 (u,v)를 단지 고려할 필요가 있다.

4D 함수의 플렌옵틱 기능은 다음과 같이 공식화될 수 있다:

P = P(x', y', u, v)

여기서 (x',y')는 표면의 좌표에서 제 1 기설정된 면을 갖는 광선의 교차점이고, (u,v)는 제 2 기설정된 면을 갖는 광선의 교차점이다.

4개의 파라미터들(더하기 필요시 시간 및/또는 파장)을 갖는 광필드의 8개 광선을 특징으로 하는 파라미터화 방법은 바람직하게는 캡쳐된 광필드를 나타내도록 플렌옵틱 카메라 설계에 고려하고 쉽게 처리될 수 있다. 예컨대, 나란한 면들을 갖는 광필드를 나타내는 것은 메인렌즈, 마이크로렌즈 어레이 및 서로 나란히 배열된 센서면을 구비한 공통 플렌옵틱 카메라에 손쉬울 수 있다. 다른 한편으로, 이는 구좌표계로 광필드를 나타내기 위해 다수의 카메라들이 구(救) 상에 배열된 구형 플렌옵틱 카메라에 의미 있을 수 있다.

바람직하기로, 광필드의 각 광선을 나타내기 위해 특별한 카메라 설계에 무관한 파라미터화 방법이 선택된다. 이 방법, 즉 공통 파라미터화 방법은 다른 타입 또는 설계의 카메라들로 캡쳐된 광필드를 나타내는데 이용될 수 있다.

각각 2면, 구형, 구-구, 구면 및 극인 도 1a 내지 도 1e와 관련해 광필드의 5개의 카메라-독립적 파라미터화 방법을 설명한다.

도 1a는 2면들을 갖는 광필드의 파라미터화 방법을 도시한 것이다. 광선(r_i,r_j)은 서로 나란한 2면들(U-V, Rx-Ry)을 교차하는 위치들을 특징으로 한다. 한 면상의 위치는 가령 직각좌표계를 기초로 하거나 극좌표계를 기초로 한다. 제 1 및 제 2 면은 각각 z=0, z=1에 있고, z 축은 2면에 직각이다. (U_i,V_j)은 광선(r_i)이 제 1 면(U-V)을 가로지르는 위치이고 (Rx_i,Ry_i)는 이 광선(r_i)이 제 2 면(Rx-Ry)을 가로지르는 위치이다. 휘도(P)는 4개의 파라미터들(U_i,V_i,Rx_i,Ry_i)로부터 고유하게 결정된다. z축을 고려하면, 해당 광선(x,y,z)은 다음과 같이 구해지고:

여기서, k는 임의의 실수 양의 값을 취할 수 있는 파라미터이다.

이 방법은 서로 나란한 센서면과 마이크로렌즈 어레이를 갖는 플렌옵틱 카메라에 아주 적합하다. 이 표현의 한가지 결함은 면들(U-V, Rx-Ry)에 나란히 이동하는 광선을 나타낼 수 없다는 것이다.

도 1b는 서로 외접하는 2개의 구들(s1,s2)과 함께 광필드의 파라미터화 방법을 도시한 것이다. 2개의 구들(s1,s2)은 서로 접해 있다. 광선(r_i,r_j)은 제 1 구(S1)와의 아웃고잉 교차점(φ₁,θ₁) 및 상기 제 1 교차점(φ₁,θ₁)에서 제 1 구와 외접한 제 2 구(S2)와의 아웃고잉 교차점(φ₂,θ₂)에 의해 파라미터화 된다. (φ₁,θ₁)은 제 1 구에 대한 구좌표이고, (φ₂,θ₂)는 제 2 구에 대한 구좌표이다. 광선(r)은 두 지점들을 지나는 선으로 구해진다:

이 표현은 구 상에 배열된 카메라 어레이들에 의해 캡쳐된 플렌옵틱 이미지의 경우에 유용하다. 이런 타입의 카메라는 대표적으로 거리 뷰를 캡쳐하는데 사용된다. 이 표현의 또 다른 이점은 구들을 교차하는 모든 광선들이 이 표현과 함께 기술될 수 있다는 것이다. 그러나, 이 구를 교차하지 않는 광선들은 표현될 수 없다.

도 1c는 하나의 구(s)로 광필드의 파라미터화 방법을 도시한 것이다. 이는 구(s)와 함께 각 광선의 2개의 교차점들(φ₁,θ₁),(φ₂,θ₂)을 이용한다. 구(s)의 반경이 광필드에 대해 충분히 크다고 가정하면, 모든 광선들은 4개의 각 파라미터들(φ₁,θ₁),(φ₂,θ₂)에 의해 특징될 수 있다. 광선은 다음과 같이 구해진다:

이 표현은 도 1b의 구 표현과 전단사(bijective)되므로, 따라서 양 표현들은 전혀 정보의 손실없이 서로 변환될 수 있다. 따라서, 그 이점 및 결함은 구 표현의 이점 및 결함과 같다.

도 1d는 하나의 구(s)와 한 면(P)으로 광필드의 파라미터화 방법을 예시한 것이다. 광선(r_i)은 면(P)과 구좌표에 대한 광선의 각(φ,θ)의 교차점(x,y)으로 표현된다. 면(P)은 광선(r_i)에 직각으로 선택되고 그 법선이 방위 구의 한 위치로 표현될 수 있도록 구의 중심을 지난다.

이 구면 표현은 상술한 표현들과 대조적으로 구를 교차하든 아니든 간에 임의의 방향을 향해 임의의 위치로부터 나온 광선을 나타낼 수 있다. 그러나, 구-면 표현에서 직각좌표로의 변환은 이전 표현보다 더 복잡하다.

도 1e의 극표현으로, 광선(r_i)은 다음 4개의 파라미터들로 표현된다: r, φ,θ, ω. r은 좌표 원점과 광선의 가장 가까운 점(A) 간의 거리이다. (φ,θ)는 구좌표에서 가장 가까운 점(A)의 좌표이고, ω는 광선이 놓이는 면(p) 내에서 광선의 각도이고, 면은 원점에서 가장 가까운 점(A)까지 벡터에 대해 직각이다.

극표현은 구면 표현과 전단사되므로, 사방으로 페어링되고 구와 교차하든 아니든 모든 광선들이 표현될 수 있다. 그럼에도 불구하고, 표현은 덜 직관적인 것 같은데, 이는 하나의 파라미터는 거리고, 다른 3개의 파라미터는 다른 중심점으로부터의 각들이기 때문이다. 구면 표현과 마찬가지로, 직각좌표로의 변환이 복잡하다.

이 모든 파라미터화 표현 또는 포맷들은 이들 표현들 중 어느 하나로의 변환이 임의의 플렌옵틱 카메라로 캡쳐된 임의의 플렌옵틱 데이터로부터 가능한 점에서 장면에서 카메라 독립적이다. 그러나, 언급한 바와 같이, 몇몇 표현들은 몇몇 카메라들에 더 적합하고 변환을 위한 처리가 덜 필요하다.

플렌옵틱 데이터 변환

모든 상술한 표현들은 몇몇 상황에서 캡쳐된 광선정보를 파라미터화하기 때문에, 플렌옵틱 데이터의 한 표현을 다른 표현으로 변환할 수 있다.

데이터 처리를 용이하게 하기 위해 한 표현에서 또 다른 표현으로 데이터 변환이 사용될 수 있다. 예컨대, 깊이 재구성 알고리즘을 구표현으로 플렌옵틱 데이터에 적용하기가 어려울 수도 있는 반면, 2면 표현으로는 덜 복잡하다. 그러므로, 구표현으로 저장된 플렌옵틱 데이터로부터 깊이를 계산하고자 할 때, 구표현에서 2면 표현으로 먼저 변환한 다음 상기 2면 표현내에서 깊이 재구성 알고리즘을 적용할 수 있다. 보다 일반적으로, 광필드를 처리하는 것은 제 1 카메라 독립적 표현에서 처리에 더 알맞은 다른 카메라 독립적 표현으로 광필드 표현을 변환하는 단계를 포함할 수 있다.

플렌옵틱 데이터는 선으로 표현된 광선 세트이므로, 한 표현에서 다른 표현으로의 변환은 좌표계에서 라인들의 파리미터들을 또 다른 좌표계에서 해당 파라미터들로 변환하는 것과 같다.

변환을 위한 일반적인 접근

표현 포맷 알고리즘의 변환은 입출력 데이터 표현에 따른다. 그러나, 상기 접근은 일반적으로 다음의 변환 방법으로 요약될 수 있다.

변환 방법

원래 좌표에서 4개의 파라미터들(p1,p2,p3,p4)로 표현된 각 광선에 대해:

1. 라인 파라미터(p1,p2,p3,p4)를 직각좌표의 해당 라인(L)으로 변환한다.

2. 목적 좌표에 대해 라인(L)의 특징들을 추출한다(가령, 구와 교차점을 찾는다).

3. 상기 특징을 목적 좌표의 해당하는 4개 파라미터들(q1,q2,q3,q4)로 변환한다.

4. P(p1,p2,p3,p4)를 Q(q1,q2,q3,q4)에 할당한다.

두면 표현에서 구-구 표현 간의 변환 방법을 일예로 설명한다.

2면 표현(Rx, Ry, U, V)의 각 광선에 대해:

1. 4개 파라미터를 3D 직각좌표에서 두 점 (Rx, Ry, 1) 및 (U, V, 0)로 변환하고, 다음과 같이 두 점들을 지나는 선을 계산한다:

여기서, k는 임의의 실수를 취할 수 있는 파라미터이다.

2. 선과 구의 교차점을 계산한다. 반경이 1인 구를 고려한다. 이는 다음과 같이 주어진다:

여기서, k₁ 및 k₂는 단계 b에서 x,y,z를 구의 공식 x²+y²+z²=1으로 대체함으로써 얻은 하기의 수식에 대한 해이다:

((Rx-U)²+(Ry-V)²+1)k²+2(U(Rx-U)+v(Ry-V))k+(Rx-U)²+(Ry-V)²-1 = 0

3. 두 교차점을 다음과 같이 구좌표로 변환한다.

4. 그 결과, 다음과 같이 각 광선 P(R_x,R_y,U,V)으로부터 변환된 광선 L(φ₁,θ₁,φ₂,θ₂)을 구한다:

P(φ₁,θ₁,φ₂,θ₂) = P(R_x,R_y,U,V)

카메라 종속 표현에서 카메라 독립 표현으로 변환

플렌옵틱 카메라 장치로 캡쳐된 플렌옵틱 데이터를 장치에 무관한 플렌옵틱 데이터로 변환하는 법에 대한 다른 예들을 설명한다. 오늘날 시장에서 구매가능한 다수의 플렌옵틱 카메라에 대한 예들을 설명한다. 고려되는 플렌옵틱 카메라는 Lytro, Raytrix, Pelican Imaging ones(모두 등록된 상표임)이다. 각 카메라는 다른 광학 설계를 이용한다.

이 예에서, 장치 독립적인 두면 표현으로 변환을 설명한다. 또 다른 표현으로의 변환도 또한 가능하다. 두면 표현은 광선을 캡쳐하기 위해 나란한 면들로 설계된 플렌옵틱 캡쳐장치에 더 적합하다.

Rx-Ry 및 U-V으로 타겟 표현의 두 면들을 참조한다. U-V면은 플렌옵틱 카메라 장치(1)의 메인렌즈(10)면(즉, Pelican Imaging 카메라의 경우 마이크로-카메라 메인렌즈면)에 해당한다. Rx-Ry면은 U-V면에 나란하다; 이는 캡쳐 순간에 플렌옵틱 카메라의 대물초점면(들)(14)의 정규화 버전이다. 좌표 시스템은 U-V면이 Z=0에 있고 Rx-Ry면은 Z=1에 있게 정의될 수 있다.

도 2는 (좌측의 도면 상에서) 동일한 물리적 지점(A)에서 나오고 (우측의 도면 상에서) 두면 표현을 이용해 재계산된 2개의 광선들(r_i,r_j)을 나타낸다. U-V 면은 정규화된 카메라 장치의 메인렌즈(10)면을 나타낸다. Rx-Ry면은 정규화 장면(현실)(14)을 나타낸다.

대물(A) 초점면(14)에서 Rx-Ry면으로 가는 정규화 프로세스는 카메라(1)의 대물초점면(14)을 Z=1로 옮기고 그런 후 이 새로운 면(즉, Rx-Ry면)과의 캡쳐된 광선들(r_i,r_j)의 새로운 교차점을 재계산하는 것에 해당한다. 다수의 초점길이가 마이크로렌즈 또는 마이크로 카메라에 사용되는 Raytrix 또는 Pelican Imaging의 경우, (각각의 다른 렌즈 초점길이로 주어진) 각 대물초점면에 대해 정규화가 행해진다. 이는 각각의 다른 대물초점면을 Z=1로 옮기고 그런 후 이 새로운 면(즉, Rx-Ry면)과의 광선들의 교차점을 재계산하는 것에 해당한다.

광필드가 이산 플렌옵틱 카메라(1)로 캡쳐된 사실에도 불구하고, 두면(U-V, Rx-Ry)은 연속 공간으로 간주된다. 실제로, 이는 (다른 내부 파라미터들로) 다른 카메라들에 의해 캡쳐된 광선들(r_i,r_j)이 정보의 손실 없이 동일한 연속표현으로 모두 표현될 수 있음을 보장한다. 이는 가령 몇몇 프로세싱 및 렌더링을 위해 이 공간을 분리하도록 결정하는데 명백히 제한하지 않는다.

도 2는 물리적 지점(A)에서 나온 2개의 광선들(r_i,r_j)을 도시한 것이다. 등록된 광필드 데이터는 모든 광선들의 세기와 방향을 포함한다. 저장된 광필드 데이터는 여하튼 장치 종속적이게 하는데 장애가 있다. 초점면 상에서 물리적 지점(A)은 물리적 지점이 보기 각도(논-램버시안(non-lambertian)면의 원리)에 따라 다른 광선들을 반사할 경우 세기가 다를 수 있는 2개의 광선들(r_i,r_j)에 의해 플랜옵틱 카메라 장치(1)로 보여진다. 양 광선들(r_i,r_j)은 초점면(14)에서 나오고 이들 각각은 특정 세기와 방향이 있다. 이들이 동일한 물리적 지점(A)에서 나오고 있다는 사실은 전혀 알려져 있지 않다. 물리적 지점들과 광선들을 매치시키고 따라서 깊이 정보를 도출하기 위해 추후 몇몇 알고리즘을 설명할 것이다.

이들 기록된 광선들(r_i,r_j)은 상술한 두면 표현을 이용해 표현될 수 있다. 장치(1)의 메인렌즈는 U-V면으로 표현된다. 장면은 Rx-Ry면으로 표현된다. 기록된 광선들은 이런 양면을 가로지르는 위치들로 기술된다. Rx-Ry면은 Z=1의 거리에서 U-V면에 대해 위치된다. 초점면(14)과 U-V면 및 광선 방향들 간의 거리가 알려져 있으므로, 두 광선들과 면들 간의 교차 지점들이 계산될 수 있다. Rx(Ry)는 한 광선이 면을 교차하는 x(y) 방향으로 Rx-Ry면 상의 좌표이다. 마찬가지로, U 및 V는 U-V면과 한 광선의 교차에 해당한다.

도 3은 (좌측 도면에서) 초점면(14) 앞뒤에 각각 놓인 2개의 다른 물리적 지점들(B,C)에서 나오고 (우측 도면에서) 두면 표현을 이용해 재계산된 2개의 광선 값들을 나타낸다. 캡쳐장치(1)는 물리적 지점이 놓인 곳을 모른다. 가령 한 점은 초점면 앞에 또는 뒤에 있을 수 있고, 여전히 카메라에 동일한 광선을 생성한다.

Lytro(등록상표) 사가 판매하는 한 플렌옵틱 카메라에 해당하는 설계를 가진 장치(1)의 일예를 도 4와 관련해 설명한다.

이 플렌옵틱 카메라 장치(1)는 카메라 센서면(13) 앞 우측의 마이크로렌즈 어레이(12) 상에 광선들(ri,rj)을 집속시키는 메인렌즈(10)를 포함한다. 기준(14)은 대물초점면이고 메인렌즈면은 U-V로 나타내진다. Rx-Ry면은 카메라 메인렌즈면(U-V)으로부터의 거리(1)에 장면을 나타낸다. 메인렌즈는 마이크로렌즈 어레이(12) 상에 초점을 맞추기 때문에, 마이크로렌즈 어레이(12)를 교차하는 광선들(ri,rj)도 또한 카메라의 초점면(14) 상에 교차한다. 각 마이크로렌즈는 센서(13)에서 이웃한 마이크로 이미지와 겹치지 않는 마이크로-이미지를 이룬다. 모든 마으크로렌즈들의 초점길이는 같다. 마이크로렌즈(12)는 메인렌즈에 비해 상당히 작고(가령, 약 300배 더 작고), 메인렌즈(10)가 마이크로렌즈의 광학적 무한대에 있는 거리에 배치된다. 이 설계는 동일한 마이크로렌즈에 도달한 광선들의 방향이 장면 내의 초점 맞춰진 물체에 속하는 물리적 지점의 다른 보기 각도들에 해당하는 교차 속성을 제공한다. 다시 말하면, 초점 맞춰진 물체의 각 물리적 지점은 하나의 마이크로렌즈에 의해 캡쳐되고 따라서, 한 마이크로-이미지에서 센서(13) 상에 저장된 모든 광선을 보며, 마이크로 이미지의 각 픽셀은 물리적 지점의 다른 광선방향에 해당한다.

센서(13) 면 상의 각 마이크로-이미지는 하나의 마이크로렌즈에 해당하고 좌표(X,Y)를 갖는다. 마이크로 이미지내 각 픽셀은 좌표(P,Q)이다. 각 마이크로 이미지는 상대적으로 광축에 대해 인덱싱된다. 소정의 마이크로 이미지내 픽셀들은 상대적으로 마이크로렌즈 광학축에 대해 인덱싱된다. N_x(N_y)는 x(y) 방향으로 마이크로 이미지들의 개수에 해당하고 N_p(N_y)는 x(y) 방향으로 마이크로 이미지들의 개수에 해당한다고 하자. 게다가, 파라미터들은 다음과 같이 공식화될 수 있다:

광선(r_i)은 (X;Y) 좌표로 식별된 마이크로렌즈(120)에 부딪힌다. 광선(r_i)이 부딪히는 마이크로 이미지내에 선택된 픽셀(130)은 (P_i;Q_i) 좌표로 기술된다. 광선이 지나가는 메인렌즈(10) 내의 영역은 (U;V) 좌표로 식별된다. (U;V)에서 장치의 메인렌즈(10)에 부딪히는 광선(r_i)내 Rx-Ry면의 교차점은 (Rx;Ry)좌표를 이용해 기술된다. 각 광선에 대해, Rx-Ry면 상의 좌표들(Rx;Ry)과 메인렌즈(U;V) 상의 좌표들은광선이 지나는 마이크로렌즈 좌표(X;Y) 및 마이크로-이미지에서 픽셀 좌표(P;Q)인 기지의 장치 파라미터를 이용해 결정되어야 한다.

장치 종속적 파라미터들을 이용해 표현된 캡쳐된 광선을 장치 독립적인 면-면 표현으로 변환하기 위한 변환은 다음과 같이 공식화될 수 있다:

여기서,

여기서,

도 5 및 도 6으로 Pelican(등록상표) 사가 제안한 것과 유사한 플렌옵틱 카메라 설계의 일예를 설명한다.

도 5의 플렌옵틱 캡쳐장치(1)는 렌즈들이 동일한 면(U-V)에 정렬되고 바람직하게는 서로 등거리에 있는 마이크로-카메라(16) 어레이를 포함한다. 이들 마이크로-카메라(16)는 얇고 따라서 휴대용 컴퓨터, 팜탑, 스마트폰 또는 유사 장치들과 같은 모바일 장치 내에 통합될 수 있다. 초점길이(f₁,f₂)가 다른 다수의, 가령, 도시된 예에서 4개의 다른 카메라 타입들이 사용될 수 있어, 이 플렌옵틱 카메라는 더 많은 각 정보를 캡쳐한다. 각 마이크로 카메라는 약간 다른 위치 및 초점길이로부터 장면의 서브뷰를 캡쳐한다. 따라서, 광필드는 다른 마이크로 카메라 이미지들을 조합함으로써 캡쳐된다.

기준(19)은 모든 위치들이 공식으로 계산되는 합성 광학축을 나타낸다.

각 마이크로 카메라(16)는 장면의 서브뷰를 캡쳐한다. 마이크로-카메라 면(160)을 U-V 면과 정렬시킴으로써, 각 마이크로-카메라는 특정 U-V 좌표에 부딪힌 광선을 캡쳐한다. 이는 특정 U-V 좌표에 부딪히나 모든 가능한 Rx-Ry 좌표로부터 나온, 즉, U-V 면 상의 특정 위치로부터 장면에서 본 광선만을 고려한 것에 해당한다.

모든 마이크로-카메라(16)는 초점길이(f₁,f₂,…)가 다르기 때문에, 초점면(14)은 Rx-Ry 면을 형성하기 위해 별개로 정규화되는게 필요한다.

각 마이크로-카메라(16)는 좌표(X 및 Y)에 의해 정의될 수 있고, 마이크로-카메라내 각 피셀은 P 및 Q를 이용해 기술된다. 더욱이,

여기서, N_x(N_y)는 x(y) 방향으로 마이크로-카메라들의 개수의 해당하고, N_p(N_y)는 x(y) 방향으로 마이크로-카메라들의 개수에 해당한다.

각 마이크로-카메라(16)는 상대적으로 합성 광학축(19)에 대해 색인된다. 각 마이크로-카메라에 대한 픽셀 위치도 또한 합성 광학축에 대해 변환된다. Rx-Ry 면 상에 계산된 Rx Ry 위치들 및 U-V 면 상의 U V도 또한 축에 대해 변환된다.

도 6에 도시된 바와 같이, 각 캡쳐된 광선(r_i,r_j)은 양 면들 상에, 즉, 한 쌍의 좌표(U;V)를 갖는 U-V면에서 그리고 (Rx;Ry) 좌표를 이용해 Rx-Ry 면에 표현될 수 있다. 광선은 (U;V) 좌표를 이용해 기술된 마이크로-카메라 U-V 면에 먼저 부딪힌다. 그런 후, 광선은 선택된 마이크로-이미지 내의 광선의 위치를 기술한 특정 좌표(P:Q)에 있는 센서(13)에 부딪힌다. (Rx;Ry) 좌표는 실제로 기록된 (P;Q) 좌표를 이용하고 다음과 같이 마이크로-카메라의 상대적 오프세트를 고려해 구해진다:

여기서,

여기서,

도 7은 Raytrix(등록상표) 사가 제안한 플렌옵틱 카메라와 일치할 수 있는 플렌옵틱 카메라(1) 설계의 일예를 도시한 것이다. 이 카메라(1)는 카메라 내이미지 초점면(15) 상에 광선(r_i,r_j,r_k)을 집속시키는 메인렌즈(10)를 포함한다. 마이크로-렌즈(12) 어레이는 이미지 초점면(15)에 집속되고 그 아래에 위치된다. 그런 후, 마이크로-렌즈(12)는 카메라 센서(13) 상에 광선을 수렴시킨다. 각 마이크로-렌즈는 보기 각도가 다른 이미지 초점면(15)의 장면에서 본다. 따라서, 객체 이미지 면(14) 상의 초점에 있는 점(A)이 마이크로-렌즈(12)에 의해 다른 보기 위치들로부터 관찰되는 이미지 초점면(15)에 이미지화된다. 다수의 가령 3개의 다른 타입의 초점길이들이 마이크로-렌즈들에 사용된다. 따라서, 이들은 캡쳐된 각 정보가 증가된 3개의 다른 이미지 초점면(15)에 집속된다.

센서면(13) 상의 각 마이크로-이미지는 좌표(X 및 Y)에 의해 식별될 수 있고, 마이크로-이미지 내 각 픽셀은 P 및 Q로 식별된다. 더욱이,

여기서, N_x(N_y)는 x(y) 방향으로 마이크로-이미지들의 개수의 해당하고, N_p(N_y)는 x(y) 방향으로 마이크로-이미지내 픽셀의 개수에 해당한다.

각 마이크로-이미지는 메인렌즈 광학축에 대해 인덱스되고 소정의 마이크로-렌즈내 픽셀들은 상기 마이크로-렌즈 광학축에 대해 인덱스된다.

각 캡쳐된 광선(r_i,r_j,r_k)은 양 면들 상에, 즉, 한 쌍의 좌표(U;V)를 갖는 U-V면에서 그리고 (Rx;Ry) 좌표를 이용해 Rx-Ry 면에 표현되어야 한다. 광선은 먼저 장치 파라미터를 이용해 캡쳐된다. 상기 광선은 (U;V) 좌표를 이용해 기술된 U-V 면으로 간주되는 메인렌즈 면(10)에 부딪힌다. 상기 광선은 (X,Y)를 이용해 기술된 특정 마이크로-렌즈(12)에 부딪힌다. 그런 후, 선택된 마이크로-이미지 내 광선의 위치를 기술한 특정 좌표(P;Q)에 있는 센서(13)에 부딪힌다.

좌표(Rx,Ry)는 다음과 같이 기록된 (P;Q) 및 (X;Y)를 이용해 구해질 수 있다:

여기서,

여기서,

미지의 또는 너무 복잡한 카메라 구조로 인해 이론적으로 카메라 변환함수를 도출할 수 없는 일반적인 플렌옵틱 카메라의 경우, 카메라 시스템의 특징을 판정함으로써 변환함수가 여전히 획득될 수 있다. 예컨대, 어떻게 장면이 캡쳐되고 파라미터들이 완벽히 알려진 기준 장면을 이용해 플렌옵틱 카메라에 저장되는지 판정할 수 있다.

일예로, 적어도 몇몇의 미지의 파라미터들로 카메라(1)에 대한 변환함수를 결정하고자 하면, 카메라 캘리브레이션과 동일한 방식으로 미지의 파라미터들을 추론함으로써 카메라 변환함수(F)를 식별할 수 있다. 도 8에 도시된 바와 같이, 미지의 플렌옵틱 카메라(1) 내에 캡쳐된 체커보드(20)의 플렌옵틱 이미지(21)가 카메라(1)의 파라미터들을 결정하기 위해 사용될 수 있다. 예컨대, 카메라(1) 모델의 설계가 공지의 카메라의 설계와 동일하나 다만 초점거리를 모른다고 하면, 광학 축을 따라 기준 이미지를 이동시킴으로써 초점거리를 추론할 수 있고 동일한 물리적 지점으로부터 모든 광선들이 하나의 싱글 마이크로-이미지를 구성하는 위치를 찾을 수 있다.

또 다른 접근으로, 카메라 설계나 파라미터를 모른다고 하면, 플렌옵틱 데이터의 픽셀과 일치를 찾게 소정 방향을 향해 단일 광선을 방출할 수 있는 장치(가령, 선명한 레이저 포인터)를 이용할 수 있다. 이 단일 광선은 그런 후 플렌옵틱 카메라에 의해 캡쳐된다. 이 접근은 플렌옵틱 카메라가 이전에는 동일한 물리적 지점으로부터 페어링한 다수의 광선들을 기록한 반면에 방출장치로부터 단 하나의 광선만을 기록하는 사실에 의해 이전 접근과 다르다. 캡쳐된 광선은 플렌옵틱 카메라로 나가고 결국 하나의 픽셀에 부딪힌다. 장면의 다른 값들과 다른 세기 값을 갖는 픽셀을 관찰할 수 있다. 다수의 방출된 광선 방향들과 이들의 해당하는 픽셀 간에 일치를 판정함으로써 변환함수에 이르는 변환 맵을 정의한다. 다수의 광선들 및/또는, 동시에 각 광선이 부딪힌 플렌옵틱 카메라의 픽셀들을 결정하기 위해, 다른 파장 및/또는 변조로, 성공적으로 방출할 수 있고/있거나 따라서 변환함수를 정의한다.

광필드로의 표준변환

이들 변환된 표현들을 처리하고 가능하게는 플렌옵틱 카메라로 캡쳐되고 동일한 카메라 독립적 플렌옵틱 포맷으로 변환된 플렌옵틱 표현들과 병합시키기 위해, 표준 1D, 2D, 또는 3D 이미지 데이터, 또는 스테레오스코픽 데이터를 카메라 독립적 플렌옵틱 표현으로 변환할 수 있다.

표준 2D 이미지 및 3D 모델로 복사할 경우, 이들을 병합하거나 플렌옵틱 캡쳐 데이터에 대해 한 것과 동일한 방식으로 이들을 처리할 수 있도록 독립적 플렌옵틱 표현으로 변환할 수 있는 게 필요하다.

상기와 같이, 간단하고 명확히 하기 위해, 2면 표현으로 변환을 고려한다.

1D 또는 2D 이미지 데이터의 변환

특정 폭(W) 및 높이(H)를 가진 2D 이미지는 W*H의 픽셀 개수로 구성된다. 각 픽셀은 한 쌍의 2D 좌표 Ix-Iy를 이용해 표현될 수 있고, Rx-Ry면 상에 특정 좌표 Rx-Ry와 매치될 수 있다. Rx-Ry면 상에 이들 좌표들에 부딪힌 광선의 세기는 2D 이미지의 픽셀 값으로 대체된다. 보다 정확하게는, 2D 이미지를 Rx-Ry 면, 즉, X 및 Y 상의 소정 방향으로 Z=1에 배치함으로써 Ix-Iy 및 Rx-Ry 간의 매칭이 행해진다. U-V 상의 다른 점들에서 페어링한 다수의 광선들이 특정 좌표에서 Rx-Ry 면을 교차하기 때문에, Rx-Ry 좌표 상에 배치된 2D 이미지 픽셀의 세기 값은 상기 좌표를 지나는 모든 광선들에 복제된다. 따라서, 2D 이미지의 각 픽셀은 방향은 다르나 동일한 강도로 페어링한 광선들을 갖는 물리적 지점으로 변환된다.

상기 접근은 또한 합성 이미지에도 이용될 수 있다. 특정 폭(W) 및 높이(H)를 가정하면, 이들은 표준 이미지와 같이 W*H의 픽셀 개수로 구성되고, 각 픽셀은 상술한 바와 같이 동일한 프로세스 다음에 특정 좌표(Rx-Ry)와 매치된다.

1D 이미지도 또한 광필드로 변환될 수 있다. 2 차원(가령, Ix-Iy) 대신에 1차원(가령, Ix)만을 고려한 사실을 제외하고 프로세스는 상기와 동일하다.

비디오를 2D 프레임의 연속으로 고려하면, 각 프레임은 상술한 바와 같이 정확히 동일한 원리를 따른 후에 광필드로 변환될 수 있다.

3D 모델을 카메라에 독립적인 포맷으로 플렌옵틱 데이터로의 변환

3D 모델도 또한 광필드로 변환될 수 있다. 한가지 첫번째 접근은 독립적 표현으로 3D 점들로 3D 모델을 통합하는 것이다. 위의 1D 또는 2D 이미지의 경우에서와 같이, 광선은 다른 방향으로 3D 모델의 각 3D 점들로부터 페어링된다. 다른 방향에서의 광 세기들은 3D 모델 파라미터에 의해 정의된다. 간단한 경우로, 모든 광선 세기들은 모든 방향에서 같을 것이나(램버시안 모델), 항상 그 경우일 수는 없다. 공간내 각 3D 점으로부터 페어링한 모든 광선들을 안 후에, 독립적 표현에 대한 이들의 교차점을 계산하기 위해 Rx-Ry 및 U-V 면들로 이들의 교차점들을 계산하는 게 필요하다. 3D 모델을 갖기 때문에, 오클루전(occlusion)을 다룰 수 있고 따라서 U-V 면으로부터 직접 보여질 수 있는 광선만을 보유하는 것에 유의하라. U-V 면을 교차하는 이들 광선은 그런 후 Rx-Ry 면으로 뻗으며, 여기서 이들 교차점들이 계산된다. 이런 식으로, 플렌옵틱 카메라에 의해 3D 모델의 보기를 시뮬레이션한다. 이런 접근은 3D 모델의 각 가능한 보기 조건이 고려되고 독립적 표현으로 나타내질 필요가 있는 단점이 있어, 소정의 메모리 공간이 필요할 수 있다. 그러나, 모든 가능한 보기들이 독립적 표현으로 사전변환되기 때문에, 이들을 사용하고자 할 때 요구되는 처리시간이 추가로 들지 않는다.

또 다른 실시예로, 사용하고자 할 때만 3D 모델을 카메라 독립적 표현으로 변환한다. 이 시나리오에서, 소정의 보기 조건들에 대해서만 정확히 상기와 같은 처리를 한다. 그 결과, 요구되는 메모리 공간이 더 적으나 몇몇 후처리를 위한 3D 모델의 온디멘드 변환으로 인해 약간의 지연이 도입될 수 있다.

광필드 처리

상술한 변환처리의 출력은 카메라 독립적이고 추가 처리를 위해 직접 사용될 수 있는 광필드의 표현이다. 다양한 카메라들이 실제로 큰 기본적 하드웨어 차이를 갖는다면, 이 생성된 카메라 데이터에 직접 적용되는 후처리를 위한 알고리즘 및 방법을 유지하기 위해 복잡해질 수 있다. 본원에서 제안한 바와 같이, 카메라 사양들에서 후처리 알고리즘을 제거하기 위해 표현된 다른 변환들이 사용될 수 있다.

변환된 광필드가 변경되게 하는 다수의 후처리 방법들을 설명한다. 이는 증강현실에 하거나 장면 품질을 향상시키기 위한 것일 수 있다.

장면중심 표현

광필드 표현은 카메라 위치를 기초로 공간 내 각 광선을 유일하게 기술한다. 표현에 따라, 광선방향도 또한 캡쳐 시스템이 180°이상의 시계 내의 광을 모을 수 있는 경우에 포함될 수 있다.

이 카메라 중심 표현은 장면의 임의의 물체에 집중되게 처리될 수 있다. 실제로, 광선은 광원과 같은 장면 물체로부터 나오고 다른 물체들은 직간접적 광원을 반사한다. 캡쳐 및 변환된 광필드를 처리하기 위해, 물체가 추가, 제거 또는 변경될 때 광선을 변경할 수 있도록 이와 같은 장면중심 표현을 갖는 것이 유용하다.

예컨대, 증강현실 프로세싱에서, 몇몇 가상/인공 시각정보로 캡쳐된 광필드를 증강시킬 필요가 종종 있다. 본 명세서에서, 증강현실은 또한 장면에서 물체를 실제로 제거하는 상황을 포함하며, 이를 때때로 감소현실이라 한다.

다음 장면 내내 상술한 2면 파라미터화로 광필드의 표현의 일예를 이용하나, 동일한 방법은 가령 구-면과 같은 다른 표현에도 동일하게 적용될 수 있다.

도 9는 장면(20)으로부터 광필드의 2면 표현을 도시한 것이다. 4개 광선들(r₁에서 r₄)이 도시되어 있다. 처음 두 광선(r₁,r₂)은 카메라(1)의 초점면(Rx,Ry)에서 인포커스 지점(A)에 해당하고, 마지막 두 광선(r₃,r₄)은 다른 거리에서 인포커스에 있지 않는 지점(B)에 해당한다.

상술한 바와 같이, 광선들(r₁에서 r₄) 중 어떤 것이 동일한 물리적 지점에 있는지 없는지 이 표현으로는 알 수 없다. 본 출원인은 여기서 이 표현을 광선들이 장면(20)에 의해 방출되고 따라서 장면 지점에서 시작하는 장면중심 표현으로 변환하고, 광선들이 카메라 면(U-V)에 부딪힐 때 멈추도록 제안한다. 따라서, 광선을 나타내는 절반의 선들을 대신 세그먼트로 다룬다. 이는 광선들이 카메라에서 시작하고 광선의 길이 또는 깊이가 알려져 있지 않기 때문에 결코 멈추지 않는 상술한 표현의 이중성이다.

변환은 다음과 같은 방식으로 행해질 수 있다:

1. 장면의 장면중심 플렌옵틱 표현으로 시작한다.

2. 카메라 독립적 표현으로 각 광선에 대해,

2.1 광선의 교차점 및 장면의 물리적 지점을 추정한다(가능한 방법들의 개요에 대한 다음 섹션을 참조). 이를 알면, 장면 지점의 깊이를 추론할 수 있다.

2.2 카메라 면(U-V 면)에 나란한 카메라에 대해 물리적 지점의 2D 위치를 추론한다.

2.3 처음 두 단계들에서 계산된 2D 위치 + 깊이 정보에 의해 생성된 3D 지점에 대한 검색

2.3.1 이 3D 지점이 이미 장면중심 표현에 있다면, 새 광선을 3D 지점에서 시작해 카메라 독립적 표현에서 해당 광선과 동일한 방향을 갖는 장면중심 표현에 추가한다. 광선의 기타 속성들 (가령, 컬러 세기)도 또한 복사된다.

2.3.2 3D 지점이 장면중심 표현에 없다면, 장면중심 표현에 새 지점을 생성하며 이 지점에서 방출되고 카메라 독립적 표현에서 해당 광선과 동일한 방향을 갖는 새 광선을 첨부한다. 광선의 기타 속성들(가령, 세기)도 또한 복사된다.

이 변환의 출력은 광선들이 각 지점에 첨부된 포인트 클라우드(point cloud)이다. 각 광선은 물리적 대상물의 컬러를 기술하며, 해당 광선으로 비춰지고 광선에 중심을 둔 관점에서 보여지는 특정 컬러 세기를 갖는다. 이는 전체적으로 장면 기하학적 형태뿐만 아니라 시각적 겉모습을 기술한다.

이는 광선방향이 장면에 따르는 게 아니라 다만 캡쳐링 장치에 따르는 것을 언급할 가치가 있다. 그러므로, 동일한 내부 파라미터들을 갖는 동일한 캡쳐링 장치에 대해, 카메라 독립적 표현에서 광선의 깊이 및 컬러 정보만이 변하게 된다.

이 새로운 장면-중심 표현으로 광선의 각각의 변경이 표현의 중심에서 대상물의 시각적 겉모습을 실제로 변경할 수 있게 광필드를 실제로 변경할 수 있다. 콘트라리오(contrario), 즉 카메라 독립적 표현은 장면에 대한 정보를 전혀 포함하지 않는다. 그러므로, 컬러 세기와 같은 광 속성을 바꿈으로써 장면 그 자체와 실제 상관없이 캡쳐된 장면에 변화가 야기될 것이다.

깊이 추정

광필드를 물체 또는 장면 중심표현으로 변환하는 상기 방법에서 언급된 바와 같이, 각 광선의 깊이 정보를 갖는 게 필요하다.

여기서 깊이를 재구성하기 위한 2가지 방법을 간략히 소개한다.

도 10에 도시된 첫번째 방법 이면의 주요 원리는 어떤 광선(r₁,r₂,…r_i)이 동일한 물리적 지점(A)에서 나오는지 식별하는 것이다. 두 광선들(여기서 r₁ 및 r₂)이 동일한 물리적 지점(A)에 해당하는 것으로 식별되자마자, 삼각측량을 이용해 깊이가 추정될 수 있다. 이는 표현 파라미터에 대한 깊이 추정을 제공한다. 절대 깊이가 요구되면, 광필드 표현을 물리적 세상에 연결하는 파라미터를 갖는 게 또한 필요하다.

도 10에서, 한 물리적 지점(A)이 2개의 광선(r₁ 및 r₂)을 방출한다. 이 지점에서 방출되지 않은 제 3 광선(r₃)도 또한 도시되어 있다.

다음의 절차는 광선, 즉 광선(1)의 깊이를 추정하는데 사용될 수 있다, :

1. r₁과는 다른 장면에서 각 광선(r_i)에 대해, 광선이 동일한 물리적 대상물에 속하거나 동일한 지점(A)에서 나오는지 식별한다(다른 방법들에 대해서는 다음 구절을 참조).

2. 동일한 물리적 대상물을 나타내는 광선(r₂)이 식별된 다음에, 이를 삼각측량하기 위해 광필드 표현 파라미터를 이용해 카메라 면(U-V)에 대한 보라색 지점의 거리를 계산한다. 실제로, 카메라 면(U-V)에 대해 광선들(r₁ 및 r₂)의 각도뿐만 아니라 동일한 카메라 면상의 이들의 상대 거리도 알려져 있다.

3. 삼각측량 수식을 이용해, 카메라 면(U-V)으로부터의 거리 및 지점(A), 즉, 깊이를 추정할 수 있다.

광선-물체 식별

두 광선들이 동일한 물리적 대상물 또는 지점에 해당하는지(즉 방출되는지) 평가하기 위한 방법은 물리적 대상물 표현들이 전체적으로 램버시안이라는, 즉, 대상물에 의해 반사된 광이 대상물 상의 소정 지점에 대해 사방으로 동일하다는 가정에 기초할 수 있다. 이 구속조건을 이용해, 두 광선들이 동일한 물체를 얼마나 잘 나타내는지 정의하는 유사도 측정을 세운다. 이는 실제로 각 광선의 시각적 겉모습, 보다 엄밀하게는 세기를 가정한다. 다수의 측정들이 이용될 수 있다. 한가지 가능한 측정은 다음과 같이 정의된 절대값 차이다:

이 측정은 2개의 소정의 광선들이 동일한 대상물을 나타내는지 여부를 결정하기 위해 상기 절차의 단계(1)에 사용될 수 있다. 더 작은 AD 값들이 이들 경우를 나타낸다.

유사도 측정으로서 광선의 세기만을 이용함으로써 노이즈 경향이 꽤 큰 것을 언급할 가치가 있다. 따라서, 통계적으로 및 전체적으로 깊이를 추정하는데 필요한 정보로서 단지 2 광선들만을 취하는 대신 깊이 삼각측량 문제를 해결하기 위해 반복 프로세스 또는 컨센서스 방법을 적용함으로써 노이즈 효과를 줄이고자 했다.

두번째 방법은 광필드의 에피폴라 이미지 표현과 더 엄밀하게는 에피롤라 라인들에 기초한다. 본 출원인은 상기 방법 아래에 이 문헌에서 언급된 2-면 표현을 레버리징함으로써 에피폴라 라인 깊이 재구성 방법을 제시한다.

에피폴라 라인을 이용한 깊이 재구성

램버시안 모델을 가정하면, 물리적 지점들은 도 11을 참조로 기술된 방법을 이용해 Rx-Ry-U-V 좌표계에서 추출될 수 있다.

광필드는 Rx-Ry-U-V 표현으로 나타내질 수 있다. 물리적 지점(A)은 Rx 축에 평행한 방향으로 오프세트(h_x)로 Rx-Ry 면으로부터 거리(d)에 위치해 있다. 물리적 지점(A)이 간략히 하기 위해 Ry=0 및 V=0인 면에 위치해 있다. Rx 면 및 U 면 간의 거리는 δ이고, 이는 두면 표현에서 1이다. 물체(A)가 광선(r_i)을 방출한다. 광선은 Rx-Ry 및 U-V 면 모두를 교차하나 교차점의 위치는 광선의 각도에 따라 약간 다르다.

삼각형(d+δ,h_x), (δ,Rx), (δ,h_x) 및 삼각형(d+δ,h_x), (0,u), (0,h_x)이 동조적(homothetic)이므로 하기의 수식을 갖는다:

수식을 변환해, u에 대한 Rx의 선형 수식을 얻는다:

이는 소스로부터의 광선이 U-Rx 좌표 상의 선(L), 소위 에피폴라 라인을 형성하는 것을 말하고, 그 그래디언트는 깊이의 함수이다 도 12는 U-Rx 좌표를 나타낸다.

0을 U에 할당함으로써, Rx 절편은 다음과 같이 도출된다:

더욱이, 하기의 수식은 그래디언트와 깊이에 대해 행해진다:

따라서, U-Rx 도표에서 선을 추출하고 그래디언트와 Rx 절편을 계산함으로써 깊이(d) 및 오프세트(h_x)를 얻을 수 있다.

에피폴라 라인 추출

2D 데이터(가령, 이미지)로부터 라인을 추출하는 여러가지 방법들이 고려될 수 있다. 이 목표를 달성하기 위해 라돈(Radon) 변환이 적합하다. 함수 f(a,b)의 라돈 변환(R)은 다음과 같이 정의된다:

라돈 변환에서, 원래 이미지 면은 각 점(θ₀,ρ₀)이 이미지 면에서 한 라인 xcosθ₀ + ysinθ₀ = ρ₀에 해당하는 θ-ρ면으로 변환된다. 점의 세기는 그런 후 해당 라인의 길이에 비례한다. 알고리즘(1)은 아래에 라돈 변환의 불연속 버전을 계산하기 위한 알고리즘으로 간주될 수 있는 허프변환(Hough Transform) 알고리즘을 나타낸다.

허프변환이 친숙한 기울기-절편 형태보다는 극좌표(즉, θ-ρ 파라미터)를 이용하는 이유는 심지어 유한한 x-y면(즉, 디지털 이미지)에 대해서도 기울기와 절편이 모두 구속되지 않기 때문이다.

라돈(및 허프)변환의 한가지 핵심 속성은 이미지 면에서의 회전(즉, θ변경)이 θ-ρ면에 간단한 평행이동으로 변환된다는 것이다.

알고리즘 1: 허프 (라돈) 변환 알고리즘

요건: 이미지를 나타내는 2차원 매트릭스(I)

1. 벡터(Θ)에서 θ값의 범위를 구분한다.

2. ρ 파라미터를 nρ 식별값으로 구분한다.

3. 길이(Θ) × nρ 출력 매트릭스(H)를 구성한다.

4. H의 모든 요소들을 초기에 0으로 설정한다.

5. I에서의 각 특징점(x,y)에 대해, 행한다.

6. 각 θ∈Θ에 대해, 행한다.

7. ρ = xcosθ + ysinθ

8. H(θ,ρ) = H(θ,ρ) + 1

9. 끝

10. 끝

11. 출력 이미지(H)를 복원

허프변환의 결과로, 에피폴라 라인들은 θ 및 ρ을 특징으로 하고, 다음의 관계를 지닌다:

따라서, 소정의 파라미터(d 및 h_x)는 다음과 같이 구해진다:

깊이 재구성 알고리즘

현실에서, 물체는 3D 좌표로 임의의 위치에 놓일 수 있으며, 이는 깊이 추정 방법이 Ry=0 및 V=0의 면 상의 점들뿐만 아니라 임의의 지점들에서 작용하는 게 필요한 것을 말한다. Ry(또는 V) 축에서 물리적 지점의 오프세트(hy)를 고려하기 위해, 모든 가능한 Ry 값들에 대해 U-V 면에 깊이 재구성을 수행한다. 다시 말하면, V=0인 각 Ry에서 U-V 슬라이스 상에 에피폴라 라인들을 추출한다.

상기에 기술한 원리에 따라, 캡쳐된 장면의 기하학적 형태를 재구성하기 위한 알고리즘을 제안한다.

요건: U V Rx Ry 좌표 시스템으로 표현된 플렌옵틱 데이터

1. 각 Ry 및 Ry'에 대해,

2. (V,Ry)=(0,Ry')에서 U-Rx 면 상에 허프변환을 적용한다.

3. 각 추출된 에피폴라 라인에 대해, 깊이(d_i), x 오프세트(h_xi) 및 y 오프세트(h_yi)를 계산한다.

4. 모든 추정된 3d 점들(h_xi,h_yi,d_i)을 복구한다.

증강현실에 대한 적용

이 장면중심 표현은 장면의 물리학에 따르는 방식으로 캡쳐된 광필드에 대한 변형 및/또는 개선을 수행하게 한다.

여기서 2개의 다른 예들을 제시한다. 첫번째는 특정 장면요소의 이미지 품질을 향상시키는 것에 대한 것이다. 이는 종종 물체 또는 장면의 벽 경계부와 같이 이미지의 요소를 선택하거나, 콘트라스트를 더 높이거나 노출 설정을 다르게 해 이미지의 특정 부분을 더 밝게, 더 어둡게 하고자 한다. 종래 이미지 시스템에서 요구된 사진 보정을 적용하기 위해, 휘도를 해석하고, 사용자는 어떤 픽셀이 변경되어야 하는지 수동으로 선택함으로써 필터가 이들 픽셀들에만 적용되게 한다. 이는 실제로 (사람의 머리카락의 예를 들어) 많은 경우들에 성가실 수 있다.

이 섹션에서 설명된 바와 같이 변환된 장면의 광필드 캡쳐로, 이들의 시각적 겉모습을 기초로 할 뿐만 아니라 장면 공간내 이들의 물리적 위치에 대해 요소들을 선택할 수 있다. 이 시스템으로 사용자는 픽셀들이 아니라 공간내 점들을 선택한다. 시스템은 그런 후 각 물체를 분할하도록 장면 지점들의 깊이 불연속들을 분석함으로써 특정 물체에 속하는 모든 점들을 사용자가 선택하게 돕는다. 따라서, 이전의 머리카락 예에서, 사용자는 단지 사람의 머리를 클릭해 이 전체 머리가 적용된 필터에 의해 보정되게 할 수 있다. 사람 머리에 의해 "방출된" 다른 광선들은 필터, 이 경우 각 광선의 컬러 세기를 증가시킬 수 있는 휘도 필터에 따라 선택되고 보정될 것이다.

이 2 단계 변환(카메라 광필드→카메라 독립적 광필드→장면중심 광필드)을 가짐으로써, 다른 필터들이 전체적으로 카메라에 독립적이며 기하학적 형태 및 조명 정보 모두가 알려져 있기 때문에 이들이 장면의 다른 물리 법칙을 고려하는 식으로 장면 그 자체에 쉽게 적용될 수 있다.

두번째 예는 광필드 공간에서 증강현실을 하는 것에 대한 것이다. 증강현실은 추가/기타 정보로 장면을 변경하는 것에 대한 것이다. 따라서, 장면의 변경 및 추가된 컨텐츠 간에 직접적인 "물리적" 링크가 있다. 보행자 수준에서 행해지는 거리의 광필드 캡쳐의 예를 들자. 여기서 주어진 예시적인 사용 경우는 기존 건물과 같은 물체를 세워질 새 건물과 같이 다른 물체로 대체하는 것이다. 새 물체는 반사 등과 같은 질감 및 표면 정보와 함께 컴퓨터로 만든 가상 3D 모델의 형태를 취한다. 목표는 현재 물체를 대체하도록 이 3D 모델을 완벽하게 광필드 캡쳐에서 완벽히 두는 것이다.

광필드의 장면중심 표현이 주어지면, 하기의 프로세스는 상기 목적을 위해 사용될 수 있다:

1. 사용자는 캡쳐된 광필드 장면에서 건물과 같은 물체의 메인 정면을 선택한다. 이는 장면의 포인트 클라우드 표현으로 앵커점을 생성한다.

2. 캡쳐된 광필드내 물체의 메인 정면이 시스템은 가상 3D 모델 중 하나와 겹쳐지도록 상기 장면에 가상 3D 모델을 둔다.

3. 가상 3D 모델의 3D 정보 및 광필드 포인트 클라우드에 포함된 깊이 정보로 인해, 시스템은 어떤 광선들이 광필드 캡쳐에서 물체를 나타내는지, 따라서, 어떤 광선이 가상 3D 모델을 나타내는 광선으로 대체되어야 하는지 추정할 수 있다.

4. 시스템은 가상 3D 모델 광선을 장면 중 하나와 병합시켜 인위적으로 삽입된 새로운 물체로 장면의 준실사 표현을 생성한다.

상기 절차는 광필드에 물체를 추가/변경하는데 사용될 수 있다. 증강현실 시나리오에서, 1) 하나의 광필드 캡쳐를 기초로, 사용자(A)는 장면의 물리적 현상과 직접 관련된 요소들을 제거하거나 새로운 요소를 추가함으로써 장면을 변경하고, 2) 사용자(B)는 또 다른 광필드 캡쳐(또는 그것의 비디오, 또는 연속 실시간 캡쳐)를 취해 장면이 이전 사용자 입력을 기초로 자동으로 변경된다(또는 그 자체로 주석 달리게 한다). 첫번째 단계는 상기 4단계 절차를 이용해 행해질 수 있다. 두번째 단계는 사용자(A)에 의해 캡쳐된 광필드를 사용자(B)에 의해 캡쳐된 광필드로 등록할 수 있는 것을 포함한다. 등록 후 장면(A) 광선과 장면(B) 광선 간에 맵핑을 정확히 안다. 따라서, 상기 절차의 단계 4번은 장면의 사용자(A) 변경을 기초로 사용자(B) 장면의 증강버전을 생성하도록 자동으로 적용될 수 있다. 이를 광필드 기반의 증강현실이라 한다.

광필드 기반의 감소현실

몇몇 시나리오에서, 실제 물체를 제거하기 위해 장면을 나타내는 캡쳐된 광필드를 변경하는 것이 종종 바람직하다.

장면에서 물체를 제거함으로써 장면의 소정 지식이 획득된다. 예컨대, 장면에서 입방체를 제거하는 것은 (카메라 면 위치에 대해) 입방체 뒤에 배경이 어떻게 보일지 알기 위한 방법을 필요로 한다.

이는 광필드가 유용해질 수 있는 경우이다. 실제로, 장면이 다른 면에서 어떻게 보이는지에 대한 더 많은 정보를 갖고 따라서 "물체 이면"을 더 쉽게 제구성할 수 있을 것이다.

그러므로, 물체를 제거하는 것은 2개의 다른 단계들을 필요로 한다:

1. 제거할 물체를 식별하는 단계. 이는 광필드의 어떤 광선이 물체에 상응하는지 정확히 아는 게 필요하다. 이 프로세스를 세그먼테이션(segmentation)이라고 한다.

2. 물체의 배경을 이미테이션하는 광선들로 물체 광선을 대체하는 단계. 이를 인페인팅(inpainting)이라 한다.

상술한 광필드의 2면 표현으로 상기 2 단계를 달성하기 위해 아래의 방법을 소개한다.

세그먼테이션

어떤 광선들이 물체에 속하는지 식별하기 위해, 장면에서 제거하고자 하고, 장면의 더 나은 "시멘틱(semantic)" 이해 수준을 갖기 위해 물체 세그먼테이션이라고 하는 과제를 수행한다. 이를 위해, 앞 부분에서 설명된 장면중심 광필드 표현으로 시작한다.

가까이에 이 표현을 가짐으로써, 장면의 물체들에 의해 방출된 어떤 광선이 실제로 동일한 물체에 속하는지 확인하고자 한다. 특히 스테레오 비전 필드로부터 물체 세그멘테이션에서 나온, 상기를 하기 위한 여러 가지 방법들이 있다. 이들 방법들은 또한 광필드 캡쳐링 장치에 의해 캡쳐된 정보의 추가량으로 인해 깊이 추정이 더 나은 품질이 되는 주요 이점을 가지며 이 장면중심 광필드 경우에도 적용될 수 있다. 이는 더 나은 세그멘테이션 결과를 산출한다.

장면중심 광필드에 작용하는 대표적인 물체 세그먼테이션 알고리즘은 다음과 같이 적용된다:

1. 6D 벡터, 즉, 3차원은 점의 위치를 나타내고 다른 3개는 이 점을 나가는 모든 광선들의 광 세기(또는 컬러)의 평균으로서 각 광선 방출점을 나타낸다. 이는 세기를 평균하는 대신, 알고리즘이 또한 광방출 방향 당 하나의 세기를 갖게 이들을 양자화할 수 있음을 언급할 가치가 있다. 방향들의 개수를 N으로 설정함으로써 방출점을 나타내는 N+3 차원 벡터를 생성할 수 있다.

2. 대표적으로 컬러 불일치와는 기하학적 형태 불일치의 코스트를 다르게 가중화하는 거리를 기초로 이 6D 점의 세트를 클러스터화한다. 더 많은 가중이 첫 번째에 두어질 것이다.

3. 클러스터화의 결과 클러스터들이 만들어지고, 각각은 장면 상에 다른 물체들을 나타낸다. 알고리즘의 마지막 단계는, 장면의 각 광선에, 광선이 속하는 클러스터에 해당하는 물체 식별자를 할당하는 것이다.

물체들에 대한 모든 광선들을 가진 후에, 제거될 물체가 선택되어야 한다. 이는 가령 장면의 이미지를 사용자에게 소개하고 사용자가 영역을 클릭하게 함으로써 행해질 수 있다. 장면에 클릭을 재투영시킴으로써, 어떤 물체가 클릭이 적용되었는지 알 수 있고 이에 따라 물체에 속하는 광선을 식별한다.

장면중심 광필드 표현에서 물체 세그멘테이션이 유용해질 수 있는 대표적인 사용자-경우를 설명한다:

플렌옵틱 카메라에 의해 캡쳐된 광필드 장면은 특정한 각 해상도 및 공간 해상도를 갖는다. 양 해상도는 주로 카메라 고유의 파라메터들에 기인한다. 2개의 다른 플렌옵틱 카메라 파라미터들로 취해진 유사한 장면은 다른 각 해상도 및 공간 해상도를 가질 수 있다. 이들이 동일한 공간 해상도를 갖는다고 가정하면, 단초점렌즈 및 평균 초점렌즈와 같이 다른 카메라 파라미터들로 캡쳐된 장면으로부터의 조망이 달라질 수 있다.

소정의 단초점렌즈(가령 24mm)를 가진 플렌옵틱 카메라 파리미터들을 이용해 소정의 조망으로 장면을 캡쳐한 사진을 가정하자. 100mm와 같이 두 번째 더 긴 초점렌즈로, 사용자는 또 다른 조망으로 장면을 다시 캡쳐한다. 캡쳐된 장면들 모두에, 연구 대상이 전경에 있으나 2개의 다른 조망도로 보여질 수 있다. 사진이 제 1 이미지에서와 동일한 조망을 가지나 제 2 이미지의 조망을 갖는 배경으로 장면을 캡쳐하고자 한다고 가정하자.

이를 달성하기 위해, 한가지 가능성은 양 이미지들에 대한 캡쳐 위치를 물리적으로 변경하는 것이다. 몇몇 카메라 파라미터들로 첫번째 이미지가 한 위치로부터 캡쳐된다. 상기 이미지에 대해, 전경은 약간 특정 조망을 갖는다. 두번째 이미지에 대해, 사진은 (물리적 캡쳐 위치가 조절되어야 하기 때문에) 제 1 이미지와 유사한 조망을 가진 전경이나 또 다른 조망으로 배경을 원한다. 이를 위해, 사용자는 이런 시각효과를 캡쳐할 수 있도록 물리적으로 주위로 이동될 필요가 있으며, 이는 사진술에서 중요하다.

상기 접근에 대한 대안은 캡쳐 후 장면을 처리하는 것이다. 플렌옵틱 카메라를 이용해 장면을 캡쳐함으로써, 이것이 가능해진다. 실제로, 전경의 물체는 세그멘테이션 기술을 이용해 배경으로부터 분리될 수 있다. 그런 후 이미지의 전경 및 배경이 별개로 처리될 수 있고 따라서 필터가 구체적으로 전경 또는 배경에 적용될 수 있다. 새로운 조망을 계산하기 위해 한 필터는 이미지의 전경의 조망을 바꾸지 못하고 두번째 필터는 배경의 광선 파라미터들을 바꾸는 필터를 설계하는 것을 상상할 수 있다. 그러므로 계산된 이미지는 원래 조망을 가진 전경과 또 다른 조망을 가진 배경을 포함한다.

계산 코스트를 줄이기 위해, 장면중심 표현이 물체가 위치된 이미지의 일부에 단지 적용될 수 있다. 상기 물체에 대한 모든 광선들은 필터가 적용될 다른 것들에 대해 식별된다. 필터는 특정 초점렌즈와 같은 카메라 파라미터를 시뮬레이션하고, 면에 적용되는 새로운 각 해상도 및 공간 해상도를 처리하며, 연구 대상을 배제할 수 있다.

광필드 인페인팅

감소현실 처리의 마지막 단계는 마치 이들이 제거될 물체의 배경에 의해 방출된 것처럼 이들을 나타나게 하도록 이전 단계에서 식별된 광선을 변환하는 것이다.

표준 이미지 처리 필드에서, 픽셀을 물체 뒤에 있게 될 질감과 똑같은 질감을 보아야 하는 것들로 대체하는 것을 인페인팅이라 한다. 본 출원인은 본 명세서에서 방법의 일반적 개념과 장면중심 광필드에 어떻게 적용될 수 있는지를 소개한다. 보다 상세한 내용은 http://hci.iwr.uni-heidelberg.de/Staff/bgoldlue/papers /GW13_cvpr.pdf에서 찾을 수 있다(인페인팅의 예가 논문의 섹션 6에 제시되어 있다).

광필드를 인페인팅하는데 있어 주요 아이디어는 광필드의 손실정보를 복구하는 것이다. 한가지 경우로, 손실정보는 선택된 물체의 광선으로 표현된 영역이다. 이들 광선들은 제거될 수 있고 이들 물체 광선들이 빠진 것으로 가정함으로써 광필드가 재구성될 수 있다. 이 문제는 손실영역(Γ)은 F라고 하는 캡쳐된 광필드로부터 이전에 제거된 물체의 광선에 해당한다고 가정해 다음과 같이 더 공식적으로 진술된다.

제 2 예로서, 광선 공간에 인페인팅을 논의한다. Γ⊂Ｒ이 입력 광필드(F)가 미지(未知)인 광선 공간의 영역이라 하자. 목표는 손실 값을 회복하는 함수(U)를 복구하는 것이다. 이를 위해, 다음을 찾는다:

이 최적화/재정규 문제를 해결함으로써 배경에 의해 방출된 다른 광선들이 어떤지에 대한 방안을 제공한다. 따라서, 장면은 전과 동일한 장면이나 물체가 없이 나타날 복구된 광필드를 이용해 다시 랜더링될 수 있다.

크롭핑

플렌옵틱 이미지의 크롭핑은 4개의 파라미터들(Rx,Ry,U,V)의 범위를 선택하는 것에 해당한다. 크롭핑이 Rx-Ry 면에 크롭핑을 수행하는 것과 유사한 2D 이미지 크롭핑에 더해, 플렌옵틱 크롭핑은 U-V 면뿐만 아니라 Rx-Ry 면에 이미지를 크롭하게 한다. 각 파라미터들(Rx,Ry,U,V)에 대한 범위를 설정함으로써, 전체 광선 세트들로부터 광선의 서브세트를 선택할 수 있다. 크롭핑의 가능한 수단은 각도 기반의 크롭핑이며, 이는 물체의 보기 각도를 제한하게 한다. 이는 주석이 소정의 보기영역에서만 나타나게 사용자가 플렌옵틱 이미지에 대한 플렌옵틱 주석을 달 경우에 사용될 수 있다. 각도 기반의 크롭핑은 보기영역을 제한하기 위해 첨부된 물체의 3D 위치(x,y,z)와 각도(φ,θ)의 입력을 취하고, Rx-Ry 및 U-V의 해당 범위를 출력한다.

Rx-Ry 면의 범위는 다음과 같이 정해진다:

여기서, z는 U-V 면까지의 수직거리이고, x, y는 Rx, Ry와 일치한다. θ 및 φ는 각각 U-V 면에 직각인 선으로부터 수평 및 수직각도이다.

마찬가지로, U-V 면의 범위는 다음과 같이 계산된다:

광선 세기 변경

플렌옵틱 이미지의 광선 세기는 전체적으로 그리고 국소적으로 변경될 수 있다.

전체 광선 세기 변경은 사용자가 플렌옵틱 이미지의 휘도, 컬러 밸런스, 콘트라스트, 포화 등을 조절하게 하고, 그 변경은 모든 광선들에 균일하게 적용된다. 컬리 히스토그램을 분석 및 최적화함으로써 자동 이미지 보강과 같은 더 진보된 처리가 또한 플렌옵틱 이미지에 수행될 수 있다.

국소 광선 세기 변경은 사용자가 장면(즉, Rx-Ry 면)과 보기점(즉, U-V 면) 모두를 고려해 플렌옵틱 이미지의 교차영역을 선택하게 한 후 선택된 영역 내에서 상술한 변경을 적용하게 한다.

광선 필터링

2D 이미지를 필터링하는 것과 유사하게, 플렌옵틱 데이터에도 또한 필터를 적용할 수 있다. 가우시안 블러링 필터와 같은 저역필터는 광필드에서 광선의 확산으로 해석된다. 플렌옵틱 데이터를 필터링하는 것은 플렌옵틱 이미지와 4D 필터요소의 컨볼루션으로 표현되는 것과 마찬가지로, 2D 이미지를 필터링 하는 것은 이미지와 2D 필터요소의 컨볼루션으로 표현된다.

여기서, H는 필터요소이다.

도 13은 한 점(Rx,Ry)을 지나고 U-V면에 부딪히는 광선을 확산시키는 U-V면에 대한 가우시안 필터의 일예를 도시한 것이다.

그 결과, 필터(F)로 필터된 물체(A)는 도 14에서 A'로 묘사된 바와 같이 흐릿하게 보인다. 이 예에서, 도면으로부터 알 수 있는 바와 같이, Rx-Ry 면 부근의 물체는 덜 흐릿해지나 면에서 멀리 있는 것들은 더 흐릿해진다. 게다가, 적절한 필터요소를 구성함으로써 다른 모든 물체들을 흐릿하게 하는 반면 소정의 깊이에 있는 물체들을 선명하게 유지할 수 있다.

리사이징

플렌옵틱 데이터를 리사이징하는 것은 파라미터들의 단위를 리스케일링하는 것으로 정의된다. 2D 이미지를 리사이징하는 것과 마찬가지로, 도 15에 도시된 물체(A)를 리사이징하기 위한 리사이징 프로세스(R)는 축 상의 값을 상기 값과 스켈일링 계수의 곱으로 변환한다.

여기서, σ_i는 스케일링 계수이다.

예컨대, (σ₁, σ₂, σ₃, σ₄)=(0.5,1,0.5,1)이면, 출력은 모든 보기 지점에서 Rx(또는 U) 방향으로 절반으로 수축된 것으로 보인다. 도 17은 Rx-Ry 면 및 U-V면의 리사이징 개략도를 도시한 것이다.

면들의 수직 평행이동

캡쳐된 장면의 광선들은 두면 표현으로 Rx, Ry, U, V에 의해 파라미터화되고, U-V면은 보기 위치를 나타낸다. 면 상에서 보기 위치를 임의로 바꿀 수 있고 해당 Rx, Ry 값을 획득할 수 있다. 그러나, 면 내로뿐만 아니라 면 밖으로도 움직이고 싶을 수 있다. 물체 가까이에 보기 위치를 이동시키려고 할 때 이런 경우가 발생한다.

보기위치를 U-V면 밖의 한 위치로 바꾸기 위해 두 면들이 수직 축을 따라 이동될 필요가 있기 때문에 전체 광선 파라미터가 다시 계산되어야 한다. 새로운 파라미터의 계산은 다음과 같이 수행될 수 있다:

a) 이들 수직축을 따라 U-V면 상에 새 보기지점에 놓이도록 2개의 면들을 이동시킨다;

b) 모든 광선들에 대한 2 면들로 새 교차점들을 계산한다.

이는 선형연산이기 때문에, 계산은 입력 파라미터의 벡터들에 대한 매트릭스 곱으로 기술될 수 있다. 매트릭스의 값은 2면(σ) 및 평행이동 계수(z) 간의 거리로부터 계산된다. 도 16은 구성 및 평행이동 매트릭스를 간략히 도시한 것이다.

리포커싱

계산된 광필드는 특정 물체 초점면으로 취해질 수 있다. 동일한 물리적 지점으로부터 다른 방향으로 나오는 광선들을 캡쳐하기 때문에, 리포커싱을 다시 생성하기 위해 광선을 재배열할 수 있다.

장치 독립적 표현으로, 이는 Rx-Ry 면을 이동시키고 이 새 면으로 광선의 새 교차점을 계산함으로써 행해질 수 있다. 이 프로세스는 독립적 표현을 만들 때 필수적인 정규화 프로세스와 등가임을 주목할 수 있다.

플렌옵틱 데이터의 통합

상기 섹션에 기술된 바와 같이, 광필드는 유한한 개수의 파라미터들로 구성된다. 2 면 표현의 예에서, 광선은 U-V면 및 Rx-Ry 면 및 광선세기와 함께 교차를 위한 4개 파라미터들로 기술된다. 4개의 교차 파라미터들의 좌표 값은 가령 2면 표현 또는 구형 표현으로서 다른 표현들에 해당할 수 있다. 따라서, 2개의 플렌옵틱 이미지에 해당하는 데이터를 통합할 때, 이들의 표현들이 다른 경우를 고려하는 것이 필요하다.

다른 표현들과 함께 2개의 플렌옵틱 데이터는 제 2 표현의 제 2 플렌옵틱 데이터를 제 1 표현의 등가 데이터로 변환하고 제 1 표현으로 두 데이터를 통합함으로써 병합 또는 통합될 수 있다. 데이터 표현에 따라, 변환된 데이터의 샘플링은 제 2 데이터의 샘플링과 똑같을 수 없다. 이 경우, 다른 샘플링들을 다루기 위해 플렌옵틱 데이터에 양자화가 적용될 필요가 있을 수 있다.

양자화 과정에서, 각 파라미터는 크기가 좌표에서 2개의 샘플링 지점들의 거리에 해당하는 작은 저장소에 할당된다. 예컨대, Rx 축 상의 샘플들의 개수가 640개이면, Rx 축에 병합될 면적은 640개 저장소들로 분할되고, 면적에 부딪히는 각 광선의 Rx 값은 저장소들 중 하나로 양자화된다. 2개의 다른 광선들이 동일한 저장소에 양자화되는 것이 발생할 수 있으며, 이는 원래 다른 광선들의 모든 양자화된 파라미터들이 동일해지는 것을 말한다. 이 경우, 가령 소정의 기준을 기초로 광선들 중 하나를 선택하거나 이들을 병합해 평균 광세기를 얻을 수 있게 되는 통합 프로세스로 결정할 필요가 있다. 또 다른 문제로, 모든 저장소들은 세기 값들로 채워질 수 없으며 몇몇은 빈 채로 있다. 이 경우, 빈 저장소의 값은 저장소에 이웃함으로써 보간으로 채워지거나 전혀 값이 없는 것으로 남아 있다. 다양한 보간방법들이 가능하다. 이중선형보간이 일예이다.

광필드 저장장치

두 면 표현에서 광선의 세기 값은 4개 파라미터들(가령, Rx, Ry, U, V)을 이용해 파라미터화되기 때문에, 모든 세기 값과 이들의 해당 파라미터들을 저장함으로써 전체 캡쳐된 광필드를 저장할 수 있다. 4개 파라미터들은 임의의 실수 값을 취할 수 있다. 세기 값은 각 컬러의 적색, 녹색, 및 청색 또는 HSV 또는 CMYK와 같은 다른 표현의 임의의 다른 값에 대해 정의될 수 있다. 따라서, 광필드는 매트릭스형 포맷으로 저장될 수 있고, 매트릭스의 행은 각 광선에 해당하고 매트릭스의 열은 각 파라미터 또는 세기 값에 각각 해당한다. 광선이 하나의 세기 값을 가진다고 하면, 매트릭스의 크기는 저장될 광선의 개수의 5(즉, 4개의 파라미터들 + 1개의 세기 값)배와 같다.

그러나, 플렌옵틱 데이터는 주로 일정 간격으로 나란히 배열된 노멀 이미징센서를 이용해 캡쳐되기 때문에, 카메라의 구조물에 대한 이 사전지식을 이용해 요구되는 저장장치를 최적화할 수 있다. 따라서, 이 조건 하에서, 종래 이미지 포맷을 이용해 캡쳐된 플렌옵틱 필드를 저장하는 것이 이점적일 수 있다. 이 포맷에, 본 문서의 처음에 제시된 2 면 표현이 잘 맞는다.

이미지형 포맷을 이용해 광필드를 저장하는 것은 사전에 알고 있는 2면 표현 파라미터를 필요로 한다. 이들 파라미터들은 또한 메타데이터를 이용해 이미지에 저장될 수 있나, 카메라 독립적 표현을 필요로 하기 때문에, 파라미터들은 대개 선험적으로 알려져 있다. 이들 파라미터들은 두 면들과 (마이크로렌즈 및 이미징 센서 파라미터들에 해당하는) 광선의 샘플링 레이트 간의 거리를 포함한다

고정된 표현 파라미터들 갖는 것은 두 면들 간에 표현된 다른 광선들이 완전히 장면에 독립적이게 한다. 실제로 장면 B와 다른 장면 A는 2 면들로 표현된 광선방향들을 갖는다. 유일한 변화는 광선의 세기이며, 광 세기는 다른 물체들을 나타내기 때문에 이는 명백히 변경될 것이다.

이와 같은 두면 표현을 저장하기 위해, 종래 이미지 포맷이 사용될 수 있다. 이미지는 픽셀로 구성되고, 각 픽셀은 U-V 면에 부딪힌 광선을 나타낸다. 이미지의 2D 직각좌표계는 직접 U-V면 좌표계로 맵핑되어, U-V 면과 이 이미지 저장장치 간의 관계를 완전히 간단히 한다. 이미지의 픽셀 개수는 U-V 면의 샘플링 레이트에 직접적으로 일치하며, 이는 이 U-V면에 부딪히는 광선의 개수와 갖다.

광필드를 효율적으로 저장하기 위한 포맷은 표현의 특징을 이용해 가령 구형 표현과 같은 또 다른 타입의 표현에 대해 구성될 수 있다.

실시간 시스템에서 이런 저장 포맷을 이용하기 위해, 광선방향과 함께 한 광선에 해당하는 이미지내의 한 픽셀 간의 일치를 이루는 사전계산된 룩업테이블을 이용할 수 있다. 이로 인해, 런타임시 광선방향을 얻는 것은 모든 캡쳐된 광필드에 공통인 사전계산된 룩업테이블로부터 값을 찾는 것으로 이어진다.

플렌옵틱 데이터의 시각화

저장된 광선의 시각화는 인간이 광선으로 표현된 장면을 인지하게 할 수 잇는 필수적인 단계이다. 시각화가 다양한 방식으로, 가령 홀로그래픽 시각화로 수행될 수 있으나, 이 부분에서는 일반성을 잃지 않고, 하나/다수의 2D 이미지(들)로서 장면을 시각화하는 통상 2D 시각화(즉, 렌더링)를 고려한다. 2면 표현의 예에서 저장된 광필드는 2D 표면 상의 소정의 시각위치에 부딪히는 4D 광선을 투영시킴으로써 시각화될 수 있다. 표면과 각 광선의 교차점에 대해 검색하고 세기 값을 2D 이미지의 해당 픽셀에 할당함으로써 2D 이미지가 생성된다. 가장 간단한 예는 Rx-Ry, U-V 표현으로 저장된 광필드의 렌더링이다. 이 경우, Rx-Ry 면은 광선이 투영되는 표면(즉, 이미지면)에 해당하고, UV면 상의 한 점은 보기위치에 해당한다. UV 면 상의 점(U,V)을 교차하는 각 광선의 세기 값을 이미지면 상의 점(Rx,Ry)에 할당함으로써, 시각위치(U,V)에 의해 보여지는 캡쳐된 장면의 렌더링 이미지를 얻는다.

보기위치는 임의의 위치에 둘 수 있다. 보기위치의 변화를 조망 이동이라 한다. 가령, Rx-Ry-U-V 표현의 경우, 조망 이동은 보기점(U,V)을 U-V 면 상의 또 다른 보기점(U',V')로 변경함으로써 행해진다. 광필드를 조망 필드로 렌더링하는 것은 카메라 위치가 새 위치로 평행이동되는 시각적 효과를 유도한다.

스크린 상의 장면의 2D 이미지를 디스플레이하는 것뿐만 아니라, 광필드 렌더링은 더 진보된 사용 경우에도 이용될 수 있다. 예컨대, 장면의 3D 보기는 떨어진 동공간 거리로 2개의 보기위치로부터 2개의 이미지를 생성하고 하나는 우안용으로 다른 하나는 좌안용으로 디스플레이함으로써 시뮬레이션된다. 셔터 3D 시스템 및 오토스테레오스코피(Autostereoscopy)과 같은 스테레오스코픽 이미지들을 디스플레이하기 위한 기술들이 기존에 있다.

플렌옵틱 뷰어는 재구성된 2D 이미지로서 사용자에 데이터를 표현하는데 사용될 수 있다. 플렌옵틱 장면을 특정 초점에 다시 초점맞추거나 장면을 변경할 가능성이 사용자에게 주어진다. 플렌옵틱 뷰어는 광선들을 해석하지 않고 플렌옵틱 장치에 의해 캡쳐된 광선의 직접적인 사용을 이용하며, 따라서 3D 재구성의 경우에서와 같이 에러의 경향이 없다. 실제로, 광선의 이 직접적인 사용은 장면 물체의 질감 및 반사도에 대한 가정을 전혀 하지 않는다.

한 지점에 초점을 조절하기 위해 표현된 2D 이미지내에 직접적으로 점을 클릭함으로써 초점의 변경이 행해질 수 있다. 대안으로, 사용자는 스크롤 휠을 이용해 장면내 초점을 변경할 수 있다. 이는 시각적으로 이미지의 스캐닝과 유사하며, 초점에 있는 점들은 선명하며 나머지는 흐릿하다. 초점거리에 이미지를 다시 초점맞추는 이 능력은 방해물에 의해 가려진 물체 뒷면을 볼 도구를 갖게 하지 않는다. 사용자 조망으로부터, 이는 오클루전이 있든 없든 관계없이 다른 초점면을 따라 장면을 스캐닝하는 것과 유사하다. 이는 이런 플렌옵틱 뷰어를 이용해 수풀 또는 입자들의 조밀한 공간을 통해 볼 수 있는 경우 강력한 도구이다.

플렌옵틱 뷰어는 또한 3D 공간에서 보기점을 변경함으로써 다른 보기를 만들 수 있다. 보기점 변경은 가령 스크린 상에 사용자 마우스의 클릭 및 드래그 동작에 의해 유발될 수 있다. 이런 식으로, 플렌옵틱 뷰어는 마우스 버튼이 놓아질 때까지 마우스의 새 위치에 따라 보기위치를 바꾼다. 대안으로, 키보드 키들이 누른 키들에 따라 보기위치를 바꾸도록 트리거로서 사용될 수 있다. 간단한 예는 이 동작을 위한 키보드 화살표를 이용하는 것일 수 있다.

사용자가 장면 초점 및 보기위치를 결정한 다음, 장면요소에 주석을 달 수 있다. 사용자는 초점이 맞은 플렌옵틱 뷰어의 현재 2D 보기에 있는 장면 요소들에만 주석을 덧붙일 수 있다. 사용자는 또한 2D 보기의 흐릿한 부분들에 주적을 달 수 있다.

장면에 주석을 달기 위해, 사용자는 2D 뷰어 상에 주석을 드래그 앤 드롭할 수 있다. 주석은 가능한 주석들의 리스트로부터 취해질 수 있거나 뷰어에 업로드 되거나 온-더-플라이로 생성될 수 있다. 선택된 주석은 플렌옵틱 뷰어에 통합되어 나타난다. 시스템은 상기 광선을 장면 광선들과 적절히 병합시킨다. 사용자는 그런 후 몇몇 변환을 플렌옵틱 장면 환경에 직접적으로 적용할 수 있다. 변환은 3D 평행이동, 회전 또는 스케일링일 수 있다. 이들 변환은 가령 버튼 또는 키보드 키에 의해 유발될 수 있다.

플렌옵틱 뷰어 경우에, 뷰어가 직접적으로 광선 정보와 작용하기 때문에 주석 수준에서 직접적으로 주석과 장면 간의 광선들의 병합이 행해진다.

기록된 플렌옵틱 데이터는 또한 3D 뷰어로 시각화될 수 있다. 기록된 장면은 3차원 상에 이동되고 조작될 수 있다. 이는 사용자가 장면 공간에 직관적인 네비게이션을 하게 한다. 현실의 일부만이 캡쳐되기 때문에, 장면의 일부 데이터 손실로 인해 재구성된 3D 장면은 잔금이 생길 수 있다.

모든 캡쳐된 광선들은 3D 맵을 계산는데 사용될 수 있다. 각 생성된 컬러 픽셀은 3D 장면으로 위치지정될 것이다. 플렌옵틱 이미지는 후에 초점을 맞출 수 있는 핵심 특징을 갖는다. 다른 말로, 사용자는 초점 맞추고자 할 때 원하는 어떤 영역들을 선택할 수 있다. 그러므로 저장된 데이터는 다른 가장 선명한 영역들과 함께 한 이미지들의 스택으로 보여질 수 있다. 각 이미지 초점거리를 이용해, 이들의 상대 위치를 알 수 있다. 상기 스택으로부터 모든 이미지들은 3D 맵을 계산하기 위해 사용된다. 각 이미지에 대해, 가장 선명한 영역들로부터의 픽셀들만 고려되고 선택된 이미지 초점거리를 알고 있기 때문에, 이들 픽셀들은 3D 맵으로 재위치될 수 있다. 계산된 맵은 깊이 인상을 제시하며 다수의 면들에 위치된 다수의 이미지들로부터의 픽셀들로 구성될 것이다. 실제로, 플렌옵틱 이미지를 이용해 매우 정교한 3D 맵을 계산하기 위한 더 진보된 기술들이 문헌에 있다. 연구분야는 그 분야에서 아주 활발하다. 플렌옵틱 카메라의 주요 이점은 각 해상도이고, 가능한 한 많은 부분 오클루전을 줄여 진보된 맵을 만들 수 있다.

AR 이 플렌옵틱 장면에서 교차점을 찾는 애플리케이션들

현미경 분야

플렌옵틱 기술을 이용하는 것이 현재 가장 적절한 분야는 아마도 현미경이다. 표준 광학시스템은 광학적 한계(필드의 줄어든 깊이, 세포 또는 신경에 너무 긴 광 노출 등)로 인해 효율적인 방안을 제시하지 못한다. 예컨대, 세포의 분석은 세심한 주의가 필요한 공정이므로, 가령 세포에 라벨을 붙임으로써 주석을 달 수 있는 게 매우 큰 이점을 보인다:

· 플렌옵틱은 (계수 6만큼) 필드의 깊이를 증가시킨다.

· 오클루전의 경우, 플렌옵틱은 다른 깊이 장치들이 할 수 없는 다른 층들에 있는 정보를 분석할 수 있다.

· 플렌옵틱은 한번에 더 많은 보기 각도를 캡쳐하기 때문에 세포에 대한 광노출을 줄인다(살아 있는 신경들에 좋다).

· 플렌옵틱은 (계수 8만큼) 이미지의 해상도를 높인다.

· 사실적인 주석이 필요치 않다.

입자 속도 측정

3D 경로의 측정은 여러 필드에서 착수하는데 난해한 문제이다. 다수의 입자들의 경로들이 물과 같이 동일한 양으로 추적되면, 다른 모든 경로들을 분석하기 위한 지루한 작업이 된다. 플렌옵틱 장치는 수천개의 마이크로-아이들로 한 장면을 보는 강력한 이점이 있고 따라서 입자이동 동안 나타나는 다수의 오클루전들을 해소할 수 있다. 실시간 추적을 위해 장면 내 입자에 주석을 달기 위한 가능성을 추가하는 것은 강력한 이점을 갖는다.

· 오클루전의 경우, 플렌옵틱은 더 나은 3D 경로 분석을 위해 다른 층들에서의 정보를 분석할 수 있다.

· 아주 정확히 정렬된 다수의 카메라들로 복잡한 캘리브레이션이 더 이상 필요하지 않다.

· 사실적인 주석이 필요치 않다.

· 수족관에서 물고기들의 수생 분석

식물성장 분석

연구원들이 식물 진화를 분석하고 새로운 방안을 연구하는 식물분석실험실로 인해 새로운 식물종들의 효율적인 발생도 가능하다. 3D 분석을 위한 필요성이 강하나, 가령 빛이 중요 파라미터인 통제 환경에서는 배양이 행해진다. 플렌옵틱 기술은 비관입적이고 강건한 3D 모델을 재구성하기 위한 조명조건을 변경할 필요가 없기 때문에 3D 분석의 문제가 이런 통제 환경인 것에 잘 맞는다. 알려진 속성으로서, 플렌옵틱 장치는 또한 상기 분야에서 주요 관심인 다수의 차단들을 다룬다.

· 플렌옵틱 카메라는 장면의 현재 조명을 이용해 3D 정보를 분석할 수 있다. 이런 시나리오에서, 장면에 조명을 추가하는 것은 조림지의 발육을 바꿀 것이다.

· 오클루전의 경우, 플렌옵틱은 더 나은 3D 분석을 위해 다른 층들에서의 정보를 분석할 수 있다.

· 사실적인 주석이 필요치 않다.

거리뷰 광고

아래 이들 점들은 다른 조사가 행해질 필요가 있는 사용 경우이다. 조명분석과 같은 몇몇 기술은 그 기술에 대한 우리의 현재 이해로는 아직 결합될 수 없다.

가게 윈도우에 반사를 제거하기 위해 플렌옵틱 기술을 이용한다. 정확한 위치지정을 위해 Vidinoti-1 및 Vidinoti-7의 조합으로 가게 윈도우에 실제 광고(가령, 거리뷰)

실제 설계 및 아키텍쳐

주석이 아키텍쳐 시뮬레이션, 장면의 조명에 있는 가구/벽 컬러 등에 적용되는 표면 질감을 모방함으로써 실제 주석을 만든다. 방송된 스포츠 이벤트 동안 (잘 통합된 의미로) 비관입적 광고들(가령, 하키 게임 동안 빙판 위에 광고들).

전화호출을 위한 3D 아바타

전화호출 동안 온-더-플라이 퀵 3D 아바타.

다양한 하드웨어 및/또는 소프트웨어 부품(들), 회로, 및/또는 모듈(들)과 같이 동작을 수행할 수 있는 임의의 적절한 수단으로 상술된 방법의 다양한 동작들이 수행될 수 있다. 일반적으로, 본 출원에 기술된 임의의 동작들은 상기 동작을 수행할 수 있는 상응하는 기능수단들에 의해 수행될 수 있다. 다양한 수단들, 논리블록들, 및 모듈들은 다양한 하드웨어 및/또는 소프트웨어 부품(들), 및/또는 회로를 포함하나 이에 국한되지 않는 모듈(들), ASIC(Application Specific Integrated Circuit), 또는 범용 프로세서, DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 신호 또는 기타 PLD(Programmable Logic Device), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 부품 또는 본 명세서에 기술된 기능들을 수행하도록 설계된 이들의 임의의 조합을 포함할 수 있다.

본 명세서에 사용된 바와 같이, "결정하는"라는 용어는 광범위한 동작을 포함한다. 예컨대, "결정하는"은 계산, 컴퓨팅, 처리, 도출, 조사, 찾기(가령, 테이블, 데이터베이스 또는 또 다른 데이터 구조에서 찾기), 확인, 추정 등을 포함할 수 있다. 또한, "결정하는"은 수신(가령, 정보 수신), 확인(가령, 메모리에 있는 데이터에 액세스) 등을 포함할 수 있다. 또한, "결정하는"은 분석, 선택, 선별, 확립 등을 포함할 수 있다.

본 출원과 연계해 기술된 방법 또는 알고리즘의 단계들은 직접 하드웨어에, 프로세서에 의해 소프트웨어 모듈에, 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 해당기술분야에 공지된 임의의 저장매체의 형태로 있을 수 있다. 사용될 수 있는 저장매체의 몇몇 예들은 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 착탈식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 하나의 명령, 또는 많은 명령을 포함할 수 있고, 다른 프로그램들 중에서 다수의 다른 코드 세그먼트들에 걸쳐 그리고 다수의 저장매체에 걸쳐 분배될 수 있다. 소프트웨어 모듈은 실행가능한 프로그램, 완전환 프로그램에 사용된 일부분 또는 루틴 또는 라이브러리, 복수의 상호연결된 프로그램들, 많은 스마트폰, 태블릿, 또는 컴퓨터에 의해 실행되는 "앱(Apps)", 위젯, 플래시 애플리케이션, HTML 코드의 일부, 등으로 구성될 수 있다. 저장매체는 프로세서가 저장매체로부터 정보를 읽고 저장매체에 정보를 쓸 수 있도록 프로세서에 결합될 수 있다. 대안으로, 저장매체는 프로세서에 통합될 수 있다. 데이터베이스는 SQL 데이터베이스, 한 세트의 XML 문서, 시멘틱 데이터베이스, 또는 IP 네트워크를 통해 이용가능한 정보 세트 또는 임의의 다른 적절한 구조를 포함한 데이터의 임의로 구성된 수집으로서 해석될 수 있다.

따라서, 소정의 측면들은 본 명세서에 제시된 동작을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수 있다. 가령, 이런 컴퓨터 프로그램 제품은 저장된(및/또는 인코딩된) 명령들을 갖는 컴퓨터 판독가능한 매체를 포함할 수 있고, 상기 명령은 본 명세서에 기술된 동작을 수행하기 위해 하나 이상의 프로세서들에 의해 실행될 수 있다. 소정의 태양들에 대해, 컴퓨터 프로그램 제품은 패키징 재료를 포함할 수 있다.

특허청구범위는 상기 예시된 부품들 및 정확한 구성에 국한되지 않음을 알아야 한다.

특허청구범위로부터 벗어남이 없이 상술된 방법 및 장치의 배열, 동작 및 세부 내용에 있어 다양한 변경, 변형 및 변화들이 행해질 수 있다.

Claims (27)

1. 광필드에 해당하는 데이터를 처리하기 위한 광필드 처리방법으로서,
   플렌옵틱 카메라에 종속적인 포맷으로 광필드를 나타내는 초기 데이터를 플렌옵틱 카메라(1)로 캡쳐하는 단계;
   상기 초기 데이터를 카메라에 독립적인 포맷으로 상기 광필드를 나타내는 변환된 데이터로 변환하는 단계; 및
   다른 광필드를 나타내는 처리된 데이터를 생성하기 위해 상기 변환된 데이터를 처리하는 단계를 포함하는 광필드 처리방법.
2. 제 1 항에 있어서,
   상기 광필드에서 각 광선의 방향은 정확히 4개의 파라미터들에 의해 상기 카메라에 독립적인 포맷으로 파라미터화되는 광필드 처리방법.
3. 제 2 항에 있어서,
   상기 광필드에서 각 광선의 방향은 상기 광선이 2개의 사전 정의된 면을 교차하는 위치들로 상기 카메라에 독립적인 포맷으로 파라미터화되는 광필드 처리방법.
4. 제 2 항에 있어서,
   상기 광필드에서 각 광선의 방향은 서로 접하는 2개의 구들을 교차하는 위치들로 상기 카메라에 독립적인 포맷으로 파라미터화되고, 상기 위치들 중 하나는 접점인 광필드 처리방법.
5. 제 2 항에 있어서,
   상기 광필드에서 각 광선의 방향은 하나의 구를 가로지르는 두 위치들로 상기 카메라에 독립적인 포맷으로 파라미터화되는 광필드 처리방법.
6. 제 2 항에 있어서,
   상기 광필드에서 각 광선의 방향은 하나의 구와 한 면의 교차로 상기 카메라에 독립적인 포맷으로 파라미터화되는 광필드 처리방법.
7. 제 2 항에 있어서,
   상기 광필드에서 각 광선의 방향은 구의 중심으로부터 광선에 대해 가장 가까운 점(A)의 거리(r), 구좌표에 대해 이 가장 가까운 점의 극좌표(φ,θ) 및 광선과 상기 가장 가까운 점에서 구에 접한 면 사이의 각(ω)으로 상기 카메라에 독립적인 포맷으로 파라미터화되는 광필드 처리방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   한 상기 카메라 독립적 표현에서 다른 상기 카메라 독립적 표현으로 상기 광필드의 각 광선을 변환하는 단계를 포함하는 광필드 처리방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 초기 데이터를 변환하는 단계는 카메라의 모델에 따라 변환함수를 이용하는 광필드 처리방법.
10. 제 9 항에 있어서,
    알고 있는 장면의 플렌옵틱 표현을 이용해 상기 변환기능을 결정하는 단계를 포함하는 광필드 처리방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    동일한 광필드의 장면중심 표현을 만들기 위해 상기 카메라에 독립적인 포맷으로 광필드의 표현을 처리하는 단계를 포함하는 광필드 처리방법.
12. 제 11 항에 있어서,
    표현의 중심에 물체의 시각적 겉모습을 변경하기 위해 상기 장면중심 표현의 광선을 변경하는 단계를 포함하는 광필드 처리방법.
13. 제 11 항 또는 제 12 항에 있어서,
    한 점에 의해 방출된 복수의 광선(r₁,r₂)을 식별하고 삼각측량에 의해 이 점까지의 거리를 계산함으로써 이 점의 깊이를 결정하는 단계를 더 포함하는 광필드 처리방법.
14. 제 11 항 또는 제 12 항에 있어서,
    에피폴라 라인을 추출함으로써 한 점의 깊이를 결정하는 단계를 더 포함하는 광필드 처리방법.
15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 처리 단계는 카메라에 독립적인 포맷으로 상기 광필드를 표현하는 변환된 데이터에 필터를 적용하는 단계를 포함하는 광필드 처리방법.
16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 처리단계는 상기 변환된 데이터에 적어도 하나의 이미지 피처를 인식하는 단계, 및 상기 변환된 데이터에 상기 피처에 따라 적어도 하나의 증강현실요소를 추가하는 단계를 포함하고, 적어도 하나의 증강현실요소를 나타내는 상기 데이터는 상기 카메라에 독립적인 포맷으로 있는 광필드 처리방법.
17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 처리하는 단계는 상기 변환된 데이터로부터 결정된 대로 공간내 위치를 기초로 장면의 물체를 선택하는 단계를 포함하는 광필드 처리방법.
18. 제 17 항에 있어서,
    상기 처리하는 단계는 선택된 물체로부터 방출된 광선을 대체하는 단계를 더 포함하는 광필드 처리방법.
19. 제 11 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 처리하는 단계는 상기 장면중심 표현으로부터 시작함으로써 물체 세그멘테이션을 수행하는 단계 및 광선이 실제로 동일한 물체에 속하는지 식별하는 단계를 포함하는 광필드 처리방법.
20. 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 처리하는 단계는 물체를 리사이징하는 단계를 포함하는 광필드 처리방법.
21. 제 1 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 처리하는 단계는 Rx-Ry면을 이동시킴으로써 리포커싱하는 단계를 포함하는 광필드 처리방법.
22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 처리하는 단계는:
    상기 변환된 데이터를 표현하는데 사용된 포맷과는 다른 제 2 카메라에 독립적인 포맷으로 다른 광필드에 해당하는 제 2 데이터를 검색하는 단계;
    상기 제 2 데이터를 상기 카메라 독립적 데이터로 변환하는 단계; 및
    상기 데이터 및 상기 제 2 데이터를 통합하는 단계를 포함하는 광필드 처리방법.
23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 카메라에 독립적인 포맷으로 저장된 광필드를 하나 또는 다수의 2D 또는 3D 이미지로서 시각화하는 단계를 더 포함하는 광필드 처리방법.
24. 제 23 항에 있어서,
    상기 카메라에 독립적인 포맷은 각 광선이 2개의 사전정의된 면(U-V;Rx-Ry)을 교차하는 위치에 의한 광선의 표현을 포함하고, 상기 렌더링하는 단계는 각 픽셀이 소정의 위치에서 상기 면의 하나를 가로지르는 광선의 휘도에 해당하는 2D 이미지를 생성하는 단계를 포함하는 광필드 처리방법.
25. 제 23 항 또는 제 24 항에 있어서,
    상기 렌더링하는 단계는 임의의 위치로부터 상기 광필드의 보기를 생성하기 위해 조망 이동을 적용하는 단계를 포함하는 광필드 처리방법.
26. 광필드에 해당하는 데이터를 처리하기 위한 광필드 처리장치로서,
    상기 플렌옵틱 카메라에 종속적인 포맷으로 광필드를 표현하는 초기 데이터를 캡쳐하기 위해 배열된 플렌옵틱 카메라;
    상기 초기 데이터를 카메라에 독립적인 포맷으로 상기 광필드를 나타내는 변환된 데이터로 변환하기 위한 데이터 컨버터; 및
    다른 광필드를 나타내는 처리된 데이터를 생성하기 위해 상기 변환된 데이터를 처리하기 위한 광필드 프로세서를 구비하는 광필드 처리장치.
27. 제 1 항 내지 제 25 항 중 어느 한 항에 따른 방법으로 처리된 데이터를 저장하기 위한 컴퓨터 캐리어.

Images