KR20230014866A

KR20230014866A - 라이트 필드 콘텐츠를 처리하기 위한 방법 및 디바이스

Info

Publication number: KR20230014866A
Application number: KR1020237001621A
Authority: KR
Inventors: 브누아 방담; 뉴스 사베떼르; 올리비에 뷔헬레
Original assignee: 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Priority date: 2015-04-27
Filing date: 2016-04-21
Publication date: 2023-01-30
Also published as: EP3088954A1; KR20170140235A; CN107637061A; US20180144492A1; KR102490000B1; JP6817960B2; WO2016173925A1; US10719948B2; EP3289413B1; CN107637061B; EP3289413A1; JP2018523328A

Abstract

라이트 필드 획득 디바이스로 획득된 장면의 라이트 필드 이미지를 처리하는 장치는 제1 초점 스택 및 제2 초점 스택을 획득하는 수단을 포함하고, 각각의 초점 스택은 장면을 나타내는 이미지들을 포함하고 라이트 필드 이미지의 픽셀들의 다른 부분으로부터 획득된다. 라이트 필드 콘텐츠를 처리하는 방법도 설명된다.

Description

라이트 필드 콘텐츠를 처리하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING A LIGHTFIELD CONTENT}

본 개시는 플렌옵틱(plenoptic) 카메라 및 라이트 필드(light-field) 획득 디바이스 및 방법의 영역에 관한 것이다. 본 개시는 또한, 라이트 필드 획득 디바이스로 얻어진 라이트 필드 콘텐츠의 처리 및 디스패리티(disparity) 정보의 결정에 관한 것이다.

배경 기술에 따르면, 라이트 필드 카메라로도 불리는 플렌옵틱 카메라에 의해 단일 스냅 샷에서 동일한 장면의 상이한 뷰들을 획득하는 것이 알려져 있다. 그러한 플렌옵틱 카메라의 직접적인 적용은 3D 재구성이다. 실제로, 플렌옵틱 카메라의 광 센서 어레이로 획득된 원시 이미지를 역 다중화(demultiplexing)한 후에, 장면의 복원된 뷰들은 이미 에피폴라 기하(epipolar geometry)에서 수평으로 및 수직으로 존재하므로, 이들 사이의 디스패리티는 스테레오 편위수정(stereo rectification) 없이 추정될 수 있다. 이는 기존 카메라로 캡처된 이미지들로부터의 양안 3D 스테레오 재구성에 비해 큰 장점이 된다.

그럼에도 불구하고, 원시 이미지의 역다중화로부터 초래되는 뷰들로부터의 디스패리티를 추정하는 것은 몇 가지 문제점을 안고 있다. 예를 들어, 역다중화로부터 귀결되는 뷰들은 뷰들의 픽셀들 중 일부에 대해 하나의 단일 색 정보만을 제공하는 반면, 다른 픽셀들은 자신들과 연관된 어떠한 색 정보도 갖지 않는다: 이러한 뷰들의 공간적 색 샘플링은 흔히 들쭉날쭉하고 불완전하고, 이는 잘못된 디스패리티 추정을 초래한다. 또한, 원시 이미지의 역다중화는 흔히 보간(비-정수 좌표를 갖는 역다중화된 픽셀)에 의존하며, 이는 잘못된 디스패리티를 초래한다. 이러한 디스패리티 추정 문제에 대한 해결책은 역다중화로부터 귀결되는 장면의 각각의 뷰의 각각의 픽셀에 대한 풀 컬러 정보를 가지기 위해서 그것을 역다중화하기 전에 먼저 원시 이미지를 디모자이킹(demosaice)하는 것이다. 그러나 역다중화 전에 디모자이킹을 수행하면 뷰 간 크로스토크(inter-view crosstalk)와 같은 다른 문제들이 생길 수 있다. 실제로, 원시 이미지의 하나의 주어진 픽셀에 대한 풀 컬러 정보를 복원하는 것에 관해서, 이 주어진 픽셀의 이웃에 속하는 픽셀들이 사용될 수 있는데, 이러한 이웃하는 픽셀들이 주어진 픽셀의 뷰 이외의 다른 뷰(들)에 속하더라도 그러하다. 뷰 간 크로스토크로 인해 손해를 보는 이러한 뷰들의 디스패리티를 추정하는 것은 또한 디스패리티 에러들을 초래할 수 있다.

또한, 획득된 장면의 피사체(들)와 관련된 초점을 결정하는 것은 정밀도 과제에 종속되는 힘든 처리가 될 수 있다.

본 개시의 목적은 배경 기술의 이러한 단점들 중 적어도 하나를 극복하는 것이다.

본 개시는 장면의 복수의 뷰를 획득하도록 구성된 획득 디바이스로 획득 된 장면의 라이트 필드 이미지를 처리하도록 구성된 장치에 관한 것이다. 장치는 다음을 포함한다:

- 각각이 장면을 나타내는 복수의 제1 이미지를 포함하는 제1 초점 스택을 수신하는 수단 - 복수의 심도 값의 상이한 심도 값은 각각의 제1 이미지와 연관되고, 제1 이미지들은 라이트 필드 이미지의 제1 픽셀들의 세트로부터 획득됨 -;

- 각각이 장면을 나타내는 복수의 제2 이미지를 포함하는 제2 초점 스택을 수신하는 수단 - 복수의 심도 값의 상이한 심도 값은 각각의 제2 이미지와 연관되고, 제2 이미지는 라이트 필드의 제2픽셀들의 세트로부터 획득되고, 제2 세트는 제1 세트와 상이함 -.

본 개시는 또한 장면의 복수의 뷰를 획득하도록 구성된 획득 디바이스로 획득된 장면의 라이트 필드 이미지를 처리하도록 구성된 장치에 관한 것이다. 장치는:

- 각각이 장면을 나타내는 복수의 제1 이미지를 포함하는 제1 초점 스택을 획득하도록 구성된 수신기 또는 처리 유닛(예를 들어, 프로세서)을 포함하고, 복수의 심도 값들의 상이한 심도 값은 각각의 제1 이미지와 연관되며, 제1 이미지들은 라이트 필드 이미지의 제1 픽셀들의 세트로부터 획득되고; 수신기는 각각이 장면을 나타내는 복수의 제2 이미지를 포함하는 제2 초점 스택을 수신하도록 추가로 구성되며, 상기 복수의 심도 값 중 상이한 심도 값은 각각의 제2 이미지와 연관되고, 제2 이미지들은 라이트 필드의 제2 픽셀들의 세트로부터 획득되고, 제2 세트는 제1 세트와 상이하다.

본 개시는 또한 장면의 복수의 뷰를 획득하도록 구성된 획득 장치로 획득된 장면의 라이트 필드 이미지를 처리하는 방법에 관한 것으로, 이 방법은 다음을 포함한다:

- 각각이 장면을 나타내는 복수의 제1 이미지를 포함하는 제1 초점 스택을 수신하는 단계 - 복수의 심도 값의 상이한 심도 값은 각각의 제1 이미지와 연관되고, 제1 이미지들은 상기 라이트 필드 이미지의 제1 픽셀들의 세트로부터 획득됨 -;

- 각각이 장면을 나타내는 복수의 제2 이미지를 포함하는 제2 초점 스택을 수신하는 단계 - 상기 복수의 심도 값의 상이한 심도 값은 각각의 제2 이미지와 연관되고, 상기 제2 이미지들은 상기 라이트 필드 이미지의 제2 픽셀들의 세트로부터 획득되고, 제2 세트는 제1 세트와 상이함-.

특징에 따르면, 장치는 다음을 추가로 포함한다:

- 각각의 제1 이미지를, 각각의 제1 이미지와 동일한 연관된 심도 값을 갖는 각각의 제2 이미지와 비교하는 방식으로, 제1 이미지들을 제2 이미지들과 비교하는 수단으로서 예를 들어 비교기;

- 비교 결과들로부터 심도를 나타내는 정보를 획득하는 수단으로서 예를 들어 처리 유닛, 예를 들어 프로세서.

특징에 따르면, 방법은 다음을 추가로 포함한다:

- 각각의 제1 이미지를, 각각의 제1 이미지와 동일한 연관된 심도 값을 갖는 각각의 제2 이미지와 비교하는 방식으로, 제1 이미지들을 제2 이미지들과 비교하는 단계;

- 비교 결과들로부터 심도를 나타내는 정보를 획득하는 단계.

특정 특성에 따라, 제1 초점 스택은 획득 디바이스의 마이크로 렌즈 어레이의 마이크로 렌즈들과 연관된 복수의 마이크로 렌즈 마이크로 이미지의 픽셀들의 각각의 제1 절반으로부터 획득되고, 제2 초점 스택은 복수의 마이크로 렌즈 마이크로 이미지의 픽셀들의 각각의 제2 절반으로부터 획득되고, 복수의 각각의 마이크로 렌즈 마이크로 이미지의 픽셀들의 제1 절반 및 제2 절반은 상이하고 상보적이다.

유리하게는, 제1 초점 스택은 획득 디바이스로부터 획득된 장면의 뷰들의 제1 절반으로부터 획득되고, 제2 초점 스택은 획득 디바이스로부터 획득된 장면의 뷰들의 제2 절반으로부터 획득되고, 제1 절반은 제2 절반과 다르다.

특정 특성에 따라, 제1 절반 및 제2 절반은 장면 내의 장면의 적어도 하나의 피사체의 배향을 나타내는 정보에 따라 결정된다.

유리하게는, 제1 절반 및 제2 절반은 다음에 대응한다:

제각기, 좌측 절반 및 우측 절반; 또는

제각기, 상부 절반 및 하부 절반.

다른 특징에 따르면, 비교는 동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 각각의 쌍의 제1 이미지의 픽셀들 및/또는 제2 이미지의 픽셀들과 연관된 디스패리티 값들을 결정하는 단계를 포함한다.

유리하게는, 비교는, 동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 디스패리티 값으로서 0에 가까운 값을 갖는 각각의 쌍의 제1 이미지 및/또는 제2 이미지의 픽셀들을 선택하는 단계를 추가로 포함한다.

본 개시는 또한 전술한 장치를 포함하는 라이트 필드 획득 장치에 관한 것이다.

본 개시는 또한, 프로그램이 컴퓨팅 디바이스상에서 실행될 때, 라이트 필드 이미지를 프로세싱하는 방법 및/또는 심도를 나타내는 정보를 획득하는 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 개시는 또한, 프로세서로 하여금 라이트 필드 이미지를 프로세싱하는 방법 및/또는 심도를 나타내는 정보를 획득하는 방법의 적어도 한 단계를 프로세서가 수행하게 야기하는 명령어들을 저장한 프로세서 판독 가능 매체에 관한 것이다.

본 개시는 이하의 설명을 읽어보면 보다 잘 이해될 것이고, 다른 특정 특징들 및 장점들이 드러날 것이며, 이 설명은 첨부된 도면을 참조하여 이뤄진다.
- 도 1은 본 원리의 특정 실시예에 따른 라이트 필드 카메라의 제1 예를 도시한다.
- 도 2는 본 원리의 특정 실시예에 따른, 라이트 필드 카메라의 제2 예를 도시한다.
- 도 3은 본 원리의 특정 실시예에 따라, 도 1 또는 도 2의 라이트 필드 카메라에 의해 제공된 데이터를 처리하도록 구성된 처리 유닛을 도시한다.
- 도 4는 본 원리의 특정 실시예에 따라, 도 1 또는 도 2의 라이트 필드 카메라의 광 센서로 획득된 라이트 필드 데이터를 도시한다.
- 도 5a 및 도 5b는 본 원리의 특정 실시예에 따라 도 4의 라이트 필드 데이터를 2D 리포커싱된 이미지로 투영하는 것을 도시한다.
- 도 6a 및 도 6b는 본 원리의 특정 실시예에 따른 도 1의 라이트 필드 카메라의 광학 특성을 도시한다.
- 도 7 및 도 8은 본 원리의 특정 실시예에 따라 도 9의 제1 및 제2 초점 스택들을 얻기 위한 도 5의 라이트 필드 데이터의 부분들의 선택을 도시한다.
- 도 9a 및 도 9b는 본 원리의 특정 실시예에 따른 도 1 또는 도 2의 라이트 필드 카메라로부터 얻어진 뷰들의 매트릭스의 뷰들의 선택을 도시한다.
- 도 10은 본 원리의 특정 실시예에 따라 도 1 또는 도 2의 라이트 필드 카메라로부터 얻어진 라이트 필드 이미지로부터 얻어진 제1 및 제2 초점 스택들을 도시한다.
- 도 11a 및 도 11b는 본 원리의 특정 실시예에 따른 도 4의 마이크로 렌즈 마이크로 이미지의 파티션의 상이한 배향들을 도시한다.
- 도 12는 본 원리의 특정 실시예에 따른 도 10의 제1 및 제2 초점 스택들로부터 얻어진 심도를 나타내는 정보를 포함하는 맵을 도시한다.
- 도 13은 본 원리의 특정 실시예에 따른 도 1의 플렌옵틱 카메라 또는 도 2의 다중 카메라 어레이를 포함하는 원격 통신 디바이스를 도시한다.
- 도 14a는 본 원리의 특정 실시예에 따라 도 1 또는 도 2의 라이트 필드 카메라로 얻어진 라이트 필드 이미지를 처리하는 방법을 도시한다.
- 도 14b 및 도 14c 각각은 본 원리의 특정 실시예에 따라 도 14a의 라이트 필드 이미지의 처리로부터 얻어진 초점 스택들의 선택적 처리를 도시한다.

이제, 발명의 주제가 도면을 참조하여 설명되는데, 여기서 동일한 참조 번호는 그 전체에 걸쳐서 동일한 요소를 지칭하는데 사용된다. 이하의 설명에서, 설명의 목적으로, 발명의 주제에 대한 철저한 이해를 제공하기 위해 수많은 특정 세부 사항이 제시된다. 그러나, 발명의 주제의 실시예들은 이러한 특정 세부 사항 없이도 실시 될 수 있음이 명백 할 수 있다.

본 원리의 특정 실시예에 따르면, 제1 초점 스택 및 제2 초점 스택이 얻어지고, 제1 초점 스택 및 제2 초점 스택 각각은 장면을 나타내는 이미지들을 포함한다. 제1 초점 스택의 제1 이미지들은 플렌옵틱 카메라 또는 멀티 카메라 어레이와 같은 라이트 필드 획득 디바이스로 획득된 장면의 라이트 필드 이미지의 제1 픽셀 부분으로부터 얻어진다. 제2 초점 스택의 제2 이미지들은 제1 픽셀 부분과 상이한 라이트 필드 이미지의 제2 픽셀 부분으로부터 얻어진다. 심도 값은 각각의 제1 이미지 및 각각의 제2 이미지와 연관되는데, 동일한 심도 값이 하나의 제1 이미지와 연관되고 동일한 심도 값이 하나의 제2 이미지와 연관되고 제1 이미지 및 제2 이미지는 동일한 심도 값을 가져서 이른바 제1 및 제2 이미지들의 쌍을 형성하는 방식으로 연관된다. 라이트 필드 이미지는 예를 들어 원시 이미지에 또는 장면의 상이한 뷰들을 포함하는 이미지에 대응한다.

라이트 필드 이미지로부터 2개의 그러한 상이한 초점 스택을 얻는 것은 제1 및 제2 이미지들의 각각의 쌍에 대해 초점이 맞는 피사체들을 쉽게 결정할 수 있게 하고 및/또는 견고한 방식으로 라이트 필드 이미지와 연관된 심도 정보를 계산할 수 있게 한다.

도 1은 라이트 필드 획득 디바이스의 제1 예를 도시한다. 보다 구체적으로, 도 1은 본 원리의 특정 실시예에 따른 플렌옵틱 카메라(1)를 도시한다. 플렌옵틱 카메라(1)는 (광학 어셈블리에 대응하는) 렌즈 유닛(101) 및 카메라 본체(102)를 포함한다.

렌즈 유닛(101)은 유리하게는 카메라 본체(102)와 결합되도록 구성된다. 카메라 본체(102)는 복수의 광 센서(131, 132, 133 내지 13m) m개를 포함하는 광 센서 어레이(13)를 포함한다. 각각의 광 센서는 광 센서 어레이로 획득된 장면의 원시 이미지의 한 픽셀에 대응하며, 각각의 픽셀은 장면의 일부(포인트라고도 함)를 포함한다. 각각의 광 센서로 획득되는 장면을 나타내는 데이터는 라이트 필드 데이터 세트를 형성하며, 라이트 필드 데이터는 라이트 필드 이미지를 형성한다. 원시 이미지를 처리하기 전에(역 다중화 및/또는 디모자이킹 전에), 라이트 필드 이미지는 비 제한적인 예에 따라 원시 이미지에 대응할 수 있다. 원시 이미지의 역 다중화 이후에, 라이트 필드 이미지는 또 다른 비 제한적인 예에 따라 서브 애퍼처 이미지들에 대응할 수 있고, 디모자이킹 이후에 라이트 필드 이미지는 추가적인 비 제한적인 예에 따라 장면의 뷰들의 세트에 대응할 수 있다. 예시를 위해, 광 센서 어레이(13)는 상대적으로 적은 수의 광 센서들(131 내지 13m)로 도시되어 있다. 당연히, 광 센서들의 수는 도 1의 예시에 의해 제한되지 않고, 예를 들어 수천 또는 수백만 개의 광 센서와 같은 임의 수의 광 센서로 확장된다. 예를 들어, 12.4 메가 픽셀 카메라에 있어서, (예를 들어, 4088 x 3040 픽셀/광 센서들 어레이의 대응 관계처럼) 픽셀은 광 센서에 대응할 것이다. 광 센서 어레이(13) 상에 컬러 필터 어레이(CFA: color filter array)(12)가 배열될 수 있다. CFA(12)는 전형적으로 광 센서 어레이 상에 RGB(Red, Green and Blue) 컬러 필터를 배열하는데, RGB 배열은 예를 들어 베이어 필터 모자이크(Bayer filter mosaic)의 형태를 취한다. 변형 예에 따르면, CFA는 (CFA(12)에 추가적인 또는 CFA(12)를 대체하는) 렌즈릿 어레이(lenslet array)(11) 상에 배열된다. 렌즈 유닛(101)을 카메라 본체(102)와 결합시키기 위해, 렌즈 유닛(101)은 제1 부착 부분을 포함하고, 카메라 본체(102)는 제2부착 부분을 포함하고, 제1 및 제2 부착 부분들은 서로 호환적이다. 제1 및 제2부착 부분들 덕분에, 렌즈 유닛(101)은 카메라 본체(102)상으로 끼워지거나 렌즈 유닛(101)은 카메라 본체(102)에 나사 결합될 수 있다. 카메라 본체와 결합되도록 구성된 렌즈 유닛의 제1 및 제2 부착 부분들의 예는 2013년 5월 30일에 공개된 일본 특허 출원 JP2013-105151A에서 발견 될 수 있다. 제1 및 제2 부착 부분들은, 일단 렌즈 유닛(101)과 카메라 본체(102)가 조립되었다면, 렌즈 유닛(101)과 카메라 본체(102)는 장면의 각각의 획득에서 장면의 다중 뷰를 획득하도록 구성된 플렌옵틱 카메라를 형성하는 방식으로 구성된다. 이를 위해, 카메라 본체(102)는 n개의 마이크로 렌즈(111, 112, 113, 11n)를 포함하는 렌즈릿 어레이(11)를 또한 포함하는데, n은 2 이상의 정수이다. 렌즈릿 어레이(11)는 마이크로 렌즈 어레이라고도 불린다. 예시를 위해, 렌즈릿 어레이(11)는 비교적 적은 수의 마이크로 렌즈를 가진 것으로 도시되어 있지만, 마이크로 렌즈의 수는 수천 또는 심지어 백만 또는 수백만의 마이크로 렌즈까지 늘어날 수 있다. 광 센서 어레이(13)의 광 센서들의 그룹은 렌즈릿 어레이(11)의 각각의 마이크로 렌즈(111 내지 11n)와 광학적으로 연관된다. 예를 들어, 렌즈릿 어레이(11)의 각각의 마이크로 렌즈(111 내지 11n)는 2x1, 4x4 또는 10x10 광 센서의 어레이에 대응하는 크기로 되어 있다. 마이크로 렌즈와 연관된 광 센서들의 그룹(또는 다르게 말하면, 마이크로 렌즈 아래에 있는 광 센서들의 그룹)은 이 마이크로 렌즈와 연관된 마이크로 이미지를 형성하며, 광 센서들의 그룹의 각각의 광 센서는 마이크로 이미지의 픽셀을 형성한다. 하나의 단일 마이크로 렌즈와 광학적으로 연관된 복수의 광 센서의 각각의 광 센서는 하나의 위치에 따른 장면의 픽셀을 나타내는 원시 데이터를 획득(픽셀들만큼 많은 시차들을 획득)할 수 있게 한다. 변형 예에 따르면, 렌즈 유닛(101)과 카메라 본체(102)는 집합적으로 하나의 단일체를 형성하고, 분리되지 않고서 조립된다.

렌즈 유닛(101)은 하나 이상의 렌즈 요소로 유리하게는 형성되는 메인 렌즈 또는 1차 렌즈(primary lens)라고도 하는 카메라 렌즈(10)를 포함하며, 단 하나의 렌즈 요소(10)만이 명확성을 기하기 위해 도 1에 묘사되어 있다.

플렌옵틱 카메라(1)는 유리하게는 카메라 렌즈(10)의 하나 이상의 파라미터의 변화, 예를 들어 카메라 렌즈의 초점 거리의 변화 및/또는 초점을 맞출 때 또는 주밍(zooming)할 때 발생하는 초점 거리의 변화를 검출하도록 구성된 하드웨어 모듈(103)을 포함한다. 카메라 렌즈의 초점 거리의 변화 및/또는 초점을 맞출 때 또는 주밍시에 발생하는 초점 거리의 변화는 카메라 렌즈(10)와 렌즈릿 어레이(11) 사이의 거리의 변화를 초래한다. 하드웨어 모듈은 유리하게는, 이후에 더 자세히 설명하는 바와 같이, 플렌옵틱 카메라(1)의 교정을 수행하도록 구성되는데, 즉 각각의 마이크로 이미지의 또는 각각의 마이크로 렌즈의 중심을 결정함으로써 그렇게 한다. 변형 예에 따르면, 하드웨어 모듈은 마이크로 이미지들의 및/또는 마이크로 렌즈들의 중심들의 좌표들을 포함하는 메타 데이터를 저장하도록 구성된다. 모듈은 카메라 본체(102)에 또는 렌즈 유닛(101)에 포함될 수 있다. 모듈은 유리하게는, 메모리, 예를 들어 랜덤 액세스 메모리 또는 하나 이상의 레지스터를 포함하는 RAM(1032)과 결합되는 하나 이상의 프로세서(1031)를 포함한다. 하나 이상의 프로세서(1031)는 예컨대 CPU(Central Processing Unit), 하나 이상의 GPU(Graphics Processing Unit) 또는 CPU와 GPU들의 조합에 대응한다. 메모리 또는 메모리의 일부는 플렌옵틱 카메라를 교정하는 방법을 구현하는 하나 이상의 알고리즘의 명령어들을 저장한다. 메모리 또는 메모리의 부분(들)은 또한, 예를 들어 역 다중화된 뷰들을 나타내는 데이터 또는 서브 애퍼처 이미지들, 즉 원시 이미지의 역 다중화 또는 디모자이킹으로부터 획득되는 장면의 상이한 뷰들의 이미지들을 나타내는 데이터와 같이, 원시 이미지와 연관된 라이트 필드 데이터, 또는 원시 이미지의 처리로부터 획득되는 라이트 필드 데이터를 저장하는데 사용될 수 있다. 메모리 또는 또는 메모리의 부분(들)은 또한, 라이트 필드 데이터와 연관된 심도를 나타내는 정보, 예를 들어 광 센서 어레이의 픽셀들을 저장하는데 사용될 수 있다. 심도를 나타내는 정보는 제각기 심도 맵 또는 디스패리티 맵의 각각의 픽셀과 연관되는 심도 또는 디스패리티의 값들을 포함하는 심도 맵 또는 디스패리티 맵의 형태 하에 저장될 수 있다.

변형 예에 따르면, 모듈(103)은 예를 들어, ASIC(Application-Specific Integrated Circuit) 또는 DSP(Digital Signal Processor)와 같은 FPGA(Field-Programmable Gate Array) 타입의 프로그램 가능 논리 회로의 형태를 취한다. 모듈(103)은 또한, 사용자 인터페이스를 통해 사용자에 의해 입력된 제어 파라미터들과 같은 데이터를 수신하고 송신하여 플렌옵틱 카메라(1)를 설정하도록 구성된 인터페이스를 포함할 수 있으며, 사용자 인터페이스는 예를 들어 카메라 본체(102)상에 배열되는 디스플레이 스크린(예를 들어 LCD 또는 OLED 디스플레이)상에 예를 들어 디스플레이된다.

변형 및 도 3의 예시적인 실시예에 도시된 바와 같이, 모듈(103)은 플렌옵틱 카메라에 포함되지 않고, 유선 접속(예를 들어, USB(Universal Serial Bus)을 통한 것) 또는 무선 연결(예를 들어, Bluetooth, Wi-Fi 또는 ZigBee를 통한 것)을 통해 플렌옵틱 카메라에 접속될 수 있다. 이 변형 예에 따르면, 모듈은 유리하게는 메모리(1032)에 및 하나 이상의 프로세서(1031)에 추가하여 플렌옵틱 카메라와 데이터를 교환하는 송신기(30)를 포함한다.

플렌옵틱 카메라(1)는 렌즈릿 어레이(11)와 광 센서 어레이(13) 사이의 거리가 마이크로 렌즈들의 초점 길이와 동일한 플렌옵틱 카메라에 대응하는 타입 1.0과 동일한 것이거나, 그렇지 않으면 타입 2.0(포커싱된 플렌옵틱 카메라라고도 불림)의 것이다.

도 2는 라이트 필드 획득 디바이스의 제2 예를 도시한다. 보다 상세하게는, 도 2는 본 원리의 특정 실시예에 따른 다중 카메라 어레이(2)를 도시한다.

다중 카메라 어레이(2)는 (201, 202 내지 20p)로 참조되는 - p는 마이크로 렌즈들의 수에 대응하는 정수임 - 몇 개의 마이크로 렌즈를 포함하는 (20)으로 참조되는 렌즈들 또는 마이크로 렌즈들의 어레이, 및 (21)로 참조되는 하나 또는 몇 개의 센서 어레이를 포함한다. 다중 카메라 어레이(2)는 메인 렌즈가 없다. 마이크로 렌즈들의 어레이는 흔히 마이크로 렌즈 어레이라고 명명되는 소규모 디바이스이다. 단일 센서를 가진 다중 카메라 어레이가 메인 렌즈가 무한 초점을 갖는 플렌옵틱 카메라의 특별한 경우로 간주될 수 있다는 점은 주목할 가치가 있다. 광 센서들의 개수가 마이크로 렌즈들의 개수와 동일한 특정 배열, 즉 하나의 광 센서가 하나의 마이크로 렌즈와 광학적으로 결합되는 특정 배열에 따르면, 다중 카메라 어레이는 정사각형 배열(도 2에 도시된 바와 같은 것) 또는 예를 들어 5엽(quincunx) 배열과 같이, 서로 밀접하게 이격된 몇 개의 개별 카메라(예를 들어, 마이크로 카메라들)의 배열로 볼 수 있다.

이러한 다중 카메라 어레이(2)로 얻어진 라이트 필드 데이터(이른바 라이트 필드 이미지를 형성함)는 장면의 복수의 뷰에, 즉 도 1의 플렌옵틱 카메라와 같은 플렌옵틱 카메라로 얻어진 원시 이미지의 역 다중화 또는 디모자이킹에 의해 얻어진 최종 뷰들에 대응한다.

도 4는 본 원리의 특정 실시예에 따라, 도 1 또는 도 2의 라이트 필드 카메라의 광 센서 어레이로 얻어진 라이트 필드 데이터를 도시한다.

라이트 필드 카메라, 예를 들어 제각기 라이트 필드 카메라(1 또는 2)의 광 센서 어레이(41), 예를 들어 광 센서 어레이(13) 또는 광 센서 어레이(21)는 2D 이미지 내에 배열된 2D 서브 이미지들의 모음으로 만들어진 라이트 필드 이미지를 획득하는데, 각각의 서브 이미지가 마이크로 렌즈들의 어레이(40)로부터 마이크로 렌즈들(401, 402, 422, 423 내지 40q)에 의해 생성됨에 따라 각각의 서브 이미지는 마이크로 렌즈 이미지라고 불리고, q는 마이크로 렌즈들의 수에 해당하는 정수이다. 마이크로 렌즈들의 어레이(40)는 예를 들어 도 1의 렌즈릿 어레이(11)에 또는 도 2의 마이크로 렌즈들의 어레이(20)에 대응한다. 각각의 마이크로 렌즈들(401 내지 40q)은, 소위 마이크로 렌즈 이미지를 형성하는 광 센서 어레이(41)의 일부 화소들을 커버한다. 각각의 마이크로 렌즈 이미지는 자신과 광학적으로 결합되는 마이크로 렌즈의 형상의 모양을 갖는데, 예를 들어 도 4의 예에서 원이 된다. 픽셀 좌표들은 (x, y)로 표시되고, 광 센서 어레이(41)의 좌표계(CS)로 표현되며, 또한 데카르트 CS라고도 불린다. 데카르트 CS는 좌표계 (O, x, y)에 해당하며, O는 좌표계의 원점이고, [O, x[ 는 가로 축이고, [O, y[는 세로 축이다. p는 2개의 연속적인 마이크로 렌즈 이미지 사이의 거리, 예컨대 마이크로 렌즈 이미지들의 동일한 행에 자리잡은 2개의 연속적인 마이크로 렌즈 이미지(409, 410)의 중심들 사이의 거리에 해당한다. 마이크로 렌즈들은 p(픽셀 좌표에서)가 픽셀 크기

보다 커지도록 선택되며,

는 예를 들어 픽셀의 에지의 길이에 해당한다. 마이크로 렌즈 이미지들은 마이크로 렌즈 CS라고 불리고 좌표계 (C, i, j)에 대응하는 마이크로 렌즈의 좌표계에서의 자신들의 좌표 (i, j)에 의해 참조되는데, C는 좌표계의 원점이고 [C,i[는 가로 축이고 및 [C,j[는 세로 축이다. 어레이(41)의 일부 픽셀들은 어떠한 마이크로 렌즈로부터 어떠한 광도 수신하지 않을 수 있다; 그러한 픽셀들은 폐기된다. 실제로, 마이크로 렌즈 간의 공간은 광자가 마이크로 렌즈 외부로 통과해 나아가지 못하도록 마스킹될 수 있다(마이크로 렌즈가 정사각형 형태인 경우, 어떤 마스킹도 필요하지 않다). 마이크로 렌즈 이미지 (i,j)의 중심은 좌표

에서 광 센서 어레이 상에 자리잡는다.

는 데카르트 CS와 마이크로 렌즈 CS 사이의 회전 오프셋에 대응하는데, 즉,

는 광 센서 어레이(41)를 형성하는 픽셀들의 정사각형 격자와 마이크로 렌즈들(40)의 정사각형 격자 사이의 각도이다.

좌표는 예를 들어 다음의 수학식(마이크로 렌즈들이 정사각형 격자에 따라 배열된다고 가정함)에 의해 마이크로 렌즈 이미지(0,0)의 픽셀 좌표들을

이라고 간주하여 계산될 수 있다:

도 4는 또한 장면으로부터의 피사체가 몇 개의 연속적인 마이크로 렌즈 이미지(어두운 점들)상에서 가시적인 것을 예시한다. 피사체의 2개의 연속적인 뷰 사이의 거리는 w(픽셀 좌표로)이며, 이 거리는 디스패리티에 대응한다. 다음에 의해 r개의 연속적인 마이크로 렌즈 이미지상에 피사체가 가시적인데:

여기서, r은 1차원에서 연속적인 마이크로 렌즈 이미지들의 수이다. 피사체는

마이크로 렌즈 이미지에서 가시적이다. 마이크로 렌즈 이미지의 형상에 의존하여 피사체의

뷰 중 일부가 가시적이지 않을 수 있다.

당연히, 마이크로 렌즈의 형상은 원에 한정되지 않고, 예를 들면 정사각형, 직사각형, 육각형 등의 다른 형상일 수 있다.

도 6a 및 도 6b는 본 원리의 특정 실시예에 따른 도 1 또는 도 2의 라이트 필드 카메라의 광학 특성을 도시한다. 도 6a의 특정 실시예에 따르면, W>P이고, 도 6b의 특정 실시예에 따르면, W<P이다. 도 4와 관련하여 도입된 거리 p 및 w는 픽셀 단위로 주어진다. p와 w에 픽셀 크기

를 곱하여, p 및 w는 제각기 물리적 단위 거리인(미터) P와 W로 변환되는데:

및

. 이러한 거리들은 라이트 필드 카메라 특성에 의존한다.

도 6a 및 도 6b 각각은 완전하게 얇은 렌즈 모델을 가정한 개략적 광 필드를 예시한다. 메인 렌즈(10)는 초점 거리 F와 개구수

를 갖는다. 마이크로 렌즈 어레이(11)는 초점 거리가 f 인 마이크로 렌즈들로 이루어진다. 마이크로 렌즈 어레이의 피치는

이다. 마이크로 렌즈 어레이는 메인 렌즈로부터 거리 D에 자리잡고, 광 센서 어레이(13)로부터 거리 d에 자리잡는다. 피사체(도 6a 및 도 6b에 예시되지 않음)는 메인 렌즈(메인 렌즈의 좌측)로부터 거리 z에 자리잡는다. 이 피사체는 메인 렌즈(메인 렌즈의 우측)으로부터 거리 z'에서 메인 렌즈에 의해 초점이 맞추어진다. 도 6a 및 도 6b는 제각기 D>z' 및 D<z'인 경우를 예시한다. 두 경우 모두, 마이크로 렌즈 이미지들은 d 및 f에 좌우되어 초점이 맞춰질 수 있다.

디스패리티 W는 피사체의 거리 z에 따라 달라진다. W와 z 사이의 관계를 설정하기 위해 얇은 렌즈 수학식(thin lens equation)이 사용된다:

그리고 탈레스 법칙은 다음과 같다:

수학식 3과 4를 합치면 다음과 같이 된다:

수학식 5는 z를 W의 함수로서 표현하기 위해 역전된다:

W와 z 간의 관계는 마이크로 렌즈 이미지들이 초점이 맞추어진 것을 전제하지 않는다. 마이크로 렌즈 이미지들은 얇은 렌즈 수학식에 따라 엄격하게 초점이 맞추어진다:

또한 탈레스 법칙으로부터 P가 도출된다:

비율 e는 마이크로 렌즈 피치와 마이크로 렌즈 이미지 피치 사이의 확대를 정의한다. 이 비율은 D≫d이기 때문에 1에 매우 가깝다.

도 2와 관련하여 설명된 다중 카메라 어레이(2)에 대응하는 라이트 필드 카메라의 특별한 경우에, F는 무한대로 되고 D는 예를 들어 0과 동일한 값으로 선택될 수 있다고 생각된다. 이러한 가정에 따라, 수학식 3 내지 8은 다중 카메라 어레이에도 적용된다.

도 5a 및 도 5b는 본 원리의 특정 실시예에 따라, 도 4의 라이트 필드 데이터를 2D 리포커싱된 이미지(501)로 투영하는 것을 도시한다.

라이트 필드 카메라의 주요 특성은 장면을 획득한 후 리포커싱 거리(re-focalization distance)가 자유롭게 조정 가능한 2D 리포커싱된 이미지들을 얻을 수 있는 능력이다. 라이트 필드 데이터를 포함하는 라이트 필드 이미지(500)는, 라이트 필드 이미지(500)에 포함되는 마이크로 렌즈 이미지들을 시프팅 및 주밍한 후, 결정된 리포커싱 거리에 따라 리포커스 2D 이미지라고 불리는 2D 이미지(501)가 되도록 이들을 합산함으로써 2D 이미지(501)가 되도록 투영된다. 시프트 량은 리포커싱 거리를 제어한다. 좌표 (x,y,i,j)의 라이트 필드 픽셀, 즉 라이트 필드 이미지(500)의 픽셀(좌표(x, y)를 갖는 데카르트 CS로 및 이것이 속하는 마이크로 렌즈의 인덱스들에 대응하는 좌표(i, j)를 가진 마이크로 렌즈 CS로 표현되는 대로의 4D 라이트 필드 픽셀이라고도 함), 예를 들어 검은 점으로 도시된 픽셀들(51 내지 59)을, 검은 점(50)으로 또한 도시된 리포커스 2D 이미지(501)에서의 좌표(X,Y)의 대응하는 픽셀로의 투영은, 다음 식에 의해 정의된다:

s는 2D 리포커스 이미지(501)의 크기를 제어하고, g는 2D 리포커스 이미지(501)의 초점 거리를 제어한다. 이 수학식은 수학식 1을 고려하여 다음과 같이 다시 작성된다:

파라미터 g는 p 및 w의 함수로서 표현될 수 있다. g는, 동일한 피사체들의 다양하게 주밍된 뷰들이 중첩되도록, 자신들의 중심들을 기준으로 이용하여 마이크로 렌즈 이미지들에 대해 수행되어야만 하는 줌이다:

수학식 10은 다음과 같이 된다:

4D 라이트 필드 픽셀들 (x, y, i, j)은 2D 리포커싱된 이미지(501)가 되도록 투영된다. 사전에, 리포커싱된 이미지 R 및 리포커싱된 이미지 가중

는 0에 설정된다. 리포커싱된 이미지들의 크기

는 라이트 필드 이미지의 크기의 s배로 설정된다. 투영은 좌표 (X, Y)에서의 투영된 픽셀들을 2D 리포커싱된 이미지(501)가 되도록 합산함으로써 수행된다. 투영된 각각의 4D 라이트 필드 픽셀들에 대해, 리포커싱된 이미지 가중은 픽셀 좌표(X, Y)에서 1을 더함으로써 갱신된다:

리포커싱된 이미지 가중은 좌표 (X, Y)당 얼마나 많은 4D 라이트 필드 픽셀들이 투영되었는지를 기록한다. L의 모든 4D 라이트 필드 픽셀들을 투영한 후, 리포커싱된 이미지 R(501)은 리포커싱된 이미지 가중

로 나누어진다. 이 마지막 단계는 좌표 (X, Y)당 수신된 픽셀들의 수를 조화시킨다.

투영된 좌표 (X, Y)가 반드시 정수 좌표는 아니기 때문에, 비 정수 픽셀 좌표(X, Y)를 리포커싱 된 이미지 R(501)와 리포커싱된 이미지 가중

의 그리드가 되도록 매핑하기 위해 선택적으로 보간 프로세스가 사용될 수 있다. 예를 들어, 쌍선형 보간(Bilinear Interpolation)과 같은 통상의 기술자에게 알려진 보간 기술이 사용된다.

도 7 및 도 8은 본 원리의 특정 실시예에 따라, 도 10의 제1 및 제2 초점 스택들을 얻기 위한 라이트 필드 이미지(500)의 마이크로 렌즈 이미지들의 일부의 선택을 도시한다.

도 7은 라이트 필드 이미지(500)의 마이크로 렌즈 이미지들(701 내지 724)를 도시하는데, 각각의 마이크로 렌즈 이미지는 두 부분(7010, 7020)으로 분할되고, 마이크로 렌즈 이미지(701)의 두 부분(7010, 7020)은 마이크로 렌즈 이미지의 절반에 대응하고, 전반들(7010, 7020) 모두는 전체 마이크로 이미지(701)를 형성한다. 도 7의 실시예는 유리하게는 도 1에 예시된 것과 같은 플렌옵틱 카메라로 얻어진 라이트 필드 이미지(500)(이 실시예에 따른 원시 이미지라고도 함)의 마이크로 렌즈 이미지(701 내지 724)에 대응한다. 도 7의 실시예에 따르면, 각각의 마이크로 렌즈 이미지(701 내지 724)는 2개의 절반으로 분할되고, 각각의 마이크로 렌즈 이미지는 수직 축에 따라 마이크로 렌즈 이미지의 동일한 픽셀 수를 갖는 2개의 상보적 부분으로 연관된다. 예를 들어, 마이크로 렌즈 이미지(701)는 제1 절반, 예를 들어 좌측 절반(7010) 및 제2 절반, 예를 들어 우측 절반(7020)을 포함한다. 마이크로 렌즈 이미지의 제1 절반은 회색 배경으로 채워지고 마이크로 렌즈 이미지의 제2 절반은 흰색 배경으로 채워진다. 제1 절반(7010)은 제2 절반(7020)과 상이하고, 제1 절반(7010)과 제2 절반(7020)은 상보적이며, 이는 제1 절반(7010)에 의해 커버되는 표면(또는, 제각기 제1 절반(7020)에 포함된 픽셀들) 및 제2 절반(7020)(또는 제각기 제1 절반(7020)에 포함된 픽셀들)은 제1 및 제2 절반들 모두를 포함하는 마이크로 렌즈 이미지(701)의 전체 표면에 (또는 제각기 전체 픽셀들에) 대응한다는 것을 의미한다.

당연히, 마이크로 렌즈 이미지를 두 개의 절반으로 파티션하는 것은 수직 파티션에 국한되지 않고 임의의 두 개의 절반으로의 파티션까지 확장된다. 도 11a 및 도 11b는 본 원리의 특정의 및 비 제한적인 실시예들에 따른, 마이크로 렌즈 이미지들의 파티션의 2개의 다른 상이한 배향을 도시한다. 마이크로 렌즈 이미지(701)는 예로서 사용된다. 도 11a에서, 마이크로 렌즈 이미지(701)는 수평축에 따라 파티션되고, 제1 절반(1101)은 상부 절반에 대응하고, 제2 절반(1102)은 하부 절반에 대응한다. 도 11b에서, 마이크로 렌즈 이미지(701)는 대각축, 예컨대 수평축과 45°의 각도를 형성하는 축을 따라 파티션되고, 제1 절반(1103)은 상부 절반에 대응하고, 제2 절반(1104)은 하부 절반에 대응한다.

마이크로 렌즈 이미지들의 파티션의 배향은 미리 결정되거나 (예를 들어 라이트 필드 카메라의 제조자에 의해 설정됨) 또는 사용자 인터페이스를 통해 사용자에 의해 설정될 수 있는 조정 가능한 파라미터가 된다.

변형 예에 따르면, 마이크로 렌즈 이미지들의 파티션의 배향은 장면의 하나 이상의 피사체의 배향을 나타내는 정보에 따라 자동으로 설정된다. 장면은 예를 들어 이미지 처리를 통해 분석되고 각각의 피사체의 배향이 결정된다. 파티션의 배향은 예를 들어 피사체의 다수의 배향으로 설정된다. 변형 예에 따르면, 파티션의 배향은 장면의 관심 대상 피사체의 배향에 대응하고, 관심 대상의 피사체는 예를 들어 돌출 정보를 사용함으로써 결정되거나 장면의 중심에 가장 가까운 피사체에 대응한다.

도 8은 결정된 포커싱 거리(focalization distance)에 대해 마이크로 렌즈 이미지들(701 내지 724)의 우측 절반들로부터 얻어진 2D 리포커싱된 이미지(8)를 도시한다. 2D 리포커싱된 이미지(8)는 유리하게는 특정 포커싱 거리 g에 대해 도 5a 및 도 5b와 관련하여 설명된 리포커싱 프로세스를 사용하여 생성된다. 도 10의 초점 스택들을 생성하기 위해,도 10과 관련하여 보다 상세히 기술된 바와 같이, 몇 개의 2D 리포커싱된 이미지가 g의 각각의 상이한 값에 대해 그에 의해 이미지(8)로서 생성된다.

도 10은 본 원리의 특정의 비 제한적인 실시예에 따른 제1 초점 스택(1000A) 및 제2 초점 스택(1000B)을 도시한다.

초점 스택은 이미지들의 정육면체를 정의하는 N개의 리포커싱된 이미지 R(n)(

)의 모음이고, 여기서 N은 이미지들의 결정된 수이다. N개의 리포커싱된 이미지는 수학식 11에 의해 정의된

과

사이의 포커싱 거리의 범위에 대응하는

과

사이에서 선형적으로 변하는 g에 대해 계산된다. 또 다른 옵션은 수학식 6에 의해 정의된

과

사이의 포커싱 거리의 범위에 대응하는

과

로부터 w가 선형으로 변하는 초점 스택을 계산하는 것이다. g 또는 w의 min max 경계들은 예를 들어,

및

내의 초점 거리를 갖는 리포커싱된 이미지를 포함하도록 사용자에 의해 설정된다. 변형에 따라, g 또는 w의 min max 경계들은 라이트 필드 카메라와 관련되며, 예를 들어 제조사에 의해 고정된다. z(n)은 이미지 인덱스 n에 대한 리포커싱된 이미지의 거리를 나타낸다.

제1 초점 스택(1000A)은 복수의 제1 이미지(1001A 내지 1007A)를 포함하고, 결정되고 상이한 초점 거리 g는 각각의 제1 이미지(1001A 내지 1007A)와 관련된다. 심도 z와 포커싱 거리 g(수학식 6에 의해 주어진 것과 같음) 사이에 밀접한 관계가 있기 때문에, 이것은 심도의 상이한 값이 각각의 제1 이미지(1001A 내지 1007A)와 관련된다고 말하는 것과 동등하다. 제1 이미지(1001A 내지 1007A)와 관련된 포커싱 거리는 유리하게는 포커싱 거리의 범위에 속하며, 범위의 하한은

에 상응하고 범위의 상위 하한은

에 대응한다.

은 예를 들어 스택의 제1 이미지(1001A)와 연관되고,

는 예를 들어 제1 스택(1000A)의 최종 제1 이미지(1007A)와 연관된다. 다른 제1 이미지들(1002A 내지 1006A)과 연관된 포커싱 거리는

에서

까지의 범위를 스캔함으로써 범위

내에서 선택된다. 이 예에 따르면, 포커싱 거리들은

에서

로의 오름차순에 따라 제1 스택(1001A)의 제1 이미지들(1001A 내지 1007A)과 관련된다. 변형 예에 따르면,

는 제1 이미지(1001A)와 관련되고

은 제1 이미지(1007A)와 관련된다. 이 변형 예에 따르면, 포커싱 거리들은

에서

으로의 내림차순에 따라 제1 스택(1001A)의 제1 이미지들(1001A 내지 1007A)과 관련된다. g의 값들은 예를 들어 규칙적 방식으로 제1 이미지들과 관련되며, 즉 2개의 연속적인 제1 이미지와 연관된 g의 2개의 값 사이의 차이는 일정한데, 즉 이하와 같다:

변형 예에 따르면, 2개의 연속적인 제1 이미지와 연관된 'g'의 두 개의 값 사이의 차이는 일정하지 않고 제1 이미지의 쌍에서 다른 것으로 갈 때 변할 수 있다:

또 다른 변형 예에 따르면, 차이들의 일부는 동일하고 일부는 그렇지 않은데, 즉:

동일한 방식으로, 제2 초점 스택(1000B)은 복수의 제2 이미지(1001B 내지 1007B)를 포함하고, 결정되고 상이한 포커싱 거리 g는 각각의 제2 이미지(1001B 내지 1007B)와 관련된다. 제2 이미지들(1001B 내지 1007B)의 수는 유리하게는 제1 이미지들(1001A 내지 1007A)의 수와 동일하다. 변형 예에 따르면, 제2 이미지들(1001B 내지 1007B)의 수는 제1 이미지들(1001A 내지 1007A)의 수와 다르며, 예를 들어 제1 이미지들(1001A 내지 1007A)의 수보다 작거나 또는 제1 이미지들(1001A 내지 1007A)의 수보다 크다. 상이한 포커싱 거리가 각각의 제1 이미지(1001A 내지 1007A)와 관련되는 것과 동일한 방식으로, 상이한 포커싱 거리가 또한 각각의 제2 이미지(1001B 내지 1007B)와 관련된다. 제2 이미지들(1001B 내지 1007B)과 관련된 포커싱 거리들의 세트는 유리하게는 제1 이미지들(1001A 내지 1007A)과 관련된 포커싱 거리들의 세트와 동일하다. 제2 이미지와 관련된 각각의 포커싱 거리에 대해, 제1 초점에서의 제1 이미지 및 그와 관련되는 동일한 포커싱 거리를 갖는 제2 초점 스택에서의 대응하는 하나의 제2 이미지가 존재한다. 제1 이미지 및 대응하는 제2 이미지는 동일한 파라미터들 g 및 s로 또는 가까운 값들의 파라미터들 g 및 s로 유리하게는 얻어진다. 변형 예에 따르면, 제2 이미지들(1001B 내지 1007B)과 연관된 포커싱 거리들의 세트는 유리하게는 제1 이미지들(1001A 내지 1007A)과 연관된 포커싱 거리들의 세트와 상이하다. 이 변형 예에 따르면, 쌍을 형성하는 제1 이미지 및 제2 이미지와 관련된 포커싱 거리들이 동일한, 하나의 제1 이미지와 하나의 제2 이미지로 구성되는 이미지들의 쌍이 또한 존재한다.

예를 들어, 제1 이미지(1001A)와 제2 이미지(1001B)는 동일한 포커싱 거리를 가지며; 제1 이미지(1002A)와 제2 이미지(1002B)는 동일한 포커싱 거리를 가지며; 제1 이미지(1003A)와 제2 이미지(1003B)는 동일한 포커싱 거리를 가지며; 제1 이미지(1004A)와 제2 이미지(1004B)는 동일한 초점 거리를 가지며; 제1 이미지(1005A)와 제2 이미지(1005B)는 동일한 포커싱 거리를 가지며; 제1 이미지(1006A)와 제2 이미지(1006B)는 동일한 포커싱 거리를 가지며; 및 제1 이미지(1007A)와 제2 이미지(1007B)는 동일한 포커싱 거리를 가진다.

제1 초점 스택(1000A) 및 제2 초점 스택(1000B)은 예를 들어 원격 저장 디바이스로부터 또는 라이트 필드 카메라(1 또는 2)로부터 처리 유닛(103)에 의해 수신된다.

또 다른 예에 따르면, 제1 초점 스택은, 각각의 제1 이미지에 대해 상이한 포커싱 거리를 이용하여, 도 5a 및 도 5b와 관련하여 설명된 리포커싱 처리를 적용함으로써 도 7 및 도 8과 관련하여 설명된 바와 같이 각각의 마이크로 렌즈 이미지들(701 내지 724)의 제1 절반들로부터 획득된다. 동일한 방식으로, 제2 초점 스택은, 각각의 제1 이미지에 대해 상이한 포커싱 거리를 이용하여, 도 5a 및 도 5b와 관련하여 설명된 리포커싱 처리를 적용함으로써 도 7 및 도 8과 관련하여 설명된 바와 같이 각각의 마이크로 렌즈 이미지들(701 내지 724)의 제2 절반들로부터 획득된다.

당연히, 제1 이미지들의 수 및 제2 이미지들의 수는 7로 제한되지 않고 2 이상의 임의의 수로 확장된다.

도 9a 및 도 9b는 본 원리의 특정 실시예에 따라, 도 10의 제1 및 제2 초점 스택들을 얻기 위해 라이트 필드 이미지(500)의 마이크로 렌즈 이미지들의 일부의 선택을 도시한다. 도 9a 및 도 9b의 실시예들은, 라이트 필드 이미지가 도 2와 관련하여 설명된 것과 같은 멀티 카메라 어레이로부터 획득되는 경우에 보다 구체적으로 대응한다. 이 실시예들에 따르면, 마이크로 렌즈 이미지(901 내지 924)는 상이한 시점들에 따라 장면의 상이한 뷰들에 대응하며, 멀티 카메라 어레이(2)의 각각의 카메라는 장면의 다른 뷰를 획득한다. 이 실시예에 따르면, 라이트 필드 이미지(500)는 뷰들(901 내지 924)의 매트릭스 또는 뷰들(901 내지 924)의 어레이에 대응한다.

제1 초점 스택(1000A)을 획득하기 위해, 뷰들의 제1 절반이 선택되는데, 예를 들어 도 9a의 예에 따른 뷰들의 좌측 절반, 즉 배경에서 회색으로 채워지는 뷰들(901 내지 903, 907 내지 909, 913 내지 915 및 919 내지 921)이 선택된다. 도 9b의 예에 따르면, 뷰들의 제1 절반은 뷰들의 상부 절반에 대응하는데, 즉 뷰들(901 내지 912)에 대응한다. 도 5a 및 도 5b와 관련하여 설명된 리포커싱 프로세스는 제1 초점 스택(1000A)을 생성하기 위해 뷰들의 제1 부분에 기초하여 사용된다.

제2 초점 스택(1000B)을 얻기 위해, 뷰들의 제2 절반이 선택되는데, 예를 들어 도 9a의 예에 따른 뷰들의 우측 절반, 즉 배경에서 흰색으로 채워진 뷰들(904 내지 906, 910 내지 912, 916 내지 918 및 922 내지 924)이 선택된다 . 도 9b의 예에 따르면, 뷰들의 제2 절반은 뷰들의 하부, 즉 뷰들(913 내지 924)에 대응한다. 도 5a 및 도 5b와 관련하여 설명된 리포커싱 프로세스는 제2 초점 스택(1000B)을 생성하기 위해 뷰들의 제2부분에 기초하여 사용된다.

제1 절반의 뷰들의 수는 제2 절반의 뷰들의 수와 동일하며, 제1 절반을 형성하는 뷰들의 세트는 제2 절반을 형성하는 뷰들의 세트와 상이하다. 제1 절반에 포함된 뷰들의 일부는 또한 뷰들의 배열의 파티션의 배향에 그리고 뷰들의 배열에 포함된 뷰들의 수에 의존하여 제2 절반에 포함될 수 있다. 예를 들어, 뷰들의 배열의 파티션이 대각선을 따라 수행되는 경우, 대각선 축을 따라 자리잡은 뷰들은 뷰들의 배열이 제1 절반과 제2 절반 사이의 뷰들 중 일부를 공유하지 않고서 두 개의 동일한 뷰들의 절반들로 나누어질 수 없는 경우 제1 절반과 제2 절반 모두에 속할 수 있다. 제1 절반은 뷰들의 제2 절반과 다른데, 이는 제1 절반의 뷰 중 적어도 하나가 제2 절반에 속하지 않는다는 것을 의미한다.

도 13은, 예를 들어 본 원리의 양태에 따라 라이트 필드 카메라를 구현하는 스마트 폰 또는 태블릿에 대응하는 통신 디바이스(130)의 하드웨어 실시예를 도식적으로 예시한다.

통신 디바이스(130)는 클록 신호를 또한 전송하는 어드레스 및 데이터의 버스(1304)에 의해 서로 접속되는 다음 요소들을 포함한다:

마이크로 프로세서(1301)(또는 CPU),

ROM(Read Only Memory) 타입의 비 휘발성 메모리(1302),

랜덤 액세스 메모리 또는 RAM(1303),

무선 인터페이스(1306),

데이터의 전송을 위해 구성된 인터페이스(1305),

예를 들어 도 1의 플렌옵틱 카메라(1) 또는 도 2의 다중 카메라 어레이(2)에 대응하는 라이트 필드 카메라(1307),

사용자에 대해 정보를 디스플레이하도록 및/또는 데이터 또는 파라미터들을 입력하도록 구성된 MMI(Man Machine Interface)(1308).

메모리들(1302 및 13603)의 설명에서 사용된 "레지스터"라는 단어는 언급된 각각의 메모리들에서 저용량의 메모리 영역뿐만 아니라 대용량의 메모리 영역을 지정한다(전체 프로그램이 저장되거나 또는 데이터의 전부 또는 일부가 수신되는 또는 디코딩되는 데이터를 나타내는 것을 가능하게 함).

메모리 ROM(1302)은 특히 "prog" 프로그램을 포함한다.

본 개시 및 후술될 것에 특정적인 방법의 단계들을 구현하는 알고리즘들은 이러한 단계들을 구현하는 전기통신 디바이스(130)와 연관된 ROM(1302) 메모리에 저장된다. 전원이 켜지면, 마이크로프로세서(1301)는 이들 알고리즘들의 명령어들을 로딩하고 실행한다.

랜덤 액세스 메모리(1303)는 특히 다음을 포함한다:

레지스터에서, 전기통신 디바이스(130)상의 스위칭을 책임지는 마이크로프로세서(1301)의 운영 프로그램,

수신 파라미터(예를 들어, 변조, 인코딩, MIMO, 프레임들의 재발생을 위한 파라미터들),

송신 파라미터들(예를 들어, 변조, 인코딩, MIMO, 프레임들의 재발생을 위한 파라미터들),

수신기(1306)에 의해 수신되고 디코딩되는 데이터에 대응하는 인입 데이터,

애플리케이션(1305)에 대한 인터페이스에서 송신하도록 형성된 디코딩된 데이터,

라이트 필드 카메라의 파라미터들,

라이트 필드 이미지를 형성하는 라이트 필드 데이터,

제1 초점 스택 및 제2 초점 스택을 나타내는 데이터,

심도를 나타내는 정보.

도 13과 관련하여 기술된 것들 이외의 전기통신 디바이스(130)의 다른 구조들이 본 개시와 양립 가능하다. 특히, 변형 예에 따르면, 전기통신 디바이스는 순수 하드웨어 실현으로, 예를 들어 전용 컴포넌트(예를 들어 ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration))의 형태로, 또는 장치에 내장된 몇몇 전자 컴포넌트의 형태로 구현되거나 또는 하드웨어 요소들과 소프트웨어 요소들의 혼합 형태로 구현될 수 있다.

무선 인터페이스(1306) 및 인터페이스(1305)는, 예를 들면, IEEE 802.11(Wi-Fi), IMT-2000 규격(3G라고도 함)과, 3GPP LTE(4G라고도 함), IEEE 802.15.1(Bluetooth라고도 함)...과 호환되는 표준들과 같은 하나 또는 몇 개의 통신 표준에 따른 신호들의 수신 및 송신을 위해 구성된다.

변형 예에 따르면, 전기통신 디바이스는 임의의 ROM을 포함하지 않고 오직 RAM만을 포함하며, 본 개시에 특정한 방법의 단계들을 구현하는 알고리즘들은 RAM에 저장된다.

도 14a는 본 원리의 특정 실시예에 따라, 도 1 또는 도 2의 라이트 필드 카메라로 획득 된 라이트 필드 이미지를 처리하는 방법을 도시한다. 방법은 예를 들어 처리 유닛(103)에서 또는 전기통신 디바이스(130)에서 구현된다.

초기화 단계 140 동안, 라이트 필드 카메라의 상이한 파라미터들, 특히 메인 렌즈 및 마이크로 렌즈들의 파라미터들이 있다. 파라미터들은 예를 들어 라이트 필드 카메라의 전원을 켤 때 및/또는 카메라 렌즈의 파라미터, 예를 들어, 주밍 또는 포커싱할 때 초점 거리를 변경하는 경우 초기화된다. 라이트 필드 데이터는 라이트 필드 카메라의 전원을 켤 때 및/또는 장면의 새로운 라이트 필드 이미지를 획득 할 때 유리하게는 초기화된다.

이어서, 단계 141 동안, 제1 초점 스택(1000A) 및 제2 초점 스택(1000B)이 얻어지는데, 제1 및 제2 초점 스택들 각각은 제각기 복수의 제1 및 제2 이미지를 포함한다. 제1 초점 스택은 유리하게는 라이트 필드 이미지를 형성하는 제1 픽셀들의 세트(예를 들어, 도 7 및 도 11a, 11b와 관련하여 기술된 바와 같이 라이트 필드 이미지의 마이크로 렌즈 이미지들의 제1 절반들을 형성하는 픽셀들 또는 도 9a 및 도 9b와 관련하여 기술된 바와 같이 라이트 필드 이미지의 뷰들의 제1 절반을 형성하는 픽셀들)로부터 얻어진다. 제2 초점 스택은 유리하게는 라이트 필드 이미지를 형성하는 제2 픽셀들의 세트(예를 들어, 도 7 및 도 11a, 11b와 관련하여 기술된 바와 같이 라이트 필드 이미지의 마이크로 렌즈 이미지들의 제2 절반들을 형성하는 픽셀들 또는 도 9a 및 도 9b와 관련하여 기술된 바와 같이 라이트 필드 이미지의 뷰들의 제2 절반을 형성하는 픽셀들)로부터 얻어진다. 제2 픽셀들의 세트는 제1 픽셀들의 세트와 상이한데, 즉, 제1 세트의 픽셀들의 적어도 일부는 제2 세트에 포함되지 않고 및/또는 제2 세트의 픽셀들의 적어도 일부는 제1 세트에 포함되지 않는다.

단계 131은 유리하게는 각각의 획득된 라이트 필드 이미지에 대해 재반복된다.

도 14b는 본 원리의 특정 실시예에 따라 단계 131에서 획득된 초점 스택들(1000A 및 1000B)로부터 심도 정보를 획득하는 방법을 보여준다. 방법은 예를 들어 처리 유닛(103)에서 또는 전기통신 디바이스(130)에서 구현된다.

단계 142 동안, 제1 초점 스택의 적어도 두 개의 제1 이미지를 제2 초점 스택의 적어도 두 개의 제2 이미지와 비교하는 방식으로 제1 초점 스택(1000A)이 제2 초점 스택(1000B)과 비교되는데, 즉 제1 초점 스택의 하나의 제1 이미지는 제2 초점 스택의 하나의 대응하는 제2 이미지와 비교된다. 제2 이미지는, 이 제2 이미지와 관련된 포커싱 거리(또는 심도)가 제1 이미지와 관련된 포커싱 거리(또는 심도)와 동일할 때 제1 이미지에 대응한다고 한다. 제1 이미지 및 대응하는 제2 이미지들은 픽셀 단위로 또는 픽셀들의 블록 단위로 비교된다. 제1 이미지의 픽셀들(또는 픽셀들의 블록)은 픽셀과 관련된 그레이 레벨을 비교함으로써 그리고 제1 이미지의 픽셀들에 대응하는 제2 이미지의 픽셀들을 발견하기 위해 픽셀들(또는 픽셀들의 블록)과 비교된다. 제2 이미지의 픽셀은, 제2 이미지의 픽셀의 그레이 레벨이 제1 이미지의 대응 픽셀의 그레이 레벨에 근접하거나 그와 동일할 때 제1 이미지의 픽셀에 대응한다.

변형 예에 따르면, 비교는 동일한 연관된 포커싱 거리(또는 동등하게는 동일한 연관된 심도 값)를 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 상기 각각의 쌍의 제1 이미지의 픽셀들 및/또는 제2 이미지의 픽셀들과 관련된 디스패리티 값들의 결정을 포함한다.

그 후, 단계 143 동안, 심도를 나타내는 정보, 예컨대 디스패리티 정보(예를 들어, 픽셀 단위로 표현됨) 또는 심도 정보(예를 들어 미터 단위로 표현됨)는 제1 및 제2 초점 스택들의 제1 이미지/제2 이미지의 적어도 두 개의 쌍의 비교 결과들로부터 획득된다. 심도 맵 또는 디스패리티 맵은 예를 들어, 제1 이미지/제2 이미지의 각각의 쌍의 비교로부터, 즉 도 10의 예에 따른 제1 이미지/제2 이미지의 7개의 쌍으로부터, 즉 쌍들 1001A/1001B, 1002A/1002B 내지 1007A/1007B로부터 획득된다. 최종 심도 정보, 예를 들어 최종 심도 맵 또는 최종 디스패리티 맵은 각각의 쌍으로부터 얻어진 맵들로부터, 예를 들어 이들 중 하나를 선택함으로써 상이한 쌍들로부터 얻어진 맵들을 조합함으로써 얻어진다.

변형 예에 따르면, 디스패리티가 0에 가까운 각각의 쌍의 제1 및 제2 이미지들의 픽셀들만이 비교 결과로부터 결정되며, 주어진 쌍에 대해 디스패리티가 0인 픽셀과 관련된 심도는 이 쌍과 관련된 심도(또는 포커싱 거리)이다. 동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 디스패리티 값으로서 0에 가까운 값을 갖는 상기 각각의 쌍의 제1 이미지 및/또는 제2 이미지의 픽셀들이 유리하게는 선택된다. 최종 심도 정보는 제1 이미지/제2 이미지의 각각의 쌍의 비교로부터 디스패리티 정보가 0에 가까운 픽셀들과 관련된 모든 심도 정보를 수집함으로써 획득된다. 달리 말하면, 심도 정보의 계산은 제1 및 제2 초점 스택으로부터의 한 쌍의 제1 이미지/제2 이미지의 2 개의 리포커싱된 이미지들 간에 수행된다. 2 개의 리포커싱된 이미지는 인덱스 n = 0 내지 인덱스 n = N으로 선택된다. 한 쌍의 이들 제1 및 제2 이미지들의 픽셀(X, Y)에서의 로컬 디스패리티

가 계산된다.

는 픽셀 단위로 주어진다. 피사체가 라이트 필드 카메라로부터 z(n)만큼, 즉 한 쌍의 제1 및 제2 이미지와 관련된 심도만큼 정확히 떨어져 있으면,

는 0과 동일하다. 좌표 (X, Y)에서 보이는 피사체의 거리는 z(n')와 거의 동일한데, 여기서 n'은

가 0에 가깝거나 동일한 값을 갖는 리포커싱된 이미지(즉, 제1 또는 제2 이미지)의 인덱스이다.

디스패리티 값들은, 이들이 예를 들어 0.25 또는 0.5 픽셀과 같이 결정된 값보다 예를 들어 작은 경우 0에 가까운 것으로 간주된다. 결정된 값은 예를 들어, 방법의 정밀도에 의존하여, 디스패리티를 계산하는 데 사용되는 방법에 의존하는 고정 값 또는 값이다. 변형 예에 따르면, 제1 또는 제2 이미지의 주어진 픽셀에 대해, 0에 가까운 디스패리티 값이 디스패티리 값이며, 그 절대 값은 초점 스택의 제1/제2 이미지들의 상이한 쌍들에서의 이 픽셀과 관련된 모든 절대 디스패리티 값들을 고려할 때 최소값이다.

도 12는 본 원리의 특정 및 비제한적인 실시예에 따라, 초점 스택(1000A 및 1000B)의 비교 결과로부터 얻어진 심도(예컨대, 디스패리티 값 또는 심도 값)를 나타내는 정보를 포함하는 맵(120)을 도시한다. 명확성 목적을 위해서, 제1 이미지들/제2 이미지들의 3쌍만이 예시되었는데, 즉 제1쌍은 심도 z = 1m에서의 제1 이미지(1001A) 및 제2 이미지(1001B)를 포함하고, 제2 쌍은 심도 z = 2m에서의 제1 이미지(1003A) 및 제2 이미지(1003B)를 포함하고, 제3 쌍은 심도 z = 3m에서의 제1 이미지(1006A) 및 제2 이미지(1006B)를 포함한다. 각각의 쌍에서, 제2 이미지의 제2픽셀들에 대응하는 제1 이미지의 픽셀들은 회색 배경으로 도시되고, 이들 픽셀들은 제1쌍에서 참조번호 1로, 제2쌍에서 참조번호 2로, 제 3 쌍에서 참조번호 3으로 식별된다. 제1쌍과 관련된 심도가 1 미터와 동일하기 때문에, 제1쌍에서 1로 참조된 픽셀들과 관련된 심도도 1 미터이다. 동일한 이유로, 제2쌍의 이미지들에서 2로 참조된 픽셀들과 관련된 심도는 2 미터와 동일하고, 제 3 쌍의 이미지들에서 3으로 참조된 픽셀들과 관련된 심도는 3 미터와 동일하다. 최종 심도 맵(120)(또는 동등하게는 디스패리티 맵)은 각각의 이미지들의 쌍의 대응 픽셀들의 영역(들)과 관련된 심도 값들을 수집함으로써 유리하게는 얻어지는데, 즉 영역(1201)의 픽셀들과 관련된 심도 값은 1 미터와 동일하고, 영역(1202)의 픽셀들과 연관된 심도 값은 2 미터와 동일하고, 영역(1203)의 픽셀들과 관련된 심도 값은 3 미터와 동일하다. 최종 심도 맵(120)의 일부 픽셀들이 2 개의 초점 스택의 이미지들의 쌍들의 비교 결과들로부터 심도 정보를 수신하지 못할 때, 이들 픽셀들과 관련된 심도 정보는 예를 들어 초점 스택들의 비교 결과로부터 획득된 심도 값들을 갖는 그들을 에워싸는 픽셀들을 보간함으로써 획득될 수 있다.

선택적인 변형 예에 따르면, 최종 심도 맵(120)은 3D 효과를 갖는 장면을 디스플레이하도록 처리되고, 최종 심도 맵의 심도/디스패리티 정보는 장면의 피사체들의 디스플레이 심도를 결정하는데 사용된다. 또 다른 변형 예에 따르면, 최종 심도 맵(120)은 이들의 관련된 심도/디스패리티에 따라 장면의 이미지(들)의 피사체들을 자르도록(crop) 처리된다. 또 다른 변형 예에 따르면, 최종 심도 맵은 장면의 3D 뷰를 생성하도록 처리된다.

단계들 131 내지 133은 각각의 획득된 라이트 필드 이미지에 대해 유리하게는 반복된다.

도 14c는 본 원리의 특정 실시예에 따라, 단계 131에서 획득된 초점 스택들(1000A 및 1000B)을 디스플레이하는 방법을 도시한다.

단계 144 동안, 디스플레이 디바이스상에 디스플레이하기 위해 제1 및 제2 이미지들이 전송된다. 디스플레이 디바이스는 예를 들어 어느 한 쌍의 제1 이미지 및 동일한 쌍의 제2 이미지를 순차적으로 디스플레이하는 디스플레이 스크린(예를 들어, LCD("Liquid Crystal Display") 또는 OLED("Organic Light-Emitting Diode" 디스플레이 디바이스)이고, 디스플레이 디바이스는 제1 및 제2 이미지들의 디스플레이를 관찰자의 우안 및 좌안과 제각기 동기화시키는 한 쌍의 능동 또는 수동 안경과 유리하게는 연관되고, 이것은 제1 이미지가 예를 들어 좌안에 의해서만 관찰되고 제2 이미지는 우안에 의해서만 관찰되게 할 수 있다. 변형 예에 따르면, 디스플레이 디바이스 이미지들의 입체적 쌍의 좌측 및 우측 이미지들을 디스플레이하도록 구성된 HMD("Head-Mounted Display")이며, 제1 이미지는 예를 들어 좌측 이미지로서 디스플레이되고 제2 이미지는 우측 이미지로서 디스플레이된다. 제1 및 제2스택들의 이미지들의 쌍은 예를 들어 순차적으로 전송되고 디스플레이 디바이스에 의해 수신될 때 디스플레이된다. 변형 예에 따르면, 전송된 이미지들의 쌍은 디스플레이되기 전에 디스플레이 디바이스의 메모리에 저장된다. 이미지들의 입체 쌍으로서 한 쌍의 제1 및 제2 이미지를 디스플레이하는 것은 제1 및 제2 이미지의 피사체들을 초점에 디스플레이할 수 있게 하며, 초점은 이미지들의 쌍과 연관된 심도에 대응한다.

단계 144는 예컨대 단계 142 및 143을 수행하지 않고 단계 141 후에 수행된다. 변형 예에 따르면, 단계 141은 단계들 142 및 143에 추가하여, 예를 들어 단계들 142 및 143 후에, 단계들 142 및 143과 병행적으로, 또는 단계들 142 및 143 후에 수행된다.

당연히, 본 개시는 앞서 설명된 실시예들에만 제한되지 않는다.

특히, 본 발명은 라이트 필드 이미지(들)를 처리하도록 구성된 장치에 또는 라이트 필드 이미지(들)를 처리하는 방법에 국한되지 않고, 심도 정보를 결정하는 방법/장치에 및/또는 초점 스택들의 이미지들을 디스플레이하는 방법/장치에 및/또는 그러한 장치를 포함하는 라이트 필드 카메라에 또는 그러한 장치를 포함하거나 그러한 방법(들)을 구현하는 임의의 디바이스, 예를 들어 전기통신 디바이스로 확장된다.

전기통신 디바이스들은 예를 들어 스마트 폰, 스마트 워치, 태블릿, 컴퓨터, 휴대 전화, PDA(portable/personal digital assistant), 및 최종 사용자들과의 정보 통신을 용이하게 하는 기타 디바이스들 뿐만 아니라 셋 톱 박스를 포함한다.

본 명세서에 기재된 플렌옵틱 카메라를 교정하는 방법은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있으며, 그러한 명령어들(및/또는 구현에 의해 생성되는 데이터 값들)은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 예컨대 하드 디스크, CD(compact diskette), (예를 들어, DVD로서 종종 디지털 다용도 디스크 또는 디지털 비디오 디스크로 지칭되는) 광 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독 가능 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독 가능 매체상에 유형적으로 구체화되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합일 수 있다. 명령어들은 예를 들어 운영 체제, 별도의 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서-판독 가능 매체(예를 들어, 저장 디바이스)를 포함하는 디바이스 모두로서 특징지어질 수 있다. 또한, 프로세서-판독 가능 매체는 명령어들에 추가하여 또는 명령어들을 대신하여, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.

통상의 기술자에게 명백한 바와 같이, 구현들은 예를 들어 저장되거나 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는 예를 들어 방법을 수행하기 위한 명령어들 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 신택스를 기록 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 또는 설명된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용) 또는 기저 대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양하고 상이한 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서-판독 가능 매체상에 저장될 수 있다.

다수의 구현이 설명되었다. 그럼에도 불구하고, 다양한 수정이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현들의 요소들은 결합, 보충, 수정, 또는 제거되어 다른 구현들을 생성할 수 있다. 덧붙여, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고, 결과적인 구현들은 적어도 개시된 구현들과 실질적으로 동일한 결과(들)를 달성하기 위해 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 수 있다는 것을 이해할 것이다. 따라서, 이들 및 다른 구현들이 이 출원에 의해 고려된다.

Claims

장면의 라이트 필드 이미지를 처리하도록 구성된 장치로서, 상기 장치는 상기 라이트 필드 이미지를 나타내는 데이터를 저장하는 메모리 및 프로세서를 포함하고,
상기 프로세서는:
각각이 상기 장면을 나타내는 복수의 제1 이미지를 포함하는 제1 초점 스택을 획득하고 - 복수의 심도 값의 상이한 심도 값은 각각의 제1 이미지와 연관되고, 상기 제1 이미지들은 상기 라이트 필드 이미지의 제1 픽셀들의 세트로부터 생성됨 -;
각각이 상기 장면을 나타내는 복수의 제2 이미지를 포함하는 제2 초점 스택을 획득하고 - 상기 복수의 심도 값의 상이한 심도 값은 각각의 제2 이미지와 연관되고, 상기 제2 이미지들은 상기 라이트 필드 이미지의 제2 픽셀들의 세트로부터 생성되고, 상기 제2 세트는 상기 제1 세트와 상이함 -;
동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 복수의 쌍 중의 각각의 쌍에 대해, 심도 정보를 0에 가까운 디스패리티 값을 갖는 각각의 쌍의 픽셀들과 연관시키도록 - 상기 심도 정보는 각각의 쌍의 상기 심도 값에 대응함 - 구성되는, 장치.
제1항에 있어서, 상기 프로세서는:
상기 제1 이미지를 각각의 쌍의 상기 제2 이미지와 비교하고;
상기 비교 결과들로부터 심도를 나타내는 정보를 획득하도록 추가로 구성되는, 장치.
제1항에 있어서,
상기 제1 초점 스택은 마이크로렌즈 어레이의 마이크로렌즈들과 연관된 복수의 마이크로렌즈 마이크로이미지의 픽셀들의 각각의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 마이크로렌즈 어레이의 마이크로렌즈들과 연관된 상기 복수의 마이크로렌즈 마이크로이미지의 픽셀들의 각각의 제2 절반으로부터 생성되고,
상기 복수의 마이크로렌즈 마이크로이미지 중의 각각의 마이크로렌즈 마이크로이미지의 픽셀들의 상기 제1 절반 및 상기 제2 절반은 상이하고 상보적인, 장치.
제1항에 있어서,
상기 제1 초점 스택은 상기 라이트 필드 이미지와 관련된 상기 장면의 복수의 뷰의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 장면의 상기 복수의 뷰의 제2 절반으로부터 생성되고,
상기 제1 절반은 상기 제2 절반과 상이한, 장치.
제4항에 있어서, 상기 제1 절반 및 상기 제2 절반은 상기 장면 내의 상기 장면의 적어도 하나의 물체의 배향을 나타내는 정보에 따라 결정되는, 장치.
제2항에 있어서, 상기 프로세서는 상기 각각의 쌍에서, 각각의 쌍의 상기 제1 이미지의 픽셀들 및 상기 제2 이미지의 픽셀들과 연관된 디스패리티 값들을 결정하도록 추가로 구성되는, 장치.
제1항 내지 제6항 중 어느 한 항에 따른 장치를 포함하는 라이트 필드 취득 디바이스.
제1항에 있어서,
상기 제1 초점 스택은 다중 카메라 어레이의 렌즈들과 관련된 상기 장면의 복수의 렌즈 이미지의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 장면의 상기 복수의 렌즈 이미지의 제2 절반으로부터 생성되고,
상기 복수의 렌즈 이미지의 상기 제1 절반 및 상기 제2 절반은 상이하고 상보적인, 장치.
장면의 라이트 필드 이미지를 처리하는 방법으로서 - 상기 라이트 필드 이미지는 마이크로 렌즈 이미지들의 세트로 구성됨 -:
각각이 상기 장면을 나타내는 복수의 제1 이미지를 포함하는 제1 초점 스택을 획득하는 단계 - 복수의 심도 값의 상이한 심도 값은 각각의 제1 이미지와 연관되고, 상기 제1 이미지들은 상기 라이트 필드 이미지의 제1 픽셀들의 세트로부터 생성됨 -;
각각이 상기 장면을 나타내는 복수의 제2 이미지를 포함하는 제2 초점 스택을 획득하는 단계 - 상기 복수의 심도 값의 상이한 심도 값은 각각의 제2 이미지와 연관되고, 상기 제2 이미지들은 상기 라이트 필드 이미지의 제2 픽셀들의 세트로부터 생성되고, 상기 제2 세트는 상기 제1 세트와 상이함 -; 및
동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 복수의 쌍 중의 각각의 쌍에 대해, 심도 정보를 0에 가까운 디스패리티 값을 갖는 각각의 쌍의 픽셀들과 연관시키는 단계 - 상기 심도 정보는 각각의 쌍의 상기 심도 값에 대응함 - 를 포함하는, 방법.
제9항에 있어서,
각각의 제1 이미지를 각각의 제1 이미지와 동일한 연관된 심도 값을 갖는 각각의 제2 이미지와 비교하는 방식으로 상기 제1 이미지들을 상기 제2 이미지들과 비교하는 단계; 및
상기 비교의 결과들로부터 심도를 나타내는 정보를 획득하는 단계를 추가로 포함하는, 방법.
제9항에 있어서,
상기 제1 초점 스택은 취득 디바이스의 마이크로렌즈 어레이의 마이크로렌즈들과 연관된 복수의 마이크로렌즈 마이크로이미지의 픽셀들의 각각의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 복수의 마이크로렌즈 마이크로이미지의 상기 픽셀들의 각각의 제2 절반으로부터 생성되고,
상기 복수의 마이크로렌즈 마이크로이미지 중의 각각의 마이크로렌즈 마이크로이미지의 픽셀들의 상기 제1 절반 및 상기 제2 절반은 상이하고 상보적인, 방법.
제9항에 있어서,
상기 제1 초점 스택은 취득 디바이스로부터 획득된 상기 장면의 뷰들의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 취득 디바이스로부터 획득된 상기 장면의 상기 뷰들의 제2 절반으로부터 생성되고,
상기 제1 절반은 상기 제2 절반과 상이한, 방법.
제12항에 있어서, 상기 제1 절반 및 상기 제2 절반은 상기 장면 내의 상기 장면의 적어도 하나의 물체의 배향을 나타내는 정보에 따라 결정되는, 방법.
제10항에 있어서, 상기 비교하는 단계는 동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 각각의 쌍의 상기 제1 이미지의 픽셀들 및 상기 제2 이미지의 픽셀들과 연관된 디스패리티 값들을 결정하는 단계를 포함하는, 방법.
제14항에 있어서, 상기 비교하는 단계는 동일한 연관된 심도 값을 갖는 제1 및 제2 이미지들의 각각의 쌍에서, 0에 가까운 디스패리티 값을 갖는 각각의 쌍의 상기 제1 이미지 및 상기 제2 이미지의 픽셀들을 선택하는 단계를 추가로 포함하는, 방법.
제9항에 있어서,
상기 제1 초점 스택은 다중 카메라 어레이의 렌즈들과 관련된 상기 장면의 복수의 렌즈 이미지의 제1 절반으로부터 생성되고,
상기 제2 초점 스택은 상기 장면의 상기 복수의 렌즈 이미지의 제2 절반으로부터 생성되고,
상기 복수의 렌즈 이미지의 상기 제1 절반 및 상기 제2 절반은 상이하고 상보적인, 방법.