KR20150063010A - 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스 - Google Patents

플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20150063010A
KR20150063010A KR1020140169065A KR20140169065A KR20150063010A KR 20150063010 A KR20150063010 A KR 20150063010A KR 1020140169065 A KR1020140169065 A KR 1020140169065A KR 20140169065 A KR20140169065 A KR 20140169065A KR 20150063010 A KR20150063010 A KR 20150063010A
Authority
KR
South Korea
Prior art keywords
view
block
parallax
pixel
value
Prior art date
Application number
KR1020140169065A
Other languages
English (en)
Inventor
네우스 사바테르
발떼르 드라직
구스타보 루이스 산드리
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150063010A publication Critical patent/KR20150063010A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00—Television
    • Y10S348/91—Flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 장면의 제1 뷰(50)의 적어도 하나의 픽셀 블록과 연관된 시차 정보를 결정하는 방법에 관한 것이며, 뷰 매트릭스는 제1 뷰(50) 및 장면의 복수의 제2 뷰를 포함한다. 제1 및 제2 뷰는 플렌옵틱 카메라로 취득된 장면의 원시 이미지를 역다중화함으로써 획득되지만 역모자이크화되어 있지는 않다. 그 방법은 제1 뷰(50)의 제1 블록(501)과 연관된 제1 컬러 패턴을 매트릭스 내 제1 뷰(50)를 포함하는 행 또는 열에 속하는 제2 뷰(51, 52) 중 적어도 하나의 적어도 하나의 제2 블록(510, 511, 521)과 연관된 적어도 하나의 제2 컬러 패턴과 비교하는 단계; 연관된 제2 컬러 패턴이 제1 컬러 패턴에 적어도 부분적으로 대응하면 적어도 하나의 제2 블록(511, 521)을 선택하는 단계; 및 선택된 적어도 하나의 제2 블록(511, 521) 및 제1 블록(501)을 사용함으로써 제1 블록(501)과 연관된 시차 정보를 결정하는 단계를 포함한다.

Description

플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR ESTIMATING DISPARITY ASSOCIATED WITH VIEWS OF A SCENE ACQUIRED WITH A PLENOPTIC CAMERA}
본 발명은 플렌옵틱 카메라(plenoptic camera) 분야에 관한 것으로, 더 구체적으로는, 플렌옵틱 카메라로 취득된 장면의 하나 이상의 뷰와 연관된 시차(disparity)의 추정에 관한 것이다.
종래 기술에 의하면, 소위 라이트-필드 카메라라고도 하는 플렌옵틱 카메라로 단일 스냅샷으로 동일 장면의 여러 다른 뷰를 취득하는 것이 알려져 있다. 그러한 플렌옵틱 카메라의 직접적 응용은 3D 재현이다. 실로, 플렌옵틱 카메라의 포토센서로 취득된 원시 이미지(raw image)의 역다중화 후에, 장면의 복원된 뷰는 이미 수평적으로 그리고 수직적으로 에피폴라 기하구조에 있고, 그래서 그들 간 시차는 스테레오 교정 없이 추정될 수 있다. 이것은 관용적 카메라로 캡처링된 이미지로부터의 양안 3D 스테레오 재현에 비해 대단한 장점이다.
그럼에도 불구하고, 원시 이미지의 역다중화로부터의 결과적 뷰로부터 시차를 추정하는 것은 몇몇 문제로 시달린다. 예컨대, 역다중화로부터의 결과적 뷰는 뷰의 픽셀 중 일부에 대해 단 하나의 단일 컬러 정보만을 제공하는 한편 다른 픽셀은 그들과 연관된 어떠한 컬러 정보도 갖지 않는다: 그러한 뷰의 공간적 컬러 샘플링은 흔히 들쑥날쑥하고 불완전하여, 잘못된 시차 추정을 초래한다.
그러한 시차 추정 문제에 대한 하나의 알려져 있는 해법은 역다중화로부터의 결과적 장면의 각각의 뷰의 각각의 픽셀에 대해 풀 컬러 정보를 갖도록 원시 이미지를 역다중화하기 전에 그것을 우선 역모자이크화하는 것이다. 그러나 역다중화 전에 역모자이크화를 수행하는 것은 인터-뷰 크로스토크와 같은 다른 문제를 초래할 수 있다. 실로, 원시 이미지의 하나의 소정 픽셀에 대해 풀 컬러 정보를 복원하는 것에 관해서는, 이 소정 픽셀의 이웃에 속하는 픽셀은, 이들 이웃하는 픽셀이 그 소정 픽셀의 뷰 이외의 다른 뷰(들)에 속한다 하더라도, 사용될 수 있다. 인터-뷰 크로스토크로 시달리는 그러한 뷰 상의 시차를 추정하는 것은 또한 시차 에러를 초래할 수 있다.
본 발명의 목적은 종래 기술의 이들 단점 중 적어도 하나를 극복하는 것이다.
더 구체적으로, 본 발명의 목적은 플렌옵틱 카메라로 취득된 원시 이미지의 역다중화로부터의 결과적 장면의 뷰와 연관된 신뢰할만한 시차 정보를 결정하려는 것이며, 그 뷰는 역모자이크화되어 있지 않다.
본 발명은, 장면의 제1 뷰의 적어도 일부분과 연관된 시차 정보를 결정하는 방법에 관한 것으로서, 뷰 매트릭스는 제1 뷰, 및 플렌옵틱 카메라로 취득된 장면의 원시 이미지로부터 획득되는 제1 뷰와는 다른 장면의 복수의 제2 뷰를 포함하고, 복수의 컬러 성분은 복수의 컬러 성분의 각각의 단일 컬러 성분이 예정 패턴에 따라 원시 이미지의 다른 픽셀과 연관되는 방식으로 원시 이미지의 픽셀과 연관되며, 제1 뷰 및 제2 뷰는 연관된 단일 컬러 성분을 갖는 원시 이미지의 픽셀 중에서 선택된 픽셀을 각각 포함한다. 그 방법은,
- 제1 뷰의 적어도 하나의 픽셀의 제1 블록과 연관된 제1 컬러 패턴을 매트릭스 내 제1 뷰를 포함하는 행(row) 또는 열(column)에 속하는 제2 뷰 중 적어도 하나 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과 비교하는 단계,
- 연관된 제2 컬러 패턴이 제1 컬러 패턴에 적어도 부분적으로 대응하면 그 적어도 하나의 제2 블록을 선택하는 단계, 및
- 선택된 적어도 하나의 제2 블록과 제1 블록을 사용함으로써 제1 블록과 연관된 시차 정보를 결정하는 단계를 포함한다.
특정 특성에 의하면, 제1 컬러 패턴은,
- 매트릭스 내 제1 뷰를 포함하는 행에 속하는 적어도 하나의 제2 뷰의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과, 그리고
- 매트릭스 내 제1 뷰를 포함하는 열에 속하는 적어도 하나의 제2 뷰의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과 비교된다.
유익하게는, 제1 시차 값은 제1 블록 및 제1 뷰를 포함하는 행에 속하는 적어도 하나의 선택된 제2 블록을 사용함으로써 결정되고 제2 시차 값은 제1 블록 및 제1 뷰를 포함하는 열에 속하는 적어도 하나의 선택된 제2 블록을 사용함으로써 결정되고, 시차 정보는 제1 시차 값과 제2 시차 값 간 차이가 임계값 미만이면 제1 시차 값 및 제2 시차 값에 따라 결정된다.
특정 특성에 의하면, 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 제1 뷰를 포함하는 행에 속하는 각각의 제2 뷰에 대하여 제1 시차 레벨이 결정되고, 제1 시차 값은 제1 시차 레벨들의 중앙값(median value)에 대응하고, 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 제1 뷰를 포함하는 열에 속하는 각각의 제2 뷰에 대하여 제2 시차 레벨이 결정되고, 제2 시차 값은 제2 시차 레벨들의 중앙값에 대응한다.
유익하게는, 시차 정보는 제1 시차 값 및 제2 시차 값 중 하나에 대응한다.
또 다른 특성에 의하면, 시차 정보는 제1 시차 값과 제2 시차 값의 평균에 대응한다.
유익하게는, 복수의 후보 시차 정보와 연관된 비용 함수가 컴퓨팅되고, 복수의 후보 정보는 최소 시차 값과 최대 시차 값 사이로 이루어진 값을 취하고, 최소 및 최대 시차 값은 플렌옵틱 카메라로부터 좌우되되, 결정된 시차 정보는 비용 함수가 최소인 후보 시차 정보에 대응한다.
특정 특성에 의하면, 그 방법은 시차 정보를 결정하기 전에 비용 함수를 보간하고 제1 뷰 및 적어도 하나의 제2 뷰를 보간하는 단계를 더 포함한다.
본 발명은 또한 장면의 제1 뷰의 적어도 일부분과 연관된 시차 정보를 결정하도록 구성된 디바이스에 관한 것으로서, 뷰 매트릭스는 제1 뷰, 및 플렌옵틱 카메라로 취득된 장면의 원시 이미지로부터 획득되는 제1 뷰와는 다른 장면의 복수의 제2 뷰를 포함하고, 복수의 컬러 성분은 복수의 컬러 성분의 각각의 단일 컬러 성분이 예정 패턴에 따라 원시 이미지의 다른 픽셀과 연관되는 방식으로 원시 이미지의 픽셀과 연관되며, 제1 뷰 및 제2 뷰는 연관된 단일 컬러 성분을 갖는 원시 이미지의 픽셀 중에서 선택된 픽셀을 각각 포함한다. 그 디바이스는,
- 제1 뷰의 적어도 하나의 픽셀의 제1 블록과 연관된 제1 컬러 패턴을 매트릭스 내 제1 뷰를 포함하는 행 또는 열에 속하는 제2 뷰 중 적어도 하나 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과 비교하고,
- 연관된 제2 컬러 패턴이 제1 컬러 패턴에 적어도 부분적으로 대응하면 그 적어도 하나의 제2 블록을 선택하고,
- 선택된 적어도 하나의 제2 블록과 제1 블록을 사용함으로써 제1 블록과 연관된 시차 정보를 결정하도록 구성된 적어도 하나의 프로세서를 포함한다.
유익하게는, 적어도 하나의 프로세서는 상기 제1 컬러 패턴을,
- 매트릭스 내 제1 뷰를 포함하는 행에 속하는 적어도 하나의 제2 뷰의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과, 그리고
- 매트릭스 내 제1 뷰를 포함하는 열에 속하는 적어도 하나의 제2 뷰의 적어도 하나의 제2 블록과 연관된 적어도 하나의 제2 컬러 패턴과 비교하도록 더 구성된다.
특정 특성에 의하면, 적어도 하나의 프로세서는,
- 제1 블록 및 제1 뷰를 포함하는 행에 속하는 적어도 하나의 선택된 제2 블록을 사용함으로써 제1 시차 값을 결정하고,
- 제1 블록 및 제1 뷰를 포함하는 열에 속하는 적어도 하나의 선택된 제2 블록을 사용함으로써 제2 시차 값을 결정하고,
- 제1 시차 값과 제2 시차 값 간 차이를 임계값과 비교하고,
- 그 차이가 임계값 미만이면 제1 시차 값과 제2 시차 값에 따라 시차 정보를 결정하도록 더 구성된다.
또 다른 특성에 의하면, 적어도 하나의 프로세서는,
- 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 제1 뷰를 포함하는 행에 속하는 각각의 제2 뷰에 대하여 제1 시차 레벨을 결정하고,
- 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 상기 제1 뷰를 포함하는 열에 속하는 각각의 제2 뷰에 대하여 제2 시차 레벨을 결정하도록 더 구성되되, 제1 시차 값은 상기 제1 시차 레벨들의 중앙값에 대응하고, 제2 시차 값은 상기 제2 시차 레벨들의 중앙값에 대응한다.
특정 특성에 의하면, 적어도 하나의 프로세서는 복수의 후보 시차 정보와 연관된 비용 함수를 결정하도록 더 구성되고, 상기 복수의 후보 정보는 최소 시차 값과 최대 시차 값 사이로 이루어진 값을 취하고, 최소 및 최대 시차 값은 플렌옵틱 카메라로부터 좌우되되, 결정된 시차 정보는 비용 함수가 최소인 후보 시차 정보에 대응한다.
유익하게는, 적어도 하나의 프로세서는 시차 정보를 결정하기 전에 비용 함수를 보간하고 제1 뷰 및 적어도 하나의 제2 뷰를 보간하도록 더 구성된다.
본 발명은 또한, 컴퓨팅 디바이스 상에서 프로그램이 실행될 때, 장면의 제1 뷰의 적어도 일부분과 연관된 시차 정보를 결정하는 방법의 단계를 실행하기 위한 프로그램 코드의 명령어를 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
본 발명은 부속 도면을 참조하는 이하의 설명을 읽을 때 더 잘 이해될 것이고 다른 특정 특징 및 이점이 드러날 것이다.
- 도 1은 본 발명의 특정 실시예에 따른 플렌옵틱 카메라의 표시도;
- 도 2는 본 발명의 특정 실시예에 따라 도 1의 플렌옵틱 카메라로 취득된 장면의 원시 이미지의 표시도;
- 도 3은 본 발명의 특정 실시예에 따라 도 2의 원시 이미지의 역다중화로부터의 결과적 장면의 뷰의 표시도;
- 도 4는 본 발명의 특정 실시예에 따라 도 2의 원시 이미지의 역다중화로부터의 결과적 뷰 매트릭스의 표시도;
- 도 5는 본 발명의 특정 실시예에 따라 도 4의 매트릭스의 뷰로부터 시차 정보를 추정하는 방법의 표시도;
- 도 6은 본 발명의 특정 실시예에 따라 도 4의 매트릭스의 뷰와 연관된 시차 정보를 추정하는데 사용되는 후보 시차 값과 연관된 비용 함수의 표시도;
- 도 7은 본 발명의 특정 실시예에 따라 도 3의 뷰의 적어도 일부분의 시차 정보를 추정하는 방법을 구현하는 디바이스의 도해 표시도; 및
- 도 8은 본 발명의 특정 실시예에 따라 도 3의 뷰의 적어도 일부분의 시차 정보를 추정하는 방법의 표시도.
본 발명은 장면의 제1 뷰의 하나 이상의 픽셀과 연관된 시차 정보의 결정의 특정 실시예를 참조하여 설명될 것이다. 제1 뷰는 유익하게는 여러 다른 뷰 포인트에 따라 동일 장면의 복수의 뷰를 포함하는 매트릭스에 속하고, 복수의 뷰는 플렌옵틱 카메라로 취득된 원시 이미지의 역다중화로부터의 결과이다. 제1 뷰와는 다른 매트릭스의 뷰는 소위 제2 뷰이다. 그 뷰들은 유익하게는 역모자이크화되어 있지 않다, 즉, 많아도 하나의 단일 컬러 성분(컬러 공간, 예컨대, RGB 컬러 공간에 속함)이 제1 및 제2 뷰의 각각의 픽셀과 연관된다. 제1 단계에서, 제1 뷰의 제1 픽셀 블록의 컬러 패턴이 뷰 매트릭스 내 제1 뷰를 포함하는 행 또는 열에 속하는 하나 이상의 제2 뷰의 하나 이상의 제2 픽셀 블록의 컬러 패턴(들)과 비교된다. 제2 단계에서, 제1 블록의 컬러 패턴과 적어도 부분적으로 컬러 패턴이 매칭하는 제2 블록(들)이 선택되고, 제1 블록과(즉, 제1 블록의 중심이 되는 픽셀과) 연관될 시차 정보가 그 선택된 제2 블록(들) 및 제1 블록을 사용함으로써 결정된다.
적어도 부분적으로 매칭하는 제1 뷰 및 제2 뷰 내 픽셀 블록의 사용은 역다중화되지만 역모자이크화되지는 않은 뷰 상의 시차를 양호한 품질로 추정 가능하게 한다.
도 1은 본 발명의 비-제한적 특정 실시예에 따라 플렌옵틱 카메라(1)를 예시하고 있다. 플렌옵틱 카메라(1)는 소위 이미지 센서 어레이(13)라고도 하는 포토센서 어레이(13)와 연관된 렌즈 배열로 이루어진다. 포토센서 어레이(13)는 X 열과 Y 행의 매트릭스의 형태로 배열된 다수(m)의 포토센서(131, 132, 133 내지 1m)를 포함하며, m은 X 곱하기 Y에 대응한다. 각각의 포토센서는 포토센서 어레이로 취득된 장면의 원시 이미지의 픽셀에 대응하고, 각각의 픽셀은 장면의 일부분(소위 일 포인트)을 커버한다. 예시의 목적으로, 포토센서 어레이(13)는 비교적 작은 수의 포토센서(131 내지 1m)로 도시되어 있다. 당연히, 포토센서의 수는 도 1의 예시로 국한되지 않고 어떠한 수의 포토센서, 예컨대, 수천 또는 수백만의 포토센서, 예컨대, 12.4 메가픽셀로도 확장되며, 픽셀은 포토센서에 대응한다(예컨대, 4088x3040 픽셀/포토센서의 어레이 또는 매트릭스에 대응한다). 하나의 단일 마이크로렌즈와 광학적으로 연관된 복수의 포토센서의 각각의 포토센서는 하나의 화각에 따라 장면의 픽셀을 표현하는 원시 데이터를 취득 가능하게 한다. 컬러 필터 어레이(CFA)(12)는 포토센서 어레이(13) 상에 배열된다. CFA(12)는 전형적으로는 RGB(적색, 녹색 및 청색) 컬러 필터를 포토센서 어레이 상에 배열하고, RGB 배열은 그 예에 대해 베이어 필터 모자이크(Bayer filter mosaic)의 형태를 취한다. 하나의 컬러 필터(적색, 녹색 또는 청색 필터)는 유익하게는, 소위 RGBG, GRGB 또는 RGGB 패턴이라고도 하는 패턴과 같이, 베이어 필터의 예에서 50% 녹색, 25% 적색 및 25% 청색을 포함하는 예정된 패턴에 따라 하나의 포토센서와 연관된다. 렌즈 배열은 소위 메인 렌즈라고도 하는 주 렌즈(10), 및 복수인 n개의 마이크로렌즈(111, 112, 1n)를 포함하는 렌즈렛 어레이(lenslet array)(11)를 포함하며, n은 2보다 크거나 같은 양의 정수이다. 마이크로렌즈(111, 112, 1n)는 복수의 포토센서와 광학적으로 각각 연관되는 그러한 방식으로 배열된다. 포토센서와 마이크로렌즈의 광학적 연관은 소정 마이크로렌즈를 통해 지나가는 광선이 이 소정 마이크로렌즈와 광학적으로 연관된 포토센서 중 적어도 하나에 도달함을 의미한다. 하나의 마이크로렌즈와 광학적으로 연관된 포토센서의 수는 플렌옵틱 카메라(1)로 취득되는 장면의 뷰의 수에 대응한다. 예시의 목적으로, 렌즈렛 어레이(11)는 비교적 작은 수의 마이크로렌즈로 도시되어 있지만, 마이크로렌즈의 수는 수천 또는 일백만 또는 수백만의 마이크로렌즈로까지도 확장될 수 있다. 여러 다른 뷰를 획득하기 위하여, 원시 이미지(즉, 포토센서 어레이(13)로 취득된 컬러 센서 데이터)는 역다중화되고 그 후 역모자이크화된다. 역모자이크화 단계 후에, RGB 이미지 데이터 값이 각각의 뷰에 대해 각각의 픽셀 위치에서 획득된다.
유익하게는 렌즈렛 어레이(11)와 설정된 컬러 필터 어레이(12)/포토센서 어레이(13) 간 갭이 형성된다. 갭은 공기로, 인덱스(n)를 갖는 광학 소재(예컨대, 글래스 층)로, 또는 적어도 하나의 층 공기 층 및 적어도 하나의 광학 소재 층을 포함하는 다수의 층으로 이루어질 수 있다. 갭을 형성하는데 글래스 층을 사용하는 것은 렌즈렛 어레이를 각각의 그리고 모든 위치마다 포토센서 어레이로부터 동일 거리에 유지하고 필요할 때 이 거리를 감축하는 이점을 갖는다. 길이방향 축을 따른 포토센서 어레이와 렌즈렛 어레이의 출력 간 거리가 d이면, 포토센서 어레이와 렌즈렛 어레이 간 인덱스(n)(n > 1, 예컨대 n = 1.5)를 갖는 광학 소재로 층을 구성하는 것은 d를 수정함이 없이 거리를 d/n으로 설정 가능하게 한다. 갭을 형성하는 층의 광학 소재의 인덱스를 적응/수정함으로써, 거리(d)를 수정함이 없이 포토센서 어레이와 렌즈렛 어레이 간 거리를 표현하는 파라미터를 적응/수정하는 것이 가능하다. 일 실시예에 의하면, 렌즈렛 어레이(11)는 포토센서 어레이(13)로부터 하나의 초점 거리(f)에 대략(즉, 초점 거리±5%) 있도록 놓여 조절되며, 여기에서 f는 마이크로렌즈의 초점 거리이다. 렌즈렛 어레이(11)는 주 렌즈(10)의 이미지 평면에 초점이 있고 렌즈렛 어레이(11)의 마이크로렌즈는 무한대에 초점이 있다. 다른 일 실시예에 의하면, 공간 해상도를 증가 또는 최대화하기 위하여, 즉, 더 첨예하고 더 높은 공간 해상도의 마이크로렌즈 이미지를 달성하기 위하여, 마이크로렌즈는, 주 렌즈 자체 상에 초점이 놓이는 대신에, 플렌옵틱 카메라(1)의 플렌옵틱 광학 렌즈의 내측에 그리고 렌즈렛 어레이(11)의 전방에(즉, 렌즈렛 어레이(11)와 주 렌즈(10) 사이에) 주 렌즈에 의해 생성된 이미지 상에 초점이 놓인다. 이러한 실시예에 의하면, 렌즈렛 어레이(11)는 포토센서 어레이(13)로부터 f보다 작거나 또는 f보다 큰 거리에 위치할 수 있다. 예컨대, 렌즈렛 어레이(11)는 포토센서 어레이(13)로부터 4/3 f 거리에, 또는 f의 배수인 다른 거리, 예컨대, 0.5 f, 1.5 f 또는 3/4 f에 놓일 수 있다.
당연히, 포토센서 어레이(13) 상의 컬러 필터의 배열은 RGGB 패턴에 국한되는 것은 아니다. 변형례에 의하면, 예정된 패턴은 (4개의 컬러 필터의 블록에 대해) 녹색 필터 중 하나가 '에머랄드'로 수정된 RGBE 패턴; (4개의 컬러 필터의 블록에 대해) 하나의 '시안' 필터, 2개의 '옐로우' 필터 및 하나의 '마젠타' 필터를 갖는 CYYM 패턴; 하나의 '시안' 필터, 하나의 '옐로우' 필터, 하나의 '녹색' 필터 및 하나의 '마젠타' 필터를 갖는 CYGM 패턴; 하나의 '적색' 필터, 하나의 '녹색' 필터, 하나의 '청색' 필터 및 하나의 '백색' 필터를 갖는 RGBW 패턴일 수 있고, 수개의 배열이 가능하다(예컨대, 상부 좌측 필터에 대해 '백색', 상부 우측 필터에 대해 '적색', 하부 좌측 필터에 대해 '청색' 및 하부 우측 필터에 대해 '녹색'으로 4개의 컬러 필터의 블록 상에 배열, 또는 제1 행에 대해 '백색', '청색', '백색', '녹색', 제1 행 아래의 제2 행에 대해 '청색', '백색', '녹색', '백색', 제2 행 아래의 제3 행에 대해 '백색', '녹색', '백색', '적색' 및 제3 행 아래의 제4 행에 대해 '녹색', '백색', '적색', '백색'으로 4x4 컬러 필터의 블록 상에 배열).
도 2는 본 발명의 비-제한적 특정 실시예에 따라 플렌옵틱 카메라(1)로 취득된 원시 이미지(2)를 예시하고 있다. 원시 이미지(2)는 픽셀의 매트릭스로 형성되고, 그 픽셀 수는 원시 이미지(2)를 취득하는데 사용되는 포토센서 어레이의 포토센서 수에 대응한다. 하나의 단일 컬러 성분이 이미지의 각각의 픽셀과 연관된다. 도 2의 비-제한적 예에 있어서, 각각의 픽셀과 연관되는 단일 컬러 성분은 R, G 또는 B(적색, 녹색 또는 청색) 중 어느 하나이다. 원시 이미지의 소정 픽셀과 연관되는 단일 컬러 성분은 포토센서에 도달하는 광의 양을 취득하도록 사용된 포토센서와 연관된 컬러 필터로부터 좌우된다. 광의 양은, 예컨대 8 비트(픽셀과 연관된 값이 0과 255 사이로 이루어짐) 또는 10 비트(그 값이 0과 1023 사이로 이루어짐)로 코딩된, 레벨을 표현하는 값으로 표현된다. 컬러 필터와 연관된 포토센서에 도달하는 광의 양을 표현하는 값은 포토센서에 대응하는 원시 이미지의 픽셀과 연관되고 그 픽셀과 연관된 (컬러 필터에 대응하는) 컬러 성분의 레벨을 표현한다. 도 2에 예시된 컬러 패턴은 RGGB(적색, 녹색, 녹색, 청색)이다, 즉, 2개의 행과 2개의 열로 배열된 4개의 픽셀(21 내지 24)의 블록에 대하여, 상부 좌측 픽셀(21)은 적색 컬러 성분과 연관되고, 상부 우측 픽셀(22)은 녹색 컬러 성분과 연관된고, 하부 좌측 픽셀(23)은 녹색 컬러 성분과 연관되고, 하부 우측 픽셀(24)은 청색 컬러 성분과 연관된다. 당연히, 컬러 패턴은 CFA의 컬러 필터의 배열로부터 좌우되고 여기 위에서 설명된 것과는 다를 수 있다. 일 세트의 마이크로렌즈(201, 202, 203, 204, 211, 221, 2n)가 도 2에 예시되어 있다. 각각의 마이크로렌즈(201 내지 2n)는 원시 이미지의 복수의 픽셀과 광학적으로 연관되며, 이들는 렌즈렛 어레이의 마이크로렌즈와 광학적으로 연관된 포토센서 어레이의 대응하는 포토센서에 대응한다. 각각의 마이크로렌즈(201 내지 2n)는 원형 형태를 갖고, 마이크로렌즈(201 내지 2n)는 전부 동일한 반경을 갖는 것이 유익하다. 렌즈렛 어레이에 의해 포토센서 어레이의 커버리지를 최적화하는 것에 관해서는, 마이크로렌즈(201 내지 2n)는 퀸컹스(quincunx) 배열로 배열되어, 그리하여 마이크로렌즈와 광학적으로 연관되지 않은 포토센서의 수를 감축하는 것이 유익하다. 동일한 수의 픽셀(또는 포토센서)이 각각의 마이크로렌즈와 연관된다, 예컨대 그것은, 예컨대, 2개의 픽셀(또는 포토센서)과 수 타 또는 일백 또는 수백의 픽셀(또는 포토센서)까지 사이로 이루어질 수 있다. 마이크로렌즈와 광학적으로 연관되는 픽셀(포토센서)의 수는 정수에 국한되는 것은 아니고, 정수가 아닌 수, 예컨대, X + 1/2 또는 X + 1/3로까지도 확장되며, 여기서 X는 정수이다.
마이크로렌즈의 형태도 원형에 국한되지 않는다. 마이크로렌즈는 또한 정사각형, 직사각형, 육각형 또는 어느 다른 형태라도 취할 수 있다.
도 3은 본 발명의 비-제한적 특정 실시예에 따라 원시 이미지(2)의 역다중화로부터의 결과적 장면의 뷰를 예시하고 있다.
장면을 표현하는 원시 이미지(2)는, 포토센서 어레이의 각각의 포토센서가 예정된 양의 시간 동안 그것에 도달하는 광의 양을 측정하여, 장면을 찍을 때 플렌옵틱 카메라(1)에 의해 취득된다. 이러한 측정은 유익하게는 8, 9, 10 또는 그 이상의 비트 상에서 인코딩되고 포토센서에 대응하는 원시 이미지의 픽셀과 연관된다. 하나의 단일 컬러 필터(예컨대, 적색, 녹색 또는 청색)가 각각의 포토센서와 연관되므로, 픽셀과 연관된 휘도를 표현하는 값도 원시 이미지의 픽셀과 연관된 컬러 성분의 레벨을 표현하며, 픽셀과 연관된 컬러 성분은 대응하는 포토센서와 연관된 컬러 필터의 컬러에 대응한다.
뷰(3)를 획득하기 위하여, 원시 이미지(2)는 여러 다른 뷰 포인트에 따라 장면의 뷰를 각각 표현하는 2개 이상의 뷰(뷰(3)를 포함함)를 획득하도록 역다중화된다. 뷰 이미지의 수는 렌즈렛 어레이의 하나의 마이크로렌즈와 광학적으로 연관된 포토센서의 수에 대응하는 것이 유익하다. 역다중화는 하나의 마이크로렌즈와 광학적으로 연관된 픽셀의 각각의 세트에서 하나의 픽셀을 선택함으로써 뷰를 재현 가능하게 한다. 뷰 이미지의 픽셀이 원시 이미지 내에서 선택된 픽셀에 대응하므로, 잘해야 (원시 이미지를 취득하도록 사용된 플렌옵틱 카메라의 CFA의 컬러 필터에 대응하는 컬러 성분 중) 하나의 단일 컬러 성분이 각각의 중개 이미지의 각각의 픽셀과 연관된다.
도 3은 원시 이미지(2)로부터의 결과적 하나의 뷰(3)의 일례를 도시하고 있다. 이러한 특정 뷰(3)의 픽셀은 예컨대 각각의 마이크로렌즈(201 내지 2n)의 중심에 대응하는 원시 이미지의 픽셀에 대응한다: 픽셀(301)은 마이크로렌즈(201)의 중심에 대응하는 원시 이미지(2)의 픽셀이고, 픽셀(302)은 마이크로렌즈(202)의 중심에 대응하는 원시 이미지(2)의 픽셀이고, 픽셀(303)은 마이크로렌즈(203)의 중심에 대응하는 원시 이미지(2)의 픽셀이고, 픽셀(311)은 마이크로렌즈(211)의 중심에 대응하는 원시 이미지(2)의 픽셀이고, 픽셀(321)은 마이크로렌즈(221)의 중심에 대응하는 원시 이미지(2)의 픽셀이고, 픽셀(322)은 마이크로렌즈(222)의 중심에 대응하는 원시 이미지(2)의 픽셀이고 등이다. 뷰(3)의 픽셀(301 내지 322)과 연관된 컬러 성분은 마이크로렌즈의 중심에 대응하는 원시 이미지(2)의 픽셀과 연관된 컬러 성분에 각각 대응한다. 컬러 정보가 없는 픽셀(30, 31, 32, 33, 34)(도 3에서 백색으로 예시됨)이 뷰(3)에 부가되어 있다. 이들 "백색" 픽셀(30 내지 34)은 마이크로렌즈(201 내지 2n)의 퀸컹스 배열에 기인하여 부가된다. 실로, 마이크로렌즈가 퀸컹스 방식으로 배열되므로, 그들 각각의 중심은 열 방식으로 정렬되지 않는다. 예컨대, 마이크로렌즈(211)의 중심이 속하는 열은 마이크로렌즈(201, 202)의 중심이 속하는 열 사이에 위치한다. 뷰(3)를 형성하는 픽셀의 매트릭스를 발생시키는 것에 관해서는, 어떠한 컬러 정보도 없는 픽셀(30)이 픽셀(301)과 픽셀(302) 사이에 부가되고, 이 픽셀(30)은 픽셀(301, 302)을 포함하는 매트릭스의 행에 그리고 픽셀(311)을 포함하는 매트릭스의 열에 속한다. 동일한 방식으로, 컬러 성분이 없는 픽셀(32)은 중개 이미지를 형성하도록 부가되고, 픽셀(32)은 픽셀(311)과 동일한 행에 그리고 픽셀(301, 321)과 동일한 열에 속한다. 당연히, 컬러 성분 없는 픽셀을 부가할 필요성에 대하여 도 3에 예시된 픽셀의 배열은 마이크로렌즈의 배열로부터 좌우된다. 예컨대, 마이크로렌즈가 정사각형 형태를 갖는 경우에, 그들은 포토센서 어레이에 관하여 규칙적으로 배열될 수 있고, 그때 여러 다른 마이크로렌즈와 연관된 픽셀의 각각의 세트에서 선택된 픽셀은 원시 이미지의 역다중화로부터의 결과적 각각의 뷰에서 서로 완벽하게 정렬된다.
도 4는 본 발명의 비-제한적 특정 실시예에 따라 원시 이미지(2)의 역다중화로부터의 결과적 뷰 매트릭스(4)를 예시하고 있다. 도 4의 예에 있어서, 매트릭스(4)는 5개의 행(L-2, L-1, L, L+1, L+2) 및 5개의 열(C-2, C-1, C, C+1, C+2)에 따라 배열된 일 세트의 13개의 다른 뷰를 포함하고, 행(L) 및 열(C)에 속하는 뷰는 예컨대 도 3에 예시된 뷰(3)에 대응한다. 행당(각각 열당) 뷰의 수는 행마다 (각각) 다르다. 예컨대, 행(L-2, L+2)(각각 열(C-2, C+2))은 각각 하나의 단일 뷰를 포함하고, 행(L-1, L+1)(각각 열(C-1, C+1))은 각각 3개의 뷰를 포함하고 행(L)(각각 열(C))은 5개의 뷰를 포함한다. 매트릭스(4) 내 뷰의 수는 플렌옵틱 카메라의 렌즈렛 어레이의 각각의 마이크로렌즈와 광학적으로 연관된 픽셀의 수에 대응하고 매트릭스(4)의 형태(도 4의 예에서는 원형)는 렌즈렛 어레이의 마이크로렌즈의 형태에 대응한다. 매트릭스의 각각의 뷰는 플렌옵틱 카메라로 취득된 것과 동일한 장면이지만 다른 뷰 포인트를 표현한다. 픽셀의 수는 유익하게는 각각의 뷰에 대하여 동일하고, 컬러 배열만이 뷰마다 달라진다.
매트릭스의 형태는 마이크로렌즈의 형태에 대체로 대응하므로, 매트릭스(4)의 형태는 도 4의 예에 국한되지 않고 어떠한 형태로라도 확장됨이 당연하다. 예컨대, 정사각형 형태를 갖는 마이크로렌즈로는, 뷰의 매트릭스도 매트릭스의 각각의 행 및 각각의 열에 대해 정확히 동일한 수의 뷰를 갖는 정사각형 형태를 가질 것이다.
도 5는 본 발명의 비-제한적 특정 실시예에 따라 도 4의 매트릭스의 뷰로부터 시차 정보를 추정하는 방법을 예시하고 있다.
도 5는 제1 뷰(50)(예컨대, 도 4에서 행(L)과 열(C)의 교차부에서의 뷰에 대응함) 및 제1 뷰(50)와는 다른 2개의 제2 뷰(51, 52)를 도시하고 있다. 제2 뷰(51)는 제1 뷰(50)를 포함하는 행에 속한다(그리고 예컨대 도 4에서 행(L)과 열(C+1)의 교차부에서의 뷰에 대응한다). 제2 뷰(52)는 제1 뷰(50)를 포함하는 열에 속한다(그리고 예컨대 도 4에서 행(L+1)과 열(C)의 교차부에서의 뷰에 대응한다). 제1 픽셀 블록(501)은 이 제1 블록(501)과 연관될 시차 정보를 추정하는 프로세스를 예시하기 위한 일례로서 제1 뷰(50)에서 취해진다. 동일한 프로세스가 제1 뷰 전체에 대한 또는 그 일부분에 대한 시차 맵을 추정하도록 제1 뷰의 복수의 제1 블록에 대해 반복될 수 있음이 당연하다. 제1 블록(501)은 15개의 픽셀을 포함하고 그 중심은 픽셀(5010)이 된다. 블록(501)에 대해 추정되는 시차 정보는 픽셀(5010)과 연관되는 것이 유익하다. 픽셀(5010)은 행(i) 및 열(j)에 속하며, 제1 뷰와 연관된 2D 공간에서 픽셀(5010)의(그리고 연관된 픽셀 블록(501)의) 좌표(i,j)에 대응하고, 여기에서 원점은 예컨대 상부 좌측 픽셀(좌표로서 (0,0)을 가짐)에 또는 하부 좌측 픽셀에 대응한다. 제1 컬러 패턴은 제1 블록(501)과 연관되고, 제1 컬러 패턴은 제1 블록(501)의 픽셀과 연관된 컬러 성분의 배열에 대응한다. 도 5의 예에 있어서, 제1 컬러 패턴은, 상부 좌측 픽셀로부터 출발하여 우측으로, 행마다 이동하여 하부 우측 픽셀로 종료할 때, 다음과 같다: NGNGNBNBNBNGNGN, N은 컬러 정보 없음을, G는 녹색 컬러 성분을 그리고 B는 청색 컬러 성분을 의미한다. 제1 컬러 패턴은 제1 블록(501)과 동일한 컬러 패턴을 갖는 제2 픽셀 블록(511)을 찾아낼 때까지 제2 뷰(51) 내 제2 픽셀 블록(510, 511)과 각각 연관된 제2 컬러 패턴과 비교된다. 제2 픽셀 블록은 제1 픽셀 블록(501)과 동일한 수의 픽셀, 즉, 도 5의 예에서 15개의 픽셀을 갖는다. 제1 및 제2 픽셀 블록은 유익하게는 동일한 종좌표(i)를 갖는다, 다른 말로 하면, 제1 블록(501) 및 제2 블록(511) 각각의 중심이 되는 픽셀(5010) 및 픽셀(5110)은 동일한 종좌표(i)를 갖는다(또는 동일한 행에 속한다). 제1 뷰(50) 및 제2 뷰(51)는 각각의 뷰에서 동일한 원점(예컨대, 그들 둘 다에 대해 상부 좌측 픽셀) 및 동일한 수의 행 및 동일한 수의 열을 갖는 유사한 2D 공간을 가짐이 이해된다. 제2 뷰에서 제1 컬러 패턴과 똑같은 제2 컬러 패턴을 갖는 제2 픽셀 블록을 찾아내기 위하여, 제1 픽셀 블록과 동일한 수의 픽셀을 갖고 제1 블록(501)의 중심 픽셀과 동일한 행에 속하는 픽셀 주위를 중심으로 하는 각각의 제2 픽셀 블록이, 예컨대, 제2 뷰의 좌측 측면으로부터 출발함으로써 그리고 현재의 제2 픽셀이 제1 픽셀 블록에 대응하지 않으면 하나의 열의 앞으로 이동함으로써, 차례로 분석된다. 변형례에 의하면, 제1 픽셀 블록과 매칭하는 제2 픽셀 블록을 찾아낼 때까지 인접하는 제2 픽셀 블록이 차례로 분석된다. 예컨대, 제2 픽셀 블록(510)이 시험된다, 즉, 그 제2 컬러 패턴(GNGNGNBNGNGNGNG)이 제1 컬러 패턴과 비교된다. 이러한 제2 컬러 패턴이 제1 컬러 패턴과 매칭하지 않을 때(즉, 이러한 제2 컬러 패턴이 제1 컬러 패턴과 똑같지 않을 때), 그때는 제2 픽셀 블록(510)에 인접하고 제2 픽셀 블록(510)의 우측에 위치하는 제2 픽셀 블록(511)이 시험된다. 제2 컬러 패턴(NGNGNBNBNBNGNGN)이 제1 컬러 패턴과 똑같을 때, 그때는 이러한 제2 픽셀 블록(511)이 선택된다. 이러한 프로세스는 유익하게는 제1 뷰와 동일한 행에 속하는 각각의 제2 뷰 내 하나 또는 수개의 제2 블록을 선택하기 위하여 뷰 매트릭스(4) 내 제1 뷰와 동일한 행에 속하는 각각의 그리고 모든 뷰마다에 대해 반복된다. 변형례에 의하면, 제1 뷰와 동일한 행에 속하는 제2 뷰의 일부분만이, 예컨대, 제1 뷰의 우측에(또는 좌측에) 위치하는 제2 뷰 전부에 대하여, 또는 2개의 뷰마다(즉, 제1 뷰가 열(C)에 속할 때 열(C±2N)에 속하는 제2 뷰, 여기서 N은 1보다 크거나 같은 정수) 시험된다.
변형례에 의하면, 제2 픽셀 블록은 그 연관된 제2 컬러 패턴이 제1 컬러 패턴과 부분적으로 매칭하더라도 선택된다. 이러한 변형례에 의하면, 제1 블록의 대응하는 픽셀과 연관된 컬러 성분과 동일한 컬러 성분을 갖는 제2 블록의 픽셀만이 시차를 추정하는데 사용된다. 제1 블록의 픽셀은, 제1 블록 내 픽셀의 위치가 제2 블록 내 픽셀의 위치와 동일할 때, 즉, 블록 내에서 동일한 참조(즉, 동일한 원점, 예컨대, 제1 및 제2 블록의 상부 또는 하부 좌측 픽셀)가 사용되고 픽셀 블록 내 행 및 열의 번호를 매기기 위한 참조가 뷰가 아니라 블록인 때에는 제1 및 제2 블록 둘 다에서 동일한 행 및 열일 때 제2 블록의 픽셀에 대응한다.
제1 블록(501)과(또는 등가적으로는 픽셀(5010)과) 연관될 시차 정보는 그 후 그 선택된 제2 블록(511)과 제1 블록(501)을 사용함으로써 결정된다. 시차 정보는, 예컨대, 픽셀(5010)의 횡좌표, 즉, 제1 뷰(50)의 2D 공간 내 j를 픽셀(5110n)의 횡좌표, 즉, 제2 뷰(51)의 2D 공간 내 j+4와 비교함으로써 결정되는 제1 시차 값에 대응하고, 비교 참조가 제1 뷰(50) 및 제2 뷰(51)와 연관된 2D 공간의 원점과 동일(예컨대, 그들 둘 다에 대해 상부 좌측 픽셀 또는 그들 둘 다에 대해 하부 좌측 픽셀)한 것은 마찬가지이다. 제1 시차 값은 유익하게는 이들 2개의 횡좌표 간 차이, 즉, 도 5의 예에서는 4 픽셀에 대응한다. 2개 이상의 제2 픽셀 블록이 (뷰 매트릭스 내 제1 뷰와 동일한 행에 속하는 2개 이상의 제2 뷰에서) 선택되면, 그때 각각의 선택된 제2 픽셀 블록과 제1 픽셀들 간 횡좌표 차이가 결정되고(즉, 수개의 제1 시차 값이 결정되고), 제1 블록과 연관될 시차 정보가 이들 제1 값들의 가중 평균에 대응하며, 각각의 제1 시차 값과 연관될 가중치는 뷰 매트릭스의 행(L)에서 제1 뷰와 제2 뷰를 분리하는 거리(D)로부터 좌우된다. 예컨대, 제2 블록을 선택하도록 고려되는 제2 뷰가 뷰 매트릭스(4)에서 제1 뷰의 우측에 위치하는 뷰이면, 즉, 제2 뷰가 열(C+1, C+2)에 속할 때, 제1 뷰로부터 C+1의 제2 뷰를 분리하는 거리는 1.D이고 제1 뷰로부터 C+2의 제2 뷰를 분리하는 거리는 2.D이다. C+1의 제2 뷰의 선택된 제2 블록을 비교함으로써 결정된 제1 시차 값(d1)은 그 후 1로 나눗셈 되고, C+2의 제2 뷰의 선택된 제2 블록을 비교함으로써 결정된 제1 시차 값(d2)은 그 후 2로 나눗셈 된다. 그 후 시차 정보(d)는 다음과 같이 획득된다:
Figure pat00001
m개의 선택된 제2 블록으로 일반화함으로써, 다음을 얻는다:
Figure pat00002
여기서 a는 고려되는 제2 뷰를 제1 뷰로부터 분리하는 거리의 배수에 대응하는 정수이고, 이때 그 거리는 x*D로 표현되며, 여기서 D는 행 상에서 제1 블록과 제1 블록에 인접하는 제2 블록을 분리하는 거리이다.
변형례에 의하면, 제1 블록(501)과(또는 환언하면 그 중심 픽셀(5010)과) 연관될 제1 시차 값은 적응형 SSD(Sum of Squared Difference) 최소화 알고리즘을 사용함으로써 결정된다. 더 정확히는, 제1 뷰(l1)와 적어도 하나의 제2 뷰(l2) 간 x에서의 비용 함수는 다음과 같이 정의된다:
Figure pat00003
d가 제1 블록(501)과 적어도 하나의 제2 뷰 내 선택된 제2 블록(예컨대, 제2 뷰(51) 내 제2 블록(511)) 간 시차인 경우, Wx는 x에 중심이 있는 윈도우 함수(예컨대, 가우시안)이고, Bx는 블록(Bx)의 다른 픽셀에 대응하는 x,y 상에 중심이 있는 픽셀 블록이고, X는 제1 컬러 패턴과 똑같은 제2 컬러 패턴(들)만을 고려하는 특성 함수(블록(y+a1d, y+a2d)에서의 컬러 패턴이 동일하면 Xd(y) = 1이고, 그렇지 않으면 Xd(y) = 0)이고, 인수(a1, a2)는 제1 뷰 및 제1 뷰와 제2 뷰(들) 간 베이스행에 의존하는 고정값이다(예컨대, 제1 뷰(l1)에 대해 a1 = 0, 제1 뷰에 인접하는 제2 뷰에 대해 a2 = 1, 다음의 제2 뷰(즉, 제1 뷰에 인접하는 제2 뷰에 바로 인접함)에 대해 a2 = 2 등이다).
변형례에 의하면, X는 제1 블록의 픽셀과 매칭하는 컬러 정보를 갖는 제2 블록(들)의 제2 픽셀만을 고려하는 특성 함수이다(즉, 제2 블록의 제2 픽셀은 제1 및 제2 픽셀이 각각 제1 및 제2 블록 내에서 동일한 위치를 가지면 그리고 제1 픽셀과 연관된 컬러 성분이 제2 픽셀과 연관된 컬러 성분과 동일하면 제1 블록의 제1 픽셀과 매칭한다). 후자의 변형례는 제1 픽셀 블록과 부분적으로 매칭할 뿐인 제2 픽셀 블록을 고려 가능하게 한다. 이러한 변형례에 의하면, 비용 함수는 다음과 같다:
Figure pat00004
식3으로부터 시차 정보를 획득하기 위하여, 다수의 d 값(소위 후보 시차 정보)이 시험되고 Cx 1 ,2(d)가 최소인 d 값이 제1 블록과 연관될 시차 정보이다. 시험되는 후보 시차 정보는 유익하게는 최소 시차 값과 최대 시차 값 사이로 이루어지며, 그 둘 다 장면을 취득하는데 사용된 플렌옵틱 카메라로부터 좌우된다, 즉, 최소 시차 값과 최대 시차 값은 플렌옵틱 카메라에 의해 고정된다. 시험되는 후보 시차 정보(d)의 수는 예컨대 44, 36 또는 28과 같다. 시험되는 후보 시차 정보의 수는, 예컨대, [-5; 5], [-4; 4] 또는 [-3; 3] 등인, 플렌옵틱 카메라의 (최소와 최대 시차 값 간) 시차 범위(R)로부터 좌우된다(시험되는 후보 시차 값의 수는 예컨대 4*R이다). 도 6은 비-제한적 실시예에 따라 그러한 비용 함수(또는 그 일부분)을 예시하고 있다. 도 6에는 3개의 후보 시차 정보(61, 62, 63)가 도시되어 있고, 비용 함수는, 적어도 국부적으로는, 쌍곡선 함수에 대응한다. 제1 후보 시차 정보(d1)(61)는 C1와 같은 비용 값을 갖고, 제2 후보 시차 정보(d2)(62)는 C2와 같은 비용 값을 갖고, 제3 후보 시차 정보(d3)(63)는 C3와 같은 비용 값을 갖는다. C2<C1<C3이므로, 그때 최소 비용 값은 제1 블록(501)과 연관될 시차 정보가 d2(62)임을 의미하는 C2이다.
다른 변형례에 의하면, ZSSD(Zero-mean Sum of Squared Difference) 또는 NCC(Normalized Cross Correlation)와 같은 다른 시차 추정기가 제1 시차 값을 결정하기 위한 SSD 최소화 알고리즘으로서 사용 및 적응된다.
뷰 매트릭스(4)의 동일한 행(L)에 속하는 제1 뷰(50)와 제2 뷰(51) 간 비교 프로세스는 뷰 매트릭스(4)의 동일한 열(C)에 속하는 제1 뷰(50)와 제2 뷰(52) 간 수행되는 것이 유익하다. 변형례에 의하면, 제1 픽셀 블록(501)(즉, 그 제1 컬러 패턴)은 제1 뷰(50)를 포함하는 뷰 매트릭스의 열에 속하는 수개의 제2 뷰의 수개의 제2 픽셀 블록과 비교된다. 제2 픽셀 블록(511)이 선택된 것과 동일한 방식으로, 제2 픽셀 블록(521)은 그것이 제1 컬러 패턴과 똑같은 제2 컬러 패턴(NGNGNBNBNBNGNGN)을 가질 때 선택된다. 이러한 프로세스는 유익하게는 제1 뷰와 동일한 열에 속하는 각각의 제2 뷰 내 하나 또는 수개의 제2 블록을 선택하기 위하여 뷰 매트릭스(4) 내 제1 뷰와 동일한 열에 속하는 각각의 그리고 모든 제2 뷰마다에 대해 반복된다. 변형례에 의하면, 제1 뷰와 동일한 열에 속하는 제2 뷰의 일부분만이, 예컨대, 제1 뷰의 위에(또는 아래에) 위치하는 제2 뷰 전부에 대하여, 또는 2개의 뷰마다(즉, 제1 뷰가 행(L)에 속할 때 행(L±2N)에 속하는 제2 뷰, 여기서 N은 1보다 크거나 같은 정수) 시험된다. 또 다른 변형례에 의하면, 또한 제1 블록과 부분적으로 매칭하는 제2 블록이 선택되고, 제1 픽셀 블록의 제1 픽셀과 매칭하는 제2 블록(들)의 픽셀만이 제2 시차 값을 추정하는데 사용된다. 제1 블록(501)과(또는 등가적으로는 픽셀(5010)과) 연관될 시차 정보는 그 후 그 선택된 제2 블록(521)과 제1 블록(501)을 사용함으로써 결정된다. 시차 정보는, 예컨대, 픽셀(5010)의 종좌표, 즉, 제1 뷰(50)의 2D 공간 내 i를 픽셀(5210)의 종좌표, 즉, 제2 뷰(52)의 2D 공간 내 i-4와 비교함으로써 결정되는 제2 시차 값에 대응하고, 비교 참조가 제1 뷰(50) 및 제2 뷰(52)와 연관된 2D 공간의 원점과 동일(예컨대, 그들 둘 다에 대해 상부 좌측 픽셀 또는 그들 둘 다에 대해 하부 좌측 픽셀)한 것은 마찬가지이고 행(각각 열)의 수가 제1 뷰(50) 및 제2 뷰(52) 둘 다에서 똑같다. 제2 시차 값은 유익하게는 이들 2개의 종좌표 간 차이, 즉, 도 5의 예에서는 -4 픽셀에 대응한다. 2개 이상의 제2 픽셀 블록이 (뷰 매트릭스 내 제1 뷰와 동일한 행에 속하는 2개 이상의 제2 뷰에서) 선택되면, 그때 각각의 선택된 제2 픽셀 블록과 제1 픽셀들 간 종좌표 차이가 결정되고(즉, 수개의 제2 시차 값이 결정되고), 제1 블록과 연관될 시차 정보가 이들 제1 값들의 가중 평균에 대응하며, 각각의 제1 시차 값과 연관될 가중치는 뷰 매트릭스의 열(C)에서 제1 뷰와 제2 뷰를 분리하는 거리(D)로부터 좌우되는데, 뷰 매트릭스의 동일한 행에 속하는 제1 뷰(50) 및 제2 뷰(51)에 관하여 설명된 바와 같다.
변형례에 의하면, 그리고 뷰 매트릭스의 동일한 행의 제1 및 제2 뷰에 관하여 여기 위에서 설명된 바와 같이, 제1 블록(501)과(또는 환언하면 그 중심 픽셀(5010)과) 연관될 제2 시차 값은 적응형 SSD 최소화 알고리즘을 사용함으로써, 즉, 식3을 사용함으로써 결정된다.
다른 변형례에 의하면, ZSSD 또는 NCC와 같은 다른 시차 추정기가 제2 시차 값을 결정하기 위한 SSD 최소화 알고리즘으로서 사용 및 적응된다.
유익한 실시예에 의하면, 수평 시차를 표현하는(즉, 뷰 매트릭스의 동일한 행에 속하는 제1 픽셀 블록 및 제2 픽셀 블록(들)을 사용함으로써 결정되는) 하나의 제1 시차 값이 결정되고 수직 시차를 표현하는(즉, 뷰 매트릭스의 동일한 열에 속하는 제1 픽셀 블록 및 제2 픽셀 블록(들)을 사용함으로써 결정되는) 하나의 제2 시차 값이 또한 결정된다. 그때 제1 픽셀 블록(501)과 연관될 시차 정보는 제1 시차 값 또는 제2 시차 값 중 어느 하나이다. 제1 시차 값과 제2 시차 값 간 선택은 유익하게는 제1 및 제2 시차 값과 연관된 신뢰 레벨에 기반하고, 제1 픽셀 블록(501)과 연관될 시차 정보로서 사용되도록 선택된 시차 값은 예컨대 최상 신뢰 레벨을 갖는 것이다. 다른 일례에 의하면, 시차 정보로서 사용되도록 선택된 시차 값은 가장 낮은 값(또는 가장 큰 값)을 갖는 것이다. 변형례에 의하면, 제1 픽셀 블록(501)과 연관될 시차 정보는 제1 시차 값의 그리고 제2 시차 값의 평균에 대응한다. 유익하게는, 제1 픽셀 블록(501)과 연관될 시차 정보를 결정하도록 제1 및 제2 시차 값을 사용하기 전에, 제1 시차 값이 제2 시차 값으로부터 가까운지 우선 점검된다, 또는 환언하면, 제1 시차 값과 제2 시차 값 간 차이가 0에 가까운지 또는 임계값 미만(예컨대, 0.5 픽셀 미만 또는 0.25 픽셀 미만)인지 우선 점검된다. 실로, 플렌옵틱 카메라로 취득된 뷰로 그리고 제1 뷰의 소정 픽셀에 대해, 뷰 매트릭스 내 동일한 행의 제1 뷰와 (수평) 제2 뷰 간 수평 시차(즉, 제1 뷰의 소정 픽셀에 대응하는 제2 뷰의 픽셀 간 수평 시차)는 이론적으로는 뷰 매트릭스 내 동일한 열의 제1 뷰와 (수직) 제2 뷰 간 수직 시차(즉, 제1 뷰의 소정 픽셀에 대응하는 제2 뷰의 픽셀 간 수직 시차)와 동일하며, 수평 제2 뷰는 제1 뷰로부터의 거리 N.D(N ≥ 1)에 위치하고 수직 제2 뷰는 수평 제2 뷰보다 제1 뷰로부터의 동일 거리 N.D(N ≥ 1)에 위치한다.
또 다른 변형례에 의하면, 시차 결정에서 (1 픽셀 아래의 상세 레벨로, 예컨대 1/4 또는 1/2 픽셀과 같은 정확도로) 서브픽셀 정확도를 획득하기 위하여, 제1 및 제2 뷰는 원시 이미지를 역다중화함으로써 획득된 제1 및 제2 뷰를 보간함으로써 오버샘플링된다. 일 변형례에 의하면, 비용 함수는 도 6에 관하여 설명된 비용 함수를 보간함으로써 오버샘플링된다. 또 다른 변형례에 의하면, 뷰 및 비용 함수는 둘 다 (예컨대, 인수 4로) 오버샘플링된다. 일례로서, (인수 4만큼) 제1 및 제2 뷰를 수평으로 보간하기 위해 큐빅 스프로우(cubic sprow)가 사용되고, 비용 함수의 최소값 주위에서 (예컨대, 3개의 포인트를 사용하여) 비용 함수를 보간하기 위해 쿼드라틱 보간이 사용된다. 뷰 및 비용 함수를 둘 다 보간하는 것은 정확도와 복잡도 간 최적 절충점을 획득 가능하게 한다. 제1 시차 값 및/또는 제2 시차 값이 보간된 뷰 및/또는 보간된 비용 함수를 사용함으로써 결정되고 나면, 시차 정보는 그저 뷰의 오버샘플링을 위해 사용된 인수로 나눗셈만 하면 되고, 이것은 서브픽셀 정확도를 획득 가능하게 한다(예컨대, 오버샘플링 인수가 4와 같으면, 획득될 수 있는 서브픽셀 정확도는 1 픽셀 나누기 4, 즉, 1/4 픽셀 정확도와 같다).
도 7은, 비-제한적 특정 실시예에 따라, 플렌옵틱 카메라로 취득된 장면의 원시 이미지의 역다중화로부터의 결과적 뷰 매트릭스에 포함된 뷰의 적어도 일부분의 시차 정보를 추정하도록 구성된 회로 또는 디바이스(7)의 하드웨어 실시예를 도해 표시하고 있다. 디바이스(7)는 또한 여러 다른 뷰 포인트에 따라 플렌옵틱 카메라로 취득된 장면을 표현하는 하나 또는 수개의 최종 이미지의 디스플레이 신호의 생성을 위하여 구성된다. 디바이스(7)는, 예컨대, 플렌옵틱 카메라에 통합되거나 또는 퍼스널 컴퓨터(PC), 랩톱, 태블릿, 스마트폰 또는 게임 콘솔에 디포팅되어 있다. 원시 이미지는 유익하게는 디바이스/회로(7)에 의해 수신되고, 원시 이미지의 전송은 무선으로, 유선 접속을 통하여 또는 (예컨대, 플래시 유형의) 메모리와 같은 어느 지원을 통하여 수행된다.
디바이스(7)는 클록 신호도 수송하는 데이터 및 주소 버스(75)에 의해 서로 접속된 이하의 엘리먼트를 포함한다:
- 마이크로프로세서(71)(CPU),
- 다음을 포함하는 그래픽 카드(72):
Figure pat00005
수개의 그래픽 프로세서 유닛(또는 GPU)(720),
Figure pat00006
그래픽 램(GRAM)(721),
- ROM(롬) 유형의 비-휘발성 메모리(76),
- 램 또는 RAM(77),
- 예컨대 키보드, 마우스, 웹캠과 같은 하나 또는 수개의 I/O(입/출력) 디바이스(74) 및
- 전원(78).
디바이스(7)는 또한 그래픽 카드에서 계산되고 컴포징된 합성 최종 이미지를, 예컨대 라이브로, 디스플레이하기 위해 그래픽 카드(72)에 직접 접속된 디스플레이 스크린 유형의 디스플레이 디바이스(73)를 포함한다. 디스플레이 디바이스(73)를 그래픽 카드(72)에 접속하는 전용 버스의 사용은 훨씬 더 큰 데이터 송신 비트레이트를 갖고 그리하여 그래픽 카드에 의해 합성된 이미지의 디스플레이에 대한 레이턴시 시간을 감축하는 이점을 제공한다. 일 변형례에 의하면, 디스플레이 디바이스는 디바이스(7)의 외부에 있고, 디스플레이 신호를 송신하도록 무선으로 또는 케이블에 의해 디바이스(7)에 접속되어 있다. 디바이스(7), 예컨대 그래픽 카드(72)는 LCD 또는 플라즈마 스크린 또는 비디오-프로젝터와 같은 외부 디스플레이 수단에 디스플레이 신호를 송신하도록 적응된 접속 또는 송신용 인터페이스(도 7에는 도시하지 않음)를 포함한다.
메모리(721, 76, 77)의 설명에서 사용되는 단어 "레지스터"는, 언급된 메모리의 각각에 있어서, 저용량(2진 데이터 조금) 메모리 존도, 그와 더불어 대용량(디스플레이될 또는 계산된 데이터를 표현하는 데이터의 전부 또는 일부 또는 전체 프로그램 저장 가능) 메모리 존도 지명하는 것임이 주목된다.
온-스위칭될 때, 마이크로프로세서(71)는 RAM(77)에 들어있는 프로그램의 명령어를 로딩하여 실행한다.
램(77)은 주목할만하게는 다음을 포함한다:
- 레지스터(770)에는, 디바이스(7)의 온 스위칭을 맡고 있는 마이크로프로세서(71)의 운영 프로그램,
- 장면을 표현하는 파라미터(771)(예컨대, 원시 이미지의 픽셀과 연관된 단일 컬러 성분 값).
이후 설명되고 본 발명에 구체적인 방법의 단계를 구현하는 알고리즘은 이들 단계를 구현하는 디바이스(7)와 연관된 그래픽 카드(72)의 메모리 GRAM(721)에 저장된다. 온 스위칭될 때 그리고 환경을 표현하는 파라미터(771)가 RAM(77) 내로 로딩되고 나면, 그래픽 카드(72)의 그래픽 프로세서(720)는 이들 파라미터를 GRAM(721) 내로 로딩하고 HLSL(High Level Shader Language) 언어 또는 GLSL(OpenGL Shading Language)을 사용하는 "셰이더" 유형의 마이크로프로그램 형태의 이들 알고리즘의 명령어를 실행한다.
램 GRAM(421)은 주목할만하게는 다음을 포함한다:
- 레지스터(7211)에는, 장면/원시 이미지를 표현하는 파라미터,
- 레지스터(7212)에는, 뷰 매트릭스의 제1 및 제2 뷰를 표현하는 파라미터(예컨대, 뷰의 픽셀과 연관된 컬러 정보),
- 레지스터(7213)에는, 뷰 매트릭스의 제1 뷰 및/또는 다른 뷰의 픽셀과 연관된 시차 정보로서, 예컨대, 제1 뷰 및/또는 다른 뷰와 연관된 시차 맵의 형태를 취하는 시차 정보.
또 다른 변형례에 의하면, GRAM(721)에서 이용가능한 메모리 저장 공간이 불충분하면 식별자 및 거리의 저장을 위해 CPU(71)에 의해 RAM(77)의 일부분이 할당된다. 그렇지만 이러한 변형례는, GPU로부터 GRAM으로 및 그 역으로 데이터의 송신을 위해 그래픽 카드에서 이용가능한 것보다 송신 용량이 일반적으로 더 못한 버스(75)를 지나쳐 그래픽 카드로부터 램(77)으로 데이터가 송신되어야 하므로, GPU에 들어있는 마이크로프로그램으로부터 합성된 환경의 표현을 포함하는 이미지의 합성에서 더 큰 레이턴시 시간을 야기한다.
또 다른 변형례에 의하면, 전원(78)은 디바이스(7)의 외부에 있다.
도 8은, 본 발명의 비-제한적 특정 실시예에 따라, 플렌옵틱 카메라로 취득된 장면의 원시 이미지의 역다중화로부터의 결과적 뷰 매트릭스에 포함된 제1 뷰의 적어도 일부분의 시차 정보를 추정하는 것을 예시하고 있다.
제1 단계(81)에서는, 제1 뷰의 제1 픽셀(들) 블록의 제1 컬러 패턴이 뷰 매트릭스의 하나 이상의 제2 뷰의 하나의 제2 픽셀(들) 블록과 각각 연관된 하나 이상의 제2 컬러 패턴과 비교된다. 픽셀 블록(즉, 뷰의 하나 이상의 픽셀로 형성된 블록)과 연관된 컬러 패턴은 블록의 각각의 픽셀과 연관된 단일 컬러 정보의 배열에 대응하고, 단일 컬러 정보는 원시 이미지를 취득하는데 사용되는 컬러 공간의 컬러 성분 중 하나에 또는 어떠한 컬러 정보도 결핍(흑색 픽셀)에 대응한다. 제1 픽셀(들) 블록과 비교되는 제2 픽셀(들) 블록(들)을 포함하는 제2 뷰(들)는 원시 이미지를 역다중화함으로써 획득되는 뷰 매트릭스 내 제1 뷰를 포함하는 행 또는 열에 속하는 것이 유익하다. 서로 비교되는 제1 및 제2 픽셀(들) 블록은 동일한 수의 픽셀(들), 즉, 하나 이상의 픽셀을 포함하는 것이 유익하다.
그 후 제2 단계(82) 동안 하나 이상의 제2 픽셀(들) 블록이 각각의 제2 뷰에 대해 선택(들) 된다. 선택된 제2 블록(들)은 제1 컬러 패턴과 충분히 매칭하는 연관된 제2 컬러 패턴을 갖는 제2 블록(들)에 대응하는 것이 유익하다. 또 다른 변형례에 의하면, 제2 블록의 일부분(들)만이 선택되고, 선택되는 제2 블록(들)의 일부분(들)은 제1 블록의 대응하는 부분(들)과 매칭하는 제2 블록(들)의 일부분(들)에 대응한다. 블록의 일부분은 블록의 하나 또는 수개의 픽셀에 대응한다. 수개의 픽셀이면, 이들 픽셀은 인접하고 있을 수도 또는 떨어져 있을 수도 있다. 제2 픽셀의 픽셀은 제2 블록 내 픽셀의 위치(즉, 그것이 속하는 제2 블록 내 행 및 열)가 제1 블록 내 대응하는 픽셀과 동일(제1 블록에서와 동일한 행 및 동일한 열, 행 및 열 번호에 대한 참조는 뷰가 아니라 블록임)하면 그리고 제2 블록의 픽셀과 연관된 컬러 성분이 제1 블록 내 픽셀과 연관된 컬러 성분과 동일하면 제1 블록의 픽셀과 대응(또는 매칭)하는 것으로 생각된다.
제3 단계(83) 동안, 도 5에 관하여 여기 위에서 설명된 바와 같이, 시차 정보는 선택된 제2 블록(들)(또는 제2 블록(들)의 일부분(들)) 및 제1 블록을 사용함으로써 결정된다. 결정된 시차 정보는 제1 픽셀 블록이 수개의 픽셀을 포함할 때 그 블록의 중심과 연관되는 것이 유익하다.
단계(81 내지 83)는 제1 뷰의 각각의 픽셀에 대해 시차 정보를 획득하기 위해 되풀이되는 것이 유익하다. 변형례에 의하면, 제1 뷰의 픽셀 중 일부분, 예컨대, (예컨대, 제1 뷰와 연관된 세일리언시 맵으로 검출될 수 있는) 관심 대상을 포함하는 뷰의 일부분들 또는 제1 뷰의 중심에만 시차 정보가 할당된다.
당연히, 본 발명은 앞서 설명된 실시예에 국한되지 않는다.
특히, 본 발명은 뷰 매트릭스의 뷰의 적어도 일부분과 연관될 시차 정보를 결정하는 방법에 국한되지 않고, 이러한 방법을 구현하는 어떠한 디바이스 또는 회로에라도 그리고 주목할만하게는 적어도 하나의 GPU를 포함하는 어떠한 디바이스에라도 확장된다. 시차 정보의 결정에 그리고/또는 역다중화에 필요한 계산의 구현도 셰이더 유형 마이크로프로그램으로의 구현에 국한되지 않고, 어떠한 프로그램 유형, 예컨대, FPGA(Field-Programmable Gate Array) 유형의 프로그래밍가능한 논리 회로, ASIC(Application-Specific Integrated Circuit) 또는 DSP(Digital Signal Processor) 형태 등을 취하는 CPU 유형 마이크로프로세서 또는 어떠한 프로세싱 유닛에 의해서라도 실행될 수 있는 프로그램으로의 구현에까지도 확장된다.
뷰 매트릭스의 뷰 및 원시 이미지를 프로세싱하는데 사용되는 컬러 공간은 RGB 컬러 공간에 국한되지 않고, 어떠한 다른 컬러 공간, 예컨대, CYYM, CYCM 또는 RGBW 컬러 공간으로까지도 확장된다.
본 발명의 사용은 라이브 이용에 국한되지 않고, 예컨대, 합성 이미지의 디스플레이를 위해 레코딩 스튜디오에서의 제작후 프로세싱으로 알려져 있는 프로세싱 등을 위한 어떠한 다른 이용으로까지도 확장된다.
본 발명은 또한 플렌옵틱 카메라로 취득된 장면의 여러 다른 뷰와 연관된 시차 맵(들)을 컴퓨팅하기 위한 방법(및 구성 디바이스)에 관한 것이다. 본 발명은 더욱 원시 이미지의 역다중화 및 역모자이크화로부터의 결과적 이미지의 그리고/또는 뷰의 픽셀과 연관된 시차 정보를 인코딩하기 위한 방법 및 디바이스에 관한 것이다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법 또는 디바이스로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 가리키는 프로세서 등과 같은 장치로 구현될 수 있다. 프로세서는 또한 최종-사용자 간 정보의 통신을 용이하게 하는 스마트폰, 태블릿, 컴퓨터, 모바일 폰, 휴대용/개인용 정보 단말기("PDA")들 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 명세서에서 설명된 다양한 프로세스 및 특징의 구현은, 특히, 데이터 인코딩, 데이터 디코딩, 뷰 발생, 텍스처 프로세싱, 및 이미지 및 관련 텍스처 정보 및/또는 심도 정보의 다른 프로세싱과 연관된 애플리케이션 또는 장비 등의 다양한 여러 다른 애플리케이션 또는 장비에서 구체화될 수 있다. 그러한 장비의 예는 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리-프로세서, 인코더로의 입력을 제공하는 전처리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스를 포함한다. 명확한 것인 바와 같이, 장비는 이동식일 수 있고 이동 차량에 설치될 수도 있다.
부가적으로, 방법은 프로세서에 의해 수행되는 명령어에 의해 구현될 수 있고, 그러한 명령어(및/또는 구현에 의해 산출된 데이터 값)는, 예컨대, 집적 회로, 소프트웨어 캐리어, 또는 하드 디스크, 콤팩트 디스켓("CD"), 광학 디스크(예컨대, 흔히 디지털 다기능 디스크 또는 디지털 비디오 디스크라고 지칭되는 DVD 등), 램("RAM"), 또는 롬("ROM")과 같은 다른 저장 디바이스 등의 프로세서-판독가능한 매체 상에 저장될 수 있다. 명령어는 프로세서-판독가능한 매체 상에 유형적으로 구체화된 애플리케이션 프로그램을 형성할 수 있다. 명령어는, 예컨대, 하드웨어, 펌웨어, 소프트웨어 또는 그 조합일 수 있다. 명령어는, 예컨대, 운영 체제, 별개 애플리케이션 또는 그 둘의 조합에서 찾아볼 수 있다. 그래서, 프로세서는, 예컨대, 프로세스를 수행하도록 구성된 디바이스로서도 그리고 프로세스를 수행하기 위한 명령어를 갖는 프로세서-판독가능 매체(저장 디바이스 등)를 포함하는 디바이스로서도 특징지어질 수 있다. 더욱, 프로세서-판독가능 매체는, 명령어에 부가하여 또는 그 대신에, 구현에 의해 산출된 데이터 값을 저장할 수 있다.
당업자에게는 명백할 것인 바와 같이, 구현은 예컨대 저장 또는 송신될 수 있는 정보를 반송하도록 포매팅된 다양한 신호를 산출할 수 있다. 정보는, 예컨대, 방법을 수행하기 위한 명령어, 또는 설명된 구현 중 하나에 의해 산출된 데이터를 포함할 수 있다. 예컨대, 신호는, 설명된 실시예의 구문을 쓰거나 읽기 위한 규칙을 데이터로서 반송하도록, 또는 설명된 실시예에 의해 쓰인 실제의 구문-값을 데이터로서 반송하도록 포매팅될 수 있다. 그러한 신호는, 예컨대, 전자기파(예컨대, 스펙트럼의 RF 부분을 사용)로서 또는 기저대역 신호로서 포매팅될 수 있다. 포매팅은, 예컨대, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 반송파를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려져 있는 바와 같이, 다양한 여러 다른 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서-판독가능 매체 상에 저장될 수 있다.
여러 구현이 설명되었다. 그렇더라도, 다양한 수정이 이루어질 수 있음을 이해할 것이다. 예컨대, 여러 다른 구현의 엘리먼트는 다른 구현을 산출하도록 조합, 보충, 수정 또는 제거될 수 있다. 부가적으로, 당업자는 개시된 것들을 다른 구조 및 프로세스가 대신할 수 있고 결과적 구현이 적어도 실질적으로 동일 방식(들)으로 적어도 실질적으로 동일 기능(들)을 수행하여 개시된 구현과 적어도 실질적으로 동일 결과(들)를 달성할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현이 본 출원에 의해 고려된다.

Claims (11)

  1. 장면의 제1 뷰(50)의 적어도 일부분과 연관된 시차 정보를 결정하는 방법으로서, 뷰 매트릭스(4)는 상기 제1 뷰(50), 및 플렌옵틱 카메라(1)로 취득된 상기 장면의 원시 이미지(2)로부터 획득되는 상기 제1 뷰와는 다른 상기 장면의 복수의 제2 뷰를 포함하고, 복수의 컬러 성분은 상기 복수의 컬러 성분의 각각의 단일 컬러 성분이 예정 패턴에 따라 상기 원시 이미지의 다른 픽셀과 연관되는 방식으로 상기 원시 이미지(2)의 픽셀과 연관되고, 상기 제1 뷰 및 상기 제2 뷰는 연관된 단일 컬러 성분을 갖는 상기 원시 이미지(2)의 상기 픽셀 중에서 선택된 픽셀을 각각 포함하고,
    상기 방법은,
    - 상기 매트릭스(4) 내 상기 제1 뷰(50)를 포함하는 행(row)에 속하는 적어도 하나의 제2 뷰(51) 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록(511)을 선택하는 단계로서, 상기 적어도 하나의 제2 블록(511)은 상기 적어도 하나의 제2 블록(511)과 연관된 제2 컬러 패턴이 상기 제1 뷰(50)의 적어도 하나의 픽셀의 제1 블록(501)과 연관된 제1 컬러 패턴에 적어도 부분적으로 대응하면 선택되는 것인, 상기 선택하는 단계,
    - 상기 매트릭스(4) 내 상기 제1 뷰(50)를 포함하는 열(column)에 속하는 적어도 하나의 제2 뷰(52) 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록(521)을 선택하는 단계로서, 상기 적어도 하나의 제2 블록(521)은 상기 적어도 하나의 제2 블록(521)과 연관된 제2 컬러 패턴이 상기 제1 컬러 패턴에 적어도 부분적으로 대응하면 선택되는 것인, 상기 선택하는 단계, 및
    - 제1 시차 값과 제2 시차 값 간 차이가 임계값 미만이면 상기 제1 시차 값 및 상기 제2 시차 값에 따라 상기 제1 블록(501)과 연관된 상기 시차 정보를 결정하는 단계(83)를 포함하되, 상기 제1 시차 값은 상기 제1 블록(501), 및 상기 제1 뷰(50)를 포함하는 상기 행에 속하는 적어도 하나의 선택된 제2 블록(511)을 사용함으로써 결정되고, 상기 제2 시차 값은 상기 제1 블록(501), 및 상기 제1 뷰(50)를 포함하는 상기 열에 속하는 적어도 하나의 선택된 제2 블록(521)을 사용함으로써 결정되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 상기 제1 뷰를 포함하는 상기 행에 속하는 각각의 제2 뷰에 대하여 제1 시차 레벨이 결정되고, 상기 제1 시차 값은 상기 제1 시차 레벨들의 중앙값(median value)에 대응하고, 상기 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 상기 제1 뷰를 포함하는 상기 열에 속하는 각각의 제2 뷰에 대하여 제2 시차 레벨이 결정되고, 상기 제2 시차 값은 상기 제2 시차 레벨들의 중앙값에 대응하는 것인 방법.
  3. 제1항 또는 제2항에 있어서, 상기 시차 정보는 상기 제1 시차 값 및 상기 제2 시차 값 중 하나에 대응하는 것인 방법.
  4. 제1항 또는 제2항에 있어서, 상기 시차 정보는 상기 제1 시차 값과 상기 제2 시차 값의 평균에 대응하는 것인 방법.
  5. 제1항 또는 제2항에 있어서, 복수의 후보 시차 정보(61, 62, 63)와 연관된 비용 함수가 컴퓨팅되고, 상기 복수의 후보 정보는 최소 시차 값과 최대 시차 값 사이로 이루어진 값을 취하고, 상기 최소 시차 값 및 상기 최대 시차 값은 상기 플렌옵틱 카메라(1)로부터 좌우되되, 결정된 시차 정보는 상기 비용 함수가 최소로 되는 상기 후보 시차 정보에 대응하는 것인 방법.
  6. 제5항에 있어서, 상기 방법은 상기 시차 정보를 결정하기 전에 상기 비용 함수를 보간하고 상기 제1 뷰(50) 및 상기 적어도 하나의 제2 뷰(51, 52)를 보간하는 단계를 더 포함하는 것인 방법.
  7. 장면의 제1 뷰의 적어도 일부분과 연관된 시차 정보를 결정하도록 구성된 디바이스(7)로서, 뷰 매트릭스는 상기 제1 뷰, 및 플렌옵틱 카메라로 취득된 상기 장면의 원시 이미지로부터 획득되는 상기 제1 뷰와는 다른 상기 장면의 복수의 제2 뷰를 포함하고, 복수의 컬러 성분은 상기 복수의 컬러 성분의 각각의 단일 컬러 성분이 예정 패턴에 따라 상기 원시 이미지의 다른 픽셀과 연관되는 방식으로 상기 원시 이미지의 픽셀과 연관되며, 상기 제1 뷰 및 상기 제2 뷰는 연관된 단일 컬러 성분을 갖는 상기 원시 이미지의 상기 픽셀 중에서 선택된 픽셀을 각각 포함하고,
    상기 디바이스는,
    - 상기 매트릭스(4) 내 상기 제1 뷰(50)를 포함하는 행에 속하는 적어도 하나의 제2 뷰(51) 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록(511)으로서, 상기 적어도 하나의 제2 블록(511)과 연관된 제2 컬러 패턴이 상기 제1 뷰(50)의 적어도 하나의 픽셀의 제1 블록(501)과 연관된 제1 컬러 패턴에 적어도 부분적으로 대응하면 선택되는 것인 상기 적어도 하나의 제2 블록(511)을 선택하고,
    - 상기 매트릭스(4) 내 상기 제1 뷰(50)를 포함하는 열에 속하는 적어도 하나의 제2 뷰(52) 내 적어도 하나의 픽셀의 적어도 하나의 제2 블록(521)으로서, 상기 적어도 하나의 제2 블록(521)과 연관된 제2 컬러 패턴이 상기 제1 컬러 패턴에 적어도 부분적으로 대응하면 선택되는 것인 상기 적어도 하나의 제2 블록(521)을 선택하고,
    - 제1 시차 값과 제2 시차 값 간 차이가 임계값 미만이면 상기 제1 시차 값 및 상기 제2 시차 값에 따라 상기 제1 블록(501)과 연관된 상기 시차 정보를 결정하도록 구성된 적어도 하나의 프로세서(720)를 포함하되, 상기 제1 시차 값은 상기 제1 블록(501), 및 상기 제1 뷰(50)를 포함하는 상기 행에 속하는 적어도 하나의 선택된 제2 블록(511)을 사용함으로써 결정되고, 상기 제2 시차 값은 상기 제1 블록(501), 및 상기 제1 뷰(50)를 포함하는 상기 열에 속하는 적어도 하나의 선택된 제2 블록(521)을 사용함으로써 결정되는 것을 특징으로 하는 디바이스.
  8. 제7항에 있어서, 상기 적어도 하나의 프로세서(720)는,
    - 상기 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 상기 제1 뷰를 포함하는 상기 행에 속하는 각각의 제2 뷰에 대하여 제1 시차 레벨을 결정하고,
    - 상기 제1 컬러 패턴에 대응하는 제2 컬러 패턴을 갖는 제2 블록을 갖고 상기 제1 뷰를 포함하는 상기 열에 속하는 각각의 제2 뷰에 대하여 제2 시차 레벨을 결정하도록 더 구성되고, 상기 제1 시차 값은 상기 제1 시차 레벨들의 중앙값에 대응하고, 상기 제2 시차 값은 상기 제2 시차 레벨들의 중앙값에 대응하는 것인 디바이스.
  9. 제7항 또는 제8항에 있어서, 상기 적어도 하나의 프로세서(720)는 복수의 후보 시차 정보와 연관된 비용 함수를 결정하도록 더 구성되고, 상기 복수의 후보 정보는 최소 시차 값과 최대 시차 값 사이로 이루어진 값을 취하고, 상기 최소 시차 값 및 상기 최대 시차 값은 상기 플렌옵틱 카메라로부터 좌우되되, 결정된 시차 정보는 상기 비용 함수가 최소로 되는 상기 후보 시차 정보에 대응하는 것인 디바이스.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서(720)는 상기 시차 정보를 결정하기 전에 상기 비용 함수를 보간하고 상기 제1 뷰 및 상기 적어도 하나의 제2 뷰를 보간하도록 더 구성되는 것인 디바이스.
  11. 컴퓨터 프로그램 제품으로서, 컴퓨팅 디바이스 상에서 상기 프로그램이 실행될 때, 제1항 또는 제2항에 따른 방법의 단계를 실행하기 위한 프로그램 코드의 명령어를 포함하는 컴퓨터 프로그램 제품.
KR1020140169065A 2013-11-29 2014-11-28 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스 KR20150063010A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13306640.7A EP2879091A1 (en) 2013-11-29 2013-11-29 Method and device for estimating disparity associated with views of a scene acquired with a plenoptic camera
EP13306640.7 2013-11-29

Publications (1)

Publication Number Publication Date
KR20150063010A true KR20150063010A (ko) 2015-06-08

Family

ID=49753107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140169065A KR20150063010A (ko) 2013-11-29 2014-11-28 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스

Country Status (5)

Country Link
US (1) US10075696B2 (ko)
EP (2) EP2879091A1 (ko)
JP (1) JP2015106925A (ko)
KR (1) KR20150063010A (ko)
CN (1) CN104683669A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040521A1 (ko) * 2018-08-21 2020-02-27 삼성전자 주식회사 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
US11533464B2 (en) 2018-08-21 2022-12-20 Samsung Electronics Co., Ltd. Method for synthesizing intermediate view of light field, system for synthesizing intermediate view of light field, and method for compressing light field

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3070942B1 (en) * 2015-03-17 2023-11-22 InterDigital CE Patent Holdings Method and apparatus for displaying light field video data
CA2998661A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing An apparatus and a method for encoding an image captured by an optical acquisition system
US10331956B2 (en) * 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
EP4128746A1 (en) * 2020-04-22 2023-02-08 Huawei Technologies Co., Ltd. Device and method for depth estimation using color images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5229541B2 (ja) 2008-05-29 2013-07-03 株式会社ニコン 距離測定装置、距離測定方法、及び、プログラム
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8817015B2 (en) * 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
CN103297677B (zh) 2012-02-24 2016-07-06 卡西欧计算机株式会社 生成重构图像的图像生成装置以及图像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040521A1 (ko) * 2018-08-21 2020-02-27 삼성전자 주식회사 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
US11533464B2 (en) 2018-08-21 2022-12-20 Samsung Electronics Co., Ltd. Method for synthesizing intermediate view of light field, system for synthesizing intermediate view of light field, and method for compressing light field

Also Published As

Publication number Publication date
EP2879091A1 (en) 2015-06-03
US20150189254A1 (en) 2015-07-02
EP2879092A1 (en) 2015-06-03
EP2879092B1 (en) 2017-05-03
US10075696B2 (en) 2018-09-11
CN104683669A (zh) 2015-06-03
JP2015106925A (ja) 2015-06-08

Similar Documents

Publication Publication Date Title
KR102354260B1 (ko) 광 필드 데이터 처리 방법 및 디바이스
KR102490000B1 (ko) 라이트 필드 콘텐츠를 처리하기 위한 방법 및 디바이스
KR20150063010A (ko) 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스
KR102286136B1 (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
CN109417613B (zh) 具有多个连续红外滤波单元的图像传感器方法和装置
KR20180059478A (ko) 마스크리스 위상 검출 오토포커스
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
US10638055B2 (en) Aperture simulation
US10949700B2 (en) Depth based image searching
US10567636B2 (en) Resolution enhancement using sensor with plural photodiodes per microlens
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
US20190139189A1 (en) Image remosaicing
CN111225135B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US10999483B2 (en) Display-based camera apparatus and methods
US20150055861A1 (en) Methods and Systems for Image Demosaicing
EP2879372A1 (en) Method and device for processing a raw image acquired with a plenoptic camera
AU2009357162B2 (en) Determining color information using a binary sensor
US20130022266A1 (en) Image processing method
US20220020180A1 (en) Image compression method using saturated pixel, encoder, and electronic device
US20240127407A1 (en) Image sensor apparatus for capturing depth information
CN116055896A (zh) 图像生成方法、装置及电子装置
CN116506745A (zh) 成像装置和方法
EP3200151A1 (en) Method and device for obtaining a depth map

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid