KR20160140453A - 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법 - Google Patents

4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법 Download PDF

Info

Publication number
KR20160140453A
KR20160140453A KR1020160064349A KR20160064349A KR20160140453A KR 20160140453 A KR20160140453 A KR 20160140453A KR 1020160064349 A KR1020160064349 A KR 1020160064349A KR 20160064349 A KR20160064349 A KR 20160064349A KR 20160140453 A KR20160140453 A KR 20160140453A
Authority
KR
South Korea
Prior art keywords
image
value
function
pixel value
field data
Prior art date
Application number
KR1020160064349A
Other languages
English (en)
Inventor
뉴스 사바떼르
브누와 방담므
마띠유 오그
발떼르 드라직
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160140453A publication Critical patent/KR20160140453A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H04N13/0232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H04N13/0217—
    • H04N13/0282—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

4D 광 필드 데이터로부터 콘텐츠를 디스플레이하기 위한 방법
일 실시예에서는, 정해진 초점 평면 값 g에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법이 제안된다. 이러한 방법은 전자 디바이스에 의해 실행되며, 좌표들
Figure pat00158
에서의 상기 리포커싱된 이미지의, 적어도 하나의 색 성분에 대한 적어도 하나의 픽셀 값을 결정하는 단계를 포함한다는 점에서 주목할만하며, 상기 결정 단계는:
상기 적어도 하나의 색 성분에 대해, 상기 좌표들
Figure pat00159
의 근처에 포함되는 좌표들을 갖는 적어도 하나의 투영된 픽셀 값을 획득하는 단계;
상기 적어도 하나의 투영된 픽셀 값을 함수에 기초하여 가중화하는 단계- 상기 가중화는 가중화된 값을 출력함 -; 및
좌표들
Figure pat00160
에서의 상기 리포커싱된 이미지의, 상기 적어도 하나의 색 성분에 대한 상기 적어도 하나의 픽셀 값을 상기 가중화된 값으로 업데이트하는 단계를 포함한다.

Description

4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법{METHOD FOR OBTAINING A REFOCUSED IMAGE FROM 4D RAW LIGHT FIELD DATA}
본 개시내용은 4D 광 필드 데이터 처리에 관련된다. 보다 정확히, 본 개시용은, 4D 원시 광 필드 데이터의 디멀티플렉싱을 수행하지 않고도, 4D 원시 광 필드 데이터로부터 직접 2D 리포커싱된 이미지를 획득하기 위한(즉, 4D 원시 광 필드 데이터로부터 파생되는/획득되는 부-조리개(sub-aperture) 이미지들을 사용하지 않고도 리포커싱된 이미지를 획득하기 위한) 기술에 관련된다.
본 섹션은 이하 설명되고 및/또는 청구되는 본 발명의 다양한 양상들에 관련될 수 있는 본 분야의 다양한 양상들을 독자에게 소개하려는 의도를 갖는다. 이러한 논의는 본 발명의 다양한 양상들을 더 잘 이해할 수 있도록 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 진술들은 종래 기술의 승인으로서가 아니라 이러한 관점에서 읽혀져야 한다는 점이 이해되어야 한다.
4D 광 필드의 샘플링(즉, ECCV 2008의 회담 진행중 공개된 Anat Levin 등이 저술한 " Understanding camera trade-offs through a Bayesian analysis of light field projections "라는 논문의 도 1에 설명되는 바와 같은 광선의 기록)으로 볼 수 있는 4D 광-필드 데이터의 취득은 정신없이 바쁜 연구 대상이다.
사실, 카메라로부터 획득되는 고전적 2D 이미지들에 비하여, 4D 광-필드 데이터는 이미지들의 렌더링 및/또는 사용자와의 상호작용을 강화하는 더 많은 후 처리 특징들에 대한 액세스를 사용자가 갖게 할 수 있다. 예를 들어, 4D 광-필드 데이터에 의하면, 이미지의 장면에서 시점(point of view)을 다소 변경하는 것뿐만 아니라, 이미지들을 사후적으로(a posteriori) 리포커싱하는 것(즉, 초점 평면의 위치가 사후적으로 명시될/선택될 수 있다는 것을 의미하는 자유롭게 선택된 초점 거리에 의한 리포커싱)을 용이하게 수행할 수 있다. 4D 광-필드 데이터를 획득하기 위해서, 몇몇 기술들이 사용될 수 있다. 특히, 문헌 WO 2013/180192에 또는 문헌 GB 2488905에 묘사된 바와 같은, 플렌옵틱(plenoptic) 카메라는 4D 광-필드 데이터를 획득할 수 있다. 플렌옵틱 카메라의 아키텍처의 상세사항들은 본 문헌의 도 1, 2, 3, 4, 및 5에 제공된다.
최첨단으로는, 4D 광-필드 데이터를 표현하기 위한(또는 정의하기 위한) 몇몇 방식들이 있다. 사실, 2006년 7월에 공개된 Ren Ng이 저술한 " Digital Light Field Photography "라는 제목의 박사 학위 논문의 Chapter 3.3에는, 4D 광-필드 데이터를 표현하기 위한 3가지 상이한 방식들이 설명된다. 첫째로, 4D 광-필드 데이터는, 예를 들어 도 1 예에 도시된 바와 같이 플렌옵틱 카메라에 의해 기록될 때, 마이크로-렌즈 이미지들의 집합으로 표현될 수 있다(본 문헌에서 도 2의 설명 참조). 이러한 표현에서의 4D 광-필드 데이터는 원시 이미지들(또는 4D 원시 광-필드 데이터로)로 명명된다. 둘째로, 4D 광-필드 데이터는 부-조리개 이미지들의 세트로 표현될 수 있다. 부-조리개 이미지는 관점으로부터 캡쳐된 장면의 이미지에 대응하고, 이러한 관점은 2개의 부-조리개 이미지들 사이에서 다소 상이하다. 이러한 부-조리개 이미지들은 촬영된 장면의 시차(parallax) 및 심도(depth)에 대한 정보를 제공한다. 셋째로, 4D 광-필드 데이터는 에피폴라 이미지들의 세트로 표현될 수 있다(예를 들어, ISVC 2011의 회담 진행에서 공개된 S. Wanner 등이 저술한, " Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera "라는 제목의 논문 참조).
4D 광-필드 데이터로부터 리포커싱을 수행하는데 사용되는 공통 기술은 문헌 WO 2013/167758에 ("image refocusing method" 섹션에서) 설명되는 바와 같이 (4D 원시 광-필드 데이터로부터 직접) 마이크로-렌즈 이미지들의 시프트 및 추가에 기초한다. 본 문헌의 도 6은 2D 이미지를 획득하기 위해 상기 4D 원시 광-필드 데이터에서 좌표(x, y)에서의 픽셀을 어떻게 투영하는지를 대략 묘사한다. 4D 원시 광-필드 픽셀들(즉, 마이크로-이미지들의 픽셀들)이 리포커싱된 이미지에 투영되는 동안, 웨이트-맵(weight-map)은 누적된 투영된 픽셀들의 수를 기록한다. 웨이트-맵은 또한 투영된 좌표가 비-정수(non-integer) 좌표인 경우에 보간을 기록한다. 일단 모든 4D 원시 광-필드 픽셀들이 리포커싱된 이미지로 투영되고 웨이트-맵이 결정되면, 리포커싱된 이미지는 각각의 리포커싱된 픽셀이 동일한 평균 기여를 수신하도록 웨이트-맵에 의해 분할된다. 그 결과로 생기는 2D 이미지는 디스플레이 상에 출력될 수 있거나, 예를 들어 다른 디바이스에 저장 및/또는 전송될 수 있다.
2D 리포커싱된 이미지의 품질(특히 선명도)를 향상시키기 위해서, Juliet Fiss 등이 저술한 " Refocusing Plenoptic Images using Depth-Adaptive Splatting "이라는 제목의 논문에 설명되는 기술이 보간 목적으로 사용될 수 있다. 사실, 이러한 접근방식에 기초하는 보간은 2D 리포커싱된 이미지 상에 4D 원시 광-필드 픽셀의 영향을 확산하는 것으로 구성된다(좌표(x, y)에서의 4D 원시 광-필드 픽셀이 스플래트 커널(splat kernel)의 함수로서 정의되는 값을 갖는 위치 s에 투영되는 논문의 도 5 참조). 이 논문에서 언급되는 바와 같이: "스플래팅은 방사상 기저 함수를 사용하는 스캐터링된 데이터 보간의 형태로 볼 수 있다(Splatting can be viewed as a form of scattered data interpolation using radial basis functions)". 그러나, 이러한 접근방식의 하나의 단점은 4D 원시 광-필드 픽셀을 2D 리포커싱된 이미지 상에 투영하기 이전에 4D 원시 광-필드 데이터가 모자이크 해제화되어야(demosaicked) 한다는 점이다. 이러한 접근방식의 다른 단점은 스플래트 커널이 (x,y)에서 등방성이고, 장면의 심도에만 의존한다는 점이다. 마지막으로, 이러한 접근방식의 다른 단점은 스플래트 커널이 (예를 들어, Todor Georgiev와 Andrew Lumsdaine이 저술한 " The Multi-Focus Plenoptic Camera "라는 제목의 논문에 묘사되는 것과 같은) 다-초점 플렌옵틱 카메라들 또는 장면의 기하형상을 고려하지 않는다는 점이다.
따라서, 이러한 결점들을 극복할 수 있는 기술을 제공할 필요가 있다.
명세서에서 "일 실시예", "실시예", "예시적인 실시예" 라는 지칭들은, 설명되는 실시예가 특정의 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 특정의 특징, 구조 또는 특성을 포함할 필요는 없다는 것을 나타낸다. 또한, 이러한 문구들이 동일한 실시예를 반드시 지칭하는 것은 아니다. 또한, 특정의 특징, 구조 또는 특성이 실시예와 함께 명명될 때, 이는 명백히 설명되든지 아니든지 간에 다른 실시예들과 함께 이러한 특징, 구조 또는 특성에 영향을 주는 본 기술분야의 통상의 기술자의 지식 내에 있다는 점이 제시된다.
본 개시내용은 정해진 초점 평면 값 g에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법에 관한 것이다. 이러한 방법은 전자 디바이스에 의해 실행되며, 좌표
Figure pat00001
에서의 상기 리포커싱된 이미지의, 적어도 하나의 색 성분에 대한 적어도 하나의 픽셀 값을 결정하는 단계를 포함한다는 점에서 주목할 만하며, 상기 결정 단계는:
- 상기 적어도 하나의 색 성분에 대해, 상기 좌표
Figure pat00002
의 근처에 포함되는 좌표를 갖는 적어도 하나의 투영된 픽셀 값을 획득하는 단계;
- 상기 적어도 하나의 투영된 픽셀 값을 함수에 기초하여 가중화하는 단계- 상기 가중화는 가중화된 값을 출력함 -; 및
- 좌표
Figure pat00003
에서의 상기 리포커싱된 이미지의, 상기 적어도 하나의 색 성분에 대한 상기 적어도 하나의 픽셀 값을 상기 가중화된 값으로 업데이트하는 단계를 포함한다.
따라서, 본 기술은 리포커싱된 이미지에서의 픽셀 값, 색 성분당 색 성분을 결정하도록 행해지는 처리에 관련된다. 따라서, 본 기술은 4D 원시 광 필드 데이터에 대해 모자이크 해제화(demosaicing) 방법들을 사용할 필요가 없다(모자이크 해제화 방법들에 대한 보다 상세한 것들은 Zhan Yu 등이 저술한 " An Analysis of Color Demosaicing in Plenoptic Cameras "라는 제목의 논문에서 찾아볼 수 있다.). 따라서, 본 기술은 리포커싱된 이미지에서의 컬러 아티펙트들(artifacts)의 감소를 가능하게 한다. 사실, 일단 본 기술이 각각의 컬러에 대하여 적용되면, 컬러 화상을 획득하기 위해, 리포커싱된 이미지(색 성분 당 하나)의 조합이 행해진다. 본 기술에는 사용된 모자이크 해제화 방법이 존재하지 않는다.
바람직한 실시예에서, 획득하기 위한 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00004
를 갖고, 상기 함수는
Figure pat00005
- 여기서
Figure pat00006
은
Figure pat00007
에 속하는 값에 대응하고, 함수
Figure pat00008
는 놈 함수(norm function)임 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 획득하기 위한 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00009
를 갖고, 상기 함수는
Figure pat00010
- 여기서
Figure pat00011
는
Figure pat00012
에 속하는 값에 대응하고,
Figure pat00013
의 값은 상기 4D 원시 광 필드 데이터와 관련된 장면에서의 g의 실제 값에 대응함 -인 것으로서 정의된다는 점에서 주목할 만하다. 보다 정확히,
Figure pat00014
는 상기 4D 원시 광 필드 데이터를 취득한 광 필드 취득 디바이스로부터의 상기 4D 원시 광 필드 데이터와 관련된 장면에서의 실제 거리에 대응한다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00015
를 갖고, 상기 함수는
Figure pat00016
- 여기서
Figure pat00017
및
Figure pat00018
는
Figure pat00019
에 속하는 값에 대응하고, a, b, c 및 d는 상기 리포커싱된 이미지의 텐서 구조에 따라서 결정되는 평활화 값들에 대응함 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00020
를 갖고, 상기 함수는
Figure pat00021
이
Figure pat00022
의 K개-최근접 근처(K-Nearest Neighbors) 픽셀들에 속함)- 여기서
Figure pat00023
는 명제가 참이면 1이고 그렇지 않으면 0인 특성 함수이고,
Figure pat00024
는 라운딩 함수이며, K는 2 이상의 정수임 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00025
,
Figure pat00026
- 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
Figure pat00027
는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
Figure pat00028
는 좌표
Figure pat00029
에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
Figure pat00030
- 여기서 함수 PSF는 플렌옵틱 카메라의 포인트 확산 함수(Point Spread Function)의 추정치(estimation)임 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00031
,
Figure pat00032
- 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
Figure pat00033
는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
Figure pat00034
는 좌표
Figure pat00035
에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
Figure pat00036
- 여기서
Figure pat00037
는 명제가 참이면 1이고 그렇지 않으면 0인 특성 함수이고,
Figure pat00038
는 임계 값이며, 함수
Figure pat00039
는 놈 함수(norm function)임 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00040
,
Figure pat00041
- 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
Figure pat00042
는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
Figure pat00043
는 좌표
Figure pat00044
에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
Figure pat00045
- 여기서
Figure pat00046
은
Figure pat00047
에 속하는 값에 대응하고, 함수
Figure pat00048
는 놈 함수(norm function)임 -인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00049
,
Figure pat00050
- 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
Figure pat00051
는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
Figure pat00052
는 좌표
Figure pat00053
에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
Figure pat00054
(
Figure pat00055
)- 여기서
Figure pat00056
는
Figure pat00057
가 속하는 마이크로렌즈의 선명도의 측정치이며,
Figure pat00058
는 상기 4D 원시 광 필드 데이터의 모든 마이크로렌즈들에서의 최대 선명도 값에 대응함 -와 동일한 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 함수는 분리가능한 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 함수는
Figure pat00059
- 여기서
Figure pat00060
은
Figure pat00061
에 속하는 값에 대응하고, 함수
Figure pat00062
는 놈 함수(norm function)임 -와 다른 함수의 곱인 것으로서 정의된다는 점에서 주목할 만하다.
바람직한 실시예에서, 이러한 방법은, 상기 업데이트하는 단계는 상기 가중화된 값을 상기 적어도 하나의 픽셀 값에 가산하는 단계를 포함한다는 점에서 주목할 만하다.
일 실시예에서는, 상기 적어도 하나의 픽셀 값의 초기화가 존재한다. 예를 들어, 상기 적어도 하나의 픽셀 값의 초기화는 전자 디바이스에서의 레지스터에서의 널 값에 대한 초기화를 포함할 수 있다.
예시적인 구현예에 따르면, 본 방법의 상이한 단계들은 컴퓨터 소프트웨어 프로그램 또는 프로그램들에 의해 구현되고, 이러한 소프트웨어 프로그램은 본 개시내용에 따른 릴레이 모듈(relay module)의 데이터 프로세서에 의해 실행되도록 설계되며 본 방법의 상이한 단계들의 실행을 제어하도록 설계되는 소프트웨어 명령어들을 포함한다.
결과적으로, 본 개시내용의 양상은 또한 컴퓨터에 의해 또는 데이터 프로세서에 의해 실행될 프로그램에 관한 것이고, 이러한 프로그램은 본 명세서에서 위에 언급된 바와 같은 방법의 단계들의 실행을 명령하는 명령어들을 포함한다.
이러한 프로그램은 어떤 프로그래밍 언어라도 사용할 수 있고, 소스 코드, 오브젝트 코드, 또는, 부분적으로 컴파일된 형태 또는 임의의 다른 바람직한 형태와 같은, 소스 코드와 오브젝트 코드 사이의 중간에 있는 코드의 형태로 되어 있을 수 있다.
본 개시내용은 또한 데이터 프로세서에 의해 판독가능한 그리고 본 명세서에서 위에 언급된 바와 같은 프로그램의 명령어들을 포함하는 정보 매체에 관한 것이다.
이러한 정보 매체는 프로그램을 저장할 수 있는 수 있는 임의의 엔티티 또는 디바이스일 수 있다. 예를 들어, 이러한 매체는 ROM("Read Only Memory"의 약어임), 예를 들어, CD-ROM("Compact Disc - Read Only Memory"의 약어임), 또는 마이크로전자 회로 ROM과 같은 스토리지 수단을 포함할 수 있거나 또는 다시 자기 기록 수단, 예를 들어, 플로피 디스크 또는 하드 디스크 드라이브를 포함할 수 있다.
더욱이, 이러한 정보 매체는 전기 또는 광 케이블을 통해, 무선에 의해 또는 다른 수단에 의해 전달될 수 있는 전기 또는 광 신호와 같은 전송가능 캐리어일 수 있다. 프로그램은 특히 인터넷-타입 네트워크로 다운로드될 수 있다.
대안적으로, 이러한 정보 매체는 그 내로 프로그램이 포함되는 집적 회로일 수 있고, 이러한 회로는 문제의 방법을 실행하도록 적응되거나 또는 그 실행에 사용된다.
일 실시예에 따르면, 본 개시내용의 실시예는 소프트웨어 및/또는 하드웨어 컴포넌트들에 의해 구현된다. 이러한 관점에서 볼 때, "모듈"이라는 용어는, 본 문헌에서 소프트웨어 컴포넌트 및 하드웨어 컴포넌트 양자 모두에 또는 하드웨어 및 소프트웨어 컴포넌트들의 세트에 대응할 수 있다.
소프트웨어 컴포넌트는, 하나 이상의 컴퓨터 프로그램들, 프로그램의 하나 이상의 서브-프로그램들에, 또는 보다 일반적으로 관련 모듈에 대해 본 명세서에서 이하에 설명되는 것에 따른 기능 또는 기능들의 세트를 구현할 수 있는 프로그램 또는 소프트웨어 프로그램의 임의의 엘리먼트에 대응한다. 하나의 이러한 소프트웨어 컴포넌트는 물리 엔티티(단말, 서버 등)의 데이터 프로세서에 의해 실행되고, 이러한 물리 엔티티의 하드웨어 리소스들(메모리들, 기록 매체, 통신 버스들, 입력/출력 전자 보드들, 사용자 인터페이스들 등)을 액세스할 수 있다.
유사하게, 하드웨어 컴포넌트는 관련된 모듈에 대해 본 명세서에서 이하 설명되는 것에 따른 기능 또는 기능들의 세트를 구현할 수 있는 하드웨어 유닛의 임의의 엘리먼트에 대응한다. 이는, 프로그래머블 하드웨어 컴포넌트 또는 소프트웨어의 실행을 위한 집적 회로를 갖는 컴포넌트, 예를 들어, 집적 회로, 스마트 카드, 메모리 카드, 펌웨어를 실행하기 위한 전자 보드 등일 수 있다. 변형으로, 하드웨어 컴포넌트는, 중앙 처리 유닛, 및/또는 마이크로프로세서, 및/또는 ASIC(Application-specific integrated circuit), 및/또는 ASIP(Application-specific instruction-set processor), 및/또는 GPU(graphics processing unit), 및/또는 PPU(physics processing unit), 및/또는 DSP(digital signal processor), 및/또는 이미지 프로세서, 및/또는 코프로세서, 및/또는 부동-소수점 유닛, 및/또는 네트워크 프로세서, 및/또는 오디오 프로세서, 및/또는 멀티 코어 프로세서와 같은 집적 회로인 프로세서를 포함한다. 더욱이, 하드웨어 컴포넌트는 또한 기저대역 프로세서(예를 들어, 메모리 유닛들, 및 펌웨어를 포함함) 및/또는 무선 신호들을 수신하거나 또는 전송하는 무선 전자 회로(안테나를 포함할 수 있음)를 포함할 수 있다. 일 실시예에서, 하드웨어 컴포넌트는 ISO/IEC 18092 / ECMA-340, ISO/IEC 21481 / ECMA-352, GSMA, StoLPaN, ETSI / SCP(Smart Card Platform), GlobalPlatform(즉, 보안 엘리먼트)과 같은 하나 이상의 표준들에 부합한다. 변형으로, 하드웨어 컴포넌트는 RFID(Radio-frequency identification) 태그이다. 일 실시예에서, 하드웨어 컴포넌트는 블루투스 통신, 및/또는 와이-파이 통신, 및/또는 지그비(Zigbee) 통신, 및/또는 USB 통신 및/또는 파이어와이어(Firewire) 통신 및/또는 NFC(니어 필드용) 통신을 가능하게 하는 회로들을 포함한다.
본 문헌에서 엘리먼트/값을 획득하는 단계는 전자 디바이스의 메모리 유닛에서 이러한 엘리먼트/값을 판독하는 단계 또는 통신 수단을 통해 다른 전자 디바이스로부터 이러한 엘리먼트/값을 수신하는 단계로 볼 수 있다는 점이 또한 주목되어야 한다.
다른 실시예에서는, 정해진 초점 평면 값 g에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 전자 디바이스가 제안된다. 이러한 전자 디바이스는 좌표
Figure pat00063
에서의 상기 리포커싱된 이미지의, 적어도 하나의 색 성분에 대한 적어도 하나의 픽셀 값을 결정하도록 구성되는 회로를 포함한다는 점에서 주목할 만하며, 상기 회로는:
- 상기 적어도 하나의 색 성분에 대해, 상기 좌표
Figure pat00064
의 근처에 포함되는 좌표를 갖는 적어도 하나의 투영된 픽셀 값을 획득하도록 구성되는 획득 회로;
- 상기 적어도 하나의 투영된 픽셀 값을 함수에 기초하여 가중화하도록 구성되는 가중화 회로- 상기 가중화 회로는 가중화된 값을 출력함 -; 및
- 좌표
Figure pat00065
에서의 상기 리포커싱된 이미지의, 상기 적어도 하나의 색 성분에 대한 상기 적어도 하나의 픽셀 값을 상기 가중화된 값으로 업데이트하도록 구성되는 업데이트 회로를 포함한다.
바람직한 실시예에서, 이러한 전자 디바이스는, 상기 적어도 하나의 투영된 픽셀 값은 좌표
Figure pat00066
를 갖고, 상기 함수는
Figure pat00067
- 여기서
Figure pat00068
은
Figure pat00069
에 속하는 값에 대응하고, 함수
Figure pat00070
는 놈 함수(norm function)임 -인 것으로서 정의된다는 점에서 주목할 만하다.
본 발명의 위 양상들 및 다른 양상들은 첨부 도면들을 참조하여 그 예시적인 실시예들의 이하의 상세한 설명에 의해 보다 명백하게 될 것이다.
도 1은 본 기술이 적용될 수 있는 광 필드 데이터의 취득을 가능하게 하는 플렌옵틱 카메라에 포함되는 주요 컴포넌트들을 개략적으로 제시한다.
도 2는 도 1의 센서 어레이에 의해 캡처되는 이미지를 제시한다.
도 3 및 도 4는 완전한 얇은 렌즈 모델을 가정하는 도식적 플렌옵틱 타입 II 카메라를 도시한다.
도 5는 타입 I 플렌옵틱 카메라를 제시한다.
도 6은 4D 원시 광 필드 픽셀의 투영을 제시한다.
도 7은 본 개시내용의 일 실시예에 따른 스플래팅 프로세스를 도시한다.
도 8a 및 8b는 픽셀 주위의 텐서 분석(tensor analysis)에 기초하는 본 개시내용의 일 실시예를 도시한다.
도 9a 및 9b는 마이크로렌즈 어레이- 마이크로 렌즈들은 상이한 초점 길이들을 가짐 -를 포함하는 플렌옵틱 카메라로부터 획득되는 이미지 및 이러한 이미지의 일부를 제시한다.
도 10은 투영된 픽셀- 투영된 픽셀은 컬러 채널당 적어도 하나의 값이 수신되는 좌표(k, l)를 가짐 -을 제시한다.
도 11은 좌표(x, y)에서의 4D 원시 광 필드 데이터의 픽셀 값이, 투영된 좌표(X, Y) 주위에서 K개-최근접 근처들(K-Nearest Neighbors)(본 경우에 K=6임)로 어떻게 스플래팅되는지/확산되는지를 도시한다.
도 12는 4D 원시 광 필드 데이터로부터 이미지를 리포커싱하기 위한 방법의 일부 단계들을 도시한다.
도 13은 본 문헌에 개시되는 방법들의 하나의 또는 몇몇 단계들을 수행하는데 사용될 수 있는 디바이스의 예를 제시한다.
도 1은 본 기술이 적용될 수 있는 광 필드 데이터의 취득을 가능하게 하는 플렌옵틱 카메라에 포함되는 주요 컴포넌트들을 개략적으로 제시한다.
보다 정확히, 플렌옵틱 카메라는 101로 참조되는 주 렌즈, 및 104로 참조되는 센서 어레이(즉, 픽셀 센서들(예를 들어, CMOS 기술에 기초하는 센서)의 어레이)를 포함한다. 주 렌즈(101)과 센서 어레이(104) 사이에는, 103으로 참조되는 마이크로 렌즈들의 세트를 포함하는, 102로 참조되는 마이크로렌즈 어레이가 배치된다. 센서 측에서 하나의 렌즈로부터의 광이 다른 렌즈들의 광과 중첩하는 것을 방지하기 위해서 각각의 렌즈 주위의 마이크로-렌즈 어레이와 센서 사이에는 선택적으로 일부 스페이서들이 위치될 수 있다는 점이 주목되어야 한다. 주 렌즈(101)는 도 1에 묘사된 것보다 더 복잡한 광학 시스템(예를 들어, 문헌 GB2488905의 도 12 및 13에 설명되는 광학 시스템)일 수 있다는 점이 주목되어야 한다. 따라서, 플렌옵틱 카메라는 종래의 카메라에 도 1에 도시된 바와 같이 센서의 바로 앞에 놓이는 마이크로-렌즈 어레이를 더한 것으로 볼 수 있다. 마이크로-렌즈를 통과하는 광선은 이들 광선의 방사 휘도(radiance)를 기록하는 센서 어레이의 부분을 커버한다. 센서의 이러한 부분에 의한 기록은 마이크로-렌즈 이미지를 정의한다.
도 2는 센서 어레이(104)에 의해 캡처되는 이미지를 제시한다. 사실, 이러한 관점에서, 센서 어레이(104)는 201로 참조되는 픽셀들의 세트를 포함한다는 점이 나타난다. 마이크로-렌즈를 통과하는 광선은 다수의 픽셀들(201)을 커버하고, 이러한 픽셀들은 입사되는/수신되는 광선의 에너지 값을 기록한다.
따라서, 플렌옵틱 카메라의 센서 어레이(104)는 2D 이미지 내에 배열되는 2D 소형 이미지들(즉, 202로 참조되는 마이크로-렌즈 이미지들)의 집합을 포함하는 이미지(4D 광-필드 이미지라고도 명명됨)를 기록한다. 사실, 각각의 소형 이미지 (즉, 마이크로-렌즈 이미지들)는 마이크로-렌즈에 의해 생산된다(마이크로-렌즈는 렌즈의 어레이로부터 좌표 (i,j)에 의해 식별될 수 있음). 따라서, 광-필드의 픽셀들은 4개의 좌표 (x,y,i,j)와 관련된다. 센서에 의해 기록되는 4D 광-필드인L(x,y,i,j)는 센서에 의해 기록되는 이미지를 보여준다. 각각의 마이크로-렌즈는 원으로 표현되는 마이크로-이미지를 생산한다(소형 이미지의 형상은 통상적으로 원형인 마이크로 렌즈들의 형상에 의존함). (센서 어레이에서의) 픽셀 좌표는 (x,y)로 기재된다. p는 2개의 연속적인 마이크로-이미지들 사이의 거리이고, p가 반드시 정수 값인 것은 아니다. 마이크로 렌즈들은 p가 픽셀 사이즈 δ보다 크도록 선택된다. 마이크로-렌즈 이미지들은 그들의 좌표 (i, j)에 의해 참조된다. 각각의 마이크로-렌즈 이미지는 (u, v) 좌표계로 주-렌즈의 동공(pupil)을 샘플링한다. 일부 픽셀들은 특히 마이크로 렌즈들의 형상이 원형이면 어떠한 마이크로-렌즈로부터 어떠한 광양자도 수신하지 않을 수 있다. 이러한 경우에, 광양자가 마이크로-렌즈로부터 밖으로 나가는 것을 방지하기 위해 마이크로-렌즈간 공간은 마스킹 아웃되어(masked out), 마이크로-이미지들에 일부 어두운 영역들을 초래한다. 마이크로 렌즈가 사각형 형상을 가지면, 마스킹이 필요없다. 마이크로-렌즈 이미지 (i,j)의 중심은 좌표 (xi,j, yi,j)에서의 센서 상에 위치된다. θ는 픽셀의 사각형 격자와 마이크로 렌즈들의 사각형 격자 사이의 각도이고, 도 2에서 θ = 0이다. 정사각형 격자에 따라서 마이크로 렌즈들이 배열된다고 가정하면, (xi,j, yi,j)는 마이크로-렌즈 이미지 (0, 0)의 픽셀 좌표를 (x0,0, y0, 0)로 고려하여 이하의 수학식에 의해 계산될 수 있다:
Figure pat00071
도 2는 또한 장면으로부터의 오브젝트가 몇몇 연속적인 마이크로-렌즈 이미지들 상에서 가시적일 수 있다는 것(어두운 점들)을 도시한다. 오브젝트의 2개의 연속적인 뷰들 사이의 거리는 w 이고, 이러한 거리는 복제 거리로 명명된다. 따라서, 오브젝트는 r개의 연속적인 마이크로-렌즈 이미지 상에서 가시적이다:
Figure pat00072
r는 1차원으로 연속적인 마이크로-렌즈 이미지들의 수이다. 오브젝트는 r2개의 마이크로-렌즈 이미지들에서 가시적이다. 마이크로-렌즈 이미지의 형상에 따라서, 오브젝트의 r2개의 뷰들 중 일부는 가시적이지 않을 수 있다.
플렌옵틱 카메라에 관련되는 보다 상세한 것들은, 2012년 5월에, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, N°5에 공개된, Tom E. Bishop과 Paolo Favaro가 저술한 " The Light Field Camera: Extended Depth of Field, Aliasing , and Superresolution "이라는 제목의 논문에서의 "Image formation of a Light field camera"라는 제목의 섹션 4에서 찾아볼 수 있다.
본 기술은 또한 (어떠한 추가적 마이크로-렌즈 어레이도 주 렌즈와 픽셀들의 어레이 사이에 배치되지 않는다는 의미에서의) "종래의 카메라"에 적용될 수 있다는 점이 주목되어야 하고, 이러한 종래의 카메라의 픽셀들의 적어도 일부가 문헌 US2013258098에 설명된 것과 동일한 방식(또는 유사한 방식)으로 설계되는 경우에서이다. 사실, 문헌 US2013258098은 몇몇 광 수신용 섹션들(예를 들어 문헌 US2013258098에서 116과 117으로 참조됨)의 사용으로 인해 광 필드 데이터를 기록할 수 있는 픽셀을 개시한다. 따라서, 본 기술분야의 통상의 기술자는 이러한 종래의 카메라를 도 1에 도시된 바와 같은 종류의 플렌옵틱 카메라로서 문헌 US2013258098의 기술을 통합하는 픽셀들의 어레이와 동화시킬 수 있으며, 여기서 각각의 마이크로-렌즈는 센서(104)에 포함되는 2개의 픽셀들 상에 광선을 집중한다. 더 많은 수신 섹션이 픽셀의 아키텍처에 통합되면, 픽셀이 2개보다 많은 데이터 정보(2개의 로우 및 하이 수신 섹션들에 의해 획득됨)를 기록할 수 있다는 의미에서 문헌 US2013258098의 기술이 일반화될 수 있다는 점이 주목되어야 한다. 본 개시내용은 앞서 언급된 바와 같이 광 필드 데이터를 기록할 수 있는 픽셀들을 통합하는 "종래의 카메라"의 원시 이미지들에 대해 사용될 수 있다. 사실, 이러한 원시 이미지들은 마이크로-렌즈 이미지들의 세트에 동화될 수 있다.
본 개시내용은 또한, 문헌 미국 2010/0265386에 또는 SIGGRAPH 2007의 진행중 공개된 A. Levin a al.이 저술한 " Image and depth from a conventional camera with a coded aperture "라는 제목의 논문에 묘사되는 바와 같은 코드화된 조리개 엘리먼트들을 포함하는 디바이스들과 같이 4D 광 필드 데이터를 취득하거나, 또는 1995년 4월 10일 Applied Optics에 공개된 Edward R. Dowski, Jr.와 W. Thomas Cathe가 저술한 "Extended depth of field through wave-front coding"라는 제목의 논문에서 언급되는 바와 같은 파면(wavefront) 코딩 기술들을 사용하는 다른 디바이스들에 적용될 수 있다는 점이 또한 주목되어야 한다.
도 3 및 도 4는 완전한 얇은 렌즈 모델을 가정하는 도식적 플렌옵틱 타입 II 카메라를 도시한다. 앞서 소개된 거리들 p 및 w는 픽셀의 단위로 정해진다. 이들은 픽셀 사이즈 δ를 이들에 곱셈하는 것에 의해서 물리적 단위 거리(미터)로 각각 변환된다: W = δㆍw 그리고 P = δㆍp. 이러한 거리들은 광-필드 카메라 특성에 의존한다.
주-렌즈는 초점 길이 F 및 구경 Φ를 갖는다. 마이크로-렌즈 어레이는 초점 길이 f를 갖는 마이크로 렌즈들로 이루어진다. 마이크로-렌즈 어레이의 피치는
Figure pat00073
이다. 마이크로-렌즈 어레이는 주-렌즈로부터의 거리 D, 그리고 센서로부터의 거리 d에 위치된다. 오브젝트(도면들 상에서 볼 수 없음)는 주-렌즈로부터의 거리 z(좌측)에 위치된다. 이러한 오브젝트는 주-렌즈에 의해 주-렌즈로부터의 거리 z'(우측)에 포커싱된다.
도 3 및 도 4는 각각 D > z' 및 D < z'인 경우들을 도시한다. 양자 모두의 경우들에서, 마이크로-렌즈 이미지들은 d 및 f에 의존하여 초점이 맞을 수 있다. 이러한 설계는 소위 타입 II 플렌옵틱 카메라(플렌옵틱 카메라 2.0으로도 명명됨)에 관련된다.
도 5는 타입 I 플렌옵틱 카메라(플렌옵틱 카메라 1.0으로도 명명됨)를 제시하며, 여기서 f = d이다.
도 5에서는, 주-렌즈가 이미지들을 마이크로-렌즈 어레이에 가까이 포커싱하록 설계가 이루어진다. 주-렌즈가 정확히 마이크로-렌즈 어레이 상에 포커싱하면, W = ∞이다. 또한 마이크로-렌즈 이미지들은 완전히 아웃-오브-포커스(out-of-focus)이고 상수(a constant)와 동일하다(노이즈를 고려하지 않음).
복제 거리 W는 오브젝트의 거리 z에 따라 변한다. W와 z 사이의 관계를 규명하기 위해서, 사람들은 얇은 렌즈 방정식:
Figure pat00074
및 Thales의 법칙:
Figure pat00075
에 의존한다.
앞선 2개의 수학식들을 혼합하여 도출하면 :
Figure pat00076
이다.
W와 z 사이의 관계는 마이크로-렌즈 이미지들이 초점이 맞는다고 가정하지 않는다. 마이크로-렌즈 이미지들은 얇은 렌즈 방정식에 따라서 엄밀하게 초점이 맞는다:
Figure pat00077
또한 Thales 법칙으로부터 P를 유도한다.
Figure pat00078
Figure pat00079
비율 e는 마이크로-렌즈 피치와 마이크로-렌즈 이미지 피치 사이의 확대를 정의한다. 이러한 비율은 D >> d이기 때문에 1에 매우 가깝다.
유사한 언급은 문헌 WO 2013/167758에서 찾아볼 수 있다.
도 6은 4D 원시 광 필드 픽셀(즉, 좌표 (x, y)에서의 픽셀로, 좌표(Cx, Cy)에 중심을 갖는 600으로 참조되는 마이크로렌즈 이미지에 속함)의 (2D 리포커싱된 이미지에서의) 좌표 (X, Y) = (s[g(x - Cx) + Cx], s[g(y - Cy) + Cy])(여기서, g는 리포커스 평면(refocus plane)을 결정하고, s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의함)(따라서 size (Ig) = sㆍsize(IRAW)이고, 여기서 Ig는 2D 리포커싱된 이미지에 대응함)에서의 픽셀 상으로의 투영을 제시한다. 도 6의 예에서, 우리는 s = 1로 하였다. 리포커싱 프로세스에 대한 보다 상세한 것들은 문헌 WO 2013/167758에 상세화된다.
따라서, 고정 이미지 사이즈 s 및 초점 평면 g가 정해지면, 리포커싱된 이미지 Ig는 4D 원시 광 필드 데이터 IRAW의 모든 픽셀들 (x, y)을 투영하는 것으로 추정된다. 투영된 좌표 (X, Y)가 반드시 균일하게 분포된 그리드 상에 또는 규칙적인 그리드 상에 위치되는 것은 아니라는 점이 주목되어야 한다. 사실, 실제 평가된 위치들 (X, Y)의 이미지 평면 상의 분포는 값 g에 매우 의존한다.
이미지들의 마이크로렌즈 중심들 (Cx, Cy)은 (2013 IEEE Conference on. IEEE, CVPR(Computer Vision and Pattern Recognition)의 회담 진행에서 공개된, Dansereau 등이 저술한 " Decoding, calibration and rectification for lenselet -based plenoptic cameras ."라는 제목의 논문에 설명된 것과 같은) 최첨단의 임의의 기술에 의해 추정된다고 우리가 가정한다는 점이 주목되어야 한다.
제안되는 기술은 (g의 값에 기초하여) 정해진 초점에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법에 관련되며, 이는 (k, l)의 근처에서 보호되는 픽셀 값들의 가중된 합계의 결정을 통해, 위치 (k, l) ∈ N2에서 리포커싱된 이미지에서의 픽셀의 값을 결정하는 단계를 포함한다. 따라서, 리포커싱된 이미지는 아래와 같이 정의된다:
Figure pat00080
여거서,
Figure pat00081
는 정규화 계수이고,
Figure pat00082
은 (k, l)에 중심을 두는 근처(neighborhood)이며, 여기서 위치 (X, Y) = (s[g(x - Cx) + Cx], s[g(y - Cy) + Cy])이고, c = {R, G, B}는 컬러 채널(여기서, R은 적색이고, G는 녹색이며, B는 청색이다)이다. IRAW는 베이어 패턴(Bayer pattern)을 갖고, 그래서 IRAW c(x, y)는 단 하나의 컬러 채널에 대해서만 0이 아니라는 점이 주목되어야 한다.
도 7a 및 7b는 본 개시내용의 일 실시예에 따른 스플래팅 프로세스를 도시한다. 이러한 정의에 의하면, 스플래트 커널은 블러의 양을 조절한다는 점에 주목하자. 커널이 더 커질수록, 2D 리포커싱된 이미지는 더 흐릿해진다.
도 7a는 강도 값들 IRAW c(x, y)가 리포커싱 평면에서 투영되고 위치 (X, Y) 주위에서 확산되는(스플래팅되는) 것을 도시한다. 확산 값들은 스플래트 커널 W에 의해 가중화되고, 이는 (X, Y) 주위의 모든 픽셀들이 동일한 픽셀 값을 수신하는 것은 아니라는 점을 의미한다.
도 7b는 리포커싱된 이미지를 렌더링하기 위해서, 이미지 그리드 (k, l)의 각각의 픽셀 위치에 대하여, 이 위치에서 수신된 모든 픽셀 값들의 (가중화된) 합계가 결정된다는 점을 보여준다. 본 예에서, 픽셀 (k, l)은 2개의 값들을 수신한다. 도시의 목적으로, 스플래팅 커널의 형상은 본 도면에서 둥글지만 다른 형상들이 가능하다.
도 7c는 위치 (k, l) ∈ N2에서 리포커싱된 이미지에서의 픽셀의 값의 결정의 예를 제시한다. 제1 단계에서 좌표 (k, l) ∈ N2에 위치되는 픽셀의 근처 Bkl이 선택된다. 본 개시내용의 실시예에서, 이러한 근처는 좌표 (k, l) ∈ N2 상에 중심을 둘 수 있다. 변형으로, 이러한 근처는 좌표 (k, l) ∈ N2 상에 중심을 두지 않지만, 근처 영역은 좌표 (k, l) ∈ N2를 포함한다. 근처의 기하형상은 (원으로부터 도 7c에 묘사된 것과 같이 복잡한 기하형상 구조로) 변형될 수 있다. 도 7c의 예에서는, 적색 성분을 갖는 4D 원시 광 필드 데이터 IRAW로부터의 3개의 픽셀들만이 근처 Bkl에서의 투영을 갖는다. 따라서, 일 실시예에서 우리는, 적색 성분에 대해 Ig c(k, l) = [W(1)(k, l, X1, Y1)IRAW c(x1, y1) + W(2)(k, l, X2, Y2)IRAW c(x2, y2) + W(3)(k, l, X3, Y3)IRAW c(x3, y3)]*정규화 계수를 갖는다.
이러한 방정식에서, 가중 함수들(스플래트 커널들이라고도 명명됨) W(1), W(2) 및 W(3)는 동일한 함수들 또는 상이한 함수들일 수 있다.
동일한 근처에 대해, 그러나 다른 색 성분에 대해, 이러한 근처에는 다른 투영된 픽셀들이 포함된다. 이제, 스플래트 커널 W의 가능한 정의들 각각을 설명해보자. W의 가장 간단한 정의는 고정된 반경 r의 원이고, 본 문헌에서 우리는 W0라 할 것이다. 그럼에도 불구하고, 이러한 간단한 스플래트 커널이 리포커싱된 이미지들을 우수하게 복구하지는 않을 것이다.
본 개시내용의 제1 실시예에서, 스플래트 커널 W는
Figure pat00083
에 대한 감소 함수이며, 이는 W(X, Y, X, Y)가 자신의 최대 값에 도달하고 나서
Figure pat00084
가 증가하는 것에 비례하여 감소한다는 점을 의미한다. 이러한 스플래트 커널의 예는 아래와 같이 정의된다.
Figure pat00085
값 h1은 사용자에 의해 입력될 수 있거나 또는 4D 원시 광 필드 데이터의 취득을 수행한 광 필드 디바이스의 파라미터들의 함수로서 정의될 수 있는 파라미터이다.
본 개시내용의 제2 실시예에서는, 각각의 포인트 (x, y)에 대해 greal(x, y)의 값(g의 실제 값(즉, 광 필드 취득 디바이스로부터의 장면에서의 실제 거리))을 우리가 알고 있다고 가정하자. 이것은 포인트 (x, y)가 초점이 맞아야 되는 평면이다(이것은 장면의 심도를 알아야 추정될 수 있다). 다음으로, greal에 따라서 각각의 포인트에서 스플래트 커널이 적응될 수 있다. g를 우리가 리포커싱하려는 바람직한 초점 평면이라 하자.
Figure pat00086
가 감소할 때 우리는 스플래트 커널을 감소 함수로 정의한다. 이러한 정의에 의하면, 리포커싱된 평면 g에서의 포인트들은 예리하게 남는 반면, 다른 포인트들은 흐릿하고 흐릿함의 양은 초점 평면 g까지의 거리에 비례한다. 이러한 스플래트 커널의 예가 다음과 같이 정해진다.
Figure pat00087
값 h2는 사용자에 의해 입력될 수 있거나 또는 4D 원시 광 필드 데이터의 취득을 수행한 광 필드 디바이스의 파라미터들의 함수로서 정의될 수 있는 파라미터이다.
본 개시내용의 제3 실시예에서, 이미지의 구조 및 기하형상(이미지 경계들)은 스플래트 커널에 의해 활용될 수 있는 중요한 정보이다. 이미지 에지가 정해지면 스플래트 커널은 자신의 형상을 이미지 경계에 적응시킨다. 이러한 경우에 스플래트 커널은 비등방성이고 자기자신을 이미지의 에지들에 적응시킨다. 예를 들어, 이미지의 텐서 구조는 다음과 같이 정의된다고 알려져 있다.
Figure pat00088
여기서, Ix, Iy는 이미지 I의 편미분들(partial derivatives)이고, 이미지의 로컬 기하형상에 관한 중요한 정보를 제공하며: 고유벡터들(eigenvectors) v1, v2는 이미지 기울기들(gradients)의 주 방향들을 제공하며, 대응 고유값들(eigenvalues) λ1, λ2는 각각의 주 방향의 크기를 제공한다. 특히, 이러한 고유벡터들은 장면의 로컬 기하형상을 특징화한다(λ1, λ2가 작으면 동종의 영역에 대응하고, λ1, λ2가 크면 이미지 코너에 대응하며, λ1이 크고 λ2가 작으면 탄젠트 v1을 갖는 이미지 에지에 대응함).
도 8a는 흑색 포인트에서 계산된 텐서 행렬의 고유벡터들 및 고유값들에 의해 탄젠트 및 법선 벡터들이 추정되는 이미지 경계의 경우를 도시한다. 텐서 분석 덕분에, 우리는 이미지 에지가 있을 때 그 형상이 적응적이도록 스플래트 커널을 정의할 수 있다(도 8b 참조).
텐서 구조에 의해 제공되는 이미지의 기하형상을 고려하는 스플래트 커널의 예는 다음과 같이 정의된다.
Figure pat00089
이러한 가우시안(Gaussian) 커널은 방향
Figure pat00090
에서는 값 h3에 의해 평활화되고, 방향
Figure pat00091
에서는 값 h'3에 의해 평활화된다.
값들 h3 및 h'3은 사용자에 의해 입력될 수 있거나 또는 4D 원시 광 필드 데이터의 취득을 수행한 광 필드 디바이스의 파라미터들의 함수로서 정의될 수 있는 파라미터들이다.
실제로, 리포커싱된 이미지의 텐서를 추정하는 것은 투영된 포인트들 (X, Y)의 불규칙한 샘플링으로 인해 용이하지 않다는 점에 주목하자. 그러나, 이러한 텐서는 로컬 연산자이고, 이는 RAW 이미지에서 추정될 수 있고 다음으로 이미지 컬러 값들과 동일한 방식으로 투영될 수 있다.
제4 실시예에서, 스플래트 커널은 다-초점 플렌옵틱 카메라에서의 마이크로렌즈 타입을 고려한다. 예를 들어, Raytrix 카메라는 3개의 상이한 초점 길이들을 갖는 3가지 타입의 마이크로렌즈들이 존재하는 플렌옵틱 카메라이다. 도 9a는 Raytrix R5 카메라에 의해 캡처된 4D 원시 광 필드 데이터를 보여준다.
도 9b는 동일한 이미지의 상이한 부분들의 3개의 상이한 크롭들(crops)이다. 초점 길이의 면에서 상이한 마이크로렌즈들의 3가지 타입에 의해 마이크로 렌즈 어레이가 형성된다는 점에 주목하자. 좌측 크롭은 중앙에 있는 크롭보다 초점이 동일한 마이크로렌즈들을 갖지 않는다. 마지막 크롭은 3개의 마이크로렌즈들이 초점이 맞지 않은 경우 장면의 일부를 보여준다.
본 실시예에서, 우리는 우리의 스플래트 커널이 스플래팅될 값에 따라서 변한다는 사실을 고려한다. 이러한 값이 초점이 맞은 마이크로렌즈로부터 나오면, 스플래트 커널은 초점이 맞지 않은 마이크로렌즈의 값들을 확산하는 스플래트 커널보다 주요한 가중치를 가질 것이다. 그 아이디어는 포커싱된 것들에 비해 초점이 맞지 않은 마이크로렌즈들에 패널티를 주는 것이다(penalize). 이러한 스플래트 커널의 예는 다음과 같이 정의된다:
Figure pat00092
여기서, Wi ≠4는 본 문헌에 정의되는 스플래트 커널들 중 임의의 것이고, S(x, y)는 (x, y)가 속하는 마이크로렌즈들의 선명도의 측정치이며, Smax는 원시 이미지의 모든 마이크로렌즈들에서의 최대 선명도 값이다. 몇몇 선명도 측정치들이 사용될 수 있다. 예를 들어, Pattern Recognition 46.5 (2013): 1415-1432에 공개된, Pertuz, Said 등이 저술한 " Analysis of focus measure operators for shape-from-focus "라는 제목의 논문에 정의되는 선명도 측정치들.
본 개시내용의 제5 실시예에서, 이미지 사이즈 s 및 바람직한 리포커스 평면 g가 정해지면, 리포커싱된 평면에서의 투영된 포인트들 (X, Y)의 분포가 결정된다. s는 스케일만을 확인해 주지만, g의 선택은 분포 자체를 변경시킨다.
본 기술에서, 스플래트 커널은 2D 리포커싱된 이미지의 렌더링 프로세스가 컬러 "홀들(holes)"을 생산하지 않도록 이러한 분포를 고려한다. 환언하면, 본 기술은 2D 리포커싱된 이미지 Ig의 각각의 픽셀 위치 (k, l)가 스플래팅 프로세스 동안 각각의 컬러의 적어도 하나의 강도 값을 얻는다는 점을 보장한다.
실제로, 이것은 스플래트 커널의 지원이 최대 샘플링 스텝 H에 의해 정해지는 최대 사이즈를 갖는다는 점을 의미한다.
이러한 스플래트 커널의 예는 원이 반경 r = H를 갖는 경우 W5 = W0이다.
도 10은 컬러 채널당 적어도 하나의 값을 수신하는 픽셀 위치 (k, l)을 제시한다. 스플래트 커널들은 ("홀들(holes)"을 생성하지 않는데 필요한) 최소 사이즈가 보장되면 바로 상이한 형상들 및 사이즈들을 가질 수 있다.
스플래트 커널의 모든 전술한 정의들은 픽셀 값 IRAW c(x, y)을 가장 가까운 픽셀들에 확산시키는 것을 제안한다. 그러나, 본 개시내용의 제6 실시예에서, 우리는 동일한 픽셀 값을 정해진 기준(컬러의 면에서, 기울기의 면에서, 기타 등등의 면에서 최근접 근처들)에 대하여 K개-최근접 근처(K-Nearest Neighbors) 픽셀들에 확산시킬 수 있다. 공식적으로
Figure pat00093
여기서, χ(.)은 (명제가 참이면 1이고 그렇지 않으면 0인) 특성 함수이고, [.]는 라운딩 함수이다.
도 11은 K개-최근접 근처들(K-Nearest Neighbors)에 스플래팅되는 값 IRAW c(x, y)을 제시한다. 본 예에서 K = 6이다. 이러한 KNN이 반드시 유클리드(Euclidian) 거리에서 가장 가까운 픽셀들은 아니지만 컬러, 심도 또는 다른 기준의 면에서 가장 가까운 것이다.
본 발명의 제7 실시예에서는, 플렌옵틱 카메라의 PSF(Point Spread Function)(또는 마이크로렌즈 어레이의 PSF)가 추정될 수 있고 스플래트 커널의 정의에 고려될 수 있다. 이러한 커널의 하나의 가능한 정의는 다음과 같다.
Figure pat00094
각각의 컬러 채널이 상이한 PSF를 갖고, 따라서 스플래팅될 컬러 채널에 따라 스플래트 커널의 정의 또한 적응될 수 있다는 점에 주목하자.
본 개시내용의 제8 실시예에서는, 플렌옵틱 카메라들이 비네팅(vignetting)에 시달리고 특히 마이크로렌즈들의 비네팅에 시달린다는 점이 잘 알고 있다. 우리는 스플래팅 프로세스 동안 마이크로 렌즈의 중심으로부터의 픽셀들에 비해 비네팅에 시달리는 픽셀들에 패널티를 주는 것을 제안한다. 여기서 우리는 비네팅 보정이 항상 완전한 것은 아니며 보정된 픽셀들이 더 열악한 신호 대 잡음 비를 가지고, 그래서, 심지어 비네팅 알고리즘에 의해서도, 이러한 픽셀들에 패널티를 주는 것이 유용하다고 가정한다. 이러한 스플래트 커널의 하나의 가능한 정의는 다음과 같이 정의하는 것이다.
Figure pat00095
이것은 마이크로렌즈의 경계들에 놓이는 모든 픽셀들을 우리가 무시하고 반경 ρ의 원에 있는 픽셀들만을 우리가 고려한다는 점을 의미한다. 다른 가능한 정의는 다음과 같이 정해진다.
Figure pat00096
값 h8은 사용자에 의해 입력될 수 있거나 또는 4D 원시 광 필드 데이터의 취득을 수행한 광 필드 디바이스의 파라미터들의 함수로서 정의될 수 있는 파라미터이다.
주 렌즈의 비네팅을 고려하는 구체적인 커널 또한 가능하다는 점에 주목하자.
제9 실시예에서, 스플래트 커널은 적어도 2개의 앞서 정의된 스플래트 커널들의 곱으로서 계산될 수 있다(예를 들어, W9 = W1W7 또는 W9 = W2W3W6W8).
도 12는 본 발명의 일 실시예에 따른 흐름도를 제시한다.
보다 정확히, 도 12는 취득된 4D 원시 광 필드 데이터로부터의 이미지를 리포커싱하기 위한 방법의 일부 단계들을 도시한다.
1201로 참조되는 단계에서, 전자 디바이스는 4D 원시 광 필드 데이터를 수신한다. 더욱이, 초점이 행해져야 할 초점 평면을 정의하는 일부 파라미터들이 상기 전자 디바이스에 의해 획득된다. 일 실시예에서, 이러한 파라미터들은 (예를 들어, 초점이 행해져야 할 오브젝트를 선택하기 위한) 사용자 인터페이스에 의한 사용자의 상호작용들을 통해 획득될 수 있다. 이러한 파라미터들은 또한 리포커싱된 이미지의 사이즈를 포함할 수 있다.
다음으로, 1202로 참조되는 단계에서, 전자 디바이스는 (예를 들어, 도 6에서 투영되는 바와 같이) 투영된 픽셀들의 모든 좌표를 결정하기 위해서 4D 원시 광 필드 데이터의 모든 픽셀 좌표를 처리한다. 다음으로, 2D 리포커싱된 이미지에서의 좌표를 정의하기 위해 규칙적인 그리드(N × N으로 정의되는 유한 그리드)를 사용하는 것에 의해, 이러한 규칙적인 그리드에서 픽셀 값들을 결정하는 프로세스가 행해진다. 좌표 (k, l) ∈ N2에서의 픽셀 값을 결정하기 위해서, 앞서 설명된 처리가 실행될 수 있다.
변형으로 4D 원시 광 필드 데이터의 모든 픽셀이 "투영되는(projected)" 것은 아니다. 사실, 마이크로렌즈 이미지들의 에지에서의 픽셀들은 폐기되고, 따라서 투영되지 않고, 리포커싱 프로세스에 사용된다.
변형으로, 2D 리포커싱된 이미지에서의 픽셀들의 값들의 투영 및 업데이트가 동시에 행해진다.
단계 1202의 종료시, 2D 리포커싱된 이미지가 획득된다. 이러한 2D 리포커싱된 이미지는 다음으로 디스플레이 디바이스에 의해 디스플레이될 수 있다.
도 13은 본 문헌에 개시되는 방법들의 하나의 또는 몇몇 단계들을 수행하는데 사용될 수 있는 디바이스의 예를 제공한다.
1300으로 참조되는 이러한 디바이스는, 1301로 참조되는 컴퓨팅 유닛(예를 들어, CPU("Central Processing Unit")), 및 1302로 참조되고, 컴퓨터 프로그램의 명령어들의 실행 동안 중간 결과들이 일시적으로 저장될 수 있는 하나 이상의 메모리 유닛들(예를 들어, RAM("Random Access Memory")) 블록, 또는, 다른 것들 중에서, 컴퓨터 프로그램들이 저장되는 ROM 블록, 또는 EEPROM("Electrically-Erasable Programmable Read-Only Memory")을 포함된다. 컴퓨터 프로그램들은 컴퓨팅 유닛에 의해 실행될 수 있는 명령어들로 이루어진다. 이러한 디바이스(1300)는 또한, 1303으로 참조되고, 디바이스(1300)로 하여금 다른 디바이스들과 통신하도록 허용하는 입력-출력 인터페이스를 구성하는 전용 유닛을 포함할 수 있다. 특히, 이러한 전용 유닛(1303)은 (접촉없이 통신을 수행하기 위한) 안테나와, 또는 (통신 "접촉(contact)"을 수반하기 위한) 직렬 포트들과 연결될 수 있다. 도 13에서의 화살표들은 링크된 유닛이 예를 들어 서로 버스들을 통해 데이터를 교환할 수 있다는 것을 보여준다는 점이 주목되어야 한다.
대안적인 실시예에서, 앞서 설명된 방법의 단계들의 일부 또는 전부는, 프로그램가능한 FPGA("Field Programmable Gate Array") 컴포넌트 또는 ASIC("Application-Specific Integrated Circuit") 컴포넌트에서 하드웨어로 구현될 수 있다.
대안적인 실시예에서, 앞서 설명된 방법의 단계들의 일부 또는 전부는, 도 13에 개시된 것과 같이 메모리 유닛들 및 처리 유닛들을 포함하는 전자 디바이스 상에서 실행될 수 있다.
본 개시내용의 일 실시예에서, 도 13에 도시된 전자 디바이스는 이미지들(즉, 광 필드의 샘플링)을 캡처하도록 구성되는 카메라 디바이스에 포함될 수 있다. 이러한 이미지들은 하나 이상의 메모리 유닛들 상에 저장된다. 따라서, 이러한 이미지들은 비트 스트림 데이터(즉, 비트들의 시퀀스)로 볼 수 있다. 명백히, 비트 스트림은 또한 바이트 스트림으로 변환될 수 있고 그 반대도 마찬가지이다.

Claims (15)

  1. 정해진 초점 평면 값 g에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법- 상기 방법은 전자 디바이스에 의해 실행되며, 좌표
    Figure pat00097
    에서의 상기 리포커싱된 이미지의, 적어도 하나의 색 성분에 대한 적어도 하나의 픽셀 값을 결정하는 단계를 포함하는 것을 특징으로 함 -으로서,
    상기 결정 단계는:
    - 상기 적어도 하나의 색 성분에 대해, 상기 좌표
    Figure pat00098
    의 근처에 포함되는 좌표를 갖는 적어도 하나의 투영된 픽셀 값을 획득하는 단계;
    - 상기 적어도 하나의 투영된 픽셀 값을 함수에 기초하여 가중화하는 단계- 상기 가중화는 가중화된 값을 출력함 -; 및
    - 좌표
    Figure pat00099
    에서의 상기 리포커싱된 이미지의, 상기 적어도 하나의 색 성분에 대한 상기 적어도 하나의 픽셀 값을 상기 가중화된 값으로 업데이트하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00100
    를 갖고, 상기 함수는
    Figure pat00101
    - 여기서
    Figure pat00102
    은
    Figure pat00103
    에 속하는 값에 대응하고, 함수
    Figure pat00104
    는 놈 함수(norm function)임 -인 것으로서 정의되는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00105
    를 갖고, 상기 함수는
    Figure pat00106
    - 여기서
    Figure pat00107
    는
    Figure pat00108
    에 속하는 값에 대응하고,
    Figure pat00109
    의 값은 상기 4D 원시 광 필드 데이터를 취득한 광 필드 취득 디바이스로부터의 상기 4D 원시 광 필드 데이터와 관련된 장면에서의 실제 거리에 대응함 -인 것으로서 정의되는 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00110
    를 갖고, 상기 함수는
    Figure pat00111
    - 여기서
    Figure pat00112
    및
    Figure pat00113
    는
    Figure pat00114
    에 속하는 값에 대응하고, a, b, c 및 d는 상기 리포커싱된 이미지의 텐서 구조에 따라서 결정되는 평활화 값들에 대응함 -인 것으로서 정의되는 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00115
    를 갖고, 상기 함수는
    Figure pat00116
    이
    Figure pat00117
    의 K개-최근접 근처(K-Nearest Neighbors) 픽셀들에 속함)- 여기서
    Figure pat00118
    는 명제가 참이면 1이고 그렇지 않으면 0인 특성 함수이고,
    Figure pat00119
    는 라운딩 함수이며, K는 2 이상의 정수임 -인 것으로서 정의되는 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00120
    ,
    Figure pat00121
    - 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
    Figure pat00122
    는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
    Figure pat00123
    는 좌표
    Figure pat00124
    에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
    Figure pat00125
    - 여기서 함수 PSF는 플렌옵틱 카메라의 포인트 확산 함수(Point Spread Function)의 추정치(estimation)임 -인 것으로서 정의되는 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00126
    ,
    Figure pat00127
    - 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
    Figure pat00128
    는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
    Figure pat00129
    는 좌표
    Figure pat00130
    에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
    Figure pat00131
    - 여기서
    Figure pat00132
    는 명제가 참이면 1이고 그렇지 않으면 0인 특성 함수이고,
    Figure pat00133
    는 임계 값이며, 함수
    Figure pat00134
    는 놈 함수(norm function)임 -인 것으로서 정의되는 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00135
    ,
    Figure pat00136
    - 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
    Figure pat00137
    는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
    Figure pat00138
    는 좌표
    Figure pat00139
    에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
    Figure pat00140
    - 여기서
    Figure pat00141
    은
    Figure pat00142
    에 속하는 값에 대응하고, 함수
    Figure pat00143
    는 놈 함수(norm function)임 -인 것으로서 정의되는 방법.
  9. 제2항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00144
    ,
    Figure pat00145
    - 여기서 s는 2D 리포커싱된 이미지의 이미지 사이즈를 정의하고, 좌표
    Figure pat00146
    는 상기 4D 원시 광 필드 데이터에서의 픽셀의 좌표에 대응하고, 좌표
    Figure pat00147
    는 좌표
    Figure pat00148
    에서의 픽셀이 속하는 마이크로-이미지의 중심의 좌표에 대응함 -를 갖고, 상기 함수는
    Figure pat00149
    (
    Figure pat00150
    )- 여기서
    Figure pat00151
    는
    Figure pat00152
    가 속하는 마이크로렌즈의 선명도의 측정치(measure)이며,
    Figure pat00153
    는 상기 4D 원시 광 필드 데이터의 모든 마이크로렌즈들에서의 최대 선명도 값에 대응함 -와 동일한 것으로서 정의되는 방법.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서,
    상기 함수는 분리가능한 것으로서 정의되는 방법.
  11. 제2항 내지 제9항 중 어느 한 항에 있어서,
    상기 함수는
    Figure pat00154
    - 여기서
    Figure pat00155
    은
    Figure pat00156
    에 속하는 값에 대응하고, 함수
    Figure pat00157
    는 놈 함수(norm function)임 -와 다른 함수의 곱인 것으로서 정의되는 방법.
  12. 제1항 내지 제11항에 있어서,
    상기 업데이트하는 단계는 상기 가중화된 값을 상기 적어도 하나의 픽셀 값에 가산하는 단계를 포함하는 방법.
  13. 컴퓨터 프로그램을 저장하는 컴퓨터-판독가능하고 비-일시적인 스토리지 매체로서,
    상기 프로그램은 컴퓨터-실행가능 명령어들의 세트를 포함하고, 상기 명령어들이 컴퓨터에 의해 실행될 때 4D 원시 광 필드 데이터를 처리하기 위한 방법을 구현하고, 상기 명령어들은, 실행될 때, 상기 컴퓨터로 하여금 제1항 내지 제12항의 방법을 수행하도록 구성하는 명령어들을 스토리지 매체.
  14. 정해진 초점 평면 값 g에 대해 4D 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 전자 디바이스- 상기 전자 디바이스는 좌표
    Figure pat00158
    에서의 상기 리포커싱된 이미지의, 적어도 하나의 색 성분에 대한 적어도 하나의 픽셀 값을 결정하도록 구성되는 회로를 포함하는 것을 특징으로 함 -로서,
    상기 회로는:
    - 상기 적어도 하나의 색 성분에 대해, 상기 좌표
    Figure pat00159
    의 근처에 포함되는 좌표를 갖는 적어도 하나의 투영된 픽셀 값을 획득하도록 구성되는 획득 회로;
    - 상기 적어도 하나의 투영된 픽셀 값을 함수에 기초하여 가중화하도록 구성되는 가중화 회로- 상기 가중화 회로는 가중화된 값을 출력함 -; 및
    - 좌표
    Figure pat00160
    에서의 상기 리포커싱된 이미지의, 상기 적어도 하나의 색 성분에 대한 상기 적어도 하나의 픽셀 값을 상기 가중화된 값으로 업데이트하도록 구성되는 업데이트 회로
    를 포함하는 전자 디바이스.
  15. 제14항에 있어서,
    상기 적어도 하나의 투영된 픽셀 값은 좌표
    Figure pat00161
    를 갖고, 상기 함수는
    Figure pat00162
    - 여기서
    Figure pat00163
    은
    Figure pat00164
    에 속하는 값에 대응하고, 함수
    Figure pat00165
    는 놈 함수(norm function)임 -인 것으로서 정의되는 전자 디바이스.
KR1020160064349A 2015-05-29 2016-05-25 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법 KR20160140453A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305816.9 2015-05-29
EP15305816.9A EP3098778A1 (en) 2015-05-29 2015-05-29 Method for obtaining a refocused image from 4d raw light field data

Publications (1)

Publication Number Publication Date
KR20160140453A true KR20160140453A (ko) 2016-12-07

Family

ID=53396409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064349A KR20160140453A (ko) 2015-05-29 2016-05-25 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법

Country Status (6)

Country Link
US (1) US10182183B2 (ko)
EP (2) EP3098778A1 (ko)
JP (1) JP2016224948A (ko)
KR (1) KR20160140453A (ko)
CN (1) CN106210465A (ko)
BR (1) BR102016011825A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9693038B2 (en) * 2015-04-21 2017-06-27 Hand Held Products, Inc. Systems and methods for imaging
EP3494543B1 (en) * 2016-08-05 2023-06-28 InterDigital CE Patent Holdings A method for obtaining at least one sub-aperture image being associated with one view
CN106937044B (zh) * 2016-12-14 2020-10-23 北京信息科技大学 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
EP3416371A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
US10230911B1 (en) * 2017-08-29 2019-03-12 Ricoh Company, Ltd Preview generation for plenoptic imaging systems
CN111382753B (zh) * 2018-12-27 2023-05-12 曜科智能科技（上海）有限公司 光场语义分割方法、系统、电子终端及存储介质
US11030776B2 (en) 2019-02-01 2021-06-08 Molecular Devices (Austria) GmbH Calibration of a light-field imaging system
CN110222789B (zh) * 2019-06-14 2023-05-26 腾讯科技（深圳）有限公司 图像识别方法及存储介质
CN111028257B (zh) * 2019-11-06 2022-05-17 北京航空航天大学 微透镜子图像几何中心及边缘的提取方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9568606B2 (en) 2012-03-29 2017-02-14 Canon Kabushiki Kaisha Imaging apparatus for distance detection using high and low sensitivity sensors with inverted positional relations
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
GB2501936B (en) 2012-05-11 2016-11-30 Canon Kk Micro lens array and imaging apparatus
JP6168794B2 (ja) 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
JP2014016965A (ja) 2012-07-11 2014-01-30 Toshiba Corp 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus

Also Published As

Publication number Publication date
US20160353007A1 (en) 2016-12-01
BR102016011825A2 (pt) 2017-01-24
EP3098779B1 (en) 2021-09-01
EP3098778A1 (en) 2016-11-30
US10182183B2 (en) 2019-01-15
JP2016224948A (ja) 2016-12-28
CN106210465A (zh) 2016-12-07
EP3098779A1 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
US10334229B2 (en) Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP7186672B2 (ja) マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US8436912B2 (en) Range measurement using multiple coded apertures
KR101800995B1 (ko) 위상 기반 오토포커스를 위한 신뢰도 측정
US8330852B2 (en) Range measurement using symmetric coded apertures
EP3249607A1 (en) Method for obtaining a position of a main lens optical center of a plenoptic camera
US20110267485A1 (en) Range measurement using a coded aperture
US20190253593A1 (en) Photographing Method for Terminal and Terminal
JP2017017690A (ja) プレンオプティック・フォービエイテッド・カメラ
US11282176B2 (en) Image refocusing
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN110324532A (zh) 一种图像虚化方法、装置、存储介质及电子设备
US20140111606A1 (en) Camera systems and methods for gigapixel computational imaging
EP3247107A1 (en) Method and device for obtaining a hdr image by graph signal processing
CN113673474A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP3166073A1 (en) Method for obtaining a refocused image from 4d raw light field data
WO2023192706A1 (en) Image capture using dynamic lens positions
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Čadík et al. Automated outdoor depth-map generation and alignment
CN115225785A (zh) 成像系统和方法
Manne et al. Asymmetric wide tele camera fusion for high fidelity digital zoom