KR102408142B1 - 라이트필드 촬영 장치 및 방법 - Google Patents

라이트필드 촬영 장치 및 방법 Download PDF

Info

Publication number
KR102408142B1
KR102408142B1 KR1020150161230A KR20150161230A KR102408142B1 KR 102408142 B1 KR102408142 B1 KR 102408142B1 KR 1020150161230 A KR1020150161230 A KR 1020150161230A KR 20150161230 A KR20150161230 A KR 20150161230A KR 102408142 B1 KR102408142 B1 KR 102408142B1
Authority
KR
South Korea
Prior art keywords
image sensor
mirrors
light
lenses
lens
Prior art date
Application number
KR1020150161230A
Other languages
English (en)
Other versions
KR20160065742A (ko
Inventor
김도형
박성진
박일규
박창준
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/952,992 priority Critical patent/US9883151B2/en
Publication of KR20160065742A publication Critical patent/KR20160065742A/ko
Application granted granted Critical
Publication of KR102408142B1 publication Critical patent/KR102408142B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G02B7/1821—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors for rotating or oscillating mirrors
    • H04N5/2254—

Abstract

라이트필드 영상을 촬영하기 위한 방법 및 장치가 제공된다. 라이트필드 촬영 장치의는 거울 어레이 또는 마이크로미러 어레이를 포함한다. 거울 어레이의 복수의 거울들 중 활성화된 거울은 이미지 센서의 복수의 소자들에게 빛을 제공한다. 마이크로렌즈 어레이의 복수의 렌즈들 중 활성화된 렌즈는 이미지 센서의 복수의 소자들에게 빛을 제공한다. 시분할에 따라 복수의 거울들 중 활성화된 거울로서 선택된 거울은 변경되며, 복수의 렌즈들 중 활성화된 렌즈로서 선택된 렌즈는 변경된다.

Description

라이트필드 촬영 장치 및 방법{APPARATUS AND METHOD FOR TAKING LIGHTFIELD IMAGE}
아래의 실시예들은 이미지 처리에 관한 것으로, 보다 상세하게는 라이트필드 촬영 장치 및 방법이 개시된다.
카메라 모듈과 같은 촬영 장치(image capture apparatus)는 피사체의 이미지를 나타내는 컬러 값들을 획득한다.
컬러 값들의 획득을 위해, 촬영 장치는 이미지 센서를 포함한다. 촬영 장치의 이미지 센서는 폭(width) 및 높이(height)를 가지며, 소정의 해상도(resolution)을 갖는다. 이미지 센서는 촬영을 통해 이미지의 좌표들의 각각에 대한 컬러 값들을 생성한다. 여기에서, 좌표는 이미지 내의 위치를 나타내며, 2 차원의 좌표 값들인 (x, y)로 표현된다. 예를 들면, 컬러 값은 적(Red), 녹(Green) 및 청(Blue)의 적녹청(RGB) 값일 수 있다.
촬영 장치의 촬영을 통해, 사용자는 최종적으로 2차원의 컬러 이미지을 획득할 수 있다. 이른바, 디지털 카메라로 분류되는, 기존의 촬영 장치는 전술된 것과 같이 2차원의 컬러 이미지를 생성한다.
기술에 발달에 따라, 플렌옵틱(plenoptic) 기술이 개발되었다. 플렌옵틱 기술은 이미지 센서의 좌표들 (x, y) 및 상기의 좌표들에서의 (u, v)에 대하여 컬러 값을 획득한다. 여기에서, (u, v)는 각 해상도(angular resolution)에 대한 정보일 수 있다. 말하자면, 플렌옵틱 기술은 (x, y, u, v)에 대한 (R, G, B) 컬러 값을 획득한다.
플렌옵틱 기술에 따르면, 메인 렌즈 및 이미지 센서 사이에 마이크로 렌즈 어레이가 배치되며, 마이크로 렌즈 어레이를 통해 (x, y, u, v)에 대한 (R, G, B) 컬러 값이 획득된다.
플렌옵틱 기술에 의해 빛의 각에 관련된 정보가 획득될 수 있다. 빛의 각에 관련된 정보를 획득한다는 플렌옵틱 기술의 특성에 기인하여, 플렌옵틱 기술은 라이트필드 기술로도 불린다.
카메라 모듈과 같은 종래의 촬영 장치는 피사체에 포커스(focus)를 맞춘 후 이미지를 획득한다. 반면, 라이트필드 기술을 사용하는 라이트필드 촬영 장치는 이미지를 획득한 후 획득된 이미지에 대한 광학 리포커스(optical re-focus)를 수행할 수 있다. 말하자면, 종래의 촬영 장치에 의해 이미지가 획득된 경우, 이미지들 중에서는 포커스가 맞춰지지 않아서 사용되기에 부적합하거나 사용될 수 없는 이미지가 있을 수 있다. 반면, 라이트필드 촬영 장치는 획득된 이미지의 포커스를 임의로 재조정할 수 있다. 따라서, 라이트필드 촬영 장치에 의해 획득된 이미지에 대해서는, 포커스가 맞춰지지 않아서 이미지가 사용될 수 없는 경우가 발생하지 않는다. 또한, 라이트필드 촬영 장치는 이미지 내의 모든 사물들의 각 사물에 대하여 포커스가 맞춰질 수 있는 올-인-포커스(all-in-focus) 이미지를 생성할 수 있다.
라이트필드 촬영 장치의 다른 특징으로서, 시점 이동(refocusing)이 있다. 라이트필드 촬영 장치는 모든 방향에 대하여 빛의 정보를 기록한다. 따라서, 라이트필드 촬영 장치는 기록된 빛의 정보의 한도 내에서 광학적으로 타당한 다른 시점에서의 이미지를 생성할 수 있다. 여러 시점들에서의 이미지들을 생성할 수 있기 때문에, 라이트필트 촬영 장치는 다시점(multi-view) 입체 디스플레이에 적합할 수 있다.
라이트필드 촬영 장치는, 이미지를 생성하기 위해, 센서의 정보 공간을 각 해상도에 대응하는 (u, v) 정보 및 공간 해상도(spatial resolution)에 대응하는 (x, y) 정보를 위해 분할하여 사용해야 한다. 예를 들면, 이미지에 대하여, 각 해상도에 대한 정보가 많이 기록되는 경우, 유효한 공간 해상도에 대한 정보가 많이 기록될 수 없다. 반대로, 이미지에 대하여 유효한 공간 해상도에 대한 정보가 많이 기록되는 경우 각 해상도에 대한 정보가 많이 기록될 수 없다. 따라서, 라이트필트 촬영 장치의 설계에 있어서, 각 해상도에 대한 정보 및 공간 해상도에 대한 정보를 어떻게 분할하여 저장할 것인가가 문제가 된다.
라이트필드 촬영 장치와 관련하여, 한국공개특허 제10-2010-0088326호에서는 가변 모듈레이터(variable modulator)를 이용하는 다중 시야(multi-view) 라이트필드 데이터 획득(capturing) 장치가 개시되었다.
일 실시예는 이미지 센서의 해상도를 증가시키지 않으면서도 더 많은 각 해상도에 대한 정보 또는 더 많은 공간 해상도에 대한 정보를 제공하는 장치 및 방법을 제공할 수 있다.
일 실시예는 시분할을 통해 한 순간에 복수의 거울들 중 일부의 거울 또는 복수의 렌즈들 중 일부의 렌즈를 사용하여 이미지 데이터를 생성하는 장치 및 방법을 제공할 수 있다.
일 실시예는 한 순간에 하나의 거울 또는 하나의 렌즈가 이미지 센서의 복수의 소자들에게 빛을 제공하는 장치 및 방법을 제공할 수 있다.
일 측에 있어서, 거울 어레이; 및 이미지 센서를 포함하고, 상기 거울 어레이의 복수의 거울들 중 일부의 거울은 상기 이미지 센서의 복수의 소자들에게 빛을 제공하는 라이트필드 촬영 장치가 제공될 수 있다.
상기 복수의 거울들 중 상기 일부의 거울 외의 나머지의 거울은 상기 이미지 센서에 빛을 제공하지 않을 수 있다.
상기 복수의 거울들 중 인접한 2개의 거울들에 있어서, 상기 2개의 거울들 중 하나의 거울이 상기 일부의 거울로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 상기 2개의 거울들 중 다른 하나의 거울은 상기 나머지의 거울로서 상기 이미지 센서에 빛을 제공하지 않을 수 있다.
상기 복수의 거울들의 각 거울의 회전 각은 변할 수 있다.
상기 각 거울은 상기 회전 각에 따라 상기 일부의 거울 및 상기 나머지의 거울 중 하나의 거울로서 동작할 수 있다.
상기 라이트필드 촬영 장치는, 상기 회전 각을 제어하는 제어기를 더 포함할 수 있다.
상기 복수의 거울들의 각 거울은 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 상기 일부의 거울로서 선택될 수 있다.
상기 라이트필드 촬영 장치는 시분할에 따라 상기 복수의 거울들 중 일부를 상기 일부의 거울로서 선택할 수 있고, 선택된 상기 일부의 거울이 상기 이미지 센서의 복수의 소자들에게 빛을 제공하게 함으로써 상기 이미지 센서의 해상도에 비해 더 큰 크기의 이미지 데이터를 생성할 수 있다.
상기 라이트필드 촬영 장치는 n회의 시분할을 통해 상기 이미지 데이터를 생성할 수 있고, 상기 복수의 거울들의 각 거울은 상기 n회의 시분할 중 적어도 1회의 시분할에서 상기 이미지 센서의 복수의 소자들에게 빛을 제공할 수 있다.
상기 n은 2 이상의 정수일 수 있다.
상기 라이트필드 촬영 장치는, 메인 렌즈를 더 포함할 수 있다.
상기 일부의 거울은 상기 메인 렌즈를 통과한 빛을 반사함으로써 상기 이미지 센서의 복수의 소자들에게 빛을 제공할 수 있다.
다른 일 측에 있어서, 거울 어레이의 복수의 거울들 중 일부의 거울이 이미지 센서의 복수의 소자들에게 빛을 제공하는 단계; 및 상기 이미지 센서가 상기 복수의 소자들에게 제공된 상기 빛에 따라 이미지 데이터를 생성하는 단계를 포함하는 라이트필드 촬영 방법이 제공될 수 있다.
또 다른 일 측에 있어서, 마이크로렌즈 어레이; 및 이미지 센서를 포함하고, 상기 마이크로렌즈 어레이의 복수의 렌즈들 중 일부의 렌즈는 상기 이미지 센서의 복수의 소자들에게 빛을 제공하는 라이트필드 촬영 장치가 제공될 수 있다.
상기 복수의 렌즈들 중 상기 일부의 렌즈 외의 나머지의 렌즈는 상기 이미지 센서에 빛을 제공하지 않을 수 있다.
상기 복수의 렌즈들 중 인접한 2개의 렌즈들에 있어서, 상기 2개의 렌즈들 중 하나의 렌즈가 상기 일부의 렌즈로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 상기 2개의 렌즈들 중 다른 하나의 렌즈는 상기 나머지의 렌즈로서 상기 이미지 센서에 빛을 제공하지 않을 수 있다.
상기 라이트필드 촬영 장치는, 복수의 영역들을 포함하고, 상기 복수의 영역들의 각 영역에 대하여 빛의 투과 여부를 제어하는 마스크를 더 포함할 수 있다.
상기 복수의 렌즈들의 각 렌즈는 상기 마스크에 의해 상기 일부의 렌즈 및 상기 나머지의 렌즈 중 하나의 렌즈로서 동작할 수 있다.
상기 복수의 렌즈들에 있어서, 상기 복수의 영역들 중 빛을 통과시키는 영역에 인접한 렌즈는 상기 일부의 렌즈로서 동작할 수 있고, 상기 복수의 영역들 중 빛을 통과시키지 않는 영역에 인접한 렌즈는 상기 나머지의 렌즈로서 동작할 수 있다.
상기 라이트필드 촬영 장치는, 상기 마스크를 전자적으로 제어하는 제어기를 더 포함할 수 있다.
상기 복수의 렌즈들의 각 렌즈는 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 상기 일부의 렌즈로서 선택될 수 있다.
상기 라이트필드 촬영 장치는 시분할에 따라 상기 복수의 렌즈들을 상기 일부의 렌즈로서 선택할 수 있고, 선택된 상기 일부의 렌즈가 상기 이미지 센서의 복수의 소자들에게 빛을 제공하게 함으로써 상기 이미지 센서의 해상도에 비해 더 큰 크기의 이미지 데이터를 생성할 수 있다.
상기 라이트필드 촬영 장치는 n회의 시분할을 통해 상기 이미지 데이터를 생성할 수 있고, 상기 복수의 렌즈들의 각 렌즈는 상기 n회의 시분할 중 적어도 1회의 시분할에서 상기 이미지 센서의 복수의 소자들에게 빛을 제공할 수 있다.
상기 n은 2 이상의 정수일 수 있다.
상기 라이트필드 촬영 장치는, 메인 렌즈를 더 포함할 수 있다.
상기 일부의 렌즈는 상기 메인 렌즈를 통과한 빛을 복수의 소자들의 각 소자로 포커싱함으로써 상기 이미지 센서의 복수의 소자들에게 빛을 제공할 수 있다.
이미지 센서의 해상도를 증가시키지 않으면서도 더 많은 각 해상도에 대한 정보 또는 더 많은 공간 해상도에 대한 정보를 제공하는 장치 및 방법이 제공된다.
시분할을 통해 한 순간에 복수의 거울들 중 일부의 거울 또는 복수의 렌즈들 중 일부의 렌즈를 사용하여 이미지 데이터를 생성하는 장치 및 방법이 제공된다.
한 순간에 하나의 거울 또는 하나의 렌즈가 이미지 센서의 복수의 소자들에게 빛을 제공하는 장치 및 방법이 제공된다.
도 1은 플렌옵틱 1.0의 촬영 방식을 나타낸다.
도 2는 플렌옵틱 2.0의 촬영 방식을 나타낸다.
도 3은 일 실시예에 따른 거울을 사용하는 라이트필드 촬영 장치를 나타낸다.
도 4는 일 실시예에 따른 라이트필드 촬영 방법의 흐름도이다.
도 5는 일 실시예에 따른 거울을 사용하는 라이트필드 촬영 장치를 나타낸다.
도 6은 일 실시예에 따른 라이트필드 촬영 방법의 흐름도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.
실시예들에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석될 수 있다.
실시예들에서, 특정 부분과 다른 부분에 대한 연결관계는 양자의 직접적인 연결관계 이외에 그 사이에 또 다른 부분을 거쳐 연결되는 간접적인 연결관계를 포함할 수 있다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낼 수 있다.
도 1은 플렌옵틱 1.0의 촬영 방식을 나타낸다.
플렌옵틱 1.0의 촬영 장치는 메인 렌즈(110), 마이크로 렌즈 어레이(120) 및 이미지 센서(130)를 포함할 수 있다.
빛이 가운데의 메인 렌즈(110)를 통과하면, 메인 렌즈(110)를 통과한 빛은 마이크로 렌즈 어레이(120)에 초점이 맞게 될 수 있다. 마이크로 렌즈 어레이(120)의 렌즈 Li 및 이미지 센서의 영역 Ii는 서로 대응할 수 있다. 예를 들면, 렌즈 Li를 통과한 빛은 이미지 센서의 영역 Ii에 투사될 수 있고, 렌즈 Li를 통과한 빛에 대한 정보는 이미지 센서의 영역 Ii에 기록될 수 있다.
이미지 센서의 영역 Ii에 n개의 이미지 센서 소자들이 있다면, 렌즈 Li을 통과한 빛에 대하여 3개의 정보가 기록될 수 있다. n은 1 이상의 정수일 수 있다. 예를 들면, 이미지 센서의 영역 I3에 3개의 이미지 센서 소자들 I3-1, I3-2 및 I3-3이 있다면, 렌즈 L3을 통과한 빛에 대하여 이미지 센서 소자들 I3-1, I3-2 및 I3-3의 각각에서 정보가 기록될 수 있으며, 모두 3개의 정보가 생성될 수 있다.
도 2는 플렌옵틱 2.0의 촬영 방식을 나타낸다.
플렌옵틱 2.0의 촬영 장치는 메인 렌즈(210), 마이크로 렌즈 어레이(220) 및 이미지 센서(230)를 포함할 수 있다.
빛이 가운데의 메인 렌즈(210)를 통과하면, 메인 렌즈(210)를 통과한 빛은 마이크로 렌즈 어레이(220)의 앞에서 초점이 맞게 될 수 있다. 또한, 마이크로 렌즈 어레이(220)의 렌즈들은 포컬 플렌(focal plane)에 초점이 맞춰질 수 있다.
마이크로 렌즈 어레이(220)의 렌즈를 통과한 빛은 센서 플렌(sensor plane) 상의 이미지 센서(230)에 투사될 수 있다. 또한, 렌즈를 통과한 빛은 이미지 센서의 영역에 기록될 수 있다.
전술된 플렌옵틱 1.0 및 플렌옵틱 2.0의 양자에 있어서, 이미지 센서는 마이크로 렌즈 어레이의 뒤에 위치한다. 말하자면, 메인 렌즈, 마이크로 렌즈 어레이 및 이미지 센서는 메인 렌즈, 마이크로 렌즈 어레이 및 이미지 센서의 순서로 배치된다. 또한, 전술된 플렌옵틱 1.0 및 플렌옵틱 2.0의 양자에 있어서, 마이크로 렌즈 어레이의 하나의 렌즈는 이미지 센서의 하나의 영역에 대응할 수 있다. 여기에서, 이미지 센서의 영역은 정보 기록의 단위 또는 정보 생성의 단위일 수 있다.
도 3은 일 실시예에 따른 거울을 사용하는 라이트필드 촬영 장치를 나타낸다.
라이트필드 촬영 장치(300)는 메인 렌즈(310), 거울 어레이(320), 제어기(330) 및 이미지 센서(340)를 포함할 수 있다.
거울 어레이(320)는 거울들을 포함할 수 있다. 도 3에서 거울 어레이(320)의 거울들로서 거울들 M0 내지 M6이 예시적으로 도시되었다. 거울 어레이(320)의 각 거울은 마이크로 거울일 수 있다. 예를 들면, 거울 어레이(320)는 디지털 빛 처리(Digital Light Processing; DLP) 프로젝터에서의 거울 어레이와 동일한 방식으로 동작할 수 있다.
복수의 거울들은 거울 어레이(320)에서 2차원의 형태로 배치될 수 있다.
이미지 센서(340)는 소자들을 포함할 수 있다. 도 3에서 이미지 센서(340)의 소자들로서 소자들 I0 내지 I6이 예시적으로 도시되었다. 이미지 센서(340)의 각 소자들은 소자에 투사된 빛에 대한 정보를 생성할 수 있다.
라이트필드 촬영 장치(300)는 시분할로 동작할 수 있다. 시분할에 따라, 하나의 시점에서는, 거울 어레이(320)의 복수의 거울들 중 일부의 거울은 활성화될 수 있고, 복수의 거울들 중 나머지의 거울은 비활성화될 수 있다. 또한, 다른 시점에서는, 이전에 활성화된 일부의 거울은 비활성화될 수 있고, 이전에 비활성화된 나머지의 거울 중 적어도 일부는 활성화될 수 있다. 말하자면, 시간의 흐름에 따라, 거울 어레이(320)의 복수의 거울들은 순차적으로 활성화될 수 있다.
활성화된 거울은 이미지 센서(340)에 빛을 제공하는 거울 또는 이미지 센서(340)에 빛을 제공하도록 제어된 거울일 수 있다. 비활성화된 거울은 이미지 센서(340)에 빛을 제공하지 않는 거울 또는 이미지 센서(340)에 빛을 제공하지 않도록 제어된 거울일 수 있다.
거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울은 이미지 센서(340)에 빛을 제공할 수 있다. 일부의 활성화된 거울은 이미지 센서(340)에 빛을 제공함으로써 이미지 센서(340)의 영역에 정보를 기록할 수 있다. 여기에서, 빛이 제공되는 대상은 이미지 센서(340)의 하나의 센서만이 아닌 복수의 센서들일 수 있다. 말하자면, 거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울은 메인 렌즈(310)를 투과한 빛을 반사하여 이미지 센서(340)의 복수의 소자들에게 빛을 제공할 수 있다. 거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울은 이미지 센서(340)의 복수의 소자들의 각각에게 포커스를 맞출 수 있으며, 복수의 소자들의 각각으로 포커스가 맞춰진 빛을 반사할 수 있다.
일부의 활성화된 거울은 메인 렌즈(310)를 통과한 빛을 반사함으로써 이미지 센서(340)의 복수의 소자들에게 빛을 제공할 수 있다. 말하자면, 일부의 활성회된 거울은 기존의 플렌 옵틱 방식에 비해 이미지 센서(340)의 더 넓은 영역에 빛을 제공할 수 있고, 이미지 센서(340)의 더 넓은 영역에 정보를 기록할 수 있다.
또한, 거울 어레이(320)의 복수의 거울들 중 나머지의 비활성화된 거울은 이미지 센서(340)에 빛을 제공하지 않을 수 있다. 말하자면, 복수의 거울들 중 나머지의 비활성화된 거울은 메인 렌즈(310)를 투과한 빛을 반사하지 않을 수 있다. 또는, 복수의 거울들 중 나머지의 비활성화된 거울은 메인 렌즈(310)를 투과한 빛을 이미지 센서(340)에 영향을 미치지 않는 영역으로 반사할 수 있다.
거울 어레이(320)의 복수의 거울들의 각 거울은 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 일부의 활성화된 거울로서 선택될 수 있다. 예를 들면, 거울 어레이(320)의 복수의 거울들은 복수의 그룹들로 분류될 수 있고, 시분할에 따라 한 순간에 복수의 그룹들 중 하나의 그룹이 선택될 수 있다. 선택된 그룹의 거울이 일부의 활성화된 거울이 될 수 있다. 또한, 복수의 그룹들 중 선택된 그룹을 제외한 나머지의 그룹의 거울이 나머지의 비활성화된 거울이 될 수 있다. 시분할에 따라, 복수의 그룹들은 제어기(330)에 의해 순차적으로 하나씩 선택될 수 있다.
예를 들면, 시점 T0에서는, 거울 M3이 활성화된 거울로 선택될 수 있고, 거울 M2 및 거울 M4는 비활성화된 거울로 선택될 수 있다. 활성화된 거울인 M3은 이미지 센서(340)의 복수의 소자들인 I2, I3 및 I4의 모두에 정보를 기록할 수 있다. 비활성화된 거울인 거울 M2 및 거울 M4는 이미지 센서(340)의 어떤 소자에도 정보를 기록하지 않을 수 있다.
또한, 다음의 시점인 T1에서는, 거울 M2 및 M4가 활성화된 거울로 선택될 수 있고, 거울 M3은 비활성화된 거울로 선택될 수 있다. M2는 이미지 센서(340)의 복수의 소자들인 I0, I1 및 I2의 모두에 정보를 기록할 수 있고, M4는 이미지 센서(340)의 복수의 소자들인 I4, I5 및 I6의 모두에 정보를 기록할 수 있다. 비활성화된 거울인 거울 M3은 이미지 센서(340)의 어떤 소자에도 정보를 기록하지 않을 수 있다.
라이트필드 촬영 장치(300)는 시분할에 따라 거울 어레이(320)의 복수의 거울들 중 일부를 일부의 활성화된 거울로서 선택하고, 선택된 일부의 활성화된 거울이 이미지 센서(340)의 복수의 소자들에게 빛을 제공하게 함으로써 이미지 센서(340)의 해상도에 비해 더 큰 크기의 이미지 데이터를 생성할 수 있다. 말하자면, 라이트필드 촬영 장치(300)에 의해 생성된 이미지 데이터의 해상도는 이미지 센서(340)의 해상도에 비해 더 클 수 있다. 여기에서, 이미지 센서(340)의 해상도는 이미지 센서(340)의 소자들의 개수에 대응할 수 있다.
라이트필드 촬영 장치(300)는 복수의 시점들에서 이미지 센서(340)에서 획득된 정보를 합쳐서 이미지 데이터를 생성할 수 있다. 예를 들면, 라이트필드 촬영 장치(300)는 시점 T0에서 이미지 센서(340)의 소자에 의해 획득된 정보 및 시점 T1에서 이미지 센서(340)의 소자에 의해 획득된 정보를 사용하여 이미지 데이터를 생성할 수 있다. 앞서 설명된 것과 같이, 하나의 시점에 하나의 활성화된 거울이 3개의 소자들에 정보를 기록할 경우, 라이트필드 촬영 장치(300)는 이미지 센서(340)의 해상도에 비해 3배의 해상도를 갖는 이미지 데이터를 생성할 수 있다. 또한, 경우에 따라서는, 라이트필드 촬영 장치(300)는 3 회의 시분할을 통해 이미지 데이터를 생성할 수 있다.
라이트필드 촬영 장치(300)는 n회의 시분할을 통해 이미지 데이터를 생성할 수 있다. 예를 들면, 거울 어레이(320)의 복수의 거울들은 n개의 그룹들로 분류될 수 있다. 거울 어레이(320)의 복수의 거울들의 각 거울은 n회의 시분할 중 적어도 1회의 시분할에서 이미지 센서(340)의 복수의 소자들에게 빛을 제공할 수 있다. 예를 들면, 거울 어레이(320)의 복수의 거울들의 각 거울은 n개의 그룹들 중 적어도 하나의 그룹에 속할 수 있다. 여기에서, n은 2 이상의 정수일 수 있다.
예를 들면, 거울 어레이(320)의 복수의 거울들인 M0 내지 Mk에 있어서, j % n의 값이 p일 때, 거울 Mj는 그룹 p에 속할 수 있다. 그룹 p는 n회의 시분할 중 p+1번째의 시점에서 활성화되는 거울의 그룹일 수 있다. k는 1 이상의 정수일 수 있다. j는 0 이상 k 이하의 정수일 수 있다. p는 0 이상 n-1 이하의 정수일 수 있다. 예를 들면, 첫 번째의 시점에서는 거울 어레이(320)의 복수의 거울들 중 M0, Mn, M2n 및 M3n 등이 활성화될 수 있다. 두 번째의 시점에서는 거울 어레이(320)의 복수의 거울들 중 M1, Mn+1, M2n+1 및 M3n+1 등이 활성화될 수 있다. n-1 번째의 시점에서는 거울 어레이(320)의 복수의 거울들 중 Mn-1, M2n-1, M3n-1 및 M4n-1 등이 활성화될 수 있다.
거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울은 이미지 센서(340)의 복수의 인접한 소자들에게 빛을 제공할 수 있다. 여기에서, 복수의 인접한 소자들은 1차원(예를 들면, 선형) 또는 2차원(예를 들면, 사각형 또는 원형)의 형태를 가질 수 있다. 활성화된 거울이 복수의 인접한 소자들에게 빛을 제공하면서, 활성화된 거울과 인접한 거울 또한 소자에게 빛을 제공할 경우 복수의 거울들이 하나의 소자에게 빛을 제공하는 오작동이 발생할 수 있다. 거울 어레이(320)의 복수의 거울들 중 인접한 2개의 거울들에 있어서, 2개의 거울들 중 하나의 거울이 일부의 활성화된 거울로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 2개의 거울들 중 다른 하나의 거울은 나머지의 비활성화된 거울로서 상기 이미지 센서(340)에 빛을 제공하지 않을 수 있다.
거울 어레이(320)의 복수의 거울들의 각 거울의 활성화 여부는 회전 각에 의해 결정될 수 있다. 예를 들면, 거울의 회전 각이 소정의 값 또는 소정의 범위 내의 값에 대응할 경우 거울은 이미지 센서(340)의 복수의 소자들에게 빛을 제공하도록 활성화될 수 있다. 또는, 거울의 회전 각이 상기의 소정의 값 또는 상기의 소정의 범위 내의 값에 대응하지 않을 경우 거울은 이미지 센서(340)에게 빛을 제공하지 않도록 비활성화될 수 있다.
거울 어레이(320)의 복수의 거울들의 각 거울의 회전 각은 변할 수 있다. 각 거울은 회전 각에 따라 일부의 활성화된 거울 및 나머지의 비활성화된 거울 중 하나의 거울로서 동작할 수 있다. 제어기(330)는 거울 어레이(320)의 복수의 거울들의 각 거울의 회전 각을 제어할 수 있다. 또는, 제어기(330)는 거울 어레이(320)의 회전 각을 제어할 수 있으며, 거울 어레이(320)의 회전 각이 제어에 의해 변경됨에 따라 거울 어레이(320)의 복수의 거울들의 각 거울의 회전 각은 변할 수 있다.
거울 어레이(320) 또는 거울 어레이(320)의 복수의 거울들의 각 거울은 회전 축을 포함할 수 있고, 회전 축을 중심으로 회전할 수 있다.
제어기(330)는 시분할에 따라 서로 상이한 시점들에서 거울 어레이(320) 또는 거울 어레이(320)의 복수의 거울들의 각 거울을 서로 상이한 회전 각으로 제어할 수 있다.
도 4는 일 실시예에 따른 라이트필드 촬영 방법의 흐름도이다.
단계(410)에서, 거울 어레이(320)의 복수의 거울들 중 일부의 거울이 활성화된 거울로서 선택될 수 있다. 거울 어레이(320)의 복수의 거울들 중 활성화된 거울 외의 나머지의 거울은 비활성화된 거울로서 선택될 수 있다.
단계(420)에서, 거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울이 이미지 센서(340)의 복수의 소자들에게 빛을 제공할 수 있다.
또한, 거울 어레이(320)의 복수의 거울들 중 일부의 활성화된 거울 외의 나머지의 비활성화된 거울은 이미지 센서(340)에 빛을 제공하지 않을 수 있다.
단계(430)에서, 이미지 센서(340)는 빛이 제공된 복수의 소자들에게 제공된 빛에 따라 이미지 데이터를 생성할 수 있다.
이미지 센서(340)의 소자에 빛이 제공되면, 소자는 제공된 빛에 대응하는 데이터를 생성할 수 있다.
단계(440)에서, 제어기(330)는 라이트필트 촬영을 종료할 지 여부를 판단할 수 있다. 제어기(330)가 라이트필트 촬영을 종료하지 않을 것으로 판단한 경우 단계(410)가 반복될 수 있다. 제어기(330)가 라이트필트 촬영을 종료할 것으로 판단한 경우 절차가 종료할 수 있다.
단계(410)가 반복되면 지금의 일부의 활성화된 거울이 아닌 다른 거울이 활성화된 거울로서 선택될 수 있다.
예를 들면, n회의 시분할에 의해, 단계(410), 단계(420) 및 단계(430)는 n 회 반복될 수 있다. 거울 어레이(320)의 복수의 거울들인 M0 내지 Mk에 있어서, j % n의 값이 p일 때, 거울 Mj는 그룹 p에 속할 수 있다. 그룹 p는 n회의 시분할에 의한 반복들 중 p+1번째의 반복에서 활성화되는 거울의 그룹일 수 있다. k는 1 이상의 정수일 수 있다. j는 0 이상 k 이하의 정수일 수 있다. p는 0 이상 n-1 이하의 정수일 수 있다.
단계(410)의 첫 번째의 반복에서는 거울 어레이(320)의 복수의 거울들 중 M0, Mn, M2n 및 M3n 등이 활성화될 수 있다. 단계(410)의 두 번째의 반복에서는 거울 어레이(320)의 복수의 거울들 중 M1, Mn+1, M2n+1 및 M3n+1 등이 활성화될 수 있다. 단계(410)의 n-1 번째의 반복에서는 거울 어레이(320)의 복수의 거울들 중 Mn-1, M2n-1, M3n-1 및 M4n-1 등이 활성화될 수 있다.
도 5는 일 실시예에 따른 거울을 사용하는 라이트필드 촬영 장치를 나타낸다.
라이트필드 촬영 장치(500)는 메인 렌즈(510), 마이크로렌즈 어레이(520), 마스크(530), 제어기(535) 및 이미지 센서(540)를 포함할 수 있다.
마이크로렌즈 어레이(520)는 렌즈들을 포함할 수 있다. 도 5에서 마이크로렌즈 어레이(520)의 렌즈들로서 렌즈들 L0 내지 L6이 예시적으로 도시되었다. 마이크로렌즈 어레이(520)의 각 렌즈는 마이크로 렌즈일 수 있다.
복수의 렌즈들은 마이크로렌즈 어레이(520)에서 2차원의 형태로 배치될 수 있다.
이미지 센서(540)는 소자들을 포함할 수 있다. 도 5에서 이미지 센서(540)의 소자들로서 소자들 I0 내지 I6이 예시적으로 도시되었다. 이미지 센서(540)의 각 소자들은 소자에 투사된 빛에 대한 정보를 생성할 수 있다.
라이트필드 촬영 장치(500)는 시분할로 동작할 수 있다. 시분할에 따라, 하나의 시점에서는, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 렌즈는 활성화될 수 있고, 복수의 렌즈들 중 나머지의 렌즈는 비활성화될 수 있다. 또한, 다른 시점에서는, 이전에 활성화된 일부의 렌즈는 비활성화될 수 있고, 이전에 비활성화된 나머지의 렌즈 중 적어도 일부는 활성화될 수 있다. 말하자면, 시간의 흐름에 따라, 마이크로렌즈 어레이(520)의 복수의 렌즈들은 순차적으로 활성화될 수 있다.
활성화된 렌즈는 이미지 센서(540)에 빛을 제공하는 렌즈 또는 이미지 센서(540)에 빛을 제공하도록 제어된 렌즈일 수 있다. 비활성화된 렌즈는 이미지 센서(540)에 빛을 제공하지 않는 렌즈 또는 이미지 센서(540)에 빛을 제공하지 않도록 제어된 렌즈일 수 있다.
마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈는 이미지 센서(540)에 빛을 제공할 수 있다. 일부의 활성화된 렌즈는 이미지 센서(540)에 빛을 제공함으로써 이미지 센서(540)의 영역에 정보를 기록할 수 있다. 여기에서, 빛이 제공되는 대상은 이미지 센서(540)의 하나의 센서만이 아닌 복수의 센서들일 수 있다. 말하자면, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈는 메인 렌즈(510)를 투과한 빛을 이미지 센서(540)의 복수의 소자들에게 포커싱함으로써 이미지 센서(540)의 복수의 소자들에게 빛을 제공할 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈는 이미지 센서(540)의 복수의 소자들의 각각에게 포커스를 맞출 수 있으며, 복수의 소자들의 각각으로 포커스가 맞춰진 빛을 투사할 수 있다.
일부의 활성화된 렌즈는 메인 렌즈(510)를 통과한 빛을 이미지 센서(540)의 복수의 소자들에게 포커싱함으로써 이미지 센서(540)의 복수의 소자들에게 빛을 제공할 수 있다. 말하자면, 일부의 활성회된 렌즈는 기존의 플렌 옵틱 방식에 비해 이미지 센서(540)의 더 넓은 영역에 빛을 제공할 수 있고, 이미지 센서(540)의 더 넓은 영역에 정보를 기록할 수 있다.
또한, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 나머지의 비활성화된 렌즈는 이미지 센서(540)에 빛을 제공하지 않을 수 있다. 말하자면, 복수의 렌즈들 중 나머지의 비활성화된 렌즈는 메인 렌즈(510)를 투과한 빛을 반사하지 않을 수 있다. 또는, 복수의 렌즈들 중 나머지의 비활성화된 렌즈는 메인 렌즈(510)를 투과한 빛을 이미지 센서(540)에 영향을 미치지 않는 영역으로 포커싱할 수 있다.
마이크로렌즈 어레이(520)의 복수의 렌즈들의 각 렌즈는 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 일부의 활성화된 렌즈로서 선택될 수 있다. 예를 들면, 마이크로렌즈 어레이(520)의 복수의 렌즈들은 복수의 그룹들로 분류될 수 있고, 시분할에 따라 한 순간에 복수의 그룹들 중 하나의 그룹이 선택될 수 있다. 선택된 그룹의 렌즈가 일부의 활성화된 렌즈가 될 수 있다. 또한, 복수의 그룹들 중 선택된 그룹을 제외한 나머지의 그룹의 렌즈가 나머지의 비활성화된 렌즈가 될 수 있다. 시분할에 따라, 복수의 그룹들은 제어기(535)에 의해 순차적으로 하나씩 선택될 수 있다.
예를 들면, 시점 T0에서는, 렌즈 L3이 활성화된 렌즈로 선택될 수 있고, 렌즈 L2 및 렌즈 L4는 비활성화된 렌즈로 선택될 수 있다. 활성화된 렌즈인 L3은 이미지 센서(540)의 복수의 소자들인 I2, I3 및 I4의 모두에 정보를 기록할 수 있다. 비활성화된 렌즈인 렌즈 L2 및 렌즈 L4는 이미지 센서(540)의 어떤 소자에도 정보를 기록하지 않을 수 있다.
또한, 다음의 시점인 T1에서는, 렌즈 L2 및 L4가 활성화된 렌즈로 선택될 수 있고, 렌즈 L3은 비활성화된 렌즈로 선택될 수 있다. L2는 이미지 센서(540)의 복수의 소자들인 I0, I1 및 I2의 모두에 정보를 기록할 수 있고, L4는 이미지 센서(540)의 복수의 소자들인 I4, I5 및 I6의 모두에 정보를 기록할 수 있다. 비활성화된 렌즈인 렌즈 L3은 이미지 센서(540)의 어떤 소자에도 정보를 기록하지 않을 수 있다.
라이트필드 촬영 장치(500)는 시분할에 따라 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부를 일부의 활성화된 렌즈로서 선택하고, 선택된 일부의 활성화된 렌즈가 이미지 센서(540)의 복수의 소자들에게 빛을 제공하게 함으로써 이미지 센서(540)의 해상도에 비해 더 큰 크기의 이미지 데이터를 생성할 수 있다. 말하자면, 라이트필드 촬영 장치(500)에 의해 생성된 이미지 데이터의 해상도는 이미지 센서(540)의 해상도에 비해 더 클 수 있다. 여기에서, 이미지 센서(540)의 해상도는 이미지 센서(540)의 소자들의 개수에 대응할 수 있다.
라이트필드 촬영 장치(500)는 복수의 시점들에서 이미지 센서(540)에서 획득된 정보를 합쳐서 이미지 데이터를 생성할 수 있다. 예를 들면, 라이트필드 촬영 장치(500)는 시점 T0에서 이미지 센서(540)의 소자에 의해 획득된 정보 및 시점 T1에서 이미지 센서(540)의 소자에 의해 획득된 정보를 사용하여 이미지 데이터를 생성할 수 있다. 앞서 설명된 것과 같이, 하나의 시점에 하나의 활성화된 렌즈가 3개의 소자들에 정보를 기록할 경우, 라이트필드 촬영 장치(500)는 이미지 센서(540)의 해상도에 비해 3배의 해상도를 갖는 이미지 데이터를 생성할 수 있다. 또한, 경우에 따라서는, 라이트필드 촬영 장치(500)는 3 회의 시분할을 통해 이미지 데이터를 생성할 수 있다.
라이트필드 촬영 장치(500)는 n회의 시분할을 통해 이미지 데이터를 생성할 수 있다. 예를 들면, 마이크로렌즈 어레이(520)의 복수의 렌즈들은 n개의 그룹들로 분류될 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들의 각 렌즈는 n회의 시분할 중 적어도 1회의 시분할에서 이미지 센서(540)의 복수의 소자들에게 빛을 제공할 수 있다. 예를 들면, 마이크로렌즈 어레이(520)의 복수의 렌즈들의 각 렌즈는 n개의 그룹들 중 적어도 하나의 그룹에 속할 수 있다. 여기에서, n은 2 이상의 정수일 수 있다.
예를 들면, 마이크로렌즈 어레이(520)의 복수의 렌즈들인 L0 내지 Lk에 있어서, j % n의 값이 p일 때, 렌즈 Lj는 그룹 p에 속할 수 있다. 그룹 p는 n회의 시분할 중 p+1번째의 시점에서 활성화되는 렌즈의 그룹일 수 있다. k는 1 이상의 정수일 수 있다. j는 0 이상 k 이하의 정수일 수 있다. p는 0 이상 n-1 이하의 정수일 수 있다. 예를 들면, 첫 번째의 시점에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 L0, Ln, L2n 및 L3n 등이 활성화될 수 있다. 두 번째의 시점에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 L1, Ln+1, L2n+1 및 L3n+1 등이 활성화될 수 있다. n-1 번째의 시점에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 Ln-1, L2n-1, L3n-1 및 L4n-1 등이 활성화될 수 있다.
마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈는 이미지 센서(540)의 복수의 인접한 소자들에게 빛을 제공할 수 있다. 여기에서, 복수의 인접한 소자들은 1차원(예를 들면, 선형) 또는 2차원(예를 들면, 사각형 또는 원형)의 형태를 가질 수 있다. 활성화된 렌즈가 복수의 인접한 소자들에게 빛을 제공하면서, 활성화된 렌즈와 인접한 렌즈 또한 소자에게 빛을 제공할 경우 복수의 렌즈들이 하나의 소자에게 빛을 제공하는 오작동이 발생할 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 인접한 2개의 렌즈들에 있어서, 2개의 렌즈들 중 하나의 렌즈가 일부의 활성화된 렌즈로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 2개의 렌즈들 중 다른 하나의 렌즈는 나머지의 비활성화된 렌즈로서 상기 이미지 센서(540)에 빛을 제공하지 않을 수 있다.
일부의 활성화된 렌즈 및 나머지의 비활성화된 렌즈를 선택하기 위해 마스크(530)가 사용될 수 있다. 제어기(535)는 마스크(530)를 전자적으로 제어할 수 있다. 말하자면, 마스크(530)는 전자적 마스크일 수 있다.
마스크(530)는 복수의 영역들을 포함할 수 있다. 마스크(530)는 마스크(530)의 복수의 영역들의 각 영역에 대해서 빛의 통과 여부를 제어할 수 있다.
마스크(530)의 복수의 영역들 및 마이크로렌즈 어레이(520)의 복수의 렌즈들은 각각 대응할 수 있다. 마스크(530)의 복수의 영역들 및 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 서로 간에 가장 가까운 영역 및 렌즈는 서로 대응할 수 있다. 또는, 마스크(530)의 복수의 영역들 중 마이크로렌즈 어레이(520)의 특정한 렌즈의 앞에 배치된 영역은 상기의 특정한 렌즈에 대응할 수 있다.
마이크로렌즈 어레이(520)의 복수의 렌즈들의 각 렌즈는 마스크(530)에 의해 일부의 활성화된 렌즈 및 나머지의 비활성화된 렌즈 중 하나의 렌즈로서 동작할 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들의 각 렌즈의 활성화 여부는 마스크(530)에 의해 의해 결정될 수 있다. 예를 들면, 마이크로렌즈 어레이(520)의 렌즈에 대응하는 마스크(530)의 영역이 빛을 통과시키도록 구성되면, 상기의 렌즈는 활성화된 렌즈로서 동작할 수 있다. 또는, 마이크로렌즈 어레이(520)의 렌즈에 대응하는 마스크(530)의 영역이 빛을 통과시키지 않도록 구성되면, 상기의 렌즈는 비활성화된 렌즈로서 동작할 수 있다. 말하자면, 마스크(530)는 베리어(barrier)로서 동작할 수 있다.
제어기(535)는 마스크(530)의 복수의 영역들 중 일부의 영역은 활성화된 영역(즉, 빛을 통과시키는 영역)으로 제어할 수 있고, 나머지의 영역은 비활성화된 영역(즉, 빛을 통과시키지 않는 영역)으로 제어할 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들 중, 활성화된 영역에 대응하는 렌즈는 활성화된 렌즈가 될 수 있고, 비활성화된 영역에 대응하는 렌즈는 비활성화된 렌즈가 될 수 있다. 말하자면, 마이크로렌즈 어레이(520)의 복수의 렌즈들에 있어서, 마스크(530)의 복수의 영역들 중 빛을 통과시키는 영역에 인접한 렌즈는 일부의 활성화된 렌즈로서 동작하고, 복수의 영역들 중 빛을 통과시키지 않는 영역에 인접한 렌즈는 나머지의 비활성화된 렌즈로서 동작할 수 있다.
마스크(530)의 복수의 영역들의 각 영역에 대하여, 제어기(535)는 상기의 각 영역이 빛을 통과시키는지 여부를 제어할 수 있다. 제어기(530)는 시분할에 따라 서로 상이한 시점들에서 마스크(530)의 활성화되는 영역이 변하게할 수 있다.
도 6은 일 실시예에 따른 라이트필드 촬영 방법의 흐름도이다.
단계(610)에서, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 렌즈가 활성화된 렌즈로서 선택될 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 활성화된 렌즈 외의 나머지의 렌즈는 비활성화된 렌즈로서 선택될 수 있다.
단계(620)에서, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈가 이미지 센서(540)의 복수의 소자들에게 빛을 제공할 수 있다.
또한, 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 일부의 활성화된 렌즈 외의 나머지의 비활성화된 렌즈는 이미지 센서(540)에 빛을 제공하지 않을 수 있다.
단계(630)에서, 이미지 센서(540)는 빛이 제공된 복수의 소자들에게 제공된 빛에 따라 이미지 데이터를 생성할 수 있다.
이미지 센서(540)의 소자에 빛이 제공되면, 소자는 제공된 빛에 대응하는 데이터를 생성할 수 있다.
단계(640)에서, 제어기(635)는 라이트필트 촬영을 종료할 지 여부를 판단할 수 있다. 제어기(635)가 라이트필트 촬영을 종료하지 않을 것으로 판단한 경우 단계(610)가 반복될 수 있다. 제어기(635)가 라이트필트 촬영을 종료할 것으로 판단한 경우 절차가 종료할 수 있다.
단계(610)가 반복되면 지금의 일부의 활성화된 렌즈가 아닌 다른 렌즈가 활성화된 렌즈로서 선택될 수 있다.
예를 들면, n회의 시분할에 의해, 단계(610), 단계(620) 및 단계(630)는 n 회 반복될 수 있다. 마이크로렌즈 어레이(520)의 복수의 렌즈들인 L0 내지 Lk에 있어서, j % n의 값이 p일 때, 렌즈 Lj는 그룹 p에 속할 수 있다. 그룹 p는 n회의 시분할에 의한 반복들 중 p+1번째의 반복에서 활성화되는 렌즈의 그룹일 수 있다. k는 1 이상의 정수일 수 있다. j는 0 이상 k 이하의 정수일 수 있다. p는 0 이상 n-1 이하의 정수일 수 있다.
단계(610)의 첫 번째의 반복에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 L0, Ln, L2n 및 L3n 등이 활성화될 수 있다. 단계(610)의 두 번째의 반복에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 L1, Ln+1, L2n+1 및 L3n+1 등이 활성화될 수 있다. 단계(610)의 n-1 번째의 반복에서는 마이크로렌즈 어레이(520)의 복수의 렌즈들 중 Ln-1, L2n-1, L3n-1 및 L4n-1 등이 활성화될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 라이트필드 촬영 장치
310: 메인 렌즈
320: 거울 어레이
330: 제어기
340: 이미지 센서
500: 라이트필드 촬영 장치
510: 메인 렌즈
520: 마이크로렌즈 어레이
530: 마스크
535: 제어기
540: 이미지 센서

Claims (20)

  1. 거울 어레이; 및
    이미지 센서를 포함하고,
    상기 거울 어레이의 복수의 거울들 중 일부의 거울은 상기 이미지 센서의 복수의 소자들에게 빛을 제공하고,
    상기 복수의 거울들의 각 거울은 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 상기 일부의 거울로서 선택되고,
    시분할에 따라 상기 복수의 거울들 중 일부가 상기 일부의 거울로서 선택되고, 선택된 상기 일부의 거울이 상기 이미지 센서의 복수의 소자들에게 빛을 제공하게 함으로써 상기 이미지 센서의 해상도에 비해 더 큰 크기의 이미지 데이터가 생성되는 라이트필드 촬영 장치.
  2. 제1항에 있어서,
    상기 복수의 거울들 중 상기 일부의 거울 외의 나머지의 거울은 상기 이미지 센서에 빛을 제공하지 않는 라이트필드 촬영 장치.
  3. 제2항에 있어서,
    상기 복수의 거울들 중 인접한 2개의 거울들에 있어서, 상기 2개의 거울들 중 하나의 거울이 상기 일부의 거울로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 상기 2개의 거울들 중 다른 하나의 거울은 상기 나머지의 거울로서 상기 이미지 센서에 빛을 제공하지 않는 라이트필드 촬영 장치.
  4. 제2항에 있어서,
    상기 복수의 거울들의 각 거울의 회전 각은 변하고,
    상기 각 거울은 상기 회전 각에 따라 상기 일부의 거울 및 상기 나머지의 거울 중 하나의 거울로서 동작하는 라이트필드 촬영 장치.
  5. 제4항에 있어서,
    상기 회전 각을 제어하는 제어기
    를 더 포함하는 라이트필드 촬영 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 라이트필드 촬영 장치는 n회의 시분할을 통해 상기 이미지 데이터를 생성하고, 상기 복수의 거울들의 각 거울은 상기 n회의 시분할 중 적어도 1회의 시분할에서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하고, 상기 n은 2 이상의 정수인, 라이트필드 촬영 장치.
  9. 제1항에 있어서,
    메인 렌즈
    를 더 포함하고,
    상기 일부의 거울은 상기 메인 렌즈를 통과한 빛을 반사함으로써 상기 이미지 센서의 복수의 소자들에게 빛을 제공하는 라이트필드 촬영 장치.
  10. 거울 어레이의 복수의 거울들 중 일부의 거울이 이미지 센서의 복수의 소자들에게 빛을 제공하는 단계; 및
    상기 이미지 센서가 상기 이미지 센서의 복수의 소자들에게 제공된 빛에 따라 이미지 데이터를 생성하는 단계
    를 포함하고,
    상기 복수의 거울들의 각 거울은 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 상기 일부의 거울로서 선택되고,
    시분할에 따라 상기 복수의 거울들 중 일부가 상기 일부의 거울로서 선택되고, 선택된 상기 일부의 거울이 상기 이미지 센서의 복수의 소자들에게 빛을 제공하게 함으로써 상기 이미지 센서의 해상도에 비해 더 큰 크기의 상기 이미지 데이터가 생성되는 라이트필드 촬영 방법.
  11. 마이크로렌즈 어레이; 및
    이미지 센서를 포함하고,
    상기 마이크로렌즈 어레이의 복수의 렌즈들 중 일부의 렌즈는 상기 이미지 센서의 복수의 소자들에게 빛을 제공하고,
    상기 복수의 렌즈들의 각 렌즈는 시분할에 따른 복수의 시점들 중 적어도 하나의 시점에서 상기 일부의 렌즈로서 선택되고,
    시분할에 따라 상기 복수의 렌즈들 중 일부가 상기 일부의 렌즈로서 선택되고, 선택된 상기 일부의 렌즈가 상기 이미지 센서의 복수의 소자들에게 빛을 제공하게 함으로써 상기 이미지 센서의 해상도에 비해 더 큰 크기의 이미지 데이터가 생성되는 라이트필드 촬영 장치.
  12. 제11항에 있어서,
    상기 복수의 렌즈들 중 상기 일부의 렌즈 외의 나머지의 렌즈는 상기 이미지 센서에 빛을 제공하지 않는 라이트필드 촬영 장치.
  13. 제12항에 있어서,
    상기 복수의 렌즈들 중 인접한 2개의 렌즈들에 있어서, 상기 2개의 렌즈들 중 하나의 렌즈가 상기 일부의 렌즈로서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하면, 상기 2개의 렌즈들 중 다른 하나의 렌즈는 상기 나머지의 렌즈로서 상기 이미지 센서에 빛을 제공하지 않는 라이트필드 촬영 장치.
  14. 제12항에 있어서,
    복수의 영역들을 포함하고, 상기 복수의 영역들의 각 영역에 대하여 빛의 투과 여부를 제어하는 마스크
    를 더 포함하고,
    상기 복수의 렌즈들의 각 렌즈는 상기 마스크에 의해 상기 일부의 렌즈 및 상기 나머지의 렌즈 중 하나의 렌즈로서 동작하는 라이트필드 촬영 장치.
  15. 제14항에 있어서,
    상기 복수의 렌즈들에 있어서, 상기 복수의 영역들 중 빛을 통과시키는 영역에 인접한 렌즈는 상기 일부의 렌즈로서 동작하고, 상기 복수의 영역들 중 빛을 통과시키지 않는 영역에 인접한 렌즈는 상기 나머지의 렌즈로서 동작하는 라이트필드 촬영 장치.
  16. 제15항에 있어서,
    상기 마스크를 전자적으로 제어하는 제어기
    를 더 포함하는 라이트필드 촬영 장치.
  17. 삭제
  18. 삭제
  19. 제11항에 있어서,
    상기 라이트필드 촬영 장치는 n회의 시분할을 통해 상기 이미지 데이터를 생성하고, 상기 복수의 렌즈들의 각 렌즈는 상기 n회의 시분할 중 적어도 1회의 시분할에서 상기 이미지 센서의 복수의 소자들에게 빛을 제공하고, 상기 n은 2 이상의 정수인 라이트필드 촬영 장치.
  20. 제11항에 있어서,
    메인 렌즈
    를 더 포함하고,
    상기 일부의 렌즈는 상기 메인 렌즈를 통과한 빛을 상기 이미지 센서의 복수의 소자들의 각 소자로 포커싱함으로써 상기 이미지 센서의 복수의 소자들에게 빛을 제공하는 라이트필드 촬영 장치.
KR1020150161230A 2014-11-28 2015-11-17 라이트필드 촬영 장치 및 방법 KR102408142B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/952,992 US9883151B2 (en) 2014-11-28 2015-11-26 Apparatus and method for capturing lightfield image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140168151 2014-11-28
KR20140168151 2014-11-28

Publications (2)

Publication Number Publication Date
KR20160065742A KR20160065742A (ko) 2016-06-09
KR102408142B1 true KR102408142B1 (ko) 2022-06-16

Family

ID=56138977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150161230A KR102408142B1 (ko) 2014-11-28 2015-11-17 라이트필드 촬영 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102408142B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190088277A (ko) 2018-01-18 2019-07-26 서울대학교산학협력단 단일촬영 푸리에 타이코그래피 마이크로스코피 시스템
KR102032251B1 (ko) * 2018-10-04 2019-10-15 (주) 솔 이미지 센서 모듈, 소형 디지털 현미경 및 소형 디지털 현미경 어레이 시스템
KR102577447B1 (ko) * 2018-11-02 2023-09-13 한국전자통신연구원 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법
KR20220053361A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미징 장치
KR20230053851A (ko) 2021-10-15 2023-04-24 주식회사 베라버스 복수의 roi를 이용하는 푸리에 타이코그래피 현미경 및 그 사용 방법
KR20230053847A (ko) 2021-10-15 2023-04-24 주식회사 베라버스 푸리에 타이코그래피 현미경 및 그 사용 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007517488A (ja) * 2003-12-26 2007-06-28 コミツサリア タ レネルジー アトミーク 静電駆動デバイス
US20070182939A1 (en) 2006-02-06 2007-08-09 Texas Instruments Incorporated Digital projection system without a color filter
US20120050533A1 (en) * 2010-08-31 2012-03-01 Dewa Paul G Mems based surveillance system and a method for using same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059101A (ko) * 2012-11-05 2014-05-15 삼성전자주식회사 라이트 필드 디스플레이 장치 및 방법
KR101524827B1 (ko) * 2013-03-20 2015-06-03 충북대학교 산학협력단 집적영상 카메라와 이를 이용한 홀로그램 합성 기법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007517488A (ja) * 2003-12-26 2007-06-28 コミツサリア タ レネルジー アトミーク 静電駆動デバイス
US20070182939A1 (en) 2006-02-06 2007-08-09 Texas Instruments Incorporated Digital projection system without a color filter
US20120050533A1 (en) * 2010-08-31 2012-03-01 Dewa Paul G Mems based surveillance system and a method for using same

Also Published As

Publication number Publication date
KR20160065742A (ko) 2016-06-09

Similar Documents

Publication Publication Date Title
KR102408142B1 (ko) 라이트필드 촬영 장치 및 방법
EP2008445B1 (en) Improved plenoptic camera
JP6341736B2 (ja) 撮像装置、制御方法、プログラム、記憶媒体
KR101854461B1 (ko) 카메라 시스템 및 이의 객체 인식 방법
JP5917125B2 (ja) 画像処理装置、画像処理方法、撮像装置および表示装置
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
JP2015194706A5 (ko)
JP2017055310A5 (ko)
KR102477092B1 (ko) 이미지 획득 장치 및 방법
JP6003578B2 (ja) 画像生成方法及び装置
TWI472864B (zh) 影像處理裝置及其控制方法
JP6234401B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US9883151B2 (en) Apparatus and method for capturing lightfield image
US20120212581A1 (en) Image capture apparatus and image signal processing apparatus
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP6330955B2 (ja) 撮像装置及び撮像方法
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP5721891B2 (ja) 撮像装置
US8955988B1 (en) Image modification in optical path
JP5553862B2 (ja) 撮像装置および撮像装置の制御方法
JP6813936B2 (ja) 光線３次元捕捉カムコーダおよびテレビジョンであって、前記テレビジョンの前表面および後表面に形成される実画像を生成するための、テレビジョン、平行光線フィルタデバイス、レベル化液晶または光学セルの移動または多焦点軟質レンズを含む可動レンズのセットを有する平行光線フィルタ、前記デバイスを得るための方法
KR102272083B1 (ko) 홀로그램 광학 요소를 사용한 3차원 이미지 출력 방법 및 장치
US20220358680A1 (en) Full-automatic calibration method and apparatus oriented to structured light 3d vision system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right