KR20110032345A - 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 - Google Patents

모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110032345A
KR20110032345A KR1020090089780A KR20090089780A KR20110032345A KR 20110032345 A KR20110032345 A KR 20110032345A KR 1020090089780 A KR1020090089780 A KR 1020090089780A KR 20090089780 A KR20090089780 A KR 20090089780A KR 20110032345 A KR20110032345 A KR 20110032345A
Authority
KR
South Korea
Prior art keywords
modulator
light field
tiles
field data
attenuation pattern
Prior art date
Application number
KR1020090089780A
Other languages
English (en)
Other versions
KR101600010B1 (ko
Inventor
강주영
박병관
한상욱
이성덕
최원희
임재균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090089780A priority Critical patent/KR101600010B1/ko
Priority to US12/885,136 priority patent/US8442397B2/en
Priority to EP10177269.7A priority patent/EP2309718B1/en
Priority to JP2010208935A priority patent/JP2011071981A/ja
Priority to CN201010288391.3A priority patent/CN102026011B/zh
Publication of KR20110032345A publication Critical patent/KR20110032345A/ko
Application granted granted Critical
Publication of KR101600010B1 publication Critical patent/KR101600010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

장면의 광 필드 데이터를 획득하고, 획득된 광 필드 데이터의 처리에 관한 기술이 개시된다. 일 측면에 따른 광 필드 데이터 획득 장치는 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터와, 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 센서를 포함한다. 모듈레이터의 감쇠 패턴에 의해서 낮은 앵귤러 주파수 영역의 공간 데이터가 높은 앵귤러 주파수 영역의 공간 데이터에 비하여 상대적으로 크게 획득될 수 있다.
광 필드 데이터, 영상 처리, 모듈레이터, 공간 변조

Description

모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법{Modulator, apparatus for obtaining light field data using modulator, apparatus and method for processing light field data using modulator}
영상 처리에 관한 것으로, 더욱 상세하게는 장면의 광 필드 데이터를 획득하고, 획득된 광 필드 데이터의 처리에 관한 것이다.
현재 상용화된 촬상 시스템은 한 번의 촬영으로 한 가지 영상만 볼 수 있다. 그러나, 최근에 포커스를 재조합하는 기능을 갖춘 플레놉틱 카메라(plenoptic camera)가 연구되고 있다. 플레놉틱 카메라는 광 필드(light field) 카메라로 불려지기도 하며, 마이크로렌즈 어레이(통상적으로 렌티큘러 렌즈 어레이)를 이용하여 장면에 대한 4차원(4D) 광 필드 정보를 캡처한다. 이러한 플레놉틱 카메라는 한 번의 촬영 후 포커스 평면을 바꾸는 기능(re-focusing)과 장면을 여러 각도에서 보는 듯한 뷰 배리에이션(view variation) 같은 기능을 사용자에게 제공한다.
그러나, 이러한 광 필드 데이터 획득 방법에 의하면 센서 픽셀의 개수에 대응하는 공간 데이터(Spatial Data)뿐 아니라 빛의 방향에 해당하는 앵귤러 데이 터(Angular Data)도 동시에 획득하므로, 앵귤러 데이터만큼의 해상도 저하가 발생한다. 예를 들어, 메인 렌즈의 방향 분해능 크기 즉, 앵귤러 데이터가 12×12(즉, 144개)가 필요한 경우, 획득되는 해상도는 전체 센서 픽셀에 해당하는 해상도에 비하여 1/144배로 된다.
광 필드 데이터를 이용하여 높은 해상도의 영상을 생성하는 영상 처리 장치 및 방법이 제공된다.
일 측면에 따른 장면의 상을 생성하는 광 필드 데이터 획득 장치는 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터와, 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 센서를 포함한다. 여기에서, 감쇠 패턴은 주파수 영역에서 공간 변조에 의한 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 한다.
모듈레이터는, 투명층과, 투명층위에 배치되는 메탈층을 포함하고, 메탈층은 감쇠 패턴을 형성하여 투명층을 통과한 광을 서로 다른 크기로 감쇠시킨다. 감쇠 패턴은 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성될 수 있다.
다른 측면에 따른 장면의 상을 생성하는 광 필드 데이터 처리 장치는 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터와, 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 센서와, 2D 신호들을 이용하여 4D 광 필드 데이터를 복원하는 데이터 처리부를 포함한다.
데이터 처리부는 센서에 의해 감지된 2D 신호들에 푸리에 변환을 적용하여 2D 타일들을 획득하고, 2D 타일들의 크기가 균일해지도록 2D 타일들의 적어도 하나에 제로 패딩을 수행하고, 제로 패딩이 수행된 2D 타일들을 4D 타일 스택으로 재구성하고, 재구성된 4D 타일 스택에 역푸리에 변환을 적용하여 4D 광 필드 데이터를 복원할 수 있다. 데이터 처리부는 2D 타일들의 크기가 균일해지도록 2D 타일들의 적어도 하나에 제로 패딩을 수행할 때, 2D 타일들이 2D 타일들 중 가장 큰 타일의 크기를 가지도록 제로 패딩을 수행할 수 있다.
데이터 처리부는 복원된 4D 광 필드 데이터를 이용하여 장면을 적어도 하나의 각도에서 본 뷰 영상, 서로 다른 깊이에서의 리포커싱 영상 및 고해상도 영상 중 적어도 하나를 생성할 수 있다.
또 다른 측면에 따른 장면의 상을 생성하는 광 필드 데이터 처리 장치의 광 필드 데이터를 처리하는 방법은 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터를 이용하여 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 동작과, 2D 신호들을 이용하여 4D 광 필드 데이터를 복원하는 동작을 포함한다.
또 다른 측면에 따른 광을 공간 변조하는 모듈레이터는, 투명층과, 투명층위에 배치되며, 투명층을 통과한 광을 서로 다른 크기로 감쇠시키는 감쇠 패턴을 형성하는 메탈층을 포함한다.
주파수 영역에서 공간 변조에 의한 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하는 넌-하모닉 패턴을 이용하여 광 필드를 공간 변조하는 모듈레이터를 이용하여 광 필드 데이터를 획득함으로써, 공간 해상도가 향상된 영상을 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 광 필드 데이터 처리 장치의 구성의 일 예를 나타내는 도면이다.
광 필드 데이터 처리 장치(100)는 렌즈(110), 모듈레이터(120), 센서(130) 및 데이터 처리부(140)를 포함할 수 있다. 광 필드 데이터 처리 장치(100)는 카메라, 또는 카메라를 포함하는 각종 전자제품으로 구현될 수 있다.
렌즈(110)와 같은 광학 장치를 통과한 물체(105)(또는 물체를 포함하는 장면)의 상은 모듈레이터(120)를 거쳐서 센서(130)에서 물체(105)에 대한 광 필드 데이터로서 획득된다.
모듈레이터(120)는 일종의 마스크로써, 센서(130)에 의한 물체(105)의 4D 광 필드를 공간적으로 변조하는 감쇠 패턴을 포함한다. 감쇠 패턴은 주파수 영역에서 공간 변조에 의한 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 생성할 수 있다. 모듈레이터(120)는 광축을 따라 배열될 수 있다. 모듈레이터(120)는 렌즈(100)와 센서(130) 사이에 배치될 있다. 모듈레이터(120)는 센서(130)상에 설치될 수 있다.
센서(130)는 복수 개의 픽셀 엘리먼트를 포함하여 구성될 수 있다. 센서(130)는 공간 변조된 4D 광 필드의 2D 신호들을 획득한다. 획득된 광필드 신호는 소정의 저장 공간(도시되지 않음)에 저장될 수 있다.
모듈레이터(120)를 통하여 광 필드가 공간 변조되어, 센서(130)에서 얻은 이미지에 푸리에 변환을 적용하면, 이미지 정보가 주파수 영역으로 변환된다. 광 필드를 공간 변조하여 센서(130)에서 이미지를 획득하고, 획득된 이미지를 처리하여 원래의 광 필드 데이터가 복원될 수 있다.
이러한 원리는 통신 및 무선 시스템에서 광범위하게 이용되는 다음의 원리와 유사하다. 이 원리에서, 베이스밴드 신호가 캐리어 신호를 이용하여 고주파수로 변조되고, 변조된 신호가 에너지 손실 없이 먼 거리로 전송된 다음, 수신기는 수신된 신호를 복조하여 베이스밴드 신호를 복원한다. 광 필드 데이터 처리 장치(100)는 이러한 원리를 광학 도메인에서 적용한 것으로 이해될 수 있다.
기존의 광 필드를 공간 변조하는 모듈레이터는 주파수 영역에서 방향 데이터의 대역별로 공간 데이터의 대역의 크기를 동일하다는 가정하에 설계되었다. 기존의 모듈레이터에 의해서 생성되는 주파수 응답은 공간 데이터를 나타내는 그래프 축에 대해 균일한 간격으로 위치된다.
그러나, 주파수 영역으로 변환된 광 필드 데이터의 이미지 정보로부터 높은 앵귤러 주파수 영역으로 갈수록 낮은 앵귤러 주파수 영역에 비하여 공간 데이터가 상대적으로 작게 얻어짐을 알 수 있다. 이러한 점을 고려하여, 일 실시예에 따른 모듈레이터(120)는 모듈레이터(120)에 의해서 생성되는 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하여, 공간 데이터의 획득이 저하되는 높은 앵귤러 주파수 영역의 공간 분해능을 줄이고, 공간 데이터를 많이 획득할 수 있는 낮은 앵귤러 주파수 영역의 공간 분해능을 증가시키도록 설계될 수 있다.
이를 위하여, 모듈레이터(120)는 2D 넌-하모닉 패턴을 가지도록 구성된다. 2D 넌-하모닉 패턴은 예를 들어, 2 이상의 코사인 신호들을 합이 넌-하모닉한 특성을 가지도록 조합하여 설계될 수 있다. 모듈레이터(120)의 구성의 상세는 도 2 내지 도 4를 참조하여 후술한다.
한편, 도 1에서 렌즈(110), 모듈레이터(120) 및 센서(130)를 포함하는 구성은 광 필드 데이터 획득 장치로 구성될 수 있다.
데이터 처리부(140)는 2D 신호들을 이용하여 4D 광 필드 데이터를 복원한다. 상세하게는, 데이터 처리부(140)는 센서(130)에 의해 감지된 2D 신호들에 푸리에 변환을 적용하여 2D 타일들을 획득하고, 2D 타일들의 크기가 균일해지도록 2D 타일들의 적어도 하나에 제로 패딩을 수행한다. 그런 다음, 데이터 처리부(140)는 제로 패딩이 수행된 2D 타일들을 4D 타일 스택으로 재구성하고, 재구성된 4D 타일 스택에 역푸리에 변환을 적용하여 4D 광 필드 데이터를 복원할 수 있다.
데이터 처리부(140)는 제로 패딩을 수행할 때, 2D 타일들이 2D 타일들 중 가장 큰 타일의 크기를 가지도록 제로 패딩을 수행할 수 있다. 가장 큰 타일은 광 필드 데이터에서 가장 많은 정보가 집중된 낮은 앵귤러 주파수 영역의 공간 데이터에 대응할 수 있다.
데이터 처리부(140)는 복원된 4D 광 필드 데이터를 이용하여 기존의 4D 광 필드 데이터의 처리 방식에 따라서 장면을 적어도 하나의 각도에서 본 뷰 영상을 생성할 수 있고, 서로 다른 깊이에서의 리포커싱 영상을 생성할 수 있으며, 복원된 4D 광 필드 데이터를 이용하여 고해상도 영상을 생성할 수 있다. 또한, 데이터 처리부(140)는 뷰 영상들을 이용하여 3D 입체 영상을 생성할 수 있는 등 다양한 형태의 영상 처리를 수행할 수 있다.
광 필드 데이터 처리 장치(100)는 데이터 처리부(140)에 의해 처리된 영상을 표시하는 표시 장치, 영상을 다른 전자 기기로 전송하는 통신 장치 등을 더 포함하여 구성될 수 있다.
도 2는 넌-하모닉 모듈레이터(120)의 일 예를 나타내는 도면이다.
도 2에서 좌측 그림(121)은 모듈레이터(120)의 넌-하모닉 패턴을 1D 형태로 나타내고, 우측 그림(122)은 모듈레이터(120)의 넌-하모닉 패턴을 2D 형태로 나타낸 것이다. 일 실시예에 따르면, 4개의 코사인 신호를 합하여 넌-하모닉 모듈레이터(120)를 형성할 수 있다.
도 3은 넌-하모닉 모듈레이터(120)의 하나의 단위 패턴에서 계조를 조정하는 구성의 일 예를 나타내는 도면이다.
기존에는 감쇠 패턴을 형성하기 위하여 필름에 화학 용액을 이용하였다. 그러나, 패턴 형성에 필름 및 화학 용액을 이용하는 경우에는, 예를 들어, ㎛단위의 미세한 패턴을 정확하게 형성하기 어렵다.
보다 정확한 계조 표현과 패턴을 가지는 감쇠 패턴을 포함하는 모듈레이터(120)를 제작하기 위하여 나노 공정을 이용하여 제작되는 메탈 마스크를 이용할 수 있다. 감쇠 패턴은 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성될 수 있다.
도 3은 3개의 서로 다른 계조를 가지는 단위 패턴(310, 320, 330)을 나타낸다. 도 3에 도시된 바와 같이, 단위 패턴(310)의 모든 영역을 차폐하여 계조 값 0을 만들고, 단위 패턴(320)의 절반에 해당하는 영역을 차폐하여 계조 값 0.5를 만들고, 단위 패턴(330)을 차폐하지 않는 방식으로 계조 값 1을 만들 수 있다.
도 4는 넌-하모닉 모듈레이터(120)의 구성의 일 예를 나타내는 도면이다.
모듈레이터(120)는, 투명층(121) 및 투명층(121)위에 배치되는 메탈층(122)을 포함할 수 있다. 메탈층(122)은 감쇠 패턴을 형성하여 투명층을 통과한 광을 서로 다른 크기로 감쇠시킨다. 이와 같이 나노 공정에 의해 제작된 모듈레이터(120)를 이용하여 모듈레이터(120)의 성능을 향상시킴으로써 정확한 광 필드 데이터를 획득할 수 있다.
도 5는 넌-하모닉 모듈레이터(120)에 의해 형성되는 주파수 응답의 스펙트럴 복사본을 나타내는 도면이다.
도 5는 하나의 공간 치수(dimension) x 및 하나의 앵귤러 치수 θ를 가지는 2D 광 필드 공간과 1차원(1D) 센서를 가정한 경우의 넌-하모닉 모듈레이터(120)에 의해 형성되는 스펙트럴 복사본을 나타낸다. fx는 공간 치수 x에 대하여 주파수 공간에서의 치수를 나타내고, fθ는 앵귤러 치수 θ에 대한 주파수 공간에서의 치수를 나타낸다.
fx 및 fθ에 대하여 각각 대역폭이 제한된다고 가정하면, fx축을 따라 배치된 슬라이스(점선으로 표시된 박스)(510)는 센서(130)에서 감지된 영상에 대응한다. 여기에서, 모듈레이터(120)의 광 필드의 공간 변조에 의한 주파수 응답이 도 5에 도시딘 바와 같이 임펄스들(impulses)이라고 가정한다.
광 필드가 모듈레이터(120)에 의해 공간 변조되면, 이들 임펄스들 각각은 그 중심 주파수에서 광 필드의 스펙트럴 복사본(spectral replica)을 생성한다. 따라서, 도 5에 도시된 바와 같이, 광 필드의 여러 스펙트럴 복사본들이 사선(501)을 따라 배열된다.
변조된 광 필드 스펙트럼의 슬라이스(510)는 원래의 광 필드에서의 모든 정보를 포함한다. fx축에 대한 사선(501)의 각도는 θ 및 x 치수에서 요구되는 주파수 분해능과 들어오는 광 필드의 대역폭에 기초하여 설계될 수 있다.
도 5에서 각 타일들은 광 필드 데이터를 나타낸다. 넌-하모닉 모듈레이터(120)를 이용하여 광 필드를 변조하면, 도 5에 도시된 바와 같이, 모듈레이터(120)의 2D 신호들에 대한 주파수 응답의 위치가 불균일해지게 되며, 공간 데이 터의 대역폭이 불균일하게 된다. 모듈레이터(120)를 이용하여 낮은 앵귤러 주파수 영역의 공간 분해능을 상대적으로 크게 획득하고, 나머지 높은 앵귤러 주파수 영역의 공간 분해능을 상대적으로 작게 획득하도록 광 필드 데이터를 획득할 수 있다.
도 6은 광 필드 데이터 처리 장치에서 얻은 2차원 신호들에 푸리에 변환을 적용하여 얻은 상의 일 예를 나타내는 도면이다.
도 6은 센서(130)에서 감지된 2D 신호들에 푸리에 변환을 적용하여 얻은 상(610)을 나타낸다. 도 6에 도시된 바와 같이, 상(610)은 넌-하모닉 모듈레이터(120)를 이용하여, 가운데 부분에 나타나는 낮은 앵귤러 주파수 영역의 공간 데이터는 크게 획득하고, 상(610)의 높은 앵귤러 주파수 영역을 나타내는 모서리 부분으로 갈수록 공간 데이터를 적게 획득하였음을 나타낸다.
도 7은 광 필드 스펙트럼을 복조하여 광 필드 데이터를 복원하는 과정을 나타내는 도면이다.
도 5에 도시된 바와 같이, 1D의 센서와 2D 광 필드 데이터를 가정할 때, 광 필드 스펙트럼의 복조는 감지된 1D 신호의 에너지를 2D 광 필드 공간으로 재분배하는 과정이다.
도 7의 점선으로 표시된 박스(710)는 도 5에 도시된 슬라이스(510)에 제로 패딩을 적용한 결과를 나타낸다.
복조 과정(화살표로 표시)은 센서의 주파수 응답을 재배열하여 제한된 대역(bandlimited)의 광 필드 데이터(720)를 복원한다. 이와 같은 광 필드 데이터 복원 과정은 2D 센서에서 감지된 2D 신호를 4D 광 필드 데이터로 복원하는 과정에 동일하게 적용될 수 있다.
높은 앵귤러 주파수 영역의 공간 데이터를 제로 패딩에 의하여 낮은 앵귤러 주파수 영역의 공간 데이터와 크기를 갖게하여 4D 광 필드 데이터로 복조할 수 있다. 이와 같이, 복조된 신호들에 역 푸리에 변환을 적용하여 전체적인 공간 분해능이 향상된 영상을 얻을 수 있다.
도 8은 도 6의 상에 대하여 제로 패딩이 수행된 상의 일 예를 나타내는 도면이다. 2D 센서에서 도 6에 도시된 바와 같이 얻은 신호들에 대하여 제로 패딩을 수행하면 도 8에 도시된 바와 같은 신호를 얻을 수 있다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 광 필드 데이터 처리 장치의 구성의 일 예를 나타내는 도면이다.
도 2는 넌-하모닉 모듈레이터의 일 예를 나타내는 도면이다.
도 3은 넌-하모닉 모듈레이터의 하나의 단위 패턴에서 계조를 조정하는 구성의 일 예를 나타내는 도면이다.
도 4는 넌-하모닉 모듈레이터의 구성의 일 예를 나타내는 도면이다.
도 5는 넌-하모닉 모듈레이터에 의해 형성되는 주파수 응답의 스펙트럴 복사본을 나타내는 도면이다.
도 6은 광 필드 데이터 처리 장치에서 얻은 2D 신호들에 푸리에 변환을 적용하여 얻은 상의 일 예를 나타내는 도면이다.
도 7은 광 필드 스펙트럼을 복조하여 광 필드 데이터를 복원하는 과정을 나타내는 도면이다.
도 8은 도 6의 상에 대하여 제로 패딩이 수행된 상의 일 예를 나타내는 도면이다.

Claims (18)

  1. 장면의 상을 생성하는 광 필드 데이터 획득 장치로서,
    상기 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터; 및
    상기 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 센서를 포함하고,
    상기 감쇠 패턴은 주파수 영역에서 상기 공간 변조에 의한 상기 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하는 광 필드 데이터 획득 장치.
  2. 제1항에 있어서,
    상기 모듈레이터는,
    투명층; 및
    상기 투명층위에 배치되며, 상기 감쇠 패턴을 형성하여 상기 투명층을 통과한 광을 서로 다른 크기로 감쇠시키는 메탈층을 포함하는 광 필드 데이터 획득 장치.
  3. 제1항에 있어서,
    상기 감쇠 패턴은 상기 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 상기 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성되는 광 필드 데이터 획득 장치.
  4. 제1항에 있어서,
    상기 감쇠 패턴은 낮은 앵귤러 주파수 영역의 공간 데이터를 높은 앵귤러 주파수 영역의 공간 데이터에 비하여 상대적으로 많이 획득하도록 구성되는 광 필드 데이터 획득 장치.
  5. 장면의 상을 생성하는 광 필드 데이터 처리 장치로서,
    상기 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터;
    상기 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 센서; 및
    상기 2D 신호들을 이용하여 4D 광 필드 데이터를 복원하는 데이터 처리부를 포함하고,
    상기 감쇠 패턴은 주파수 영역에서 상기 공간 변조에 의한 상기 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하는 광 필드 데이터 처리 장치.
  6. 제5항에 있어서,
    상기 모듈레이터는,
    투명층; 및
    상기 투명층위에 배치되며, 상기 감쇠 패턴을 형성하여 상기 투명층을 통과한 광을 서로 다른 크기로 감쇠시키는 메탈층을 포함하는 광 필드 데이터 처리 장치.
  7. 제5항에 있어서,
    상기 감쇠 패턴은 상기 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 상기 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성되는 광 필드 데이터 처리 장치.
  8. 제5항에 있어서,
    상기 감쇠 패턴은 낮은 앵귤러 주파수 영역의 공간 데이터를 높은 앵귤러 주파수 영역의 공간 데이터에 비하여 상대적으로 많이 획득하도록 구성되는 광 필드 데이터 처리 장치.
  9. 제5항에 있어서,
    상기 데이터 처리부는 상기 센서에 의해 감지된 2D 신호들에 푸리에 변환을 적용하여 2D 타일들을 획득하고, 상기 2D 타일들의 크기가 균일해지도록 상기 2D 타일들의 적어도 하나에 제로 패딩을 수행하고, 상기 제로 패딩이 수행된 2D 타일들을 4D 타일 스택으로 재구성하고, 상기 재구성된 4D 타일 스택에 역푸리에 변환을 적용하여 4D 광 필드 데이터를 복원하는 광 필드 데이터 처리 장치.
  10. 제9항에 있어서,
    상기 데이터 처리부는 상기 2D 타일들의 크기가 균일해지도록 상기 2D 타일 들의 적어도 하나에 제로 패딩을 수행할 때, 상기 2D 타일들이 상기 2D 타일들 중 가장 큰 타일의 크기를 가지도록 제로 패딩을 수행하는 광 필드 데이터 처리 장치.
  11. 제5항에 있어서,
    상기 데이터 처리부는 상기 복원된 4D 광 필드 데이터를 이용하여 상기 장면을 적어도 하나의 각도에서 본 뷰 영상, 서로 다른 깊이에서의 리포커싱 영상 및 고해상도 영상 중 적어도 하나를 생성하는 광 필드 데이터 처리 장치.
  12. 장면의 상을 생성하는 광 필드 데이터 처리 장치의 광 필드 데이터 처리 방법으로서,
    상기 장면의 4D 광 필드를 공간 변조하는 감쇠 패턴을 포함하는 모듈레이터를 이용하여 상기 공간 변조된 4D 광 필드의 2D 신호들을 획득하는 단계; 및
    상기 2D 신호들을 이용하여 4D 광 필드 데이터를 복원하는 단계를 포함하고,
    상기 감쇠 패턴은 주파수 영역에서 상기 공간 변조에 의한 상기 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하는 광 필드 데이터 처리 방법.
  13. 제12항에 있어서,
    상기 4D 광 필드 데이터를 복원하는 단계는,
    상기 감지된 2D 신호들에 푸리에 변환을 적용하여 2D 타일들을 획득하는 단계;
    상기 2D 타일들의 크기가 균일해지도록 상기 2D 타일들의 적어도 하나에 제로 패딩을 수행하는 단계;
    상기 제로 패딩이 수행된 2D 타일들을 4D 타일 스택으로 재구성하는 단계; 및
    상기 재구성된 4D 타일 스택에 역푸리에 변환을 적용하여 4D 광 필드 데이터를 복원하는 단계를 포함하는 광 필드 데이터 처리 방법.
  14. 제13항에 있어서,
    상기 제로 패딩을 수행하는 단계에서, 상기 2D 타일들이 상기 2D 타일들 중 가장 큰 타일의 크기를 가지도록 제로 패딩을 수행하는 광 필드 데이터 처리 방법.
  15. 제12항에 있어서,
    상기 복원된 4D 광 필드 데이터를 이용하여 상기 장면을 적어도 하나의 각도에서 본 뷰 영상, 서로 다른 깊이에서의 리포커싱 영상 및 고해상도 영상 중 적어도 하나를 생성하는 단계를 더 포함하는 광 필드 데이터 처리 방법.
  16. 광을 공간 변조하는 모듈레이터로서,
    투명층; 및
    상기 투명층위에 배치되며, 상기 감쇠 패턴을 형성하여 상기 투명층을 통과한 광을 서로 다른 크기로 감쇠시키는 메탈층을 포함하고,
    상기 감쇠 패턴은 주파수 영역에서 상기 공간 변조에 의한 상기 2D 신호들에 대한 주파수 응답의 위치를 불균일하게 하는 모듈레이터.
  17. 제16항에 있어서,
    상기 메탈층은 상기 감쇠 패턴을 형성하는 단위 패턴을 복수 개의 영역으로 분할할 때, 상기 분할된 복수 개의 영역을 차폐한 정도에 따라서 복수 개의 계조 값을 형성하도록 구성되는 모듈레이터.
  18. 제16항에 있어서,
    상기 감쇠 패턴은 낮은 앵귤러 주파수 영역의 공간 데이터를 높은 앵귤러 주파수 영역의 공간 데이터에 비하여 상대적으로 많이 획득하도록 구성되는 모듈레이터.
KR1020090089780A 2009-09-22 2009-09-22 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 KR101600010B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090089780A KR101600010B1 (ko) 2009-09-22 2009-09-22 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
US12/885,136 US8442397B2 (en) 2009-09-22 2010-09-17 Modulator, apparatus for obtaining light field data using modulator, and apparatus and method for processing light field data using modulator
EP10177269.7A EP2309718B1 (en) 2009-09-22 2010-09-17 Modulator, apparatus, and method for spatially modulating light in a frequency domain
JP2010208935A JP2011071981A (ja) 2009-09-22 2010-09-17 モジュレータ、モジュレータを利用した光場データの取得装置、モジュレータを利用した光場データの処理装置及び方法
CN201010288391.3A CN102026011B (zh) 2009-09-22 2010-09-19 获得光场数据的设备以及处理光场数据的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089780A KR101600010B1 (ko) 2009-09-22 2009-09-22 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110032345A true KR20110032345A (ko) 2011-03-30
KR101600010B1 KR101600010B1 (ko) 2016-03-04

Family

ID=43063265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089780A KR101600010B1 (ko) 2009-09-22 2009-09-22 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US8442397B2 (ko)
EP (1) EP2309718B1 (ko)
JP (1) JP2011071981A (ko)
KR (1) KR101600010B1 (ko)
CN (1) CN102026011B (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
WO2013058735A1 (en) 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9160900B2 (en) 2012-02-29 2015-10-13 Canon Kabushiki Kaisha Systems and methods for compressive light sensing using multiple spatial light modulators
US8581929B1 (en) 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
FR2994735B1 (fr) 2012-08-22 2014-08-01 Onera (Off Nat Aerospatiale) Procede et dispositif d'imagerie telemetrique
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9628684B2 (en) 2013-12-24 2017-04-18 Lytro, Inc. Light-field aberration correction
EP3001672A1 (en) 2014-09-25 2016-03-30 Thomson Licensing Plenoptic camera comprising a spatial light modulator
US9625632B2 (en) 2015-03-31 2017-04-18 Sony Corporation Camera, optical system and interchangeable lens with birefringent device
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
EP3112920A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN105208373B (zh) * 2015-09-16 2017-04-12 西安建筑科技大学 一种基于光场压缩采样的通用集成成像记录装置
CN105704476B (zh) * 2016-01-14 2018-03-20 东南大学 一种基于边缘修复的虚拟视点图像频域快速获取方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
WO2018014046A1 (en) * 2016-07-15 2018-01-18 Light Field Lab, Inc. Encoded energy waveguides for holographic super resolution
CN114296175A (zh) 2016-07-15 2022-04-08 光场实验室公司 利用二维、光场和全息中继器的能量传播和横向安德森局域化
WO2018064502A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN108206902B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
CN108206901B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
WO2019014847A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种利用透镜分时还原光场的方法
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
CN112074773B (zh) 2018-01-14 2024-02-02 光场实验室公司 四维能量场封装组合件
WO2019140398A1 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. Holographic and diffractive optical encoding systems
EP3737980A4 (en) 2018-01-14 2021-11-10 Light Field Lab, Inc. SYSTEMS AND METHODS FOR LOCATING TRANSVERSE ENERGY IN ENERGY RELAYS USING ORDERED STRUCTURES
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
SG11202100408XA (en) 2018-07-25 2021-02-25 Light Field Lab Inc Light field display system based amusement park attraction
US10904479B2 (en) 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US11212514B2 (en) 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
US11428933B2 (en) 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
KR20220045166A (ko) 2019-08-09 2022-04-12 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템
WO2021040688A1 (en) 2019-08-26 2021-03-04 Light Field Lab, Inc. Light field display system for sporting events
CN113489924A (zh) * 2021-07-14 2021-10-08 长春长光奥闰光电科技有限公司 成像方法
CN115185100B (zh) * 2022-06-22 2023-08-04 成都飞机工业（集团）有限责任公司 一种加密点阵式光场的生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127366A (ja) * 1991-11-06 1993-05-25 Olympus Optical Co Ltd ハーフトーンパターン形成装置
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
RU2005138159A (ru) 2003-05-13 2006-07-27 Экссид Имиджинг Лтд. (Il) Способ повышения разрешения в оптическом изображении и система для его осуществления
US20060204861A1 (en) 2005-03-14 2006-09-14 Eyal Ben-Eliezer Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination
JP2006319932A (ja) 2005-05-11 2006-11-24 Kazutora Yoshino 多次元入力、出力、転送、任意のメモリ、及び、産出高比例法
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
WO2009020977A1 (en) * 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
KR101563728B1 (ko) * 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127366A (ja) * 1991-11-06 1993-05-25 Olympus Optical Co Ltd ハーフトーンパターン形成装置
JP2008191661A (ja) * 2007-02-06 2008-08-21 Mitsubishi Electric Research Laboratories Inc シーンの４ｄライトフィールドを取得する装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ashok Veeraraghavan 외, "Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing"(2007.07.) *

Also Published As

Publication number Publication date
JP2011071981A (ja) 2011-04-07
KR101600010B1 (ko) 2016-03-04
US8442397B2 (en) 2013-05-14
CN102026011B (zh) 2015-02-18
EP2309718B1 (en) 2016-04-20
CN102026011A (zh) 2011-04-20
US20110069324A1 (en) 2011-03-24
EP2309718A1 (en) 2011-04-13

Similar Documents

Publication Publication Date Title
KR101600010B1 (ko) 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
KR101756910B1 (ko) 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
TWI658432B (zh) Camera
CN108702440B (zh) 摄像装置
Veeraraghavan et al. Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing
JP5328165B2 (ja) シーンの４ｄライトフィールドを取得する装置及び方法
US20180027201A1 (en) Lensless imaging system using an image sensor with one or more attenuating layers
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
KR20170094968A (ko) 피사체 거리 측정 부재, 이를 갖는 카메라 모듈
US11743480B2 (en) Imaging apparatus and imaging system
CN111201783A (zh) 成像装置和方法以及图像处理装置和方法
US20140306951A1 (en) Image processing device and image processing method
CN110198391B (zh) 摄像装置、摄像方法和图像处理装置
JP2023016864A (ja) 撮像装置および方法
JP2020048031A (ja) 撮像装置および撮像方法
US20110261925A1 (en) Grid apparatus and x-ray detecting apparatus
Godbaz et al. Extending amcw lidar depth-of-field using a coded aperture
Horisaki et al. A compressive active stereo imaging system with random pattern projection
Zhang et al. Compressive Sensing-Based HDR-Like Image Encryption and Artifact-Mitigated Reconstruction
Yamada et al. Analysis of the real-time 3D display system based on the reconstruction of parallax rays
JP2022180800A (ja) 撮像装置
JP2021005786A (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
Yocius Development of airborne light field photography
Intwala et al. Removing Artifacts Due To Frequency-Domain Processing of Light-Fields.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 5