KR20100088326A - 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법 - Google Patents

가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법 Download PDF

Info

Publication number
KR20100088326A
KR20100088326A KR20090007476A KR20090007476A KR20100088326A KR 20100088326 A KR20100088326 A KR 20100088326A KR 20090007476 A KR20090007476 A KR 20090007476A KR 20090007476 A KR20090007476 A KR 20090007476A KR 20100088326 A KR20100088326 A KR 20100088326A
Authority
KR
South Korea
Prior art keywords
modulator
image
field data
light field
modulation
Prior art date
Application number
KR20090007476A
Other languages
English (en)
Other versions
KR101563728B1 (ko
Inventor
강주영
옥현욱
박병관
임재균
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090007476A priority Critical patent/KR101563728B1/ko
Priority to JP2010008293A priority patent/JP5686517B2/ja
Priority to CN201010000961.4A priority patent/CN101795406B/zh
Priority to US12/692,678 priority patent/US8648955B2/en
Priority to EP20100152304 priority patent/EP2214402A3/en
Publication of KR20100088326A publication Critical patent/KR20100088326A/ko
Application granted granted Critical
Publication of KR101563728B1 publication Critical patent/KR101563728B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Input (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Processing (AREA)

Abstract

가변 모듈레이터를 이용한 다중시야 광필드 데이터(light field data) 획득장치 및 그 방법이 개시된다. 본 발명의 일양상에 따른 다중시야 광필드 데이터 획득장치는 렌즈와 센서 사이에 위치한 모듈레이터를 촬영대상이나 주변환경에 따라 적응적으로 가변시킨다. 이에 의해 영상을 획득하고자 하는 물체 또는 초점거리의 변화에 따라 최적화된 4D 광필드 데이터를 얻을 수 있다.
광필드 데이터, 다중시야, 모듈레이터

Description

가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법 {Apparatus and method of capturing multi-view light field data using variable modulator}
본 발명의 일양상에 따른 기술분야는 영상처리에 관한 것으로, 보다 상세하게는 가변 모듈레이터를 이용한 다중시야 광필드 데이터(light field data) 획득장치 및 그 방법에 관한 것이다.
빛의 진행방향과 동일한 방향에 위치한 렌즈 및 센서릍 통해 얻어지는 영상 데이터를 광필드 데이터(light field data)라고 하고, 빛의 진행방향과 상이한 방향에 위치한 렌즈 및 센서를 통해 얻어지는 영상 데이터를 암영역 데이터(dark field data)라고 한다.
그리고, 렌즈 및 센서를 구비한 영상촬영장치를 이용하여 광필드 데이터를 획득하는데 있어, 일반적으로 한번 촬영시 하나의 초점을 가지고 촬영한다. 즉, 가까이 위치한 물체에 초점을 맞추고 먼 물체나 배경을 흐리게 하여 촬영하거나, 멀리 위치한 물체에 초점을 맞추어 이를 선명하게 촬영하고 가까이 위치한 물체는 흐릿하게 촬영할 수도 있다.
한편, 광필드 데이터를 획득하는 과정에서 렌즈와 센서 사이에 일정한 변조 패턴(modulation pattern)을 갖는 마스크(mask)로써 광 모듈레이터(modulator)를 위치시켜, 4D 광필드 데이터(4D light field data)를 얻을 수 있다. 즉, 한번의 촬영으로도 여러개의 초점을 갖는 다수의 영상을 만들 수 있는 4D 광필드 데이터를 얻을 수 있다. 따라서 얻어진 4D 광필드 데이터를 처리하면 다양한 초점에서의 다수의 영상을 얻을 수 있으므로, 원하지 않게 초점이 흐려진채 촬영된 영상도 쉽게 복구가 가능하다.
그러나, 종래의 4D 광필드 데이터 획득방법에 따르면 4D 광필드 데이터를 얻기 위한 모듈레이터의 변조 특성이나 모듈레이터의 설치 위치가 고정되어 있어 물체의 특성이나 초점거리의 변화에 적응적으로 대처하기 어려웠다.
따라서, 본 발명의 일 양상에 따라, 렌즈와 센서 사이에 위치한 모듈레이터를 촬영대상이나 주변환경에 따라 적응적으로 가변하여, 다중시야 광필드 데이터를 획득하는 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 양상에 따른 다중시야 광필드 데이터 획득장치는 광학계를 통해 입력된 이미지를 그 변조특성에 따라 출력하는 모듈레이터; 상기 출력된 영상을 센싱하여 해석하는 영상 해석부; 및 상기 해석 결과에 따라 상기 모듈레이터의 위치를 이동시키거나 그 변조특성을 조정하는 제어부를 포함한다.
또한, 본 발명의 다른 양상에 따른 포함하는 다중시야 광필드 데이터 획득방법은, 광학계를 통해 입력된 이미지가 모듈레이터를 통과한 광필드 데이터를 획득하는 단계; 상기 획득된 영상을 해석하여, 그 해석 결과에 따라 상기 모듈레이터의 위치 또는 변조패턴을 조정하는 모듈레이터 제어단계; 및 상기 조정된 모듈레이터를 통해 광필드 데이터를 다시 획득하는 단계를 포함한다.
본 발명의 일실시예에 따르면, 모듈레이터의 위치와 특성을 가변시켜 영상이나 초점거리에 적응적으로 대처함으로써 기존 4D 카메라에서의 공간적 해상도(spatial resolution) 저하를 방지할 수 있다. 다시 말하면, 영상을 획득하고자 하는 물체 또는 초점거리의 변화에 따라 최적화된 4D 광필드 데이터를 얻을 수 있다.
또한, 모듈레이터를 가변함으로써 본 발명의 일실시예에 따른 광필드 데이터 획득장치를 가지고 4D 광필드 데이터 뿐만 아니라 2D 일반 영상 데이터도 얻을 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있 다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 다중시야 광필드 데이터 획득장치의 구성도이다.
광필드 데이터 획득장치는 렌즈(110), 모듈레이터(120), 센서(130), 영상 해석부(140) 및 제어부(150)를 포함한다.
물체(100)에 대한 광필드 데이터를 얻기 위해 렌즈(110)와 같은 광학장치를 통과한 물체(100)의 상(image)은 모듈레이터(120)를 거쳐 센서(130)에서 검출된다. 모듈레이터(120)는 일종의 마스크(mask)로써, 렌즈(110)를 통해 입력된 상의 변조특성(modulation pattern)을 조절하여 물체의 이미지를 통과시킨다. 일예로 모듈레이터(120)는 도 2a에 도시된 바와 같은 마스크 패턴을 가질 수 있다. 모듈레이터(120)가 도 2a에 도시된 바와 같은 마스크 패턴인 경우, 모듈레이터(120)를 통과한 상의 푸리에 주파수 상은 도 2b에 도시한 바와 같이 될 수 있다.
센서(130)는 모듈레이터(120)를 경유한 물체(100)의 상을 검출하여 디지털 데이터로 변환한다. 영상 해석부(140)는 렌즈(110)와 같은 광학장치로부터의 광학관련정보를 참조하여 물체(100)의 상을 해석하여, 그 결과를 제어부(150)로 전송한다. 그러면 제어부(150)는 영상 해석부(140)의 해석 결과에 따라 모듈레이터(120)의 위치를 조정하거나 투과성을 조정한다. 예를 들어, 영상 해석부(140)에서 해석된 물체(100)의 상이 선명하지 않거나 그 크기가 작거나 하는 경우에는, 이를 보완할 수 있도록 모듈레이터(120)의 위치나 변조 특성을 조정한다.
일예로 제어부(150)는 모듈레이터(120)가 변조가 되지 않고 전투과성을 갖도록 조정하여 모듈레이터(120)를 통과한 물체의 상이 일반영상이 되도록 모듈레이터(120)를 제어할 수도 있다. 그리고, 모듈레이터(120)의 변조특성을 시간에 따라 온오프로 제어하여 상을 모두 투과하거나 또는 모두 불투과하도록 순차적으로 제어하여, 움직이는 물체의 상을 획득하도록 제어할 수도 있다. 모듈레이터(120)의 변조 특성 및 그 설치 위치 조정의 여러가지 일예는 도 3 내지 도 10을 참조하여 후술한다.
도 2a 및 도 2b는 본 발명의 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면이다.
본 발명의 일예에 따른 2차원 마스크가 아닌 1차원 캐리어 신호로써 특정한 캐리어 주파수(carrier frequency)를 갖는 3개의 신호를 사용하는 경우를 예로 들면, 7x7 개의 시야(view)에서의 영상을 얻을 수 있고, 하나의 시야(view) 영상은 340x250의 해상도(resolution)를 얻을 수 있다.
이와 마찬가지로 2차원 마스크로 모듈레이터를 사용하는 경우에는 도 2a 및 도 2b를 참조하면, 일정한 해상도를 갖는 다수의 시야(view) 영상을 얻을 수 있음을 알 수 있다. 시야의 개수나 해상도의 크기 조정은 모듈레이터(120)의 위치나 변조패턴에 따라 달라질 수 있다.
도 3은 모듈레이터(120)의 위치 이동에 따른 광필드 데이터 획득장치의 구성도이다.
도 3을 참조하면 모듈레이터(120)의 위치는 제어부(150)의 제어에 따라 렌 즈(110)의 방향으로 전후진되어 이동될 수 있으며, 모듈레이터(120)가 렌즈(110) 쪽으로 이동되어 시야(view)의 수를 증가시킬 수 있음을 알 수 있다. 예를 들어, 도 3에 도시된 바와 같이 모듈레이터(120)가 렌즈(110) 쪽으로 이동한 경우 모듈레이터(120)의 변조패턴은 도 4a에 도시된 바와 같이 격자무늬의 크기가 커질 수 있다. 렌즈(110)와 모듈레이터(120)간의 거리가 가까워졌으므로, 모듈레이터(120)는 도 4a에 도시된 바와 같이 격자무늬의 크기가 커진 마스크 패턴이 될 수 있다.
도 4a 및 도 4b는 본 발명의 다른 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면이다.,
1차원 캐리어 신호로써 특정한 캐리어 주파수(carrier frequency)를 갖는 4개의 신호를 사용하는 경우를 예로 들면, 9x9 개의 시야(view)에서의 영상을 얻을 수 있고, 하나의 시야(view) 영상은 240x180의 해상도(resolution)를 얻을 수 있다. 다시 말하면 캐리어 신호가 많아지면 공간적 해상도는 낮아지지만 시야의 갯수는 많아짐을 알 수 있다.
이와 마찬가지로 2차원 마스크를 갖는 모듈레이터(120)의 위치를 렌즈(110) 쪽으로 이동시키면 도 3a에 도시된 바와 같은 마스크 패턴이 4a에 도시된 바와 같은 마스크 패턴으로 보여지며, 이에 따라 도 4b에 도시된 바와 같은 다수의 시야(view) 영상을 얻을 수 있음을 알 수 있다.
도 3 내지 도 4b를 참조하여 설명한 실시예에 따르면, 줌인(zoom-in) 또는 줌아웃(zoom-out) 등과 같은 초점거리의 변화시에도 능동적으로 적응하여 4D 광필드 데이터를 얻을 수 있다.
도 5는 모듈레이터(120)의 마스크 패턴을 가변한 광필드 데이터 획득장치의 구성도이다.
도 5를 참조하면 모듈레이터(120)의 마스크 패턴이 변경된 경우 센서(130)를 통해 얻어지는 영상이 달라짐을 알 수 있다. 달라진 마스크 패턴과 그에 따른 영상은 도 6a 및 도 6b를 참조하여 설명한다.
도 6a 및 도 6b는 본 발명의 또 다른 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면이다.
전술한 예와는 달리 1차원 캐리어 신호로써 비하모닉(non-harmonic) 특성을 갖는 4개의 신호를 캐리어 주파수로 사용하는 경우를 예로 들면, 9x9 개의 시야(view)에서의 영상을 얻을 수 있다. 시야의 개수는 하모닉(harmonic) 특성을 갖는 신호를 캐리어 주파수로 사용하는 경우와 동일하나, 비하모닉(non-harmonic) 특성을 갖는 신호를 사용하는 경우에는, 각각의 시야(view) 영상의 크기가 서로 상이할 수 있다. 2차원 마스크의 경우에도 동일한 효과를 얻기 위해 모듈레이터의 변조패턴을 달리할 수 있다. 2차원 마스크의 변조패턴을 도 6a에 도시한 바와 같이 설정하면, 도 6b에 도시한 바와 같이 중심으로 갈수록 크기가 큰 시야 영상을 얻을 수 있으며 중심에서 멀어질 수록 시야 영상의 크기가 점점 작아짐을 알 수 있다.
도 5 내지 도 6b를 참조하여 설명한 실시예에 따르면, 원하는 시야에서의 영상의 크기를 크게 할 수 있다.
도 7은 모듈레이터(120)의 마스크 패턴이 전투과성을 갖는 경우의 광필드 데이터 획득장치의 구성도이다.
도 7을 참조하면 모듈레이터(120)가 전투과성을 갖도록 제어부(150)가 모듈레이터(120)를 제어하여 4D 광필드 데이터가 아닌 2D 일반영상을 얻을 수 있음을 알 수 있다. 다시 말하면, 모듈레이터(120)가 물체의 상을 그대로 통과하도록 제어하면 2D 일반영상을 얻을 수 있다.
도 8a 및 도 8b는 전투과성을 갖는 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지 패턴을 도시한 도면이다.
즉, 도 8a에 도시된 바와 같이 전투과성의 마스크 패턴인 경우에는 모듈레이터(120)가 없는 경우와 동일하므로, 도 8b에 도시된 바와 같은 2D 일반영상을 얻을 수 있음을 알 수 있다.
도 7 내지 도 8b를 참조하여 설명한 실시예에 따르면, 4D 광필드 데이터 획득장치의 구조 변경 없이도 모듈레이터의 패턴 특성만을 가변시킴으로써, 일반 2D 영상을 얻을 수 있다.
도 9는 모듈레이터(120)의 마스크 패턴을 시간에 따라 온/오프시키는 경우의 광필드 데이터 획득장치의 구성도이다.
도 9를 참조하면 모듈레이터(120)의 투과성을 시간에 따라 순차적으로 온/오프시킴으로써 움직이는 물체에 대한 4D 광필드 데이터를 얻을 수 있음을 알 수 있다. 이때 모듈레이터(120)의 투과 특성은 시간에 따라 전투과 및 불투과로 설정될 수 있으며 전투과 및 불투과의 지속시간은 가변될 수 있다. 이 경우 모듈레이터(120)의 위치는 렌즈(110)에 아주 근접하여 위치할 수 있다.
도 10a 및 도 10b는 시간에 따라 온/오프 특성을 갖는 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지 패턴을 도시한 도면이다.
즉, 도 10a에 도시된 바와 같은 형태로 모듈레이터의 투과성을 온/오프시키면 도 10b의 왼쪽 그림과 같은 영상이 얻어지고 이를 처리하면 오른쪽 그림과 같이 움직이는 물체에 대한 4D 광필드 데이터의 영상도 선명하게 획득할 수 있다.
도 9 내지 도 10b를 참조하여 설명한 실시예에 따르면, 4D 광필드 데이터 획득장치의 구조 변화없이도 모듈레이터의 패턴 특성만을 가변시킴으로써, 움직이는 물체에 대해서도 선명한 영상을 얻을 수 있다.
도 11은 본 발명의 일실시예에 따른 영상획득방법의 흐름도이다.
먼저 렌즈와 같은 광학계를 통해 입력된 영상에 대한 광필드 데이터를 획득한다(S1110). 획득된 광필드 데이터는 4D 광필드 데이터 또는 2D 광필드 데이터가 될 수 있다. 다음으로 이렇게 획득된 영상을 해석하여(S1120), 그 해석 결과에 따라 모듈레이터의 위치 또는 변조패턴을 조정한다(S1130). 그리고 조정된 모듈레이터를 통해 물체의 광필드 데이터를 다시 획득한다(S1140).
도 12는 본 발명의 다른 일실시예에 따른 다중시야 광필드 데이터 획득장치의 구성도이다.
모듈레이터(120)와 센서(130)는 도 1에서 도시한 바와 같이 일직선 상에 위치할 수도 있으나, 도 12에 도시한 바와 같이 모듈레이터(120)는 반사형 모듈레이터가 될 수도 있다. 이 경우 모듈레이터(120)는 이동뿐만 아니라 회전도 될 수 있다. 따라서 제어부(150)는 모듈레이터(120)의 변조특성뿐만 아니라 그 위치의 이동이나 회전을 제어한다. 반사형 모듈레이터를 사용하는 경우 빛의 효율이 높아진 다.
한편, 본 발명의 일실시예에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명의 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일실시예에 따른 다중시야 광필드 데이터 획득장치의 구성도,
도 2a 및 도 2b는 본 발명의 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면,
도 3은 모듈레이터(120)의 위치 이동에 따른 광필드 데이터 획득장치의 구성도,
도 4a 및 도 4b는 본 발명의 다른 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면,
도 5는 모듈레이터(120)의 마스크 패턴을 가변한 광필드 데이터 획득장치의 구성도,
도 6a 및 도 6b는 본 발명의 또 다른 일실시예에 따른 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지의 푸리에 주파수 상을 도시한 도면,
도 7은 모듈레이터(120)의 마스크 패턴이 전투과성을 갖는 경우의 광필드 데이터 획득장치의 구성도,
도 8a 및 도 8b는 전투과성을 갖는 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지 패턴을 도시한 도면,
도 9는 모듈레이터(120)의 마스크 패턴을 시간에 따라 온/오프시키는 경우의 광필드 데이터 획득장치의 구성도,
도 10a 및 도 10b는 시간에 따라 온/오프 특성을 갖는 모듈레이터의 마스크 패턴 및 그 모듈레이터 통과 이미지 패턴을 도시한 도면,
도 11은 본 발명의 일실시예에 따른 영상획득방법의 흐름도,
도 12는 본 발명의 다른 일실시예에 따른 다중시야 광필드 데이터 획득장치의 구성도이다.
<도면의 주요부분에 대한 설명>
110 : 렌즈 120 : 모듈레이터
130 : 센서 140 : 영상 해석부
150 : 제어부

Claims (9)

  1. 광학계를 통해 입력된 이미지를 그 변조특성에 따라 출력하는 모듈레이터;
    상기 출력된 영상을 센싱하여 해석하는 영상 해석부; 및
    상기 해석 결과에 따라 상기 모듈레이터의 위치를 이동시키거나 그 변조특성을 조정하는 제어부를 포함하는 다중시야 광필드 데이터 획득장치.
  2. 제1항에 있어서, 상기 제어부는
    상기 모듈레이터의 위치가 상기 광학계에 근접되도록 이동시켜 상기 영상 해석부에서 출력되는 다중시야 이미지의 개수를 증가시키는 다중시야 광필드 데이터 획득장치.
  3. 제1항에 있어서, 상기 제어부는
    상기 모듈레이터의 변조특성이 전투과성 및 불투과성을 갖도록 순차적으로 제어하는 다중시야 광필드 데이터 획득장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 영상 해석부는
    상기 모듈레이터를 통과하여 얻어진 영상을 처리하여 다수의 시야에서의 4D 광필드 데이터를 추출하는 다중시야 광필드 데이터 획득장치.
  5. 제1항에 있어서, 상기 제어부는
    상기 모듈레이터의 변조특성이 전투과성을 갖도록 조정하여 2D 일반영상이 얻어지도록 상기 모듈레이터를 제어하는 다중시야 광필드 데이터 획득장치.
  6. 광학계를 통해 입력된 이미지가 모듈레이터를 통과한 광필드 데이터를 획득하는 단계;
    상기 획득된 영상을 해석하여, 그 해석 결과에 따라 상기 모듈레이터의 위치 또는 변조패턴을 조정하는 모듈레이터 제어단계; 및
    상기 조정된 모듈레이터를 통해 광필드 데이터를 다시 획득하는 단계를 포함하는 다중시야 광필드 데이터 획득방법.
  7. 제6항에 있어서, 상기 모듈레이터 제어단계는
    상기 모듈레이터의 위치가 상기 광학계에 근접되도록 이동시켜 상기 영상 해석부에서 출력되는 다중시야 이미지의 개수를 증가시키는 다중시야 광필드 데이터 획득방법.
  8. 제6항에 있어서, 상기 모듈레이터 제어단계는
    상기 모듈레이터의 변조특성이 전투과성 및 불투과성을 갖도록 순차적으로 제어하는 다중시야 광필드 데이터 획득방법.
  9. 제6항에 있어서, 상기 모듈레이터 제어단계는
    상기 모듈레이터의 변조특성이 전투과성을 갖도록 조정하여 2D 일반영상이 얻어지도록 상기 모듈레이터를 제어하는 다중시야 광필드 데이터 획득방법.
KR1020090007476A 2009-01-30 2009-01-30 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법 KR101563728B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090007476A KR101563728B1 (ko) 2009-01-30 2009-01-30 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
JP2010008293A JP5686517B2 (ja) 2009-01-30 2010-01-18 可変モジュレーターを利用した光フィールドデータの獲得装置及びその方法
CN201010000961.4A CN101795406B (zh) 2009-01-30 2010-01-21 利用可变调制器获取光场数据的设备和方法
US12/692,678 US8648955B2 (en) 2009-01-30 2010-01-25 Apparatus and method for acquiring light field data using variable modulator
EP20100152304 EP2214402A3 (en) 2009-01-30 2010-02-01 Apparatus and method for acquiring light field data using variable modulator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090007476A KR101563728B1 (ko) 2009-01-30 2009-01-30 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100088326A true KR20100088326A (ko) 2010-08-09
KR101563728B1 KR101563728B1 (ko) 2015-10-27

Family

ID=42115485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090007476A KR101563728B1 (ko) 2009-01-30 2009-01-30 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법

Country Status (5)

Country Link
US (1) US8648955B2 (ko)
EP (1) EP2214402A3 (ko)
JP (1) JP5686517B2 (ko)
KR (1) KR101563728B1 (ko)
CN (1) CN101795406B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101600010B1 (ko) * 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
WO2013058777A1 (en) 2011-10-21 2013-04-25 Hewlett-Packard Development Company, L. P. Color image capture system and method for light modulation
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
WO2016149676A1 (en) 2015-03-18 2016-09-22 Battelle Memorial Institute Electron beam masks for compressive sensors
US10170274B2 (en) * 2015-03-18 2019-01-01 Battelle Memorial Institute TEM phase contrast imaging with image plane phase grating
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
JP6735474B2 (ja) * 2016-02-29 2020-08-05 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017189212A1 (en) 2016-04-29 2017-11-02 Battelle Memorial Institute Compressive scanning spectroscopy
US10066986B2 (en) * 2016-08-31 2018-09-04 GM Global Technology Operations LLC Light emitting sensor having a plurality of secondary lenses of a moveable control structure for controlling the passage of light between a plurality of light emitters and a primary lens
US10295677B2 (en) 2017-05-08 2019-05-21 Battelle Memorial Institute Systems and methods for data storage and retrieval
JP7025688B2 (ja) 2017-12-12 2022-02-25 住友金属鉱山株式会社 界面測定器および界面測定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391450B2 (en) * 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US7767949B2 (en) * 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US7830561B2 (en) * 2005-03-16 2010-11-09 The Trustees Of Columbia University In The City Of New York Lensless imaging with controllable apertures
US20060221209A1 (en) * 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
US20060239336A1 (en) * 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
JP2006319932A (ja) 2005-05-11 2006-11-24 Kazutora Yoshino 多次元入力、出力、転送、任意のメモリ、及び、産出高比例法
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
WO2007014216A2 (en) * 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
US7639289B2 (en) * 2006-05-08 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Increasing object resolutions from a motion-blurred image
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP2008167040A (ja) 2006-12-27 2008-07-17 Kyocera Corp 撮像装置、その製造装置および製造方法、並びに情報コード読取装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP5188205B2 (ja) 2007-06-12 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
US8570634B2 (en) * 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8497934B2 (en) * 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image

Also Published As

Publication number Publication date
KR101563728B1 (ko) 2015-10-27
JP2010178333A (ja) 2010-08-12
CN101795406B (zh) 2014-06-25
EP2214402A3 (en) 2010-08-25
EP2214402A2 (en) 2010-08-04
US20100194926A1 (en) 2010-08-05
CN101795406A (zh) 2010-08-04
US8648955B2 (en) 2014-02-11
JP5686517B2 (ja) 2015-03-18

Similar Documents

Publication Publication Date Title
KR20100088326A (ko) 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
US8717492B2 (en) Focusing mechanisms for compressive imaging device
TWI521961B (zh) 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像
US7826735B2 (en) Auto focus unit and digital camera
US20180013958A1 (en) Image capturing apparatus, control method for the image capturing apparatus, and recording medium
GB2545551A (en) Imaging device and imaging method
US20120050533A1 (en) Mems based surveillance system and a method for using same
KR20110102695A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
CN101088104A (zh) 用于处理图像数据的电子设备和电子设备中的方法
KR102085520B1 (ko) 개선된 모니터링 카메라 방향 제어
US9049364B2 (en) Focus adjusting method and image capture device thereof
US9241141B1 (en) Projection block extraction
EP3143583A1 (en) System and method for improved computational imaging
KR20160143138A (ko) 카메라 및 그 제어 방법
JP2006261871A (ja) ハンズフリーカメラにおける画像処理装置
JP2021067710A (ja) レンズ制御装置、光学機器およびレンズ制御方法
CN109891872B (zh) 用于成像设备的图像稳定化控制设备
JP2020067503A (ja) 撮像装置、監視システム、撮像装置の制御方法およびプログラム
WO2008123503A1 (ja) 撮像装置および撮像方法
US20190164251A1 (en) Computational sensor
JP7427912B2 (ja) 撮像装置
CN114208145A (zh) 摄像装置和方法
KR102564038B1 (ko) 시계열 영상을 이용한 표적 탐지 방법 및 시스템
US12041356B2 (en) Imaging device, imaging system, control method, program, and storage medium
US20240272448A1 (en) Optical imaging devices incorporating a metalens to facilitate zooming operations

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 5