KR20160101539A - 라이트 필드 카메라 - Google Patents

라이트 필드 카메라 Download PDF

Info

Publication number
KR20160101539A
KR20160101539A KR1020150024305A KR20150024305A KR20160101539A KR 20160101539 A KR20160101539 A KR 20160101539A KR 1020150024305 A KR1020150024305 A KR 1020150024305A KR 20150024305 A KR20150024305 A KR 20150024305A KR 20160101539 A KR20160101539 A KR 20160101539A
Authority
KR
South Korea
Prior art keywords
image sensor
lens
image
microlens array
flat
Prior art date
Application number
KR1020150024305A
Other languages
English (en)
Other versions
KR102297488B1 (ko
Inventor
김윤희
남성현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150024305A priority Critical patent/KR102297488B1/ko
Priority to US15/000,246 priority patent/US9906771B2/en
Publication of KR20160101539A publication Critical patent/KR20160101539A/ko
Application granted granted Critical
Publication of KR102297488B1 publication Critical patent/KR102297488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H04N13/0221—
    • H04N13/0296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/045—Prism arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

라이트 필드 카메라에 관해 개시되어 있다. 개시된 카메라는 피사체의 상을 형성하는 메인 렌즈와, 상기 상으로부터 상기 피사체에 대한 복수의 상을 곡면상에 형성하는 렌즈유닛과, 곡면 이미지 센서와 동등하게 상기 복수의 상을 센싱하는 이미지 센서 유닛을 포함하고, 상기 렌즈유닛과 상기 이미지 센서 유닛 중 적어도 하나는 플랫(flat)한 요소를 포함한다.

Description

라이트 필드 카메라{Light field camera}
본 개시는 카메라와 관련된 것으로, 보다 자세하게는 마이크로 렌즈 어레이를 포함하는 라이트 필드 카메라에 관한 것이다.
하나의 카메라를 이용하여 다수의 시차영상을 얻는 방법이 소재되었다. 이 방법은 렌즈 어레이(lens array)를 카메라 이미징 렌즈 다음 이미지 센서 앞에 배치하고, 라이트 필드(light field)를 저장하는 방식이다. 이 방식은 광의 방향에 따른 정보를 2D 형태로 저장한 다음, 후처리를 통해 영상초점을 재조절 할 수 있다. 그리고 후처리 시 3차원 정보계산을 하여 촬영한 영상의 깊이 정보를 추출 할 수도 있다.
일반적으로, 광축에서 먼 광일 수록 유효초점거리가 짧아진다. 따라서 피사체의 상은 플랫(flat)한 평면이 아니라, 페츠발 면(Petzval surface)이라고 불리는 곡면에 형성된다.
기존의 라이트 필드 카메라의 경우, 플랫한 렌즈 어레이를 플랫한 이미지 센서 앞에 위치하여 라이트 필드 영상을 획득한다. 따라서 광이 광축에서 멀어질 수록 초점에서 멀어져 노이즈가 증가하고 광효율도 감소한다.
라이트 필드 카메라는 렌즈 어레이와 이미지 센서의 거리를 렌즈 어레이의 초점거리로 고정하여 광의 방향별 정보를 획득할 수 있으나, 해상도가 감소될 수 있다. 이를 해결하기 위해 렌즈 어레이와 이미지 센서의 거리를 초점거리보다 길거나(실상), 짧게(허상)하여 각 해상도를 감소시키는 대신 영상 해상도를 증가시키는 방법이 소개된 바 있다. 그러나 이 경우, 메인 렌즈에 의해 형성된 영상의 정보는 렌즈 어레이를 이용하여 이미지 센서로 전달하여 저장되는데, 피사체에 대한 3차원 정보의 시야각이 제한되며 좁아질 수 있다.
본 개시는 이미지 센서 전체 영역을 활용하여 고 해상도의 영상을 얻을 수 있고, 넓은 시야각의 3차원 영상도 얻을 수 있는 라이트 필드 카메라를 제공한다.
본 개시의 일 실시예에 의한 라이트 필드 카메라는 피사체의 상을 형성하는 메인 렌즈와, 상기 상으로부터 상기 피사체에 대한 복수의 상을 곡면상에 형성하는 렌즈 유닛과, 곡면 이미지 센서와 동등하게 상기 복수의 상을 센싱하는 이미지 센서 유닛을 포함하고, 상기 렌즈유닛과 상기 이미지 센서 유닛 중 적어도 하나는 플랫(flat)한 요소를 포함한다.
이러한 라이트 필드 카메라에서, 상기 렌즈유닛은 휜 마이크로 렌즈 어레이를 포함하고, 상기 이미지 센서 유닛은 파형 변형요소와 플랫한 이미지 센서를 포함할 수 있다. 이때, 상기 파형 변형요소는 상기 플랫한 이미지 센서의 광 입사면을 덮고, 포지티브 파워를 나타내는 물질층, 포지티브 파워를 나타내는 프리즘 렌즈층 또는 전기 습윤 프리즘 렌즈층일 수 있다. 상기 물질층은 볼록면을 가질 수 있다.
상기 휜 마이크로 렌즈 어레이는 상기 메인 렌즈의 페츠발 면(Petzval surface) 상에 배치되고, 상기 페츠발 면과 동일한 곡률을 가질 수 있다. 또는 상기 휜 마이크로 렌즈 어레이는 상기 메인 렌즈의 초점면보다 먼 곳에 위치할 수 있다.
또한, 상기 렌즈유닛은 파형 변형요소와 플랫한 마이크로 렌즈 어레이를 포함하고, 상기 이미지 센서 유닛은 휜 이미지 센서를 포함할 수 있다. 이때, 상기 파형 변형요소는 포지티브 파워를 갖는 렌즈, 상기 플랫한 마이크로 렌즈 어레이의 광 입사면을 덮고 포지티브 파워를 갖는 물질층, 포지티브 파워를 나타내는 프리즘 렌즈층 또는 전기 습윤 프리즘 렌즈층일 수 있다.
상기 렌즈유닛은 광 입사면은 볼록하고, 광 방출면에 복수의 마이크로 렌즈 형상을 가질 수 있다.
또한, 렌즈유닛은 파형 변형요소와 플랫한 마이크로 렌즈 어레이를 포함하고, 상기 이미지 센서 유닛은 파형 변형요소와 플랫한 이미지 센서를 포함할 수 있다.
상기 파형 변형요소는 프레넬 렌즈, 홀로그래픽 광학소자(HOE) 또는 회절광학소자(DOE)일 수도 있다.
상기 렌즈유닛은 제1 파형 변형 요소와 플랫한 마이크로 렌즈 어레이를 포함하고, 상기 이미지 센서 유닛은 제2 파형 변형요소 및 플랫한 이미지 센서를 포함할 수 있다.
상기 복수의 상은 서로 다른 시차를 가질 수 있다.
본 개시에서 일 실시예에 의한 라이트 필드 카메라는 피사체의 상을 형성하는 메인 렌즈와, 상기 상으로부터 상기 피사체에 대한 2차원 영상 또는 3차원 영상을 형성하는 액정패널과, 상기 복수의 상을 센싱하는 이미지 센서를 포함할 수 있다. 상기 이미지 센서에 파형 변형요소가 더 구비될 수 있다.
개시된 라이트 필드 카메라는 피사체(object)으로부터 메인 렌즈로 입사하는 광 중에서 광축과 작은 각을 이루는 광과 광축과 큰 각을 이루는 광에 대해 초점이 일치된 영상을 얻을 수 있다. 곧, 이미지 센서의 전체를 라이트 필드를 받는데 사용할 수 있다. 따라서 마이크로 렌즈 어레이의 가장자리부분으로 입사하는 광의 노이즈를 감소시킬 수 있고, 광효율이 증가된 정확한 라이트 필드정보를 얻을 수 있다.
또한, 마이크로 렌즈 어레이와 이미지 센서의 위치를 메인 렌즈의 초점거리와 다르게 하여 해상도가 향상된 라이트 필드영상을 얻으려고 하는 경우, 영상에 대한 넓은 시야(field of view)를 유지시키면서 라이트 필드를 획득할 수 있어 넓은 시야각의 3차원 정보를 획득할 수 있다.
도 1 및 도 2는 개시된 라이트 필드 카메라들에 대한 마이크로 렌즈 어레이와 이미지 센서의 배치와 형태에 대한 기본 예를 나타낸 단면도이다.
도 3 내지 도 19는 도 1의 라이트 필드 카메라에 대한 다양한 변형예들을 나타낸 단면도들이다.
이하, 여러 실시예들에 의한 라이트 필드 카메라를 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 층이나 영역들의 두께는 명세서의 명확성을 위해 과장되게 도시된 것이다.
도 1은 일 실시예에 의한 라이트 필드 카메라를 보여준다.
도 1을 참조하면, 라이트 필드 카메라는 피사체(20)의 상을 제1 위치에 결상하는 메인 렌즈(30), 상기 제1 위치에 형성된 상을 통해서 피사체(30)에 대한 복수의 상을 이미지 센서(34)에 전달하는 마이크로 렌즈 어레이(32) 및 마이크로 렌즈 어레이(32)를 통해 전달되는 라이트 필드, 곧 피사체(20)에 대한 영상이 기록되는 이미지 센서(34)를 포함한다. 이미지 센서(34)는 복수의 화소(pixel)(P1)를 포함한다. 화소(P1)의 광 입사면에 필터가 있을 수 있는데, 예를 들면 베이어 패턴(bayer pattern)층이 있을 수 있다. 상기 제1 위치는 메인 렌즈(30)와 이미지 센서(34) 사이일 수 있다. 상기 제1 위치는 메인 렌즈(30)의 초점 곡면 혹은 페츠발 면 상에 있을 수 있다. 도 2의 경우처럼 상기 제1 위치는 메인 렌즈(30)와 마이크로 렌즈 어레이(32) 사이일 수 있다. 메인 렌즈(30)는 볼록렌즈일 수도 있고, 볼록렌즈를 포함해서 복수의 렌즈로 이루어지고, 포지티브 파워(positive power)를 갖는 렌즈 광학계일 수 있다. 마이크로 렌즈 어레이(32)는 메인 렌즈(30)의 초점곡면 혹은 페츠발 면과 광축(10)이 만나는 위치에 마련될 수 있다. 이때, 마이크로 렌즈 어레이(32)는 상기 초점 곡면 혹은 상기 페츠발 면 상에 위치할 수 있다. 따라서 마이크로 렌즈 어레이(32)는 상기 초점 곡면 혹은 상기 페츠발 면과 동일한 곡률을 가질 수 있다. 마이크로 렌즈 어레이(32)는 복수의 마이크로 렌즈(32a)로 이루어질 수 있다. 복수의 마이크로 렌즈(32a)는 각각 포지티브 파워를 가질 수 있다. 이미지 센서(34)는 마이크로 렌즈 어레이(32)의 초점거리에 위치할 수 있다. 이미지 센서(34)는 마이크로 렌즈 어레이(32)와 동일한 곡률을 가질 수 있다.
이와 같이 마이크로 렌즈 어레이(32)와 이미지 센서(34)가 위치함으로써, 메인 렌즈(30)를 통해 마이크로 렌즈 어레이(32)에 입사되는 광 중에서 마이크로 렌즈 어레이(32)의 가장자리 부분에 입사되는 광이 갖는 정보(영상)도, 곧 광축과 큰 각을 이루는 광이 갖는 정보도 이미지 센서(34)에 도달될 수 있다. 곧, 이미지 센서(34)의 전체 영역을 이용하여 피사체(20)의 상을 센싱할 수 있다. 그리고 마이크로 렌즈 어레이(32)와 이미지 센서(34)가 상술한 바와 같은 곡면인 관계로 마이크로 렌즈 어레이(32)의 가장자리 부분을 통해 형성되는 상도 이미지 센서(34)에 선명하게 형성될 수 있다. 결과적으로, 마이크로 렌즈 어레이(32)의 가장자리 부분을 통해 입사되는 광의 라이트 필드 노이즈도 감소되고, 높은 광효율의 정확한 3차원 정보를 얻을 수도 있다.
도 2는 도 1에서 피사체(20)의 상(24)을 메인 렌즈(30)와 마이크로 렌즈 어레이(32) 사이에 위치시킨 경우를 보여준다. 이때, 마이크로 렌즈 어레이(32)는 메인 렌즈(30)의 페츠발 면 상에 위치할 수도 있고, 상(24)이 중심이 되는 곡면 상에 위치할 수도 있다. 곧, 광축 상에서 상(24)과 마이크로 렌즈 어레이(32) 사이의 거리는 마이크로 렌즈 어레이(32)의 최소 곡률반경이 될 수 있다. 마이크로 렌즈 어레이(32)는 상기 최소 곡률반경보다 큰 곡률반경을 가질 수도 있다. 도 2에서 이미지 센서(34)는 마이크로 렌즈 어레이(32)와 동일한 곡률을 가질 수도 있으나, 다를 수도 있다. 예컨대, 이미지 센서(34)의 곡률은 0(이미지 센서(34)가 플랫일 때)보다 크고, 마이크로 렌즈 어레이(32)의 곡률보다 작을 수 있다.
도 2에서 마이크로 렌즈 어레이(32)와 이미지 센서(34)는 곡률을 갖는 곡면이다. 마이크로 렌즈 어레이(32)의 곡률반경과 피사체(20)의 상(24)이 맺히는 위치와 상(24)의 크기 등 카메라 시스템의 여러 변수(parameters)에 따라 마이크로 렌즈 어레이(32)에 포함된 마이크로 렌즈(32a)의 일부 혹은 전체가 영상 정보를 가질 수 있고, 이미지 센서(34)의 전체 영역에 걸쳐 피사체(20)에 대한 2차원 상들(24a-24e)이 분포하게 된다. 결과적으로, 이미지 센서(34)는 상(24)에 대한 넓은 시야를 가지면서 라이트 필드를 받을 수 있는 바, 넓은 시야각을 갖는 3차원 정보를 얻을 수 있다.
한편, 도 2에 도시한 바와 같이, 이미지 센서(34)의 우측에 피사체(20)의 상(26)이 형성될 수도 있다. 이때, 상(26)은 허상이다. 피사체(20)의 상의 위치는 메인 렌즈(30)의 위치 이동을 통해 조정될 수 있다. 피사체(20)의 상(26)이 이미지 센서(34)의 우측에 형성되는 경우, 마이크로 렌즈 어레이(32)와 이미지 센서(34)의 곡률은 (b)에 도시한 바와 같이 (a)의 경우와 반대의 곡률을 가질 수 있다. (b)의 경우, 상(26)의 위치는 마이크로 렌즈 어레이(32)와 이미지 센서(34)의 곡률 중심이 될 수 있다. 이 경우에도 (a)와 동일한 효과를 얻을 수 있다.
도 3 내지 도 19는 도 1에 예시한 라이트 필드 카메라의 다양한 변형 예를 보여준다. 이러한 변형 예는 마이크로 렌즈 어레이와 이미지 센서에 대한 변형인 바, 도 2의 경우에도 그대로 적용될 수 있다.
하기 설명에서 앞에서 설명한 부재와 동일한 부재에 대해서는 동일한 참조번호를 사용하고 그에 대한 별도의 설명은 생략한다.
도 3 내지 도 5는 도 1의 이미지 센서(34)를 대신해서 이미지 센서 유닛을 구비한 경우이다.
도 3을 참조하면, 마이크로 렌즈 어레이(32) 우측에 이미지 센서(34)와 볼록 렌즈 물질층(36)이 배치되어 있다. 이미지 센서(34)와 볼록렌즈 물질층(36)은 제1 이미지 센서 유닛을 이룰 수 있다. 이미지 센서(34)는 플랫하다. 볼록렌즈 물질층(36)은 이미지 센서(34)의 광 입사면을 덮는다. 물질층(36)은 마이크로 렌즈 어레이(32)를 향해 볼록할 수 있다. 물질층(36)은 입사광의 파형 변형요소의 하나일 수 있다. 물질층(36)은 볼록렌즈 역할을 하므로, 물질층(36)에 입사하는 광을 수렴광으로 변형시킨다. 곧, 물질층(36)에 입사되는 광이 이미지 센서(34)에 도달되는 속도는 물질층(36)의 중심에서 가장자리로 갈수록 빨라진다. 후술되는 다른 파형 변형요소들도 동일한 효과를 나타낼 수 있다. 이러한 결과는 이미지 센서(34)가 도 1과 같이 휘어진 것과 같은 효과를 나타낸다. 곧, 상기 제1 이미지 센서 유닛은 곡면 이미지 센서와 동등하게 상을 센싱할 수 있다. 따라서 마이크로 렌즈 어레이(32)에 의해 형성될 수 있는 복수의 상이 상기 제1 이미지 센서 유닛의 전체 영역에 걸쳐 센싱될 수 있다.
도 4를 참조하면, 마이크로 렌즈 어레이(32) 우측에 이미지 센서(34)와 프리즘 렌즈층(38)이 구비되어 있다. 이미지 센서(34)와 프리즘 렌즈층(38)은 제2 이미지 센서 유닛을 이룰 수 있다. 이미지 센서(34)는 플랫하다. 프리즘 렌즈층(38)은 수동소자일 수 있다. 프리즘 렌즈층(38)은 복수의 프리즘(38a-38c)을 포함한다. 프리즘 렌즈층(38)은 입사광의 파형을 변형하는 요소일 수 있다. 곧, 프리즘 렌즈층(38)은 볼록렌즈와 동일한 효과를 나타낸다. 따라서 상기 제1 이미지 센서 유닛과 같이 상기 제2 이미지 센서 유닛도 도 1의 이미지 센서(34)와 같은 효과를 나타낼 수 있다. 프리즘 렌즈층(38)의 복수의 프리즘(38a-38c)은 입사광을 수렴광으로 바꾸는 배열을 갖는다. 이를 위해 복수의 프리즘(38a-38c)의 경계면의 이미지 센서(34)에 대한 경사각은 각각 다를 수 있다. 복수의 프리즘(38a-38c)은 광축에 대해 동심원을 이루도록 배치될 수 있다. 도 4부터 이미지 센서(34)에서 화소(P1)의 도시는 생략한다.
도 5를 참조하면, 마이크로 렌즈 어레이(32) 우측에 이미지 센서(34)와 전기습윤 렌즈층(L1)이 배치되어 있다. 이미지 센서(34)는 플랫하다. 이미지 센서(34)와 전기습윤 렌즈층(L1)은 제3 이미지 센서 유닛을 이룰 수 있다. 전기습윤 렌즈층(L1)은 외부 전기신호에 의해 동작되는 능동소자일 수 있다. 전기습윤 렌즈층(L1)은 제1 액체층(39)과 제2 액체층(40)을 포함한다. 제1 및 제2 액체층(39, 40)은 굴절률이 다를 수 있다. 제1 액체층(39)은, 예를 들면 오일층일 수 있다. 제1 및 제2 액체층(39, 40)의 계면의 경사각은 전기습윤 렌즈층(L1)에 인가되는 전압에 따라 달라질 수 있다. 따라서 전기습윤 렌즈층(L1)은 파형 변형 요소일 수 있고, 전압인가를 통해 볼록렌즈 혹은 오목렌즈 역할을 할 수 있다. 여기서 전기습윤 렌즈층(L1)은 볼록렌즈 역할을 한다. 이에 따라 전기습윤 렌즈층(L1)과 이미지 센서(34)의 결합, 곧 상기 제3 이미지 센서 유닛은 도 1의 이미지 센서(34)와 동등한 역할을 할 수 있다.
전기습윤 렌즈층(L1)은 전기습윤 프리즘층일 수 있다. 전기습윤 프리즘층에 대해서는, 예를 들면 한국 특허출원 제2012-148870호나 한국 특허출원 제2013-82296호에 자세하게 소개되어 있다.
다음, 도 6 내지 도 10은 도 1에서 마이크로 렌즈 어레이(32) 자리에 다양한 렌즈 유닛이 배치된 경우를 보여준다.
도 6을 참조하면, 마이크로 렌즈 어레이(32)의 입사면에 파형 변형 요소로 볼록렌즈(42)가 구비되어 있다. 마이크로 렌즈 어레이(32)은 플랫하다. 마이크로 렌즈 어레이(32)와 볼록렌즈(42)는 제1 렌즈유닛을 이룰 수 있다. 볼록렌즈(42)는 도 3의 물질층(36)과 유사한 역할을 할 수 있다. 따라서 볼록렌즈(42)에 입사하는 광이 마이크로 렌즈 어레이(32)에 도달되는 속도는 볼록렌즈(42) 중심에서 가장자리로 갈수록 빨라진다. 이러한 결과는 마이크로 렌즈 어레이(32)가 도 1과 같이 곡면인 효과를 나타낸다. 결국, 상기 제1 렌즈 유닛은 도 1의 마이크로 렌즈 어레이(32)와 동등한 효과를 나타낸다.
도 7을 참조하면, 마이크로 렌즈 어레이(32)의 입사면은 포지티브 파워를 갖는 물질층(44)으로 덮여 있다. 마이크로 렌즈 어레이(32)와 물질층(44)은 제2 렌즈 유닛을 이룰 수 있다. 마이크로 렌즈 어레이(32)와 물질층(44)의 굴절률은 동일하거나 다를 수 있다. 마이크로 렌즈 어레이(32)는 플랫하다. 물질층(44)의 메인 렌즈(30)를 향한 면은 볼록하다. 물질층(44)은 볼록렌즈 역할을 할 수 있고, 입사광의 파형을 변형하는 요소가 될 수 있다. 따라서 상기 제2 렌즈 유닛은 도 1의 마이크로 렌즈 어레이(32)와 같은 역할을 할 수 있다.
도 8은 도 7의 마이크로 렌즈 어레이(32)와 물질층(44)이 하나로 결합된 결과물(46)을 보여준다. 도 8의 결과물(46)은 도 7에서 마이크로 렌즈 어레이(32)와 물질층(44)의 동일한 물질인 경우에 해당될 수 있다. 결과물(46)은 광 입사면은 볼록하고, 광 출사면은 복수의 마이크로 렌즈가 배열된 형상을 갖는다. 결과물(46)은 제3 렌즈 유닛을 이룰 수 있다.
도 9 내지 도 11은 도 1의 마이크로 렌즈 어레이(32) 자리에 액정패널(48)이 구비된 경우를 보여준다. 액정패널(48)은, 예를 들면 디스플레이 소자에 사용되는 액정패널일 수도 있다. 액정패널(48)은 전압구동에 의해 복수의 핀홀이 형성된 물질층과 동등하게 구동될 수 있다. 곧, 액정패널(48)은 핀홀 어레이 역할을 할 수 있다. 액정패널(48)에서 투광영역(50)은 핀홀에 대응된다. 투광영역(50)을 통해서만 광이 통과한다. 이 경우, 이미지 센서(34)에서 라이트 필드 (또는 다수의 시차영상)을 얻을 수 있다. 액정패널(48)의 구동을 통해서 액정패널(48) 전체가 투광영역이 될 수 있는데, 이때는 이미지 센서(34)에서 2차원 영상을 얻을 수 있다.
액정패널(48)이 핀홀 어레이의 역할을 하는 경우, 즉 액정패널(48)이 상술한 마이크로 렌즈 어레이처럼 다수의 시차영상을 이미지센서(34)에 제공하는 역할을 하는 경우, 그리고 액정패널(48)이 유연성을 갖는 경우, 도 10에 도시한 바와 같이 액정패널(48)은 메인렌즈(30)의 페츠발 면(혹은 초점곡면)(S1) 상에 구비될 수 있다. 이때, 액정패널(48)의 곡률은 메인렌즈(30)의 페츠발 면(S1)의 곡률과 동일하거나 유사할 수 있다.
액정패널(48)을 곡면 형태로 변형하는 대신, 도 11에 도시한 바와 같이, 액정패널(48) 앞쪽에 파형변형요소(54)를 구비하여 도 10의 경우와 동등한 효과를 얻을 수도 있다.
액정패널(48)을 상술한 바와 같이 구비함으로써, 곡면 형태로 구비된 마이크로 렌즈 어레이와 동등한 효과를 얻을 수 있다.
도 13은 도 1의 마이크로 렌즈 어레이(32) 자리에 마이크로 렌즈 어레이(32)와 함께 전기습윤 렌즈층(60)이 마련된 경우를 보여준다. 전기습윤 렌즈층(60)과 마이크로 렌즈 어레이(32)는 제4 렌즈 유닛을 이룰 수 있다. 마이크로 렌즈 어레이(32)는 플랫하다. 전기습윤 렌즈층(60)은 굴절률이 서로 다른 제3 및 제4 액체층(60a, 60b)을 포함할 수 있다. 전기습윤 렌즈층(60)은 도 5에서 설명한 전기습윤 렌즈층(L1)과 동등할 수 있다. 따라서 전기습윤 렌즈층(60)과 플랫한 마이크로 렌즈 어레이(32)는 도 1의 곡률을 갖는 마이크로 렌즈 어레이(32)와 동일한 효과를 나타낼 수 있다.
상술한 바와 같이 도 1의 마이크로 렌즈 어레이(32)와 이미지 센서(34)는 각각 다양한 유닛으로 대체될 수 있다. 따라서 도 1의 마이크로 렌즈 어레이(32)와 이미지 센서(34)에 대한 다양한 조합은 각각이 다른 변형예가 될 수도 있다.
이에 대한 몇 개의 실시예를 도 13 내지 도 19에 소개한다. 도 13 내지 도 19에 소개한 조합 외에 도 1의 마이크로 렌즈 어레이(32)와 이미지 센서(34)에 대한 조합이 더 있을 수 있다. 도 13 내지 도 19에서 렌즈 유닛에 포함된 파형 변형요소는 제1 파형 변형요소일 수 있고, 이미지 센서 유닛에 포함된 파형 변형요소는 제2 파형 변형요소일 수 있다. 파형 변형요소는 파형 변형소자일 수도 있다.
도 13은 도 1의 마이크로 렌즈 어레이(32)는 도 6에 도시한 제1 렌즈 유닛으로 대체하고, 도 1의 이미지 센서(34)는 도 3의 제1 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 14는 도 1의 마이크로 렌즈 어레이(32)는 도 6에 도시한 제1 렌즈 유닛으로 대체하고, 도 1의 이미지 센서(34)는 도 4의 제2 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 15는 도 1의 마이크로 렌즈 어레이(32)는 도 6에 도시한 제1 렌즈 유닛으로 대체하고, 도 1의 이미지 센서(34)는 도 5의 제3 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 16은 도 1의 마이크로 렌즈 어레이(32)는 도 8에 도시한 제3 렌즈 유닛(결합 결과물(46))으로 대체하고, 도 1의 이미지 센서(34)는 도 3의 제1 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 17은 도 1의 마이크로 렌즈 어레이(32)는 도 9에 도시한 액정패널(48)로 대체하고, 도 1의 이미지 센서(34)는 도 3의 제1 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 18은 도 1의 마이크로 렌즈 어레이(32)는 도 12에 도시한 제4 렌즈 유닛으로 대체하고, 도 1의 이미지 센서(34)는 도 3의 제1 이미지 센서 유닛으로 대체한 경우를 보여준다.
도 19는 도 1의 마이크로 렌즈 어레이(32)는 도 12에 도시한 제4 렌즈 유닛으로 대체하고, 도 1의 이미지 센서(34)는 도 5의 제3 이미지 센서 유닛으로 대체한 경우를 보여준다.
한편, 상술한 렌즈 유닛과 이미지 센서 유닛에서 마이크로 렌즈 어레이(32)와 이미지 센서(34)를 제외한 나머지 파형 변형 요소(소자)로, 프레넬 렌즈, 홀로그래픽 광학소자(HOE) 또는 회절광학소자(DOE)도 사용될 수도 있다.
또한, 도 3의 물질층(36), 도 6의 볼록렌즈(42) 및/또는 도 7의 물질층(44)은 전압인가에 의해 굴절률이나 곡률반경을 변화시킬 수 있는 능동 물질층일 수 있는데, 예를 들면 액정렌즈층일 수 있다.
상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다. 때문에 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고, 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.
10:광축 20:피사체
24:메인 렌즈(30)에 의해 형성된 상(실상)
24a-24e:마이크로 렌즈 어레이(32)에 의해 형성된 복수의 상
26:메인 렌즈(30)에 의해 형성된 상(허상)
30:메인 렌즈 32:마이크로 렌즈 어레이
32a:마이크로 렌즈 34:이미지 센서
36, 44:물질층 38:프리즘 렌즈층
38a-38c:복수의 프리즘 39, 40:제1 및 제2 액체층
42:볼록렌즈 46:물질층(44)과 렌즈 어레이(32)의 결합물
48:액정패널 50:투광영역(핀홀에 대응)
54:파형변형요소 60, L1:전기습윤 렌즈층
60a, 60b:제3 및 제4 액체층 P1:화소(pixel)
S1:페츠발 면(Petzval surface)

Claims (19)

  1. 피사체의 상을 형성하는 메인 렌즈;
    상기 상으로부터 상기 피사체에 대한 복수의 상을 곡면 상에 형성하는 렌즈유닛; 및
    곡면 이미지 센서와 동등하게 상기 복수의 상을 센싱하는 이미지 센서 유닛;을 포함하고,
    상기 렌즈유닛과 상기 이미지 센서 유닛 중 적어도 하나는 플랫(flat)한 요소를 포함하는 라이트 필드 카메라.
  2. 제 1 항에 있어서,
    상기 렌즈유닛은 휜(curved) 마이크로 렌즈 어레이를 포함하는 라이트 필드 카메라.
  3. 제 1 항에 있어서,
    상기 이미지 센서 유닛은,
    파형 변형요소; 및
    플랫한 이미지 센서;를 포함하는 라이트 필드 카메라.
  4. 제 3 항에 있어서,
    상기 파형 변형요소는 상기 플랫한 이미지 센서의 광 입사면을 덮고, 포지티브 파워를 나타내는 물질층인 라이트 필드 카메라.
  5. 제 3 항에 있어서,
    상기 파형 변형요소는 포지티브 파워를 나타내는 프리즘 렌즈층인 라이트 필드 카메라.
  6. 제 3 항에 있어서
    상기 파형 변형요소는 전기습윤 렌즈층인 라이트 필드 카메라.
  7. 제 2 항에 있어서
    상기 휜 마이크로 렌즈 어레이는 상기 메인 렌즈의 페츠발 면(Petzval surface) 상에 배치되고, 상기 페츠발 면과 동일한 곡률을 갖는 라이트 필드 카메라.
  8. 제 2 항에 있어서,
    상기 메인 렌즈에 형성된 상기 상은 상기 휜 마이크로 렌즈 어레이와 상기 메인 렌즈 사이에 위치하는 라이트 필드 카메라.
  9. 제 1 항에 있어서,
    상기 렌즈유닛은,
    파형 변형요소; 및
    플랫한 마이크로 렌즈 어레이;를 포함하고,
    상기 이미지 센서 유닛은 휜 이미지 센서를 포함하는 라이트 필드 카메라.
  10. 제 9 항에 있어서,
    상기 파형 변형요소는 포지티브 파워를 갖는 렌즈인 라이트 필드 카메라.
  11. 제 9 항에 있어서,
    상기 파형 변형요소는 상기 플랫한 마이크로 렌즈 어레이의 광 입사면을 덮고 포지티브 파워를 갖는 물질층인 라이트 필드 카메라.
  12. 제 9 항에 있어서,
    상기 파형 변형요소는 포지티브 파워를 나타내는 프리즘 렌즈층인 라이트 필드 카메라.
  13. 제 9 항에 있어서,
    상기 파형 변형요소는 전기 습윤 렌즈층인 라이트 필드 카메라.
  14. 제 1 항에 있어서,
    상기 렌즈유닛은 광 입사면은 볼록하고, 광 방출면에 복수의 마이크로 렌즈 형상을 갖는 라이트 필드 카메라.
  15. 제 3 항 또는 제 9 항에 있어서,
    상기 파형 변형요소는 프레넬 렌즈, 홀로그래픽 광학소자(HOE) 또는 회절광학소자(DOE)인 라이트 필드 카메라.
  16. 제 1 항에 있어서,
    상기 렌즈유닛은,
    제1 파형 변형 요소; 및
    플랫한 마이크로 렌즈 어레이;를 포함하고,
    상기 이미지 센서 유닛은,
    제2 파형 변형요소; 및
    플랫한 이미지 센서;를 포함하는 라이트 필드 카메라.
  17. 제 1 항에 있어서,
    상기 복수의 상은 서로 다른 시차를 갖는 상인 라이트 필드 카메라.
  18. 피사체의 상을 형성하는 메인 렌즈;
    상기 상으로부터 상기 피사체에 대한 2차원 영상 또는 3차원 영상을 형성하는 액정패널; 및
    상기 복수의 상을 센싱하는 이미지 센서;를 포함하는 라이트 필드 카메라.
  19. 제 18 항에 있어서,
    상기 이미지 센서에 파형 변형요소가 더 구비된 라이트 필드 카메라.
KR1020150024305A 2015-02-17 2015-02-17 라이트 필드 카메라 KR102297488B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150024305A KR102297488B1 (ko) 2015-02-17 2015-02-17 라이트 필드 카메라
US15/000,246 US9906771B2 (en) 2015-02-17 2016-01-19 Light-field camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150024305A KR102297488B1 (ko) 2015-02-17 2015-02-17 라이트 필드 카메라

Publications (2)

Publication Number Publication Date
KR20160101539A true KR20160101539A (ko) 2016-08-25
KR102297488B1 KR102297488B1 (ko) 2021-09-02

Family

ID=56622644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150024305A KR102297488B1 (ko) 2015-02-17 2015-02-17 라이트 필드 카메라

Country Status (2)

Country Link
US (1) US9906771B2 (ko)
KR (1) KR102297488B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168014B2 (en) 2017-04-26 2019-01-01 Hyundai Mobis Co., Ltd. Head lamp apparatus
US10529754B2 (en) 2017-08-29 2020-01-07 Samsung Electronics Co., Ltd. Omnidirectional image sensor and manufacturing method thereof
US11726306B2 (en) 2020-10-22 2023-08-15 Samsung Electronics Co., Ltd. Imaging device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638022B1 (ko) * 2015-09-21 2016-07-12 광주과학기술원 다수의 렌즈를 이용한 촬상장치
EP3400465A1 (en) * 2016-01-04 2018-11-14 Optotune Consumer AG Optical system comprising a curved image sensor
KR101668815B1 (ko) * 2016-02-15 2016-10-24 정은진 광시야각 렌즈 및 그 렌즈를 포함한 광시야각 카메라
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US10712572B1 (en) * 2016-10-28 2020-07-14 Facebook Technologies, Llc Angle sensitive pixel array including a liquid crystal layer
US10593718B2 (en) * 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets
KR102486425B1 (ko) * 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
CN110553585A (zh) * 2018-09-05 2019-12-10 天目爱视（北京）科技有限公司 一种基于光学阵列的3d信息获取装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135916A1 (en) * 2002-10-25 2004-07-15 Tatsuo Makii Optical unit and imaging apparatus
US20050030408A1 (en) * 2003-07-03 2005-02-10 Fuji Photo Film Co., Ltd. Solid-state image pickup device and optical instrument
US20060092311A1 (en) * 2004-11-03 2006-05-04 Hartlove Jason T Auto-focus system using bubble technology
KR20090090304A (ko) * 2006-11-14 2009-08-25 오스람 게젤샤프트 미트 베쉬랭크터 하프퉁 투사 특성이 개선된 투사 장치
KR20140051030A (ko) * 2012-10-22 2014-04-30 삼성전자주식회사 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4734779A (en) * 1986-07-18 1988-03-29 Video Matrix Corporation Video projection system
US6556349B2 (en) 2000-12-27 2003-04-29 Honeywell International Inc. Variable focal length micro lens array field curvature corrector
JP2005136325A (ja) 2003-10-31 2005-05-26 Mitsubishi Electric Corp 固体撮像装置およびその製造方法
KR100618456B1 (ko) 2004-03-19 2006-08-31 재단법인서울대학교산학협력재단 렌즈 어레이를 이용한 입체 디스플레이 시스템
JP5369563B2 (ja) 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
KR20130112541A (ko) 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135916A1 (en) * 2002-10-25 2004-07-15 Tatsuo Makii Optical unit and imaging apparatus
US20050030408A1 (en) * 2003-07-03 2005-02-10 Fuji Photo Film Co., Ltd. Solid-state image pickup device and optical instrument
US20060092311A1 (en) * 2004-11-03 2006-05-04 Hartlove Jason T Auto-focus system using bubble technology
KR20090090304A (ko) * 2006-11-14 2009-08-25 오스람 게젤샤프트 미트 베쉬랭크터 하프퉁 투사 특성이 개선된 투사 장치
KR20140051030A (ko) * 2012-10-22 2014-04-30 삼성전자주식회사 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168014B2 (en) 2017-04-26 2019-01-01 Hyundai Mobis Co., Ltd. Head lamp apparatus
US10529754B2 (en) 2017-08-29 2020-01-07 Samsung Electronics Co., Ltd. Omnidirectional image sensor and manufacturing method thereof
US11726306B2 (en) 2020-10-22 2023-08-15 Samsung Electronics Co., Ltd. Imaging device

Also Published As

Publication number Publication date
KR102297488B1 (ko) 2021-09-02
US9906771B2 (en) 2018-02-27
US20160241840A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
KR102297488B1 (ko) 라이트 필드 카메라
WO2015015717A1 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
KR102106540B1 (ko) 반사굴절식 라이트 필드 렌즈 및 이를 포함하는 촬상 장치
JP2007158825A (ja) 画像入力装置
JP5056428B2 (ja) デジタルカメラ
JP5331838B2 (ja) 固体撮像装置および携帯情報端末
US20160377842A1 (en) Bifocal lens and imaging device including same
CN112005150B (zh) 用于移动设备的全光相机
CN107991838B (zh) 自适应三维立体成像系统
JP2017524977A5 (ko)
JP5214754B2 (ja) 固体撮像装置および携帯情報端末
JP2017515145A5 (ko)
US8605198B2 (en) Imaging device
JP6112419B2 (ja) 撮像装置および測距装置
US20180077404A1 (en) Device for Capturing a Stereoscopic Image
JP2012065021A (ja) 固体撮像装置
CN101546111A (zh) 单相机双目宽基线折反射全景立体成像方法及其装置
US20110090317A1 (en) Stereovision system and method for calcualting distance between object and diffractive optical element
JPWO2013001709A1 (ja) 撮像装置
JP5380857B2 (ja) 焦点検出装置および撮像装置
JPWO2017051876A1 (ja) 撮像素子および撮像装置
US9541741B2 (en) Zoom lens and image pickup apparatus including a deformable mirror
JP2005195786A5 (ko)
CN112835259A (zh) 投影式裸眼三维显示装置
JP4590082B2 (ja) 回折光学素子及びそれを用いた光学系

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right