KR102103983B1 - 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 - Google Patents

시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 Download PDF

Info

Publication number
KR102103983B1
KR102103983B1 KR1020130091166A KR20130091166A KR102103983B1 KR 102103983 B1 KR102103983 B1 KR 102103983B1 KR 1020130091166 A KR1020130091166 A KR 1020130091166A KR 20130091166 A KR20130091166 A KR 20130091166A KR 102103983 B1 KR102103983 B1 KR 102103983B1
Authority
KR
South Korea
Prior art keywords
image acquisition
image
micro
image sensor
micro lens
Prior art date
Application number
KR1020130091166A
Other languages
English (en)
Other versions
KR20150015285A (ko
Inventor
신정순
이승규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130091166A priority Critical patent/KR102103983B1/ko
Priority to US14/909,196 priority patent/US10348945B2/en
Priority to EP14832202.7A priority patent/EP3028098B1/en
Priority to PCT/KR2014/003736 priority patent/WO2015016459A1/en
Publication of KR20150015285A publication Critical patent/KR20150015285A/ko
Application granted granted Critical
Publication of KR102103983B1 publication Critical patent/KR102103983B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Abstract

시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치가 개시된다. 개시된 라이트 필드 영상 획득 장치는, 외부의 피사체로부터 입사하는 빛을 포커싱하는 대물렌즈; 입사광을 감지하여 영상 신호를 출력하는 다수의 화소들을 구비하는 이미지 센서; 및 상기 대물렌즈와 이미지 센서 사이에 배치되는 것으로, 상기 다수의 화소들과 각각 대응하는 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이;를 포함하며, 상기 다수의 마이크로 렌즈들 중에서 적어도 일부는 그에 각각 대응하는 화소들에 대해 소정의 방향으로 시프트되어 있다.

Description

시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 {Light field image capturing apparatus including shifted microlens array}
개시된 실시예는 라이트 필드 영상 획득 장치에 관한 것으로, 더욱 상세하게는 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치에 관한 것이다.
깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.
3차원 영상 획득 장치에서 물체까지의 거리 정보를 얻는 방법으로는 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다. 능동 방식은, 예를 들어, 물체에 빛을 조사하고 물체로부터 반사되어 돌아온 빛을 감지하여 빛의 이동 시간을 알아내는 광시간비행법(Time-of-Flight; TOF)과 센서로부터 일정 거리에 있는 다수의 광원에 의해 조사되고 물체로부터 반사된 빛의 위치를 감지하여 거리를 계산하는 삼각 측량법(triangulation)이 대표적이다. 또한, 수동 방식으로는, 예를 들어, 빛을 조사하지 않고 2대 이상의 카메라로 촬영한 영상 정보만을 이용하여 물체까지의 거리를 계산하는 스테레오 카메라 방식이 대표적이다. 그런데, 능동 방식은 빛을 물체에 조사하기 위한 별도의 광원과 광학계가 필요하고 스테레오 카메라 방식은 정확한 거리 정보를 얻기가 어렵다.
최근에는, 별도의 광원과 광학계를 사용하지 않으면서 정확한 거리 정보를 얻기 위하여 라이트 필드 영상 획득 방식이 제안되고 있다. 라이트 필드 영상 획득 방식은 다수의 마이크로 렌즈들을 이용하여 많은 시점의 영상들을 한꺼번에 취득한 후에, 각각의 영상들을 분석하여 깊이 정보를 추출하는 방식이다. 예를 들어, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들은 그 상대적인 위치에 따라 조금씩 서로 다른 시점들을 가지므로, 각각의 마이크로 렌즈들로부터 얻은 다수의 영상들은 서로 다른 깊이감을 가질 수 있다. 따라서, 이러한 다수의 영상들을 분석하여 영상 내의 물체들의 상대적인 거리를 정확하게 식별하는 것이 가능하다.
마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들을 그에 각각 대응하는 화소들에 대해 시프트시킴으로써, 복잡한 광학적 구성을 사용하지 않으면서 시점이 다른 다수의 중첩되는 영상들을 획득할 수 있는 라이트 필드 영상 획득 장치를 제공한다.
일 실시예에 따른 영상 획득 장치는, 외부의 피사체로부터 입사하는 빛을 포커싱하는 대물렌즈; 입사광을 감지하여 영상 신호를 출력하는 다수의 화소들을 구비하는 이미지 센서; 및 상기 대물렌즈와 이미지 센서 사이에 배치되는 것으로, 상기 다수의 화소들과 각각 대응하는 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이;를 포함하며, 상기 다수의 마이크로 렌즈들 중에서 적어도 일부는 그에 각각 대응하는 화소들에 대해 소정의 방향으로 시프트될 수 있다.
상기 이미지 센서는 서로 다른 시점의 부분 영상들을 각각 획득하기 위한 다수의 영상 획득 영역들을 포함하며, 상기 다수의 영상 획득 영역들은 상기 이미지 센서 내에서 2차원 매트릭스로 배열될 수 있다.
상기 마이크로 렌즈 어레이는 상기 다수의 영상 획득 영역들에 각각 대응하는 다수의 부분적인 마이크로 렌즈 어레이 영역들을 포함하며, 각각의 마이크로 렌즈 어레이 영역은 그에 대응하는 영상 획득 영역에 부분 영상을 포커싱하도록 구성될 수 있다.
상기 다수의 영상 획득 영역들에 의해 획득된 다수의 부분 영상들이 적어도 부분적으로 서로 중첩될 수 있다.
각각의 영상 획득 영역은, 화소와 그에 대응하는 마이크로 렌즈의 위치가 일치하는 적어도 하나의 매칭 영역, 및 마이크로 렌즈가 그에 대응하는 화소에 대해 시프트되어 있는 적어도 하나의 비매칭 영역을 포함할 수 있다.
상기 다수의 영상 획득 영역들에서 매칭 영역들의 위치가 서로 다를 수 있다.
각각의 영상 획득 영역에서 매칭 영역의 위치는 상기 이미지 센서 내에서의 해당 영상 획득 영역의 상대적인 위치와 대응할 수 있다.
예를 들어, 상기 이미지 센서의 정중앙에 배치되어 있는 영상 획득 영역 내에서 매칭 영역은 그 영상 획득 영역 내의 정중앙에 위치할 수 있다.
또한, 상기 매칭 영역으로부터 양의 제 1 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 양의 제 1 방향으로 더 시프트되며, 상기 매칭 영역으로부터 음의 제 1 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 음의 제 1 방향으로 더 시프트되고, 상기 매칭 영역으로부터 상기 제 1 방향에 수직한 양의 제 2 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 양의 제 2 방향으로 더 시프트되며, 상기 매칭 영역으로부터 음의 제 2 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 음의 제 2 방향으로 더 시프트될 수 있다.
상기 이미지 센서의 상기 다수의 영상 획득 영역들 사이에 소정의 간격이 형성되어 있으며, 상기 이미지 센서의 상기 간격 내에 배열된 화소들은 사용하지 않는 더미 화소일 수 있다.
예를 들어, 상기 이미지 센서는 다수의 화소들이 하나의 컬러 화소부를 형성하는 컬러 이미지 센서일 수 있다.
이 경우, 동일한 컬러 화소부 내에 배열된 다수의 화소와 그에 대응하는 다수의 마이크로 렌즈들의 상대적인 위치 관계가 서로 동일할 수 있다.
또한, 상기 이미지 센서는 상기 다수의 화소들과 상기 다수의 마이크로 렌즈들 사이에 각각 배치되는 다수의 컬러 필터들을 포함할 수 있으며, 각각의 마이크로 렌즈로부터 그에 대응하는 화소로 진행하는 빛의 경로 상에 상기 컬러 필터가 위치할 수 있다.
각각의 마이크로 렌즈는 그에 대응하는 화소의 폭과 동일한 직경을 가지며, 인접한 두 마이크로 렌즈들 사이에 소정의 간격이 형성될 수 있다.
상기 대물렌즈와 상기 이미지 센서 사이의 거리는 상기 대물렌즈의 초점 거리보다 작을 수 있다.
예를 들어, 상기 마이크로 렌즈 어레이의 다수의 마이크로 렌즈들과 상기 이미지 센서의 다수의 화소들이 각각 1:1로 대응할 수 있다.
또한, 상기 영상 획득 장치는 이미지 센서로부터의 영상 신호를 이용하여 최종적인 3차원 영상을 생성하기 위한 영상 신호 처리부를 더 포함할 수 있다.
개시된 실시예에 따르면, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들을 그에 각각 대응하는 화소들에 대해 시프트시킴으로써, 복잡한 광학적 구성을 사용하지 않으면서 시점이 다른 다수의 중첩되는 영상들을 용이하게 획득할 수 있다. 이러한 본 실시예에 따른 라이트 필드 영상 획득 장치는, 예컨대 CCD(charge-coupled device)나 CMOS(complementary metal oxide semiconductor)와 같은 기존의 이미지 센서를 그대로 사용하는 것이 가능하다. 따라서, 본 실시예에 따른 라이트 필드 영상 획득 장치의 광학계 및 촬상부의 구성이 간단해질 수 있다.
도 1은 일 실시예에 따른 라이트 필드 영상 획득 장치의 전체적인 구성을 개략적으로 보인다.
도 2는 도 1에 도시된 라이트 필드 영상 획득 장치의 대물렌즈, 마이크로 렌즈 어레이 및 이미지 센서의 구조와 동작을 개략적으로 보이는 단면도이다.
도 3a 내지 도 3c는 마이크로 렌즈 어레이 내의 개별적인 마이크로 렌즈들과 그에 각각 대응하는 이미지 센서 내의 화소들 사이의 위치 관계를 보다 상세하게 보이는 개략적인 단면도이다.
도 4는 이미지 센서가 3×3 배열의 영상 획득 영역들을 갖는 경우에 각각의 영상 획득 영역 내의 화소들과 마이크로 렌즈들 사이의 위치 관계를 예시적으로 보이는 개략적인 평면도이다.
도 5는 마이크로 렌즈와 화소 사이에 배치된 컬러 필터의 위치를 예시적으로 보인다.
이하, 첨부된 도면들을 참조하여, 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.
먼저, 도 1은 일 실시예에 따른 라이트 필드 영상 획득 장치의 전체적인 구성을 개략적으로 도시하고 있다. 도 1을 참조하면, 일 실시예에 따른 라이트 필드 영상 획득 장치(100)는 외부의 피사체(도시되지 않음)로부터 입사하는 빛을 포커싱하는 대물렌즈(110), 입사광을 감지하여 영상 신호를 출력하는 다수의 화소들을 구비하는 이미지 센서(130), 및 상기 대물렌즈(110)와 이미지 센서(130) 사이에 배치되며 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이(120)를 포함할 수 있다. 또한, 라이트 필드 영상 획득 장치(100)는 이미지 센서(130)로부터의 영상 신호를 이용하여 최종적인 3차원 영상을 생성하기 위한 영상 신호 처리부(140), 영상을 저장하기 위한 메모리(160), 및 영상을 디스플레이 하기 위한 디스플레이 패널(150)을 더 포함할 수 있다.
본 실시예에 따르면, 마이크로 렌즈 어레이(120)의 다수의 마이크로 렌즈들과 이미지 센서(130)의 다수의 화소들이 각각 1:1로 대응할 수 있다. 예를 들어, 각각의 화소마다 그에 대응하는 마이크로 렌즈가 하나씩 배치될 수 있다.
또한, 도 1에는 명확하게 도시되지 않았지만, 이미지 센서(130)는 서로 다른 시점의 부분 영상들을 각각 획득하기 위한 다수의 영상 획득 영역들로 분할될 수 있다. 예컨대, 이미지 센서(130)는 n×m(여기서, n, m은 1보다 큰 정수) 매트릭스로 배열된 다수의 영상 획득 영역들을 포함할 수 있다. 여기서, 분할은 물리적인 분할이 아닌 논리적인 분할을 의미할 수 있다. 예컨대, 하나의 이미지 센서(130)를 여러 구역으로 획정하고 각각의 구역을 영상 획득 영역으로서 사용할 수 있다. 이 경우, 영상 신호 처리부(140)는 이미지 센서(130) 내의 화소들의 좌표에 따라 다수의 영상 획득 영역을 식별하고, 각각의 영상 획득 영역으로부터 수신한 영상 신호들을 개별적으로 처리할 수 있다. 다른 예에서는, 하나의 영상 획득 영역으로서 각각 작용하는 다수의 이미지 센서들을 사용하는 것도 가능하다. 그리고, 각각의 영상 획득 영역에는 다수의 화소들과 그에 대응하는 마이크로 렌즈들이 배치될 수 있다. 예를 들어, 마이크로 렌즈 어레이(120)도 다수의 영상 획득 영역들에 각각 대응하는 다수의 어레이 영역들로 분할될 수 있다. 이러한 다수의 영상 획득 영역들은 대물렌즈(110)에 대해 상대적으로 서로 다른 위치에 있으므로 각각의 위치에 따라 고유의 시점을 가질 수 있다.
영상 신호 처리부(140)는 다수의 영상 획득 영역들에 의해 획득된 다수의 부분 영상들을 이용하여 최종 영상을 형성할 수 있으며 최종 영상 내의 물체들의 거리 정보를 추출할 수 있다. 그런데, 최종 영상 내에 있는 물체들의 거리 정보를 영상 신호 처리부(140)가 정확하게 추출하기 위해서는, 다수의 부분 영상들이 적어도 부분적으로 서로 중첩되어야 한다. 즉, 인접한 다수의 영상 획득 영역들의 시야들이 서로 완전히 다르지 않고 부분적으로 중첩할 수 있다. 정확한 거리 정보의 추출을 위해서는 부분 영상들 사이의 중첩 정도가 증가할수록 유리할 수 있다.
도 2는 이를 위한 라이트 필드 영상 획득 장치(100)의 대물렌즈(110), 마이크로 렌즈 어레이(120) 및 이미지 센서(130)의 구조와 동작을 개략적으로 도시하는 단면도이다. 도 2를 참조하면, 대물렌즈(110)는 이미지 센서(130)를 향해 입사광을 집광시킨다. 대물렌즈(110)와 이미지 센서(130) 사이의 거리는 대물렌즈(110)의 초점 거리보다 짧다. 즉, 이미지 센서(130)는 대물렌즈(110)와 상기 대물렌즈(110)의 초점 사이에 위치한다. 마이크로 렌즈 어레이(120)는 대물렌즈(110)에 의해 집광되는 빛을 이미지 센서(130) 상에 포커싱한다.
이미지 센서(130)는 서로 다른 시점의 부분 영상들(I1, I2, I3, I4, I5)들을 각각 취득하기 위한 다수의 영상 획득 영역들(131, 132, 133, 134, 135)을 포함할 수 있다. 다수의 영상 획득 영역들(131, 132, 133, 134, 135)에 대응하여 마이크로 렌즈 어레이(120)도 다수의 부분적인 어레이 영역들(121, 122, 123, 124, 125)로 분할될 수 있다. 예를 들어, 제 1 마이크로 렌즈 어레이 영역(121)은 제 1 영상 획득 영역(131)에 제 1 부분 영상(I1)을 포커싱할 수 있으며, 제 2 마이크로 렌즈 어레이 영역(122)은 제 2 영상 획득 영역(132)에 제 2 부분 영상(I2)을 포커싱할 수 있다. 이러한 방식으로 제 1 내지 제 5 부분 영상(I1, I2, I3, I4, I5)이 각각 제 1 내지 제 5 영상 획득 영역(131, 132, 133, 134, 135)에 포커싱될 수 있다. 도 2에는 라이트 필드 영상 획득 장치(100)가 예시적으로 5개의 부분 영상(I1, I2, I3, I4, I5)을 촬영하는 것으로 도시되어 있으나, 이는 단지 하나의 예일뿐이며 본 실시예가 이에 한정되는 것은 아니다.
본 실시예에 따르면, 다수의 부분 영상(I1, I2, I3, I4, I5)들은 서로 적어도 부분적으로 중첩될 수 있다. 예를 들어, 제 1 부분 영상(I1)은 대물렌즈(110)의 좌측 끝에서부터 중앙 우측까지의 영역으로 입사하는 빛을 포함할 수 있으며, 제 5 부분 영상(I5)은 대물렌즈(110)의 중앙 좌측에서부터 우측 끝까지의 영역으로 입사하는 빛을 포함할 수 있다. 따라서, 제 1 부분 영상(I1)은 그와 가장 가까운 제 2 부분 영상(I2)과 가장 많이 중첩할 수 있으며, 그와 가장 먼 제 5 부분 영상(I5)과 가장 적게 중첩할 수 있다.
시점이 다른 다수의 부분 영상(I1, I2, I3, I4, I5)들을 다수의 영상 획득 영역(131, 132, 133, 134, 135)들에 각각 포커싱시키고, 다수의 부분 영상(I1, I2, I3, I4, I5)들을 서로 부분적으로 중첩시키기 위하여, 본 실시예에 따른 마이크로 렌즈 어레이(120)의 다수의 마이크로 렌즈들 중에서 적어도 일부는 그에 각각 대응하는 화소들에 대해 소정의 방향으로 시프트될 수 있다. 예를 들어, 좌측에 있는 제 1 마이크로 렌즈 어레이 영역(121)은 제 1 영상 획득 영역(131)에 대해 우측으로 시프트될 수 있으며, 우측에 있는 제 5 마이크로 렌즈 어레이 영역(125)은 제 5 영상 획득 영역(135)에 대해 좌측으로 시프트될 수 있다. 마이크로 렌즈의 시프트 정도에 따라 각각의 부분 영상(I1, I2, I3, I4, I5)이 포함하는 화각 범위가 달라질 수 있다. 즉, 시프트 정도가 커질수록 부분 영상(I1, I2, I3, I4, I5)의 화각 범위가 넓어질 수 있으며, 부분 영상(I1, I2, I3, I4, I5)들 사이의 중첩 정도도 커질 수 있다.
도 3a 내지 도 3c는 마이크로 렌즈 어레이(120) 내의 개별적인 마이크로 렌즈들과 그에 각각 대응하는 이미지 센서(130) 내의 화소들 사이의 위치 관계를 보다 상세하게 도시하는 개략적인 단면도이다.
먼저, 도 3a는 가장 좌측에 있는 제 1 마이크로 렌즈 어레이 영역(121)과 제 1 영상 획득 영역(131) 사이의 위치 관계를 보이고 있다. 도 3a에는 제 1 마이크로 렌즈 어레이 영역(121)이 5개의 마이크로 렌즈(121a~121e)를 포함하고 제 1 영상 획득 영역(131)이 5개의 화소(131a~131e)를 포함하는 것으로 도시되어 있으나, 이는 단지 하나의 예일뿐이며 본 실시예가 이에 한정되는 것은 아니다. 도 3a를 참조하면, 제 1 영상 획득 영역(131)에서 가장 좌측의 제 1 화소(131a)와 제 1 마이크로 렌즈 어레이 영역(121)에서 가장 좌측의 제 1 마이크로 렌즈(121a)는 서로 정확하게 일치하도록 배치될 수 있다. 그리고, 좌측에서 2번째로 배치된 제 2 마이크로 렌즈(121b)는 제 2 화소(131b)보다 약간 우측으로 시프트될 수 있다. 이러한 방식으로 우측 방향으로 갈수록 대응 화소에 대한 마이크로 렌즈의 시프트 정도가 점차 커질 수 있다. 따라서, 제 1 마이크로 렌즈 어레이 영역(121)의 가장 우측에 배치된 제 5 마이크로 렌즈(121e)는 제 5 화소(131e)에 대해 가장 우측으로 시프트될 수 있다.
각각의 마이크로 렌즈(121a~121e)는 그에 대응하는 화소(131a~131e)의 폭과 동일한 직경을 가질 수 있다. 이 경우, 상술한 시프트를 구현하기 위하여 인접한 두 마이크로 렌즈(121a~121e)들 사이에 소정의 간격을 형성할 수 있다. 즉, 마이크로 렌즈(121a~121e)들의 피치는 각각의 마이크로 렌즈(121a~121e)의 직경보다 클 수 있다. 또는, 각각의 마이크로 렌즈(121a~121e)의 직경을 화소(131a~131e)의 폭보다 약간 크게 형성할 수도 있다.
도 3b는 중앙에 있는 제 3 마이크로 렌즈 어레이 영역(123)과 제 3 영상 획득 영역(133) 사이의 위치 관계를 보이고 있다. 도 3b를 참조하면, 제 3 마이크로 렌즈 어레이 영역(123) 내에서 가운데 배치된 마이크로 렌즈(123a)는 제 3 영상 획득 영역(133) 내에서 가운데 배치된 화소(133a)와 일치하도록 배치될 수 있다. 그리고, 상기 중앙의 마이크로 렌즈(123a)의 좌측에 배치된 마이크로 렌즈들은 그에 대응하는 화소들에 대해 점차 좌측으로 시프트되며, 중앙의 마이크로 렌즈(123a)의 우측에 배치된 마이크로 렌즈들은 그에 대응하는 화소들에 대해 점차 우측으로 시프트될 수 있다.
또한, 도 3c는 가장 우측에 있는 제 5 마이크로 렌즈 어레이 영역(125)과 제 5 영상 획득 영역(135) 사이의 위치 관계를 보이고 있다. 도 3c를 참조하면, 제 5 영상 획득 영역(135)에서 가장 우측의 화소(135a)와 제 5 마이크로 렌즈 어레이 영역(125)에서 가장 우측의 마이크로 렌즈(125a)는 서로 정확하게 일치하도록 배치될 수 있다. 그리고, 상기 가장 우측의 마이크로 렌즈(125a)의 좌측에 배치된 나머지 마이크로 렌즈들은 그에 대응하는 화소들에 대해 점차 좌측으로 시프트될 수 있다.
본 실시예에 따르면, 마이크로 렌즈 어레이(120) 내의 다수의 마이크로 렌즈들을 그에 각각 대응하는 화소들에 대해 시프트시킴으로써, 복잡한 광학적 구성을 사용하지 않으면서 시점이 다른 다수의 중첩되는 영상들을 용이하게 획득할 수 있다. 그 결과, 본 실시예에 따른 라이트 필드 영상 획득 장치(100)는 CCD(charge-coupled device)나 CMOS(complementary metal oxide semiconductor)와 같은 기존의 이미지 센서(130)를 특별한 변형 없이 그대로 사용하는 것이 가능하다. 따라서, 본 실시예에 따른 라이트 필드 영상 획득 장치(100)의 광학계 및 촬상부의 구성이 간단해질 수 있다.
한편, 도 3a 내지 도 3c의 단면도에서는 마이크로 렌즈들이 그에 대응하는 화소에 대해 좌측 또는 우측으로 시프트되는 경우만이 도시되어 있으나, 마이크로 렌즈 어레이(120)와 이미지 센서(130)는 2차원 어레이를 갖기 때문에 일부 마이크로 렌즈들은 그에 대응하는 화소에 대해 상하로 시프트될 수도 있다. 예를 들어, 도 4는 이미지 센서(130)가 3×3 배열의 영상 획득 영역들(130a~130i)을 갖는 경우에 각각의 영상 획득 영역(130a~130i) 내의 화소들과 마이크로 렌즈들 사이의 위치 관계를 예시적으로 도시하는 개략적인 평면도이다.
도 4의 예에서, 각각의 영상 획득 영역(130a~130i)들은 예를 들어 10×10 배열의 화소들을 포함할 수 있다. 여기서, 이미지 센서(130)가 컬러 이미지 센서인 경우엔, 2×2 배열 단위의 화소들이 하나의 컬러 화소부를 형성할 수 있다. 예를 들어, 제 1 대각선 방향으로 배열된 적색 화소(R)와 청색 화소(B) 및 상기 제 1 대각선 방향과 직교하는 제 2 대각선 방향으로 배열된 2개의 녹색 화소(G)가 하나의 컬러 화소부를 형성할 수 있다. 또한, 도 4에서 각각의 화소에 대응하는 마이크로 렌즈들이 원형으로 표시되어 있다. 도 4에서는 모든 마이크로 렌즈들을 표시하지 않고, 편의상 단지 일부의 마이크로 렌즈들만을 선택적으로 표시하고 있다. 예컨대, 도 4에서는 각각의 영상 획득 영역(130a~130i)에 총 100개의 화소가 배열되어 있으나, 마이크로 렌즈들의 위치를 대표적으로 보일 수 있는 36개의 마이크로 렌즈들만이 각각의 영상 획득 영역(130a~130i)마다 표시되어 있다.
도 4를 참조하면, 이미지 센서(130)의 좌상부에 배치되어 있는 제 1 영상 획득 영역(130a)에서, 가장 좌측의 최상부에 있는 화소에 대응하는 마이크로 렌즈는 시프트 없이 그에 대응하는 화소와 일치하도록 배치될 수 있다. 이하, 화소와 마이크로 렌즈의 위치가 일치하는 영역을 매칭 영역이라고 부르고, 화소와 마이크로 렌즈 사이에 시프트가 발생한 영역을 비매칭 영역이라고 부른다. 예를 들어, 제 1 영상 획득 영역(130a)에서, 가장 좌측의 최상부에 있는 4개의 화소 영역들이 매칭 영역이며, 나머지 화소 영역들은 비매칭 영역이다. 매칭 영역으로부터 x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 x 방향으로 더 시프트되며, 매칭 영역으로부터 -y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -y 방향으로 더 시프트될 수 있다. 또한, 도 4에 도시된 바와 같이, 동일한 컬러 화소부 내에 배열된 4개의 화소와 그에 대응하는 4개의 마이크로 렌즈의 상대적인 위치 관계들은 서로 동일할 수 있다. 다른 예에서, 하나의 컬러 화소부 내에 배치된 4개의 화소들을 모두 커버하는 하나의 마이크로 렌즈가 배치되는 것도 가능하다.
이미지 센서(130)의 중간 상부에 배치되어 있는 제 2 영상 획득 영역(130b)에서는, 중간 최상부에 있는 4개의 화소 영역들이 매칭 영역이며 나머지 화소 영역들은 비매칭 영역이다. 제 2 영상 획득 영역(130b)에서, 매칭 영역으로부터 x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 x 방향으로 더 시프트되며, 매칭 영역으로부터 -x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -x 방향으로 더 시프트될 수 있다. 또한, 매칭 영역으로부터 -y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -y 방향으로 더 시프트될 수 있다.
이미지 센서(130)의 우측 상부에 배치되어 있는 제 3 영상 획득 영역(130c)에서는, 우측 최상부에 있는 4개의 화소 영역들이 매칭 영역이며 나머지 화소 영역들은 비매칭 영역이다. 제 3 영상 획득 영역(130c)에서, 매칭 영역으로부터 -x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -x 방향으로 더 시프트되며, 매칭 영역으로부터 -y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -y 방향으로 더 시프트될 수 있다.
또한, 이미지 센서(130)의 중앙에 배치되어 있는 제 5 영상 획득 영역(130e)에서는, 정중앙에 있는 4개의 화소 영역들이 매칭 영역이며 나머지 화소 영역들은 비매칭 영역이다. 제 5 영상 획득 영역(130e)에서, 매칭 영역으로부터 x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 x 방향으로 더 시프트되며, 매칭 영역으로부터 -x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -x 방향으로 더 시프트될 수 있다. 또한, 매칭 영역으로부터 y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 y 방향으로 더 시프트되며, 매칭 영역으로부터 -y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -y 방향으로 더 시프트될 수 있다.
나머지 영상 획득 영역(130d, 130f, 130g, 130h, 130i)에 대해서도 위와 같은 설명이 유사하게 적용될 수 있으므로, 상기 영상 획득 영역(130d, 130f, 130g, 130h, 130i)에 대한 상세한 설명은 생략한다. 이상에서 설명한 바와 같이, 각각의 영상 획득 영역(130a~130i)은 하나의 매칭 영역을 가질 수 있다. 이미지 센서(130)가 컬러 이미지 센서인 경우에, 각각의 매칭 영역은 하나의 컬러 화소부 내의 4개의 화소를 포함할 수 있다. 도 4에 도시된 바와 같이, 영상 획득 영역(130a~130i)들에 따라 매칭 영역의 위치가 달라질 수 있다. 보다 구체적으로, 각각의 영상 획득 영역(130a~130i)에서 매칭 영역의 위치는 이미지 센서(130) 내에서의 영상 획득 영역(130a~130i)들의 위치와 대응할 수 있다. 예컨대, 이미지 센서(130)의 좌상부에 배치되어 있는 제 1 영상 획득 영역(130a) 내에서 매칭 영역은 제 1 영상 획득 영역(130a) 내의 좌상부에 위치한다. 또한, 이미지 센서(130)의 정중앙에 배치되어 있는 제 5 영상 획득 영역(130e) 내에서 매칭 영역은 제 5 영상 획득 영역(130e) 내의 정중앙에 위치한다.
영상 획득 영역(130a~130i)들에서 매칭 영역 이외는 모두 비매칭 영역이며, 영상 획득 영역(130a~130i)들의 위치에 따라 비매칭 영역 내의 마이크로 렌즈들이 서로 다르게 시프트될 수 있다. 공통적으로, 매칭 영역으로부터 x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 x 방향으로 더 시프트되며, 매칭 영역으로부터 -x 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -x 방향으로 더 시프트될 수 있다. 또한, 매칭 영역으로부터 y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 y 방향으로 더 시프트되며, 매칭 영역으로부터 -y 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 -y 방향으로 더 시프트될 수 있다.
한편, 서로 인접하는 영상 획득 영역(130a~130i)들 사이에는 해당 영상 획득 영역(130a~130i)들에서 각각 시프트된 마이크로 렌즈들이 서로 간섭할 수 있다. 예를 들어, 제 1 영상 획득 영역(130a)에서 +x 방향으로 시프트된 마이크로 렌즈와 제 2 영상 획득 영역(130b)에서 -x 방향으로 시프트된 마이크로 렌즈가 서로 간섭할 수 있다. 따라서, 인접한 두 영상 획득 영역(130a~130i)들 사이에서 마이크로 렌즈들이 간섭하는 것을 피하기 위해, 인접한 영상 획득 영역(130a~130i)들 사이에는 소정의 간격(130x)을 둘 수 있다. 이러한 영상 획득 영역(130a~130i)들 사이의 간격(130x)은 마이크로 렌즈의 시프트 정도에 따라 달라질 수 있다. 이 경우, 이미지 센서(130) 내에서 상기 간격(130x) 내에 배열되어 있는 화소들은 사용하지 않는 더미 화소들이 된다.
또한, 이미지 센서(130)가 컬러 이미지 센서인 경우, 각각의 화소마다 컬러 필터가 배치될 수 있다. 컬러 필터는 이미지 센서(130)의 화소 표면과 마이크로 렌즈 어레이(120) 사이에 배치될 수 있다. 본 실시예에 따르면, 마이크로 렌즈들이 그에 대응하는 화소에 대해 시프트되어 있기 때문에, 마이크로 렌즈들의 위치에 따라 컬러 필터의 위치도 조절된다. 도 5는 마이크로 렌즈와 화소 사이에 배치된 컬러 필터의 위치를 예시적으로 도시하고 있다. 도 5에 도시된 바와 같이, 예컨대 마이크로 렌즈(129)가 그에 대응하는 화소(139)에 대해 오른쪽으로 시프트 되어 있는 경우, 마이크로 렌즈(129)와 화소(139) 사이에 배치된 컬러 필터(145)도 역시 오른쪽으로 약간 시프트될 수 있다. 컬러 필터(145)가 시프트되는 정도는 마이크로 렌즈(129)와 컬러 필터(145) 사이의 거리에 따라 달라질 수 있다. 예를 들어, 컬러 필터(145)가 화소(139)의 상부 표면에 간격 없이 배치되는 경우, 컬러 필터(145)는 거의 시프트될 필요가 없다. 반면, 컬러 필터(145)의 마이크로 렌즈(129)의 하부 표면에 간격 없이 배치되는 경우, 컬러 필터(145)는 마이크로 렌즈(129)와 동일한 정도로 시프트된다. 어떠한 경우이든, 마이크로 렌즈(129)로부터 그에 대응하는 화소(139)로 진행하는 빛의 경로 상에 컬러 필터(145)가 위치하도록 컬러 필터(145)의 위치가 조절될 수 있다.
지금까지, 본 발명의 이해를 돕기 위하여 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
100.....라이트 필드 영상 획득 장치
110.....대물렌즈
120, 121, 122, 123, 124, 125.....마이크로 렌즈 어레이
129.....마이크로 렌즈 130.....이미지 센서
131, 132, 133, 134, 135.....영상 획득 영역
139.....화소 140.....영상 신호 처리부
145.....컬러 필터 150.....디스플레이 패널
160.....메모리

Claims (17)

  1. 외부의 피사체로부터 입사하는 빛을 포커싱하는 대물렌즈;
    입사광을 감지하여 영상 신호를 출력하는 다수의 화소들을 구비하는 이미지 센서; 및
    상기 대물렌즈와 이미지 센서 사이에 배치되는 것으로, 상기 다수의 화소들과 각각 대응하는 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이;를 포함하며,
    상기 이미지 센서는 서로 다른 시점의 부분 영상들을 각각 획득하기 위한 다수의 영상 획득 영역들을 포함하며, 상기 다수의 영상 획득 영역들은 상기 이미지 센서 내에서 2차원 매트릭스로 배열되어 있고,
    상기 마이크로 렌즈 어레이는 상기 다수의 영상 획득 영역들에 각각 대응하는 다수의 부분적인 마이크로 렌즈 어레이 영역들을 포함하며, 각각의 마이크로 렌즈 어레이 영역은 그에 대응하는 영상 획득 영역에 부분 영상을 포커싱하도록 구성되고,
    각각의 영상 획득 영역은, 화소와 그에 대응하는 마이크로 렌즈의 위치가 일치하는 적어도 하나의 매칭 영역, 및 마이크로 렌즈가 그에 대응하는 화소에 대해 시프트되어 있는 적어도 하나의 비매칭 영역을 포함하고,
    상기 매칭 영역으로부터 양의 제 1 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 양의 제 1 방향으로 더 시프트되며, 상기 매칭 영역으로부터 음의 제 1 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 음의 제 1 방향으로 더 시프트되고, 상기 매칭 영역으로부터 상기 제 1 방향에 수직한 양의 제 2 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 양의 제 2 방향으로 더 시프트되며, 상기 매칭 영역으로부터 음의 제 2 방향으로 갈수록 마이크로 렌즈는 그에 대응하는 화소에 대해 음의 제 2 방향으로 더 시프트되어 있는 영상 획득 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 다수의 영상 획득 영역들에 의해 획득된 다수의 부분 영상들이 적어도 부분적으로 서로 중첩되어 있는 영상 획득 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 다수의 영상 획득 영역들에서 매칭 영역들의 위치가 서로 다른 영상 획득 장치.
  7. 제 6 항에 있어서,
    각각의 영상 획득 영역에서 매칭 영역의 위치는 상기 이미지 센서 내에서의 해당 영상 획득 영역의 상대적인 위치와 대응하는 영상 획득 장치.
  8. 제 7 항에 있어서,
    상기 이미지 센서의 정중앙에 배치되어 있는 영상 획득 영역 내에서 매칭 영역은 그 영상 획득 영역 내의 정중앙에 위치하는 영상 획득 장치.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 이미지 센서의 상기 다수의 영상 획득 영역들 사이에 소정의 간격이 형성되어 있으며, 상기 이미지 센서의 상기 간격 내에 배열된 화소들은 사용하지 않는 더미 화소인 영상 획득 장치.
  11. 제 1 항에 있어서,
    상기 이미지 센서는 다수의 화소들이 하나의 컬러 화소부를 형성하는 컬러 이미지 센서인 영상 획득 장치.
  12. 제 11 항에 있어서,
    동일한 컬러 화소부 내에 배열된 다수의 화소와 그에 대응하는 다수의 마이크로 렌즈들의 상대적인 위치 관계가 서로 동일한 영상 획득 장치.
  13. 제 11 항에 있어서,
    상기 이미지 센서는 상기 다수의 화소들과 상기 다수의 마이크로 렌즈들 사이에 각각 배치되는 다수의 컬러 필터들을 포함하며, 각각의 마이크로 렌즈로부터 그에 대응하는 화소로 진행하는 빛의 경로 상에 상기 컬러 필터가 위치하는 영상 획득 장치.
  14. 제 1 항에 있어서,
    각각의 마이크로 렌즈는 그에 대응하는 화소의 폭과 동일한 직경을 가지며, 인접한 두 마이크로 렌즈들 사이에 소정의 간격이 있는 영상 획득 장치.
  15. 제 1 항에 있어서,
    상기 대물렌즈와 상기 이미지 센서 사이의 거리는 상기 대물렌즈의 초점 거리보다 작은 영상 획득 장치.
  16. 제 1 항에 있어서,
    상기 마이크로 렌즈 어레이의 다수의 마이크로 렌즈들과 상기 이미지 센서의 다수의 화소들이 각각 1:1로 대응하는 영상 획득 장치.
  17. 제 1 항에 있어서,
    이미지 센서로부터의 영상 신호를 이용하여 최종적인 3차원 영상을 생성하기 위한 영상 신호 처리부를 더 포함하는 영상 획득 장치.
KR1020130091166A 2013-07-31 2013-07-31 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 KR102103983B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130091166A KR102103983B1 (ko) 2013-07-31 2013-07-31 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US14/909,196 US10348945B2 (en) 2013-07-31 2014-04-28 Light field image capturing apparatus including shifted microlens array
EP14832202.7A EP3028098B1 (en) 2013-07-31 2014-04-28 Light field image capturing apparatus including shifted microlens array
PCT/KR2014/003736 WO2015016459A1 (en) 2013-07-31 2014-04-28 Light field image capturing apparatus including shifted microlens array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130091166A KR102103983B1 (ko) 2013-07-31 2013-07-31 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치

Publications (2)

Publication Number Publication Date
KR20150015285A KR20150015285A (ko) 2015-02-10
KR102103983B1 true KR102103983B1 (ko) 2020-04-23

Family

ID=52431955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130091166A KR102103983B1 (ko) 2013-07-31 2013-07-31 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치

Country Status (4)

Country Link
US (1) US10348945B2 (ko)
EP (1) EP3028098B1 (ko)
KR (1) KR102103983B1 (ko)
WO (1) WO2015016459A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (ko) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9898856B2 (en) * 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
CN106154567B (zh) * 2016-07-18 2018-12-04 北京邮电大学 一种三维光场显示系统的成像方法及装置
KR102645722B1 (ko) 2016-10-27 2024-03-08 삼성디스플레이 주식회사 렌즈 패널 및 이를 포함하는 표시 장치
KR20190085258A (ko) 2018-01-10 2019-07-18 삼성전자주식회사 이미지 센서
KR102606835B1 (ko) * 2019-02-20 2023-11-29 삼성전자주식회사 뎁스 맵을 생성하는 전자 장치 및 방법
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111510700A (zh) * 2020-06-18 2020-08-07 深圳市汇顶科技股份有限公司 图像采集装置
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7351945B2 (en) 2001-04-27 2008-04-01 Micron Technology, Inc. Alignment among elements in an image sensor
US7300254B2 (en) * 2004-05-04 2007-11-27 Terry Lee Kistner Ceiling fan blade with decorative insert
US7667174B2 (en) * 2004-10-15 2010-02-23 Konica Minolta Holdings, Inc. Solid state imaging device in which each photoelectric transducer of plural unit pixels being located axisymmetrically with a symmetrical axis of a centerline passing through an approximate center of the device
US7564629B1 (en) * 2004-12-02 2009-07-21 Crosstek Capital, LLC Microlens alignment procedures in CMOS image sensor design
JP4728660B2 (ja) * 2005-02-23 2011-07-20 株式会社東芝 固体撮像装置およびそれを用いたカメラ装置
JP4545190B2 (ja) 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7796180B2 (en) 2005-08-03 2010-09-14 Aptina Imaging Corporation Method for calculating circular symmetrical microlens/color filter array shift
KR100793369B1 (ko) 2006-07-06 2008-01-11 삼성전자주식회사 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법
KR101365170B1 (ko) * 2007-06-29 2014-03-12 삼성전자주식회사 화상형성장치 관리 서버, 관리 서버의 서비스 연속성 지수산출 방법 및 화상형성장치 관리 시스템
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20100033813A1 (en) * 2008-08-05 2010-02-11 Rogoff Gerald L 3-D Display Requiring No Special Eyewear
JP2010062438A (ja) * 2008-09-05 2010-03-18 Toshiba Corp 固体撮像装置およびその設計方法
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
JP4402161B1 (ja) 2009-03-30 2010-01-20 マスレ ホールディングス エルエルピー 撮像装置、画像再生装置、及び撮像方法
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8319306B2 (en) 2010-02-01 2012-11-27 Himax Technologies Limited Method of fabricating image sensor and image sensor thereof
DE102010012738A1 (de) * 2010-03-25 2011-09-29 Merck Patent Gmbh Materialien für organische Elektrolumineszenzvorrichtungen
KR20110114319A (ko) * 2010-04-13 2011-10-19 삼성테크윈 주식회사 마이크로 렌즈를 구비하는 이미지 센서
JP5620992B2 (ja) * 2010-07-12 2014-11-05 富士フイルム株式会社 固体撮像装置
JP5385462B2 (ja) * 2010-09-13 2014-01-08 富士フイルム株式会社 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム
CN102452092B (zh) 2010-10-28 2015-04-01 吉列公司 分配液体的毛发移除装置
JP2012145664A (ja) * 2011-01-11 2012-08-02 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム。
US20140002233A1 (en) * 2011-03-11 2014-01-02 Interactive Control Solutions, Llc Wireless control module and docking apparatus
US20150000936A1 (en) * 2011-12-13 2015-01-01 Schlumberger Technology Corporation Energization of an element with a thermally expandable material
JP5542249B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
US9936131B2 (en) * 2012-07-18 2018-04-03 Nokia Technologies Oy Robust two dimensional panorama generation using light field camera capture
CN107768362B (zh) * 2013-03-28 2020-09-08 东芝北斗电子株式会社 发光装置及其制造方法
CN110061018B (zh) * 2013-05-21 2023-11-28 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成

Also Published As

Publication number Publication date
EP3028098B1 (en) 2020-04-08
EP3028098A4 (en) 2017-03-15
US10348945B2 (en) 2019-07-09
US20160191768A1 (en) 2016-06-30
EP3028098A1 (en) 2016-06-08
KR20150015285A (ko) 2015-02-10
WO2015016459A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
KR102103983B1 (ko) 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5915537B2 (ja) 撮像素子、及び、撮像装置
US10027908B2 (en) Image sensor unit and imaging apparatus
KR102269599B1 (ko) 직경이 상이한 렌즈 소자들을 구비하는 촬상 장치
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
JP2013172292A (ja) 撮像装置及び撮像素子アレイ
KR102283423B1 (ko) 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
WO2015190616A1 (en) Image sensor for depth estimation
US10760953B2 (en) Image sensor having beam splitter
JP2012058379A (ja) 固体撮像装置
JP2014215506A (ja) 測距装置およびその制御方法
US20160261809A1 (en) Disparity in Plenoptic Systems
US9525819B2 (en) Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
JP2014165907A (ja) 固体撮像装置及び撮像装置
JP2016111678A (ja) 撮像素子、撮像装置、焦点検出装置ならびに画像処理装置およびその制御方法
KR20160074222A (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
JPWO2020071253A1 (ja) 撮像装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
KR20160120533A (ko) 라이트 필드 영상에서 객체 분할방법
US9386207B2 (en) Image-capturing apparatus
JP6218138B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right