KR102461778B1 - 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링 - Google Patents

개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링 Download PDF

Info

Publication number
KR102461778B1
KR102461778B1 KR1020217032991A KR20217032991A KR102461778B1 KR 102461778 B1 KR102461778 B1 KR 102461778B1 KR 1020217032991 A KR1020217032991 A KR 1020217032991A KR 20217032991 A KR20217032991 A KR 20217032991A KR 102461778 B1 KR102461778 B1 KR 102461778B1
Authority
KR
South Korea
Prior art keywords
rays
images
plenoptic
plenoptic data
excited state
Prior art date
Application number
KR1020217032991A
Other languages
English (en)
Other versions
KR20210127809A (ko
Inventor
니꼴라 르 스꾸아르넥
아르노 슈베르
발떼르 드라직
Original Assignee
인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 filed Critical 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Publication of KR20210127809A publication Critical patent/KR20210127809A/ko
Application granted granted Critical
Publication of KR102461778B1 publication Critical patent/KR102461778B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H04N5/22541—
    • H04N5/23232—
    • H04N9/07—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)

Abstract

이미지 센서 및 마이크로 렌즈들의 어레이 전면에 메인 렌즈를 갖는 플렌옵틱 카메라를 사용하여 고해상도 이미지들을 생성하기 위한 시스템 및 방법으로서, 상기 메인 렌즈와 상기 마이크로 렌즈들의 어레이 사이에 배치되는 복굴절 매질을 사용함으로써 제1 미여기 동작 상태에서 제1 세트의 이미지들을 캡처하는 단계 - 상기 미여기 상태의 상기 복굴절 매질은 각각의 픽셀에 정상 광선을 제공함 -; 상기 복굴절 매질에 걸쳐 전압을 인가함으로써 상기 제1 미여기 상태가 제2 여기 상태가 되게 하는 단계; 상기 제2 여기 상태에서 제2 세트의 이미지들을 캡처하는 단계 - 상기 여기 상태의 상기 복굴절 매질은 상기 메인 렌즈로부터의 광을 정상 광선 및 이상 광선으로 분리하고, 상기 이상 광선은 상기 이미지 센서 상의 정상 광선으로부터 1/2 픽셀 거리만큼 시프트됨 -; 상기 제2 세트의 이미지들과 연관된 픽셀 값의 적어도 2배로부터 상기 제1 세트의 이미지들과 연관된 픽셀 값을 감산하는 단계; 및 상기 감산 및 상기 제1 세트의 이미지들로부터 고해상도를 갖는 최종 세트의 이미지들을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링{PLENOPTIC SUB APERTURE VIEW SHUFFLING WITH IMPROVED RESOLUTION}
본 개시내용은 일반적으로 디지털 이미지 프로세싱에 관한 것이고, 더 상세하게는 디모자이킹(demosaicing)을 사용한 플렌옵틱 이미징 기술들에 관한 것이다.
본 섹션은, 아래에서 설명되고 그리고/또는 청구되는 본 발명의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 더 양호한 이해를 돕기 위한 배경 정보를 독자에게 제공하는데 도움이 될 것으로 여겨진다. 따라서, 이러한 설명들은 종래 기술의 인정이 아니라 이러한 관점에서 읽혀져야 함을 이해해야 한다.
사진은 광 또는 다른 전자기 방사를 기록함으로써 내구성있는 이미지들을 생성한다. 이미지들은 이미지 센서에 의해 전자적으로 또는 감광성 재료에 의해 화학적으로 캡처된다. 정규의 카메라들에서, 렌즈는 적시의 노출 동안 객체들로부터 반사 또는 방출된 광을 카메라 내부의 감광성 표면 상의 실상으로 포커싱하기 위해 사용된다. 전자 이미지 센서를 사용하여, 각각의 픽셀에서 전하가 생성되고, 그 다음 추가적 사용을 위해 디지털 이미지 파일에서 프로세싱 및 저장된다. 전통적인 사진에서, 초점면은 대략 평면 또는 초점 평면이다. 초점면은 카메라의 광학 축에 수직이고, 필드 깊이는 평면을 따라 일정하다. 반대로, 플렌옵틱 카메라에서, 각각의 마이크로-이미지는 캡처된 장면의 영역을 묘사하고, 그 마이크로-이미지와 연관된 각각의 픽셀은 메인 렌즈 출구 퓨필 상의 특정 서브 애퍼처 위치의 시점으로부터 이러한 특정 영역을 나타낸다. 그 다음, 장면의 원시 이미지는 모든 마이크로 이미지들의 합의 결과로서 획득되고, 원시 이미지는 명시야의 각도 정보를 포함한다. 결과적으로, 각각의 픽셀이 상이한 뷰에 대응하기 때문에 원시 이미지의 이웃 픽셀들은 상이한 각도 정보를 포함한다.
플렌옵틱 카메라는, 메인 렌즈의 이미지 평면에 그리고 하나의 마이크로-이미지(또한 서브-이미지로 지칭됨)가 투사되는 광 센서들의 어레이 전에 위치되는 마이크로 렌즈 어레이를 사용한다. 마이크로 렌즈 어레이를 메인 렌즈와 센서 사이에 배치함으로써, 플렌옵틱 카메라는 카메라에 진입하는 광 번들(bundle)들 위치, 강도 및 컬러에 추가로 이들의 방향을 캡처한다. 그 다음, 캡처된 데이터는 장면에 걸쳐 약간 상이한 시점들로부터 수평 및 수직으로 정렬된 뷰들의 매트릭스를 제공하기 위해 디멀티플렉싱된다. 결과적으로, 각각의 마이크로-이미지는 캡처된 장면의 영역을 묘사하고, 그 마이크로-이미지와 연관된 각각의 픽셀은 메인 렌즈 출구 퓨필 상의 특정 서브 애퍼처 위치의 시점으로부터 이러한 특정 영역을 나타낸다. 그 다음, 장면의 원시 이미지는 광 센서들의 어레이의 각각의 부분들로부터 포착된 모든 마이크로 이미지들의 합의 결과로서 획득된다.
핸드 헬드 플렌옵틱 카메라들의 최근의 릴리스는 대중 시장에 명시야 이미징의 잠재성을 도입하였다. 이러한 새로운 능력은 다수의 명시야 애플리케이션들을 도입하는 것에 대한 관심을 급격하게 증가시켰다. 일부 대중적인 애플리케이션들은 깊이 추정 또는 포스트-캡처 리포커싱에 집중하는 것들을 포함한다. 원시 데이터 변환은 복잡하고, 해결이 필요한 몇몇 문제들을 수반한다. 하나의 이러한 문제는 우수한 해상도를 제공하는 문제들을 수반한다. 결국, 캡처된 원시 데이터를 사용하여 더 양호한 이미지 해상도를 제공할 수 있는 개선된 기술들에 대한 필요성이 존재한다.
추가적인 특징들 및 이점들은 본 개시내용의 기술들을 통해 실현된다. 본 발명의 다른 실시예들 및 양상들은 본원에서 상세히 설명되고, 청구된 발명의 일부로 고려된다. 이점들 및 특징들에 의한 본 발명의 더 양호한 이해를 위해, 설명 및 도면들을 참조한다.
플렌옵틱 카메라를 사용하여 고해상도 이미지들을 생성하기 위한 시스템 및 방법이 제공된다. 일 실시예에서, 이는 메인 렌즈와 복수의 애퍼처들을 갖는 렌즈들의 어레이 사이에 배치되는 복굴절 매질을 사용함으로써 제1 미여기(unexcited) 동작 상태에서 제1 세트의 이미지들을 캡처하는 단계를 포함한다. 그 다음, 제1 세트의 이미지들의 각각의 픽셀은 제1 세트의 애퍼처들에 매핑된다. 그 다음, 제1 미여기 상태는 상기 복굴절 매질에 걸쳐 전압을 인가함으로써 제2 여기 상태가 되게 된다. 제2 세트의 이미지들은 제2 여기 상태에서 캡처되고 제2 이미지의 제2 세트의 픽셀들은 제2 세트의 애퍼처들에 매핑된다. 각각의 제1 및 제2 세트의 이미지들에 대한 값이 계산되고 상기 제1 세트의 이미지들과 연관된 값은 상기 제2 세트의 이미지로부터 계산된 값의 적어도 2배로부터 감산된다.
본 개시내용은, 어떠한 제한도 없이, 첨부된 도면들을 참조하여 다음의 실시예 및 실행 예들에 의해 더 양호하게 이해되고 예시될 것이다.
도 1은 디모자이킹 프로세스에서 사용되는 컬러 필터 어레이(CFA)를 도시하는 블록도이다.
도 2a는 컬러 필터 어레이(CFA) 패턴으로 캡처된 플렌옵틱 마이크로 이미지들의 도시이다.
도 2b는 컬러 필터 및 마이크로 렌즈 어레이를 사용하여 캡처된 디멀티플렉스 이미지의 예시이다.
도 3a는 일 실시예에 따른 정상 및 이상 상태들 둘 모두의 서브 애퍼처 대 픽셀 매핑에 대한 도면의 도시이다.
도 3b는 도 3a에 도시된 실시예에 의해 제공된 바와 같은 정상 상태의 더 상세한 픽셀 매핑을 제공하는, 확대된 이미지의 예시이다.
도 3c는 도 3a에 도시된 실시예에 의해 제공된 바와 같은 정상 상태의 더 상세한 픽셀 매핑을 제공하는, 확대된 이미지의 예시이다.
도 4는 일 실시예에 따라 도 3의 프로세스의 흐름도 도시이다.
도 1 내지 도 4에서, 표현된 도면들은 순수하게 기능적 엔티티들이고 물리적으로 별개인 엔티티들에 반드시 대응하는 것은 아닌 예들을 제공한다. 즉, 이들은 소프트웨어, 하드웨어의 형태로 개발될 수 있거나, 하나 이상의 프로세서들을 포함하는 하나의 또는 몇몇 집적 회로들로 구현될 수 있다.
가능한 경우에는 항상, 동일하거나 유사한 부분들을 지칭하기 위해 도면들 전반에 걸쳐 동일한 참조 번호들이 사용될 것이다.
본 발명의 도면들 및 설명들은, 명료성을 위해, 전형적인 디지털 멀티미디어 콘텐츠 전달 방법들 및 시스템들에서 발견되는 많은 다른 엘리먼트들을 제거하면서, 본 발명의 명확한 이해와 관련된 엘리먼트들을 예시하기 위해 단순화되었음을 이해해야 한다. 그러나, 이러한 엘리먼트들은 본 기술분야에 널리 공지되어 있기 때문에, 이러한 엘리먼트들의 상세한 논의는 본원에 제공되지 않는다. 본원의 개시내용은 모든 이러한 변화들 및 수정에 관한 것이다.
도 1은 디모자이킹 프로세스에서 사용되는 컬러 필터 어레이(CFA)를 사용하는 플렌옵틱 마이크로 이미지 매트릭스의 종래 기술의 도시이다. 본 기술분야의 통상의 기술자들에 의해 공지된 바와 같이 디모자이킹은, 도 1에서 사용된 CFA와 같은 필터와 오버레이된 이미지 센서로부터 출력된 불완전한 컬러 샘플을 재구성함으로써 디지털 이미지들을 프로세싱하기 위한 기술이다. 불완전한 컬러 샘플들로부터 전체 컬러 이미지를 재구성하기 위해 컬러 필터 어레이를 사용하는 디지털 이미지 프로세싱 기술들인 디모자이킹 프로세스들에서 컬러 필터 어레이들이 사용된다. 컬러 샘플들은 종종 CFA와 오버레이되는 하나 이상의 이미지 센서들의 출력이다. 컬러 필터 어레이는 하나 이상의 이미지 센서들의 전면에서 컬러 필터들의 모자이크이다. 상업적으로, 가장 통상적으로 사용되는 CFA 구성은 베이어 필터이다. 도 1의 종래 기술의 예는 이러한 필터의 예를 제공한다. 도시된 바와 같이, 홀수 행들에 대해 교번하는 적색(R) 및 녹색(G) 필터들이, 사이에 배치된 녹색(G) 및 청색(B) 필터들을 포함하는 개재 행들을 갖는 짝수 행들에서 추가로 교번된다. 이는, 베이어 패턴이 각각의 차원(수직 및 수평)에서 2개의 상이한 컬러 픽셀들의 기간을 갖는 주기적 패턴이기 때문이다. 수평 방향에서, 단일 기간은 녹색 픽셀 및 적색 픽셀, 또는 청색 픽셀 및 녹색 픽셀을 포함한다. 수직 방향에서, 단일 기간은 녹색 픽셀 및 청색 픽셀, 또는 적색 픽셀 및 녹색 픽셀을 포함한다.
이러한 예에서와 같은 최종 결과는, 적색 또는 청색 필터들보다 2배 많은 녹색 필터들이 존재하여 녹색 광에 대한 인간의 눈의 더 높은 감도를 케이터링(catering)한다. CFA의 성질에 의해 이의 컬러 서브 샘플링은 에일리어싱을 유발하고, 따라서 이미지 센서와 렌즈 사이의 광학 경로에 광학 안티 에일리어싱 필터들이 배치되어, 보간에 의해 도입되는 잘못된 컬러 아티팩트들(크로마틱 에일리어스들)을 감소시킨다. 센서의 각각의 픽셀은 컬러 필터 뒤에 있기 때문에, 출력은 픽셀 값들의 어레이이고, 각각 3개의 필터 컬러들 중 하나의 원시 강도를 표시한다. 베이어 필터는 균일한 그리드 상에서 다변량 보간을 사용하는 CFA의 예이다. 따라서, 각각의 픽셀에 대해 단일 성분보다 모든 컬러 성분들에 대해 컬러 레벨들을 추정하는 알고리즘이 필요하다. 종래의 디모자이킹 알고리즘은 CFA 또는 다른 필터들로부터 출력된 그러한 공간적으로 언더 샘플링된 컬러 채널들로부터 전체 컬러 이미지를 재구성한다.
이러한 알고리즘들에 수반되는 수학적 연산들은 동일한 컬러 성분의 인근 인스턴스들에 기초하기 때문에 간단하다. 이러한 보간 알고리즘의 가장 간단한 방법은 동일한 컬러 채널의 인접 픽셀을 단순히 복사하는 가장 가까운 이웃 보간에 의존한다. 그러나, 이러한 필터들은 이미지의 세부사항들 및 품질이 중요한 임의의 애플리케이션에 대해 적합하지 않다. 또한, 이러한 방법들은 균질한 이미지 영역들에서 양호한 결과들을 획득할 수 있지만, 순수한 컬러 CFA와 함께 사용되는 경우 에지들 및 세부사항들을 갖는 영역들에서 심각한 디모자이킹 아티팩트들에 취약하다. 더 정교한 디모자이킹 알고리즘들은 컬러 이미지 내의 픽셀들의 공간적 및/또는 스펙트럼 상관을 이용하지만, 도 2b를 참조함으로써 더 상세히 알게 될 것처럼 이들은 여전히 문제가 있다. 도 2a는 플렌옵틱 카메라에 의해 캡처된 마이크로 이미지들을 예시하는 예시적인 실시예이다. 각각의 픽셀은 메인 렌즈의 출구 퓨필의 서브 애퍼처에 의해 조명된다. 다수의 렌즈를 통한 샘플링으로 인해, 서브 애퍼처 뷰들이 디멀티플렉싱되면, 최종 이미지들은 종래의 이미징 시스템들에 비해 낮은 해상도를 가질 수 있다. 이러한 기술들은 도 3 및 도 4와 관련하여 더 상세히 논의될 것이고, 이러한 해상도는 임의의 추가적인 센서들을 요구함이 없이 크게 향상될 수 있다. 도 2a에서, 더 밝은 음영은 녹색(G)을 표현하는 한편, 가장 어두운 음영은 청색(B)을 표현하고 중간 회색 음영은 적색(R)을 표현한다. 이러한 예에서, 각각의 픽셀은 메인 렌즈의 출구 퓨필의 서브 애퍼처에 의해 조명된다.
육각형 샘플링, 렌즈와 픽셀 그리드들 사이의 잔여 회전 및 CFA로 인해, 서브 애퍼처 뷰들이 디멀티플렉싱되면, 후속 뷰들은 일부 영역들에서 그로부터 누락된 정보 또는 컬러를 가질 수 있다. 장면에서 뷰들 또는 객체들의 누락된 부분들을 복원하기 위해, 플렌옵틱 카메라에 의해 획득된 원시 데이터를 모자이크하고 그 다음 디멀티플렉싱하여 뷰들을 복원하는 것이 가능하다. 문제는 대부분의 경우들에서, 이것이 뷰들 상의 컬러 아티팩트들을 초래한다는 점이다. 상이한 각도 정보를 포함하는 플렌옵틱 원시 이미지 상에서 이웃 픽셀 구성이 사용되는 경우를 고려한다(마이크로렌즈 하의 각각의 픽셀은 상이한 뷰에 대응한다). 이러한 경우 원시 플렌옵틱 이미지를 디모자이킹하는 것은 각도 정보를 잠재적으로 잘못 혼합할 것이다. 소위 뷰 크로스-토크 아티팩트들을 생성하는 이웃 컬러 값들을 보간하는 종래의 알고리즘에서, 이는 에러 결과들을 초래한다.
또한, 디모자이킹된 원시 이미지로부터 획득된 뷰들로부터의 디스패리티 추정은 심지어 더 큰 에러들에 취약한 것으로 나타났다. 도 2b는 논의된 바와 같은 디멀티플렉스 이미지의 예시이다. 도 2b에 예시된 예에서, 하나 이상의 객체들의 뷰들 또는 이미지들을 갖는 장면이 제공된다. 이미지는 플렌옵틱 카메라에 의해 캡처되었다. 도 2b의 뷰를 보면, 제시되고 있는 장면에서 이미지를 인식하는 것은 곤란하다. 객체의 전체 윤곽들이 도 2b에서 가시적이지만, 상세한 객체 인식을 허용하는 충분한 정보는 이미지에 제공되지 않는다. 음영, 강도 및 컬러들이 완전히 누락되지 않은 경우들에서도, 대부분의 경우들에서 문제가 되는 멀리 있는 픽셀들로부터 보색 정보가 보간되어야 한다. 이는 해상도에 크게 영향을 미친다. 도 2b에서, 디모자이킹된 이미지는 정보를 여전히 누락하지만, 이미지는 적절한 방식으로 디멀티플렉싱된다. 디모자이킹이 없으면, 원시 데이터는 디모자이킹 없이 장면의 뷰들로 디멀티플렉싱되도록 요구된다. 해상도를 증가시키는 것은 더 작은 "셀들"을 사용하는 더 높은 해상도 센서들을 사용하는 것을 요구하여, 낮은 광 및 더 높은 잡음에서 더 열악한 성능을 초래한다. 그러나, 이러한 품질의 추가적인 센서 셀들이 사용되는 경우에도, 이러한 기술은 곧 제한들에 직면할 것이다. 도 3 및 도 4와 관련하여 논의될 바와 같은 본 기술은 양호한 성능에 적합한 원래 센서들 중 임의의 것이 개선된 최종 해상도 품질로 여전히 사용될 수 있도록 광학 해상도를 증가시키는 방법을 제공할 것이다.
일 실시예에서, 전압의 인가에 의해 복굴절 매질로 변화하는 매질이 사용된다. 복굴절은 광선이 이에 히트될 때 2개의 굴절된 광선들의 생성을 유발하는 결정질 재료의 특성이다. 이러한 특성은 매질 내의 원자들의 비 등방성 분포로 인한 것이고, 강하게 비등방성인 결정질 메시 구조를 갖는 결정질 매질에서 발생한다. 석영 및 방해석은 복굴절을 나타내는 천연 재료이다. 그러한 매질들에 있어서, 비편광된 광선이 특수한 배향인 이들의 표면들 중 하나에 히트되는 경우, 굴절 시에 생성되는 2개의 광선들이 존재한다. 이러한 광선들 중 하나는 일 편광 특성을 갖고 다른 하나는 약간 상이한 편광 특성을 갖는다. 스넬-데카르트 법칙에 따르면:
Figure 112021117162487-pat00001
이고, 여기서 ni 및 nr은 입사 및 굴절된 매질의 각각의 (상이한) 굴절률들이고, θi 및 θr은 입사각 및 굴절각이다.
복굴절 재료들은 스넬의 법칙에 따라 광선들을 굴절시키지만, 매질 내의 유효 굴절률은 입력 편광 상태 및 굴절된 광선이 결정 축에 대해 이루는 각도에 의존한다. 복굴절 재료들에서, 2가지 타입의 광선들은 정상 및 이상으로 정의될 수 있다. 정상 광선들은 스넬의 원리
Figure 112021117162487-pat00002
에 따라 굴절되고, 여기서 "0"은 정상 인덱스를 표시한다.
복굴절 매질들에서, 스넬-데카르트 법칙을 준수하는 광선은 정상 광선으로 지칭되고, 매질은 하나의 정상 굴절률 no를 갖는다. 생성된 제2 광선은 다른 굴절 ne를 겪고, 이는 정상 광선에 수직으로 편광되고 이상 인덱스 ne를 가진 재료 내에서의 방향으로 전파된다. 복굴절 매질에서, 상이한 전파 방향들을 갖는 2개의 광선들이 생성된다.
이상 광선들의 경우, 복굴절의 경우들에서, 굴절 법칙은
Figure 112021117162487-pat00003
Figure 112021117162487-pat00004
을 제공하고, 여기서 복굴절 재료들의 유효 굴절률은 각도 θw의 함수이다. 각도 θw는 결정 축 벡터 "a"와 굴절된 파수 벡터 "k" 사이의 각도이다. 추가적으로, 에너지 전파 방향으로 향하는 벡터인 광선 벡터 "s"는 파수 벡터 "k"를 따르지 않지만 벡터 "k"에 대해 작은 각도들을 형성한다. 등방성 매질에서, 벡터들 "k" 및 "s"는 동일하다. 따라서, 대부분의 광학 설계들의 경우, 벡터 "k"가 고려사항으로 취급되어야 한다. 이러한 경우들에서, 각도 θw는 다음과 같이 정의된다:
Figure 112021117162487-pat00005
유효 굴절률은 다음과 같이 정의되고;
Figure 112021117162487-pat00006
여기서 nO는 정상 굴절률이고 ne는 이상 굴절률이다.
Figure 112021117162487-pat00007
와
Figure 112021117162487-pat00008
사이의 각도 α는,
Figure 112021117162487-pat00009
여기서
Figure 112021117162487-pat00010
이고, 벡터들
Figure 112021117162487-pat00011
및
Figure 112021117162487-pat00012
둘 모두는 결정 축 벡터
Figure 112021117162487-pat00013
와 동일평면이다. 파수 벡터
Figure 112021117162487-pat00014
는 파면에 대한 법선을 향하며,
Figure 112021117162487-pat00015
는 에너지 전파 방향을 향한다.
도 3a는 정상 및 이상 상태들 둘 모두의 서브 애퍼처 대 픽셀 매핑에 대한 도면을 예시한다. 도시된 바와 같이, (일반적으로 320으로 도시된) 복수의 광선들이 참조 번호 325로 도시된 매질을 통과한다. 도면의 우측에, 일반적으로 참조 번호 327로 도시된 메인 렌즈의 출구 퓨필이 존재한다. 이러한 메인 렌즈 출구는 총괄적으로 참조 번호들 352로 도시된 바와 같이 서브 애퍼처들 V1 내지 V12로 추가로 분할된다. 이러한 실시예에서, 매질(330)은 전기적으로 제어가능하다. 일 실시예에서, 복굴절 재료가 사용되지만 본 기술분야의 통상의 기술자들에 의해 인식될 수 있는 바와 같이 다양한 유사한 매질들이 이용가능하다. 일례에서, 복굴절 매질을 제공하기 위해, 트위스트된 액정 네마틱(TN)을 통합한 것이 사용된다. TN 액정은 일 실시예에서 투명한 인듐 주석 산화물(ITO) 전극들을 갖는 2개의 유리판들 사이에 개재될 수 있다. 일례에서, 이의 접지 상태에서, TN 셀에 어떠한 전압도 인가되지 않으면, 서브 애퍼처들은 정상 광선들을 도시하는 녹색 라인들을 따라 마이크로 이미지 당 하나의 단독 픽셀 상으로 각각 이미징된다.
도 3a는 하나의 마이크로 렌즈를 도시하고, 픽셀들의 하나의 열은 정상 광선이 각각의 센서 픽셀을 2개의 서브 애퍼처 픽셀들(하나는 정상 광선에 대응하고, 하나는 이상 광선에 대응함)에 매핑하는 방법을 도시한다. 이상 광선들에 대해 어떻게 작용하는지 이해하기 위해, 청색 광선들(더 어두운 음영으로 도시됨)을 따라가는 것이 더 좋고; 다른 방법은 둥글게, 즉, 픽셀들로부터 서브 애퍼처들로 따라가는 것이다. 하나의 픽셀을 떠나면, 이상 광선은 청색 경로(도면에서 어두운 회색)를 따른다. 이는 마이크로 렌즈의 광학 중심과 교차하고, 그 다음 복굴절 셀(325)에 히트된다. 셀은 인가된 전압을 갖는 "이상" 상태에 있고, 따라서 이 때, 2개의 광선들, 즉 정상으로 굴절하는 녹색 및 이상 광선으로 굴절하는 청색 광선이 생성된다. 둘 모두가 메인 렌즈의 출구 퓨필에 히트되는 경우, 정상 광선은 하나의 서브 애퍼처에서 종료되는 한편 이상 광선은 다른 서브 애퍼처에 매핑된다. 이는, 노멀 상태에서 출구 퓨필로부터 시작되면, 메인 서브 애퍼처들(녹색 v2-v12,v13-v23) 중 정상 광선은 센서 픽셀에 히트될 것이고 2차 서브 애퍼처들은 무시되고 드롭된다. "이상" 상태에서, 광의 일부는 메인 서브 애퍼처들(도면들에서 정상 광선으로서 녹색 또는 밝은 회색)로부터 올 것이고, 광의 다른 부분은 2차 서브 애퍼처들(청색 v1-v11-v14-v24)로부터 올 것이다. 이는, 정상 상태에서 한번 및 이상 상태에서 한번 변조기로 센서를 판독함으로써 해상도를 두번 캡처하는 것을 허용한다. 그 후의 프로세싱은 더 높은 해상도 이미지를 복원할 것이다.
도 3b 및 도 3c 각각은 도 3a의 영역(310)의 더 상세한 예시를 제공한다. 더 구체적으로, 도 3b는 정상(녹색-밝은 회색) 광선들을 더 상세히 도시하는 한편, 도 3c는 이상(청색 또는 어두운 회색) 광선들을 더 상세히 도시한다. 이러한 방식으로, 도 3a의 정상(녹색) 및 이상 상태들(청색)의 서브 애퍼처 대 픽셀 매핑은 도 3b 및 도 3c에 제공되는 세부사항들을 관찰함으로써 더 명확해진다.
정상 상태에서, 픽셀들 v1 내지 v11이 판독되고, 그 사이의 픽셀들(예를 들어, v1/2 + v2/2... v11/2+v12/2)(미도시된 광선들)은 서브 애퍼처들 사이에 떨어진다. 플렌옵틱 이미지에 해상도 정보를 추가하는 것은 2개의 이미지들이 순차적으로 취해지도록 요구한다. 제1 이미지는 t0에서 정상 상태인 셀에 의해 취해진다. 센서 상의 픽셀들은 하기 상태들을 기록한다:
Figure 112021117162487-pat00016
제2 이미지는 t1에서 이상 상태인 셀에 의해 취해진다. 장면에 어떠한 편광 현상도 없으면 2개의 동일한 강도들의 광선들이 생성된다.
Figure 112021117162487-pat00017
따라서,
제1 이미지가 경계 라인이 아닌 픽셀들에 대해 제2 샷의 2배로부터 감산되면, 일 실시예에 따라 v1,v24을 복원하고, 따라서 오직 12개의 픽셀들을 갖는 센서로 24개의 값들을 판독하는 것이 가능하다.
픽셀들의 나머지에 대해 이러한 개념을 적용하여, 2개의 장면 샷들이 t0 및 t1에서 생성되면, 이들로부터 종래의 방법들을 사용하여 통상적으로 생성되는 것보다 2배 더 많은 해상도 정보를 허용하는 픽셀 값들의 선형 조합이 획득될 수 있다. 일례에서, 이러한 시스템에서 사용되는 추가적인 성분은 트위스트된 네마틱(TN) 셀이다.
이러한 시스템에서 사용되는 추가적인 성분은 TN 셀이다. 액정은 정상 굴절률 no와 이상 굴절률 ne 사이의 값에서 큰 차이를 가질 수 있다. 일부 경우들에서, 본 기술분야의 통상의 기술자들에게 공지된 바와 같은 MLC-9200-100로 명명된 LC 혼합물은 예를 들어, ne-n0>0.2를 가질 수 있고, 이는 매우 큰 차이이다. 그러나, 일부 실시예들에서, 이는 셀의 두께를 감소시키기 위해 필요하다. 이러한 두께는 마이크로 렌즈 어레이와 센서 사이의 셀의 배치에 양립적으로 되도록 조절되어야 하며, 따라서 특정 애플리케이션들에서 임의의 크기의 감소가 (수 mm일지라도) 도움이 될 수 있다
도 4는 일 실시예에 따라 앞서 설명된 프로세스의 흐름도 도시이다. 도 4는, 복수의 애퍼처들을 갖는 렌즈들의 어레이의 앞에 배치된 메인 렌즈를 갖는 플렌옵틱 카메라를 사용하여 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하는 방법에 대한 단계들을 예시한다. 도 4에 도시된 바와 같이, 단계(410)에서, 제1 세트의 이미지들은 전기 광학 편광 변조기의 제1 상태를 사용하여 캡처된다. 일 실시예에서, 변조기는 상기 메인 렌즈와 복수의 애퍼처들을 갖는 렌즈들의 어레이 사이에 배치된다. 단계(420)에서, 제2 세트의 이미지들은 전기 광학 편광 변조기의 제2 상태를 사용하여 캡처된다. 단계(430)에서, 예를 들어, 구성된 프로세서로 제2 세트의 이미지들에 대한 정보가 제1 세트에 대한 정보로부터 감산된다. 단계(440)에서, 최종 세트의 이미지들은, 상기 최종 세트의 이미지들이 강화된 해상도를 갖도록 감산 이후 생성된다. 일 실시예에서, 도 4의 방법 단계들 및 도 3a 및 도 3b의 배열을 수행하기 위해 상이한 컬러 강도 및 특성들의 다수의 이미지들을 생성하기 위한 시스템이 사용될 수 있다. 이러한 실시예에서, 메인 렌즈(310)는 복수의 애퍼처들과 연관된 렌즈들의 어레이(352) 전면에 배치된다. 도 3a에 도시된 바와 같은 전기적으로 제어된 전기 광학 변조기(325)는 마이크로 렌즈와 도시된 렌즈들의 어레이 사이에 배치될 수 있다. 전기 광학 변조기는 전압의 인가 시에 2개의 상태들(도 3a의 330 및 340) 사이에서 기능한다. 그 다음, 도 4과 관련하여 논의된 바와 같이 제1 세트의 이미지들은 전기 광학 편광 변조기의 제1 상태를 사용하여 캡처되고, 제2 세트의 이미지들은 또한 전기 광학 편광 변조기의 제2 상태를 사용하여 캡처된다. 후속적으로, 프로세서는, 강화된 컬러 강도 및 특성들을 갖는 최종 세트의 이미지들을 생성하기 위해(도 4의 440) 상기 제2 세트의 이미지들에 대한 정보를 제1 세트의 캡처된 이미지들에 대한 정보로부터 감산하도록 구성되는 시스템에 통합될 수 있다. 이러한 방식으로, 심지어 매우 복잡한 상황에서 플렌옵틱 카메라가 매우 희박한 컬러 정보를 전달하는 경우에도 풍부한 컬러 정보가 획득될 수 있다.

Claims (19)

  1. 방법으로서,
    제1 여기 상태(first state of excitement)에서 전기적으로 제어되는 매질(medium)로 제1 세트의 플렌옵틱 데이터를 캡처하는 단계;
    제2 여기 상태에서 상기 전기적으로 제어되는 매질로 제2 세트의 플렌옵틱 데이터를 캡처하는 단계; 및
    상기 캡처된 제1 세트의 플렌옵틱 데이터와 상기 캡처된 제2 세트의 플렌옵틱 데이터의 선형 조합(linear combination)을 계산하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 전기적으로 제어되는 매질은 복굴절 매질인, 방법.
  3. 제1항에 있어서,
    상기 캡처된 제1 세트의 플렌옵틱 데이터와 상기 캡처된 제2 세트의 플렌옵틱 데이터의 선형 조합을 계산한 후 최종 세트의 이미지들을 생성하는 단계를 추가로 포함하는, 방법.
  4. 제1항에 있어서,
    상기 전기적으로 제어되는 매질에 걸쳐 전압을 인가하는 단계 - 상기 전압의 인가는 2개의 동시적 세트의 광선들을 생성함 -를 추가로 포함하는, 방법.
  5. 방법으로서,
    제1 여기 상태에서 복굴절 매질로 제1 세트의 플렌옵틱 데이터를 캡처하는 단계;
    제2 여기 상태에서 상기 복굴절 매질로 제2 세트의 플렌옵틱 데이터를 캡처하는 단계; 및
    상기 캡처된 제1 세트의 플렌옵틱 데이터와 상기 캡처된 제2 세트의 플렌옵틱 데이터의 선형 조합을 계산하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 복굴절 매질에 걸쳐 전압을 인가하는 단계 - 상기 전압의 인가는 2개의 동시적 세트의 광선들을 생성함 -; 및
    상기 2개의 세트의 광선들을 상이한 세트의 애퍼처(aperture)들에 매핑하는 단계를 추가로 포함하는, 방법.
  7. 제6항에 있어서,
    상기 2개의 세트의 광선들은 각각 녹색 및 청색이고, 상기 상이한 세트의 애퍼처들 내의 상기 매핑된 애퍼처들 중 일부는 공유되는, 방법.
  8. 제5항에 있어서,
    상기 제2 여기 상태는 전압의 부재 시에 상기 제1 여기 상태로 복귀하는, 방법.
  9. 제5항에 있어서,
    상기 복굴절 매질에 걸쳐 전압을 인가하는 단계 - 상기 전압의 인가는 2개의 동시적 세트의 광선들을 생성하고, 제1 세트의 광선들은 제2 세트의 광선들과 상이한 제1 굴절 각도를 가짐 - 를 추가로 포함하는, 방법.
  10. 제9항에 있어서,
    상기 제1 세트의 광선들 및 상기 제2 세트의 광선들은 상이한 방향으로 전파되는, 방법.
  11. 제10항에 있어서,
    상기 제1 세트의 광선들 및 상기 제2 세트의 광선들은 상이한 굴절률을 갖는, 방법.
  12. 제11항에 있어서,
    상기 제1 세트의 광선들 및 상기 제2 세트의 광선들은 상이한 전파 거리를 갖는, 방법.
  13. 플렌옵틱 카메라로서,
    프로세서를 포함하고, 상기 프로세서는:
    제1 여기 상태에서 전기적으로 제어되는 매질로 제1 세트의 플렌옵틱 데이터를 캡처하고,
    제2 여기 상태에서 상기 전기적으로 제어되는 매질로 제2 세트의 플렌옵틱 데이터를 캡처하고,
    상기 캡처된 제1 세트의 플렌옵틱 데이터와 상기 제2 세트의 플렌옵틱 데이터의 선형 조합을 계산하도록 구성되는, 플렌옵틱 카메라.
  14. 제13항에 있어서,
    상기 전기적으로 제어되는 매질은 복굴절 매질인, 플렌옵틱 카메라.
  15. 제14항에 있어서,
    상기 복굴절 매질은 전압의 인가 시에 상기 제1 여기 상태 및 상기 제2 여기 상태 사이에서 전환되는, 플렌옵틱 카메라.
  16. 제13항에 있어서,
    상기 프로세서는 상기 제1 세트의 플렌옵틱 데이터와 상기 제2 세트의 플렌옵틱 데이터의 선형 조합을 계산한 후 최종 세트의 이미지들을 생성하도록 추가로 구성되는, 플렌옵틱 카메라.
  17. 제13항에 있어서,
    상기 프로세서는 상기 전기적으로 제어되는 매질에 걸쳐 전압을 인가하도록 추가로 구성되고, 상기 전압의 인가는 2개의 동시적 세트의 광선들을 생성하는, 플렌옵틱 카메라.
  18. 제17항에 있어서,
    제1 세트의 광선들 및 제2 세트의 광선들은 상이한 굴절률을 갖는, 플렌옵틱 카메라.
  19. 제18항에 있어서,
    상기 제1 세트의 광선들 및 상기 제2 세트의 광선들은 상이한 전파 거리를 갖는, 플렌옵틱 카메라.
KR1020217032991A 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링 KR102461778B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP16305821.7 2016-06-30
EP16305821.7A EP3264741A1 (en) 2016-06-30 2016-06-30 Plenoptic sub aperture view shuffling with improved resolution
PCT/EP2017/065914 WO2018002089A1 (en) 2016-06-30 2017-06-27 Plenoptic sub aperture view shuffling with improved resolution
KR1020197002535A KR102314719B1 (ko) 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002535A Division KR102314719B1 (ko) 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링

Publications (2)

Publication Number Publication Date
KR20210127809A KR20210127809A (ko) 2021-10-22
KR102461778B1 true KR102461778B1 (ko) 2022-11-01

Family

ID=56411558

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217032991A KR102461778B1 (ko) 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링
KR1020197002535A KR102314719B1 (ko) 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197002535A KR102314719B1 (ko) 2016-06-30 2017-06-27 개선된 해상도를 갖는 플렌옵틱 서브 애퍼처 뷰 셔플링

Country Status (10)

Country Link
US (2) US10834313B2 (ko)
EP (3) EP3264741A1 (ko)
JP (2) JP6998898B2 (ko)
KR (2) KR102461778B1 (ko)
CN (1) CN109417590B (ko)
BR (1) BR112018077493A2 (ko)
CA (1) CA3029463A1 (ko)
MX (1) MX2018016308A (ko)
RU (1) RU2019102372A (ko)
WO (1) WO2018002089A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921801B (zh) * 2018-06-26 2020-01-07 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN108776954B (zh) * 2018-06-26 2020-04-28 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
DE102019133642A1 (de) * 2018-12-12 2020-06-18 Magna Closures Inc. Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001866A1 (en) 2009-07-01 2011-01-06 Sony Corporation Image pickup apparatus
US20130270421A1 (en) 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
JP2015124840A (ja) 2013-12-26 2015-07-06 アイシン・エィ・ダブリュ株式会社 自動変速機の制御装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4394069A (en) * 1979-06-05 1983-07-19 Beckman Instruments, Inc. Liquid crystal tuned birefringent filter
JP3380913B2 (ja) * 1992-06-11 2003-02-24 ソニー株式会社 固体撮像装置
JPH08250692A (ja) * 1995-03-10 1996-09-27 Sharp Corp 光学装置
JPH09130818A (ja) * 1995-08-29 1997-05-16 Casio Comput Co Ltd 撮像装置と撮像方法
WO2001096932A1 (fr) * 2000-06-16 2001-12-20 Sharp Kabushiki Kaisha Dispositif d'affichage d'images de type projecteur
JP2004151139A (ja) * 2002-10-28 2004-05-27 Sharp Corp 光学シフト素子および投影型画像表示装置
KR100657695B1 (ko) * 2004-12-15 2006-12-14 주식회사 대우일렉트로닉스 홀로그래픽 롬 디스크의 기준광 서보 제어방법 및 그 장치
JP2008167154A (ja) 2006-12-28 2008-07-17 Sony Corp 撮像装置
CN102017147B (zh) * 2007-04-18 2014-01-29 因维萨热技术公司 用于光电装置的材料、系统和方法
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
WO2010038378A1 (ja) 2008-10-02 2010-04-08 パナソニック株式会社 画素ずらし型撮像装置
JP4529010B1 (ja) 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
AU2010307140B2 (en) * 2009-10-12 2014-05-15 Ventana Medical Systems, Inc. Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US8502909B2 (en) * 2009-10-19 2013-08-06 Pixar Super light-field lens
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8504328B2 (en) * 2010-05-21 2013-08-06 Eastman Kodak Company Designing lenses using stress birefringence performance criterion
JP2012042859A (ja) 2010-08-23 2012-03-01 Olympus Corp 撮像装置
US8542288B2 (en) 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
JP5913934B2 (ja) 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US9462254B2 (en) 2012-02-08 2016-10-04 Panasonic Intellectual Property Management Co., Ltd. Light field image capture device and image sensor
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US20140354777A1 (en) * 2013-05-29 2014-12-04 Electronics And Telecommunications Research Institute Apparatus and method for obtaining spatial information using active array lens
WO2015024871A1 (en) * 2013-08-19 2015-02-26 Basf Se Optical detector
US9525819B2 (en) 2014-03-07 2016-12-20 Ricoh Company, Ltd. Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
US10746600B2 (en) * 2015-01-09 2020-08-18 California Institute Of Technology Dual wavelength context imaging Raman and fluorescence spectrometer
US10048130B2 (en) * 2015-01-09 2018-08-14 California Institute Of Technology Context imaging raman spectrometer
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
CN109074674B (zh) * 2016-02-26 2023-10-24 南加州大学 具有选择性体积照射和光场检测的优化容积成像

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001866A1 (en) 2009-07-01 2011-01-06 Sony Corporation Image pickup apparatus
US20130270421A1 (en) 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
JP2015124840A (ja) 2013-12-26 2015-07-06 アイシン・エィ・ダブリュ株式会社 自動変速機の制御装置

Also Published As

Publication number Publication date
EP3264741A1 (en) 2018-01-03
JP2022046601A (ja) 2022-03-23
WO2018002089A1 (en) 2018-01-04
KR102314719B1 (ko) 2021-10-20
US11438503B2 (en) 2022-09-06
CN113766107A (zh) 2021-12-07
CN109417590B (zh) 2021-09-10
US20190158736A1 (en) 2019-05-23
RU2019102372A (ru) 2020-07-30
JP2019521599A (ja) 2019-07-25
US20210021758A1 (en) 2021-01-21
EP4243435A2 (en) 2023-09-13
JP6998898B2 (ja) 2022-01-18
MX2018016308A (es) 2019-10-07
EP3479561B1 (en) 2023-09-06
EP4243435A3 (en) 2023-10-25
KR20190022770A (ko) 2019-03-06
KR20210127809A (ko) 2021-10-22
RU2019102372A3 (ko) 2020-10-22
BR112018077493A2 (pt) 2019-04-09
EP3479561A1 (en) 2019-05-08
CA3029463A1 (en) 2018-01-04
US10834313B2 (en) 2020-11-10
CN109417590A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
Ihrke et al. Principles of light field imaging: Briefly revisiting 25 years of research
US11438503B2 (en) Plenoptic sub aperture view shuffling with improved resolution
Huang et al. Lensless imaging by compressive sensing
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
JP4706882B2 (ja) 撮像装置
JP4538766B2 (ja) 撮像装置、表示装置および画像処理装置
CN101076085B (zh) 图像捕获方法和装置以及使用该装置的电子装置
US8436909B2 (en) Compound camera sensor and related method of processing digital images
EP2678740B1 (en) Systems, methods, and media for reconstructing a space-time volume from a coded image
KR102437510B1 (ko) 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링
CN113766107B (zh) 用于生成高分辨率图像的方法和设备
CN114842046A (zh) 运动目标高动态场景图像的测量装置及方法
CN116503249A (zh) 真实世界图像超分辨数据集构建方法及系统
Seifi et al. On plenoptic sub-aperture view recovery
Marwah Tensor photography: exploring space of 4D modulations inside traditional camera designs

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant