KR101134208B1 - 촬상 장치 및 그 방법 - Google Patents

촬상 장치 및 그 방법 Download PDF

Info

Publication number
KR101134208B1
KR101134208B1 KR1020077009919A KR20077009919A KR101134208B1 KR 101134208 B1 KR101134208 B1 KR 101134208B1 KR 1020077009919 A KR1020077009919 A KR 1020077009919A KR 20077009919 A KR20077009919 A KR 20077009919A KR 101134208 B1 KR101134208 B1 KR 101134208B1
Authority
KR
South Korea
Prior art keywords
image
light
photosensor
virtual
rays
Prior art date
Application number
KR1020077009919A
Other languages
English (en)
Other versions
KR20070057998A (ko
Inventor
이-렌 엔지
패트릭 엠. 한라한
마크 에스. 레보이
마크 에이. 호로비츠
Original Assignee
더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 filed Critical 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티
Publication of KR20070057998A publication Critical patent/KR20070057998A/ko
Application granted granted Critical
Publication of KR101134208B1 publication Critical patent/KR101134208B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

이미지 데이터는 포커싱 및/또는 광 교정을 용이하게 하기 위해 처리된다. 본 발명의 예시적인 실시예에 따르면, 촬상 장치는 특정 초점 평면을 통과하는 광에 대응하는 광 데이터를 수집한다. 광 데이터는 초점 평면의 일부분 상에 입사된 광의 여러 부분들이 퍼져나오는 방향의 결정을 용이하게 하는 방법을 사용하여 수집된다. 포토 센서에 의해 검출된 광의 값과 관련된 이 방향 정보를 사용하여, 광에 의해 표현되는 이미지가 선택적으로 포커싱 및/또는 교정된다.
초점 평면, 메인 렌즈, 포토센서, 마이크로렌즈, 데이터 프로세서

Description

촬상 장치 및 그 방법{IMAGING ARRANGEMENTS AND METHODS THEREFOR}
<관련출원>
본 출원은 35 U.S.C.§119(e) 하에, 2004년 10월 1일자로 출원된 미합중국 가출원 제60/615,179호 및 2005년 1월 27일자로 출원된 미합중국 가출원 제60/647,492호의 권리를 주장하는데, 이 두개의 출원은 여기에서 전적으로 참조로 사용된다.
본 발명은 일반적으로 촬상 어플리케이션에 관한 것으로, 더욱 구체적으로 이미지 데이터를 포커싱 및/또는 교정하기 위해 이미지 데이터를 처리하는 것에 관한 것이다.
카메라, 비디오 카메라, 현미경, 망원경 및 그외 여러가지를 포함하는 것과 같은 촬상 어플리케이션은 일반적으로 수집되는 광량이 제한되었다. 즉, 대부분의 촬상 장치는 장치에 들어오는 광 분포에 대한 대부분의 정보를 기록하지 않는다. 예를 들어, 디지털 스틸 카메라 및 비디오 카메라와 같은 종래의 카메라는 월드(world)로부터 들어오는 광 분포에 대한 대부분의 정보를 기록하지 않는다. 이들 장치에서, 수집된 광은 자주, 상이한 심도(촬상 장치로부터의 거리)에서 포커싱하거나, 렌즈 수차를 교정하거나, 또는 화면각을 조작 처리하는 것과 같은 여러가 지 어플리케이션을 위해 조작 처리를 할 수 없다.
정지-촬상 어플리케이션의 경우에, 특정 장면을 캡처하는 전형적인 촬상 장치는 일반적으로 장면 내의 피사체 또는 물체에 초점을 맞추는데, 장면의 다른 부분들은 초점이 벗어나 있다. 비디오-촬상 어플리케이션의 경우에, 이와 유사한 문제들이 많이 나타나는데, 비디오 어플리케이션에서 사용된 이미지 집합은 초점이 맞게 장면을 캡처하지 못한다.
많은 촬상 어플리케이션은 광을 수집하는데 사용된 장치(렌즈)로 인한 수차의 문제가 있다. 그러한 수차는, 예를 들어 구면 수차, 색 수차, 왜곡, 광 필드의 굴곡, 경사 비점수차 및 코마(coma)를 포함할 수 있다. 수차의 교정은 전형적으로, 촬상 장치에 부피, 경비 및 무게를 추가하는 경향이 있을 때, 교정 광학계의 사용을 필요로 했다. 카메라 폰 및 보안 카메라와 같은 소규모 광학계로부터 혜택을 받는 몇몇 어플리케이션에서, 그 어플리케이션과 관련된 물리적 제한은 추가 광학계를 포함하는 것을 바람직하지 않게 한다.
상기와 관련된 어려움은 디지털 이미지의 획득 및 변경을 수반하는 것들을 포함하는 촬상 어플리케이션에 대한 도전과제를 제시했다.
본 발명은 상술된 도전과제를 극복하는 것 및 촬상 장치와 그 구현에 관련된 다른 것들에 관한 것이다. 본 발명은 다수의 구현 및 어플리케이션에서 예시되는데, 그 일부가 아래에 요약된다.
본 발명의 한 예시적인 실시예에 따르면, 광은 검출된 광의 특성을 나타내는 방향 정보로 검출된다. 방향 정보는 재포커싱된 이미지 및 교정된 이미지 중의 하나 또는 둘다에 대응하는 가상 이미지를 생성하기 위해 검출된 광과 함께 사용된다.
본 발명의 다른 예시적인 실시예에 따르면, 장면 내의 상이한 초점 심도에 있는 2개 이상의 피사체가 이미지화되는데, 장면의 부분들은 상이한 초점 심도에서 포커싱된 각 피사체에 대응한다. 장면으로부터의 광은 물리적 초점 평면 상에 포커싱되고, 물리 초점 평면 상의 특정 위치에 광이 도달한 방향의 특성을 나타내는 정보와 함께 검출된다. 물리적 초점 평면 상에 포커싱되지 않는 시야 심도에 위치한 최소한 하나의 피사체의 경우에, 물리적 초점 평면과 다른 가상 초점 평면이 결정된다. 검출된 광 및 그 방향 특성을 사용하여, 가상 초점 평면 상의 최소한 하나의 피사체의 포커싱된 이미지에 대응하는 광의 부분들은 수집되어, 최소한 하나의 피사체의 가상 포커싱된 이미지를 형성하기 위해 더해진다.
본 발명의 다른 예시적인 실시예에 따르면, 장면은 디지털식으로 이미지화된다. 초점 평면 상의 상이한 위치로 보내지는 장면으로부터의 광이 검출되고, 초점 평면 상의 상이한 위치에서 검출된 광의 입사각이 검출된다. 검출된 광이 나온 장면 부분의 시야 심도는 검출되어, 검출된 광을 디지털식으로 재분류하기 위해 결정된 입사각과 함께 사용된다. 어플리케이션에 따라, 재분류는 재포커싱 및/또는 렌즈 수차의 교정을 포함한다.
본 발명의 상기 요약은 본 발명의 각각의 예시된 실시예 또는 모든 구현을 설명하고자 하는 것이 아니다. 다음에 오는 도면 및 상세한 설명은 이들 실시예를 더욱 구체적으로 예시한다.
본 발명은 첨부 도면을 참조한 다음의 상세한 설명으로부터 더욱 완벽하게 이해될 수 있다.
도 1은 본 발명의 한 예시적인 실시예에 따른 광선 캡처링 및 처리 장치를 도시한 도면.
도 2는 본 발명의 다른 예시적인 실시예에 따른 광학 촬상 장치를 도시한 도면.
도 3은 본 발명의 다른 예시적인 실시예에 따른, 촬상 처리를 위한 처리 흐름도.
도 4는 본 발명의 다른 예시적인 실시예에 따른, 프리뷰 이미지를 생성하는 처리 흐름도.
도 5는 본 발명의 다른 예시적인 실시예에 따른, 이미지 데이터를 처리하고 압축하는 처리 흐름도.
도 6은 본 발명의 다른 예시적인 실시예에 따른, 이미지 합성을 위한 처리 흐름도.
도 7은 본 발명의 다른 예시적인 실시예에 따른, 이미지 재포커싱을 위한 처리 흐름도.
도 8은 본 발명의 다른 예시적인 실시예에 따른, 한 이미지 내의 필드의 심도를 확장하는 처리 흐름도.
도 9는 본 발명의 다른 예시적인 실시예에 따른, 한 이미지 내의 필드의 심도를 확장하는 다른 방법의 처리 흐름도.
도 10은 본 발명의 다른 예시적인 실시예에 따른, 광선을 분리하는 한 예시적인 방법을 나타낸 도면.
도 11은 본 발명의 다른 예시적인 실시예에 따른, 수집된 데이터에 관한 L(u,v,s,t) 공간 내의 광선으로의 센서 픽셀 위치의 매핑에 대한 방법을 도시한 도면.
도 12는 본 발명의 다른 예시적인 실시예에 따른, 상이한 심도에서 재포커싱된 몇몇 이미지를 도시한 도면.
도 13A는 본 발명의 다른 예시적인 실시예에 따른, 2D에서의 촬상 구성을 도시한 도면.
도 13B는 본 발명의 다른 예시적인 실시예에 따른, 한 픽셀을 위해 합해진 3D 점으로부터의 광선의 콘(cone)을 도시한 도면.
도 14A-14C는 본 발명의 다른 예시적인 실시예에 따른, 상이한 시야 심도를 갖는 이미지들을 계산하는 방법을 나타낸 도면.
도 15는 본 발명의 다른 예시적인 실시예에 따른, 가상 필름 평면 상의 3D 점으로부터의 광선의 추적에 대한 방법을 나타낸 도면.
도 16은 본 발명의 다른 예시적인 실시예에 따른, 광의 값을 찾는 방법을 나타낸 도면.
도 17A는 본 발명의 다른 예시적인 실시예에 따른, 이상적인 512x512 사진을 도시한 도면.
도 17B는 본 발명의 다른 예시적인 실시예에 따른, f/2 양면-볼록 구형 렌즈로 생성될 수 있는 이미지를 도시한 도면.
도 17C는 본 발명의 다른 예시적인 실시예에 따른, 이미지 교정 방법을 사용하여 계산된 이미지를 도시한 도면.
도 18A-18C는 본 발명의 다른 예시적인 실시예에 따른, 컬러 촬상 시스템에서 일반적인 광선들의 추적을 나타낸 도면.
도 19A-19F는 본 발명의 다른 예시적인 실시예에 따른, 모자이크 어레이를 구현하는 방법을 나타낸 도면.
도 20은 본 발명의 다른 예시적인 실시예에 따른, 푸리에 도메인에서 재포커싱하는 계산 방법의 처리 흐름도.
도 21A는 본 발명의 다른 예시적인 실시예에 따른, 삼각 필터 방법을 나타낸 도면.
도 21B는 본 발명의 다른 예시적인 실시예에 따른, 삼각 필터 방법의 푸리에 변환을 나타낸 도면.
도 22는 본 발명의 다른 예시적인 실시예에 따른, 주파수 도메인에서 재포커싱하는 방법의 처리 흐름도.
도 23은 본 발명의 다른 예시적인 실시예에 따른, 원하는 초점을 통과하는 광선 세트를 도시한 도면.
도 24A-B는 본 발명의 다른 예시적인 실시예에 따른, 마이크로렌즈 어레이의 일부분의 다른 뷰들을 도시한 도면.
도 24C는 본 발명의 다른 예시적인 실시예에 따른, 포토센서 상에 나타나는 이미지를 도시한 도면.
도 25는 가상 이미지가 가상 필름 상에 나타났을 때 가상 이미지가 계산되는, 본 발명의 한 예시적인 실시예를 도시한 도면.
도 26은 본 발명의 다른 예시적인 실시예에 따른, 가상 렌즈 면을 조작 처리하는 방법을 도시한 도면.
도 27은 본 발명의 다른 예시적인 실시예에 따라, 가상 필름이 임의의 모양을 가질 수 있다는 것을 나타낸 도면.
도 28은 본 발명의 다른 예시적인 실시예에 따른 촬상 장치를 도시한 도면.
도 29는 본 발명의 다른 예시적인 실시예에 따른, 각각의 출력 이미지 픽셀 및 각각의 광선 센서 값과 관련된 가중치의 데이터베이스를 사전-계산하는 처리 흐름도.
도 30은 본 발명의 다른 예시적인 실시예에 따른, 가중치의 데이터베이스를 사용하여 출력 이미지를 계산하는 처리 흐름도.
도 31A-D는 본 발명의 다른 예시적인 실시예에 따른, 가상 구경 함수로서 선택적으로 구현되는 다양한 스칼라 함수를 도시한 도면.
도 32는 본 발명의 다른 예시적인 실시예에 따른, 픽셀마다 변화하는 가상 구경 함수를 도시한 도면.
도 33은 본 발명의 다른 예시적인 실시예에 따른, 출력 이미지의 영역을 선 택하고, 이미지 부분을 편집하며, 출력 이미지를 저장하는 사용자의 처리 흐름도.
도 34는 본 발명의 다른 예시적인 실시예에 따른, 한 이미지 내의 필드의 심도를 확장하는 처리 흐름도.
도 35는 본 발명의 다른 예시적인 실시예에 따른, 수신된 광선 센서 데이터로부터 재포커싱된 이미지를 계산하는 처리 흐름도.
본 발명은 다양한 변형 및 대안 형태에 따를 수 있지만, 그 명세는 도면에 예시적으로 도시되어 있으며, 상세하게 설명될 것이다. 그러나, 본 발명을 설명된 특정 실시예에 제한하고자 하는 것은 아니라는 것을 알기 바란다. 오히려, 본 발명의 정신 및 범위에 속하는 모든 변형, 등가물 및 대안을 모두 포함하고자 한다.
본 발명은 여러가지 상이한 유형의 장치에 유용한 것으로 여겨지고, 본 발명은 전자 촬상 장치 및 어플리케이션에 특히 적합하다는 것을 알았다. 본 발명이 반드시 그러한 어플리케이션에 제한되는 것은 아니지만, 본 발명의 다양한 실시양상은 이러한 상황을 이용한 여러 예들의 설명을 통해 이해될 수 있다.
본 발명의 예시적인 실시예에 따르면, 4차원(4D) 광 필드(예를 들어, 자유 공간과 같은 영역에서 각 광선을 따라 이동하는 광)는 초점 평면에 위치한 센서에 도달하는 광의 양 및 방향의 결정을 포함하는 방법을 사용하여 검출된다. 초점 평면 내의 광의 2차원 위치는 광이 평면 내의 특정 위치에 도달한 방향의 특성을 나타내는 정보와 함께 검출된다. 이 방법으로, 센서 상의 상이한 위치에 도달하는 방향 조명 분포가 결정되어, 이미지를 형성하기 위해 사용된다. 여기에서의 여러 설명에서, 광 필드의 감지 및/또는 측정을 위해 구현된 조립체 또는 조립체들은 "광선 센서(light ray sensor 또는 ray sensor)"로 칭해진다.
한 어플리케이션에서, 상기와 유사한 방법은 상이한 방식으로 측정된 광선 세트로부터 이미지를 렌더링하는 계산 기능으로, 촬상 평면 상에 입사되는 광선의 공간을 샘플링하는 광학계 및 센서를 갖는 촬상 시스템을 사용하여 구현된다. 광학계, 센서 및 계산 기능의 각각은 구현에 따라 다르게 여러가지 방식을 조합하여 또는 별개로 사용하여 구현된다. 예를 들어, 촬상 평면에 위치한 포토 센서 어레이(센서들) 상에 이미지를 포커싱하는 렌즈(광학계)를 갖는 카메라는 광선의 공간을 샘플링하기 위해 사용될 수 있다. 포토센서 어레이로부터의 출력은, 이를테면 상이한 심도에서 또는 필드의 상이한 심도로 포커싱되는 사진을 계산하고/하거나 더 높은 품질 이미지를 생성하기 위해 렌즈 수차를 계산적으로 교정함으로써, 이미지를 렌더링하기 위해 (예를 들어, 카메라 내부 또는 외부의 프로세서에서의) 계산 함수와 함께 사용된다.
다른 예시적인 실시예에서, 촬상 시스템의 광학계 및 센서 컴포넌트는 각 센서 소자가 특정 방향으로부터 나오는 광선을 포함하는 광선 세트를 감지하도록 센서 소자 상으로 광선을 향하게 한다. 다수의 어플리케이션에서, 이 광선 세트는 공간과 방향으로 국소화되는 광선 다발이다. 다수의 어플리케이션의 경우에, 이 광선 다발은 광학계 및 센서 해상도가 증가함에 따라 단일 기하학 광선으로 수렴할 것이다. 이와 관련하여, 여기에서의 여러 설명 부분은, 일반적으로 광선이 기하학 광선에 제한되지 않을지라도, 센서 소자에 의해 감지된 값을 "광선(rays of light, 또는 light rays, 또는 단순히 rays)"으로 칭한다.
이제 도면을 참조하면, 도 28은 본 발명의 다른 예시적인 실시예에 따른 촬상 장치(2890)를 도시한 것이다. 촬상 장치(2890)는 메인 렌즈(2810) 및 광선 센서를 포함하는데, 광선 센서는 센서 상의 상이한 위치에 상이한 입사 방향으로부터 도달하는 광의 값을 측정한다. 이와 관련하여, 광선 값의 측정은 값을 생성하기 위해 강도와 같은 그 광의 특성과 함께, 센서에서 상이한 위치에 도달하는 광을 검출함으로써 구현될 수 있다.
도 1은 본 발명의 다른 예시적인 실시예에 따른 촬상 시스템(100)을 도시한 것이다. 촬상 시스템(100)은 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)를 갖고 있는 촬상 장치(190)를 포함한다. 이 경우에, 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 광선 센서를 구현한다. 도 1은 특정 메인 렌즈(110)(단일 소자) 및 특정 마이크로렌즈 어레이(120)를 도시하고 있지만, 본 분야에 숙련된 기술자들은 (현재 이용가능하거나 장래에 개발되는) 여러가지 렌즈 및/또는 마이크로렌즈 어레이가, 예를 들어 도시된 메인 렌즈 및/또는 마이크로렌즈 어레이를 대신하여 유사한 방법으로 선택적으로 구현된다는 것을 알 수 있을 것이다.
이미지화된 장면 내의 피사체(105) 상의 단일 점으로부터의 광선은 마이크로렌즈 어레이(120)의 초점 평면 상의 단일 수렴 점으로 도달된다. 예를 들어, 피사체(105) 상의 이미지화된 점이 마이크로렌즈에서 메인 렌즈까지의 거리와 쌍을 이루는 메인 렌즈로부터의 거리에 있을 때, 크기 "d"는 도시된 바와 같이 크기 "s"와 거의 동일하다. 이 수렴 점에서의 마이크로렌즈(122)는 이들 광선을 광의 방향에 기초하여 분리시켜, 마이크로렌즈 아래의 포토센서 상에 메인 렌즈(110)의 구경의 포커싱된 이미지를 생성한다.
포토센서 어레이(130)는 그 위에 입사되는 광을 검출하고, 여러가지 성분의 하나 이상을 사용하여 처리되는 출력을 생성한다. 이 어플리케이션에서, 출력 광 데이터는 (예를 들어, 피사체(105, 106 및 107)를 포함하는) 장면의 이미지를 생성할 때 데이터를 제공하는 각 포토센서에 대한 위치 정보와 함께 데이터를 사용하는 센서 데이터 처리 회로(140)로 보내진다. 센서 데이터 처리 회로(140)는, 예를 들어 공통 부품(예를 들어, 한 칩) 또는 상이한 부품에 선택적으로 구현된 컴퓨터 또는 기타 처리 회로로 구현된다. 한 구현에서, 센서 데이터 처리 회로(140)의 일부는 촬상 장치(390) 내에 구현되고, 다른 부분은 외부 컴퓨터에 구현된다. 광이 마이크로렌즈 어레이에 도달한 공지된 방향(각 포토센서의 공지된 위치를 사용하여 계산됨)과 함께 검출된 광(및, 예를 들어 검출된 광의 특성)을 사용하여, 센서 데이터 처리 회로(140)는 (재포커싱이 교정될 수 있는) 이미지를 형성할 때 광 데이터를 선택적으로 재포커싱 및/또는 교정한다. 검출된 광 데이터를 처리하는 여러 방법은 다른 도면들을 참조하여 그리고 참조하지 않고, 아래에 상세하게 설명된다. 이들 방법은 상기와 일치하는 센서 데이터 처리 회로(140)로 선택적으로 구현될 수 있다.
촬상 시스템(100)의 상이한 부분들은 특정 어플리케이션에 따라 다르게, 공통된 또는 분리된 물리적 장치 내에 선택적으로 구현된다. 예를 들어, 여러가지 어플리케이션으로 구현된 경우, 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 공통 장치(180) 내로 결합된다. 몇몇 어플리케이션에서, 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 공통 칩 상에 또는 그외 다른 회로 장치 상에 함께 결합된다. 카메라형 장치와 같은 핸드-헬드 장치로 구현된 경우, 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)는 핸드-헬드 장치와 통합된 공통 촬상 장치(190) 내로 선택적으로 결합된다. 더구나, 소정의 어플리케이션은 (예를 들어, 공통 칩 상에) 포토센서 어레이(130)를 갖는 공통 회로 배열 내에서의 센서 데이터 처리 회로(140)의 일부 또는 전부의 구현을 필요로 한다.
몇몇 어플리케이션에서, 촬상 장치(100)는 프리뷰 이미지를 사용자 캡처링 이미지에 나타내는 프리뷰 장치(150)를 포함한다. 프리뷰 장치는 포토센서 어레이(130)로부터 이미지 데이터를 수신하도록 통신으로 결합된다. 프리뷰 프로세서(160)는 프리뷰 화면(170) 상에 표시되는 프리뷰 이미지를 생성하기 위해 이미지 데이터를 처리한다. 몇몇 어플리케이션에서, 프리뷰 프로세서(160)는 공통 칩 상에 및/또는 공통 회로 내에, 이미지 센서(180)와 함께 구현된다. 센서 데이터 처리 회로(140)가 상술된 바와 같은 포토 센서 어레이(130)와 함께 구현되는 어플리케이션에서, 프리뷰 프로세서(160)는 프리뷰 이미지를 생성하기 위해 사용된 포토센서 어레이(130)에 의해 수집된 이미지 데이터의 일부 또는 전부로, 센서 데이터 처리 회로(140)와 함께 선택적으로 구현된다.
프리뷰 이미지는 비교적 더 적은 수의 계산 함수, 및/또는 최종 이미지를 생성하기 위해 사용된 것보다 적은 데이터를 사용하여 생성될 수 있다. 예를 들어, 카메라 또는 셀 폰과 같은 핸드-헬드 촬상 장치로 구현된 경우, 어떤 포커싱 또는 렌즈 교정도 초래하지 않는 프리뷰 이미지가 충분할 수 있다. 이와 관련하여, 프리뷰 이미지를 생성하기 위해 비교적 저렴하고/하거나 작은 처리 회로를 구현하는 것이 바람직할 수 있다. 그러한 어플리케이션에서, 프리뷰 프로세서는, 예를 들어 상술된 바와 같은 필드 계산 방법의 제1의 확장된 시야 심도를 사용함으로써, 비교적 저계산 비용으로 및/또는 보다 적은 데이터를 사용하여 이미지를 생성한다.
촬상 시스템(100)은 어플리케이션에 따라 다르게 여러가지 방식으로 구현된다. 예를 들어, 마이크로 렌즈(120)는 예로서 몇개의 구별가능한 마이크로렌즈로 도시되지만, 어레이는 일반적으로 다수의(예를 들어, 수천 또는 수백만) 마이크로렌즈로 구현된다. 포토센서 어레이(130)는 일반적으로, 마이크로렌즈 어레이(120) 내의 각각의 마이크로렌즈마다 몇개의 포토센서를 갖는 마이크로렌즈 어레이(120)보다 상대적으로 더 미세한 피치를 포함한다. 또한, 마이크로렌즈 어레이(120) 내의 마이크로렌즈 및 포토센서 어레이(130) 내의 포토센서는 일반적으로, 각각의 마이크로렌즈를 통해 포토센서 어레이로 나아가는 광이 인접한 마이크로렌즈를 통해 나아간 광과 겹치지 않도록 위치설정된다.
다양한 어플리케이션에서, 메인 렌즈(110)는 메인 렌즈와 예시적인 촬상 피사체(105) 사이에 예시된 바와 같은 원하는 심도 "d"에서 관심있는 피사체 상에 포커싱하기 위해 광축을 따라(도 1에 도시된 바와 같이, 수평 방향으로) 이동된다. 예로서, 피사체(105) 상의 단일 점으로부터의 광선은 이러한 설명을 위해 도시된다. 이들 광선은 마이크로렌즈 어레이(120)의 초점 평면 상의 마이크로렌즈(122) 에서 단일 수렴 점으로 도달된다. 마이크로렌즈(122)는 이들 광선을 방향에 기초하여 분리해서, 마이크로렌즈 아래의 픽셀 어레이 내의 픽셀 세트(132) 상에서 메인 렌즈(110)의 구경의 포커싱된 이미지를 생성한다. 도 10은 메인 렌즈(1010) 상의 한 점에서 나와서 동일한 마이크로렌즈(예를 들어, 1022)의 표면 상의 임의의 곳에 도달하는 모든 광선이 포토센서(예를 들어, 1023) 상의 동일한 점에서 수렴하게 그 마이크로렌즈에 의해 방향지워지도록, 광선들을 분리시키는 한 예시적인 방법을 도시한 것이다. 도 10에 도시된 이 방법은, 예를 들어 도 1과 관련하여 구현될 수 있다(즉, 메인 렌즈(1010)는 메인 렌즈(110)로 구현되고, 마이크로렌즈 어레이(1020)는 마이크로렌즈 어레이(120)로 구현되며, 포토센서 어레이(1030)는 포토센서 어레이(130)로 구현된다).
마이크로렌즈 어레이(122) 내의 특정 마이크로렌즈 아래에 형성되는 이미지는 촬상 평면 상의 그 위치에 대한 시스템의 방향 분해능을 지시한다. 몇몇 어플리케이션에서, 방향 분해능은 메인 렌즈의 주요 평면 상에 포커싱된 마이크로렌즈를 이용하여 예리한 마이크로렌즈 이미지를 용이하게 함으로써 증강된다. 소정의 어플리케이션에서, 마이크로렌즈는 마이크로렌즈 어레이와 메인 렌즈(110) 사이의 분리거리보다 작은 최소한 두자릿수이다. 이들 어플리케이션에서, 메인 렌즈(110)는 유효하게 마이크로렌즈의 광학적 무한거리에 있고; 마이크로렌즈를 포커싱하기 위해, 포토센서 어레이(130)는 마이크로렌즈의 초점 심도에서 한 평면 내에 위치한다.
메인 렌즈(110)와 마이크로렌즈 어레이(120) 사이의 분리거리 "s"는 마이크로렌즈의 시야 심도 내에서 예리한 이미지를 달성하도록 선택된다. 다수의 어플리케이션에서, 이 분리거리는 약 Δxp?(fm/Δxm) 이내까지 정확한데, Δxp는 센서 픽셀의 폭이고, fm은 마이크로렌즈의 초점 심도이며, Δxm은 마이크로렌즈의 폭이다. 한 특정 어플리케이션에서, Δxp는 약 9 마이크론(micron)이고, fm은 약 500 마이크론이며, Δxm은 약 125 마이크론인데, 마이크로렌즈 어레이(120)와 포토센서 어레이(130) 사이의 분리거리는 약 36 마이크론까지 정확하다.
마이크로렌즈 어레이(120)는 여러가지 마이크로렌즈 및 그 배열 중의 하나 이상을 사용하여 구현된다. 한 예시적인 실시예에서, 잠재적으로 공간적으로 변화하는 특성을 가진 마이크로렌즈의 평면은 마이크로렌즈 어레이(120)로서 구현된다. 예를 들어, 마이크로렌즈 어레이는 동질 및/또는 비동질적이고, 크기가 정사각형 또는 정사각형이 아니며, 규칙적으로 분포되거나 불규칙적으로 분포되고, 선택적으로 마스킹되는 부분을 갖고 반복적이거나 비반복적인 패턴인 렌즈를 포함할 수 있다. 마이크로렌즈 자체는 볼록이거나, 볼록이 아니거나, 또는 광의 원하는 물리적 방향을 초래하기 위한 임의의 프로파일을 가질 수 있고, 마이크로렌즈마다 평면 상의 프로파일이 변화할 수 있다. 다양한 분포 및 렌즈 프로파일은 선택적으로 결합된다. 이들 다양한 실시예는 어레이의 몇몇 영역에서는 공간적으로 더 높고(따라서 각도적으로 더 낮고), 그외 다른 영역에서는 각도적으로 더 높은(따라서 공간적으로 더 낮은) 샘플링 패턴을 제공한다. 그러한 데이터의 한가지 용도는 4D 공간에서 원하는 공간 및 각도 분해능에 맞추기 위해 보간을 용이하게 한다.
도 24A는 본 발명의 다른 예시적인 실시예에 따른, 마이크로렌즈 어레이의 일부분의 뷰(평면에 수직인 조준선)를 도시한 것이다. 마이크로렌즈는 정사각형 모양이고, 어레이 내에 규칙적으로 분포된다.
도 24B는 본 발명의 다른 예시적인 실시예에 따른, 마이크로렌즈 어레이의 일부분의 뷰를 도시한 것이다. 마이크로렌즈 평면 분포는 규칙적이거나 반복적이지 않고, 마이크로렌즈는 임의의 모양으로 이루어진다.
도 24C는 원형 구경을 갖는 메인 렌즈 및 볼록 프로파일을 갖는 도 24A에 도시된 것과 같은 분포를 사용하여, 본 발명의 다른 예시적인 실시예와 관련하여 포토센서 상에 나타나는 이미지를 도시한 것이다.
다른 예시적인 실시예에서, 더 크고 더 작은 마이크로렌즈의 규칙적 모자이크가 사용된다. 한 구현에서, 결과적으로 얻어진 포토센서 데이터는 모자이크 내의 한 마이크로렌즈 또는 마이크로렌즈들의 최대 공간 및 각도 분해능을 갖는 동질 샘플링을 제공하기 위해 보간된다.
도 19A-19F는 본 발명의 하나 이상의 예시적인 실시예와 관련하여, 상술된 것과 같은 모자이크 어레이를 구현하는 방법을 도시한 것이다. 도 19A는 마이크로렌즈의 예시적인 상태 크기 및 배열을 나타내는 평면의 상면도이다. 도 19B는 도 19A에서의 각각의 마이크로렌즈를 통해 투영한 후 포토센서 어레이 상에 생기는 이미지의 모양을 도시한 것이다. 도 19C는 도 19A에서의 어레이의 단면도로서, 마이크로렌즈가 동일한 f-수(f-number)를 갖고, 그들의 초점은 공통 평면을 공유한다는 것을 나타낸다. 이것은 더 작은 마이크로렌즈가 더 큰 마이크로렌즈보다 초점 평 면에 더 가깝게 위치될 것을 요구한다. 이것은 각각의 마이크로렌즈 아래에 나타나는 메인 렌즈의 이미지가 겹치지 않고 커지게 하고, 초점을 포함하는 평면에 배치되는 포토 센서 상에서 모두 초점이 맞게 나타나게 한다.
도 19D는 본 발명의 다른 예시적인 실시예에 따른, 메인 렌즈(1910), 모자이크 마이크로렌즈 어레이(1920) 및 포토센서 장치(1930)를 포함하는 전체 촬상 장치 내에 구현된 도 19A 및 19C에 도시된 마이크로렌즈의 단면도를 도시한 것이다. 도면이 몇개의 마이크로렌즈와 마이크로렌즈 당 몇개의 픽셀로 도시되었지만, 마이크로렌즈와 픽셀의 실제 수는 이를테면 주어진 어플리케이션의 분해능 요구사항을 결정하고 각각의 적절한 수를 구현함으로써, 여러가지 방법을 사용하여 선택된다.
도 19E는 메인 렌즈(1910) 상의 u에서 시작하고 마이크로렌즈 어레이(1920) 상의 s에서 끝나는 광선 공간을 나타내는 데카르트 선도(ray diagram)이다(전체 광선 공간은 4D이지만, 명확성을 위해 광선 공간이 2D로 도시된다). 도 19C에서의 각각의 포토센서(A-P로 표시됨)에 의해 합해지는 광선 세트는 도 19D에서의 데카르트 선도 상에 도시된다. 전체 4D 광선 공간에서, 각각의 포토센서는 광선의 4D 박스를 통합한다. 더 큰 마이크로렌즈 아래의 포토센서용 4D 박스는 더 작은 마이크로렌즈 아래의 포토센서에 비해 (u,v) 방향 축으로 절반의 폭(두배의 분해능)을 갖고, (x,y) 공간 축으로 두배의 폭(절반의 분해능)을 갖는다.
다른 예시적인 실시예에서, 포토센서 값은 모든 축에서의 분해능이 모든 축에서의 최대 분해능에 맞춰지도록 규칙적인 격자에 대해 보간된다. 도 19F는 그러한 한가지 방법을 도시한 것으로, 각각의 포토센서 값을 나타내는 광선 박스는 가 까운 박스 값을 보간함으로써 나누어진다. 도시된 2D 광선 공간에서, 각각의 박스는 2로 나누어지지만, 4D 공간에서, 각각의 박스는 4로 나누어진다(2개의 더 긴 쪽의 각각을 따라 2로 나누어진다). 몇몇 실시예에서, 보간된 값은 근처의 값을 분석함으로써 계산된다. 다른 실시예에서, 보간은 원하는 값 근처에 있는 원래의 나누어지지 않은 박스 값의 가중된 합으로서 구현된다.
몇몇 어플리케이션에서, 가중은 근처의 값에 기초하여 결정 함수에 의존하는 방식으로 구현된다. 예를 들어, 가중은 4D 함수 공간에서 한 에지를 가장 포함할 것 같지 않은 축을 따라 보간할 수 있다. 그 값에 가까운 에지의 가능성은 함수의 라플라시안(Laplacian)의 성분뿐만 아니라, 그들 위치에서의 함수 값의 기울기 크기로부터 추정될 수 있다.
다른 예시적인 실시예에서, (예를 들어, 도 19D의 어레이(1920) 내의 또는 이와 유사한) 각각의 마이크로렌즈는 그들의 광 축이 모두 메인 렌즈 구경 상으로 집중되도록 안쪽으로 기울어진다. 이 방법은 어레이의 에지쪽을 향해 마이크로렌즈의 아래에 생기는 이미지의 수차를 감소시킨다.
다시 도 1을 참조하면, 메인 렌즈(110)의 구경 크기 및 마이크로렌즈 어레이(120) 내의 마이크로렌즈의 구경 크기(예를 들어, 렌즈 내의 개구부의 유효 크기)는 또한 촬상 장치(100)가 구현되는 특정 어플리케이션에 부합하도록 선택된다. 다수의 어플리케이션에서, 상대적인 구경 크기는 수집된 이미지가 겹치지 않고 가능한한 크도록(즉, 광이 인접 포토센서 상으로 바람직하지 않게 겹치지 않도록) 선택된다. 이 방법은 메인 렌즈 및 마이크로렌즈의 f-수(초점 비율; 즉, 렌즈의 유 효 초점 길이 대 구경의 비)에 맞춤으로써 용이해진다. 이 경우에, f-수와 관련하여 메인 렌즈(110)의 유효 초점 길이는 메인 렌즈의 구경의 직경 대 메인 렌즈(110)와 마이크로렌즈 어레이(120) 사이의 거리 "s"의 비이다. 메인 렌즈(110)의 주 평면이 마이크로렌즈 어레이(120)가 위치하는 평면에 대해 움직이는 어플리케이션에서, 메인 렌즈의 구경은 비율을 유지하도록, 따라서 마이크로렌즈 어레이 내의 각 마이크로렌즈 아래에 생기는 이미지의 크기를 유지하도록 선택적으로 변경된다. 몇몇 어플리케이션에서, 정사각형 구경과 같은 상이한 메인 렌즈 구경 모양은 포토센서 표면 상에 마이크로렌즈 어레이 아래의 이미지 어레이의 바람직한(예를 들어, 효율적인) 패킹을 달성하기 위해 사용된다.
다음 설명은 본 발명의 하나 이상의 예시적인 실시예와 관련하여, 도 1의 촬상 장치(100)의 일반적인 어플리케이션에 관한 것이다. 촬상 장치(100) 내부의 2-평면 광 필드 "L"을 고려하면, L(u,v,s,t)는 (u,v)에서 메인 렌즈(110)와 교차하고, (s,t)에서 마이크로렌즈 어레이(120)의 평면과 교차하는 광선을 따라 이동하는 광을 나타낸다. 마이크로렌즈 어레이(120) 내의 이상적인 마이크로렌즈, 및 포토센서 어레이(130) 내의 정렬된 격자 상의 이상적인 포토센서(예를 들어, 픽셀)를 가정하면, 포토센서로 나아가는 모든 광은 또한 마이크로렌즈 어레이(120) 내의 정사각형 부모 마이크로렌즈를 통과하고, 메인 렌즈(110) 상의 포토센서의 켤레 정사각형을 통과한다. 메인 렌즈(110) 및 마이크로렌즈 상의 이들 2개의 정사각형 영역은 광 필드 내에 작은 4차원 박스를 지정하고, 포토센서는 이 박스에 의해 나타난 광선 세트 내의 광의 총량을 측정한다. 따라서, 각각의 포토센서는 광 필드 내 의 그러한 4차원 박스를 검출하고; 따라서 포토센서 어레이(130)에 의해 검출된 광 필드는 L(u,v,s,t)의 박스-필터된 직선 샘플링이다.
도 11은 본 발명의 다른 예시적인 실시예에 따른, 수집된 데이터에 관한 L(u,v,s,t) 공간에서의 광선에 대한 센서 픽셀 위치의 매핑 방법을 도시한 것이다. 도 11에 도시되고 여기에서 설명된 방법은, 예를 들어 도 1에 적용가능한데, 포토센서 어레이(130) 내의 각 포토센서는 센서 픽셀에 대응한다. 하부 우측의 이미지(1170)는 광선 센서(포토센서)(1130)로부터 판독된 미가공 데이터의 다운샘플링이고, 동그라미쳐진 하나의 마이크로렌즈 아래에 생기는 원형 이미지(1150)가 있다. 하부 좌측의 이미지(1180)는 동그라미쳐진 마이크로렌즈 이미지(1150) 주위의 미가공 데이터의 일부분의 클로즈업 표현이고, 마이크로렌즈 이미지 내에 동그라미쳐진 하나의 포토센서 값(1140)이 있다. 이 원형 이미지(1150)가 렌즈 구경의 이미지이기 때문에, 디스크 내의 선택된 픽셀의 위치는 메인 렌즈 상의 도시된 광선(110)의 시작 위치의 (u,v) 좌표를 제공한다. 센서 이미지(1170) 내의 마이크로렌즈 이미지(1150)의 위치는 광선(1120)의 (x,y) 좌표를 제공한다.
광선에 대한 센서 소자의 매핑이 도면(및 다른 예시적인 실시예)와 관련하여 설명되지만, 다양한 센서 소자와 관련된 값은 광학계를 통해 각각의 특정 센서 소자로 향하게 되는 광선 세트의 값에 의해 선택적으로 표시된다. 도 1과 관련하여, 포토센서 어레이 내의 각각의 포토센서는 이렇게 메인 렌즈(110) 및 마이크로렌즈 어레이(120)를 통해 포토센서로 향한 광선 세트를 나타내는 값을 제공하도록 구현될 수 있다. 즉, 각각의 포토센서는 포토센서 상에 입사된 광에 응답하여 출력을 생성하고, 마이크로렌즈 어레이(120)에 대한 각 포토센서의 위치는 입사 광에 대한 방향 정보를 제공하기 위해 사용된다.
한 예시적인 실시예에서, 마이크로렌즈 어레이(120)의 분해능은 특정 어플리케이션의 최종 이미지를 위한 원하는 분해능에 맞도록 선택된다. 포토센서 어레이(130)의 분해능은 각 마이크로렌즈가 어플리케이션의 원하는 방향 분해능, 또는 구현될 수 있는 포토센서의 가장 정교한 분해능에 맞추기 위해 필요한 만큼 많은 포토센서를 커버하도록 선택된다. 이와 관련하여, 촬상 시스템(100)(및 여기에서 설명된 다른 시스템)의 분해능은 특정 분해능에 도달하기 위해 사용된 촬상 유형, 비용, 복잡도 및 이용가능한 장비와 같은 것을 고려하여, 선택적으로 특정 어플리케이션에 맞게 맞추어진다.
일단 이미지 데이터가 (예를 들어, 도 1에서의 촬상 장치(190)를 사용하여) 광학계 및 센서를 통해 캡처되면, 여러가지 계산 함수 및 장치는 이미지 데이터를 선택적으로 처리하도록 구현된다. 본 발명의 한 예시적인 실시예에서, 상이한 세트의 포토센서는 각 마이크로렌즈로부터 이들 분리된 광선을 캡처하고, 캡처된 광선에 대한 정보를 프로세서와 같은 계산 컴포넌트로 보낸다. 장면의 이미지는 측정된 광선 세트로부터 계산된다.
도 1과 관련하여, 센서 데이터 처리 회로(140)는 이미지 데이터를 처리하고 피사체(105, 106 및 107)를 포함하는 장면의 이미지를 계산하도록 구현된다. 몇몇 어플리케이션에서, 프리뷰 장치(150)는 또한 프리뷰 프로세서(160)를 사용하여 프리뷰 이미지를 생성하도록 구현되는데, 프리뷰 이미지는 프리뷰 화면(170) 상에 표 시된다. 프리뷰 프로세서(160)는 센서 데이터 처리 회로(140)로 선택적으로 구현되는데, 프리뷰 이미지는, 예를 들어 아래에 설명된 방법과 모순되지 않는 방식으로 생성된다.
다른 실시예에서, 센서 장치로부터 출력된 이미지 내의 각 픽셀에 대해, 계산 컴포넌트는 측정된 광선의 서브셋을 가중화하여 더한다. 또한, 계산 컴포넌트는, 예를 들어 이미지 합성 방법을 사용하여, 상술된 방식으로 계산된 이미지 세트를 분석하여 결합할 수 있다. 본 발명은 반드시 그러한 어플리케이션에 제한되는 것은 아니지만, 본 발명의 여러 실시양상은 그러한 계산 컴포넌트의 몇가지 특정된 예시적인 실시예의 설명을 통해 이해될 수 있다.
다양한 예시적인 실시예와 관련하여, 이미지 데이터 처리는 캡처되는 이미지의 최소한 일부분의 재포커싱을 수반한다. 몇몇 실시예에서, 출력 이미지는 특정 장면의 원하는 요소 상에 포커싱된 사진과 관련하여 생성된다. 몇몇 실시예에서, 계산된 사진은 월드(장면) 내의 특정한 원하는 심도에서 포커싱되는데, 종래의 사진에서와 같이 원하는 심도로부터 멀어져서 초점이 맞지않는 흐릿함이 증가한다. 상이한 초점 심도는 장면 내의 상이한 피사체 상에 포커싱하도록 선택된다.
도 12는 본 발명의 다른 예시적인 실시예에 따라 측정된 단일 광 필드로부터 계산된, 상이한 심도에서 재포커싱된 몇가지 이미지(1200-1240)를 도시한 것이다. 도 12에 도시된 방법은, 예를 들어 도 1에 도시된 것과 같은 촬상 배열을 사용하여 구현될 수 있다.
도 13A 및 13B는 본 발명의 다른 예시적인 실시예에 따른 재포커싱 방법을 도시한 것이다. 이 방법은, 예를 들어 도 1에서의 센서 데이터 처리 회로(140)와 같은 촬상 시스템의 계산/프로세서 컴포넌트로 구현될 수 있다. 촬상 장치로부터의 각각의 출력 픽셀(예를 들어, 1301)은 가상 필름 평면(1310) 상의 3차원(3D) 점(예를 들어, 1302)에 대응한다. 이 가상 필름 평면(1310)은 평면(1310)이 월드(도시되지 않음) 내의 원하는 초점 평면에 광학적으로 결합되는 메인 렌즈(1330)의 뒤에 위치한다. 즉, 가상 필름 평면(1310)은 필름 평면이 단순한 2차원(2D) 이미지를 캡처하기 위해 바람직하게 놓일 수 있는 위치에 놓인다(예를 들어, 그 위치는 사진 필름이 2D 이미지를 캡처하기 위해 종래의 카메라와 함께 놓일 수 있는 위치에 맞먹는다). (예를 들어, 도 1의 마이크로렌즈 어레이(120)를 사용하여) 광을 방향에 의해 분리시킴으로써, 가상 필름 평면(1310)에 도달하는 광은 선택적으로 계산될 수 있다. 이와 관련하여, 출력 픽셀(1310)의 값은 대응하는 3D 점(1302) 상에 수렴하는 광선의 콘(1320)을 합함으로써 계산된다. 이들 광선의 값은 광선 센서(1350)에 의해 수집된 데이터로부터 모아진다. 도 13A는 시각적 단순화를 위해 2D의 촬상 구성을 나타낸다. 도 13B에서, 3D 점(1340)으로부터의 광선의 콘(1330)은 메인 렌즈에 더 가까운 경우에 선택된 월드 초점 심도를 갖고, 동일한 픽셀(1301)에 대해 합해진다.
몇몇 실시예에서, 요구된 광선 값은 광선 센서에 의해 캡처된 이산적인 샘플 위치에 정확하게 대응하지 않는다. 몇몇 실시예에서, 광선 값은 선택된 가까운 샘플 위치의 가중화된 합으로서 추정된다. 몇몇 구현에서, 이 가중화 방법은 이산적인 센서 샘플로부터 연속적인 4차원 광 필드를 재구성하는 4차원 필터 커 널(kernel)에 대응한다. 몇몇 구현에서, 이 4차원 필터는 4차원 공간에서의 16개의 가장 가까운 샘플의 4선형(quadrilinear) 보간에 대응하는 4차원 텐트(tent) 함수로 구현된다.
도 35는 본 발명의 다른 예시적인 실시예에 따른, 수신된 광선 센서 데이터로부터 재포커싱된 이미지를 계산하는 처리 흐름도이다. 블록(3520)에서, 서브-구경 이미지 세트는 광선 센서 데이터(3510)로부터 추출되는데, 각각의 서브-구경 이미지는 픽셀이 그 마이크로렌즈 아래의 동일한 상대 위치에 있는 각각의 마이크로렌즈 이미지 아래의 단일 픽셀로 이루어진다. 블록(3530)에서, 서브-구경 이미지 세트는 최종 출력 이미지를 생성하기 위해 결합된다. 서브-구경 이미지는 서로에 대해 선택적으로 이동되고, 원하는 평면이 포커싱되도록 합성된다.
다른 예시적인 실시예에서, 출력 이미지의 경계부 근처의 픽셀과 관련된 암화(darkening)는 완화된다. 예를 들어, 출력 이미지의 경계부 근처의 픽셀로, 몇몇 요구된 광선은 측정된 광 필드에서 캡처되지 않았을 수 있다(그들은 도 1에서의 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)와 같은 촬상 장치의 공간 또는 방향 경계를 초과할 수 있다). 이 암화가 바람직하지 않은 어플리케이션의 경우에, 픽셀 값은 (예를 들어, 포토센서 어레이에 의해 캡처된) 픽셀과 관련된 값을 실제로 측정 광 필드에서 찾아낸 광선 부분으로 나눔으로써 정규화된다.
상술된 바와 같이, 여러가지 상이한 계산 방법은 상이한 어플리케이션을 위해 선택된다. 다음 설명은 그러한 다양한 방법에 역점을 둔다. 몇몇 어플리케이션에서는 도면이 참조되고, 다른 어플리케이션에서는 방법이 일반적으로 설명된다. 이들 어플리케이션의 각각에서, 특정 방법은 도 1에 도시된 센서 데이터 처리 회로와 같은 계산형 컴포넌트를 사용하여 구현될 수 있다.
다른 예시적인 실시예에서, 특정 촬상 시스템을 위한 각 출력 픽셀에 대한 촬상 방법은 가상 필름이 임의적으로 및/또는 선택적으로 회전되거나 변형되고, 가상 메인 렌즈 구경이 이에 따라 움직이고 적절한 크기로 변경되는 가상 카메라 모델에 대응한다. 예로서, 도 25는 물리적 메인 렌즈 평면(2510)과 일치하지 않을 수 있는 가상 렌즈 평면(2530) 상의 임의 크기의 가상 렌즈 구경(2520) 뒤에 가상 이미지가 존재한 경우에 가상 이미지가 가상 필름(2560) 상에 나타났을 때 가상 이미지가 계산되는 예시적인 실시예를 도시한 것이다. 가상 필름(2560) 상의 점(2550)에 대응하는 픽셀의 값은 가상 구경(2520)을 통과하고 점(2550)에 수렴하는 광선들을 합함으로써 계산되는데, 이 광선들은 광선 센서(2570) 상에서 그들의 교점 및 입사 방향에 의해 발견된다.
도 26은 본 발명의 다른 예시적인 실시예에 따른 가상 렌즈 평면을 조작처리하는 방법을 도시한 것이다. 가상 렌즈 평면(2630) 및/또는 가상 필름 평면(2660)은 물리적 메인 렌즈 또는 다른 참조에 대해 선택적으로 기울어졌다. 이 방법을 사용하여 계산된 이미지는 촬상 평면에 평행하지 않는 결과적인 월드 초점 평면을 갖는다.
다른 예시적인 실시예에서, 도 27에 예시된 바와 같이, 가상 필름(2560)은 평면일 필요는 없고, 임의의 모양을 가질 수 있다.
여러가지 방법은 상이한 구경의 선택적 구현을 수반한다. 한 예시적인 실시 예에서, 가상 렌즈 평면 상의 가상 구경은 일반적으로 원형 구멍이고, 다른 예시적인 실시예에서, 가상 구경은 일반적으로 비원형이고/이거나, 임의의 모양의 다수의 별개의 영역으로 구현된다. 이들 및 다른 실시예에서, "가상 구경"이라는 표기는 일반화될 수 있고, 몇몇 실시예에서, 선택된 "가상" 구경을 통해 수신될 수 있는 광에 대응하는 광 데이터의 처리를 수반하는 방법에 대응한다.
여러 실시예에서, 가상 구경 방법은 가상 렌즈 평면상에서 선정된, 하지만 임의의 함수로 구현된다. 도 31A-31D는 하나 이상의 예시적인 실시예와 관련하여 가상 구경 함수로서 선택적으로 구현되는 가상 스칼라 함수를 도시한 것이다. 다양한 함수는, 예를 들어 (도 31B에 예시된 바와 같이) 평활하게 변하는 값을 포함하여, (도 31A에 예시된 바와 같이) 다수의 별개의 영역을 구현하고, (도 31D에 예시된 바와 같이) 네가티브 값을 취한다. 가상 필름 상의 한 점의 값을 계산하기 위해, 가상 렌즈 상의 상이한 점에서 시작하고 가상 필름 상의 그 점에서 수렴하는 모든 광선은 가상 구경 함수에 의해 가중화되어 합해진다. 다른 여러 실시예에서, 최종 값은 광선 값에 의존하는 임의의 계산 함수로 계산된다. 예를 들어, 계산 함수는 가상 구경 함수에 의한 가중화에 대응하지 않을 수도 있지만, 광선 값에서 계산된 테스트 함수의 값에 의존하는 불연속 프로그램 브랜치를 포함할 수 있다.
다른 예시적인 실시예에서, 여기에서 설명된 다른 예시적인 실시예와 결합하여 구현될 수 있는 바와 같이, 출력 픽셀을 계산하는 방법은 독립적으로 선택된다. 예를 들어, 한 예시적인 실시예에서, 가상 렌즈 평면의 방향 및 가상 구경의 크기를 포함하는 파라미터는 각각의 출력 픽셀마다 연속적으로 변화된다. 다른 예에 서, 도 32에 도시된 바와 같이, 각각의 출력 픽셀에 대한 광선을 통합하기 위해 사용된 가상 구경 함수는 픽셀마다 변화된다. 출력 이미지(3200)에서, 픽셀(3201)은 가상 구경 함수(3210)를 사용하고, 픽셀(3251)은 가상 구경 함수(3250)를 사용한다.
다른 예시적인 실시예에서, 가상 구경 함수는 픽셀마다 변화한다. 한 특정 실시예에서, 함수는 전경(foreground)에서의 원하지 않는 물체와 같은 특정 장면의 원하지 않는 부분에서 광선을 차단해내기 위해 선택된다.
다른 예시적인 실시예에서, 사람인 사용자는 선택에 따라 처리된 광 데이터로, 가상 구경 파라미터를 대화식으로 선택한다. 도 33은 그러한 예시적인 실시예를 도시한 처리 흐름도이다. 제1 블록(3310)에서, 프로세스는 광선 센서로부터 데이터를 수신한다. 블록(3320)에서, 사용자는 출력 이미지의 영역을 선택하고; 블록(3330)에서, 사용자는 이미지 형성 방법을 선택하며; 블록(3340)에서, 사용자는 선택된 방법에 대한 파라미터를 변경하고, (예를 들어, 컴퓨터 모니터 상에서) 블록(3350)에서 장면의 계산된 이미지를 시각적으로 검사한다. 블록(3360)은 사용자가 이미지 부분의 편집을 행했는지 확인하고, 블록(3330)으로 돌아가지 않는지 확인한다. 블록(3370)은 사용자가 편집하기 위한 이미지 부분의 선택을 행했는지 확인하고, 블록(3320)으로 돌아가지 않는지 확인한다. 편집이 완료되면, 블록(3380)은 최종 편집된 이미지를 저장한다.
다른 예시적인 실시예에서, 확장된 시야 심도를 갖는 이미지는 동시에 하나보다 많은 피사체 상에 포커싱함으로써 계산된다. 한 구현에서, 출력 이미지의 시 야 심도는 조른(감소된 크기의) 메인 렌즈 구경으로 종래의 사진 촬상을 시뮬레이션함으로써 확장된다. 각각의 출력 픽셀에 대해, 추정은 광선 감지시에 사용된 구경보다 더 작은 (가상 렌즈 평면 상의) 구경을 통해 출력 픽셀에서 수렴될 수 있는 광선을 사용하여 실행된다.
도 1에 도시된 예시적인 시스템(100)을 수반하는 한 구현에서, 시야 심도는 각각의 마이크로렌즈 이미지 아래의 포토센서 값을 추출함으로써 확장되는데, 각각의 포토센서는 각각의 마이크로렌즈 이미지 내의 동일한 상대 위치에 위치한다. 도 1과 관련하여, 시야 심도의 확장은 피사체(105)뿐만 아니라, 그 밖에 잘못된 초점으로 인해 흐려질 수 있는 피사체(106 및 107)와 같은 상이한 심도의 물체가 (거리 "d"와 "s" 사이의 상관관계로 인해) 초점이 맞는 이미지를 생성한다. 결과적인 이미지의 선택적 다운샘플링과 결합된, 시야 심도를 확장하는 이 방법은 계산적으로 효율적이다. 이 방법은 생성된 이미지가 프리뷰 목적을 위한(예를 들어, 도 1에서의 프리뷰 화면(170)에 표시하기 위한) 경우와 같이, 이미지와 함께 생성된 노이즈가 허용가능한 어플리케이션에서 선택적으로 구현된다. 후술되는 도 4는 또한 프리뷰 이미지의 생성에 대한 방법에 관한 것이다.
도 14A 및 14B는 하나 이상의 예시적인 실시예와 관련하여 상이한 시야 심도를 갖는 이미지를 계산하는 방법을 도시한 것이다. 도 14A는 재포커싱으로 계산된 이미지 및 클로즈업을 도시한 것이다. 클로즈업의 정면은 얕은 시야 심도로 인해 흐릿하다는 것을 알기 바란다. 도 14B의 가운데 줄은 앞 단락에서 설명된 것과 같은 확장된 시야 심도 방법으로 계산된 최종 이미지를 도시한 것이다.
도 8은 본 발명의 다른 예시적인 실시예에 따른, 한 이미지 내의 시야 심도를 확장하는 다른 계산 방법의 처리 흐름도이다. 블록(810)에서, 특정 장면 내의 모든 초점 심도에서 재포커싱된 이미지 세트는 재포커싱된다. 블록(820)에서, 각 픽셀에 대해, 가장 높은 로컬 컨트라스트를 갖는 이미지 세트로부터 한 픽셀이 결정된다. 블록(830)에서, 가장 높은 로컬 컨트라스트를 갖는 픽셀은 최종 가상 이미지 내로 모인다. 이 방법으로, 바람직한 신호 대 잡음비(SNR)는 (예를 들어, 마이크로렌즈 어레이 내의 각 마이크로렌즈마다 단일 픽셀(포토센서)을 선택하는 것과 관련하여) 비교적 높은 픽셀 수를 사용하여 얻어질 수 있다. 도 14C를 참조하면, 도시된 예시적인 이미지는 도 8과 관련하여 설명된 것과 유사한 방법을 사용하여 생성되고, 비교적 낮은 이미지 노이즈를 나타낸다.
한 대안적인 실시예에서, 계산하기 위한 재포커싱된 이미지의 최소 세트는 이미지를 위한 광이 가상 필름 평면으로 보내지는 메인 렌즈의 주 평면과 각각의 재포커싱된 이미지를 위한 가상 필름 평면 사이의 거리와 관련하여, 다음과 같이 정해진다. 최소 거리는 메인 렌즈의 초점 길이로 설정되고, 최대 거리는 장면 내의 가장 가까운 물체에 대한 켤레 심도로 설정된다. 각각의 가상 필름 평면 사이의 분리거리는 Δxmf/A 이하인데, 여기에서 Δxm은 마이크로렌즈의 폭이고, f는 메인 렌즈와 마이크로렌즈 어레이 사이의 분리거리이며, A는 렌즈 구경의 폭이다.
다른 예시적인 실시예에서, 재포커싱된 이미지는 임의의 재포커싱된 이미지 세트에서 가장 잘 포커싱되는 픽셀을 보유하기 위해 각각의 최종 픽셀에서 확장된 시야 심도 이미지를 생성하도록 결합된다. 다른 실시예에서, 보유하기 위한 픽셀은 이웃하는 픽셀들과의 가간섭성 및 로컬 컨트라스트를 증강시킴으로써 선택된다. 촬상에 관한 일반 정보를 위해, 그리고 로컬 컨트라스트의 증강을 수반하는 촬상 방법에 관한 특정 정보를 위해, Agarwala, A., Dontcheva, M., Agrawala, M., Drucker, S., Colburn, A., Curless, B., Salesin, D., Cohen, M., Interactive Digital Photomontage, in ACM Transactions on Graphics, 23, 3(2004), 292-300를 참조할 수 있는데, 이것은 여기에서 전적으로 참조로 사용된다.
본 발명의 다른 예시적인 실시예에서, 확장된 시야 심도 이미지는 다음과 같이 계산된다. 각각의 출력 이미지 픽셀에 대해, 재포커싱 계산은 상이한 심도에서 포커싱하기 위해 픽셀에서 실행된다. 각각의 심도에서, 수렴하는 광선의 동질성(homogeneity) 측정이 계산된다. (상대) 최대 동질성을 생성하는 심도는 선택되어, 그 픽셀 값으로 유지된다. 이 방법으로, 이미지 픽셀이 초점이 맞는 경우에, 그 광선 모두는 장면 내의 동일한 점에서 시작되므로, 유사한 컬러 및 농도를 가질 수 있을 것이다.
동질성의 측정이 여러가지 방식으로 정해질 수 있지만, 다수의 어플리케이션에서, 다음과 같은 동질성 측정이 사용되는데: 각 광선의 각 컬러 성분마다, 그 컬러 농도의 제곱 차는 중앙 광선(메인 렌즈의 광축에 가장 가까운 각도에서의 픽셀에 도달하는 광선)의 대응하는 컬러 성분으로부터 계산된다. 모든 이러한 제곱차는 합해지고, 동질성은 합의 역수로 간주된다.
도 34는 본 발명의 다른 예시적인 실시예에 따른, 이미지 내의 시야 심도를 확장하는 처리 흐름도이다. 블록(3410)에서, 픽셀은 계산될 가상 이미지 내에서 선택된다. 블록(3420)에서, 픽셀은 다수의 초점 심도에서 재포커싱되고, 각 심도에서 재포커싱하기 위해 결합되는 광선의 동질성이 계산된다. 블록(3430)에서, 결합되는 광선의 가장 높은 동질성과 관련된 재포커싱된 픽셀 값은 최종 출력 이미지 픽셀 값으로서 보유된다. 모든 픽셀이 처리될 때까지 프로세스는 블록(3440)에서 계속된다.
다른 예시적인 실시예에서, 상기 프로세스는 최종 픽셀 값의 선택이 이웃하는 픽셀 값, 및 이들 픽셀 값을 계산하기 위해 결합되는 관련 광선의 동질성을 고려하도록 적응된다.
본 발명의 다른 예시적인 실시예에서, 시야 심도는 그 방향으로 가장 가까운 물체의 심도에서 각 픽셀을 포커싱함으로써 확장된다. 도 9는 그러한 예시적인 실시예에 따른, 이미지 내의 시야 심도를 확장하는 처리 흐름도이다. 블록(910)에서, 픽셀은 계산될 최종 가상 이미지에서 선택된다. 블록(920)에서, 가장 가까운 물체의 심도는 렌즈의 중심을 통해 장면 내로의 선택된 픽셀로부터 추적된 광선(또는 광선 세트)에 대해 추정된다.
블록(930)에서, 선택된 픽셀의 값은 추정된 심도에서 재포커싱된 이미지에서 계산된다. 추가 픽셀이 블록(940)에서 바람직하게 처리되면, 다른 픽셀이 블록(910)에서 선택되고, 프로세스는 새로 선택된 픽셀에 대해 블록(920)에서 계속된다. 블록(940)에서 바람직하게 처리된 추가 픽셀이 없을 때, 각각의 선택된 픽셀에 대한 계산 값은 최종 가상 이미지를 생성하기 위해 사용된다.
시야 심도의 확장을 수반하는 몇몇 실시예에서, 각 출력 픽셀에서의 값은 렌즈에 더 가까운 물체의 테두리 주위의 "초점번짐(blooming)" 또는 "헤일로(halo)"아티팩트라고 총칭되는 것과 같은 아티팩트를 완화시키거나 제거하기 위해 원하는 물체의 심도보다 더 가까운 심도에서 시작하는 광선을 무시함으로써 계산된다. 예로서, 도 23은 관심있는 피사체(2310) 상의 월드 내의 원하는 초점(2301)을 통과하는 광선 세트를 도시한 것이다. 이들 광선의 일부는 물체(2320)에 의해 메인 렌즈로부터 차단되고, 이들은 광선 센서(2350)에 의해 검출되지만 점(2301)에 대한 이미지 값 계산시에 무시되는 광선(2340)에 대응한다. 몇몇 실시예에서, 무시될 광선은 중앙 광선의 컬러와의 불일치에 의해 검출된다. 몇몇 실시예에서, 결과적인 픽셀 값은 무시되지 않는 광선 부분으로 나눔으로써 정규화된다. 이들 실시예는 시야 심도의 확장에 관한 것을 포함하는 임의의 다른 실시예들 및 이들 실시예와 서로 분리하거나 결합하여 사용될 수 있다.
상술된 바와 같이, 광 데이터는 이미지를 포커싱 및/또는 교정하기 위해 여러가지 예시적인 실시예에 따라 처리된다. 후자의 교정 방법에 대한 여러가지 방법은 다음과 같이 설명된다. 몇몇의 이들 실시예에서, 수차는 광선을 캡처할 때 사용된 광학계(예를 들어, 렌즈 또는 렌즈들)의 실제 광 소자를 통하는 광선을 추적하고, 광을 캡처하는 특정 포토센서에 추적된 광선을 매핑함으로써 교정된다. 광 데이터는 광을 검출하는 센서의 공지된 위치뿐만 아니라 광학계에 의해 드러난 공지된 결함을 사용하여 재배열된다.
한 교정형 실시예에서, 이상화된 광학계를 통해 형성된 것과 같은 각 픽셀에 기여하는 광선의 월드는 합성된 사진의 필름 상의 각 픽셀마다 계산된다. 한 구현에서, 이들 광은 가상 필름 위치로부터 다시 이상적인 광학계를 통해 월드 내로의 광선을 추적함으로써 계산된다. 도 15는 그러한 한가지 예시적인 실시예와 관련하여, 가상 필름 평면(1510) 상의 3D 점(1501)으로부터 이상적인 박막 메인 렌즈(1520)를 통과해서 월드 광선의 콘(1530) 내로의 광선을 추적하는 방법을 나타낸 것이다. 몇몇 구현에서, 원하는 광선 세트(1525)는 실제 렌즈를 통과하는 방향에 반드시 대응하는 것이 아니라, 원하는 이미지 값을 생성하기 위해 가중화되어 합해질 임의의 광선 세트에 대응할 수 있다.
도 16은 다른 예시적인 실시예와 관련하여, 특정 어플리케이션을 위해 이상적인 광선을 따라 이동하는 광의 값을 찾는 방법을 도시한 것이다. 이들 값은 광선이 측정(검출)될 때에 실제 월드 광선을 광선 센서(1640)로 물리적으로 향하게 하기 위해 사용된 구형의 계면을 갖는 단일 소자를 갖는 실제 메인 렌즈(1650)를 통해 원하는 이상적인 월드 광선(1630)을 추적함으로써 계산된다. 이 실시예에서, 이상적으로 단일 3D 점(1601)에 수렴하는 광선이 수렴하지 않아서, 구면 수차라고 하는 구형 계면을 갖는 렌즈 결함을 나타낸다. 광선 센서(1640)는 구면 수차에 대해 교정하기 위해 사용되는 궤도를 벗어난 광선(이를테면, 1651)의 각각에 대해 개별 값을 제공한다.
도 17A-17C는 렌즈 교정의 방법으로 컴퓨터 시뮬레이션을 사용한 예시적인 결과를 나타낸 것이다. 도 17A에서의 이미지는 (완벽한 광학계를 통해 볼 수 있는 바와 같이) 이상적인 512x512 사진이다. 도 17B에서의 이미지는 컨트라스트 및 흐 릿함이 감소된 실제 f/2 양면-볼록 구면 렌즈로 생성될 수 있는 이미지이다. 도 17C에서의 이미지는 512x512 마이크로렌즈의 각각에서 10 x 10 방향 (u,v) 분해능을 용이하게 하는 광학계 및 센서 배열을 사용하는 상술된 이미지 교정 방법을 사용하여 계산된 사진이다.
본 발명의 다른 예시적인 실시예에서, 색 수차는 이미지를 캡처하기 위해 사용된 메인 렌즈에서 교정된다. 색 수차는 광의 파장에 의존하는 물리적 방향 차로 인해 광선이 물리적으로 광학계를 통해 향하게 될 때 광선의 발산에 의해 야기된다. 입사 광은 실제 광학계에서 발생하는 광의 파장-의존 굴절률을 고려하여 실제 광학계를 통해 추적된다. 몇몇 어플리케이션에서, 시스템의 각 컬러 성분은 일차 파장에 기초하여 따로 추적된다.
다른 예시적인 실시예에서, 컬러 촬상 시스템에서 공통적인 적색, 녹색 및 청색 성분의 각각은 도 18A에 도시된 바와 같이 따로 추적된다. 녹색 월드 광선은 녹색 광선(1830)을 생성하기 위해, 그리고 그들이 컬러 광선 센서(1810)와 어디에서 교차하는지 및 그들이 컬러 광선 센서(1810)와 무슨 방향에서 교차하는지 결정하기 위해, 계산적으로 다시 촬상 시스템 내로 추적된다. 이와 유사하게, 도 18B는 녹색 광선보다 큰 범위로 굴절되는 원하는 청색 월드 광선(1820)을 계산적으로 추적하는 것을 나타낸 것이다. 도 18C는 녹색 광선보다 작은 범위로 굴절되는 원하는 적색 월드 광선(1830)을 계산적으로 추적하는 것을 나타낸 것이다. 각 광선의 값은, 예를 들어 여기에서 설명된 다른 예시적인 실시예와 관련하여 설명된 방법을 사용하여 광선 센서(1810)로부터의 값으로부터 계산된다. 각 광선에 대한 광 필드 값은 각각의 특정 필름 픽셀에 대한 교정된 이미지 값을 계산하기 위해 통합된다. 몇몇 어플리케이션의 경우에, 색 수차는 그 파장이 가장 잘 포커싱하게 되는 평면 상에서 각 컬러 채널을 재포커싱함으로써 개선된다.
원하는 광선은 광 센서에 의해 샘플링된 이산 광선 값들 중의 하나로 정확하게 수렴하지 않을 수 있다. 몇몇 실시예에서, 그러한 광선에 사용될 값은 이산 광선 값의 함수로서 계산된다. 몇몇 실시예에서, 이 함수는 원하는 광선의 이웃에 있는 이산 광선 값의 가중화된 합에 대응한다. 몇몇 구현에서, 이 가중화된 합은 선정된 컨벌루션(convolution) 커널 함수와의 이산 샘플 값의 4D 컨벌루션에 대응한다. 다른 구현에서, 가중화는 16개의 가장 가까운 이웃으로부터의 4선형 보간에 대응할 수 있다. 또 다른 구현에서, 가중화는 16개의 가장 가까운 이웃으로부터의 큐빅(cubic) 또는 바이큐빅(bicubic) 보간에 대응할 수 있다.
예시적인 교정 프로세스는 개념적 단순화를 위해 광선-추적과 관련하여 설명되었고; 여러가지 다른 방법이 교정으로 구현된다는 것은 알 만한 가치가 있다. 한 실시예에서, 각각의 원하는 출력 픽셀에 대해, 기여하는 포토센서 값의 세트는 그들의 상대 가중치와 함께 미리 계산된다. 상술된 바와 같이, 이들 가중치는 광학계, 센서, 각 출력 픽셀에 대해 가중화되어 합해질 원하는 광선 세트 및 원하는 광 필드 재구성 필터를 포함할 수 있는 다수의 인자의 특성이다. 이들 가중치는 광선-추적을 선택적으로 사용하여 미리 계산되어, 저장된다. 교정된 이미지는 각 출력 픽셀에 대한 적절한 감지 광 필드 값을 가중화하여 더함으로써 형성된다.
도 29 및 도 30은 상기 교정 방법과 관련하여 사용하기 위한 다른 예시적인 실시예를 나타낸 것이다. 도 29는 광선 센서와 관련된 가중치의 데이터베이스 및 각 광선 센서와 관련된 출력 픽셀 값을 미리 계산하는 처리 흐름도이다. 처음 2개의 블록(2910 및 2920)에서, (예를 들어, 데이터베이스 내의) 데이터 세트는 출력 이미지 픽셀 값을 생성하기 위해 합해질 이상적 월드 광선 세트로 이루어진 (각각의 출력 이미지 픽셀에 대한) 원하는 이미지 형성 프로세스를 위해 수신되고, 광선 센서로 광선을 물리적으로 향하게 하기 위해 사용된 실제 메인 렌즈 광학계에 대한 스펙을 위해 수신된다. 블록(2925)에서, 이미지 픽셀이 선택된다. 이 픽셀의 출력 값에 대해, 관련된 월드 광선 세트는 블록(2930)에서 메인 렌즈 광학계의 가상 표현을 통해 광선 센서로 계산적으로 추적된다. 이것은 출력 픽셀 값을 계산하기 위해 각 광선 센서 값에 적용될 가중치 세트를 초래한다. 이들 값은 블록(2940)에서 출력 데이터베이스 내에 저장된다. 블록(2950)은 모든 픽셀이 처리되었는지 확인하고, 처리되지 않았으면 블록(2925)로 돌아간다. 모든 픽셀이 처리되었으면, 최종 블록(2960)은 계산된 데이터베이스를 저장한다.
도 30은 도 29에서와 같은 프로세스에 의해 계산되어 있을 수 있는 가중치의 데이터베이스를 사용하여 출력 이미지를 계산하는 프로세스의 흐름도이다. 블록(3010 및 3020)에서, 프로세스는 데이터베이스를 수신하고, 데이터베이스 계산시에 사용된 실제 메인 렌즈 광학계로 캡처된 광 센서 값 세트를 수신한다. 블록(3025)에서, 출력 이미지 내의 픽셀은 그 최종 이미지 값이 계산될 수 있도록 선택된다. 선택된 픽셀에 대해, 블록(3030)은 기여하는 광 센서 세트 및 그들의 가중치를 찾기 위해 데이터베이스를 사용한다. 블록(3040)에서, 3020에서 주어진 각 센서 값은 가중화되어, 그 이미지 픽셀 값의 합에 더해진다. 블록(3050)에서, 모든 이미지 픽셀이 처리되었는지 알아보기 위해 확인이 실행된다. 처리되지 않았으면, 프로세스는 블록(3025)으로 돌아가고, 처리되었으면, 블록(3060)에서 출력 이미지는 저장된다.
여러가지 예시적인 실시예에서, 광 데이터는 푸리에 도메인에서 동작하는 재포커싱의 계산 방법에 관한 소정의 방법으로 주파수 도메인에서 처리된다. 도 20은 다른 예시적인 실시예와 관련하여, 그러한 한가지 방법을 나타낸 흐름도이다. 알고리즘으로의 입력은 우리가 메인 렌즈 상의 (u,v)에서 시작하고 마이크로렌즈 평면 상의 (s,t)에서 끝나는(예를 들어, 도 1의 메인 렌즈(110)로부터 시작하여 마이크로렌즈 어레이(120)의 평면에서 끝나는) 광선을 나타내는 L(s,t,u,v)로 칭할 수 있는 이산적인 4D 광 필드(2010)이다. 제1 단계는 광 필드의 이산적인 4D 푸리에 변환(2020)을 계산하는 것이다. (ks, kt, ku, kv)에서의 4D 푸리에 변환 값, 즉 M(ks, kt, ku, kv)는 다음 수학식에 의해 정의된다:
Figure 112007032647801-pct00001
여기에서, exp 함수는 지수 함수, exp(x)=ex이다. 몇몇 실시예에서, 이산 광 필드는 4D 공간 내의 직선 격자 상에 샘플링되고, 푸리에 변환은 고속 푸리에 변환(FFT) 알고리즘으로 계산된다.
우리가 이미지를 재포커싱하고 싶어하는 각 심도마다 한번 실행되는 다음 단 계는 4D 푸리에 변환의 적절한 2D 슬라이스(2030)를 추출하여, 상이한 심도에서 포커싱되는 사진(2040)인 추출된 슬라이스의 역 2D 푸리에 변환을 계산하는 것이다. 함수 G(kx, ky)에 대한 역 2D 푸리에 변환 g(x, y)는 다음 수학식에 의해 정의된다:
Figure 112007032647801-pct00002
추출된 2D 슬라이스의 값은 우리가 재포커싱하기를 원하는 심도에 의해 결정된다. 원하는 월드 초점 평면에 대한 (렌즈의 이미지측 상의) 켤레 평면을 고려하면, 이 켤레 평면과 메인 렌즈 사이의 분리거리가 D이고, 마이크로렌즈 평면과 메인 렌즈 사이의 분리거리가 F일 때, 좌표(kx,ky)에서의 추출된 2D 슬라이스의 값은 다음과 같이 주어진다:
Figure 112007032647801-pct00003
여러가지 방법을 사용하면, 이산화, 재샘플링 및 푸리에 변환으로 비롯된 아티팩트는 선택적으로 개선된다. 일반적인 신호-처리와 관련하여, 우리가 신호를 샘플링할 때, 신호는 이중 도메인에서 주기적으로 반복된다. 우리가 이 샘플링된 신호를 컨벌루션으로 재구성할 때, 신호는 컨벌루션 필터의 푸리에 변환에 의해 이중 도메인에서 곱해진다. 이와 관련하여, 원래의 중앙 레플리카(replica)가 분리되어, 다른 모든 레플리카를 제거한다. 바람직한 필터는 4D sinc 함수인 sinc(s)sinc(t)sinc(u)sinc(v)인데, sinc(x) = sin(πx)/(πx)이지만; 이 함수는 무한 범위를 갖는다.
여러가지 방법에서, 유한-범위 필터는 주파수-도메인 처리와 함께 사용되고; 그러한 필터는 선택적으로 완화되는 결함을 나타낼 수 있다. 도 21A는 특정 1D 필터에 관한 이들 결함을 도시한 것으로, 아래의 대응하는 설명은 완화 또는 그러한 결함에 관한 것이다. 도 21A는 1D에서의 선형 보간으로(또는 4D 4선형 필터를 위한 기초로서) 구현된 삼각 필터 방법을 나타낸다. 도 21B는 대역-제한(2010 참조) 내에서 단위값이 아니고, 주파수가 증가함에 따라 더 작은 소수 값으로 점차 감소하는 삼각 필터 방법의 푸리에 변환을 도시한 것이다. 또한, 필터는 진정한 대역 제한이 아니고, 원하는 정지-대역(2020) 밖의 주파수에서의 에너지를 포함한다.
상술된 제1 결함은 계산된 사진의 경계부의 암화를 초래할 수 있는 "롤오프(rolloff) 아티팩트"를 초래한다. 주파수의 증가에 따른 필터의 주파수 스펙트럼의 감소는 이 스펙트럼에 의해 변조되는 공간 광 필드 값이 또한 에지 쪽의 소수 값으로 "롤 오프"한다는 것을 의미한다.
상술된 제2 결함은 대역 제한 이상의 주파수에서의 에너지에 관련되는 계산된 사진의 앨리어싱(aliasing) 아티팩트를 수반한다. 대역 제한을 넘어 확장되는 비제로 에너지는 주기적인 레플리카가 충분히 제거되지 않아서 2종류의 앨리어싱을 초래한다는 것을 의미한다. 첫째, 슬라이싱 평면과 평행하게 나타나는 레플리카는 최종 사진의 경계부 상에 침입하는 이미지의 2D 레플리카로서 나타난다. 둘째, 이 평면에 수직으로 배치된 레플리카는 이미지 평면 상으로 투영되어 합해져서, 고스팅(ghosting) 및 컨트라스트 손실을 초래한다.
예시적인 실시예에서, 상술된 바와 같은 롤오프형 결함을 위한 교정은 재샘플링동안 도입된 효과를 무효로 하기 위해, 입력 광 필드를 필터의 역 푸리에 변환의 역수로 곱함으로써 제거된다. 이 예시적인 실시예에서, 곱셈은 알고리즘의 사전-처리 단계에서 4D 푸리에 변환을 행하기 이전에 실행된다. 롤오프 에러를 교정하는 동안, 사전-곱셈은 그 경계부 근처의 입력 필드의 에너지를 두드러지게 하여, 앨리어싱과 같은 원하는 시야로 되접어넣는 에너지를 최대화할 수 있다.
앨리어싱 아티팩트를 억제하는 3가지 방법 - 오버샘플링, 상위 필터링 및 제로-패딩(padding) -은 개별적으로 사용되거나, 또는 후술되는 다양한 예시적인 실시예와 결합하여 사용된다. 추출된 2D 슬라이스 내의 오버샘플링은 공간 도메인 내의 반복 주기를 증가시킨다. 이것은 평면내 레플리카의 끝부분에서의 보다 적은 에너지가 최종 사진의 경계부에 속할 것이라는 것을 의미한다. 한 도메인에서의 샘플링 비의 증가는 다른 도메인에서의 시야의 증가를 초래한다. 이웃하는 레플리카로부터의 앨리어싱 에너지는 관심있는 원래의 중앙 이미지를 분리시키기 위해 잘라내 버려지는 이들 외부 영역 내에 속한다.
앨리어싱을 완화시키는 다른 방법은 가능한한 밀접하게 (이상적인 필터의 사용을 통해 나타내질 수 있는 바와 같은) 완벽한 스펙트럼에 가까운 유한-범위 필터에 관한 것이다. 예시적인 실시예에서, 4D 카이저-베셀(Kaiser-Bessel) 분리가능 함수인 kb4(s,t,u,v) = kb(s)kb(t)kb(u)kb(v)가 필터로서 사용되는데, kb(x)는 다음과 같다.
Figure 112007032647801-pct00004
이 수학식에서, I0는 제1 종류의 표준 0차 변경 카이저-베셀 함수이고, W는 원하는 필터의 폭이며, P는 W에 의존하는 파라미터이다. 이 예시적인 실시예에서, W 값은 5, 4.5, 4.0, 3.5, 3.0, 2.5, 2.0 및 1.5이고, P 값은 각각 7.4302, 6.6291, 5.7567, 4.9107, 4.2054, 3.3800, 2.3934 및 1.9980이다. 앨리어싱에 관한 일반 정보를 위해, 그리고 본 발명의 하나 이상의 예시적인 실시예와 관련하여 앨리어싱을 완화시키는 방법에 관한 특정 정보를 위해, Jackson J. I., Meyer C. H., Nishimura, D. G. and Macovski, A., 1997, Selection of convolution function for Fourier inversion using gridding. IEEE Transactions on Medical Imaging, 10, 3, 473-478을 참조할 수 있는데, 이것은 여기에서 전적으로 참조로 사용된다. 한 구현에서, 약 2.5 미만의 폭 "W"는 원하는 이미지 품질을 달성하기 위해 구현된다.
다른 예시적인 실시예에서, 앨리어싱은 사전-곱셈 이전에 0 값의 작은 경계부를 갖는 광 필드를 패딩하고 그 푸리에 변환을 행함으로써 완화된다. 이것은 경계부로부터 약간 더 멀리 밀어서, 롤오프 교정을 위한 사전-곱셈에 의해 앨리어싱 에너지의 증폭을 최소화한다.
도 22는 본 발명의 다른 예시적인 실시예에 따른, 상술된 다양한 교정을 사용하여 주파수 도메인에서 재포커싱하는 방법을 나타낸 흐름도이다. 블록(2210)에 서, 이산 4D 광 필드가 수신된다. 입력 광 필드 당 한번 발생하는 사전-처리 단계에서, 블록(2215)은 앨리어싱 감소가 요구되는지 확인하고, 요구된다면, 0 값의 작은 경계부(예를 들어, 그 차원에서의 폭의 5%)를 갖는 광 필드를 패딩하는 블록(2220)을 실행한다. 블록(2225)에서, 롤오프 교정이 요구되는지 결정하기 위해 확인이 행해지고, 요구된다면, 광 필드는 재샘플링 필터의 푸리에 변환의 역수에 의해 블록(2230)에서 변조된다. 사전-처리 단계의 최종 블록에서, 광 필드의 4D 푸리에 변환은 블록(2240)에서 계산된다.
원하는 초점 심도 당 한번 발생하는 재포커싱 단계에서, 프로세스는 사용자의 지시를 통해서와 같이, 블록(2250)에서 재포커싱된 이미지의 원하는 초점 심도를 수신한다. 블록(2260)에서, 앨리어싱 감소가 요구되는지 결정하기 위해 확인이 행해진다. 요구되지 않으면, 블록(2270)은 2D 슬라이스의 궤도가 원하는 초점 심도에 대응하는 원하는 4D 재샘플링 필터로 광 필드의 푸리에 변환의 2D 슬라이스를 추출하고; 블록(2275)은 추출된 슬라이스의 역 2D 푸리에 변환을 계산하고, 블록(2290)으로 이동한다. 블록(2260)에서 앨리어싱 감소가 요구되었으면, 블록(2280)으로 이동하여, 원하는 4D 재샘플링 필터 및 오버샘플링(예를 들어, 2차원 각각에서의 2x 오버샘플링)으로 2D 슬라이스가 추출된다. 블록(2283)에서, 슬라이스의 역 2D 푸리에 변환이 계산되고, 결과적인 이미지는 블록(2286)에서 오버샘플링하지 않고 원래의 크기로 잘라지고, 그후 프로세스는 블록(2290)으로 이동한다. 블록(2290)에서, 재포커싱이 완료되는지 결정하기 위해 확인이 행해진다. 완료되지 않으면, 다른 초점 심도가 블록(2250)에서 선택되고, 프로세스는 상술된 바와 같이 진행한다. 재포커싱이 완료되면, 프로세스는 블록(2295)에서 나간다.
이 주파수-도메인 알고리즘의 점근선 계산 복잡도는 상기 대안적인 실시예에서 설명된 바와 같이 광선을 명시적으로 합하여 재포커싱하는 것보다 덜하다. 입력 입사 광 필드가 그 4차원의 각각에서 N개의 샘플을 갖는다고 하자. 그러면, 광선을 명시적으로 합하는 알고리즘의 계산 복잡도는 각각의 새로운 심도에서의 재포커싱에 대해 O(N4)이다. 주파수-도메인 알고리즘의 계산 복잡도는 각각의 새로운 심도에서의 재포커싱에 대해 O(N2log N)인데, 역 2D 푸리에 변환의 희생에 의해 좌우된다. 그러나, 사전-처리 단계는 각각의 새로운 광 필드 데이터세트에 대해 O(N4log N)을 필요로 한다.
다른 예시적인 실시예에서, 캡처된 광선은 선택적으로 필터된다. 그러한 어플리케이션에 제한되지 않지만, 그러한 필터의 몇몇 예는 ND(neutral density: 중성 농도) 필터, 컬러 필터, 편광 필터이다. 현재 존재하거나 장래 개발될 수 있는 임의의 필터는 광선의 원하는 필터링을 실행하기 위해 사용될 수 있다. 한 구현에서, 광선은 각 그룹 또는 개별 광선이 서로 다르게 필터되도록 그룹으로 또는 개별적으로 광학적으로 필터된다. 다른 구현에서, 필터링은 메인 렌즈에 부착된 공간-변화 필터의 사용에 의해 적용된다. 한가지 예시적인 어플리케이션에서, ND 경사도 필터와 같은 경사도 필터는 광을 필터하기 위해 사용된다. 다른 구현에서, 공간적으로 변화하는 필터는 광선 센서, 마이크로렌즈 어레이 또는 포토센서 어레이 중의 하나 이상의 앞에서 사용된다. 예로서 도 1을 참조하면, 하나 이상의 그러한 필터는 메인 렌즈(110), 마이크로렌즈 어레이(120) 및 포토센서 어레이(130) 중의 하나 이상의 앞에 선택적으로 배치된다.
본 발명의 다른 예시적인 실시예에서, 프로세서와 같은 계산 컴포넌트는 출력 픽셀 값에 대한 원하는 네트(net) 필터링을 실행하기 위해 출력 픽셀 계산시에 결합하기 위한 광선을 선택적으로 선정하도록 프로그램된다. 예로서, 메인 렌즈에서 광 중성 경사도 농도 필터를 수반하는 실시예를 고려하면, 마이크로렌즈 아래에 나타나는 렌즈 구경의 각각의 이미지는 그 범위 전역에서의 필터 경사도에 의해 가중화된다. 한 구현에서, 출력 이미지는 그 출력 이미지 픽셀을 위한 중성-농도 필터링의 원하는 레벨에 일치하는 경사도 점에서 각 마이크로렌즈 아래의 포토센서를 선택함으로써 계산된다. 예를 들어, 모든 픽셀이 대부분 필터링되는 이미지를 생성하기 위해, 모든 픽셀 값은 최대 필터링에 대응하는 경사도의 맨끝에 있는 대응하는 마이크로렌즈 아래의 포토센서 값으로 설정된다.
도 2는 본 발명의 다른 예시적인 실시예와 관련하여 이미지를 처리하는 방법을 도시한 데이터 흐름도이다. 이미지 센서 장치(210)은, 예를 들어 도 1에 도시되고 앞에서 설명된 마이크로렌즈 어레이(120) 및 포토센서 어레이(130)와 유사한 방식으로 마이크로렌즈/포토센서 칩 장치(212)를 사용하여 이미지 데이터를 수집한다. 이미지 센서 장치(210)는 수집된 이미지 데이터를 전송할 준비를 하기 위해 소정의 처리 회로를 포함하는 집적 처리 회로(214)를 선택적으로 포함한다.
이미지 센서 장치(210)에서 생성된 센서 데이터는 신호 프로세서(220)로 보내진다. 신호 프로세서는 저해상도 이미지 프로세서(222), 및 압축 프로세서(224) 와 광선-방향 프로세서(226) 중의 하나 또는 둘다를 포함하고; 이들 프로세서의 각각은 어플리케이션에 따라서 선택적으로, 따로 또는 기능적으로 공통 프로세서로 구현된다. 더구나, 도 2에 도시된 각각의 프로세서는 다른 도면 또는 명세서에서의 다른 곳과 관련하여 설명된 하나 이상의 처리 함수로 선택적으로 프로그램된다. 신호 프로세서(220)는 공통 회로 상에 및/또는 공통 이미지 장치 내에서와 같이, 이미지 센서 장치(210)를 갖는 공통 장치 또는 컴포넌트에서 선택적으로 구현된다.
저해상도 이미지 프로세서(222)는 뷰파인더(viewfinder) 디스플레이(230)에 보내지는 저해상도 이미지 데이터를 생성하기 위해 이미지 센서 장치(210)로부터 수신된 센서 데이터를 사용한다. 카메라 또는 비디오 카메라 상의 푸시버튼과 같은 입력 장치(25)는 이미지 캡처 요청을 신호 프로세서(220)에 보내서, 예를 들어 뷰파인더 디스플레이(230)에 표시된 특정 이미지의 캡처 요청 및/또는 그렇게 구현된 비디오 촬상을 시작하라는 요청을 한다.
이미지 캡처 요청에 응답하여 또는 그외 다른 지시를 받을 때, 신호 프로세서(220)는 처리된 센서 데이터를 생성하기 위해 이미지 센서 장치(210)에 의해 캡처된 센서 데이터를 사용한다. 몇몇 어플리케이션에서, 압축 프로세서(224)는 데이터 저장 장치(240)(예를 들어, 메모리)로 전송하기 위한 압축된 미가공 데이터를 생성하기 위해 구현된다. 그 다음, 그러한 미가공 데이터는 더 아래에서 설명되는 광선-방향 프로세서(226)로 구현된 것과 같은 광선-방향 처리를 구현하는 다른 처리 장치 또는 외부 장치(260), 및/또는 신호 프로세서(220)에서 선택적으로 처리된다.
소정의 어플리케이션에서, 광선-방향 프로세서(226)는 포커싱 및/또는 교정된 이미지 데이터 생성시에 사용하기 위한 센서 데이터를 재배열하기 위해 신호 프로세서(220)에서 수신된 센서 데이터를 처리하도록 구현된다. 광선-방향 프로세서(226)는 이미지 센서 장치(210)로부터 수신된 센서 데이터 및 데이터 저장 장치(240)로 보내진 미가공 데이터 중의 하나 또는 둘다를 사용한다. 이들 어플리케이션에서, 광선-방향 프로세서(226)는 이미지 센서 장치(210)가 마이크로렌즈/포토센서 칩(212)으로 감지된 광선의 재배열을 결정하도록 구현되는 특정 촬상 장치(예를 들어, 카메라, 비디오 카메라 또는 이동 전화)의 광선-매핑 특성을 사용한다. 광선-방향 프로세서(226)로 생성된 이미지 데이터는 이미지 데이터를 스트림하거나 그렇지 않으면 원격 위치로 이미지 데이터를 보내는 것과 같은 여러가지 어플리케이션에서 사용하기 위해 데이터 저장 장치(240) 및/또는 통신 링크(250)로 보내진다.
몇몇 어플리케이션에서, 집적 처리 회로(214)는, 예를 들어 CMOS형 프로세서 또는 적절한 기능을 갖는 다른 프로세서를 구현함으로써 신호 프로세서(220)의 처리 기능의 일부 또는 전부를 포함한다. 예를 들어, 저해상도 이미지 프로세서(222)는 집적 처리 회로(214)와 함께 선택적으로 포함되는데, 저해상도 이미지 데이터는 이미지 센서 장치(210)로부터 뷰파인더 디스플레이(230)로 직접 보내진다. 이와 유사하게, 압축 프로세서(224) 또는 이와 유사한 기능은 집적 처리 회로(214)로 선택적으로 구현된다.
몇몇 어플리케이션에서, 최종 이미지의 계산은 (예를 들어, 최종 이미지만을 출력하는 몇몇 디지털 스틸 카메라 내의) 집적 처리 회로(214) 상에서 실행될 수 있다. 다른 어플리케이션에서, 이미지 센서 장치(210)는 미가공 광선 데이터 또는 이들 데이터의 압축 버전을 데스크탑 컴퓨터와 같은 외부 계산 장치로 단순히 전송할 수 있다. 그 다음, 이들 데이터로부터의 최종 이미지의 계산은 외부 장치 상에서 실행된다.
도 3은 본 발명의 다른 예시적인 실시예에 따른, 이미지 데이터를 처리하는 방법의 흐름도이다. 블록(310)에서, 이미지 데이터는 도 1에 도시된 것과 같은 마이크로렌즈/포토센서 어레이를 갖는 렌즈 스택 또는 메인 렌즈를 사용하여 카메라 또는 다른 촬상 장치에서 캡처된다. 블록(320)에서 프리뷰 이미지가 요구되면, 블록(330)에서 프리뷰 이미지는, 예를 들어 뷰파인더 또는 다른 유형의 디스플레이를 사용하여 생성된다. 프리뷰 이미지는 캡처된 이미지 데이터의 서브셋을 사용하여, 예를 들어 카메라 또는 비디오 카메라의 뷰파인더에서 표시된다.
포토센서 어레이로부터의 미가공 데이터는 블록(340)에서 사용을 위해 처리되어 압축된다. 광선 데이터는 블록(350)에서 처리되어 압축된 데이터로부터 추출된다. 이 추출은, 예를 들어 포토센서 어레이 내의 특정 포토센서 상에 입사되는 광선 다발 또는 세트의 검출을 수반한다. 광선 매핑 데이터는 이미지 데이터가 캡처되는 촬상 배열을 찾기 위해 블록(360)에서 검색된다. 광선-매핑 데이터 및 추출된 광선 데이터는 블록(370)에서 재분류된 이미지를 합성하기 위해 사용된다. 예를 들어, 추출, 매핑 및 합성 블록(350-370)은 광선이 모아진 장면의 특정 픽셀에 대한 광선 다발을 결정하고, 그 특정 픽셀의 값을 합성하기 위해 광선의 에너지 를 통합함으로써 선택적으로 구현된다. 몇몇 어플리케이션에서, 광선 매핑 데이터는 이미지 데이터를 획득하기 위해 사용된 실제 렌즈를 통해 각각의 특정 픽셀에 대한 광선을 추적하기 위해 사용된다. 예를 들어, 블록(370)에서 특정 초점 심도에서 선택된 피사체에 포커싱하기 위해 함께 추가하기 위한 적절한 광선 세트를 결정함으로써, 광선은 포커싱된 이미지에 도달하도록 재분류될 수 있다. 이와 유사하게, 촬상 장치에서의 렌즈 수차와 같은 조건으로 인해 교정하기 위한 적절한 광선 배열을 결정함으로써, 광선은 수차 또는 다른 조건에 관련된 특성이 비교적 없는 이미지를 생성하기 위해 재분류될 수 있다.
여러가지 방법은 카메라형 및 다른 어플리케이션을 위한 프리뷰 이미지를 생성하기 위해 선택적으로 사용된다. 도 4는 본 발명의 다른 예시적인 실시예에 따른, 그러한 프리뷰 이미지를 생성하기 위한 처리 흐름도이다. 도 4에 도시되고 아래 설명되는 방법은, 예를 들어 도 3의 블록(330)에서의 프리뷰 이미지의 생성과 관련하여 구현될 수 있다.
미가공 센서 이미지 데이터와 함께 프리뷰 명령어가 블록(410)에서 수신된다. 블록(420)에서, 중앙 픽셀은 미가공 센서 이미지 데이터 내의 각 마이크로렌즈 이미지로부터 선택된다. 선택된 중앙 픽셀은 블록(430)에서 높은 시야 심도를 형성하기 위해 수집된다. 블록(440)에서, 높은 시야 심도 이미지는 뷰파인더 디스플레이에서 사용할 수 있는 해상도로 다운샘플링된다. 예로서 도 2를 참조하면, 그러한 다운샘플링은 하나 이상의 이미지 센서 장치(210) 또는 신호 프로세서(220)에서 선택적으로 실행된다. 생성된 프리뷰 이미지 데이터는 블록(450)에서 뷰파인 더 디스플레이로 보내지고, 블록(460)에서 뷰파인더는 프리뷰 이미지 데이터로 이미지를 표시한다.
도 5는 본 발명의 다른 예시적인 실시예에 따른, 이미지 데이터를 처리하고 압축하는 처리 흐름도이다. 도 5에 도시되고 아래 설명되는 방법은, 예를 들어 도 3의 블록(340)에서의 이미지 데이터의 처리 및 압축과 관련하여 구현될 수 있다. 도 2에 도시된 장치로 구현되었을 때, 도 5에 도시된 방법은, 예를 들어 이미지 센서 장치(210) 및 신호 프로세서(220) 중의 하나 또는 둘다에서 구현될 수 있다.
블록(510)에서, 미가공 이미지 데이터는 센서 어레이로부터 수신된다. 블록(520)에서 컬러링이 요구되면, 컬러 필터 어레이 값은 센서에서 컬러를 생성하기 위해 블록(530)에서 디모자이크(demosaic)된다. 블록(540)에서 정류 및 정렬이 요구되면, 마이크로렌즈 이미지는 블록(550)에서 정류되고 포토센서 어레이에 맞춰 정렬된다. 블록(560)에서 보간이 요구되면, 픽셀 값은 블록(570)에서 각 마이크로렌즈와 관련된 정수의 픽셀로 보간된다. 블록(580)에서, 처리된 미가공 이미지 데이터는 압축되어, 합성 처리를 위해(예를 들어, 포커싱 및/또는 교정된 이미지를 형성하기 위해) 나타내진다.
도 6은 본 발명의 다른 예시적인 실시예에 따른, 이미지 합성을 위한 처리 흐름도이다. 도 6에 도시되고 아래 설명되는 방법은, 예를 들어 도 3의 블록(370)에 도시되고 더욱 후술되는 이미지 합성 방법과 관련하여 구현될 수 있다.
블록(610)에서, 미가공 이미지 데이터는 포토센서 어레이로부터 수신된다. 블록(620)에서 재포커싱이 요구되면, 이미지 데이터는, 예를 들어 미가공 이미지 데이터에 의해 나타내진 광을 선택적으로 재분류하기 위해 여기에서 설명된 방법을 사용하여 블록(630)에서 재포커싱된다. 블록(640)에서 이미지 교정이 요구되면, 이미지 데이터는 블록(650)에서 교정된다. 다양한 어플리케이션에서, 블록(650)에서의 이미지 교정은 재포커싱 및 이미지 교정이 요구되는 어플리케이션에서 블록(630)에서의 재포커싱 이전에 또는 그와 동시에 실행된다. 결과적인 이미지는 적용가능한 경우에, 재포커싱되고 교정된 데이터를 포함하는 처리된 이미지 데이터를 사용하여 생성된다.
도 7은 본 발명의 다른 예시적인 실시예에 따른, 렌즈 장치로 이미지 재포커싱을 하기 위한 처리 흐름도이다. 도 7에 도시되고 아래 설명되는 방법은, 예를 들어 도 6의 블록(630)에서의 이미지 데이터의 재포커싱과 관련하여 구현될 수 있다.
블록(710)에서, 이미지 부분을 재포커싱하는 가상 초점 평면이 선택된다. 블록(720)에서, 가상 초점 평면에 대한 가상 이미지의 픽셀이 선택된다. 블록(730)에서 (예를 들어, 렌즈 수차를 위한) 교정이 요구되면, 선택된 픽셀과 각각의 특정 렌즈 위치 사이를 지나가는 가상 광선(또는 가상 광선 세트)의 값이 블록(740)에서 계산된다. 한 어플리케이션에서, 이 계산은 선택된 픽셀에 쏠릴 수 있는 켤레 광선을 계산하고, 렌즈 장치 내의 경로를 통해 그 광선을 추적함으로써 용이하게 된다.
블록(750)에서, 특정 초점 평면의 각 렌즈 위치에 대한 광선(또는 가상 광선 세트) 값의 합은 더해져서 선택된 픽셀의 총값을 결정한다. 몇몇 어플리케이션에 서, 블록(750)에서 더해진 합은 가중화된 합인데, 소정의 광선(또는 광선 세트)은 다른 것보다 큰 가중치가 주어진다. 블록(760)에서 재포커싱하기 위한 추가 픽셀이 있으면, 다른 픽셀이 블록(720)에서 선택되고, 바람직하게 재포커싱되는 픽셀이 더 이상 없을 때까지 프로세스는 계속된다. 픽셀이 재포커싱된 후, 픽셀 데이터는 블록(710)에서 선택된 가상 초점 평면에서 재포커싱된 가상 이미지를 생성하기 위해 블록(770)에서 결합된다. 도 7의 블록(720, 730, 740 및 750)의 일부 또는 전부를 포함하는 재포커싱 방법은 여러가지 어플리케이션을 위한 더욱 특수한 기능을 통해 실행된다.
여기에서 설명된 하나 이상의 예시적인 실시예로 구현된 센서 데이터 처리 회로는 구현에 따라서, 하나 이상의 마이크로프로세서, ASIC(Application Specific Integrated Circuits), DSP(Digital signal processors) 및/또는 프로그램가능 게이트 어레이(예를 들어, 필드 프로그램가능 게이트 어레이(FPGA))를 포함한다. 이와 관련하여, 센서 데이터 처리 회로는 지금 알려져 있거나 나중에 개발되는 임의의 유형 또는 형태의 회로일 수 있다. 예를 들어, 센서 데이터 처리 회로는 원하는 동작/기능/어플리케이션을 구현, 제공 및/또는 실행하기 위해 함께 결합되는 능동 및/또는 수동인 단일 컴포넌트 또는 다수의 컴포넌트(마이크로프로세서, ASIC 및 DSP)를 포함할 수 있다.
다양한 어플리케이션에서, 센서 데이터 처리 회로는 여기에서 설명 및/또는 도시된 특정 방법, 태스크 또는 동작을 구현하는 하나 이상의 어플리케이션, 루틴, 프로그램 및/또는 데이터 구조를 실행한다. 어플리케이션, 루틴 또는 프로그램의 기능은 소정의 어플리케이션에서 선택적으로 결합되거나 분배된다. 몇몇 어플리케이션에서, 어플리케이션, 루틴 또는 프로그램은 지금 알려져 있거나 나중에 개발되는 하나 이상의 여러가지 프로그래밍 언어를 사용하는 센서(또는 다른) 데이터 처리 회로로 구현된다. 그러한 프로그래밍 언어는 본 발명의 하나 이상의 실시양상과 관련하여 선택적으로 구현된, 예를 들어 컴파일되었거나 컴파일되지 않은 코드인 FORTRAN, C, C++,Java 및 BASIC을 포함할 수 있다.
상술된 다양한 실시예는 예시적으로만 제공된 것으로, 본 발명을 제한하는 것으로 해석되어서는 안된다. 상기 설명되고 도시된 것에 기초하여, 본 분야에 숙련된 기술자들은 여기에 도시되고 설명된 예시적인 실시예 및 어플리케이션을 엄격하게 따르지 않고 본 발명에 대한 다양한 변형 및 변경이 이루어질 수 있다는 것을 알 수 있을 것이다. 예를 들어, 그러한 변경은 상이한 유형의 어플리케이션에서의 다양한 광 촬상 어플리케이션 및 장치의 구현, 픽셀 당 수집된 광의 수(또는 다른 선택된 이미지 영역)의 증가 또는 감소, 또는 이미지 데이터를 모으거나 다르게 처리하기 위해 설명된 예들과 다른 알고리즘 및/또는 수학식의 구현을 포함할 수 있다. 그 밖의 다른 변경은 극 좌표와 같이, 데카르트 좌표계와 다른 또는 그 이외의 좌표 표현을 사용하는 것을 포함할 수 있다. 그러한 변형 및 변경은 본 발명의 진정한 정신 및 범위를 벗어나지 않는다.

Claims (21)

  1. 장면(scene)을 디지털식으로 촬상하는 방법으로서,
    복수의 포토센서를 가지는 포토센서 어레이를 사용하여 물리 초점 평면 상에 입사하는 광선을 검출하고 이에 따라 포토센서 이미지 데이터를 생성하는 단계 - 상기 복수의 포토센서는 마이크로렌즈 어레이 상에 입사하고 상기 물리 초점 평면 상의 상이한 위치들로 전달되는 장면으로부터 상기 광선을 동시에 검출함 -;
    상기 포토센서 이미지 데이터를 사용하여 상기 물리 초점 평면 상의 상이한 위치들에 입사하는 상기 광선의 입사각을 결정하는 단계; 및
    이미지의 적어도 선택된 부분이 상기 광선의 상이한 부분을 나타내는 상기 포토센서 이미지 데이터의 선택적 조합을 통해 재포커싱되도록, 상기 광선의 입사각에 기초하여 상기 포토센서 이미지 데이터를 선택적으로 결합함으로써 상기 장면에 대응하는 가상 출력 이미지를 생성하는 단계
    를 포함하는 디지털식 촬상 방법.
  2. 제1항에 있어서,
    상기 가상 출력 이미지를 생성하는 단계는 상기 물리 초점 평면과는 상이한 가상 초점 평면에서 적어도 일부분이 포커싱되는 이미지를 형성하는 단계를 포함하는 디지털식 촬상 방법.
  3. 제2항에 있어서,
    상기 가상 출력 이미지를 생성하는 단계는 또한,
    상기 물리 초점 평면과는 상이한 가상 초점 평면에서 포커싱되는 상기 이미지의 적어도 일부분을 구성하는 검출된 광선으로부터 광선들의 세트를 결정하는 단계; 및
    상기 가상 초점 평면에서 포커싱된 상기 출력 이미지의 일부분을 형성하기 위해 상기 결정된 광선들의 세트를 결합하는 단계
    를 포함하는 디지털식 촬상 방법.
  4. 제3항에 있어서,
    상기 결정된 광선들의 세트를 결합하는 단계는, 상기 광을 검출하는 데 사용된 광학계(optics)의 조건들을 교정하는 단계를 포함하는 디지털식 촬상 방법.
  5. 제3항에 있어서,
    상기 결정된 광선들의 세트를 결합하는 단계는, 렌즈 수차를 교정하는 단계를 포함하는 디지털식 촬상 방법.
  6. 장면의 가상 이미지를 생성하기 위한 디지털 촬상 시스템으로서 - 상기 가상 이미지는 복수의 픽셀을 가짐 -,
    상기 장면으로부터 복수의 광선을 포함하는 광을 검출하도록 구성된, 복수의 포토센서를 갖는 포토센서 어레이 - 입사한 상기 광의 검출에 따라 상기 각 포토센서는 광 데이터를 생성하고, 상기 포토센서 어레이는 상이한 입사각으로 물리 초점 평면의 특정 부분에 동시에 도달하는 복수의 광선들의 세트를 검출하도록 더 구성됨 -;
    상기 장면으로부터의 광선을 물리 초점 평면을 통해 상기 포토센서 어레이로 향하게 하도록 구성된, 물리 초점을 갖는 광학계 장치; 및
    상기 물리 초점 평면에 대한 각 포토센서의 위치에 의해 특징지어지는, 상기 각 포토센서에 의해 검출된 상기 광선의 입사각에 기초하여 선택된 포토센서로부터 광 데이터를 결합함으로써 상기 가상 이미지의 각 픽셀의 픽셀값을 계산하는 프로세싱 회로 - 상기 가상 이미지는 상기 물리 초점 및 물리 초점 평면과는 각각 상이한 가상 초점 및 가상 초점 평면을 가짐 -
    를 포함하는 디지털 촬상 시스템.
  7. 제6항에 있어서,
    상기 광학계 장치는 마이크로렌즈 어레이를 포함하고, 상기 마이크로렌즈 어레이는 복수의 마이크로렌즈를 포함하며, 상기 각 마이크로렌즈는 마이크로렌즈 상에 입사하는 광선들을 분리하고, 분리된 광선들을 상기 포토센서 어레이 내의 미리 결정된 복수의 포토센서들로 향하게 하도록 구성된, 디지털 촬상 시스템.
  8. 제7항에 있어서,
    상기 프로세싱 회로는 상기 마이크로렌즈에 대한 각 포토센서의 위치를 이용하여 각 포토센서 상의 광의 입사각을 더 결정하는 디지털 촬상 시스템.
  9. 제6항에 있어서,
    상기 프로세싱 회로는 상기 광선이 퍼져나오는(emanate) 장면 내의 피사체의 초점 심도를 결정하고, 상기 초점 심도 및 상기 입사각을 사용해서, 상기 물리 초점 평면과는 상이한 가상 초점 평면 상에 포커싱되는 상기 가상 이미지를 계산하는 디지털 촬상 시스템.
  10. 제6항에 있어서,
    상기 프로세싱 회로는,
    상기 광을 검출하는 각 포토센서의 위치에 의해 특징지워지는 상기 검출된 광선의 입사각을 결정하고,
    상기 검출된 광선의 입사각을 이용하여 시스템을 통해 검출된 광선의 경로를 매핑하도록 더 구성된,
    디지털 촬상 시스템.
  11. 제6항에 있어서,
    상기 광학계 장치는 복수의 마이크로 렌즈를 갖는 마이크로렌즈 어레이를 포함하고 - 상기 각 마이크로렌즈는 복수의 포토센서와 연관됨 -, 상기 광학계 장치로부터의 광선을 상기 연관된 복수의 포토센서로 향하게 하도록 구성된,
    디지털 촬상 시스템.
  12. 제6항에 있어서,
    상기 가상 초점 평면 상에 가상 초점을 갖는 상기 장면의 가상 이미지를 생성하기 위해, 상기 프로세싱 회로는 가상 초점 평면을 표시하는 데이터와 각 포토센서에 의해 검출된 광선의 입사각에 기초하여 선택된 포토센서로부터의 광 데이터를 결합하도록 구성된,
    디지털 촬상 시스템.
  13. 제6항에 있어서,
    상기 광학계 장치는 상기 장면으로부터의 광을 물리 시야 심도를 가지는 물리 초점 평면 상에 투사하도록 구성되고,
    상기 프로세싱 회로는, 상기 물리 시야 심도와는 상이한 선택된 가상 시야 심도를 갖는 상기 장면의 가상 이미지를 생성하기 위해, 상기 각 포토센서에 의해 검출된 광선의 선택된 가상 시야 심도 및 입사각에 기초하여, 선택된 포토센서로부터의 광 데이터를 결합함으로써 상기 장면의 가상 이미지를 생성하도록 구성된,
    디지털 촬상 시스템.
  14. 제6항에 있어서,
    상기 광학계 장치는 상기 장면으로부터의 광을 물리 시야 심도를 가지는 물리 초점 평면 상에 투사하도록 구성되고,
    상기 프로세싱 회로는, 상기 물리 시야 심도 보다 큰 선택된 가상 시야 심도를 갖는 상기 장면의 가상 이미지를 생성하기 위해, 상기 각 포토센서에 의해 검출된 광선의 선택된 가상 시야 심도 및 입사각에 기초하여, 선택된 포토센서로부터의 광 데이터를 결합함으로써 상기 장면의 가상 이미지를 생성하도록 구성된,
    디지털 촬상 시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020077009919A 2004-10-01 2005-09-30 촬상 장치 및 그 방법 KR101134208B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US61517904P 2004-10-01 2004-10-01
US60/615,179 2004-10-01
US64749205P 2005-01-27 2005-01-27
US60/647,492 2005-01-27
PCT/US2005/035189 WO2006039486A2 (en) 2004-10-01 2005-09-30 Imaging arrangements and methods therefor

Publications (2)

Publication Number Publication Date
KR20070057998A KR20070057998A (ko) 2007-06-07
KR101134208B1 true KR101134208B1 (ko) 2012-04-09

Family

ID=36143078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077009919A KR101134208B1 (ko) 2004-10-01 2005-09-30 촬상 장치 및 그 방법

Country Status (6)

Country Link
US (12) US7936392B2 (ko)
EP (3) EP1795004B1 (ko)
JP (1) JP4752031B2 (ko)
KR (1) KR101134208B1 (ko)
HK (2) HK1105334A1 (ko)
WO (1) WO2006039486A2 (ko)

Families Citing this family (334)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2821533B1 (fr) * 2001-03-01 2004-01-23 Oreal Brosse pour l'application d'un produit sur les fibres keratiniques
US8294999B2 (en) 2003-01-16 2012-10-23 DigitalOptics Corporation International Optics for an extended depth of field
US7773316B2 (en) 2003-01-16 2010-08-10 Tessera International, Inc. Optics for an extended depth of field
KR20050107741A (ko) 2003-01-16 2005-11-15 디-블러 테크놀로지즈 리미티드 이미지 인해스먼트 기능을 가진 카메라
US8406563B2 (en) * 2009-07-28 2013-03-26 National Taiwan University Photometric calibration method and device
DE602005004332T2 (de) 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
WO2006039486A2 (en) 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
CN101142592B (zh) * 2005-03-22 2010-07-07 奥林巴斯株式会社 图像处理装置及内窥镜装置
FR2884338B1 (fr) * 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7723662B2 (en) * 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US8248515B2 (en) 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US8358354B2 (en) * 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
US8014597B1 (en) 2006-03-22 2011-09-06 Woodman Labs Method for efficient compression and decoding of single sensor color image data
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7612805B2 (en) 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
US8155478B2 (en) * 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US7941213B2 (en) 2006-12-28 2011-05-10 Medtronic, Inc. System and method to evaluate electrode position and spacing
JP4264569B2 (ja) 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
CN100585453C (zh) * 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP4306744B2 (ja) 2007-03-01 2009-08-05 ソニー株式会社 生体認証装置
CN101711125B (zh) 2007-04-18 2016-03-16 美敦力公司 针对非荧光镜植入的长期植入性有源固定医疗电子导联
US7782381B2 (en) * 2007-04-23 2010-08-24 Hewlett-Packard Development Company, L.P. Generating an instant review image using fractional readouts
JP5179784B2 (ja) * 2007-06-07 2013-04-10 株式会社ユニバーサルエンターテインメント 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4730347B2 (ja) * 2007-07-03 2011-07-20 ソニー株式会社 撮像装置及び撮像方法
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US8559756B2 (en) * 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
WO2009044776A1 (ja) * 2007-10-02 2009-04-09 Nikon Corporation 受光装置、焦点検出装置および撮像装置
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5067154B2 (ja) * 2007-12-27 2012-11-07 ソニー株式会社 撮像装置
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4941332B2 (ja) 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US7701636B2 (en) 2008-03-06 2010-04-20 Aptina Imaging Corporation Gradient index microlenses and method of formation
JP4900723B2 (ja) * 2008-03-14 2012-03-21 ソニー株式会社 画像処理装置、画像処理プログラムおよび表示装置
US8340751B2 (en) 2008-04-18 2012-12-25 Medtronic, Inc. Method and apparatus for determining tracking a virtual point defined relative to a tracked member
US8839798B2 (en) 2008-04-18 2014-09-23 Medtronic, Inc. System and method for determining sheath location
US8457371B2 (en) 2008-04-18 2013-06-04 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8494608B2 (en) 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
US8532734B2 (en) 2008-04-18 2013-09-10 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8663120B2 (en) 2008-04-18 2014-03-04 Regents Of The University Of Minnesota Method and apparatus for mapping a structure
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
CA2665215C (en) * 2008-05-06 2015-01-06 Intertape Polymer Corp. Edge coatings for tapes
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
US8244058B1 (en) * 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
EP2133726B1 (en) * 2008-06-10 2011-06-01 Thomson Licensing Multi-image capture system with improved depth image resolution
JP4538766B2 (ja) 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
JP5354254B2 (ja) * 2008-08-28 2013-11-27 株式会社ニコン 形状測定装置及び方法、並びにプログラム
JP2010057067A (ja) * 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
JP5369564B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
JP5369563B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
KR101441586B1 (ko) 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
JP5472584B2 (ja) 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8175681B2 (en) 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US9432591B2 (en) 2009-01-05 2016-08-30 Duke University Multiscale optical system having dynamic camera settings
US9635253B2 (en) 2009-01-05 2017-04-25 Duke University Multiscale telescopic imaging system
US10725280B2 (en) 2009-01-05 2020-07-28 Duke University Multiscale telescopic imaging system
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US9494771B2 (en) 2009-01-05 2016-11-15 Duke University Quasi-monocentric-lens-based multi-scale optical system
JP5230456B2 (ja) * 2009-01-09 2013-07-10 キヤノン株式会社 画像処理装置および画像処理方法
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8570427B2 (en) 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
KR101563728B1 (ko) 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
JP4706882B2 (ja) 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
JP5195506B2 (ja) * 2009-02-24 2013-05-08 株式会社ニコン 撮像装置および画像合成方法
KR101599872B1 (ko) * 2009-02-25 2016-03-04 삼성전자주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2010210490A (ja) * 2009-03-11 2010-09-24 Ricoh Co Ltd 移動計測装置及び方法、並びにプログラム
JP4766133B2 (ja) * 2009-03-11 2011-09-07 株式会社ニコン 撮像装置
JP5463718B2 (ja) 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
EP2244484B1 (en) * 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
JP5394814B2 (ja) * 2009-05-01 2014-01-22 三星電子株式会社 光検出素子及び撮像装置
JP5515396B2 (ja) 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
JP5246424B2 (ja) 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
DK2442720T3 (en) 2009-06-17 2016-12-19 3Shape As Focus scan devices
JP5375359B2 (ja) * 2009-06-22 2013-12-25 ソニー株式会社 撮像素子、電荷読み出し方法、撮像装置
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5532741B2 (ja) * 2009-08-19 2014-06-25 株式会社ニコン 撮像装置
US8446934B2 (en) * 2009-08-31 2013-05-21 Texas Instruments Incorporated Frequency diversity and phase rotation
US8494613B2 (en) 2009-08-31 2013-07-23 Medtronic, Inc. Combination localization system
US8494614B2 (en) 2009-08-31 2013-07-23 Regents Of The University Of Minnesota Combination localization system
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
JP4952768B2 (ja) * 2009-10-27 2012-06-13 株式会社ニコン 撮像装置および画像解析コンピュータプログラム
US8355774B2 (en) 2009-10-30 2013-01-15 Medtronic, Inc. System and method to evaluate electrode position and spacing
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5273033B2 (ja) * 2009-12-25 2013-08-28 株式会社ニコン 撮像装置および画像再生装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
EP2588911B1 (en) 2010-04-27 2018-06-06 Duke University Monocentric lens-based multi-scale optical systems and methods of use
KR101158065B1 (ko) * 2010-05-11 2012-06-18 서울과학기술대학교 산학협력단 다중렌즈 어레이를 가지는 공초점 현미경 및 이를 이용한 측정방법
US8358366B1 (en) 2010-05-28 2013-01-22 Adobe Systems Incorporate Methods and apparatus for high-speed digital imaging
JP2016001326A (ja) * 2010-06-16 2016-01-07 株式会社ニコン 画像表示装置
JP6149339B2 (ja) * 2010-06-16 2017-06-21 株式会社ニコン 表示装置
KR20110137700A (ko) * 2010-06-17 2011-12-23 삼성전자주식회사 광학 장치 및 광학장치를 이용한 이미징 장치
JP5506574B2 (ja) * 2010-07-02 2014-05-28 キヤノン株式会社 画像処理装置および方法、プログラム。
JP5593913B2 (ja) * 2010-07-22 2014-09-24 カシオ計算機株式会社 画像生成装置、画像生成プログラム、及び画像生成方法
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8351120B2 (en) * 2010-09-15 2013-01-08 Visera Technologies Company Limited Optical device having extented depth of field and fabrication method thereof
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5672989B2 (ja) * 2010-11-05 2015-02-18 ソニー株式会社 撮像装置
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5699609B2 (ja) 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US8949078B2 (en) * 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
JP2012205111A (ja) * 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
US8531581B2 (en) 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
JP5818514B2 (ja) * 2011-05-27 2015-11-18 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
WO2013007612A1 (en) 2011-07-08 2013-01-17 Carl Zeiss Meditec Ag Light field camera for fundus photography
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP5984096B2 (ja) 2011-08-30 2016-09-06 ディジマーク コーポレイション 物体を識別する方法及び機構
US9325883B2 (en) * 2011-09-09 2016-04-26 Bae Systems Information And Electronic System Integration Inc. Multi field of view imaging system
US20130076966A1 (en) * 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
WO2013043488A1 (en) 2011-09-22 2013-03-28 Eastman Kodak Company Digital imaging system with refocusable imaging mode
DE102011053999B4 (de) 2011-09-28 2018-10-04 SMR Patents S.à.r.l. Kraftfahrzeug mit einem Fahrerassistenzsystem und einem Erfassungssystem
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
US9036059B2 (en) 2011-11-01 2015-05-19 Sony Corporation Imaging apparatus for efficiently generating multiple forms of image data output by an imaging sensor
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US9582083B2 (en) * 2011-12-22 2017-02-28 Apple Inc. Directional light sensors
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
US8941750B2 (en) 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5310837B2 (ja) 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
JP5893412B2 (ja) * 2012-01-13 2016-03-23 キヤノン株式会社 撮像装置およびその制御方法
JP5871625B2 (ja) * 2012-01-13 2016-03-01 キヤノン株式会社 撮像装置、その制御方法および撮像システム
JP5836821B2 (ja) 2012-01-30 2015-12-24 オリンパス株式会社 撮像装置
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
CN104395471B (zh) 2012-02-19 2018-01-16 纳维基因股份有限公司 Ided纳米结构在核酸技术中的用途
JP2013172292A (ja) 2012-02-21 2013-09-02 Sony Corp 撮像装置及び撮像素子アレイ
US9386297B2 (en) 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
JP5882789B2 (ja) * 2012-03-01 2016-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5627622B2 (ja) * 2012-03-15 2014-11-19 株式会社東芝 固体撮像装置および携帯情報端末
JP5459337B2 (ja) 2012-03-21 2014-04-02 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
US8687086B1 (en) 2012-03-30 2014-04-01 Gopro, Inc. On-chip image sensor data compression
US9707892B2 (en) 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
US9550455B2 (en) 2012-04-25 2017-01-24 Gentex Corporation Multi-focus optical system
JP6064040B2 (ja) 2012-05-09 2017-01-18 ライトロ, インコーポレイテッドLytro, Inc. ライトフィールドの取り込み及び操作を改善するための光学系の最適化
KR20130128226A (ko) * 2012-05-16 2013-11-26 엘지전자 주식회사 광학 수단 및 영상 촬영 장치
CN102739945B (zh) * 2012-05-24 2014-09-03 上海理工大学 光场成像装置及方法
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9451147B2 (en) 2012-06-11 2016-09-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP6045208B2 (ja) * 2012-06-13 2016-12-14 オリンパス株式会社 撮像装置
JP5906139B2 (ja) * 2012-06-20 2016-04-20 日本放送協会 補正装置、そのプログラム及び立体撮像システム
JP5938281B2 (ja) * 2012-06-25 2016-06-22 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
JP5370542B1 (ja) 2012-06-28 2013-12-18 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US8817167B2 (en) * 2012-07-13 2014-08-26 Google Inc. Imaging device with a plurality of depths of field
WO2014018584A1 (en) * 2012-07-24 2014-01-30 Trustees Of Boston University Partitioned aperture wavefront imaging method and system
CN104520745B (zh) * 2012-08-06 2016-09-28 富士胶片株式会社 摄像装置
US8958005B1 (en) 2012-08-30 2015-02-17 Google Inc. Single pixel camera
US9036080B2 (en) 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
JP6222908B2 (ja) * 2012-09-11 2017-11-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP5943785B2 (ja) 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6018468B2 (ja) * 2012-09-21 2016-11-02 日本放送協会 奥行き範囲算出装置及びそのプログラム
JP5820794B2 (ja) 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US10044985B1 (en) * 2012-10-19 2018-08-07 Amazon Technologies, Inc. Video monitoring using plenoptic cameras and mirrors
EP2725781B1 (en) * 2012-10-25 2014-06-04 Axis AB Method of setting focus of a digital video camera and a digital video camera doing the same
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
JP2014102119A (ja) * 2012-11-19 2014-06-05 Canon Inc 波面収差測定方法、波面収差測定装置、及び光学系の製造方法
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
TW201426018A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像處理裝置及影像再對焦方法
US20140184861A1 (en) * 2012-12-30 2014-07-03 Todor Georgiev Accurate plenoptic rendering with defocus blur
US9530213B2 (en) * 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US9136300B2 (en) 2013-01-11 2015-09-15 Digimarc Corporation Next generation imaging methods and systems
US9565996B2 (en) 2013-01-18 2017-02-14 Ricoh Company, Ltd. Plenoptic otoscope
US10327627B2 (en) 2013-01-18 2019-06-25 Ricoh Company, Ltd. Use of plenoptic otoscope data for aiding medical diagnosis
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US9217665B2 (en) 2013-01-31 2015-12-22 Hewlett Packard Enterprise Development Lp Viewing-angle imaging using lenslet array
JP6103969B2 (ja) * 2013-02-07 2017-03-29 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP5820831B2 (ja) 2013-02-14 2015-11-24 オリンパス株式会社 撮像装置
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9456141B2 (en) 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US8978984B2 (en) 2013-02-28 2015-03-17 Hand Held Products, Inc. Indicia reading terminals and methods for decoding decodable indicia employing light field imaging
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10057498B1 (en) 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
JP6189061B2 (ja) * 2013-03-19 2017-08-30 株式会社東芝 固体撮像装置
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN105900238B (zh) 2013-05-21 2019-06-11 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
JP2014235657A (ja) * 2013-06-04 2014-12-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
DE102013009634B4 (de) * 2013-06-10 2015-07-30 Technische Universität Dortmund Plenoptisches Bildgebungsverfahren
WO2015005672A1 (en) * 2013-07-09 2015-01-15 Samsung Electronics Co., Ltd. Image generating apparatus and method and non-transitory recordable medium
KR102068748B1 (ko) 2013-07-31 2020-02-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
JP2015041988A (ja) 2013-08-23 2015-03-02 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP6238657B2 (ja) * 2013-09-12 2017-11-29 キヤノン株式会社 画像処理装置及びその制御方法
EP2852149A1 (en) 2013-09-20 2015-03-25 Alcatel Lucent Method and apparatus for generation, processing and delivery of 3D video
CN104580877B (zh) 2013-10-29 2018-03-06 华为技术有限公司 图像获取的装置及方法
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6228300B2 (ja) 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US9538075B2 (en) * 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
US10009549B2 (en) 2014-02-28 2018-06-26 The Board Of Trustees Of The Leland Stanford Junior University Imaging providing ratio pixel intensity
US9525819B2 (en) * 2014-03-07 2016-12-20 Ricoh Company, Ltd. Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP6287437B2 (ja) 2014-03-26 2018-03-07 セイコーエプソン株式会社 プロジェクター
JP6277816B2 (ja) 2014-03-26 2018-02-14 セイコーエプソン株式会社 プロジェクター
JP6360338B2 (ja) * 2014-03-31 2018-07-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US9895057B2 (en) 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
JP6362433B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US9232132B1 (en) 2014-06-10 2016-01-05 Gregory S. Tseytin Light field image processing
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
WO2016003253A1 (en) 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
US9282237B2 (en) 2014-07-17 2016-03-08 Schlage Lock Company Llc Multifocal iris recognition device
US9675430B2 (en) 2014-08-15 2017-06-13 Align Technology, Inc. Confocal imaging apparatus with curved focal surface
DE102014112648A1 (de) * 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
GB2544946B (en) 2014-08-31 2021-03-10 Berestka John Systems and methods for analyzing the eye
WO2016036364A1 (en) * 2014-09-03 2016-03-10 Apple Inc. Plenoptic cameras in manufacturing systems
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
EP3201562A4 (en) 2014-09-29 2018-04-11 Sikorsky Aircraft Corporation Apparatus for detecting corrosion in an article
CN104486537B (zh) * 2014-10-27 2018-09-04 北京智谷技术服务有限公司 光场采集控制方法和装置
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
US10117579B2 (en) 2014-11-14 2018-11-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US9883798B2 (en) 2014-11-14 2018-02-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US9445086B2 (en) * 2014-12-10 2016-09-13 Facebook, Inc. Methods, systems, and apparatus for camera testing using virtual images
JP6376974B2 (ja) * 2014-12-26 2018-08-22 キヤノン株式会社 撮像装置及び撮像システム
US20160241797A1 (en) * 2015-02-17 2016-08-18 Canon Kabushiki Kaisha Devices, systems, and methods for single-shot high-resolution multispectral image acquisition
JP6598473B2 (ja) 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
JP6494333B2 (ja) 2015-03-04 2019-04-03 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
KR102456875B1 (ko) 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
US9824427B2 (en) * 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
CN106161920A (zh) * 2015-04-22 2016-11-23 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
US20160317050A1 (en) * 2015-04-28 2016-11-03 Federico Perego Costa Hemodynamic parameter (Hdp) monitoring system for diagnosis of a health condition of a patient
WO2016191035A1 (en) 2015-05-26 2016-12-01 Lytro, Inc. Capturing light-field images with uneven and/or incomplete angular sampling
EP3112920A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
EP3326019A1 (de) 2015-07-17 2018-05-30 Leica Microsystems CMS GmbH Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
US20170038591A1 (en) * 2015-08-03 2017-02-09 Oculus Vr, Llc Display with a Tunable Pinhole Array for Augmented Reality
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
CN105093472B (zh) 2015-08-25 2017-11-28 华为技术有限公司 成像装置和成像方法
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3157244A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Plenoptic camera and method of controlling the opening of the diaphragm
CA2999595A1 (en) * 2015-10-16 2017-04-20 Novartis Ag Ophthalmic surgery using light-field microscopy
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
US10098529B2 (en) 2015-10-28 2018-10-16 Ricoh Company, Ltd. Optical design of a light field otoscope
JP6028082B2 (ja) * 2015-11-02 2016-11-16 オリンパス株式会社 撮像装置
WO2017077680A1 (ja) * 2015-11-05 2017-05-11 日本電気株式会社 画像処理システム、画像処理方法、および画像処理プログラム記録媒体
CL2015003495A1 (es) 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
WO2016177914A1 (en) * 2015-12-09 2016-11-10 Fotonation Limited Image acquisition system
JP6392742B2 (ja) * 2015-12-14 2018-09-19 日本電信電話株式会社 最適奥行き決定装置、最適奥行き決定方法及びコンピュータプログラム
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
EP3223063A1 (en) 2016-03-24 2017-09-27 Thomson Licensing Device for forming a field intensity pattern in the near zone, from incident electromagnetic waves
EP3223062A1 (en) 2016-03-24 2017-09-27 Thomson Licensing Device for forming at least one focused beam in the near zone, from incident electromagnetic waves
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3264755A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
EP3264759A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
JP2018032982A (ja) 2016-08-24 2018-03-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10270947B2 (en) * 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
US10690898B2 (en) 2016-09-15 2020-06-23 Molecular Devices (Austria) GmbH Light-field microscope with selective-plane illumination
EP3312646A1 (en) 2016-10-21 2018-04-25 Thomson Licensing Device and method for shielding at least one sub-wavelength-scale object from an incident electromagnetic wave
EP3312660A1 (en) 2016-10-21 2018-04-25 Thomson Licensing Device for forming at least one tilted focused beam in the near zone, from incident electromagnetic waves
WO2018097831A1 (en) * 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
EP3548935B1 (en) * 2016-12-05 2024-08-28 Photonic Sensors & Algorithms, S.L. Light field acquisition device
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10296780B2 (en) 2017-03-07 2019-05-21 Ricoh Company, Ltd. Automatic eardrum registration from light field data
US10275644B2 (en) 2017-03-08 2019-04-30 Ricoh Company, Ltd Automatic classification of eardrum shape
JP6786424B2 (ja) * 2017-03-13 2020-11-18 株式会社モリタ製作所 三次元スキャナ
US10412286B2 (en) 2017-03-31 2019-09-10 Westboro Photonics Inc. Multicamera imaging system and method for measuring illumination
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
EP3385219B1 (en) 2017-04-07 2021-07-14 InterDigital CE Patent Holdings Method for manufacturing a device for forming at least one focused beam in a near zone
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
EP3460561A1 (en) 2017-09-26 2019-03-27 Thomson Licensing Device for deviating and focusing light
US10776995B2 (en) 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP6920009B2 (ja) 2018-02-27 2021-08-18 株式会社日立ハイテク 欠陥検出装置、欠陥検出方法および欠陥観察装置
EP3633438A1 (en) 2018-10-01 2020-04-08 InterDigital CE Patent Holdings Inhomogeneous microlens device for near-field focusing, beam forming, and high-efficiency far-field device implementation
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
EP3726827A1 (de) * 2019-04-15 2020-10-21 Siemens Aktiengesellschaft Kamerasensor mit halterung
KR102158324B1 (ko) * 2019-05-07 2020-09-21 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR20220027836A (ko) 2019-06-07 2022-03-08 피씨엠에스 홀딩스, 인크. 분산 애퍼처들에 기초한 라이트 필드 디스플레이들을 위한 광학 방법 및 시스템
EP3990972A1 (en) 2019-06-28 2022-05-04 PCMS Holdings, Inc. Optical method and system for light field (lf) displays based on tunable liquid crystal (lc) diffusers
CN111308690B (zh) * 2019-12-04 2022-04-05 中国科学院大学 一种光场电子内窥设备及其成像方法
CN111796414B (zh) * 2020-08-17 2022-04-15 中国科学院上海天文台 基于恒星间弧长变化的望远镜自动调焦方法
IL303522A (en) * 2020-12-15 2023-08-01 Photonic Sensors & Algorithms S L Light-field optical image system with dual mode
CN113163117A (zh) * 2021-04-20 2021-07-23 电子科技大学 一种光场相机的重聚焦方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121301A (ja) 2001-10-19 2003-04-23 Ofura Kagi Kofun Yugenkoshi カメラのビューポイント及び焦点距離を調べる方法
JP2003289429A (ja) 2002-03-28 2003-10-10 Minolta Co Ltd プログラム
JP2005513833A (ja) 2001-12-18 2005-05-12 ザ ユニバーシティ オブ ロチェスター 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
US3985419A (en) * 1970-10-05 1976-10-12 Canon Kabushiki Kaisha Method of making a synthetic focused image hologram
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS5672575A (en) 1979-11-19 1981-06-16 Toshiba Corp Picture input unit
JPS57161822A (en) 1981-03-31 1982-10-05 Nippon Kogaku Kk <Nikon> Large aperture ratio lens
GB8317407D0 (en) 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4694185A (en) * 1986-04-18 1987-09-15 Eastman Kodak Company Light sensing devices with lenticular pixels
US4920419A (en) 1988-05-31 1990-04-24 Eastman Kodak Company Zoom lens focus control device for film video player
JP3429755B2 (ja) 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
JPH08107194A (ja) * 1994-10-03 1996-04-23 Fuji Photo Optical Co Ltd 固体撮像装置
KR19980702008A (ko) 1995-02-03 1998-07-15 마이클 지. 가브리지 광학 시스템의 필드 심도를 증가시키기 위한 방법 및 장치
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
DE19624421B4 (de) 1995-06-30 2008-07-10 Carl Zeiss Ag Vorrichtung und Verfahren zur ortsaufgelösten Vermessung von Wellenfrontdeformationen
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
JP3753201B2 (ja) * 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
JP2000050141A (ja) 1998-07-30 2000-02-18 Minolta Co Ltd デジタルカメラ
US6577342B1 (en) * 1998-09-25 2003-06-10 Intel Corporation Image sensor with microlens material structure
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
AU4837100A (en) * 1999-05-11 2000-11-21 Microsoft Corporation Rendering method using concentric mosaics images
JP2001177763A (ja) 1999-12-15 2001-06-29 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
US6483535B1 (en) * 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US6460997B1 (en) 2000-05-08 2002-10-08 Alcon Universal Ltd. Apparatus and method for objective measurements of optical systems using wavefront analysis
EP1285304B1 (en) 2000-05-19 2004-08-18 BALOGH, Tibor Method and apparatus for displaying 3d images
JP2002051358A (ja) * 2000-08-03 2002-02-15 Nippon Hoso Kyokai <Nhk> 撮像装置および奥行き検出装置
US7034866B1 (en) * 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
WO2002048755A2 (en) * 2000-12-13 2002-06-20 Zograph, Llc Resolution modulation in microlens image reproduction
US20020114077A1 (en) * 2001-01-23 2002-08-22 Bahram Javidi Integral three-dimensional imaging with digital reconstruction
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US7053953B2 (en) 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
US7817850B2 (en) 2002-06-28 2010-10-19 Nokia Corporation Information terminal
JP4171786B2 (ja) 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
JP3981034B2 (ja) 2003-03-25 2007-09-26 富士フイルム株式会社 カラー画像取得装置およびカラー電子カメラ
US7262771B2 (en) 2003-10-10 2007-08-28 Microsoft Corporation Systems and methods for all-frequency relighting using spherical harmonics and point light distributions
US7119319B2 (en) 2004-04-08 2006-10-10 Canon Kabushiki Kaisha Solid-state image sensing element and its design support method, and image sensing device
JP4487640B2 (ja) 2004-06-01 2010-06-23 ソニー株式会社 撮像装置
US7609302B2 (en) 2004-08-11 2009-10-27 Micron Technology, Inc. Correction of non-uniform sensitivity in an image array
KR100615277B1 (ko) 2004-08-18 2006-08-25 엠텍비젼 주식회사 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
US7336430B2 (en) 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
WO2006039486A2 (en) 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
MY157955A (en) 2005-07-06 2016-08-30 Hoffmann La Roche Detection of a target antigen irrespective of the presence or absence of a corresponding therapeutic antibody
US7796180B2 (en) 2005-08-03 2010-09-14 Aptina Imaging Corporation Method for calculating circular symmetrical microlens/color filter array shift
US7409149B2 (en) 2005-11-03 2008-08-05 International Business Machines Corporation Methods for improved autofocus in digital imaging systems
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003121301A (ja) 2001-10-19 2003-04-23 Ofura Kagi Kofun Yugenkoshi カメラのビューポイント及び焦点距離を調べる方法
JP2005513833A (ja) 2001-12-18 2005-05-12 ザ ユニバーシティ オブ ロチェスター 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像
JP2003289429A (ja) 2002-03-28 2003-10-10 Minolta Co Ltd プログラム

Also Published As

Publication number Publication date
US8717489B2 (en) 2014-05-06
EP2398224B1 (en) 2016-01-13
US9807287B2 (en) 2017-10-31
EP1795004B1 (en) 2015-02-25
US20070252074A1 (en) 2007-11-01
US8698944B2 (en) 2014-04-15
US20140049663A1 (en) 2014-02-20
US20120300097A1 (en) 2012-11-29
WO2006039486A3 (en) 2007-02-01
EP2398224A1 (en) 2011-12-21
JP4752031B2 (ja) 2011-08-17
US20150156402A1 (en) 2015-06-04
JP2008515110A (ja) 2008-05-08
US9479685B2 (en) 2016-10-25
EP1795004A2 (en) 2007-06-13
US7936392B2 (en) 2011-05-03
US8648958B2 (en) 2014-02-11
US20150326848A1 (en) 2015-11-12
US8395696B2 (en) 2013-03-12
EP1795004A4 (en) 2009-07-15
HK1163995A1 (en) 2012-09-14
KR20070057998A (ko) 2007-06-07
US8866957B2 (en) 2014-10-21
US8953064B1 (en) 2015-02-10
US20140204184A1 (en) 2014-07-24
US20150029388A1 (en) 2015-01-29
WO2006039486A8 (en) 2006-06-01
HK1105334A1 (en) 2008-02-06
US8358367B2 (en) 2013-01-22
WO2006039486A2 (en) 2006-04-13
US9100557B2 (en) 2015-08-04
US8547475B2 (en) 2013-10-01
US20130169855A1 (en) 2013-07-04
EP2398223A1 (en) 2011-12-21
EP2398223B1 (en) 2014-03-19
US20130033626A1 (en) 2013-02-07
US20140028892A1 (en) 2014-01-30
US20120019711A1 (en) 2012-01-26
US20120019712A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101134208B1 (ko) 촬상 장치 및 그 방법
CN100556076C (zh) 成像装置及其方法
US8582820B2 (en) Coded aperture camera with adaptive image processing
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
US8305485B2 (en) Digital camera with coded aperture rangefinder
US8773550B2 (en) Range measurement using multiple coded apertures
US8358354B2 (en) Correction of optical abberations
US20110267507A1 (en) Range measurement using a zoom camera
Green et al. Multi-aperture photography
US20090128669A1 (en) Correction of optical aberrations
US20190075233A1 (en) Extended or full-density phase-detection autofocus control
JP2018509616A (ja) 画像システムとその使用方法
KR20190089922A (ko) 광학 시스템 수차들의 디지털 보정
CN102112846A (zh) 摄像设备及其距离运算方法和聚焦图像获得方法
JP6531848B2 (ja) プレノプティック撮像システム用のリアルタイムカラープレビュー生成
JP2018088587A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20070430

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20100716

Comment text: Request for Examination of Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110916

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120315

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120330

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120330

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee