KR20160064021A - 발광 디바이스를 포함하는 플렌옵틱 카메라 - Google Patents

발광 디바이스를 포함하는 플렌옵틱 카메라 Download PDF

Info

Publication number
KR20160064021A
KR20160064021A KR1020150166377A KR20150166377A KR20160064021A KR 20160064021 A KR20160064021 A KR 20160064021A KR 1020150166377 A KR1020150166377 A KR 1020150166377A KR 20150166377 A KR20150166377 A KR 20150166377A KR 20160064021 A KR20160064021 A KR 20160064021A
Authority
KR
South Korea
Prior art keywords
light emitting
emitting device
photosensor array
photosensors
camera
Prior art date
Application number
KR1020150166377A
Other languages
English (en)
Other versions
KR102432789B1 (ko
Inventor
팔터 드라칙
모즈데 세이피
노이스 자바터
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160064021A publication Critical patent/KR20160064021A/ko
Application granted granted Critical
Publication of KR102432789B1 publication Critical patent/KR102432789B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H04N5/2254—
    • H04N5/2256—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

플렌옵틱 카메라 (2) 는 카메라 렌즈 (10), 복수의 마이크로렌즈들 (111, 112, 11n) 을 포함하는 렌즈릿 어레이 (11), 및 포토센서 어레이 (13) 를 포함한다. 서브이미지들의 기준 픽셀들을 결정하기 위해, 카메라 렌즈 (10) 는 카메라 렌즈 (10) 의 구경 조리개 평면에 배열된 발광 디바이스 (20) 를 포함하고, 발광 디바이스 (20) 는 상기 포토센서 어레이 (13) 를 조명한다.

Description

발광 디바이스를 포함하는 플렌옵틱 카메라{PLENOPTIC CAMERA COMPRISING A LIGHT EMITTING DEVICE}
본 개시물은 플렌옵틱 카메라 및 라이트 필드 획득 디바이스들 및 방법의 분야에 관한 것이다. 본 개시물은 또한 플렌옵틱 카메라를 캘리브레이션하는 분야에 관한 것이다.
배경 기술에 따르면, 라이트 필드 카메라로 또한 지칭되는 플렌옵틱 카메라를 이용하여 동일 장면의 상이한 뷰들을 획득하는 것이 알려져 있다. 도 1 은 종래 기술에 따른 이러한 플렌옵틱 카메라 (1) 를 예시한다. 플렌옵틱 카메라 (1) 는 이미지 센서 어레이 (13) 로 또한 지칭되는 포토센서 어레이 (13) 와 연관된 렌즈 배열체로 구성된다. 포토센서 어레이 (13) 는 X 개의 컬럼들 및 Y 개의 라인들의 그리드의 형태로 배열된 (m 은 X 곱하기 Y에 대응함) 많은 수 (m) 의 포토센서들 (131, 132, 133 내지 1m) 을 포함한다. 컬러 필터 어레이 (CFA)(12) 는 포토센서 어레이 (13) 상에 배열된다. CFA (12) 는 통상적으로 포토센서 어레이 상에 RGB (적색, 녹색 및 청색) 컬러 필터들을 배열하며, RGB 배열체는 예를 들어, 베이어 필터 모자이크 (Bayer filter mosaic) 의 형태를 취한다. 통상적으로, 하나의 컬러 필터 (적색, 녹색 또는 청색 필터) 는 베이어 필터의 예에서 50 % 녹색, 25 % 적색 및 25 % 청색을 포함하는 미리 정해진 패턴에 따라 하나의 포토센서와 연관되며, 이러한 패턴은 RGBG, GRGB 또는 RGGB 패턴이라 또한 지칭된다. 렌즈 배열체는 메인 렌즈로 또한 지칭되는 프라이머리 렌즈 (10), 및 복수의 n 개의 마이크로렌즈들 (111, 112, 1n) (n 은 2 보다 크거나 같은 양의 정수임) 을 포함하는 렌즈릿 (lenslet) 어레이 (11) 를 포함한다. 마이크로렌즈들 (111, 112, 1n) 은 복수의 포토센서들과 광학적으로 각각 연관되도록 하는 방식으로 배열된다. 하나의 마이크로렌즈와 광학적으로 연관된 포토센서들의 수는 플렌옵틱 카메라 (1) 로 획득되는 장면의 뷰들의 수에 대응한다. 주어진 마이크로렌즈와 연관된 포토센서들은 마이크로렌즈 마이크로-이미지를 형성한다. 상이한 뷰들을 획득하기 위하여, 미가공 이미지 (즉, 포토센서 어레이 (13) 로 획득된 컬러 센서 데이터) 가 디모자이크 및 디멀티플렉싱된다. 플렌옵틱 이미지로 획득된 미가공 이미지는 오직 하나의 컬러 성분 (예를 들어, R, G 또는 B) 만을 각각의 픽셀과 연관시키지만, 디모자이크는 풀컬러 미가공 이미지를 복구하는 것, 즉, 미가공 이미지의 픽셀들에 대한 풀컬러 정보 (예를 들어, RGB 정보, RGB 는 "적색 (Red)", "녹색 (Green)" 및 "청색 (Blue)" 을 상징함) 를 복구하는 것을 가능하게 한다. 디모자이크 후에 수행된 디멀티플렉싱은 장면의 상이한 뷰들을 복구하는 것, 즉 이들이 속하는 뷰에 따라 디모자이크된 미가공 이미지의 픽셀들을 그룹화하는 것을 가능하게 한다.
장면의 상이한 뷰들을 복구하기 위해, 플렌옵틱 카메라로 획득된 미가공 이미지를 캘리브레이션하는 것이 필요하다. 이 캘리브레이션의 주요 목적은 플렌옵틱 카메라의 포토센서 어레이 상에 형성된 각각의 마이크로렌즈 마이크로-이미지의 중심점 위치들을 식별하는 것이다. 여러 문제들로 인하여, 중심점 위치의 식별에 관련된 프로세스는 이들 중심 픽셀들과 광학적으로 결합되도록 제안되는 메인 렌즈 서브-어퍼쳐의 단일 위치와 포토센서 어레이 위의 모든 추정된 중심점들 사이에 미스매치들을 일으키는 여러 문제들에 시달린다. 포토센서 어레이에 베이어 타입 컬러 필터 어레이 (CFA) 가 제공되면, 이는 추정 정밀도에 더욱더 영향을 준다. 중심들을 추정하는데 글로벌 최적화가 이용되면, 이러한 최적화는 통상적으로 렌즈릿 어레이에서의 상대적 포지션들과 사이즈에 있어서 개별적인 마이크로렌즈들의 제조 분산을 고려할 수 없다. 또한, 추정된 포지션이 일부 픽셀들/포토센서들 사이의 경계 근방에 떨어지면, 중심의 추정에 모호성이 존재하고: 올바른 픽셀을 선택하기 위한 가장 가까운 정수의 반올림은 마이크로-이미지의 중심 픽셀이 아닌 픽셀을 선택할 큰 확률을 갖는다.
또한, 메인 렌즈가 변화를 겪을 때마다 줌잉 또는 초점맞추기에 있어, 마이크로-이미지 중심들이 다시 추정되어야 한다. 그러한 이유로, 동일한 렌즈 설정들을 가진 플랫 화이트 픽쳐가 취해져야 하고, 그 이미지로부터 뷰들을 디멀티플렉싱하는데 필요한 파라미터들을 취출하는데 최소 자승 최적화 방법이 이용되었다. 이는, 메인 렌즈들이 스냅샷에 대하여 수정될 때마다 시스템을 캘리브레이션하는 것이 편리하지 않기 때문에 불편함을 가져온다. 시스템이 또한 비디오 능력이 있다면, 이는 또한 촬영 동안에 줌잉이 또한 금지되는 것을 의미한다.
본 개시물의 목적은 배경 기술의 단점들 중 적어도 하나를 극복하는 것이다.
본 개시물은 카메라 렌즈, 복수의 마이크로렌즈들을 포함하는 렌즈릿 어레이 및 포토센서 어레이를 포함하는 플렌옵틱 카메라에 관련되며, 여기에서 카메라 렌즈는 카메라 렌즈의 구경 조리개 (aperture stop) 평면에 배열된 발광 디바이스를 포함하고, 발광 디바이스는 포토센서 어레이를 조명한다.
특정 특징에 따르면, 발광 디바이스는 상기 구경 조리개 평면의 중심에 배열된다.
유리하게, 발광 디바이스는 투명성이다.
특정 특징에 따르면, 플렌옵틱 카메라는 상기 카메라 렌즈의 적어도 파라미터의 변화를 검출하기 위한 디바이스를 포함한다.
유리하게, 적어도 파라미터의 변화의 검출은 발광 디바이스에 의해 포토센서 어레이를 조명하는 것을 트리거한다.
다른 특징에 따르면, 발광 디바이스는 적어도 이미지 획득 사이클의 적어도 일부 동안에 포토센서 어레이를 조명한다.
유리하게, 발광 디바이스는 백색광을 방출한다.
특정 특징에 따르면, 발광 디바이스는 적색광, 녹색광, 및 청색광을 연속적으로 방출한다.
다른 특징에 따르면, 발광 디바이스는 발광 다이오드이다.
본 개시물은 또한, 플렌옵틱 카메라를 캘리브레이션하는 방법에 관한 것이며, 플렌옵틱 카메라는 카메라 렌즈, 복수의 마이크로렌즈들을 포함하는 렌즈릿 어레이, 및 포토센서 어레이를 포함하며, 본 방법은:
- 카메라 렌즈의 구경 조리개 평면에 배열된 발광 디바이스로 포토센서 어레이를 조명하는 단계,
- 발광 디바이스에 의해 조명된 포토센서 어레이의 포토센서들을 결정하는 단계,
- 결정된 포토센서들에 따라 플렌옵틱 카메라를 캘리브레이션하는 단계를 포함한다.
유리하게, 본 방법은 카메라 렌즈의 적어도 파라미터의 변화를 검출하는 단계를 더 포함하고, 조명은 검출에 의해 트리거된다.
특정 특징에 따르면, 포토센서 어레이는 적어도 이미지 획득 사이클의 적어도 일부 동안에 조명된다.
다른 특징에 따르면, 결정하는 단계는 포토센서 어레이의 각각의 포토센서에 의해 수광된 광 강도를 측정하는 단계를 포함하고, 결정된 포토센서들은 측정된 광 강도가 최대인 포토센서들에 대응한다.
유리하게, 하나의 포토센서는 렌즈릿 어레이의 각각의 마이크로렌즈에 대하여 결정된다.
특정 특징에 따르면, 각각의 마이크로렌즈에 대하여 결정된 포토센서는 마이크로렌즈와 연관된 마이크로-이미지의 중심 픽셀에 대응한다.
본 발명은 또한 플렌옵틱 카메라를 포함하는 원격통신 디바이스에 관한 것이다.
본 개시물은 보다 잘 이해될 것이며, 다음 설명을 읽을 때 다른 특정 특징들 및 이점들이 드러나며, 이 설명은 첨부된 도면들을 참조한다:
- 도 1 은 배경 기술에 따른 플렌옵틱 카메라를 도시한다.
- 도 2 는 본 원리들의 특정 실시형태에 따른 플렌옵틱 카메라를 도시한다.
- 도 3 은 본 원리들의 특정 실시형태에 따라, 도 2 의 플렌옵틱 카메라의 발광 디바이스에 의해 방출되는 광선 번들을 도시한다.
- 도 4 는 본 원리들의 제 1 특정 실시형태에 따라, 도 2 의 플렌옵틱 카메라의 렌즈릿 어레이의 마이크로렌즈들과 연관된 마이크로-이미지들을 도시한다.
- 도 5 는 본 원리들의 제 2 특정 실시형태에 따라, 도 2 의 플렌옵틱 카메라의 렌즈릿 어레이의 마이크로렌즈들과 연관된 마이크로-이미지들을 도시한다.
- 도 6 은 본 원리들의 특정 실시형태에 따라, 도 2 의 플렌옵틱 카메라를 캘리브레이션하는 방법을 도시한다.
- 도 7 은 본 원리들의 특정 실시형태에 따라, 도 2 의 플렌옵틱 카메라를 포함하는 원격통신 디바이스를 도시한다.
이하 도면을 첨부하여 청구 대상을 설명하며, 여기에서 유사한 도면 부호는 전반에 걸쳐 유사한 요소들을 지칭하는데 이용된다. 다음 설명에서, 설명의 목적으로, 청구 대상의 완전한 이해를 제공하기 위해 다수의 특정 세부사항들이 서술된다. 그러나, 청구 대상은 이들 특정 세부사항들 없이도 실시될 수 있음이 명확하다.
본 원리들의 특정 실시형태에 따르면, 플렌옵틱 카메라의 광학 어셈블리는 광학 어셈블리의 카메라 렌즈 (메인 렌즈 또는 프라이머리 렌즈로 또한 지칭됨) 의 구경 조리개 평면에 배열된 발광 디바이스, 즉, 광원을 포함한다. 발광 디바이스는 플렌옵틱 카메라의 포토센서 어레이를 조명하는 방식으로 배열된다. 간략화를 위하여, 도면은 메인 렌즈를 예시하기 위해 하나의 렌즈만을 예시한다. 메인 렌즈가 수개의 렌즈들의 세트를 포함할 수 있음이 물론 이해될 것이다.
결정된 기간 동안 (예를 들어, 미가공 이미지를 획득하기 위해 요구되는 기간에 대응하는 기간 동안) 발광 디바이스를 이용하여 포토센서 어레이를 조명하는 것은 각각의 마이크로렌즈 아래의 포토센서 어레이의 적어도 하나의 포토센서의 선택을 가능하게 한다. 그 후, 주어진 마이크로렌즈에 대하여 선택된 포토센서는 미가공 이미지의 디모자이크 동안에 상이한 뷰들과 연관된 픽셀들을 수집하기 위해 기준 포토센서 (또는 픽셀) 로서 이용될 수도 있다.
카메라 렌즈의 구경 조리개 평면과 함께, 물리적 디바이스(들)(렌즈(들) 및/또는 다이어프레임) 의 평면은 카메라 렌즈를 통과하는 광의 콘 (cone of light) 을 제한하고 있음을 이해한다. 구경 조리개의 평면은 다이어프레임 (또는 보다 일반적으로 구경 조리개로 지칭됨) 이 카메라 렌즈를 통과하는 광의 콘을 제한하도록 포지셔닝되는 (카메라 렌즈의 설계에 따르는) 결정 평면이다.
도 2 는 본 원리들의 특정 실시형태에 따른 플렌옵틱 카메라 (2) 를 도시한다. 플렌옵틱 카메라는 (광학 어셈블리에 대응하는) 렌즈 유닛 (201) 및 카메라 바디 (202) 를 포함한다.
렌즈 유닛 (201) 은 카메라 바디 (202) 와 연관되도록 유리하게 적응된다. 카메라 바디 (202) 는 복수의 포토센서들 (131, 132, 133 내지 13m) 을 포함하는 포토센서 어레이 (13) 를 포함한다. 각각의 포토센서는 포토센서 어레이로 획득되는 장면의 미가공 이미지의 픽셀에 대응하며, 각각의 픽셀은 장면의 부분 (또한 포인트로 지칭됨) 을 포함한다. 예시의 목적으로, 포토센서 어레이 (13) 는 비교적 적은 수의 포토센서들 (131 내지 13m) 을 갖는 것으로 도시되어 있다. 물론, 포토센서들의 수는 도 2 의 예시로 제한되지 않고 임의의 수의 포토센서들, 예를 들어, 수 천개 또는 수 백만개의 포토센서들로 확장된다. 예를 들어, 12.4 메가픽셀 카메라에서, 픽셀은 포토센서에 대응할 것이다 (예를 들어, 4088 x 3040 픽셀들의 어레이/포토센서들에 대응한다). 컬러 필터 어레이 (CFA)(12) 는 포토센서 어레이 (13) 상에 배열된다. CFA (12) 는 통상적으로 포토센서 어레이 상에 RGB (적색, 녹색 및 청색) 컬러 필터들을 배열하며, RGB 배열체는 예를 들어, 베이어 필터 모자이크 (Bayer filter mosaic) 의 형태를 취한다. 변경예에 따르면, CFA 는 (CFA (12) 에 추가하여, 또는 CFA (12) 를 대신하여) 렌즈릿 어레이 (11) 상에 배열된다. 카메라 바디 (202) 와 렌즈 유닛 (201) 을 연관시키기 위하여, 렌즈 유닛 (201) 은 제 1 부착부를 포함하고 카메라 바디 (202) 는 제 2 부착부를 포함하며, 제 1 및 제 2 부착부들은 양립가능하다. 제 1 및 제 2 부착부들로 인하여, 렌즈 유닛 (201) 이 카메라 바디 (202) 상에 클립핑될 수도 있거나 또는 렌즈 유닛 (201) 이 카메라 바디 (202) 에 나사 고정될 수도 있다. 카메라 바디와 연관되도록 구성된 렌즈 유닛의 이러한 제 1 및 제 2 부착부들의 일 예는 2013년 5월 30일 공개되었던 일본 특허 출원 공개 JP2013-105151A 에서 찾을 수도 있다. 렌즈 유닛 (201) 및 카메라 바디 (202) 가 조립되면, 렌즈 유닛 (201) 및 카메라 바디 (202) 가 장면의 각각의 획득시 장면의 다중 뷰들을 획득하기 위하여 구성된 플렌옵틱 카메라를 형성하는 방식으로, 제 1 및 제 2 부착부들이 구성된다. 이를 위하여, 카메라 바디 (202) 는 또한 n 개의 마이크로렌즈들 (111, 112, 11n) 을 포함하는 렌즈릿 어레이 (11) 를 포함하며, n 은 2 보다 크거나 같은 정수이다. 예시의 목적을 위하여, 렌즈릿 어레이 (11) 는 비교적 적은 수의 마이크로렌즈들을 갖는 것으로 도시되어 있지만, 마이크로렌즈들의 수는 수 천개의 또는 심지어 백만 또는 수 백만개의 마이크로렌즈들까지 확장될 수도 있다. 포토센서 어레이 (13) 의 포토센서들의 그룹은 렌즈릿 어레이 (11) 의 각각의 마이크로렌즈 (111 내지 11n) 와 광학적으로 연관된다. 예를 들어, 렌즈릿 어레이 (11) 의 각각의 마이크로렌즈들 (111 내지 11n) 은 2x1, 4x4 또는 10x10 포토센서들의 어레이에 대응하도록 사이징된다. 마이크로렌즈와 연관된 포토센서들의 그룹 (또는 상기와 달리, 마이크로렌즈 아래의 포토센서들의 그룹) 은 이 마이크로렌즈와 연관된 마이크로-이미지를 형성하고, 포토센서들의 그룹의 각각의 포토센서는 마이크로-이미지의 픽셀을 형성한다. 하나의 단일의 마이크로렌즈와 광학적으로 연관되는 복수의 포토센서들의 각각의 포토센서는 하나의 포지션에 따른 장면의 픽셀을 나타내는 미가공 데이터를 획득 (픽셀들 만큼 많은 시차들의 획득) 할 수 있게 한다. 변형예에 따르면, 렌즈 유닛 (201) 및 카메라 바디 (202) 는 단일의 바디를 형성하고 탈착가능하지 않게 조립된다.
렌즈 유닛 (201) 은 메인 렌즈 또는 프라이머리 렌즈로 또한 지칭되는 카메라 렌즈 (10) 를 포함하며, 이 렌즈는 하나 이상의 렌즈 엘리먼트들로 유리하게 형성되지만, 도 2 에는 명료화의 목적으로 오직 하나의 렌즈 엘리먼트만이 묘사되어 있다. 렌즈 유닛 (201) 은 또한, 카메라 렌즈 (10) 의 구경 조리개 평면에 배열된 발광 디바이스 (LED) 또는 광원 (20) 을 포함한다. LED (20) 는 예를 들어, 레이저, 발광 전자화학 셀 (LEC 또는 LEEC), 백색 발광 다이오드 (WLED), 유기 발광 다이오드 (OLED) 또는 양자점 발광 다이오드 (quantum dot light-emitting diode) 일 수도 있다. WLED 는 예를 들어, RGB (적색, 녹색, 청색) 시스템의 형태를 취할 수도 있고, 여기에서 백색광은 예를 들어, 청색 LED, 녹색 LED 및 적색 LED 를 통합한 LED 시스템을 이용하여 상이한 컬러 광들을 혼합함으로써 획득된다 (멀티-컬러 백색 LED 로 또한 지칭됨). 다른 예에 따르면, WLED 는 인광계 LED, 예를 들어, 백색광을 형성하기 위해 인으로 코팅된 청색 LED일 수도 있다. LED (20) 는 투명 유리판 (21) 에 유리하게 내장된다. 변형예에 따르면, LED (20) 는 임의의 수단에 의해, 예를 들어, 삼각대로 포지션 내에 유지되고, 삼각대의 각각의 브래킷은 (예를 들어, ITO (인듐 주석 산화물) 또는 투명성 셀룰로오스 필름 또는 얇은 실버 육각형상 그리드들로 이루어진) 투명성 재료로 유리하게 형성된다. LED (20) 자체는 유리하게 투명성이며 (예를 들어, TOLED (투명성 유기 발광 다이오드)), 이는 조명하지 않을 때, 광이 LED 에 도달하여 이 광을 통과하게 하는 것, 예를 들어, 85%, 90%, 95% 또는 심지어 그 이상의 광이 LED 에 와서 LED (20) 가 그 광을 통과시키는 것을 의미한다. LED 를 내장한 유리판 또는 LED 를 유지하는 브래킷들은 LED 에 전기를 공급하도록 전기 전도성이고 광학적 투명성인 투명 전도성 필름 (TCF) 으로 유리하게 코팅될 수도 있다. TCF 는 무기 및 유기 재료들 양쪽 모두로부터 형성될 수도 있다. 유기 필름들은 통상적으로, 일반적으로, 인듐 주석 산화물 (ITO), 불소 도핑된 주석 산화물 (FTO), 및 도핑된 아연 산화물의 형태로 투명 전도성 산화물 (TCO) 의 층으로 구성된다. 유기 필름들은 예를 들어, 폴리머들의 네트워크들, 이를 테면, 폴리(3,4-에틸렌디옥시티오펜) 및 그 유도체와 함께, 적외선광에 매우 투명성이도록 제조될 수 있는 카본 나노튜브 네트워크들 및 그라핀으로 이루어진다.
LED (20) 는 카메라 렌즈의 구경 조리개 평면에 배열되고 카메라 렌즈 (10) 의 구명 조리개 평면의 중심에 유리하게 포지셔닝된다. 변형예에 따르면, LED (20) 는 카메라 렌즈 (10) 의 구경 조리개 평면에 배열되지만 구경 조리개 평면의 중심과는 상이한 위치에 배열된다.
LED (20) 는 광을 방출할 때 포토센서 어레이 (13) 를 조명하도록 하는 방식으로 포토센서 어레이 (13) 를 향하여 플렌옵틱 카메라 (2) 의 후방측을 유리하게 대면한다. LED (20) 의 측면 치수는, 마이크로렌즈들 (111 내지 11n) 에 의해 포토센서 어레이 (13) 상의 그 이미지가 하나의 포토센서/픽셀보다 작거나 같도록 또는 하나의 포토센서보다 큰 경우에도 가능한 적어도 최소가 되도록 충분히 유리하게 작다. 그 후, LED (20) 가 포토센서 어레이 (13) 를 향하여 광을 비출 때, 각각의 마이크로렌즈들과 연관된 각각의 마이크로-이미지의 오직 하나의 픽셀만을 조명할 것이며, 이 픽셀은 플렌옵틱 카메라 (2) 로 획득된 미가공 이미지를 디모자이크할 때 포토센서 어레이 (13) 상에 형성된 서브이미지들을 위치시킨 다음, 상이한 뷰들에 대한 픽셀들을 수집하도록 기준 픽셀로서 이용될 수도 있다.
플렌옵틱 카메라 (2) 는 카메라 렌즈 (10) 의 하나 이상의 파라미터들에서의 변화, 예를 들어, 초점을 맞추거나 줌잉할 때 발생하는 초점 거리의 변화 및/또는 카메라 렌즈의 초점 길이의 변화를 검출하기 위하여 구성된 하드웨어 모듈 (203) 을 유리하게 포함한다. 하드웨어 모듈은 또한, 카메라 렌즈 (10) 의 파라미터들 중 적어도 하나에서의 변화가 검출될 때 및/또는 플렌옵틱 카메라 (10) 를 파워업할 때 LED (20) 에 의해 포토센서 어레이 (13) 의 조명을 트리거링하도록 유리하게 구성될 수도 있다. 모듈은 카메라 바디 (202) 에 또는 렌즈 유닛 (201) 에 유리하게 포함될 수도 있다. 모듈은 메모리, 예를 들어, 레지스터들을 포함하는 랜덤 액세스 메모리 또는 RAM (2032) 과 연관된 하나 또는 수 개의 프로세서들 (2031) 을 유리하게 포함한다. 메모리는 카메라 렌즈 (10) 의 파라미터들 중 적어도 하나에서의 변화가 검출될 때 및/또는 플렌옵틱 카메라 (10) 를 파워업할 때 LED (20) 에 의한 조명을 트리거하고/하거나 카메라 렌즈의 파라미터(들)의 변화를 검출하는 방법을 구현하는 알고리즘의 명령들을 저장한다. 변형예에 따르면, 모듈은 타입 FPGA (Field-Programmable Gate Array) 의 프로그래밍가능 논리 회로, 예를 들어, ASIC (Application-Specific Integrated Circuit) 또는 DSP (Digital Signal Processor) 의 형태를 취한다. 모듈은 또한, LED (20) 의 제어에 영향을 주는 파라미터들 (예를 들어, 조명 강도, 조명의 지속 기간) 을 설정하도록 유저 인터페이스를 통하여 유저에 의해 입력된 제어 파라미터들과 같은 데이터를 수신 및 송신하도록 구성되는 인터페이스를 포함할 수도 있다.
도 3 은 본 원리들의 비제한적이고 예시적인 실시형태에 따라 발광 디바이스 (20) 에 의해 방출되는 광선들의 번들 (30) 을 도시한다. 도 3 의 예에 따르면, LED (20) 는 카메라 렌즈의 구경 조리개 평면에서 카메라 렌즈의 광학 중심의 레벨에 위치된다. LED (20) 에 의해 방출되는 광은 점선들 (30) 로 도시된 광의 콘으로 예시된다. 광의 콘 (30) 은 출사 퍼필 (301) 상에 형성된 LED (20) 의 이미지에 대응하는 포인트 (34) 상에 집중하도록 카메라 렌즈의 후방 렌즈 엘리먼트들 (31, 32) 을 통과한다. 후방 렌즈 엘리먼트들 (31 및 32) 은 출사 퍼필 (301) 과 구경 조리개 평면 (300) 사이에 위치된 카메라 렌즈 (10) 의 렌즈 엘리먼트들에 대응한다. 물론, 후방 렌즈 엘리먼트들의 수는 2 로 제한되지 않고 0 보다 크거나 같은 임의의 정수로 확장된다. 명료화를 위하여 LED (20) 에 의해 방출되어 후방 렌즈 엘리먼트들 (31, 32) 을 관통하는 광선들의 일부분 (35) 만이, 즉, 마이크로렌즈 (33) 를 통과하는 광선들이 도 2 에 예시된다. 마이크로렌즈 (33) 를 통과하는 광선들 (35) 의 번들은 점선들로 예시된다. 이들 광선들 (35) 은 포토센서 어레이 (13) 의 하나 또는 수 개의 포토센서들 (334)(예를 들어, 3, 4 또는 5 개의 포토센서들) 상에 유리하게 집중된다. LED (20) 가 카메라 렌즈의 구경 조리개 평면 (300) 에서의 광학 중심의 레벨에 위치될 때, 마이크로렌즈 (33) 와 (또는 마이크로렌즈 아래와) 연관된 마이크로-이미지의 중심 픽셀에 대응하는 포토센서는 마이크로렌즈 (33) 와 연관된 포토센서들 (332, 333, 334, 335, 336, 337, 338) 의 그룹 중에서 최대 광 강도를 수광한다. 수 개의 포토센서들이 광선들 (35) 에 의해 힛팅될 때, 최대 광 강도를 수광하는 포토센서는 마이크로렌즈와 연관된 마이크로-이미지에 대한 기준 포토센서/픽셀인 것으로서 선택된다.
도 4 는 본 원리들의 제 1 특정 실시형태에 따라 렌즈릿 어레이 (11) 의 마이크로렌즈들과 연관된 마이크로-이미지들을 도시한다. 렌즈릿 어레이 (11) 의 마이크로렌즈들의 일부만이, 즉, 마이크로렌즈들 (41, 42, 43, 44, 45, 46, 47 및 48) 이 도 4 에 나타내어진다. 보다 구체적으로, 도 4 는 포토센서 어레이 (13) 의, 렌즈릿 어레이 상으로의 프로젝션 (4) 을 예시하며, 이는 각각의 마이크로렌즈 (41 내지 48) 와 연관된 포토센서 어레이의 포토센서들을 시각화할 수 있게 한다. 주어진 마이크로렌즈와 연관된 포토센서들은 주어진 마이크로렌즈 하에 있는 포토센서들, 즉, 주어진 마이크로렌즈에 의해 커버되는 영역 상에 프로젝션하는 포토센서들에 대응한다. 주어진 마이크로렌즈와 연관된 포토센서들의 그룹의 각각의 포토센서는 마이크로렌즈와 연관된 마이크로-이미지의 픽셀에 대응한다. LED (20) 에 의해 조명되는 포토센서들은 각각의 마이크로렌즈에 대해 블랙 또는 밝은 회색으로 하이라이트된다. 예를 들어, 마이크로렌즈 (41) 와 연관되고 LED (20) 에 의해 조명되는 포토센서들은 포토센서들 (411, 412, 413 및 414) 에 대응한다. LED (20) 에 의해 조명되는 포토센서들 (411 내지 414) 의 그룹 중에서 기준 포토센서를 결정하기 위하여, 각각의 포토센서 (411 내지 414) 에 의해 수광된 광의 양들은 서로 비교되고, 최대 값을 가진 포토센서가, 마이크로렌즈 (41) 와 연관된 마이크로-이미지의 기준 픽셀에 대응하는 기준 포토센서인 것으로서 선택된다. 오직 하나의 포토센서만이 LED 에 의해 조명되면 (예를 들어, 마이크로렌즈들 (42 및 43) 과 각각 연관된 포토센서들 (421 및 431)), 마이크로렌즈에 대한 기준 포토센서는 LED 에 의해 조명되는 단일의 포토센서이다. 각각의 마이크로렌즈 (41 내지 48) 에 대한 기준 포토센서들은 블랙으로 도시된다. 도 4 의 예는 LED (20) 가 카메라 렌즈의 구경 조리개 평면의 광학 중심에 배열된 도 3 의 예시적인 실시형태에 대응한다. 이 예에 따르면, 각각의 마이크로렌즈 (41 내지 48) 에 대해, LED (20) 에 의해 방출되는 최대의 광을 수광하는 포토센서 (상기 각각의 마이크로렌즈와 연관된 마이크로-이미지의 기준 픽셀 또는 기준 포토센서로 지칭됨) 는 이 마이크로렌즈와 연관된 포토센서들의 그룹 중 포토센서의 중심에 대응한다.
각각의 마이크로렌즈와 연관된 각각의 마이크로-이미지의 바운더리들 및 각각의 마이크로-이미지의 기준 픽셀을 알게 됨으로써, 각각의 마이크로-이미지에서의 임의의 픽셀을 수집하고 이를 올바른 뷰들과 연관시키는 것이 가능하다. 실제로, 단일의 스냅샷에서 플렌옵틱 카메라로 획득된 뷰들의 수는 하나의 마이크로렌즈와 연관된 포토센서들의 수에 대응한다. 주어진 뷰를 구축하기 위해서는, 마이크로렌즈와 연관된 각각의 마이크로-이미지에서 올바른 픽셀을 선택하는 것이 필요하다. 디멀티플렉싱으로 지칭되는 이러한 프로세스는 본 원리들의 일 실시형태에 따라 위에 설명된 바와 같이 결정되는 기준 픽셀을 이용하여 수행된다. 디멀티플렉싱 프로세스는 특정 입사각도를 가진 광선을 캡쳐하는 모든 픽셀들이 서브-어퍼쳐라 또한 지칭되는 소위 뷰들을 생성하는 동일한 이미지에 저장되도록 하는 방식으로 미가공 이미지의 픽셀들을 재편성 (reorganizing) 하는 것으로 구성된다. 광선들의 각도 정보는 각각의 마이크로-이미지에서 기준 픽셀의 포지션에 대하여 마이크로-이미지에서의 상대 픽셀 포지션들에 의해 주어진다. 각각의 마이크로렌즈와 연관된 각각의 마이크로-이미지의 기준 픽셀에 관하여 동일한 상대 포지션에서의 각각의 마이크로렌즈하에서의 픽셀들은 동일한 뷰에 속한다. 마이크로렌즈와 연관된 마이크로-이미지의 픽셀들은 예를 들어, R 개의 로우들과 C 개의 컬럼들을 갖는 픽셀들의 그리드를 형성하며, 여기에서 R 및 C 는 정수들이다. 마이크로-이미지의 픽셀들의 좌표들은 픽셀들의 로우의 수 및 컬럼의 수로 주어진다. 마이크로렌즈 (41) 하에서의 마이크로-이미지에 대해, 기준 픽셀 (411) 의 좌표들은 예를 들어, (i,j) 이다. 각각의 마이크로렌즈 하에서의 각각의 마이크로-이미지의 각각의 기준 픽셀에 대해서도 마찬가지이다. 예를 들어, 기준 픽셀 (421) 의 좌표들은 또한 마이크로렌즈 (42) 하에서의 마이크로-이미지에서 또한 (i,j) 이고, 기준 픽셀 (431) 의 좌표들은 또한 마이크로렌즈 (43) 하에서의 마이크로-이미지에서 또한 (i,j) 이며, 픽셀들의 수는 각각의 마이크로-이미지 뿐만 아니라 각각의 마이크로-이미지에서의 로우들 및 컬럼들의 수들 R 및 C 에 대해서도 동일하다. 결정된 뷰를 구축하기 위해, 각각의 마이크로-이미지에서 동일한 좌표들을 갖는 모든 픽셀들이 선택된다. 예를 들어, 동일한 뷰를 지칭하는 픽셀들은 도 4 의 크로스로 식별되었으며, 크로스로 식별된 각각의 픽셀에서의 좌표들은 각각의 마이크로-이미지의 기준 픽셀의 좌표들 (i,j) 에 관하여 각각의 이미지에서 (i+3,j+3) 이다.
마이크로-이미지들의 바운더리들은 예를 들어, 백색 장면 또는 회색 균일한 장면을 획득함으로써 결정된다. 마이크로-이미지들은 마이크로렌즈들의 분포와 동일한 분포를 갖는다. 백색 또는 회색 장면의 이미지를 획득함으로써, 마이크로렌즈 하에서의 픽셀들은 마이크로렌즈들 하에 위치되지 않은 픽셀들보다 더 밝게 나타난다. 마이크로-이미지들은 포토센서 상에 밝게 나타난 픽셀들을 합치고 마이크로렌즈들의 형태와 동일한 형태를 갖는다. 마이크로-이미지들의 바운더리들은 플렌옵틱 카메라를 제조할 때 모두에 대해 한번 결정될 수도 있으며, 바운더리들을 나타내는 정보는 예를 들어, 플렌옵틱 카메라의 예를 들어 메모리 (예를 들어, RAM) 에 저장된다. 변형예에 따르면, 기준 픽셀들이 마이크로렌즈들의 형태를 알고 있는 도 4 의 예에서와 같이 중심 픽셀들에 대응할 때 마이크로-이미지들의 바운더리들은 기준 픽셀들을 이용함으로써 결정될 수도 있다. 2 개의 인접하는 마이크로-이미지들의 중심 픽셀들을 끝점들로 하는 선분의 중간을 취함으로써, 마이크로-이미지의 사이즈를 쉽게 결정할 수도 있다. 예를 들어, 마이크로-이미지와 연관된 마이크로렌즈들이 원형이면, 마이크로-이미지의 반경은 중심 픽셀과, 2 개의 인접하는 마이크로-이미지들의 중심 픽셀들을 끝점들로 하는 선분의 중간에 위치된 픽셀 사이의 픽셀들의 수에 대응한다.
도 5 는 본 원리들의 제 2 특정 실시형태에 따라 렌즈릿 어레이 (11) 의 마이크로렌즈들과 연관된 마이크로-이미지들을 도시한다. 도 5 의 마이크로렌즈들 (41 내지 48) 은 도 4 의 마이크로렌즈들에 대응하지만, 도 5 의 각각의 마이크로-이미지의 기준 픽셀들은 도 4 에 나타내어진 마이크로-이미지들의 기준 픽셀들과는 상이하다. 도 5 의 예에 따르면, 기준 픽셀들 (511, 521 및 531) 은 마이크로렌즈들 (41, 42 및 43) 과 각각 연관된 마이크로-이미지들의 좌측 상단 부분에 각각 위치된다. 이 특정 실시형태는 LED (20) 가 카메라 렌즈의 구경 조리개 평면의 광학 중심에 위치되지 않고 구경 조리개 평면에서의 광학 중심으로부터 떨어져 있는 상황에 대응한다. 보다 구체적으로, 도 5 의 예에 따른 LED 의 포지션은 마이크로렌즈들 (41 내지 48) 과 연관된 마이크로-이미지에서의 기준 픽셀들의 포지션과 마찬가지로, 구경 조리개 평면에서 카메라 렌즈의 어퍼쳐의 좌측 상단 부분이다. 물론, LED (20) 는 광을 방출할 때 카메라 렌즈의 어퍼쳐에서 포토센서를 조명할 수도 있도록 유지된다. 디멀티플렉싱 프로세스는 기준 픽셀들의 포지션만이 도 4 의 예시적인 실시형태와는 상이한 것을 제외하고는, 도 4 에 관하여 설명된 것과 동일한 방식으로 수행된다.
도 6 은 본 원리들의 비제한적인 예시적 실시형태에 따른 플렌옵틱 카메라 (2) 를 캘리브레이션하는 방법을 도시한다.
초기화 단계 (60) 동안, 플렌옵틱 카메라의 상이한 파라미터들, 명목상으로 카메라 렌즈의 파라미터들과 기준 픽셀들을 나타내는 파라미터들이 업데이트된다. 파라미터들은 예를 들어, 플렌옵틱 카메라를 파워업할 때 및/또는 카메라 렌즈의 파라미터, 예를 들어, 줌잉 또는 초점을 맞출 때의 초점 길이를 변경할 때 초기화된다.
그 후, 단계 61 동안에, 플렌옵틱 카메라의 포토센서 어레이는 플렌옵틱 카메라의 카메라 렌즈의 구경 조리개 평면에 배열된 발광 디바이스 (LED) 에 의해 소정의 결정된 기간 동안 조명된다. LED 는 구경 조리개 평면의 중심에 유리하게 배열된다. 변형예에 따르면, LED 는 포토센서 어레이를 조명할 수 있는 플렌옵틱 카메라의 카메라 렌즈의 어퍼쳐 외에 구경 조리개 평면에서의 임의의 위치에 배열된다.
예를 들어, 광 방출의 지속기간은 이미지 획득 사이클에, 즉 플렌옵틱 카메라로 장면의 미가공 이미지를 획득하는데 필요한 시간의 지속기간에 대응한다. 변형예에 따르면, LED 에 의한 광 방출의 지속기간은 이미지 획득 사이클보다 작으며, 예를 들어, 이미지 획득 사이클의 20 %, 30 % 또는 50 % 이다. 이미지 획득 사이클 보다 작은 기간 동안 포토센서 어레이를 조명하는 것은 이미지 획득 사이클의 나머지 시간 동안에 장면으로부터 오는 광을 캡쳐할 수 있게 하며, 이는 심지어 LED 에 의해 "커버"되는 포토센서들에 대하여 미가공 데이터를 획득하게 하며, LED 는 광을 방출하지 않을 때 유리하게 투명성이다.
LED 에 의한 광 방출은 예를 들어, 플렌옵틱 카메라를 파워업할 때 및/또는 카메라 렌즈의 파라미터, 이를 테면, 초점 길이가 변경될 때 (예를 들어, 줌잉 또는 초점을 맞출 때) 트리거된다.
그 후, 단계 62 동안, LED 에 의해 방출된 광선들에 의해 조명되는 포토센서 어레이의 포토센서들이 식별된다. 적어도 하나의 포토센서가 마이크로렌즈와 연관되어 마이크로렌즈 하에 놓이는 포토센서들의 각각의 그룹에서 조명된다. LED 의 사이즈는, LED 에 의해 방출된 광빔이 마이크로렌즈 어레이의 마이크로렌즈 및 카메라 렌즈의 후방 렌즈 엘리먼트(들) 을 관통하는 후 오직 하나의 포토센서만을 힛팅하는 방식으로 유리하게 선택된다. LED 의 사이즈는 포토센서 어레이 상의 그 이미지가 하나의 포토센서의 사이즈와 동일하도록 유리하게 선택되며, 이 포토센서의 사이즈는 마이크로렌즈와 연관된 마이크로-이미지의 하나의 픽셀의 사이즈에 대응하거나 또는 플렌옵틱 카메라로 획득된 미가공 이미지를 디멀티플렉싱함으로써 얻어진 뷰에 속하는 픽셀의 사이즈에 대응한다. 하나보다 많은 포토센서가 마이크로렌즈 하의 포토센서의 그룹에서 조명되면 (예를 들어, LED 의 이미지의 사이즈가 픽셀의 사이즈보다 크거나 또는 예를 들어 렌즈릿 제조 허용오차 및/또는 플렌옵틱 시스템의 광학 왜곡에 기인하여 컨버전스 문제가 발생하면), 광빔에 의해 힛팅되는 포토센서들 중 하나가 결정/선택되어야 한다. 복수의 조명된 포토센서들 중에서 선택되는 포토센서는 최대 광 강도를 수광하는 포토센서에 유리하게 대응한다. 이 목적으로, LED 에 의해 조명된 각각의 포토센서에 의해 수광된 광의 양들이 서로 비교되고 최대 값이 선택된다. 단계 62 의 결과로서, 각각의 마이크로렌즈 하에서의 하나의 단일 포토센서가 선택되고, 결정된 마이크로렌즈에 대하여 선택된 포토센서는 이 결정된 마이크로렌즈와 연관된 마이크로-이미지의 기준 픽셀에 대응한다.
그 후, 단계 63 동안, 플렌옵틱 카메라는 각각의 마이크로-이미지에 대한 기준 픽셀들로서 이용되는 선택된 포토센서들에 기초하여 캘리브레이션된다. 캘리브레이션은 각각의 마이크로렌즈 마이크로-이미지에서의 기준 픽셀을 식별하는 것으로 구성되고, 기준 픽셀은 예를 들어 마이크로-이미지의 중심 픽셀에 대응한다. 기준 픽셀들이 식별되면, 디멀티플렉싱 프로세스는 미가공 이미지의 픽셀들을 재편성함으로써 플렌옵틱 카메라로 획득된 장면의 상이한 뷰들을 구축하도록 개시될 수도 있다.
선택적인 단계에서, 기준 픽셀들에 대응하는 뷰가 후 프로세싱 단계에서 재구성된다. 실제로, LED 에 의해 조명된 기준 픽셀들은 특정 뷰잉 각도에 따라 장면의 뷰에 대응한다. 이들 기준 픽셀들에 대응하는 포토센서들이 전체 이미지 획득 사이클 동안 LED 에 의해 조명되면, 이들 픽셀들에 대해 어떠한 미가공 데이터도 이용가능하지 않고 대응하는 뷰는 손실된다. 예를 들어, 비디오가 예를 들어, 초당 24 개의 이미지들의 프레임 레이트에서 플렌옵틱 카메라로 획득되는 경우에, LED 는 24 개의 이미지 획득 사이클 중 한 사이클 동안 포토센서를 조명할 수 있으며, 이는 24 개의 이미지들 중 하나 외에는, 조명된 포토센서들에 대응하는 뷰가 손실될 것임을 의미한다. 그 후, 손실된 뷰는 23 개의 나머지 이미지들 중 하나 또는 수 개의 이미지를 형성하기 위해 동일한 뷰의 시간 보간에 의해 (즉, 동일한 뷰잉 각도에 대응하여) 유리하게 재구성될 수도 있다. 변형예에 따르면, 24 개의 이미지들 중에서 플렌옵틱 카메라를 캘리브레이션하는데 (즉, 마이크로-이미지들의 기준 픽셀들을 결정하는데) 이용되는 이미지에 대응하는 모든 뷰들이 플렌옵틱 카메라로부터 출력되는 뷰들의 스트림으로부터 제거되고, 23 개의 나머지 이미지들과 연관된 뷰들만이 고려되어 예를 들어, 메모리에 저장되거나 또는 스크린 상에 디스플레이된다.
추가의 선택적인 단계에서, LED 가 포토센서를 조명하지 않을 때 LED 에 의해 "커버"되는 마이크로-이미지들의 픽셀들에 대응하는 뷰의 휘도 레벨이 수정될 수도 있다. 실제로, LED 가 "오프" 상태 (즉, LED 가 포토센서 어레이를 조명하지 않을 때의 상태) 에서 본질적으로 투명성이라면, LED 를 제조하는데 이용되는 재료는 LED 를 통과하여, 특히 LED 에 의해 "커버"되지 않는 주변 포토센서들에 관하여, 포토센서 어레이 상의 대응하는 포토센서들에 도달하는 광의 부분을 필터링할 수도 있다. 포토센서들 간의 이 휘도 차이를 수정하기 위해, LED 의 투명도는 LED 를 렌즈 유닛에 통합하기 전에 LED 의 파장 (컬러) 에 따라 결정될 수도 있다.
도 7 은 본 원리들의 양태에 따라 예를 들어, 플렌옵틱 카메라를 구현하는 테블릿 또는 스마트폰에 대응하는 원격통신 디바이스 (7) 의 하드웨어 실시형태를 다이어그램적으로 예시한다:
원격통신 디바이스 (7) 는 클록 신호를 또한 수송하는 어드레스들 및 데이터의 버스 (74) 에 의해 서로 접속되는 다음의 엘리먼트들:
- 마이크로프로세서 (71)(또는 CPU),
- ROM (판독 전용 메모리) 타입 (72) 의 비휘발성 메모리,
- 랜덤 액세스 메모리 또는 RAM (73),
- 무선 인터페이스 (76),
- 데이터의 송신을 위하여 구성된 인터페이스 (75),
- 예를 들어, 도 2 의 플렌옵틱 카메라 (2) 에 대응하는 플렌옵틱 카메라 (77),
- 유저에 대해 정보를 디스플레이하고/하거나 데이터 또는 파라미터들을 입력하기 위하여 구성된 MMI 인터페이스 (78) 를 포함한다.
메모리들 (72 및 73) 에 이용되는 단어 "레지스터"는 언급된 메모리들 각각에서 낮은 용량의 메모리 구역 뿐만 아니라 (저장된 전체 프로그램 또는 수신되고 디코딩된 데이터를 표현하는 데이터의 일부 또는 전부를 인에이블하는) 대용량의 메모리 구역을 지정함을 주지한다.
메모리 ROM (72) 는 특히 "prog" 프로그램을 포함한다.
본 개시물에 특정되고 아래 설명된 방법의 단계들을 구현하는 알고리즘들은 이들 단계들을 구현하는 원격통신 디바이스 (7) 와 연관된 ROM (72) 메모리에 저장된다. 파워업시, 마이크로프로세서 (71) 는 이들 알고리즘들의 명령들을 로딩 및 구동시킨다.
랜덤 액세스 메모리 (73) 는 명목상 다음:
- 레지스터에서, 원격통신 디바이스 (7) 를 스위치 온하는 것을 담당하는 마이크로프로세서 (71) 의 오퍼레이팅 프로그램,
- 수신 파라미터들 (예를 들어, 프레임들의 변조, 인코딩, MIMO, 재귀를 위한 파라미터들),
- 송신 파라미터들 (예를 들어, 프레임들의 변조, 인코딩, MIMO, 재귀를 위한 파라미터들),
- 수신기 (76) 에 의해 수신되고 디코딩된 데이터에 대응하는 인커밍 데이터,
- 인터페이스에서 애플리케이션 (75) 으로 송신되도록 형성된 디코딩된 데이터,
- 카메라 렌즈의 파라미터들 및/또는 각각의 마이크로-이미지의 기준 픽셀들을 포함한다.
도 7 에 대하여 설명된 것들과 상이한 원격통신 디바이스 (7) 의 다른 구조들이 본 개시물과 양립가능하다. 특히, 변형예에 따르면, 원격통신 디바이스는 순수 하드웨어 실현에 따라, 예를 들어, 전용 컴포넌트 (예를 들어, ASIC (Application Specific Integrated Circuit) 또는 FPGA (Field-Programmable Gate Array) 또는 VLSI (Very Large Scale Integration)) 또는 장치에 내장된 수개의 전용 컴포넌트들의 형태로 또는 심지어 하드웨어 엘리먼트들 및 소프트웨어 엘리먼트들의 혼합의 형태로 구현될 수도 있다.
무선 인터페이스 (76) 및 인터페이스 (75) 는 하나 또는 수 개의 원격 통신 표준들, 이를 테면, IMT-2000 사양들 (3G 로 또한 지칭됨), 3GPP LTE (4G 로 또한 지칭됨), IEEE 802.15.1 (블루투스로 또한 지칭됨) 에 따르는 IEEE 802.11 (Wi-Fi) 표준들에 따라 신호들의 수신 및 송신을 위해 구성된다.
변형예에 따르면, 원격통신 디바이스는 어떠한 ROM 도 포함하지 않고 RAM 만을 포함하며, 알고리즘들은 RAM 에 저장된 본 개시물에 특정된 방법들의 단계들을 구현한다.
물론, 본 개시물은 이전에 설명된 실시형태들로 제한되지 않는다.
특히, 본 개시물은 플렌옵틱 카메라로 제한되지 않을 뿐만 아니라 카메라 렌즈 및 LED 를 포함하는 (플렌옵틱 광학 어셈블리로 또한 지칭되는) 렌즈 유닛으로 확장된다.
원격통신 디바이스들은 예를 들어, 스마트폰들, 스마트워치들, 테블릿들, 컴퓨터들, 모바일 폰들, 포터블/개인휴대 정보 단말기들 ("PDA들"), 엔드 유저들 뿐만 아니라 셋톱 박스들 사이에 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.
여기에 설명된 플렌옵틱 카메라를 캘리브레이션하는 방법은 프로세서에 의해 수행되는 명령들에 의해 구현될 수 있고, 이러한 명령들 (및/또는 구현에 의해 생성되는 데이터 값들) 은 프로세서 판독가능 매체, 이를 테면, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는 다른 저장 디바이스, 이를 테면, 예를 들어, 하드디스크, 콤팩트 디스켓 ("CD"), 광학 디스크 (이를 테면, 예를 들어, DVD, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭됨), 랜덤 액세스 메모리 ("RAM"), 또는 판독 전용 메모리 ("ROM") 상에 저장될 수도 있다. 명령들은 프로세서 판독가능 매체 상에서 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어 또는 조합일 수도 있다. 명령들은 예를 들어, 오퍼레이팅 시스템, 별도의 애플리케이션 또는 이 둘의 조합에서 찾을 수도 있다. 프로세서는 따라서 예를 들어, 프로세스를 수행하도록 구성된 디바이스와, 프로세스를 수행하기 위한 명령들을 갖는 (저장 디바이스와 같은) 프로세서 판독가능 매체를 포함하는 디바이스 양쪽 모두로서 특징화될 수도 있다. 또한, 프로세서 판독가능 매체는 명령들에 더하여 또는 명령들 대신에 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.
당해 기술 분야의 당업자에게 명백한 바와 같이, 구현들은 예를 들어 저장 또는 송신될 수도 있는 정보를 운반하도록 포맷화된 여러 신호들을 생성할 수도 있다. 정보는 예를 들어, 설명된 구현들 중 하나에 의해 생성된 데이터 또는 방법을 수행하는 명령들을 포함할 수도 있다. 예를 들어, 신호는 설명된 실시형태의 신택스를 기록 또는 판독하는 규칙을 데이터로서 운반하도록 또는 설명된 실시형태에 의해 기록된 실제 신택스 값들을 데이터로서 운반하도록 포맷화될 수도 있다. 이러한 신호는 예를 들어, 전자기 파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 이용하여) 또는 기저대역 신호로서 포맷화될 수도 있다. 포맷화는 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호를 운반하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이, 여러 상이한 유선 또는 무선 링크들을 통하여 송신될 수도 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수도 있다.
다수의 구현들이 설명되었다. 그럼에도 불구하고, 여러 변경들이 이루어질 수도 있음을 이해할 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 결합, 보충, 변경 또는 제거되어 다른 구현들을 생성할 수도 있다. 추가로, 당해 기술 분야의 당업자는 다른 구조들 및 프로세스들이 개시된 것에 대체될 수도 있고 결과적인 구현들은, 상술한 구현들과 적어도 실질적으로 동일한 결과(들)을 달성하기 위해 적어도 실질적으로 동일한 방식(들)로 적어도 실질적으로 동일한 기능(들)을 수행할 것이다. 따라서, 이들 및 다른 구현들이 이 출원에 의해 고려된다.

Claims (16)

  1. 카메라 렌즈 (10), 복수의 마이크로렌즈들 (111, 112, 11n) 을 포함하는 렌즈릿 어레이 (11), 및 포토센서 어레이 (13) 를 포함하는 플렌옵틱 카메라 (2) 로서,
    상기 플렌옵틱 카메라 (2) 는 상기 카메라 렌즈 (10) 의 구경 조리개 (aperture stop) 평면에 배열된 발광 디바이스 (20) 를 포함하고, 상기 발광 디바이스 (20) 는 상기 포토센서 어레이 (13) 를 조명하는 것을 특징으로 하는 플렌옵틱 카메라 (2).
  2. 제 1 항에 있어서,
    상기 발광 디바이스에 의해 조명되는 포토센서들로부터, 상기 복수의 마이크로렌즈들의 각각의 마이크로렌즈와 연관된 마이크로-이미지의 기준 픽셀을 결정하도록 구성되는, 메모리와 연관된 프로세서를 더 포함하는, 플렌옵틱 카메라 (2).
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 상기 구경 조리개 평면의 중심에 배열되는, 플렌옵틱 카메라 (2).
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 투명성인, 플렌옵틱 카메라 (2).
  5. 제 1 항 또는 제 2 항에 있어서,
    줌잉 또는 초점을 맞출 때 발생하는 초점 거리의 변화 및/또는 상기 카메라 렌즈의 초점 길이의 변화를 검출하는 모듈을 더 포함하는, 플렌옵틱 카메라 (2).
  6. 제 5 항에 있어서,
    변화의 상기 검출은 상기 발광 디바이스 (20) 에 의해 상기 포토센서 어레이 (13) 를 조명하는 것을 트리거하는, 플렌옵틱 카메라 (2).
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 적어도 이미지 획득 사이클의 적어도 일부 동안에 상기 포토센서 어레이 (13) 를 조명하는, 플렌옵틱 카메라 (2).
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 백색광을 방출하는, 플렌옵틱 카메라 (2).
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 적색광, 녹색광, 및 청색광을 연속적으로 방출하는, 플렌옵틱 카메라 (2).
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 발광 디바이스 (20) 는 발광 다이오드인, 플렌옵틱 카메라 (2).
  11. 제 2 항에 있어서,
    상기 프로세서는 또한, 상기 포토센서 어레이의 각각의 포토센서에 의해 수광되는 광 강도를 측정함으로써 상기 발광 다이오드에 의해 조명되는 상기 포토센서들을 결정하도록 구성되고, 결정된 상기 포토센서들은, 측정된 상기 광 강도가 최대인 상기 포토센서들에 대응하는, 플렌옵틱 카메라 (2).
  12. 카메라 렌즈, 복수의 마이크로렌즈들을 포함하는 렌즈릿 어레이, 및 포토센서 어레이를 포함하는 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법으로서,
    상기 카메라 렌즈의 구경 조리개 평면에 배열된 발광 디바이스로 상기 포토센서 어레이를 조명하는 단계 (61), 및
    상기 발광 디바이스에 의해 조명된 상기 포토센서 어레이의 포토센서들로부터 상기 복수의 마이크로렌즈들의 각각의 마이크로렌즈와 연관된 마이크로-이미지의 기준 픽셀을 결정하는 단계 (62) 를 포함하는 것을 특징으로 하는 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법.
  13. 제 12 항에 있어서,
    줌잉 또는 초점을 맞출 때 발생하는 초점 거리의 변화 및/또는 상기 카메라 렌즈의 초점 길이의 변화를 검출하는 단계를 더 포함하고, 상기 조명하는 단계는 상기 검출하는 단계에 의해 트리거되는, 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 포토센서 어레이는 적어도 이미지 획득 사이클의 적어도 일부분 동안에 조명되는, 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법.
  15. 제 12 항 또는 제 13 항에 있어서,
    상기 결정하는 단계는 상기 포토센서 어레이의 각각의 포토센서에 의해 수광되는 광 강도를 측정함으로써 상기 발광 디바이스에 의해 조명되는 상기 포토센서들을 결정하는 단계를 포함하고, 결정된 상기 포토센서들은, 측정된 상기 광 강도가 최대인 상기 포토센서들에 대응하는, 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법.
  16. 제 12 항 또는 제 13 항에 있어서,
    상기 기준 픽셀은 상기 마이크로-이미지의 중심 픽셀에 대응하는, 플렌옵틱 카메라에서 기준 픽셀들을 결정하는 방법.
KR1020150166377A 2014-11-27 2015-11-26 발광 디바이스를 포함하는 플렌옵틱 카메라 KR102432789B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14306897.1 2014-11-27
EP14306897.1A EP3026884A1 (en) 2014-11-27 2014-11-27 Plenoptic camera comprising a light emitting device

Publications (2)

Publication Number Publication Date
KR20160064021A true KR20160064021A (ko) 2016-06-07
KR102432789B1 KR102432789B1 (ko) 2022-08-12

Family

ID=52016546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150166377A KR102432789B1 (ko) 2014-11-27 2015-11-26 발광 디바이스를 포함하는 플렌옵틱 카메라

Country Status (8)

Country Link
US (1) US9691149B2 (ko)
EP (2) EP3026884A1 (ko)
JP (1) JP6630927B2 (ko)
KR (1) KR102432789B1 (ko)
CN (1) CN105657221B (ko)
HK (1) HK1224472A1 (ko)
TW (1) TWI679887B (ko)
ZA (1) ZA201508428B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180023835A (ko) * 2016-08-25 2018-03-07 톰슨 라이센싱 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치
WO2018002923A3 (en) * 2016-06-27 2018-07-26 Warshavski Omri Color imaging by discrete narrow-band synchronized illumination

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911045B2 (ja) 2016-04-12 2021-07-28 クイッディエント・エルエルシー 日常シーン復元エンジン
EP3264761A1 (en) 2016-06-23 2018-01-03 Thomson Licensing A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera
AU2019262147B2 (en) 2018-05-02 2024-07-04 Quidient, Llc A codec for processing scenes of almost unlimited detail
EP3579561A1 (en) 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
KR102689953B1 (ko) * 2018-12-03 2024-07-31 삼성전자주식회사 캘리브레이션 방법 및 장치
WO2023000162A1 (zh) * 2021-07-20 2023-01-26 重庆康佳光电技术研究院有限公司 一种显示屏及终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716035B1 (ko) * 1999-06-30 2007-05-08 실버브룩 리서치 피티와이 리미티드 상호작용 프린터를 가진 디지털 카메라

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
DE102006061933A1 (de) * 2006-12-21 2008-06-26 Carl Zeiss Meditec Ag Optisches System für eine Funduskamera
CN101663532B (zh) * 2007-04-20 2011-07-13 夏普株式会社 照明装置和具备它的显示装置
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
EP2175632A1 (en) 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
ATE551841T1 (de) * 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
JP2012205014A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 撮像装置の製造装置及び製造方法、並びに撮像装置
JP2012205111A (ja) 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
WO2013007612A1 (en) * 2011-07-08 2013-01-17 Carl Zeiss Meditec Ag Light field camera for fundus photography
JP6120508B2 (ja) * 2011-10-03 2017-04-26 キヤノン株式会社 撮像素子および撮像装置
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
JP6217918B2 (ja) 2012-01-27 2017-10-25 パナソニックＩｐマネジメント株式会社 アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
US9060718B2 (en) * 2012-02-13 2015-06-23 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP2014016965A (ja) 2012-07-11 2014-01-30 Toshiba Corp 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
US9153026B2 (en) 2012-11-26 2015-10-06 Ricoh Co., Ltd. Calibration of plenoptic imaging systems
CN203416336U (zh) * 2013-05-22 2014-01-29 李高勤 光场摄像装置以及包含该光场摄像装置的成像系统
CN103309175B (zh) * 2013-06-07 2015-06-17 中国科学院上海光学精密机械研究所 光刻机照明系统的级联微透镜阵列的对准装置和对准方法
US9319665B2 (en) * 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716035B1 (ko) * 1999-06-30 2007-05-08 실버브룩 리서치 피티와이 리미티드 상호작용 프린터를 가진 디지털 카메라

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018002923A3 (en) * 2016-06-27 2018-07-26 Warshavski Omri Color imaging by discrete narrow-band synchronized illumination
US10989653B2 (en) 2016-06-27 2021-04-27 Omri WARSHAVSKI Color imaging by discrete narrow-band synchronized illumination
KR20180023835A (ko) * 2016-08-25 2018-03-07 톰슨 라이센싱 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치

Also Published As

Publication number Publication date
TW201620286A (zh) 2016-06-01
KR102432789B1 (ko) 2022-08-12
EP3026887A1 (en) 2016-06-01
EP3026887B1 (en) 2020-07-22
US20160155230A1 (en) 2016-06-02
CN105657221B (zh) 2020-06-26
TWI679887B (zh) 2019-12-11
CN105657221A (zh) 2016-06-08
US9691149B2 (en) 2017-06-27
ZA201508428B (en) 2016-11-30
JP2016103822A (ja) 2016-06-02
HK1224472A1 (zh) 2017-08-18
EP3026884A1 (en) 2016-06-01
JP6630927B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
KR102432789B1 (ko) 발광 디바이스를 포함하는 플렌옵틱 카메라
US9973678B2 (en) Phase-detect autofocus
CN103686102B (zh) 摄像装置以及摄像系统
CN101919256B (zh) 图像拍摄装置
KR100875938B1 (ko) 광학기기 및 빔 스플리터
CN111629140A (zh) 图像传感器和电子设备
JP2012235444A (ja) 撮像素子及び撮像装置
US10566358B2 (en) Image sensor and image capturing apparatus
CN104184940A (zh) 控制设备、摄像系统和控制方法
JP2014056014A (ja) 撮像素子および撮像装置
TW201633521A (zh) 在彩色濾波器陣列上之光學隔離柵格
CN104539835A (zh) 摄像头的感光芯片和摄像头
JP2019092145A (ja) シフトされたマイクロレンズアレイを有するイメージセンサ
KR20160149844A (ko) 빛 샘 방지를 위한 촬영 장치 및 그 촬영 장치의 이미지 센서
CN106454018B (zh) 全光照相机以及控制它的方法
CN108140655A (zh) 拍摄元件以及拍摄装置
JP2014215436A (ja) 撮像装置、その制御方法、および制御プログラム
JP2017054052A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2019219577A (ja) 検出装置および検出方法
JP2014170944A (ja) 撮像素子及び撮像装置
CN115561958B (zh) 微投影显示与摄像光学模组一体化的层叠式光学引擎结构
JP2019219576A (ja) 焦点検出方法
JP2018138900A (ja) 撮像装置及び火災判定装置
JP2017063246A (ja) 撮像装置及び測光用センサー

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151126

PG1501 Laying open of application
PN2301 Change of applicant

Patent event date: 20191021

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201120

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151126

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220114

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220810

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220810

End annual number: 3

Start annual number: 1

PG1601 Publication of registration