KR20140094395A - 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 - Google Patents

복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 Download PDF

Info

Publication number
KR20140094395A
KR20140094395A KR1020130007173A KR20130007173A KR20140094395A KR 20140094395 A KR20140094395 A KR 20140094395A KR 1020130007173 A KR1020130007173 A KR 1020130007173A KR 20130007173 A KR20130007173 A KR 20130007173A KR 20140094395 A KR20140094395 A KR 20140094395A
Authority
KR
South Korea
Prior art keywords
microlenses
color
images
microlens
pixels
Prior art date
Application number
KR1020130007173A
Other languages
English (en)
Inventor
이태희
스테판 튤리아코브
한희철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130007173A priority Critical patent/KR20140094395A/ko
Priority to TW103100308A priority patent/TW201433159A/zh
Priority to JP2015553647A priority patent/JP2016511562A/ja
Priority to PCT/KR2014/000201 priority patent/WO2014115984A1/en
Priority to AU2014210553A priority patent/AU2014210553B2/en
Priority to US14/158,148 priority patent/US20140204183A1/en
Priority to CN201410030528.3A priority patent/CN103945115A/zh
Priority to EP14152163.3A priority patent/EP2757790A1/en
Publication of KR20140094395A publication Critical patent/KR20140094395A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

촬영 장치가 개시된다. 본 장치는, 피사체로부터 반사되는 반사광을 투과시키는 메인 렌즈, 반사광이 입사되면 서로 다른 컬러로 필터링하여 투과시키는 복수 개의 마이크로렌즈가 배치된 마이크로 렌즈 어레이부, 이미지 센서부, 이미지 센서부에서 센싱된 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성하는 데이터처리부, 복수의 서브 이미지를 저장하는 저장부, 복수의 서브 이미지 내에서 서로 매칭되는 픽셀을 검출하여 피사체 이미지의 컬러 정보 및 깊이 정보를 획득하는 제어부를 포함한다. 이에 따라, 해상도 저감없이 컬러 정보 및 깊이 정보를 복원할 수 있다.

Description

복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 { PHOTOGRAPHING DEVICE FOR TAKING A PICTURE BY A PLURALITY OF MICROLENSES AND METHOD THEREOF }
본 발명은 촬영 장치 및 그 촬영 방법에 대한 것으로, 보다 상세하게는 복수 개의 마이크로렌즈를 이용하여 촬영하는 촬영 장치 및 그 촬영 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 특히, 소셜 네트워크 서비스와 같이 타인과 교류할 수 있는 서비스가 인기를 끌면서, 주변 사진을 촬영하여 컨텐츠를 생성할 수 있는 촬영 장치의 사용이 크게 늘고 있다.
촬영 장치에는 디지털 카메라뿐만 아니라, 휴대폰, 태블릿 PC, 랩탑 PC, PDA 등과 같은 다양한 장치들이 포함될 수 있다. 사용자는 자신의 촬영 장치를 이용하여 다양한 사진을 촬영하고, 이를 이용할 수 있다.
종래의 촬영 장치들은 피사체에 대한 포커스를 맞춘 후 CCD나 CMOS와 같은 이미지 센서를 이용하여 피사체 이미지를 저장하는 방식으로 촬영을 수행하게 된다. 최신 촬영 장치들의 경우 오토 포커스 조정 기능을 지원하여, 피사체에 대한 포커스를 자동으로 맞추도록 하고 있다. 하지만, 포커스 조정이 제대로 안 된 상태에서 촬영이 이루어지거나, 피사체가 여러 개 존재하는 경우 사용자가 원하는 피사체에 포커스가 안 맞춰진 상태에서 촬영이 이루어질 수도 있다.
이 경우, 사용자는 수차례 재촬영을 하여야 한다는 어려움이 있다. 이러한 어려움을 해결하기 위하여 최근에는 복수 개의 마이크로 렌즈를 사용하여 촬영한 후, 나중에 포커스를 맞추도록 하는 라이트필드(Light Field) 카메라가 개발되었다.
종래의 라이트필드 카메라는 필터를 통해 필터링된 광에 의해 생성되는 이미지에 대해 디모자이크(demosaic) 작업을 수행하여, 컬러를 보간한다. 이에 따라, 보간된 이미지 내의 객체의 경계 부근에서는 블러(blur) 현상이 발생한다. 따라서, 실제 해상도가 저감된다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 컬러 필터링을 수행하는 복수의 마이크로 렌즈를 이용하여 촬상함으로써, 해상도 저감을 방지할 수 있는 촬영 장치 및 그 촬영 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 촬영 장치는, 피사체로부터 반사되는 반사광을 투과시키는 메인 렌즈, 상기 반사광이 입사되면 서로 다른 컬러로 필터링하여 투과시키는 복수 개의 마이크로렌즈가 배치된 마이크로 렌즈 어레이부, 상기 복수 개의 마이크로렌즈 각각을 통해 투과된 광을 센싱하는 이미지 센서부, 상기 이미지 센서부에서 센싱된 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성하는 데이터처리부, 상기 복수의 서브 이미지를 저장하는 저장부, 상기 저장부에 저장된 상기 복수의 서브 이미지 내에서 서로 매칭되는 픽셀을 검출하여 피사체 이미지의 컬러 정보 및 깊이 정보를 획득하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 복수의 서브 이미지를 이용하여 3D 객체 검출 작업 또는 리포커싱(re-pocusing) 작업을 수행할 수 있다.
상기 마이크로 렌즈 어레이부는 반복 배치된 복수 개의 마이크로렌즈 그룹 단위로 구분될 수 있다. 그리고, 각 마이크로렌즈 그룹 내에서는 레드, 블루, 그린, 시안, 마젠타, 옐로우, 화이트 및 에메럴드 중에서 개별적으로 선택된 컬러가 각각 부여된 복수의 마이크로렌즈가 기 설정된 컬러 패턴에 따라 배치될 수 있다.
한편, 상기 이미지 센서는, 상기 복수 개의 마이크로렌즈 각각에 대응되는 복수 개의 픽셀 그룹으로 구분되며, 각 픽셀 그룹은 복수 개의 픽셀을 포함하며, 상기 이미지 센서의 전체 픽셀 개수는 상기 마이크로렌즈의 개수를 초과할 수 있다.
상기 복수 개의 마이크로렌즈 각각의 표면에는 컬러 코팅층이 형성되며, 상기 컬러 코팅층의 컬러는 기 설정된 패턴으로 반복될 수 있다.
또는, 상기 마이크로렌즈어레이부는, 상기 복수 개의 마이크로렌즈가 매트릭스 패턴으로 배치된 제1 기판, 상기 복수 개의 마이크로렌즈에 각각 대응되는 복수의 컬러 필터부가 배치된 제2 기판을 포함할 수 있다.
여기서, 상기 복수의 컬러 필터부의 컬러는 기 설정된 패턴으로 반복될 수 있다.
한편, 본 발명의 일 실시 예에 따르면 촬영 방법은, 메인 렌즈를 통해 입사되는 광을 복수 개의 마이크로렌즈를 포함하는 마이크로렌즈어레이부를 이용하여 서로 다른 컬러로 필터링하여 투과시키는 단계, 상기 복수 개의 마이크로렌즈를 투과한 광을 이미지 센서를 이용하여 센싱하여, 복수의 원 이미지를 획득하는 단계, 상기 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성하는 단계, 상기 복수의 서브 이미지를 저장하는 단계, 상기 복수의 서브 이미지 내에서 서로 매칭되는 픽셀을 검출하여 피사체 이미지의 컬러 정보 및 깊이 정보를 복원하는 단계를 포함한다.
그리고, 상기 컬러 정보 및 상기 깊이 정보를 이용하여 3D 객체 검출 작업 또는 리포커싱(re-pocusing) 작업을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 마이크로렌즈어레이부는 반복 배치된 복수 개의 마이크로렌즈 그룹 단위로 구분되고, 각 마이크로렌즈 그룹 내에서는 레드, 블루, 그린, 시안, 마젠타, 옐로우, 화이트 및 에메럴드 중에서 개별적으로 선택된 컬러가 각각 부여된 복수의 마이크로렌즈가 기 설정된 컬러 패턴에 따라 배치될 수 있다.
그리고, 상기 복수 개의 마이크로렌즈 각각의 표면에는 컬러 코팅층이 형성되며, 상기 컬러 코팅층의 컬러는 기 설정된 패턴으로 반복될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 복수의 마이크로렌즈를 이용하여 획득되는 복수의 서브 이미지를 이용하여 컬러 정보를 복원할 수 있다. 이에 따라, 해상도를 저감시키지 않으면서도 다양한 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 나타내는 도면,
도 2 및 도 3은 메인 렌즈를 통해 투과되는 광이 마이크로렌즈어레이부에 입사되는 상태를 도시한 도면,
도 4는 복수 개의 마이크로 렌즈를 이용하여 다양한 시점의 영상을 획득하는 원리를 설명하기 위한 도면,
도 5는 마이크로렌즈어레이부의 일 예를 나타내는 도면,
도 6은 마이크로렌즈어레이부 및 이미지 센서의 단면 구성을 나타내는 도면,
도 7은 복수 개의 마이크로 렌즈를 이용하여 센싱한 복수의 원 이미지를 나타내는 도면,
도 8은 도 7의 원 이미지 내에서 서로 대응되는 위치의 픽셀을 수집하여 생성되는 복수의 서브 이미지를 나타내는 도면,
도 9 및 도 10은 마이크로렌즈어레이부의 단면 구조의 다양한 예를 나타내는 도면,
도 11 및 도 15는 본 발명의 다양한 실시 예에 따른 마이크로 렌즈 어레이부의 컬러 패턴을 나타내는 도면,
도 16은 본 발명의 일 실시 예에 따른 촬영 방법을 설명하기 위한 흐름도,
도 17은 복수의 서브 이미지들을 이용하는 이미지 처리 방법을 설명하기 위한 흐름도, 그리고
도 18은 이미지 처리 중 리포커싱 방식의 일 예를 설명하기 위한 도면이다.
이하에서 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 촬영 장치의 구성을 나타내는 도면이다. 도 1에 따르면, 촬영 장치(100)는 메인 렌즈(110), 마이크로렌즈어레이부(120), 이미지 센서부(130), 데이터 처리부(140), 저장부(150), 제어부(160)를 포함한다. 설명의 편의를 위해서, 도 1에서는 간략화된 구성을 도시하였으나, 이 밖에도 다양한 구성요소가 더 포함될 수 있다. 가령, 사진 촬영을 위한 셔터, 피사체에 대한 조명을 제공하는 플래시, 반사경, 조리개, 하우징 등과 같은 다양한 구성요소들이 더 포함될 수 있다. 또한, 렌즈도 메인 렌즈(110) 하나만 구비되는 것이 아니라 추가적으로 더 구비될 수 있다.
도 1의 촬영 장치(100)는 복수 개의 마이크로렌즈를 이용하여 다시점의 영상을 촬영할 수 있는 플레놉틱(plenoptic) 카메라, 또는 광 필드(Light Field) 카메라로 구현될 수 있다.
메인 렌즈(110)는 피사체로부터 반사되는 반사광을 투과시킨다. 메인 렌즈(110)는 일반적인 범용 렌즈나 광각 렌즈 등으로 구현될 수 있다. 도 1에서는 하나의 렌즈로 이루어진 것으로 도시하였으나, 메인 렌즈(110)는 복수 개의 렌즈의 집합으로 이루어질 수도 있다.
마이크로렌즈어레이부(120)는 복수 개의 마이크로 렌즈를 포함하는 구성요소이다. 각 마이크로 렌즈에는 컬러가 할당되어, 메인 렌즈(110)로부터 입사되는 반사광을 서로 다른 컬러로 필터링하여 투과시킨다. 구체적으로는, 레드, 블루, 그린, 시안, 마젠타, 옐로우, 화이트 및 에메럴드 등과 같은 다양한 컬러의 광을 투과시킨다. 컬러 필터링을 위해서, 각 마이크로 렌즈의 표면에는 컬러 물질층이 코팅될 수도 있고, 서로 다른 컬러의 필터가 마이크로렌즈 위치에 대응되는 패턴으로 형성된 기판이 각 마이크로렌즈 상측에 배치될 수도 있다.
복수 개의 마이크로렌즈는 기 설정된 컬러 패턴에 따라 배치될 수 있다. 그 컬러 패턴 및 이에 따른 배치 방법에 대해서는 후술하는 부분에서 구체적으로 설명한다.
마이크로렌즈어레이부(120)를 투과한 광들은 배면의 이미지 센서부(130)에 입사된다. 이미지 센서부(130)는 복수 개의 마이크로 렌즈 각각을 통해 투과된 광을 센싱한다. 이미지 센서부(130)는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등과 같은 이미지 센서가 복수 개 나열된 이미지 센서 어레이로 구현될 수 있다. 이에 따라, 이미지 센서부(130)는 각 마이크로렌즈를 통해 투과된 광에 따라 복수의 원 이미지를 생성한다.
데이터 처리부(140)는 이미지 센서부(130)에서 센싱된 복수의 원 이미지를 이용하여 복수의 서브 이미지를 생성한다. 여기서 서브 이미지란 다양한 시점에서 촬영된 픽셀들을 조합하여 생성된 이미지들을 의미한다. 즉, 복수의 서브 이미지는 동일 피사체를 서로 다른 시점에서 촬상한 이미지로 구성될 수 있다.
데이터 처리부(140)는 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성할 수 있다. 서브 이미지 생성 방식에 대해서는 후술하는 부분에서 설명한다.
저장부(150)는 데이터 처리부(140)에서 생성한 복수의 서브 이미지를 저장한다.
제어부(160)는 저장부(150)에 저장된 복수의 서브 이미지를 이용하여 다양한 동작을 수행할 수 있다. 구체적으로는, 제어부(160)는 복수의 서브 이미지들 내에서 서로 매칭되는 픽셀들을 검출하여 디스패리티 매칭을 수행할 수 있다. 디스패리티 매칭이란 동일한 피사체를 나타내는 픽셀이 서브 이미지에 따라 다른 위치에 존재할 때, 그 픽셀들 간의 위치 차이를 이용하여 피사체와의 거리, 즉, 깊이(depth) 정보를 산출하는 동작을 의미한다.
상술한 바와 같이 복수 개의 마이크로 렌즈 자체에서 컬러 필터링이 이루어지므로, 각 서브 이미지 내의 픽셀들은 서로 다른 컬러 정보를 가지게 된다. 따라서, 제어부(160)는 서로 매칭되는 픽셀들의 컬러 값들을 조합하여, 피사체의 컬러 정보를 복원할 수 있다.
제어부(160)는 복원된 컬러 정보, 깊이 정보 등을 이용하여 다양한 이미지 처리 작업을 수행할 수 있다. 구체적으로는, 사용자가 원하는 지점을 기준으로 포커스를 재조정하여 이미지를 생성하는 리포커싱 작업이나, 3D 객체 검출 작업 등을 수행할 수 있다.
도 2 및 도 3은 메인 렌즈를 투과한 광이 마이크로렌즈어레이부(120)로 입사하게 되는 과정을 나타내는 도면이다. 도 2와 같이 피사체(10)에서 반사되는 광은 메인 렌즈(110)를 통해 투과되면서 광축 방향으로 수렴하게 된다. 마이크로렌즈어레이부(120)가 그 수렴 지점(즉, 제2주점) 이내에 위치하면 반사광은 정상으로 마이크로렌즈어레이부(120)에 입사된다.
도 3과 같이 마이크로렌즈어레이부(120)가 수렴 지점 바깥에 위치하게 되면, 반사광은 역상으로 마이크로렌즈어레이부(120)에 입사된다.
각 마이크로렌즈들은 입사된 광을 컬러 광으로 변환시켜 투과시키게 되며, 투과된 광은 이미지 센서(130)로 입사된다.
도 4는 복수 개의 마이크로렌즈에 의해 다시점 영상이 획득되는 원리를 설명하기 위한 도면이다. 도 4에 도시된 바와 같이 X-2, X-1, X0 지점에서 반사된 광은 각각 메인 렌즈(110)를 투과하면서 굴절되어 마이크로렌즈 어레이부(120)로 입사된다. 굴절 각도를 조정하기 위하여, 도 4에 도시된 바와 같이 필드 렌즈(115)가 더 사용될 수도 있다. 필드렌즈(115)는 마이크로렌즈 어레이부(120) 측 표면이 평평하게 형성되고, 그 반대측 표면, 즉, 메인 렌즈(110) 측 표면이 볼록하게 형성될 수 있다. 필드렌즈(115)는 메인 렌즈(110)를 투과한 광을 마이크로렌즈어레이부(120) 측으로 전달한다. 도 4에서는 메인 렌즈(110)의 각 영역(θ1~θ5)을 투과한 광이 각각 다른 시점의 영상을 구성한 것을 나타낸다. 이에 따라, θ1~θ5와 같이 총 5개의 시점의 이미지가 획득되는 것을 알 수 있다.
마이크로렌즈어레이부(120) 내의 각 마이크로렌즈에는 기 설정된 컬러 패턴에 따라 컬러가 할당될 수 있다. 컬러 패턴은 다양하게 구현될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 컬러 패턴을 나타낸다.
도 5에 따르면, 마이크로렌즈어레이부(120)는 복수 개의 마이크로렌즈 그룹 단위(120-1, 120-2 ~ 120-xy)로 구분된다. 각 마이크로렌즈 그룹 내에서는 개별적으로 선택된 컬러가 각각 부여된 복수의 마이크로렌즈가 기 설정된 컬러 패턴에 따라 배치된다. 도 5에서는 하나의 마이크로렌즈 그룹 내에서 제1 행에는 레드(R) 컬러가 할당된 마이크로렌즈(121), 그린(G) 컬러가 할당된 마이크로렌즈(122)가 배치되고, 제2행에는 그린(G) 컬러가 할당된 마이크로렌즈(123), 블루(B) 컬러가 할당된 마이크로렌즈(124)가 배치된다. 이러한 마이크로렌즈 그룹은 반복 배치된다. 도 5에서는 복수의 마이크로렌즈 그룹이 y개의 행 및 x개의 열로 배치된 것을 나타낸다.
도 6은 마이크로렌즈어레이부(120) 및 이미지센서부(130)의 단면 구성의 일 예를 나타낸다. 특히, 도 5와 같은 컬러 패턴을 가지는 마이크로렌즈어레이부(120)에서 제1행을 가로로 자른 단면도를 나타낸다.
도 6에 따르면, 마이크로렌즈어레이부(120)는 복수개의 마이크로렌즈(121, 122, 125, ...)가 배치된 기판(180)을 포함하며, 이미지 센서부(130)는 마이크로렌즈어레이부(120)에 접하도록 배치된다.
기판(180)은 투명한 재질로 이루어질 수 있다.
이미지센서부(130)는 제1 절연층(190), 제2 절연층(300), 지지 기판(200)을 포함한다. 제1 절연층(190) 내에는 전기적 연결을 위한 금속 배선(191 ~ 196)이 마련된다. 금속 배선(191 ~ 196)은 각 마이크로렌즈를 투과한 광의 경로를 차단하지 않도록 설계될 수 있다. 도 6에서는 하나의 절연층(190) 내에 금속 배선(191 ~ 196)들이 마련된 것을 도시하였으나, 실시 예에 따라서는 금속 배선은 복수의 절연층에 분산 배치될 수도 있다.
지지 기판(200)에는 복수의 픽셀 그룹(210, 220, 230, ...)이 배치된다. 각 픽셀 그룹(210, 220, 230, ...) 내에는 복수의 픽셀을 형성하는 이미지센서(211 ~ 214, 221 ~ 224, 231 ~ 234)들이 배치된다. 각 이미지 센서(211 ~ 214, 221 ~ 224, 231 ~ 234)는 마이크로렌즈(121, 122, 123)를 투과한 광을 센싱한다. 픽셀 그룹들 사이에는 소자 분리막(410, 420, 430, 440)이 마련되어, 이미지 센서들 간의 간섭을 방지한다.
금속 배선(191 ~ 196)들은 각 이미지 센서들과 외부 전극 패드와 연결시킨다. 이에 따라, 각 이미지 센서에서 출력되는 전기 신호를 데이터 처리부(140) 및 저장부(150) 등으로 전달할 수 있다.
도 6에서는 이미지 센서의 전체 픽셀 개수가 마이크로렌즈의 개수를 초과하도록 배치된 경우를 나타낸다. 구체적으로는, 하나의 마이크로렌즈에 대응되는 위치에 4*4 개의 이미지 센서가 마련된 경우를 나타낸다.
도 7은 R, G, B 컬러 패턴으로 이루어진 마이크로렌즈어레이부(120)를 이용하여 이미지를 센싱하는 경우를 나타낸다. 마이크로렌즈어레이부(120)에는 다양한 컬러의 마이크로렌즈들이 배치된다.
도 7에 따르면, 각 마이크로렌즈(121, 122, 123, 124, 125,...)를 투과한 광이 4*4 픽셀의 이미지를 형성한 것을 나타낸다. 설명의 편의를 위하여, 각 마이크로렌즈에 의해 생성되는 이미지를 원 이미지(original image)라 칭한다. 또한, 각 마이크로 렌즈에 대해서는 컬러 별로 영어 대문자 R, G, B로 표시하였으며, 그 배치 위치에 따라 ij(i는 행 번호, j는 열 번호)로 구분한다. 또한, 하나의 이미지를 구성하는 픽셀은 소문자 r, g, b로 각각 표시하며, 그 픽셀 위치에 따라 1 ~ 16과 같은 첨부번호를 부가하여 구분한다. 원 이미지의 개수는 마이크로렌즈의 개수에 대응된다. 도 7에 따르면, n*m 개의 원 이미지가 획득될 수 있다.
데이터 처리부(140)는 이미지 센서부(130)에서 센싱된 이미지들을 구성하는 픽셀들 중에서 서로 대응되는 위치의 픽셀들을 조합하여 복수의 서브 이미지를 생성한다.
도 8은 복수의 서브 이미지를 생성하는 방법을 설명하기 위한 도면이다. 도 8의 (a)에 따르면, 서브 이미지 1은 n*m개의 픽셀로 이루어진다. 서브 이미지 1은 복수의 원 이미지들 중에서 첫 번째 행 및 첫 번째 열에 위치한 픽셀들(r1, g1, b1)의 조합으로 이루어진다.
도 8의 (b)에 따르면, 서브 이미지 2는 복수의 원 이미지들 중에서 첫 번째 행 및 두 번째 열에 위치한 픽셀들(r2, g2, b2)의 조합으로 이루어진다. 이상과 같이 총 16개의 서브 이미지를 생성할 수 있다. 생성된 각 서브 이미지는 저장부(150)에 저장된다.
한편, 마이크로렌즈어레이부(120) 내의 각 마이크로렌즈들은 컬러 필터링을 수행하기 위하여 컬러 코팅층이나 컬러 필터부를 더 포함할 수 있다.
도 9는 마이크로렌즈어레이부(120)의 구성의 일 예를 나타낸다. 구체적으로는, 도 9는 도 5의 마이크로렌즈어레이부(120)의 제1행의 단면 구성을 나타낸다.
마이크로렌즈어레이부(120)는 마이크로렌즈들(121, 122, 125, 126) 및 이를 지지하는 기판(180)을 포함한다. 각 마이크로렌즈들(121, 122, 125, 126)의 표면에는 컬러 코팅층(121-1, 122-1, 125-1, 126-1)이 형성된다. 컬러 코팅층(121-1, 122-1, 125-1, 126-1)은 컬러를 띄는 염료로 이루어질 수 있다. 컬러 코팅층(121-1, 122-1, 125-1, 126-1)의 컬러는 기 설정된 패턴으로 반복될 수 있다. 즉, 홀수 행에서는 R 및 G 컬러가 반복되고, 짝수 행에서는 G 및 B 컬러가 반복된다.
도 10은 마이크로렌즈어레이부(120) 구성의 또 다른 예를 나타낸다. 도 10에 따르면, 마이크로렌즈어레이부(120)는 제1 기판층(610) 및 제2 기판층(620)을 포함한다. 제1 기판층(610)은 복수 개의 마이크로렌즈(612), 마이크로렌즈(612)가 매트릭스 패턴으로 배치된 기판(611)을 포함할 수 있다. 마이크로렌즈(612) 및 제1 기판층(610) 사이는 빈 공간(613)으로 이루어질 수도 있고, 투명한 재질의 물질로 채워질 수 있다.
제2 기판층(620)은 복수의 컬러 필터부(621 ~ 626)을 포함한다. 각 컬러 필터부(621 ~ 626)는 복수 개의 마이크로렌즈의 위치에 대응되도록 배치된다. 각 컬러 필터부(621 ~ 626)는 정해진 컬러의 광을 투과시키는 컬러 필터링을 수행한다. 복수의 컬러 필터부(621 ~ 626)의 컬러는 기 설정된 패턴으로 반복될 수 있다. 가령, 도 5와 같은 컬러 패턴을 가지는 경우에는, 마이크로렌즈어레이부(120)의 제1행은 R 및 G 컬러가 반복되는 패턴으로 구현될 수 있다.
이상과 같이, 마이크로렌즈는 다양한 구성으로 구현되어 컬러 필터링을 수행할 수 있다. 마이크로렌즈가 가지는 컬러는 다양한 패턴으로 구현될 수 있다. 이하에서는, 본 발명의 다양한 실시 예에 따른 컬러 패턴의 예들에 대해 구체적으로 설명한다.
도 11은 4개의 마이크로렌즈 단위로 반복되는 컬러 패턴을 나타낸다. 도 11의 (a)에서는 홀수 번째 행에서는 G 컬러 마이크로렌즈 및 R 컬러 마이크로렌즈가 반복 배치되고, 짝수 번째 행에서는 B 컬러 마이크로렌즈 및 G 컬러 마이크로렌즈가 반복 배치되는 경우를 나타낸다. 즉, 도 11의 (a)에서는 G, R, B, G 컬러를 각각 가지는 4개의 컬러 마이크로렌즈가 2*2 매트릭스 형태로 배치된 마이크로렌즈 그룹이 반복 배치되는 실시 예를 나타낸다.
도 11의 (b)에서는 B, R, R, G 컬러 마이크로렌즈 그룹, 도 11의 (c)에서는 C(Cyan), Y(Yellow), Y, M 컬러 마이크로렌즈 그룹, 도 11의 (d)에서는 C, Y, G, M 컬러 마이크로렌즈 그룹이 반복 배치되는 실시 예를 나타낸다.
도 12는 화이트 컬러 마이크로렌즈를 포함하는 컬러 패턴의 예를 나타낸다.
도 12의 (a)에서는 홀수 번째 행에서는 W(white) 컬러 마이크로렌즈 및 R 컬러 마이크로렌즈가 반복 배치되고, 짝수 번째 행에서는 B 컬러 마이크로렌즈 및 G 컬러 마이크로렌즈가 반복 배치되는 경우를 나타낸다. 화이트 컬러 렌즈란 백색광을 투과시키는 렌즈를 의미한다. 즉, 별도의 컬러 코팅층이나 컬러 필터층이 마련되지 않고 투명한 재질로만 이루어진 렌즈가 될 수 있다.
도 12의 (b)에서는 홀수 번째 행에서는 W(white), B, W, G 컬러 마이크로렌즈가 반복 배치되고, 짝수 번째 행에서는 B, W, G, W 컬러 마이크로렌즈가 반복 배치되는 경우를 나타낸다. 이상에서 설명한 실시 예에서는, 각 행에서는 두 개의 마이크로렌즈 단위로 컬러가 반복되는 실시 예들을 설명하였으나, 도 12의 (b)에 도시된 바와 같이 컬러가 반복되는 주기는 2개 이상이 될 수도 있다.
도 12의 (c)에서는 짝수 열은 전부 W 컬러 마이크로렌즈가 배치되고, 홀수 열은 G, G, B, B가 반복되는 패턴 또는 R, R, G, G가 반복되는 패턴으로 마이크로렌즈가 배치되는 실시 예를 도시하였다.
도 12의 (d)에서는 짝수 열은 전부 W 컬러 마이크로렌즈가 배치되고, 홀수 열은 G, B, G, B가 반복되는 패턴 또는 R, G, R, G가 반복되는 패턴으로 마이크로렌즈가 배치되는 실시 예를 도시하였다.
도 11 및 도 12에서는 마이크로렌즈어레이부가 2*2 개의 마이크로렌즈를 포함하는 그룹 단위로 구분될 수 있는 실시 예들을 도시하였으나, 각 그룹의 마이크로렌즈 개수는 다양하게 구현될 수 있다.
도 13은 3*3 개의 마이크로렌즈로 구성된 마이크로렌즈 그룹을 복수 개 포함하는 마이크로렌즈어레이부(120)의 구성을 나타낸다.
도 13에 따르면, 하나의 마이크로렌즈 그룹은 제1행에 R, G, B 컬러 마이크로렌즈가 배치되고, 제2행에는 B, R, G 컬러 마이크로렌즈, 제3행에는 G, B, R 컬러 마이크로렌즈가 배치되는 형태가 된다. 마이크로렌즈 어레이부(120)는 3*3 마이크로렌즈로 구성된 그룹이 반복 배치되는 형태로 구현될 수 있다.
도 14는 6*6 개의 마이크로렌즈로 구성된 마이크로렌즈 그룹을 복수 개 포함하는 마이크로렌즈어레이부(120)의 구성을 나타낸다.
도 14에 따르면, 하나의 마이크로렌즈 그룹은 제1행에 G, B, G, G, R, G 컬러 마이크로렌즈가 배치되고, 제2행에는 R, G, R, B, G, B 컬러 마이크로렌즈, 제3행에 G, B, G, G, R, G 컬러 마이크로렌즈, 제4행에는 G, R, G, G, B, G 컬러 마이크로렌즈, 제5행에는 R, G, B, R, G, R 컬러 마이크로렌즈, 제6행에 G, R, G, G, B, G 컬러 마이크로렌즈가 배치된다. 이러한 컬러 패턴을 가지는 마이크로렌즈 그룹이 반복 배치될 수 있다.
이상과 같은 실시 예들에서는 각 마이크로렌즈는 매트릭스 패턴으로 배치되는 것으로 도시하였으나, 그 배치 형태는 이에 한정되는 것은 아니다.
도 15는 복수 개의 마이크로렌즈들이 대각선 방향으로 배치되는 실시 예를 나타낸다. 도 15에 따르면, 마이크로렌즈어레이부(120)는 복수의 대각선 열(1500, 1510, 1520, 1530, 1540, 1550, 1560, 1570, 1580, 1590, 1600)을 포함한다. 중심 열(1500)에는 두 개의 R 컬러 마이크로렌즈 및 두 개의 B 컬러 마이크로렌즈들이 교번적으로 배치된다. 그리고, 그 주변에는 복수의 G 컬러 마이크로 렌즈들을 포함하는 열들이 배치된다. 도 15에 도시된 바와 같이 R 및 B 컬러가 혼재되는 열과, G 컬러로만 이루어지는 열이 대각선 방향으로 교번적으로 반복 배치될 수 있다.
이상과 같은 다양한 컬러 패턴의 마이크로렌즈어레이부(120)를 투과한 광들은 이미지센서부(130)로 입사된다. 이에 따라, 복수의 원 이미지가 획득될 수 있다. 데이터 처리부(140)는 도 8에서 설명한 바와 같이 각 원 이미지들의 픽셀들 중에서 서로 대응되는 지점의 픽셀들을 모아서 복수의 서브 이미지를 생성한다.
마이크로렌즈어레이부(120)에서 복수의 마이크로렌즈를 이용하여 컬러 광들을 필터링한다. 즉, 서브 이미지 별로 컬러 정보를 나누어 획득한 후 복원하기 때문에, 디모자이크 기법과 같이 픽셀 값에 기초하여 색 보간을 수행하지 않고도, 이미지의 컬러 정보를 복원할 수 있다. 이에 따라, 색 보간 과정에서 발생하는 블러(blur)로 인한 해상도 저하 문제를 방지할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 촬영 방법을 설명하기 위한 흐름도이다. 도 16에 따르면, 촬영 장치는 촬영 명령이 입력되면 셔터를 오픈시킨다. 이에 따라, 메인 렌즈를 통해 광이 입사되면, 입사된 광을 복수 개의 마이크로렌즈를 이용하여 투과하여 컬러별로 필터링한다(S1610). 마이크로렌즈는 도 9 및 도 10에서 도시한 바와 같은 다양한 구성으로 구현되어, 렌즈 별로 매칭되는 컬러를 필터링할 수 있다. 마이크로렌즈어레이부의 컬러 패턴은 상술한 바와 같이 다양하게 구현될 수 있다.
각 마이크로렌즈를 투과한 광은 이미지 센서부로 입사된다. 이미지 센서부는 복수의 마이크로렌즈를 투과한 광에 기초하여 복수의 원 이미지를 획득한다(S1620). 원 이미지 각각은 피사체를 서로 다른 시점에서 촬영한 것이며, 각 마이크로렌즈의 컬러에 대응되는 컬러로 구성된다.
촬영 장치는 복수의 원 이미지 내의 각 픽셀을 조합하여 복수의 서브 이미지를 생성한다(S1630). 그리고 생성된 서브 이미지들을 저장한다(S1640).
그리고 서브 이미지내에서 서로 매칭되는 픽셀을 검출하여, 컬러 정보 및 깊이 정보를 복원한다(S1650). 컬러 정보 및 깊이 정보 등은 리포커싱 작업, 3D 객체 검출 작업 등에 사용될 수 있다.
도 17은 사용자 선택에 따라 다양한 이미지 처리를 수행하는 방법을 설명하기 위한 흐름도이다. 도 17에 따르면, 사용자는 피사체를 촬영하여 이미지 처리를 위한 메뉴를 선택할 수 있다. 메뉴에는 리포커싱 메뉴, 3D 객체 검출 메뉴, 시점 변환 메뉴 등이 더 포함될 수 있다.
메뉴 선택에 의해 리포커싱 명령이 입력된 경우에는(S1710), 촬영 장치는 복수의 서브 이미지들 중에서 하나의 서브 이미지를 선택하여 디스플레이한다. 일 예로는 중간 위치의 픽셀로 이루어진 서브 이미지를 디스플레이할 수 있다.
사용자는 디스플레이된 이미지 내에서 포커스를 맞추고자 하는 기준점을 선택할 수 있다(S1720).
기준 점이 선택되면 제어부(160)는 기준점의 깊이 정보를 확인한다(S1730). 깊이 정보는, 복수의 서브 이미지 내의 각 픽셀들 중에서 서로 대응되는 픽셀 값을 가지는 픽셀의 위치 차이를 이용하여 찾아낼 수 있다. 제어부(160)는 확인된 깊이 정보에 맞춰서 서브 이미지들의 픽셀들을 쉬프트시킨다. 그리고 나서, 쉬프트된 픽셀들의 픽셀값을 그 평균값으로 조정하여, 검출된 기준점에 포커스를 맞춘 이미지를 생성한다(S1740). 결과적으로, 기준점에 대응되는 깊이 정보를 가지는 객체들이 선명하게 표시된다.
한편, 리포커싱이 아니라 3D 객체 검출 명령이 입력된 경우에는(S1750), 복수의 서브 이미지들 사이에서 대응되는 픽셀들을 검출하여, 그 디스패리티를 추출하는 디스패리티 매칭 작업을 수행한다(S1760).
이에 따라, 각 픽셀들의 디스패리티에 따라 좌안 영상 및 우안 영상을 생성한다(S1770). 구체적으로는 깊이가 깊은 객체에 대해서는 좌안 영상에서의 픽셀 위치와 우안 영상에서의 픽셀 위치 사이의 픽셀 거리를 크게 생성하고, 깊이가 얕은 객체에 대해서는 좌안 영상에서의 픽셀 위치와 우안 영상에서의 픽셀 위치 사이의 픽셀 거리를 작게 생성한다. 이에 따라, 3D 이미지를 생성할 수 있다.
도 16 및 도 17에서 설명한 바와 같이, 본 발명의 다양한 실시 예에 따르면, 촬영 장치는 피사체를 촬영한 이후에 사용자의 선택에 따라 다양한 방식으로 조정할 수 있다. 따라서, 디모자이크 처리를 하지 않고도, 컬러 이미지를 생성할 수 있다.
도 18은 이미지 처리 과정의 일 예인 리포커싱 작업을 구체적으로 설명하기 위한 도면이다. 촬영 장치로 입사되는 빛은 위치 q와 각도 p를 갖는 빛의 래디언스(radiance)인 r(q,p)로 표현할 수 있다. 이러한 빛은 렌즈를 투과한 후, 렌즈 및 이미지 센서 사이의 공간을 지나서 이미지 센서로 입사된다. 따라서, 이미지 센서에서 획득되는 영상의 래디언스에 대한 변환 매트릭스는 렌즈의 특성 매트릭스와 그 사이 공간의 특성 매트릭스의 곱으로 표현된다.
리포커싱이란 포커스가 조정된 상태의 영상을 획득하기 위한 작업이다. 즉, 리포커싱이란 이미 획득한 레디언스 정보를 이용하여, 다른 위치의 이미지 센서 평면에 도달한 래디언스 정보를 계산하는 방식으로 이루어질 수 있다.
도 18은 리포커싱 작업의 일 예를 정의하기 위한 도면이다. 도 18은 r1에서 r2로 포커스가 조정된 경우를 나타낸다.
도 18에서, 메인 렌즈(110)로부터 a 만큼 떨어진 지점의 피사체의 상이 메인 렌즈(110)로부터 마이크로렌즈어레이부(120) 방향으로 b만큼 떨어진 지점인 r1 면에 맺히게 된다면, a'만큼 떨어진 지점의 피사체의 상은 마이크로렌즈어레이부(120) 방향으로 b'만큼 떨어진 지점인 r2 면에 맺히게 된다.
제어부(160)는 r1 면에 맺혀진 빛의 래디언스 정보를 이용하여 r2 면에 맺혀진 빛의 래디언스 정보를 구할 수 있다. 구체적으로는 r'(q, p)=r(q-tp, p)와 같은 수학식을 이용하여 변화된 래디언스 정보를 구할 수 있다. 여기서 t는 빛이 메인 렌즈(110) 및 이미지 센서(130) 사이에서 지나는 거리를 의미한다. 제어부(160)는 변화된 래디언스 정보를 구하게 되면, 이에 기초하여, 리포커싱된 결과 영상을 만들어 낼 수 있다. 구체적으로는, 제어부(160)는 복수의 서브 이미지들의 각 픽셀들의 깊이 정보를 확인하여, 변화된 래디언스 정보에 따라 픽셀들을 조합함으로써 포커스가 변경된 이미지를 획득할 수 있다. 도 18에서 설명한 리포커싱 방식은 일 예에 불과하며, 이 밖에도, 다양한 방식으로 리포커싱이나 기타 이미지 처리가 이루어질 수 있음은 물론이다.
상술한 다양한 실시 예들에 따른 촬영 방법은, 컬러 필터를 구비한 복수의 마이크로렌즈를 포함하는 촬영 장치에 적용될 수 있다. 구체적으로는, 이러한 촬영 방법을 수행하기 위한 프로그램 코드로 코딩되어 비일시적 판독 가능 매체에 저장될 수 있다. 이러한 비일시적 판독 가능 매체는 상술한 바와 같은 촬영 장치에 탑재되어, 해당 장치에서 상술한 방법을 실행하도록 지원할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 메인 렌즈 120 : 마이크로렌즈어레이부
130 : 이미지 센서부 140 : 데이터 처리부
150 : 저장부 160 : 제어부

Claims (10)

  1. 피사체로부터 반사되는 반사광을 투과시키는 메인 렌즈;
    상기 반사광이 입사되면 서로 다른 컬러로 필터링하여 투과시키는 복수 개의 마이크로렌즈가 배치된 마이크로 렌즈 어레이부;
    상기 복수 개의 마이크로렌즈 각각을 통해 투과된 광을 센싱하는 이미지 센서부;
    상기 이미지 센서부에서 센싱된 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성하는 데이터처리부;
    상기 복수의 서브 이미지를 저장하는 저장부;
    상기 저장부에 저장된 상기 복수의 서브 이미지 내에서 서로 매칭되는 픽셀을 검출하여 피사체 이미지의 컬러 정보 및 깊이 정보를 획득하는 제어부;를 포함하는, 촬영 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 서브 이미지를 이용하여 3D 객체 검출 작업 또는 리포커싱(re-pocusing) 작업을 수행하는 것을 특징으로 하는 촬영 장치.
  3. 제1항에 있어서,
    상기 마이크로 렌즈 어레이부는 반복 배치된 복수 개의 마이크로렌즈 그룹 단위로 구분되고,
    각 마이크로렌즈 그룹 내에서는 레드, 블루, 그린, 시안, 마젠타, 옐로우, 화이트 및 에메럴드 중에서 개별적으로 선택된 컬러가 각각 부여된 복수의 마이크로렌즈가 기 설정된 컬러 패턴에 따라 배치되는 것을 특징으로 하는 촬영 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이미지 센서는
    상기 복수 개의 마이크로렌즈 각각에 대응되는 복수 개의 픽셀 그룹으로 구분되며,
    각 픽셀 그룹은 복수 개의 픽셀을 포함하며,
    상기 이미지 센서의 전체 픽셀 개수는 상기 마이크로렌즈의 개수를 초과하는 것을 특징으로 하는 촬영 장치.
  5. 제4항에 있어서,
    상기 복수 개의 마이크로렌즈 각각의 표면에는 컬러 코팅층이 형성되며,
    상기 컬러 코팅층의 컬러는 기 설정된 패턴으로 반복되는 것을 특징으로 하는 촬영 장치.
  6. 제4항에 있어서,
    상기 마이크로렌즈어레이부는,
    상기 복수 개의 마이크로렌즈가 매트릭스 패턴으로 배치된 제1 기판;
    상기 복수 개의 마이크로렌즈에 각각 대응되는 복수의 컬러 필터부가 배치된 제2 기판;을 포함하고,
    상기 복수의 컬러 필터부의 컬러는 기 설정된 패턴으로 반복되는 것을 특징으로 하는 촬영 장치.
  7. 메인 렌즈를 통해 입사되는 광을 복수 개의 마이크로렌즈를 포함하는 마이크로렌즈어레이부를 이용하여 서로 다른 컬러로 필터링하여 투과시키는 단계;
    상기 복수 개의 마이크로렌즈를 투과한 광을 이미지 센서를 이용하여 센싱하여, 복수의 원 이미지를 획득하는 단계;
    상기 복수의 원 이미지로부터 대응되는 위치의 픽셀을 각각 수집하여 복수의 서브 이미지를 생성하는 단계;
    상기 복수의 서브 이미지를 저장하는 단계;
    상기 복수의 서브 이미지 내에서 서로 매칭되는 픽셀을 검출하여 피사체 이미지의 컬러 정보 및 깊이 정보를 복원하는 단계;를 포함하는 촬영 방법.
  8. 제7항에 있어서,
    상기 컬러 정보 및 상기 깊이 정보를 이용하여 3D 객체 검출 작업 또는 리포커싱(re-pocusing) 작업을 수행하는 단계;를 더 포함하는 촬영 방법.
  9. 제7항에 있어서,
    상기 마이크로렌즈어레이부는 반복 배치된 복수 개의 마이크로렌즈 그룹 단위로 구분되고,
    각 마이크로렌즈 그룹 내에서는 레드, 블루, 그린, 시안, 마젠타, 옐로우, 화이트 및 에메럴드 중에서 개별적으로 선택된 컬러가 각각 부여된 복수의 마이크로렌즈가 기 설정된 컬러 패턴에 따라 배치되는 것을 특징으로 하는 촬영 방법.
  10. 제7항 내지 제0항 중 어느 한 항에 있어서,
    상기 복수 개의 마이크로렌즈 각각의 표면에는 컬러 코팅층이 형성되며,
    상기 컬러 코팅층의 컬러는 기 설정된 패턴으로 반복되는 것을 특징으로 하는 촬영 방법.
KR1020130007173A 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 KR20140094395A (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020130007173A KR20140094395A (ko) 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
TW103100308A TW201433159A (zh) 2013-01-22 2014-01-06 攝影裝置以及使用多個微透鏡拍照的攝影方法
JP2015553647A JP2016511562A (ja) 2013-01-22 2014-01-08 複数のマイクロレンズを使用して撮影する撮影装置及びその撮影方法
PCT/KR2014/000201 WO2014115984A1 (en) 2013-01-22 2014-01-08 Photographing device and photographing method for taking picture by using a plurality of microlenses
AU2014210553A AU2014210553B2 (en) 2013-01-22 2014-01-08 Photographing device and photographing method for taking picture by using a plurality of microlenses
US14/158,148 US20140204183A1 (en) 2013-01-22 2014-01-17 Photographing device and photographing method for taking picture by using a plurality of microlenses
CN201410030528.3A CN103945115A (zh) 2013-01-22 2014-01-22 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
EP14152163.3A EP2757790A1 (en) 2013-01-22 2014-01-22 Photographing device and photographing method for taking picture by using a plurality of microlenses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130007173A KR20140094395A (ko) 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법

Publications (1)

Publication Number Publication Date
KR20140094395A true KR20140094395A (ko) 2014-07-30

Family

ID=50030067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130007173A KR20140094395A (ko) 2013-01-22 2013-01-22 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법

Country Status (8)

Country Link
US (1) US20140204183A1 (ko)
EP (1) EP2757790A1 (ko)
JP (1) JP2016511562A (ko)
KR (1) KR20140094395A (ko)
CN (1) CN103945115A (ko)
AU (1) AU2014210553B2 (ko)
TW (1) TW201433159A (ko)
WO (1) WO2014115984A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187627B2 (en) 2016-11-25 2019-01-22 Samsung Electronics Co., Ltd. Multi-lens based capturing apparatus and method
KR20230064860A (ko) * 2021-11-04 2023-05-11 국민대학교산학협력단 라이트 필드 이미지 장치 및 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104864849B (zh) * 2014-02-24 2017-12-26 电信科学技术研究院 视觉导航方法和装置以及机器人
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9521319B2 (en) * 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9883151B2 (en) 2014-11-28 2018-01-30 Electronics And Telecommunications Research Institute Apparatus and method for capturing lightfield image
US9797716B2 (en) 2015-01-09 2017-10-24 Ricoh Company, Ltd. Estimating surface properties using a plenoptic camera
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106303166A (zh) * 2015-05-22 2017-01-04 电信科学技术研究院 一种图像采集设备
EP3110130A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Plenoptic camera and method of controlling the same
SG10201912510QA (en) * 2015-09-23 2020-02-27 Kla Tencor Corp Method and system for focus adjustment a multi-beam scanning electron microscopy system
US10325753B2 (en) 2015-09-23 2019-06-18 Kla Tencor Corporation Method and system for focus adjustment of a multi-beam scanning electron microscopy system
JP6947438B2 (ja) * 2016-12-05 2021-10-13 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． マイクロレンズアレイ
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN107991838B (zh) * 2017-11-06 2020-10-23 万维科研有限公司 自适应三维立体成像系统
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
CN109348114A (zh) * 2018-11-26 2019-02-15 Oppo广东移动通信有限公司 成像装置和电子设备
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
WO2021060118A1 (ja) * 2019-09-26 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
CN111182179B (zh) * 2019-11-26 2021-01-19 浙江大学 奇偶透镜线阵交替分布的分段平面侦察成像系统和方法
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
CN111479075B (zh) * 2020-04-02 2022-07-19 青岛海信移动通信技术股份有限公司 拍照终端及其图像处理方法
CN112816493A (zh) * 2020-05-15 2021-05-18 奕目(上海)科技有限公司 一种芯片打线缺陷检测方法及装置
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856314B2 (en) * 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
CN100556076C (zh) * 2004-10-01 2009-10-28 利兰·斯坦福青年大学托管委员会 成像装置及其方法
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP4607208B2 (ja) * 2007-05-23 2011-01-05 コワングウーン ユニバーシティー リサーチ インスティテュート フォー インダストリー コーオペレーション 立体映像ディスプレイ方法
KR100947366B1 (ko) * 2007-05-23 2010-04-01 광운대학교 산학협력단 입체영상 디스플레이 방법 및 시스템
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5332423B2 (ja) * 2008-09-08 2013-11-06 ソニー株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5246424B2 (ja) * 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20110242342A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US20120019703A1 (en) * 2010-07-22 2012-01-26 Thorn Karl Ola Camera system and method of displaying photos
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
EP2682805A4 (en) * 2011-03-04 2014-10-01 Samsung Electronics Co Ltd PICTURE DISPLAY DEVICE WITH SEVERAL PERSPECTIVES
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187627B2 (en) 2016-11-25 2019-01-22 Samsung Electronics Co., Ltd. Multi-lens based capturing apparatus and method
US10652518B2 (en) 2016-11-25 2020-05-12 Samsung Electronics Co., Ltd. Multi-lens based capturing apparatus and method
US11064183B2 (en) 2016-11-25 2021-07-13 Samsung Electronics Co., Ltd. Multi-lens based capturing apparatus and method
KR20230064860A (ko) * 2021-11-04 2023-05-11 국민대학교산학협력단 라이트 필드 이미지 장치 및 방법

Also Published As

Publication number Publication date
AU2014210553B2 (en) 2016-03-17
AU2014210553A1 (en) 2015-07-23
EP2757790A1 (en) 2014-07-23
TW201433159A (zh) 2014-08-16
WO2014115984A1 (en) 2014-07-31
JP2016511562A (ja) 2016-04-14
CN103945115A (zh) 2014-07-23
US20140204183A1 (en) 2014-07-24

Similar Documents

Publication Publication Date Title
KR20140094395A (ko) 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US20230353718A1 (en) Imaging apparatus and image sensor array
US10044959B2 (en) Mask-less phase detection autofocus
JP5538553B2 (ja) 固体撮像素子及び撮像装置
CN204697179U (zh) 具有像素阵列的图像传感器
JP5547349B2 (ja) デジタルカメラ
US20150358593A1 (en) Imaging apparatus and image sensor
WO2013166215A1 (en) CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
JP2008005488A (ja) カメラモジュール
WO2011142063A1 (ja) ３次元撮像装置
CN103167239A (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
CN103842877A (zh) 成像装置和合焦参数值计算方法
CN104508531A (zh) 拍摄元件和拍摄装置
JPWO2013021542A1 (ja) ３次元撮像装置
US20180288306A1 (en) Mask-less phase detection autofocus
JP6760486B2 (ja) 撮像装置
JP5507362B2 (ja) ３次元撮像装置および光透過板
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP5907668B2 (ja) 撮像装置及び撮像素子
TWI568258B (zh) 光學變焦成像系統及相關方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid