KR101517704B1 - 이미지를 기록하기 위한 이미지 기록 장치 및 방법 - Google Patents

이미지를 기록하기 위한 이미지 기록 장치 및 방법 Download PDF

Info

Publication number
KR101517704B1
KR101517704B1 KR1020137004041A KR20137004041A KR101517704B1 KR 101517704 B1 KR101517704 B1 KR 101517704B1 KR 1020137004041 A KR1020137004041 A KR 1020137004041A KR 20137004041 A KR20137004041 A KR 20137004041A KR 101517704 B1 KR101517704 B1 KR 101517704B1
Authority
KR
South Korea
Prior art keywords
pixel
optical element
image
imaging
image sensor
Prior art date
Application number
KR1020137004041A
Other languages
English (en)
Other versions
KR20130038388A (ko
Inventor
알렉산더 오버도스터
안드레아스 브루크너
프랑크 비퍼맨
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20130038388A publication Critical patent/KR20130038388A/ko
Application granted granted Critical
Publication of KR101517704B1 publication Critical patent/KR101517704B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/205—Neutral density filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

광학 소자가 개별 픽셀에 객체를 이미지화하는 이미지화 방향 또는 광학 소자에 의해 개별 픽셀에 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치에 따라 픽셀의 샘플이 배열될 때, 그리고 (이와 같이 배열된) 픽셀의 샘플의 분포가 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 보간될 때, 다중 채널 광학 소자를 이용하는 경우, 한편으로는 하드웨어와 제조 비용간의 개선된 비율, 다른 한편으로는 화상 품질이 얻어진다. 이러한 방식으로, 전체 화상에 걸쳐 처리가 표준화되어, 서브영역간의 전이 문제가 방지된다.

Description

이미지를 기록하기 위한 이미지 기록 장치 및 방법{IMAGE RECORDING DEVICE AND METHOD FOR RECORDING AN IMAGE}
본 발명은 화상 캡처 장치 및 화상 캡처 방법에 관한 것이다.
이동 전화 카메라 분야 및 자동차 부품(automotive engineering) 분야와 같은 여러 분야에서, 카메라 모듈의 소형화 및 그 제조 비용의 저감은 중요한 목표이다. 모든 면에서, 모듈 크기는 화소 크기에 비례한다. 이것은 또한 광축에 따른 길이에도 적용되어, 상대적으로 작은 화소는 주어진 전체 화소수에 대한 센서 크기를 감소시키고, 상대적으로 작은 센서는 주어진 시야에 대해 초점 길이를 보다 짧게 할 수 있다. 카메라 모듈의 광축에 따른 최소 확장은 주로 광학 시스템의 초점 길에 의해 제한된다.
곤충의 겹눈에 착안하면, 다중 채널 이미지화 시스템(multi-channel imaging system)은 소형화 및 비용 저감의 두가지 측면 모두에서 개선을 보장한다. 대략 몇 밀리미터 확장된 단일 스택(single stack)의 렌즈 대신에, 다중 채널 이미지화 시스템 내의 광학 시스템은 마이크로렌즈 어레이로 구성된다. 이들 마이크로렌즈 어레이에 의해 생성된 마이크로화상(micropicture)은 광학적으로 또는 전기적으로 단일 화상으로 합쳐진다. 전체 시스템의 특정한 사전정의된 시야에 대해, 그러한 다중 채널 이미지화 시스템의 마이크로렌즈의 초점 길이는 단채널 시스템의 초점 길이의 단지 일부이며, 그에 따라 광축에 따른 설계 높이(design height)는 감소되고, 초점 깊이는 현저히 증가된다. 각 마이크로화상은 시야의 작은 부분만을 커버하기 때문에, 광학 시스템은 단순하게 구성될 수 있다(종종, 채널당 하나의 렌즈와 몇개의 조리개로 충분함). 마이크로렌즈는 대략 몇백 마이크로미터(㎛)의 직경과 몇십 마이크로미터 범위의 정점 높이(vertex height)를 갖기 때문에, 웨이퍼 접착 배열(wafer bond arrangement)에서 비용 효율이 높게, 그리고 고정밀도로 생산될 수 있다.
그러나, 카메라, 이동 전화 등과 같은 애플리케이션에 대해 충분한 해상도를 얻어야한다는 과제를 여전히 갖고 있다. 비교적 축 방향으로 평행한 각 개별 채널의 광학 경로에도 불구하고, 개별 영상 채널 상의 개별 부분 화상이 만나는 스티칭(stitching)을 복잡하게 하는 광학 왜곡이 각 채널에 대해 발생한다. 만일 이미지 센서의 서브영역의 프레임 어레이가 단지 함께 스티치되어 전체 픽셀 어레이를 형성하는 그런 정확성을 가지고, 마이크로렌즈 어레이와 이미지 센서의 연관된 서브영역을 서로 배열하려고 하면, 이것은 제조 허용 범위와 이미지 센서와 마이크로렌즈 어레이의 어셈블리에서의 허용 범위에 대한 요구가 커진다는 것을 의미한다. 브루크너, 두파레, 단베르그, 라이텔 및 브라우너의 "Driving Microoptical Image System towards Miniature Camera Application, Micro-Optic 2010, Processing of SPIE, vol.7716"에서, 전체 화상을 형성하기 위해 다중 채널 이미지화 시스템의 부분 화상을 조합하는 알고리즘이 설명되고, 이것은 몇몇 스테이지에서 효과를 거두었다. 마이크로화상은 초기에 반전되고 이어서 등화되며, 그결과 시차를 고려하면서 재배열됨으로써 마이크로화상은 함께 결합되어 전체 화상을 형성한다. 서브픽셀 정확도로 등화가 수행된다. 그래서 얻어진 개별 픽셀 클라우드는 각각의 경우에 등화되는 부분 화상을 생성하기 위해 보간이 이루어지고, 화상 정보는 정수 픽셀 위치로 명시된다. 상기 부분 화상은 최종적으로 짜맞춰져, 픽셀을 재배열하거나 또는 등화된 부분 화상의 중첩 영역에서 픽셀을 재배열하거나 픽셀을 간삽하여전체 화상을 형성한다. 거기에 개시된 이 방안이 부분 화상의 개별 처리의 불일치로 인한 상기 문제를 감소시키더라도, 생성된 전체 화상내에서, 특히 부분 화상의 중첩 영역을 따라 인공 산물(artifact)이 발생한다.
전체 시야가 커진 다중 채널 이미지화 시스템과 관련하여 상술한 바와 유사한 문제가 다른 출원에서 발생할 수도 있다. "Scene independent Method for Information in lenslet Array Images"라는 발명의 명칭을 가진 US2001/013807A1호는, 예를 들어, 렌즈가 거의 동일한 방향으로 향하고 동일한 이미지 조리개 각도를 가져야 하는 마이크로렌즈 어레이를 설명한다. 그러나, 개별 마이크로렌즈의 시선 방향은 매우 작은 차이만 있다. 특히, 그 특허는 어떻게 개별 부분 화상의 시선 방향에서의 차이가 결정될 수 있는지를 설명한다. 이점에 있어서, 상기 특허는 그중에서도 어떻게 부분 화상이 다른 것에 대해 매우 정확하게 배치될 수 있는지에 대해 설명한다. 그러나, 프레임의 잠재적인 왜곡은 보상되지 않는다.
본 발명의 목적은, 화상 캡처 장치 및 화상 캡처 방법을 제공하여, 촬영(photographing)에 다중 채널 광학 소자가 이용될 때, 제조 및 하드웨어면에서 상대적으로 저렴한 비용으로 전체 화상의 만족스러운 품질을 얻을 수 있는 것이다.
이 목적은 청구항 1에서 청구된 바와 같은 화상 캡처 장치 및 청구항 15에서 청구된 바와 같은 방법에 의해 달성된다.
본 발명의 일 실시예에 따라, 화상 캡처 장치는, 복수의 픽셀을 구비하고 사진에서 픽셀 당 하나의 샘플을 검출하도록 구성되는 이미지 센서와, 이미지 센서에 광학 이미지를 생성하는 광학 소자를 포함하며, 상기 광학 소자는 중첩되는 입체각 범위를 개별적으로 형성하여 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 구비한다. 이미지 센서의 각 픽셀은 그와 연관된 이미지 값을 갖고, 이미지 값은 광학 소자가 객체를 개별 픽셀로 이미지화하는 이미지 방향 또는 광학 소자에 의해 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치이다. 최종적으로, 화상 캡처 장치는 화상 값의 어레이를 획득하기 위해 픽셀의 샘플의 전체 분포를 가로질러 확장되는 균일 격자(regular grid)의 교차점에서 그 이미지 값에 따라 픽셀의 샘플의 분포를 보간하는 보간기를 구비한다.
본 발명의 발견은, 광학 소자가 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 광학 소자에 의해 개별 픽셀에 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치에 따라 픽셀의 샘플이 배열될 때, 그리고 (이와 같이 배열된) 픽셀의 샘플의 분포가 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 보간될 때, 다중 채널 광학 소자를 이용하는 경우, 한편으로는 하드웨어와 제조 비용간의 개선된 비율, 다른 한편으로는 화상 품질이 얻어질 수 있다. 이러한 방식으로, 전체 화상에 걸쳐 처리가 표준화되어, 서브영역간의 전이 문제가 방지된다.
본 출원의 바람직한 실시예는 종속 청구항의 주제이다.
이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시예를 더욱 상세히 설명한다.
도 1은 본 출원의 일 실시예에 따른 화상 캡처 장치의 개략도,
도 2는 본 출원의 다른 조금 더 상세한 실시예에 따른 화상 캡처 장치의 개략도,
도 3a는 이미지화 값으로서 초점 깊이 영역에서의 횡적 이미지화 위치가 이용되는 본 출원의 일 실시예에 따른, 그 이미지화 값(imaging value)에 따른 픽셀 분포의 개략도,
도 3b는 이미지화 값으로서 광학 소자가 개별 픽셀에 이미지화 하는 이미지 방향이 이용되는 본 발명의 일 실시예에 따른, 이미지화 값에 따른 픽셀 분포의 개략도,
도 4는 일 실시예에 따른 이미지 센서 및 마이크로렌즈 어레이로 구성된 배열의 단면도,
도 5a 및 도 5b는 개별 픽셀의 시야 및 시선 방향을 도시하는 개략도,
도 6은 일 실시예에 따른 왜곡을 포함하는 서브영역 내의 픽셀의 시선 방향을 나타내는 공간뷰(spatial view ),
도 7은 일 실시예에 따른 픽셀 도트 클라우드 및 중첩된 레귤러 그리드(superimposed regular grid)의 개략도,
도 8은 시차 효과(parallax effect)를 잘못 무시하여 야기되는 에러를 나타내는 두 촬영 상황(situations)의 개략도이다.
도 1은 본 발명의 일 실시예에 따른 화상 캡처 장치이다. 도 1의 화상 캡처 장치는 일반적으로 참조 번호 '10'으로 표시되고, 예를 들어 다수의 픽셀(도 2까지는 도시되지 않음)을 갖는 이미지 센서(12)와, 이미지센서(12)에 광학 이미지를 생성하는 광학 소자(14)를 구비하며, 광학 소자는 중첩 입체각 범위(161∼163)를 개별적으로 이미지화(imaging)하여 이미지 센서의 서브영역(subarea)(이것도 도 2까지는 도시되지 않음)을 분리하는 다중 채널 광학 소자를 구비한다. 도 1의 이미지 캡처 장치(10)는 보간기(18)를 더 구비하고, 연관기(19) 및 사용자 입력 인터페이스 및/또는 거리계(20)와 같은 추가 구성 요소를 (옵션으로) 더 구비한다.
이미지 센서(12)는 보간기(18)에 접속되고, 밝기 값과 같은 샘플을 픽셀당 검출하여, 그것을 보간기(18)에 출력하도록 구성된다. 옵션의 입력 인터페이스 및/또는 옵션의 거리계(20)는 연관기를 통해 보간기(18)에 옵션으로 접속된다. 옵션의 입력 인터페이스 또는 거리계(20)를 통해 연관기(19)와 협력하여, 보다 상세히 후술될 보간에서, 중첩 입체각 범위(161∼163)에 의해 형성된 전체 시야 내에 위치하고 이미지 센서(12)의 개별 소영역에 이미지화 되는 장면(scene)의 객체에 의해 나타나는 거리를 보간기(18)가 고려하는 것이 가능하다. 보간기(18)는 화상 캡처 장치(10)의 출력단(22)에서 화상 값의 배열 형태로 소망하는 화상을 출력한다.
도 1의 화상 캡처 장치(10)의 설계는 상술했기 때문에, 이하 그 작동 모드에 대해 보다 상세히 설명한다. 도 1과 동일한 구성 요소가 도시되지만 본 출원의 일 실시예에 따라 더욱 상세한 레벨을 갖는 도 2도 때때로 참조한다.
이미 상술한 바와 같이, 광학 소자(14)는 이미지 센서(12)의 소영역(241~243, 243)을 분리하기 위해 중첩하는 입체각 범위(161∼163)를 개별적으로 이미지화하는 다중 채널 광학 소자를 구비한다. 도 1 및 도 2에 도시된 바와 같이, 멀티채널 광학 소자는 마이크로렌즈(261∼263)의 렌즈 어레이일 수 있으며, 그 각각은 시야, 또는 입체각 범위(161∼163)를 갖는 해당 채널을 형성하기 위해 서브영역(241, 242, 233) 중 하나와 연관된다. 도 1 및 도 2의 예인 경우에, 다중 채널 광학 소자는 개별적으로 보이는 서로 중첩된 입체각 범위보다 명확하게(예를 들어, 중첩된 입체각 범위(161∼163)의 각각보다 4배) 큰 전체 입체각 범위를 중첩된 입체각 범위(161∼163)가 함께 커버하도록 구성된다. 그렇게 함으로써, 본 출원의 상세한 설명의 도입부에서 미리 언급한 바와 같이, 본질적으로 이미지 센서(12)로부터 광학 소자(14)의 거리에 해당하고, 마이크로렌즈의 초점 길이와 같거나 약간 큰 설계 높이 h는 감소될 수 있다. 마이크로렌즈(261∼263)의 중심간 거리(center-to-center distance) 또는 마이크로렌즈(261∼263)의 정점(vertices)의 평균 거리가 이미지 센서(12)의 서브영역(241∼243)의 중심간 거리 또는 반복 거리에 비해서 커진다는 점에서, 전체 시야각이 확실히 전체적으로 커진다. 이런 방식으로, 화상 캡처 장치의 소망하는 전체 시야 범위는 설계 높이 h로부터 분리된다. 한편, 전체 시야 범위가 개별 시야 범위(161∼163)로 세분화됨으로 인하여, 개별 광학 소자를 구비하는 설계에 비해 설계 높이 h가 감소될 수 있고, 설계 높이 h의 감소량은 서브영역의 수가 증가되는 만큼 증가된다. 그러나, 실제로는 렌즈간의 요구되는 거리 또는 보다 작은 서브영역에 관한 렌즈의 크기로 인하여, 개별 채널로의 세분화는 제한될 수 있다. 예를 들어, 채널의 수는 4∼10000개 사이이다.
작동 모드를 설명하기 전에, 다음 실시예에서 설명되는 시나리오와 달리, 마이크로렌즈(261∼263)의 반복 거리가 서브영역(241∼243)의 평균 반복 거리보다 작게(즉, 입체각 범위가 본질적으로 완전히 중첩되게) 설정되는 것도 가능하다는 점에 최종적으로 주목해야 한다. 예를 들어, 전체 입체각 범위는 기껏해야 중첩된 개별 입체각 범위 중 어느 하나보다 120% 큰 정도로 작을 수 있다.
상술한 바와 같이, 이미지 센서(12)는 다수의 픽셀(28)을 구비한다. 특히, 서브영역(241∼243)의 각각은 다수의 상기 픽셀(28)을 구비한다. 예를 들어, 각 서브영역(241∼243)은 32개 이상의 픽셀을 구비한다. 도 4를 참조하여 보다 상세히 후술하는 바와 같이, 이미지 센서(12)는 단일 기판 이미지 센서일 수 있으며, 예를 들어, 여기서 서브영역(241∼243)은 결합하여 형성되고, 여기서 상기 서브영역(241∼243)간의 간격은 판독 증폭기, 열 및/또는 행 디코더 등과 같은, 픽셀(28)의 감광 영역을 제어하는 제어 회로부를 수용하는 데 이용될 수 있다.
개별적인 입체각 영역((161∼163)이 광학 소자(14), 특히 마이크로 렌즈((261∼263)에 관한 배열에 의해 서브영역(241∼243)과 연관되는 것과 마찬가지로, 각 픽셀(28)도 당연히 개별 입체각 범위를 갖고, 그 개별 입체각 범위는 그것과 연관된 시선 방향 및/또는 이미지화 방향보다 확실히 작고, 상기 방향은 예를 들어 픽셀의 개별적인 입체각 범위를 중심으로 확장된다. 도 5 및 도 5b를 참조하여 연관성을 보다 상세하게 후술한다. 이미지화 방향 및/또는 시선 방향의 모든 이미지화 각도 및/또는 시선 각도는, 예를 들어, 광학 소자(14)의 광축 또는 이미지 센서(12)의 감광성 표면 영역의 표면 법선에 관해서 결정된다. 이런 방식으로, 도 3b에 도시된 바와 같은 평면, 즉 2개의 축을 가로지르는 평면 내에 픽셀(28)을 배열하는 것이 가능하고, 그 중 축(30)은 픽셀(28)의 열 방향(x)으로 개별 픽셀의 이미지화 방향의 편차
Figure 112013014427512-pct00001
가 들어가고, 축(32)은 예를 들어 축(x)에 수직인 행 방향(y)으로 광학축에 대한 이미지화 방향의 각도 편차가 들어간다(나중의 각도는
Figure 112013014427512-pct00002
에 의해 지시됨), 축이 가급적 동일하게 크기 조정되거나 등방성인 점을 주목해야 한다. 도 3b는 이렇게 가로지르는(spanned) 평면 내에 픽셀이 어떻게 그 이미지화 방향을 따라 배열되는지를 나타낸다. 가장자리(34)는 예를 들어 서브영역(241)의 픽셀(28)의 위치(도트로 표시됨)를 둘러싼다. 가장 자리(34)의 쿠션같은 모양은 마이크로 렌즈의 왜곡이
Figure 112013014427512-pct00003
평면 내의 서브영역(241)의 픽셀(28)의 쿠션 형상 분포를 초래한다는 점을 나타낸다. 명확히 하기 위해, 도 3b는 다른 서브영역(241∼243)의 픽셀(28)은 도시하지 않고 그 가장자리(36, 38)만을 도시하며, 개별적인 부분 픽셀의 에지(edge)는 흐리게 했다. 또한, 도 3b는 예를 들어 x 방향에서 서브영역(241∼243)에 인접하여 배치될 수 있고, 도 2에서 파선으로 표시된 서브 영역의 픽셀 위치를 도시한다.
화상 캡처 장치(10)에 의해 캡처된 장면이 충분히 떨어져 있는 경우, 상술한 바와 같이 각 픽셀(28)에 연관된 시선 방향을 고려하는 것만으로 충분할 것이다. 화상 영역(241∼243) 및 연관된 마이크로렌즈가 서로 횡으로 상쇄(offset)되어 발생하는 시차 효과(parallax effect)는 간격이 큰 경우에 영향이 없다. 이것은 보다 짧은 간격과는 다르다. 예를 들어, 도 2가 이 초점 깊이 영역을 도시하는 것과 마찬가지로, 도 1은 광학 소자(14)의 광축에 수직으로 확장되는 면으로서 초점 깊이 영역(40)을 도시한다. 캡처된 장면이 몇개의 채널로 분할되어 광학 소자(14)의 초점 깊이가 매우 높은 것을 다시 한번 주목해야한다. 이런 방식으로, 마이크로렌즈(261∼263)가 매우 큰 초점 깊이 범위(즉, 광학 소자(14)로부터의 거리의 매우 큰 범위) 내의 객체를 이미지화 하는 것도 가능하다. 예를 들어, 이미지 센서(12)의 감광성 영역으로부터 마이크로렌즈((261∼263)의 조점 길이와 같거나 약간 더 큰 거리에 마이크로렌즈((261∼263)를 배치할 수 있다.
각 픽셀(28)이 그것과 연관된 이미지화 방향을 가질 수 있는 것과 마찬가지로, 각 픽셀은 그것과 연관된(즉, 광학 소자(14)에 의해 개별 픽셀(28)에 대해 이미지화되는) 횡적으로 확장되는 초점 깊이 영역(40) 내의 횡적 이미지화 위치를 가질 수도 있다. 도 3a에 도시된 바와 같이, 방향 x에서의 직교 좌표와 방향 y에서의 직교 좌표에 의해 걸쳐지는 평면 내에 그 횡적 이미지화 위치에 따라 픽셀(28)을 배열할 수 있다. 도 3b에서와 같이, 도 3a는 단지 서브영역(241)에 대한 픽셀(28)의 위치를 도트에 의해 개별적으로 나타내지만, 실선은 전반적으로 서브영역(241∼243)의 픽셀의 위치의 클라우드(cloud)의 위치 및/또는 확장을 나타내고, 파선은 도 2에서 파선에 의해 표시된 잠재적인 추가 서브영역의 픽셀의 위치를 나타낸다. 도 3a에서, 또한, 가장자리선의 쿠션 형상의 구현은 광학 소자(14)의 단일 채널 광학 소자가 왜곡을 야기할 수 있다는 점을 나타낸다.
상술한 바와 같이, 이미지 센서(12) 및 광학 소자(14)는 서로 등거리에 배열된다. 물론, 초점 깊이 범위를 조절할 수 있도록 이미지 센서(12)와 광학 소자(14) 사이의 거리를 다양하게 조정하는 것도 가능하지만, 상술한 바와 같이 다중 채널 광학 소자 및 마이크로렌즈의 (크기가 감소된) 조리개의 활용으로 인해, 초점 깊이 범위는 대부분의 경우 어쨌든 재조정이 필요하지 않을 정도로 충분히 크다. 아직 시차가 문제가 되지 않는 거리에 배열된 객체의 화상을 캡처하도록 화상 캡처 장치(10)가 설계된 경우, 서브영역(241∼243)의 개별 픽셀(28)과 이미지화 방향의 연관(도 3b에 도시됨)이 고정되는 것도 가능할 것이다. 이 경우, 거기에 연관기(19)가 반드시 필요한 것은 아니다. 오히려, 연관은 보간기(18)의 기능을 수행하는 프로그램 코드 내에서 일관되게 프로그래밍되거나, 하드웨어에 내장될 수 있다. 대신에, 연관기(19)는 룩업 테이블의 형태로 메모리로서 제공될 수 있다. 각 사진에 대한 개별 픽셀(19)의 이미지화 방향을 재산출하는 연산부로서 연관기(19)를 구현하는 것도 가능할 것이다.
물론, 도 1의 화상 캡처 장치(10)는 대략 1/2미터의 근접 범위와 같이 특정한 근접 범위 내의 객체를 캡처하는 데만 적용되는 것도 가능할 것이다. 이 경우, 도 3a에 따른 상술한 연관이 보간기(18) 내에 고정적으로 탑재될 수 있고, 연관기(19)는 생략할 수 있다. 그러나, 도 3b의 연관과 관련하여 상술한 바와 같은 대안도 당연히 가능할 것이다.
예를 들어 적절한 교정 객체를 캡처함으로써(화상 캡처 장치의 후속하는 어셈블리(assembly)에 의해) 도 3b 및 도 3a에 따른 연관이 결정될 수 있다. 대신에, 초점 깊이 영역(40)의 이미지화 방향 및/또는 횡적 이미지화 위치의 연관의 결정은, 화상 캡처 장치(10)의 설계 파라미터 및/또는 특히 광학 소자(14)의 이미지 센서(12)의 설계 파라미터와 그 상호 연관 위치를 이용한 산출에 의해 결정될 수 있다. 두 대안 모두에 대하여, 광학 소자(14)에 의해 야기된 왜곡을 고려하는 것도 가능할 것이다.
물론, 서브영역간 또는 조리개간의 횡적인 상쇄로 인해 시차 효과가 영향을 미치는 사진과 그렇지 않은 사진 둘 다에 대해 화상 캡처 장치(10)가 제공되는 것도 가능할 것이다. 이 경우, 연관이 도 3b에 따라(즉, 원거리 촬영(long-distance shot)에 대해) 수행되는 것인지 또는 도 3a에 따라(즉, 근접 촬영(close-up shot)에 대해) 수행되는 것인지를 연관기(19)에 명시하기 위해, 사용자 입력 인터페이스(20)가 사용자에 의해 사용될 수 있다. 거리계(20)에 의한 명시(specification) 역시 가능하며, 상기 거리계는 실시간 측정 등에 의해 또는 상관 관계와 같이 서브영역 내에 존재하는 그 자신의 정보를 분석하는 것에 의해 거리를 결정할 수 있다. 도 3b 및 도 3a에 따른 연관간의 전이는 급격할 필요가 없다. 오히려, 광학 소자(14)로부터의 장면의 거리가 증가한 만큼 시차 구간은 계속해서 사라진다. 따라서, 연관기(19)가 입력 인터페이스/거리계(20)로부터 캡처될 객체의 거리의 지시(indication)를 획득하고, 거리의 지시에 의해 검색하거나 또는 거리의 지시를 이용하여 산출함으로써, 시차 구간을 고려하면서 그에 따라 연관을 조정하는 것도 가능할 것이다.
보간기(18)는 도 3b 및/또는 도 3a에 따른 평면 내의 모든 픽셀(28)의 공통 도트 클라우드로부터 픽셀의 어레이(즉, 화상 값의 균일한 격자(즉, 소망하는 화상))를 생성한다. 이를 위해, 보간기(18)는 서브영역의 모든 개별 도트 클라우드의 조합에 걸쳐 균일 격자(42)를 중첩시키고(즉, 픽셀을 갖는 전체 프레임이 이미지값에 따라 배열됨), 도 3a 및 도 3b에 따른 평면 내의 위치에서(즉, 균일 격자(42)의 교차점의 위치에서) 픽셀의 샘플 사이를 보간한다. 균일 격자가 노드보다 많은 교차점(즉, 픽셀(28)보다 많은 교차점)을 구비하는 것이 가능하다는 점에 주목해야 한다. 그러나, 소망하는 화상 화상 어레이에 기여하는 균일 격자(42)의 교차점은 모든 픽셀의 공유량 내에 있어야 하며, 그것은 그렇지 않을 경우 거기에 연관된 부정확성을 포함하는 외삽법(extrapolation)이 요구될 수 있기 때문이다. 보간 방법의 예를 하기에 제시한다. 그러나, 채용될 수 있는 다수의 가능한 보간 방법이 있다. 어쨌든, 이미지값은 균일 격자의 격자 간격보다 적어도 16배 큰 최소 단위를 갖는 스칼라 정확도(scalar accuracy)로 존재하는 것이 바람직하다. 한편, 도 3a 또는 도 3b에 따른 공간(room) 내의 보간기(18)는 거기에서 발생한 구성 요소들을 제 1 비트 정확도(first bit accuracy)로 처리할 수 있고, 그와 관련하여 격자(42)의 교차점은 적어도 16배의 최소 단위의 간격을 갖는다. 따라서, 예를 들어, 도트 프레임의 중첩 영역 또는 개별 픽셀 도트 클라우드에서 조차 격자점 당 한번의 보간만 수행되고, 개별 중첩 영역 내에서 중첩되는 모든 프레임이 상기 보간에 동일하게 참여한다는 사실을 반영 하는 하나의 단계에서 그리고 동일한 방식으로 모든 프레임에 대해 보간이 일어날 수 있다. 이미지값을 재조정하거나 조작할 필요가 없다. 일단 그들이 결정되면, 그들은, 예를 들어 픽셀의 빔 밀도값이 개별 보간값과 결합되는 가중값으로만, 특히, 후술하는 바와 같이, 현재 보간이 일어나는 고려되는 교차 격자점과 개별 포위 픽셀 사이의 간격의 적정한 측정과 동일한 가중값으로만, 그들이 고려된다.
상술한 설명은 픽셀(28)이 상이한 감도 반응을 나타낼 가능성을 언급하지 않았다. 그 감도는 예를 들어 입사광의 편광에 비해 또는 (중립) 감도에 비해 다를 수 있다. 이 경우, 균일 화상 어레이를 얻기 위해 보간기(18)가 상술한 바와 같이 도 3a 및/또는 도 3b에 따른 평면 내에 동일한 감도 특성을 갖는 픽셀을 배열하고, 별도로 이 감도 특성에 대해 그 위에 격자(42)를 각기 중첩시킬 수 있을 것이다. 그래서, 이 방안은 모든 감도 특성에 대해 및/또는 모든 감도 특성의 픽셀과 별도의 각 감도 특성에 대해 수행될 것이다. 후술하는 바와 같이, 이 경우에 상이한 감도 특성을 갖는 픽셀이 고려된다는 점에서 동일한 감도 특성을 갖는 픽셀의 개별적인 부분 분포의 보간이 개선되는 것이 가능하다. 방금 설명된 방식으로, 컬러 화상을 얻을 수 있다. 이 방안의 효과는, 격자(42)가 도 3a 및/또는 도 3b에 따른 평면 내의 모든 감도 특성에 대해 정확히 동일한 위치에 배치되어, 공유되는 컬러 화상 어레이의 위치에 관한 모든 색상 성분이 정확히 동일한 위치를 나타내는 데 있다. 서브픽셀 셀(subpixel cell)의 구성이 상이한 위치에서 횡적으로 샘플링되므로, 컬러 화상 센서로 찍은 통상의 컬러 사진을 가지고는, 그 경우가 아니다. 화상 캡처 장치(10)의 서브영역(241∼243)에서, 이것도 그 경우이지만, 보간에 의해, 개별 감도 특성의 픽셀 도트 서브클라우드가 정확히 동일한 위치에서 보간된다. 방금 설명된 바와 같이, 만일 보간을 개선하기 위해 다른 감도 특성을 갖는 픽셀이 추가로 이용되면, 훨씬 더 좋은 화상 품질이 얻어질 것이다.
그러나, 화상 캡처 장치(10)에서, 개별적으로 도시된 각 채널은 균일하게 필터링(예를 들어 스펙트럼 필터링, 중성 농도 필터링, 또는 편광 필터링)되지만, 상이한 채널은 상이한 필터 특성을 갖는 것도 가능하다. 이 경우, 각 필터 특성을 위해, 이 필터 특성에 속하는 채널이 화상 캡처 장치(10)의 전체 시야를 커버하도록 입체각 범위가 제공될 수 있고, 그래서 이들 모든 필터 특성을 위한 도 3a 및/또는 도 3b에 따른 전체 화상 클라우드가 얻어진다. 다시, 이 경우에, 이러한 방식으로 컬러 화상과 같은 다중 성분 화상 정보를 구비하는 균일한 화상 어레이를 얻기 위해, 보간기(18)는 상이한 필터 특성을 위한 이들 픽셀 도트 서브클라우드 각각에 대해 균일 격자(42)의 격자 교차점에서 따로 보간을 수행할 수 있다.
본 출원에 따른 실시예의 작동 모드 및 구조를 대략 설명했기 때문에, 하기에는 상술한 개별 구성요소를 구성하는 가능성을 다룬다. 후술하는 설명으로부터 보는 바와 같이, 이미지 센서(12)는 CMOS 이미지 센서일 수 있고, 예를 들어 여기에서 서브영역(241∼243)은 기판 또는 칩 상에 공동으로 집적된다. 웨이퍼 본딩 또는 몰딩에 의해, 멀티채널 광학 소자는 칩 자신에 직접 집적되거나, 또는 서브영역(241∼243)과 조리개 사이의 광학적 투명성(transparency)을 보장하지만 개별 채널의 광학적 상호 분리를 보장하는 반투명층 배열에 의해 기판의 표면으로부터 떨어져서 집적될 수 있다.
보간기(18)는 그 위에 집적된 이미지 센서(12)도 구비하는 동일 칩 또는 기판 상에 집적될 수 있다. 보간기(18)는 프로세서 상에서 실행되는 프로그래밍 가능한 회로 로직 또는 컴퓨터 프로그램일 수 있다. 그러나 특히, 보간기(18)는 이미지 센서(12)에 접속된 컴퓨터일 수도 있다.
연관기(19)는 비휘발성 메모리(예를 들어, EEPROM 등)일 수 있다. 화상 입력 인터페이스(20)는 예를 들어 제 1 토글 위치, 제 2 토글 위치 및 비토글 위치를 갖는 토글 스위치일 수 있다(앞의 두 위치는 원거리 촬영(long-distance shot)이나 근접 촬영(close-up shot)을 트리거할 수 있고, 끝에 말한 위치는 아이들 또는 무정의(don't-care) 상태일 것이다). 구동 위치에 따라, 연관기는 예를 들어 도 3b 또는 도 3a에 따른 연관을 수행할 것이다. 그러나, 사용자 입력 인터페이스(20)는 그래픽 유저 인터페이스 내의 조절 가능한 바(adjustable bar)와 같이 기타 상시 가변형 사용자 인터페이스 상의 회전 휠인 것도 가능할 것이다. 방금 설명한 경우에 있어서, 연관기(19)는 초점 깊이 영역(40)의 횡적 이미지화 위치의 연관을 산출하는 것과 동일하게 이용하기 위하여, 연속 또는 준연속의 거리의 지시만큼 이루어지는 입력을 이용할 수도 있다.
그러나, 상술한 바와 같이, 거리 센서(20)가 이용될 수도 있다. 이 거리 센서는 캡처되는 장면의 거리를 실행 시간 측정 등과 같은 임의의 방식으로 측정할 수 있지만, 예를 들어 그들 자신의 개별 부분 화상의 화상 정보로부터의 추정에 의해서도 측정할 수 있다. 따라서, 이렇게 얻어진 거리 측정은 거의 양자화된 상태에서 상술한 바와 같이 연관 사양을 조절하는 연관기(19)에 의해 이용될 수 있다.
본 출원의 몇몇 실시예를 이미 상술했으므로, 아마 상기 실시예를 구현하는 데 이용될 수 있는 몇몇 세부 구현을 하기에 제공한다.
이와 관련해서, 상술한 무언가는 처음에 다른 말로 반복될 것이다. 상술한 바와 같이, 광학 소자(14)는 예를 들어 센서(12) 상의 M×N 비중첩 마이크로화상을 생성한다. 마이크로채널 광학 소자의 개별 채널은 예를 들어 개별 마이크로렌즈(261∼263)를 구비한다. 각 마이크로렌즈는, 미리 상술하였고 후술되는 바와 같이, 객체 공간(object room)으로부터 센서까지 입체각 범위(161∼163)를 이미지화한다(이 간소화는 마이크로렌즈 반복 거리에 비해 그 거리가 큰 객체에만 적용함). 도 1의 44에서 도시된 바와 같이 개별 채널의 입체각 범위(161∼163) 또는 시야는 분리되는 것이 아니라 서로 중첩된다.
마이크로화상(241∼243)(이 마이크로 화상은 연관된 마이크로렌즈(261∼263)에 의해 조사된 영역 내에 차례로 배치됨) 내의 각 픽셀(28)은 같은 것에 대해 통합되는 작은 입체각을 "본다(see)". 도 5a는 이 관련 서브영역(241)의 매우 간소화한 도면을 예시적으로 제공한다. 마이크로렌즈의 서브영역(241)(명확하게 하기 위해 도 5a에서 도시 생략함) 내의 서로 인접한 픽셀(28) 중 단 하나를 바라보는 입체각(46)은 어떠한 공백도 없이 인접해 있다. 물론, 픽셀(28)의 제한된 충전율로 인해, 영역(46)은 어떠한 공백도 없이 서로 인접하지 않는 것이 가능하다. 그러나, 간소화하기 위해, 픽셀(28)의 값이 개별적인 입체각(46)의 중앙에서 빔의 방향으로 개별 픽셀(28) 상에 입사되는 복사 휘도의 측정량을 나타낸다고 상정할 수 있다. 그래서 이것은 개별 픽셀(28)의 상술한 시선 방향(48)을 나타내고, 도 5b에 도시된다.
제조 비용을 감소시키기 위하여, 마이크로렌즈가 왜곡으로부터 자유로울 수 없을 수도 있다. 따라서, 픽셀은 도 3a 및 도 3b에 따라 동일한 방식으로 공간을 스캔하지 않는다(예를 들어, 그래서 도 3b에서 픽셀의 시선 방향으로부터 형성된 격자는 균일하지 않다. 또한, 다중 채널 광학 소자의 각 마이크로렌즈(261∼263)는 도 6에서 영역(241)의 채널에 대한 예로서 도시된 고유의 왜곡 형태를 가질 수 있다.
그러나, 상술한 바와 같이, 화상 캡처 장치(10)가 마이크로 화상으로부터 균일한, 만족스러운 공유 화상을 생성하는 것이 가능하다.
픽셀로부터의 방사 휘도(radiance)의 측정값, 즉 개별 픽셀(28)의 샘플은 도 3a 또는 도 3b에 따라 평면 내에 구획된다. 측정값의 좌표는, 예를 들어, 연관된 마이크로렌즈(261∼263) 또는 각 채널의 시선 방향 또는 광축 방향으로부터, 각 마이크로렌즈 아래의 각 픽셀의 픽셀 좌표로부터, 그리고 각 마이크로렌즈의 방향으로부터 비롯되고, 각도 단위, 또는 초점 깊이면(focal-depth plane)에 관한 직교 플롯(Cartesian plot)으로 나타낼 수 있다. 왜곡의 정확한 형상은 광학 소자(14)의 광학 설계로부터 결정될 수 있지만, 센서(12)와 예를 들어 접착 광학 소자(14)로 이루어지는 특정한 물리적 시스템에 대해 측정될 수도 있다.
이런 방식으로, 각 마이크로렌즈 또는 이미지 센서의 각 서브영역은 도 3a 및 도 3b에 따른 평면 내에 작은 도트 클라우드(dot cloud)를 생성한다. 도트 클라우드 내의 각 (대단히 작은) 도트는 각 초점 깊이면 내의 특정 시선 방향 또는 횡적 형성 위치에 대한 방사 휘도의 측정값을 나타낸다. 도트 사이의 방사 휘도는 처음에 모르는 것으로 상정될 수 있다.
인접 마이크로렌즈(도 3a 및 도 3b에서 단지 외부 크기에 관해 지시되는 가장 자리(34)를 가짐)의 도트 클라우드는 서로 침범한다. 마이크로렌즈 시스템의 광학적 설계는, 도트 클라우드의 도트가 일치하지는 않지만 가능한한 균일하게 평면 내에 분포되도록, 즉 개별 채널의 픽셀 도트 서브클라우드가 서로 교차하는 영역(그러한 중첩 영역은 도 3b에서 50으로 지시됨) 내에도 분포되도록 구성될 수 있다.
그 다음, 보간기(18)는 상술한 바와 같이 균일한 직교 격자(42)에 의해 얻어진 전체 도트 클라우드를 중첩시킨다. 직교 격자의 교차 도트에 존재하는 방사 휘도는 기존 측정값으로부터 결정되거나 보간된다. 예를 들어, 각 교차점에 관해, n개의 최근접 이웃이 결정되고, 그들의 방사 휘도값은 가중 평균하는 데 이용된다. 각 픽셀 밀도값의 가중 또는 표준은 예를 들어 간격의 역 또는 간격의 제곱의 역에 의해 결과를 얻을 수 있다.
최근접 이웃은 예를 들어 도트 클라우드의 모든 도트를 훑어서(browsing) 결정할 수 있다. 도트가 소위 빈(bin)이라 하는 여러 영역으로 사전에 분할된 경우, 이것은 검색을 가속시킬 수 있다. 첫번째 대안은 클라우드의 픽셀간의 삼각 분할(이상적으로 델로네 삼각 분할(Delaunay triangulation))을 포괄하는 것이다. 델로네 삼각 분할 내의 임의의 도트의 최근접 이웃을 찾는 것이 비교적 빠르다. 특히, 의사 코드에 의해 묘사된 다음 알고리즘은 도트 클라우드를 생성하고 보간하는 데 이용될 수 있다.
Figure 112013014427512-pct00004
상기 의사 코드를 설명하기 위해, 도 7과 관련하여 위 도면을 다시 한번 간략하게 참조한다. 도트 클라우드 생성 프로그램 코드 내의 첫번째 루프는 픽셀의 개별 색상을 통과한다. 따라서, 전체 클라우드는 각 색상에 대해 생성된다. 두번째 루프는 모든 마이크로화상(241∼243)을 통과한다. 세번째 루프(즉, 가장 안쪽의 것)는 현재 마이크로화상(241∼243) 내의 모든 픽셀(28)을 통과한다. 가장 안쪽의 이프 질의(if query)에 의해, 현재 검색될 픽셀이 현재 색상을 갖는지의 여부와 같이 검증이 이루어진다. 만일 그렇다면, 특히 개별 채널 및/또는 개별 마이크로렌즈에 대한 참고(reference)와 마이크로 화상 내의 픽셀 위치를 이용하여 그 시선 방향이 산출되고, 현재 검색된 픽셀의 방사 휘도는 도 3a 및/또는 도 3b에 따른 평면 내의 해당 위치에서 구획된다. 이 예의 경우, 시선 방향(즉, 도 3b에 따른 평면)이 기준으로서 이용된다.
두번째 프로그램 부분은 실제 보간을 다룬다. 가장 바깥쪽 루프는 개별 색상을 다시 통과한다. 각 색상에 대해, 균일한 직교 격자(42)(즉, 그 교차점(52))는 한차례 순환된다. "pictureWidth"과 "pctureHeight"는 출력단(22)에서 나중에 출력될 소망하는 전체 화상의 화상 높이 및 화상 너비를 가리킨다. 해당하는 2개의 루프에 이어서, 이 격자점(52)에 대해 이웃이 처음에 결정된다. 예로서 도 7에 도시된 바와 같이, 격자(42)의 교차점(52)의 4개의 최근접 이웃은 예를 들어, 1∼4에 의해 지시되는 픽셀일 것이다. 상기 최근접 이웃 픽셀 전체에 걸쳐 가장 안쪽의 루프 사이클은, 현재 교차점(52)의 위치에서 보간값을 얻기 위해, 상기 픽셀의 각각에 대해 현재 격자점(52)으로부터의 적절한 거리 표준에 따른 가중을 산출하고, 상기 픽셀 이웃의 방사 휘도의 합(그에 따라 상기 합은 가중됨)을 형성한다. 이러한 방식으로, 교차 격자점(52) 전체에 대해 보간값이 (특히, 모든 색상에 대해) 결정되어, 다중 성분 색상값이 각 격자 교차점(52)에 대한 각 격자(42)에 대해 얻어진다.
이전 설명에 대한 몇개의 대체예를 하기에 설명한다. 상술한 바와 같이, 각 채널은 개별적으로 필터링될 수 있다. 그러나, 이미지 센서(12)가 베이어 패턴(Bayer pattern)과 같은 적절한 컬러 필터 어레이에 의해 커버되는 것도 가능하다. 이런 방식으로, 전체 화상의 분광 복사량(spectral radiance)은 몇개(일반적으로 3개)의 파장 대역에 대해 측정될 수 있다. 당연히, 단일 대역 내의 측정점의 밀도는 감소된다. 베이어 패턴에서, 녹색용 2개, 적색 및 청색용 4개 로 나뉜다. 상술한 바와 같이, 예를 들어 색상 채널당 하나의 도트 클라우드가 생성될 것이다. 최종 화상의 녹색 채널은 녹색 도트 클라우드 내의 해당 보간으로부터 얻어진다. 그것이 적색 및 청색에 대해서 유사하게 적용된다. 채널들은 함께 최종 컬러 화상을 생산한다.
개선된 점으로서, 녹색 채널로부터의 측정점이 적색 및 청색 채널을 보간하는 데 이용되는 것이 가능하고, 그 반대도 가능하다.
또한 이미 상술한 바와 같이, 시차 효과는, 이미지 처리될 객체의 거리가 마이크로렌즈 반복 거리에 비해 크지 않으면, 시차 구간이 무시될 정도인지에 따라 간소화가 더이상 적용되지 않게 한다. 픽셀의 시선 방향(48)에 더하여, 이미지 센서 상의 그의 위치도 이 경우에 관련이 있다. 이것을 설명하기 위해, 객체가 원거리에 정확하게 배열되고(즉, 객체가 이미지 센서(12)로부터 충분히 멀리 떨어지고), 여기에서 캡처될 객체가 상기 원거리에 배치된다(즉, 도 3b에 따른 연관이 이용된다)고 상정될 수도 있는 경우가 위에 도시되고, 객체가 원거리에 배치되어 있다고 상정하더라도 그것이 가깝게 배치된 경우가 아래 부분에 도시된 도 8을 개략적으로 참조한다. 54는 각각의 경우에 객체가 시선 방향(48)에 닿는 위치에서 객체의 샘플 지점 A∼V가 최종 화상 내에 어떻게 재배열되는지를 나타낸다. 도시된 바와 같이, 최종 화상 내에 객체가 정확히 배치된 경우에 객체 상의 일련의 지점 A∼V가 유지되는 반면, 잘못 배치된(즉, 이미지 센서(12)에 너무 가까운) 경우에 일련의 객체 지점은 뒤죽박죽된다.
따라서, 상기 실시예가 채용되는 경우, 보간기(18)는 어떠한 끊김없이 만족스러운 고해상도 이미지를 구성할 수 있다. 화상 캡처 장치가 명시된 바와 같이 용되는 한 및/또는 상술한 조정 가능성이 이용되는 한, 객체 상의 인접 지점의 측정값은 최종 화상에서 까지 계속해서 인접된다. 또 다른 한편, 이미지면 내의 측정 지점의 배열의 객체 거리가 고려되어야 할 수 있다. 가장 간단한 경우, 고정된 객체 거리가 상정될 수 있다. 상술한 바와 같이, 상술한 바와 같이 측정 지점의 거리 추정 및/또는 측정 그리고 측정점의 해당 처리도 실현 가능한 것이다.
상술한 설명은 보다 작은 시야각을 갖고 서로 중첩되는 몇개의 채널로 구획함으로써 시야가 확대된 화상 챕처 장치에 관해 주로 언급했다. 본 출원은 또한 다른 출원에 대해서도 실현 가능하며, 여기서, 예를 들어 본질적으로 중첩되는 단일 채널 시야를 갖는 상이한 시야각으로부터 장면이 보인다.
상기 실시예에 있어서, 사용된 다중 채널 광학 소자는 처프된(chirped) 마이크로렌즈 어레이(즉, 해당 기판의 중앙 위치에 대하여 확장 방식으로 배치되거나 또는 상이한 방식으로 상쇄되는, 횡적 위치를 그의 렌즈 정점이 구비하는 마이크로 렌즈 어레이)일 수 있다. 예를 들면, 도 4는 이미지 센서(12)와 마이크로렌즈 어레이(14) 사이에 고정 거리를 갖는 고정 배열의 가능한 예를 나타낸다. 이미지 센서(12)는 예를 들어 CMOS 이미지 센서, 또는 어떤 다른 반도체 센서이다. 채널 분리 및 미광(stray light) 흡수를 위한 멤브레인 영역(66, 68)을 사이에 두고 몇개의 유리 기판(60, 62, 64)이 기판(12) 상에 배열된다. 최상부 유리 기판(60) 상에 마이크로렌즈(261∼265)가 형성된다. 도시된 바와 같이, 마이크로렌즈의 정점 반복 거리가 서브영역(241∼245)의 중심 반복 거리보다 크고, 그것은 전체 시야가 확산 및/또는 개별 채널의 중앙 시선 방향(701∼705)의 발산(divergence)을 야기한다. 도 4에 따른 설계의 예는, 예를 들어 개별 카메라(즉, 이미지 센서 및 마이크로렌즈 어레이의 개별 조합)의 절단 공정(dicing)이 후속되는 웨이퍼 접합 배열로 생산될 수 있다.
플렌옵틱 카메라(plenoptic camera)의 범주 내에서, 상기 실시예는 주요한 광학 소자를 상술한 실시예에서의 마이크로렌즈 어레이에 부가하는 데 이용될 수 있다.
상기 실시예에 관해서, 상술한 마이크로렌즈 어레이의 채널은 서로 동일할 수도 있고, 또는 측면 방향이나 필드를 가로질러 상이하거나 처핑될(chirped) 수 있다. 결국, 채널은 개별 렌즈에 의해 이미지화되거나, 예로서 도 4에 도시된 바와 같이, 렌즈 시스템에 의해 이미지화될 수 있다. 마이크로렌즈 어레이 대신에 이미지화용 조리개를 이용하는 것도 가능하고, 또는 양자의 조합도 가능하다. 두 경우 모두, 하나의 클라우드가 각 픽셀의 시선 방향을 결정하여, 상술한 보간이 수행될 수 있는 도트 클라우드(dot cloud)로 이양될 수 있다.
상기 실시예에서, 시차 정정(parallax correction) 뿐만 아니라 프레임의 반전(inversion) 및 그 등화(equalization)가 결과적으로 또는 본질적으로 하나의 단계에서 수행되어, 처리를 가속시킨다. 한 단계에서 전체 화상을 형성하도록 화상 정보가 조합되고, 중간 보간 단계가 생략되어, 화질이 개선되고 아티팩트(artifact)가 감소되기 때문에, 전체 화상의 품질이 더욱 개선된다. 상기 실시예는 필터를 구비하는 센서에 적합하다. 각 마이크로렌즈 아래의 컬러 필터 어레이를 이용하거나, 또는 각 마이크로렌즈의 아래에 정확히 한 컬러의 필터를 배치할 수 있다. 방금 말한 필터는 RGB 컬러 필터일 수 있고, 또한 RGB+그레이나 RGB+시안과 같은 추가 색상이 이용될 수도 있다. 편광 필터 또는 다양한 농도의 그레이 및/또는 중성 농도 필터(ND(neutral density) filter)가 이용될 수도 있다.
따라서, 컬러 사진을 찍을 수 있다. 또한, 다중 분광 이미지화 영역 내의 추가 분광 화상, 편광 정보, 더 큰 동적 범위 등과 같은 부가 정보를 갖는 화상의 사진을 찍을 수 있다.
상술한 예에 의하면, 서로에 관한 부분 화상을 전체적으로 기록할 뿐만 아니라 다른 것에 관해 화상의 각 픽셀을 기록하는 것도 가능해질 수도 있다. 마이크로 화상의 왜곡은 본질적으로 자동으로 균형이 무너진다. 따라서, 다양한 마이크로화상이 상이하게 왜곡될 수도 있어, 광학 시스템에 의해 제한된 요건이 확실히 감소된다. 광학 소자(14)는 설계가 보다 간단해질 수 있고 보다 작거나 보다 평평해질 수 있으며, 제조 허용 범위(manufacturing tolerance)는 보다 커질 수 있고, 이 모든 것은 결과적으로 상기 실시예의 제조 비용을 감소시키고 설계 크기를 줄일 수도 있다.
상기 실시예는 이동 전화, 화상 회의 시스템과 같은 다양한 분야의 애플리케이션, 의료 애플리케이션 분야, 로봇 공학, 기계 시각(machine-vision) 애플리케이션, 차량 카메라 및 원격 감지, 특히 다중 분광 이미징 분야의 카메라 시스템에 채용될 수 있다. 시스템의 관점에서, 상술한 실시예는 다중 조리개(multi-aperture) 이미지화 시스템을 구비하는 카메라 및 카메라 어레이(즉 몇 개의 카메라를 구비하는 시스템)에 의해 적용될 수 있다. 한편, 상술한 채널 각각은 명확히 하나의 카메라로 개별적으로 형성될 수 있으며, 이 경우, 상술한 이미지 센서(12)는 그 자체가 각기 서브영역(241∼43)을 형성할 카메라의 개별 칩으로 분리(break down)되고, 광학 소자(14)는 카메라의 개별 렌즈로 분리될 것이다.
비록 장치와 관련하여 몇개의 형태를 설명했지만, 상기 형태는 해당하는 방법의 기술을 나타내는 것으로도 이해되는 것이며, 그래서 장치의 블록 또는 구성요소는 해당하는 방법 단계 또는 방법 단계의 특징으로서 이해될 수도 있다. 거기에 유추하면, 방법 단계 또는 그와 관련하여 설명된 형태도 해당 장치의 해당 블록 또는 세부 내용 또는 특징을 나타낸다
특정 구현 요건에 따르면, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어 플로피 디스크, DVD, 블루레이 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리, 하드 디스크 또는 기타 자기 또는 광학 메모리와 같은 디지털 저장 매체를 이용하여 구현(implementation)이 수행되며, 디지털 저장 매체는 그 위에 저장되어 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력 또는 실질적으로 협력할 수 있는 전기적으로 판독 가능한 제어 신호를 구비한다. 따라서, 디지털 저장 매체는 컴퓨터로 판독될 수 있다. 본 발명에 따른 몇몇 실시예는, 본 명세서에서 설명된 방법 중 어느 하나를 수행하도록 프로그래밍 가능한 컴퓨터 시스템과 협력할 수 있는 전기적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 구비한다.
일반적으로, 본 발명의 실시예는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 본 방법 중 하나를 수행하도록 작동하는 프로그램 코드를 구비하는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 또한 예를 들어 기계 판독 가능한 캐리어에 저장될 수 있다.
다른 실시예는 본 명세서에서 설명된 방법 중 어느 하나를 수행하는 컴퓨터 프로그램을 구비하되, 상기 컴퓨터 프로그램은 기계 판독 가능 캐리어 상에 저장된다.
한편, 본 창의적인 방법의 실시예는 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 본 명세서에서 설명된 방법 중 하나를 수행하는 프로그램 코드를 구비하는 컴퓨터 프로그램이다. 본 창의적인 방법의 또 다른 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하는 컴퓨터 프로그램이 그 위에 저장된 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능한 매체)이다.
본 창의적인 방법의 또 다른 실시예는 본 명세서에서 설명된 방법 중 하나를 수행하는 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 일련의 신호이다. 데이터 스트림 또는 일련의 신호는 예를 들어 데이터 통신 링크(예를 들어, 인터넷)를 통해 전송되도록 구성될 수 있다.
또 다른 실시예는 처리 수단, 예를 들어, 본 명세서에서 설명된 방법 중 하나를 수행하도록 구성되거나 또는 적용된 컴퓨터 또는 컴퓨터 프로그래밍 가능한 로직 디바이스를 구비한다.
또 다른 실시예는 그 위에 설치되어 본 명세서에서 설명한 방법 중 하나를 수행하는 컴퓨터 프로그램을 갖는 컴퓨터를 포함한다.
몇몇 실시예에서, 프로그래밍 가능한 로직 디바이스(예를 들어, FPGA(field-programmable gate array))는 본 명세서에서 설명한 방법의 일부 또는 모든 기능을 수행하는 데 이용될 수 있다. 몇몇 실시예에서, FPGA는 본 명세서에서 설명한 방법 중 하나를 수행하는 마이크로프로세서와 협력할 수 있다. 일반적으로, 몇몇 실시예에서 본 방법은 임의의 하드웨어 디바이스에 의해 수행된다. 이것은 컴퓨터 프로세서(CPU)와 같이 일반적으로 적용될 수 있는 하드웨어이거나 또는 본 방법에 특화된 하드웨어(예를 들어, ASIC)일 수 있다.
상술한 실시예는 단지 본 발명의 원리를 예시한 것이다. 본 명세서에서 설명된 배열과 세부 내용의 수정 및 변형은 당업자에게 명확할 것으로 이해되는 것이다. 따라서, 실시예의 기술 및 설명에 의해 본 명세서에서 제공하는 특정한 세부 내용보다는 이하의 청구범위의 범주에 의해서만 본 발명이 제한되어야 한다.
10 : 화상 캡처 장치 12 : 이미지 센서
14 : 광학 소자 161∼163 : 입체각 범위
18 : 보간기(interpolator) 19 : 연관기(associator)
20: 사용자 입력 인터페이스

Claims (19)

  1. 복수의 픽셀을 포함하고, 사진에서 픽셀 당 하나의 샘플을 검출하는 이미지 센서와,
    상기 이미지 센서에 광학 이미지를 생성하는 광학 소자 - 상기 광학 소자는 중첩되는 입체각 범위를 개별적으로 이미지화(imaging)하여 상기 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 포함하며, 상기 이미지 센서의 각 픽셀은 상기 각 픽셀에 연관된 이미지화 값을 가지며, 상기 이미지화 값은 상기 광학 소자가 상기 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 상기 광학 소자에 의해 상기 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치임 - 와,
    화상 값의 어레이를 얻기 위해 상기 픽셀의 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 상기 픽셀의 이미지화 값에 따라 상기 픽셀의 샘플의 분포를 보간하는 보간기를 포함하고,
    상기 광학 소자는, 상기 개별 이미지가 서로 다르지만, 횡으로 변화없는 방식으로 각기 스펙트럼 필터링, 편광 필터링 또는 중성 농도(ND : neutral-density) 필터링되도록 구성되며, 상기 보간기는, 동일한 것에 대한 각 개별 이미지화가 동일하게 필터링되는 서브영역에 속하는 상기 픽셀의 샘플의 분포에 대해 개별적으로 보간을 수행하도록 구성되고,
    동일한 것에 대한 각 개별 이미지화가 동일하게 필터링되는 서브 영역에 속하는 상기 픽셀의 상기 샘플의 상기 분포의 상기 개별 보간에 있어서, 상기 보간기는, 동일한 것에 대한 각 개별 이미지화가 상이하게 필터링되는 서브 영역에 속하는 픽셀의 상기 샘플의 상기 분포를 고려하는
    화상 캡처 장치.
  2. 제 1 항에 있어서,
    상기 다중 채널 광학 소자는, 상기 중첩되는 입체각 범위가 상기 중첩되는 입체각 범위 중 어느 하나보다 최대 120% 큰 전체 입체각 범위를 함께 커버하는
    화상 캡처 장치.
  3. 제 1 항에 있어서,
    상기 다중 채널 광학 소자는, 상기 중첩되는 입체각 범위가 상기 중첩되는 입체각 범위 중 어느 하나보다 적어도 4배 이상 큰 전체 입체각 범위를 함께 커버하는
    화상 캡처 장치.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 이미지 센서의 상기 픽셀은 서로 상이한 스펙트럼, 편광 및/또는 중성 농도(ND : neutral-density) 감도를 포함하고, 상기 이미지 센서의 각 서브영역은 2개의 상이한 픽셀 그룹으로부터의 픽셀을 적어도 포함하고, 상기 보간기는 상기 픽셀 그룹에 대해 개별적으로 보간을 수행하도록 구성되는
    화상 캡처 장치.
  7. 제 1 항에 있어서,
    상기 보간기는 개별 필터링 동작을 위해 동일한 위치에서 동일한 균일 격자를 사용하는
    화상 캡처 장치.
  8. 제 1 항에 있어서,
    상기 이미지 센서의 사전 결정된 픽셀에 대해, 상기 이미지 센서 상의 상기 사전 결정된 픽셀에 관한 위치 정보를 이용한 계산에 의해, 또는 상기 사전 결정된 픽셀에 대한 기준을 이용한 룩업에 의해, 상기 사전 결정된 픽셀에 연관된 이미지화 값을 결정하는 연관기(associator)를 더 포함하는
    화상 캡처 장치.
  9. 제 8 항에 있어서,
    상기 사진에 대해, 근접 촬영과 원거리 촬영 사이를 적어도 구분하는 입력 인터페이스 및/또는 거리 추정기를 더 포함하되,
    상기 연관기는, 근접 촬영의 경우 상기 이미지화 값이 상기 초점 깊이 영역 내의 횡적 이미지화 위치가 되도록 시차 효과를 고려하면서 상기 결정을 수행하고, 원거리 촬영의 경우 상기 이미지화 값이 이미지화 방향이 되도록 시차 효과를 무시한 채 상기 결정을 수행하는
    화상 캡처 장치.
  10. 제 8 항에 있어서,
    상기 사진에 대해, 촬영 거리를 결정하는 입력 인터페이스 및/또는 거리 추정기를 더 포함하되, 상기 연관기는 상기 촬영 거리에 따라 상기 결정을 수행하는
    화상 캡처 장치.
  11. 제 8 항에 있어서,
    상기 화상 캡처 장치는 상기 화상 값의 어레이 내의 상기 픽셀과 상기 이미지화 값의 연관에 의해 상기 광학 소자의 왜곡이 상쇄되도록 구성되는
    화상 캡처 장치.
  12. 제 1 항에 있어서,
    상기 다중 채널 광학 소자는 복수의 마이크로렌즈를 포함하고, 상기 이미지 센서의 각 픽셀과 개별 이미지화 값의 상기 연관은, 상기 다중 채널 광학 소자의 상기 마이크로 렌즈의 광축의 방향, 상기 마이크로렌즈 중 상기 픽셀의 픽셀 좌표, 및 상기 마이크로렌즈의 왜곡에 의존하는
    화상 캡처 장치.
  13. 제 1 항에 있어서,
    상기 보간기는 각 교차점에 대해 상기 샘플의 분포 중 최근접 이웃을 검색하고, 상기 개별 교차점과 상기 최근접 이웃에 연관된 상기 이미지화 값 사이의 거리의 반비례 또는 상기 거리의 제곱의 반비례에 해당하는 가중치로 상기 샘플에 걸쳐 가중 평균을 수행하는
    화상 캡처 장치.
  14. 제 1 항에 있어서,
    상기 다중 채널 광학 소자는 마이크로렌즈의 어레이를 포함하고, 상기 이미지 센서로부터의 상기 광학 소자의 거리는 상기 마이크로렌즈의 초점 거리와 같거나 크며, 상기 마이크로렌즈의 정점으로부터의 평균 거리는 상기 이미지 센서의 서브영역의 중심간 거리에 비해 확장되는
    화상 캡처 장치.
  15. 다수의 픽셀을 포함하고, 사진에서 픽셀당 하나의 샘플을 검출하는 이미지 센서와, 상기 이미지 센서에 광학 이미지를 생성하는 광학 소자에 의해 화상을 캡처하는 방법 - 상기 광학 소자는 중첩되는 입체각을 개별적으로 이미지화하여 상기 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 포함함 - 으로서,
    상기 광학 소자가 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 상기 광학 소자에 의해 상기 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치인 이미지화 값을 상기 이미지 센서의 각 픽셀과 연관하는 단계와,
    화상 값 어레이를 얻도록 상기 픽셀의 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 상기 픽셀의 이미지화 값에 따라 상기 픽셀의 샘플의 분포를 보간하는 단계를 포함하고,
    상기 다중 채널 광학 소자는 마이크로렌즈의 어레이를 포함하고, 상기 이미지 센서로부터의 상기 광학 소자의 거리는 상기 마이크로렌즈의 초점 거리와 같거나 크며, 상기 마이크로렌즈의 정점으로부터의 평균 거리는 상기 이미지 센서의 서브영역의 중심간 거리에 비해 확장되는
    화상 캡처 방법.
  16. 컴퓨터 상에서 실행될 때, 청구항 15의 화상 캡처 방법을 수행하는 프로그램 코드를 포함하는 컴퓨터 프로그램을 저장한
    컴퓨터 판독가능 저장매체.
  17. 복수의 픽셀을 포함하고, 사진에서 픽셀 당 하나의 샘플을 검출하는 이미지 센서와,
    상기 이미지 센서에 광학 이미지를 생성하는 광학 소자 - 상기 광학 소자는 중첩되는 입체각 범위를 개별적으로 이미지화(imaging)하여 상기 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 포함하며, 상기 이미지 센서의 각 픽셀은 상기 각 픽셀에 연관된 이미지화 값을 가지며, 상기 이미지화 값은 상기 광학 소자가 상기 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 상기 광학 소자에 의해 상기 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치임 - 와,
    화상 값의 어레이를 얻기 위해 상기 픽셀의 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 상기 픽셀의 이미지화 값에 따라 상기 픽셀의 샘플의 분포를 보간하는 보간기와,
    상기 이미지 센서의 사전 결정된 픽셀에 대해, 상기 이미지 센서 상의 상기 사전 결정된 픽셀에 관한 위치 정보를 이용한 계산에 의해, 또는 상기 사전 결정된 픽셀에 대한 기준을 이용한 룩업에 의해, 상기 사전 결정된 픽셀에 연관된 이미지화 값을 결정하는 연관기(associator)와,
    상기 사진에 대해, 근접 촬영과 원거리 촬영 사이를 적어도 구분하는 입력 인터페이스 및/또는 거리 추정기를 포함하되,
    상기 연관기는, 근접 촬영의 경우 상기 이미지화 값이 상기 초점 깊이 영역 내의 횡적 이미지화 위치가 되도록 시차 효과를 고려하면서 상기 결정을 수행하고, 원거리 촬영의 경우 상기 이미지화 값이 이미지화 방향이 되도록 시차 효과를 무시한 채 상기 결정을 수행하는
    화상 캡처 장치.
  18. 복수의 픽셀을 포함하고, 사진에서 픽셀 당 하나의 샘플을 검출하는 이미지 센서와,
    상기 이미지 센서에 광학 이미지를 생성하는 광학 소자 - 상기 광학 소자는 중첩되는 입체각 범위를 개별적으로 이미지화(imaging)하여 상기 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 포함하며, 상기 이미지 센서의 각 픽셀은 상기 각 픽셀에 연관된 이미지화 값을 가지며, 상기 이미지화 값은 상기 광학 소자가 상기 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 상기 광학 소자에 의해 상기 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치임 - 와,
    화상 값의 어레이를 얻기 위해 상기 픽셀의 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 상기 픽셀의 이미지화 값에 따라 상기 픽셀의 샘플의 분포를 보간하는 보간기와,
    상기 이미지 센서의 사전 결정된 픽셀에 대해, 상기 이미지 센서 상의 상기 사전 결정된 픽셀에 관한 위치 정보를 이용한 계산에 의해, 또는 상기 사전 결정된 픽셀에 대한 기준을 이용한 룩업에 의해, 상기 사전 결정된 픽셀에 연관된 이미지화 값을 결정하는 연관기(associator)를 포함하고,
    상기 화상 캡처 장치는 상기 화상 값의 어레이 내의 상기 픽셀과 상기 이미지화 값의 연관에 의해 상기 광학 소자의 왜곡이 상쇄되도록 구성되는
    화상 캡처 장치.
  19. 복수의 픽셀을 포함하고, 사진에서 픽셀 당 하나의 샘플을 검출하는 이미지 센서와,
    상기 이미지 센서에 광학 이미지를 생성하는 광학 소자 - 상기 광학 소자는 중첩되는 입체각 범위를 개별적으로 이미지화(imaging)하여 상기 이미지 센서의 서브영역을 분리하는 다중 채널 광학 소자를 포함하며, 상기 이미지 센서의 각 픽셀은 상기 각 픽셀에 연관된 이미지화 값을 가지며, 상기 이미지화 값은 상기 광학 소자가 상기 개별 픽셀로 객체를 이미지화하는 이미지화 방향 또는 상기 광학 소자에 의해 상기 개별 픽셀로 이미지화되는 초점 깊이 영역 내의 횡적 이미지화 위치임 - 와,
    화상 값의 어레이를 얻기 위해 상기 픽셀의 샘플의 전체 분포에 걸쳐 확장되는 균일 격자의 교차점에서 상기 픽셀의 이미지화 값에 따라 상기 픽셀의 샘플의 분포를 보간하는 보간기를 포함하고,
    상기 다중 채널 광학 소자는 마이크로렌즈의 어레이를 포함하고, 상기 이미지 센서로부터의 상기 광학 소자의 거리는 상기 마이크로렌즈의 초점 거리와 같거나 크며, 상기 마이크로렌즈의 정점으로부터의 평균 거리는 상기 이미지 센서의 서브영역의 중심간 거리에 비해 확장되는
    화상 캡처 장치.
KR1020137004041A 2010-07-19 2011-07-18 이미지를 기록하기 위한 이미지 기록 장치 및 방법 KR101517704B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102010031535.4 2010-07-19
DE102010031535A DE102010031535A1 (de) 2010-07-19 2010-07-19 Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US13/098,208 US8717485B2 (en) 2010-07-19 2011-04-29 Picture capturing apparatus and method using an image sensor, an optical element, and interpolation
US13/098,208 2011-04-29
PCT/EP2011/062266 WO2012019875A1 (de) 2010-07-19 2011-07-18 Bildaufnahmevorrichtung und verfahren zum aufnehmen eines bildes

Publications (2)

Publication Number Publication Date
KR20130038388A KR20130038388A (ko) 2013-04-17
KR101517704B1 true KR101517704B1 (ko) 2015-05-04

Family

ID=44628526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004041A KR101517704B1 (ko) 2010-07-19 2011-07-18 이미지를 기록하기 위한 이미지 기록 장치 및 방법

Country Status (6)

Country Link
US (1) US8717485B2 (ko)
EP (1) EP2596642B1 (ko)
JP (1) JP5649091B2 (ko)
KR (1) KR101517704B1 (ko)
DE (1) DE102010031535A1 (ko)
WO (1) WO2012019875A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035427A1 (ja) * 2011-09-09 2013-03-14 富士フイルム株式会社 立体撮像装置および方法
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
DE102012218835B4 (de) * 2012-10-12 2016-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und verfahren
DE102013200059B4 (de) * 2013-01-04 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Aufnahme eines von einer Hauptlinse einer plenoptischen Kamera erzeugten Zwischenbilds und plenoptische Kamera
WO2014133481A1 (en) * 2013-02-26 2014-09-04 Hewlett-Packard Development Company, L.P. Multiview 3d telepresence
DE202013012088U1 (de) 2013-05-17 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Bildverflechtung ohne Speicherpuffer
US9880391B2 (en) * 2013-10-01 2018-01-30 Heptagon Micro Optics Pte. Ltd. Lens array modules and wafer-level techniques for fabricating the same
DE102013226789B4 (de) 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
US20150251246A1 (en) * 2014-03-07 2015-09-10 Shiloh Industries, Inc. High-performance tool cooling system
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
JP6536877B2 (ja) * 2014-07-31 2019-07-03 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
JP6559899B2 (ja) * 2015-12-21 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像のための奥行きマップの処理
DE102016208210A1 (de) 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
EP3264755A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
WO2019033110A1 (en) 2017-08-11 2019-02-14 California Institute Of Technology THIN-DIMENSIONAL IMAGING WITHOUT LENS USING DIRECTIONAL DETECTION ELEMENTS
DE102018202728B4 (de) * 2018-02-22 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb eines Teilchenstrahlgeräts, Computerprogrammprodukt und Teilchenstrahlgerät zur Durchführung des Verfahrens
WO2021212187A1 (en) * 2020-04-24 2021-10-28 Visionary Machines Pty Ltd Systems and methods for generating and/or using 3-dimensional information with camera arrays
US11328150B2 (en) 2020-04-30 2022-05-10 Omnivision Technologies, Inc. Lens-array imager
CN113079365B (zh) * 2021-03-26 2022-09-09 中国人民解放军陆军装甲兵学院 基于移轴相机的集成成像单元图像阵列生成方法和系统
WO2022226603A1 (en) * 2021-04-30 2022-11-03 Visionary Machines Pty Ltd Systems and methods for generating and/or using 3-dimensional information with one or more cameras

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
US20090245696A1 (en) 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292050A (ja) 1993-03-30 1994-10-18 Canon Inc 信号合成方法，信号合成装置および該装置を有する複眼撮像装置
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US5822125A (en) 1996-12-20 1998-10-13 Eastman Kodak Company Lenslet array system
JP3821614B2 (ja) * 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
NL1013951C2 (nl) 1999-12-24 2001-07-02 Ericsson Telefon Ab L M Polyfase filter.
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
US7431529B1 (en) 2002-12-06 2008-10-07 Loctite (R & D) Limited Nozzle assembly incorporating a molded flow through brush applicator and a reusable break-off cap, a container having a nozzle assembly and packaging therefor
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
DE102004036469A1 (de) 2004-07-28 2006-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung
US20060044451A1 (en) * 2004-08-30 2006-03-02 Eastman Kodak Company Wide angle lenslet camera
CN101147392B (zh) * 2005-03-24 2012-05-09 松下电器产业株式会社 成像装置及其中使用的透镜阵列
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7718940B2 (en) 2005-07-26 2010-05-18 Panasonic Corporation Compound-eye imaging apparatus
US7286295B1 (en) * 2005-11-30 2007-10-23 Sandia Corporation Microoptical compound lens
DE102006004802B4 (de) 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
US8243157B2 (en) * 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
JP4638361B2 (ja) 2006-02-16 2011-02-23 パナソニック株式会社 撮像装置
US7423821B2 (en) * 2006-03-24 2008-09-09 Gentex Corporation Vision system
JP4866147B2 (ja) 2006-05-22 2012-02-01 株式会社リコー 画像シフト検出方法および装置および画像入力装置
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
DE102007045525A1 (de) 2007-09-24 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor
JP4941332B2 (ja) * 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP2009206922A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US20100028839A1 (en) 2008-07-18 2010-02-04 Tully Timothy P Methods and systems for evaluating memory agents
JP2010141381A (ja) 2008-12-09 2010-06-24 Olympus Corp 撮像装置及び電子機器
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
JP5538811B2 (ja) * 2009-10-21 2014-07-02 キヤノン株式会社 固体撮像素子

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001223931A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 撮像装置及び画像システム
US20090245696A1 (en) 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Method and apparatus for building compound-eye seeing displays

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Foote J et al: "FlyCam: practical panoramic video and automatic camera control", Multimedia and Expo, 2000. ICME 2000.
Kitamura Y et al: "Reconstruction of a high-resolution image on a compound-eye image-capturing system",Applied Optics, Marz 2004, Seiten 1719-1727.

Also Published As

Publication number Publication date
JP5649091B2 (ja) 2015-01-07
EP2596642A1 (de) 2013-05-29
KR20130038388A (ko) 2013-04-17
US20120013749A1 (en) 2012-01-19
WO2012019875A1 (de) 2012-02-16
JP2013534379A (ja) 2013-09-02
DE102010031535A1 (de) 2012-01-19
US8717485B2 (en) 2014-05-06
EP2596642B1 (de) 2017-10-25

Similar Documents

Publication Publication Date Title
KR101517704B1 (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
EP2160018B1 (en) Image pickup apparatus
US10044959B2 (en) Mask-less phase detection autofocus
JP5012495B2 (ja) 撮像素子、焦点検出装置、焦点調節装置および撮像装置
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
CN103842877B (zh) 成像装置和合焦参数值计算方法
US8976289B2 (en) Imaging device
JP5454223B2 (ja) カメラ
US9241111B1 (en) Array of cameras with various focal distances
US20150172577A1 (en) Image sensor and image capturing apparatus
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
JP5629832B2 (ja) 撮像装置及び位相差画素の感度比算出方法
CN103444184B (zh) 彩色摄像元件及摄像装置
US9100558B2 (en) Color imaging element and imaging apparatus
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
CN103444183A (zh) 彩色摄像元件、摄像装置及摄像程序
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
US11375103B2 (en) Imaging device, image processing apparatus, and image processing method
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
US20180288306A1 (en) Mask-less phase detection autofocus
US20160234428A1 (en) Imaging device and image processing method
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
JP2010139624A (ja) 撮像素子および撮像装置
JP5949893B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5