KR20230127277A - 촬상 장치 및 광학소자 - Google Patents

촬상 장치 및 광학소자 Download PDF

Info

Publication number
KR20230127277A
KR20230127277A KR1020237025555A KR20237025555A KR20230127277A KR 20230127277 A KR20230127277 A KR 20230127277A KR 1020237025555 A KR1020237025555 A KR 1020237025555A KR 20237025555 A KR20237025555 A KR 20237025555A KR 20230127277 A KR20230127277 A KR 20230127277A
Authority
KR
South Korea
Prior art keywords
wavelength
image
polarization
optical element
imaging device
Prior art date
Application number
KR1020237025555A
Other languages
English (en)
Inventor
마사시 미야타
요코 소가베
후미히데 코바야시
시오리 스기모토
나루 네모토
토시카즈 하시모토
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20230127277A publication Critical patent/KR20230127277A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/002—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Polarising Elements (AREA)

Abstract

촬상 장치(10)는, 각 투명기판과, 투명기판상 또는 투명기판내에 있어서 투명기판의 면방향으로 배치된 복수의 구조체와를, 가지는 광학소자(12)와, 광전변환 소자를 포함하는 복수의 화소가 배치된 촬상 소자(11)와, 촬상 소자(11)로부터 얻어진 전기신호에 근거해서 화상신호를 생성하는 신호 처리부(13)와를 가지고, 광학소자(12)는, 파장마다 상이한 점 확산 함수를 가진 상태에서 광을 출력함으로써 각 파장의 점 확산 함수가 합성곱해져 있는 화상을, 편광성분에 따라서, 각 편광성분에 대응하는 복수의 화소에 각각 결상하고, 복수의 구조체는, 측면에서 보았을 때에, 같은 높이를 가지고, 신호 처리부(13)는, 편광성분마다, 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 재구성한다.

Description

촬상 장치 및 광학소자
본 발명은, 촬상 장치 및 광학소자에 관한 것이다.
일반적으로, 촬상 장치는, 취득 가능한 광학정보가 R(빨강), G(초록), B(파랑)의 3색의 2차원 화상을 취득한다. 이것에 대하여, 최근, 보다 상세한 색정보(파장 스펙트럼)를 취득하는 카메라로서 하이퍼 스펙트럼 카메라가 실용화되어 있고, 보다 다채로운 광학정보로부터 새로운 가치가 있는 정보를 추출하는 것 같은 대처가 진척되고 있다.
또한, 파장과 마찬가지로 중요한 광 정보인 편광정보를 취득하는 편광 이미지 센서도 실용화되어, 보다 다채로운 광학정보로부터, 새로운 가치가 있는 정보를 추출하는 기술이 제안되어 있다. 그래서, 최근, 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치의 실현이 요구되고 있다.
비특허문헌 1: Gonzalo R Arce, David J Brady, Lawrence Carin, Henry Arguello, and David S Kittle, "Compressive Coded Aperture Spectral Imaging: An introduction", IEEE Signal Processing Magazine, Vol.31, No.1, pp.105-115,2013. 비특허문헌 2: Y. Sogabe, et al. "ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING", In:2020 IEEE International Conference on Image Processing (ICIP). IEEE,2020. p.2865-2869.
일반적으로, 실용화되어 있는 하이퍼 스펙트럼 카메라는, 라인 스캔형이며, 라인 스캔 기구와 분광 소자를 사용해서 복수회 촬상함으로써, 스펙트럼 화상을 취득한다. 더욱, 이것에 더해서, 편광정보를 동시 취득하기 위해서는, 기존의 하이퍼 스펙트럼 카메라에 기존의 편광 이미지 센서를 조합하는 방법이 원리적으로는 가능하다. 그렇지만, 기존의 하이퍼 스펙트럼 카메라에 기존의 편광 이미지 센서를 조합할 경우, 장치가 더욱 복잡화한다고 하는 문제가 있었다.
본 발명은, 상기를 감안하여 이루어진 것으로, 간이한 장치구성임과 아울러 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치 및 간이한 장치구성임과 아울러 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치를 실현하기 위한 광학소자를 제공하는 것을 목적으로 한다.
상술한 과제를 해결하고, 목적을 달성하기 위해서, 본 발명에 관계되는 촬상 장치는, 투명기판과, 투명기판상 또는 투명기판내에 있어서 투명기판의 면방향으로 배치된 복수의 구조체와를, 가지는 광학소자와, 광전변환 소자를 포함하는 복수의 화소가 배치된 촬상 소자와, 촬상 소자로부터 얻어진 전기신호에 근거해서 화상신호를 생성하는 신호 처리부와를 가지고, 광학소자는, 파장마다 상이한 점 확산 함수를 가진 상태에서 광을 출력함으로써 각 파장의 집광 강도분포가 합성곱해져 있는 화상을, 편광성분에 따라서, 각 편광성분에 대응하는 복수의 화소에 각각 결상하고, 복수의 구조체는, 측면에서 보았을 때에, 같은 높이를 가지고, 신호 처리부는, 편광성분마다, 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 재구성하는 것을 특징으로 한다.
또한, 본 발명에 관계되는 광학소자는, 투명기판과, 투명기판상 또는 투명기판내에 있어서 투명기판의 면방향으로 배치된 복수의 구조체와를, 가지는 광학소자이며, 광학소자는, 파장마다 다른 집광 강도분포를 가진 상태에서 광을 출력함으로써 각 파장의 점 확산 함수가 합성곱해져 있는 화상을, 편광성분에 따라서, 각 편광성분에 대응하는 복수의 화소에 각각 결상하고, 복수의 구조체는, 측면에서 보았을 때에, 같은 높이를 가지는 것을 특징으로 한다.
본 발명에 의하면, 간이한 장치구성임과 아울러 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치를 실현할 수 있다.
도1은, 실시예에 관계되는 촬상 장치의 개략구성을 나타낸 측면도다.
도2는, 도1에 나타내는 렌즈의 구성을 설명하는 도다.
도3은, 도1에 나타내는 촬상 장치가 화상을 취득할 때까지의 처리를 나타낸 개략도다.
도4는, 실시 형태에 관계되는 촬상 소자 및 렌즈의 단면의 일부를 모식적으로 나타낸 도다.
도5는, 신호 처리부에 의한 화상의 재구성 처리를 설명하는 도다.
도6은, 평면에서 보았을 때의 형상이 정방형 형상인 구조체의 측면도다.
도7은, 도6에 나타내는 구조체의 저면도다.
도8은, 구조체의 저면도다.
도9는, 구조체의 측면도다.
도10은, 구조체의 측면도다.
도11은, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조 폭의 관계를 나타낸 도다.
도12는, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조폭의 관계를 나타낸 도다.
도13은, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조 폭의 관계를 나타낸 도다.
도14는, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조 폭의 관계를 나타낸 도다.
도15는, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조 폭의 관계를 나타낸 도다.
도16은, 각 편광에 있어서의 각 파장에 있어서의 위상지연량 및 구조체의 구조 폭의 관계를 나타낸 도다.
도17은, 구조체의 단면형상의 예를 나타낸 도다.
도18은, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도19는, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도20은, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도21은, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도22는, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도23은, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도24는, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도25는, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도26은, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도27은, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도28은, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도29는, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체가 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다.
도30은, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도31은, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도32는, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도33은, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도34는, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도35는, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도36은, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다.
도37은, 시뮬레이션 결과를 나타낸 도다.
도38은, 촬상 장치에 의한 재구성 화상의 일례를 나타낸 도다.
도39는, 도38에 있어서의 재구성 화상의 ×점에 있어서의 파장 스펙트럼을 나타낸 도다.
도40은, 렌즈의 ＰＳＦ의 형상마다 재구성 정밀도를 비교한 결과를 나타낸 도다.
도41은, 도40의 ＰＳＦ의 각형상의 관측 화상에 근거해서 각각 재구성된 재구성 화상을 나타낸 도다.
도42는, 도1에 나타내는 렌즈를 적용한 촬상 유닛의 평면도다.
도43은, 도42의 A-A´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도44는, 실시 형태의 변형 예 1에 관계되는 촬상 유닛의 평면도다.
도45는, 도44의 B-B´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도46은, 도1에 나타내는 렌즈를 적용한 촬상 유닛의 평면도다.
도47은, 도46의 C-C´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도48은, 실시 형태의 변형 예 2에 관계되는 촬상 유닛의 평면도다.
도49는, 도48의 B-B´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도50은, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도51은, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도52는, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도53은, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도54는, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도55는, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
이하, 본 발명을 실시하기 위한 최선의 형태를 도면과 함께 상세히 설명한다. 또한, 이하의 설명에 있어서, 각 도면은 본 발명의 내용을 이해할 수 있는 정도로 형상, 크기, 및 위치 관계를 개략적으로 나타내고 있는 것에 지나지 않고, 따라서, 본 발명은 각 도면에서 예시된 형상, 크기, 및 위치 관계에만 한정되는 것이 아니다. 또한, 도면의 기재에 있어서, 동일부분에는 동일한 부호를 첨부해서 나타내고 있다. 또한, 이하에서는, A에 대하여, "^A"라고 기재할 경우는 「"A"의 바로 위쪽에 "^"이 기재된 기호」라면 동등한 것으로 한다.
[실시 형태]
[촬상 장치]
우선, 본 발명의 실시 형태에 관계되는 촬상 장치에 대해서 설명한다. 도1은, 실시 형태에 관계되는 촬상 장치의 개략구성을 나타낸 측면도다. 도2는, 도1에 나타내는 광학소자 12의 구성을 설명하는 도다. 도3은, 도1에 나타내는 촬상 장치 10이 화상을 취득할 때까지의 처리를 나타낸 개략도다.
도1에 나타낸 바와 같이, 실시 형태에 관계되는 촬상 장치 10은, 광학소자 12, 촬상 소자 11 및 신호 처리부 13을 가진다. 촬상 소자 11은, ＣＣＤ나 ＣＭＯＳ등의 광전변환 소자를 가진다. 신호 처리부 13은, 촬상 소자 11로부터 출력되는 광전변환 신호를 처리해서 화상신호를 생성한다.
도1 및 도2에 나타낸 바와 같이, 촬상 장치 10에서, 자연광이나 조명광 등의 광이 촬상 대상(실제 화상)에 조사되어, 촬상 대상 1에 의해 투과/반사/산란한 광, 또는, 촬상 대상 1로부터 발하는 광은, 광학소자 12에 의해 촬상 소자 11상에 광학상을 형성한다.
광학소자 12는, 편광정보에 따라서 결상위치가 상이하고, 또한, 파장에 따라서 결상특성이 상이한 기능을 가진다. 광학소자 12는, 미세한 바이너리 구조로 이루어진다. 광학소자 12는, 입사광의 파장이하의 주기로 배치된, 측면에서 보았을 때의 높이가 일정한, 복수의 미세한 기둥형의 구조체 160을 가진다.
복수의 미세한 기둥형의 구조체 160의 단면은, 모두 2회 회전 대칭의 형상을 가지고, 이 형상에 의해 편광 의존성을 실현할 수 있다. 예를 들면, 광학소자 12는, 0°(횡)와 90°(종)와의 직선편광을 분리하는 제1의 렌즈 패턴 영역 12-1과, +45°(기울기)와 -45°(기울기)와의 직선편광을 분리하는 제2의 렌즈 패턴 영역 12-2(도2 참조)가, 조를 형성하고 있고, 동시에 4방향의 편광성분을 분리한다. 광학소자 12는, 편광방향에 따라서 결상(집광)위치가 다르다.
더욱이, 광학소자 12는, 파장에 따라서 결상특성이 상이한 기능을 가지는 것으로, 광학적인 부호화를 행한다. 이 때문에, 광학소자 12는, 파장에 따라서 명확히 상이한 형상의 ＰＳＦ(Point spread function: 점 확산 함수)를 가지는 렌즈(파장의존 ＰＳＦ렌즈)이며, 실제 화상(피사체)에 대하여, 파장마다 상이한 합성곱 연산을 실시한 화상을 생성하는 기능을 가진다. 광학소자 12는, 파장의존 ＰＳＦ렌즈이며 각 파장의 ＰＳＦ가 합성곱해져 있는 화상(취득한 관측 화상(부호화 화상))을, 편광방향에 따라서, 촬상 소자 11에 있어서의, 각 편광방향에 대응하는 복수의 화소에 각각 결상하는 기능을 가진다. 다시 말해, 이 광학소자 12에서 물체를 촬상하면, 편광변경 방향에 따라서, 실제 화상에 대하여 파장마다 상이한 ＰＳＦ에서 합성곱 연산이 이루어지고, 그 결과가, 촬상 소자 11에 있어서의, 각 편광방향에 대응하는 영역상에서 각각 결상한다.
촬상 대상 1로부터의 광은, 광학소자 12에 의해, 편광성분이 분리된 상태로 상이한 위치에서 결상하고, 파장에 따라서 결상특성(흐려짐 상태)이 상이하다. 광학소자 12에 의해, 편광성분을 분리하면서, 파장마다 상이한 합성곱 연산이 행해지게 된다.
촬상 소자 11은, 편광분리·파장의존 ＰＳＦ렌즈인 광학소자 12에 의해, 파장마다 상이한 합성곱 연산이 이루어진 관측 화상을, 편광방향마다 취득한다. 예를 들면, 도3에 나타낸 바와 같이, 90°의 편광성분에 대응하는 화상G1, 0°의 편광성분에 대응하는 화상G2, -45°의 편광성분에 대응하는 화상G3, 45°의 편광성분에 대응하는 화상G4이며, 어느 쪽의 화상도 각 파장의 ＰＳＦ가 합성곱해져 있는 화상G1∼G4(도3 참조)가 촬상 소자 11에 결상된다.
신호 처리부 13은, 압축 센싱에 근거하여, 각 파장의 ＰＳＦ가 합성곱해져 있는 화상을, 편광성분마다, 재구성하는 재구성 처리에 의해, 스펙트럼 정보를 복원한 재구성 화상을 생성한다. 예를 들면, 신호 처리부 13은, 재구성 처리에 의해, 90°의 편광성분에 대응하는 재구성 화상G1´, 0°의 편광성분에 대응하는 재구성 화상G2´, -45°의 편광성분에 대응하는 재구성 화상G3´, 45°의 편광성분분에 대응하는 재구성 화상G4´을 생성한다.
또한, 촬상 장치 10은, 적외광 컷트의 광학 필터, 전자 셔터, 뷰파인더, 전원(전지), 플래시 라이트 등의 공지의 구성 요소를 구비할 수 있지만, 그것들의 설명은, 본 발명의 이해에 특별히 필요하지 않기 때문에 생략한다. 또한, 이상의 구성은 어디까지나 일례이며, 실시 형태에서는, 광학소자 12, 촬상 소자 11, 신호 처리부 13을 제외하는 구성 요소로서, 공지의 요소를 적절히 조합해서 사용할 수 있다.
[렌즈 및 촬상 소자]
계속해서, 실시 형태에 있어서의 광학소자 12 및 촬상 소자 11의 개략을 설명한다. 도4는, 실시 형태에 관계되는 촬상 소자 11 및 광학소자 12의 단면의 일부를 모식적으로 나타낸 도다.
도4에서는, 촬상 소자 11 및 광학소자 12의 일부를, 촬상 유닛 100으로서 설명한다. 도4의 촬상 유닛 100은, 도2에 나타내는 광학소자 12를 적용하고, 도2에 나타내는 A-A´선에서 절단했을 경우의 단면도다. 또한, 도4이후에서는, ｘｙｚ좌표계가 도시된다. ｘｙ평면방향은, 촬상 소자 11, 후술하는 투명기판 190 등의 면방향에 상당한다. 이하, 특별히 설명이 있는 경우를 제외하고, 「평면에서 볼 때」는, z축방향으로(예를 들면 z축 부방향으로) 보는 것을 지시한다. 「측면에서 볼 때」는, x축방향 또는 y축방향(예를 들면 y축 부방향)으로 보는 것을 지시한다. 촬상 유닛 100에서는, 0°(횡)과 90°(종)과의 직선편광을 분리하는 제1의 렌즈 패턴 영역 12-1과, +45°(기울기)와 -45°(기울기)와의 직선편광을 분리하는 제2의 렌즈 패턴영역 12-2가, 조를 형성하고 있다.
도4에 나타낸 바와 같이, 촬상 유닛 100은, 광학소자 12와 촬상 소자 11과는 대향해서 배치된다. 촬상 소자 11 및 광학소자 12는, z축 정방향으로 이 순서대로 설치된다.
촬상 소자 11은, 각각이 광전변환 소자를 포함하는 복수의 화소 130이 2차원 어레이형으로 복수 배열된다. 광전변환 소자의 예는, 포토다이오드(ＰＤ:Photo Diode)이다. 각 화소는, 적색(R), 녹색(G), 청색(B)에 대응한다. 적색의 광의 파장대역의 예는, 파장을 λ 0 이라고 하면, 600ｎｍ <λ 0 ≤800ｎｍ이다. 녹색의 광의 파장대역의 예는, 500ｎｍ <λ 0 ≤600ｎｍ이다. 청색의 광의 파장대역의 예는, λ 0 ≤500ｎｍ미만이다. 화소R, 화소G, 화소B은, 베이어 배열이여도 좋다. 또는, 화소는, 모노크롬 화상용이여도 좋다.
입사한 광은, z축 부방향을 따라서 진행하여, 광학소자 12를 통해 촬상 소자 11에 도달한다. 촬상 소자 11의 각 화소 130에 발생한 전하는, 도시하지 않는 트랜지스터 등에 의해, 화소신호의 기초가 되는 전기신호로 변환되어, 배선층을 통해 촬상 유닛 100의 외부에 출력된다.
광학소자 12는, 촬상 대상으로부터의 광이 입사하는 측에 배치되어 있다. 평면에서 보았을 때, 광학소자 12는, 촬상 소자 11을 덮도록 설치된다. 광학소자 12는, 투명기판 190의 저면에, 예를 들면 주기적으로(주기구조를 가져서), 복수의 구조체 160에 의해 구성된다. 복수의 구조체 160은, 설계를 쉽게 하는 등 때문에 등간격 배치되어도 좋고, 부등간격 배치되어도 좋다. 복수의 구조체 160은, 복수의 화소를 덮기 위해서 촬상 소자 11상에 형성된 투명층 150내에 형성된다.
투명기판 190은, 예를 들면, ＳｉＯ2(굴절률n=1.45)등의 재료로 이루어지는 저굴절률의 투명기판이다. 투명층 150은, 공기 또는 ＳｉＯ2등의 재료로 이루어지는 저굴절률의 투명층이다. 투명기판 190 및 투명층 150의 재료는 단일이여도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다. 복수의 구조체 160은, 측면에서 보았을 때에, 같은 높이를 가진다. 복수의 구조체 160은, 투명층 150의 굴절률보다도 높은 굴절률을 가지는 ＳｉＮ이나 ＴｉＯ2등의 재료로 형성된 미세구조 패턴으로 이루어진다.
광학소자 12의 예는, 메타서피스다. 메타서피스는, 평면에서 보았을 때에 광의 파장이하의 폭을 가짐과 아울러, 측면에서 보았을 때에 같은 높이를 가지는 복수의 미세 구조체(구조체 160에 상당)를 포함해서 구성된다. 복수의 구조체 160은, ｘｙ평면과 평행한 면에서 절단했을 때의 각각의 단면형상이, 2회 회전 대칭형상이며, 이 형상에 의해 편광 의존성을 실현할 수 있다. 또한, 메타서피스는, 2차원 구조를 가져도 좋고, 3차원 구조를 가져도 좋다. 광학소자 12는, 이 구조체 160의 파라미터를 바꾸는 것만으로, 광의 특성(파장, 편파, 입사각)에 따라서, 위상과 광 강도를 제어할 수 있다. 3차원 구조의 경우, 2차원 구조보다도 설계 자유도가 향상한다.
광학소자 12는, 편광방향에 따라서 결상(집광)위치가 상이하고, 각각의 집광 점에서 파장에 따라서 상이한 ＰＳＦ를 가진다. 이에 따라, 촬상 대상 1로부터의 광은, 편광분리·파장의존 ＰＳＦ기능을 가지는 광학소자 12에 의해, 편광성분이 분리된 상태로 촬상 소자 11상의 상이한 위치에서 결상하고, 파장에 따라서 결상특성(흐려짐 상태)이 상이한 화상(ＲＧＢ화상 또는 모노크롬 화상)으로서 취득된다.
예를 들면, 도2에도 나타낸 바와 같이, 광학소자 12는, 0°와 90°와의 직선편광을 분리하는 제1의 렌즈 패턴 영역 12-1과, +45°와 -45°와의 직선편광을 분리하는 제2의 렌즈 패턴영역 12-2가, 조로서 형성된다. 0°, 90°, ＋45°, －45°의 4개의 편광성분에 대응하는 화상이 형성되어, 촬상 소자 11에서는, 각 편광성분에 대응하는 화상이 결상되는 영역이 각각 설정된다. 도4에서는, 촬상 소자 11의 영역 11-1에 0°의 편광성분에 대응하는 화상이 결상되고, 영역 11-2에 +45°의 편광성분에 대응하는 화상이 결상되는 예를 나타낸다.
각 취득 화상은, 촬상 대상(실제 화상) 1에 대하여 광학소자 12의 편광분리·파장의존ＰＳＦ에 의해 파장마다 광학적인 합성곱 연산이 이루어지고, 화소상에서 파장차원을 따라 적분된 결과에 대응한다. 촬상 유닛 100은, 광학적으로 부호화 및 압축된 상태의 화상을 취득한다. 또한, 촬상 소자 11이 칼라 이미지 센서의 경우, 합성곱 연산의 후에, 촬상 소자 11의 R, G, B 각각의 화소의 파장감도에 따른 승산이 이루어진 후에, 화소상에서 파장차원을 따라 적분된다.
이렇게, 촬상 장치 10에서는, 광학소자 12만으로, 편광성분마다, 광학적으로 부호화된 화상을 촬상 소자 11상에 결상한다. 바꿔 말하면, 촬상 장치 10에서는, 광학소자 12에 의해, 편광분리를 하면서, 스펙트럼 화상재구성에 있어서 효과적인 부호화를 행할 수 있다. 따라서, 촬상 장치 10은, 광학소자 12와 촬상 소자 11과 신호 처리부 13만으로 충분하기 때문에, 간이한 장치구성임과 아울러 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치를 실현할 수 있다.
또한, 촬상 장치 10에서는, 광학소자 12와 촬상 소자 11과의 사이의 거리는, 통상의 촬상 장치와 마찬가지로, 렌즈의 초점거리에 의해 결정되기 때문에, 촬상 장치 10의 사이즈는, 같은 시야 F넘버를 가지는 통상의 카메라와 동등해진다.
그리고, 광학적으로 부호화된 화상은, 관측 프로세스가 기지의 경우(여기에서는, 광학소자 12의 ＰＳＦ와 센서의 파장감도특성), 신호 처리부 13에 있어서, 적절한 신호 처리를 행하는 것으로 실제 화상의 정보를 복원할 수 있다.
촬상 장치 10은, 특히, 자연화상이 가지는 스파스성을 이용함으로써, 적은 정보량으로부터 대상을 고정밀도로 재구성(복원)하는 수법인 압축 센싱을 사용해서 신호 처리를 행한다. 촬상 장치 10은, 광학소자 12가 가지는 파장의존ＰＳＦ에 의해, 실제 화상의 각 파장성분에 대하여 상이한 부호화를 행하는 것이 가능하기 때문에, 신호 처리부 13이 압축 센싱에 근거하는 화상의 재구성 처리를 행하는 것으로, 스펙트럼 화상을 복원할 수 있다.
이 처리를, 편광성분마다 분리한 각 편광성분의 관측 화상에 적용함으로써, 각 편광성분으로 이루어진 스펙트럼 화상(편광 스펙트럼 화상) (예를 들면, 도3의 화상G1´∼G4´)을 생성할 수 있다.
또한, 본 예의 경우, 4개의 직선 편광성분의 정보로부터 편광상태를 기술하는 스토크스 파라미터 4개 중 3개의 파라미터를, 파장마다 도출할 수 있다. 또한, 렌즈 패턴과 그 조에 따라서는, 스토크스 파라미터 모두를 도출 가능한 4개 또는 6개의 기저마다 편광분리하고, 풀 스토쿠스 파라미터를 파장마다 취득하는 것도 가능하다.
[화상의 재구성 처리]
신호 처리부 13은, 광학소자 12의 촬상 프로세스에 의해 정의되는 행렬과, 촬상 소자 11에 결상된 화상, 다시 말해, 각 파장의 ＰＳＦ가 합성곱해져 있는 화상(부호화 화상)을, 기초로, 편광성분마다 각각 화상을 재구성한다. 도5는, 신호 처리부 13에 의한 화상의 재구성 처리를 설명하는 도다.
도5에 나타낸 바와 같이, 재구성 처리는, 광학계에 의해 정의되는 관측 행렬Φ와, 취득한 부호화 화상g를 입력으로 하는 최적화 문제(예를 들면, 도5의 식(A))를 푸는 처리다.
식(A)에 있어서, 우변의 제1항의 ｆ는, 원래 복원하고 싶은 화상을 나타낸다. 관측 화상의 데이터 수가 복원하고 싶은 화상(재구성 화상)의 데이터 수보다 현저하게 적기 때문에, Φf-g=0을 충족시키는 해는 무수하게 존재하지만, 정규화 항을 제2항으로서 더하는 것으로, 복원 화상으로서 그럴 듯한 화상(재구성 화상^f)을 구하기 쉽게 하고 있다.
정규화 항에 관해서는, 스펙트럼 화상용에 여러 가지 것이 제안되어 있고, 본 실시 형태에서는, 정칙화 항 중 어느 것에 대해서도 적용가능하다. 식(A)의 예에서는, R이 prior(선견 정보:화상다움)에 근거하는 신호의 사전확률에 대응하여 있고, 인접화소와의 차분은 작은 등의 일반적으로 화상이 가지는 스파스성을 이용한다. 또한, τ는 밸런싱 파라미터다. 또한, 본 실시 형태에서는, 정규화 항으로서, ＳＳＴＶ(Spatio-Spectral Total Variation)(참고 문헌1)이라고 불리는 것을 사용하고 있고, 화상재구성에 있어서 공간차원 및 파장차원의 인접화소의 차분을 최소화하도록 최적화된다.
참고 문헌 1:Aggarwal, H. K.,& Majumdar, A.(2016). Hyperspectral image denoising using spatio-spectral total variation. IEEE Geoscience and Remote Sensing Letters,13(3),442-446.
최적화 문제를 푸는 방법도 여러 가지 방법이 제안되어 있다. 본 실시 형태에서는, 예를 들면, ＡＤＭＭ(Alternating Direction Method of Multipliers)(참고 문헌 2)이라고 불리는 수법을 사용한다. 그리고, 최근, 기계학습 등을 사용해서 정칙화 항과 최적화 문제의 파라미터를 동시에 최적화하고, 화상 재구성을 행하는 방법이 제안되어 있다(비특허문헌 2 참조). 신호 처리부 13은, 이 방법을 적용하는 것도 가능하다. 다시 말해, 신호 처리부 13은, 뉴럴 네트워크로 구성되는 모델 및 최적화된 재구성 알고리즘을 사용하여, 스펙트럼 화상의 재구성을 행해도 좋다. 바꿔 말하면, 신호 처리부 13은, 기계학습을 사용하여, 정칙화 항의 형태와 최적화 문제의 각종 파라미터를 여러 가지 스펙트럼 화상을 사용해서 사전에 학습하고, 학습된(최적화된) 정칙화 항과 각종 파라미터를 사용하여, 화상 재구성한다.
참고 문헌 2: S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, "Distributed optimization and statistical learning via the alternating direction method of multipliers," Foundations andTrends in Machine Learn- ing, vol.3, no.1, pp.1-122,2011.
이렇게, 촬상 장치 10에서는, 재구성에 효과적인 관측 행렬Φ을, 간이하게 소형 광학계(광학소자 12)로 실현할 수 있다.
[구조체의 일례]
구조체 160을 실현하기 위해서는, 본 실시 형태에서는, 미세한 기둥형의 구조체 160의 단면형상을 설계해서 임의의 공간 위상분포를 설계함으로써, 편광정보에 따라서 결상위치가 상이하고, 또한, 파장에 따라서 결상특성이 상이한, 편광분리·파장의존ＰＳＦ렌즈인 광학소자 12를 실현한다.
도6 및 도7은, 구조체 160의 개략구성의 예를 나타낸 도다. 도6은, 평면에서 보았을 때의 형상이 정방형 형상인 구조체 160의 측면도다. 도7은, 도6에 나타내는 구조체 160의 저면도다.
구조체 160은, z축방향으로 연장하는 기둥형 구조체이며, 투명기판 190(예를 들면 ＳｉＯ2기판(굴절률 1.45))의 저면에 형성된다. 구조체 160의 재료의 예는, ＳｉＮ(굴절률 n1=2.05)이다. 구조체 160의 측방 및 하방은, 공기(Ａｉｒ(굴절률 n0=1.0))이다.
각각의 구조체 160의 배치 주기를 P로 한다. 배치 주기P는, 투과측에서 회절광이 생기지 않도록, 식(1)과 같이 설정하는 것이 바람직하다.
[수1]
λｍｉｎ은, 수광대상의 파장대역에 있어서의 최단 파장이다. n0은, 투과측의 투명층의 굴절률이다. 예를 들면, λｍｉｎ을 420ｎｍ로 하고, n0을 1.0으로 하고, P=400ｎｍ로 했다.
구조체 160의 높이h(z축방향의 길이)는, 일정하다. 높이h는, 구조체 160이, 입사한 광, 다시 말해 z축방향을 따라서 진행되는 광에 대하여 2π이상의 광 위상 지연량(위상값)을 가지고 있는 것이 바람직하기 때문에, 분리하는 파장 영역의 가장 장파장측의 파장 영역에 있어서의 원하는 중심파장을 λr로 하면, 식(2)과 같이 설정하는 것이 바람직하다.
[수2]
식(2)에 있어서, n1은, 구조체 160의 굴절률이다. 구조체 160이 ＳｉＮ의 경우, n1=2.05이며, 높이h는 예를 들면 1250ｎｍ이다. 또한, 구조체 160은, ＴｉＮ(굴절률 2.40)으로 형성되어도 좋다.
구조체 160의 단면형상을 설계(치수설계를 포함한다)함으로써, 각 파장의 광에 대하여 다른 광 위상 지연량을 줄 수 있는 여러 가지 조합이 실현가능하다. 구조체 160의 단면형상을 다양화시키는 것으로, 조합이 증가하고, 설계 자유도는 더욱 향상한다.
편광 의존성을 생기게 하기 위해서, 복수의 구조체 160은, ｘｙ평면과 평행한 면에서 절단했을 때의 각각의 단면형상이, 2회 회전 대칭형상인 것이 바람직하다. 또한, 여기에서 말하는 편광 의존성은, 직교하는 직선편광에 각각에 대하여 다른 위상 지연량을 주는 것이 가능한 성질을 가리킨다. 본 실시 형태에서는, 구조체 16의 단면형상의 치수 파라미터에 의존하는 각 편광성분에 대한 위상값을 사용하여, 편광분리와 파장의존ＰＳＦ를 가지는 렌즈 패턴을 설계한다.
[위상제어의 원리]
도8은, 구조체 160의 저면도다. 도9 및 도10은, 구조체의 측면도다. 구조체 160은, 구조체 160 주위의 재료 또는 공간의 굴절률 n0보다도 높은 굴절률 n1을 가지는 재료로 형성되어 있고, 측면에서 보았을 때의 구조체 160의 높이h는 일정하다. 또한, 구조체 160의 저면 및 상면은, 4각형이다.
구조체 160은, 구조체 160 주위의 재료 또는 공간과의 굴절률 차이에 의해, 광을 구조내에 가둬서 전파시키는 광도파로로서 동작할 수 있다. 따라서, 구조체 160의 한쪽으로부터 광을 입사하면, 광은 구조내에 강하게 가둬지면서 전파한다. 이때, 입사한 광은 광도파로의 실효적인 굴절률ｎｅｆｆ에 의해 결정되는 위상지연 효과를 받으면서 전파하고, 최후에 이미 한쪽의 구조쪽측으로부터 출력된다.
이 경우, 구조 주위의 재료 또는 공간을 구조의 두께 분의 길이를 전파한 광의 위상을 기준으로 했을 때, 구조에 의한 위상 지연량φ은, 광의 진공중에서의 파장을 λ로 하면, 식(3)으로 표현된다.
[수3]
식(3)에 있어서의 ｎｅｆｆ는, 구조체 160의 치수의 함수이며, 또한, 구조체 160의 형상에 따라서는 강한 편광 의존성이 생기는 것이 알려져 있다. 구조체 160은, 도8에 나타내는 것 같은 직사각형의 구조단면을 가지도록 하면, 직교하는 입사 편광에 대하여 다른 ｎｅｆｆ를 독립적으로 줄 수 있다.
여기에서, 도8의 횡방향(X축방향)의 편광성분에 대한 위상 지연량을 φx, 종방향(y축방향)의 편광성분에 대한 위상 지연량을 φy, 횡방향의 편광성분에 대한 실효적인 굴절률을 ｎｅｆｆｘ, 종방향의 편광성분에 대한 실효적인 굴절률을 ｎｅｆｆｙ, 횡방향으로 평행한 방향의 기둥의 폭을 w1, 종방향으로 평행한 방향의 기둥의 폭을 w2로 한다.
이때, ｎｅｆｆｘ와 ｎｅｆｆｙ는, w1과 w2과의 조합에 의해, 각각 제어할 수 있는 것이 알려져 있고, 각각, n0 <ｎｅｆｆｘ<n1, 및, n0 <ｎｅｆｆｙ <n1의 값을 취한다.
따라서, φx와 φy는, w1과 w2과의 조합에 의해 각각 임의로 제어할 수 있다. 다시 말해, 도11∼도16(후술)에 예시하는 것 같이, 구조체 160의 폭인 ｗ1과 w2를 설계함으로써, 각 편광방향에 대한 위상 지연량의 φx와 φy를 임의로 설정하는 것이 가능하다.
이상으로부터, 본 실시 형태에서는, 평면상의 위치에 따라서, 알맞은 폭을 가지는 기둥형의 구조체 160을 각각 배치함으로써, 각 편광방향에 대하여 임의의 위상 지연 공간분포를 줄 수 있다. 이 결과, 본 실시 형태에서는, 설계 파장에 있어서 각 편광방향에 대하여 임의의 파면제어를 행하는 것이 가능해진다.
[위상 지연량]
그 다음에, 구조체 160의 구조 폭 및 각 편광에 있어서의 위상 지연량에 대해서 설명한다. 도11∼도16은, 각 편광에 있어서의 각 파장에 있어서의 위상 지연량 및 구조체 160의 구조 폭의 관계를 나타낸 도다. 도11∼도16은, 기둥형의 구조체 160의 구조 파라미터(폭)를, 높이는 일정한 상태에서, 여러 가지 값으로 설정했을 경우의, 파장(450, 550, 660ｎｍ)의 종편광 혹은 횡편광의 위상값을 나타낸다.
도11은, 파장 450ｎｍ에 있어서의 횡편광의 위상값을 나타내고, 도12는, 파장 450ｎｍ에 있어서의 종편광의 위상값을 나타낸다. 도13은, 파장 550ｎｍ에 있어서의 횡편광의 위상값을 나타내고, 도14는, 파장 550ｎｍ에 있어서의 종편광의 위상값을 나타낸다. 도15는, 파장 650ｎｍ에 있어서의 횡편광의 위상값을 나타내고, 도16은, 파장 650ｎｍ에 있어서의 종편광의 위상값을 나타낸다.
도11∼도16에 나타낸 바와 같이, 구조체 160의 단면형상을 적절하게 설계(치수설계를 포함한다)함으로써, 각 편광에 있어서 0∼2π의 위상값의 여러 가지 조합을, 여러 가지 설계 파장으로 실현하는 것이 가능하다.
또한, 도11∼도16에서는, 횡편광 및 종편광에 대해서 위상 지연량과 구조체 160의 구조 폭과의 관계를 설명했지만, 이것에 한정되지 않는다. 본 실시 형태에서는, 임의의 직교편광에 대하여 같은 설계를 적용할 수 있다. 예를 들면, +45° 및 -45°편광의 제어에 대하여는, 도6∼도10에 나타내는 구조체 160의 조성 구조를, 45°, ｘｙ평면상에서 회전시키면 좋다. 또 도11∼도16에서는, 3파장만의 특성을 나타냈지만, 임의의 파장이라도 같은 특성이 얻어진다.
이렇게, 실시 형태에서는, 바이너리 구조만으로 임의의 직교 편광방향에 따라서 상이한 공간 위상분포를 설계 파장에 따라서 설계할 수 있고, 후술하는 것 같이, 편광을 분리하면서 파장마다 형상이 상이한 ＰＳＦ를 가지는 광학소자 12를 설계할 수 있다.
또한, 구조체 160의 단면형상은, 도7 및 도8에 나타내는 직사각형의 형상에 한정되지 않는다. 도17은, 구조체 160의 단면형상의 예를 나타낸 도다. 도17에 예시되는 것 같은 다양한 단면형상을, 구조체 160이 가져도 좋다. 예시되는 형상은, 예를 들면 직사각형 형상, 마름모꼴 형상, 십자형상 및 타원형상을 여러 가지로 조합하는 것에 의해 얻어지는 2회 회전 대칭형상이다.
[렌즈의 설계 예 1]
그 다음에, 편광분리·파장의존ＰＳＦ렌즈인 광학소자 12의 설계 예에 대해서 설명한다. 본 실시 형태에서는, 편광마다 상이한 위치를 중심으로 집광하고, 파장마다 상이한 형상의 ＰＳＦ를 가지는 렌즈 위상분포를 설계하고, 기둥형의 구조체 160에서 실현한다.
여기에서는, 도6∼도10에 나타내는 ＳｉＮ조성 구조의 구조체 160을 사용해서 위상분포를 설계하고, 편광분리·파장의존ＰＳＦ기능을 가지는 광학소자 12를 실현했다. 또한, 파장마다 상이한 형상의 ＰＳＦ를 가지는 렌즈는 여러 가지 위상분포로부터 실현할 수 있다.
가장 간단한 예로서, 프레넬 렌즈와 동등한 위상분포를 기초로 파장마다 상이한 ＰＳＦ를 가지는 광학소자 12를 설계하는 경우를 설명한다. 이 경우, 직교하는 각 편광(여기서는 횡편광과 종편광)에 대한 렌즈의 위상분포φx, φy는, 예를 들면, 식(4) 및 식(5)로 표현된다.
[수4]
[수5]
식(4) 및 도(5)에 있어서, (x, y)은, 렌즈 평면상의 공간좌표다. λd는, 설계 파장이다. ｘｆ는, x축에 따른 초점거리(편심량)다. ｚｆ는, z축에 따른 초점거리다. n은, 렌즈 투과후의 광전파 공간의 굴절률이다. C는, 임의의 정수다.
도18∼도23은, 프레넬 렌즈와 동등해지도록 설계했을 경우의 구조체 160이 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다. 도18은, 파장 450ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도19는, 파장 450ｎｍ에 있어서의 종편광의 위상분포를 나타낸다. 도20은, 파장 550ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도21은, 파장 550ｎｍ에 있어서의 종편광의 위상분포를 나타낸다. 도22는, 파장 650ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도23은, 파장 650ｎｍ에 있어서의 종편광의 위상분포를 나타낸다.
도18∼도23에 나타내는 예의 경우, 렌즈 사이즈는 0.5mm×1mm, 초점거리ｚｆ는 5.0mm, 편심량ｘｆ는 0.25mm, 설계 파장은 520ｎｍ의 파라미터에서 렌즈 설계를 행했다. φ는, 0∼2π의 범위에 들어가도록 변환하고 있다. 예를 들면, -0.5π 및 2.5π은, 1.5π 및 0.5π에 각각으로 변환하고 있다.
프레넬 렌즈와 동등한 위상분포인 편광분리·파장의존ＰＳＦ렌즈를 실현하기 위해서는, 조성 구조가 가지는 설계 파장에 있어서의 위상 지연량으로부터, 식(4) 및 식(5)의 위상분포에 가장 적합한 구조(각 편광에 있어서의 위상 에러가 최소가 되는 구조)의 구조체 160을, 위치마다 선택해서 배치하면 좋다.
도18∼도23에 나타내는 렌즈의 위상분포의 경우, 평행 광을 광학소자 12에 입사하면, 횡과 종과의 편광성분마다 분리되어, 초점거리에 있어서 각각 상이한 1점을 중심으로 하여 집광한다. 이 경우, 설계 파장의 평행 광은, 초점거리에 있어서 각각 1점에 집광한다. 다시 말해, ＰＳＦ형상이 도트(정확하게는, 원 렌즈의 경우 가우스 함수, 정방형 렌즈의 경우 ｓｉｎｃ함수)가 된다.
그 밖의 파장의 광은, 위상 패턴에 기인하는 집광 위치의 파장의존성, 및, 조성 구조의 위상에 대한 파장분산에 의해, ＰＳＦ의 크기가 파장에 의존해서 변화된다. 다시 말해, 파장에 따라서 상의 흐려짐 상태가 상이한 색수차가 생긴다.
본 실시 형태에서는, 이 편광분리 기능과 색수차를 이용하여, 촬상 대상에 대하여 편광성분마다 소트하고, 각각 상이한 위치를 중심으로 결상시키면서, 파장마다 상이한 합성곱 연산을 실시한 후, 화상취득하여, 화상재구성에 의해 스펙트럼 화상을 생성하는 것이 가능하다.
본 예에서는, 횡편광 및 종편광의 분리에 대해서 기술했지만, +45°/－45°편광의 분리에 대해서도 같은 설계로 좋고, 횡편광·종편광 분리 패턴과, +45°/－45°편광분리 패턴 모두 1조로 하면, 4개의 직선 편광성분의 분류 및 영상화가 가능해진다(도2 참조).
[렌즈의 설계 예 2]
파장의존ＰＳＦ렌즈인 광학소자 12의 다른 설계 예에 대해서 설명한다. 여기에서는, 프로펠러 형상의 PSF를 가지는 위상분포가 되도록 설계했을 경우를 예로 설명한다.
다시 말해, ＰＳＦ의 형상이 파장에 따라서 회전하는 위상분포를 가지는 광학소자 12를 설계한다. 이 경우, 직교하는 각 편광(여기서는, 횡편광 및 종편광)에 대하여 상이한 집광 중심위치를 각각 설정하면, 렌즈의 위상분포φx, φy는, 예를 들면, 식(6) 및 식(7)로 표현된다.
[수6]
[수7]
식(6), 식(7)에 있어서, r은, 렌즈 평면상의 원점(설계 집광 중심위치)으로부터 거리다. θ는, 렌즈 평면상의 설계 집광 중심위치와 좌표가 이루는 각도다. c는, 진공중의 광의 속도다. ω(θ)는, θ의 위치에서의 광각주파수다. ωｍｉｎ은, 설계상 최소의 광각주파수다. ωｍａｘ는, 설계상 최대의 광각주파수다. f는, 초점거리다. n은, 렌즈 투과후의 광전파 공간의 굴절률이다. C는, 임의의 정수다. N은, 날개의 수다.
도24∼도29는, ＰＳＦ가 프로펠러 형상이 되도록 설계했을 경우의 구조체 160이 가지는 각 편광에 대한 위상분포의 예를 나타낸 도다. 도24는, 파장 450ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도25는, 파장 450ｎｍ에 있어서의 종편광의 위상분포를 나타낸다. 도26은, 파장 550ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도27은, 파장 550ｎｍ에 있어서의 종편광의 위상분포를 나타낸다. 도28은, 파장 650ｎｍ에 있어서의 횡편광의 위상분포를 나타낸다. 도29는, 파장 650ｎｍ에 있어서의 종편광의 위상분포를 나타낸다.
도24∼도29에 나타내는 예의 경우, 렌즈 사이즈는 0.5mm×1mm, 초점거리f는 5.0mm, 날개의 수는 3, 설계 파장은 420∼660ｎｍ, 집광 위치는, 횡편광(+0.25mm,0mm), 종편광(-0.25mm,0mm)의 파라미터로 렌즈 설계를 행했다. φ는, 0∼2π의 범위에 들어가도록 변환하고 있다. 예를 들면, -0.5π 및 2.5π는, 1.5π 및 0.5π에 각각으로 변환하고 있다.
프로펠러 형상의 PSF를 가지는 위상분포가 되는 편광분리·파장의존ＰＳＦ렌즈를 실현하기 위해서는, 조성 구조가 갖는 각 파장(각 각주파수)에 있어서의 위상 지연량으로부터, 식(6), 식(7)의 위상분포에 가장 적합한 구조(각 편광의 위상 에러가 최소가 되는 구조)의 구조체 160을, 위치마다 선택하여 배치하면 좋다.
도24∼도29에 나타내는 렌즈의 위상분포의 경우, 평행 광을 광학소자 12에 입사하면, 횡과 종과의 편광성분마다 분리되고, 초점거리에 있어서 각각 상이한 1점을 중심으로 하여 집광한다. 더욱, 후술하는 것 같이, ＰＳＦ형상은 프로펠러와 같은 형상이 되고, 그 날개의 수는 식(7)중의 Ｎ에 대응한다. 이 ＰＳＦ형상은, 파장에 따라서 회전하고, 그 크기는 거의 변화되지 않는다.
이것은, 렌즈의 초점거리가, 파장과 회전각θ에 의존성을 가지는 위상 패턴 및 조성 구조의 위상에 대한 파장분산에 기인한다. 임의의 회전각θ에서의 설계 각주파수ω(θ)(설계 파장)의 광만 설계 초점거리 및 초점위치에 집광하고, 그 밖의 광은 초점거리가 전후로 변화된다. 회전각θ에 따라서 설계 각주파수ω(θ)가 선형적으로 변화되기 때문에, 프로펠러 형상과 같은 ＰＳＦ가 생성되고, ＰＳＦ는, 각주파수(파장)에 의존하여 회전한다.
광학소자 12는, 이상의 편광분리 기능과 파장의존ＰＳＦ를 이용하여, 촬상 대상 1에 대하여 편광성분마다 소트하고, 각각 상이한 위치를 중심으로 결상시키면서, 파장마다 상이한 합성곱 연산을 실시하는 것이 가능하고, 촬상 장치 10은, 화상취득 후, 화상재구성에 의해 스펙트럼 화상을 생성하는 것이 가능하다.
또한, 후술하는 것 같이, 프레넬 렌즈형과 비교하여, ＰＳＦ의 크기가 거의 일정하고, 또한 파장의존성이 회전이라고 하는 명확한 형태에서 생기는 프로펠러 렌즈형쪽이 재구성에 있어서 유리하여, 보다 적합하다.
또한, 여기에서는, 횡편광 및 종편광의 분리에 대해서 기술했지만, +45°/－45°편광의 분리에 대해서도 같은 설계로 좋고, 횡편광·종편광 분리 패턴과, +45°/－45°편광분리 패턴 모두 1조로 하면, 4개의 직선 편광성분의 분류 및 영상화가 가능해진다(도2 참조).
또한, 식(6), 식(7)은, 설계 각주파수ω가 렌즈 위치에 따라서 변화되어 있지만, 각주파수를 파장으로 치환해도 동일한 효과가 얻어진다.
이하, 프로펠러 렌즈형에 근거해서 설계한 광학소자 12의 실시 예를 나타내지만, 프레넬 렌즈형이라고 한 그 밖의 파장의존ＰＳＦ렌즈에 있어서도 마찬가지다.
[ＰＳＦ형상 예]
본 실시 형태에 있어서의 편광분리·파장의존ＰＦＳ렌즈의 ＰＳＦ형상의 일례를 나타낸다. 도30∼도36은, 도24∼도29에 나타내는 위상분포로부터 프레넬 회절 적분에 의해 구한 각 편광 및 각 파장에 있어서의 ＰＳＦ형상을 나타낸 도다. 도30∼도36에 나타내는 예의 경우, 렌즈 사이즈는 1mm×2mm, 초점거리f는 10mm, 날개의 수는 3, 설계 파장은 420∼660ｎｍ, 집광 위치는, 횡편광(+0.5mm,0mm), 종편광(-0.5mm,0mm)의 파라미터로 렌즈 설계를 행했다.
도30은, 파장λ=600ｎｍ에 있어서의 횡편광에 있어서의 ＰＳＦ형상이다. 도31은, 파장λ=600ｎｍ에 있어서의 종편광에 있어서의 ＰＳＦ형상이다. 도32∼도36은, 횡편광 및 집광점 부근(+0.5mm,0mm)에서의 횡편광에 있어서의 ＰＳＦ형상이다. 도32는, 파장λ=450ｎｍ에 있어서의 ＰＳＦ형상이다. 도33은, 파장λ=500ｎｍ에 있어서의 ＰＳＦ형상이다. 도34는, 파장λ=550ｎｍ에 있어서의 ＰＳＦ형상이다. 도35는, 파장λ=600ｎｍ에 있어서의 ＰＳＦ형상이다. 도36은, 파장λ=650ｎｍ에 있어서의 ＰＳＦ형상이다.
도30 및 도31에 나타낸 바와 같이, 광학소자 12에 의하면, 편광에 따라서 집광 위치가 상이해 있고, 편광분리가 실현되고 있는 것을 알 수 있다. 그리고, 광학소자 12에 의하면, 도32∼도36에 나타낸 바와 같이, 날개가 3매의 프로펠러 형상의 ＰＳＦ로 되어 있고, 파장에 따라서 회전한다. 도32∼도36에 나타낸 바와 같이, 파장의 변화에 상관없이, ＰＳＦ자체의 크기는 거의 변화되지 않는다.
이것들의 ＰＳＦ를 가지는 광학소자 12로 촬상 대상 1을 촬상하면, 편광성분마다 소트되어, 대응하는 파장의 ＰＳＦ에서 화상을 합성곱한 결과가 이미지 센서상에 결상하게 된다. 또한, 본 예에서는, 횡편광 및 종편광의 분리에 대해서 기술했지만, +45°/－45°편광의 분리에 대해서도 같은 결과가 얻어졌다.
[관측 화상 예]
계속해서, 도30∼도36의 ＰＳＦ를 가지는 광학소자 12로 자연화상을 촬상한 시뮬레이션 결과에 대해서 설명한다. 도37은, 시뮬레이션 결과를 나타낸 도다.
시뮬레이션은, 공개되어 있는 스펙트럼 화상(ICVL, Boaz Arad and Ohad Ben-Shahar. Sparse recovery of hyperspectral signal from natural rgb images, In European Conference on Computer Vision, pp.19-34. Springer,2016., [online], [령화 2년 12월 28일 검색], 인터넷 <ＵＲＬ:http://icvl.cs.bgu.ac.il/hyperspectral/>) (파장 420ｎｍ∼660ｎｍ:25밴드)에 대하여 도30∼도36의 ＰＳＦ에서 파장마다 합성곱 연산하고, 일반적인 칼라 이미지 센서의 ＲＧＢ화소의 감도를 고려해서 파장차원에 따라 적분하는 것으로 실시했다. 또한, 도37은, ＲＧＢ칼라 화상을 모노크롬 표시한 것이며, 좌측의 화상이 입력 스펙트럼 화상(실제 화상)이며, 우측의 화상이, 촬상 소자 11상에 결상되는 합성곱 후의 화상(관측 화상)이다.
이것은, 도30∼도36의 ＰＳＦ를 가지는 렌즈와 칼라 이미지 센서를 사용해서 촬상하고, 센서로부터 출력되는 ＲＧＢ칼라 화상(관측 화상)을 시뮬레이트 하고 있는 것에 대응한다.
또한, B의 광의 파장 영역은 420∼500ｎｍ, G의 광의 파장 영역은, 500∼600ｎｍ이며, R의 광의 파장 영역은, 600∼660ｎｍ로 하고 있다. 도37에서는, 임의의 1개 편광성분만(횡편광)의 화상을 관측 화상으로서 나타내고, 이후에서는, 이 횡편광의 관측 화상에 대응하는 재구성 처리에 대해서 나타내지만, 그 밖의 편광성분에 있어서도 같다.
도37에 나타낸 바와 같이, 관측 화상은 광학소자 12의 ＰＳＦ에 의한 합성곱 연산에 의해 흐려져 있는 것을 알 수 있다. 또한, 관측한 정보량은 실제 화상의 12%(25파장 밴드에서 3색)로 압축되어 있게 되어, 압축 센싱에 근거하는 화상 재구성에 의해, 정보를, 3색으로부터 25파장 밴드에 복원한다.
[재구성 화상]
그 다음에, 촬상 장치 10에 의한 재구성 화상의 일례에 대해서 설명한다. 도38은, 촬상 장치 10에 의한 재구성 화상의 일례를 나타낸 도다. 도38에서는, 도37에 나타내는 관측 화상으로부터 압축 센싱에 근거하는 재구성 처리를 사용해서 스펙트럼 화상을 생성한 예에 대해서 나타낸다.
여기에서는, 정칙화 항으로서 ＳＳＴＶ, 최적화 문제를 푸는 방법으로서 ＡＤＭＭ을 사용했다. 또한, 도38에는, 비교를 위해 실제 화상도 나타낸다. 또한, 도38에 나타내는 재구성 화상 및 실제 화상은, 25밴드의 스펙트럼 화상이지만, 가시화를 위해 ＲＧＢ화상으로 표시한 것을 모노크롬 표시한 것이다.
재구성 화상에 대하여, ＰＳＮＲ(Peak Signal-to-Noise Ratio), ＳＳＩＭ(Structural Similarity), ＳＡＭ(Spectral Angle Mapping)의 평가 지수로 평가를 행했다.
ＰＳＮＲ은, 식(8) 및 식(9)에 나타낸 바와 같이, 1화소마다의 차이를 평가하는 지수이며, 큰 값(dB)일수록 고화질이다. 각 파장의 화상의 ＰＳＮＲ을 계산하고, 파장전체에서 평균을 취하는 것으로, 스펙트럼 화상에 적용했다.
[수8]
[수9]
ＳＳＩＭ은, 구조적 유사성이며, 식(10)에 나타낸 바와 같이, 주위 픽셀과의 상관을 포함시킨 지표다. ＳＳＩＭ이 1에 가까울수록 고화질이다. 각 파장의 화상의 ＳＳＩＭ을 계산하고, 파장전체에서 평균을 취하는 것으로, 스펙트럼 화상에 적용했다.
[수10]
ＳＡＭ은, 파장 스펙트럼 유사도이며, 0에 가까울수록 스펙트럼이 유사하다. 각 화소의 ＳＡＭ을 계산하여, 화상전체에서 평균을 취하는 것으로, 스펙트럼 화상에 적용했다.
재구성 화상은, ＰＳＮＲ가 29.10ｄＢ이며, ＳＳＩＭ이 0.9176이며, ＳＡＭ이, 0.1874이었다. 따라서, 촬상 장치 10에 의해, 정밀도 좋게 화상이 재구성되어 있는 것을 알 수 있다.
[재구성한 파장 스펙트럼]
그 다음에, 재구성한 파장 스펙트럼의 예에 대해서 설명한다. 도39는, 도38에 있어서의 재구성 화상의 ×점에 있어서의 파장 스펙트럼을 나타낸 도다. 도39에는, 비교를 위해, 재구성 화상(Reconstructed)과 함께, 실제 화상(Ground truth)의 ×점에 있어서의 파장 스펙트럼도 나타낸다.
도39에 나타낸 바와 같이, 재구성 화상에서는, 실제 화상과 잘 일치하는 스펙트럼이 얻어져 있고, 화상 재구성에 의해, 고정밀도 정보의 복원이 실행 가능한 것을 알 수 있다. 또한, 재구성 정밀도는, 광학소자 12의 ＰＳＦ의 형상의 이외, 정칙화 항이나 최적화 문제를 푸는 방법에 의해 변화된다.
[ＰＳＦ의 형상에 의한 재구성 정밀도의 비교]
그 다음에, 광학소자 12에 있어서의 ＰＳＦ의 형상에 의한 재구성 정밀도를 비교한 결과를 나타낸다. 도40은, 광학소자 12의 ＰＳＦ의 형상마다 재구성 정밀도를 비교한 결과를 나타내는 글자다. 도41은, 도40의 ＰＳＦ의 각 형상의 관측 화상에 근거해서 각각 재구성된 재구성 화상을 나타낸 도다. 도41에 나타내는 재구성 화상, 실제 화상 및 프레넬 렌즈 화상은, ＲＧＢ화상으로 표시한 것을 모노크롬 표시한 것이다.
도40에서는, 비교를 위해, 프레넬 렌즈형의 ＰＳＦ에 의한 것에 대해서도 나타낸다. 또한, 도41에는, 비교를 위해, 실제 화상과, 프레넬 렌즈형과에 의한 재구성 화상에 대해서도 나타낸다. 프레넬 렌즈형에 의한 화상에 대해서는, 큰 색수차를 이용해서 재구성을 행하고 있다.
도40 및 도41에서는, 평가 지수로서, ＰＳＮＲ, ＳＳＩＭ, ＳＡＭ을 사용했다. 도40 및 도41에 있어서의 Ｎ은 날개의 수다. 도40 및 도41은, 1개의 편광성분만을 가정하여 계산, 평가를 행한 결과다. 또한, 렌즈의 파라미터는, 렌즈 사이즈가 0.5mm×1.0mm, 초점거리ｚｆ가 5.0mm, 편심량ｘｆ가 0.25mm, 설계 파장대역이 420∼660ｎｍ이다.
도40 및 도41에 나타낸 바와 같이, 어느 쪽의 평가 지수도, 날개의 수에 의한 큰 차이는 없고, 프레넬 렌즈ＰＳＦ보다도 높은 정밀도를 나타냈다. 바꿔 말하면, 광학소자 12는, 날개의 수에 상관없이, 프레넬 렌즈ＰＳＦ보다도, 높은 정밀도를 나타냈다. 이 때문에, 본 실시 형태에 관계되는 광학소자 12는, 프레넬 렌즈형보다도 보다 적합하고, 재구성에 유리한 관측 행렬을 구성하는 것이라고 말할 수 있다.
[실시 형태의 효과]
이렇게, 본 실시 형태에 관계되는 촬상 장치 10에서는, 광학소자 12만으로, 편광성분마다, 광학적으로 부호화된 화상을 촬상 소자 11상에 결상한다. 본 실시 형태에서는, 하이퍼 스펙트럼 카메라 광학계와 편광정보취득 광학계가 메타서피스인 광학소자 12에 의해 일체의 광학소자로서 실현되어 있다. 바꿔 말하면, 촬상 장치 10에서는, 광학소자 12만에 의해, 편광분리를 하면서, 스펙트럼 화상 재구성에 있어서 효과적인 부호화를 행할 수 있다. 이 때문에, 촬상 장치 10의 구성 요소는, 광학소자 12와 촬상 소자 11과 신호 처리부 13만으로 좋고, 간이한 장치구성임과 아울러 편광정보를 취득 가능한 하이퍼 스펙트럼 촬상 장치를 실현할 수 있다.
또한, 촬상 장치 10에서는, 광학소자 12와 촬상 소자 11과의 사이의 거리는, 통상의 촬상 장치와 마찬가지로, 렌즈의 초점거리에 의해 결정되기 때문에, 촬상 장치 10의 사이즈는, 같은 시야 F넘버를 가지는 통상의 카메라와 동등해진다.
그리고, 광학적으로 부호화된 화상은, 관측 프로세스가 기지의 경우(여기에서는, 광학소자 12의 ＰＳＦ와 센서의 파장감도특성), 신호 처리부 13에 있어서, 적절한 신호 처리를 행하는 것으로 실제 화상의 정보를 복원할 수 있다.
또한, 촬상 장치 10에서는, 촬상 자체(각 편광성분으로 분리되어, 부호화된 화상의 취득)는, 싱글 숏에서 좋기 때문에, 시간차원의 희생이 없고, 재구성 처리를 제외하면, 통상 카메라와 동등한 시간분해능이 가능하다.
또한, 촬상 장치 10에서는, 편광분리 및 부호화를 담당하는 광학소자 12는, 미세한 바이너리 구조로 구성되기 때문에, 다단 리소그래피가 필요한 일반적인 회절광학 소자와 비교하여, 제작 공정수의 삭감이 가능하고, 두께도 얇고, 무게도 가볍고, 제작이 용이하다.
또한, 미세한 바이너리 구조로 이루어지는 광학소자 12는, 일반적인 회절광학 소자에서 생기는 섀도우 효과(회절광학 소자에 의한 회절광이 자신의 다단구조에 의해 반사·산란해버리는 현상)에 기인하는 광투과율 저하나 최대 렌즈 개구수(ＮＡ)의 제한이 없기 때문에, 보다 높은 ＮＡ의 렌즈(광 이용 효율이 높은 밝은 렌즈)를 실현할 수 있다.
또한, 본 실시 형태에서는, 촬상 소자 11이 칼라 이미지 센서의 경우에 근거하는 실시 예를 나타냈지만, 모노크롬 이미지 센서의 경우에 있어서도, 부호화된 화상취득시에 3ｃｈ(ＲＧＢ:칼라)가 1ｃｂ(모노크롬)이 되는 이외는, 마찬가지다.
[실시 형태의 변형 예 1]
본 변형 예 1에서는, 촬상 소자 11의 화소상에 있어서의 상의 중첩(크로스토크)을 경감 가능한 변형 예에 대해서 설명한다.
본 변형 예 1에서는, 촬상 소자 11 및 광학소자 12의 일부를, 촬상 유닛으로서 설명한다. 도42는, 도1에 나타내는 광학소자 12를 적용한 촬상 유닛의 평면도다. 또한, 투명기판 190은 생략하여 있다. 도43은, 도42의 A-A´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도42 및 도43에 나타낸 바와 같이, 인접하는 각 렌즈 패턴에 있어서, 촬상 소자 11의 각 상의 경계부근(영역 11-1 및 영역 11-2의 경계부근)에서, 상의 중첩(크로스토크)이 생길 우려가 있다. 이 상의 중첩은, 재구성 후의 화상의 열화나 편광 소광비(소망의 편광성분/그 밖의 편광성분)의 열화로 연결될 가능성이 있다.
도44는, 실시 형태의 변형 예 1에 관계되는 촬상 유닛의 평면도다. 또한, 투명기판 190은 생략하여 있다. 도45는, 도44의 B-B´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도44 및 도45에 나타낸 바와 같이, 촬상 유닛 200에서는, 상의 중첩을 피하기 위해서, 광학소자 12의 제1의 렌즈 패턴 영역 12-1 및 제2의 렌즈 패턴영역 12-2(편광분리 영역)의 경계 바로 아래에 장벽 240을 설치한 구성을 가진다.
이 장벽 240은, 광을 흡수해 미광이 생기지 않는 재료에 의해 구성된 것, 또는, 같은 기능을 부가하는 표면가공이 실시된 것이 바람직하다.
이 장벽 240은 편광분리·파장의존ＰＳＦ렌즈인 광학소자 12와, 촬상 소자 11과의 사이에 설치된다. 장벽 240에 의해 제1의 렌즈 패턴 영역 12-1 및 제2의 렌즈 패턴영역 12-2 사이의 영향을 완전히 차단하면, 상의 중첩은 완전히 제거할 수 있다.
또한, 부분적인 장벽이여도, 상의 중첩의 영향을 경감할 수 있는 효과를 가지고 있고, 용도나 제작이나 실장 프로세스에 맞추어, 장벽 높이 및 위치를 결정하면 좋다.
[실시 형태의 변형 예 2]
본 변형 예 2에서는, 촬상 소자 11의 화소상에 있어서의 상의 중첩(크로스토크)의 경감이 가능하고, 또한, 편광 소광비의 향상이 가능한 변형 예에 대해서 설명한다.
본 변형 예 2에서는, 촬상 소자 11 및 광학소자 12의 일부를, 촬상 유닛으로서 설명한다. 도46은, 도1에 나타내는 광학소자 12를 적용한 촬상 유닛의 평면도다. 또한, 투명기판 190은 생략하여 있다. 도47은, 도46의 C-C´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도46 및 도47에 나타낸 바와 같이, 동일 렌즈 패턴(예를 들면, 제1의 렌즈 패턴 영역 12-1)에 있어서, 편광분리 후, 촬상 소자 11의, 0°의 편광성분에 대응하는 화상이 결상되는 영역 11-1a와 90°의 편광성분에 대응하는 화상이 결상되는 영역 11-1b와에 형성된 2개의 상에 있어서, 상의 중첩(크로스토크)이 생길 우려가 있다. 이 상의 중첩은, 재구성 후의 화상의 열화나 편광 소광비(소망의 편광성분/그 밖의 편광성분)의 열화로 연결될 가능성이 있다.
도48은, 실시 형태의 변형 예 2에 관계되는 촬상 유닛의 평면도다. 또한, 투명기판 190은 생략하여 있다. 도49는, 도48의 B-B´선에서 촬상 유닛을 절단했을 경우의 단면도다.
도48 및 도49에 나타낸 바와 같이, 촬상 유닛 200A에서는, 상의 중첩을 피하기 위해서, 광학소자 12와 촬상 소자 11과의 사이에, 복수의 편광 필터 250을 설치한 구성으로 되어 있고, 각각이 광학소자 12에 의해 공간적으로 편광 분리되는 광의 결상위치에 대응하고 있다.
따라서, 렌즈에 의해 분리된 각 편광성분으로 이루어지는 광은, 대응하는 편광 필터를 반드시 투과한다. 그 후, 촬상 소자 11상에 있어서 각각의 광은 결상한다. 이때, 분리된 광의 편광방향과 대응하는 편광 필터 250의 편광 투과축을 일치시킨다.
이렇게, 촬상 유닛 200A에서는, 광학소자 12와 촬상 소자 11과의 사이에, 바로 아래에 위치하는 상기 화소가 대응하는 편광방향과 편광 투과 축을 일치시킨 편광 필터를 설치한다. 이것에 의해, 촬상 유닛 200A에서는, 원하는 편광성분이외의 성분을 커트한 상태에서, 촬상 소자 11의 화소 130상에 광을 이끌 수 있기 때문에, 상이한 편광성분으로 이루어지는 상의 경계부근에 있어서의 상의 중첩을 완전히 제거할 수 있다. 따라서, 촬상 유닛 200A에 의하면, 상의 크로스토크를 크게 경감할 수 있다.
더욱, 촬상 유닛 200A에서는, 광학소자 12와 편광 필터 250에 의한 이중의 편광 필터링을 행하게 된다. 이것은, 편광 소광비를 향상시키는 것에 연결되므로, 촬상 유닛 200A에서는, 편광화상의 질의 향상도 실현할 수 있다.
또한, 편광 필터 250을 병용하는 촬상 유닛 200A에서는, 높은 광 이용 효율을 유지한 채, 상기한 효과를 부가할 수 있다. 이것은, 편광분리 후에 편광 필터링을 행하기 때문에, 화소 어레이상에 도달하는 총 광량을 거의 감할 일이 없기 때문이다.
또한, 촬상 유닛 200A는, 도44 및 도45에 나타내는 장벽 240을 더욱 설치하는 것도 가능하다. 편광 필터 250과 장벽 240을 병용함으로써, 각 편광화상의 크로스토크를 거의 없애고, 보다 고화질의 편광 스펙트럼 화상을 생성할 수 있다.
[렌즈 구조예]
광학소자 12는, 도3 및 도4에 나타내는 구성에 제한되는 일은 없고, 구조체 160의 수나 간격, 구조형상, 배열 패턴에 있어서 여러 가지 형태를 취할 수 있다. 또한, 구조체 160은, 각각이 접속되어 있어도 좋고, 또 투명재료내에 매립된 형태라도 좋다.
도3 및 도4에서는, 광학소자 12가 투명기판 190의 저면에 형성되어 있지만 이것에 한정되지 않는다. 도50∼도55는, 실시 형태에 관계되는 광학소자 12의 단면의 일부의 다른 예를 모식적으로 나타낸 도다.
도50에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 투명기판 190A의 상면에 형성되어도 좋다. 이 경우, 구조체 160은, 투명기판 190A에 지지되어 있다. 구조체 160의 위쪽의 투명층은, 공기라도 수지 등의 보호층이라도 좋고, 투명층의 재료는 단일이라도 좋으며, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도51에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 투명기판 190B내에 매립되어 있어도 좋다. 투명기판 190B의 재료는 단일이라도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도52에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 투명기판 190C의 양면에 형성되어 있어도 좋다. 상술한 편광분리·파장의존ＰＳＦ기능을, 투명기판 190C의 양면의 구조체 160으로 실현해도 좋다. 또한, 파장의존ＰＳＦ기능을, 투명기판 190C의 구조체 160로 실현해도 좋고, 또 한 면에서 필터나 스플리터, 차광층 등 그 밖의 광학기능을 실현해도 좋다. 구조체 160 위쪽의 투명층은 공기라도 수지 등의 보호층이라도 좋고, 투명층의 재료는 단일이라도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도53에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 굴절 렌즈 190D상에 형성되어 있어도 좋다. 구조체 160은, 굴절 렌즈 190D상에 지지되어 있다. 굴절 렌즈 190D는, 파장의존 집광 특성의 집광 성능향상(높은 ＮＡ화 등)에 있어서 유익하다. 또한, 이후에서 설명하는 굴절 렌즈 190E, 190F에서도 마찬가지다. 구조체 160 위쪽의 투명층은, 공기라도 수지 등의 보호층이라도 좋다. 굴절 렌즈 190D의 재료는 단일이라도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도54에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 굴절 렌즈 190E내에 매립되어 있어도 좋다. 굴절 렌즈 190E의 재료는, 단일이라도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도55에 나타낸 바와 같이, 광학소자 12의 구조체 160은, 굴절 렌즈 190F의 양면에 형성되어 있어도 좋다. 상술한 파장의존ＰＳＦ기능을, 굴절 렌즈 190F의 양면의 구조체 160으로 실현해도 좋다. 또한, 파장의존ＰＳＦ기능을, 굴절 렌즈 190F의 구조체 160으로 실현해도 좋고, 또 한 면에서 필터나 스플리터, 차광층 등 그 밖의 광학기능을 실현해도 좋다. 구조체 160 위쪽의 투명층은 공기라도 수지 등의 보호층이라도 좋다. 굴절 렌즈 190F의 재료는 단일이라도 좋고, 복수의 재료가 층상으로 된 것이라도 좋다.
또한, 도50∼도55에서는 생략하여 있지만, 차광막 패턴 등을 동일평면상 또는 이면에 실시해도 좋다.
또한, 실시 형태에서는, 구조체 160의 재료로서, ＴｉＯ2 및 ＳｉＮ을 예로 들어서 설명했다. 단, 구조체 160의 재료는 그것들에 한정되지 않는다. 예를 들면, 파장이 380ｎｍ∼1000ｎｍ의 광(가시광∼근적외광)의 광에 대하여는, ＳｉＮ의 이외에, ＳｉＣ, ＴｉＯ2, ＧａＮ등이 구조체 6의 재료로서 사용되어도 좋다. 굴절률이 높고, 흡수 손실이 적기 때문에 적합하다. 파장이 800∼1000ｎｍ의 광(근적외광)에서 사용할 경우는, Ｓｉ, ＳｉＣ, ＳｉＮ, ＴｉＯ2, ＧａＡｓ, ＧａＮ등이 구조체 6의 재료로서 사용할 수 있어서 좋다. 저손실이기 때문에 적합하다. 장파장대의 근적외영역(통신 파장인 1.3μm이나 1.55μm등)의 광에 대하여는, 상술한 재료에 더하여, ＩｎＰ등을 구조체 160의 재료로서 사용할 수 있다.
또한, 구조체 160이, 부착, 도포 등에 의해 형성될 경우, 불소화 폴리이미드 등의 폴리이미드, ＢＣＢ(벤조시클로부텐), 광경화성 수지, ＵＶ에폭시 수지, ＰＭＭＡ등의 아크릴수지, 레지스트 전반 등의 폴리머 등이 재료로서 들 수 있다.
또한, 실시 형태에서는, 투명층 150의 재료로서 ＳｉＯ2 및 공기층을 상정한 예를 나타냈지만, 이것들에 한정되지 않는다. 일반적인 유리 재료 등도 포함시키고, 구조체 160의 재료의 굴절률보다 낮은 굴절률을 가지고, 입사 광의 파장에 대하여 저손실한 것이면 좋다. 투명층 150은, 대응하는 화소에 도달해야 할 광의 파장에 대하여 충분히 저손실이면 좋기 때문에, 칼라 필터와 같은 재질이여도 좋고, 예를 들면 수지 등의 유기재료이여도 좋다. 이 경우, 다만 투명층 150이 칼라 필터와 같은 재질일 뿐만 아니라, 칼라 필터와 같은 구조를 가지고, 대응하는 화소에 이끌려야 할 광의 파장에 따른 흡수 특성을 가지도록 설계되어 있어도 좋다.
또한, 실시 형태에서는, 화소의 대응하는 색으로서, ＲＧＢ의 3원색을 예로 들어서 설명했지만, 화소는, 근적외광 및 3원색이외의 파장의 광(예를 들면, 적외광, 자외광 등)에도 대응해도 좋다.
또한, 실시 형태에서는, 구조체 160의 형상으로서, 직사각형 형상, 마름모꼴 형상, 십자형상 및 타원형상의 단면형상을 가지는 구조체가 사용되는 예에 대해서 설명했다. 이 형상은 일례이며, 1종류의 구조체(예를 들면 직사각형 형상만)가 사용되어도 좋고, 2종류이상의 구조체(예를 들면 직사각형 형상과 십자형상만)가 사용되어도 좋다.
이상, 본 발명을 구체적인 실시 형태에 근거해서 설명했지만, 본 발명은 상기 실시 형태에 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에 있어서 여러 가지 변경 가능한 것은 말할 필요도 없다.
1 촬상 대상
10 촬상 장치
11 촬상 소자
12 광학소자
13 신호 처리부
130 화소
150 투명층
160 구조체
190, 190A∼190C 투명기판
190D∼190F 굴절 렌즈

Claims (8)

  1. 투명기판과, 상기 투명기판상 또는 상기 투명기판내에 있어서 상기 투명기판의 면방향으로 배치된 복수의 구조체를, 가지는 광학소자와,
    광전변환 소자를 포함하는 복수의 화소가 배치된 촬상 소자와,
    상기 촬상 소자로부터 얻어진 전기신호에 근거해서 화상신호를 생성하는 신호 처리부를,
    가지고,
    상기 광학소자는, 파장마다 상이한 점 확산 함수를 가진 상태에서 광을 출력함으로써 각 파장의 점 확산 함수가 합성곱해져 있는 화상을, 편광성분에 따라서, 각 편광성분에 대응하는 복수의 화소에 각각 결상하고,
    상기 복수의 구조체는, 측면에서 보았을 때에, 같은 높이를 가지고,
    상기 신호 처리부는, 편광성분마다, 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 재구성하는,
    것을 특징으로 하는 촬상 장치.
  2. 제 1 항에 있어서,
    상기 신호 처리부는, 상기 광학소자의 촬상 프로세스에 의해 정의되는 행렬과, 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 기초로, 편광성분마다 각각 화상을 재구성하는 것을 특징으로 하는 촬상 장치.
  3. 제 2 항에 있어서,
    상기 신호 처리부는, 뉴럴 네트워크로 구성되는 모델을 사용하여, 상기 광학소자의 촬상 프로세스에 의해 정의되는 행렬과, 각 파장의 점 확산 함수가 합성곱해져 있는 화상을, 입력으로 하는 최적화 문제를 푸는 것을 특징으로 하는 촬상 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 복수의 구조체의 각각은, 상기 투명층의 굴절률보다도 높은 굴절률을 가지고, 입사한 광에 대하여 단면형상에 따른 광 위상 지연량을 주는 기둥형 구조체이며,
    상기 복수의 구조체는, 상기 화소에 대한 상기 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 편광성분에 따라서 각 편광성분에 대응하는 복수의 화소에 각각 결상하기 위한 광 위상량 지연 분포를 따라서 단면형상이 설정되고, 상기 화소에 대한 상기 각 파장의 점 확산 함수가 합성곱해져 있는 화상을 편광성분에 따라서 각 편광성분에 대응하는 복수의 화소에 각각 결상하기 위한 광 위상량 지연 분포를 따라서 배치되는 것을 특징으로 하는 촬상 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 복수의 구조체의 각각의 단면형상은, 2회 회전 대칭형상인 것을 특징으로 하는 촬상 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 광학소자에 있어서의 편광분리 영역의 경계 바로 아래에, 광을 흡수하는 장벽을 설치한 것을 특징으로 하는 촬상 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 광학소자와 상기 촬상 소자와의 사이에 설치되고, 바로 아래에 위치하는 상기 화소가 대응하는 편광방향과 편광 투과축을 일치시킨 편광 필터를 더욱 가지는 것을 특징으로 하는 촬상 장치.
  8. 투명기판과, 상기 투명기판상 또는 상기 투명기판내에 있어서 상기 투명기판의 면방향으로 배치된 복수의 구조체를, 가지는 광학소자이며,
    상기 광학소자는, 파장마다 상이한 점 확산 함수를 가진 상태에서 광을 출력함으로써 각 파장의 점 확산 함수가 합성곱해져 있는 화상을, 편광성분에 따라서, 각 편광성분에 대응하는 촬상 소자의 복수의 화소에 각각 결상하고,
    상기 복수의 구조체는, 측면에서 보았을 때에, 같은 높이를 가지는 것을 특징으로 하는 광학소자.
KR1020237025555A 2021-01-27 2021-01-27 촬상 장치 및 광학소자 KR20230127277A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/002909 WO2022162800A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Publications (1)

Publication Number Publication Date
KR20230127277A true KR20230127277A (ko) 2023-08-31

Family

ID=82653135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237025555A KR20230127277A (ko) 2021-01-27 2021-01-27 촬상 장치 및 광학소자

Country Status (6)

Country Link
US (1) US20240147032A1 (ko)
EP (1) EP4270941A1 (ko)
JP (1) JPWO2022162800A1 (ko)
KR (1) KR20230127277A (ko)
CN (1) CN116762353A (ko)
WO (1) WO2022162800A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024157371A1 (ja) * 2023-01-25 2024-08-02 日本電信電話株式会社 太陽電池モジュール及び変換装置
CN118129907B (zh) * 2024-05-08 2024-09-20 中国科学院长春光学精密机械与物理研究所 中长波红外光谱调制快照成像光谱仪及图谱重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109163805B (zh) * 2014-11-19 2022-03-22 松下知识产权经营株式会社 分光系统
CN107615022A (zh) * 2015-03-24 2018-01-19 犹他大学研究基金会 具有用于创建空间编码图像的图像分散性的成像设备
JP6975897B2 (ja) * 2016-12-27 2021-12-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP6966934B2 (ja) * 2017-03-29 2021-11-17 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP6981496B2 (ja) * 2018-04-17 2021-12-15 日本電信電話株式会社 カラー撮像素子および撮像装置
JP6857163B2 (ja) * 2018-09-26 2021-04-14 日本電信電話株式会社 偏光イメージング撮像システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: Gonzalo R Arce, David J Brady, Lawrence Carin, Henry Arguello, and David S Kittle, "Compressive Coded Aperture Spectral Imaging: An introduction", IEEE Signal Processing Magazine, Vol.31, No.1, pp.105-115,2013.
비특허문헌 2: Y. Sogabe, et al. "ADMM-INSPIRED RECONSTRUCTION NETWORK FOR COMPRESSIVE SPECTRAL IMAGING", In:2020 IEEE International Conference on Image Processing (ICIP). IEEE,2020. p.2865-2869.

Also Published As

Publication number Publication date
US20240147032A1 (en) 2024-05-02
WO2022162800A1 (ja) 2022-08-04
JPWO2022162800A1 (ko) 2022-08-04
EP4270941A1 (en) 2023-11-01
CN116762353A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
JP6707105B2 (ja) カラー撮像素子および撮像装置
JP7328232B2 (ja) フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
EP3274673B1 (en) Imaging device with image dispersing to create a spatially coded image
CN111426381B (zh) 一种基于超构透镜阵列的超紧凑型光谱光场相机系统
US20080204744A1 (en) High Speed, Optically-Multiplexed, Hyperspectral Imagers and Methods Thereof
US12052518B2 (en) Multi-modal computational imaging via metasurfaces
JP6981496B2 (ja) カラー撮像素子および撮像装置
KR20230127277A (ko) 촬상 장치 및 광학소자
US12087783B2 (en) Spectral element array, image sensor and image apparatus
JP7364066B2 (ja) 撮像素子及び撮像装置
CN114927536B (zh) 多光谱成像芯片、组件、制备方法及移动终端
US20230417960A1 (en) Color-routers for Image Sensing
Shaik et al. Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
TW202119094A (zh) 攝像元件及攝像裝置
Rueda et al. Compressive spectral imaging based on colored coded apertures
KR20230127278A (ko) 촬상 장치 및 광학소자
Wang et al. Computational snapshot angular-spectral lensless imaging
JP7265195B2 (ja) カラー撮像素子および撮像装置
Kumar et al. Novel design of photonic filter chip for micro-spectrometer