JPWO2018012492A1 - 撮像装置、撮像素子、および画像処理装置 - Google Patents

撮像装置、撮像素子、および画像処理装置 Download PDF

Info

Publication number
JPWO2018012492A1
JPWO2018012492A1 JP2018527611A JP2018527611A JPWO2018012492A1 JP WO2018012492 A1 JPWO2018012492 A1 JP WO2018012492A1 JP 2018527611 A JP2018527611 A JP 2018527611A JP 2018527611 A JP2018527611 A JP 2018527611A JP WO2018012492 A1 JPWO2018012492 A1 JP WO2018012492A1
Authority
JP
Japan
Prior art keywords
pixel
pixel output
image
light
output units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018527611A
Other languages
English (en)
Other versions
JP6958554B2 (ja
Inventor
佳孝 宮谷
佳孝 宮谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018012492A1 publication Critical patent/JPWO2018012492A1/ja
Priority to JP2021165269A priority Critical patent/JP7290159B2/ja
Application granted granted Critical
Publication of JP6958554B2 publication Critical patent/JP6958554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H10F39/182—Colour image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/199—Back-illuminated image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras In General (AREA)

Abstract

本開示は、撮像レンズを用いない場合において、画素毎の多様性を持たせることができるようにする撮像装置、撮像素子、および画像処理装置に関する。被写体を含む被写体面からの入射光の入射角度に応じて異なる入射角指向性を有する複数の画素により、入射光が受光されることで検出される検出画像を撮像し、検出画像と被写体面までの距離に応じて設定される係数セットとを用いた演算により、被写体面の像が結像した復元画像を信号処理により生成する。同一の検出画像と被写体面までの距離に応じた係数セットとを用いた演算により復元画像を生成するようにしたので、画素毎の多様性を持たせることができる。本開示は、撮像装置に適用することができる。

Description

本開示は、撮像装置、撮像素子、および画像処理装置に関し、特に、撮像機能を実現するための構成の設計の自由度を向上できるようにした撮像装置、撮像素子、および画像処理装置に関する。
撮像装置の構成は、撮像レンズと撮像素子とが組み合わされた構成と、ピンホールと撮像素子とが組み合わされた構成が一般的によく知られたものである。
このうち、撮像レンズと撮像素子とが組み合わされた構成は、現在の大半の撮像装置に採用されており、撮像レンズにより、被写体からの光が効率的に集光されることで、撮像素子の撮像面に最終画相当の像が結像され、これが撮像素子により撮像される。
ところが、撮像レンズと撮像素子とを組み合わせた構成の撮像装置では、撮像レンズの収差による影響が生じると共に、撮像レンズが必須構成となるため装置構成の小型化には限界がある。
一方、ピンホールと撮像素子とを組み合わせた構成は、撮像レンズを伴わない構成であるが、撮像面に到達する光量が少ないので、露光時間を長くする、または、ゲインを上げるといった処理が必要となり、一般の使用には耐えるものではなく、特に、高速撮像に適さない。
そこで、撮像レンズを用いず、回折格子からなる光学フィルタと撮像素子とを組み合わせた構成により、被写体からの光を、回折格子からなる光学フィルタを介して得られるパターンとして撮像し、撮像結果となるパターンを用いた演算処理により被写体の像が結像された画像を再現する撮像装置が提案されている（非特許文献１、および特許文献１参照）。
FlatCam: Replacing Lenses with Masks and Computation M. Salman Asif, Ali Ayremlouy, Aswin Sankaranarayanan, Ashok Veeraraghavan, and RichardBaraniuk ECE Department, Rice University, Houston, TX ECE Department, Carnegie Mellon University, Pittsburgh, PA
国際公開公報２０１６／１２３５２９号
しかしながら、非特許文献１や特許文献１のような構成の場合、同一の点光源からの光が光学フィルタを介して複数の隣接する画素に入射されることから、画素単位で任意の特性とすることができない。
本開示は、このような状況に鑑みてなされたものであり、撮像レンズを用いない場合において、画素毎の多様性を持たせることができるようにするものである。
本開示の第１の側面の撮像装置は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子を備えた撮像装置である。
前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性とすることができる。
前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部をさらに設けるようにさせることができる。
前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元させるようにすることができる。
前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行させるようにすることができる。
前記複数の画素出力単位には、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含ませるようにすることができ、前記画像復元部には、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元させるようにすることができる。
前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えないようにすることができる。
前記複数の画素出力単位には、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を設けるようにさせることができる。
本開示の第１の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる。
本開示の第２の側面の撮像素子は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子である。
前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
前記少なくとも２つの画素出力単位には、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ設けるようにすることができ、前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なるようにすることができる。
前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なるようにすることができる。
前記複数の画素出力単位には、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含ませるようにすることができる。
前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを設けるようにすることができる。
前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有するようにできる。
前記入射角指向性は、遮光領域に応じた特性を有するようにすることができる。
前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なるようにすることができる。
本開示の第２の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる。
前記複数の画素出力単位には、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を設けるようにさせることができる。
本開示の第３の側面の画像処理装置は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える画像処理装置である。
前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元させるようにすることができる。
前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行させるようにすることができる。
前記複数の画素出力単位には、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含ませるようにすることができ、前記画像復元部には、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元させるようにすることができる。
本開示の第３の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像が用いられて、前記被写体が視認可能な復元画像が復元される。
本開示の一側面によれば、撮像するための構成の設計の自由度を向上することが可能となる。
撮像の原理を説明する図である。 撮像レンズと従来の撮像素子とからなる撮像装置における撮像の原理を説明する図である。 ピンホールと従来の撮像素子とからなる撮像装置における撮像の原理を説明する図である。 従来の撮像素子のみを用いた撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置の第１の実施の形態の構成例を説明する図である。 従来の撮像装置の構成例を説明する図である。 図７の従来の撮像装置による従来の撮像処理を説明するフローチャートである。 従来の撮像素子と本開示の指向性撮像素子との構成の違いを説明する図である。 指向性撮像素子の第１の構成例を説明する図である。 指向性撮像素子の第１の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 入射角指向性の設計を説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 被写体面における各領域と指向性撮像素子における各画素との関係を説明する図である。 入射光が平行光であることを説明する図である。 指向性撮像素子の各画素における入射角度を説明する図である。 垂直方向の受光感度特性を説明する図である。 水平方向の受光感度特性を説明する図である。 指向性撮像素子の各画素の入射角度に応じた受光感度特性を説明する図である。 被写体面の領域Ｏ１１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ１２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ１３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体距離と入射角指向性を表現する係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 図６の本開示の撮像装置による撮像処理を説明するフローチャートである。 第１の変形例を説明する図である。 第２の変形例を説明する図である。 第２の変形例を説明する図である。 第２の変形例を応用して画角を変化させる例を説明する図である。 第２の変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。 第３の変形例を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 第４の変形例を説明する図である。 第５の変形例を説明する図である。 第６の変形例を説明する図である。 第７の変形例を説明する図である。 第８の変形例を説明する図である。 本開示の技術を適用した撮像装置の第２の実施の形態の構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．本開示の撮像装置の概要
２．第１の実施の形態
３．第２の実施の形態
＜＜１．本開示の撮像装置の概要＞＞
本開示の撮像装置を説明するにあたって、その概要について説明する。
＜撮像の原理＞
全ての被写体は点光源の集合であると考えることができ、あらゆる方向に光が出射されている。したがって、点光源より発する光をどのように撮像するのかについて考えることで、撮像の原理を説明することができる。ここでは、図１の上段で示されるように、点光源Ｐより光線Ｌ１乃至Ｌ５が発せられるものとし、光線Ｌ１乃至Ｌ５のそれぞれが光強度ａの光線であるものとする。
撮像装置の構成が、撮像レンズ１１と１画素分の撮像素子Ｄとからなる構成であり、この撮像素子Ｄにより点光源Ｐを撮像する場合、図１の中段で示されるように、撮像レンズ１１が、点光源Ｐから発せられる光線Ｌ１乃至Ｌ５を、光線Ｌ１’乃至Ｌ５’で示されるように集光し、撮像素子Ｄに点光源Ｐの像を結像し、これが撮像素子Ｄにより撮像される。
この場合、撮像素子Ｄにおいては、点光源Ｐから発せられた光線Ｌ１乃至Ｌ５の全ての光強度の合計である光強度５ａの光からなる像が結像されて撮像素子Ｄに入射されることで、十分な光量の画像として撮像される。
ところで、この点光源Ｐの集合が被写体を構成することになることは上述した通りである。したがって、被写体の撮像は、被写体面上の複数の点光源Ｐから発せられる光線が集光されて結像される被写体を撮像することになる。
すなわち、例えば、図２の左部で示されるように、被写体面３１における被写体が点光源ＰＡ，ＰＢ，ＰＣにより構成され、点光源ＰＡ，ＰＢ，ＰＣのそれぞれから、図１の上段で示される場合と同様に光強度ａ，ｂ，ｃの光線がそれぞれ５本出射される場合、光強度の合計は、それぞれ光強度５ａ，５ｂ，５ｃとなる。
この場合、図１の中段で示される撮像の原理に従えば、撮像レンズ１１により点光源ＰＡ，ＰＢ，ＰＣからの光線が、複数の画素からなる撮像素子３２の撮像面上における位置Ｐａ，Ｐｂ，Ｐｃにそれぞれ集光されて被写体の像が結像されて撮像されることになる。
ここで、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルは、各光線の検出信号レベルがａ，ｂ，ｃであるとき、図２の右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおいて、検出信号レベル５ａ，５ｂ，５ｃとなる。
尚、図２の右部においては、縦軸が撮像素子３２上の位置を表し、横軸が、各位置の撮像素子における検出信号レベルを表している。すなわち、撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃが、被写体面３１上における点光源ＰＡ，ＰＢ，ＰＣに対して、倒立した位置関係で、かつ、位置Ｐａ，Ｐｂ，Ｐｃの各検出信号レベルが、点光源ＰＡ，ＰＢ，ＰＣより発せされた光線の光強度となる、被写体の像が結像された画像が撮像されることになる。
一方、撮像装置の構成が、遮光膜１２に対して穴部として設けられたピンホール１２ａと撮像素子Ｄからなる構成である場合、図１の下段で示されるように、点光源Ｐから発せられる光線Ｌ１乃至Ｌ５のうち、ピンホール１２ａを透過する光線Ｌ３だけが撮像素子Ｄに結像されて撮像される。
この場合、撮像素子Ｄにおいては、点光源Ｐから発せられた光強度ａの光線Ｌ３のみにより、点光源Ｐの像が結像されて撮像素子Ｄに入射されることで、図１の中段で示されるように、撮像レンズ１１を用いた場合に対して、光量が１／５の暗い画像として撮像される。
すなわち、例えば、図３の左部で示されるように、被写体面３１における被写体が点光源ＰＡ，ＰＢ，ＰＣにより構成され、それぞれの点光源から発せられる光線が、それぞれ光強度ａ，ｂ，ｃである場合を考える。このとき、図１の下段で示される撮像の原理に従えば、撮像素子３２の撮像面上における位置Ｐａ，Ｐｂ，Ｐｃでは、それぞれ点光源ＰＡ，ＰＢ，ＰＣからの１本分の光線に相当する検出信号レベルａ，ｂ，ｃで被写体の像が結像されて撮像されることになる。
ここで、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルが、それぞれａ，ｂ，ｃ（例えば、ｂ＞ａ＞ｃであるものとする）であるとき、図３の右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおける検出信号レベルはａ，ｂ，ｃとなる。尚、図３の右部においては、縦軸が撮像素子３２上の位置を表し、横軸が、各位置の撮像素子における検出信号レベルを表している。尚、図３の右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルであるので、画素値でもある。
すなわち、被写体の撮像の本質は、被写体面３１上の各点光源の輝度を光電変換により測定することにあり、図３の右部における点光源ＰＡ，ＰＢ，ＰＣのそれぞれの光強度ａ，ｂ，ｃを検出することである。
図１を参照して説明したように、撮像レンズ１１の役割は点光源ＰＡ，ＰＢ，ＰＣから出射される各光線、即ち拡散光を、撮像素子３２上に導くことにある。そのため、撮像素子３２上には最終画相当の像が結像されることとなり、検出信号からなる画像が、像が結像された撮像画像となる。ただし、撮像レンズの大きさによって撮像装置のサイズが決定されるため、小型化には限界がある。
さらに、ピンホールと撮像素子との構成からなる撮像装置は、撮像レンズを設ける必要がないので、撮像レンズと撮像素子との構成からなる撮像装置よりも装置構成を小さくすることができる可能性があるが、撮像される画像の明るさが十分でないため、ある程度の明るさの画像を撮像できるように露光時間を長くする、または、ゲインを上げる等が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなる恐れがある。
そこで、図４の左部で示されるように、撮像レンズやピンホールを設けることなく、撮像素子３２のみを用いて、被写体面３１上の被写体を撮像することを考える。
例えば、図４の左部で示されるように、点光源ＰＡ，ＰＢ，ＰＣから、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとすると、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおいて、いずれも点光源ＰＡ，ＰＢ，ＰＣからの光線がそのまま入射されることになる。
この結果、図４の右部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいては、入射角指向性がないので、同一の光強度ａ＋ｂ＋ｃの光が撮像されることになり、撮像素子３２全体において、位置によらず、同一の検出信号レベルの検出信号が得られることになる。尚、図４の右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、復元された画素値を示すものではない。
すなわち、撮像レンズやピンホールを設けることなく、特別な構成も持たない撮像素子３２のみを用いて、被写体面３１上の被写体の像を結像することはできない。このため、撮像素子３２のみを用いるだけの構成では、被写体の像を結像した画像を撮像することはできないことになる。
そこで、本開示の撮像装置においては、図５の上段左部で示されるように、各画素の検出感度に入射角指向性を持たせた撮像素子５１を設けるようにする。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画素に対する入射光の入射角度に応じた受光感度特性を画素毎に異なるものとなるように持たせることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
すなわち、被写体面３１を構成する光源が点光源であることを前提とした場合、撮像素子５１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射されることになる。そして、各画素が入射光の入射角度に応じた異なる受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、各画素で異なる感度で検出されることになり、画素毎に異なる検出信号レベルの検出信号が検出される。
より詳細には、撮像素子５１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号レベルは、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
より具体的には、図５の上段右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
ここで、α１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数であり、換言すれば、位置Ｐａにおける点光源ＰＡからの光線の入射角度に応じた入射角指向性を表現する検出信号レベルａに対する係数である。
また、β１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
さらに、γ１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＡからの光線の光強度ａに、その入射角度に応じた入射角指向性を示す係数α１が乗じられたものである。
また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＢからの光線の光強度ｂに、その入射角度に応じた入射角指向性を示す係数β１が乗じられたものである。
さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＣからの光線の光強度ｃに、その入射角度に応じた入射角指向性を示す係数γ１が乗じられたものである。
従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。
すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図５の下段右部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像が復元される。
尚、図５の上段右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図５の下段右部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値即ち復元画像の各画素の値なので、画素値となる。
このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホールを必要としない、各画素において入射角指向性を有する撮像素子５１を構成とする撮像装置を実現することが可能となる。結果として、撮像レンズ、回折格子等からなる光学フィルタやピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
＜＜２．第１の実施の形態＞＞
次に、図６のブロック図を参照して、本開示の撮像装置を適用した第１の実施の形態の構成例について説明する。
撮像装置１０１は、指向性撮像素子１２１、信号処理部１２２、デモザイク処理部１２３、γ補正部１２４、ホワイトバランス調整部１２５、画像出力部１２６、記憶部１２７、表示部１２８、被写体距離決定部１２９、操作部１３０、および係数セット選択部１３１より構成され、撮像レンズを含まない。
指向性撮像素子１２１は、図５を参照して説明した撮像素子５１に対応するものであり、入射角指向性を有する画素を含み、入射光の光量に応じた検出信号レベルの信号からなる検出画像を出力する撮像素子である。
より具体的には、指向性撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良いが、画素アレイを構成する各画素の構成が一般のものと異なる。すなわち、各画素においては、各フォトダイオードの受光領域（受光面）の一部であって、それぞれ画素毎に相互に異なる範囲に遮光膜が設けられている。これにより、画素毎に入射光の入射角度に応じて受光感度が異なる（変化する）こととなり、結果として、画素単位で入射光の入射角度に対する入射角指向性を有する撮像素子が実現されている。尚、指向性撮像素子１２１は、画素アレイとして構成されなくてもよく、例えば、ラインセンサとして構成されてもよい。また、遮光膜については、画素単位で全て異なる場合に限らず、一部が同一の構成でもよいし、一部が異なる構成でもよい。
信号処理部１２２は、指向性撮像素子１２１より供給されてくる各画素の検出信号レベルと、係数セット選択部１３１に格納された係数セットとを用いて連立方程式を構成し、構成した連立方程式を解くことにより、復元画像を構成する各画素の画素値を求め、デモザイク処理部１２３に出力する。尚、指向性撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。また、ここでは、カラーフィルタがベイヤ配列である場合を例として説明しているため、色分離処理を行う構成としてデモザイク処理部１２３が設けられている。しかしながら、カラーフィルタが、例えば、ストライプカラーフィルタなどである場合、デモザイク処理部１２３は、対応する色分離処理を実施する構成に置き換えられ、さらに、モノクロの撮像素子や色毎に撮像素子を持つ多板の撮像装置の場合は、デモザイク処理部１２３は省略される。
また、カラーフィルタは、ベイヤ配列で使用されるRGB（赤色、緑色、青色）以外の色を透過させるものであってもよく、例えば、黄色、白色などを透過させるものでもよいし、紫外光、赤外光などを透過させるものであってもよく、様々な波長の色を透過させるものであってよい。
また、図６の指向性撮像素子１２１が出力する信号からなる検出画像は、上述した図５の上段右側で示されるように被写体の像が結像されていない検出信号より構成される画像となるので、目視により被写体を認識することができない画像である。すなわち、図６の指向性撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても画像として認識できない画像である。被写体の像が結像された画像、すなわち、ユーザが目視して画像として認識できる復元画像は、図６の撮像装置１０１においては、図５の上段右側で示される検出信号と、係数セット群とを用いた連立方程式を解くことにより求められる、図５の下段右側で示される画素値よりなる画像となる。
そこで、以降においては、図５の上段右側で示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、指向性撮像素子１２１により撮像された画像は、検出画像と称するものとする。
また、図５の下段右側で示される被写体の像が結像された画像、すなわち、信号処理部１２２により検出画像を構成する各画素の検出信号レベルと、係数セットとを用いた連立方程式により求められる被写体の像が結像された画素値から構成される、ユーザが目視して画像として認識できる画像ついては、復元画像と称するものとする。ただし、指向性撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないがこの場合も復元画像と称する。
さらに、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理前の画像をRaw画像と称するものとし、指向性撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、Raw画像ではないものとして区別する。
デモザイク処理部１２３は、例えば、Bayer配列等のカラーフィルタの配列に応じて、欠落した色の画素信号を生成するデモザイク処理をすることでRGB毎のプレーンの画像を生成し、γ補正部１２４に供給する。
γ補正部１２４は、デモザイク処理後の画像にγ補正を施してホワイトバランス調整部１２５に供給する。
ホワイトバランス調整部１２５は、γ補正が施された画像のホワイトバランスを調整して画像出力部１２６に出力する。
画像出力部１２６は、ホワイトバランスが調整された画像を、例えば、JPEG（Joint Photographic Experts Group）、TIFF（Tag Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮形式の画像信号に変換する。そして、画像出力部１２６は、このように所定の形式に変換された画像信号を、HDD（Hard Disk Drive）、SSD（SolidState Drive）、および、半導体メモリなどのいずれか、または、それらの組み合わせなどからなる記憶部１２７に記憶させる、LCD（Liquid Crystal Display）などからなる表示部１２８に表示させる、並びに、被写体距離決定部１２９に出力する処理いずれかの処理を実行する。
被写体距離決定部１２９は、操作ダイヤルや操作ボタン、撮像装置１０１と別体として構成された外部のリモコンなどからなる操作部１３０からの操作信号に基づいて、撮像位置から被写体までの距離である被写体距離を決定し、決定した被写体距離の情報を係数セット選択部１３１に供給する。すなわち、復元画像は表示部１２８に表示されるため、図示せぬユーザが表示部１２８に表示された、復元画像であるスルー画像を見ながら操作部１３０を操作して被写体距離を調整する。
係数セット選択部１３１は、図５における撮像素子５１から被写体面３１（復元画像に対応する被写体面）までの距離に相当する様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セットを記憶している。そこで、係数セット選択部１３１は、被写体距離決定部１２９より供給されてくる被写体距離の情報に基づいて、係数セットを選択する。これにより、信号処理部１２２は、選択された係数セットを用いて検出画像から復元画像を復元する。
なお、１つの被写体距離の復元画像のみを得るような場合には被写体距離決定部１２９は設けなくても良い。
また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。
この場合、被写体距離決定部１２９は、画像出力部１２６から供給された復元画像に基づいてコントラストAF（Auto Focus）方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
なお、被写体距離は、画像出力部１２６から供給された復元画像に限らず、デモザイク処理部１２３、γ補正部１２４、ホワイトバランス調整部１２５の出力を基に決定しても良い。
さらには、被写体距離決定部１２９は、別途設けられた測距センサの出力に基づいて被写体距離を決定しても良い。
また、指向性撮像素子１２１から出力された検出画像を復元することなく、記憶部１２７に記憶しても良い。この場合、再生時に記憶部１２７に記憶された検出画像が信号処理部１２２に供給され、信号処理部１２２で復元画像が生成される。さらに、検出画像を復元することなく、記録媒体に記憶したり、保存するなどして、または、通信などにより、他の機器に出力し、撮像装置とは異なる、例えば、PC（パーソナルコンピュータ）や再生装置などの他の機器により検出画像を復元させるようにしてもよい。
その際に、係数セット選択部１３１は、複数の被写体距離に対応付けられた複数の係数セットの１つをユーザ選択等に基づいて選択し、信号処理部１２２で選択された係数セットにより異なる被写体距離の復元画像を切り替えて得るようにしても良い。これにより、リフォーカスが実現されるようにしてもよい。
尚、図６の構成においては、デモザイク処理部１２３、γ補正部１２４、およびホワイトバランス調整部１２５が、全て設けられた構成例について示されているが、いずれも必須構成ではないので、省略するようにしても良いし、図６の構成以外の構成順序であってもよい。また、画像出力部１２６は、圧縮やフォーマット変換をしなくてもよく、Raw画像をそのまま出力するようにしてもよい。さらに、デモザイク処理部１２３、γ補正部１２４、およびホワイトバランス調整部１２５が、省略され、画像出力部１２６が、圧縮やフォーマット変換をしない場合、Raw画像がそのままHDMI（登録商標）（High Definition Multimedia Interface）等で外部に出力されるようにしてもよい。
＜光学ブロックを含む撮像装置の構成例＞
ここで、本願の撮像装置の構成例を説明するにあたって、その対比のため、図７のブロック図を参照して、複数の撮像レンズからなる光学ブロックを含む撮像装置の構成例について説明する。尚、図７の光学ブロックを含む撮像装置１４１の構成において、図１の撮像装置１０１の構成と同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
すなわち、図７の撮像装置１４１において、図１の撮像装置１０１の構成と異なる点は、指向性撮像素子１２１、信号処理部１２２、および係数セット選択部１３１に代えて、撮像素子１５１、光学ブロック１５２、および焦点調整部１５３が設けられている点である。
すなわち、撮像素子１５１は、入射角指向性を有しない画素からなる撮像素子であり、複数の撮像レンズから構成される光学ブロック１５２が、被写体距離決定部１２９より供給されてくる被写体距離、すなわち、焦点距離に応じて焦点調整部１５３により調整され、入射光が集光されて、撮像素子１５１の撮像面上で結像される。撮像素子１５１は、このように被写体の像が結像された復元画像を撮像してデモザイク処理部１２３に出力する。
＜図７の光学ブロックを含む撮像装置による撮像処理＞
次に、図８のフローチャートを参照して、図７の光学ブロックを含む撮像装置１４１による撮像処理について説明する。
ステップＳ１１において、被写体距離決定部１２９は、操作部１３０より供給されてくる操作信号、または、直前までに撮像された複数の画像に基づいて、被写体までの距離を決定し、決定した被写体距離の情報を焦点調整部１５３に供給する。焦点調整部１５３は、被写体距離、すなわち、焦点距離に基づいて光学ブロック１５２を調整させる。
ステップＳ１２において、光学ブロック１５２は、入射光を集光し、対応する被写体距離に相当する位置の被写体面における被写体の像を撮像素子１５１の撮像面上に結像させる。
ステップＳ１３において、撮像素子１５１は、光学ブロック１５２により被写体の像が結像された画像を撮像して、復元画像となるRaw画像をデモザイク処理部１２３に供給する。
ステップＳ１４において、デモザイク処理部１２３は、復元画像を構成するRaw画像をデモザイク処理してγ補正部１２４に供給する。
ステップＳ１５において、γ補正部１２４は、デモザイク処理された復元画像にγ補正を施し、ホワイトバランス調整部１２５に供給する。
ステップＳ１６において、ホワイトバランス調整部１２５は、γ補正が施された復元画像のホワイトバランスを調整して画像出力部１２６に供給する。
ステップＳ１７において、画像出力部１２６は、ホワイトバランスが調整された結像画 像を、所定の圧縮形式に変換する。
ステップＳ１８において、画像出力部１２６は、所定の圧縮形式に変換された復元画像を記憶部１２７に記憶させる、表示部１２８に表示させる、および、被写体距離決定部１２９に供給するといった処理の少なくともいずれかを行う。
以上の処理により、復元画像が撮像される。すなわち、光学ブロックを含む撮像装置による撮像処理においては、光学ブロック１５２により撮像素子１５１に入射する光が集光されて、被写体の像が結像された復元画像が撮像される。
＜指向性撮像素子の第１の構成例＞
（指向性撮像素子を用いた撮像装置と光学ブロックを含む撮像装置との違い）
これに対して、図６の撮像装置１０１は、撮像レンズ１５２（図７）およびピンホール１２（図３）のいずれも介さず入射される入射光を受光する指向性撮像素子１２１により検出画像が撮像され、信号処理部１２２により検出画像と係数セット群とから得られる連立方程式の解を用いることにより復元画像が求められる。
この違いは、指向性撮像素子１２１と撮像素子１５１との構造の違いに起因する。
図９の左部は、図７の光学ブロックを含む撮像装置１４１の撮像素子１５１の画素アレイ部の一部の正面図を示しており、図９の右部は、図６の本開示の撮像装置１０１の指向性撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図９においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
すなわち、図９で示されるように、図７の光学ブロックを含む撮像装置１４１に用いられる撮像素子１５１は、入射角指向性を備えていない画素１５１ａがアレイ状に配置されていることが示されている。これに対して指向性撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部であって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂが設けられており、画素１２１ａ毎に入射光の入射角度に対する受光感度を異なるものとすることで、入射角に対する入射角指向性を有する構成とされている。
より具体的には、例えば、画素１２１ａ−１と画素１２１ａ−２とでは、設けられている遮光膜１２１ｂ−１と遮光膜１２１ｂ−２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ−１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−１が設けられており、画素１２１ａ−２においては、受光領域における右側の一部を、遮光膜１２１ｂ−１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ−２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
（指向性撮像素子の第１の構成例における側面断面、上面、および回路構成例）
次に、図１０を参照して、指向性撮像素子１２１の第１の構成例における側面断面、上面、および回路構成例について説明する。すなわち、図１０の上段は、指向性撮像素子１２１の第１の構成例における側面断面図であり、図１０の中段は、指向性撮像素子１２１の第１の構成例における上面図である。また、図１０の上段の側面断面図は、図１０の中段におけるＡＢ断面となる。さらに、図１０の下段は、指向性撮像素子１２１の回路構成例である。
図１０の上段の指向性撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ−１５，１２１ａ−１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
尚、画素１２１ａ−１５，１２１ａ−１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図１０においては、指向性撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
さらに、画素１２１ａ−１５，１２１ａ−１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ−１５，１２１ｅ−１６を備えている。また、フォトダイオード１２１ｅ−１５，１２１ｅ−１６の上には、それぞれ上からオンチップレンズ１２１ｃ−１５，１２１ｃ−１６、およびカラーフィルタ１２１ｄ−１５，１２１ｄ−１６が構成されている。
オンチップレンズ１２１ｃ−１５，１２１ｃ−１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、透明のフィルタでもよいし、無くてもよい。
画素１２１ａ−１５，１２１ａ−１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ−１５乃至１２１ｐ−１７が形成されており、隣接する画素間のクロストークを抑制する。
また、遮光膜１２１ｂ−１５，１２１ｂ−１６は、図１０の上段および下段で示されるように、上面から見て一部が受光面Ｓを遮光している。画素１２１ａ−１５，１２１ａ−１６におけるフォトダイオード１２１ｅ−１５，１２１ｅ−１６の受光面Ｓにおいては、遮光膜１２１ｂ−１５，１２１ｂ−１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、指向性撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。図１０の上段で示されるような構成により、遮光膜１２１ｐ−１５の右端部と、遮光膜１２１ｂ−１５の上方端部とが接続されると共に、遮光膜１２１ｂ−１６の左端部と遮光膜１２１ｐ−１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
さらに、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図１０の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
以上のような回路構成により、図１０の下段で示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。
＜指向性撮像素子の第２の構成例＞
（指向性撮像素子の第２の構成例における側面断面、上面、および回路構成例）
図１１は、指向性撮像素子１２１の第２の構成例における側面断面、上面、および回路構成例を示す図である。すなわち、図１１の上段には、第２の構成例である指向性撮像素子１２１の画素１２１ａの側面断面図が示されており、図１１の中段には、指向性撮像素子１２１の上面図が示されている。また、図１１の上段の側面断面図は、図１１の中段におけるＡＢ断面となる。さらに、図１１の下段は、指向性撮像素子１２１の回路構成例である。
図１１に示すように、指向性撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ−１１ｓ乃至１２１ｆ−４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ−１１乃至１２１ｆ−４同士を分離する領域に形成されている点で、図１０の指向性撮像素子１２１と異なる構成となっている。即ち、図１１の指向性撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
図１１のように構成された指向性撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ−１乃至１２１ｆ−４に分離することによって、フォトダイオード１２１ｆ−１乃至１２１ｆ−４間の電気的および光学的なクロストークを防止することができる。即ち、図１１の遮光膜１２１ｐは、図１０の指向性撮像素子１２１の遮光膜１２１ｐ同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
図１１の指向性撮像素子１２１の第２の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有する。図１１の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有するようにした回路構成例を示している。尚、図１１の下段において、図１０の下段と同一の構成については、その説明を省略する。
図１１の下段において、図１０の下段の回路構成と異なる点は、フォトダイオード１６１（図１０の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１−１乃至１６１−４（図１１の上段におけるフォトダイオード１２１ｆ−１乃至１２１ｆ−４に対応する）および転送トランジスタ１６２−１乃至１６２−４を設け、ＦＤ部１６３を共有する構成としている点である。
このような構成により、フォトダイオード１２１ｆ−１乃至１２１ｆ−４に蓄積された電荷は、フォトダイオード１２１ｆ−１乃至１２１ｆ−４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。
このため、フォトダイオード１２１ｆ−１乃至１２１ｆ−４で蓄積された電荷を様々な組み合わせで選択的に画素出力単位の検出信号に寄与させることができる（画素出力単位の検出信号への寄与の度合いを異ならせるようにすることができる）。
すなわち、フォトダイオード１２１ｆ−１乃至１２１ｆ−４毎に独立して電荷を読み出すことができる構成とすることにより、各画素出力単位に異なる入射角指向性を持たせることができる。
例えば、図１１では、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−３の電荷とをＦＤ部１６３に転送することで、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−２の電荷とをＦＤ１６３部に転送することで、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
また、図１１では、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−３の電荷と、フォトダイオード１２１ｆ−２およびフォトダイオード１２１ｆ−４の電荷とをそれぞれ同時にＦＤ部１６３に転送し、ＦＤ部１６３において加算して、読み出すことにより得られる信号により、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−２の電荷と、フォトダイオード１２１ｆ−３およびフォトダイオード１２１ｆ−４の電荷とをそれぞれ同時にＦＤ部１６３に転送し、ＦＤ部１６３において加算して、読み出すことにより得られる信号により、上下方向の入射角指向性を得ることができる。
また、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４より独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する１画素出力単位の検出信号となる。
以上のように、図１１の指向性撮像素子１２１の場合、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち、検出信号として採用するものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。
図１０の指向性撮像素子１２１では、１つの画素出力単位に対して１つのフォトダイオード１２１ｅが設けられている。各画素（画素出力単位）の遮光膜１２１ｐによる遮光の状態を画素単位で異なるものとすることで、画素毎の入射角指向性が異なるものとすることができる。
図１１の指向性撮像素子１２１では、１つの画素出力単位に対して４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が設けられている。４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち、検出信号に寄与するフォトダイオード１２１ｆを画素出力単位ごとに異なるものとすることで、画素出力単位毎に異なる入射角指向性を持たせることができる。寄与の度合いは、各フォトダイオード１２１ｆの検出値をFD（フローティングディフュージョン）に読み出すか否かや、電子シャッタ機能を用いて電荷のFDへの読み出しの前にフォトダイオード１２１ｆに蓄積された検出値（電荷）をリセットすることで実現することができる。なお、電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のFDへの読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素出力単位への寄与が無い状態とすることができ、リセットとFDへの読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
換言すれば、図１０のフォトダイオード１２１ｅと図１１のフォトダイオード１２１ｆとは、それぞれで検出される信号の用いられ方が異なる。すなわち、図１０のフォトダイオード１２１ｅにより検出された信号は、フォトダイオード１２１ｅ−１５，１２１ｅ−１６より検出される信号であり、検出画像を構成する、画素１２１ａ−１５，１２１ａ−１６のそれぞれの１画素出力単位分の検出信号である。
これに対して、図１１のフォトダイオード１２１ｆにより検出された信号は、フォトダイオード１２１ｆ−１１乃至１２１ｆ−４の４個の信号が選択的に用いられて、検出画像を構成する１画素出力単位分の検出信号となる。
これは、図１０の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。
これに対して、図１１の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言すれば、例えば、フォトダイオード１２１ｆ−１１乃至１２１ｆ−１４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。尚、フォトダイオード１２１ｆ−１１乃至１２１ｆ−１４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
そこで、指向性撮像素子１２１より出力される検出画像の１個の画素１２１ａの検出信号を出力するための、少なくとも１個以上のフォトダイオード１２１ｅまたは１２１ｆによる構成を１画素出力単位と称する。すなわち、図１０の指向性撮像素子１２１の場合、１画素出力単位は、１個のフォトダイオード１２１ｅにより構成される。また、図１１の指向性撮像素子１２１の場合、１画素出力単位は、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４により構成される。
尚、図１１の指向性撮像素子１２１において、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４を、画素出力単位毎に同形状で、等面積に分割して配置したが、画素出力単位毎にフォトダイオード１２１ｆ−１乃至１２１ｆ−４を非同形状で、非等面積となるように分割位置を異ならせるようにしてもよい。このように４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４の分割位置を非同形状で、非等面積にするように分割位置を設定することで、複数の画素出力単位で同じように左上のフォトダイオード１２１ｆ−１だけを用いたとしても入射角指向性が異なるものとすることもできる。また、画素出力単位によって、分割数を異なるものとすれば、より自由に入射角指向性を設定することが可能となる。さらには上記を組み合わせてもよい。
＜入射角指向性を生じさせる原理について＞
指向性撮像素子１２１における各画素の入射角指向性は、例えば、図１２で示されるような原理により発生する。尚、図１２の左上部および右上部は、図１０の指向性撮像素子１２１における入射角指向性の発生原理を説明する図であり、図１２の左下部および右下部は、図１１の指向性撮像素子１２１における入射角指向性の発生原理を説明する図である。
また、図１２の左上部および右上部における１画素出力単位は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図１２の左下部および右下部における１画素出力単位は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素出力単位が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素出力単位を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
すなわち、図１２の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ−１１の受光面の右半分を遮光するように遮光膜１２１ｂ−１１が形成されている。また、図１２の右上部においては、フォトダイオード１２１ｅ−１２の受光面の左半分を遮光するように遮光膜１２１ｂ−１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
例えば、図１２の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し難い。したがって、図１２の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低い入射角指向性を備えることになる。
一方、例えば、図１２の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されていない右半分の範囲で受光し易い。したがって、図１２の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高い入射角指向性を備えることになる。
また、図１２の左下部の場合、図中の左右にフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
すなわち、図１２の左下部で示されるように、２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が画素出力単位とされて画素１２１ａが構成される場合、図中の左側に設けられたフォトダイオード１２１ｆ−１の検出信号を読み出すようにすることで、図１２の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１に入射して受光され読み出される。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−２に入射するが、信号が画素出力単位に寄与しない。
同様に、図１２の右下部で示されるように、２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２からなる画素１２１ａが１画素出力単位とされる場合、図中の左側に設けられたフォトダイオード１２１ｆ−１２の検出信号を画素出力単位に寄与するようにすることで、図１２の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１１に入射するが画素出力単位に寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−１２に入射して出力画素含意に寄与する。尚、図１２においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
＜オンチップレンズを含む構成における入射角指向性について＞
以上においては、遮光膜１２１ｂによる入射角指向性の発生原理、および、複数のフォトダイオード１２ｆによる入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
すなわち、指向性撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図１３で示されるように設定される。すなわち、図１３の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ−１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ−１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ−１１の順に積層され、図１３の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ−１２、カラーフィルタ１２１ｄ−１２、およびフォトダイオード１２１ｅ−１２の順に構成されている。
尚、オンチップレンズ１２１ｃ−１１，１２１ｃ−１２、カラーフィルタ１２１ｄ−１１，１２１ｄ−１２、およびフォトダイオード１２１ｅ−１１，１２１ｅ−１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
指向性撮像素子１２１においては、さらに、図１３の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ−１１，１２１ｂ−１２が設けられている。
図１３の中段左部で示されるように、図中のフォトダイオード１２１ｅ−１１の右側半分を遮光するような遮光膜１２１ｂ−１１が設けられている場合、図１３の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１１の検出信号レベルが変化する。
すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ−１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ−１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが小さくなる。
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図１３の中段左側の入射角度θ２１側の入射角度θを正の値とし、図１３の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図１３においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図１３において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
また、図１３の中段右部で示されるように、図中のフォトダイオード１２１ｅ−１２の左側半分を遮光するような遮光膜１２１ｂ−１２が設けられている場合、図１３の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１２の検出信号レベルが変化する。
すなわち、図１３の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ−１２の検出信号レベルが大きくなる。
尚、図１３の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
この図１３の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素出力単位毎に相互に異なる入射角指向性を持たせることが可能となる。尚、図１３の上段における実線の波形は、図１３の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図１３の上段における点線の波形は、図１３の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
入射角指向性とは、入射角度θに応じた各画素出力単位の検出信号レベルの特性（受光感度特性）であるが、図１３の中段の例について言えば、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図１３の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素出力単位において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素出力単位で相互に異なる入射角指向性を持つということは、換言すれば、画素出力単位で相互に異なる遮光方向を持つということになる。
さらに、図１３の下段左部で示されるように、１個のオンチップレンズ１２１ｃ−１１に対して２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ−１，１２１ｆ−２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ−１のみの検出信号を用いるようにすることで、図１３の中段左部におけるフォトダイオード１２１ｅ−１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ−１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ−２の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図１３の下段右部で示されるように、１個のオンチップレンズ１２１ｃ−１２に対して２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ−１２のみの検出信号を用いるようにすることで、図１３の中段右部におけるフォトダイオード１２１ｅ−１２の左側を遮光した状態と同じ検出信号レベルの画素出力単位の検出信号を得るようにすることができる。
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が画素出力単位の検出信号に寄与しないフォトダイオード１２１ｆ−１１の範囲に光が集光されることで、画素出力単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が画素出力単位の検出信号に寄与するフォトダイオード１２１ｆ−１２の範囲に光が集光されることで、画素出力単位の検出信号の検出信号レベルが大きくなる。
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（１４）乃至式（１６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図１３の上段で示される構成においては、１個のフォトダイオード１２１ｅ−１１およびフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する。図１３の下段で示される構成においては、２個のフォトダイオード１２１ｆ−１および１２１ｆ−２、並びに、フォトダイオード１２１ｆ−１１および１２１ｆ−１２により１画素出力単位が構成される。したがって、例えば、図１３の下段においては、フォトダイオード１２１ｆの単体では、１画素出力単位は構成されない。
また、図１２の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
また、図１３の上段で示されるように、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
また、図１３の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や分割位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
＜入射角指向性の設定＞
例えば、図１４の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ−αにおいて重みＷｘが１となり、θａ−α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（−（θｘ−θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。尚、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ−αにおいて重みＷｙが０となり、θｂ−α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ−θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数を求めることができる。
また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１４の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図１４の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１４の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図１４の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、指向性撮像素子１２１における全ての画素出力単位で同一でもよいし、一部の画素出力単位において異なる曲率であってもよい。
＜オンチップレンズと撮像レンズとの違い＞
本開示の撮像装置１０１においては、指向性撮像素子１２１は、撮像レンズからなる光学ブロック１５２を必要としない構成であるが、オンチップレンズ１２１ｃが設けられる場合もある。なお、図１１の構成の場合はオンチップレンズ１２１ｃは必須構成とされる。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
ここでは、光学ブロック１５２が撮像レンズ１５２であるものとして説明する。
図１５で示されるように、点光源Ｐ１０１より発する光が拡散するように撮像レンズ１５２に入射するとき、撮像レンズ１５２は、点光源Ｐ１０１と撮像レンズ１５２の中心１５２ａを通る主光線Ｌ１０１により撮像素子１５１上で結像する画素位置Ｐ１１１が特定される。
このとき、撮像レンズ１５２は、点光源Ｐ１０１より発する光のうち、拡散により主光線Ｌ１０１とは異なる入射角度で入射する光を、撮像素子１５１上の画素位置Ｐ１１１に集光できるように設計されている。
また、図１６で示されるように、画素位置Ｐ１１１に隣接する、例えば、画素位置Ｐ１１２は、点光源Ｐ１０１とは異なる点光源Ｐ１０２と撮像レンズ１５２の中心位置１５２ａとを通る主光線Ｌ１０２により特定される。
したがって、撮像レンズ１５２は、撮像素子１５１上の異なる画素位置Ｐ１１１，Ｐ１１２１に対して、それぞれ主光線が異なる、異なる点光源Ｐ１０１，Ｐ１０２の像を結像させる。
さらに、図１７で示されるように、無限遠の光の入射を仮定した場合、無限遠の入射光は、平行光であるので、点光源Ｐ１０１を仮定した主光線Ｌ１０１に対する、例えば、平行光Ｌ１２１，Ｌ１２２であると考えることができる。したがって、撮像レンズ１５２は、主光線入射角度が異なる点光源を、それぞれ異なる撮像素子１５１上の画素位置で像を結像させる。
すなわち、撮像レンズ１５２は、主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を持つ。
これに対して、例えば、図１０，図１１を参照して説明したように、オンチップレンズ１２１ｃを通る光は、対応する１画素出力単位を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言すれば、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を持たない。
＜係数セットと検出信号とからなる連立方程式を用いた画素値の計算例＞
信号処理部１２２において実行される、係数セットと検出信号とからなる連立方程式を用いた画素値の具体的な計算例について説明する。
ここで、被写体面３１は、図１８の上段で示されるように、３領域×３領域の合計９領域であるものと仮定し、各領域は、領域Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３より構成されるものとする。さらに、各領域には、代表点が設定され（図中の丸印）、この代表点に各領域の光強度の積分値からなる点光源が存在するものと仮定する。したがって、以降においては、領域Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３の点光源の光強度を、光強度Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３とも称する。さらに、これらは、単に領域Ｏｉｊまたは光強度Ｏｉｊ（いずれもｉ，ｊ＝１，２，３）とも称する。
また、指向性撮像素子１２１は、図１８の下段で示されるように、３画素×３画素の合計９画素からなり、画素毎に異なる遮光膜１２１ｂが設けられるものとし、各画素をそれぞれ画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、およびＰ３１乃至Ｐ３３と称するものとし、それぞれの画素の検出信号レベルについても、画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、およびＰ３１乃至Ｐ３３と称するものとする。さらに、これらは、単に画素Ｐｉｊ（ｉ，ｊ＝１，２，３）とも称する。
尚、図１８，図２０乃至図３２の記載においては、遮光膜１２１ｂは、画素Ｐｉｊ（ｉ，ｊ＝１，２，３）のそれぞれのグレーで示された範囲とし、遮光膜１２１ｂの符号を省略して表記する。
また、指向性撮像素子１２１に入射する光は、例えば、図１９で示されるように、無限遠に位置する点光源Ｇ１乃至Ｇ３をそれぞれ仮定した場合、図中の下部の指向性撮像素子１２１の受光面に対して垂直方向からみると各点光源Ｇ１乃至Ｇ３からの入射光は平行光となり、同一の点光源から出射した光は、指向性撮像素子１２１のどの位置の画素でも同一の入射角度で入射したものとみなすことができる。したがって、例えば、点光源Ｇ２からの光は、指向性撮像素子１２１のどの位置の画素でも入射角度が０ｄｅｇとなる。
＜被写体面の各領域に対する指向性撮像素子の各画素における入射角度＞
また、被写体面３１における各領域Ｏｉｊに対する指向性撮像素子１２１への入射角度（θｘ、θｙ）は、指向性撮像素子１２１の画素Ｐｉｊの位置に依らず図２０で定義されるものとする。
すなわち、領域Ｏ１１は、（θｘ、θｙ）＝（−５ｄｅｇ、＋５ｄｅｇ）、領域Ｏ１２は、（θｘ、θｙ）＝（−５ｄｅｇ、０ｄｅｇ）、領域Ｏ１３は、（θｘ、θｙ）＝（−５ｄｅｇ、−５ｄｅｇ）となる。同様に、領域Ｏ２１は、（θｘ、θｙ）＝（０ｄｅｇ、＋５ｄｅｇ）、領域Ｏ２２は、（θｘ、θｙ）＝（０ｄｅｇ、０ｄｅｇ）、領域Ｏ２３は、（θｘ、θｙ）＝（０ｄｅｇ、−５ｄｅｇ）となる。また、領域Ｏ３１は、（θｘ、θｙ）＝（＋５ｄｅｇ、＋５ｄｅｇ）、領域Ｏ３２は、（θｘ、θｙ）＝（＋５ｄｅｇ、０ｄｅｇ）、領域Ｏ３３は、（θｘ、θｙ）＝（＋５ｄｅｇ、−５ｄｅｇ）となる。
＜垂直方向の受光感度特性＞
図２１で示されるように、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素、および、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、遮光膜１２１ｂの紙面上の垂直方向の高さが統一されている。
より具体的には、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素は、いずれも各画素の上端からの高さＡ１の領域が遮光膜１２１ｂにより遮光された領域にされており、残りの高さＡ２の領域が遮光されていない領域とされている。
また、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素は、いずれも各画素の上端からの高さＡ１１の領域が遮光されていない領域にされており、残りの高さＡ１２の領域が遮光膜１２１ｂにより遮光された領域にされている。
さらに、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、いずれも各画素の上端からの高さＡ２１の領域が遮光されていない領域にされており、残りの高さＡ２２の領域が遮光膜１２１ｂにより遮光された領域にされている。
このため、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素、および、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、垂直方向の受光感度特性はそれぞれ統一される。
すなわち、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素については、図２１の右上部で示されるように、垂直方向の入射角度θｙが−６ｄｅｇより小さい場合、重みＷｙが０であり、入射角度θｙが、−６ｄｅｇ乃至−４ｄｅｇである場合、重みＷｙが、（θｙ＋６）／２であり、入射角度θｙが、−４ｄｅｇより大きい場合、重みＷｙが、１に設定される。
また、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素については、図２１の右中部で示されるように、垂直方向の入射角度θｙが−１ｄｅｇより小さい場合、重みＷｙが１であり、入射角度θｙが、−１ｄｅｇ乃至＋１ｄｅｇである場合、重みＷｙが、（θｙ−１）／２であり、入射角度θｙが、＋１ｄｅｇより大きい場合、重みＷｙが、０に設定される。
さらに、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素については、図２１の右下部で示されるように、垂直方向の入射角度θｙが＋３ｄｅｇより小さい場合、重みＷｙが１であり、入射角度θｙが、＋３ｄｅｇ乃至＋５ｄｅｇである場合、重みＷｙが、（−（θｙ−５）／２）であり、入射角度θｙが、＋５ｄｅｇより大きい場合、重みＷｙが、０に設定される。
＜水平方向の受光感度特性＞
また、図２２で示されるように、画素Ｐ１１乃至Ｐ１３の３画素、画素Ｐ２１乃至Ｐ２３の３画素、および、画素Ｐ３１乃至Ｐ３３の３画素は、遮光膜１２１ｂの水平方向の幅が統一されている。
より具体的には、画素Ｐ１１乃至Ｐ１３の３画素は、いずれも各画素の左端からの幅Ｂ１の領域が遮光膜１２１ｂにより遮光された領域にされており、残りの幅Ｂ２の領域が遮光されていない領域とされている。
また、画素Ｐ２１乃至Ｐ２３の３画素は、いずれも各画素の左端からの幅Ｂ１１の領域が遮光されていない領域にされており、残りの幅Ｂ１２の領域が遮光膜１２１ｂにより遮光されている領域とされている。
さらに、画素Ｐ３１乃至Ｐ３３の３画素は、いずれも各画素の左端からの幅Ｂ２１の領域が遮光されていない領域にされており、残りの幅Ｂ２２の領域が遮光膜１２１ｂにより遮光されている領域とされている。
このため、画素Ｐ１１乃至Ｐ１３の３画素、画素Ｐ２１乃至Ｐ２３の３画素、および、画素Ｐ３１乃至Ｐ３３の３画素は、水平方向の受光感度特性がそれぞれ統一される。
すなわち、画素Ｐ１１乃至Ｐ１３の３画素については、図２２の左下部で示されるように、水平方向の入射角度θｘが４ｄｅｇより小さい場合、重みＷｘが１であり、入射角度θｘが、４ｄｅｇ乃至６ｄｅｇである場合、重みＷｘが、（−（θｘ−６）／２）であり、入射角度θｘが、６ｄｅｇより大きい場合、重みＷｘが、０に設定される。
また、画素Ｐ２１乃至Ｐ２３の３画素については、図２２の中央下部で示されるように、水平方向の入射角度θｘが−１ｄｅｇより小さい場合、重みＷｘが０であり、入射角度θｘが、−１ｄｅｇ乃至＋１ｄｅｇである場合、重みＷｘが、（θｘ＋１）／２であり、入射角度θｘが、＋１ｄｅｇより大きい場合、重みＷｘが、１に設定される。
さらに、画素Ｐ３１乃至Ｐ３３の３画素については、図２２の右下部で示されるように、水平方向の入射角度θｘが−５ｄｅｇより小さい場合、重みＷｘが０であり、入射角度θｘが、−５ｄｅｇ乃至−３ｄｅｇである場合、重みＷｘが、（θｘ＋５）／２であり、入射角度θｘが、−３ｄｅｇより大きい場合、重みＷｘが、１に設定される。
この結果、指向性撮像素子１２１における画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、Ｐ３１乃至Ｐ３３の検出信号レベルを画素Ｐｉｊ（ｉ，ｊ＝１，２，３）で表現すると以下の式（４）で表現される。
Ｐｉｊ＝Σ（Ｗｘ（θｘｊ）×Ｗｙ（θｙｉ）×Ｏｉｊ）
・・・（４）
ここで、Ｗｘ（θｘｊ）は、指向性撮像素子１２１における水平方向にｊ画素目の入射角度θｘに対する水平方向の重みであり、Ｗｙ（θｙｉ）は、指向性撮像素子１２１における垂直方向にｉ画素目の入射角度θｙに対する垂直方向の重みであり、Ｏｉｊは、被写体面３１における各領域の代表点からなる点光源の光強度である。
すなわち、図２１，図２２の関係から、入射角度θｘ，θｙを−５，０，＋５ｄｅｇに限定すると、重みＷｘ，Ｗｙは、各画素Ｐｉｊに対して、図２３で示されるような値をとることになる。
すなわち、画素Ｐ１１，Ｐ２１，Ｐ３１（画素Ｐｉｊ（ｊ＝１））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが−５ｄｅｇの場合、重みＷｙは０．５である。
画素Ｐ１２，Ｐ２２，Ｐ３２（画素Ｐｉｊ（ｊ＝２））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは０であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは０．５であり、垂直方向の入射角度θｙが−５ｄｅｇの場合、重みＷｙは１である。
画素Ｐ１３，Ｐ２３，Ｐ３３（画素Ｐｉｊ（ｊ＝３））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは０であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが−５ｄｅｇの場合、重みＷｙは１である。
画素Ｐ１１乃至Ｐ１３（画素Ｐｉｊ（ｉ＝１））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは０．５であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが−５ｄｅｇの場合、重みＷｘは１である。
画素Ｐ２１乃至Ｐ２３（画素Ｐｉｊ（ｉ＝２））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは０．５であり、水平方向の入射角度θｘが−５ｄｅｇの場合、重みＷｘは０である。
画素Ｐ３１乃至Ｐ３３（画素Ｐｉｊ（ｉ＝３））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが−５ｄｅｇの場合、重みＷｘは０である。
以上の条件に基づいて、各領域Ｏｉｊにおける代表点からの入射光が、指向性撮像素子１２１の各画素Ｐｉｊにどのような検出信号レベルの信号として受光されるかを説明する。
（領域Ｏ１１）
領域Ｏ１１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝−５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
このため、図２４で示されるように、画素Ｐ１１においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが１とされる。
尚、図２４乃至図３２において、選択された重みＷｘ，Ｗｙには、枠が付されており、画素Ｐｉｊ内には、それぞれに選択された水平方向の重みＷｘと、垂直方向の重みＷｙとの乗算結果が表記されている。
同様に、画素Ｐ１２においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ１３においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
画素Ｐ２１においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ２２においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ２３においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
画素Ｐ３１においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ３２においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ３３においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
（領域Ｏ２１）
領域Ｏ２１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
このため、図２５で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙが１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、垂直方向の重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝０とされるので、Ｗｘ×Ｗｙ＝０とされる。
画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１とされ、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
（領域Ｏ３１）
領域Ｏ３１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
このため、図２６で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
（領域Ｏ１２）
領域Ｏ１２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝−５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
このため、図２７で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ２１においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２２においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
画素Ｐ３１においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３２においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
（領域Ｏ２２）
領域Ｏ２２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
このため、図２８で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
（領域Ｏ３２）
領域Ｏ３２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
このため、図２９で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
（領域Ｏ１３）
領域Ｏ１３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝−５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝−５ｄｅｇで入射する。
このため、図３０で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ２１においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ３１においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３２においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
（領域Ｏ２３）
領域Ｏ２３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝−５ｄｅｇで入射する。
このため、図３１で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
（領域Ｏ３３）
領域Ｏ３３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝−５ｄｅｇで入射する。
このため、図３２で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
以上の処理結果に基づいて、信号処理部１２２は、指向性撮像素子１２１の検出信号レベルとなる画素Ｐｉｊを、以上の被写体面３１上の各領域Ｏｉｊの代表点を点光源とした光強度と重みとの積和として求める。
すなわち、この積和が、以下の式（５）乃至式（１３）で表される９個の連立方程式となる。
Ｐ１１＝１×Ｏ１１＋１×Ｏ２１＋０．５×Ｏ３１＋１×Ｏ１２＋１×Ｏ２２＋０．５×Ｏ３２＋０．５×Ｏ１３＋０．５×Ｏ２３＋０．２５×Ｏ３３
・・・（５）
Ｐ１２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０．５×Ｏ１２＋０．５×Ｏ２２＋０．２５×Ｏ３２＋１×Ｏ１３＋１×Ｏ２３＋０．５×Ｏ３３
・・・（６）
Ｐ１３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋１×Ｏ１２＋１×Ｏ２２＋０．５×Ｏ３２＋１×Ｏ１３＋１×Ｏ２３＋０．５×Ｏ３３
・・・（７）
Ｐ２１＝０×Ｏ１１＋０．５×Ｏ２１＋１×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．２５×Ｏ２３＋０．５×Ｏ３３
・・・（８）
Ｐ２２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．２５×Ｏ２２＋０．５×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋１×Ｏ３３
・・・（９）
Ｐ２３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋１×Ｏ３３
・・・（１０）
Ｐ３１＝０×Ｏ１１＋１×Ｏ２１＋１×Ｏ３１＋０×Ｏ１２＋１×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋０．５×Ｏ３３
・・・（１１）
Ｐ３２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋０．５×Ｏ３２＋０×Ｏ１３＋１×Ｏ２３＋１×Ｏ３３
・・・（１２）
Ｐ３３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋１×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋１×Ｏ２３＋１×Ｏ３３
・・・（１３）
ここで、画素Ｐｉｊで表される値は、指向性撮像素子１２１により撮像される、ユーザが目視しても画像として認識できない検出画像を構成する検出信号の信号レベルとなる。
信号処理部１２２は、例えば、上述の９個の連立方程式を用いて、被写体面３１上の各領域の輝度（光強度）Ｏｉｊを求めることにより、被写体面３１に対応する復元画像を復元する。
尚、上述した画素Ｐｉｊのそれぞれについて求められる水平方向の重みＷｘおよび垂直方向の重みＷｙを乗じた値が、係数セットである。より詳細には、係数セットは、それぞれ被写体面３１における、上述した式（１）乃至式（３）の係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３そのものである。また、水平方向の重みＷｘおよび垂直方向の重みＷｙは、被写体面３１の違いに応じて異なるものであり、被写体面を特定するための復元画像の距離や画角に応じて係数セットを切り替えることで、所望の被写体面の復元画像を復元することが可能となる。ただし、連立方程式の独立性を確保できるように入射角指向性を設定する必要がある。尚、ここでいう連立方程式の独立性を確保するとは、例えば、係数セット（αｓ，βｓ，γｓ）と、係数セット（αｔ，βｔ，γｔ）とを考えたときの相互の線形性の独立性を確保することであり、ベクトル（αｓ，βｓ，γｓ）とベクトル（αｔ，βｔ，γｔ）とが相互に係数倍にならないようにすることである。
＜被写体面と指向性撮像素子との距離の関係＞
次に、図３３を参照して、被写体面と指向性撮像素子１２１との距離の関係について説明する。
図３３の上段左部で示されるように、指向性撮像素子１２１（図５の撮像素子５１と同様）と被写体面３１までの被写体距離が距離ｄ１である場合、例えば、図５の上段で示される被写体面３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する指向性撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
これに対して、図３３の下段左部で示されるように、指向性撮像素子１２１（図５の撮像素子５１と同様）との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面３１’である場合、すなわち、指向性撮像素子１２１から見て、被写体面３１よりも奥の被写体面３１’の場合、検出信号レベルは、図３３の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
しかしながら、この場合被写体面３１’上の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光強度ａ’，ｂ’，ｃ’の光線が指向性撮像素子１２１の各画素において受光される。この際、指向性撮像素子１２１上で受光される、光強度ａ’，ｂ’，ｃ’の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（１４）乃至式（１６）で示されるように表現されることになる。
ＤＡ＝α１１×ａ’＋β１１×ｂ’＋γ１１×ｃ’
・・・（１４）
ＤＢ＝α１２×ａ’＋β１２×ｂ’＋γ１２×ｃ’
・・・（１５）
ＤＣ＝α１３×ａ’＋β１３×ｂ’＋γ１３×ｃ’
・・・（１６）
ここで、係数セットα１１，β１１，γ１１，係数セットα１２，β１２，γ１２，係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面３１における係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３に対応する被写体面３１’の係数セット群である。
従って、式（１４）乃至式（１６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図３３の上段右部で示される被写体面３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度ａ，ｂ，ｃを求めた手法と同様の手法で、図３３の下段右部で示されるように、点光源ＰＡ’，ＰＢ’，ＰＣ’からの光線の光強度ａ’，ｂ’，ｃ’として求めることが可能となり、結果として、被写体面３１’の被写体の復元画像を求めることが可能となる。
すなわち、図６の撮像装置１０１においては、指向性撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
また、復原画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対してディープラーニングなどの機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができるので、特定された被写体距離や画角の復元画像を高い精度で求めることが可能となる。
ここで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めるようにすることで、復元画像を高い精度で求められる理由について説明する。
例えば、図３４の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図３４の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。
画素１２１ａは、例えば、図３５の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図３４の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ’は、人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図３４の画像Ｉ２を復元するために用いられる。
これは、図３４の画素１２１ａが、図３６の左部で示されるように、指向性撮像素子１２１に対して入射光の入射可能角度範囲Ａ１となるため、被写体面３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
これに対して、図３４の画素１２１ａ’は、図３４の画素１２１ａよりも遮光される範囲が広いため、図３６の左部で示されるように、指向性撮像素子１２１に対して入射光の入射可能角度範囲Ａ２（＜Ａ１）となるため、被写体面３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
つまり、遮光範囲が狭い図３４の画素１２１ａは、被写体面３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図３４の画素１２１ａ’は、被写体面３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図３４の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
尚、図３６は、指向性撮像素子１２１の中心位置Ｃ１に対する、被写体面３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図３６においては、被写体面３１上の位置と、被写体面上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図３６の右部には、図３４における画素１２１ａ，１２１ａ’が示されている。
このような構成により、図３５の下段で示されるように、指向性撮像素子１２１における、点線で囲まれた範囲ＺＡに、図３４の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、画角ＳＱ１を撮像する図３４の画素１２１ａを用いるようにすることで、適切に被写体面３１の被写体幅Ｗ１の画像を復元することができる。
同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、画角ＳＱ２を撮像する図３４の画素１２１ａ’の検出信号を用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。
尚、図３５の下段においては、図中の左側に画素１２１ａ’が所定画素数だけ設けられ、右側に画素１２１が所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ’とは、ランダムに混在して配置されることが望ましい。
このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
＜本開示の図６の撮像装置における撮像処理＞
次に、図３７のフローチャートを参照して、図６の撮像装置１０１による撮像処理について説明する。尚、図３７のフローチャートにおけるステップＳ３４乃至Ｓ３８の処理は、図８のフローチャートを参照して説明したステップＳ１４乃至Ｓ１８の処理と同様であるので、その説明は適宜省略するものとする。
すなわち、ステップＳ３１において、指向性撮像素子１２１は、画素出力単位で異なる入射角指向性を備えた画素出力単位毎に、受光される入射光の光量に応じた検出信号を得て、検出画像として信号処理部１２２に供給する。
ステップＳ３２において、被写体距離決定部１２９は、操作部１３０よりの操作信号、または、オートフォーカス機能に基づいて決定された被写体距離を決定する。係数セット選択部１３１は、被写体距離に基づいて対応付けて記憶されている係数セット群を読み出して信号処理部１２２に供給する。ここで、読み出される係数セット群は、例えば、上述した式（１）乃至式（３）または式（１４）乃至式（１６）における係数α１乃至α３，β１乃至β３，γ１乃至γ３，α１１乃至α１３，β１１乃至β１３，γ１１乃至γ１３に相当する複数の係数からなる係数セット群である。
ステップＳ３３において、信号処理部１２２は、検出画像における各画素出力単位の検出信号と、係数セット選択部１３１により選択される係数セット群とを用いて、復元画像の画素値を算出する。より詳細には、信号処理部１２２は、例えば、上述した式（１）乃至式（３）、または、式（１４）乃至式（１６）、および図１８乃至図３２を参照して説明した連立方程式を構成し、さらに、この連立方程式を解くことにより、復元画像を求め、デモザイク処理部１２３に出力する。
以降においては、復元画像は、デモザイク処理部１２３によりデモザイク処理され、γ補正部１２４によりγ補正され、ホワイトバランス調整部１２５によりホワイトバランスが調整されて、画像出力部１２６により所定の圧縮形式に変換される。そして、必要に応じて、所定の圧縮形式に変換された復元画像が記憶部１２７に記憶される、表示部１２８に表示される、および被写体距離決定部１２９に出力される、または、そのいずれかをするようにしてもよい。
尚、以上においては、指向性撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて検出画像より復元画像を求める例について説明してきたが、図３４，３５で上述した様に、係数セット群は、被写体距離のみならず、画角に対応付けて設定したものを用意して、被写体距離および画角に応じた係数セット群を選択して検出画像より復元画像を求めるようにしても良い。尚、被写体距離および画角に対する分解能は、用意される係数セットの数によるものとなる。
また、図３７のフローチャートを用いた処理の説明においては、検出画像に含まれる全ての画素出力単位の検出信号を用いる例について説明してきたが、指向性撮像素子１２１を構成する画素出力単位の検出信号のうち、特定された被写体距離および画角に対応する入射角指向性を備えた画素出力単位の検出信号からなる検出画像を構成し、これを用いて復元画像を求めるようにしても良い。このような処理により、求めようとする復元画像の被写体距離や画角に適した検出画像で復元画像を復元することが可能となるので、より高い精度で復元画像を復元することが可能となる。すなわち、特定された被写体距離および画角に対応する画像が、例えば、図３５における画角ＳＱ１に対応する画像である場合、画角ＳＱ１に対応する入射角指向性を備えた画素１２１ａを選択し、これらから得られる検出画像で復元画像を復元することにより、画角ＳＱ１の画像を高い精度で復元することが可能となる。
以上の処理により、各画素に入射角指向性を持たせるようにした指向性撮像素子１２１を必須構成とした撮像装置１０１を実現することが可能となる。
結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になると共に、撮像素子と別体で構成され、撮像装置として構成する段階で撮像素子と合わせて搭載されることが想定される光学素子が不要となるため、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズが不要となる。ただし、倍率を変化させるズームレンズは設けられていてもよい。
また、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離の復元画像を生成することが可能となる。
例えば、撮像レンズと従来の撮像素子からなる撮像装置を用いた場合、様々な焦点距離や画角の画像を得るためには、焦点距離や画角を様々に変化させながら、撮像しておく必要がある。しかしながら、本開示の撮像装置１０１においては、係数セット群を切り替えて復元画像を復元させることができるので、焦点距離、すなわち、被写体距離や画角を様々に変化させながら繰り返し撮像するといった処理が不要になる。
また、以上の処理においては、復元画像のみが記憶部１２７に記憶される例について説明してきたが、検出画像を記憶部１２７に記憶させるようにすることで、再生時に、被写体距離の異なる複数の係数セット群を用いて復元画像を生成させるようにしてもよく、このようにすることで、再生時に任意の被写体距離や任意の画角の被写体面における復元画像を生成することが可能となる。
さらに、回折格子からなる光学フィルタと従来の撮像素子とからなる撮像装置などと比較して、画素単位で入射角指向性を持った指向性撮像素子１２１により撮像される検出画像を用いて復元画像を生成することができるので、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の画像を撮像することが可能となる。
また、本開示の撮像装置１０１は、指向性撮像素子１２１が必須構成であり、例えば、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって、光学フィルタが熱で歪むといったことがないため、環境耐性の高い撮像装置を実現することが可能となる。
さらに、本開示の撮像装置１０１においては、回折格子や撮像レンズなどの光学素子を必要としないので、撮像する機能を備えた構成の設計の自由度を向上させることが可能となる。
＜第１の変形例＞
以上においては、図９で示されるように、指向性撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成については、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させる例について説明してきたが、当然のことながら、 水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、各画素に入射角指向性を持たせるようにしてもよい。
尚、以降においては、図９の右部で示される各画素１２１ａのように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。また、図９の右部で示される各画素１２１ａのそれぞれを自らの中心位置を軸として９０°回転させた場合のように、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。
また、図３８の左部で示されるように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、例えば、ベイヤ配列のそれぞれの画素に対して、Ｌ字型のような遮光膜１２１ｂを設けるようにしてもよい。尚、図３８においては、黒色の範囲が遮光膜１２１ｂを表しており、特に断りがない限り、以降の図面においても同様に表示する。
各画素は、図３８の右部で示されるような入射角指向性を有することになる。すなわち、図３８の右部においては、各画素における受光感度が示されており、横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。尚、図３８の右部で示される受光感度は、ベイヤ配列とは無関係に、各画素１２１ａにおける遮光膜１２１ｂにより遮光される範囲により決定されるものである。
また、図３８の左部においては、ベイヤ配列となるＧ画素の画素１２１ａ−２１，１２１ａ−２４、Ｒ画素の画素１２１ａ−２２、およびＢ画素の画素１２１ａ−２３のそれぞれに対して、Ｌ字型の遮光膜１２１ｂ−２１乃至１２１ｂ−２４が設けられていることが示されている。
尚、以降においては、図３８で示されるＬ字型のような遮光膜１２１ｂ−２１乃至１２１ｂ−２４や、遮光膜１２１ｂ−２１乃至１２１ｂ−２４に対して、それぞれの画素１２１ａの中心に対して点対称に配置される形状となる遮光膜１２１ｂについては、Ｌ字タイプの遮光膜１２１ｂと総称するものとする。
また、図３８を参照して説明した第１の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第１の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第２の変形例＞
以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図３９の指向性撮像素子１２１’で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂを構成するようにしてもよい。
すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
尚、図３９においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。
換言すれば、図３９の指向性撮像素子１２１’における各画素１２１ａの構成は、水平方向および垂直方向に対して指向性撮像素子１２１’内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
より詳細には、図３９の各画素１２１ａの遮光範囲は、例えば、図４０の左部で示される画素１２１ａを用いて説明される規則に従って決定される。
尚、図４０の右部は、図３９と同一の指向性撮像素子１２１’の構成を示している。また、図４０の左部は、図４０（図３９と同一）の右部における指向性撮像素子１２１’の画素１２１ａの構成を示している。
図４０の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。尚、図４０，図４１において、遮光膜１２１ｂは黒色で示された範囲である。
図４０の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図４０左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。
画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
図３９の指向性撮像素子１２１’内の画素配列は、図４０の右部（図３９と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。尚、図４０の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。
また、指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、指向性撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。尚、図４０の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。
また、指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、指向性撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
＜画角の変化＞
さらに、図４０（図３９）で示される指向性撮像素子１２１’を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。
図４１の右部は、図４０（図３９）の指向性撮像素子１２１’に対して画角を広くする場合の指向性撮像素子１２１’の構成を示している。また、図４１の左部は、図４１の右部における指向性撮像素子１２１’の画素１２１ａの構成を示している。
すなわち、図４１の左部で示されるように、例えば、画素１２１ａ内に、図４０における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図４１左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
より詳細には、図４１の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１’（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１’（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。
ここで、図４１の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１’であって、その上辺が画素１２１ａの上辺から高さｄｙ１’の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２’であって、その上辺が画素１２１ａの上辺から高さｄｙ１’に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’と移動する。ここで、幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。
また、図４１の指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、指向性撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１’であって、その上辺が画素１２１ａの上辺から高さｄｙ２’に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’と変化する。ここで、高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。
また、図４１の指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、指向性撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる指向性撮像素子１２１’を実現することが可能となる。
さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて指向性撮像素子１２１を実現させるようにしてもよい。
例えば、図４２で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ−Ｗ、中画角の画素１２１ａ−Ｍ、狭画角の画素１２１ａ−Ｎ、極狭画角の画素１２１ａ−ＡＮの４画素から構成されるようにする。
この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。
また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
尚、図３９乃至図４２を参照して説明した第２の変形例の指向性撮像素子１２１’は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第２の変形例の指向性撮像素子１２１’は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第３の変形例＞
ところで、指向性撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、信号処理部１２２による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとして、乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
すなわち、例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせることで、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに変化するようにすることで、各画素の入射角指向性における乱雑さを低減させ、信号処理部１２２の処理負荷を低減させるようにしてもよい。
すなわち、例えば、図４３の指向性撮像素子１２１’’で示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を変化させることができるので、入射角指向性の乱雑さを抑え込むことができ、結果として、係数セットのパターンを低減させることが可能となり、信号処理部１２２における演算処理の処理負荷を低減させることが可能となる。
より詳細には、図４４の右上部で示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、Ｎ×Ｎ行１列の復元画像の各画素の画素値を要素とするベクトルＸ、Ｎ×Ｎ行１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａにより、図４４の左部で示されるような関係が成立する。
すなわち、図４４においては、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａの各要素と、復元画像を表すＮ×Ｎ行１列のベクトルＸとを乗算した結果が、検出画像を表すＮ×Ｎ行１列のベクトルＹとなることが示されており、この関係から、例えば、上述した式（５）乃至式（１３）に対応する連立方程式が構成される。
尚、図４４においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
換言すれば、図４４で示される行列式に基づいた連立方程式を解くことにより、ベクトルＸの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、右下がりの対角線上の全要素が１からなる対角行列になる。逆に、図６の撮像装置１０１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
ところで、一般的に、図４４の行列式は、両辺に行列Ａの逆行列Ａ−１を左から乗じることにより、図４５で示されるように変形され、検出画像のベクトルＹに逆行列Ａ−１を右から乗じることで、検出画像であるベクトルＸの各要素が求められる。
しかしながら、現実の行列Ａは、正確に求められない、正確に測定できない、行列Ａの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式（１７）をとる。
Figure 2018012492
 ・・・（１７）
ここで、式（１７）にｘの上部に「＾」が付されたものは、ベクトルＸを、Ａは、行列Ａを、Ｙは、ベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、第一項は、図４４の両辺を最小にするときのノルムであり、第二項は正則化項である。
この式（１７）をｘについて解くと、以下の式（１８）で表現される。
Figure 2018012492
 ・・・（１８）
しかしながら、行列Ａは、膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
そこで、例えば、図４６で示されるように、行列Ａを、Ｎ行Ｎ列の行列ＡＬと、Ｎ行Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行Ｎ列の行列Ｙとなるようにすることを考える。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなるので、要素数を１／（Ｎ×Ｎ）に小さくすることができる。結果として、要素数が（Ｎ×Ｎ）からなる２個の行列ＡＬ，ＡＲＴを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
ここで、ＡＴは、行列Ａの転置行列であり、γはパラメータであり、Ｉは、単位行列である。式（１８）におけるカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで。図４６で示される行列式を実現する。
このように図４６で示されるような計算は、図４７で示されるように、行列Ｘにおける注目要素Ｘｐに対しては、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
そこで、行列ＡＬの各行に対応する要素群Ｚ２２１には、図４３で示される指向性撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
同様に、行列ＡＲＴの各行の要素群Ｚ２２３には、図４３で示される指向性撮像素子１２１の行毎に設定される同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図４３の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲（受光できる範囲）を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲（受光できる範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲（受光できる範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図４３を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
また、図４３乃至図４７を参照して説明した第３の変形例の指向性撮像素子１２１’’は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第３の変形例の指向性撮像素子１２１’’は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第４の変形例＞
以上における指向性撮像素子１２１の各画素出力単位を構成する遮光膜１２１ｂの形状のバリエーションは、図４８の最上段の３パターンで示される水平方向の幅と位置が異なることで異なる入射角指向性を持たせる横帯タイプ、図４８の上から２段目の３パターンで示される垂直方向の高さと位置が異なることで異なる入射角指向性を持たせる縦帯タイプ、および、図４８の上から３段目の３パターンで示される横帯タイプおよび縦帯タイプを組み合わせたＬ字タイプについて説明してきたが、遮光膜１２１ｂのタイプは、これらに限るものではない。
例えば、図４８の上から４段目の３パターンで示されるように、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよいし、図４８の最下段の３パターンで示されるように、遮光膜１２ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。尚、図示しないが、これ以外のパターンでもよく、例えば、斜め方向の線状の遮光膜などでも良い。
尚、以降においては、図４８の４段目の３パターンで示される遮光膜１２１ｂを三角タイプの遮光膜１２１ｂと称するものとし、図４８の最下段の３パターンで示される遮光膜１２１ｂを円形タイプの遮光膜１２１ｂと称するものとする。
また、図４８を参照して説明した第４の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第４の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第５の変形例＞
以上においては、指向性撮像素子１２１の１画素出力単位で設定される遮光膜１２１ｂのバリエーションについて説明してきたが、所定数の複数の画素出力単位からなるユニットを構成する複数の画素出力単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。その一例としてモノクロの撮像素子ではなく、カラー撮像素子が考えられる。
すなわち、図４９のパターンＰｔ１で示されるように、ベイヤ配列を構成する２画素出力単位×２画素出力単位の計４画素出力単位からなるユニットを構成する複数の画素出力単位で、同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
また、パターンＰｔ２で示されるように、ベイヤ配列を構成する４画素出力単位からなるユニットを構成する複数の画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
さらに、パターンＰｔ３で示されるように、ベイヤ配列を構成する４画素出力単位からなるユニットを構成する複数の画素出力単位で、１画素出力単位ずつ４画素出力単位の中心位置を中心として、各画素出力位置に対して点対称に横帯タイプと縦帯タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
また、同一配色の画素出力単位を、例えば、２画素出力単位×２画素出力単位の４画素出力単位で設定し、４画素出力単位の同一配色のユニットを２ユニット×２ユニットからなる計４ユニット単位（１６画素出力単位）でベイヤ配列を構成する場合、パターンＰｔ４で示されるように、それらの同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
さらに、パターンＰｔ５で示されるように、同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
また、パターンＰｔ６で示されるように、同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で、１画素出力単位ずつ４画素出力単位の中心位置を中心として、４画素出力単位の遮光されている範囲を点対称に変化させるように、横帯タイプと縦帯タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
さらに、同一配色の画素出力単位を、例えば、３画素出力単位×３画素出力単位の９画素出力単位で設定し、９画素出力単位の同一配色のユニット単位で２ユニット×２ユニットからなる計４ユニット単位（３６画素出力単位）でベイヤ配列を構成する場合、パターンＰｔ７で示されるように、それらの同一配色の９画素出力単位からなるユニットを構成する９画素出力単位で同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
また、パターンＰｔ８で示されるように、同一配色の９画素からなるユニットを構成する９画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
さらに、パターンＰｔ９で示されるように、同一配色の９画素出力単位からなるユニットを構成する９画素出力単位で、９画素出力単位の中心画素を中心とした８画素出力単位の遮光されている範囲を２画素出力単位で点対称に変化させるように、横帯タイプ、縦帯タイプ、および三角タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
尚、以上においては、横帯タイプ、縦帯タイプ、および三角タイプの遮光膜１２１ｂを用いたパターンについて説明してきたが、それ以外のタイプ、例えば、円形タイプなどの遮光膜１２１ｂを用いるようにしてもよい。また、以上においては、ベイヤ配列を用いた例について説明してきたが、それ以外の配色パターンを用いた場合であってもよいし、ユニットを構成する同一配色の画素出力単位数についても、１画素出力単位、４画素出力単位、および９画素出力単位の例について説明してきたが、それ以外の画素出力単位数で同一配色の画素出力単位が設定されていてもよい。
また、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
さらに、図４９においては、ベイヤ配列を構成する２画素出力単位×２画素出力単位からなる４画素出力単位を１ユニットとして遮光膜１２１ｂのパターンを設定したり、さらに、ユニット間でパターンとして遮光膜１２１ｂを設定する例について説明してきたが、それ以外の単位で遮光膜１２１ｂを設定するようにしてもよく、例えば、色配列に加えて、露光時間の異なる画素出力単位、例えば、第１の露光時間の画素出力単位と第１の露光時間よりも長い第２の露光時間の画素出力単位とを考慮した複数の画素出力単位からなる処理単位毎に遮光膜１２１ｂを設定するようにしてもよい。
また、図４９を参照して説明した第５の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第５の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第６の変形例＞
以上においては、ベイヤ配列を構成する同一配色とされる少なくとも１画素出力単位以上のユニットを構成する複数の画素出力単位で遮光膜１２１ｂの配置のパターンを設定する例について説明してきたが、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。
すなわち、指向性撮像素子１２１の画素出力単位の遮光膜１２１ｂの配置パターンは、例えば、図５０のパターンＰｔ１１で示されるように、２画素出力単位×２画素出力単位のベイヤ配列の４画素出力単位をユニットとしたとき、それぞれのユニット間で、４画素出力単位内の図中の左上部のＧ画素の画素出力単位に横帯タイプの遮光膜１２１ｂを画素出力単位内の左端部に配置し、さらに、図中左から右方向に１ユニット毎に遮光膜１２１ｂの幅を広く設定するようにしてもよい。
また、図５０のパターンＰｔ１２で示されるように、ユニット間で、それぞれのユニットにおける４画出力単位素内の左上部のＧ画素の画素出力単位の遮光膜１２１ｂの幅をランダムに変化させるように設定するようにしてもよい。
さらに、図５０のパターンＰｔ１３で示されるように、ユニット間で、それぞれのユニットにおける４画素出力単位内の左上部のＧ画素の画素出力単位の遮光膜１２１ｂの遮光される範囲を画素出力単位の中心に対して点対称に変化するように設定するようにしてもよい。
尚、以上においては、横帯タイプ、および、縦帯タイプを用いた例について説明してきたが、当然のことながら、Ｌ字タイプ、三角タイプ、円形タイプ等の遮光膜１２１ｂを用いたパターンを設定するようにしてもよい。
尚、第５の変形例および第６の変形例においては、ベイヤ配列などのユニット内の複数の画素出力単位、およびユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定する例について説明してきたが、さらに、異なるカテゴリで分類される複数の画素出力単位からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
また、図５０を参照して説明した第６の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第６の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
＜第７の変形例＞
図１１を参照して説明したように、複数のフォトダイオード１２１ｆの例として、フォトダイオード１２１ｆが２個×２個からなる配置で画素出力単位を構成し、各フォトダイオード１２１ｆの画素出力単位への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角に対する指向性を様々に変化させる例について説明してきたが当然のことながら、画素出力単位を構成する複数のフォトダイオード１２１ｆの数は、それ以外の数であってもよい。
すなわち、図５１で示されるように、フォトダイオード１２１ｆ−１１１乃至１２１ｅ−１１９の３個のフォトダイオード１２１ｆ×３個のフォトダイオード１２１ｆ（＝９個のフォトダイオード１２１ｆ）からなる画素出力単位とする画素１２１ａ−ｂを構成するようにしてもよい。尚、画素出力単位を構成するフォトダイオード１２１ｆの数は、上述した４個や９個以外でもよい。
すなわち、複数のフォトダイオード１２１ｆが、様々な画素出力単位の画素１２１ａを構成するように切り替えられて使用されるようにしてもよい。
＜第８の変形例＞
以上においては、複数のフォトダイオード１２１ｆにより画素出力単位の出力画素値の入射角指向性を様々に切り替える例について説明してきた。ところで、所定数のフォトダイオード１２１ｆにより１画素出力単位が構成されるときには、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須とされる。
すなわち、図５２で示されるように、１個のオンチップレンズ１２１ｃに対して、例えば、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の３個のフォトダイオード１２１ｆ×３個のフォトダイオード１２１ｆ（＝９個のフォトダイオード１２１ｆ）が設定されるような構成を画素出力単位とされるものとする。このような構成の場合、例えば、図５２で示されるフォトダイオード１２１ｆ−１１１，１２１ｆ−１１４，１２１ｆ−１１７乃至１２１ｆ−１１９の５画素について読み出しをしないようにすることで、フォトダイオード１２１ｆ−１１１，１２１ｆ−１１４，１２１ｆ−１１７乃至１２１ｆ−１１９の範囲が検出信号に寄与しない状態となり、フォトダイオード１２１ｆ−１１２，１２１ｆ−１１３，１２１ｆ−１１５，１２１ｆ−１１６の範囲の検出信号に寄与する信号のみを用いることで入射角指向性を設定することが可能となる。
尚、この構成は、上述した図１２、または図１３の下部の構成を応用した構成であるとも言える。
このように遮光膜１２１ｂを設けることなく、遮光膜１２１ｂを設けた場合と同様の検出信号を求めることができ、また、検出信号に寄与しないフォトダイオード１２１ｆのパターンを切り替えることで、遮光される位置と範囲が異なる遮光膜１２１ｂを実質的に形成すること、すなわち、異なる入射角指向性を持たせることと同等の処理を実現することが可能となる。
従って、１個のオンチップレンズ１２１ｃに対して複数のフォトダイオード１２１ｆが設けられるようにして、それらの複数のフォトダイオード１２１ｆからなるユニットを１画素出力単位として処理するようにすることで、遮光膜１２１ｂを設けることなく、遮光膜１２１ｂに対応するフォトダイオード１２１ｆの読み出しをしないように切り替えることで、遮光膜１２１ｂを用いて形成される画素１２１ａと同様の検出画像を撮像することが可能となる。すなわち、１個の画素出力単位について、１個のオンチップレンズが必須の構成となる。
＜＜３．第２の実施の形態＞＞
以上においては、指向性撮像素子１２１と信号処理部１２２等とが別体とされた構成である例について説明してきたが、指向性撮像素子１２１が設けられた基板と同一基板に信号処理部１２２を構成するようにしてもよいし、または、指向性撮像素子１２１が設けられた基板と、信号処理部１２２等が構成された基板とが積層されて、例えば、TSV（Through Silicon Via）等の貫通電極等により接続されて、一体として構成されるようにしてもよい。
図５３は、指向性撮像素子１２１の画素アレイを構成する基板と同一基板上、または、指向性撮像素子１２１の画素アレイを構成する基板に対して、その裏面側に積層される基板に被写体距離決定部１２９、係数セット選択部１３１、および信号処理部１２２が設けられた、一体型の指向性撮像素子１２１を用いた撮像装置１０１の構成例が示されている。
尚、基本的な機能や、撮像処理については、図６の撮像装置１０１と同様であるので、その説明は省略するものとする。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子
を備えた撮像装置。
＜２＞ 前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性である
＜１＞に記載の撮像装置。
＜３＞ 前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
＜２＞に記載の撮像装置。
＜４＞ 前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部をさらに備える
＜３＞に記載の撮像装置。
＜５＞ 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
＜４＞に記載の撮像装置。
＜６＞ 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
＜４＞に記載の撮像装置。
＜７＞ 前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
＜４＞に記載の撮像装置。
＜８＞ 前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えていない
＜２＞に記載の撮像装置。
＜９＞ 前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
＜１＞に記載の撮像装置。
＜１０＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる
撮像素子。
＜１１＞ 前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる
＜１０＞に記載の撮像素子。
＜１２＞ 前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
＜１１＞に記載の撮像素子。
＜１３＞ 前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ有し、
前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なる
＜１２＞に記載の撮像素子。
＜１４＞ 前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
＜１１＞に記載の撮像素子。
＜１５＞ 前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なる
＜１４＞に記載の撮像素子。
＜１６＞ 前記複数の画素出力単位は、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含む
＜１１＞に記載の撮像素子。
＜１７＞ 前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを備える
＜１１＞に記載の撮像素子。
＜１８＞ 前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有する
＜１７＞に記載の撮像素子。
＜１９＞ 前記入射角指向性は、遮光領域に応じた特性を有する
＜１８＞に記載の撮像素子。
＜２０＞ 前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なる
＜１８＞に記載の撮像素子。
＜２１＞ 前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
＜１０＞に記載の撮像素子。
＜２２＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える
画像処理装置。
＜２３＞ 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
＜２２＞に記載の画像処理装置。
＜２４＞ 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
＜２２＞に記載の画像処理装置。
＜２５＞ 前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
＜２２＞に記載の画像処理装置。
＜２６＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子が撮像する
ステップを含む撮像装置の撮像方法。
＜２７＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子が撮像する
ステップを含む撮像素子の撮像方法。
＜２８＞ 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する
ステップを含む画像処理方法。
１０１ 撮像装置， １２１ 指向性撮像素子， １２１ａ 画素， １２１ｂ 遮光膜， １２１ｃ オンチップレンズ， １２１ｄ カラーフィルタ， １２１ｅ，１２１ｆ フォトダイオード， １２２ 信号処理部， １２３ デモザイク処理部， １２４ γ補正部， １２５ ホワイトバランス調整部， １２６ 画像出力部， １２７ 記憶部， １２８ 表示部， １２９ 被写体距離決定部， １３０ 操作部， １３１ 係数セット選択部， １５１ 撮像素子， １５２ 光学ブロック， １５３ 焦点調整部

Claims (25)

  1. 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子
    を備えた撮像装置。
  2. 前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性である
    請求項１に記載の撮像装置。
  3. 前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    請求項２に記載の撮像装置。
  4. 前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、復元画像を復元する画像復元部をさらに備える
    請求項３に記載の撮像装置。
  5. 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
    請求項４に記載の撮像装置。
  6. 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
    請求項４に記載の撮像装置。
  7. 前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
    前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
    請求項４に記載の撮像装置。
  8. 前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えていない
    請求項２に記載の撮像装置。
  9. 前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
    請求項１に記載の撮像装置。
  10. 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる
    撮像素子。
  11. 前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる
    請求項１０に記載の撮像素子。
  12. 前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
    前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    請求項１１に記載の撮像素子。
  13. 前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ有し、
    前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なる
    請求項１２に記載の撮像素子。
  14. 前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    請求項１１に記載の撮像素子。
  15. 前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なる
    請求項１４に記載の撮像素子。
  16. 前記複数の画素出力単位は、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含む
    請求項１１に記載の撮像素子。
  17. 前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを備える
    請求項１１に記載の撮像素子。
  18. 前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有する
    請求項１７に記載の撮像素子。
  19. 前記入射角指向性は、遮光領域に応じた特性を有する
    請求項１８に記載の撮像素子。
  20. 前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なる
    請求項１８に記載の撮像素子。
  21. 前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
    請求項１０に記載の撮像素子。
  22. 撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
    前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える
    画像処理装置。
  23. 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
    請求項２２に記載の画像処理装置。
  24. 前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
    請求項２２に記載の画像処理装置。
  25. 前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
    前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
    請求項２２に記載の画像処理装置。
JP2018527611A 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置 Active JP6958554B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021165269A JP7290159B2 (ja) 2016-07-13 2021-10-07 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016138363 2016-07-13
JP2016138363 2016-07-13
PCT/JP2017/025255 WO2018012492A1 (ja) 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021165269A Division JP7290159B2 (ja) 2016-07-13 2021-10-07 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018012492A1 true JPWO2018012492A1 (ja) 2019-04-25
JP6958554B2 JP6958554B2 (ja) 2021-11-02

Family

ID=60953061

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018527611A Active JP6958554B2 (ja) 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置
JP2021165269A Active JP7290159B2 (ja) 2016-07-13 2021-10-07 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021165269A Active JP7290159B2 (ja) 2016-07-13 2021-10-07 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20190215473A1 (ja)
EP (2) EP4016992A3 (ja)
JP (2) JP6958554B2 (ja)
KR (1) KR102353634B1 (ja)
CN (3) CN113489926B (ja)
WO (1) WO2018012492A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111201780B (zh) * 2017-10-19 2022-09-16 索尼公司 成像装置和方法以及图像处理装置和方法
RU2020112459A (ru) * 2017-10-19 2021-09-27 Сони Корпорейшн Устройство и способ получения изображения, устройство и способ обработки изображения
JP7375746B2 (ja) * 2018-03-26 2023-11-08 ソニーグループ株式会社 撮像素子、撮像装置、並びに、情報処理方法
US11470247B2 (en) 2018-03-29 2022-10-11 Sony Corporation Information processing device, information processing method, program, and information processing system
CN111989916B (zh) * 2018-03-30 2022-11-08 索尼公司 成像设备和方法、图像处理设备和方法以及成像元件
WO2020065442A1 (ja) * 2018-09-28 2020-04-02 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
US11889199B2 (en) 2019-06-04 2024-01-30 Sony Group Corporation Imaging device, signal processing device, signal processing method, program, and imaging apparatus
JPWO2021020156A1 (ja) * 2019-07-31 2021-02-04
JP7444174B2 (ja) * 2019-10-30 2024-03-06 ソニーグループ株式会社 撮像素子、表示装置、及び、撮像システム
JP2021175048A (ja) 2020-04-22 2021-11-01 ソニーセミコンダクタソリューションズ株式会社 電子機器
US12207006B2 (en) 2020-09-15 2025-01-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
JP2022119378A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110174998A1 (en) * 2008-07-25 2011-07-21 Cornell University Light field image sensor, method and applications
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5256796B2 (ja) * 2007-05-14 2013-08-07 セイコーエプソン株式会社 ラインヘッドおよびそれを用いた画像形成装置
JP5262823B2 (ja) * 2009-02-23 2013-08-14 ソニー株式会社 固体撮像装置および電子機器
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
KR101790601B1 (ko) * 2010-08-03 2017-10-26 코넬 유니버시티 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
CN103621078B (zh) * 2011-04-14 2016-01-13 株式会社尼康 图像处理装置和图像处理程序
JP6335423B2 (ja) * 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
JP2014154662A (ja) * 2013-02-07 2014-08-25 Sony Corp 固体撮像素子、電子機器、および製造方法
JP2014165785A (ja) * 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
JP6374888B2 (ja) * 2013-03-05 2018-08-15 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP6368999B2 (ja) * 2013-09-26 2018-08-08 株式会社ニコン 撮像素子および撮像装置
JP2015076475A (ja) * 2013-10-08 2015-04-20 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6219176B2 (ja) * 2014-01-17 2017-10-25 富士フイルム株式会社 撮像レンズおよび撮像装置
WO2015127043A1 (en) * 2014-02-24 2015-08-27 Rambus Inc. Optical flow sensing and pattern recognition with antisymmetric phase gratings
KR20160008364A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 영상 촬영 장치
JP6549240B2 (ja) 2015-01-29 2019-07-24 ウィリアム マーシュ ライス ユニバーシティＷｉｌｌｉａｍ Ｍａｒｓｈ Ｒｉｃｅ Ｕｎｉｖｅｒｓｉｔｙ 一つ以上の減衰層を有するイメージセンサを使用したレンズ無しイメージングシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110174998A1 (en) * 2008-07-25 2011-07-21 Cornell University Light field image sensor, method and applications
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Also Published As

Publication number Publication date
JP6958554B2 (ja) 2021-11-02
EP3487165A1 (en) 2019-05-22
JP7290159B2 (ja) 2023-06-13
JP2022000994A (ja) 2022-01-04
KR102353634B1 (ko) 2022-01-21
CN113489926A (zh) 2021-10-08
EP4016992A3 (en) 2022-08-24
CN113489904B (zh) 2023-07-21
CN109479101B (zh) 2021-08-03
CN113489904A (zh) 2021-10-08
EP3487165B1 (en) 2022-03-16
CN109479101A (zh) 2019-03-15
US20190215473A1 (en) 2019-07-11
KR20190022619A (ko) 2019-03-06
WO2018012492A1 (ja) 2018-01-18
CN113489926B (zh) 2024-09-06
EP3487165A4 (en) 2019-06-19
EP4016992A2 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
JP7290159B2 (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
WO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JPWO2019078333A1 (ja) 撮像装置、露出制御方法、プログラム、及び、撮像素子
EP3700187B1 (en) Signal processing device and imaging device
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
WO2019189099A1 (ja) 撮像素子、撮像装置、並びに、情報処理方法
KR102649298B1 (ko) 신호 처리 장치 및 신호 처리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151