JP7238887B2 - 情報処理装置、プログラム、及び、情報処理システム - Google Patents

情報処理装置、プログラム、及び、情報処理システム Download PDF

Info

Publication number
JP7238887B2
JP7238887B2 JP2020510715A JP2020510715A JP7238887B2 JP 7238887 B2 JP7238887 B2 JP 7238887B2 JP 2020510715 A JP2020510715 A JP 2020510715A JP 2020510715 A JP2020510715 A JP 2020510715A JP 7238887 B2 JP7238887 B2 JP 7238887B2
Authority
JP
Japan
Prior art keywords
image
restoration
information
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020510715A
Other languages
English (en)
Other versions
JPWO2019188536A1 (ja
Inventor
佳孝 宮谷
光昭 喜多
孝佳 平井
雄登 石津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019188536A1 publication Critical patent/JPWO2019188536A1/ja
Application granted granted Critical
Publication of JP7238887B2 publication Critical patent/JP7238887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本技術は、情報処理装置、プログラム、及び、情報処理システムに関し、特に、撮像レンズを用いずに撮像を行う場合に用いて好適な情報処理装置、プログラム、及び、情報処理システムに関する。
従来、撮像レンズと撮像素子とを組み合わせた撮像装置が一般的によく知られている。しかしながら、撮像レンズと撮像素子とを組み合わせた撮像装置は、小型化に限界がある。
これに対して、近年、撮像レンズを用いずに被写体を撮像し、コンピュテーショナルフォトグラフィを用いて被写体を視認可能な復元画像を生成（復元）する撮像装置（以下、レンズレスカメラと称する）が提案されている（例えば、特許文献１参照）。
国際公開第２０１６／１２３５２９号
しかしながら、レンズレスカメラは、復元画像を生成するための演算処理が必要であり、従来の撮像レンズを用いた撮像装置と比較して演算処理の負荷が大きくなる。
本技術は、このような状況に鑑みてなされたものであり、撮像レンズを用いない撮像において、選択的な演算処理を可能にすることで負荷を低減可能にするものである。
本技術の第１の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを他の情報処理装置から取得する取得部と、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、前記復元画像の前記他の情報処理装置への出力を制御する出力制御部とを備える。
本技術の第２の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、前記復元用情報に基づいて復元用パラメータを設定し、前記復元用パラメータに基づいて、前記検出画像から前記復元画像への変換に用いる復元行列を設定し、前記検出画像及び前記復元行列を用いて前記復元画像を生成する復元処理を行う復元処理部とを備える。
本技術の第３の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、前記復元用情報に基づいて、前記撮像素子と被写体との間の距離である被写体距離、前記検出画像の画素を間引く位置、前記検出画像の画素を加算する位置、並びに、前記復元画像の生成に正則化最小二乗法を用いる場合の正則化パラメータのうち少なくとも１つを含む復元用パラメータを設定し、前記検出画像及び前記復元用パラメータを用いて前記復元画像を生成する復元処理を行う復元処理部とを備える。
本技術の第４の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、復元前の前記検出画像、及び、復元前の前記検出画像の復元に用いる復元用パラメータを学習データとして機械学習を行う学習部と、前記機械学習の結果を用いて、前記検出画像に基づいて前記復元用パラメータの設定を行い、前記検出画像及び前記復元用パラメータを用いて前記復元画像を生成する復元処理を行う復元処理部とを備える。
本技術の第５の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報、及び、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報を含む前記撮像素子に固有の情報とを含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部とを備える。
本技術の第６の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含み、ユーザが設定した設定情報を含み、前記検出画像から前記復元画像を生成するのに用いる復元用情報とを取得する取得部と、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部とを備える。
本技術の第１の側面のプログラムは、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを他の情報処理装置から取得し、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行い、前記復元画像の前記他の情報処理装置への出力を制御する処理をコンピュータに実行させる。
本技術の第７の側面の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御する出力制御部と、前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する取得部とを備える。
本技術の第７の側面のプログラムは、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御し、前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する処理をコンピュータに実行させる。
本技術の第８の側面の情報処理システムは、第１の情報処理装置と、第２の情報処理装置とを備え、前記第１の情報処理装置は、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との前記第２の情報処理装置への出力を制御する第１の出力制御部と、前記検出画像及び前記復元用情報を用いて生成された前記復元画像を前記第２の情報処理装置から取得する第１の取得部とを備え、前記第２の情報処理装置は、前記検出画像及び前記復元用情報を前記第１の情報処理装置から取得する第２の取得部と、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、前記復元画像の前記第１の情報処理装置への出力を制御する第２の出力制御部とを備える。
本技術の第１の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とが他の情報処理装置から取得され、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理が行われ、前記復元画像の前記他の情報処理装置への出力が制御される。
本技術の第２の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とが取得され、前記復元用情報に基づいて復元用パラメータが設定され、前記復元用パラメータに基づいて、前記検出画像から前記復元画像への変換に用いる復元行列が設定され、前記検出画像及び前記復元行列を用いて前記復元画像を生成する復元処理が行われる。
本技術の第３の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とが取得され、前記復元用情報に基づいて、前記撮像素子と被写体との間の距離である被写体距離、前記検出画像の画素を間引く位置、前記検出画像の画素を加算する位置、並びに、前記復元画像の生成に正則化最小二乗法を用いる場合の正則化パラメータのうち少なくとも１つを含む復元用パラメータが設定され、前記検出画像及び前記復元用パラメータを用いて前記復元画像が生成する復元処理が行われる。
本技術の第４の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とが取得され、復元前の前記検出画像、及び、復元前の前記検出画像の復元に用いる復元用パラメータを学習データとして機械学習が行われ、前記機械学習の結果を用いて、前記検出画像に基づいて前記復元用パラメータの設定が行われ、前記検出画像及び前記復元用パラメータを用いて前記復元画像を生成する復元処理が行われる。
本技術の第５の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報、及び、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報を含む前記撮像素子に固有の情報とを含み、前記検出画像から復元画像を生成するのに用いる復元用情報とが取得され、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理が行われる。
本技術の第６の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含み、ユーザが設定した設定情報を含み、前記検出画像から前記復元画像を生成するのに用いる復元用情報とが取得され、前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理が行われる。
本技術の第７の側面においては、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力が制御され、前記検出画像及び前記復元用情報を用いて生成された前記復元画像が取得される。
本技術の第８の側面においては、第１の情報処理装置により、撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との前記第２の情報処理装置への出力が制御され、前記検出画像及び前記復元用情報を用いて生成された前記復元画像が前記第２の情報処理装置から取得され、前記第２の情報処理装置により、前記検出画像及び前記復元用情報が前記第１の情報処理装置から取得され、前記検出画像及び前記復元用情報を用いて前記復元画像が生成され、前記復元画像の前記第１の情報処理装置への出力が制御される。
本技術の第１乃至第８の側面によれば、撮像レンズを用いない撮像において、選択的な処理を可能にすることで演算処理の負荷を低減することができる。
撮像装置の主な構成例を示すブロック図である。 本技術を適用した撮像装置における撮像の原理を説明する図である。 従来の撮像素子と本技術の撮像素子との構成の違いを説明する図である。 撮像素子の第１の構成例を説明する図である。 撮像素子の第１の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 入射角指向性の設計を説明する図である。 被写体距離と入射角指向性を表現する係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を応用して画角を変化させる例を説明する図である。 変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 変形例を説明する図である。 遮光膜によるマスクパターンの例を示す図である。 全画素から読み出す方式の概要を説明するための図である。 任意の一部の画素から読み出す方式の概要を説明するための図である。 規則的に一部の画素から読み出す方式の概要を説明するための図である。 部分領域の画素から読み出す方式の概要を説明するための図である。 画素加算を行う方式の概要を説明するための図である。 各方式を比較して説明するための図である。 指向性を同等とする方法について説明するための図である。 復元行列について説明するための図である。 全画素から読み出す方式の復元行列について説明するための図である。 全画素から読み出す方式の復元行列について説明するための図である。 任意の一部の画素から読み出す方式の復元行列について説明するための図である。 任意の一部の画素から読み出す方式の復元行列について説明するための図である。 規則的に一部の画素から読み出す方式の復元行列について説明するための図である。 規則的に一部の画素から読み出す方式の復元行列について説明するための図である。 部分領域の画素から読み出す方式の復元行列について説明するための図である。 部分領域の画素から読み出す方式の復元行列について説明するための図である。 画素加算を行う方式の復元行列について説明するための図である。 画素加算を行う方式の復元行列について説明するための図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 撮像処理の流れの例を説明するフローチャートである。 カラー画像の場合の読み出し方式の概要を説明するための図である。 情報処理システムの構成例を示すブロック図である。 撮像装置の構成例を示すブロック図である。 情報端末の構成例を示すブロック図である。 情報端末により実現される情報処理部の構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 情報処理装置により実現される情報処理部の構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 情報処理システムの処理を説明するシーケンス図である。 情報端末の例を示す図である。 サービスプランの第１の例を示す表である。 サービスプランの第２の例を示す表である。 被写体距離の設定画面の第１の例を示す図である。 被写体距離の設定画面の第２の例を示す図である。 復元処理の流れの例を説明するフローチャートである。 係数セット集合の例を示す図である。 学習処理の流れの例を説明するフローチャートである。 クライアントの第１の具体例を示す図である。 撮像モジュールの構成例を示す図である。 クライアントの第２の具体例を示す図である。 クライアントの第３の具体例を示す図である。 ジェスチャ対応処理の流れの例を説明するフローチャートである。 ジェスチャ認識処理の流れの例を説明するフローチャートである。 情報処理システムの構成例を示すブロック図である。 義手の外観の構成例の模式図である。 体内情報取得システムの構成例を示す図である。 撮像素子の設置位置の例を示す図である。 撮像素子の設置位置の例を示す図である。 撮像素子の設置位置の例を示す図である。 撮像素子の設置位置の例を示す図である。 マイクロＬＥＤディスプレイに撮像素子を設けた例を示す図である。 マイクロＬＥＤディスプレイに撮像素子を設けた例を示す図である。 通過領域を備えるディスプレイ素子に撮像素子を設けた例を示す図である。 撮像素子の主な構成例を示す図である。 白黒パターンマスクを用いた場合を示す図である。 光干渉マスクを用いた場合を示す図である。
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本技術の基本的な構成例
２．第１の実施の形態（情報処理システム）
３．第２の実施の形態（情報処理システム）
４．第３の実施の形態（義手）
５．第４の実施の形態（体内情報取得システム）
６．第５の実施の形態（撮像素子の設置位置の例）
７．変形例
８．その他
＜＜１．本技術の基本的な構成例＞＞
まず、図１乃至図４５を参照して、本技術の基本的な構成例について説明する。より具体的には、本技術を撮像装置に適用した場合の例について説明する。
＜撮像装置＞
図１は、本技術を適用した撮像装置１００の主な構成例を示す図である。撮像装置１００は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。
図１に示されるように、撮像装置１００は、制御部１０１、入力部１１１、出力部１１２、記憶部１１３、通信部１１４、および記録再生部１１５を有する。また撮像装置１００は、撮像素子１２１、読み出し制御部１２２、復元行列設定部１２３、復元部１２４、関連付け部１２５、およびセンサ部１２６を有する。各処理部等は、バス１１０を介して互いに接続され、互いに情報や命令等を授受することができる。
なお、撮像素子１２１および読み出し制御部１２２を一体化して、撮像部１２０としてもよい。撮像部１２０は、どのような物理的構成により実現されてもよい。例えば、撮像部１２０が、システムLSI（Large Scale Integration）等としてのプロセッサとして実現されてもよい。また、撮像部１２０が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実現されてもよい。また、撮像部１２０を装置として実現するようにしてもよい。
制御部１０１は、撮像装置１００内の各処理部等の制御に関する処理を行う。例えば、制御部１０１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
入力部１１１は、情報の入力に関する処理を行う。例えば、入力部１１１は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部１１１は、それらの入力デバイスによってユーザ等の外部からの指示（入力された操作に対応する情報）を受け付ける。また、例えば、入力部１１１は、外部入力端子を介して、外部の装置から供給される任意の情報（プログラム、コマンド、データ等）を取得する。また、例えば、入力部１１１は、その受け付けた情報（取得した情報）を、バス１１０を介して他の処理部等に供給する。
なお、入力部１１１が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部１１１が有する入力デバイス等の種類は任意であり、その数も任意である。入力部１１１が複数種類の入力デバイス等を有するようにしてもよい。例えば、入力部１１１が、上述した入力デバイス等の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部１１１が、上述した例以外の入力デバイス等を有するようにしてもよい。さらに、例えば、入力部１１１が、バス１１０を介して供給される自身（入力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
出力部１１２は、情報の出力に関する処理を行う。例えば、出力部１１２は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部１１２は、それらの出力デバイス等を用いて、バス１１０を介して他の処理部等から供給される情報を出力する。例えば、出力部１１２は、撮像画像（後述する復元画像）をモニタに表示したり、撮像画像（後述する復元画像）をプロジェクタから投影したり、音声（例えば入力操作や処理結果等に対応する音声）を出力したり、任意の情報（プログラム、コマンド、データ等）を外部（他の機器）に出力したりする。
なお、出力部１１２が有する出力デバイス等の種類は任意であり、その数も任意である。出力部１１２が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部１１２が、上述した出力デバイス等の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部１１２が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部１１２が、バス１１０を介して供給される自身（出力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記憶部１１３は、情報の記憶に関する処理を行う。例えば、記憶部１１３は、ハードディスクや半導体メモリ等のような記憶媒体を有する。例えば、記憶部１１３は、バス１１０を介して他の処理部等から供給される情報（プログラム、コマンド、データ等）をその記憶媒体に記憶する。また、記憶部１１３は、出荷時において任意の情報（プログラム、コマンド、データ等）を記憶していてもよい。また、記憶部１１３は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス１１０を介して他の処理部等に供給する。
なお、記憶部１１３が有する記憶媒体の種類は任意であり、その数も任意である。記憶部１１３が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部１１３が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部１１３が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部１１３が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
通信部１１４は、他の装置との通信に関する処理を行う。例えば、通信部１１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信デバイスを有する。例えば、通信部１１４は、他の装置と通信を行い、バス１１０を介して他の処理部等より供給される情報（プログラム、コマンド、データ等）を、その通信相手である他の装置に供給する。また、例えば、通信部１１４は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス１１０を介して他の処理部等に供給する。
通信部１１４が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部１１４が、有線通信を行うようにしてもよいし、無線通信を行うようにしてもよいし、その両方を行うようにしてもよい。また、例えば、通信部１１４が、バス１１０を介して供給される自身（通信デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記録再生部１１５は、自身に装着された記録媒体１１６を利用した情報の記録や再生に関する処理を行う。例えば、記録再生部１１５は、自身に装着された記録媒体１１６に記録されている情報（プログラム、コマンド、データ等）を読み出し、その情報を、バス１１０を介して他の処理部等に供給する。また、例えば、記録再生部１１５は、バス１１０を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体１１６に書き込む（記録する）。なお、例えば、記録再生部１１５が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
なお、記録媒体１１６は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
撮像素子１２１は、被写体の撮像に関する処理を行う。例えば、撮像素子１２１は、被写体を撮像し、その撮像画像に関するデータ（電子データ）を得る。その際、撮像素子１２１は、撮像レンズ、回折格子等の光学フィルタ、及び、ピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子１２１は、被写体を撮像し、所定の演算によりその撮像画像を得るためのデータ（検出信号等）を得る。
なお、撮像画像は、被写体の像が結像された画素値により構成され、ユーザが目視して画像として認識できる画像である。これに対して撮像素子１２１の画素出力単位（後述）における入射光の検出結果である検出信号により構成される画像（検出画像と称する）は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる（つまり、被写体を視認可能な）画像を復元することができる。この復元された撮像画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。
なお、この復元画像を構成する画像であって、デモザイク処理（または色分離処理等）前の画像をRaw画像と称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる（つまり、被写体を視認可能な）画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。
ただし、撮像素子１２１が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像（Raw画像や撮像画像）も、ユーザが目視して画像として認識することができない（被写体を視認することができない）画像となる。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子１２１が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子１２１が可視光を受光する場合を例に用いて本技術を説明する。
つまり、撮像素子１２１は、被写体を撮像し、検出画像に関するデータを得ることができる。撮像素子１２１は、例えば、その検出画像に関するデータを読み出し制御部１２２を介して復元部１２４に供給し、復元画像を生成（復元）させることができる。また、撮像素子１２１は、例えば、その検出画像に関するデータを、読み出し制御部１２２を介して、関連付け部１２５等に供給し、メタデータ等を関連付けさせることができる。もちろん、撮像素子１２１は、この検出画像に関するデータを、任意の処理部等に供給することができる。また、例えば、撮像素子１２１が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
読み出し制御部１２２は、撮像素子１２１からのデータの読み出し制御に関する処理を行い、検出画像の解像度を制御する。例えば、読み出し制御部１２２は、撮像素子１２１からの検出画像の読み出しを制御し、撮像素子１２１の各画素出力単位からの出力である検出信号を選択的に読み出す。
例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した全ての画素出力単位の検出信号を、検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、一部の画素出力単位を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうちの一部を検出画像に含める検出信号として選択することができる。
例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号を所定数毎に加算し、加算後の検出信号群を検出画像とすることができる。
検出画像に採用する検出信号を選択するということは、言い換えると、不採用の検出信号を選択するということでもある。つまり、読み出し制御部１２２は、検出信号を取捨選択する（全ての検出信号を選択する場合も含む）ことにより、検出画像の解像度を制御（設定）する。例えば、読み出し制御部１２２は、撮像素子１２１から全ての画素の検出信号を読み出したり、撮像素子１２１から検出信号を間引いて読み出したり、撮像素子１２１から読み出した検出信号を間引いたり、撮像素子１２１から読み出した検出信号を所定数毎に加算したりして、検出画像の解像度を制御（設定）する。
読み出し制御部１２２は、読み出した（解像度を設定した）検出画像（間引きや加算等を行う場合は処理後の検出画像）を、バス１１０を介して他の処理部等（例えば、復元行列設定部１２３、復元部１２４、関連付け部１２５等）に供給する。
復元行列設定部１２３は、復元行列の設定に関する処理を行う。検出画像は所定の演算を行うことにより復元画像に変換することができる。この所定の演算は、詳細については後述するが、検出画像に含まれる各検出信号に所定の係数を乗算して互いに加算することである。つまり、所定の行列演算を行うことにより、検出画像を復元画像に変換することができる。本明細書において、この行列演算に用いられる、上述の係数からなる行列を復元行列と称する。
復元行列設定部１２３は、例えば、読み出し制御部１２２により解像度が設定された検出画像に対応する復元行列（読み出し制御部１２２により選択的に読み出された検出信号から復元画像を生成する際に用いられる復元行列）を設定する。つまり、この復元行列は処理対象の検出画像の解像度に対応している。復元行列設定部１２３は、例えば、設定した復元行列を、バス１１０を介して他の処理部等（例えば、復元部１２４や関連付け部１２５等）に供給する。
なお、検出画像を復元画像に変換する所定の行列演算において、検出画像を任意の解像度の復元画像に変換するようにしてもよい。その場合、復元行列設定部１２３が、検出画像の解像度と目標とする復元画像の解像度とに応じた行数および列数の復元行列を設定するようにすればよい。
なお、例えば復元行列設定部１２３が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
復元部１２４は、復元画像の生成に関する処理を行う。例えば、復元部１２４は、所定の演算を行うことにより、撮像素子１２１から供給される検出画像に関するデータ（検出信号等）から復元画像を生成する。また、復元部１２４は、生成した復元画像に関するデータ（画素値等）を、バス１１０を介して他の処理部等に供給する。
なお、撮像素子１２１において、カラーフィルタを用いる等して複数の色成分が混在する検出画像が得られ、復元部１２４が、その検出画像に対して所定の演算を行うことにより、複数の色成分が混在するRaw画像が得られるようにしてもよい。そして、復元部１２４が、その複数の色成分が混在するRaw画像を復元画像として他の処理部等に供給するようにしてもよいし、そのRaw画像に対してデモザイク処理（または色分離処理等）を行い、デモザイク処理（または色分離処理等）後の画像を復元画像として他の処理部等に供給するようにしてもよい。もちろん、撮像素子１２１において、モノクロの検出画像や、色毎の検出画像が得られ、デモザイク処理（または色分離処理等）が不要であるようにしてもよい。
また、復元部１２４が、復元画像に対して、例えばガンマ補正（γ補正）やホワイトバランス調整等の任意の画像処理を施し、画像処理後の復元画像に関するデータを他の処理部等に供給するようにしてもよい。さらに、復元部１２４が、復元画像のデータのフォーマットを変換したり、例えばJPEG（Joint Photographic Experts Group）、TIFF（Tagged Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮方式で圧縮したりし、その変換（圧縮）後のデータを他の処理部等に供給するようにしてもよい。
なお、例えば復元部１２４が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
関連付け部１２５は、データの関連付けに関する処理を行う。例えば、関連付け部１２５は、撮像素子１２１等から供給される検出画像に関するデータ（検出信号等）に、復元画像生成のための所定の演算に用いられるデータ（例えば係数等）を関連付ける。
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、例えば、関連付け部１２５は、関連付けたデータを、バス１１０を介して他の処理部等に供給する。なお、例えば関連付け部１２５が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
センサ部１２６は、検出に関する処理を行う。例えば、センサ部１２６は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部１２６は、撮像装置１００の周辺の状態に関するパラメータや、撮像装置１００の状態に関するパラメータ等についての検出を行う。例えば、センサ部１２６は、撮像素子１２１の状態に関するパラメータについての検出を行う。また、例えば、センサ部１２６は、検出したパラメータを含む情報を、バス１１０を介して他の処理部等に供給する。なお、例えばセンサ部１２６が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
＜撮像素子について＞
次に、撮像素子１２１について図２乃至図２０を参照して説明する。
＜画素と画素出力単位＞
本明細書においては、「画素」（または「画素出力単位」）という用語を用いて、本技術を説明する。本明細書において「画素」（または「画素出力単位」）とは、撮像素子１２１の入射光を受光するための物理構成であって、他の物理構成とは独立して受光することができる物理構成を少なくとも１つ含む領域（画素領域とも称する）の分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード（PD（Photo Diode））である。１画素に形成されるこの物理構成（例えばフォトダイオード）の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成は、「受光することができる物理構成」を少なくとも備えていれば、後は任意である。
また、「画素」（つまり画素単位の物理構成）から読み出された検出信号を「画素単位（または画素出力単位）の検出信号」等と称する場合もある。さらに、この画素単位（または画素出力単位）の検出信号は、「画素単位検出信号（または画素出力単位検出信号）」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
撮像素子１２１の画素単位の検出信号の値（出力画素値）は、被写体からの入射光の入射角指向性（入射角に対する特性）を他と独立して有することができる。つまり、撮像素子１２１の各画素単位（画素出力単位）は、その出力画素値の入射角指向性を独立に設定可能な構成を有する。したがって、撮像素子１２１において、少なくとも２つの画素単位の出力画素値の入射角指向性が互いに異なる。
なお、上述したように「画素（または画素出力単位）」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
また、この画素単位検出信号（出力画素値）は、任意の段階で複数をまとめて１つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
また、この検出信号は、撮像素子１２１から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度（データ数）は可変である。
ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子１２１が複数の画素が行列状に配置される（画素アレイが形成される）画素領域を有するものとして説明する。なお、撮像素子１２１の画素（または画素出力単位）の配列パターンは任意であり、この例に限定されない。例えば、画素（または画素出力単位）がハニカム構造状に配置されるようにしてもよい。また、例えば、画素（または画素出力単位）が１行（または１列）状に配置されるようにしてもよい。つまり、撮像素子１２１がラインセンサであってもよい。
なお、撮像素子１２１（の画素）が感度を有する波長域は任意である。例えば、撮像素子１２１（の画素）が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。
なお、以下、「画素」と「画素出力単位」が異なる意味で用いられる場合、その旨を明記する。従って、特に明記されていない場合、「画素」と「画素出力単位」は相互に置き換えることが可能である。
＜入射角指向性＞
上述したように、撮像素子１２１は、複数の画素出力単位を有する。そして、撮像素子１２１は、その複数の画素出力単位のうち、少なくとも２つの画素出力単位の出力画素値の入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまり、撮像素子１２１は、複数画素出力単位分の検出信号（複数の画素出力単位検出信号）を得ることができ、その内の少なくとも２つの画素出力単位検出信号の入射角指向性が互いに異なる。
ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り（偏りがない場合も含む）を「入射角指向性」と称する。
例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその２つの画素出力単位の物理構成に入射しても、各画素出力単位の検出信号の信号レベル（検出信号レベル）は、互いに異なる値となり得る。撮像素子１２１（の各画素出力単位）は、このような特徴を持つ物理構成を有する。
より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、上述のように、少なくとも２つの画素出力単位の間で、その出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。この入射角指向性は、どのような方法により実現されてもよい。例えば、入射角指向性は、光電変換素子（フォトダイオード等）の手前（光入射側）に遮光膜を設ける等して実現されるようにしてもよい。
一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射され、全画素の検出信号の信号レベルが略同一になるため、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前（光入射側）に撮像レンズやピンホールが設けられる。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる（つまり、結像された被写体の撮像画像を得ることができる）。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が非常に少なく、実用に耐えない。これに対して、露光時間を長くしたり、ゲインを上げたりする等の対策を行うと、高速な被写体の撮像においてはボケが生じ易くなったり、自然な色表現ではなくなったりするおそれがあった。
これに対して撮像素子１２１は、図２の上段左部で示されるように、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なる。ただし、全ての画素の受光感度特性が完全に異なる必要はなく、例えば、一部の画素が同一の受光感度特性を持つようにしてもよい。
被写体面１３１を構成する光源が点光源であることを前提とした場合、撮像素子１２１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子１２１の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
より詳細には、撮像素子１２１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角指向性は、入射角度に応じた受光感度を表す係数で表現することができる。また、各画素における入射光に応じた検出信号の信号レベル（検出信号レベルとも称する）は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められる。
より具体的には、図２の上段左部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
ここで、α１は、撮像素子１２１上の位置Ｐａにおいて、被写体面１３１上の点光源ＰＡからの光線の入射角度に応じて設定される係数である。また、β１は、撮像素子１２１上の位置Ｐａにおいて、被写体面１３１上の点光源ＰＢからの光線の入射角度に応じて設定される係数である。さらに、γ１は、撮像素子１２１上の位置Ｐａにおいて、被写体面１３１上の点光源ＰＣからの光線の入射角度に応じて設定される係数である。
式（１）に示されるように、位置Ｐａにおける検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡからの光線の光強度”ａ”と係数α１との積と、位置Ｐａにおける点光源ＰＢからの光線の光強度”ｂ”と係数β１との積と、位置Ｐａにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ１との積との和（合成値）により表現される。以下において、係数αｘ、βｘ、γｘ（ｘは自然数）を合わせて係数セットと称する。
同様に、式（２）の係数セットα２，β２，γ２は、撮像素子１２１上の位置Ｐｂにおいて、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｂにおける検出信号レベルＤＢは、上述の式（２）のように、位置Ｐｂにおける点光源ＰＡからの光線の光強度”ａ”と係数α２との積と、位置Ｐｂにおける点光源ＰＢからの光線の光強度”ｂ”と係数β２との積と、位置Ｐｂにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ２との積との和（合成値）により表現される。また、式（３）の係数α３，β３，γ３は、撮像素子１２１上の位置Ｐｃにおいて、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｃにおける検出信号レベルＤＣは、上述の式（３）のように、位置Ｐｃにおける点光源ＰＡからの光線の光強度”ａ”と係数α３との積と、位置Ｐｃにおける点光源ＰＢからの光線の光強度”ｂ”と係数β３との積と、位置Ｐｃにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ３との積との和（合成値）により表現される。
以上のように、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図２の上段右部で示される検出信号レベルは、被写体の像が結像された画像（撮像画像）に対応する検出信号レベルではないので、図２の下部右部に示される画素値とは異なるものである（一般的に両者は一致しない）。
ただし、この係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、ａ，ｂ，ｃを変数として上述の式（１）乃至式（３）の連立方程式を解くことにより、図２の下段右部で示されるような各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求めることができる。これにより画素値の集合である復元画像（被写体の像が結像された画像）が復元される。
撮像素子１２１は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタ、及び、ピンホール等を用いずに、少なくとも２つの画素出力単位において互いに異なる入射角指向性を有する。結果として、撮像レンズ、回折格子等からなる光学フィルタ、及び、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
＜入射角指向性の形成＞
図３の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図３の右部は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図３においては、水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子１５１においては、図３の左部の例のように、入射角指向性が同一の画素１５１ａがアレイ状に配置されている。これに対して図３の右部の例の撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部であって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂが設けられており、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なる（すなわち入射角指向性が互いに異なる）構成とされている。
より具体的には、例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられており、画素１２１ａ－２においては、受光領域における右側の一部を、遮光膜１２１ｂ－１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少なくなるため、所望の光量が確保できる程度の面積とすることが望ましい。例えば、遮光膜１２１ｂの面積を、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
＜撮像素子の構成例＞
図４を参照して、この場合の撮像素子１２１の構成例について説明する。図４の上段は、撮像素子１２１の側面断面図であり、図４の中段は、撮像素子１２１の上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。
図４に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、被写体からの入射光に対する入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１５，１２１ａ－１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
尚、画素１２１ａ－１５，１２１ａ－１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図４においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図のみが示されているが、いうまでもなく、これ以上の数の画素１２１ａが配置されており、それらの図示が省略されている。
さらに、画素１２１ａ－１５，１２１ａ－１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１５，１２１ｅ－１６を備えている。また、フォトダイオード１２１ｅ－１５，１２１ｅ－１６の上には、それぞれ上からオンチップレンズ１２１ｃ－１５，１２１ｃ－１６、およびカラーフィルタ１２１ｄ－１５，１２１ｄ－１６が設けられている。
オンチップレンズ１２１ｃ－１５，１２１ｃ－１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、透明のフィルタでもよいし、無くてもよい。
画素１２１ａ－１５，１２１ａ－１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ－１５乃至１２１ｐ－１７が形成されており、隣接する画素間のクロストークを抑制する。
また、遮光膜１２１ｂ－１５，１２１ｂ－１６は、図４の上段および中段で示されるように、上面から見て一部が受光面Ｓを遮光している。画素１２１ａ－１５，１２１ａ－１６におけるフォトダイオード１２１ｅ－１５，１２１ｅ－１６の受光面Ｓにおいては、遮光膜１２１ｂ－１５，１２１ｂ－１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、必ずしも撮像素子１２１の全画素１２１ａで互いに異なる必要はなく、一部の画素１２１ａ間で同じであってもよい。
図４の上段で示されるような構成により、遮光膜１２１ｐ－１５の右端部と、遮光膜１２１ｂ－１５の上方端部とが接続されると共に、遮光膜１２１ｂ－１６の左端部と遮光膜１２１ｐ－１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
さらに、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図４の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
以上のような回路構成により、図４の下段で示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。
このように、図４の場合の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
＜撮像素子の他の構成例＞
また、入射角指向性は、例えば受光素子（例えばフォトダイオード）の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
例えば、画素内に複数の受光素子（例えばフォトダイオード）を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
図５は、撮像素子１２１の他の構成例を示す図である。図５の上段には、撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
図５に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、その出力画素値の入射角指向性を画素出力単位毎に独立に設定し得る。
図５に示されるように、撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図４の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
図５のように構成された撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４に分離することによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークを防止することができる。即ち、図５の遮光膜１２１ｐは、図４の撮像素子１２１の遮光膜１２１ｐと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
詳細については後述するが、フォトダイオード１２１ｆ－１乃至１２１ｆ－４は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のいずれから電荷を読み出すかによって、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素１２１ａの出力画素値の入射角指向性を制御することができる。
図５の撮像素子１２１の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有する。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。尚、図５の下段において、図４の下段と同一の構成については、その説明を省略する。
図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図５の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。
図５の下段に示される回路において、フォトダイオード１６１－１乃至１６１－４を互いに区別して説明する必要がない場合、フォトダイオード１６１と称する。また、転送トランジスタ１６２－１乃至１６２－４を互いに区別して説明する必要がない場合、転送トランジスタ１６２と称する。
図５の下段に示される回路において、いずれかの転送トランジスタ１６２がオンされると、その転送トランジスタ１６２に対応するフォトダイオード１６１の電荷が読み出され、共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード１６１の電荷は互いに独立に読み出すことができ、どの転送トランジスタ１６２をオンにするかによって、どのフォトダイオード１６１から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ１６２をオンにするかによって、各フォトダイオード１６１による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも２つの画素間において、電荷を読み出すフォトダイオード１６１を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード１６１を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード１６１の選択により、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。
例えば、図５において、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中上下方向の入射角指向性を持たせることができる。
なお、図５の画素１２１ａの各フォトダイオード１２１ｆのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内（例えばＦＤ部１６３）において加算するようにしてもよい。
また、電荷（またはその電荷に対応する信号）を加算するフォトダイオード１２１ｆの組み合わせは任意であり、上述の例に限定されない。例えば、３つ以上のフォトダイオード１２１ｆの電荷（またはその電荷に対応する信号）を加算するようにしてもよい。また、例えば、加算を行わずに、１つのフォトダイオード１２１ｆの電荷を読み出すようにしてもよい。
なお、電子シャッタ機能を用いて電荷のＦＤ部１６３への読み出しの前にフォトダイオード１６１（フォトダイオード１２１ｆ）に蓄積された検出値（電荷）をリセットすることで、画素１２１ａ（の検出感度）に所望の入射角指向性を持たせるようにしてもよい。
電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のＦＤ部１６３への読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素１２１ａの検出信号レベルへの寄与が無い状態とすることができ、リセットとＦＤ部１６３への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
以上のように、図５の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を生成する。換言するに、例えば、フォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を生成する。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。ただし、フォトダイオード１２１ｆ－１乃至１２１ｆ－４を用いて、１画素分の検出信号を生成する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
以上においては画素内に４個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
また、以上においては、画素内を４等分した４つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい（大きさや形状が他と異なる部分領域が含まれていてもよい）。または、各部分領域内に配置されるフォトダイオードの位置（部分領域内における位置）、大きさ、形状等が、フォトダイオード毎（部分領域毎）に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
さらに、撮像素子１２１の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子１２１の１画素以上において、これらのパラメータの内の１つ以上のパラメータが、他の画素と異なっていてもよい。
例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、部分領域の大きさや形状が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか１つが他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
さらに例えば、部分領域のパラメータ（大きさ、形状）と、フォトダイオードのパラメータ（位置、大きさ、形状）との両方が他の画素と異なる画素を１画素以上有するようにしてもよい。
また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置されるフォトダイオードの数が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎に分割数（フォトダイオードの数）を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
＜入射角指向性を生じさせる原理について＞
撮像素子１２１における各画素の入射角指向性は、例えば、図６で示されるような原理により発生する。尚、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。
また、図６の左上部および右上部における１画素は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図６の左下部および右下部における１画素は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
図６の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図６の右上部においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
例えば、図６の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し易い。一方、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し難い。したがって、図６の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
これに対して、例えば、図６の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲では受光し難い。一方、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲で受光し易い。したがって、図６の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
また、図６の左下部の場合、図中の左右にフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
すなわち、図６の左下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－２に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。
同様に、図６の右下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ－１２の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。
尚、図６においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、これは説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
＜オンチップレンズを含む構成における入射角指向性について＞
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
すなわち、撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図７で示されるように設定される。すなわち、図７の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ－１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ－１１の順に積層されている。図７の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ－１２、カラーフィルタ１２１ｄ－１２、およびフォトダイオード１２１ｅ－１２の順に構成されている。
尚、オンチップレンズ１２１ｃ－１１，１２１ｃ－１２、カラーフィルタ１２１ｄ－１１，１２１ｄ－１２、およびフォトダイオード１２１ｅ－１１，１２１ｅ－１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
撮像素子１２１においては、さらに、図７の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ－１１，１２１ｂ－１２が設けられている。
図７の中段左部で示されるように、図中のフォトダイオード１２１ｅ－１１の右側半分を遮光するような遮光膜１２１ｂ－１１が設けられている場合、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベルが変化する。
すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図７の中段左側の入射角度θ２１側の入射角度θを正の値とし、図７の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図７においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図７において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
また、図７の中段右部で示されるように、図中のフォトダイオード１２１ｅ－１２の左側半分を遮光するような遮光膜１２１ｂ－１２が設けられている場合、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベルが変化する。
すなわち、図７の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。
尚、図７の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
この図７の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせることが可能となる。尚、図７の上段における実線の波形は、図７の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図７の上段における点線の波形は、図７の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性（受光感度特性）であるが、図７の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
さらに、図７の下段左部で示されるように、１個のオンチップレンズ１２１ｃ－１１に対して２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられる構成とし（画素出力単位が２個のフォトダイオード１２１ｆ－１，１２１ｆ－２から構成され）、図中左部のフォトダイオード１２１ｆ－１のみの検出信号を用いるようにすることで、図７の中段左部におけるフォトダイオード１２１ｅ－１１の右側を遮光した状態と同じ検出信号レベルの検出信号を得ることができる。
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ－１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が読み出されないフォトダイオード１２１ｆ－２の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図７の下段右部で示されるように、１個のオンチップレンズ１２１ｃ－１２に対して２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられる構成とし、図中右部のフォトダイオード１２１ｆ－１２のみの検出信号を用いるようにすることで、図７の中段右部におけるフォトダイオード１２１ｅ－１２の左側を遮光した状態と同じ検出信号レベルの検出信号を得ることができる。
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されないフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が読み出されるフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、検出信号レベルが大きくなる。
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図７の中段で示される構成においては、画素１２１ａに、１個のフォトダイオード１２１ｅ－１１およびフォトダイオード１２１ｅ－１２が形成されている。これに対して、図７の下段で示される構成においては、画素１２１ａに、２個のフォトダイオード１２１ｆ－１および１２１ｆ－２、並びに、フォトダイオード１２１ｆ－１１および１２１ｆ－１２が形成されている。したがって、例えば、図７の下段においては、フォトダイオード１２１ｆの単体では、１画素は構成されない。
また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
また、図７の中段で示されるように、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）を異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
＜入射角指向性の設定＞
例えば、図８の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ－αにおいて重みＷｘが１となり、θａ－α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（－（θｘ－θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｘを設定する。尚、ここでは、重みＷｘが０，０．５，１である例について説明するが、重みＷｘが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ－αにおいて重みＷｙが０となり、θｂ－α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ－θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数（係数セット）を求めることができる。
また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図８の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図８の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子１２１における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
＜オンチップレンズと撮像レンズとの違い＞
上述のように、撮像素子１２１は撮像レンズを必要としない。ただし、オンチップレンズ１２１ｃは、少なくとも、図５を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ１２１ｃを通る光は、対応する１画素を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言するに、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
＜被写体面と撮像素子との距離の関係＞
次に、図９を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
図９の上段左部で示されるように、撮像素子１２１と被写体面１３１までの被写体距離が距離ｄ１である場合、例えば、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣに対応する撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
これに対して、図９の下段左部で示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面１３１’である場合、すなわち、撮像素子１２１から見て、被写体面１３１よりも奥の被写体面１３１’の場合、検出信号レベルは、図９の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
しかしながら、この場合被写体面１３１’上の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光強度ａ'，ｂ'，ｃ'の光線が撮像素子１２１の各画素において受光される。この際、撮像素子１２１上で受光される、光強度ａ'，ｂ'，ｃ'の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で示されるように表現されることになる。
ＤＡ＝α１１×ａ'＋β１１×ｂ'＋γ１１×ｃ'
・・・（４）
ＤＢ＝α１２×ａ'＋β１２×ｂ'＋γ１２×ｃ'
・・・（５）
ＤＣ＝α１３×ａ'＋β１３×ｂ'＋γ１３×ｃ'
・・・（６）
ここで、係数セットα１１，β１１，γ１１、係数セットα１２，β１２，γ１２、係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面１３１における係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３に対応する被写体面１３１’の係数セット群である。
従って、式（４）乃至式（６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、被写体面１３１の点光源ＰＡ，ＰＢ，ＰＣからの光線の光強度（ａ，ｂ，ｃ）を求めた手法と同様の手法で、被写体面１３１’の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光線の光強度（ａ'，ｂ'，ｃ'）を求めることが可能になる。その結果、被写体面１３１’の被写体の復元画像を求めることが可能となる。
すなわち、図１の撮像装置１００においては、撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することが可能になる。すなわち、コンピュテーショナルフォトグラフィが実現される。
また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができるので、特定された被写体距離や画角の復元画像を高い精度で求めることが可能となる。
ここで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めるようにすることで、復元画像を高い精度で求められる理由について説明する。
例えば、図１０の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１０の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ'とを考える。
画素１２１ａは、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図１０の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ'は、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図１０の画像Ｉ２を復元するために用いられる。
これは、図１０の画素１２１ａが、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ａとなるため、被写体面１３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
これに対して、図１０の画素１２１ａ'は、図１０の画素１２１ａよりも遮光される範囲が広いため、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ｂ（＜Ａ）となるため、被写体面１３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
つまり、遮光範囲が狭い図１０の画素１２１ａは、被写体面１３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図１０の画素１２１ａ'は、被写体面１３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１０の画素１２１ａ，１２１ａ'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
尚、図１２は、撮像素子１２１の中心位置Ｃ１に対する、被写体面１３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図１２においては、被写体面１３１上の位置と、被写体面１３１上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図１２の右部には、図１０における画素１２１ａ，１２１ａ'が示されている。
例えば、図１１の下段で示されるように、点線で囲まれた範囲ＺＡに図１０の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに図１０の画素１２１ａ'を、それぞれ所定画素数ずつ集めて撮像素子１２１を構成する場合、範囲ＺＡの画素１２１ａを用いることで、被写体幅Ｗ１に対応する画角ＳＱ１の画像を適切に復元することができる。同様に、範囲ＺＢの画素１２１ｂを用いることで、被写体幅Ｗ２に対応する画角ＳＱ２の画像を適切に復元することができる。
尚、図１１の下段においては、図中の左側に画素１２１ａ'が所定画素数だけ設けられ、右側に画素１２１ａが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ'とは、ランダムに混在して配置されることが望ましい。
また、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
以上のような撮像素子１２１を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子、及び、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になる。また、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。さらに、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
また、撮像素子１２１を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。すなわち、コンピュテーショナルフォトグラフィが実現される。
さらに、撮像素子１２１は、画素単位で入射角指向性を持つことができるので、特許文献１のように光学フィルタと従来の撮像素子を用いる場合と比較して、多画素化を実現することができ、高解像度で、かつ、高角度分解能の撮像画像を得ることができる。
また、撮像素子１２１は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子１２１を用いることにより、環境耐性の高い装置を実現することが可能となる。
＜第１の変形例＞
図３の右部においては、撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜１２１ｂの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
なお、図３の右部で示される例のように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂを、横帯タイプの遮光膜１２１ｂと称する。これに対して、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂを、縦帯タイプの遮光膜１２１ｂと称する。
また、図１３の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、画素１２１ａにＬ字型の遮光膜１２１ｂを設けるようにしてもよい。図１３の左部において、黒色で示される部分が遮光膜１２１ｂである。つまり、遮光膜１２１ｂ－２１乃至遮光膜１２１ｂ－２４は、それぞれ、画素１２１ａ－２１乃至画素１２１ａ－２４の遮光膜である。
これらの各画素（画素１２１ａ－２１乃至画素１２１ａ－２４）は、図１３の右部に示されるような入射角指向性を有することになる。図１３の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなる。このような受光感度の強度は、遮光膜１２１ｂにより遮光される範囲により決定される。
また、図１３の左部において、各画素１２１ａ内のアルファベットは、カラーフィルタの色を示している（説明の便宜上記載したものであり、実際に表記されているものではない）。画素１２１ａ－２１は緑色のカラーフィルタが配置されるＧ画素であり、画素１２１ａ－２２は赤色のカラーフィルタが配置されるＲ画素であり、画素１２１ａ－２３は青色のカラーフィルタが配置されるＢ画素であり、画素１２１ａ－２４は緑色のカラーフィルタが配置されるＧ画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パターンは任意である。遮光膜１２１ｂの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
図１３の左部においては、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中左辺と下辺の側を遮光する例が示されているが、この「Ｌ字型」の遮光膜１２１ｂの向きは任意であり、図１３の例に限定されない。例えば、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中下辺と右辺の側を遮光するようにしてもよいし、画素１２１ａの図中右辺と上辺の側を遮光するようにしてもよいし、画素１２１ａの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜１２１ｂの向きは、画素毎に独立に設定することができる。なお、この「Ｌ字型」の遮光膜１２１ｂを「Ｌ字タイプの遮光膜１２１ｂ」とも総称する。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のＬ字タイプの遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。
＜第２の変形例＞
以上においては、横帯タイプ、縦帯タイプ、またはＬ字タイプの遮光膜を各画素に設ける例を示したが、例えば、図１４の撮像素子１２１’のように、各画素に矩形開口を設け、矩形開口の周囲を遮光する遮光膜１２１ｂ（図中、黒色で示された範囲）を設けるようにしてもよい。すなわち、各画素について、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
尚、図１４の撮像素子１２１’においては、画素１２１ａ内の矩形開口の位置が、撮像素子１２１’内における画素１２１ａの水平方向及び垂直方向の位置に応じて規則的に変化している。この点について、さらに図１５を参照して説明する。
尚、図１５の右部は、図１４と同一の撮像素子１２１’の構成を示している。また、図１５の左部は、図１５の右部における撮像素子１２１’の画素１２１ａの構成を示している。
図１５の左部の黒色部で示される、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって幅ｄｘ１の範囲、並びに、上辺及び下辺から画素１２１ａ内に向かって高さｄｙ１の範囲からなる主遮光部Ｚ１０１は、全ての画素１２１ａで共通である。すなわち、全ての画素１２１ａにおいて、少なくとも主遮光部Ｚ１０１が遮光される。
また、全ての画素１２１ａにおいて、主遮光部Ｚ１０１により囲まれた方形状の範囲Ｚ１０２内に、同じ大きさの矩形で、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられる。したがって、範囲Ｚ１０２内の矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
さらに、撮像素子１２１’内の左端部かつ上端部の画素１２１ａ－１において、矩形開口部Ｚ１１１の左辺は、画素１２１ａの左辺から幅ｄｘ１の位置に配置され、矩形開口部Ｚ１１１の上辺は、画素１２１ａの上辺から高さｄｙ１の位置に配置されている。
画素１２１ａ－１の右隣の画素１２１ａ－２において、矩形開口部Ｚ１１１の左辺は、画素１２１ａの左辺から幅ｄｘ２の位置に配置され、矩形開口部Ｚ１１１の上辺は、画素１２１ａの上辺から高さｄｙ１の位置に配置されている。
以下同様に、画素１２１ａの位置が水平方向に進むにしたがって、矩形開口部Ｚ１１１の左辺は、画素１２１ａの左辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎ（ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎ）の位置へと移動する。幅ｄｘ１，ｄｘ２・・・ｄｘｎが変化する間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値と等しくなる。すなわち、幅ｄｘ１，ｄｘ２・・・ｄｘｎが変化する間隔は、水平方向の画素数ｎにより決定され、復元する被写体分解能（角度分解能）に依る。
また、画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において等しくなる。
さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３において、矩形開口部Ｚ１１１の左辺は、画素１２１ａの左辺から幅ｄｘ１の位置に配置され、矩形開口部Ｚ１１１の上辺は、画素１２１ａの上辺から高さｄｙ２の位置に配置されている。
以下同様に、画素１２１ａの位置が垂直方向に進むにしたがって、矩形開口部Ｚ１１１の上辺は、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｍ（ｄｙ１＜ｄｙ２＜・・・＜ｄｙｍ）の位置へと移動する。高さｄｙ１，ｄｙ２・・・ｄｙｍが変化する間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値と等しくなる。すなわち、高さｄｙ１，ｄｙ２・・・ｄｙｍが変化する間隔は、垂直方向の画素数ｍにより決定され、復元する被写体分解能（角度分解能）に依る。
また、画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において等しくなる。
このように、図１４及び図１５の撮像素子１２１’の各画素１２１ａは、撮像素子１２１’内の水平方向および垂直方向の位置に対応して遮光する範囲が変化するような入射角指向性を有する。
なお、撮像素子１２１’を構成する各画素１２１ａの主遮光部および矩形開口部を変化させることで、画角を変化させることができる。
具体的には、図１６の右部は、図１５（図１４）の撮像素子１２１’に対して画角を広くする場合の撮像素子１２１’の構成を示している。また、図１６の左部は、図１６の右部における撮像素子１２１’の画素１２１ａの構成を示している。
すなわち、図１６の左部で示されるように、例えば、画素１２１ａ内に、図１５における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図１６左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
より詳細には、図１６の左部の黒色部で示される、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって幅ｄｘ１'（＜ｄｘ１）の範囲、並びに、上辺及び下辺から画素１２１ａ内に向かって高さｄｙ１'（＜ｄｙ１）の範囲からなる主遮光部Ｚ１５１は、全ての画素１２１ａで共通である。すなわち、全ての画素１２１ａにおいて、少なくとも主遮光部Ｚ１５１が遮光される。
また、全ての画素１２１ａにおいて、主遮光部Ｚ１５１により囲まれた方形状の範囲Ｚ１５２内に、同じ大きさの矩形で、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１６１が設けられる。したがって、範囲Ｚ１５２内の矩形開口部Ｚ１６１以外の範囲は、遮光膜１２１ｂにより遮光される。
さらに、撮像素子１２１’内の左端部かつ上端部の画素１２１ａ－１において、矩形開口部Ｚ１６１の左辺は、画素１２１ａの左辺から幅ｄｘ１’の位置に配置され、矩形開口部Ｚ１６１の上辺は、画素１２１ａの上辺から高さｄｙ１’の位置に配置されている。
画素１２１ａ－１の右隣の画素１２１ａ－２において、矩形開口部Ｚ１６１の左辺は、画素１２１ａの左辺から幅ｄｘ２’の位置に配置され、矩形開口部Ｚ１６１の上辺は、画素１２１ａの上辺から高さｄｙ１’の位置に配置されている。
以下同様に、画素１２１ａの位置が水平方向に進むにしたがって、矩形開口部Ｚ１６１の左辺は、画素１２１ａの左辺から幅ｄｘ１’，ｄｘ２’・・・ｄｘｎ’（ｄｘ１’＜ｄｘ２’＜・・・＜ｄｘｎ’）の位置へと移動する。幅ｄｘ１’，ｄｘ２’・・・ｄｘｎ’が変化する間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の幅を引いた幅を水平方向の画素数ｎで割った値と等しくなる。すなわち、幅ｄｘ１’，ｄｘ２’・・・ｄｘｎ’が変化する間隔は、水平方向の画素数ｎにより決定され、復元する被写体分解能（角度分解能）に依る。
また、画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において等しくなる。
さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３において、矩形開口部Ｚ１６１の左辺は、画素１２１ａの左辺から幅ｄｘ１’の位置に配置され、矩形開口部Ｚ１６１の上辺は、画素１２１ａの上辺から高さｄｙ２’の位置に配置されている。
以下同様に、画素１２１ａの位置が垂直方向に進むにしたがって、矩形開口部Ｚ１６１の上辺は、画素１２１ａの上辺から高さｄｙ１’，ｄｙ２’・・・ｄｙｍ’（ｄｙ１’＜ｄｙ２’＜・・・＜ｄｙｍ’）の位置へと移動する。高さｄｙ１’，ｄｙ２’・・・ｄｙｍ’が変化する間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値と等しくなる。すなわち、高さｄｙ１’，ｄｙ２’・・・ｄｙｍ’が変化する間隔は、垂直方向の画素数ｍにより決定され、復元する被写体分解能（角度分解能）に依る。
また、画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において等しくなる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる撮像素子１２１’を実現することが可能となる。
さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させるようにしてもよい。
例えば、図１７で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。
この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を生成することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を生成することが可能となる。
また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
＜第３の変形例＞
ところで、撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、復元部１２４等による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとして、この乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
すなわち、例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせることで、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに変化するようにすることで、各画素の入射角指向性における乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させるようにしてもよい。
すなわち、例えば、図１８の撮像素子１２１’’で示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を変化させることができるので、入射角指向性の乱雑さを抑え込むことができ、結果として、係数セットのパターンを低減させることが可能となり、後段（例えば、復元部１２４等）における演算処理の処理負荷を低減させることが可能となる。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。
＜第４の変形例＞
画素単位の遮光膜１２１ｂの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよいし、遮光膜１２１ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。この１ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子１２１がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
また、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
また、例えば、分割位置（各部分領域の大きさや形状）の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜１２１ｂの場合と同様に、ユニット毎に設定するようにしてもよい。
＜フォトダイオードの制御＞
図５を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード１２１ｆのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
例えば、図１９に示されるように、画素１２１ａに、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の９個（縦３個×横３個）のフォトダイオード１２１ｆが配置されているとする。この場合、この画素１２１ａを、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９を有する画素１２１ａ－ｂとして用いるようにしてもよいし、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５を有する画素１２１ａ－ｓとして用いるようにしてもよい。
例えば、画素１２１ａを画素１２１ａ－ｂとする場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の当該画素１２１ａの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素１２１ａを画素１２１ａ－ｓとする場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の当該画素１２１ａの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード１２１ｆ（フォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９）は、出力画素値に寄与しないように制御される。
つまり、例えば複数の画素１２１ａ－ｂ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素１２１ａ－ｓ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ－１１１、１２１ｆ－１１２、１２１ｆ－１１４、および１２１ｆ－１１５の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード１２１ｆ－１１３、１２１ｆ－１１６、１２１ｆ－１１７乃至１２１ｆ－１１９は、これらの画素間で共通して、出力画素値に寄与しない。
なお、画素１２１ａを画素１２１ａ－ｂとするか画素１２１ａ－ｓとするかは、画素毎に設定することができる。また、この設定をユニット（複数画素）毎に行うことができるようにしてもよい。
また、上述したように撮像素子１２１の各画素（各画素出力単位）にはオンチップレンズが１つ形成される。つまり、画素１２１ａが図１９に示される例のような構成の場合、図２０に示されるように、そのフォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９に対して１つのオンチップレンズ１２１ｃが設けられる。したがって、図１９を参照して説明したように画素１２１ａを画素１２１ａ－ｂとする場合も、画素１２１ａ－ｓとする場合も、１画素（１画素出力単位）と１つのオンチップレンズ１２１ｃとが１対１に対応する。
＜検出画像の解像度制御＞
以上においては撮像素子１２１について説明した。図１の撮像装置１００においては、以上のような撮像素子１２１を用いる。上述したように、この撮像素子１２１は、画素（画素出力単位）毎に入射角指向性を有する。例えば図２１に示されるように、遮光膜１２１ｂで画素１２１ａ（画素出力単位）の一部を遮光することによってこの入射角指向性が形成される。
従来の撮像素子では、検出画像の解像度を制御することができなかった。つまり、撮像素子のすべての画素（画素出力単位）の検出信号を読み出し、読み出したすべての検出信号を用いて検出画像が生成された。そして、検出画像をどのように処理すれば解像度を変換することができるかは開示されていない。特許文献１にもそのような旨は記載も示唆もされていない。
したがって、例えば、撮像画像を低解像度化するためには、検出画像を撮像画像に変換してから低解像度化を行わなければならなかった。つまり、低解像度化する場合であっても、撮像素子１２１からの検出画像の読み出しやその検出画像から撮像画像への変換（画像処理）は高解像度の状態で行わなければならなかった。そのため、不要に負荷が増大し、不要に消費電力が増大するおそれがあった。
これに対して撮像装置１００は、撮像素子１２１が図２１に示されるように画素（画素出力単位）毎に入射角指向性を有しているので、画素（画素出力単位）毎に検出信号を取捨選択することができる。読み出し制御部１２２が、このような撮像素子１２１からの検出画像の読み出しを制御し、撮像素子１２１の各画素出力単位において得られる入射光の検出結果である検出信号のうち、検出画像に含める検出信号を選択するので、検出画像の解像度を制御することができる。したがって、例えば、検出画像の解像度を撮像素子１２１の解像度よりも低減させることができる。つまり、不要な消費電力の増大を抑制することができる。
＜全画素モード＞
次に、この読み出し制御部１２２による制御について説明する。撮像装置１００は、図２２に示されるように、撮像素子１２１の全画素の検出信号を読み出し、すべての検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを全画素モードと称する。
図２２において、撮像素子１２１内の各四角は画素１２１ａ（画素出力単位）を示しており、撮像素子１２１内にその画素アレイの様子が模式図として示されている。なお、図２２においては、水平方向に８画素、垂直方向に６画素の画素アレイが示されているが、撮像素子１２１の画素数は任意である。本明細書では撮像素子１２１が水平方向にＷ画素、垂直方向にＨ画素の画素アレイを有するものとする。
全画素モードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の全画素から検出信号を読み出させる。つまり、解像度（Ｗ×Ｈ）の検出画像が撮像素子１２１から読み出される。図２２において画素１２１ａの斜線模様は、検出信号が読み出される画素１２１ａを示している。つまり、全画素モードの場合、撮像素子１２１の画素アレイの全画素から検出信号が読み出される。
また、読み出し制御部１２２は、その読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ×Ｈ）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ×Ｈ）の検出画像と解像度（Ｗ×Ｈ）の復元画像とに対応する、縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる復元行列を設定する。
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１から読み出された解像度（Ｗ×Ｈ）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ×Ｈ）の復元画像を生成する。
この検出画像は、撮像素子１２１において得られたものであり、図１乃至図２０を参照して上述した特徴を有する情報である。つまり、検出画像は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光する複数の画素出力単位を備え、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる被写体を視認不可能な検出画像である。
そして、復元行列も、図１乃至図２０を参照して上述した復元行列であり、上述した特徴を有する。つまりこの復元行列は、被写体を視認不可能な検出画像から復元画像を生成する際に用いられる係数からなる行列である。復元部１２４は、このような復元行列を用いて、検出画像から復元画像を生成する。
＜画素任意間引きモード＞
また、撮像装置１００は、図２３に示されるように、撮像素子１２１の任意の一部の画素の検出信号を読み出し、読み出した任意の一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素任意間引きモードと称する。
図２３においても、図２２の場合と同様に撮像素子１２１内の画素アレイが示されている。
画素任意間引きモードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイ（複数の画素出力単位）のうち、任意の位置の一部の画素１２１ａ（画素出力単位）を選択し、その選択した画素１２１ａ（図中斜線模様の画素）から検出信号を読み出させる。読み出し制御部１２２は任意の数の画素を選択することができる。例えば、Ｔ個の画素を選択することができる。つまり、Ｔ個の検出信号からなる検出画像が撮像素子１２１から読み出される。
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した検出信号のうち、任意の一部の画素から読みだされた検出信号を検出画像に含める検出信号として選択するようにしてもよい。
もちろん図２３において選択されている画素１２１ａは一例であり、選択される画素１２１ａはこの例に限定されない。どの画素（の検出信号）を選択するか（どの画素から検出信号を読み出すか、または、どの画素から読み出した検出信号を選択するか）は、予め定められていてもよい。また、どの画素を選択するかの設定（画素選択設定）の候補が予め複数用意され、読み出し制御部１２２がその複数の候補の中から選択するようにしてもよい。その場合、読み出し制御部１２２が、例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等、任意の条件に基づいてその選択を行うようにしてもよい。
なお、この画素選択設定の候補は、読み出し制御部１２２内のメモリ（図示せず）や記憶部１１３等、撮像装置１００の任意の処理部等に記憶するようにしてもよい。その場合、その候補は、撮像装置１００の工場出荷時に記憶されているようにしてもよいし、工場出荷後に記憶（または更新）することができるようにしてもよい。もちろん、画素選択設定の候補が撮像装置１００の外部に用意され、読み出し制御部１２２がその外部の候補の中から選択するようにしてもよい。
また、読み出し制御部１２２が、どの画素（の検出信号）を選択するかを任意に設定することができるようにしてもよい。その場合、例えば、画素選択設定の初期値（初期設定）を用意し、読み出し制御部１２２が、その初期設定を任意の条件（例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等）に基づいて更新するようにしてもよい。また、例えば、読み出し制御部１２２が、選択する画素を、任意の情報に基づいて、または、ランダムに設定するようにしてもよい。
また、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ１×Ｈ１）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、Ｔ個の検出信号よりなる検出画像と解像度（Ｗ１×Ｈ１）の復元画像とに対応する、縦（Ｗ１×Ｈ１）個×横Ｔ個の係数からなる復元行列を設定する。
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２からＴ個の検出信号からなる検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ１×Ｈ１）個×横Ｔ個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ１×Ｈ１）の復元画像を生成する。
＜画素規則性間引きモード＞
また、撮像装置１００は、図２４に示されるように、撮像素子１２１の所定の規則性を有する位置関係にある一部の画素の検出信号を読み出し、読み出した所定の規則性を有する位置関係にある一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素規則性間引きモードと称する。
図２４においても、図２２の場合と同様に撮像素子１２１内の画素アレイが示されている。
画素規則性間引きモードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイ（複数の画素出力単位）のうち、所定の規則性を有する位置関係にある位置の一部の画素１２１ａ（画素出力単位）を選択し、その選択した画素１２１ａ（図中斜線模様の画素）から検出信号を読み出させる。読み出し制御部１２２は任意の数の画素を選択することができる。例えば、横Ｗ２個×縦Ｈ２個の画素を選択することができる。つまり、解像度（Ｗ２×Ｈ２）の検出画像が撮像素子１２１から読み出される。
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した検出信号のうち、所定の規則性を有する位置関係にある一部の画素から読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。
図２４においては、１画素おきに画素１２１ａが選択されているが、この選択は一例であり、選択される画素１２１ａはこの例に限定されない。どの画素を選択するかは、画素任意間引きモードの場合と同様に、予め定められていてもよいし、読み出し制御部１２２が複数の候補の中から選択するようにしてもよいし、読み出し制御部１２２が任意に設定するようにしてもよい。
また、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ２×Ｈ２）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ２×Ｈ２）の検出画像と解像度（Ｗ２×Ｈ２）の復元画像とに対応する、縦（Ｗ２×Ｈ２）個×横（Ｗ２×Ｈ２）個の係数からなる復元行列を設定する。
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２から解像度（Ｗ２×Ｈ２）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ２×Ｈ２）個×横（Ｗ２×Ｈ２）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ２×Ｈ２）の復元画像を生成する。
＜エリア駆動モード＞
また、撮像装置１００は、図２５に示されるように、撮像素子１２１の画素アレイが形成される領域（画素領域）の、１つの部分領域内に形成される画素の検出信号を読み出し、読み出したその部分領域内の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードをエリア駆動モードと称する。
図２５においても、図２２の場合と同様に撮像素子１２１内の画素アレイが示されている。
エリア駆動モードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素領域の１つの部分領域内に形成される画素１２１ａ（画素出力単位）を選択し、その選択した画素１２１ａ（図中斜線模様の画素）から検出信号を読み出させる。読み出し制御部１２２は任意の数の画素を選択することができる。例えば、横Ｗ３個×縦Ｈ３個の画素を選択することができる。つまり、解像度（Ｗ３×Ｈ３）の検出画像が撮像素子１２１から読み出される。
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した検出信号のうち、画素領域の所定の部分領域内に形成される画素１２１ａから読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。
図２５においては、水平方向に４画素、垂直方向に３画素の合計１２画素が選択されているが、この選択は一例であり、選択される画素１２１ａはこの例に限定されない。どの画素を選択するかは、画素任意間引きモードの場合と同様に、予め定められていてもよいし、読み出し制御部１２２が複数の候補の中から選択するようにしてもよいし、読み出し制御部１２２が任意に設定するようにしてもよい。
また、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ３×Ｈ３）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ３×Ｈ３）の検出画像と解像度（Ｗ３×Ｈ３）の復元画像とに対応する、縦（Ｗ３×Ｈ３）個×横（Ｗ３×Ｈ３）個の係数からなる復元行列を設定する。
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２から解像度（Ｗ３×Ｈ３）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ３×Ｈ３）個×横（Ｗ３×Ｈ３）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ３×Ｈ３）の復元画像を生成する。
＜画素加算モード＞
また、撮像装置１００は、図２６に示されるように、撮像素子１２１の全ての画素１２１ａの検出信号を読み出し、読み出した各画素の検出信号を所定数毎に加算することができる。このような動作モードを画素加算モードと称する。
図２６においても、図２２の場合と同様に撮像素子１２１内の画素アレイが示されている。
画素加算モードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した各画素の検出信号を所定数毎に加算する。加算は任意の画素数毎に行うようにすることができる。つまり、加算後の検出画像の解像度は任意である。例えば、読み出し制御部１２２は、撮像素子１２１から読み出された解像度（Ｗ×Ｈ）の検出画像を、解像度（Ｗ４×Ｈ４）の検出画像に変換することができる。
図２６においては、縦２画素×横２画素ずつ検出信号が加算されている。これは一例であり、検出信号の加算の仕方（どのような関係の画素の検出信号をいくつ加算するか）は任意であり、この例に限定されない。この検出信号の加算の仕方（画素加算設定）は、予め定められていてもよい。また、画素加算設定の候補が予め複数用意され、読み出し制御部１２２がその複数の候補の中から選択するようにしてもよい。その場合、読み出し制御部１２２が、例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等、任意の条件に基づいて選択を行うようにしてもよい。
なお、画素加算設定の候補は、読み出し制御部１２２内のメモリ（図示せず）や記憶部１１３等、撮像装置１００の任意の処理部等に記憶するようにしてもよい。その場合、この画素加算設定の候補は、撮像装置１００の工場出荷時に記憶されているようにしてもよいし、工場出荷後に記憶（または更新）することができるようにしてもよい。もちろん、画素加算設定の候補が撮像装置１００の外部に用意され、読み出し制御部１２２がその外部の候補の中から選択するようにしてもよい。
また、読み出し制御部１２２が、検出信号の加算の仕方を任意に設定することができるようにしてもよい。その場合、例えば、画素加算設定の初期値（初期設定）が予め用意され、読み出し制御部１２２が、その初期設定を任意の条件（例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等）に基づいて更新するようにしてもよい。また、例えば、読み出し制御部１２２が、どの画素の検出信号を加算するかを、任意の情報に基づいて、または、ランダムに設定するようにしてもよい。
また、読み出し制御部１２２は、その読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ４×Ｈ４）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ４×Ｈ４）の検出画像と解像度（Ｗ４×Ｈ４）の復元画像とに対応する、縦（Ｗ４×Ｈ４）個×横（Ｗ４×Ｈ４）個の係数からなる復元行列を設定する。
復元部１２４において復元画像を生成する場合、復元部１２４は、読み出し制御部１２２により変換された解像度（Ｗ４×Ｈ４）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ４×Ｈ４）個×横（Ｗ４×Ｈ４）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ４×Ｈ４）の復元画像を生成する。
＜各モードの比較＞
各モードの比較例を図２７の表に示す。動作モード（読み出し方式）が全画素モードの場合、撮像装置１００は、撮像素子１２１の全ての画素の検出信号を含む検出画像を得ることができる。つまり、撮像装置１００は、他のモードよりも高解像度の復元画像を得ることができる。
動作モードが画素任意間引きモードの場合、撮像装置１００は、全画素モードの場合よりも低解像度の検出画像を得ることができる。したがって、撮像素子１２１や復元画像への変換処理等の負荷を低減させることができ、消費電力の増大を抑制することができる。また、どの画素の検出信号を検出画像に含めるかを設定することができるので、撮像装置１００は、検出画像の解像度を、全画素モードの場合の検出画像の解像度以下の範囲で任意に設定する（制御する）ことができる。さらに、撮像素子１２１の一部の画素から検出信号を読み出すようにすることができるので、全画素モードの場合よりも、撮像素子１２１の撮像から検出信号の読み出しまでの動作を高速化することができる。例えば、撮像素子１２１により動画像を得る場合、その動画像のフレームレートを、全画素モードの場合よりも高くすることができる。
動作モードが画素規則性間引きモードの場合、撮像装置１００は、画素任意間引きモードと同様の効果を得ることができる。なお、一般的に、画素規則性間引きモードの方が、画素任意間引きモードに比べて設計が容易である。逆に、一般的に、画素任意間引きモードの方が、画素規則性間引きモードに比べて設計の自由度が高い。
動作モードがエリア駆動モードの場合、撮像装置１００は、画素任意間引きモードと同様の効果を得ることができる。なお、一般的に、エリア駆動モードの方が、画素規則性間引きモードに比べて設計が容易である。また、一般的に、画素任意間引きモードの方が、エリア駆動モードに比べて設計の自由度が高い。
動作モードが画素加算モードの場合、撮像装置１００は、全画素モードの場合よりも低解像度の検出画像を得ることができる。したがって、復元画像への変換処理等の負荷を低減させることができ、消費電力の増大を抑制することができる。また、検出信号の加算の仕方を設定することができるので、撮像装置１００は、検出画像の解像度を、全画素モードの場合の検出画像の解像度以下の範囲で任意に設定する（制御する）ことができる。さらに、全画素モードの場合よりも、撮像素子１２１の撮像から検出信号の読み出しまでの動作を高速化することができる。例えば、撮像素子１２１により動画像を得る場合、その動画像のフレームレートを、全画素モードの場合よりも高くすることができる。また、このモードの場合、複数の画素の検出信号が加算されるので、他のモードの場合に比べて、検出画像のS/N比を向上させることができる。つまり、復元画像の画質の低減を抑制することができる。
＜画角設定＞
なお、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードの場合のように、検出画像の解像度を低減させる場合、解像度低減後の検出画像全体の入射角指向性が、解像度低減前の検出画像、すなわち、全画素モードの検出画像全体の入射角指向性と同等となるようにしてもよい。
入射角指向性が同等であるとは、被写体面の同じ範囲を撮像することができるということ、すなわち、画角が同等であるということである。例えば、図２８の上側に示されるように、撮像素子１２１が画角３１３で被写体面３１１を撮像すると範囲３１２が撮像されるものとする。図中水平方向についてのみ考える場合、撮像素子１２１の各画素の入射角指向性の重心は、画角３１３の範囲に分布する。換言するに、撮像素子１２１の各画素の入射角指向性の重心の角度範囲が画角３１３となる。つまり、入射角指向性を同等とするように画素を選択する場合、各画素の入射角指向性の重心の角度範囲が、解像度低減前と後とで同等なるように画素（の検出信号）の選択が行われる。
範囲３１２の目標解像度が決まると画角の分解能３１４の大きさが決まる。この分解能３１４は、言い換えると、各画素の入射角指向性の重心の角度差である。つまり、解像度を低減させると、各画素の入射角指向性の重心の角度差を大きくする必要がある。
このことは、画角３１３を実現する画素数が低減することからも言える。例えば、図２８の下側に示されるように、水平方向に８種類の位置に開口部が形成された画素（画素１２１ａ－１乃至画素１２１ａ－８）によって画角３１３が実現されるとする。画素１２１ａ－１の光入射面には開口部３０１－１が形成されている。同様に、画素１２１ａ－２乃至画素１２１ａ－８の光入射面には、それぞれ、開口部３０１－２乃至開口部３０１－８が形成されている。図２８に示されるように、各画素における開口部３０１－１乃至開口部３０１－８の位置は、水平方向に左から右に向かうように互いにずれており、開口部３０１－１が画素内の最も左側に形成され、開口部３０１－８が画素内の最も右側に形成されている。例えば画素１２１ａ－１、画素１２１ａ－３、画素１２１ａ－５、画素１２１ａ－７を選択すると、各画素の入射角指向性の重心の角度差が約２倍になり、画角３１３が略同等のまま、解像度を低減させることができる。
つまり、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角３１３を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
以上においては水平方向について説明したが、垂直方向についても同様である。つまり、全ての方向について、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
このようにすることにより、復元画像の画角（FOV（Field Of View））を低減させずに解像度を低減させることができる。つまり、復元画像の内容を変えずに解像度を低減させることができる。
画素任意間引きモードでこのようなことを行うには、読み出し制御部１２２が、選択した画素出力単位の全体が、撮像素子１２１の全画素出力単位と同等の入射角指向性をもつように、画素出力単位を選択すればよい。
画素規則性間引きモードでこのようなことを行うには、撮像素子１２１の、所定の規則性を有する位置関係にある画素出力単位群全体が、撮像素子１２１の全画素出力単位と同等の入射角指向性をもつように設計されている必要がある。読み出し制御部１２２は、そのように設計された画素出力単位群を選択すればよい。
エリア駆動モードでこのようなことを行うには、撮像素子１２１の、画素領域の所定の部分領域内に形成される画素出力単位群全体が、撮像素子１２１の全画素出力単位と同等の入射角指向性をもつように設計されている必要がある。読み出し制御部１２２は、そのように設計された部分領域の画素出力単位群を選択すればよい。
画素加算モードでこのようなことを行うには、撮像素子１２１の各画素出力単位が、画素出力単位の加算前後において同等の入射角指向性をもつように設計されている必要がある。そして、読み出し制御部１２２は、その設計に従った加算の仕方で各画素出力単位を加算すればよい。
＜画素加算の仕方＞
なお、画素加算モードにおいて、読み出し制御部１２２が、入射角指向性が互いに類似する画素出力単位の検出信号同士を加算するようにしてもよい。
加算後の検出信号に含まれる入射角指向性は、検出信号が加算される各画素出力単位の入射角指向性の加算結果となる。したがって、一般的に、加算後の検出信号に含まれる入射角指向性は、検出信号を加算する画素出力単位の入射角指向性の差が大きいほど、その指向性が弱くなる。つまり、画素出力単位間の入射角指向性の差が少なくなるため、復元性能が低減し、復元画像の主観的画質が低減するおそれがある。換言するに、検出信号を加算する画素出力単位の入射角指向性の差が小さいほど、その指向性の低減を抑制することができる。
つまり、画素加算モードにおいて、読み出し制御部１２２が、入射角指向性がより類似する画素出力単位の検出信号同士を加算するようにすることにより、復元画像の主観的画質の低減を抑制することができる。
換言するに、画素加算モードにおいて読み出し制御部１２２により検出信号を加算させる画素出力単位の組み合わせにおいて、互いの入射角指向性がより類似するように撮像素子１２１を設計することにより、復元画像の主観的画質の低減を抑制することができる。
また、画素加算モードにおいて、読み出し制御部１２２が、互いに近接する画素出力単位同士で検出信号を加算するようにしてもよい。
入射角指向性を抜きにして考えると、画素出力単位で検出される入射光の光源位置は、その画素出力単位の位置に依存する。したがって、例えば、物理的な位置が近い画素出力単位同士程、近い位置の光源からの入射光を検出することができる。つまり、同じ対象を撮像している可能性が高くなる。したがって、検出信号の加算により、複数の対象の画像が混在することを抑制することができ、復元画像の画質の低減を抑制することができる。
つまり、画素加算モードにおいて、読み出し制御部１２２が、より近接する画素出力単位同士で検出信号を加算するようにすることにより、復元画像の主観的画質の低減を抑制することができる。
換言するに、画素加算モードにおいて読み出し制御部１２２により検出信号を加算させる画素出力単位の組み合わせにおいて、互いがより近接するように撮像素子１２１を設計することにより、復元画像の主観的画質の低減を抑制することができる。
＜モード選択＞
以上において、解像度制御の動作モードの例として、全画素モード、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードを説明したが、解像度制御の動作モードは任意であり、この例に限定されない。
また、読み出し制御部１２２が、複数の動作モードの中からいずれかを選択することができるようにしてもよい。例えば、上述の全画素モード、画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、および画素加算モードが候補として用意され、読み出し制御部１２２は、いずれかのモードを選択して適用し、その動作モードで解像度の制御を行うようにしてもよい。
このようにすることにより、撮像装置１００は、読み出し制御部１２２の解像度制御の動作モードを切り替えるだけで、より容易に、より多様な仕様の検出画像（または復元画像）を得ることができる。
なお、このモード選択の根拠は任意である。例えば、撮像の動作モードに基づいて選択されるようにしてもよいし、ユーザによりモードが指定されるようにしてもよい。モードの切り替えタイミングも任意である。もちろん、候補とする動作モードは任意である。
＜復元行列＞
復元行列設定部１２３は、上述のように解像度が制御された検出画像と復元画像とに対応する復元行列を設定する。この設定方法は任意である。例えば、予め定められていてもよいし、復元行列設定部１２３が複数の候補の中から選択するようにしてもよいし、復元行列設定部１２３が任意に設定するようにしてもよい。
＜復元行列の設計＞
復元行列の設計方法は任意である。例えば、物理モデルに基づいて設計するようにしてもよい。撮像画像（復元画像と同一とする）は、被写体の像が結像された画素値により構成される、ユーザが目視して画像として認識できる画像である。撮像素子１２１では、この撮像画像が、各画素の入射角指向性や被写体距離等のパラメータによって検出画像に変換される。
つまり、全画素モードの場合、図２９のＡに示されるように、検出画像３３１の行列を、撮像行列３３２（Ａ）と復元画像３３３の行列との積により表すことができる。ただし、この行列式において、検出画像３３１の行列は、解像度（Ｗ×Ｈ）の検出画像３３１の各列の検出信号を１列に並べ替えたものであり、縦（Ｗ×Ｈ）×横１の行列である。また、復元画像３３３の行列は、解像度（Ｗ×Ｈ）の復元画像３３３の各列の検出信号を１列に並べ替えたものであり、縦（Ｗ×Ｈ）×横１の行列である。撮像行列３３２（Ａ）は、縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる。各係数の値は、撮像素子１２１の各画素の入射角指向性や被写体距離等によって決まる。
換言するに、全画素モードの場合の復元処理は、図２９のＢに示されるような行列式により表すことができる。つまり、図２９のＢに示されるように、復元画像３３３の行列は、復元行列３３４と、検出画像３３１との積により表すことができる。この行列式において、検出画像３３１の行列は、縦（Ｗ×Ｈ）×横１の行列である。また、復元画像３３３の行列は、縦（Ｗ×Ｈ）×横１の行列である。復元行列３３４は、撮像行列３３２（Ａ）の逆行列（Ainv）であり、縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる。
以上のように、全画素モードの場合、撮像素子１２１の各画素の入射角指向性や被写体距離等に基づいて、撮像行列３３２を設計し、その逆行列を復元行列３３４としてもよい。
他のモードの場合も、基本的に同様の行列式が成立するが、検出画像や復元画像の解像度が全画素モードの場合と異なるので、それに応じて撮像行列３３２や復元行列３３４の行数および列数を設定する必要がある。
＜全画素モードの場合＞
全画素モードの場合についてより具体的な例を説明する。図３０のＡに示されるように、検出画像３３１が４×４画素出力単位であるものとし、図３０のＢに示されるように、復元画像３３３が４×４画素であるものとする。
全画素モードの場合、図２９のＡに示される行列式において、検出画像３３１と復元画像３３３は、それぞれ、図３１に示されるように１６×１の行列で表される。したがって、撮像行列３３２は、１６×１６の行列となる。したがって、復元行列も１６×１６の行列となる。
＜画素任意間引きモードの場合＞
次に画素任意間引きモードの場合について説明する。例えば、図３２のＡに示されるように、４×４画素出力単位の検出画像３３１から斜線模様の４画素出力単位を選択するものとする。また、図３２のＢに示されるように、復元画像３３３においては、４画素を均等に配置するものとする。
画素任意間引きモードの場合の撮像行列は、全画素モードの撮像行列を基に設計することができる。例えば、図３１の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。つまり、図３２のＡに示される検出画像３３１の斜線模様の各画素出力単位の検出信号は、図３３に示されるように、全画素モードの場合の検出画像３３１の行列の斜線模様で示される係数に相当する。また、図３２のＢに示される復元画像３３３の斜線模様の各画素の画素値は、図３３に示されるように、全画素モードの場合の復元画像３３３の行列の斜線模様で示される係数に相当する。
したがって、画素任意間引きモードの場合の撮像行列３３２は、図３３に示されるように、全画素モードの場合の撮像行列の、検出画像３３１の行列の斜線模様で示される係数と、復元画像３３３の行列の斜線模様で示される係数とに対応する位置の係数（斜線模様で示される係数）に相当する。したがって、これらの係数を抽出する（選択して読み出す）ことにより、画素任意間引きモードの場合の撮像行列３３２を生成することができる。つまり、図３３の場合、４×４の撮像行列３３２が得られる。
＜画素規則性間引きモードの場合＞
次に画素規則性間引きモードの場合について説明する。画素規則性間引きモードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図３４のＡに示されるように、４×４画素出力単位の検出画像３３１から等間隔に４画素出力単位（斜線模様）を選択するものとする。また、図３４のＢに示されるように、復元画像３３３においては、４画素を均等に配置するものとする。
つまりこの場合も、図３１の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図３５において、検出画像３３１の行列の斜線模様で示される係数は、図３４のＡに示される検出画像３３１の斜線模様の各画素出力単位の検出信号に相当する。また、図３５において、復元画像３３３の行列の斜線模様で示される係数は、図３４のＢに示される復元画像３３３の斜線模様の各画素の画素値に相当する。画素規則性間引きモードの場合の撮像行列３３２は、図３５に示されるように、これらの係数に対応する位置の係数（斜線模様で示される係数）に相当する。したがって、これらの係数を抽出する（選択して読み出す）ことにより、画素規則性間引きモードの場合の撮像行列３３２を生成することができる。つまり、図３５の場合、４×４の撮像行列３３２が得られる。
＜エリア駆動モードの場合＞
次にエリア駆動モードの場合について説明する。エリア駆動モードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図３６のＡに示されるように、４×４画素出力単位の検出画像３３１から中央の２×２画素出力単位（斜線模様）を選択するものとする。また、図３６のＢに示されるように、復元画像３３３においては、４画素を均等に配置するものとする。
つまりこの場合も、図３１の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図３７において、検出画像３３１の行列の斜線模様で示される係数は、図３６のＡに示される検出画像３３１の斜線模様の各画素出力単位の検出信号に相当する。また、図３７において、復元画像３３３の行列の斜線模様で示される係数は、図３６のＢに示される復元画像３３３の斜線模様の各画素の画素値に相当する。エリア駆動モードの場合の撮像行列３３２は、図３７に示されるように、これらの係数に対応する位置の係数（斜線模様で示される係数）に相当する。したがって、これらの係数を抽出する（選択して読み出す）ことにより、エリア駆動モードの場合の撮像行列３３２を生成することができる。つまり、図３７の場合、４×４の撮像行列３３２が得られる。
＜画素加算モードの場合＞
次に画素加算モードの場合について説明する。画素加算モードの場合も、基本的に画素任意間引きモードと同様の方法で撮像行列を設計することができる。例えば、図３８のＡに示されるように、４×４画素出力単位の検出画像３３１の検出信号を、２×２画素出力単位ずつ加算するものとする。この場合、図３８のＢに示されるように、復元画像３３３においても、４×４画素の画素値が２×２画素ずつ加算されたものと同等の画素値が得られる。
つまりこの場合も、図３１の全画素モードの行列式の各行列において、対応する係数を抽出すればよい。図３９において、検出画像３３１の行列の右上左下の斜線模様で示される係数は、図３８のＡに示される検出画像３３１の右上左下の斜線模様の各画素出力単位の検出信号に相当する。同様に図３９の検出画像３３１の行列の左上右下の斜線模様で示される係数は、図３８のＡの検出画像３３１の左上右下の斜線模様の各画素出力単位の検出信号に相当する。また、図３９の検出画像３３１の行列の網掛け模様で示される係数は、図３８のＡの検出画像３３１の網掛け模様の各画素出力単位の検出信号に相当する。また、図３９の検出画像３３１の行列のグレーで示される係数は、図３８のＡの検出画像３３１のグレーの各画素出力単位の検出信号に相当する。
復元画像３３３についても同様である。図３９において、復元画像３３３の行列の右上左下の斜線模様で示される係数は、図３８のＢに示される復元画像３３３の右上左下の斜線模様の各画素の画素値に相当する。同様に、図３９の復元画像３３３の行列の左上右下の斜線模様で示される係数は、図３８のＢの復元画像３３３の左上右下の斜線模様の各画素の画素値に相当する。また、図３９の復元画像３３３の行列の網掛け模様で示される係数は、図３８のＢの復元画像３３３の網掛け模様の各画素の画素値に相当する。また、図３９の復元画像３３３の行列のグレーで示される係数は、図３８のＢの復元画像３３３のグレーの各画素の画素値に相当する。
画素加算モードの場合の撮像行列３３２は、図３９に示されるように、これらの係数に対応する位置の係数（模様や色で示される係数）に相当する。したがって、これらの係数を抽出する（例えば、同じ模様の係数同士の平均値を算出する）ことにより、画素加算モードの場合の撮像行列３３２を生成することができる。
＜撮像行列の逆行列＞
上述のように、復元行列は、撮像行列の逆行列として求めることができる。つまり、図４０の右上部で示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、（Ｎ×Ｎ）行×１列の復元画像の各画素の画素値を要素とするベクトルｘ、（Ｎ×Ｎ）行×１列の検出画像の各画素の画素値を要素とするベクトルｙ、および、係数セットからなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａにより、図４０の左部で示されるような関係が成立する。
すなわち、図４０においては、係数セットからなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａ（撮像行列）の各要素と、復元画像を表す（Ｎ×Ｎ）行×１列のベクトルｘとを乗算した結果が、検出画像を表す（Ｎ×Ｎ）行×１列のベクトルｙとなることが示されており、この関係から連立方程式が構成される。
尚、図４０においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルｘの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルｘのＮ×Ｎ行目の要素に対応していることを示している。
換言すれば、図４０で示される行列式に基づいた連立方程式を解くことにより、ベクトルｘの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、正方行列であって対角成分（（i,i）要素）が全て１からなり、対角成分以外が全て０からなる対角行列になる。逆に、図２の撮像素子１２１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
ところで、一般的に、図４０の行列式は、両辺に行列Ａの逆行列Ａ-1（復元行列）を左から乗じることにより、図４１で示されるように変形され、検出画像を表すベクトルｙに逆行列Ａ-1を右から乗じることで、復元画像を表すベクトルｘの各要素が求められる。
しかしながら、現実の行列Ａは、正確に求められない、正確に測定できない、行列Ａの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法（regularized least squares）の概念を用いた、以下の式（７）をとる。
Figure 0007238887000001
 ・・・（７）
ここで、式（７）にｘの上部に「＾」が付されたものは、ベクトルｘを、Ａは、行列Ａを、ｙは、ベクトルｘを、γは正則化パラメータ（regularization parameter）を、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、第一項は、図４０の両辺の差異を最小にするときのノルムであり、第二項は正則化項（regularization term）である。
なお、正則化パラメータγは、最小二乗法の誤差と解の大きさとのバランスを調整するパラメータである。正則化パラメータγを適切に設定することにより、復元画像の復元精度が向上し、復元画像の画質が向上する。
この式（７）をｘについて解くと、以下の式（８）で表現される。
Figure 0007238887000002
 ・・・（８）
しかしながら、例えば図３１に示されるように、撮像行列Ａは膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
そこで、例えば、図４２で示されるように、行列Ａを、Ｎ行×Ｎ列の行列ＡＬと、Ｎ行×Ｎ列の行列ＡＲTとに分解し、それぞれ復元画像を表すＮ行×Ｎ列の行列ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行×Ｎ列の行列ｙとなるようにすることを考える。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲTとなるので、要素数を１／（Ｎ×Ｎ）に小さくすることができる。結果として、要素数が（Ｎ×Ｎ）からなる２個の行列ＡＬ，ＡＲTを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
ここで、ＡTは、行列Ａの転置行列であり、γはパラメータであり、Ｉは、単位行列である。式（８）におけるカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲTとすることで。図４２で示される行列式を実現する。
このように図４２で示されるような計算は、図４３で示されるように、行列ｘにおける注目要素Ｘｐに対しては、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲTの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列ｙが求められる。
そこで、行列ＡＬの各行に対応する要素群Ｚ２２１には、図１８で示される撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
同様に、行列ＡＲTの各行の要素群Ｚ２２３には、図１８で示される撮像素子１２１の行毎に設定される同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
この結果、検出画像に基づいて、復元画像を生成する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図１８の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲（受光できる範囲）を変化させる例が示されているが、本技術においては、このように画素単位で遮光される範囲（受光できる範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本技術においては、画素単位で遮光される範囲（受光できる範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図１８を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。
＜撮像処理の流れ＞
以上のような撮像装置１００により実行される撮像処理の流れの例を、図４４のフローチャートを参照して説明する。
撮像処理が開始されると、ステップＳ１０１において、読み出し制御部１２２は、撮像素子１２１の、検出信号を読み出す画素を設定する。読み出し制御部１２２は、例えば、上述の動作モードを選択することにより、検出信号を読み出す画素を設定する。
ステップＳ１０２において、撮像素子１２１は、被写体を撮像する。
ステップＳ１０３において、読み出し制御部１２２は、ステップＳ１０１において設定した画素から、ステップＳ１０２の撮像により得られた検出信号（検出画像）を読み出す。
ステップＳ１０４において、復元行列設定部１２３は、ステップＳ１０１において設定された画素に対応する復元行列を設定する。
ステップＳ１０５において、復元部１２４または関連付け部１２５は、ステップＳ１０３において読み出された検出画像と、ステップＳ１０４において設定された復元行列とを用いて、出力データを生成する。
例えば、復元部１２４は、復元係数を用いて検出画像を復元画像に変換する。復元部１２４は、この復元画像のデータを出力データとする。また、例えば、関連付け部１２５は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
ステップＳ１０６において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
まず、Raw画像（デモザイク処理後の復元画像でもよい）を出力する場合について説明する。例えば、出力が「表示」の場合、復元部１２４は、Raw画像のデータ等を出力部１１２に供給する。出力部１１２は、そのRaw画像を、画像表示デバイス（例えばLCD（Liquid Crystal Display）等）に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、復元部１２４は、Raw画像のデータ等を出力部１１２に供給する。出力部１１２は、そのRaw画像のデータ等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、復元部１２４は、Raw画像のデータ等を記憶部１１３に供給する。記憶部１１３は、そのRaw画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、復元部１２４は、Raw画像のデータ等を通信部１１４に供給する。通信部１１４は、所定の通信方式で他の装置と通信を行い、そのRaw画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、復元部１２４は、Raw画像のデータ等を記録再生部１１５に供給する。記録再生部１１５は、そのRaw画像のデータ等を、自身に装着された記録媒体１１６に記録する。
次に、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力する場合について説明する。例えば、出力が「表示」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部１１２に供給する。出力部１１２は、その検出画像のデータおよび画像復元係数等に関する画像や文字などの情報を、画像表示デバイス（例えばLCD（Liquid Crystal Display）等）に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部１１２に供給する。出力部１１２は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記憶部１１３に供給する。記憶部１１３は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を通信部１１４に供給する。通信部１１４は、所定の通信方式で他の装置と通信を行い、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記録再生部１１５に供給する。記録再生部１１５は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身に装着された記録媒体１１６に記録する。
出力データが出力されると、撮像処理が終了する。以上のように撮像処理を行うことにより、検出画像の解像度を制御することができる。
＜カラー画像＞
本技術は、カラー画像にも適用することができる。その場合、図４５に示されるように、色成分毎に上述の場合と同様の処理を行うようにすればよい。つまり、検出画像が色成分毎に読み出され、復元行列が色成分毎に算出され、それらを用いて復元画像が色成分毎に生成されるようにする。その場合、例えば、RGB結合部４０１を設け、そのRGB結合部４０１により、色成分毎の復元画像が結合され、カラー画像の復元画像が得られるようにしてもよい。
＜＜２．第１の実施の形態＞＞
次に、図４６乃至図６１を参照して、本技術の第１の実施の形態について説明する。
復元行列を用いて検出画像を復元画像に変換する復元処理は、図４２を参照して上述した処理を行っても、全ての検出画像に対して同様の復元処理を行うと計算量及び必要なメモリ容量が大きくなる。そのため、撮像装置１００の処理能力が十分でないと、例えば、撮像装置１００の動作が重くなったり、復元処理に時間がかかりすぎたり、復元処理が失敗したりする等の現象が発生する場合がある。
この第１の実施の形態は、設定情報を用いて選択的に復元処理を行うことで演算処理の負荷を低減するようにするものである。また、復元処理をサーバ（外部の情報処理装置）で行うようにし、被写体を撮像してから、復元画像を生成するまでの処理を分散することにより、撮像素子１２１を備えるクライアントの処理を軽減するようにするものである。
＜情報処理システム５０１の構成例＞
図４６は、本技術の第１の実施の形態に係る情報処理システム５０１の構成例を示すブロック図である。
情報処理システム５０１は、クライアント５１１、情報処理装置５１２、及び、ネットワーク５１３を備える。クライアント５１１は、撮像装置５２１及び情報端末５２２を備える。情報端末５２２と情報処理装置５１２は、ネットワーク５１３を介して接続され、相互に通信を行う。
撮像装置５２１は、上述した撮像素子１２１を備える。撮像装置５２１は、撮像素子１２１により得られた検出画像のデータを情報端末５２２に供給する。
情報端末５２２は、例えば、スマートフォン、ＰＣ（Personal Computer）、タブレット型ＰＣ等の情報処理装置からなる。例えば、情報端末５２２は、検出画像のデータを含む入力情報を、ネットワーク５１３を介して情報処理装置５１２に送信する。また、情報端末５２２は、検出画像を用いて復元された復元画像のデータを含む出力情報を、ネットワーク５１３を介して情報処理装置５１２から受信し、復元画像を用いて各種の処理を行う。
情報処理装置５１２は、例えば、クラウドコンピューティング等に用いられるサーバからなる。例えば、情報処理装置５１２は、情報端末５２２から受信した入力情報に含まれる検出画像を復元画像に変換する。情報処理装置５１２は、復元画像のデータを含む出力情報を、ネットワーク５１３を介して情報端末５２２に送信する。
また、情報処理装置５１２は、復元画像を用いて各種の処理を行う。例えば、情報処理装置５１２は、復元画像に基づいて、クライアント５１１を使用するユーザのジェスチャを認識し、認識結果を含むジェスチャ認識情報を、ネットワーク５１３を介して情報端末５２２に送信する。
ネットワーク５１３は、データ通信可能な通信網であり、例えば、インターネットからなる。なお、ネットワーク５１３を、ＬＡＮ（Local Area Network）やＣＡＮ（Controller Area Network）等のインターネット以外のネットワークにより構成したり、複数の種類のネットワークを組み合わせて構成したりしてもよい。
なお、情報端末５２２と情報処理装置５１２は、必ずしもネットワークを介して通信を行う必要はなく、例えば、直接通信を行うようにしてもよい。また、情報端末５２２に情報処理装置５１２の機能が含まれていてもよい。
＜撮像装置５２１の構成例＞
図４７は、図４６の撮像装置５２１の構成例を示している。なお、図中、図１の撮像装置１００と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
撮像装置５２１は、図１の撮像装置１００から、入力部１１１、出力部１１２、通信部１１４、記録再生部１１５、記録媒体１１６、復元行列設定部１２３、復元部１２４、及び、関連付け部１２５を省略した構成を備える。
撮像装置５２１は、情報端末５２２の制御の下に、撮像素子１２１により被写体の撮像を行い、得られた検出画像のデータを、通信部１１４を介して情報端末５２２に供給する。
なお、以下、説明を簡単にするために、撮像装置５２１の各部がバス１１０を介してデータの送受信等を行う場合のバス１１０の記載を省略する。
＜情報端末５２２の構成例＞
図４８は、図４６の情報端末５２２の構成例を示している。
情報端末５２２は、制御部６０１、ＲＯＭ６０２、ＲＡＭ６０３、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及び、ドライブ６１０を備える。制御部６０１、ＲＯＭ６０２、及び、ＲＡＭ６０３は、バス６０４により相互に接続されている。入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及び、ドライブ６１０は、入出力インタフェース６０５に接続されている。入出力インタフェース６０５は、バス６０４に接続されている。
制御部６０１は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及び、ＦＰＧＡ（Field Programmable Gate Array）等の演算処理を行うデバイスを１種類以上備える。制御部６０１は、情報端末５２２内の各部、及び、撮像装置５２１の制御に関する処理を行う。
ＲＯＭ６０２は、例えば、情報端末５２２の処理に用いる情報（プログラム、コマンド、データ等）を記憶する。
ＲＡＭ６０３は、情報端末５２２の処理に用いる情報（プログラム、コマンド、データ等）を一時的に記憶する。
入力部６０６は、例えば、図１の撮像装置１００の入力部１１１と同様の構成を備え、同様の処理を行う。
出力部６０７は、例えば、図１の撮像装置１００の出力部１１２と同様の構成を備え、同様の処理を行う。
記憶部６０８は、例えば、図１の撮像装置１００の記憶部１１３と同様の構成を備え、同様の処理を行う。
通信部６０９は、例えば、図１の撮像装置１００の通信部１１４と同様の構成を備え、同様の処理を行う。
ドライブ６１０は、リムーバブルメディア６１１を駆動する。
リムーバブルメディア６１１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等からなる。
なお、情報端末５２２では、例えば、制御部６０１が、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、一連の処理が行われる。
情報端末５２２（制御部６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。例えば、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、リムーバブルメディア６１１から読み出され、入出力インタフェース６０５を介して、記憶部６０８にインストールされる。
また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。例えば、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信され、記憶部６０８にインストールされる。
さらに、その他、プログラムは、ＲＯＭ６０２や記憶部６０８に、あらかじめインストールしておくことができる。
なお、以下、情報端末５２２の各部が、バス６０４及び入出力インタフェース６０５のうちの少なくとも１つを介してデータの送受信等を行う場合のバス６０４及び入出力インタフェース６０５の記載を省略する。例えば、入力部６０６が、入出力インタフェース６０５及びバス６０４を介して制御部６０１にデータを供給する場合、入力部６０６が制御部６０１にデータを供給すると記載する。
＜情報処理部６３１の機能の構成例＞
図４９は、情報端末５２２の制御部６０１が所定の制御プログラムを実行することにより実現される情報処理部６３１の機能の構成例を示している。
情報処理部６３１は、動作制御部６４１、簡易復元部６４２、取得部６４３、情報生成部６４４、及び、出力制御部６４５を備える。
動作制御部６４１は、情報端末５２２の各部、及び、撮像装置５２１の動作を制御する。
簡易復元部６４２は、撮像装置５２１から供給される検出画像を用いて復元画像を簡易的に復元する簡易復元処理を行う。なお、以下、簡易復元処理により復元された復元画像を簡易復元画像と称する。
取得部６４３は、入力部６０６及び通信部６０９等を介して、各種の情報を取得する。例えば、取得部６４３は、通信部６０９を介して、撮像装置５２１又は情報処理装置５１２からの各種の情報を取得する。
情報生成部６４４は、撮像装置５２１及び情報処理装置５１２等に供給する各種の情報を生成する。
出力制御部６４５は、出力部６０７及び通信部６０９等からの各種の情報の出力を制御する。例えば、出力制御部６４５は、出力部６０７からの各種の情報の出力を制御する。また、例えば、出力制御部６４５は、通信部６０９を介して、撮像装置５２１又は情報処理装置５１２への各種の情報の出力を制御する。
＜情報処理装置５１２の構成例＞
図５０は、図４６の情報処理装置５１２の構成例を示している。
情報処理装置５１２は、制御部７０１、ＲＯＭ７０２、ＲＡＭ７０３、入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及び、ドライブ７１０を備える。制御部７０１、ＲＯＭ７０２、及び、ＲＡＭ７０３は、バス７０４により相互に接続されている。入力部７０６、出力部７０７、記憶部７０８、通信部７０９、及び、ドライブ７１０は、入出力インタフェース７０５に接続されている。入出力インタフェース７０５は、バス７０４に接続されている。
制御部７０１は、例えば、ＣＰＵ、ＧＰＵ、及び、ＦＰＧＡ等の演算処理を行うデバイスを１種類以上備える。制御部７０１は、情報処理装置５１２の各部の制御を行う。
ＲＯＭ７０２は、例えば、情報処理装置５１２の処理に用いる情報（プログラム、コマンド、データ等）を記憶する。
ＲＡＭ７０３は、情報処理装置５１２の処理に用いる情報（プログラム、コマンド、データ等）を一時的に記憶する。
入力部７０６は、例えば、図１の撮像装置１００の入力部１１１と同様の構成を備え、同様の処理を行う。
出力部７０７は、例えば、図１の撮像装置１００の出力部１１２と同様の構成を備え、同様の処理を行う。
記憶部７０８は、例えば、図１の撮像装置１００の記憶部１１３と同様の構成を備え、同様の処理を行う。
通信部７０９は、例えば、図１の撮像装置１００の通信部１１４と同様の構成を備え、同様の処理を行う。
ドライブ７１０は、リムーバブルメディア７１１を駆動する。
リムーバブルメディア７１１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等からなる。
なお、情報処理装置５１２では、制御部７０１が、例えば、記憶部７０８に記憶されているプログラムを、入出力インタフェース７０５及びバス７０４を介して、ＲＡＭ７０３にロードして実行することにより、一連の処理が行われる。
情報処理装置５１２（制御部７０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア７１１に記録して提供することができる。例えば、プログラムは、リムーバブルメディア７１１をドライブ７１０に装着することにより、リムーバブルメディア７１１から読み出され、入出力インタフェース７０５を介して、記憶部７０８にインストールされる。
また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。例えば、プログラムは、有線または無線の伝送媒体を介して、通信部７０９で受信され、記憶部７０８にインストールされる。
さらに、その他、プログラムは、ＲＯＭ７０２や記憶部７０８に、あらかじめインストールしておくことができる。
なお、以下、情報処理装置５１２の各部が、バス７０４及び入出力インタフェース７０５のうちの少なくとも１つを介してデータの送受信等を行う場合のバス７０４及び入出力インタフェース７０５の記載を省略する。例えば、入力部７０６が、入出力インタフェース７０５及びバス７０４を介して制御部７０１にデータを供給する場合、入力部７０６が制御部７０１にデータを供給すると記載する。
＜情報処理部７３１の機能の構成例＞
図５１は、情報処理装置５１２の制御部７０１が所定の制御プログラムを実行することにより実現される情報処理部７３１の機能の構成例を示している。
情報処理部７３１は、認証部７４１、復元行列設定部７４２、復元部７４３、関連付け部７４４、ジェスチャ認識部７４５、取得部７４６、情報生成部７４７、出力制御部７４８、及び、学習部７４９を備える。
認証部７４１は、情報端末５２２（または、情報端末５２２のユーザ）の認証処理を行う。
復元行列設定部７４２は、図１の復元行列設定部１２３と同様に、復元行列の設定に関する処理を行う。
復元部７４３は、図１の復元部１２４と同様に、復元画像の生成に関する処理を行う。
なお、復元行列設定部７４２及び復元部７４３により、画像の復元処理を行う復元処理部７５１が構成される。
関連付け部７４４は、図１の関連付け部１２５と同様に、データの関連付けに関する処理を行う。
ジェスチャ認識部７４５は、復元画像に基づいて、ユーザのジェスチャを認識する処理を行う。
取得部７４６は、入力部７０６及び通信部７０９等を介して、各種の情報を取得する。例えば、取得部７４６は、通信部７０９を介して、情報端末５２２からの各種の情報を取得する。
情報生成部７４７は、情報端末５２２等に供給する各種の情報を生成する。
出力制御部７４８は、出力部７０７及び通信部７０９等からの各種の情報の出力を制御する。例えば、出力制御部７４８は、出力部７０７からの各種の情報の出力を制御する。また、例えば、出力制御部７４８は、通信部７０９を介して、情報端末５２２への各種の情報の出力を制御する。
学習部７４９は、情報処理システム５０１の各種の処理に関する機械学習を行う。
＜情報処理システム５０１の処理＞
次に、図５２乃至図６１を参照して、情報処理システム５０１の処理について説明する。
＜撮像処理＞
まず、図５２のフローチャート及び図５３のシーケンス図を参照して、クライアント５１１により実行される撮像処理について説明する。
なお、この処理は、例えば、情報端末５２２の電源がオンされたとき開始され、情報端末５２２の電源がオフされたとき終了する。
また、以下、図５４に示されるように、情報端末５２２がスマートフォンからなる場合を適宜例に挙げて説明する。なお、図５４には、情報端末５２２の筐体８１１及びディスプレイ８１２のみが図示されている。また、設定アイコン８２１、撮像アイコン８２２、及び、選択アイコン８２３が、ディスプレイ８１２に表示されている例が示されている。
ステップＳ２０１において、動作制御部６４１は、撮像モードに設定するか否かを判定する。この判定処理は、撮像モードに設定すると判定されるまで繰り返し実行され、撮像モードに設定すると判定された場合、処理はステップＳ２０２に進む。
例えば、ユーザは、情報端末５２２を撮像モードに設定する場合、図５４のディスプレイ８１２に表示されている撮像アイコン８２２をタッチする。動作制御部６４１は、入力部６０６から撮像アイコン８２２がタッチされたことが通知されると、撮像モードに設定すると判定し、処理はステップＳ２０２に進む。
ステップＳ２０２において、動作制御部６４１は、情報端末５２２を撮像モードに設定する。
ステップＳ２０３において、情報端末５２２は、設定情報を取得する。
例えば、ユーザは、設定情報を入力する場合、図５４のディスプレイ８１２に表示されている設定アイコン８２１をタッチする。動作制御部６４１は、入力部６０６から設定アイコン８２１がタッチされたことが通知されると、情報端末５２２を設定モードに設定する。
情報端末５２２が設定モードに設定されると、出力制御部６４５は、ディスプレイ８１２に設定画面を表示させる。ユーザは、設定画面に従って、各種の設定情報を入力する。
なお、設定情報の内容や設定範囲等は、所定の条件によって異ならせてもよく、例えば、情報端末５２２（または、ユーザ）が契約しているサービスプランにより異ならせてもよい。ここで、図５５及び図５６を参照して、サービスプランの具体例について説明する。
図５５には、無料プラン及びプランＡの２種類のサービスプランが例示されている。サービスプランによって、「認証」、「種別」、「領域指定機能」、「認識機能」、及び、「復元処理」の各項目の内容が定められる。
「認証」は、サービスの利用に情報端末５２２（または、ユーザ）の認証が必要であるか否かを示す項目である。「認証」には、「要」又は「不要」が設定される。サービスの利用に情報端末５２２の認証が必要なサービスプランでは、「認証」は「要」に設定される。サービスの利用に情報端末５２２の認証が不要なサービスプランでは、「認証」は「不要」に設定される。
「画像種別」は、復元可能な画像の種別を示す項目である。「画像種別」には、例えば、「ノーマル画像」、「魚眼画像」、又は、「３６０度画像」が設定される。ノーマル画像は、例えば、画角が所定の閾値（例えば、１００度）未満の画像である。魚眼画像は、例えば、画角が所定の閾値（例えば、１００度）以上の画像である。３６０度画像は、全天球画像ともいい、水平方向及び垂直方向の少なくとも一方において３６０度撮影した画像である。
「領域指定機能」は、復元する画像の領域を指定する機能の有無を示す項目である。「領域指定機能」には、「あり」又は「なし」のいずれかが設定される。領域指定機能を使用可能なサービスプランでは、「領域指定機能」は「あり」に設定される。領域指定機能を使用できないサービスプランでは、「領域指定機能」は「なし」に設定される。
「認識機能」は、被写体の認識処理を行い、指定された種類の被写体（以下、フォーカス対象物と称する）にフォーカスを合わせる機能の有無を示す項目である。「認識機能」には、「あり」又は「なし」が設定される。認識機能を使用可能なサービスプランでは、「認識機能」は「あり」に設定される。認識機能を使用できないサービスプランでは、「認識機能」は「なし」に設定される。
「復元処理」は、復元処理の計算モデルを示す項目である。「復元処理」には、例えば、「計算モデルＡ」、「領域指定＋計算モデルＡ」、「計算モデルＢ」、又は、「領域指定＋計算モデルＢ」が設定される。計算モデルＡは、認識機能に対応していない計算モデルであり、計算モデルＢは、認識機能に対応しているモデルである。「領域指定＋計算モデルＡ」は、計算モデルＡを用いて指定された領域の復元を行うことを示す。「領域指定＋計算モデルＢ」は、計算モデルＢを用いて指定された領域の復元を行うことを示す。
無料プランは、情報端末５２２の認証なしで使用できるプランである。無料プランでは、ノーマル画像の復元が可能であり、領域指定機能及び認識機能は使用できない。
プランＡは、情報端末５２２の認証が必要なプランである。プランＡでは、ノーマル画像の復元が可能であり、認識機能は使用でき、領域指定機能は使用できない。
図５６の例では、無料プラン及びプランＡに加えて、プランＢ乃至プランＥが追加されている。
プランＢは、情報端末５２２の認証が必要なプランである。プランＢでは、ノーマル画像の復元が可能であり、領域指定機能を使用でき、認識機能は使用できない。
プランＣは、情報端末５２２の認証が必要なプランである。プランＣでは、ノーマル画像の復元が可能であり、領域指定機能及び認識機能を使用できる。
プランＤは、情報端末５２２の認証が必要なプランである。プランＤでは、ノーマル画像、魚眼画像、及び、３６０度画像の復元が可能であり、認識機能を使用でき、領域指定機能は使用できない。
プランＥは、情報端末５２２の認証が必要なプランである。プランＥでは、ノーマル画像、魚眼画像、及び、３６０度画像の復元が可能であり、領域指定機能及び認識機能を使用できる。
次に、設定情報の例について説明する。設定情報は、ユーザが設定可能な情報であり、例えば、高画質化処理の有無、被写体距離、フォーカス対象物、画角、画素数、復元領域、及び、復元を行うタイミングの設定パラメータのうち１つ以上を含む。
高画質化処理の有無は、高画質化処理を実行するか否かを示すパラメータである。高画質化処理とは、例えば、補間処理等により復元画像の画素数を増やす処理、画像の復元に用いる復元用パラメータ（例えば、被写体距離、上述した式（７）及び式（８）の正則化パラメータγ等）を適正化する処理等を含む。このパラメータにより、例えば、復元画像の画質を調整し、その結果、復元処理の計算量を調整することができる。
なお、サービスプランにより、高画質化処理の内容を変更するようにしてもよい。例えば、復元用パラメータを適正化するために復元処理のリトライを行う回数をサービスプランにより変更するようにしてもよい。
被写体距離は、撮像素子１２１からフォーカスを合わせる被写体までの距離を示すパラメータである。
なお、例えば、サービスプランにより、被写体距離の設定間隔を変更するようにしてもよい。
図５７のＡ及びＢは、サービスプランがプランＡ乃至プランＥの場合の被写体距離の設定画面の例を示している。具体的には、ディスプレイ８１２の下方に、水平方向に延びるバー８４１が表示され、バー８４１の上にスライダ８４２が表示されている。スライダ８４２は、バー８４１の上を左右方向に連続的に移動させることができ、スライダ８４２の位置により被写体距離が設定される。
なお、スライダ８４２が左方向に移動するほど、被写体距離が短くなり、右方向に移動するほど、被写体距離が長くなる。従って、図５７のＡの方が、図５７のＢより、被写体距離が短くなる。
図５８は、サービスプランが無料プランの場合の被写体距離の設定画面の例を示している。具体的には、図５８の例と同様に、ディスプレイ８１２の下方に、水平方向に延びるバー８４１が表示されている。また、バー８４１の上にスライダ８５１が表示されている。スライダ８５１は、バー８４１の上を左右方向に離散的に移動させることができ、スライダ８５１の位置により被写体距離が離散的に設定される。
なお、スライダ８５１は、図内の実線の位置及び点線の位置の３カ所に設定することができる。スライダ８５１を左端の位置に設定すると、被写体距離が最も短くなり、スライダ８５１を右端の位置に設定すると、被写体距離が最も長くなり、スライダ８５１を中央の位置に設定すると、被写体距離がその中間の距離に設定される。
フォーカス対象物は、認識機能を使用可能なサービスプランで設定可能であり、フォーカスを合わせる対象となる被写体の種類（例えば、人の顔等）を示すパラメータである。このパラメータにより、例えば、復元画像内においてフォーカスを合わせ高画質化する被写体を選択することができる。なお、フォーカス対象物が設定されている場合、例えば、被写体距離の設定は無効になる。
画角は、例えば、図１０乃至図１２及び図１７等を参照して上述したように、撮像素子１２１が複数の画角に対応している場合に設定可能であり、復元画像の画角を示すパラメータである。画角には、例えば、撮像素子１２１が対応している画角のうちの１つが設定される。
画素数は、復元画像の画素数（解像度）を示すパラメータである。なお、復元画像の画素数は、撮像素子１２１の画素数より増やすこともできるし、減らすこともできる。このパラメータにより、例えば、復元画像の解像度を調整し、その結果、復元処理の計算量を調整することができる。また、例えば、高画質化処理が有りに設定された場合、画素数が自動的に設定されるようにしてもよい。
復元領域は、領域指定機能を使用可能なサービスプランで設定可能であり、撮像素子１２１の撮像範囲内において復元する領域を示すパラメータである。このパラメータにより、例えば、撮像範囲内において復元する領域の位置や広さを調整し、その結果、復元処理の計算量を調整することができる。また、このパラメータは、例えば、検出画像がノーマル画像又は魚眼画像の場合、画像内の画素の範囲により指定され、３６０度画像の場合、３６０度画像の水平方向又は垂直方向の角度の範囲により指定される。
復元を行うタイミングは、復元処理を行う際のタイミングを示すパラメータであり、例えば、Ｗｉ－Ｆｉ接続時のみ復元処理を行うことや、情報端末５２２のリソースが空いている場合に高精度な復元処理を行うことを設定することができる。また、このパラメータにより、例えば、復元する検出画像と復元しない検出画像を選択することができる。
入力部６０６は、ユーザにより入力された設定情報を取得部６４３に供給する。取得部６４３は、ＲＡＭ６０３及び記憶部６０８の少なくとも一方に設定情報を記憶させる。
なお、例えば、前回の設定情報をそのまま引き継ぐ場合、ステップＳ２０３の処理は省略することが可能である。
また、設定情報の設定や変更は、必ずしもこのタイミングで行う必要はなく、任意のタイミングで行うことが可能である。例えば、被写体距離、フォーカス対象物、復元領域等は、ユーザが、後述するプレビュー表示を見ながら設定するようにしてもよい。
ステップＳ２０４において、クライアント５１１は、撮像処理を開始する。
具体的には、撮像装置５２１は、図４４のステップＳ１０１乃至ステップＳ１０３と同様の処理を開始する。また、撮像装置５２１の通信部１１４は、検出画像のデータを情報端末５２２に送信する処理を開始する。
なお、例えば、復元画像の画角が設定されていない場合、全画素モードに設定される。すなわち、撮像素子１２１の全ての画素から検出信号が読み出され、読み出された検出信号を含む検出画像が生成される。
一方、例えば、復元画像の画角が設定されている場合、画素任意間引きモード、画素規則性間引きモード、又は、エリア駆動モードのいずれかに設定される。すなわち、撮像素子１２１の設定された画角に対応する画素から検出信号が読み出され、読み出された検出信号を含む検出画像が生成される。
情報端末５２２の取得部６４３は、通信部６０９を介して、検出画像のデータを撮像装置５２１から受信し、ＲＡＭ６０３及び記憶部６０８の少なくとも一方に記憶させる処理を開始する。検出画像は、例えば、所定の時間（例えば、１秒間）ＲＡＭ６０３及び記憶部６０８の少なくとも一方に保持された後、消去される。
ステップＳ２０５において、情報端末５２２は、プレビュー表示を開始する。例えば、以下の処理が開始される。
簡易復元部６４２は、復元行列を用いて検出画像を簡易復元画像に変換する処理を開始する。この復元処理は、情報端末５２２の負荷が重くならないように、簡易的な処理とされる。例えば、検出画像の所定の画素が間引かれ、少ない画素数で復元処理が行われる。また、例えば、設定情報の内容に関わらず、被写体距離及び正則化パラメータγ等の復元用パラメータが固定され、同じ復元行列が用いられる。従って、簡易復元画像の画質は、必ずしも良好であるとは限らない。
出力制御部６４５は、復元画像に基づくスルー画をディスプレイ８１２に表示させる処理を開始する。
ステップＳ２０６において、動作制御部６４１は、端末認証を行うか否かを判定する。例えば、動作制御部６４１は、ユーザが入力部６０６を介して端末認証を行うための操作を行った場合、端末認証を行うと判定し、処理はステップＳ２０７に進む。或いは、例えば、動作制御部６４１は、情報端末５２２（または、ユーザ）が認証の必要なサービスプランに加入している場合、無条件に端末認証を行うと判定し、処理はステップＳ２０７に進む。
ステップＳ２０７において、出力制御部６４５は、通信部６０９及びネットワーク５１３を介して、情報端末５２２の認証情報を情報処理装置５１２に送信する。認証情報は、情報端末５２２を識別可能な情報を少なくとも含んでいればよい。例えば、認証情報は、情報端末５２２を個々に識別するための端末ＩＤを少なくとも含む。
情報処理装置５１２は、後述する図５９のステップＳ２５１において、認証情報を受信し、ステップＳ２５３において、認証結果を示す認証結果情報を送信する。
ステップＳ２０８において、取得部６４３は、ネットワーク５１３及び通信部６０９を介して、情報処理装置５１２から認証結果情報を受信する。
なお、プランＡ乃至プランＥのうちのいずれかのサービスプランを情報端末５２２で使用する契約している場合、情報端末５２２の認証に成功すると、契約しているサービスプランが使用可能になる。一方、情報端末５２２の認証に失敗すると、契約しているサービスプランは使用できず、無料プランしか使用できなくなり、使用可能な機能が制限される。
その後、処理はステップＳ２０９に進む。
一方、ステップＳ２０６において、端末認証を行わないと判定された場合、ステップＳ２０７及びステップＳ２０８の処理はスキップされ、処理はステップＳ２０９に進む。
ステップＳ２０９において、動作制御部６４１は、撮像が指示されたか否かを判定する。
例えば、ユーザは、撮像を指示する場合、図５４のディスプレイ８１２に表示されている撮像アイコン８２２をタッチする。動作制御部６４１は、入力部６０６から撮像アイコン８２２がタッチされたことが通知されると、撮像が指示されたと判定し、処理はステップＳ２１０に進む。
なお、この時点で、すでに撮像処理が開始され、撮像された検出画像に基づく簡易復元画像を用いたプレビュー表示が行われている。従って、ステップＳ２０９の処理で指示されるのは、厳密には、撮像ではなく、画像の復元である。
ステップＳ２１０において、情報生成部６４４は、入力情報を生成する。入力情報は、例えば、検出画像のデータ、及び、検出画像から復元画像への復元に用いる復元用情報を含む。復元用情報は、上述した設定情報、及び、端末情報を含む。
なお、入力情報は、例えば、ユーザが撮像操作を行った（撮像アイコン８２２をタッチした）時点付近に撮像された検出画像のデータを少なくとも含む。
具体的には、例えば、入力情報は、ユーザが撮像操作を行った時点より所定の時間前に撮像された検出画像のデータを含む。ここで、所定の時間前に撮像された検出画像とするのは、ユーザが適切な撮像タイミングを認識してから実際に撮像操作を行うまでの間に時間差が生じるからである。この所定の時間は、例えば、固定値としてもよいし、ユーザが設定するようにしてもよい。或いは、例えば、機械学習により適切な時間が学習されるようにしてもよい。
また、入力情報は、複数のフレームの検出画像のデータを含んでいてもよい。例えば、入力情報は、ユーザが撮像操作を行った時点を基準とする所定の期間内（例えば、ユーザが撮像操作を行う１００ミリ秒前から１００ミリ秒後までの期間）内に撮像された検出画像のデータを含んでいてもよい。或いは、情報生成部６４４が、当該所定の期間内に撮像された検出画像の中から適切な画像を１つ以上選択し、選択した検出画像のデータを入力情報に含ませるようにしてもよい。検出画像の選択方法は、例えば、機械学習により学習される。
なお、入力情報が複数フレームの検出画像のデータを含む場合、例えば、情報処理装置５１２が、複数フレームの検出画像の中から復元に適した画像を選択し、選択した検出画像を復元処理に用いるようにしてもよい。検出画像の選択方法は、例えば、機械学習により学習される。
ここで、復元に適した画像とは、例えば、ユーザが所望する被写体が良好な状態で写っている画像である。例えば、人の顔が良い表情（例えば、笑顔）で写っている画像等である。
なお、例えば、フォーカス対象物が設定されている場合、フォーカス対象物が良好な状態で写っている画像が、復元に適した画像とされる。
また、例えば、復元領域が設定されている場合、復元領域内の被写体が良好な状態で写っている画像が、復元に適した画像とされる。
端末情報は、情報端末５２２の撮像素子１２１に固有の情報を含み、例えば、情報端末５２２を識別可能な情報、及び、撮像素子１２１の種類を識別可能な情報を少なくとも含む。例えば、端末情報は、上述した端末ＩＤ、及び、撮像素子１２１の入射角指向性のパターン（以下、入射角指向性パターンと称する）を識別するための識別情報を少なくとも含む。
ここで、撮像素子１２１の入射角指向性パターンは、例えば、撮像素子１２１の各画素の空間的な位置（例えば、画素アレイ内の座標）と入射角指向性の組合せにより表される。例えば、２つの撮像素子１２１間で、全ての画素の空間的な位置及び入射角指向性の組合せが等しければ、当該２つの撮像素子１２１の入射角指向性パターンは同じと見なされる。一方、２つの撮像素子１２１間で、１画素でも空間的な位置及び入射角指向性の組合せが異なれば、当該２つの撮像素子１２１の入射角指向性パターンは異なると見なされる。
また、撮像素子１２１の入射角指向性パターンを識別するための識別情報は、例えば、撮像素子１２１を個々に識別するための撮像素子ＩＤ、又は、撮像素子１２１の入射角指向性パターンを識別するためのパターンＩＤを含む。
ステップＳ２１１において、出力制御部６４５は、通信部６０９及びネットワーク５１３を介して、情報処理装置５１２に入力情報を送信する。
情報処理装置５１２は、後述する図５９のステップＳ２５４において、入力情報を受信し、ステップＳ２５７において、復元画像のデータを含む出力情報を送信する。
ステップＳ２１２において、取得部６４３は、ネットワーク５１３及び通信部６０９を介して、出力情報を受信する。取得部６４３は、必要に応じて、ＲＡＭ６０３及び記憶部６０８の少なくとも一方に出力情報を記憶させる。
ステップ２１３において、ディスプレイ８１２は、出力制御部６４５の制御の下に、情報処理装置５１２から受信した出力情報に含まれる復元画像を表示する。
その後、処理はステップＳ２１４に進む。
一方、ステップＳ２０９において、撮像が指示されていないと判定された場合、ステップＳ２１０乃至ステップＳ２１３の処理はスキップされ、処理はステップＳ２１４に進む。
ステップＳ２１４において、動作制御部６４１は、撮像モードを解除するか否かを判定する。動作制御部６４１は、ユーザにより撮像モードを解除する操作が行われていない場合、撮像モードを解除しないと判定し、処理はステップＳ２０６に戻る。
その後、ステップＳ２１４において、撮像モードを解除すると判定されるまで、ステップＳ２０６乃至ステップＳ２１４の処理が繰り返し実行される。
一方、ステップＳ２１４において、ユーザが入力部６０６を介して撮像モードを解除する操作を行った場合、動作制御部６４１は、撮像モードを解除すると判定し、処理はステップＳ２１５に進む。
ステップＳ２１５において、動作制御部６４１は、情報端末５２２の撮像モードを解除する。
その後、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が実行される。
＜復元処理＞
次に、図５９のフローチャートを参照して、図５２のクライアント５１１の撮像処理に対応して情報処理装置５１２により実行される復元処理について説明する。
なお、この処理は、例えば、情報処理装置５１２の電源がオンされたとき開始され、情報処理装置５１２の電源がオフされたとき終了する。
ステップＳ２５１において、取得部７４６は、認証情報を受信したか否かを判定する。上述した図５２のステップＳ２０７において、情報端末５２２が認証情報を送信した場合、通信部７０９は、ネットワーク５１３を介して認証情報を受信し、受信した認証情報を取得部７４６に供給する。これにより、取得部７４６は、認証情報を受信したと判定し、処理はステップＳ２５２に進む。
ステップＳ２５２において、認証部７４１は、認証情報に基づいて、情報端末５２２の認証を行う。例えば、認証部７４１は、記憶部６０８に記憶されているデータベースにおいて、認証情報に含まれる端末ＩＤと一致する端末ＩＤを含むレコードを検索する。認証部７４１は、所望のレコードが見つかった場合、情報端末５２２の認証に成功したと判定する。また、認証部７４１は、認証に成功した情報端末５２２において使用可能なサービスプランを認識し、当該サービスプランの使用を許可する。なお、例えば、サービスプランの使用回数や使用時間に上限が設定されている場合、認証部７４１は、その上限を超えている場合には、当該サービスプランの使用を許可しない。
一方、認証部７４１は、記憶部６０８に記憶されているデータベースにおいて、所望のレコードが見つからなかった場合、情報端末５２２の認証に失敗したと判定する。
ステップＳ２５３において、情報処理装置５１２は、認証結果情報を送信する。具体的には、情報生成部７４７は、情報端末５２２の認証結果を示す認証結果情報を生成する。出力制御部７４８は、通信部７０９及びネットワーク５１３を介して、情報端末５２２に認証結果情報を送信する。
その後、処理はステップＳ２５４に進む。
一方、ステップＳ２５１において、認証情報を受信していないと判定された場合、ステップＳ２５２及びステップＳ２５３の処理はスキップされ、処理はステップＳ２５４に進む。
ステップＳ２５４において、取得部７４６は、入力情報を受信したか否かを判定する。上述した図５２のステップＳ２１１において、情報端末５２２が入力情報を送信した場合、通信部７０９は、ネットワーク５１３を介して入力情報を受信し、受信した入力情報を取得部７４６に供給する。これにより、取得部７４６は、入力情報を受信したと判定し、処理はステップＳ２５５に進む。
ステップＳ２５５において、復元行列設定部７４２は、復元行列を設定する。具体的には、復元行列設定部７４２は、復元行列に用いる係数セット群を記憶部６０８から読み出す。
図６０は、記憶部６０８に記憶されている係数セット集合の例を示している。記憶部６０８には、撮像素子１２１の入射角指向性パターン毎に異なる複数の係数セット集合が記憶されている。
各係数セット集合は、複数の係数セット群を含む。撮像素子１２１が１つの画角のみに対応している場合、各係数セット群は、それぞれ異なる被写体距離に対応する。すなわち、被写体距離毎に異なる係数セット群が用意される。
一方、撮像素子１２１が複数の画角に対応している場合、各係数セット群は、それぞれ異なる被写体距離及び画角の組合せに対応する。すなわち、被写体距離及び画角の各組合せに対して、それぞれ異なる係数セット群が用意される。
復元行列設定部７４２は、入力情報に含まれる撮像素子ＩＤ又はパターンＩＤにより認識される撮像素子１２１の入射角指向性パターンに対応する係数セット集合の中から、入力情報に含まれる被写体距離、又は、被写体距離及び画角の組み合わせに対応する係数セット群を記憶部６０８から読み出す。
なお、フォーカス対象物が設定されている場合（認識機能を使用する場合）、被写体距離は設定されていない。この場合、例えば、復元行列設定部７４２は、被写体距離を所定の初期値に設定し、設定した初期値に基づいて、係数セット群を記憶部６０８から読み出す。
そして、復元行列設定部７４２は、読み出した係数セット群に基づいて、復元行列を設定する。
なお、復元領域が設定されておらず、かつ、復元画像の画素数が検出画像の画素数より小さい値に設定されている場合、すなわち、復元画像の全領域が復元対象であり、かつ、解像度を低減する場合、例えば、検出画像の画素数を復元画像の画素数と合わせるように、検出画像の画素（の検出信号）の間引き又は加算が行われてから、復元処理が行われる。この場合、復元行列設定部７４２は、例えば、上述した画素任意間引きモード、画素規則性間引きモード、エリア駆動モード、又は、画素加算モードの場合と同様の処理により、検出画像において間引く画素の位置又は加算する画素の位置に対応して係数セット群から係数を間引いて、復元行列を設定する。
ステップＳ２５６において、復元部７４３は、画像の復元を行う。具体的には、復元部７４３は、復元行列設定部７４２により設定された復元行列を用いて、検出画像を復元画像に変換する。
このとき、復元画像の全領域が復元対象であり、かつ、解像度を低減する場合、復元部７４３は、検出画像の画素数が復元画像の画素数と合わせるように、検出画像の画素（の検出信号）の間引き又は加算を行ってから、検出画像を復元画像に変換する。
なお、この場合、例えば、復元行列設定部７４２は、検出画像の画素数と目標とする復元画像の画素数とに応じた行数および列数の復元行列を設定し、復元部７４３は、検出画像の画素の間引き処理及び加算処理を行わずに、設定された復元行列を用いて、検出画像を復元画像に変換するようにしてもよい。
また、復元行列設定部７４２及び復元部７４３は、例えば、復元精度が所定のレベル以上になるまで、復元用パラメータを調整（変更）しながら、復元行列を再設定し、再設定した復元行列を用いて検出画像を復元画像に再変換する処理（以下、リトライ処理と称する）を繰り返す。
なお、調整対象となる復元用パラメータは、例えば、被写体距離、正則化パラメータγ、検出画像の画素を間引く位置、及び、検出画像の画素を加算する位置のうち少なくとも１つを含む。
また、復元精度は、例えば、復元画像内のエッジの分散度や空間周波数等に基づいて算出される。
なお、復元行列設定部７４２及び復元部７４３は、復元領域が設定されている場合、例えば、復元領域にフォーカスが合い、復元領域の復元精度が所定のレベル以上になるまで、リトライ処理を繰り返す。この場合、復元精度は、例えば、復元領域内の画像のエッジの分散度や空間周波数等に基づいて算出される。
そして、復元部７４３は、復元後の画像から復元領域の画像を抽出し、抽出した画像の画素数が、設定された画素数になるように、画素の補間、間引き、又は、加算を行うことにより、復元画像を生成する。
また、復元部７４３は、フォーカス対象物が設定されている場合、復元画像内のフォーカス対象物を検出する。なお、フォーカス対象物の検出には、任意の手法を用いることができる。例えば、所定のルールやアルゴリズムに基づいて、フォーカス対象物を検出するようにしてもよい。或いは、例えば、フォーカス対象物の検出方法を、機械学習により学習するようにしてもよい。
そして、復元行列設定部７４２及び復元部７４３は、フォーカス対象物にフォーカスが合い、フォーカス対象物の復元精度が所定のレベル以上になるまで、リトライ処理を繰り返す。この場合、復元精度は、例えば、フォーカス対象物の画像内のエッジの分散度や空間周波数等に基づいて算出される。
なお、リトライ処理の回数（以下、リトライ回数と称する）に上限値を設けるようにしてもよい。リトライ回数の上限値は、例えば、サービスプラン、及び、高画質化処理の設定の有無等に基づいて設定される。例えば、無料プランの場合、リトライ回数の上限値は、他のサービスプランより小さい値に設定されるか、或いは、０回（リトライ処理なし）に設定される。また、例えば、高画質化処理が設定されている場合、高画質化処理が設定されていない場合と比較して、リトライ回数の上限値が大きな値に設定される。
ステップＳ２５７において、情報生成部７４７は、出力情報を生成する。出力情報は、少なくとも復元画像のデータを含む。
ステップＳ２５８において、情報処理装置５１２は、出力情報を送信する。具体的には、出力制御部７４８は、通信部７０９及びネットワーク５１３を介して、情報端末５２２に出力情報を送信する。
その後、処理はステップＳ２５１に戻り、ステップＳ２５１以降の処理が実行される。
一方、ステップＳ２５４において、入力情報を受信していないと判定された場合、処理はステップＳ２５１に戻り、ステップＳ２５１以降の処理が実行される。
以上のように、クライアント５１１と情報処理装置５１２との間で、撮像素子１２１により検出画像を撮像してから復元画像を生成するまでの処理（検出画像を用いたコンピュテーショナルフォトグラフィに関わる処理）が分散して行われる（選択的に行われる）。
ここで、情報処理装置５１２は、クライアント５１１と比較して、高性能化が容易である。従って、計算量が大きい復元処理を情報処理装置５１２が行うことにより、全体の処理を高速化することができる。また、より計算量の大きい処理が可能になり、例えば、検出画像の解像度（画素数）を大きくしたり、復元画像の解像度（画素数）を大きくしたりすることができる。また、クライアント５１１の処理が軽減されるため、例えば、撮像装置５２１及び情報端末５２２の製造コストを下げたり、小型化したりすることが可能になる。
また、例えば、設定情報を用いて選択的に復元処理を行うことにより、情報処理システム５０１全体の演算処理の負荷を軽減することができる。例えば、復元する検出画像や領域を選択したり、復元画像の画素数を減らしたりすることにより、復元処理の計算量を削減することができる。なお、このようにして復元処理の計算量を削減することにより、例えば、情報端末５２２がそれほど高い性能を有していなくても、情報端末５２２に復元処理まで行わせるようにすることも可能である。
＜学習処理＞
次に、図６１のフローチャートを参照して、情報処理装置５１２により実行される学習処理について説明する。
ステップＳ２０１において、学習部７４９は、学習データを取得する。学習データは、少なくとも入力データを含み、必要に応じて正解データ（ラベル）を含む。入力データは、少なくとも検出画像のデータを含み、必要に応じて、上述した入力情報に含まれるその他の情報（例えば、設定情報、端末情報等）の全部又は一部を含む。また、例えば、復元用パラメータの設定方法を学習する場合、例えば、入力データは検出画像のデータを含み、正解データは復元用パラメータを含む。
ステップＳ２０２において、学習部７４９は、学習データを用いて機械学習を実行する。
ここで、学習内容の例を挙げる。
例えば、検出画像と適切な復元用パラメータとの組合せの学習が行われる。換言すれば、検出画像に基づいて、復元用パラメータを適切に設定する方法が学習される。
なお、画質（例えば、色、明るさ、コントラスト等）に対する嗜好はユーザ毎に異なるため、例えば、ユーザ毎に好みの復元用パラメータが学習されるようにしてもよい。
また、例えば、検出画像の選択方法が学習される。例えば、復元領域及びフォーカス対象物が設定されていない場合、復元領域が設定されている場合、及び、フォーカス対象物が設定されている場合に、複数のフレームの検出画像の中から、復元に適した検出画像を選択する方法が学習される。或いは、例えば、ユーザが撮像操作を行った時点を基準にして、復元に適した検出画像を選択する方法が学習される。
さらに、例えば、復元画像において、フォーカス対象物（すなわち、指定された種類の被写体）を検出する方法が学習される。
また、例えば、復元前の検出画像に基づいて、画像内の物体の種類を認識する方法の学習が行われる。
なお、学習方法には、例えば、多層ニューラルネットワーク等の任意の手法を用いることができる。また、学習対象により、学習方法が使い分けられる。例えば、多層ニューラルネットワークを用いる場合は、学習データを多層ニューラルネットワークに入力して生成されるパラメータを記録し、そのパラメータに基づいて情報処理システム５０１が復元用パラメータを更新する。
また、例えば、撮像モードに応じて、機械学習に用いる学習モデルを使い分けて、学習処理を行うようにしてもよい。例えば、スポーツを行っているシーンの撮像に適したスポーツモードに対して、スポーツのシーンを撮像した画像の復元に適した学習モデルを用いて機械学習が行われる。
ステップＳ２０３において、情報処理システム５０１は、機械学習の結果を反映する。例えば、復元行列設定部７４２及び復元部７４３は、機械学習の結果に基づいて、それぞれの処理内容を更新する。
また、例えば、情報生成部７４７は、機械学習の結果を示す学習結果情報を生成する。出力制御部７４８は、通信部７０９及びネットワーク５１３を介して、情報端末５２２に学習結果情報を送信する。
例えば、撮像装置５２１の読み出し制御部１２２、並びに、情報端末５２２の動作制御部６４１及び簡易復元部６４２は、学習結果情報に基づいて、それぞれの処理内容を更新する。
その後、学習処理は終了する。
このように学習処理を行い、学習結果を反映することにより、例えば、検出画像を用いたコンピュテーショナルフォトグラフィの処理が最適化されたり、高速化されたりする。
＜第１の実施の形態の変形例＞
次に、上述した本技術の第１の実施の形態の変形例について説明する。
例えば、プレビュー表示用の簡易復元画像の生成に用いる復元用パラメータ及び復元行列を情報処理装置５１２から情報端末５２２に供給するようにしてもよい。これにより、復元用パラメータ及び復元行列のセキュリティが向上する。
また、例えば、情報端末５２２が、撮像処理を開始してから、検出画像を撮像する毎に、検出画像のデータを含む入力情報を情報処理装置５１２に送信するようにしてもよい。そして、情報処理装置５１２が、プレビュー表示用の簡易復元画像を生成し、情報端末５２２に送信するようにしてもよい。これにより、情報端末５２２の処理がさらに軽減する。
さらに、例えば、情報処理装置５１２が、１回目の復元処理、及び、その後のリトライ処理を行う毎に、復元画像のデータを含む出力情報を情報端末５２２に送信し、情報端末５２２が、復元画像を表示するようにしてもよい。そして、例えば、ユーザが復元画像を確認して、リトライ処理を継続するか否かを判定するようにしてもよい。これにより、よりユーザの満足度が高い復元画像が得られる。
なお、この場合に情報端末５２２に送信する復元画像は、画素数を削減する等した簡易的な復元画像でもよい。これにより、情報処理装置５１２と情報端末５２２との間のデータ転送量を削減することができ、例えば、通信費を削減することができる。
また、例えば、情報処理装置５１２が、復元画像を生成する場合、簡易的に復元した簡易復元画像と、正式に復元した復元画像を生成し、簡易復元画像のデータを含む情報を情報端末５２２に送信し、復元画像のデータを含む情報を情報処理装置５１２内に記憶するようにしてもよい。これにより、情報処理装置５１２と情報端末５２２との間のデータ転送量を削減することができ、例えば、通信費を削減することができる。
さらに、例えば、情報端末５２２がオフラインの場合、情報端末５２２の認証に失敗した場合、又は、サービスプランの使用回数又は使用時間の上限を超えている場合等、情報端末５２２が情報処理装置５１２のサービスを使用できない場合、情報端末５２２は、検出画像のデータを情報端末５２２内に記憶するようにしてもよい。そして、情報端末５２２が情報処理装置５１２のサービスを使用可能な状態になった後、情報端末５２２は、検出画像のデータを含む入力情報を情報処理装置５１２に送信し、復元画像を得るようにしてもよい。
また、例えば、復元画像の画素数が検出画像の画素数より小さい値に設定されている場合、撮像装置５２１又は情報端末５２２が、検出画像の画素（の検出信号）の間引き又は加算を行い、検出画像の画素数を復元画像の画素数と合わせてから、検出画像のデータを含む入力情報を情報処理装置５１２に送信するようにしてもよい。これにより、情報処理装置５１２と情報端末５２２との間のデータ転送量を削減することができ、例えば、通信費を削減することができる。
さらに、撮像装置５２１、情報端末５２２、及び、情報処理装置５１２の機能を必要に応じて取捨選択したり、各装置間の機能の分担を適宜変更したりすることが可能である。例えば、撮像装置５２１の機能の一部又は全部を情報端末５２２に移したり、情報端末５２２の機能の一部又は全部を撮像装置５２１に移したりすることが可能である。例えば、撮像装置５２１の読み出し制御部１２２を情報端末５２２に設けるようにしてもよい。また、例えば、撮像装置５２１と情報端末５２２を一体化するようにしてもよい。
さらに、例えば、情報処理装置５１２の機能の一部又は全部を情報端末５２２に移したり、情報端末５２２の機能の一部又は全部を情報処理装置５１２に移したりすることが可能である。例えば、情報端末５２２が、復元処理まで行うようにしてもよい。また、例えば、情報端末５２２が、復元処理に用いる復元行列を構成する係数セット群を選択し、選択した係数セット群を含む復元用情報を情報処理装置５１２に送信するようにしてもよい。さらに、例えば、ジェスチャ認識を行わない場合、図５１の情報処理部７３１のジェスチャ認識部７４５を削除することが可能である。
＜クライアント５１１の具体例＞
次に、図６２乃至図６７を参照して、図４６のクライアント５１１の具体例について説明する。
＜第１の具体例＞
図６２は、クライアント５１１の第１の具体例を示している。この例では、撮像装置５２１が撮像モジュール１００１により構成され、情報端末５２２がスマートフォン１００２により構成されている。
撮像モジュール１００１は、撮像素子１２１を備え、スマートフォン１００２に着脱可能である。スマートフォン１００２に撮像モジュール１００１を装着することにより、スマートフォン１００２に撮像機能が追加される。
図６３は、撮像モジュール１００１の具体的な構成例として、撮像モジュール１００１ａ乃至撮像モジュール１００１ｃを示している。
撮像モジュール１００１ａは、本体部１０１１及び装着部１０１２を備える。
本体部１０１１は、撮像素子１２１を備える。
装着部１０１２は、本体部１０１１に対して、図内の矢印Ａ１の方向にスライド可能であり、装着部１０１２を本体部１０１１と重ねたり、本体部１０１１から離したりすることが可能である。
装着部１０１２には端子１０１３が設けられている。装着部１０１２をスマートフォン１００２の所定の位置に挿入することにより、端子１０１３が、スマートフォン１００２の内部の端子（不図示）に接続される。これにより、撮像モジュール１００１ａとスマートフォン１００２が通信可能になり、例えば、スマートフォン１００２の取得部６４３は、撮像モジュール１００１ａから検出画像のデータを取得することが可能になる。
撮像モジュール１００１ｂは、本体部１０２１及び装着部１０２２を備える。
本体部１０２１は、撮像素子１２１を備える。
装着部１０２２は、本体部１０２１に対して、図内の矢印Ａ２の方向にスライド可能である。これにより、装着部１０２２を本体部１０２１に収納したり、図６３に示されるように、本体部１０２１の外に突出させたりすることが可能である。
装着部１０２２は端子を兼ねており、装着部１０２２をスマートフォン１００２の所定の位置に挿入することにより、装着部１０２２がスマートフォン１００２の内部の端子（不図示）に接続される。これにより、撮像モジュール１００１ｂとスマートフォン１００２が通信可能になり、例えば、スマートフォン１００２の取得部６４３は、撮像モジュール１００１ｂから検出画像のデータを取得することが可能になる。
また、装着部１０２２をスマートフォン１００２に装着した状態において、装着部１０２２を軸にして、図内の矢印Ａ３の方向に本体部１０２１を回転させることができる。これにより、撮像素子１２１の撮像方向を容易に変更することができる。
撮像モジュール１００１ｃは、本体部１０３１及び装着部１０３２を備える。
本体部１０３１は、撮像素子１２１を備える。
装着部１０３２は、本体部１０３１に対して、図内の矢印Ａ４の方向に回転させることが可能である。これにより、装着部１０３２を本体部１０３１に収納したり、図６３に示されるように、本体部１０３１の外に突出させたりすることが可能である。
装着部１０３２は端子を兼ねており、装着部１０３２をスマートフォン１００２の所定の位置に挿入することにより、装着部１０３２がスマートフォン１００２の内部の端子（不図示）に接続される。これにより、撮像モジュール１００１ｃとスマートフォン１００２が通信可能になり、例えば、スマートフォン１００２の取得部６４３は、撮像モジュール１００１ｃから検出画像のデータを取得することが可能になる。
なお、撮像モジュール１００１を外付けにすることにより、スマートフォン１００２において、撮像素子１２１の配置を考慮する必要がなくなり、設計自由度が向上する。また、撮像モジュール１００１が交換可能なので、撮像モジュール１００１の機能や性能を容易に向上させたり、用途に応じて複数の撮像モジュール１００１を使い分けたりすることができる。
＜第２の具体例＞
図６４は、クライアント５１１の第２の具体例を示している。この例では、撮像装置５２１がケース１０５１により構成され、情報端末５２２がスマートフォン１００２により構成されている。スマートフォン１００２は、ケース１０５１に収納可能である。
ケース１０５１の蓋部１０５１Ａの内側には、撮像素子１２１が設けられている。ケース１０５１には、図示せぬ通信部が内蔵されており、ケース１０５１とスマートフォン１００２は、無線通信又は有線通信を行う。これにより、例えば、スマートフォン１００２の取得部６４３は、ケース１０５１から検出画像のデータを取得することが可能になる。
この場合、ケース１０５１を交換するだけで、撮像性能を向上させたり、撮像機能を変更したりすることが可能になる。
また、蓋部１０５１Ａを開閉方向に動かすことより、撮像素子１２１の撮像方向を容易に変更することができる。
なお、ケース１０５１以外の収納部材に撮像素子１２１を設け、スマートフォン１００２に検出画像のデータを供給するようにしてもよい。
＜第３の具体例＞
図６５は、クライアント５１１の第３の具体例を示している。この例では、撮像装置５２１及び情報端末５２２が一体化され、腕時計型のウエアラブルデバイス１１０１により構成されている。
ウエアラブルデバイス１１０１は、本体部１１１１とバンド１１１２を備える。撮像素子１２１は本体部１１１１に設けられ、撮像素子１２１の受光面が文字盤１１１３上に設けられている。撮像素子１２１は、レンズが不要のため、本体部１１１１を厚くすることなく、本体部１１１１に設けることが可能である。
なお、撮像素子１２１により撮像される検出画像は、例えば、ジェスチャ認識に用いられる。例えば、文字盤１１１３の前でユーザが指によりジェスチャを行うと、そのジェスチャが認識され、認識されたジェスチャに対応する処理が行われる。
ここで、図６６及び図６７を参照して、情報処理システム５０１のクライアント５１１がウエアラブルデバイス１１０１により構成される場合に、ユーザのジェスチャを認識するときの処理について説明する。
＜ジェスチャ対応処理＞
まず、図６６のフローチャートを参照して、ウエアラブルデバイス１１０１により実行されるジェスチャ対応処理について説明する。
ステップＳ３０１において、動作制御部６４１は、ジェスチャ認識モードに設定するか否かを判定する。この判定処理は、ジェスチャ認識モードに設定すると判定されるまで繰り返し実行され、ジェスチャ認識モードに設定すると判定された場合、処理はステップＳ３０２に進む。
例えば、ユーザは、ウエアラブルデバイス１１０１をジェスチャ認識モードに設定する場合、入力部６０６を介して、ジェスチャ認識モードの設定操作を行う。動作制御部６４１は、入力部６０６からジェスチャ認識モードの設定操作が行われたことが通知されると、ジェスチャ認識モードに設定すると判定し、処理はステップＳ３０２に進む。
ステップＳ３０２において、図５２のステップＳ２０７の処理と同様に、認証情報が情報処理装置５１２に送信される。
ステップＳ３０３において、図５２のステップＳ２０８の処理と同様に、認証結果情報が情報処理装置５１２から受信される。
ステップＳ３０４において、動作制御部６４１は、認証結果情報に基づいて、認証に成功したか否かを判定する。認証に失敗したと判定された場合、処理はステップＳ３０１に戻り、ステップＳ３０１以降の処理が実行される。
一方、ステップＳ３０４において、認証に成功したと判定された場合、処理はステップＳ３０５に進む。
ステップＳ３０５において、動作制御部６４１は、ウエアラブルデバイス１１０１をジェスチャ認識モードに設定する。
ステップＳ３０６において、図５２のステップＳ２０３の処理と同様に、設定情報が取得される。
ステップＳ３０７において、図５２のステップＳ２０４と同様の処理により、撮像処理が行われる。
ステップＳ３０８において、図５２のステップＳ２１０の処理と同様に、入力情報が生成される。
ステップＳ３０９において、図５２のステップＳ２１１の処理と同様に、入力情報が情報処理装置５１２に送信される。
情報処理装置５１２は、後述する図６７のステップＳ３５４において、入力情報を受信し、ステップＳ３５９において、ジェスチャ認識の結果を含むジェスチャ認識情報をウエアラブルデバイス１１０１に送信する。
ステップＳ３１１において、ウエアラブルデバイス１１０１は、認識されたジェスチャに対応する処理を行う。具体的には、動作制御部６４１は、ジェスチャ認識情報に基づいて、情報処理装置５１２により認識されたジェスチャに対応する処理を行うように、ウエアラブルデバイス１１０１の各部の動作を制御する。
なお、ウエアラブルデバイス１１０１が、他の情報処理装置等にジェスチャ認識情報を転送し、他の情報処理装置等が、認識されたジェスチャに対応する処理を実行するようにしてもよい。
ステップＳ３１２において、動作制御部６４１は、ジェスチャ認識モードを解除するか否かを判定する。動作制御部６４１は、ユーザによりジェスチャ認識モードを解除する操作が行われていない場合、ジェスチャ認識モードを解除しないと判定し、処理はステップＳ３０７に戻る。
その後、ステップＳ３１２において、ジェスチャ認識モードを解除すると判定されるまで、ステップＳ３０７乃至ステップＳ３１２の処理が繰り返し実行される。
一方、ステップＳ３１２において、ユーザが入力部６０６を介してジェスチャ認識モードを解除する操作を行った場合、動作制御部６４１は、ジェスチャ認識モードを解除すると判定し、処理はステップＳ３１３に進む。
ステップＳ３１３において、動作制御部６４１は、ウエアラブルデバイス１１０１のジェスチャ認識モードを解除する。
その後、処理はステップ３０１に戻り、ステップＳ３０１以降の処理が実行される。
次に、図６７のフローチャートを参照して、図６６のウエアラブルデバイス１１０１のジェスチャ対応処理に対応して情報処理装置５１２により実行されるジェスチャ認識処理について説明する。
ステップＳ３５１乃至ステップＳ３５６において、図５９のステップＳ２５１乃至ステップＳ２５６と同様の処理が実行される。
ステップＳ３５７において、ジェスチャ認識部７４５は、ステップＳ３５６の処理で得られた復元画像に基づいて、ジェスチャ認識を行う。
なお、ジェスチャの認識方法には、任意の手法を用いることができる。
ステップＳ３５８において、情報生成部７４７は、ジェスチャ認識情報を生成する。ジェスチャ認識情報は、例えば、ジェスチャの認識結果を含む。
ステップＳ３５９において、出力制御部７４８は、通信部７０９及びネットワーク５１３を介して、情報端末５２２にジェスチャ認識情報を送信する。
その後、処理はステップＳ３５１に戻り、ステップＳ３５１以降の処理が実行される。
以上のようにして、ユーザのジェスチャを認識し、認識したジェスチャに対応する処理を行うことができる。
また、画像の復元処理及びジェスチャの認識処理は、情報処理装置５１２が行うため、ウエアラブルデバイス１１０１の負荷が軽減される。
なお、ウエアラブルデバイス１１０１をジェスチャ認識用のカメラとして用いるだけでなく、ユーザ設定等により、通常のカメラとして用いることができるようにしてもよい。
＜＜３．第２の実施の形態＞＞
次に、図６８を参照して、本技術の第２の実施の形態について説明する。
図６８は、本技術の第２の実施の形態に係る情報処理システム１２０１の構成例を示している。
情報処理システム１２０１は、カード１２１１、リーダ１２１２、及び、サーバ１２１３を備える。
カード１２１１は、撮像素子１２１を備え、ユーザ１２０２の顔を撮像する。
リーダ１２１２は、ユーザ１２０２の顔を撮像することにより得られた検出画像のデータ、及び、カード１２１１を識別するためのカードＩＤをカード１２１１から読み出す。そして、リーダ１２１２は、図示せぬネットワーク等を介して、検出画像のデータ及びカードＩＤを含む認証情報をサーバ１２１３に送信する。
サーバ１２１３は、認証情報に含まれる検出画像から復元画像を生成する。また、サーバ１２１３は、認証情報に含まれるカードＩＤに対応する顔画像のデータをデータベースから検索する。そして、サーバ１２１３は、復元画像におけるユーザの顔の画像と、カードＩＤに対応する顔画像との照合を行い、両者が一致する場合、ユーザ１２０２の認証に成功したと判定し、カード１２１１の使用を許可する。一方、サーバ１２１３は、両者が一致しない場合、ユーザ１２０２の認証に失敗したと判定し、カード１２１１の使用を許可しない。
＜＜４．第３の実施の形態＞＞
次に、図６９を参照して、本技術の第３の実施の形態について説明する。
図６９は、本技術の第３の実施の形態に係る義手１３０１の外観の構成例を模式的に示している。
義手１３０１には、撮像素子１２１－１乃至撮像素子１２１－４が設けられている。
撮像素子１２１－１は、受光面（不図示）が義手１３０１の親指の内側（手のひら側）に配置されるように設けられている。撮像素子１２１－２は、受光面（不図示）が義手１３０１の人差し指の内側（手のひら側）に配置されるように設けられている。撮像素子１２１－１及び撮像素子１２１－２により撮像された検出画像から復元された復元画像は、例えば、義手１３０１が掴もうとする物体の認識に用いられる。そして、例えば、認識された物体の大きさや形等に基づいて、義手１３０１の指の開き具合や各部の力の入れ具合が制御される。
撮像素子１２１－３は、受光面が義手１３０１の甲に配置されるように設けられている。撮像素子１２１－３により撮像された検出画像から復元された復元画像は、例えば、義手１３０１の甲に接近する物体の認識に用いられる。そして、例えば、義手１３０１の甲に物体がぶつからないように、手関節を曲げる等の制御が行われる。
撮像素子１２１－４は、受光面（不図示）が義手１３０１のユーザの腕に接続される面に配置されるように設けられている。撮像素子１２１－４により撮像された検出画像から復元された復元画像は、例えば、ユーザの腕の義手１３０１が装着される部分（以下、装着部と称する）の状態の認識に用いられる。そして、例えば、ユーザの腕の装着部に赤み等の異常が生じている場合、義手１３０１の取り外しを推奨する等の通知が行われる。
＜＜５．第４の実施の形態＞＞
次に、図７０を参照して、本技術の第４の実施の形態について説明する。
図７０は、本技術の第４の実施の形態に係る体内情報取得システム１４０１の構成例を示している。
体内情報取得システム１４０１は、カプセル型内視鏡１４１１、及び、体内情報取得システム１４０１の動作を統括的に制御する外部制御装置１４４２を備える。検査時には、カプセル型内視鏡１４１１が患者によって飲み込まれる。カプセル型内視鏡１４１１は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像とも称する）を所定の間隔で順次撮像し、その体内画像（検出画像）についての情報を体外の外部制御装置１４４２に順次無線送信する。
外部制御装置１４４２は、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための復元画像を生成する。体内情報取得システム１４０１では、このようにして、カプセル型内視鏡１４１１が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した画像を随時得ることができる。
カプセル型内視鏡１４１１は、カプセル型の筐体１４２１内に、光源部１４２２、撮像部１４２３、画像処理部１４２４、無線通信部１４２５、給電部１４２７、電源部１４２８、状態検出部１４２９、及び、制御部１４３０を備える。
光源部１４２２は、例えばＬＥＤ（Light Emitting Diode）等の光源から構成され、撮像部１４２３の撮像視野に対して光を照射する。
撮像部１４２３は、撮像素子１２１により構成される。撮像部１４２３は、受光面が筐体１４２１の表面を覆うように設けられる。ただし、必ずしも撮像部１４２３の受光面が、筐体１４２１の表面を全て覆う必要はない。撮像部１４２３を撮像素子１２１により構成することにより、撮像レンズが不要になり、カプセル型内視鏡１４１１を小型化することができる。撮像部１４２３によって生成された検出画像（体内画像）のデータは、画像処理部１４２４に供給される。
なお、例えば、撮像部１４２３を六面体とし、各面に受光面を設けるとともに、筐体１４２１を丸い透明なケースとして、筐体１４２１内に撮像部１４２３を収納するようにしてもよい。
画像処理部１４２４は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、撮像部１４２３によって生成された検出画像のデータに対して各種の画像処理を行う。当該信号処理は、例えば、検出画像のデータを外部制御装置１４４２に伝送するための最小限の処理（例えば、画像データの圧縮、フレームレートの変換、データレートの変換及び／又はフォーマットの変換等）とされる。画像処理部１４２４は、画像処理を施した検出画像のデータを無線通信部１４２５に供給する。なお、画像処理部１４２４は、状態検出部１４２９によってカプセル型内視鏡１４１１の状態（動きや姿勢等）についての情報が取得されている場合には、当該情報と紐付けて、検出画像のデータを無線通信部１４２５に供給してもよい。これにより、検出画像が撮像された体内における位置や検出画像の撮像方向等と、検出画像とを関連付けることができる。
無線通信部１４２５は、入力情報を、アンテナ１４２６を介して外部制御装置１４４２に送信する。入力情報は、例えば、検出画像のデータ、及び、カプセル型内視鏡１４１１の状態（動きや姿勢等）についての情報を含む。また、無線通信部１４２５は、外部制御装置１４４２から、カプセル型内視鏡１４１１の駆動制御に関する制御信号を、アンテナ１４２６を介して受信する。無線通信部１４２５は、受信した制御信号を制御部１４３０に供給する。
給電部１４２７は、例えば、非接触充電の原理を用いて電力を生成する。給電部１４２７によって生成された電力は、電源部１４２８に蓄電される。
電源部１４２８は、二次電池によって構成され、給電部１４２７によって生成された電力を蓄電する。電源部１４２８に蓄電された電力は、カプセル型内視鏡１４１１の各部に供給され、これらの駆動に用いられる。
状態検出部１４２９は、加速度センサやジャイロセンサ等の、カプセル型内視鏡１４１１の状態を検出するためのセンサを備える。状態検出部１４２９は、当該センサによる検出結果から、カプセル型内視鏡１４１１の状態についての情報を取得する。状態検出部１４２９は、取得したカプセル型内視鏡１４１１の状態についての情報を、画像処理部１４２４に供給する。
制御部１４３０は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することによりカプセル型内視鏡１４１１の動作を統括的に制御する。制御部１４３０は、光源部１４２２、撮像部１４２３、画像処理部１４２４、無線通信部１４２５、給電部１４２７、電源部１４２８及び状態検出部１４２９の駆動を、外部制御装置１４４２から送信される制御信号に従って適宜制御することにより、以上説明したような各部における機能を実現させる。
外部制御装置１４４２は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。外部制御装置１４４２は、アンテナ１４４１を有し、当該アンテナ１４４１を介して、カプセル型内視鏡１４１１との間で各種の情報を送受信可能に構成される。具体的には、外部制御装置１４４２は、カプセル型内視鏡１４１１の制御部１４３０に対して制御信号を送信することにより、カプセル型内視鏡１４１１の動作を制御する。例えば、外部制御装置１４４２からの制御信号により、光源部１４２２における観察対象に対する光の照射条件が変更され得る。また、外部制御装置１４４２からの制御信号により、撮像条件（例えば、撮像部１４２３におけるフレームレート、露出値等）が変更され得る。また、外部制御装置１４４２からの制御信号により、画像処理部１４２４における処理の内容や、無線通信部１４２５が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
また、外部制御装置１４４２は、カプセル型内視鏡１４１１から送信される入力情報に含まれる検出画像から復元画像を生成する。外部制御装置１４４２は、例えば、表示装置（図示せず）を制御して、復元画像に基づいて体内画像を表示させる。あるいは、外部制御装置１４４２は、復元画像のデータを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
＜＜６．第５の実施の形態＞＞
次に、図７１乃至図７６を参照して、本技術の第５の実施の形態について説明する。
図７１乃至図７６は、撮像素子１２１（を含む撮像部）の設置位置の例を示している。
図７１は、絆創膏、テープ、シール等の粘着部材１５０１に撮像素子１２１を設けた例を示している。これにより、撮像素子１２１を人体や物品等の所望の位置に貼付することができる。
図７２は、タグ１５２１に撮像素子１２１を設けた例を示している。これにより、撮像素子１２１を物品等の所望の位置に取り付けることができる。
図７３は、ポスター１５４１に撮像素子１２１を設けた例を示している。これにより、撮像素子１２１を壁等の所望の位置に取り付けることができる。
例えば、通常の撮像素子では、撮像レンズを設ける必要があるため、撮像レンズ及び撮像素子を含む撮像部が厚くなる。これに対して、粘着部材、粘着部材１５０１、タグ１５２１、又は、ポスター１５４１は薄いため、当該撮像部を設けた部分が厚くなり、不自然な印象を与える。
一方、撮像素子１２１を含む撮像部は、撮像レンズが不要なため薄くなる。従って、粘着部材１５０１、タグ１５２１、又は、ポスター１５４１に当該撮像部を設けても、当該撮像部を設けた部分ほとんど厚くならないため、不自然な印象を与えない。
図７４は、バンド１５６１に撮像素子１２１を設けた例を示している。これにより、撮像素子１２１を人体や物品等の所望の位置に取り付けることができる。
例えば、通常の撮像レンズ及び撮像素子を含む撮像部をバンド１５６１に設けた場合、当該撮像部が厚いため、撮像部の重心がバンド１５６１から離れてしまい、撮像部によりバンド１５６１にかかるモーメントが大きくなる。その結果、例えば、バンド１５６１の装着位置が動いたり、バンド１５６１が伸びたりする。
一方、撮像素子１２１を含む撮像部は、上述したように薄いため、撮像部の重心はバンド１５６１とほぼ同じ位置になる。そのため、撮像部によりバンド１５６１にかかるモーメントは小さくなり、例えば、バンド１５６１の装着位置が動いたり、バンド１５６１が伸びたりすることが抑制される。
なお、図７１乃至図７４の例において、撮像素子１２１を含む撮像部に、例えば、ＲＦＩＤ（Radio Frequency IDentifier）やWi-Fi等の無線通信を行う通信機等の無線通信装置、エナジーハーベストを行う発電装置等を設けるようにしてもよい。これにより、外部から電力を供給しなくても撮像素子１２１を駆動することができる。また、撮像素子１２１により撮像された検出画像のデータを外部に送信することができる。
また、撮像素子１２１により撮像された検出画像を変換した復元画像に基づいて、各種の処理を行うことができる。
例えば、表示内容が可変の電子ポスター等によりポスター１５４１が構成される場合、復元画像に基づいて認識された人の属性（例えば、性別、年齢等）等に基づいて、表示内容を変更することができる。例えば、人の属性に基づいて、ポスター１５４１に表示される広告内容を変えることができる。
また、タグ１５２１をスーツケースに取り付けて、スーツケースの盗難を防止することができる。例えば、復元画像に基づいて認識されたスーツケースの周囲の状態に基づいて、スーツケースが動いていることが検出された場合、タグ１５２１が警報音を出力したり、スーツケースの盗難を通知するメール等を、ユーザのスマートフォン等に送信するようにすることができる。
図７５及び図７６は、マイクロＬＥＤディスプレイに撮像素子１２１を設けた例を示している。
なお、図７５及び図７６においては、白の枠で示されるマイクロＬＥＤ１６１１を備える画素と、斜線の枠で示される撮像素子１２１を備える画素との配置例を模式的に示している。
図７５のマイクロＬＥＤディスプレイ１６０１においては、マイクロＬＥＤ１６１１を備える画素と撮像素子１２１を備える画素とが、１列おきに交互にアレイ状に配置されている。
図７６のマイクロＬＥＤディスプレイ１６２１においては、マイクロＬＥＤ１６１１を備える画素が２次元のアレイ状に配置されている領域の四隅に、撮像素子１２１を備える画素が配置されている。
マイクロＬＥＤディスプレイ１６０１及びマイクロＬＥＤディスプレイ１６２１の各画素において、光源であるマイクロＬＥＤ１６１１が占める面積は非常に小さい。従って、隣接するマイクロＬＥＤ１６１１の隙間等に、容易に撮像素子１２１を配置することができる。
これにより、マイクロＬＥＤ１６１１を用いて画像を表示しながら、撮像素子１２１を用いて、マイクロＬＥＤディスプレイ１６０１又はマイクロＬＥＤディスプレイ１６２１の周囲（例えば、視聴者等）を撮像することができる。
なお、ディスプレイ素子であればマイクロＬＥＤには限られない。例えば有機ＥＬ素子であってもよい。
また、図７７のように、複数の通過部（開口部または透過部材による透過部）１６５１Ａを有する通過領域１６５１をディスプレイ素子１６４１に設け、さらに複数の通過部１６５１Ａを通過した光を受光できる位置に撮像素子１２１を設けてもよい。例えば、ディスプレイ素子１６４１の表示面を表、その反対面を裏としたとき、ディスプレイ素子１６４１の裏に撮像素子１２１を設けて、通過部１６５１Ａを通過した光を撮像素子１２１が受光できるようにする。これにより、ユーザはディスプレイ素子１６４１を介して撮像が可能となる。このとき、通過部１６５１Ａをピンホールと同様のピンホール機能を持つ部材としてもよいし、ディスプレイ素子１６４１と撮像素子１２１の間にピンホール機能を持つ部材（例えば、複数のホールが形成された板状素子）を挟んでもよい。なお、ピンホール機能を持つ部材を使用する場合、撮像素子１２１を一般的な入射角指向性が互いに同一の画素よりなる撮像素子に置き換えてもよい。なお、通過部は透明ディスプレイを利用してもよい。例えば、撮像モードのときは通過部を一時的に透過させ、撮像モードではないときは通過部をディスプレイとして利用する構成にしてもよい。
また、例えば、ディスプレイ素子１６４１を備える装置の端末情報等に、通過部１６５１Ａと撮像素子１２１の関係性に関する情報（例えば、通過部１６５１Ａと撮像画素の位置関係や角度関係を示す情報、どの撮像画素にどの通過部１６５１Ａを通った光が入射しているかを示す情報、通過部１６５１Ａによって生じる収差などの光学的な影響を示す情報、通過部１６５１Ａによって生じる光学的な影響を補正する校正値、入射光の重なり具合といった通過部１６５１Ａによって生じる撮像画素同士の関係性を示す情報）を含めてもよい。これにより、より精度の高い復元処理や通過部１６５１Ａの影響を考慮した画像処理が可能となる。また、ピンホール機能を持つ部材をディスプレイ素子１６４１と撮像素子１２１の間に設ける場合、ホールと撮像素子１２１の関係性に関する情報（例えば、ホールと撮像画素の位置関係や角度関係を示す情報、どの撮像画素にどのホールを通った光が入射しているかを示す情報等）を端末情報に含めてもよい。
＜＜７．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
＜撮像素子に関する変形例＞
本技術において、撮像素子は、複数の画素出力単位を有し、その複数の画素出力単位のうち、少なくとも２つの画素出力単位の間で、被写体からの入射光の入射角に対する特性が互いに異なっていればよく、その構成は任意である。
例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
図７８の撮像素子１７０１は、撮像素子１７１１の撮像面ＩＰに対して所定間隔を有するようにマスク１７１２が撮像素子１７１１に固定されている。被写体面ＯＰからの光は、マスク１７１２で変調されたのち撮像素子１７１１の撮像面ＩＰに入射する。
図７９は、図７８のマスク１７１２に白黒パターンマスクを用いた場合の例を示している。
図７９のＡは、白黒パターンマスクを例示している。白黒パターンマスク１７１２BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子１７１１の画素サイズと独立に設定されている。
図７９のＢは点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図７９のＢには、白黒パターンマスク１７１２BWを用いた場合の撮像素子の応答の例も、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク１７１２BWで変調されたのち撮像素子１７１１の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子１７１１の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子１７１１の応答はＳｂｗbとなる。したがって、撮像素子１７１１から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した情報となる。
この方式の撮像素子１７０１の入射角指向性パターンは、例えば、白黒パターンマスク１７１２BWのパターンと、撮像素子１７０１の画素の配列のパターンとの組み合わせにより表される。
なお、この方式の撮像素子１７０１の詳細は、例えば、非特許文献１に開示されている。
図８０は、図７８のマスク１７１２に光干渉マスクを用いた場合を示している。
図８０のＡに示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク１７１２LFを介して撮像素子１７１１の撮像面ＩＰに照射される。
光干渉マスク１７１２LFの例えば光入射面には、図８０のＢに示すように波長程度の凹凸が設けられている。また、光干渉マスク１７１２LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク１７１２LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。
ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク１７１２LFを透過した特定波長の透過光の強度は、図８０のＣに示すように、光干渉マスク１７１２LFに対する入射角に応じて変調されて撮像素子１７１１の撮像面ＩＰに入射する。したがって、撮像素子１７１１から出力される画素出力情報は、画素出力単位毎に各点光源の変調後の光強度を合成した情報となる。
この方式の撮像素子１７０１の入射角指向性パターンは、例えば、光干渉マスク１７１２LFのパターンと、撮像素子１７０１の画素の配列のパターンとの組み合わせにより表される。
なお、この方式の撮像素子１７０１の詳細は、例えば、国際公開第２０１４／１３７９２２号に開示されている。
また、マスク１７１２は、図７９に示す黒パターンをλ／２波長板（λは波長）としてマスクの表面と裏面に等しい偏光方向で直線偏光素子を設ける構成としてもよい。この場合、点光源から波長λの光を出射すれば、λ／２波長板を透過した偏光は偏光面が回転されることから白パターン部分に比べて光量が減少することになり、図７９の場合と同様に画素出力情報を生成できる。なお、点光源から出射する特定波長の光として、例えば遠赤外光を用いるようにすれば、撮像領域が暗くとも撮像領域の被写体に応じた画素出力情報を生成できる。
さらに、図示は省略するが、例えば、同心円透過フィルムをマスク１７１２に用いることが可能である。この場合、被写体面ＯＰからの光は、マスク１７１２で変調されることにより、撮像素子１７１１の撮像面ＩＰにおいて同心円の影が投影される。この撮像素子１７１１の画素出力情報に、さらに信号処理にて同心円パターンを重ね合わせてモアレ縞を生成し、このモアレ縞をフーリエ変換等で解析することで画素出力毎に各点光源の変調後の光強度を算出することができる。したがって、撮像素子１７１１から出力される画素出力情報は、画素出力単位毎に各点光源の変調後の光強度を合成した情報となる。
この方式の撮像素子１７０１の入射角指向性パターンは、例えば、同心円透過フィルムのパターンと、撮像素子１７０１の画素の配列のパターンとの組み合わせにより表される。
なお、いずれの方式の撮像素子１７０１を撮像素子１２１の代わりに用いても、情報端末５２２から情報処理装置５１２に送信される入力情報の内容は、撮像素子１２１を用いた場合と同様になる。すなわち、入力情報は、例えば、検出画像のデータ及び復元用情報を含む。また、復元用情報は、例えば、設定情報及び端末情報を含む。
なお、撮像素子１７０１では、マスク等の他の構成を付加する必要があるため、撮像素子１２１の方が、より小型化することができる。
＜＜８．その他＞＞
＜適用例＞
本技術は、撮像機能を有する装置やシステムであればどのような装置やシステムにも適用することができる。また、本技術は、撮像機能により得られた画像を処理する装置やシステムであれば、どのような装置やシステムにも適用することができる。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に用いられる装置やシステムに適用することができる。
例えば、本技術は、ディジタルカメラやカメラ機能付きの携帯機器等、鑑賞の用に供される画像を取り扱う装置やシステムに適用することができる。また、本技術は、例えば監視カメラのような、防犯、監視、観測等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば、人物認証、画像解析、測距等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば自動車やロボット等の自動運転のような、機械等の制御に用いられる画像を取り扱う装置やシステムに適用することもできる。
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。
＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
本技術は、以下のような構成も取ることができる。
（１）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、
前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、
前記復元画像の出力を制御する出力制御部と
を備える情報処理装置。
（２）
前記復元用情報は、前記撮像素子に固有の情報をさらに含む
前記（１）に記載の情報処理装置。
（３）
前記復元処理部は、前記復元用情報に基づいて復元用パラメータを設定し、前記復元用パラメータに基づいて前記復元画像を生成する
前記（２）に記載の情報処理装置。
（４）
前記復元処理部は、前記復元用パラメータに基づいて、前記検出画像から前記復元画像への変換に用いる復元行列を設定し、前記検出画像及び前記復元行列を用いて前記復元画像を生成する
前記（３）に記載の情報処理装置。
（５）
前記復元処理部は、前記復元用パラメータを変更しながら、前記復元画像を生成する処理を所定の回数繰り返す
前記（４）に記載の情報処理装置。
（６）
前記復元処理部は、変更した前記復元用パラメータに基づいて、前記復元行列を再設定する
前記（５）に記載の情報処理装置。
（７）
前記復元用パラメータは、前記撮像素子と被写体との間の距離である被写体距離、前記検出画像の画素を間引く位置、前記検出画像の画素を加算する位置、並びに、前記復元画像の生成に正則化最小二乗法を用いる場合の正則化パラメータのうち少なくとも１つを含む
前記（３）乃至（６）のいずれかに記載の情報処理装置。
（８）
復元前の前記検出画像、及び、復元前の前記検出画像の復元に用いる前記復元用パラメータを学習データとして機械学習を行う学習部を
さらに備え、
前記復元処理部は、前記機械学習の結果を用いて、前記検出画像に基づいて前記復元用パラメータの設定を行う
前記（３）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記撮像素子に固有の情報は、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報を含む
前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記設定情報は、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、前記復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含む
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記復元処理部は、前記検出画像の画素の間引き又は加算により、前記検出画像の画素数を前記復元画像の画素数と合わせてから、前記復元画像を生成する
前記（１０）に記載の情報処理装置。
（１２）
前記復元処理部は、前記フォーカス対象物の画像、又は、前記復元領域の画像の復元精度に基づいて、前記復元画像を生成する処理を繰り返す
前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記取得部は、前記検出画像及び前記復元用情報を他の情報処理装置から取得し、
前記出力制御部は、前記復元画像の前記他の情報処理装置への出力を制御する
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得し、
前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行い、
前記復元画像の出力を制御する
情報処理方法。
（１５）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得し、
前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行い、
前記復元画像の出力を制御する
処理をコンピュータに実行させるためのプログラム。
（１６）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御する出力制御部と、
前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する取得部と
を備える情報処理装置。
（１７）
前記設定情報は、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、前記復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含む
前記（１６）に記載の情報処理装置。
（１８）
前記撮像素子の各画素出力単位の検出信号を選択的に読み出す読み出し制御部を
さらに備え、
前記読み出し制御部は、前記検出画像の画素数を前記復元画像の画素数に合わせる
前記（１７）に記載の情報処理装置。
（１９）
前記復元用情報は、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報をさらに含む
前記（１６）乃至（１８）のいずれかに記載の情報処理装置。
（２０）
前記撮像素子を備える撮像装置を着脱可能であり、
前記取得部は、前記検出画像を前記撮像装置から取得する
前記（１６）乃至（１９）のいずれかに記載の情報処理装置。
（２１）
前記撮像素子を備える収納部材に収納可能であり、
前記取得部は、前記検出画像を前記収納部材から取得する
前記（１６）乃至（１９）のいずれかに記載の情報処理装置。
（２２）
前記撮像素子を
さらに備える前記（１６）乃至（２１）のいずれかに記載の情報処理装置。
（２３）
前記出力制御部は、前記検出画像及び前記復元用情報の他の情報処理装置への出力を制御し、
前記取得部は、前記復元画像を前記他の情報処理装置から取得する
前記（１６）乃至（２２）のいずれかに記載の情報処理装置。
（２４）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御し、
前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する
情報処理方法。
（２５）
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御し、
前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する
処理をコンピュータに実行させるためのプログラム。
（２６）
第１の情報処理装置と、
第２の情報処理装置と
を備え、
前記第１の情報処理装置は、
撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との前記第２の情報処理装置への出力を制御する第１の出力制御部と、
前記検出画像及び前記復元用情報を用いて生成された前記復元画像を前記第２の情報処理装置から取得する第１の取得部と
を備え、
前記第２の情報処理装置は、
前記検出画像及び前記復元用情報を前記第１の情報処理装置から取得する第２の取得部と、
前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、
前記復元画像の前記第１の情報処理装置への出力を制御する第２の出力制御部と
を備える情報処理システム。
なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。
１００ 撮像装置， １２０ 撮像部， １２１ 撮像素子， １２１ａ 画素， １２１ｂ 遮光膜， １２２ 読み出し制御部， １２３ 復元行列設定部， １２４ 復元部， ５０１ 情報処理システム， ５１１ クライアント， ５１２ 情報処理装置， ５１３ ネットワーク， ５２１ 撮像装置， ５２２ 情報端末， ６０１ 制御部， ６３１ 情報処理部， ６４１ 動作制御部， ６４２ 簡易復元部， ６４３ 取得部， ６４４ 情報生成部， ６４５ 出力制御部， ７０１ 制御部， ７３１ 情報処理部， ７４２ 復元行列設定部， ７４３ 復元部， ７４５ ジェスチャ認識部， ７４６ 取得部， ７４７ 情報生成部， ７４８ 出力制御部， ７４９ 出力制御部， ７５１ 復元処理部， １００１ 撮像モジュール， １００２ スマートフォン， １０５１ ケース

Claims (34)

  1. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを他の情報処理装置から取得する取得部と、
    前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、
    前記復元画像の前記他の情報処理装置への出力を制御する出力制御部と
    を備える情報処理装置。
  2. 前記復元用情報は、前記撮像素子に固有の情報をさらに含む
    請求項１に記載の情報処理装置。
  3. 前記復元処理部は、前記復元用情報に基づいて復元用パラメータを設定し、前記復元用パラメータに基づいて前記復元画像を生成する
    請求項２に記載の情報処理装置。
  4. 前記復元処理部は、前記復元用パラメータに基づいて、前記検出画像から前記復元画像への変換に用いる復元行列を設定し、前記検出画像及び前記復元行列を用いて前記復元画像を生成する
    請求項３に記載の情報処理装置。
  5. 前記復元用パラメータは、前記撮像素子と被写体との間の距離である被写体距離、前記検出画像の画素を間引く位置、前記検出画像の画素を加算する位置、並びに、前記復元画像の生成に正則化最小二乗法を用いる場合の正則化パラメータのうち少なくとも１つを含む
    請求項３に記載の情報処理装置。
  6. 復元前の前記検出画像、及び、復元前の前記検出画像の復元に用いる前記復元用パラメータを学習データとして機械学習を行う学習部を
    さらに備え、
    前記復元処理部は、前記機械学習の結果を用いて、前記検出画像に基づいて前記復元用パラメータの設定を行う
    請求項３に記載の情報処理装置。
  7. 前記撮像素子に固有の情報は、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報を含む
    請求項２に記載の情報処理装置。
  8. 前記設定情報は、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、前記復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含む
    請求項１に記載の情報処理装置。
  9. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、
    前記復元用情報に基づいて復元用パラメータを設定し、前記復元用パラメータに基づいて、前記検出画像から前記復元画像への変換に用いる復元行列を設定し、前記検出画像及び前記復元行列を用いて前記復元画像を生成する復元処理を行う復元処理部と
    を備える情報処理装置。
  10. 前記復元画像の出力を制御する出力制御部を
    さらに備える請求項９に記載の情報処理装置。
  11. 前記復元処理部は、前記復元用パラメータを変更しながら、前記復元画像を生成する処理を所定の回数繰り返す
    請求項９に記載の情報処理装置。
  12. 前記復元処理部は、変更した前記復元用パラメータに基づいて、前記復元行列を再設定する
    請求項１１に記載の情報処理装置。
  13. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、
    前記復元用情報に基づいて、前記撮像素子と被写体との間の距離である被写体距離、前記検出画像の画素を間引く位置、前記検出画像の画素を加算する位置、並びに、前記復元画像の生成に正則化最小二乗法を用いる場合の正則化パラメータのうち少なくとも１つを含む復元用パラメータを設定し、前記検出画像及び前記復元用パラメータを用いて前記復元画像を生成する復元処理を行う復元処理部と
    を備える情報処理装置。
  14. 前記復元画像の出力を制御する出力制御部を
    さらに備える請求項１３に記載の情報処理装置。
  15. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報及び前記撮像素子に固有の情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、
    復元前の前記検出画像、及び、復元前の前記検出画像の復元に用いる復元用パラメータを学習データとして機械学習を行う学習部と、
    前記機械学習の結果を用いて、前記検出画像に基づいて前記復元用パラメータの設定を行い、前記検出画像及び前記復元用パラメータを用いて前記復元画像を生成する復元処理を行う復元処理部と
    を備える情報処理装置。
  16. 前記復元画像の出力を制御する出力制御部を
    さらに備える請求項１５に記載の情報処理装置。
  17. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報、及び、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報を含む前記撮像素子に固有の情報とを含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを取得する取得部と、
    前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と
    を備える情報処理装置。
  18. 前記復元画像の出力を制御する出力制御部を
    さらに備える請求項１７に記載の情報処理装置。
  19. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含み、ユーザが設定した設定情報を含み、前記検出画像から前記復元画像を生成するのに用いる復元用情報とを取得する取得部と、
    前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と
    を備える情報処理装置。
  20. 前記復元画像の出力を制御する出力制御部を
    さらに備える請求項１９に記載の情報処理装置。
  21. 前記復元処理部は、前記検出画像の画素の間引き又は加算により、前記検出画像の画素数を前記復元画像の画素数と合わせてから、前記復元画像を生成する
    請求項１９に記載の情報処理装置。
  22. 前記復元処理部は、前記フォーカス対象物の画像、又は、前記復元領域の画像の復元精度に基づいて、前記復元画像を生成する処理を繰り返す
    請求項１９に記載の情報処理装置。
  23. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報とを他の情報処理装置から取得し、
    前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行い、
    前記復元画像の前記他の情報処理装置への出力を制御する
    処理をコンピュータに実行させるためのプログラム。
  24. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御する出力制御部と、
    前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する取得部と
    を備える情報処理装置。
  25. 前記設定情報は、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、前記復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含む
    請求項２４に記載の情報処理装置。
  26. 前記撮像素子の各画素出力単位の検出信号を選択的に読み出す読み出し制御部を
    さらに備え、
    前記読み出し制御部は、前記検出画像の画素数を前記復元画像の画素数に合わせる
    請求項２５に記載の情報処理装置。
  27. 前記復元用情報は、前記撮像素子の前記入射光の入射角に対する指向性を示す入射角指向性のパターンを識別するための識別情報をさらに含む
    請求項２４に記載の情報処理装置。
  28. 前記撮像素子を備える撮像装置を着脱可能であり、
    前記取得部は、前記検出画像を前記撮像装置から取得する
    請求項２４に記載の情報処理装置。
  29. 前記撮像素子を備える収納部材に収納可能であり、
    前記取得部は、前記検出画像を前記収納部材から取得する
    請求項２４に記載の情報処理装置。
  30. 前記撮像素子を
    さらに備える請求項２４に記載の情報処理装置。
  31. 前記出力制御部は、前記検出画像及び前記復元用情報の他の情報処理装置への出力を制御し、
    前記取得部は、前記復元画像を前記他の情報処理装置から取得する
    請求項２４に記載の情報処理装置。
  32. 撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との出力を制御し、
    前記検出画像及び前記復元用情報を用いて生成された前記復元画像を取得する
    処理をコンピュータに実行させるためのプログラム。
  33. 前記設定情報は、前記撮像素子と被写体との間の距離である被写体距離、フォーカスを合わせる被写体の種類を示すフォーカス対象物、復元する領域を示す復元領域、前記復元画像の画素数、前記復元画像の画角、及び、復元を行うタイミングのうち少なくとも１つを含む
    請求項３２に記載のプログラム。
  34. 第１の情報処理装置と、
    第２の情報処理装置と
    を備え、
    前記第１の情報処理装置は、
    撮像レンズを介さず入射する入射光を受光する撮像素子から出力される検出画像と、ユーザが設定した設定情報を含み、前記検出画像から復元画像を生成するのに用いる復元用情報との前記第２の情報処理装置への出力を制御する第１の出力制御部と、
    前記検出画像及び前記復元用情報を用いて生成された前記復元画像を前記第２の情報処理装置から取得する第１の取得部と
    を備え、
    前記第２の情報処理装置は、
    前記検出画像及び前記復元用情報を前記第１の情報処理装置から取得する第２の取得部と、
    前記検出画像及び前記復元用情報を用いて前記復元画像を生成する復元処理を行う復元処理部と、
    前記復元画像の前記第１の情報処理装置への出力を制御する第２の出力制御部と
    を備える情報処理システム。
JP2020510715A 2018-03-29 2019-03-19 情報処理装置、プログラム、及び、情報処理システム Active JP7238887B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018063528 2018-03-29
JP2018063528 2018-03-29
PCT/JP2019/011321 WO2019188536A1 (ja) 2018-03-29 2019-03-19 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019188536A1 JPWO2019188536A1 (ja) 2021-04-01
JP7238887B2 true JP7238887B2 (ja) 2023-03-14

Family

ID=68058931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020510715A Active JP7238887B2 (ja) 2018-03-29 2019-03-19 情報処理装置、プログラム、及び、情報処理システム

Country Status (5)

Country Link
US (1) US11470247B2 (ja)
EP (1) EP3780576A4 (ja)
JP (1) JP7238887B2 (ja)
CN (1) CN112106343A (ja)
WO (1) WO2019188536A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220805A (ja) * 2018-06-19 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN114208144A (zh) * 2019-07-31 2022-03-18 麦克赛尔株式会社 摄像装置、便携终端和曝光控制方法
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
EP4131925A4 (en) * 2020-03-31 2023-09-06 Sony Group Corporation IMAGE PROCESSING DEVICE AND METHOD, PROGRAM, AND IMAGE PROCESSING SYSTEM
US20230403455A1 (en) * 2022-06-13 2023-12-14 Samsung Electronics Co., Ltd. Method and apparatus with image quality improvement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050699A1 (ja) 2012-09-25 2014-04-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2017149687A1 (ja) 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置
WO2018012492A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 撮像装置、撮像素子、および画像処理装置
JP2019009622A (ja) 2017-06-23 2019-01-17 株式会社日立製作所 撮像装置、撮像システム、及び撮像方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101258740A (zh) 2005-07-28 2008-09-03 京瓷株式会社 摄像装置及图像处理方法
JP4531007B2 (ja) * 2006-04-04 2010-08-25 オリンパス株式会社 画像処理システム
EP3836215A1 (en) 2008-07-25 2021-06-16 Cornell University Light field image sensor, method and applications
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
KR101605770B1 (ko) * 2009-07-28 2016-03-23 삼성전자주식회사 영상 처리 방법 및 장치
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5404376B2 (ja) * 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
CN110058339B (zh) 2013-03-05 2022-03-08 拉姆伯斯公司 用于高分辨率无透镜光学传感的具有奇对称的相位光栅
CN105684417B (zh) * 2013-10-31 2019-05-14 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法
JP6209952B2 (ja) * 2013-11-19 2017-10-11 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム
US11178349B2 (en) 2015-01-29 2021-11-16 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
JP6910772B2 (ja) * 2016-09-08 2021-07-28 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
CN111201775B (zh) * 2017-10-19 2022-01-18 索尼公司 信息处理设备、信息处理方法、图像捕获设备和记录介质
CN111201771B (zh) * 2017-10-19 2022-08-30 索尼公司 电子仪器
US11460666B2 (en) * 2017-10-19 2022-10-04 Sony Corporation Imaging apparatus and method, and image processing apparatus and method
US11431911B2 (en) * 2017-10-19 2022-08-30 Sony Corporation Imaging device and signal processing device
US11223787B2 (en) * 2017-10-19 2022-01-11 Sony Corporation Information processing apparatus, information processing method, and imaging apparatus
EP3700194A4 (en) * 2017-10-19 2020-08-26 Sony Corporation IMAGING DEVICE AND METHOD AND IMAGE PROCESSING DEVICE AND METHOD
CN111201778B (zh) * 2017-10-19 2022-02-08 索尼公司 成像装置、曝光控制方法、计算机可读存储介质和成像器件
RU2020112459A (ru) * 2017-10-19 2021-09-27 Сони Корпорейшн Устройство и способ получения изображения, устройство и способ обработки изображения
JP7160044B2 (ja) * 2017-10-19 2022-10-25 ソニーグループ株式会社 電子機器
US11375103B2 (en) * 2017-10-19 2022-06-28 Sony Corporation Imaging device, image processing apparatus, and image processing method
CN111201777B (zh) * 2017-10-19 2022-02-01 索尼公司 信号处理装置和成像装置
US11350053B2 (en) * 2017-11-30 2022-05-31 Sony Corporation Imaging device, method thereof, and imaging element
JP6819629B2 (ja) * 2018-02-23 2021-01-27 オムロン株式会社 画像センサ
EP3780580B1 (en) * 2018-03-26 2024-04-24 Sony Group Corporation Image capture element and image processing method
CN111989916B (zh) * 2018-03-30 2022-11-08 索尼公司 成像设备和方法、图像处理设备和方法以及成像元件

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050699A1 (ja) 2012-09-25 2014-04-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2017149687A1 (ja) 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置
WO2018012492A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 撮像装置、撮像素子、および画像処理装置
JP2019009622A (ja) 2017-06-23 2019-01-17 株式会社日立製作所 撮像装置、撮像システム、及び撮像方法

Also Published As

Publication number Publication date
US11470247B2 (en) 2022-10-11
EP3780576A4 (en) 2021-04-21
EP3780576A1 (en) 2021-02-17
JPWO2019188536A1 (ja) 2021-04-01
WO2019188536A1 (ja) 2019-10-03
CN112106343A (zh) 2020-12-18
US20210014412A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7238887B2 (ja) 情報処理装置、プログラム、及び、情報処理システム
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
US9076703B2 (en) Method and apparatus to use array sensors to measure multiple types of data at full resolution of the sensor
JP7192778B2 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP7259756B2 (ja) 撮像装置および信号処理装置
KR20200074101A (ko) 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법
JP2020042801A (ja) イメージ復元方法及び装置
US10863165B2 (en) Image processing apparatus and method
WO2019078338A1 (ja) 電子機器
JP2023041751A (ja) 撮像装置及び信号処理装置
CN115023938B (zh) 电子装置
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
JPWO2019189099A1 (ja) 撮像素子、撮像装置、並びに、情報処理方法
KR20200062220A (ko) 전자 기기
KR20220001702A (ko) 이미지 센서를 포함하는 전자 장치
WO2022201973A1 (ja) 情報処理システム及び学習モデルの生成方法
CN116506745A (zh) 成像装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151