JPWO2019078339A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JPWO2019078339A1
JPWO2019078339A1 JP2019548814A JP2019548814A JPWO2019078339A1 JP WO2019078339 A1 JPWO2019078339 A1 JP WO2019078339A1 JP 2019548814 A JP2019548814 A JP 2019548814A JP 2019548814 A JP2019548814 A JP 2019548814A JP WO2019078339 A1 JPWO2019078339 A1 JP WO2019078339A1
Authority
JP
Japan
Prior art keywords
image
pixel
light
unit
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019548814A
Other languages
English (en)
Other versions
JP7247890B2 (ja
Inventor
明 徳世
明 徳世
佳孝 宮谷
佳孝 宮谷
法明 幸塚
法明 幸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019078339A1 publication Critical patent/JPWO2019078339A1/ja
Application granted granted Critical
Publication of JP7247890B2 publication Critical patent/JP7247890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/001—Eyepieces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本開示は、ユーザの周囲を撮像する機能を有する電子機器を小型化することができるようにする電子機器に関する。ユーザが装着又は使用する電子機器において、前記電子機器を装着又は使用しているユーザの周囲が写る位置に配置されている撮像部であって、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を複数の備える撮像部を備える。本開示は、例えば、ウエアラブルデバイスに適用することができる。

Description

本開示は、電子機器に関し、特に、ユーザの周囲を撮像する機能を有する電子機器に関する。
従来、撮像レンズを用いずに、撮像素子の受光面を覆う格子状の光学フィルタや回折格子からなる光学フィルタにより被写体からの光を変調して撮像し、所定の演算処理により被写体の像が結像された画像を復元する撮像装置が提案されている（例えば、非特許文献１、特許文献１、２参照）。
特表２０１６-５１０９１０号公報 国際公開第２０１６／１２３５２９号
ところで、非特許文献１や特許文献１、２に示されるような撮像レンズを用いない撮像装置は、撮像レンズがない分小型化が可能であり、適用範囲の拡大が期待されている。
本開示は、このような状況に鑑みてなされたものであり、ユーザの周囲を撮像する機能を有する電子機器を小型化できるようにするものである。
本開示の一側面の撮像装置は、ユーザが装着又は使用する電子機器において、前記電子機器を装着又は使用しているユーザの周囲が写る位置に配置されている撮像部であって、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を複数備える撮像部を備える。
本開示の一側面においては、複数の画素出力単位により、電子機器を装着又は使用しているユーザの周囲が撮像され、検出信号が出力される。
本開示の一側面によれば、ユーザの周囲を撮像する機能を有する電子機器を小型化することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の技術を適用した撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置の基本的な構成例を示すブロック図である。 図２の撮像素子の画素アレイ部の構成例を示す図である。 図２の撮像素子の第１の構成例を説明する図である。 図２の撮像素子の第２の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 遮光膜のタイプの例を示す図である。 入射角指向性の設計を説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 被写体距離と入射角指向性を示す係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 複数の画角の画素を組み合わせる例を説明する図である。 図２の撮像装置による撮像処理を説明するフローチャートである。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 本開示の技術を適用した電子機器の構成例を示すブロック図である。 ウエアラブルデバイスにおける撮像素子の配置例を示す図である。 撮像素子の入射角指向性の例を示す図である。 カメラにおける撮像素子の配置例を示す図である。 ヘッドマウントディスプレイにおける撮像素子の配置例を示す図である。 ＰＣにおける撮像素子の配置例を示す図である。 ユーザ撮像制御処理を説明するフローチャートである。 ウエアラブルデバイスにおける撮像素子の配置例を示す図である。 カメラにおける撮像素子の配置例を示す図である。 ヘッドマウントディスプレイにおける撮像素子の配置例を示す図である。 オーバーヘッド型のヘッドフォンにおける撮像素子の配置例を示す図である。 オーバーヘッド型のヘッドフォンにおける撮像素子の配置例を示す図である。 ネックバンド型のヘッドフォンにおける撮像素子の配置例を示す図である。 ユーザ周囲撮像制御処理を説明するフローチャートである。 撮像素子の設置位置の形状の変形への対応方法を説明する図である。 本開示の技術を適用した情報処理システムの構成例を示すブロック図である。 図５の撮像素子の変形例を示す図である。 画素出力単位の変形例を説明する図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図４９に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 体内情報取得システムの概略的な構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。
また、以下の順序で説明を行う。
１．本開示の撮像装置の概要
２．本開示の撮像装置の基本的な構成例
３．第１の実施の形態：ユーザを撮像する場合
４．第２の実施の形態：ユーザの周囲を撮像する場合
５．変形例
６．応用例
７．その他
＜＜１．本開示の撮像装置の概要＞＞
まず、本開示の撮像装置の概要について説明する。
本開示の撮像装置においては、図１の左上に示されるように、各画素の検出感度に入射角指向性を持たせた撮像素子５１が用いられる。ここで、各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。
ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図１の左上の被写体の被写体面３１が、点光源ＰＡ乃至点光源ＰＣにより構成され、点光源ＰＡ乃至点光源ＰＣが、それぞれ光強度ａ乃至光強度ｃの複数の光線を周囲に発しているものとする。また、以下、撮像素子５１は、位置Ｐａ乃至位置Ｐｃに入射角指向性がそれぞれ異なる画素（以下、画素Ｐａ乃至画素Ｐｃと称する）を備えるものとする。
この場合、図１の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子５１の各画素に入射される。例えば、点光源ＰＡから発せられた光強度ａの光線が、撮像素子５１の画素Ｐａ乃至画素Ｐｃにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源ＰＡからの光線は、画素Ｐａ乃至画素Ｐｃにそれぞれ異なる入射角度で入射される。
ここで、画素Ｐａ乃至画素Ｐｃの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源ＰＡからの光強度ａの光線に対する検出信号レベルが、画素Ｐａ乃至画素Ｐｃでそれぞれ異なる値になる。
そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度（すなわち、入射角指向性）を示す係数を乗じることにより求められる。例えば、点光源ＰＡからの光線に対する画素Ｐａの検出信号レベルは、点光源ＰＡの光線の光強度ａに、当該光線の画素Ｐａへの入射角度に対する画素Ｐａの入射角指向性を示す係数を乗じることにより求められる。
従って、画素Ｐｃ，Ｐｂ，Ｐａの検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
ここで、係数α１は、点光源ＰＡから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α１×ａは、点光源ＰＡからの光線に対する画素Ｐｃの検出信号レベルを示している。
係数β１は、点光源ＰＢから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β１×ｂは、点光源ＰＢからの光線に対する画素Ｐｃの検出信号レベルを示している。
係数γ１は、点光源ＰＣから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ１×ｃは、点光源ＰＣからの光線に対する画素Ｐｃの検出信号レベルを示している。
このように、画素Ｐａの検出信号レベルＤＡは、画素Ｐｃにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１との積和により求められる。
同様に、画素Ｐｂの検出信号レベルＤＢは、式（２）に示されるように、画素Ｐｂにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。また、画素Ｐｃの検出信号レベルＤＣは、式（３）に示されるように、画素Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。
ただし、画素Ｐａ，Ｐｂ，Ｐｃの検出信号レベルＤＡ、ＤＢ、ＤＣは、式（１）乃至式（３）に示されるように、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じっている。従って、図１の右上に示されるように、撮像素子５１における検出信号レベルは、被写体面３１上の各点光源の光強度とは異なる。従って、撮像素子５１により得られる画像は、被写体面３１の像が結像されたものとは異なるものとなる。
一方、式（１）乃至式（３）からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源ＰＡ乃至点光源ＰＣの光線の光強度ａ乃至光強度ｃが求められる。そして、求めた光強度ａ乃至光強度ｃに応じた画素値を有する画素を点光源ＰＡ乃至点光源ＰＣの配置（相対位置）に合わせて並べることにより、図１の右下に示されるように、被写体面３１の像が結像された復元画像が復元される。
なお、以下、連立方程式を構成する式毎に係数をまとめたもの（例えば、係数α１、β１、γ１）を係数セットと称する。また、以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの（例えば、係数セットα１、β１、γ１、係数セットα２、β２、γ２、係数セットα３、β３、γ３）を係数セット群と称する。
このようにして、撮像レンズ、ピンホール、並びに、特許文献１及び非特許文献１（以下、特許文献等と称する）に示される光学フィルタを必要とせず、各画素において入射角指向性を有する撮像素子５１を必須構成とする撮像装置を実現することが可能となる。結果として、撮像レンズ、ピンホール、及び、特許文献等に記載の光学フィルタが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
また、必須構成が撮像素子５１のみになるので、設計の自由度を向上させることが可能となる。例えば、従来の撮像レンズを用いた撮像装置では、撮像レンズにより被写体の像が結像される位置に合わせて、撮像素子の画素を２次元のアレイ状に配置する必要があるが、撮像素子５１を用いた撮像装置では、その必要がない。そのため、各画素の配置の自由度が向上し、例えば、被写体からの光が入射する範囲内において、各画素を自由に配置することが可能になる。例えば、各画素を円形の領域内に並べたり、中空方形（ロの字型）の領域内に並べたり、複数の領域に分散して配置したりすることが可能になる。
そして、各画素の配置に関わらず、被写体面３１上の各点光源からの光線の各画素への入射角度に応じた係数を用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成し、解くことにより、各点光源からの光線の光強度を求めることができる。そして、求めた各点光源の光強度に応じた画素値を有する画素を被写体面３１上の各点光源の配置に合わせて並べることにより、被写体面３１の像が結像された復元画像を復元することができる。
＜＜２．本開示の撮像装置の基本的な構成例＞＞
次に、図２乃至図２５を参照して、本開示の撮像装置の基本的な構成例について説明する。
＜撮像装置１０１の構成例＞
図２は、本開示の技術を適用した基本的な撮像装置である撮像装置１０１の構成例を示すブロック図である。
撮像装置１０１は、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１を備える。また、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１により、信号処理や撮像装置１０１の制御等を行う信号処理制御部１１１が構成される。なお、撮像装置１０１は、撮像レンズを含まない（撮像レンズフリー）。
また、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、及び、通信部１３１は、バスＢ１を介して相互に接続されており、バスＢ１を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置１０１の各部がバスＢ１を介してデータの送受信等を行う場合のバスＢ１の記載を省略する。例えば、入力部１２４がバスＢ１を介して制御部１２３にデータを供給する場合、入力部１２４が制御部１２３にデータを供給すると記載する。
撮像素子１２１は、図１を参照して説明した撮像素子５１に対応するものであり、入射角指向性を有する画素を含み、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部１２２又はバスＢ１に出力する撮像素子である。
より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、画素アレイを構成する各画素の構成が一般のものと異なり、例えば、図３乃至図５を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子１２１は、画素毎に入射光の入射角度に応じて受光感度が異なり（変化し）、画素単位で入射光の入射角度に対する入射角指向性を有している。
なお、撮像素子１２１が出力する画像は、上述した図１の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない（被写体を視認不可能な）画像である。
そこで、以降においては、図１の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子１２１により撮像される画像を、検出画像と称するものとする。
尚、撮像素子１２１は、画素アレイとして構成されなくてもよく、例えば、ラインセンサとして構成されてもよい。また、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向が同じ画素を含んでいてもよい。
復元部１２２は、例えば、図１における撮像素子５１から被写体面３１（復元画像に対応する被写体面）までの距離に相当する被写体距離に対応し、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶部１２８から取得する。また、復元部１２２は、撮像素子１２１から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成する。そして、復元部１２２は、作成した連立方程式を解くことにより、図１の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる（被写体を視認可能な）画像が検出画像から復元される。以降においては、この検出画像から復元される画像を復元画像と称するものとする。ただし、撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。
また、以降においては、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をRAW画像と称し、撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、RAW画像ではないものとして区別する。
尚、撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。
また、復元部１２２は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部１２２は、復元画像をバスＢ１に出力する。
制御部１２３は、例えば、各種のプロセッサを備え、撮像装置１０１の各部を制御する。
入力部１２４は、撮像装置１０１の操作や、処理に用いるデータの入力等を行うための入力デバイス（例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等）を備える。入力部１２４は、操作信号や入力されたデータ等をバスＢ１に出力する。
検出部１２５は、撮像装置１０１や被写体の状態等の検出に用いる各種のセンサ等を備える。例えば、検出部１２５は、撮像装置１０１の姿勢や動きを検出する加速度センサやジャイロセンサ、撮像装置１０１の位置を検出する位置検出センサ（例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機等）、被写体距離を検出する測距センサ等を備える。検出部１２５は、検出結果を示す信号をバスＢ１に出力する。
関連付け部１２６は、撮像素子１２１により得られる検出画像と、検出画像に対応するメタデータとの関連付けを行う。メタデータは、例えば、対象となる検出画像を用いて復元画像を復元するための係数セット群や被写体距離等を含む。
なお、検出画像とメタデータを関連付ける方法は、検出画像とメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じＩＤを付与したり、検出画像とメタデータを同じ記録媒体１３０に記録させたりすることにより、検出画像とメタデータが関連付けられる。
表示部１２７は、例えば、ディスプレイにより構成され、各種の情報（例えば、復元画像等）の表示を行う。なお、表示部１２７が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
記憶部１２８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像装置１０１の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部１２８は、様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶している。より具体的には、例えば、記憶部１２８は、各被写体距離における被写体面３１毎に、被写体面３１上に設定した各点光源に対する撮像素子１２１の各画素１２１ａに対する係数を含む係数セット群を記憶している。
記録再生部１２９は、記録媒体１３０へのデータの記録、及び、記録媒体１３０に記録されているデータの再生（読み出し）を行う。例えば、記録再生部１２９は、復元画像を記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。また、例えば、記録再生部１２９は、検出画像及び対応するメタデータを、記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。
記録媒体１３０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
通信部１３１は、所定の通信方式により、他の機器（例えば、他の撮像装置や信号処理装置等）と通信を行う。なお、通信部１３１の通信方式は、有線又は無線のいずれであってもよい。また、通信部１３１が複数の通信方式に対応することも可能である。
＜撮像素子１２１の第１の構成例＞
次に、図３及び図４を参照して、図２の撮像装置１０１の撮像素子１２１の第１の構成例について説明する。
図３は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図３においては、画素アレイ部の画素数が縦６画素×横６画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。
図３の撮像素子１２１では、画素１２１ａ毎に、そのフォトダイオードの受光領域（受光面）の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
例えば、画素１２１ａ−１と画素１２１ａ−２とでは、設けられている遮光膜１２１ｂ−１と遮光膜１２１ｂ−２とによりフォトダイオードの受光領域を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ−１においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−１が設けられている。一方、画素１２１ａ−２においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−２が設けられている。なお、遮光膜１２１ｂ−１がフォトダイオードの受光領域を遮光する幅と、遮光膜１２１ｂ−２がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ内でランダムに配置されている。
尚、遮光膜１２１ｂが各画素の受光領域を覆い隠す割合が大きくなるほど、フォトダイオードが受光できる光量が少ない状態となる。従って、遮光膜１２１ｂの面積は、所望の光量が確保できる程度の面積とすることが望ましく、例えば、最大で受光領域の３／４程度までといった制限を加えるようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素において、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
図４の上段は、撮像素子１２１の第１の構成例における側面断面図であり、図４の中段は、撮像素子１２１の第１の構成例における上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。
図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ−１，１２１ａ−２は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
尚、画素１２１ａ−１，１２１ａ−２を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素１２１ａと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字を省略する場合がある。
また、図４においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
さらに、画素１２１ａ−１，１２１ａ−２は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ−１，１２１ｅ−２を備えている。また、フォトダイオード１２１ｅ−１，１２１ｅ−２の上には、それぞれ上からオンチップレンズ１２１ｃ−１，１２１ｃ−２、およびカラーフィルタ１２１ｄ−１，１２１ｄ−２が積層されている。
オンチップレンズ１２１ｃ−１，１２１ｃ−２は、入射光をフォトダイオード１２１ｅ−１，１２１ｅ−２上に集光させる。
カラーフィルタ１２１ｄ−１，１２１ｄ−２は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ−１，１２１ｄ−２は、透明のフィルタでもよいし、無くてもよい。
画素１２１ａ−１，１２１ａ−２の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｇ−１乃至１２１ｇ−３が形成されており、例えば、図４に示されるように、入射光Ｌが隣接する画素に入射し、クロストークが発生するのを抑制する。
また、図４の上段及び中段に示されるように、遮光膜１２１ｂ−１，１２１ｂ−２が、上面から見て受光面Ｓの一部を遮光している。画素１２１ａ−１，１２１ａ−２におけるフォトダイオード１２１ｅ−１，１２１ｅ−２の受光面Ｓにおいては、遮光膜１２１ｂ−１，１２１ｂ−２により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａで異なっている必要はなく、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
なお、図４の上段に示されるように、遮光膜１２１ｂ−１と遮光膜１２１ｇ−１とは互いに接続されており、側面から見てＬ字型に構成されている。同様に、遮光膜１２１ｂ−２と遮光膜１２１ｇ−２とは互いに接続されており、側面から見てＬ字型に構成されている。また、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金により構成される。また、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図４の下段に示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備え、垂直信号線１６７を介して電流源１６８に接続されている。
フォトダイオード１６１は、アノード電極が接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極に接続されている。
転送トランジスタ１６２は、転送信号ＴＧに従って駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線１６７に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。
例えば、図４の下段に示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。
第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３が基準電位に設定される。
第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
そして、ＣＤＳ（相関二重サンプリング）により信号電位から基準電位が減算された信号が、画素１２１ａの検出信号（画素信号）として出力される。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
＜撮像素子１２１の第２の構成例＞
図５は、撮像素子１２１の第２の構成例を示す図である。図５の上段には、第２の構成例である撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
図５の撮像素子１２１は、１つの画素１２１ａに４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成され、遮光膜１２１ｇがフォトダイオード１２１ｆ−１乃至１２１ｆ−４同士を分離する領域に形成されている点で、図４の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｇは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については図４と同一の符号を付しており、詳細な説明は省略する。
図５の撮像素子１２１では、遮光膜１２１ｇによりフォトダイオード１２１ｆ−１乃至１２１ｆ−４が分離されることによって、フォトダイオード１２１ｆ−１乃至１２１ｆ−４間の電気的および光学的なクロストークの発生が防止される。すなわち、図５の遮光膜１２１ｇは、図４の撮像素子１２１の遮光膜１２１ｇと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
また、図５の撮像素子１２１では、１個のＦＤ部１６３が４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有される。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有するようにした回路構成例を示している。尚、図５の下段において、図４の下段と同一の構成については、その説明を省略する。
図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１（図４の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１−１乃至１６１−４（図５の上段におけるフォトダイオード１２１ｆ−１乃至１２１ｆ−４に対応する）および転送トランジスタ１６２−１乃至１６２−４を設け、ＦＤ部１６３を共有する構成としている点である。
このような構成により、フォトダイオード１２１ｆ−１乃至１２１ｆ−４に蓄積された電荷は、フォトダイオード１２１ｆ−１乃至１２１ｆ−４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が検出信号（画素信号）として読み出される（ただし、上述したようにＣＤＳ処理が行われる）。
このため、フォトダイオード１２１ｆ−１乃至１２１ｆ−４で蓄積された電荷を様々な組み合わせで選択的に画素１２１ａの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード１２１ｆ−１乃至１２１ｆ−４毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード１２１ｆ−１乃至１２１ｆ−４（フォトダイオード１２１ｆ−１乃至１２１ｆ−４が出力に寄与する度合い）を互いに異ならせることで、異なる入射角指向性を得ることができる。
例えば、フォトダイオード１２１ｆ−１とフォトダイオード１２１ｆ−３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ−１とフォトダイオード１２１ｆ−２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
また、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４より独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する検出信号となる。
なお、各フォトダイオード１２１ｆ（の電荷）の検出信号への寄与は、例えば、各フォトダイオード１２１ｆの電荷（検出値）をＦＤ部１６３に転送するか否かだけでなく、電子シャッタ機能を用いてＦＤ部１６３への転送前にフォトダイオード１２１ｆに蓄積された電荷をリセットすること等でも実現することができる。例えば、ＦＤ部１６３への転送直前にフォトダイオード１２１ｆの電荷をリセットすれば、そのフォトダイオード１２１ｆは、検出信号に全く寄与しない状態となる。一方、フォトダイオード１２１ｆの電荷をリセットとＦＤ部１６３への電荷の転送との間に時間を持たせることにより、そのフォトダイオード１２１ｆは、部分的に検出信号に寄与する状態となる。
以上のように、図５の撮像素子１２１の場合、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図５の撮像素子１２１の各画素１２１ａから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値（出力画素値）となり、入射角により特性（指向性）が異なる（入射角指向性を有する）。
なお、以下、検出画像の１画素分に相当する検出信号を出力する単位を画素出力単位と称する。画素出力単位は、少なくとも１つ以上のフォトダイオードを備え、通常は、撮像素子１２１の各画素１２１ａが、それぞれ１つの画素出力単位に相当する。
例えば、図４の撮像素子１２１では、１つの画素１２１ａにそれぞれ１つのフォトダイオード１２１ｅが設けられているため、１つの画素出力単位がそれぞれ１つのフォトダイオード１２１ｅを備えることになる。換言すれば、１つのフォトダイオード１２１ｅにより、１つの画素出力単位が構成される。
そして、各画素１２１ａの遮光膜１２１ｂによる遮光の状態をそれぞれ異なるものとすることで、各画素出力単位の入射角指向性を異なるものとすることができる。そして、図４の撮像素子１２１では、遮光膜１２１ｂを用いて各画素１２１ａへの入射光が光学的に変調され、その結果、各画素１２１ａのフォトダイオード１２１ｅから出力される信号により、入射角指向性を反映した検出画像の１画素分の検出信号が得られる。すなわち、図４の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が１つのフォトダイオード１２１ｅを備え、被写体からの入射光の入射角に対する特性（入射角指向性）が画素出力単位毎に設定されている。
一方、図５の撮像素子１２１では、１つの画素１２１ａにそれぞれ４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が設けられているため、１つの画素出力単位がそれぞれ４つのフォトダイオード１２１ｅを備えることになる。換言すれば、４つのフォトダイオード１２１ｆにより、１つの画素出力単位が構成される。一方、各フォトダイオード１２１ｅ単体により、個別の画素出力単位が構成されることはない。
そして、上述したように４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち検出信号に寄与するフォトダイオード１２１ｆを画素１２１ａ毎に異なるものとすることで、画素出力単位毎の入射角指向性が異なるものとなる。すなわち、図５の撮像素子１２１では、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち出力（検出信号）に寄与しない範囲が遮光された領域と同様に機能する。そして、フォトダイオード１２１ｆ−１乃至１２１ｆ−４から出力される信号の組合せにより、入射角指向性を反映した検出画像の１画素分の検出信号が得られる。すなわち、図５の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が複数のフォトダイオード（例えば、フォトダイオード１２１ｆ−１乃至１２１ｆ−４）を備え、出力に寄与するフォトダイオード（の度合い）を異ならせることで、被写体からの入射光の入射角に対する各画素出力単位の特性（入射角指向性）が互いに異なる。
なお、図５の撮像素子１２１では、入射光が光学的に変調されずに全てのフォトダイオード１２１ｆ−１乃至１２１ｆ−４に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード１２１ｆのことを、画素出力単位又は出力に寄与しないフォトダイオード１２１ｆとも称する。
なお、図５には、画素出力単位（画素１２１ａ）の受光面を４等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード１２１ｆを配置した例、すなわち、フォトダイオードを４等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。
例えば、フォトダイオードを必ずしも等分する必要はなく、画素出力単位毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素出力単位間で同じ位置のフォトダイオード１２１ｆを出力に寄与させるようにしたとしても、画素出力単位間で入射角指向性が異なるようになる。また、例えば、画素出力単位間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素出力単位間で分割数及び分割位置の両方を異ならせるようにしてもよい。
また、図４の撮像素子１２１及び図５の撮像素子１２１のいずれも、各画素出力単位が入射角指向性を独立に設定可能な構成を有している。一方、上述した非特許文献１や特許文献１、２に示される撮像装置では、撮像素子の各画素出力単位が入射角指向性を独立に設定可能な構成を有していない。なお、図４の撮像素子１２１では、各画素出力単位の入射角指向性が、遮光膜１２１ｂにより製造時に設定される。一方、図５の撮像素子１２１では、各画素出力単位のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素出力単位の入射角指向性（出力に寄与させるフォトダイオードの組合せ）は使用時（例えば、撮像時）に設定することができる。なお、図４の撮像素子１２１及び図５の撮像素子１２１のいずれにおいても、必ずしも全ての画素出力単位が、入射角指向性を持たせる構成を備える必要はない。
なお、上述したように、通常は、撮像素子の各画素が、それぞれ１つの画素出力単位に相当するが、後述するように、複数の画素により、１つの画素出力単位が構成される場合もある。以降においては、特に記載がない限り、撮像素子の各画素が、それぞれ１つの画素出力単位に相当するものとして、説明を行う。
＜入射角指向性を生じさせる原理について＞
撮像素子１２１の各画素の入射角指向性は、例えば、図６に示されるような原理により発生する。尚、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。
図６の左上部および右上部の画素は、いずれも１個のフォトダイオード１２１ｅを備える。これに対して、図６の左下部および右下部の画素は、いずれも２個のフォトダイオード１２１ｆを備える。尚、ここでは、１画素が２個のフォトダイオード１２１ｆを備える例を示しているが、これは説明の便宜上であり、１画素が備えるフォトダイオード１２１ｆの数は、その他の個数であってもよい。
図６の左上部の画素においては、フォトダイオード１２１ｅ−１１の受光面の右半分を遮光するように遮光膜１２１ｂ−１１が形成されている。また、図６の右上部の画素においては、フォトダイオード１２１ｅ−１２の受光面の左半分を遮光するように遮光膜１２１ｂ−１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。
例えば、図６の左上部の画素においては、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲により受光されにくい。したがって、図６の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。
一方、例えば、図６の右上部の画素においては、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されていない右半分の範囲により受光され易い。したがって、図６の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。
また、図６の左下部の画素は、図中の左右にフォトダイオード１２１ｆ−１１，１２１ｆ−１２が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
すなわち、図６の左下部の画素では、図中の左側に設けられたフォトダイオード１２１ｆ−１１の信号のみを読み出すようにすることで、図６の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ−１１に入射し、受光量に対応する信号がフォトダイオード１２１ｆ−１１から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ−１２に入射するが、フォトダイオード１２１ｆ−１２から読み出されないため、この画素から出力される検出信号に寄与しない。
同様に、図６の右下部の画素のように、２個のフォトダイオード１２１ｆ−１３，１２１ｆ−１４を備える場合、図中の右側に設けられたフォトダイオード１２１ｆ−１４の信号のみを読み出すようにすることで、図６の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ−１３に入射するが、フォトダイオード１２１ｆ−１３から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ−１４に入射し、受光量に対応する信号がフォトダイオード１２１ｆ−１４から読み出されるため、この画素から出力される検出信号に寄与する。
尚、図６の上部の画素においては、画素（フォトダイオード１２１ｅの受光面）の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図６の下部の画素においては、画素の水平方向の中心位置で、２つのフォトダイオード１２１ｆが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード１２１ｆが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。
＜オンチップレンズを含む構成における入射角指向性について＞
次に、図７を参照して、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
図７の上段のグラフは、図７の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図７の中段左側の一点鎖線と一致する場合を０度とし、図７の中段左側の入射角度θ２１側を正の方向とし、図７の中段右側の入射角度θ２２側を負の方向とする。したがって、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり（正の方向に大きくなり）、右に傾くほど小さくなる（負の方向に大きくなる）。
また、図７の中段左部の画素は、図６の上段左部の画素に、入射光を集光するオンチップレンズ１２１ｃ−１１、及び、所定の波長の光を透過させるカラーフィルタ１２１ｄ−１１を追加したものである。すなわち、この画素では、オンチップレンズ１２１ｃ−１１、カラーフィルタ１２１ｄ−１１、遮光膜１２１ｂ−１１、フォトダイオード１２１ｅ−１１が、図中上方の光の入射方向から順に積層されている。
同様に、図７の中段右部の画素、図７の下段左部の画素、及び、図７の下段右部の画素は、それぞれ、図６の上段右部の画素、図６の下段左部の画素、及び、図６の下段右部の画素に、オンチップレンズ１２１ｃ−１１及びカラーフィルタ１２１ｄ−１１、又は、オンチップレンズ１２１ｃ−１２及びカラーフィルタ１２１ｄ−１２を追加したものである。
図７の中段左部の画素では、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１１の検出信号レベル（受光感度）が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど（図中の右方向に傾くほど））、遮光膜１２１ｂ−１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くほど））、遮光膜１２１ｂ−１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが小さくなる。
また、図７の中段右部の画素では、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１２の検出信号レベル（受光感度）が変化する。すなわち、入射光の入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１２の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ−１２の検出信号レベルが大きくなる。
この図７の上段に示される実線および点線の波形は、遮光膜１２１ｂの範囲に応じて変化させることができる。従って、遮光膜１２１ｂの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。
上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図７の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
また、図７の下段左部の画素では、図６の下段左部の画素と同様に、図中左部のフォトダイオード１２１ｆ−１１のみの信号を用いるようにすることで、図７の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、信号が読み出されるフォトダイオード１２１ｆ−１１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、信号が読み出されないフォトダイオード１２１ｆ−１２の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図７の下段右部の画素では、図６の下段右部の画素と同様に、図中右部のフォトダイオード１２１ｆ−１４のみの信号を用いるようにすることで、図７の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、出力（検出信号）に寄与しないフォトダイオード１２１ｆ−１３の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、出力（検出信号）に寄与するフォトダイオード１２１ｆ−１４の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。
なお、図７の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ１２１ｃが必須構成となる。
尚、入射角指向性については、画素単位でランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、その結果、連立方程式の解となる未知数に対して式の数が不足し、復元画像を構成する画素値を求められなくなる恐れがあるためである。
なお、以下の説明では、図４の画素１２１ａのように、遮光膜１２１ｂを用いて入射角指向性を実現する画素１２１ａを用いる場合の例を中心に説明する。ただし、遮光膜１２１ｂが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素１２１ａを用いることも可能である。
＜遮光膜の構成について＞
以上においては、図３に示されるように、撮像素子１２１の各画素１２１ａの遮光膜１２１ｂの構成として、垂直方向に対しては受光面全体を遮光し、水平方向の遮光幅や位置を変化させる例を示したが、当然のことながら、水平方向に対して受光面全体を遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、各画素１２１ａに入射角指向性を持たせるようにしてもよい。
尚、以降においては、図３の例のように、垂直方向に対しては画素１２１ａの受光面全体を遮光し、水平方向に対して所定の幅で受光面を遮光する遮光膜１２１ｂを、横帯タイプの遮光膜１２１ｂと称する。また、水平方向に対しては画素１２１ａの受光面全体を遮光し、垂直方向に対して所定の高さで受光面を遮光する遮光膜１２１ｂを、縦帯タイプの遮光膜１２１ｂと称する。
また、図８の左部に示されるように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、例えば、ベイヤ配列のそれぞれの画素に対して、Ｌ字型のような遮光膜１２１ｂを設けるようにしてもよい。
尚、図８においては、黒色の範囲が遮光膜１２１ｂを表しており、特に断りがない限り、以降の図面においても同様に表示する。また、図８の例では、ベイヤ配列となるＧ（緑色）画素の画素１２１ａ−２１，１２１ａ−２４、Ｒ（赤色）画素の画素１２１ａ−２２、およびＢ（青色）画素の画素１２１ａ−２３のそれぞれに対して、Ｌ字型の遮光膜１２１ｂ−２１乃至１２１ｂ−２４が設けられている。
この場合、各画素１２１ａは、図８の右部に示されるような入射角指向性を有することになる。すなわち、図８の右部においては、各画素１２１ａの受光感度の分布が示されており、横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高くなる。
従って、各画素１２１ａにおいて、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとが範囲Ｃ１内となる入射光に対する検出信号レベルが最も高くなる。そして、入射角度θｘと入射角度θｙが範囲Ｃ２内、範囲Ｃ３内、範囲Ｃ４内、および、範囲Ｃ４以外の範囲となる入射光の順に検出信号レベルが低くなる。尚、図８の右部に示される受光感度の強度分布は、ベイヤ配列とは無関係に、各画素１２１ａにおける遮光膜１２１ｂにより遮光される範囲により決定されるものである。
尚、以降においては、図８のＬ字型の遮光膜１２１ｂ−２１乃至１２１ｂ−２４のように、縦帯タイプの遮光膜と横帯タイプの遮光膜をそれぞれの端部でつなぎ合わせた形状の遮光膜１２１ｂを、Ｌ字タイプの遮光膜１２１ｂと総称するものとする。
＜入射角指向性の設定方法＞
次に、図９を参照して、入射角指向性の設定方法の例について説明する。
例えば、図９の上段に示されるように、遮光膜１２１ｂの水平方向の遮光範囲が、画素１２１ａの左端部から位置Ａまでの範囲とし、垂直方向の遮光範囲が、画素１２１ａの上端部から位置Ｂまでの範囲である場合について考える。
この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた重みであって、水平方向の入射角指向性の指標となる０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ−αにおいて重みＷｘが１となり、θａ−α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（−（θｘ−θａ）／２α＋０．５）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｘを設定する。
同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた重みであって、垂直方向の入射角指向性の指標となる０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｙが０．５になると仮定した場合、入射角度θｙ＜θｂ−αにおいて重みＷｙが０となり、θｂ−α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ−θｂ）／２α＋０．５）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
尚、重みＷｘ及び重みＷｙが、図９のグラフのように変化するのは、理想的な条件が満たされる場合となる。
そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数を求めることができる。例えば、被写体面３１のある点光源からの入射光の入射角度θｘに対応する重みＷｘと、入射角度θｙに対応する重みＷｙとを乗じた値が、その点光源に対する係数に設定される。
また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
例えば、図９の下段の実線で示されるように、オンチップレンズ１２１ｃの焦点距離が遮光膜１２１ｂの表面に合っている場合、水平方向の重みＷｘ及び垂直方向の重みＷｙの傾き（１／２α）は、急峻になる。すなわち、重みＷｘおよび重みＷｙは、値が０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
また、例えば、図９の下段の点線で示されるように、オンチップレンズ１２１ｃの焦点距離がフォトダイオード１２１ｅの表面に合っている場合、水平方向の重みＷｘ及び垂直方向の重みＷｙの傾き（１／２α）は、緩やかになる。すなわち、重みＷｘおよび重みＷｙは、値が０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
例えば、オンチップレンズ１２１ｃの焦点距離は、オンチップレンズ１２１ｃの曲率により変化する。従って、曲率の異なるオンチップレンズ１２１ｃを用いて、オンチップレンズ１２１ｃの焦点距離を変化させることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率との組み合わせにより調整することができる。尚、オンチップレンズの曲率は、撮像素子１２１の全ての画素１２１ａで同一にしてもよいし、一部の画素１２１ａで異なるようにしてもよい。
例えば、撮像素子１２１の各画素１２１ａの入射角指向性を表す指標として、各画素１２１ａの位置、各画素１２１ａの遮光膜１２１ｂの形状、位置、範囲、オンチップレンズ１２１ｃの曲率等に基づいて、図９のグラフのような重みＷｘ及び重みＷｙの特性が画素１２１ａ毎に設定される。また、所定の被写体距離の被写体面３１上のある点光源と、撮像素子１２１のある画素１２１ａとの位置関係に基づいて、当該点光源から当該画素１２１ａへの光線の入射角度が求められる。そして、求めた入射角度、並びに、当該画素１２１ａの重みＷｘ及び重みＷｙの特性に基づいて、当該点光源に対する当該画素１２１ａの係数が求められる。
同様に、被写体面３１上の各点光源と撮像素子１２１の各画素１２１ａとの組み合わせについて、上述したように係数を求めることにより、上述した式（１）乃至式（３）の係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３のような、被写体面３１に対する撮像素子１２１の係数セット群を求めることができる。
なお、図１３を参照して後述するように、被写体面３１から撮像素子１２１の受光面までの被写体距離が異なると、被写体面３１の各点光源からの光線の撮像素子１２１への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。
また、同じ被写体距離の被写体面３１であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子１２１への入射角が異なる。従って、同じ被写体距離の被写体面３１に対して、複数の係数セット群が必要となる場合がある。また、各画素１２１ａの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。
＜オンチップレンズと撮像レンズとの違い＞
本開示の撮像装置１０１においては、撮像素子１２１は、撮像レンズからなる光学ブロックやピンホールを必要としない構成であるが、上述したように、オンチップレンズ１２１ｃは設けられる。ここで、オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
例えば、図１０に示されるように、点光源Ｐ１０１から発せられた拡散光のうち撮像レンズ１５２に入射した光は、撮像素子１５１上の画素位置Ｐ１１１において集光する。すなわち、撮像レンズ１５２は、点光源Ｐ１０１から異なる角度で入射する拡散光を、画素位置Ｐ１１１に集光し、点光源Ｐ１０１の像を結像させるように設計されている。この画素位置Ｐ１１１は、点光源Ｐ１０１と撮像レンズ１５２の中心とを通る主光線Ｌ１０１により特定される。
また、例えば、図１１に示されるように、点光源Ｐ１０１とは異なる点光源Ｐ１０２から発せられた拡散光のうち撮像レンズ１５２に入射した光は、撮像素子１５１上の画素位置Ｐ１１１とは異なる画素位置Ｐ１１２において集光する。すなわち、撮像レンズ１５２は、点光源Ｐ１０２から異なる角度で入射する拡散光を、画素位置Ｐ１１２に集光し、点光源Ｐ１０２の像を結像させるように設計されている。この画素位置Ｐ１１２は、点光源Ｐ１０２と撮像レンズ１５２の中心とを通る主光線Ｌ１０２により特定される。
このように、撮像レンズ１５２は、撮像素子１５１上の異なる画素位置Ｐ１１１，Ｐ１１２に、それぞれ主光線が異なる点光源Ｐ１０１，Ｐ１０２の像を結像させる。
さらに、図１２に示されるように、点光源Ｐ１０１が無限遠に存在する場合、点光源Ｐ１０１から発せられた拡散光の一部が、主光線Ｌ１０１に平行な平行光として撮像レンズ１５２に入射する。例えば、主光線Ｌ１０１に対して平行な光線Ｌ１２１と光線Ｌ１２２の間の光線からなる平行光が撮像レンズ１５２に入射する。そして、撮像レンズ１５２に入射した平行光は、撮像素子１５１上の画素位置Ｐ１１１に集光する。すなわち、撮像レンズ１５２は、無限遠に存在する点光源Ｐ１０１からの平行光を、画素位置Ｐ１１１に集光し、点光源Ｐ１０１の像を結像させるように設計されている。
従って、撮像レンズ１５２は、例えば、主光線入射角θ１を持つ点光源からの拡散光を画素（画素出力単位）Ｐ１に入射させ、主光線入射角θ１とは異なる主光線入射角θ２を持つ点光源からの拡散光を、画素Ｐ１とは異なる画素（画素出力単位）Ｐ２に入射させる集光機能を持つ。すなわち、撮像レンズ１５２は、主光線の入射角が異なる光源からの拡散光を、互いに隣接する複数の画素（画素出力単位）へ入射させるための集光機能を持つ。ただし、例えば、互いに近接している点光源や、無限遠に存在しており実質的に近接している点光源からの光は、同じ画素（画素出力単位）に入射する場合がある。
これに対して、例えば、図４，図５を参照して説明したように、オンチップレンズ１２１ｃを通る光は、対応する画素（画素出力単位）を構成するフォトダイオード１２１ｅまたはフォトダイオード１２１ｆの受光面のみに入射される。換言すれば、オンチップレンズ１２１ｃは、画素（画素出力単位）毎に設けられ、自身に入射する入射光を対応する画素（画素出力単位）のみに集光する。すなわち、オンチップレンズ１２１ｃは、異なる点光源からの光を、異なる画素（画素出力単位）へ入射させるための集光機能を持たない。
なお、ピンホールを用いた場合、各画素（画素出力単位）の位置と光の入射角の関係が一意に定まる。したがって、ピンホールと従来の撮像素子を用いた構成の場合、各画素に対して、入射角指向性を独立して自由に設定することができない。
＜被写体面と撮像素子との距離の関係＞
次に、図１３を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
なお、図１３の左上に示されるように、撮像素子１２１（図１の撮像素子５１と同様）と被写体面３１までの被写体距離が距離ｄ１である場合、撮像素子１２１上の画素Ｐｃ，Ｐｂ，Ｐａにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表されるものとする。
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
また、図１３の左下に示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面３１’、すなわち、撮像素子１２１から見て、被写体面３１よりも奥の被写体面３１’について考える場合も、撮像素子１２１上の画素Ｐｃ，Ｐｂ，Ｐａにおける検出信号レベルは、図１３の下段中央部に示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣで同様になる。
しかしながら、この場合、被写体面３１’上の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光強度ａ’，ｂ’，ｃ’の光線が撮像素子１２１の各画素において受光される。また、撮像素子１２１への光強度ａ’，ｂ’，ｃ’の光線の入射角度が異なる（変化する）ので、それぞれ異なる係数セット群が必要となる。従って、各画素Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で表される。
ＤＡ＝α１１×ａ’＋β１１×ｂ’＋γ１１×ｃ’
・・・（４）
ＤＢ＝α１２×ａ’＋β１２×ｂ’＋γ１２×ｃ’
・・・（５）
ＤＣ＝α１３×ａ’＋β１３×ｂ’＋γ１３×ｃ’
・・・（６）
ここで、係数セットα１１，β１１，γ１１，係数セットα１２，β１２，γ１２，係数セットα１３，β１３，γ１３からなる係数セット群は、被写体面３１に対する係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３に対応する被写体面３１’に対する係数セット群である。
従って、式（４）乃至式（６）からなる連立方程式を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、被写体面３１の点光源ＰＡ，ＰＢ，ＰＣからの光線の光強度ａ，ｂ，ｃを求める場合と同様の手法で、図１３の右下に示されるように、被写体面３１’の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光線の光強度ａ’，ｂ’，ｃ’を求めることができる。その結果、被写体面３１’の復元画像を復元することが可能となる。
従って、図２の撮像装置１０１においては、撮像素子１２１からの被写体面までの距離（被写体距離）毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を１回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号を用いて、復元画像を生成するようにしてもよい。これにより、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を生成することができる。
例えば、図１４の上段に示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１４の下段に示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。
図１５は、撮像素子１２１の中心位置Ｃ１への被写体面３１からの入射光の入射角度の例を示している。なお、図１５においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図１５の右部には、図１４における画素１２１ａ，１２１ａ’が示されている。
例えば、図１４の画素１２１ａが撮像素子１２１の中心位置Ｃ１に配置されている場合、被写体面３１から画素１２１ａへの入射光の入射角の範囲は、図１５の左部に示されるように角度Ａ１となる。従って、画素１２１ａは、被写体面３１の水平方向の幅Ｗ１分の入射光を受光することができる。
これに対して、図１４の画素１２１ａ’が撮像素子１２１の中心位置Ｃ１に配置されている場合、画素１２１ａ’は画素１２１ａよりも遮光される範囲が広いため、被写体面３１から画素１２１ａ’への入射光の入射角の範囲は、図１５の左部に示されるように角度Ａ２（＜Ａ１）となる。従って、画素１２１ａ’は、被写体面３１の水平方向の幅Ｗ２（＜Ｗ１）分の入射光を受光することができる。
つまり、遮光範囲が狭い画素１２１ａは、被写体面３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素１２１ａ’は、被写体面３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１４の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
従って、例えば、画素１２１ａは、図１４の画像Ｉ１を復元するために用いられる。画像Ｉ１は、図１６の上段の被写体となる人物Ｈ１０１の全体を含み、被写体幅Ｗ１に対応する画角ＳＱ１の画像である。これに対して、例えば、画素１２１ａ’は、図１４の画像Ｉ２を復元するために用いられる。画像Ｉ２は、図１６の上段の人物Ｈ１０１の顔の周辺がズームアップされた被写体幅Ｗ２に対応する画角ＳＱ２の画像である。
また、例えば、図１６の下段に示されるように、撮像素子１２１の点線で囲まれた範囲ＺＡに、図１４の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて配置することが考えられる。そして、例えば、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、範囲ＺＡ内の各画素１２１ａの検出信号を用いるようにすることで、適切に画角ＳＱ１の画像を復元することができる。一方、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、範囲ＺＢ内の各画素１２１ａ’の検出信号を用いるようにすることで、適切に画角ＳＱ２の画像を復元することができる。
なお、画角ＳＱ２は、画角ＳＱ１よりも狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の画素数で復元する場合、画角ＳＱ１の画像よりも、画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
例えば、図１７の右部は、図１６の撮像素子１２１の範囲ＺＡ内の構成例を示している。図１７の左部は、範囲ＺＡ内の画素１２１ａの構成例を示している。
図１７において、黒色で示された範囲が遮光膜１２１ｂであり、各画素１２１ａの遮光範囲は、例えば、図１７の左部に示される規則に従って決定される。
図１７の左部の主遮光部Ｚ１０１（図１７の左部の黒色部）は、各画素１２１ａにおいて共通に遮光される範囲である。具体的には、主遮光部Ｚ１０１は、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって、それぞれ幅ｄｘ１の範囲、並びに、画素１２１ａの上辺及び下辺から画素１２１ａ内に向かって、それぞれ高さｄｙ１の範囲である。そして、各画素１２１ａにおいて、主遮光部Ｚ１０１の内側の範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形の開口部Ｚ１１１が設けられる。従って、各画素１２１ａにおいて、開口部Ｚ１１１以外の範囲が、遮光膜１２１ｂにより遮光される。
ここで、各画素１２１ａの開口部Ｚ１１１は規則的に配置されている。具体的には、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ内において同一になる。また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ内において同一になる。
一方、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、画素１２１ａの水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が右方向に進むに従って、開口部Ｚ１１１の左辺が、画素１２１ａの左辺からそれぞれ幅ｄｘ１、ｄｘ２、・・・、ｄｘｎだけ右方向にずれた位置に移動する。幅ｄｘ１と幅ｄｘ２の間隔、幅ｄｘ２と幅ｄｘ３の間隔、・・・、幅ｄｘｎ−１と幅ｄｘｎの間隔は、それぞれ範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さを水平方向の画素数ｎ−１で割った値となる。
また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、画素１２１ａの垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が下方向に進むに従って、開口部Ｚ１１１の上辺が、画素１２１ａの上辺からそれぞれ高さｄｙ１、ｄｙ２、・・・、ｄｙｎだけ下方向にずれた位置に移動する。高さｄｙ１と高さｄｙ２の間隔、高さｄｙ２と高さｄｙ３の間隔、・・・、高さｄｙｎ−１と高さｄｙｎの間隔は、それぞれ範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さを垂直方向の画素数ｍ−１で割った値となる。
図１８の右部は、図１６の撮像素子１２１の範囲ＺＢ内の構成例を示している。図１８の左部は、範囲ＺＢ内の画素１２１ａ’の構成例を示している。
図１８において、黒色で示された範囲が遮光膜１２１ｂ’であり、各画素１２１ａ’の遮光範囲は、例えば、図１８の左部に示される規則に従って決定される。
図１８の左部の主遮光部Ｚ１５１（図１８に左部の黒色部）は、各画素１２１ａ’において共通に遮光される範囲である。具体的には、主遮光部Ｚ１５１は、画素１２１ａ’の左辺及び右辺から画素１２１ａ’内に向かって、それぞれ幅ｄｘ１’の範囲、並びに、画素１２１ａ’の上辺及び下辺から画素１２１ａ’内に向かって、それぞれ高さｄｙ１’の範囲である。そして、各画素１２１ａ’において、主遮光部Ｚ１５１の内側の範囲Ｚ１５２内に、遮光膜１２１ｂ’により遮光されない矩形の開口部Ｚ１６１が設けられる。従って、各画素１２１ａ’において、開口部Ｚ１６１以外の範囲が、遮光膜１２１ｂ’により遮光される。
ここで、各画素１２１ａ’の開口部Ｚ１６１は、図１７の各画素１２１ａの開口部Ｚ１１１と同様に、規則的に配置されている。具体的には、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ’内において同一になる。また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ’内において同一になる。
一方、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、画素１２１ａ’の水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が右方向に進むに従って、開口部Ｚ１６１の左辺が、画素１２１ａ’の左辺からそれぞれ幅ｄｘ１’、ｄｘ２’、・・・、ｄｘｎ’だけ右方向にずれた位置に移動する。幅ｄｘ１’と幅ｄｘ２’の間隔、幅ｄｘ２’と幅ｄｘ３’の間隔、・・・、幅ｄｘｎ−１’と幅ｄｘｎ’の間隔は、それぞれ範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた長さを水平方向の画素数ｎ−１で割った値となる。
また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、画素１２１ａ’の垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が下方向に進むに従って、開口部Ｚ１６１の上辺が、画素１２１ａ’の上辺からそれぞれ高さｄｙ１’，ｄｙ２’、・・・、ｄｙｎ’だけ下方向にずれた位置に移動する。高さｄｙ１’と高さｄｙ２’の間隔、高さｄｙ２’と高さｄｙ３’の間隔、・・・、高さｄｙｎ−１’と高さｄｙｎ’の間隔は、それぞれ範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さを垂直方向の画素数ｍ−１で割った値となる。
ここで、図１７の画素１２１ａの範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さは、図１８の画素１２１ａ’の範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた幅より大きくなる。従って、図１７の幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔は、図１８の幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔より大きくなる。
また、図１７の画素１２１ａの範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さは、図１８の画素１２１ａ’の範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さより大きくなる。従って、図１７の高さｄｙ１、ｄｙ２・・・ｄｙｎの変化の間隔は、図１８の高さｄｙ１’、ｄｙ２’・・・ｄｙｎ’の変化の間隔より大きくなる。
このように、図１７の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔と、図１８の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔とは異なる。そして、この間隔の違いが、復元画像における被写体分解能（角度分解能）の違いとなる。すなわち、図１８の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔の方が、図１７の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔より狭くなる。従って、図１８の各画素１２１ａ’の検出信号を用いて復元される復元画像は、図１７の各画素１２１ａの検出信号を用いて復元される復元画像より、被写体分解能が高くなり、高画質となる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素からなる撮像素子１２１を実現することが可能となる。
尚、以上においては、画素１２１ａと画素１２１ａ’を範囲ＺＡと範囲ＺＢに分けて配置する例を示したが、これは説明を簡単にするためであり、異なる画角に対応する画素１２１ａが同じ領域内に混在して配置されることが望ましい。
例えば、図１９に示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ−Ｗ、中画角の画素１２１ａ−Ｍ、狭画角の画素１２１ａ−Ｎ、極狭画角の画素１２１ａ−ＡＮの４画素から構成されるようにする。
この場合、例えば、全画素１２１ａの画素数がＸである場合、４種類の画角ごとにＸ／４画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セット群が使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
従って、復元する復元画像の画角の撮像に適した画素から得られる検出画像を用いて復元画像を復元することで、４種類の画角に応じた適切な復元画像を得ることが可能となる。
また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
尚、例えば、画角の広い画像を復元画像として得る場合、広画角画素を全て用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、例えば、画角の狭い画像を復元画像として得る場合、狭画角画素を全て用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
＜撮像装置１０１による撮像処理＞
次に、図２０のフローチャートを参照して、図２の撮像装置１０１による撮像処理について説明する。
ステップＳ１において、撮像素子１２１は、被写体の撮像を行う。これにより、異なる入射角指向性を備える撮像素子１２１の各画素１２１ａから、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力され、撮像素子１２１は、各画素１２１ａの検出信号からなる検出画像を復元部１２２に供給する。
ステップＳ２において、復元部１２２は、画像の復元に用いる係数を求める。具体的には、復元部１２２は、復元対象となる被写体面３１までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２は、入力部１２４を介してユーザにより入力された被写体距離、又は、検出部１２５により検出された被写体距離を、復元対象となる被写体面３１までの距離に設定する。
次に、復元部１２２は、設定した被写体距離に対応付けられている係数セット群を記憶部１２８から読み出す。
ステップＳ３において、復元部１２２は、検出画像及び係数を用いて、画像の復元を行う。具体的には、復元部１２２は、検出画像の各画素の検出信号レベルと、ステップＳ２の処理で取得した係数セット群とを用いて、上述した式（１）乃至式（３）、または、式（４）乃至式（６）を参照して説明した連立方程式を作成する。次に、復元部１２２は、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面３１上の各点光源の光強度を算出する。そして、復元部１２２は、算出した光強度に応じた画素値を有する画素を被写体面３１の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。
ステップＳ４において、撮像装置１０１は、復元画像に対して各種の処理を行う。例えば、復元部１２２は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、例えば、必要に応じて、復元画像を表示部１２７に供給し、表示させたり、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
その後、撮像処理は終了する。
尚、以上においては、撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて、検出画像から復元画像を復元する例について説明してきたが、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。尚、被写体距離および画角に対する分解能は、用意される係数セット群の数によるものとなる。
また、図２０のフローチャートを用いた処理の説明においては、検出画像に含まれる全ての画素の検出信号を用いる例について説明してきたが、撮像素子１２１を構成する画素のうち、特定された被写体距離および画角に対応する入射角指向性を備えた画素の検出信号からなる検出画像を生成し、これを用いて復元画像を復元するようにしても良い。このような処理により、求めようとする復元画像の被写体距離や画角に適した検出画像で復元画像を復元することが可能となり、復元画像の復元精度や画質が向上する。すなわち、特定された被写体距離および画角に対応する画像が、例えば、図１６における画角ＳＱ１に対応する画像である場合、画角ＳＱ１に対応する入射角指向性を備えた画素１２１ａを選択し、これらから得られる検出画像で復元画像を復元することにより、画角ＳＱ１の画像を高い精度で復元することが可能となる。
以上の処理により、各画素に入射角指向性を持たせるようにした撮像素子１２１を必須構成とした撮像装置１０１を実現することが可能となる。
結果として、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタが不要となるため、装置の設計の自由度を高めることが可能になると共に、撮像素子１２１と別体で構成され、撮像装置として構成する段階で撮像素子１２１と合わせて搭載されることが想定される光学素子が不要となるため、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズが不要となる。ただし、倍率を変化させるズームレンズは設けられていてもよい。
なお、以上においては、検出画像の撮像を行った後、すぐに所定の被写体距離に対応する復元画像を復元する処理について説明したが、例えば、すぐに復元処理を行わずに、検出画像を記録媒体１３０に記録したり、通信部１３１を介して、他の機器に出力したりした後、所望のタイミングで検出画像を用いて、復元画像を復元するようにしてもよい。この場合、復元画像の復元は、撮像装置１０１で行ってもよいし、他の装置で行ってもよい。この場合、例えば、任意の被写体距離や画角に応じた係数セット群を用いて作成した連立方程式を解いて復元画像を求めることで、任意の被写体距離や画角の被写体面に対する復元画像を得ることができ、リフォーカス等を実現することができる。
例えば、撮像レンズと従来の撮像素子からなる撮像装置を用いた場合、様々な焦点距離や画角の画像を得るためには、焦点距離や画角を様々に変化させながら、撮像しておく必要がある。一方、撮像装置１０１においては、このように係数セット群を切り替えて任意の被写体距離や画角の復元画像を復元させることができるので、焦点距離（すなわち、被写体距離）や画角を様々に変化させながら繰り返し撮像するといった処理が不要になる。
この場合、例えば、ユーザは、異なる被写体距離や画角に対応する係数セット群を切り替えながら、復元された復元画像をそれぞれ表示部１２７に表示させながら、所望の被写体距離や画角の復元画像を得ることも可能である。
なお、検出画像を記録する場合、復元時の被写体距離や画角が決まっているとき、復元に用いるメタデータを検出画像と関連付けるようにしてもよい。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じＩＤを付与したり、検出画像とメタデータを同じ記録媒体１３０に記録させたりすることにより、検出画像とメタデータが関連付けられる。
なお、検出画像とメタデータに同じＩＤが付与された場合は、検出画像とメタデータを異なる記録媒体に記録したり、個別に撮像装置１０１から出力したりすることが可能である。
また、メタデータには、復元に用いる係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、復元時の被写体距離や画角がメタデータに含まれ、復元時に、その被写体距離や画角に対応する係数セット群が記憶部１２８等から取得される。
さらに、撮像時にすぐに復元画像の復元を行う場合、例えば、記録したり外部に出力したりする画像を、検出画像及び復元画像の中から選択することが可能である。例えば、両方の画像を記録又は外部に出力してもよいし、一方の画像のみを記録又は外部に出力してもよい。
また、動画を撮像する場合も同様に、撮像時の復元画像の復元の有無や、記録又は外部に出力する画像の選択が可能である。例えば、動画の撮像を行いながら、各フレームの復元画像をすぐに復元するとともに、復元画像及び復元前の検出画像の両方又は一方を記録したり、外部に出力したりすることが可能である。この場合、撮像時に各フレームの復元画像をスルー画として表示させることも可能である。或いは、例えば、撮像時には復元処理を行わずに、各フレームの検出画像を記録したり、外部に出力したりすることが可能である。
さらに、動画の撮像時には、例えば、復元画像の復元の有無や、記録又は外部に出力する画像の選択をフレーム毎に行うことができる。例えば、フレーム毎に復元画像の復元の有無を切り替えることが可能である。また、例えば、フレーム毎に、検出画像の記録の有無、及び、復元画像の記録の有無を個別に切り替えることが可能である。また、例えば、後で使用する可能性のある有用なフレームの検出画像にメタデータを付与しながら、全てのフレームの検出画像を記録するようにしてもよい。
また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。例えば、復元画像に基づいてコントラストＡＦ（Auto Focus）方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
さらに、上述した特許文献等に記載の光学フィルタと従来の撮像素子とからなる撮像装置などと比較して、画素単位で入射角指向性を持った撮像素子１２１により撮像される検出画像を用いて復元画像を生成することができるので、多画素化を実現したり、高解像度かつ高角度分解能の復元画像を得たりすることが可能となる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
また、本開示の撮像装置１０１は、撮像素子１２１が必須構成であり、例えば、上述した特許文献等に記載の光学フィルタ等を必要としないので、使用環境が高温になって、光学フィルタが熱で歪むといったことがなく、環境耐性の高い撮像装置を実現することが可能となる。
さらに、本開示の撮像装置１０１においては、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタを必要としないので、撮像する機能を備えた構成の設計の自由度を向上させることが可能となる。
＜処理負荷の低減方法＞
ところで、撮像素子１２１の各画素１２１ａの遮光膜１２１ｂの遮光範囲（すなわち、入射角指向性）にランダム性を持たせている場合、遮光範囲の違いの乱雑さが大きいほど、復元部１２２による処理の負荷は大きなものとなる。そこで、各画素１２１ａの遮光膜１２１ｂの遮光範囲の変化の一部を規則的なものとして、乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせる。これにより、各画素１２１ａの遮光膜１２１ｂの遮光範囲が、列方向および行方向で規則性を持ちつつ、画素単位ではランダムに変化するようになる。その結果、各画素１２１ａの遮光膜１２１ｂの遮光範囲の違い、すなわち入射角指向性の違いの乱雑さを低減させ、復元部１２２の処理負荷を低減させることができる。
具体的には、例えば、図２１の撮像素子１２１’’に示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の変化の乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、復元部１２２における演算処理の処理負荷を低減させることが可能となる。
より詳細には、図２２の右上部に示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、（Ｎ×Ｎ）行×１列の復元画像の各画素の画素値を要素とするベクトルＸ、（Ｎ×Ｎ）行×１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セット群からなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａにより、図２２の左部に示されるような関係が成立する。
すなわち、図２２においては、係数セット群からなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａの各要素と、復元画像を表す（Ｎ×Ｎ）行×１列のベクトルＸとを乗算した結果が、検出画像を表す（Ｎ×Ｎ）行×１列のベクトルＹとなることが示されている。そして、この関係から、例えば、上述した式（１）乃至式（３）または式（４）乃至式（６）に対応する連立方程式が構成される。
尚、図２２においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
なお、ピンホールを用いた場合、及び、撮像レンズ等の同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、右下がりの対角成分が全て１となる対角行列となる。逆に、図２の撮像装置１０１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
換言すれば、図２２に示される行列式に基づいた連立方程式を解いて、ベクトルＸの各要素を求めることにより復元画像が求められる。
ところで、一般的に、図２２の行列式は、両辺に行列Ａの逆行列Ａ−１を左から乗じることにより、図２３に示されるように変形され、検出画像のベクトルＹに逆行列Ａ−１を左から乗じることで、検出画像であるベクトルＸの各要素が求められる。
しかしながら、現実には、行列Ａを正確に求められなかったり、行列Ａを正確に測定できなかったり、行列Ａの基底ベクトルが線形従属に近いケースで解けなかったり、および、検出画像の各要素にノイズが含まれたりする。そして、それらの理由のいずれか、または、それらの組み合わせで、連立方程式を解くことができないことがある。
そこで、例えば、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた次式（７）が用いられる。
Figure 2019078339
 ・・・（７）
ここで、式（７）のｘの上部に「＾」が付されたものはベクトルＸを、Ａは行列Ａを、ＹはベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、右辺の第一項は、図２２の両辺を最小にするときのノルムであり、右辺の第二項は正則化項である。
この式（７）をｘについて解くと、以下の式（８）となる。
Figure 2019078339
 ・・・（８）
ここで、Ａｔは行列Ａの転置行列であり、Ｉは単位行列である。
しかしながら、行列Ａは、膨大なサイズであるので、計算量や必要なメモリ量が大きくなる。
そこで、例えば、図２４に示されるように、行列Ａを、Ｎ行×Ｎ列の行列ＡＬと、Ｎ行×Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行×Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行×Ｎ列の行列Ｙとなるようにする。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなり、各行列の要素数が１／（Ｎ×Ｎ）になる。結果として、計算量や必要なメモリ量を低減させることができる。
図２４に示される行列式は、例えば、式（８）のカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで実現される。
図２４に示されるような計算では、図２５に示されるように、行列Ｘにおける注目要素Ｘｐに対して、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
そこで、例えば、行列ＡＬの各列の要素群Ｚ２２１には、図２１に示される撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数が用いられる。
同様に、例えば、行列ＡＲＴの各行の要素群Ｚ２２３には、図２１に示される撮像素子１２１の行毎に同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数が用いられる。
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくすることが可能となるので、計算量が低減し、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図２１には、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光範囲（受光範囲）を変化させる例が示されているが、本開示においては、このように画素単位で遮光範囲（受光範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光範囲（受光範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図２１を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
＜＜３．第１の実施の形態＞＞
次に、図２６乃至図３２を参照して、本開示の第１の実施の形態について説明する。
上述したように、入射角指向性を有する画素を用いた撮像素子１２１においては、撮像レンズや光学フィルタ等を必要としないため、各画素１２１ａの配置の自由度が高い。本開示の第１の実施の形態は、その撮像素子１２１の各画素１２１ａの配置の自由度を活かして、各種の電子機器において、電子機器を装着又は使用しているユーザの少なくとも一部が写る位置に撮像素子１２１を設け、ユーザの少なくとも一部を撮像し、復元処理により得られる復元画像を用いて、各種のアプリケーション処理を実行するようにするものである。
ここで、ユーザの少なくとも一部とは、例えば、ユーザの全身、顔、目、頭部、胴体、手、足等のユーザの体の任意の部分である。また、例えば、医療機器等の場合、ユーザの少なくとも一部は、ユーザの外側だけでなく、ユーザの内側（例えば、口腔内、内臓内等）の場合もある。
＜電子機器３０１の構成例＞
図２６は、本開示の第１の実施の形態に係る電子機器３０１の構成例を示すブロック図である。なお、図中、図２の撮像装置１０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
電子機器３０１は、例えば、ウエアラブルデバイス、スマートフォン、タブレット、携帯電話機等のユーザが装着又は携帯する携帯情報端末、パーソナルコンピュータ、ウエアラブルデバイス、ゲーム機、動画再生装置、音楽再生装置等により構成される。また、ウエアラブルデバイスには、例えば、ユーザの頭部に装着される頭部装着型、腕時計型、ブレスレット型、ネックレス型、ネックバンド型等の各種の方式を採用することができる。また、頭部装着型のウエアラブルデバイスには、例えば、メガネ型、ゴーグル型、ヘッドマウント側、イヤフォン型、ヘッドセット型、マスク型、帽子型等がある。なお、例えば、ウエアラブルデバイスの形状等により、１つのウエアラブルデバイスが複数の方式（例えば、ゴーグル型とヘッドマウント型）に対応する場合がある。
電子機器３０１は、撮像部３１１及び信号処理制御部３１２を備える。
撮像部３１１は、１以上のｎ個の撮像素子１２１−１乃至撮像素子１２１−ｎを備える。
各撮像素子１２１は、各画素１２１ａから出力される検出信号からなる検出信号セットを復元部３２１に供給したり、バスＢ２に出力したりする。
なお、各撮像素子１２１からの検出信号セットにより検出画像が生成される。従って、撮像部３１１が１つの撮像素子１２１のみを備える場合、その撮像素子１２１からの１つの検出信号セットにより検出画像が生成される。
また、各撮像素子１２１は、同じ筺体に設置されてもよいし、異なる筺体に設置されてもよい。
信号処理制御部３１２は、復元部３２１、制御部３２２、入力部３２３、検出部３２４、関連付け部３２５、出力部３２６、記憶部３２７、記録再生部３２８、記録媒体３２９、及び、通信部３３０を備える。
復元部３２１、制御部３２２、入力部３２３、検出部３２４、関連付け部３２５、出力部３２６、記憶部３２７、記録再生部３２８、及び、通信部３３０は、バスＢ２を介して相互に接続されており、バスＢ２を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、電子機器３０１の各部がバスＢ２を介してデータの送受信等を行う場合のバスＢ２の記載を省略する。
復元部３２１は、各撮像素子１２１から取得した検出信号セットを用いて、図２の撮像装置１０１の復元部１２２と同様の処理により、復元画像の復元処理等を行う。復元部３２１は、復元画像をバスＢ２に出力する。
制御部３２２は、例えば、各種のプロセッサを備え、電子機器３０１の各部の制御や各種のアプリケーション処理等を行う。
入力部３２３は、電子機器３０１の操作や、処理に用いるデータの入力等を行うための入力デバイス（例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等）を備える。入力部３２３は、操作信号や入力されたデータ等をバスＢ２に出力する。
関連付け部３２５は、各撮像素子１２１の検出信号セットと、各検出信号セットに対応するメタデータとの関連付けを行う。
出力部３２６は、例えば、ディスプレイ、スピーカ、ランプ、ブザー、振動素子等の画像、音、光、振動等の出力を行う出力デバイスを備え、各種の情報やデータの出力を行う。
記憶部３２７は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、電子機器３０１の処理に用いられるプログラムやデータを記憶する。例えば、記憶部３２７は、各撮像素子１２１に対応する係数セット群を記憶している。この係数セット群は、例えば、想定される被写体距離及び画角毎に用意される。
記録再生部３２８は、記録媒体３２９へのデータの記録、及び、記録媒体３２９に記録されているデータの再生（読み出し）を行う。例えば、記録再生部３２８は、復元画像を記録媒体３２９に記録したり、記録媒体３２９から読み出したりする。また、例えば、記録再生部３２８は、検出信号セット及び対応するメタデータを、記録媒体３２９に記録したり、記録媒体３２９から読み出したりする。
記録媒体３２９は、例えば、ＨＤＤ、ＳＳＤ、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
通信部３３０は、所定の通信方式により、他の機器と通信を行う。なお、通信部３３０の通信方式は、有線又は無線のいずれであってもよい。また、通信部３３０が複数の通信方式に対応することも可能である。
＜撮像素子１２１の配置例＞
次に、図２７乃至図３１を参照して、電子機器３０１の具体例を挙げながら、撮像素子１２１の配置例について説明する。
図２７のＡ乃至図２７のＣには、電子機器３０１の例として、ユーザの目を覆うように装着されるメガネ型のウエアラブルデバイス４０１の一部が模式的に示されている。また、図２７のＡ乃至図２７のＣには、ウエアラブルデバイス４０１の接眼部である左レンズ４１１Ｌ及び右レンズ４１１Ｒの周囲に撮像素子１２１（の各画素１２１ａ）が配置されている例が示されている。
ここで、接眼部とは、電子機器３０１を装着又は使用するユーザの目に近接する部分であり、例えば、左レンズ４１１Ｌ及び右レンズ４１１Ｒのような接眼レンズ等からなる。接眼部が近接レンズからなる場合、例えば、ユーザは、近接レンズを通して像（例えば、被写体の像や映像等）を見ることができる。
具体的には、図２７のＡの例では、フレーム４１２の裏面、すなわち、ユーザがウエアラブルデバイス４０１を装着した場合にユーザの顔と対向する面の左レンズ４１１Ｌの上方に撮像素子１２１−１が配置され、フレーム４１２の裏面の右レンズ４１１Ｒの上方に撮像素子１２１−２が配置されている。
図２７のＢの例では、フレーム４１２の裏面のブリッジ付近に撮像素子１２１が配置されている。
図２７のＣの例では、フレーム４１２の裏面の左レンズ４１１Ｌの周囲を取り囲むように撮像素子１２１−１が配置され、フレーム４１２の裏面の右レンズ４１１Ｒの周囲を取り囲むように撮像素子１２１−２が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ウエアラブルデバイス４０１のフレーム４１２の空きスペースに撮像素子１２１を配置することができる。また、撮像素子１２１は、ウエアラブルデバイス４０１を装着しているユーザの両目付近が写る位置に配置されており、そのユーザの両目周辺の撮像を行うことができる。
なお、図２７のＡ乃至図２７のＣの各撮像素子１２１の各画素１２１ａの入射角指向性は、ウエアラブルデバイス４０１を装着したときに、左レンズ４１１Ｌ及び右レンズ４１１Ｒに近接するユーザの目の方向に対する受光感度が高くなるように設定されることが望ましい。これにより、各画素１２１ａにおいて、主要な撮像対象であるユーザの目の方向からの入射光に対する受光感度が高くなり、ユーザの目をより鮮明に撮像することが可能になる。
例えば、図２８のＡ及び図２８のＢは、図２７のＣの撮像素子１２１−１の入射角指向性の例を模式的に示している。図２８のＡ及び図２８のＢは、ウエアラブルデバイス４０１を装着した状態のユーザの左目４２１Ｌと左レンズ４１１Ｌ及び撮像素子１２１−１との位置関係を模式的に示している。図２８のＡは、左レンズ４１１Ｌを内側（ユーザの目と対向する面側）から見た図を示し、図２８のＢは、左レンズ４１１Ｌを横から見た断面図を示している。
なお、図内の矢印は、撮像素子１２１−１の各領域の画素１２１ａの入射角指向性の傾向を示している。また、以下、図２８のＡ及び図２８のＢにおいて、左レンズ４２１Ｌから左目４２１に向かう方向（図２８のＢの右方向）を後ろ方向とする。
撮像素子１２１−１の上方の領域内の画素１２１ａは、入射角指向性が後ろ斜め下方向に設定されており、左目４２１Ｌの方向に対する受光感度が高くなっている。撮像素子１２１−１の左側の領域内の画素１２１ａは、入射角指向性が右斜め後ろ方向に設定されており、左目４２１Ｌの方向に対する受光感度が高くなっている。撮像素子１２１−１の右側の領域内の画素１２１ａは、入射角指向性が左斜め後ろ方向に設定されており、左目４２１Ｌの方向に対する受光感度が高くなっている。撮像素子１２１−１の下側の領域内の画素１２１ａは、入射角指向性が後ろ斜め上方向に設定されており、左目４２１Ｌの方向に対する受光感度が高くなっている。
これにより、撮像素子１２１−１において、主要な撮像対象であるユーザの左目４２１Ｌの方向からの入射光に対する受光感度が高くなり、左目４２１Ｌをより鮮明に撮像することが可能になる。
なお、図示は省略するが、右レンズ４１１Ｒの周囲に配置されている撮像素子１２１−２においても、各画素１２１ａの入射角指向性が主要な撮像対象であるユーザの右目４２１Ｒの方向に設定される。これにより、ユーザの右目４２１Ｒからの入射光に対する受光感度が高くなり、右目４２１Ｒをより鮮明に撮像することが可能になる。
なお、図２７のＡ乃至図２７のＣの例のうち、復元画像の画質の観点から言えば、図２７のＣのように撮像素子１２１を配置し、各画素１２１ａの入射角指向性をばらつかせる方が望ましい。各画素１２１ａの入射角指向性がばらつくことにより、復元画像の復元に用いる連立方程式に対する係数セット群の多様性が高まり、復元精度が向上するからである。
なお、必ずしも全ての画素１２１ａの入射角指向性を、ユーザの目の方向に対する受光感度が高くなるように設定する必要はない。例えば、ユーザの目の方向に対する受光感度が高くなる入射角指向性を有する画素１２１ａの数が、他の入射角指向性を有する画素１２１ａの数より多くなっていればよい。
図２９のＡ乃至図２９のＣには、電子機器３０１の例として、カメラ４３１が模式的に示されている。なお、図２９のＡ乃至図２９のＣには、カメラ４３１のファインダ４４１の周辺のみが図示されているが、例えば、カメラ４３１の背面（ファインダ４４１と同じ側の面）に、ディスプレイやタッチパネル等の表示部及びユーザ操作部が設けられている。
また、図２９のＡ乃至図２９のＣには、各撮像素子１２１（の各画素１２１ａ）が、カメラ４３１の接眼部であるファインダ４４１の周囲に配置されている例が示されている。
具体的には、図２９のＡの例では、ファインダ４４１の左側の縦長の矩形の領域に撮像素子１２１−１が配置され、ファインダ４４１の右側の縦長の矩形の領域に撮像素子１２１−２が配置されている。
図２９のＢの例では、ファインダ４４１の上方の横長の矩形の領域に撮像素子１２１が配置されている。
図２９のＣの例では、ファインダ４４１の上方及び左側のＬ字型の領域に撮像素子１２１が配置されている。
図２９のＤの例では、ファインダ４４１の上方の横長の矩形の領域に撮像素子１２１−１が配置され、ファインダ４４１の下方の横長の矩形の領域に撮像素子１２１−２が配置されている。
図２９のＥの例では、ファインダ４４１の周囲を取り囲むように撮像素子１２１が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、カメラ４３１のファインダ４４１の周囲の空きスペースに撮像素子１２１を配置することができる。また、撮像素子１２１は、ユーザがカメラ４３１を用いて撮影を行うためにファインダ４４１を覗いた場合に、そのユーザの目周辺が写る位置に配置されており、そのユーザの目周辺の撮像を行うことができる。
なお、図２９のＡ乃至図２９のＥの各撮像素子１２１の各画素１２１ａの入射角指向性は、ファインダ４４１を覗くときにファインダ４４１に近接するユーザの目の方向（例えば、ファインダ４４１の前方）に対する受光感度が高くなるように設定されることが望ましい。
図３０のＡ乃至図３０のＣには、電子機器３０１の例として、ユーザの目を覆うように装着されるゴーグル型のヘッドマウントディスプレイ４６１の一部が模式的に示されている。なお、図３０のＡ乃至図３０のＣには、ヘッドマウントディスプレイ４６１の内面、すなわち、ユーザが装着した際にユーザの顔と対向する面が示されており、各撮像素子１２１（の各画素１２１ａ）が、ヘッドマウントディスプレイ４６１の接眼部である左レンズ４７１Ｌ及び右レンズ４７１Ｒの周囲に配置されている例が示されている。
具体的には、図３０のＡの例では、左レンズ４７１Ｌの左側の矩形の領域に撮像素子１２１−１が配置され、右レンズ４７１Ｒの右側の矩形の領域に撮像素子１２１−２が配置されている。
図３０のＢの例では、左レンズ４７１Ｌの上方の横長の矩形の領域に撮像素子１２１−１が配置され、右レンズ４７１Ｒの上方の横長の矩形の領域に撮像素子１２１−２が配置されている。
図３０のＣの例では、左レンズ４７１Ｌの下方の横長の矩形の領域に撮像素子１２１−１が配置され、右レンズ４７１Ｒの下方の矩形の領域に撮像素子１２１−２が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ヘッドマウントディスプレイ４６１の左レンズ４７１Ｌ及び右レンズ４７１Ｒの周囲の空きスペースに撮像素子１２１を配置することができる。そして、例えば、ヘッドマウントディスプレイ４６１を装着したユーザの両目周辺の撮像を行うことができる。
なお、図３０のＡ乃至図３０のＣの各撮像素子１２１の各画素１２１ａの入射角指向性は、図２７のウエアラブルデバイス４０１と同様に、ヘッドマウントディスプレイ４６１を装着した状態のユーザの目の方向に対する受光感度が高くなるように設定されることが望ましい。
図３１のＡ乃至図３１のＣには、電子機器３０１の例として、ノート型のＰＣ（パーソナルコンピュータ）４９１が模式的に示されている。
ＰＣ４９１は、表示部であるディスプレイ５０１が設けられている蓋部と、ユーザ操作部であるキーボード５０３が設けられている台部とがヒンジ部により回転可能に接続されており、蓋部を開閉することができる。そして、図３１のＡ乃至図３１のＣに示されるように蓋部を開いた状態において、ディスプレイ５０１及びキーボード５０３が外部に露出され、ユーザはＰＣ４９１を使用することができる。なお、例えば、ディスプレイ５０１にタッチパネルを設けることにより、ディスプレイ５０１（厳密にはタッチパネル）をユーザ操作部とすることも可能である。
また、図３１のＡ乃至図３１のＣには、ディスプレイ５０１の周囲に撮像素子１２１（の各画素１２１ａ）が配置されている例が示されている。
図３１のＡの例では、ディスプレイ５０１の周囲のベゼル５０２の上辺に撮像素子１２１が配置されている。
図３１のＢの例では、ベゼル５０２の左辺に撮像素子１２１−１が配置され、ベゼル５０２の右辺に撮像素子１２１−２が配置されている。
図３１のＣの例では、ベゼル５０２の４辺にディスプレイ５０１を囲むように撮像素子１２１が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ベゼル５０２の空きスペースに撮像素子１２１を配置することができるとともに、狭ベゼル化を実現することができる。また、撮像素子１２１は、ＰＣ４９１のディスプレイ５０１を見ながらキーボード５０３を使用しているユーザと対面する位置であって、ユーザの顔周辺が写る位置に配置されており、そのユーザの顔周辺の撮像を行うことができる。
なお、図３１のＡ乃至図３１のＣの各撮像素子１２１の各画素１２１ａの入射角指向性は、ＰＣ４９１のディスプレイ５０１を見ながらキーボード５０３を使用しているユーザの顔の方向（例えば、ディスプレイ５０１の前方）に対する受光感度が高くなるように設定されることが望ましい。
＜ユーザ撮像制御処理＞
次に、図３２のフローチャートを参照して、電子機器３０１により実行されるユーザ撮像制御処理について説明する。
ステップＳ１０１において、電子機器３０１の各撮像素子１２１は、図２０のステップＳ１と同様の処理により、ユーザの撮像を行う。
例えば、図２７のウエアラブルデバイス４０１の場合、ウエアラブルデバイス４０１を装着しているユーザの両目周辺の撮像が行われる。
図２９のカメラ４３１の場合、ファインダ４４１を覗いているユーザの目周辺の撮像が行われる。
図３０のヘッドマウントディスプレイ４６１の場合、ヘッドマウントディスプレイ４６１を装着しているユーザの両目周辺の撮像が行われる。
図３１のＰＣ４９１の場合、ディスプレイ５０１を見ているユーザの顔周辺の撮像が行われる。
各撮像素子１２１は、各画素１２１ａの検出信号からなる検出信号セットを関連付け部３２５に供給する。
ステップＳ１０２において、復元部３２１は、画像の復元に用いる係数を求める。具体的には、復元部３２１は、図２０のステップＳ２の撮像装置１０１の復元部１２２による処理と同様の処理により、被写体距離を設定する。そして、復元部３２１は、設定した被写体距離に対応付けられている係数セット群を記憶部３２７から読み出す。
ステップＳ１０３において、復元部３２１は、検出信号セット及び係数を用いて、画像の復元を行う。すなわち、復元部３２１は、図２０のステップＳ３の撮像装置１０１の復元部１２２による処理と同様の処理により、各撮像素子１２１から出力された検出信号セット、及び、ステップＳ１０２の処理で求めた係数セット群を用いて、復元画像を復元する。
ステップＳ１０４において、電子機器３０１は、復元画像に対して各種の処理を行う。例えば、復元部３２１は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部３２１は、例えば、必要に応じて、復元画像を出力部３２６に供給し、表示させたり、記録再生部３２８に供給し、記録媒体３２９に記録させたり、通信部３３０を介して、他の機器に出力したりする。
ステップＳ１０５において、電子機器３０１は、復元画像（すなわち、ユーザの画像）を用いたアプリケーション処理を実行する。
例えば、図２７のウエアラブルデバイス４０１の場合、制御部３２２は、復元画像内のユーザの目の画像に基づいて、ユーザの視線検出を行う。なお、視線検出には、任意の方法を用いることができる。そして、例えば、制御部３２２は、ユーザの視線の動きに対応する操作コマンドを生成し、通信部３３０を介して、他の電子機器（不図示）に送信する。これにより、ユーザは、ウエアラブルデバイス４０１を装着して視線を動かすだけで、他の電子機器の操作を行うことができる。
例えば、図２９のカメラ４３１の場合、制御部３２２は、復元画像内のユーザの目の画像に基づいて、ユーザの視線検出を行う。なお、視線検出には、任意の方法を用いることができる。そして、例えば、制御部３２２は、カメラ４３１の各部を制御して、ユーザの視線の動きに応じて、フォーカスを合わせる被写体の位置（フォーカスポイント）を移動させたり、カメラ４３１の各種の処理を行ったりする。これにより、ユーザは、ファインダ４４１を覗いて視線を動かすだけで、フォーカスポイントを設定したり、カメラ４３１に対する各種の操作を行ったりすることができる。
或いは、例えば、制御部３２２は、復元画像内に基づいて、ユーザの認識処理又は認証処理を行う。
ここで、認識処理とは、例えば、ユーザの特定を行ったり、ユーザの特徴を認識したりする処理である。一方、認証処理とは、例えば、復元画像と予め登録されている画像（例えば、顔画像、目の画像等）との照合等を行うことにより、ユーザが予め登録されているユーザ又は正規のユーザ等であるかの判定等を行う処理である。なお、認識処理と認証処理とは、明確に区別されずに、一部が重複する場合がある。また、ユーザの認識処理及び認証処理には、任意の方法を用いることができる。例えば、認識処理には、顔認証、虹彩認証等の各種の生体認証を用いることができる。
そして、例えば、制御部３２２は、ユーザの認識結果又は認証結果に基づいて、認識又は認証したユーザに対応するユーザインタフェース画面を出力部３２６のディスプレイに表示させたり、カメラ４３１の設定を変更したり、特定の機能（例えば、再生等）の使用許可を行ったりする。
例えば、図３０のヘッドマウントディスプレイ４６１の場合、制御部３２２は、復元画像内のユーザの目の画像に基づいて、ユーザの視線検出を行う。なお、視線検出には、任意の方法を用いることができる。そして、例えば、制御部３２２は、ヘッドマウンドディスプレイ４６１の各部を制御して、ユーザの視線の動きに応じて、ヘッドマウントディスプレイ４６１の各種の処理を行う。これにより、ユーザは、ヘッドマウントディスプレイ４６１を装着して視線を動かすだけで、ヘッドマウントディスプレイ４６１に対する各種の操作を行うことができる。
例えば、図３１のＰＣ４９１の場合、制御部３２２は、復元画像内のユーザの顔の画像に基づいて、ユーザの認識処理又は認証処理を行う。そして、例えば、制御部３２２は、ユーザの認識結果又は認証結果に基づいて、認識又は認証したユーザに対応するユーザインタフェース画面を出力部３２６のディスプレイに表示させたり、ＰＣ４９１の設定（例えば、カスタム設定、画質設定、ペアレンタルコントロール設定）等を変更したり、特定のアカウントへのログイン、特定のフォルダやファイルへのアクセス、及び、特定の機能の使用等の許可を行ったりする。
その後、ユーザ撮像制御処理は終了する。
なお、以上においては、撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて、検出信号セットから復元画像を復元する例について説明してきたが、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。
以上のようにして、電子機器３０１のサイズの大型化やデザインの低下を抑制しつつ撮像素子１２１を配置し、電子機器を使用するユーザを撮像することができる。そして、ユーザの画像を復元し、復元した画像に基づいて、各種のアプリケーション処理を実行することができる。
＜＜４．第２の実施の形態＞＞
次に、図３３乃至図４１を参照して、本開示の第２の実施の形態について説明する。
上述した第１の実施の形態では、電子機器３０１を使用するユーザの撮像を行い、復元処理により得られるユーザの画像を用いて、各種のアプリケーション処理を実行する例を示した。一方、第２の実施の形態では、電子機器３０１を使用するユーザの周囲の撮像が行われ、復元処理により得られるユーザの周囲の画像を用いて、各種のアプリケーション処理が実行される。
なお、第２の実施の形態では、第１の実施の形態と同様に、図２６の電子機器３０１が用いられる。一方、第２の実施の形態では、第１の実施の形態と異なり、電子機器３０１を装着又は使用しているユーザの周囲が写る位置に撮像素子１２１が配置される。
＜撮像素子１２１の配置例＞
ここで、図３３乃至図４０を参照して、電子機器３０１の具体例を挙げながら、撮像素子１２１の配置例について説明する。
図３３のＡ乃至図３３のＣには、電子機器３０１の例として、ユーザの目を覆うように装着されるメガネ型のウエアラブルデバイス６０１が模式的に示されている。また、図３３のＡ乃至図３３のＣには、ウエアラブルデバイス６０１をユーザが装着した状態において外側に露出するフレーム６１２の表面に撮像素子１２１（の各画素１２１ａ）が配置されている例が示されている。
具体的には、図３３のＡの例では、フレーム６１２の表面の左レンズ６１１Ｌの上方に撮像素子１２１−１が配置され、フレーム６１２の表面の右レンズ６１１Ｒの上方に撮像素子１２１−２が配置されている。
図３３のＢの例では、フレーム６１２の表面の左レンズ６１１Ｌの右側に撮像素子１２１−１が配置され、フレーム６１２の表面の右レンズ６１１Ｒの左側に撮像素子１２１−２が配置されている。
図３３のＣの例では、フレーム６１２の表面の左レンズ６１１Ｌの周囲を取り囲むように撮像素子１２１−１が配置され、フレーム６１２の表面の右レンズ６１１Ｒの周囲を取り囲むように撮像素子１２１−２が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ウエアラブルデバイス６０１のフレーム６１２の空きスペースに撮像素子１２１を配置することができる。そして、例えば、ウエアラブルデバイス６０１を装着したユーザの前方の撮像を行うことができる。
図３４のＡ乃至図３４のＣには、電子機器３０１の例として、カメラ６３１が模式的に示されている。また、カメラ６３１の筐体の前面に撮像素子１２１（の各画素１２１ａ）が配置されている例が示されている。
具体的には、図３４のＡの例では、カメラ６３１の本体部の前面のうち、マウント６４１の左側であって、カメラ６３１の左端付近の縦長の矩形の領域に撮像素子１２１が配置されている。
図３４のＢの例では、カメラ６３１の本体部の前面のうち、マウント６４１の四隅付近の４つの矩形の領域内に、撮像素子１２１−１乃至撮像素子１２１−４がそれぞれ配置されている。
図３４のＣの例では、カメラ６３１のフラッシュが内蔵されているフラッシュ内蔵部６４２の前面に撮像素子１２１が配置されている。
図３４のＤの例では、カメラ６３１のマウント６４１の外周に沿ったリング状の領域に撮像素子１２１が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、カメラ６３１の筐体の前面の空きスペースに撮像素子１２１を配置することができる。そして、例えば、カメラ６３１の撮像方向の撮像を行うことができる。
図３５のＡ乃至図３５のＤには、電子機器３０１の例として、ユーザの目を覆うように装着されるゴーグル型のヘッドマウントディスプレイ６６１が模式的に示されている。また、図３５のＡ乃至図３５のＤには、ヘッドマウントディスプレイ６６１をユーザが装着した状態において外側に露出する筐体の前面に撮像素子１２１（の各画素１２１ａ）が配置されている例が示されている。
具体的には、図３５のＡの例では、本体部６７１の前面の下方の横長の矩形の領域に撮像素子１２１が配置されている。
図３５のＢの例では、本体部６７１の前面の上端の横長の領域に撮像素子１２１が配置されている。
図３５のＣの例では、ヘッドパッド６７２の前面の矩形の領域に撮像素子１２１が配置されている。
図３５のＤの例では、本体部６７１の前面の左右の矩形の領域に撮像素子１２１−１及び撮像素子１２１−２が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ヘッドマウントディスプレイ６６１の筐体の前面の空きスペースに撮像素子１２１を配置することができる。そして、例えば、ヘッドマウントディスプレイ６６１を装着しているユーザの前方の撮像を行うことができる。
図３６のＡ乃至図３７のＤには、電子機器３０１の例として、オーバーヘッド型のヘッドフォン６９１が模式的に示されている。図３６のＡ及び図３６のＢは、ヘッドフォン６９１を斜め前から見た斜視図を示し、図３７のＣ及び図３７のＤは、ヘッドフォン６９１を斜め後ろから見た斜視図を示している。
図３６のＡの例では、左側のハウジング７０１Ｌの側面の前方中央付近に撮像素子１２１−１が配置され、右側のハウジング７０１Ｒの側面の前方中央付近に撮像素子１２１−２が配置されている。
図３６のＢの例では、ヘッドセット７０２の前面に沿った領域に撮像素子１２１が配置されている。
図３７のＣの例では、左側のハウジング７０１Ｌの側面の後方中央付近に撮像素子１２１−１が配置され、右側のハウジング７０１Ｒの側面の後方中央付近に撮像素子１２１−２が配置されている。
図３７のＤの例では、ヘッドセット７０２の後面に沿った領域に撮像素子１２１が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ユーザがヘッドフォン６９１を装着した状態において外側に露出する面の空きスペースに撮像素子１２１を配置することができる。そして、例えば、ヘッドフォン６９１を装着しているユーザの前方又は後方の撮像を行うことができる。
図３８のＡ及び図３８のＢには、電子機器３０１の例として、ネックバンド型のヘッドフォン７２１が模式的に示されている。
図３８のＡの例では、左側のハウジング７３１Ｌの側面の前方に撮像素子１２１−１が配置されている。また、図示は省略するが、右側のハウジング７３１Ｒの側面の前方に撮像素子１２１−２が配置されている。
図３８のＢの例では、ネックバンド７３２の後方付近に撮像素子１２１が配置されている。
このように、サイズの大型化やデザインの低下を抑制しつつ、ユーザがヘッドフォン７２１を装着した状態において外側に露出する面の空きスペースに撮像素子１２１を配置することができる。そして、例えば、ヘッドフォン７２１を装着しているユーザの前方又は後方の撮像を行うことができる。
なお、以上の例では、ユーザの前方又は後方を撮像する例を示したが、ユーザの周囲の他の方向（例えば、側方、上方、下方等）を撮像するように、各撮像素子１２１を設置するようにしてもよい。
＜ユーザ周囲撮像制御処理＞
次に、図３９のフローチャートを参照して、電子機器３０１により実行されるユーザ周囲撮像制御処理について説明する。
ステップＳ２０１において、電子機器３０１の各撮像素子１２１は、図２０のステップＳ１と同様の処理により、ユーザの周囲の撮像を行う。
例えば、図３３のウエアラブルデバイス６０１の場合、ウエアラブルデバイス６０１を装着しているユーザの前方の撮像が行われる。
図３４のカメラ６３１の場合、カメラ６３１の撮像方向の撮像が行われる。
図３５のヘッドマウントディスプレイ６６１の場合、ヘッドマウントディスプレイ６６１を装着しているユーザの前方の撮像が行われる。
図３６及び図３７のヘッドフォン６９１の場合、ヘッドフォン６９１を装着しているユーザの前方又は後方の撮像が行われる。
図３８のヘッドフォン７２１の場合、ヘッドフォン７２１を装着しているユーザの前方又は後方の撮像が行われる。
各撮像素子１２１は、各画素１２１ａの検出信号からなる検出信号セットを関連付け部３２５に供給する。
ステップＳ２０２において、復元部３２１は、画像の復元に用いる係数を求める。具体的には、復元部３２１は、図２０のステップＳ２の撮像装置１０１の復元部１２２による処理と同様の処理により、被写体距離を設定する。そして、復元部３２１は、設定した被写体距離に対応付けられている係数セット群を記憶部３２７から読み出す。
なお、図３６及び図３７のヘッドフォン６９１のヘッドセット７０２や、図３８のヘッドフォン７２１のネックバンド７３２のように、変形可能な部分に撮像素子１２１が配置されている場合、変形に伴い、各画素１２１ａ間の相対位置が変化する。
一方、上述した復元画像の復元に用いる連立方程式の係数セット群は、各画素１２１ａの相対位置が変化しないことを前提にして設定されている。
そこで、電子機器３０１の変形可能な部分に撮像素子１２１が配置される場合、変形具合に応じた係数セット群を予め用意しておくとともに、変形具合を検出し、検出した変形具合に応じた係数セット群を用いるようにしてもよい。
ここで、変形可能な部分とは、例えば電子機器３０１を使用したり、装着したりする場合等に形を変わり得る部分である。なお、変形の種類は、特に限定されるものではなく、例えば、伸び、縮み、曲がり、ずれ、ねじれ、分離等が含まれる。また、変形可能な部分には、例えば、外から与えられる力により変形する部分、及び、アクチュエータ等により自らが形を変える部分がある。
例えば、図３６及び図３７のヘッドフォン６９１のヘッドセット７０２に曲げセンサを設け、曲げセンサにより検出されるヘッドセットの曲げ具合に対応する係数セット群を用いるようにしてもよい。
例えば、図４０のＡ乃至図４０のＣの曲げセンサ７５１の３つのパターンの曲げ具合に対応する係数セット群が予め用意される。そして、ユーザがヘッドフォン６９１を装着した場合の曲げセンサ７５１の検出結果に最も近い曲げ具合に対応する係数セット群を用いて、復元画像の復元が行われる。
ステップＳ２０３において、図３２のステップＳ１０３の処理と同様に、検出信号セット及び係数を用いて、画像の復元が行われる。
ステップＳ２０４において、図３２のステップＳ１０４の処理と同様に、復元画像に対して各種の処理が実行される。
ステップＳ２０５において、電子機器３０１は、復元画像（すなわち、ユーザの周囲の画像）を用いたアプリケーション処理を実行する。
例えば、図３３のウエアラブルデバイス６０１の場合、制御部３２２は、復元画像に基づいて、ユーザの周囲の認識処理を行う。なお、ユーザの周囲の認識処理には、任意の方法を用いることができる。そして、例えば、制御部３２２は、出力部３２６を制御して、認識処理により得られたユーザの周囲の環境に対応する画像や情報を、左レンズ６１１Ｌ及び右レンズ６１１Ｒを介してユーザが視認する視野内に重畳し、ＡＲ（Augmented Reality）を実現する。
或いは、例えば、制御部３２２は、記録再生部３２８を制御して、ユーザのライフログとして、復元画像を記録媒体３２９に記録させる。
例えば、図３４のカメラ６３１の場合、制御部３２２は、復元画像に基づいて、ユーザの周囲の認識処理を行うことにより、被写体の追従やシーンの認識等を行う。なお、ユーザの周囲の認識処理には、任意の方法を用いることができる。これにより、例えば、カメラ６３１のレンズ６４３を介して撮像する撮像素子（不図示）のシャッタ動作中においても被写体の追従を行うことができる。また、例えば、レンズ６４３より広い範囲をセンシングして、被写体の追従やシーンの認識を行うことができる。
例えば、図３５のヘッドマウントディスプレイ６６１の場合、制御部３２２は、出力部３２６を制御して、復元画像の一部又は全部を、ユーザが視認している画像内に重畳させる。
例えば、図３６及び図３７のヘッドフォン６９１、又は、図３８のヘッドフォン７２１の場合、制御部３２２は、復元画像に基づいて、ユーザの周囲の認識処理を行う。なお、ユーザの周囲の認識処理には、任意の方法を用いることができる。そして、制御部３２２は、認識結果に基づいて、出力部３２６等を制御してユーザの補助等を行う。例えば、車両の接近等の危険が検出された場合、振動や音声等により危険が通知されたり、目が不自由な方への音声等による支援が行われたり、認識した人の名前が音声で通知されたりする。
或いは、例えば、制御部３２２は、記録再生部３２８を制御して、ユーザのライフログとして、復元画像を記録媒体３２９に記録させる。
その後、ユーザ周囲撮像制御処理は終了する。
なお、以上においては、撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて、検出信号セットから復元画像を復元する例について説明してきたが、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。
以上のようにして、電子機器３０１のサイズの大型化やデザインの低下を抑制しつつ撮像素子１２１を配置し、電子機器を使用するユーザの周囲を撮像することができる。そして、ユーザの周囲の画像を復元し、復元した画像に基づいて、各種のアプリケーション処理を実行することができる。
なお、以上においては、ライフログとして復元画像を記録する例を示したが、復元画像の代わりに検出信号セットを記録しておき、必要に応じて画像の復元を行うようにしてもよい。
この場合、例えば、各撮像素子１２１により取得された検出信号セットと、各検出信号セットに対応するメタデータとの関連付けが行われる。
なお、メタデータには、例えば、復元時の係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、復元時に用いられる被写体距離、画角、撮像素子１２１が配置されている部分の変形情報等がメタデータに含まれる。
また、検出信号セットとメタデータを関連付ける方法は、検出信号セットとメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出信号セットを含むデータにメタデータを付与したり、検出信号セットとメタデータに同じＩＤを付与したり、検出信号セットとメタデータを同じ記録媒体３２９に記録させたりすることにより、検出信号セットとメタデータが関連付けられる。また、各検出信号セットに個別にメタデータを関連付けてもよいし、検出信号セットを１つにまとめたデータにメタデータを関連付けてもよい。
＜＜５．変形例＞＞
以下、上述した本開示の実施の形態の変形例について説明する。
＜システムの構成例に関する変形例＞
図２６では、１つの電子機器３０１が、ユーザ又はユーザの周囲の撮像処理、復元画像の復元処理、復元画像を用いたアプリケーション処理を実行する例を示したが、これらの処理を２以上の装置により分担して行ってもよい。
例えば、図４１の情報処理システム８０１は、電子機器８１１及び信号処理装置８１２を備えている。そして、電子機器８１１及び信号処理装置８１２が、撮像処理、復元処理、アプリケーション処理を分担して行ってもよい。
例えば、電子機器８１１が、撮像処理を行い、信号処理装置８１２が、復元処理及びアプリケーション処理を行ってもよい。或いは、例えば、電子機器８１１が、撮像処理及びアプリケーション処理を行い、信号処理装置８１２が、復元処理を行ってもよい。或いは、撮像処理、復元処理、及び、アプリケーション処理のうちのいくつかの処理を、電子機器８１１と信号処理装置８１２が共同で行ってもよい。
また、本開示は、上述した以外のユーザ又はユーザの周囲を撮像する機能を有する電子機器に適用することができる。ユーザを撮像する機能を有する電子機器においては、例えば、上述した例のように、接眼部や表示部の周囲に撮像素子１２１が配置される。また、ユーザの周囲を撮像する機能を有する電子機器においては、例えば、上述した例のように、ユーザが装着した状態において、外側に露出する面に撮像素子１２１が配置される。なお、撮像素子１２１の配置は、上述した例に限定されるものではなく、主要な撮像対象等に応じて適宜変更することが可能である。
なお、電子機器の接眼部の周囲や表示部の周囲ではなく、例えば、接眼部や表示部に撮像素子１２１を配置するようにすることも可能である。例えば、図２７の左レンズ４１１Ｌ及び右レンズ４１１Ｒの表面、図２９のファインダ４４１の表面、図３０の左レンズ４７１Ｌ及び右レンズ４７１Ｒの表面、図３１のディスプレイ５０１の表面等に、撮像素子１２１を配置することが可能である。
＜撮像装置及び撮像素子に関する変形例＞
また、例えば、各画素１２１ａの遮光膜１２１ｂの形状には、上述した横帯タイプ、縦帯タイプ、Ｌ字タイプ、矩形の開口部を設けたタイプ以外の形状を採用することが可能である。
さらに、例えば、図５を参照して上述した撮像素子１２１では、１つの画素１２１ａ内に２行×２列の４つのフォトダイオード１２１ｆを設ける例を示したが、フォトダイオード１２１ｆの数や配置は、この例に限定されるものではない。
例えば、図４２に示されるように、１つの画素１２１ａにおいて、１個のオンチップレンズ１２１ｃに対して、３行×３列に並べられた９個のフォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９を設けるようにしてもよい。すなわち、１つの画素出力単位が、９個のフォトダイオード１２１ｆを備えるようにしてもよい。
そして、例えば、フォトダイオード１２１ｆ−１１１，１２１ｆ−１１４，１２１ｆ−１１７乃至１２１ｆ−１１９の５画素の信号を読み出さないようにすることで、実質的に、フォトダイオード１２１ｆ−１１１，１２１ｆ−１１４，１２１ｆ−１１７乃至１２１ｆ−１１９の範囲に遮光膜１２１ｂが設定されたＬ字タイプの遮光膜１２１ｂを備える画素１２１ａと同様の入射角特性を得ることができる。
このようにして、遮光膜１２１ｂを設けることなく、遮光膜１２１ｂを設けた場合と同様の入射角特性を得ることができる。また、信号を読み出さないフォトダイオード１２１ｆのパターンを切り替えることにより、遮光膜１２１ｂにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を変化させることができる。
また、以上の説明では、１つの画素１２１ａにより１つの画素出力単位が構成される例を示したが、複数の画素１２１ａにより１つの画素出力単位を構成することも可能である。
例えば、図４３に示されるように、３行×３列に並べられた画素１２１ａ−１１１乃至画素１２１ａ−１１９により１つの画素出力単位８５１ｂを構成することが可能である。なお、画素１２１ａ−１１１乃至画素１２１ａ−１１９は、例えば、それぞれ１つのフォトダイオードを備え、オンチップレンズを備えていない。
例えば、各画素１２１ａからの画素信号を加算することにより、検出画像の１画素分の検出信号を生成するともに、一部の画素１２１ａからの画素信号の出力を停止したり、加算しないようにすることにより、画素出力単位８５１ｂの入射角指向性を実現することができる。例えば、画素１２１ａ−１１２、画素１２１ａ−１１３、画素１２１ａ−１１５、及び、画素１２１ａ−１１６の画素信号を加算して検出信号を生成することにより、画素１２１ａ−１１１、画素１２１ａ−１１４、及び、画素１２１ａ−１１７乃至画素１２１ａ−１１９の範囲にＬ字タイプの遮光膜１２１ｂを設けた場合と同様の入射角指向性を得ることができる。
また、画素信号を検出信号に加算する画素１２１ａのパターンを切り替えることにより、遮光膜１２１ｂにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を異なる値に設定することができる。
また、この場合、例えば、画素１２１ａの組合せを変更することにより、画素出力単位の範囲を変更することが可能である。例えば、画素１２１ａ−１１１、画素１２１ａ−１１２、画素１２１ａ−１１４、及び、画素１２１ａ−１１５からなる２行×２列の画素１２１ａにより画素出力単位８５１ｓを構成することができる。
さらに、例えば、全ての画素１２１ａの画素信号を記録しておき、画素１２１ａの組合せを後で設定することにより、画素出力単位の範囲を後で設定することが可能である。さらに、設定した画素出力単位内の画素１２１ａのうち、画素信号を検出信号に加算する画素１２１ａを選択することにより、画素出力単位の入射角指向性を後で設定することが可能である。
また、図４では、変調素子として遮光膜１２１ｂを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本開示では、例えば、図４４に示されるように、撮像素子９０１の受光面を覆う光学フィルタ９０２を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。
具体的には、光学フィルタ９０２は、撮像素子９０１の受光面９０１Ａから所定の間隔を空けて、受光面９０１Ａの全面を覆うように配置されている。被写体面３１からの光は、光学フィルタ９０２で変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
例えば、光学フィルタ９０２には、図４５に示される白黒の格子状のパターンを有する光学フィルタ９０２ＢＷを用いることが可能である。光学フィルタ９０２ＢＷには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子９０１の画素のサイズとは独立して設定されている。
図４６は、光学フィルタ９０２ＢＷを用いた場合の被写体面３１上の点光源ＰＡ及び点光源ＰＢからの光に対する撮像素子９０１の受光感度特性を示している。点光源ＰＡ及び点光源ＰＢからの光は、それぞれ光学フィルタ９０２ＢＷで変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
例えば、点光源ＰＡからの光に対する撮像素子９０１の受光感度特性は、波形Ｓａのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＡからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。同様に、点光源ＰＢからの光に対する撮像素子９０１の受光感度特性は、波形Ｓｂのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＢからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。
なお、点光源ＰＡからの光と点光源ＰＢからの光とは、光学フィルタ９０２ＢＷの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子９０１の各画素は、被写体面３１の各点光源に対して入射角指向性を持つようになる。
この方式の詳細は、例えば、上述した非特許文献１に開示されている。
なお、光学フィルタ９０２ＢＷの代わりに、図４７の光学フィルタ９０２ＨＷを用いるようにしてもよい。光学フィルタ９０２ＨＷは、偏光方向が等しい直線偏光素子９１１Ａと直線偏光素子９１１Ｂ、及び、１／２波長板９１２を備え、１／２波長板９１２は、直線偏光素子９１１Ａと直線偏光素子９１１Ｂの間に挟まれている。１／２波長板９１２には、光学フィルタ９０２ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
直線偏光素子９１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子９１１Ａが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子９１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子９０１の受光面９０１Ａ上に生じる。
また、図４８のＡに示されるように、光干渉マスクを光学フィルタ９０２ＬＦとして用いることが可能である。被写体面３１の点光源ＰＡ，ＰＢから出射された光は、光学フィルタ９０２ＬＦを介して撮像素子９０１の受光面９０１Ａに照射される。図４８のＡの下方の拡大図に示されるように、光学フィルタ９０２ＬＦの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ９０２ＬＦは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面３１の点光源ＰＡ，ＰＢから出射された特定波長の光の光学フィルタ９０２ＬＦに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光学フィルタ９０２ＬＦを透過した特定波長の透過光の強度は、図４８のＢに示すように、光学フィルタ９０２ＬＦに対する入射角に応じて変調されて撮像素子９０１の受光面９０１Ａに入射する。したがって、撮像素子９０１の各画素出力単位から出力される検出信号は、画素出力単位毎に各点光源の変調後の光強度を合成した信号となる。
この方式の詳細は、例えば、上述した特許文献１に開示されている。
なお、特許文献１及び非特許文献１の方式では、上述した図４の画素１２１ａ又は図５の画素１２１ａを用いた撮像素子１２１のように、隣接する画素に影響することなく画素１２１ａ単位で入射角指向性を独立して設定することができない。従って、例えば、光学フィルタ９０２ＢＷのパターン、又は、光学フィルタ９０２ＬＦの回折格子のパターンが異なると、撮像素子９０１の少なくとも隣接する複数の画素の入射角指向性が共に異なるものとされることになる。また、近い位置にある画素１２１ａ間で、互いに近い入射角指向性を有することになる。
また、本開示は、赤外光等可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。
＜その他の変形例＞
以上の説明では、ユーザの顔や目を撮像した画像に基づいて生体認証を行う例を示したが、本開示は、指紋認証等のユーザの他の部位を撮像した画像に基づいて生体認証を行う場合にも適用することができる。
また、本開示は、ユーザの視線以外のユーザの目の動き又は状態等を検出する場合にも適用することができる。例えば、ユーザの目や顔を撮像した画像に基づいて、瞬き検出や睡眠検出等を行う場合にも、本開示を適用することができる。さらに、本開示は、例えば、ウエアラブルデバイス等の電子機器３０１の装着等の検出を行う場合にも適用することができる。
また、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像や検出信号セットを用いて画像認識等を行うようにすることも可能である。
＜＜６．応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医療機器、例えば、内視鏡手術システム、カプセル内視鏡等の撮像部に適用可能である。
図４９は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図４９では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
あるいは、入力装置５０４７は、例えばメガネ型のウエアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図４９では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（カメラヘッド及びＣＣＵ）
図５０を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図５０は、図４９に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
図５０を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、撮像部５００９に好適に適用され得る。撮像部５００９に本開示に係る技術を適用することにより、撮像部５００９を小型化することができる。また、撮像素子の各画素の配置の自由度が高いため、所望の位置の術部画像が得やすくなり、手術をより安全にかつより確実に行うことが可能になる。
図５１は、本開示に係る技術が適用され得る体内情報取得システム５４００の概略的な構成の一例を示す図である。図５１を参照すると、体内情報取得システム５４００は、カプセル型内視鏡５４０１と、体内情報取得システム５４００の動作を統括的に制御する外部制御装置５４２３と、から構成される。検査時には、カプセル型内視鏡５４０１が患者によって飲み込まれる。カプセル型内視鏡５４０１は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置５４２３に順次無線送信する。外部制御装置５４２３は、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。体内情報取得システム５４００では、このようにして、カプセル型内視鏡５４０１が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した画像を随時得ることができる。
カプセル型内視鏡５４０１と外部制御装置５４２３の構成及び機能についてより詳細に説明する。図示するように、カプセル型内視鏡５４０１は、カプセル型の筐体５４０３内に、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７、状態検出部５４１９及び制御部５４２１の機能が搭載されて構成される。
光源部５４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、撮像部５４０７の撮像視野に対して光を照射する。
撮像部５４０７は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した電気信号、すなわち観察像に対応した画像信号を生成する。撮像部５４０７によって生成された画像信号は、画像処理部５４０９に提供される。なお、撮像部５４０７の撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子が用いられてよい。
画像処理部５４０９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、撮像部５４０７によって生成された画像信号に対して各種の信号処理を行う。当該信号処理は、画像信号を外部制御装置５４２３に伝送するための最小限の処理（例えば、画像データの圧縮、フレームレートの変換、データレートの変換及び／又はフォーマットの変換等）であってよい。画像処理部５４０９が必要最小限の処理のみを行うように構成されることにより、当該画像処理部５４０９を、より小型、より低消費電力で実現することができるため、カプセル型内視鏡５４０１に好適である。ただし、筐体５４０３内のスペースや消費電力に余裕がある場合であれば、画像処理部５４０９において、更なる信号処理（例えば、ノイズ除去処理や他の高画質化処理等）が行われてもよい。画像処理部５４０９は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部５４１１に提供する。なお、画像処理部５４０９は、状態検出部５４１９によってカプセル型内視鏡５４０１の状態（動きや姿勢等）についての情報が取得されている場合には、当該情報と紐付けて、画像信号を無線通信部５４１１に提供してもよい。これにより、画像が撮像された体内における位置や画像の撮像方向等と、撮像画像とを関連付けることができる。
無線通信部５４１１は、外部制御装置５４２３との間で各種の情報を送受信可能な通信装置によって構成される。当該通信装置は、アンテナ５４１３と、信号の送受信のための変調処理等を行う処理回路等から構成される。無線通信部５４１１は、画像処理部５４０９によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ５４１３を介して外部制御装置５４２３に送信する。また、無線通信部５４１１は、外部制御装置５４２３から、カプセル型内視鏡５４０１の駆動制御に関する制御信号を、アンテナ５４１３を介して受信する。無線通信部５４１１は、受信した制御信号を制御部５４２１に提供する。
給電部５４１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部５４１５では、いわゆる非接触充電の原理を用いて電力が生成される。具体的には、給電部５４１５のアンテナコイルに対して外部から所定の周波数の磁界（電磁波）が与えられることにより、当該アンテナコイルに誘導起電力が発生する。当該電磁波は、例えば外部制御装置５４２３からアンテナ５４２５を介して送信される搬送波であってよい。当該誘導起電力から電力再生回路によって電力が再生され、昇圧回路においてその電位が適宜調整されることにより、蓄電用の電力が生成される。給電部５４１５によって生成された電力は、電源部５４１７に蓄電される。
電源部５４１７は、二次電池によって構成され、給電部５４１５によって生成された電力を蓄電する。図５１では、図面が煩雑になることを避けるために、電源部５４１７からの電力の供給先を示す矢印等の図示を省略しているが、電源部５４１７に蓄電された電力は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、状態検出部５４１９及び制御部５４２１に供給され、これらの駆動に用いられ得る。
状態検出部５４１９は、加速度センサ及び／又はジャイロセンサ等の、カプセル型内視鏡５４０１の状態を検出するためのセンサから構成される。状態検出部５４１９は、当該センサによる検出結果から、カプセル型内視鏡５４０１の状態についての情報を取得することができる。状態検出部５４１９は、取得したカプセル型内視鏡５４０１の状態についての情報を、画像処理部５４０９に提供する。画像処理部５４０９では、上述したように、当該カプセル型内視鏡５４０１の状態についての情報が、画像信号と紐付けられ得る。
制御部５４２１は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することによりカプセル型内視鏡５４０１の動作を統括的に制御する。制御部５４２１は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７及び状態検出部５４１９の駆動を、外部制御装置５４２３から送信される制御信号に従って適宜制御することにより、以上説明したような各部における機能を実現させる。
外部制御装置５４２３は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。外部制御装置５４２３は、アンテナ５４２５を有し、当該アンテナ５４２５を介して、カプセル型内視鏡５４０１との間で各種の情報を送受信可能に構成される。具体的には、外部制御装置５４２３は、カプセル型内視鏡５４０１の制御部５４２１に対して制御信号を送信することにより、カプセル型内視鏡５４０１の動作を制御する。例えば、外部制御装置５４２３からの制御信号により、光源部５４０５における観察対象に対する光の照射条件が変更され得る。また、外部制御装置５４２３からの制御信号により、撮像条件（例えば、撮像部５４０７におけるフレームレート、露出値等）が変更され得る。また、外部制御装置５４２３からの制御信号により、画像処理部５４０９における処理の内容や、無線通信部５４１１が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
また、外部制御装置５４２３は、カプセル型内視鏡５４０１から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が行われてよい。外部制御装置５４２３は、表示装置（図示せず）の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置５４２３は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
以上、本開示に係る技術が適用され得る体内情報取得システム５４００の一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部５４０７に好適に適用され得る。撮像部５４０７に本開示に係る技術を適用することにより、カプセル型内視鏡５４０１をより小型化できるため、患者の負担を更に軽減することができる。
＜＜７．その他＞＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータ（例えば、制御部１２３等）などが含まれる。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体（例えば、記録媒体１３０等）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
（１）
ユーザが装着又は使用する電子機器において、
前記電子機器を装着又は使用しているユーザの周囲が写る位置に配置されている撮像部であって、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を複数備える撮像部を
備える電子機器。
（２）
各前記画素出力単位は、前記電子機器が前記ユーザに装着されている状態において、前記電子機器の外側に露出する面に配置されている
前記（１）に記載の電子機器。
（３）
前記電子機器は、前記ユーザの頭部に装着される
前記（２）に記載の電子機器。
（４）
前記電子機器は、メガネ型又はゴーグル型である
前記（３）に記載の電子機器。
（５）
前記電子機器は、ヘッドフォンである
前記（３）に記載の電子機器。
（６）
前記電子機器は、カメラである
前記（１）に記載の電子機器。
（７）
各前記画素出力単位からの複数の前記検出信号を用いて復元画像を復元する復元部を
さらに備える前記（１）乃至（６）のいずれかに記載の電子機器。
（８）
前記復元部は、各前記画素出力単位の前記入射角指向性を示す複数の係数を用いて、前記復元画像を復元する
前記（７）に記載の電子機器。
（９）
少なくとも一部の前記画素出力単位が、前記電子機器の変形可能な部分に配置されており、
前記復元部は、前記変形可能な部分の変形具合に基づいて、前記復元画像の復元に用いる前記係数を選択する
前記（８）に記載の電子機器。
（１０）
前記復元画像に基づいて、所定の処理を実行する制御部を
さらに備える前記（７）又は（８）に記載の電子機器。
（１１）
前記制御部は、前記復元画像に基づいて、前記ユーザの周囲の認識処理を行う
前記（１０）に記載の電子機器。
（１２）
前記復元画像の記録を制御する記録部を
さらに備える前記（１１）に記載の電子機器。
（１３）
複数の前記検出信号を含む前記検出信号セットと、前記検出信号セットを用いて復元画像を復元する場合に用いられるメタデータとを関連付ける関連付け部を
さらに備える前記（１）乃至（１１）のいずれかに記載の電子機器。
（１４）
前記撮像部は、１以上の撮像素子を備え、
複数の前記画素出力単位は、前記撮像素子に設けられている
前記（１）乃至（１３）のいずれかに記載の電子機器。
（１５）
各前記画素出力単位は、２以上の離れた領域に配置されている
前記（１）乃至（１４）のいずれかに記載の電子機器。
（１６）
前記複数の画素出力単位は、前記入射角指向性を独立に設定可能な構成を有する
前記（１）乃至（１５）のいずれかに記載の電子機器。
（１７）
前記複数の画素出力単位は、
１つのフォトダイオードと、
前記入射光の一部の前記フォトダイオードへの入射を遮る遮光膜と
をそれぞれ備える前記（１６）に記載の電子機器。
（１８）
前記複数の画素出力単位のうち少なくも２つの画素出力単位は、複数のフォトダイオードを備え、出力に寄与するフォトダイオードを互いに異ならせることで、前記入射角指向性が互いに異なる
前記（１６）に記載の電子機器。
（１９）
前記撮像部は、前記複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、前記入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する
前記（１）乃至（１８）のいずれかに記載の電子機器。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０１ 撮像装置， １１１ 信号処理制御部， １２１ 撮像素子， １２１ａ，１２１ａ’ 画素， １２１Ａ 受光面， １２１ｂ 遮光膜， １２１ｃ オンチップレンズ， １２１ｅ，１２１ｆ フォトダイオード， １２２ 復元部， １２３ 制御部， １２５ 検出部， １２６ 関連付け部， ３０１ 電子機器， ３１１ 撮像部， ３１２ 信号処理制御部， ３２１ 復元部， ３２２ 制御部， ３２５ 関連付け部， ３２６ 出力部, ３２８ 記録再生部， ４０１ ウエアラブルデバイス， ４１１Ｌ，４１１Ｒ レンズ， ４１２ フレーム， ４３１ カメラ， ４４１ ファインダ， ４６１ ヘッドマウントディスプレイ， ４７１Ｌ，４７１Ｒ レンズ， ４９１ ＰＣ， ５０１ ディスプレイ， ５０２ ベゼル， ６０１ ウエアラブルデバイス， ６１１Ｌ，６１１Ｒ レンズ， ６１２ フレーム， ６３１ カメラ， ６４１ マウント， ６４２ フラッシュ内蔵部， ６４３ レンズ， ６６１ ヘッドマウントディスプレイ， ６７１ 本体部， ６７２ ヘッドパッド， ６９１ ヘッドフォン， ７０１Ｌ，７０１Ｒ ハウジング， ７０２ ヘッドセット， ７２１ ヘッドフォン， ７３１Ｌ，７３１Ｒ ハウジング， ７３２ ネックバンド， ７５１ 曲げセンサ， ８０１ 情報処理システム， ８１１ 電子機器， ８１２ 信号処理装置， ９０１ｂ，９０１ｓ 画素出力単位

Claims (19)

  1. ユーザが装着又は使用する電子機器において、
    前記電子機器を装着又は使用しているユーザの周囲が写る位置に配置されている撮像部であって、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を複数備える撮像部を
    備える電子機器。
  2. 各前記画素出力単位は、前記電子機器が前記ユーザに装着されている状態において、前記電子機器の外側に露出する面に配置されている
    請求項１に記載の電子機器。
  3. 前記電子機器は、前記ユーザの頭部に装着される
    請求項２に記載の電子機器。
  4. 前記電子機器は、メガネ型又はゴーグル型である
    請求項３に記載の電子機器。
  5. 前記電子機器は、ヘッドフォンである
    請求項３に記載の電子機器。
  6. 前記電子機器は、カメラである
    請求項１に記載の電子機器。
  7. 各前記画素出力単位からの複数の前記検出信号を用いて復元画像を復元する復元部を
    さらに備える請求項１に記載の電子機器。
  8. 前記復元部は、各前記画素出力単位の前記入射角指向性を示す複数の係数を用いて、前記復元画像を復元する
    請求項７に記載の電子機器。
  9. 少なくとも一部の前記画素出力単位が、前記電子機器の変形可能な部分に配置されており、
    前記復元部は、前記変形可能な部分の変形具合に基づいて、前記復元画像の復元に用いる前記係数を選択する
    請求項８に記載の電子機器。
  10. 前記復元画像に基づいて、所定の処理を実行する制御部を
    さらに備える請求項７に記載の電子機器。
  11. 前記制御部は、前記復元画像に基づいて、前記ユーザの周囲の認識処理を行う
    請求項１０に記載の電子機器。
  12. 前記復元画像の記録を制御する記録部を
    さらに備える請求項１１に記載の電子機器。
  13. 複数の前記検出信号を含む前記検出信号セットと、前記検出信号セットを用いて復元画像を復元する場合に用いられるメタデータとを関連付ける関連付け部を
    さらに備える請求項１に記載の電子機器。
  14. 前記撮像部は、１以上の撮像素子を備え、
    複数の前記画素出力単位は、前記撮像素子に設けられている
    請求項１に記載の電子機器。
  15. 各前記画素出力単位は、２以上の離れた領域に配置されている
    請求項１に記載の電子機器。
  16. 前記複数の画素出力単位は、前記入射角指向性を独立に設定可能な構成を有する
    請求項１に記載の電子機器。
  17. 前記複数の画素出力単位は、
    １つのフォトダイオードと、
    前記入射光の一部の前記フォトダイオードへの入射を遮る遮光膜と
    をそれぞれ備える請求項１６に記載の電子機器。
  18. 前記複数の画素出力単位のうち少なくも２つの画素出力単位は、複数のフォトダイオードを備え、出力に寄与するフォトダイオードを互いに異ならせることで、前記入射角指向性が互いに異なる
    請求項１６に記載の電子機器。
  19. 前記撮像部は、前記複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、前記入射光に対する入射角指向性が、互いに異なる特性となるようにするための構成を有する
    請求項１に記載の電子機器。
JP2019548814A 2017-10-19 2018-10-19 電子機器及び信号処理装置 Active JP7247890B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017202863 2017-10-19
JP2017202863 2017-10-19
PCT/JP2018/038947 WO2019078339A1 (ja) 2017-10-19 2018-10-19 電子機器

Publications (2)

Publication Number Publication Date
JPWO2019078339A1 true JPWO2019078339A1 (ja) 2020-11-19
JP7247890B2 JP7247890B2 (ja) 2023-03-29

Family

ID=66173720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548814A Active JP7247890B2 (ja) 2017-10-19 2018-10-19 電子機器及び信号処理装置

Country Status (6)

Country Link
US (1) US11368609B2 (ja)
EP (1) EP3700182A4 (ja)
JP (1) JP7247890B2 (ja)
KR (1) KR20200062220A (ja)
CN (1) CN111201771B (ja)
WO (1) WO2019078339A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
US9071739B2 (en) * 2012-08-30 2015-06-30 Google Inc. Single pixel camera
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
WO2016123529A1 (en) * 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US20170060242A1 (en) * 2015-08-24 2017-03-02 Rambus Inc. Touchless user interface for handheld and wearable computers
WO2017056865A1 (ja) * 2015-09-29 2017-04-06 大日本印刷株式会社 レンズシート、レンズシートユニット、撮像モジュール、撮像装置
US20170206691A1 (en) * 2014-03-14 2017-07-20 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125945A1 (en) * 2001-08-07 2006-06-15 Satoshi Suzuki Solid-state imaging device and electronic camera and shading compensaton method
US7236285B2 (en) * 2004-02-12 2007-06-26 Seiko Epson Corporation Light modulation device and optical display device, and light modulation method and image display method
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP4661912B2 (ja) * 2008-07-18 2011-03-30 ソニー株式会社 固体撮像素子およびカメラシステム
CN102099916B (zh) 2008-07-25 2013-07-31 康奈尔大学 光场图像传感器、方法及应用
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8466530B2 (en) * 2011-06-30 2013-06-18 Taiwan Semiconductor Manufacturing Company, Ltd. Co-implant for backside illumination sensor
JP6120508B2 (ja) * 2011-10-03 2017-04-26 キヤノン株式会社 撮像素子および撮像装置
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
EP2965134A1 (en) 2013-03-05 2016-01-13 Rambus Inc. Phase gratings with odd symmetry for high-resoultion lensless optical sensing
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
JP2016123529A (ja) 2014-12-26 2016-07-11 株式会社大都技研 遊技台
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
JP2017063393A (ja) * 2015-09-25 2017-03-30 日本電産コパル株式会社 撮像素子、及びカメラ
EP3700195A4 (en) * 2017-10-19 2020-12-16 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, IMAGING DEVICE AND PROGRAM
WO2019078338A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 電子機器
WO2019078340A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
US11631713B2 (en) * 2017-10-19 2023-04-18 Sony Corporation Information processing device, information processing method, image capturing device, and program
US11431898B2 (en) * 2017-10-19 2022-08-30 Sony Corporation Signal processing device and imaging device
US11336799B2 (en) * 2017-10-19 2022-05-17 Sony Corporation Imaging device including pixels having individually settable incident angle directivity
EP3700192B1 (en) * 2017-10-19 2023-08-30 Sony Group Corporation Imaging device and signal processing device
WO2019078335A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
US9071739B2 (en) * 2012-08-30 2015-06-30 Google Inc. Single pixel camera
US20170206691A1 (en) * 2014-03-14 2017-07-20 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
WO2016123529A1 (en) * 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US20170060242A1 (en) * 2015-08-24 2017-03-02 Rambus Inc. Touchless user interface for handheld and wearable computers
WO2017056865A1 (ja) * 2015-09-29 2017-04-06 大日本印刷株式会社 レンズシート、レンズシートユニット、撮像モジュール、撮像装置

Also Published As

Publication number Publication date
WO2019078339A1 (ja) 2019-04-25
US20200314306A1 (en) 2020-10-01
JP7247890B2 (ja) 2023-03-29
EP3700182A4 (en) 2020-12-30
CN111201771B (zh) 2022-08-30
CN111201771A (zh) 2020-05-26
EP3700182A1 (en) 2020-08-26
US11368609B2 (en) 2022-06-21
KR20200062220A (ko) 2020-06-03

Similar Documents

Publication Publication Date Title
JP7160044B2 (ja) 電子機器
CN106796344B (zh) 锁定在感兴趣对象上的放大图像的系统、布置和方法
WO2017154605A1 (ja) 撮像装置、電子機器
US10986986B2 (en) Solid-state image pickup element, image pickup apparatus, and method of controlling solid-state image pickup element
JP6996518B2 (ja) 分岐光学系、撮像装置、及び撮像システム
US11064144B2 (en) Imaging element, imaging apparatus, and electronic equipment
JPWO2019035374A1 (ja) 撮像素子および撮像装置
JP7095693B2 (ja) 医療用観察システム
JPWO2019073814A1 (ja) 焦点検出装置および方法、並びにプログラム
JPWO2014017092A1 (ja) 撮像システム
JPWO2019188536A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US11961858B2 (en) Solid-state imaging element, electronic device, and method of manufacturing electronic device
JP7247890B2 (ja) 電子機器及び信号処理装置
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JP4952204B2 (ja) 遠隔作業支援システム、及びその表示方法
JP2008097328A (ja) 画像入力装置、個人認証装置及び電子機器
EP4113966A1 (en) Imaging device, imaging method, and electronic apparatus
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
JP2009223526A (ja) 画像入力装置及び個人認証装置
JP2010092148A (ja) 画像入力装置及び個人認証装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R151 Written notification of patent or utility model registration

Ref document number: 7247890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151