JP7444174B2 - 撮像素子、表示装置、及び、撮像システム - Google Patents

Description

本技術は、撮像素子、表示装置、及び、撮像システムに関し、特に、車両の電子サイドミラーを実現するのに用いて好適な撮像素子、表示装置、及び、撮像システムに関する。

近年、従来のサイドミラーの代わりに電子サイドミラーを搭載した車両の普及が進んでいる。電子サイドミラーとは、従来のサイドミラーに映る範囲と同様の範囲（車両の斜め後方）をカメラにより撮像し、得られた画像を車内に設置したモニタに表示するシステムである（例えば、特許文献１、２参照）。

特開２０１２－１１３６０５号公報 特表２０１６－５２３２０４号公報

特許文献１、２では、従来のドアミラーの設置位置と同様の位置にカメラが設置されており、カメラが車外において車体の左右方向に突出している。従って、従来のドアミラーと同様に、カメラが狭い場所を通行する場合の妨げになったり、接触等により破損したりするおそれがある。

これに対して、カメラを車内に設置しようとした場合、サイドミラーと同様の範囲を撮像するためには、カメラを車両のサイドウインドウに対して斜めに設置する必要がある。この場合、カメラのレンズとサイドウインドウとの間に空間ができるため、サイドウインドウへの映り込みが発生するおそれがある。

一方、映り込みを防止するために、カメラのレンズをサイドウインドウに近接させると、撮像方向が車両の側方を向いてしまい、車両の斜め後方の撮像が困難になる。

本技術は、このような状況に鑑みてなされたものであり、電子サイドミラーに用いる撮像装置の設置の自由度を高めるようにするものである。

本技術の第１の側面の撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている。

本技術の第２の側面の表示装置は、車両の内部において運転者の左斜め前又は右斜め前に設けられ、複数の表示素子が並べられた表示面と、前記表示面に設けられ、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ出力する複数の画素とを備える。

本技術の第３の側面の撮像システムは、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている撮像素子と、前記複数の画素の前記検出信号に基づく検出画像から復元される復元画像を表示する表示部とを備える。

本技術の第１の側面においては、車両の側方から偏った方向が撮像される。

本技術の第２の側面においては、表示面に設けられている複数の表示素子により画像が表示され、前記表示面に設けられている複数の画素から、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光が受光され、前記入射光の入射角によって変調された出力画素値を示す検出信号がそれぞれ出力される。

本技術の第３の側面においては、車両の側方から偏った方向が撮像され、撮像の結果得られた検出画像から復元された復元画像が表示される。

本技術を適用した車載システムの構成例を示すブロック図である。 図１の車載システムの撮像部の構成例を示すブロック図である。 図２の撮像素子における撮像の原理を説明する図である。 図２の撮像素子の画素アレイ部の構成例を示す図である。 図２の撮像素子の第１の構成例を説明する図である。 図２の撮像素子の第２の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 複数の画角の画素を組み合わせる例を説明する図である。 図１の車載システムの運転者認識部の構成例を示すブロック図である。 カメラモジュールのハードウエアの構成例を示す図である。 カメラモジュール、表示部、及び、撮像部の設置例を示す図である。 カメラモジュールの取付方法の例を示す図である。 図２の撮像素子の画素アレイ部の第１の実施の形態を示す図である。 図１９の画素の遮光パターンの例を示す図である。 電子サイドミラー表示制御処理の第１の実施の形態を説明するためのフローチャートである。 電子サイドミラー表示制御処理の第２の実施の形態を説明するためのフローチャートである。 電子サイドミラーの表示範囲の変更方法を説明するための図である。 電子サイドミラーの表示範囲の変更方法を説明するための図である。 電子サイドミラーの表示範囲の変更方法を説明するための図である。 電子サイドミラーの表示範囲の変更方法を説明するための図である。 電子サイドミラーの表示範囲の変更方法を説明するための図である。 警告表示の例を示す図である。 図２の撮像素子の画素アレイ部の第２の実施の形態を示す図である。 図２９の画素の遮光パターンの例を示す図である。 撮像範囲の変更方法を説明するための図である。 撮像範囲の変更方法を説明するための図である。 電子サイドミラー表示制御処理の第２の実施の形態を説明するためのフローチャートである。 カメラモジュールの設置例を示す図である。 カメラモジュール及び表示部の設置例を示す図である。 表示部の変形例を示す図である。 マイクロＬＥＤディスプレイに撮像素子を設けた例を示す図である。 マイクロＬＥＤディスプレイに撮像素子を設けた例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。

以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。

また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．その他

＜＜１．第１の実施の形態＞＞
まず、図１乃至図２８を参照して、本技術の第１の実施の形態について説明する。

＜車載システム１１の構成例＞
図１は、本技術を適用した車載システム１１の構成例を示すブロック図である。

車載システム１１は、車両に設けられ、電子サイドミラーの制御等を行うシステムである。車載システム１１は、カメラモジュール２１Ｌ、カメラモジュール２１Ｒ、通信ユニット２２、運転者認識部２３、アラート制御部２４、表示部２５Ｌ、表示部２５Ｒ、表示制御部２６、及び、制御部２７を備える。カメラモジュール２１Ｌ、カメラモジュール２１Ｒ、通信ユニット２２、運転者認識部２３、アラート制御部２４、表示制御部２６、及び、制御部２７は、バスＢ１を介して相互に接続されている。

なお、以下、説明を簡単にするために、車載システム１１の各部がバスＢ１を介してデータの授受等を行う場合のバスＢ１の記載を省略する。例えば、制御部２７が、バスＢ１を介して通信ユニット２２にデータを供給する場合、単に制御部２７が通信ユニット２２にデータを供給すると記載する。

カメラモジュール２１Ｌは、後述するように、車両の左側方及び後方の撮像、画像認識等の処理を行う。カメラモジュール２１Ｌは、撮像部４１Ｌ、カメラＥＣＵ４２Ｌ、及び、ＭＣＵ（Micro Control Unit）４３Ｌを備える。

撮像部４１Ｌは、後述するように、撮像レンズ及びピンホールを用いないＬＬＣ（Lens Less Camera）により構成される。撮像部４１Ｌは、後述するように、車両の左側方及び後方の撮像を行い、得られた検出画像から被写体の像が結像された復元画像を復元する。撮像部４１Ｌは、車両の左側方及び後方をセンシングしたセンシング画像として復元画像（以下、左サイド画像と称する）をカメラＥＣＵ４２Ｌに供給する。

カメラＥＣＵ４２Ｌは、左サイド画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理、交通信号のフリッカ補正処理などの画質調整処理を行う。なお、画質調整処理は、カメラＥＣＵ４２Ｌで実行されることに限定されず、撮像部４１Ｌ内部で実行されてもよい。

また、カメラＥＣＵ４２Ｌは、左サイド画像に対して物体認識処理を行い、車両の左側方及び後方の危険物（例えば、歩行者、自転車、バイク、車両等）の検出を行う。カメラＥＣＵ４２Ｌは、左サイド画像、及び、危険物の検出結果を示すデータを、ＭＣＵ４３Ｌに供給する。

ＭＣＵ４３Ｌは、カメラＥＣＵ４２Ｌから供給されるデータを、通信用の形式のデータに変換し、バスＢ１に出力する。また、ＭＣＵ４３Ｌは、バスＢ１から受信したデータを、カメラＥＣＵ４２Ｌ用の形式のデータに変換し、カメラＥＣＵ４２Ｌに供給する。

カメラモジュール２１Ｒは、後述するように、車両の右側方及び後方の撮像、画像認識等の処理を行う。カメラモジュール２１Ｒは、撮像部４１Ｒ、カメラＥＣＵ４２Ｒ、及び、ＭＣＵ（Micro Control Unit）４３Ｒを備える。

撮像部４１Ｒは、後述するように、撮像レンズ及びピンホールを用いないＬＬＣ（Lens Less Camera）により構成される。撮像部４１Ｒは、後述するように、車両の右側方及び後方の撮像を行い、得られた検出画像から被写体の像が結像された復元画像を復元する。撮像部４１Ｒは、車両の右側方及び後方をセンシングしたセンシング画像として復元画像（以下、右サイド画像と称する）をカメラＥＣＵ４２Ｒに供給する。

カメラＥＣＵ４２Ｒは、右サイド画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理、交通信号のフリッカ補正処理などの画質調整処理を行う。なお、画質調整処理は、カメラＥＣＵ４２Ｒで実行されることに限定されず、撮像部４１Ｒ内部で実行されてもよい。

また、カメラＥＣＵ４２Ｒは、右サイド画像に対して物体認識処理を行い、車両の右側方及び後方の危険物（例えば、歩行者、自転車、バイク、車両等）の検出を行う。カメラＥＣＵ４２Ｒは、右サイド画像、及び、危険物の検出結果を示すデータを、ＭＣＵ４３Ｒに供給する。

ＭＣＵ４３Ｒは、カメラＥＣＵ４２Ｒから供給されるデータを、通信用の形式のデータに変換し、バスＢ１に出力する。また、ＭＣＵ４３Ｒは、バスＢ１から受信したデータを、カメラＥＣＵ４２Ｒ用の形式のデータに変換し、カメラＥＣＵ４２Ｒに供給する。

なお、以下、カメラモジュール２１Ｌとカメラモジュール２１Ｒとを区別する必要がない場合、単にカメラモジュール２１と称する。以下、撮像部４１Ｌと撮像部４１Ｒとを区別する必要がない場合、単に撮像部４１と称する。以下、カメラＥＣＵ４２ＬとカメラＥＣＵ４２Ｒとを区別する必要がない場合、単にカメラＥＣＵ４２と称する。以下、ＭＣＵ４３ＬとＭＣＵ４３Ｒとを区別する必要がない場合、単にＭＣＵ４３と称する。以下、左サイド画像と右サイド画像とを区別する必要がない場合、単にサイド画像と称する。

逆に、以下、カメラモジュール２１Ｌの各部とカメラモジュール２１Ｒの各部とを区別する必要がある場合、カメラモジュール２１Ｌの各部の符号の後ろに”Ｌ”の文字を付し、カメラモジュール２１Ｒの各部の符号の後ろに”Ｒ”の文字を付すものとする。

通信ユニット２２は、例えば、車車間通信、車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバとの間で情報の送受信を行う。

運転者認識部２３は、車両を運転する運転者の状態を認識し（運転者のモニタリングを行い）、認識結果を示すデータをバスＢ１に出力する。

アラート制御部２４は、カメラＥＣＵ４２Ｌによる車両の左側方及び後方の危険物の検出結果に基づいて、危険物に対する注意を促す警告表示を左サイド画像に重畳する処理を行う。アラート制御部２４は、警告表示を重畳した左サイド画像をバスＢ１に出力する。同様に、アラート制御部２４は、カメラＥＣＵ４２Ｒによる車両の右側方及び後方の危険物の検出結果に基づいて、危険物に対する注意を促す警告表示を右サイド画像に重畳する処理を行う。アラート制御部２４は、警告表示を重畳した右サイド画像をバスＢ１に出力する。

なお、アラート制御部２４は、危険物が検出されていない場合、警告表示を重畳せずに、そのまま左サイド画像及び右サイド画像をバスＢ１に出力する。

表示部２５Ｌは、例えば、有機ＥＬディスプレイ、液晶ディスプレイ等のディスプレイにより構成され、左サイド画像の表示を行う。

表示部２５Ｒは、例えば、有機ＥＬディスプレイ、液晶ディスプレイ等のディスプレイにより構成され、右サイド画像の表示を行う。

なお、以下、表示部２５Ｌと表示部２５Ｒとを区別する必要がない場合、単に表示部２５と称する。

表示制御部２６は、表示部２５Ｌ及び表示部２５Ｒによる表示処理の制御を行う。例えば、表示制御部２６は、表示部２５Ｌによる左サイド画像の表示範囲を制御する。また、例えば、表示制御部２６は、表示部２５による警告表示が重畳された左サイド画像の表示を制御することにより、警告表示の表示を制御する。同様に、例えば、表示制御部２６は、表示部２５Ｒによる右サイド画像の表示範囲を制御する。また、例えば、表示制御部２６は、表示部２５による警告表示が重畳された右サイド画像の表示を制御することにより、警告表示の表示を制御する。

制御部２７は、例えば、各種のプロセッサを備え、車載システム１１の各部を制御したり、各種の処理を実行したりする。

＜撮像部４１の構成例＞
図２は、カメラモジュール２１の撮像部４１の構成例を示すブロック図である。

撮像部４１は、撮像素子１２１、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５を備える。また、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５により、信号処理や撮像部４１の制御等を行う信号処理制御部１１１が構成される。なお、撮像部４１は、撮像レンズを含まない（撮像レンズフリー）。

また、撮像素子１２１、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５は、バスＢ２介して相互に接続されており、バスＢ２を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像部４１の各部がバスＢ２を介してデータの送受信等を行う場合のバスＢ２の記載を省略する。例えば、通信部１２５がバスＢ２を介して制御部１２３にデータを供給する場合、通信部１２５が制御部１２３にデータを供給すると記載する。

撮像素子１２１は、各画素の検出感度に入射角指向性を持たせた撮像素子であり、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部１２２又はバスＢ２に出力する。各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。

より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、画素アレイ部を構成する各画素の構成が一般のものと異なり、例えば、図４乃至図６を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子１２１は、画素毎に入射光の入射角度に応じて受光感度が異なり（変化し）、画素単位で入射光の入射角度に対する入射角指向性を有している。

ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図３の左上の被写体の被写体面１０２が、点光源ＰＡ乃至点光源ＰＣにより構成され、点光源ＰＡ乃至点光源ＰＣが、それぞれ光強度ａ乃至光強度ｃの複数の光線を周囲に発しているものとする。また、以下、撮像素子１２１が、位置Ｐａ乃至位置Ｐｃに入射角指向性がそれぞれ異なる画素（以下、画素Ｐａ乃至画素Ｐｃと称する）を備えるものとする。

この場合、図３の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子１２１の各画素に入射される。例えば、点光源ＰＡから発せられた光強度ａの光線が、撮像素子１２１の画素Ｐａ乃至画素Ｐｃにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源ＰＡからの光線は、画素Ｐａ乃至画素Ｐｃにそれぞれ異なる入射角度で入射される。

これに対して、画素Ｐａ乃至画素Ｐｃの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源ＰＡからの光強度ａの光線に対する検出信号レベルが、画素Ｐａ乃至画素Ｐｃでそれぞれ異なる値になる。

そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度（すなわち、入射角指向性）を示す係数を乗じることにより求められる。例えば、点光源ＰＡからの光線に対する画素Ｐａの検出信号レベルは、点光源ＰＡの光線の光強度ａに、当該光線の画素Ｐａへの入射角度に対する画素Ｐａの入射角指向性を示す係数を乗じることにより求められる。

従って、画素Ｐｃ，Ｐｂ，Ｐａの検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ ・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ ・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ ・・・（３）

ここで、係数α１は、点光源ＰＡから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α１×ａは、点光源ＰＡからの光線に対する画素Ｐｃの検出信号レベルを示している。

係数β１は、点光源ＰＢから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β１×ｂは、点光源ＰＢからの光線に対する画素Ｐｃの検出信号レベルを示している。

係数γ１は、点光源ＰＣから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ１×ｃは、点光源ＰＣからの光線に対する画素Ｐｃの検出信号レベルを示している。

このように、画素Ｐａの検出信号レベルＤＡは、画素Ｐｃにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１との積和により求められる。

同様に、画素Ｐｂの検出信号レベルＤＢは、式（２）に示されるように、画素Ｐｂにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。また、画素Ｐｃの検出信号レベルＤＣは、式（３）に示されるように、画素Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。

ただし、画素Ｐａ，Ｐｂ，Ｐｃの検出信号レベルＤＡ、ＤＢ、ＤＣは、式（１）乃至式（３）に示されるように、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じっている。従って、図３の右上に示されるように、撮像素子１２１における検出信号レベルは、被写体面１０２上の各点光源の光強度とは異なる。従って、撮像素子１２１により得られる画像は、被写体面１０２の像が結像されたものとは異なるものとなる。

一方、式（１）乃至式（３）からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源ＰＡ乃至点光源ＰＣの光線の光強度ａ乃至光強度ｃが求められる。そして、求めた光強度ａ乃至光強度ｃに応じた画素値を有する画素を点光源ＰＡ乃至点光源ＰＣの配置（相対位置）に合わせて並べることにより、図３の右下に示されるように、被写体面１０２の像が結像された復元画像が復元される。

このようにして、撮像レンズ及びピンホールを必要とせず、各画素において入射角指向性を有する撮像素子１２１を実現することが可能となる。

以下、連立方程式を構成する式毎に係数をまとめたもの（例えば、係数α１、β１、γ１）を係数セットと称する。以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの（例えば、係数セットα１、β１、γ１、係数セットα２、β２、γ２、係数セットα３、β３、γ３）を係数セット群と称する。

ここで、被写体面１０２から撮像素子１２１の受光面までの被写体距離が異なると、被写体面１０２の各点光源からの光線の撮像素子１２１への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。

従って、撮像部４１においては、撮像素子１２１からの被写体面までの距離（被写体距離）毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を１回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。

また、同じ被写体距離の被写体面１０２であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子１２１への入射角が異なる。従って、同じ被写体距離の被写体面１０２に対して、複数の係数セット群が必要となる場合がある。さらに、各画素１２１ａの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。

また、撮像素子１２１が出力する画像は、図３の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない（被写体を視認不可能な）画像である。

そこで、以下、図３の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子１２１により撮像される画像を、検出画像と称する。

なお、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向性が同じ画素を含んでいてもよい。

図２に戻り、復元部１２２は、例えば、図３における撮像素子１２１から被写体面１０２（復元画像に対応する被写体面）までの距離に相当する被写体距離に対応し、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶部１２４から取得する。また、復元部１２２は、撮像素子１２１から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成する。そして、復元部１２２は、作成した連立方程式を解くことにより、図３の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる（被写体を視認可能な）画像が検出画像から復元される。

以下、この検出画像から復元される画像を復元画像と称する。ただし、撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。

また、以下、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をＲＡＷ画像と称し、撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、ＲＡＷ画像ではないものとして区別する。

なお、撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。

また、復元部１２２は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部１２２は、復元画像をバスＢ２に出力する。

制御部１２３は、例えば、各種のプロセッサを備え、撮像部４１の各部を制御したり、各種の処理を実行したりする。

記憶部１２４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像部４１の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部１２４は、様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶している。より具体的には、例えば、記憶部１２４は、各被写体距離における被写体面１０２毎に、被写体面１０２上に設定した各点光源に対する撮像素子１２１の各画素１２１ａに対する係数を含む係数セット群を記憶している。

通信部１２５は、所定の通信方式により、カメラＥＣＵ４２Ｌと通信を行う。

＜撮像素子１２１の第１の構成例＞
次に、図４及び図５を参照して、図２の撮像部４１の撮像素子１２１の第１の構成例について説明する。

図４は、撮像素子１２１の画素アレイ部の一部の正面図を示している。なお、図４においては、画素アレイ部の画素数が縦６画素×横６画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。また、図４の画素アレイ部の構成例は、撮像素子１２１の第１の構成例を説明するためのものであり、実際の画素アレイ部の構成例については後述する。

図４の撮像素子１２１では、画素１２１ａ毎に、そのフォトダイオードの受光領域（受光面）の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。

例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とによりフォトダイオードの受光領域を遮光する範囲が異なる（遮光する領域（位置）、及び、遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられている。一方、画素１２１ａ－２においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。なお、遮光膜１２１ｂ－１がフォトダイオードの受光領域を遮光する幅と、遮光膜１２１ｂ－２がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ部内でランダムに配置されている。

図５の上段は、撮像素子１２１の第１の構成例における側面断面図であり、図５の中段は、撮像素子１２１の第１の構成例における上面図である。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。

図５の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１，１２１ａ－２は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。

なお、以下、画素１２１ａ－１，１２１ａ－２を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素１２１ａと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字やアルファベットを省略する場合がある。

また、図５は、撮像素子１２１の画素アレイ部を構成する２画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。

さらに、画素１２１ａ－１，１２１ａ－２は、それぞれ光電変換層Ｚ１１に光電変換素子としてフォトダイオード１２１ｅ－１，１２１ｅ－２を備えている。また、フォトダイオード１２１ｅ－１，１２１ｅ－２の上には、それぞれ上からオンチップレンズ１２１ｃ－１，１２１ｃ－２、およびカラーフィルタ１２１ｄ－１，１２１ｄ－２が積層されている。

オンチップレンズ１２１ｃ－１，１２１ｃ－２は、入射光をフォトダイオード１２１ｅ－１，１２１ｅ－２上に集光させる。

カラーフィルタ１２１ｄ－１，１２１ｄ－２は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。なお、白色の場合、カラーフィルタ１２１ｄ－１，１２１ｄ－２は、透明のフィルタでもよいし、無くてもよい。

画素１２１ａ－１，１２１ａ－２の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｇ－１乃至１２１ｇ－３が形成されており、例えば、図５に示されるように、入射光Ｌが隣接する画素に入射し、クロストークが発生するのを抑制する。

また、図５の上段及び中段に示されるように、遮光膜１２１ｂ－１，１２１ｂ－２が、上面から見て受光面Ｓの一部を遮光している。画素１２１ａ－１，１２１ａ－２におけるフォトダイオード１２１ｅ－１，１２１ｅ－２の受光面Ｓにおいては、遮光膜１２１ｂ－１，１２１ｂ－２により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａで異なっている必要はなく、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。

なお、図５の上段に示されるように、遮光膜１２１ｂ－１と遮光膜１２１ｇ－１とは互いに接続されており、側面から見てＬ字型に構成されている。同様に、遮光膜１２１ｂ－２と遮光膜１２１ｇ－２とは互いに接続されており、側面から見てＬ字型に構成されている。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金により構成される。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。なお、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３の膜厚は、位置に応じて同一の厚さにしなくてもよい。

また、図５の下段に示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備え、垂直信号線１６７を介して電流源１６８に接続されている。

フォトダイオード１６１は、アノード電極が接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極に接続されている。

転送トランジスタ１６２は、転送信号ＴＧに従って駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。

ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。

選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。

増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの検出信号（画素信号）を垂直信号線１６７に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。

リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。

なお、各画素１２１ａの遮光膜１２１ｂの形状は、図４の例に限定されるものではなく、任意の形状に設定することが可能である。例えば、図４の水平方向に延びる形状、垂直方向及び水平方向に延びるＬ字型の形状、矩形の開口部が設けられた形状等にすることが可能である。

＜撮像素子１２１の第２の構成例＞
図６は、撮像素子１２１の第２の構成例を示す図である。図６の上段には、第２の構成例である撮像素子１２１の画素１２１ａの側面断面図が示されており、図６の中段には、撮像素子１２１の上面図が示されている。また、図６の上段の側面断面図は、図６の中段におけるＡＢ断面となる。さらに、図６の下段は、撮像素子１２１の回路構成例である。

図６の撮像素子１２１は、１つの画素１２１ａに４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｇがフォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図５の撮像素子１２１と異なる構成となっている。即ち、図６の撮像素子１２１では、遮光膜１２１ｇは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については図５と同一の符号を付しており、詳細な説明は省略する。

図６の撮像素子１２１では、遮光膜１２１ｇによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４が分離されることによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークの発生が防止される。すなわち、図６の遮光膜１２１ｇは、図５の撮像素子１２１の遮光膜１２１ｇと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。

また、図６の撮像素子１２１では、１個のＦＤ部１６３が４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有される。図６の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。なお、図６の下段において、図５の下段と同一の構成については、その説明を省略する。

図６の下段において、図５の下段の回路構成と異なる点は、フォトダイオード１６１（図５の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図６の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。

このような構成により、フォトダイオード１２１ｆ－１乃至１２１ｆ－４に蓄積された電荷は、フォトダイオード１２１ｆ－１乃至１２１ｆ－４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が検出信号（画素信号）として読み出される。

このため、フォトダイオード１２１ｆ－１乃至１２１ｆ－４で蓄積された電荷を様々な組み合わせで選択的に画素１２１ａの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード１２１ｆ－１乃至１２１ｆ－４毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード１２１ｆ－１乃至１２１ｆ－４（フォトダイオード１２１ｆ－１乃至１２１ｆ－４が出力に寄与する度合い）を互いに異ならせることで、異なる入射角指向性を得ることができる。

例えば、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。

また、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４から独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する検出信号となる。

なお、各フォトダイオード１２１ｆ（の電荷）の検出信号への寄与は、例えば、各フォトダイオード１２１ｆの電荷（検出値）をＦＤ部１６３に転送するか否かだけでなく、電子シャッタ機能を用いてＦＤ部１６３への転送前にフォトダイオード１２１ｆに蓄積された電荷をリセットすること等でも実現することができる。例えば、ＦＤ部１６３への転送直前にフォトダイオード１２１ｆの電荷をリセットすれば、そのフォトダイオード１２１ｆは、検出信号に全く寄与しない状態となる。一方、フォトダイオード１２１ｆの電荷をリセットとＦＤ部１６３への電荷の転送との間に時間を持たせることにより、そのフォトダイオード１２１ｆは、部分的に検出信号に寄与する状態となる。

以上のように、図６の撮像素子１２１の場合、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図６の撮像素子１２１の各画素１２１ａから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値（出力画素値）となり、入射角により特性（指向性）が異なる（入射角指向性を有する）。

なお、図６の撮像素子１２１では、入射光が光学的に変調されずに全てのフォトダイオード１２１ｆ－１乃至１２１ｆ－４に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード１２１ｆのことを、画素又は出力に寄与しないフォトダイオード１２１ｆとも称する。

また、図６には、画素（画素１２１ａ）の受光面を４等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード１２１ｆを配置した例、すなわち、フォトダイオードを４等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。

例えば、フォトダイオードを必ずしも等分する必要はなく、画素毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素間で同じ位置のフォトダイオード１２１ｆを出力に寄与させるようにしたとしても、画素間で入射角指向性が異なるようになる。また、例えば、画素間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素間で分割数及び分割位置の両方を異ならせるようにしてもよい。

また、図５の撮像素子１２１及び図６の撮像素子１２１のいずれも、各画素が入射角指向性を独立に設定可能な構成を有している。なお、図５の撮像素子１２１では、各画素の入射角指向性が、遮光膜１２１ｂにより製造時に設定される。一方、図６の撮像素子１２１では、各画素のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素の入射角指向性（出力に寄与させるフォトダイオードの組合せ）は使用時（例えば、撮像時）に設定することができる。なお、図５の撮像素子１２１及び図６の撮像素子１２１のいずれにおいても、必ずしも全ての画素が、入射角指向性を持たせる構成を備える必要はない。

なお、以下、図５の撮像素子１２１において、各画素１２１ａの遮光膜１２１ｂの形状を遮光パターンと称する。また、以下、図６の撮像素子１２１において、各画素１２１ａ内の出力に寄与しないフォトダイオード１２１ｆの領域の形状を遮光パターンと称する。

＜撮像素子１２１の基本特性等について＞
次に、図７乃至図１４を参照して、撮像素子１２１の基本特性等について説明する。

＜入射角指向性を生じさせる原理について＞
撮像素子１２１の各画素の入射角指向性は、例えば、図７に示されるような原理により発生する。なお、図７の左上部および右上部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図７の左下部および右下部は、図６の撮像素子１２１における入射角指向性の発生原理を説明する図である。

図７の左上部および右上部の画素は、いずれも１個のフォトダイオード１２１ｅを備える。これに対して、図７の左下部および右下部の画素は、いずれも２個のフォトダイオード１２１ｆを備える。なお、ここでは、１画素が２個のフォトダイオード１２１ｆを備える例を示しているが、これは説明の便宜上であり、１画素が備えるフォトダイオード１２１ｆの数は、その他の個数であってもよい。

図７の左上部の画素においては、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図７の右上部の画素においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。なお、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。

例えば、図７の左上部の画素においては、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光されにくい。したがって、図７の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。

一方、例えば、図７の右上部の画素においては、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲により受光され易い。したがって、図７の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。

また、図７の左下部の画素は、図中の左右にフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。

すなわち、図７の左下部の画素では、図中の左側に設けられたフォトダイオード１２１ｆ－１１の信号のみを読み出すようにすることで、図７の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１１から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射するが、フォトダイオード１２１ｆ－１２から読み出されないため、この画素から出力される検出信号に寄与しない。

同様に、図７の右下部の画素のように、２個のフォトダイオード１２１ｆ－１３，１２１ｆ－１４を備える場合、図中の右側に設けられたフォトダイオード１２１ｆ－１４の信号のみを読み出すようにすることで、図７の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１３に入射するが、フォトダイオード１２１ｆ－１３から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１４に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１４から読み出されるため、この画素から出力される検出信号に寄与する。

なお、図７の上部の画素においては、画素（フォトダイオード１２１ｅの受光面）の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図７の下部の画素においては、画素の水平方向の中心位置で、２つのフォトダイオード１２１ｆが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード１２１ｆが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。

＜オンチップレンズを含む構成における入射角指向性について＞
次に、図８を参照して、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。

図８の上段のグラフは、図８の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図８の中段左側の一点鎖線と一致する場合を０度とし、図８の中段左側の入射角度θ２１側を正の方向とし、図８の中段右側の入射角度θ２２側を負の方向とする。したがって、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり（正の方向に大きくなり）、右に傾くほど小さくなる（負の方向に大きくなる）。

また、図８の中段左部の画素は、図７の上段左部の画素に、入射光を集光するオンチップレンズ１２１ｃ－１１、及び、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１を追加したものである。すなわち、この画素では、オンチップレンズ１２１ｃ－１１、カラーフィルタ１２１ｄ－１１、遮光膜１２１ｂ－１１、フォトダイオード１２１ｅ－１１が、図中上方の光の入射方向から順に積層されている。

同様に、図８の中段右部の画素、図８の下段左部の画素、及び、図８の下段右部の画素は、それぞれ、図７の上段右部の画素、図７の下段左部の画素、及び、図７の下段右部の画素に、オンチップレンズ１２１ｃ－１１及びカラーフィルタ１２１ｄ－１１、又は、オンチップレンズ１２１ｃ－１２及びカラーフィルタ１２１ｄ－１２を追加したものである。

図８の中段左部の画素では、図８の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベル（受光感度）が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど（図中の右方向に傾くほど））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くほど））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。

また、図８の中段右部の画素では、図８の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベル（受光感度）が変化する。すなわち、入射光の入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。

この図８の上段に示される実線および点線の波形は、遮光膜１２１ｂの範囲に応じて変化させることができる。従って、遮光膜１２１ｂの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。

上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図８の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図８の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。

また、図８の下段左部の画素では、図７の下段左部の画素と同様に、図中左部のフォトダイオード１２１ｆ－１１のみの信号を用いるようにすることで、図８の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、信号が読み出されるフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、信号が読み出されないフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、検出信号レベルが小さくなる。

また、同様に、図８の下段右部の画素では、図７の下段右部の画素と同様に、図中右部のフォトダイオード１２１ｆ－１４のみの信号を用いるようにすることで、図８の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、出力（検出信号）に寄与しないフォトダイオード１２１ｆ－１３の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、出力（検出信号）に寄与するフォトダイオード１２１ｆ－１４の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。

ここで、画素１２１ａの入射角指向性の重心を以下のように定義する。

入射角指向性の重心は、画素１２１ａの受光面に入射する入射光の強度の分布の重心である。画素１２１ａの受光面は、図８の中段の画素１２１ａでは、フォトダイオード１２１ｅの受光面となり、図８の下段の画素１２１ａでは、フォトダイオード１２１ｆの受光面となる。

例えば、図８の上段のグラフの縦軸の検出信号レベルをａ（θ）とし、次式（４）により算出される入射角θｇの光線を重心光線とする。

θｇ＝Σ（ａ（θ）×θ）／Σａ（θ） ・・・（４）

そして、重心光線が画素１２１ａの受光面と交わる点が、画素１２１ａの入射角指向性の重心となる。

また、図８の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ１２１ｃが必須構成となる。

なお、以下の説明では、図５の画素１２１ａのように、遮光膜１２１ｂを用いて入射角指向性を実現する画素１２１ａを用いる場合の例を中心に説明する。ただし、遮光膜１２１ｂが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素１２１ａを用いることも可能である。

＜遮光範囲と画角の関係について＞
次に、図９及び図１４を参照して、画素１２１ａの遮光範囲と画角の関係について説明する。

例えば、図９の上段に示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図９の下段に示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。

図１０は、撮像素子１２１の中心位置Ｃ１への被写体面１０２からの入射光の入射角度の例を示している。なお、図１０においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図１０の右部には、図９における画素１２１ａ，１２１ａ’が示されている。

例えば、図９の画素１２１ａが撮像素子１２１の中心位置Ｃ１に配置されている場合、被写体面１０２から画素１２１ａへの入射光の入射角の範囲は、図１０の左部に示されるように角度Ａ１となる。従って、画素１２１ａは、被写体面１０２の水平方向の幅Ｗ１分の入射光を受光することができる。

これに対して、図９の画素１２１ａ’が撮像素子１２１の中心位置Ｃ１に配置されている場合、画素１２１ａ’は画素１２１ａよりも遮光される範囲が広いため、被写体面１０２から画素１２１ａ’への入射光の入射角の範囲は、図１０の左部に示されるように角度Ａ２（＜Ａ１）となる。従って、画素１２１ａ’は、被写体面１０２の水平方向の幅Ｗ２（＜Ｗ１）分の入射光を受光することができる。

つまり、遮光範囲が狭い画素１２１ａは、被写体面１０２上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素１２１ａ’は、被写体面１０２上の狭い範囲を撮像するのに適した狭画角画素である。なお、ここでいう広画角画素および狭画角画素は、図９の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。

従って、例えば、画素１２１ａは、図９の画像Ｉ１を復元するために用いられる。画像Ｉ１は、図１１の上段の被写体となる人物Ｈ１０１の全体を含み、被写体幅Ｗ１に対応する画角ＳＱ１の画像である。これに対して、例えば、画素１２１ａ’は、図９の画像Ｉ２を復元するために用いられる。画像Ｉ２は、図１１の上段の人物Ｈ１０１の顔の周辺がズームアップされた被写体幅Ｗ２に対応する画角ＳＱ２の画像である。

また、例えば、図１１の下段に示されるように、撮像素子１２１の点線で囲まれた範囲ＺＡに、図９の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて配置することが考えられる。そして、例えば、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、範囲ＺＡ内の各画素１２１ａの検出信号を用いるようにすることで、適切に画角ＳＱ１の画像を復元することができる。一方、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、範囲ＺＢ内の各画素１２１ａ’の検出信号を用いるようにすることで、適切に画角ＳＱ２の画像を復元することができる。

なお、画角ＳＱ２は、画角ＳＱ１よりも狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の画素数で復元する場合、画角ＳＱ１の画像よりも、画角ＳＱ２の画像を復元する方が、より高画質な（高解像度の）復元画像を得ることができる。

つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。

例えば、図１２の右部は、図１１の撮像素子１２１の範囲ＺＡ内の構成例を示している。図１２の左部は、範囲ＺＡ内の画素１２１ａの構成例を示している。

図１２において、黒色で示された範囲が遮光膜１２１ｂであり、各画素１２１ａの遮光範囲は、例えば、図１２の左部に示される規則に従って決定される。

図１２の左部の主遮光部Ｚ１０１（図１２の左部の黒色部）は、各画素１２１ａにおいて共通に遮光される範囲である。具体的には、主遮光部Ｚ１０１は、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって、それぞれ幅ｄｘ１の範囲、並びに、画素１２１ａの上辺及び下辺から画素１２１ａ内に向かって、それぞれ高さｄｙ１の範囲である。そして、各画素１２１ａにおいて、主遮光部Ｚ１０１の内側の範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形の開口部Ｚ１１１が設けられる。従って、各画素１２１ａにおいて、開口部Ｚ１１１以外の範囲が、遮光膜１２１ｂにより遮光される。

ここで、各画素１２１ａの開口部Ｚ１１１は規則的に配置されている。具体的には、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ内において同一になる。また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ内において同一になる。

一方、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、画素１２１ａの水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が右方向に進むに従って、開口部Ｚ１１１の左辺が、画素１２１ａの左辺からそれぞれ幅ｄｘ１、ｄｘ２、・・・、ｄｘｎだけ右方向にずれた位置に移動する。幅ｄｘ１と幅ｄｘ２の間隔、幅ｄｘ２と幅ｄｘ３の間隔、・・・、幅ｄｘｎ－１と幅ｄｘｎの間隔は、それぞれ範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さを水平方向の画素数ｎ－１で割った値となる。

また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、画素１２１ａの垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が下方向に進むに従って、開口部Ｚ１１１の上辺が、画素１２１ａの上辺からそれぞれ高さｄｙ１、ｄｙ２、・・・、ｄｙｎだけ下方向にずれた位置に移動する。高さｄｙ１と高さｄｙ２の間隔、高さｄｙ２と高さｄｙ３の間隔、・・・、高さｄｙｎ－１と高さｄｙｎの間隔は、それぞれ範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さを垂直方向の画素数ｍ－１で割った値となる。

図１３の右部は、図１１の撮像素子１２１の範囲ＺＢ内の構成例を示している。図１３の左部は、範囲ＺＢ内の画素１２１ａ’の構成例を示している。

図１３において、黒色で示された範囲が遮光膜１２１ｂ’であり、各画素１２１ａ’の遮光範囲は、例えば、図１３の左部に示される規則に従って決定される。

図１３の左部の主遮光部Ｚ１５１（図１３に左部の黒色部）は、各画素１２１ａ’において共通に遮光される範囲である。具体的には、主遮光部Ｚ１５１は、画素１２１ａ’の左辺及び右辺から画素１２１ａ’内に向かって、それぞれ幅ｄｘ１’の範囲、並びに、画素１２１ａ’の上辺及び下辺から画素１２１ａ’内に向かって、それぞれ高さｄｙ１’の範囲である。そして、各画素１２１ａ’において、主遮光部Ｚ１５１の内側の範囲Ｚ１５２内に、遮光膜１２１ｂ’により遮光されない矩形の開口部Ｚ１６１が設けられる。従って、各画素１２１ａ’において、開口部Ｚ１６１以外の範囲が、遮光膜１２１ｂ’により遮光される。

ここで、各画素１２１ａ’の開口部Ｚ１６１は、図１２の各画素１２１ａの開口部Ｚ１１１と同様に、規則的に配置されている。具体的には、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ’内において同一になる。また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ’内において同一になる。

一方、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、画素１２１ａ’の水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が右方向に進むに従って、開口部Ｚ１６１の左辺が、画素１２１ａ’の左辺からそれぞれ幅ｄｘ１’、ｄｘ２’、・・・、ｄｘｎ’だけ右方向にずれた位置に移動する。幅ｄｘ１’と幅ｄｘ２’の間隔、幅ｄｘ２’と幅ｄｘ３’の間隔、・・・、幅ｄｘｎ－１’と幅ｄｘｎ’の間隔は、それぞれ範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた長さを水平方向の画素数ｎ－１で割った値となる。

また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、画素１２１ａ’の垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が下方向に進むに従って、開口部Ｚ１６１の上辺が、画素１２１ａ’の上辺からそれぞれ高さｄｙ１’，ｄｙ２’、・・・、ｄｙｎ’だけ下方向にずれた位置に移動する。高さｄｙ１’と高さｄｙ２’の間隔、高さｄｙ２’と高さｄｙ３’の間隔、・・・、高さｄｙｎ－１’と高さｄｙｎ’の間隔は、それぞれ範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さを垂直方向の画素数ｍ－１で割った値となる。

ここで、図１２の画素１２１ａの範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さは、図１３の画素１２１ａ’の範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた幅より大きくなる。従って、図１２の幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔は、図１３の幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔より大きくなる。

また、図１２の画素１２１ａの範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さは、図１３の画素１２１ａ’の範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さより大きくなる。従って、図１２の高さｄｙ１、ｄｙ２・・・ｄｙｎの変化の間隔は、図１３の高さｄｙ１’、ｄｙ２’・・・ｄｙｎ’の変化の間隔より大きくなる。

このように、図１２の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔と、図１３の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔とは異なる。そして、この間隔の違いが、復元画像における被写体分解能（角度分解能）の違いとなる。すなわち、図１３の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔の方が、図１２の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔より狭くなる。従って、図１３の各画素１２１ａ’の検出信号を用いて復元される復元画像は、図１２の各画素１２１ａの検出信号を用いて復元される復元画像より、被写体分解能が高くなり、高画質（高解像度）となる。

このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素からなる撮像素子１２１を実現することが可能となる。

なお、以上においては、画素１２１ａと画素１２１ａ’を範囲ＺＡと範囲ＺＢに分けて配置する例を示したが、これは説明を簡単にするためであり、異なる画角に対応する画素１２１ａが同じ領域内に混在して配置されることが望ましい。

例えば、図１４に示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。

この場合、例えば、全画素１２１ａの画素数がＸである場合、４種類の画角ごとにＸ／４画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セット群が使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。

従って、復元する復元画像の画角の撮像に適した画素から得られる検出画像を用いて復元画像を復元することで、４種類の画角に応じた適切な復元画像を得ることが可能となる。

また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。

なお、例えば、画角の広い画像を復元画像として得る場合、広画角画素を全て用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、例えば、画角の狭い画像を復元画像として得る場合、狭画角画素を全て用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。

＜運転者認識部２３の構成例＞
図１５は、図１の運転者認識部２３の構成例を示すブロック図である。運転者認識部２３は、撮像部１８１、指示動作検出部１８２、学習部１８３、記憶部１８４、及び、送信部１８５を備える。

撮像部１８１は、車内の運転者を撮像可能な位置に設置される。撮像部１８１は、運転者の撮像を行い、得られた画像（以下、運転者画像と称する）を指示動作検出部１８２及び学習部１８３に供給する。

指示動作検出部１８２は、運転者画像、及び、記憶部１８４に記憶されている検出条件に基づいて、表示部２５に表示されるサイド画像の表示範囲の変更を指示する運転者の動作（以下、表示変更指示動作と称する）を検出する処理を行う。表示変更指示動作は、例えば、運転者が手、頭部、視線等の１つ以上を動かすことにより行われる。

指示動作検出部１８２は、表示変更指示動作を検出した場合、指示内容を示すデータを、送信部１８５に供給する。また、指示動作検出部１８２は、表示変更指示動作の検出結果を示すデータを学習部１８３に供給する。

学習部１８３は、運転者画像、表示変更指示動作の検出結果、及び、図示せぬ入力部を介して運転者等により入力される表示部２５に表示されるサイド画像の表示範囲の変更の指示に基づいて、表示変更指示動作の検出条件の学習を行う。学習部１８３は、学習により得られた検出条件を記憶部１８４に記憶させる。

送信部１８５は、指示動作検出部１８２から供給される指示内容を示すデータを、通信用の形式のデータに変換し、バスＢ１に出力する。

＜カメラモジュール２１のハードウエア構成例＞
図１６は、カメラモジュール２１のハードウエアの構成例を示している。

図１６のカメラモジュール２１では、ＬＬＣチップ２０２及び信号処理チップ２０３の２つの半導体チップが、同じ基板２０１上に実装されている。

ＬＬＣチップ２０２は、図１の撮像部４１を備える半導体チップである。

信号処理チップ２０３は、図１のカメラＥＣＵ４２及びＭＣＵ４３を備える半導体チップである。

このように、ＬＬＣチップ２０２と信号処理チップ２０３を同一の基板２０１に配置することにより、フレキシブル基板が不要となり、不要輻射が低減される。

＜カメラモジュール２１、表示部２５、及び、撮像部１８１の設置例＞
次に、図１７及び図１８を参照して、カメラモジュール２１、表示部２５、及び、撮像部１８１の設置例について説明する。

図１７は、車載システム１１が設けられている車両２２１の前半分を上から見た模式図である。

カメラモジュール２１Ｌは、車両２２１の助手席（左側の前席）のサイドウインドウ２３２Ｌに貼付されている。カメラモジュール２１Ｌの撮像素子１２１Ｌの画角（ＦＯＶ（Field Of View））ＦＬ１の中心を通る撮像方向ＡＬ２は、車両２２１の左斜め後方を向いており、撮像素子１２１Ｌは、車両２２１の左側方及び後方の撮像が可能である。

カメラモジュール２１Ｒは、車両２２１の運転席（右側の前席）のサイドウインドウ２３２Ｒに貼付されている。カメラモジュール２１Ｒの撮像素子１２１Ｒの画角（ＦＯＶ）ＦＲ１の中心を通る撮像方向ＡＲ２は、車両２２１の右斜め後方を向いており、撮像素子１２１Ｒは、車両２２１の右側方及び後方の撮像が可能である。

表示部２５Ｌは、運転者２２２の左斜め前であって、車内のウインドシールド２３１の手前、かつ、ダッシュボード（不図示）上の左端付近に、表示面がやや運転者２２２の方向、すなわち、車両２２１の右斜め後方を向くように設置されている。表示部２５Ｌは、カメラモジュール２１Ｌにより得られる左サイド画像を表示する。

表示部２５Ｒは、運転者２２２の右斜め前であって、車内のウインドシールド２３１の手前、かつ、ダッシュボード（不図示）上の右端付近に、表示面がやや運転者２２２の方向、すなわち、車両２２１の左斜め後方を向くように設置されている。表示部２５Ｒは、カメラモジュール２１Ｒにより得られる右サイド画像を表示する。

なお、表示部２５Ｌの表示面への運転者２２２の視線ＡＬ１の入射角θＬ１と、表示部２５Ｌの表示面に対する撮像素子１２１Ｌの撮像方向ＡＬ２の角度θＬ２とができるだけ近くなるように、表示部２５Ｌ及びカメラモジュール２１Ｌが設置されることが望ましい。同様に、表示部２５Ｒの表示面への運転者２２２の視線ＡＲ１の入射角θＲ１と、表示部２５Ｒの表示面に対する撮像素子１２１Ｒの撮像方向ＡＲ２の角度θＲ２とができるだけ近くなるように、表示部２５Ｒ及びカメラモジュール２１Ｒが設置されることが望ましい。

なお、撮像方向は、撮像素子１２１の各画素１２１ａの重心光線の入射角の平均を示し、撮像素子１２１の画角の中心を通る。例えば、撮像方向ＡＬ２は、撮像素子１２１Ｌの各画素１２１ａの重心光線の入射角の平均を示し、撮像素子１２１Ｌの画角ＦＬ１の中心を通る。例えば、撮像方向ＡＲ２は、撮像素子１２１Ｒの各画素１２１ａの重心光線の入射角の平均を示し、撮像素子１２１Ｒの画角ＦＲ１の中心を通る。

これにより、運転者２２２の視線方向と、各表示部２５に表示されるサイド画像の表示範囲との関係が自然なものとなり、運転者２２２に違和感を与えることが防止される。また、運転者２２２は、視線をあまり動かさずに、車両２２１の斜め後方の確認が可能になる。

図１５の運転者認識部２３の撮像部１８１は、車内のウインドシールド２３１の手前、かつ、ダッシュボード（不図示）上の中央付近に設置されている。撮像部１８１は、運転者２２２付近の撮像を行う。

図１８は、カメラモジュール２１Ｌが取り付けられたサイドウインドウ２３２Ｌを上から見た模式図である。

カメラモジュール２１Ｌは、ブラケット２５１を用いて、ＬＬＣチップ２０２が実装されている面がサイドウインドウ２３２Ｌの車内側の面に沿うように、脱着可能に取り付けられている。これにより、ＬＬＣチップ２０２の表面に設けられている撮像素子１２１Ｌの受光面が、サイドウインドウ２３２Ｌの車内側の面に対向し、かつ、車両２２１の左側方を向き、かつ、接触又は近接し、サイドウインドウ２３２Ｌの車内側の面に対して略平行になる。

従って、撮像素子１２１の受光面とサイドウインドウ２３２Ｌとの間の空間がなくなるか、又は、非常に狭くなる。その結果、入射光の反射によるサイドウインドウ２３２Ｌの映り込みや、撮像素子１２１の受光面とサイドウインドウ２３２Ｌとの間の結露の発生が防止される。

また、カメラモジュール２１Ｌは、ケーブル２５２を介して、車載システム１１のバスＢ１に接続される。

なお、図示及び詳細な説明は省略するが、カメラモジュール２１Ｒも、カメラモジュール２１Ｌと同様に、ブラケットを用いてサイドウインドウ２３２Ｒに貼付される。これにより、ＬＬＣチップ２０２の表面に設けられている撮像素子１２１Ｒの受光面が、サイドウインドウ２３２Ｒの車内側の面に対向し、かつ、車両２２１の右側方を向き、かつ、接触又は近接し、サイドウインドウ２３２Ｒの車内側の面に対して略平行になる。

また、車両２２１において、サイドウインドウ２３２Ｌを開けたときにサイドウインドウ２３２Ｌを収納する収納部において、カメラモジュール２１Ｌ及びブラケット２５１を収納するスペースが設けられる。同様に、車両２２１において、サイドウインドウ２３２Ｒを開けたときにサイドウインドウ２３２Ｒを収納する収納部において、カメラモジュール２１Ｒ及びブラケットを収納するスペースが設けられる。

以上のように、カメラモジュール２１Ｌ及びカメラモジュール２１Ｒをそれぞれサイドウインドウ２３２Ｌ及びサイドウインドウ２３２Ｒに取り付けることにより、電子サイドミラー用の撮像装置が場所を取ることが防止され、車内の空間効率が向上する。

また、各カメラモジュール２１は車内に設けられるため、カメラモジュール２１が通行の妨げになったり、車外の接触等により破損したりすることが防止される。また、カメラモジュール２１を左右に開閉する等の駆動構造を設ける必要がなくなる。さらに、天候等の周囲の影響を受けずに撮像することが可能になる。

＜撮像素子１２１の画素アレイ部の第１の実施の形態＞
次に、図１９及び図２０を参照して、撮像素子１２１の画素アレイ部の第１の実施の形態について説明する。

図１９は、カメラモジュール２１Ｌの撮像部４１Ｌの撮像素子１２１Ｌの画素アレイ部の遮光パターンの第１の実施の形態を示している。図２０は、図１９の画素アレイ部を構成する画素１２１ａの第１の実施の形態である画素ＰＬａの遮光パターンの例を示している。

各画素ＰＬａの遮光膜ＳＬａの開口部ＡＬａは、点線で示される矩形の開口設定範囲ＲＬａ内に設定される。従って、各画素ＰＬａの遮光膜ＳＬａの開口設定範囲ＲＬａ以外の領域が、遮光膜ＳＬａの主遮光部となる。

開口設定範囲ＲＬａの大きさ、形、及び、位置は、各画素ＰＬａで共通である。開口設定範囲ＲＬａの垂直方向の高さは、画素ＰＬａの高さより若干小さくなっており、水平方向の幅は、画素ＰＬａの幅の略１／２である。また、開口設定範囲ＲＬａは、画素ＰＬａ内の垂直方向の中央、かつ、水平方向において左方向に偏った位置に設定されている。従って、開口設定範囲ＲＬａの重心は、画素ＰＬａの中心から左方向に偏っている。また、図１７を参照して上述したように、カメラモジュール２１Ｌをサイドウインドウ２３２Ｌに貼付した場合、開口設定範囲ＲＬａの重心は、画素ＰＬａの中心から車両２１１の前方に偏る。

矩形の開口部ＡＬａの形及び大きさは、各画素ＰＬａで共通である。また、開口部ＡＬａは、図１２及び図１３を参照して上述した規則と同様の規則に従って、各画素ＰＬａの開口設定範囲ＲＬａ内に配置される。

具体的には、開口部ＡＬａは、画素アレイ部の左端の列の画素ＰＬａにおいて、開口設定範囲ＲＬａの左端に配置され、画素アレイ部の上端の行の画素ＰＬａにおいて、開口設定範囲ＲＬａの上端に配置される。そして、開口部ＡＬａは、画素ＰＬａの位置が右に進むにつれて、開口設定範囲ＲＬａ内において等間隔に右方向にシフトし、画素アレイ部の右端の列の画素ＰＬａにおいて、開口設定範囲ＲＬａの右端に配置される。また、開口部ＡＬａは、画素ＰＬａの位置が下に進むにつれて、開口設定範囲ＲＬａ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素ＰＬａにおいて、開口設定範囲ＲＬａの下端に配置される。

従って、開口部ＡＬａの水平方向の位置は、同じ垂直方向の列の画素ＰＬａ内において同一になる。また、開口部ＡＬａの垂直方向の位置は、同じ水平方向の行の画素ＰＬａ内において同一になる。従って、各画素ＰＬａ内における開口部ＡＬａの位置、すなわち、各画素ＰＬａに入射光が入射する位置が画素ＰＬａ毎に異なり、その結果、各画素ＰＬａの入射角指向性は、それぞれ異なる。

また、各画素ＰＬａの開口部ＡＬａにより、開口設定範囲ＲＬａがカバーされる。すなわち、各画素ＰＬａの開口部ＡＬａを重ね合わせた領域が、開口設定範囲ＲＬａと等しくなる。なお、開口部ＡＬａの配置パターンについては、上述の構成に限定されず、開口部ＡＬａを重ね合わせた領域が、開口設定範囲ＲＬａと等しくなればどのような配置であっても良い。例えば、開口部ＡＬａが開口設定範囲ＲＬａ内においてランダムに配置されても良い。

ここで、各画素ＰＬａの入射角指向性の重心は、各画素ＰＬａの開口部ＡＬａの重心と略一致し、大部分の画素ＰＬａにおいて各画素ＰＬａの中心から左方向に偏る。従って、各画素ＰＬａの入射角指向性の重心の平均が、画素ＰＬａの中心から左方向に偏る。また、各画素ＰＬａの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して右方向（車両２２１の後方）に傾く。

従って、ＬＬＣチップ２０２がサイドウインドウ２３２Ｌに対して平行に設置され、撮像素子１２１Ｌの画素アレイ部の受光面が車両２２１の左側方を向いているにも関わらず、図１７に示されるように、車両２２１の左側方及び後方の画角ＦＬ１の撮像が可能になる。

なお、開口設定範囲ＲＬａの位置、すなわち、開口設定範囲ＲＬａの重心の画素ＰＬａの中心からのオフセット量、並びに、開口設定範囲ＲＬａの形及び大きさは、例えば、撮像したい画角ＦＬ１に基づいて設定される。

また、ＬＬＣチップ２０２Ｌ（撮像素子１２１Ｌの受光面）を車両２２１の左斜め後方に向けなくても、車両２２１の左側方及び後方の撮像が可能であり、撮像レンズが不要である。従って、図１６を参照して上述したように、ＬＬＣチップ２０２Ｌと信号処理チップ２０３Ｌを同一の基板に実装し、カメラモジュール２１ＬのＬＬＣチップ２０２Ｌの実装面をサイドウインドウ２３２Ｌに接触又は近接させて取り付けることができる。

なお、図示及び詳細な説明は省略するが、カメラモジュール２１Ｒの撮像部４１Ｒの撮像素子１２１Ｒの画素アレイ部の遮光パターンも、図１９及び図２０を参照して上述した例と同様に設定される。ただし、撮像素子１２１Ｒの各画素ＰＲａの開口設定範囲ＲＲａの重心は、撮像素子１２１Ｌの各画素ＰＬａの開口設定範囲ＲＬａとは逆に、画素ＰＲａの中心から右方向（車両２２１の後方）に偏る。

＜電子サイドミラー表示制御処理の第１の実施の形態＞
次に、図２１のフローチャートを参照して、車載システム１１により実行される電子サイドミラー表示制御処理の第１の実施の形態について説明する。

この処理は、例えば、車両２２１の電源がオンされたとき開始され、オフされたとき終了する。

なお、以下、カメラモジュール２１Ｌにより得られる左サイド画像を表示部２５Ｌに表示する処理について説明するが、カメラモジュール２１Ｒにより得られる右サイド画像を表示部２５Ｒに表示する場合も同様の処理が行われる。

ステップＳ１において、撮像素子１２１Ｌは、車両２２１の周囲の撮像を行う。これにより、異なる入射角指向性を備える撮像素子１２１Ｌの各画素ＰＬａから、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力され、撮像素子１２１Ｌは、各画素ＰＬａの検出信号からなる検出画像を復元部１２２Ｌに供給する。

ステップＳ２において、復元部１２２Ｌは、画像の復元に用いる係数を求める。具体的には、復元部１２２Ｌは、復元対象となる被写体面１０２までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２Ｌは、ユーザにより設定された被写体距離、又は、各種のセンサにより検出された被写体距離を、復元対象となる被写体面１０２までの距離に設定する。

次に、復元部１２２Ｌは、設定した被写体距離に対応付けられている係数セット群を記憶部１２４Ｌから読み出す。

ステップＳ３において、復元部１２２Ｌは、検出画像及び係数を用いて、画像の復元を行う。具体的には、復元部１２２Ｌは、検出画像の各画素の検出信号レベルと、ステップＳ２の処理で取得した係数セット群とを用いて、上述した式（１）乃至式（３）を参照して説明した連立方程式を作成する。次に、復元部１２２Ｌは、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面１０２上の各点光源の光強度を算出する。そして、復元部１２２Ｌは、算出した光強度に応じた画素値を有する画素を被写体面１０２の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。

ステップＳ４において、復元部１２２Ｌは、復元画像に対して各種の処理を行う。例えば、復元部１２２Ｌは、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２Ｌは、得られた復元画像（左サイド画像）を、通信部１２５、カメラＥＣＵ４２Ｌ、及び、ＭＣＵ４３Ｌを介して、表示制御部２６に供給する。

ステップＳ５において、表示部２５Ｌは、表示制御部２６の制御の下に、復元画像、すなわち、左サイド画像を表示する。

その後、処理はステップＳ１に戻り、ステップＳ１乃至ステップＳ５の処理が繰り返し実行される。

以上のようにして、表示部２５Ｌに左サイド画像が表示され、表示部２５Ｒに右サイド画像が表示されることにより、電子サイドミラーが実現される。

＜電子サイドミラー表示制御処理の第２の実施の形態＞
次に、図２２のフローチャートを参照して、車載システム１１により実行される電子サイドミラー表示制御処理の第２の実施の形態について説明する。

この処理は、例えば、車両２２１の電源がオンされたとき開始され、オフされたとき終了する。

なお、以下、カメラモジュール２１Ｌにより得られる左サイド画像を表示部２５Ｌに表示する処理について説明するが、カメラモジュール２１Ｒにより得られる右サイド画像を表示部２５Ｒに表示する場合も同様の処理が行われる。

ステップＳ５１乃至ステップＳ５３において、図２１のステップＳ１乃至ステップＳ３と同様の処理が実行される。

ステップＳ５４において、復元部１２２Ｌは、復元画像に対して各種の処理を行う。例えば、復元部１２２Ｌは、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２Ｌは、得られた復元画像（左サイド画像）を、通信部１２５を介して、カメラＥＣＵ４２Ｌに供給する。

ステップＳ５５において、運転者認識部２３は、運転者の指示動作の検出処理を行う。具体的には、撮像部１８１は、運転者の撮像を行い、得られた運転者画像を指示動作検出部１８２に供給する。

指示動作検出部１８２は、運転者画像、及び、記憶部１８４に記憶されている検出条件に基づいて、表示変更指示動作の検出処理を行う。指示動作検出部１８２は、表示変更指示動作を検出した場合、指示内容を示すデータを、送信部１８５を介して、表示制御部２６に供給する。

ステップＳ５６において、カメラＥＣＵ４２Ｌは、危険物の検出処理を行う。カメラＥＣＵ４２Ｌは、左サイド画像に対して物体認識処理を行い、車両の左側方及び後方において、車両に衝突又は接触する危険性のある危険物（例えば、歩行者、自転車、バイク、車両等）の検出を行う。カメラＥＣＵ４２Ｌは、左サイド画像、及び、危険物の検出結果を示すデータを、ＭＣＵ４３Ｌを介して、アラート制御部２４及び表示制御部２６に供給する。

なお、危険物の検出条件は、任意に設定することができる。

例えば、車両に接近する方向における相対速度が所定の閾値以上の物体、すなわち、所定の速度以上で車両に接近している物体が、危険物として検出される。例えば、車両と間の距離が所定の閾値以下の物体が、危険物として検出される。

また、例えば、上記の条件を満たす物体が検出されても、当該物体が車両に衝突又は接触しても問題が生じない場合、当該物体は危険物として検出されない。そのような物体として、例えば、ビニル袋等が想定される。

ステップＳ５７において、アラート制御部２４は、ステップＳ５６におけるカメラＥＣＵ４２Ｌの処理の結果に基づいて、危険物が検出されたか否かを判定する。危険物が検出されたと判定された場合、処理はステップＳ５８に進む。

ステップＳ５８において、アラート制御部２４は、警告表示を復元画像に重畳する。具体的には、アラート制御部２４は、危険物に対する注意を促す警告表示を左サイド画像に重畳する。例えば、左サイド画像内の危険物を強調するために、枠で囲む等の表示効果が施される。アラート制御部２４は、警告表示を重畳した左サイド画像を表示制御部２６に供給する。

その後、処理はステップＳ５９に進む。

一方、ステップＳ５７において、危険物が検出されていないと判定された場合、ステップＳ５８の処理はスキップされ、処理はステップＳ５９に進む。

ステップＳ５９において、表示制御部２６は、運転者の指示動作、及び、危険物の検出結果に基づいて、表示範囲を設定する。

ここで、図２３乃至図２７を参照して、表示範囲の設定方法について説明する。

図２３及び図２４は、運転者の視線の向きによる指示動作に基づいて、表示範囲を設定する例を示している。

図２３は、運転者２２２の視線ＡＬ１１に対して、画角ＦＬ１内において設定される表示範囲ＤＬ１の例を示している。この場合、表示部２５Ｌの表示面への視線ＡＬ１１の入射角θＬ１１と、表示部２５Ｌの表示面に対する表示範囲ＤＬ１の中心ＡＬ１２の角度θＬ１２とができるだけ近くなるように、表示範囲ＤＬ１が設定される。

図２４は、運転者２２２の視線ＡＬ１３に対して、画角ＦＬ１内において設定される表示範囲ＤＬ２の例を示している。この場合、表示部２５Ｌの表示面への視線ＡＬ１３の入射角θＬ１３と、表示部２５Ｌの表示面に対する表示範囲ＤＬ２の中心ＡＬ１４の角度θＬ１４とができるだけ近くなるように、表示範囲ＤＬ２が設定される。

従って、運転者２２２が表示部２５Ｌの表示面の右側に視線を動かした場合、表示部２５Ｌに表示される左サイド画像の表示範囲は車両２２１の前方向に移動する。一方、運転者２２２が表示部２５Ｌの表示面の左側に視線を動かした場合、表示部２５Ｌに表示される左サイド画像の表示範囲は車両２２１の後ろ方向に移動する。

このように、運転者２２２の視線の向きに基づいて、左サイド画像の表示範囲を動かすことにより、運転者が確認したい方向の画像を、運転者に違和感を与えずに表示することができる。

なお、詳細な説明は省略するが、運転者の視線方向に基づいて、表示部２５Ｒに表示される右サイド画像の表示範囲も同様に移動する。

図２５乃至図２７は、危険物の検出結果に基づいて、表示範囲を設定する例を示している。

例えば、図２３の例と同様に、左サイド画像の表示範囲が範囲ＤＬ１に設定されている場合に、図２５に示されるように、範囲ＤＬ１より車両２２１の後方であって、画角ＦＬ１内において、危険物３０１が検出されたとする。

この場合、例えば、図２６に示されるように、表示部２５Ｌに表示される左サイド画像の表示範囲が、危険物３０１を含む範囲ＤＬ３に動かされる。

或いは、例えば、図２７に示されるように、表示部２５Ｌに表示される左サイド画像の表示範囲が、画角ＦＬ１と同じ範囲ＤＬ４に広げられる。

これにより、表示部２５Ｌに危険物３０１が表示されるようになり、運転者が迅速に危険物３０１の存在を認識することができる。

なお、図２６及び図２７において、矢印ＡＬ１５は、運転者２２２の視線方向を示している。図２６において、矢印ＡＬ１６は、表示範囲ＤＬ３の中心の方向を示している。図２７において、矢印ＡＬ１７は、表示範囲ＤＬ４の中心の方向を示している。

図２２に戻り、ステップＳ６０において、表示部２５Ｌは、表示制御部２６の制御の下に、復元画像を表示する。すなわち、ステップＳ５９の処理で設定された表示範囲の左サイド画像が、表示部２５Ｌに表示される。

なお、危険物が検出されている場合、例えば、図２８に示されるように、警告表示が行われる。ここでは、左サイド画像において、車両２２１の左斜め後方において、バイク３２１が危険物として検出されている例が示されている。そして、バイク３２１を囲む枠３２２が表示されるとともに、注意を促す文字及び記号が枠３２２の周囲に表示されている。これにより、運転者２２２は、危険物であるバイク３２１の存在を迅速かつ確実に認識することができる。

なお、危険物が検出されていない場合でも、例えば、経路中に事故が多発しているエリアやポイント等が存在する場合、それを通知するための警告表示が行われるようにしてもよい。

また、例えば、特定の条件下（例えば、カーブを走行中、発車時等）においてのみ、危険物に対する警告表示が行われるようにしてもよい。

その後、処理はステップＳ５１に戻り、ステップＳ５１乃至ステップＳ６０の処理が繰り返し実行される。

以上のようにして、サイド画像の表示範囲が適切に設定され、運転者２２２は、違和感を覚えることなく、車両２２１の側方及び後方を確認することができる。また、運転者に危険物の存在を迅速かつ確実に通知することができる。

＜＜２．第２の実施の形態＞＞
次に、図２９乃至図３３を参照して、本技術の第２の実施の形態について説明する。

第２の実施の形態は、第１の実施の形態と比較して、撮像素子１２１の画素アレイ部の遮光パターンが異なる。

図２９は、カメラモジュール２１Ｌの撮像部４１Ｌの撮像素子１２１Ｌの画素アレイ部の遮光パターンの第２の実施の形態を示している。図３０は、図２９の画素アレイ部を構成する画素１２１ａの第２の実施の形態である画素ＰＬｂ及び画素ＰＬｃの遮光パターンの例を示している。

画素ＰＬｂは、画素アレイ部の奇数列に配置され、画素ＰＬｃは、画素アレイ部の偶数列に配置されている。

画素ＰＬｂと画素ＰＬｃとは、開口設定範囲の位置が異なる。具体的には、画素ＰＬｂの遮光膜ＳＬｂの開口設定範囲ＲＬｂ及び画素ＰＬｃの遮光膜ＳＬｃの開口設定範囲ＲＬｃの形及び大きさは、図２０の画素ＰＬａの遮光膜ＳＬａの開口設定範囲ＲＬａと同じである。

一方、開口設定範囲ＲＬｂは、開口設定範囲ＲＬａより、画素ＰＬｂ内において右方向にシフトした位置に設定されている。ただし、開口設定範囲ＲＬｂの重心は、開口設定範囲ＲＬａと同様に、画素ＰＬｂの中心より左方向（車両２２１の前方）に偏っている。また、開口設定範囲ＲＬｃは、開口設定範囲ＲＬａより、画素ＰＬｃ内において左方向にシフトした位置に設定されている。このように、開口設定範囲ＲＬｂと開口設定範囲ＲＬｃとは、画素内における水平方向（車両２２１の前後方向）の位置が異なる。

そして、画素ＰＬｂの開口部ＡＬｂは、画素ＰＬａの開口部ＡＬａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲ＲＬｂ内に配置される。

具体的には、開口部ＡＬｂは、画素アレイ部の左端の列の画素ＰＬｂにおいて、開口設定範囲ＲＬｂの左端に配置され、画素アレイ部の上端の行の画素ＰＬｂにおいて、開口設定範囲ＲＬｂの上端に配置される。そして、開口部ＡＬｂは、画素ＰＬｂの位置が右に進むにつれて、開口設定範囲ＲＬｂ内において等間隔に右方向にシフトし、画素アレイ部の右から２列目の画素ＰＬｂにおいて、開口設定範囲ＲＬｂの右端に配置される。また、開口部ＡＬｂは、画素ＰＬｂの位置が下に進むにつれて、開口設定範囲ＲＬｂ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素ＰＬｂにおいて、開口設定範囲ＲＬｂの下端に配置される。

従って、各画素ＰＬｂ内における開口部ＡＬｂの水平方向の位置は、同じ垂直方向の列の画素ＰＬｂ内において同一になる。また、各画素ＰＬｂ内における開口部ＡＬｂの垂直方向の位置は、同じ水平方向の行の画素ＰＬｂ内において同一になる。従って、各画素ＰＬｂ内における開口部ＡＬｂの位置、すなわち、各画素ＰＬｂに入射光が入射する位置が画素ＰＬｂ毎に異なり、その結果、各画素ＰＬａの入射角指向性は、それぞれ異なる。

また、各画素ＰＬｂの開口部ＡＬｂにより、開口設定範囲ＲＬｂがカバーされる。すなわち、各画素ＰＬｂの開口部ＡＬｂを重ね合わせた領域が、開口設定範囲ＲＬｂと等しくなる。なお、開口部ＡＬｂの配置パターンについては、上述の構成に限定されず、開口部ＡＬｂを重ね合わせた領域が、開口設定範囲ＲＬｂと等しくなればどのような配置であっても良い。例えば、開口部ＡＬｂが開口設定範囲ＲＬｂ内においてランダムに配置されても良い。

さらに、画素ＰＬｃの開口部ＡＬｃは、画素ＰＬａの開口部ＡＬａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲ＲＬｃ内に配置される。

具体的には、開口部ＡＬｃは、画素アレイ部の左から２列目の画素ＰＬｃにおいて、開口設定範囲ＲＬｃの左端に配置され、画素アレイ部の上端の行の画素ＰＬｃにおいて、開口設定範囲ＲＬｃの上端に配置される。そして、開口部ＡＬｃは、画素ＰＬｃの位置が右に進むにつれて、開口設定範囲ＲＬｃ内において等間隔に右方向にシフトし、画素アレイ部の右端の列の画素ＰＬｃにおいて、開口設定範囲ＲＬｃの右端に配置される。また、開口部ＡＬｃは、画素ＰＬｃの位置が下に進むにつれて、開口設定範囲ＲＬｃ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素ＰＬｃにおいて、開口設定範囲ＲＬｃの下端に配置される。

従って、各画素ＰＬｃ内における開口部ＡＬｃの水平方向の位置は、同じ垂直方向の列の画素ＰＬｃ内において同一になる。また、各画素ＰＬｃ内における開口部ＡＬｃの垂直方向の位置は、同じ水平方向の行の画素ＰＬｃ内において同一になる。従って、各画素ＰＬｃ内における開口部ＡＬｃの位置、すなわち、各画素ＰＬｃに入射光が入射する位置が画素ＰＬｃ毎に異なり、その結果、各画素ＰＬｃの入射角指向性は、それぞれ異なる。

また、各画素ＰＬｃの開口部ＡＬｃにより、開口設定範囲ＲＬｃがカバーされる。すなわち、各画素ＰＬｃの開口部ＡＬｃを重ね合わせた領域が、開口設定範囲ＲＬｃと等しくなる。なお、開口部ＡＬｃの配置パターンについては、上述の構成に限定されず、開口部ＡＬｃを重ね合わせた領域が、開口設定範囲ＲＬｃと等しくなればどのような配置であっても良い。例えば、開口部ＡＬｃが開口設定範囲ＲＬｃ内においてランダムに配置されても良い。

ここで、各画素ＰＬｂの入射角指向性の重心は、各画素ＰＬｂの開口部ＡＬｂの重心と略一致し、大部分の画素ＰＬｂにおいて画素ＰＬｂの中心から左方向（車両２２１の前方）に偏る。従って、各画素ＰＬｂの入射角指向性の重心の平均が、画素ＰＬｂの中心から左方向に偏る。また、各画素ＰＬｂの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して右方向（車両２２１の後方）に傾く。

さらに、各画素ＰＬｃの入射角指向性の重心は、各画素ＰＬｃの開口部ＡＬｃの重心と略一致し、大部分の画素ＰＬｃにおいて画素ＰＬｃの中心から左方向（車両２２１の前方）に偏る。従って、各画素ＰＬｃの入射角指向性の重心の平均が、画素ＰＬｃの中心から左方向に偏る。また、各画素ＰＬｃの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して右方向（車両２２１の後方）に傾く。

一方、開口設定範囲ＲＬｃの画素ＰＬｃの中心からのオフセット量は、開口設定範囲ＲＬｂの画素ＰＬｂの中心からのオフセット量より大きい。従って、各画素ＰＬｃの重心光線の入射角の平均は、各画素ＰＬｂの重心光線の入射角の平均より右方向（車両２２１の後方）に傾く。

従って、図３１及び図３２に示されるように、撮像素子１２１の画素ＰＬｂ及び画素ＰＬｃにより、車両２２１の前後方向に異なる画角ＦＬ２１及び画角ＦＬ２２の撮像が可能になる。

具体的には、図３１は、撮像素子１２１Ｌの各画素ＰＬｂにより撮像される画角ＦＬ２１を示している。なお、矢印ＡＬ２１は、運転者２２２の視線方向を示し、矢印ＡＬ２２は、撮像素子１２１Ｌの各画素ＰＬｂによる撮像方向を示している。角度θＬ２１は、表示部２５Ｌの表示面への運転者２２２の視線ＡＬ２１の入射角を示している。角度θＬ２２は、表示部２５Ｌの表示面に対する撮像方向ＡＬ２２の角度を示している。

図３２は、撮像素子１２１Ｌの各画素ＰＬｖにより撮像される画角ＦＬ２２を示している。なお、矢印ＡＬ２３は、運転者２２２の視線方向を示し、矢印ＡＬ２４は、撮像素子１２１Ｌの各画素ＰＬｃによる撮像方向を示している。角度θＬ２３は、表示部２５Ｌの表示面への運転者２２２の視線ＡＬ２３の入射角を示している。角度θＬ２４は、表示部２５Ｌの表示面に対する撮像方向ＡＬ２４の角度を示している。画角ＦＬ２２は、画角ＦＬ２１より、車両２２１の後ろ方向にシフトしている。

なお、詳細な説明は省略するが、カメラモジュール２１Ｒの撮像素子１２１についても同様に、車両２２１の前後方向に異なる画角ＦＲ２１（図３１）及び画角ＦＬ２２（図３２）の撮像が可能な２種類の画素が設けられる。

＜電子サイドミラー表示制御処理＞
次に、図３３のフローチャートを参照して、本技術の第２の実施の形態において、車載システム１１により実行される電子サイドミラー表示制御処理について説明する。

この処理は、例えば、車両２２１の電源がオンされたとき開始され、オフされたとき終了する。

なお、以下、カメラモジュール２１Ｌにより得られる左サイド画像を表示部２５Ｌに表示する処理について説明するが、カメラモジュール２１Ｒにより得られる右サイド画像を表示部２５Ｒに表示する場合も同様の処理が行われる。

ステップＳ１０１において、図２１のステップＳ１の処理と同様に、車両２２１の周囲の撮像が行われる。

ステップＳ１０２において、図２２のステップＳ５５の処理と同様に、運転者の指示動作の検出処理が行われる。

ステップＳ１０３において、復元部１２２Ｌは、画像の復元に用いる画素及び係数を選択する。

例えば、運転者の視線の向きによる指示動作に基づいて、画像の復元に用いる画素が選択される場合、画素ＰＬｂ及び画素ＰＬｃのうち、表示部２５Ｌの表示面に対する撮像方向の角度が、表示部２５Ｌの表示面への運転者２２２の視線の入射角に近い方の画素が選択される。

例えば、図３１の撮像素子１２１Ｌの各画素ＰＬｂによる撮像方向ＡＬ２２の角度θＬ２２の方が、図３２の撮像素子１２１Ｌの各画素ＰＬｃによる撮像方向ＡＬ２４の角度θＬ２４より、図３１の運転者２２２の視線ＡＬ２１の入射角θＬ２１に近い。従って、運転者２２２の視線ＡＬ２１に対して、画素ＰＬｂが選択される。

一方、例えば、図３２の撮像素子１２１Ｌの各画素ＰＬｃによる撮像方向ＡＬ２４の角度θＬ２４の方が、図３１の撮像素子１２１Ｌの各画素ＰＬｂによる撮像方向ＡＬ２２の角度θＬ２２より、図３２の運転者２２２の視線ＡＬ２３の入射角θＬ２３に近い。従って、運転者２２２の視線ＡＬ２３に対して、画素ＰＬｃが選択される。

また、復元部１２２Ｌは、復元対象となる被写体面１０２までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２Ｌは、ユーザにより設定された被写体距離、又は、各種のセンサにより検出された被写体距離を、復元対象となる被写体面１０２までの距離に設定する。

次に、復元部１２２Ｌは、選択した画素、及び、設定した被写体距離に対応付けられている係数セット群を記憶部１２４Ｌから読み出す。

ステップＳ１０４乃至ステップＳ１０５において、図２１のステップＳ３乃至ステップＳ４と同様の処理が実行される。

ステップＳ１０６において、表示部２５Ｌは、表示制御部２６の制御の下に、復元画像を表示する。すなわち、ステップＳ１０３の処理で選択された画角の左サイド画像が、表示部２５Ｌに表示される。これにより、運転者２２２の指示動作に基づいて、表示部２５Ｌに表示される左サイド画像の画角（表示範囲）が、適切に変更される。

その後、処理はステップＳ１０１に戻り、ステップＳ１０１乃至ステップＳ１０６の処理が実行される。

以上のようにして、サイド画像の画角（撮像範囲及び表示範囲）が適切に設定され、運転者２２２は、違和感を覚えることなく、車両２２１の側方及び後方を確認することができる。

なお、上述した第１の実施の形態と同様に、危険物の検出結果に基づいて、サイド画像の画角を変更するようにしてもよい。

＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

＜カメラモジュール２１に関する変形例＞
以上の説明では、カメラモジュール２１を車両２２１のサイドウインドウの車内側の面に取り付ける例を示したが、例えば、サイドウインドウの車外側の面に取り付けるようにしてもよい。

また、例えば、カメラモジュール２１を車両２２１の外側の側面に取り付けるようにしてもよい。例えば、カメラモジュール２１を、ピラーやドアの外側の面に取り付けるようにしてもよい。

さらに、上述したように、カメラモジュール２１の撮像方向は、撮像素子１２１の遮光パターンにより調整可能であるため、撮像したい画角に対する設置位置の自由度が高い。また、カメラモジュール２１Ｌの撮像素子１２１Ｌの撮像方向と、カメラモジュール２１Ｒの撮像素子１２１Ｒの撮像方向とは、個別に設定することが可能である。従って、例えば、図３４に示されるように、カメラモジュール２１Ｌとカメラモジュール２１Ｒとは、必ずしも車両２２１の両側方の左右対称な位置に取り付ける必要はない。

この例では、カメラモジュール２１Ｌは、車両２２１の左側面において、前後方向において運転者２２２と略同じ位置に取り付けられている。カメラモジュール２１Ｒは、車両２２１の右側面において、前後方向において運転席３５１の後端と略同じ位置に取り付けられている。従って、車両２２１の前後方向において、カメラモジュール２１Ｌの方がカメラモジュール２１Ｒより前に取り付けられている。

また、以上の説明では、撮像部４１とカメラＥＣＵ４２及びＭＣＵ４３とを異なる２つの半導体チップに設ける例を示したが、これ以外の構成をとることも可能である。例えば、撮像部４１の撮像素子１２１と、撮像部４１の信号処理制御部１１１、カメラＥＣＵ４２、及び、ＭＣＵ４３とを異なる２つの半導体チップに設けたり、撮像素子１２１と、撮像部４１の信号処理制御部１１１と、カメラＥＣＵ４２及びＭＣＵ４３とを３つの異なる半導体チップに設けるようにしてもよい。また、例えば、撮像部４１、カメラＥＣＵ４２、及び、ＭＣＵ４３を１つの半導体チップに設けるようにしてもよい。

さらに、例えば、カメラモジュール２１を、図１６のＬＬＣチップ２０２と信号処理チップ２０３とを積層した半導体チップにより実現するようにしてもよい。

また、例えば、撮像部４１又は撮像素子１２１をカメラモジュール２１の他の部分とは別に車両に設けるようにしてもよい。これにより、撮像部４１又は撮像素子１２１の設置位置の自由度が向上する。

さらに、例えば、受光面が互いに逆方向を向くように２つのカメラモジュール２１を貼り合わせることにより両面の撮像が可能なカメラモジュールを、図１７、図３４等の例と同様の位置に設けることにより、車外だけでなく車内も撮像できるようにしてもよい。

これにより、例えば、助手席及び後部座席に座っている搭乗者をモニタリングすることが可能になる。例えば、安全性を考慮して、運転席の後ろにチャイルドシートが設置されることがあるが、この場合、チャイルドシートが運転者から見にくくなる。これに対して、例えば、上述した両面の撮像が可能なカメラモジュールを、上述した図３４のカメラモジュール２１Ｒと同じ位置に設けることにより、運転席の後ろのチャイルドシートに座っている子供を撮像し、モニタリングすることが可能になる。

なお、カメラモジュール２１を貼り合わせたモジュール以外にも、裏表の両面の撮像が可能なレンズレスカメラを用いることも可能である。例えば、穴あけ加工により所定のパターンを施したＣＭＯＳイメージセンサを貼り合わせ、各イメージセンサが、他方のイメージセンサに設けられたパターンを遮光パターンとして撮像する方式の両面撮像可能なレンズレスカメラを用いることも可能である。この方式のレンズレスカメラは、例えば、「Tomoya Nakamura、他４名、"Super Field-of-View Lensless Camera by Coded Image Sensors"、2019年」に詳細が記載されている。

また、両面の撮像が可能なカメラモジュールが、一度に片方の画像の復元しかできない場合には、車外及び車内の撮像をフレーム毎に切り替えるようにしてもよい。この場合、車外のモニタリングの方がより重要なので、車外を撮像する頻度を、車内を撮像する頻度より大きくするようにしてもよい。

＜表示部に関する変形例＞
表示部２５の設置位置は、上述した例に限定されず、変更することが可能である。

例えば、図３５に示されるように、車両２２１のウインドシールド２３１の右端のピラー２３３Ｒの車内側の面に表示部２５Ｒを設けるようにしてもよい。また、同様に、図示は省略するが、車両２２１のウインドシールド２３１の左端のピラー２３３Ｌの車内側の面に表示部２５Ｌを設けるようにしてもよい。

この場合、例えば、ピラー２３３Ｒの車外側の面にカメラモジュール２１Ｒを設け、ピラー２３３Ｒにより運転者２２２の死角になる方向の画像をカメラモジュール２１Ｒにより撮像し、表示部２５Ｒに表示するようにしてもよい。同様に、図示は省略するが、ピラー２３３Ｌの車外側の面にカメラモジュール２１Ｌを設け、ピラー２３３Ｌにより運転者２２２の死角になる方向の画像をカメラモジュール２１Ｌにより撮像し、表示部２５Ｌに表示するようにしてもよい。

また、表示部２５を左右に分けずに、例えば、車両２２１のダッシュボードの前面の中央に１つ設け、１つの表示部に左サイド画像及び右サイド画像を左右に分けて表示するようにしてもよい。

さらに、例えば、上述した図１７の例において、運転者２２２は、表示部２５Ｌ又は表示部２５Ｒを見る場合、撮像部１８１には視線を向けない。従って、撮像部１８１により撮像された運転者画像では、運転者の視線方向の検出精度が低下する可能性がある。

これに対して、例えば、図３６に示されるように、表示部２５Ｌ及び表示部２５Ｒの代わりに、表示部４０１Ｌ及び表示部４０１Ｒを、表示部２５Ｌ及び表示部２５Ｒと略同じ位置に設けるようにしてもよい。

表示部４０１Ｌは、左サイド画像を表示するとともに、運転者の撮像を行い、得られた運転者画像を運転者認識部２３に供給する。運転者認識部２３は、取得した運転者画像に基づいて、運転者のモニタリングを行い、視線方向の検出等を行う。

同様に、表示部４０１Ｒは、右サイド画像を表示するとともに、運転者の撮像を行い、得られた運転者画像を運転者認識部２３に供給する。運転者認識部２３は、取得した運転者画像に基づいて、運転者のモニタリングを行い、視線方向の検出等を行う。

これにより、運転者が表示部４０１Ｌ又は表示部４０１Ｒを見る場合に、運転者が視線を向ける方向から運転者を撮像することができ、運転者の視線方向の検出精度が向上する。

なお、以下、表示部４０１Ｌと表示部４０１Ｒを個々に区別する必要がない場合、単に表示部４０１と称する。

図３７及び図３８は、表示部４０１が、マイクロＬＥＤを表示素子とするマイクロＬＥＤディスプレイにより構成される場合の表示部４０１の表示面の構成例を示している。

図３７の例では、白色の枠で示されるマイクロＬＥＤ４１１を備える画素と、斜線のパターンの枠で示される撮像素子４１２を備える画素とが、１列おきに交互にアレイ状に配置されている。

なお、撮像素子４１２は、撮像素子１２１と同様の撮像素子である。

図３８の例では、マイクロＬＥＤ４１１を備える画素が２次元のアレイ状に配置されている領域の四隅に、撮像素子４１２が設けられている。

ここで、表示部４０１の各画素において、光源であるマイクロＬＥＤ４１１が占める面積は非常に小さい。従って、隣接するマイクロＬＥＤ４１１の隙間等に、容易に撮像素子４１２を配置することができる。これにより、マイクロＬＥＤ４１１を用いてサイド画像を表示しながら、撮像素子４１２を用いて、運転者を撮像することができる。

なお、表示素子であればマイクロＬＥＤには限られない。例えば、有機ＥＬ素子であってもよい。

＜サイド画像の表示範囲の変更方法に関する変形例＞
上述したように、学習部１８３は、表示変更指示動作を検出する基準となる検出条件の学習を行う。これにより、例えば、運転者が意図しない動作が表示変更指示動作として誤検出され、サイド画像の表示範囲が変更され、運転者にストレスを与えたり、所望の領域をモニタリングできなくなったりすることが防止される。例えば、助手席に座っている人やカーナビゲーション装置を見る目的で視線を移動させたり、後部座席に座っている人を見る目的で振り返ったり、頭を触る目的で手を振り上げたりする運転者の動作が、表示変更指示動作として誤検出されることが防止される。

なお、運転者毎に動きに癖（例えば、動作が大きい、挙動が多い等）があるため、検出条件は運転者毎に学習されることが望ましい。例えば、最初はデフォルトの検出条件が用いられ、サイド画像の表示範囲が変更された場合の運転者の反応に基づいて、検出条件が学習され、更新される。例えば、運転者が無反応の場合は、表示範囲の変更が適切（正解）であったと判定され、運転者が表示範囲を変更させる動作を行った場合は、表示範囲の変更が不適切（不正解）であったと判定される。運転者が表示範囲を変更させる動作としては、例えば、新たな表示変更指示動作、ボタン等を用いたマニュアル操作等が想定される。

また、表示変更指示動作が、例えば、運転者の動作以外の条件も加味して検出されるようにしてもよい。例えば、表示変更指示動作が、車両の速度、走行経路、走行状態等の条件も加味して検出されるようにしてもよい。

具体的には、例えば、カーブに差し掛かったときには、サイド画像の表示範囲は広い方が望ましいと考えられるため、検出条件を緩くし、表示変更指示動作が検出されやすくするようにしてもよい。

また、例えば、高速走行時や高速道路に合流する場合、運転者は前方に細心の注意を払うため、サイド画像を見る時間が非常に短くなる。従って、表示変更指示動作の検出に要する時間が短くなるように検出条件が変更されるようにしてもよい。

また、検出条件が、運転者以外にも、例えば、地域（例えば、国）毎、車両毎、車両の種類（例えば、大型車、トレーラ、小型車等）毎に学習されるようにしてもよい。

さらに、例えば、上述した運転者の表示変更指示動作、及び、危険物の検出結果以外の条件に基づいて、サイド画像の表示範囲が変更されるようにしてもよい。

例えば、運転操作に基づいて、サイド画像の表示範囲が変更されるようにしてもよい。例えば、急発進、急ブレーキ、急旋回、後退、駐車等により、サイド画像の表示範囲が変更されるようにしてもよい。

また、例えば、他のセンサにより後方から注意すべき物体が接近していることが検出された場合に、検出された物体がなるべく早く表示されるように、サイド画像の表示範囲が変更されるようにしてもよい。

さらに、例えば、車両の周囲の状況に基づいて、サイド画像の表示範囲が変更されるようにしてもよい。例えば、車両が走行している道路の幅、天候、周囲の明るさ等に基づいて、サイド画像の表示範囲が変更されるようにしてもよい。

また、例えば、車両の予定経路に基づいて、サイド画像の表示範囲が変更されるようにしてもよい。

さらに、ボタン操作等によるマニュアル操作や、音声コマンド等により、サイド画像の表示範囲が変更されるようにしてもよい。

＜撮像素子１２１に関する変形例＞
図２９では、撮像素子１２１に２種類の開口設定範囲を設定する例を示したが、３種類以上の開口設定範囲を設定するようにしてもよい。

例えば、水平方向の位置が異なる３種類以上の開口設定範囲を設定するようにしてもよい。

また、例えば、高さ及び幅のうち少なくとも一方が異なる２種類以上の開口設定範囲を設定するようにしてもよい。

さらに、例えば、車両の斜め後方だけでなく、車両の斜め前方を撮像可能な開口設定範囲を有する画素を撮像素子１２１に設けるようにしてもよい。

また、例えば、各画角の画素１２１ａをそれぞれ独立に駆動させる駆動部を設け、各画角の画素１２１ａによる撮像を同時に行ったり、個別に行ったりすることができるようにしてもよい。そして、例えば、電子サイドミラーの表示に用いる復元画像に対応する画素１２１ａのみ撮像を行うようにしてもよい。これにより、撮像素子１２１の処理が軽減される。

さらに、図５では、変調素子として遮光膜１２１ｂを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本技術では、例えば、図３９に示されるように、撮像素子９０１の受光面を覆う光学フィルタ９０２を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。

具体的には、光学フィルタ９０２は、撮像素子９０１の受光面９０１Ａから所定の間隔を空けて、受光面９０１Ａの全面を覆うように配置されている。被写体面１０２からの光は、光学フィルタ９０２で変調されてから、撮像素子９０１の受光面９０１Ａに入射する。

例えば、光学フィルタ９０２には、図４０に示される白黒の格子状のパターンを有する光学フィルタ９０２ＢＷを用いることが可能である。光学フィルタ９０２ＢＷには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子９０１の画素のサイズとは独立して設定されている。

図４１は、光学フィルタ９０２ＢＷを用いた場合の被写体面１０２上の点光源ＰＡ及び点光源ＰＢからの光に対する撮像素子９０１の受光感度特性を示している。点光源ＰＡ及び点光源ＰＢからの光は、それぞれ光学フィルタ９０２ＢＷで変調されてから、撮像素子９０１の受光面９０１Ａに入射する。

例えば、点光源ＰＡからの光に対する撮像素子９０１の受光感度特性は、波形Ｓａのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＡからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。同様に、点光源ＰＢからの光に対する撮像素子９０１の受光感度特性は、波形Ｓｂのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＢからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。

なお、点光源ＰＡからの光と点光源ＰＢからの光とは、光学フィルタ９０２ＢＷの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子９０１の各画素は、被写体面１０２の各点光源に対して入射角指向性を持つようになる。

この方式の詳細は、例えば、「M. Salman Asif、他４名、“Flatcam: Replacing lenses with masks and computation”、“2015 IEEE International Conference on Computer Vision Workshop (ICCVW)”、2015年、663-666ページ」に開示されている。

なお、光学フィルタ９０２ＢＷの黒パターン部の代わりに、図４２の光学フィルタ９０２ＨＷを用いるようにしてもよい。光学フィルタ９０２ＨＷは、偏光方向が等しい直線偏光素子９１１Ａと直線偏光素子９１１Ｂ、及び、１／２波長板９１２を備え、１／２波長板９１２は、直線偏光素子９１１Ａと直線偏光素子９１１Ｂの間に挟まれている。１／２波長板９１２には、光学フィルタ９０２ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。

直線偏光素子９１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子９１１Ａが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子９１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子９０１の受光面９０１Ａ上に生じる。

また、図４３のＡに示されるように、光干渉マスクを光学フィルタ９０２ＬＦとして用いることが可能である。被写体面１０２の点光源ＰＡ，ＰＢから出射された光は、光学フィルタ９０２ＬＦを介して撮像素子９０１の受光面９０１Ａに照射される。図４３のＡの下方の拡大図に示されるように、光学フィルタ９０２ＬＦの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ９０２ＬＦは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面１０２の点光源ＰＡ，ＰＢから出射された特定波長の光の光学フィルタ９０２ＬＦに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光学フィルタ９０２ＬＦを透過した特定波長の透過光の強度は、図４３のＢに示すように、光学フィルタ９０２ＬＦに対する入射角に応じて変調されて撮像素子９０１の受光面９０１Ａに入射する。したがって、撮像素子９０１の各画素から出力される検出信号は、画素毎に各点光源の変調後の光強度を合成した信号となる。

この方式の詳細は、例えば、特表２０１６-５１０９１０号公報に開示されている。

＜車載システム１１の処理の分担に関する変形例＞
車載システム１１の処理の分担は、適宜変更することが可能である。

例えば、運転者認識部２３の処理は、制御部２７で実行することも可能である。

例えば、アラート制御部２４の処理は、制御部２７、又は、カメラＥＣＵ４２で実行することも可能である。

例えば、復元部１２２の処理は、カメラＥＣＵ４２又は制御部２７で実行することも可能である。

＜その他の変形例＞
本技術は、赤外光等の可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。この場合も、本技術を用いることにより、被写体を認識可能な画像処理装置等に対して、復元画像の画質が向上する。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。したがって、復元画像は遠赤外光の画像であっても良く、また、遠赤外光に限らず、その他の可視光や非可視光の画像であっても良い。

また、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像を用いて画像認識等を行うようにすることも可能である。この場合も、本技術を用いることにより、復元前の検出画像を用いた画像認識の精度が向上する。換言すれば、復元前の検出画像の画質が向上する。

この場合、例えば、図１のカメラＥＣＵ４２Ｌ及びカメラＥＣＵ４２Ｒが、検出画像を用いた画像認識を行う。

＜＜４．その他＞＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータ（例えば、制御部１２３等）などが含まれる。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成も取ることができる。

（１）
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている
撮像素子。
（２）
前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前方に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素を含む
前記（１）に記載の撮像素子。
（３）
前記複数の画素のそれぞれは、
１つの光電変換素子と、
前記入射光の一部の前記光電変換素子への入射を遮る遮光膜と
を備え、
前記複数の第１の画素の前記遮光膜の開口部が、前記第１の範囲内のそれぞれ異なる位置に配置されている
前記（２）に記載の撮像素子。
（４）
前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前後方向に重心が偏っている範囲であって、前記第１の範囲と異なる範囲である第２の範囲内のそれぞれ異なる位置に前記遮光膜の開口部がそれぞれ配置されている複数の第２の画素をさらに含む
前記（３）に記載の撮像素子。
（５）
前記撮像素子が前記車両に取り付けられた状態において、前記入射角指向性の重心の平均が前記車両の前方に偏っている
前記（１）乃至（４）のいずれかに記載の撮像素子。
（６）
前記車両の両側方に取り付けられる
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
前記受光面が前記車両のサイドウインドウの車内側の面に対向し、かつ、接触又は近接するように取り付けられる
前記（６）に記載の撮像素子。
（８）
前記車両の外側の側面に取り付けられる
前記（６）に記載の撮像素子。
（９）
前記車両の一方の側方において、前記車両の他方の側方に取り付けられている他の撮像素子と前記車両の前後方向において異なる位置に取り付けられる
前記（６）乃至（８）のいずれかに記載の撮像素子。
（１０）
前記複数の画素の前記検出信号に基づく検出画像から復元される復元画像が、前記車両の電子サイドミラーに用いられる
前記（１）乃至（９）のいずれかに記載の撮像素子。
（１１）
車両の内部において運転者の左斜め前又は右斜め前に設けられ、
複数の表示素子が並べられた表示面と、
前記表示面に設けられ、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ出力する複数の画素と
を備える表示装置。
（１２）
前記車両の側方及び後方の画像を表示する
前記（１１）に記載の表示装置。
（１３）
前記複数の画素の前記検出信号が、前記運転者の視線方向の検出に用いられる
前記（１１）又は（１２）に記載の表示装置。
（１４）
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている撮像素子と、
前記複数の画素の前記検出信号に基づく検出画像から復元される復元画像を表示する表示部と
を備える撮像システム。
（１５）
前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前方に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素、及び、前記画素の中心から前記車両の前後方向に重心が偏っている範囲であって、前記第１の範囲とは異なる範囲である第２の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第２の画素を含む
前記（１４）に記載の撮像システム。
（１６）
前記第１の画素からの前記検出信号に基づく検出画像から復元される復元画像、及び、前記第２の画素からの前記検出信号に基づく検出画像から復元される復元画像の前記表示部による表示を制御する表示制御部を
さらに備える前記（１５）に記載の撮像システム。
（１７）
前記表示制御部は、前記車両の運転者の動作、及び、危険物の検出結果のうちの少なくとも１つに基づいて、前記表示部が表示する前記復元画像を変更する
前記（１６）に記載の撮像システム。
（１８）
前記車両の運転者の動作、及び、危険物の検出結果のうちの少なくとも１つに基づいて、前記表示部により表示される前記復元画像の範囲を制御する表示制御部を
さらに備える前記（１４）乃至（１７）のいずれかに記載の撮像システム。
（１９）
前記表示部は、
複数の表示素子が並べられた表示面と、
前記表示面に設けられ、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ出力する複数の画素と
を備える前記（１４）乃至（１８）のいずれかに記載の撮像システム。
（２０）
前記表示部の前記複数の画素の前記検出信号が、前記車両の運転者の視線方向の検出に用いられる
前記（１９）に記載の撮像システム。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 車載システム， ２１Ｌ，２１Ｒ カメラモジュール， ２３ 運転者認識部， ２４ アラート制御部， ２５Ｌ，２５Ｒ 表示部， ２６ 表示制御部， ２７ 制御部， ４１Ｌ，４１Ｒ 撮像部， ４２Ｌ，４２Ｒ カメラＥＣＵ， １２１ 撮像素子， １２１ａ 画素， １２２ 復元部， １２３ 制御部， １８１ 撮像部， １８２ 指示動作検出部， ２０１ 基板， ２０２ ＬＬＣチップ， ２２１ 車両， ２２２ 運転者， ２３２Ｌ，２３２Ｒ サイドウインドウ

Claims (20)

1. 撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている
   撮像素子。
2. 前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前方に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素を含む
   請求項１に記載の撮像素子。
3. 前記複数の画素のそれぞれは、
   １つの光電変換素子と、
   前記入射光の一部の前記光電変換素子への入射を遮る遮光膜と
   を備え、
   前記複数の第１の画素の前記遮光膜の開口部が、前記第１の範囲内のそれぞれ異なる位置に配置されている
   請求項２に記載の撮像素子。
4. 前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前後方向に重心が偏っている範囲であって、前記第１の範囲と異なる範囲である第２の範囲内のそれぞれ異なる位置に前記遮光膜の開口部がそれぞれ配置されている複数の第２の画素をさらに含む
   請求項３に記載の撮像素子。
5. 前記撮像素子が前記車両に取り付けられた状態において、前記入射角指向性の重心の平均が前記車両の前方に偏っている
   請求項１に記載の撮像素子。
6. 前記車両の両側方に取り付けられる
   請求項１に記載の撮像素子。
7. 前記受光面が前記車両のサイドウインドウの車内側の面に対向し、かつ、接触又は近接するように取り付けられる
   請求項６に記載の撮像素子。
8. 前記車両の外側の側面に取り付けられる
   請求項６に記載の撮像素子。
9. 前記車両の一方の側方において、前記車両の他方の側方に取り付けられている他の撮像素子と前記車両の前後方向において異なる位置に取り付けられる
   請求項６に記載の撮像素子。
10. 前記複数の画素の前記検出信号に基づく検出画像から復元される復元画像が、前記車両の電子サイドミラーに用いられる
    請求項１に記載の撮像素子。
11. 車両の内部において運転者の左斜め前又は右斜め前に設けられ、
    複数の表示素子が並べられた表示面と、
    前記表示面に設けられ、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ出力する複数の画素と
    を備える表示装置。
12. 前記車両の側方及び後方の画像を表示する
    請求項１１に記載の表示装置。
13. 前記複数の画素の前記検出信号が、前記運転者の視線方向の検出に用いられる
    請求項１１に記載の表示装置。
14. 撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両の側方を向くように取り付けられ、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている撮像素子と、
    前記複数の画素の前記検出信号に基づく検出画像から復元される復元画像を表示する表示部と
    を備える撮像システム。
15. 前記複数の画素は、前記撮像素子が前記車両に取り付けられた状態において、前記画素の中心から前記車両の前方に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素、及び、前記画素の中心から前記車両の前後方向に重心が偏っている範囲であって、前記第１の範囲とは異なる範囲である第２の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第２の画素を含む
    請求項１４に記載の撮像システム。
16. 前記第１の画素からの前記検出信号に基づく検出画像から復元される復元画像、及び、前記第２の画素からの前記検出信号に基づく検出画像から復元される復元画像の前記表示部による表示を制御する表示制御部を
    さらに備える請求項１５に記載の撮像システム。
17. 前記表示制御部は、前記車両の運転者の動作、及び、危険物の検出結果のうちの少なくとも１つに基づいて、前記表示部が表示する前記復元画像を変更する
    請求項１６に記載の撮像システム。
18. 前記車両の運転者の動作、及び、危険物の検出結果のうちの少なくとも１つに基づいて、前記表示部により表示される前記復元画像の範囲を制御する表示制御部を
    さらに備える請求項１４に記載の撮像システム。
19. 前記表示部は、
    複数の表示素子が並べられた表示面と、
    前記表示面に設けられ、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ出力する複数の画素と
    を備える請求項１４に記載の撮像システム。
20. 前記表示部の前記複数の画素の前記検出信号が、前記車両の運転者の視線方向の検出に用いられる
    請求項１９に記載の撮像システム。

Images