JPWO2019171691A1 - 画像処理装置、および撮像装置、並びに画像処理方法 - Google Patents

Abstract

レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成を実現する。レンズレスカメラの画像センサの出力である観測画像信号を入力して、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有する。信号処理部は、復元画像の生成に適用する復元画像領域対応マスクマトリックスを計算する復元画像領域対応マスクマトリックス計算部と、観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により復元画像を生成する画像推定部を有する。

Description

本開示は、画像処理装置、および撮像装置、並びに画像処理方法に関する。特に、レンズレスカメラ（レンズレス撮像装置）の撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する画像処理装置、および撮像装置、並びに画像処理方法に関する。

近年、レンズを利用せずに画像を撮影可能としたレンズレスカメラの開発が進んでいる。従来の一般的なカメラは、レンズを介した光を撮像素子である画像センサに入力して画像を撮影するが、レンズレスカメラは、レンズの代わりに光の透過領域と不透過領域を２次元パターンとして設定したマスクを用い、マスクを介した光を画像センサに入力する。画像センサにはマスクを介した像が撮影される。このマスクを介した撮像データに対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像を生成することができる。レンズレスカメラは、レンズが不要であるため、撮像装置の小型化、軽量化が実現される。

上述したように、レンズレスカメラは、マスクを介した光を画像センサに入力する。シーン（撮影シーン）からの放射光が、マスクを通してどのようにセンサ上に投影されるかの情報を、あらかじめマトリックスとして定義しておき、そのマトリックスとセンサ上に投影された画像（観測画像）から、実際のシーンを再現した画像（復元画像）を生成するものである。

なお、レンズレスカメラについては、例えば、以下の文献に記載がある。
特許文献１（国際公開ＷＯ２０１２／０４０１９２号公報）。

レンズレスカメラの画像センサ上に投影された画像（観測画像）から、実際のシーンを再現した画像（復元画像）を生成する撮影画像の再構成処理としては、例えば以下の処理が行われる。撮影シーンの放射光を３次元上の複数のサンプリングポイントの輝度値で表現し、マスクを介して画像センサ上に投影されるセンサ観測値の組を、シミュレーションなどで複数組、予め求める。

さらに、それらの組からマスクを表現するマスクマトリックスを計算する。このマスクマトリックスの逆行列を求め、この逆行列を、観測値、すなわちレンズレスカメラの画像センサの画素値に適用して、撮影シーンを構成するサンプリングポイント毎の輝度値を復元する。サンプリングポイント毎の輝度値は、撮影シーンの画像を示す輝度値となる。

３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの２次元センサの観測値を、長さＮのシーン観測値ベクトルｙとして表現すると、その関係は、
ｙ＝Ｍｘ
と表す事ができる。ここで、Ｍはマスクの透過関数を表すマトリックス、すなわちマスクマトリックス（マスク行列）である。

シーンの放射光を再現するには、この式の関係を満たすｘを、レンズレスカメラのセンサ観測値ｙから求めれば良い。再現されるシーンの解像度は、シーンを構成する３次元上のサンプリングポイントの数Ｐを大きくすることで向上させることができる。ただし、シーン放射光ベクトルｘを推定する時間が長くなり、画像の再構成に時間を要することになる

上記式、ｙ＝Ｍｘは、レンズレスカメラのセンサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）は、非常に広いものとなる。

国際公開ＷＯ２０１２／０４０１９２号公報

レンズレスカメラの画角（ＦＯＶ）は広いため、シーン全体を表現するサンプリングポイント数Ｐが多くなる。しかし、カメラとして使用する場合、ある程度、ＦＯＶを狭めて、撮影範囲を限定したいといった場合も多い。撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。

また、上述したように、撮影画像として再現可能な３次元上のサンプリングポイント数Ｐを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。

本開示は、例えば、上記の問題点に鑑みてなされたものであり、解像度の低下や計算量の増大を発生させることなく、レンズレスカメラによる撮影画像の画角（ＦＯＶ）を変更可能とした画像処理装置、および撮像装置、並びに画像処理方法を提供することを目的とする。

本開示の第１の側面は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置にある。

さらに、本開示の第２の側面は、光の透過領域と不透過領域を２次元パターンとして設定したマスクと、前記マスクを介した光を受光する画像センサとからなる撮像部と、前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部は、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する撮像装置にある。

さらに、本開示の第３の側面は、画像処理装置において実行する画像処理方法であり、前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、前記信号処理部が、前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法にある。

なお、本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラのマスクの一例について説明する図である。 レンズレスカメラの撮影処理例について説明する図である。 レンズレスカメラの画角設定例について説明する図である。 レンズレスカメラの画角設定例について説明する図である。 レンズレスカメラの撮影画像に対する信号処理を行う画像処理装置の構成と処理について説明する図である。 レンズレスカメラの撮影画像に対する信号処理の一例について説明する図である。 信号処理部のマスクマトリックス計算部の実行する処理シーケンスについて説明するフローチャートを示す図である。 信号処理部の画像推定部の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 画像推定部の実行する処理の一例について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 サンプリングポイントの設定と撮影画像について説明する図である。 局所的解像度変更画像を取得するためのサンプリングポイントの設定と撮影画像について説明する図である。 局所的解像度変更画像を取得するためのサンプリングポイントの設定と撮影画像について説明する図である。 各波長単位の画像を取得するための処理例について説明する図である。 画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および撮像装置、並びに画像処理方法の詳細について説明する。なお、説明は以下の項目に従って行う。
１．レンズレスカメラの概要と原理について
２．レンズレスカメラにおける画角設定について
３．本開示の画像処理装置の構成と処理について
４．マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて
５．画像推定部における画像推定処理の詳細シーケンスについて
６．サンプリングポイント設定例と画像生成例について
７．部分的に解像度を向上させた画像の生成処理例について
８．サンプリングポイントからの放射光を波長方向に分光する処理例について
９．本開示の画像処理の効果について
１０．画像処理装置のハードウェア構成例について
１１．本開示の構成のまとめ

［１．レンズレスカメラの概要と原理について］
まず、レンズレスカメラの概要と原理について説明する。
図１、図２を参照して、一般的なカメラ（撮像装置）の構成との比較により、レンズレスカメラ（レンズレス撮像装置）の概要について説明する。
図１には、
（ａ）レンズレスカメラ
（ｂ）レンズありカメラ
（ｃ）ピンホールカメラ
これらの３種類のカメラの撮像原理を示している。

（ｃ）ピンホールカメラは、遮光膜１２に対して穴部として設けられたピンホール２１と画像センサ（個体撮像素子）１１から構成される。ピンホールからなる撮像装置の場合、図１右下部の（ｃ）ピンホールカメラの図に示すように、被写体面上のそれぞれ異なる光源から発せられる光線Ｌ１乃至Ｌ３が、それぞれピンホール２１を透過して画像センサ（個体撮像素子）１１上の画素Ｉ１乃至Ｉ３に像として撮像される。

ピンホールカメラからなる撮像装置の場合、画像センサ（個体撮像素子）１１においては、光源のそれぞれから発せられた光線Ｌ１乃至Ｌ３のうちの１画素分の光線のみにより、像が結像されて画像センサ（個体撮像素子）１１上の各画素に入射されることになるので暗い画像として撮像される。

図１右上部の（ｂ）レンズありカメラは、遮光膜３１の中央に撮像レンズ３２を設け、撮像レンズ３２が、光線Ｌ１乃至Ｌ３を、光線Ｉ１１乃至Ｉ１３で示されるように集光し、画像センサ（個体撮像素子）１１上にそれぞれの像を結像し、これが画像センサ（個体撮像素子）１１により撮像される設定としている。

図１右上部の（ｂ）レンズありカメラの場合、画像センサ（個体撮像素子）１１は、光線Ｌ１乃至Ｌ３の全ての光強度の合計である光強度の光からなる像が結像されて画像センサ（個体撮像素子）１１に入射されるので、画像センサ（個体撮像素子）１１の各画素において十分な光量の画像が撮像される。

図１右上部の（ｂ）レンズありカメラの図に示すように、撮像レンズ３２を用いることにより、点光源のそれぞれの集合が被写体を構成することになる。従って、被写体の撮像は、被写体面上の複数の点光源から発せられる光線が集光されて結像される被写体を撮像することになる。

図１右上部の（ｂ）レンズありカメラを参照して説明したように、撮像レンズ３２の役割は点光源のそれぞれから出射される各光線、即ち拡散光を、画像センサ（個体撮像素子）１１上に導くことにある。そのため、画像センサ（個体撮像素子）１１上には最終画像相当の像が結像されることとなり、画像センサ（個体撮像素子）１１上の各画素において検出される検出信号からなる画像が、像が結像された観測画像となる。

しかしながら、撮像レンズと撮像レンズの焦点距離によって撮像装置（撮像素子）のサイズが決定されるため、小型化には限界があった。

これに対して、図１左側に示す（ａ）レンズレスカメラは、撮像レンズやピンホールを設けることなく、画像センサ（個体撮像素子）１１とマスク５１を用いて、被写体面上の被写体を撮像する。

図１左側に示す（ａ）レンズレスカメラは、画像センサ１１の前段に複数のサイズの開口部５１ａを備えたマスク５１が設けられており、光源のそれぞれからの光線Ｌ１乃至Ｌ３が変調されて画像センサ１１の撮像面に入射し、画像センサ（個体撮像素子）１１上の各画素により受光される。

ここで、マスク５１は、開口部５１ａと遮光部５１ｂとが、図１（ａ）レンズレスカメラの下部に示すように、単位サイズΔの単位で水平方向および垂直方向について、大きさがランダムに設定されたマスクパターンを持つマスクである。単位サイズΔは、少なくとも画素サイズよりも大きいサイズである。また、画像センサ１１とマスク５１との間には、微小な距離ｄの隙間が設けられている。図に示す例では、画像センサ１１上の画素間のピッチがｗとされている。
このような構成により、単位サイズΔと距離ｄとのサイズにより光線Ｌ１乃至Ｌ３は、画像センサ１１上に変調されて入射する。

より詳細には、図１（ａ）レンズレスカメラの上図における光線Ｌ１乃至Ｌ３の光源を、例えば、図２の左上部に示すように、点光源ＰＡ，ＰＢ，ＰＣとし、マスク５１を透過して入射する画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとする。

レンズレスカメラの場合、図２左上部に示すように、各画素の検出感度は、マスク５１に、ランダムに設定される開口部５１ａより入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画像センサ１１上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。

すなわち、被写体面７１を構成する光源が点光源であることを前提とした場合、画像センサ１１においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク５１により変調されることにより、画像センサ１１の撮像面上の領域毎に入射角度が変化する。そして、マスク５１により画像センサ１１上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、画像センサ１１の撮像面の前段に設けられたマスク５１により画像センサ１１上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。

より具体的には、図２の右上部で示されるように、画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ ・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ ・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ ・・・（３）

ここで、α１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。また、β１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。さらに、γ１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。

従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示す値となる。また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示す値となる。さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示す値となる。

従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。
以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。

同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。

ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。

すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図１の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。

また、図２の左上部で示される画像センサ１１と被写体面７１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。

このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。

結果として、レンズレスカメラを用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、画角内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。

なお、図２の右上部に示す検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図２の右下部に示す検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像（最終画像）の各画素の値なので、画素値となる。

このような構成により、撮像レンズや、ピンホールを必要としない、いわゆるレンズレスカメラを実現することが可能となる。結果として、撮像レンズや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における復元画像（最終画像）を再構成して復元することが可能となる。

なお、以降においては、画像センサにより撮像された、再構成される前の画像を単に観測画像と称し、観測画像が信号処理されることにより再構成されて復元される画像を復元画像（最終画像）と称する。従って、１枚の観測画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面７１上の画像を最終画像として再構成させることができる。

図３は、レンズレスカメラにおける撮像素子の構成例を示す図である。上部がマスク５１の上面図であり、下部がマスク５１と画像センサ（固体撮像素子）１１とを側面上方からみた斜視図である。

一般的なレンズレスカメラの撮像素子は、例えば、図３に示すように、マスク５１における開口部５１ａの単位サイズが、全領域に対して一様に設定されて、画像センサ１１においては、マスク５１を透過した光より全体として１枚の画像が撮像される。

［２．レンズレスカメラにおける画角設定について］
次に、レンズレスカメラにおける画角設定について説明する。図４は、レンズレスカメラ８０の概略構成を示す図である。図４に示すようにレンズレスカメラ８０は、画像センサ８１の前にマスク８２を配置した構成を持つ。マスク８２は、光の透過領域と不透過領域を２次元パターンとして設定したマスクである。このマスク８２を介した光を画像センサに入力する。

図４では、被写体８５の撮影を行い、被写体画像が復元された復元画像（最終画像）８７を出力する構成例を示している。なお、画像センサ（固体撮像素子）８１により撮像された再構成される前の画像が観測画像８６であり、信号処理部８３が観測画像８６に対して信号処理を行うことで再構成されて復元される画像が復元画像（最終画像）８７である。復元画像（最終画像）８７は、通常のレンズ装着カメラと同様、撮影シーンの被写体を含む画像となる。

画像センサ８１にはマスク８２を介した像（観測画像８６）が撮影される。マスク８２を介した撮像データ、すなわち画像センサ１上の観測画像８６が信号処理部８３に入力される。信号処理部８３は、画像センサ８１上の観測画像８６に対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像としての復元画像（最終画像）８７を生成する。

撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサ８１の観測値を長さＮのシーン観測値ベクトルｙとして表現すると、その関係は、
ｙ＝Ｍｘ
上記関係式を用いて表すことができる。ここで、Ｍはマスク８２の透過関数を表すマトリックスである。

被写体の撮影画像（＝シーンの放射光）を再現するには、この式の関係を満たすｘを、センサ観測値ｙから求めれば良い。信号処理部８３は、画像センサ８１から入力するセンサ観測値ｙに対して、マスク８２の透過関数を表すマトリックスの逆行列によって構成されるマトリックスを乗算して、シーン放射光ベクトルｘを算出し、被写体８５を含む復元画像（最終画像）８７を構成する画素値を算出する処理を行う。

なお、マスク８２を通して画像センサ８１上に投影されるセンサ観測値の組を、シミュレーションなどで複数組求めておき、それらの組からマスク８２の特性（透過関数）を表現するマスクマトリックスを予め計算しておく。信号処理部８３は、このマトリックスの逆行列を適用して、画像センサ８１から入力するセンサ観測値ｙに基づいて、撮影対象領域のサンプリングポイント毎の輝度値を復元した復元画像（最終画像）８７を生成する。

シーンの放射光を再現するには、上記式、すなわち、
ｙ＝Ｍｘ
この関係を満たすｘを、センサ観測値ｙから求めれば良い。ｘは、サンプリングポイント毎の放射光ベクトルによって構成される。すなわち撮影シーンを構成するポイント単位の放射光であり、このサンプリングポイント毎の放射光ベクトルを２次元平面に展開した値が復元画像（最終画像）８７の構成画素値に対応する。

復元画像（最終画像）８７として再現されるシーンの解像度は、シーンを構成する３次元上のサンプリングポイントの数Ｐを大きくすることで向上させることができる。ただし、サンプリングポイント数Ｐを大きくすると、シーン放射光ベクトルｘを推定する時間が長くなり、画像の再構成、すなわち復元画像（最終画像）８７にの生成処理に時間を要することになる

上記式、ｙ＝Ｍｘは、センサに入射する全ての光がセンサ上に重畳されることを示しており、復元される画像の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）は、非常に広いものとなる。

レンズレスカメラの画角（ＦＯＶ）は広いため、シーン全体を表現するサンプリングポイント数が多くなる。しかし、カメラとして使用する場合、ある程度、ＦＯＶを狭めて、撮影範囲を限定したいといった場合も多い。

具体例について図５を参照して説明する。図５には、レンスズレスカメラ（レンズレス撮像装置）８０による画像撮影例として、
（ａ）画角を広くした設定の撮影画像例
（ｂ）画角を狭くした設定の撮影画像例
これらの２つの画像撮影例を示している。ユーザ（画像撮影者）は、図５（ｂ）に示すように、特定の被写体、例えば人の領域のみを撮影範囲として限定した画像を撮影したい場合がある。このようにレンズレスカメラ８０の画角（ＦＯＶ）を調整して様々な領域の画像を撮影したい場合がある。

このための処理としては、撮影画像の一部のみを切り出すことも可能であるが、その場合、解像度が低下してしまうという問題が発生する。

また、上述したように、撮影画像として再現可能な３次元上のサンプリングポイント数Ｐを増やすことで解像度を上げるという方法もあるが、画像の再構成時間が増大するため、実用的ではないという問題がある。

画角（ＦＯＶ）のための別の方法としては、図６に示すように、画像センサ８１とマスク８２の距離を変えて、画像センサ８１に入射する光をハードウェア的に制限する方法もある。

図６（ａ）は、画像センサ８１とマスク８２の距離（Ｌ１）を小さく設定して、画角を大きくした設定例である。一方、図６（ｂ）は、画像センサ８１とマスク８２の距離（Ｌ２）を大きく設定して、画角を小さくした設定例である。

画像センサ８１とマスク８２の距離（Ｌ１）を小さくした図６（ａ）の設定に対して、画像センサ８１とマスク８２の距離（Ｌ２）を大きくした図６（ｂ）の設定では、画像センサ８１に入射する光の角度が狭くなるため、撮影画像の画角が小さくなる。すなわち狭い領域の画像を撮影することができる。図６に示す制御は、望遠カメラと同じ効果を発生させるものである。

この図６に示す例では、サンプリングポイントの位置をハードウェア的に制限されたものに限定する事で、解像度を保ったまま画角（ＦＯＶ）を狭めることが可能である。しかし、この方法はあらかじめ決められた画角を設定する事はできるが、ズームレンズを実現するためには、マスクを動かすためのハードウェアが必要となり、マスクの位置の分だけ、カメラモジュールの高さが高くなってしまうという課題がある。

なお、複数枚のＬＣＤをセンサ前に配置する事で、任意の方向から光の透過／不透過を制御することは可能である。複数レイヤのＬＣＤを制御する事で、パンティルトや、複数のＲＯＩだけを画面上に投影させることも可能である。特許文献１には、センサ前にＭＥＭＳアレイフィルタを配置し、光の透過／不透過を切り替える事で、ＦＯＶを変える手法が示されている。しかしこれらの方法はいずれも、付加的なハードウェアを必要としており、サイズやコストの増加がまぬがれない。また、マスクとして光学的なフィルタを用いているが、透過波長域以外の対策は示されておらず、例えば、遠赤外線域に対応する適切なフィルタについては言及されていなかった。

［３．本開示の画像処理装置の構成と処理について］
次に、図７以下を参照して、本開示の画像処理装置の構成と処理について説明する。

図７は、本開示の画像処理装置１００の一構成例を示す図である。画像処理装置１００は、レンズレスカメラ（レンズレス撮像装置）１０２の撮影画像を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に設定された復元画像を生成して出力する信号処理部１０１を有する。

例えば、信号処理部１０１は、レンズレスカメラ１０２の画像センサの出力である観測画像信号を入力して、レンズレスカメラ１０１の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。

レンズレスカメラ１０２は、図４や図６を参照して説明した画像センサ８１とマスク８２によって構成されるカメラである。なお、図６を参照して説明したような画像センサ８１とマスク８２との距離を制御可能な構成ではなく、画像センサ８１とマスク８２との距離は固定されている。

信号処理部１０１は、レンズレスカメラ１０２の出力である撮影画像（観測値ｙ_ａｌｌ）を入力する。撮影画像（観測値ｙ_ａｌｌ）は、レンズレスカメラ１０２のマスクを介して受光する受光量に応じた画像センサ上の画素値である。

信号処理部１０１は、この入力画像（撮影画像（観測値ｙ_ａｌｌ））に対する信号処理を実行して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に設定された復元画像（ｘ＾_ｒｏｉ）を出力する。なお、（ｘ＾）は、ｘの上部に（＾）が設定された文字を意味する。以下の説明においても同様である。他の文字でも同様であり、例えば（ｙ＾）は、ｙの上部に（＾）が設定された文字を意味する。

画角（ＦＯＶ）は、ユーザが自由に設定可能である。レンズレスカメラ１０２の出力である撮影画像（観測値ｙ_ａｌｌ）１１０は、ユーザの設定する画角とは無関係の１つの固定された画角での撮影画像である。

信号処理部１０１は、
（入力１）レンズレスカメラ１０２の出力である撮影画像（観測値ｙ_ａｌｌ）１１０、
（入力２）出力する復元画像（ｘ＾_ｒｏｉ）の画角設定情報に相当する「復元画像領域対応ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）情報」Ｒ_ｒｏｉ、
これらの情報を入力して、
（出力１）所定の画角（ＦＯＶ）に設定された復元画像（ｘ＾_ｒｏｉ）、
この出力情報を生成して出力する。

出力データである復元画像（ｘ＾_ｒｏｉ）に示す（ｘ＾_ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）に含まれるサンプリングポイントｘ各々の放射光に相当する。すなわち復元画像（ｘ＾_ｒｏｉ）は、撮影シーンの被写体像を再現した画像であり、通常のレンズありカメラによって撮影された画像と同様の画像である。

信号処理部１０１は、
撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４、
マスク情報（Ｉ_Ｍ）１０５、
カメラ構成情報（Ｉ_Ｃ）１０６、
これらの情報を記憶部に保持している。なお、図７では、これらの情報を格納した記憶部を信号処理部１０１内部に示しているが、これらの記憶部は信号処理部１０１の外部に設定してもよい。

さらに、データ処理部として、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
画像推定部１０９を有する。

撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、レンズカメラ１０２の画像センサに撮影される撮影画像全体（全ＲＯＩ）に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。マスクマトリックス（Ｍ_ａｌｌ）は、先に説明したマスクの透過関数を表すマトリックスである。

すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとして表現した場合の関係式、
ｙ＝Ｍｘ
この関係式を満たすマスクの透過関数を表すマトリックスである。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、レンズカメラ１０２の画像センサに撮影される撮影画像全体（全ＲＯＩ）ではなく、出力データである復元画像（ｘ＾_ｒｏｉ）に対応するマスクマトリックス（Ｍ_ｒｏｉ）を計算する。すなわち、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。

例えば、図８に示すように、レンズレスカメラ１０２は、固定された画角で撮影画像領域（全ＲＯＩ）１２１の画像を撮影する。ここで、信号処理部１０１の出力する画像は、復元画像領域（復元ＲＯＩ）１２２に示す限定された領域の画像であるとする。なお、図８に示す各領域は、３次元領域である。

この３次元領域は、上記の関係式、
ｙ＝Ｍｘ
この関係式のシーン放射光ベクトルｘが計測されるサンプリングポイントの設定領域に相当する。撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１にサンプリングポイントを配置したと仮定した場合の、
ｙ＝Ｍｘ
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス（Ｍ_ａｌｌ）を算出する。このように、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ｒｏｉ）を計算する。すなわち、、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２にサンプリングポイントを配置したと仮定した場合の、
ｙ＝Ｍｘ
上記関係式に適用可能なマスクの透過関数を表すマスクマトリックス（Ｍ_ｒｏｉ）を算出する。すなわち、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成するために適用する復元画像領域対応マスクマトリックスを計算する。

撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、
撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４、
マスク情報（Ｉ_Ｍ）１０５、
カメラ構成情報（Ｉ_Ｃ）１０６、
これらの情報を入力して、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。

撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報も記録される。マスク情報（Ｉ_Ｍ）１０５は、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。

カメラ構成情報（Ｉ_Ｃ）１０６は、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。さらに、撮影画像領域内に設定されるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報についても記録される。

撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、これらの情報を入力して、撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ｒｏｉ）を計算する。復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、
復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３、
マスク情報（Ｉ_Ｍ）１０５、
カメラ構成情報（Ｉ_Ｃ）１０６、
これらの情報を入力して、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ｒｏｉ）を計算する。

復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２の設定範囲情報である。さらに、この設定範囲におけるサンプリングポイントの数（Ｐ）やサンプリングポイント設定位置（ｘ）情報も記録される。この復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３は、ユーザが自由に設定可能な復元画像領域に関する情報であり、ユーザは、図示しない入力部を介して、復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３の書き込みや更新を行うことが可能である。

マスク情報（Ｉ_Ｍ）１０５は、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。カメラ構成情報（Ｉ_Ｃ）１０６は、マスクと画像センサの距離、画像センサの画素数（Ｎ）情報等である。復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、これらの情報を入力して、復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。

なお、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについては、図９に示すフローチャートを参照して後段において詳細に説明する。

画像推定部１０９は、以下の各情報を入力する。（ａ）レンズレスカメラ１０２の出力である撮影画像（観測値ｙ_ａｌｌ）、
（ｂ）マスク情報（Ｉ_Ｍ）１０５、
（ｃ）カメラ構成情報（Ｉ_Ｃ）１０６、
（ｄ）撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４、
（ｅ）復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３、
（ｆ）撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）、
（ｇ）復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８の算出した復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）、

画像推定部１０９は、これらの各情報を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に設定された復元画像（ｘ＾_ｒｏｉ）を出力する。出力データである復元画像（ｘ＾_ｒｏｉ）に示す（ｘ＾_ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に含まれるサンプリングポイントｘ各々の放射光を意味する。

画像推定部１０９は、例えば、レンズレスカメラ１０２の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、
復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。画像推定部１０９の実行する復元画像生成処理の詳細シーケンスについては、図１０に示すフローチャートを参照して後段において詳細に説明する。

［４．マスクマトリックス計算部におけるマスクマトリックス計算処理の詳細シーケンスについて］
次に、図９に示すフローチャートを参照して、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
これらのマスクマトリックス計算部の実行するマスクマトリックス計算処理の詳細シーケンスについて説明する。

なお、先に説明したように、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算する。それぞれ、対応領域が異なるのみであり、基本的な処理シーケンスは同じである。図９に示すステップＳ１０３のＲＯＩ情報の取得処理において、取得する情報が異なるのみである。詳細は、以下の各ステップの説明中で説明する。以下、図９に示すフローチャートの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
信号処理部１０１の
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
これらは、まず、ステップＳ１０１において、マスク情報Ｉ_Ｍを取得する。なお、以下では、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
これら２つのマスクマトリックス計算部を単にマスクマトリックス計算部として説明する。

ステップＳ１０１において取得するマスク情報Ｉ_Ｍは、先に説明したように、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。

（ステップＳ１０２）
次に、マスクマトリックス計算部は、ステップＳ１０２において、カメラ構成情報Ｉ_Ｃを取得する。カメラ構成情報Ｉ_Ｃは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。

（ステップＳ１０３）
次に、マスクマトリックス計算部は、ステップＳ１０３において、ＲＯＩ情報を取得する。このステップＳ１０３の処理は、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８、
これらの２つのマスクマトリックス計算部において異なる処理を実行することになる。

撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、図７に示す撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４を取得する。画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１の設定範囲情報、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報等である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４を取得する。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、図７に示す復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３を取得する。復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２の設定範囲情報、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報等である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３を取得する。

なお、サンプリングポイントの数（Ｐ）、設定位置（ｘ）情報は、カメラ構成情報Ｉｃ１０６から取得することも可能である。

（ステップＳ１０４）
次に、マスクマトリックス計算部は、ステップＳ１０４において、センサ画素数Ｎと、サンプリングポイントの位置ｘと、サンプリングポイント数Ｐを利用して、Ｐ×ＮのマトリックスＭを用意し、初期化する。すなわち、
センサ画素数（Ｎ）と、
サンプリングポイント数（Ｐ）によって規定される
Ｐ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。なお、各要素の初期値は例えば０とする。

なお、ここで、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７と、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８との生成するマトリックスは異なるマトリックスである。

撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７は、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に対応するマスクマトリックス（Ｍ_ａｌｌ）を計算するために、図８に示す撮影画像領域（全ＲＯＩ）１２１にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Ｐと、センサ画素数ＮのＰ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に対応するマスクマトリックス（Ｍ_ｒｏｉ）を計算するために、図８に示す復元画像領域（復元ＲＯＩ）１２２にサンプリングポイントを設定したと仮定して、そのサンプリングポイント数Ｐと、センサ画素数ＮのＰ×Ｎの要素（行列要素）からなるマトリックス（行列）を生成する。

なお、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７と、
復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８との生成するＰ×Ｎの要素からなるマトリックスにおいて、
センサ画素数Ｎは、レンズレスカメラ１０２の画像センサの画素数（Ｎ）であり同一である。

一方、サンプリングポイント数Ｐは、それぞれ自由に設定可能である。例えば、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７と、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８との生成するＰ×Ｎの要素からなるマトリックスのサンプリングポイント数Ｐを、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１と、復元画像領域（復元ＲＯＩ）１２２の領域の大きさに比例した設定としてもよいし、いずれも同一のサンプリングポイント数Ｐとしてもよい。

同一のサンプリングポイント数Ｐとした場合、復元画像領域（復元ＲＯＩ）１２２の復元画像は、サンプリングポイント数Ｐを領域の大きさに比例した設定とした場合に比較して高解像度の画像とすることができる。前述したように、復元画像の解像度はサンプリングポイント数Ｐを増加させることで向上させることができる。すなわち、図８に示す復元画像領域（復元ＲＯＩ）１２２内に高密度な多くのサンプリングポイントを設定することで、復元画像の解像度を向上させることができる。

（ステップＳ１０５〜Ｓ１０６）
ステップＳ１０５以下の処理は、ステップＳ１０４において生成したマトリックスの各要素の値の設定処理である。

まず、ステップＳ１０５〜Ｓ１０６において、値の設定対象とするマトリックスの要素（行列要素）を選択する。最初は、ステップＳ１０５〜Ｓ１０６において、Ｐ×Ｎのマトリックスの左上端の要素（ｐ＝０，ｎ＝０）を選択する。なお、ｐ，ｎは、Ｐ×Ｎのマトリックスの要素識別インデックスである。

（ステップＳ１０７）
次に、マスクマトリックス計算部は、ステップＳ１０７おいて、ｐ番目のサンプリングポイントｘ（ｐ）の光が、マスクを通してセンサ上に投影される時のｎ画素目のセンサ画素値（ｙ）を求める。この画素値算出処理は、シミュレーション処理、あるいは実測処理によって行うことが可能である。

（ステップＳ１０８）
次に、マスクマトリックス計算部は、ステップＳ１０８おいて、ステップの処理Ｓ１０７で算出したセンサ画素値（ｙ）、
すなわち、ｐ番目のサンプリングポイントｘ（ｐ）の光が、マスクを通してセンサ上に投影される時のｎ画素目のセンサ画素値（ｙ）の値を適用して、
Ｐ×Ｎのマスクマトリックスの選択要素（ｐ＝０，ｎ＝０）の値として、
ｙ／ｘ（ｐ）
を設定する。

この設定値は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
ｙ＝Ｍｘ
この関係式に従った設定値である。

（ステップＳ１０９〜Ｓ１１２）
ステップＳ１０９〜Ｓ１１４は、値の設定対象とするマトリックスの要素（行列要素）の更新処理と、処理終了判定処理である。ステップＳ１０９で、行列要素インデックスｎを１つインクリメントして、
ステップＳ１１０で、
ｎ＜Ｎ
を判定し、
ｎ＜Ｎ
であれば、
新たな行列要素（ｐ，ｎ）について、ステップＳ１０７〜Ｓ１０８の処理を実行して、新たな行列要素（ｐ，ｎ）の値を決定する。

さらに、
ステップＳ１１１で、行列要素インデックスｐを１つインクリメントして、
ステップＳ１１２で、
ｐ＜Ｐ
を判定し、
ｐ＜Ｐ
であれば、
新たな行列要素（ｐ，ｎ）について、ステップＳ１０７〜Ｓ１０８の処理を実行して、新たな行列要素（ｐ，ｎ）の値を決定する。

最終的にステップＳ１１２において、
ｐ＜Ｐ
上記式を満足しないと判定されると、Ｐ×Ｎのマトリックスのすべての要素の値が決定され、マトリックスが完成する。

このフローによって生成されるマスクマトリックスは、
先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
ｙ＝Ｍｘ
この関係式に従ったマスクマトリックスである。

なお、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７が、このフローに従って生成するマスクマトリックスは、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）であり、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１に設定したＰ個のサンプリングポイントの放射光をレンズレスカメラ１０２の画像センサが受光したと仮定した場合のセンサ画素値（ｙ）との関係式、
ｙ＝Ｍｘ
この関係式を満たす撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）である。

一方、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８が、このフローに従って生成するマスクマトリックスは、復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）であり、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に設定したＰ個のサンプリングポイントの放射光をレンズレスカメラ１０２の画像センサが受光したと仮定した場合のセンサ画素値（ｙ）との関係式、
ｙ＝Ｍｘ
この関係式を満たす復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）である。

［５．画像推定部における画像推定処理の詳細シーケンスについて］
次に、図１０に示すフローチャートを参照して、
画像推定部１０９における画像推定処理の詳細シーケンスについて説明する。

先に図７を参照して説明したように、画像推定部１０９は、
（ａ）レンズレスカメラ１０２の出力である撮影画像（観測値ｙ_ａｌｌ）、
（ｂ）マスク情報（Ｉ_Ｍ）１０５、
（ｃ）カメラ構成情報（Ｉ_Ｃ）１０６、
（ｄ）撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４、
（ｅ）復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３、
（ｆ）撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）、
（ｇ）復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）計算部１０８の算出した復元画像領域対応マストマトリックス（Ｍ_ｒｏｉ）、
画像推定部１０９は、これらの各情報を入力して、所定の画角（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に設定された復元画像（ｘ＾_ｒｏｉ）を出力する。出力データである復元画像（ｘ＾_ｒｏｉ）に示す（ｘ＾_ｒｏｉ）は、所定の画角内の撮影シーン（ＲＯＩ）、例えば図８に示す復元画像領域（復元ＲＯＩ）１２２に含まれるサンプリングポイントｘ各々の放射光を意味する。

先に説明したように、画像推定部１０９は、例えば、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列または逆行列との演算処理により、レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する。

以下、図１０に示すフローチャートの各ステップの処理について、順次、説明する。
（ステップＳ２０１）
信号処理部１０１の画像推定部１０９は、まず、ステップＳ２０１において、マスク情報Ｉ_Ｍを取得する。ステップＳ２０１において取得するマスク情報Ｉ_Ｍは、先に説明したように、マスクの光の透過領域と不透過領域からなる２次元パターン情報等である。

（ステップＳ２０２）
次に、画像推定部１０９は、ステップＳ２０２において、カメラ構成情報Ｉ_Ｃを取得する。カメラ構成情報Ｉ_Ｃは、マスクと画像センサに関する情報であり、例えば、マスクサイズ、画像センササイズ、画像センサ画素数（Ｎ）、マスクとセンサ間の距離情報等である。

（ステップＳ２０３）
次に、画像推定部１０９は、ステップＳ２０３において、ＲＯＩ情報を取得する。このステップＳ２０３において、画像推定部１０９は、図７に示す撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４と、復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３を取得する。画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４は、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの設定位置（ｘ）情報である。
すなわち、レンズレスカメラ１０２の画像センサが図８に示す撮影画像領域（全ＲＯＩ）１２１におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である。ＲＯＩ情報は、再現する３次元領域の内、どの領域を再現するかの範囲を示した情報である。

一方、復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３は、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの設定位置（ｘ）情報である。すなわち、レンズレスカメラ１０２の画像センサが図８に示す復元画像領域（復元ＲＯＩ）１２２におけるサンプリングポイントの放射光を撮像したと仮定した場合のＲＯＩ情報である。

このように、画像推定部１０９は、ステップＳ２０３において、
図７に示す撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４と、復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３を取得する。

（ステップＳ２０４）
次に、画像推定部１０９は、ステップＳ２０４において、センサ画素数Ｎを取得する。すなわち、レンズレスカメラ１０２の画像センサのセンサ画素数（Ｎ）を取得する。この情報は、例えば、図７に示すカメラ構成情報Ｉ_Ｃ１０６から取得する。

（ステップＳ２０５）
次に、画像推定部１０９は、ステップＳ２０５において、サンプリングポイントの位置ｘと、ポイント数Ｐを取得する。
すなわち、
サンプリングポイント数（Ｐ）と、
各サンプリングポイントの位置（ｘ）、
を取得する。

なお、これらの情報は、例えば、
カメラ構成情報（Ｉｃ）１０６、
撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４、
復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３、
これらのいずれから各々取得する。

撮影画像領域対応ＲＯＩ情報（Ｒ_ａｌｌ）１０４からは、撮影画像領域内のサンプリングポイント数（Ｐ）と、各サンプリングポイントの位置（ｘ）を取得する。具体的には、例えば、図８に示す撮影画像領域（全ＲＯＩ）１２１に設定されたサンプリングポイントの数（Ｐ）と、位置（ｘ）を取得する。また、復元画像領域対応ＲＯＩ情報（Ｒ_ｒｏｉ）１０３からは、復元画像領域内のサンプリングポイント数（Ｐ）と、各サンプリングポイントの位置（ｘ）を取得する。具体的には、例えば、図８に示す復元画像領域（復元ＲＯＩ）１２２に設定されたサンプリングポイントの数（Ｐ）と、位置（ｘ）を取得する。

（ステップＳ２０６〜Ｓ２０７）
次に、画像推定部１０９は、ステップＳ２０６において、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）の疑似逆行列（Ｍ^＋ _ａｌｌ）を算出する。さらに、ステップＳ２０７において、ステップＳ２０６で求めた疑似逆行列（Ｍ^＋ _ａｌｌ）を利用して、サンプリングポイントの放射光推定値（ｘ＾_ａｌｌ）を算出する。サンプリングポイントの放射光推定値（ｘ＾_ａｌｌ）は、撮影シーン、例えば図８に示す撮影画像領域（全ＲＯＩ）１２１に含まれるサンプリングポイントｘ各々の放射光を意味する。

サンプリングポイントの放射光推定値（ｘ＾_ａｌｌ）の算出処理の具体例について、図１１を参照して説明する。

図１１には、
（ａ）２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１、
（ｂ）撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４、
（ｃ）撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）２０２を持つマスク、
（ｄ）撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４を画像センサによって受光した場合のセンサ観測値（画素値）（ｙ_ａｌｌ）２０３、
これらを示している。

すなわち、２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４を、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）２０２を持つマスクを介して画像センサによって受光した場合のセンサ観測値（画素値）（ｙ_ａｌｌ）２０３を示している。なお、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）は、本来、図８を参照して説明したように、３次元領域として設定されるが、３次元領域内の光は、画像センサに平行な２次元平面を通過して、画像センサに入力する。従って、３次元領域として構成される撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）は、図１１に示すような２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１に変換して表現することが可能である。放射光を出力するサンプリングポイントも、この２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１内に設定して表現できる。

図１１に示すセンサ観測値（画素値）（ｙ_ａｌｌ）２０３は、２次元平面データとして表現した撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１内に設定されるサンプリングポイントの各位置（ｘ_ａｌｌ）からの光、すなわちサンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４がマスクを通って写像された値である。従って、
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）２０２と、
センサ観測値（画素値）（ｙ_ａｌｌ）２０３、
これらの値があれば、サンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４の推定値を以下に示す算出処理（処理ａ，ｂ）によって求めることができる。

（処理ａ）
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）計算部１０７の算出した撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）の疑似逆行列（Ｍ^＋ _ａｌｌ）を、以下の（式１）に従って算出する。

なお、
Ｍ^＋ _ａｌｌは、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）の疑似逆行列、
Ｍ^Ｔ _ａｌｌは、撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）の転置行列を示す。また、
（Ｍ^Ｔ _ａｌｌＭ_ａｌｌ）^−１は、（Ｍ^Ｔ _ａｌｌＭ_ａｌｌ）の逆行列を意味する。

（処理ｂ）
撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）の疑似逆行列（Ｍ^＋ _ａｌｌ）と、
センサ観測値（画素値）（ｙ_ａｌｌ）２０３、
これらの値から、サンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４の推定値を以下の（式２）を用いて算出する。

上記（式２）は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
ｙ＝Ｍｘ
この関係式を、行列Ｍの疑似逆行列（Ｍ^＋）を用いて表現した式に相当する。

（ステップＳ２０８〜Ｓ２０９）
次に、画像推定部１０９は、ステップＳ２０８において、サンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４のうち、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）に含まれないものを抽出し、これらを、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）とする
さらに、ステップＳ２０９において、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）に対応する観測値（ｙ＾_ｏｕｔ）を求める。

図１２に復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１の設定例を示す。復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１は、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）内に自由に設定可能である。なお、図１２では、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１も、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）と同様、２次元データとして示している。

ステップＳ２０８〜Ｓ２０９の処理の詳細について説明する。ステップＳ２０８では、先に説明した（式２）、すなわち、サンプリングポイント放射光推定値（ｘ＾_ａｌｌ）の算出式に従って算出したサンプリングポイント放射光推定値（ｘ＾_ａｌｌ）のうち、図１２に示す復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１に含まれないサンプリングポイントを抽出し、これらを、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）とする。

次に、ステップＳ２０９において、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）に対応する観測値（ｙ＾_ｏｕｔ）を、以下の（式３）を用いて算出する。

上記式は、先に説明した関係式、すなわち、撮影対象領域の３次元上のＰ個のサンプリングポイントから放射される光を、長さＰのシーン放射光ベクトルｘとして表記し、それを受光する画素数Ｎの画像センサの観測値を長さＮのシーン観測値ベクトルｙとした場合の関係式、
ｙ＝Ｍｘ
この関係式に対応する式である。

図１３は、ステップＳ２０９において算出される復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）に対応する観測値（ｙ＾_ｏｕｔ）を示す図である。

図１３には、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１から、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１を除いた復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光（ｘ＾_ｏｕｔ）２１２を示している。これらの復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光（ｘ＾_ｏｕｔ）２１２に対応する観測値（ｙ＾_ｏｕｔ）が、図１３に示す復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外推定センサ観測値（ｙ＾_ｏｕｔ）２１３となる。

（ステップＳ２１０）
次に、画像推定部１０９は、ステップＳ２１０において、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内のサンプリングポイントの放射光（ｘ＾_ｒｏｉ）推定値を求める。

まず、
（ａ）図１１を参照して説明したセンサ観測値、すなわち、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１に設定されたサンプリングポイントの放射光（ｘ＾_ａｌｌ）２０４を画像センサによって受光した場合のセンサ観測値（画素値）（ｙ_ａｌｌ）２０３から、
（ｂ）ステップＳ２０９において算出した復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）外サンプリングポイント放射光推定値（ｘ＾_ｏｕｔ）に対応する観測値（ｙ＾_ｏｕｔ）を、
差し引く。すなわち、
（ｙ_ａｌｌ）−（ｙ＾_ｏｕｔ）
この減算処理によって、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内のサンプリングポイントからの光を観測した場合の観測値（ｙ＾_ｒｏｉ）が得られる。

次に、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内のサンプリングポイントの放射光（ｘ＾_ｒｏｉ）推定値を以下の（式４）に従って算出する。

図１４は、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内のサンプリングポイントの放射光（ｘ＾_ｒｏｉ）推定値を算出する処理について説明する図である。図１４には、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）２０１内に設定された復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）２１１内のサンプリングポイントの放射光、すなわち、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内サンプリングポイント放射光（ｘ＾_ｒｏｉ）２２１と、この放射光を復元画像領域対応マスクマトリックス（Ｍ_ｒｏｉ）２２２によって規定されるマスクを介して受光する画像センサの観測値、すなわち、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）推定センサ観測値（ｙ＾_ｒｏｉ＝ｙ_ａｌｌ−ｙ＾_ｏｕｔ）２２３、これらを示している。

このように、画像推定部１０９は、上記（式４）に従って、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内のサンプリングポイントの放射光（ｘ＾_ｒｏｉ）推定値を求める。この推定値は、すなわち、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）内の被写体を示す画像（復元画像）の画素値に相当する。

上述したように、画像推定部１０９は、以下の処理によってレンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
（Ｓ２０６）レンズレスカメラ１０２の撮像範囲全体の復元画像の生成に適用する撮影画像領域対応マスクマトリックスの疑似逆行列を算出し、
（Ｓ２０７）撮影画像領域対応マスクマトリックスの疑似逆行列と、観測画像信号から、撮影画像領域内のサンプリングポイントの放射光推定値を算出し、

（Ｓ２０８〜Ｓ２１０）レンズレスカメラ１０２の画像センサの出力である観測画像信号から、復元画像領域に含まれない復元画像領域外観測画像信号を減算して、復元領域内観測画像信号を算出し、復元領域内観測画像信号と、復元画像領域対応マスクマトリックスの疑似逆行列との演算処理により、レンズレスカメラ１０２の撮影画像領域の一部からなる復元画像領域の復元画像を生成する。
なお、これらの処理において利用する疑似逆行列は、逆行列であってもよい。

［６．サンプリングポイント設定例と画像生成例について］
先に説明した図１１〜図１４では、説明を理解し易くするため、撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）や復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）を２次元平面データとして示して説明した。先に説明したようにこれらの領域は実際の３次元空間として表現してもよい。一般的には、サンプリングポイントは任意の３次元位置に配置する事ができる。図１５は、３次元上のサンプリングポイントの輝度値から２次元画像を再構成する方法の一例を示す図である。

仮想ピンホールレンズ３０１と、仮想センサ面３０２を用意し、サンプリングポイント３０５，３０６，３０７からの光、すなわち、
ｘ＾_ａｌｌ（ｐ_１）、
ｘ＾_ａｌｌ（ｐ_２）、
ｘ＾_ａｌｌ（ｐ_３）、
これらの光が仮想ピンホールレンズ３０１を通って仮想センサ面３０２と交差する。

仮想センサ面３０２上の仮想センサ画素３０３，３０４，３０５それぞれには、入射光に応じた観測値（画素値）、すなわち、
仮想センサ画素ｙ（ｐ_１）３０３、
仮想センサ画素ｙ（ｐ_２）３０４、
仮想センサ画素ｙ（ｐ_３）３０５、
これらの観測値（画素値）が得られる。この場合、サンプリングポイントの距離によらず全てにピントの合った画像が再現される。

また、奥行き方向にレンズぼけが発生するような画像を再構成する方法の一例を、図１６に示す。図１６には、仮想レンズ３１１、仮想センサ面３１３と、仮想センサ面３１３で像が焦点を結ぶ仮想平面３１２を示している。この構成で、各サンプリングポイント３１６，３１７からの光、すなわち、
ｘ＾_ａｌｌ（ｐ_１）、
ｘ＾_ａｌｌ（ｐ_２）、
これらの光が仮想レンズ３１１を通して仮想センサ面３１３に写像される。この仮想センサ３１３上の画素値、すなわち、
仮想センサ画素ｙ（ｐ_１）３１４、
仮想センサ画素ｙ（ｐ_２）３１５、
これらの値を仮想センサ面３１３上で合成することで、奥行き方向のレンズボケを持つ画像を再現できる。

図１７に、３次元設定としたＲＯＩ領域の図を示す。ＲＯＩ領域は、３次元上の任意の位置に設定できるため、サンプリングポイントを部分的に再現することができる。例えば、図１７に示すような３次元空間に、
撮影画像領域ＲＯＩ（Ｒ_ａｌｌ）３２１、
復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）３２２、
復元画像領域外ＲＯＩ（Ｒ_ｏｕｔ）３２３、
これらの領域を設定し、各領域に自由にサンプリングポイントを設定することができる。

各サンプリングポイントからの放射光は、例えば図１７に示す撮影画像領域対応マスクマトリックス（Ｍ_ａｌｌ）３３１に従った変換特性（透過関数）を持つマスクを介して、画像センサに入射して、センサ観測値（ｙ_ａｌｌ）３３２を観測することができる。

例えば、図１７に示すように、復元画像領域ＲＯＩ（Ｒ_ｒｏｉ）３２２を、人のいる領域と設定する事で、人だけを含み背景領域を除去した背景除去画像を復元画像として生成することが可能である。

［７．部分的に解像度を向上させた画像の生成処理例について］
本開示の処理を行うことで、部分的に解像度を向上させた画像を生成することが可能となる。図１８を参照して、部分的に解像度を向上させた画像の生成処理について説明する。

通常のカメラ撮影画像は、画面上のピクセルピッチが一定であり、１枚の画像上の解像度は画像のどの領域でも一定となる。本開示の処理において、例えば、サンプリングポイントを一様ではなく領域毎に密度を変えることで、領域単位で解像度を変更することが可能となる。

例えば、図１８（ａ）に示す復元画像４０１のように、画像の一部を高解像度領域４０２に設定するといった処理が可能となる。このような画像を生成するためには、高解像度領域４０２に対応するサンプリングポイントの密度を、他の領域より高く設定すればよい。

図１８（ｂ）にサンプリングポイントの密度を変えた例を示す。高密度ＲＯＩ４１１は他の領域に比べてサンプリングポイント４１２が密集している。サンプリングポイントは、復元画像における画素値算出位置に対応し、サンプリングポイントの密度を高くすれば、画素値密度が高くなり、結果として高解像度の画像を生成することが可能となる。

図１９に、局所的に解像度を変更した画像の例を示す。図１９に示す例は、人のいる領域のみ解像度を上げた画像を生成する処理例である。最初にシーン全体のサンプリングポイント放射光（ｘ＾_ａｌｌ）、すなわち、撮影画像領域サンプリングポイント放射光（ｘ＾_ａｌｌ）４２１を推定して、撮影画像領域全体の画像を生成する。さらに、この画像から人のいる領域を検出し、この検出領域を、高解像度化領域（Ｒ_ｒｏｉ）４２２とする。

次に、この高解像度化領域（Ｒ_ｒｏｉ）４２２のみ、他の領域よりサンプリングポイントの密度を上げた状態のマスクマトリックス（Ｍ_ｒｏｉ）をシミュレーションで算出する。このマスクマトリックス（Ｍ_ｒｏｉ）を特性（透過関数）として持つマスクを用いた場合の、サンプリングポイント放射光を算出する。この処理によって、人のいる領域のみ高解像度化した一部領域高解像度化画像４３１が生成される。

このように、信号処理部１０９は、復元画像領域内のサンプリングポイントの密度を、レンズレスカメラ１０２による撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して処理を行うことで、復元画像領域のみを高解像度化した一部領域高解像度化画像を生成することができる。

［８．サンプリングポイントからの放射光を波長方向に分光する処理例について］
次に、サンプリングポイントからの放射光を、波長方向に分光する処理例について説明する。具体的には、例えば各サンプリングポイントの放射光をＲＧＢの各色対応の波長光に分離して観測する処理である。この処理を行うことで、カラー画像を生成することが可能となる。

図２０に、サンプリングポイントからの放射光を拡張する際の模式図を示す。Ｐ個のサンプリングポイント４７１からの放射光をＬ個の波長に分離する際、ｐ番目のサンプリングポイントから放射されるｌ（エル）番目の波長の放射光は、
ｘ_ｃｏｌ（ｐＬ＋ｌ）・・・（式ａ）
と表すことができる。なお、例えばサンプリングポイントからの放射光を３個の波長（Ｒ，Ｇ，Ｂ）に分離する際にはＬ＝３、ｌ＝０〜２となる。

この放射光が、マスク４７２を介して画像センサ４７３のＮ個の構成画素のｎ番目の画素に入射して観測される観測値は、
ｙ_ｃｏｌ（ｎＬ＋ｌ）・・・（式ｂ）
と表現できる。

（式ａ）と（式ｂ）の関係は、
ｙ_ｃｏｌ＝Ｍ_ｃｏｌ×ｘ_ｃｏｌ・・・（式ｃ）
と表すことができる。

上記（式ｃ）において、Ｍ_ｃｏｌは、
画像センサ４７３の画素数（Ｎ）、
サンプリングポイントからの放射光の分離波長光数（Ｌ）、
サンプリングポイント数（Ｐ）、
としたとき、
ＮＬ×ＰＬのマトリックス（マスク４７２のマスクマトリックス）である。このマトリックスは、一つのサンプリングポイントからの異なる波長の放射光の観測値をシミュレートすることで求めることができる。

これにより、画像センサ４７３上の観測値ｙ_ｃｏｌから、サンプリングポイント５０１の放射光（ｘ_ｃｏｌ）波長毎に分離した輝度を再現することができる。例えばＲＧＢ各色の出力値を取得して、カラー画像を再現することが可能となる。なお、波長と同様に、偏光に対しても同様の拡張が可能である。

このように、信号処理部１０９は、復元画像領域内のサンプリングポイントの放射光の波長を区分して処理を行うことで、複数の異なる波長光単位の復元画像を生成することができる。また、復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して処理を行うことで、複数の異なる偏光成分単位の復元画像を生成することができる。

［９．本開示の画像処理の効果について］
本開示の画像処理装置による処理を行うことで、以下のような効果を奏することができる。レンズレスカメラにハードウェアを付加することなく、高画質かつ低計算量で、メカレスズーム、メカレスパン、背景除去などの機能を実現することができる。さらに、重要でない領域の解像度を下げることで、重要領域の解像度を変えることなく、計算量の削減や、逆に計算量を維持した状態での重要領域の解像度向上などを実現できる。本開示の処理は、遠赤外線画像など、可視光以外の波長を利用した画像に対しても有効である。

［１０．画像処理装置のハードウェア構成例について］
次に、図２１を参照して、画像処理装置のハードウェア構成例について説明する。図２１を参照して説明するハードウェアは、先に図７を参照して説明した信号処理部１０１の処理を実行する画像処理装置のハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどからなる入力部５０６、ディスプレイ、スピーカーなどからなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。

（２） 前記信号処理部は、
前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する（１）に記載の画像処理装置。

（３） 前記信号処理部は、
前記復元画像領域内のサンプリングポイント数（Ｐ）と、前記レンズレスカメラの画素数（Ｎ）によって規定されるＰ×Ｎの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する（１）または（２）に記載の画像処理装置。

（４） 前記信号処理部は、
前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える（１）〜（３）いずれかに記載の画像処理装置。

（５） 前記信号処理部は、さらに、
前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する（１）〜（４）いずれかに記載の画像処理装置。

（６） 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する（１）〜（５）いずれかに記載の画像処理装置。

（７） 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する（１）〜（６）いずれかに記載の画像処理装置。

（８） 前記信号処理部は、
前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する（１）〜（７）いずれかに記載の画像処理装置。

（９） 光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
前記マスクを介した光を受光する画像センサとからなる撮像部と、
前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部は、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
撮像装置。

（１０） 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
前記信号処理部が、
前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、レンズレスカメラの撮影画像の画角制御を可能とし、撮影領域の一部からなる復元画像を生成する構成が実現される。

８０ レンズレスカメラ
８１ 画像センサ
８２ マスク
８３ 信号処理部
１００ 画像処理装置
１０１ 信号処理部
１０２ レンズレスカメラ
１０３ 復元画像領域対応ＲＯＩ情報
１０４ 撮影画像領域対応ＲＯＩ情報
１０５ マスク情報
１０６ カメラ構成情報
１０７ 撮影画像領域対応マスクマトリックス計算部
１０８ 復元画像領域対応マスクマトリックス計算部
１０９ 画像推定部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (10)

1. レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
   前記信号処理部は、
   前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と、前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理装置。
2. 前記信号処理部は、
   前記復元画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項１に記載の画像処理装置。
3. 前記信号処理部は、
   前記復元画像領域内のサンプリングポイント数（Ｐ）と、前記レンズレスカメラの画素数（Ｎ）によって規定されるＰ×Ｎの前記復元画像の生成に適用するマトリックスを生成する復元画像領域対応マトリックス計算部を有する請求項１に記載の画像処理装置。
4. 前記信号処理部は、
   前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列と前記観測画像信号とに基づいて算出される前記撮影画像領域内のサンプリングポイントの放射光推定値から、前記復元画像領域に含まれない観測画像信号を減算して算出される前記復元領域内の観測画像信号と、前記レンズレスカメラの撮像範囲全体の復元画像の生成に適用するマトリックスの逆行列との演算処理により、前記復元画像を生成する画像推定部を備える請求項１に記載の画像処理装置。
5. 前記信号処理部は、さらに、
   前記撮影画像領域内のサンプリングポイントからの放射光と、前記画像センサの観測値との対応関係情報に基づいて撮影画像領域に適用するマトリックスを生成する撮影画像領域対応マスクマトリックス計算部を有する請求項１に記載の画像処理装置。
6. 前記信号処理部は、
   前記復元画像領域内のサンプリングポイントの密度を、前記撮影画像のその他の領域のサンプリングポイントの密度より高密度に設定して、解像度の高い前記復元画像を生成する請求項１に記載の画像処理装置。
7. 前記信号処理部は、
   前記復元画像領域内のサンプリングポイントの放射光の波長を区分して、複数の異なる波長光単位の復元画像を生成する請求項１に記載の画像処理装置。
8. 前記信号処理部は、
   前記復元画像領域内のサンプリングポイントの放射光の偏光成分を区分して、複数の異なる偏光成分単位の復元画像を生成する請求項１に記載の画像処理装置。
9. 光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
   前記マスクを介した光を受光する画像センサとからなる撮像部と、
   前記画像センサの出力である観測画像信号を入力して、前記撮像部の撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
   前記信号処理部は、
   前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する、
   撮像装置。
10. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、レンズレスカメラの画像センサの出力である観測画像信号を入力して、前記レンズレスカメラの撮影画像領域の一部からなる復元画像領域の復元画像を生成する信号処理部を有し、
    前記信号処理部が、
    前記観測画像信号から前記復元画像領域に含まれない観測画像信号を減算することにより生成された復元領域内の観測画像信号と前記復元画像の生成に適用するマトリックスの逆行列または疑似逆行列との演算処理により前記復元画像を生成する画像処理方法。

Images