JP7215473B2 - 画像処理装置、および撮像装置、並びに画像処理方法 - Google Patents

Description

本開示は、画像処理装置、および撮像装置、並びに画像処理方法に関する。特に、レンズレスカメラ（レンズレス撮像装置）や、レンズレスカメラのキャリブレーションを行う画像処理装置、および撮像装置、並びに画像処理方法に関する。

近年、レンズを利用せずに画像を撮影可能としたレンズレスカメラの開発が進んでいる。従来の一般的なカメラは、レンズを介した光を撮像素子である画像センサに入力して画像を撮影するが、レンズレスカメラは、レンズの代わりに、光の透過領域と不透過領域を２次元パターンや、回折格子などの光を変調する機構を持つマスクを用い、マスクを介した光を画像センサに入力する。画像センサにはマスクを介した像が撮影される。このマスクを介した撮像データに対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像を生成することができる。レンズレスカメラは、レンズが不要であるため、撮像装置の小型化、軽量化、廉価化、非平面化等を実現することができる。

上述したように、レンズレスカメラは、マスクを介した光を画像センサに入力する。シーン（撮影シーン）からの放射光が、マスクを介してどのようにセンサ上に投影されるかの情報を、あらかじめマトリックスとして定義しておき、そのマトリックスとセンサ上に投影された画像（観測画像）から、実際のシーンを再現した画像（復元画像）を生成することができる。

なお、レンズレスカメラについては、例えば、以下の文献に記載がある。
特許文献１（国際公開ＷＯ２０１６／１２３５２９号公報）、

レンズレスカメラの画像センサにおいて検出される信号（観測信号）に対する信号処理を行い、実際のシーンを再現した画像（復元画像）を生成する場合には、様々な撮影条件を考慮した処理が必要となる。
具体的には、例えば、
（１）被写体に対する画像センサの幾何的な位置、
（２）被写体から出力される光の強度、分光特性、
（３）マスクによる変調、
（４）マスクとセンサの位置、幾何関係、
（５）センサの分光感度特性、
これらの撮影条件を考慮した信号処理を実行することが必要となる。

特に、マスクと画像センサの位置、幾何関係については、その物理量の変化が最終画像（復元画像）に大きな影響を与える。しかし、レンズレスカメラの生産工程において、マスクやセンサの取り付け位置のばらつきをゼロにすることは不可能であり、各カメラ単位のばらつきが発生する。

従って、生産されたレンズレスカメラ各々に正しい復元画像を生成、出力させるためには、各レンズレスカメラ固有のマスクと画像センサの位置関係を反映した処理を行わせることが必要となる。マスクと画像センサの位置や幾何関係を実際のものと異なる想定で信号処理を行い、復元画像を生成した場合、復元画像は破たんしてしまう場合がある。

上記特許文献１においては、その対策として、レンズレスカメラの前にディスプレイ装置（例えば可視光におけるＬＣＤ）を配置し、レンズレスカメラに様々な縦横の直線パターンを提示することで、マスクとセンサの位置、幾何関係を補正するための行列式を算出する構成を開示している。

この方法は、ノイズや回折ぼけに対して頑健性の優れた方法である。しかしその反面、提示するパターン数が非常に大量になるという問題がある。例えば、画素数ＮｘＮの画像を得るレンズレスカメラシステムに対しては、２Ｎ回の直線パターンの撮像が必要となる。従って、多数のレンズレスカメラの生産ラインで各カメラ対応の補正行列を算出するためには、レンズレスカメラ１台ごとに膨大な数の直線パターンの撮像を実行することが必要となり、処理時間が膨大となってしまう。

また、多種類の直線パターンの提示処理を行うための装置（ディスプレイ）についてもコスト高を招く要因がある。例えばレンズレスカメラが可視光画像を撮影するカメラであれば、可視光を出力するＬＣＤなどの安価なディスプレイが使用可能であるが、例えば赤外光を利用する場合など、可視光以外の帯域を利用する場合はコストが大きくなる。この場合、多種類の直線パターンの出力を行う装置（ディスプレイ）は、赤外光出力型の装置（ディスプレイ）であることが必要となる。例えば１０００μｍ～の短赤外以上の波長帯域の赤外光出力型の装置（ディスプレイ）を多数、設置するためには、相当のコストが発生するという問題がある。

国際公開ＷＯ２０１６／１２３５２９号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、多種類の直線パターンの提示処理を行うことなく、レンズレスカメラのキャリブレーションを行い、マスクやセンサの取り付け位置のばらつき等に応じた最適な処理を可能とした画像処理装置、および撮像装置、並びに画像処理方法を提供することを目的とする。

本開示の第１の側面は、レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部は、少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理装置にある。

さらに、本開示の第２の側面は、レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理装置にある。

さらに、本開示の第３の側面は、光の透過領域と不透過領域を２次元パターンとして設定したマスクと、前記マスクを介した光を受光する画像センサとからなる撮像部と、前記撮像部の光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたカメラ固有データを格納したメモリと、前記画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部は、前記メモリに格納された前記カメラ固有データを適用した画像処理により前記復元画像の生成を行う撮像装置にある。

さらに、本開示の第４の側面は、画像処理装置において実行する画像処理方法であり、前記画像処理装置は、レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部が、少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理方法にある。

さらに、本開示の第５の側面は、画像処理装置において実行するレンズレスカメラのキャリブレーション処理を行う画像処理方法であり、前記画像処理装置が、レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理方法にある。

なお、本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、レンズレスカメラのマスクと画像センサとの位置関係情報等のカメラ固有データを反映した画像処理により高精度な復元画像の生成を可能とした構成を実現する。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラの撮影原理について説明する図である。 レンズレスカメラのマスクの一例について説明する図である。 レンズレスカメラの撮影処理例について説明する図である。 レンズレスカメラの撮影処理と、画像復元処理について説明する図である。 レンズレスカメラの撮影画像と、復元画像との対応関係例について説明する図である。 レンズレスカメラの撮影画像と、復元画像との対応関係例について説明する図である。 レンズレスカメラの使用イメージの一例について説明する図である。 本開示のキャリブレーション処理における撮影画像の取得処理例について説明する図である。 本開示のキャリブレーション処理を実行した構成の仕様について説明する図である。 本開示のキャリブレーション処理を実行した構成の仕様について説明する図である。 本開示のキャリブレーション処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示のキャリブレーション処理において利用される画像の具体例について説明する図である。 本開示のキャリブレーション処理を実行する装置構成の一例について説明する図である。 レンズレスカメラの構成例を示すブロック図である。 画像処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および撮像装置、並びに画像処理方法の詳細について説明する。なお、説明は以下の項目に従って行う。
１．レンズレスカメラの概要と原理について
２．レンズレスカメラの観測画像から復元画像を生成する信号処理について
３．イメージング行列Ｆに関連する物理量について
４．カメラキャリブレーション処理の詳細について
５．キャリブレーション処理を実行する装置、およびカメラの構成例について
６．計算処理を簡略化した処理例について
７．本開示の画像処理の効果について
８．画像処理装置のハードウェア構成例について
９．本開示の構成のまとめ

［１．レンズレスカメラの概要と原理について］
まず、レンズレスカメラの概要と原理について説明する。図１、図２を参照して、一般的なカメラ（撮像装置）の構成との比較により、レンズレスカメラ（レンズレス撮像装置）の概要について説明する。図１には、
（ａ）レンズレスカメラ
（ｂ）レンズありカメラ
（ｃ）ピンホールカメラ
これらの３種類のカメラの撮像原理を示している。

（ｃ）ピンホールカメラは、遮光膜１２に対して穴部として設けられたピンホール２１と画像センサ（個体撮像素子）１１から構成される。ピンホールからなる撮像装置の場合、図１右下部の（ｃ）ピンホールカメラの図に示すように、被写体面上のそれぞれ異なる光源から発せられる光線Ｌ１乃至Ｌ３が、それぞれピンホール２１を透過して画像センサ（個体撮像素子）１１上の画素Ｉ１乃至Ｉ３に像として撮像される。

ピンホールカメラからなる撮像装置の場合、画像センサ（個体撮像素子）１１においては、光源のそれぞれから発せられた光線Ｌ１乃至Ｌ３のうちの１画素分の光線のみにより、像が結像されて画像センサ（個体撮像素子）１１上の各画素に入射されることになるので暗い画像として撮像される。

図１右上部の（ｂ）レンズありカメラは、遮光膜３１の中央に撮像レンズ３２を設け、撮像レンズ３２が、光線Ｌ１乃至Ｌ３を、光線Ｉ１１乃至Ｉ１３で示されるように集光し、画像センサ（個体撮像素子）１１上にそれぞれの像を結像し、これが画像センサ（個体撮像素子）１１により撮像される設定としている。

図１右上部の（ｂ）レンズありカメラの場合、画像センサ（個体撮像素子）１１は、光線Ｌ１乃至Ｌ３の全ての光強度の合計である光強度の光からなる像が結像されて画像センサ（個体撮像素子）１１に入射されるので、画像センサ（個体撮像素子）１１の各画素において十分な光量の画像が撮像される。

図１右上部の（ｂ）レンズありカメラの図に示すように、撮像レンズ３２を用いることにより、点光源のそれぞれの集合が被写体を構成することになる。従って、被写体の撮像は、被写体面上の複数の点光源から発せられる光線が集光されて結像される被写体を撮像することになる。

図１右上部の（ｂ）レンズありカメラを参照して説明したように、撮像レンズ３２の役割は点光源のそれぞれから出射される各光線、即ち拡散光を、画像センサ（個体撮像素子）１１上に導くことにある。そのため、画像センサ（個体撮像素子）１１上には最終画像相当の像が結像されることとなり、画像センサ（個体撮像素子）１１上の各画素において検出される検出信号からなる画像が、像が結像された観測画像となる。

しかしながら、撮像レンズと撮像レンズの焦点距離によって撮像装置（撮像素子）のサイズが決定されるため、小型化には限界があった。

これに対して、図１左側に示す（ａ）レンズレスカメラは、撮像レンズやピンホールを設けることなく、画像センサ（個体撮像素子）１１とマスク５１を用いて、被写体面上の被写体を撮像する。

図１左側に示す（ａ）レンズレスカメラは、画像センサ１１の前段に複数のサイズの開口部５１ａを備えたマスク５１が設けられており、光源のそれぞれからの光線Ｌ１乃至Ｌ３が変調されて画像センサ１１の撮像面に入射し、画像センサ（個体撮像素子）１１上の各画素により受光される。

ここで、マスク５１は、開口部５１ａと遮光部５１ｂとが、図１（ａ）レンズレスカメラの下部に示すように、単位サイズΔの単位で水平方向および垂直方向について、大きさがランダムに設定されたマスクパターンを持つマスクである。単位サイズΔは、少なくとも画素サイズよりも大きいサイズである。また、画像センサ１１とマスク５１との間には、微小な距離ｄの隙間が設けられている。図に示す例では、画像センサ１１上の画素間のピッチがｗとされている。のような構成により、単位サイズΔと距離ｄとのサイズにより光線Ｌ１乃至Ｌ３は、画像センサ１１上に変調されて入射する。

より詳細には、図１（ａ）レンズレスカメラの上図における光線Ｌ１乃至Ｌ３の光源を、例えば、図２の左上部に示すように、点光源ＰＡ，ＰＢ，ＰＣとし、マスク５１を透過して入射する画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとする。

レンズレスカメラの場合、図２左上部に示すように、各画素の検出感度は、マスク５１に、ランダムに設定される開口部５１ａより入射光が変調されることにより、入射角に応じた指向性を持つことになる。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画像センサ１１上の領域に応じて入射光の入射角度に応じた受光感度特性を異なるものとなるように持たせることである。

すなわち、被写体面７１を構成する光源が点光源であることを前提とした場合、画像センサ１１においては、同一の点光源より発せられた同一の光強度の光線が、入射されることになるが、マスク５１により変調されることにより、画像センサ１１の撮像面上の領域毎に入射角度が変化する。そして、マスク５１により画像センサ１１上の領域に応じて入射光の入射角度が変化することにより受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、画像センサ１１の撮像面の前段に設けられたマスク５１により画像センサ１１上の領域毎に異なる感度で検出されることになり、領域毎に異なる検出信号レベルの検出信号が検出される。

より具体的には、図２の右上部で示されるように、画像センサ１１上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ ・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ ・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ ・・・（３）

ここで、α１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数である。
また、β１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
さらに、γ１は、画像センサ１１上の位置Ｐａにおける復元する被写体面７１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。

従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示す値となる。
また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示す値となる。
さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示す値となる。

従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの係数α１，β１，γ１を掛けたものの合成値として表現される。
以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。

同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。

ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。

すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図１の右下部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像（最終画像）が再構成されて復元される。

また、図２の左上部で示される画像センサ１１と被写体面７１との距離が変化する場合、係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３は、それぞれ変化することになるが、この係数セットを変化させることで、様々な距離の被写体面の復元画像（最終画像）を再構成させることができる。

このため、１回の撮像により、係数セットを様々な距離に対応するものに変化させることで、撮像位置から様々な距離の被写体面の画像を再構成することができる。

結果として、レンズレスカメラを用いた撮像においては、レンズを用いた撮像装置での撮像において合焦点がずれた状態で撮像される、いわゆる、ピンぼけといった現象を意識する必要がなく、画角内に撮像したい被写体が含まれるように撮像されていれば、距離に応じた係数セットを変化させることで様々な距離の被写体面の画像を、撮像後に再構成することができる。

なお、図２の右上部に示す検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図２の右下部に示す検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値、すなわち、復元画像（最終画像）の各画素の値なので、画素値となる。

このような構成により、撮像レンズや、ピンホールを必要としない、いわゆるレンズレスカメラを実現することが可能となる。結果として、撮像レンズや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。また、係数セットを様々に変化させることにより、様々な距離の被写体面における復元画像（最終画像）を再構成して復元することが可能となる。

なお、以降においては、画像センサにより撮像された、再構成される前の画像を単に観測画像と称し、観測画像が信号処理されることにより再構成されて復元される画像を復元画像（最終画像）と称する。従って、１枚の観測画像からは、上述した係数セットを様々に変化させることにより、様々な距離の被写体面７１上の画像を最終画像として再構成させることができる。

図３は、レンズレスカメラにおける撮像素子の構成例を示す図である。上部がマスク５１の上面図であり、下部がマスク５１と画像センサ（固体撮像素子）１１とを側面上方からみた斜視図である。

一般的なレンズレスカメラの撮像素子は、例えば、図３に示すように、マスク５１における開口部５１ａの単位サイズが、全領域に対して一様に設定されて、画像センサ１１においては、マスク５１を透過した光より全体として１枚の画像が撮像される。

［２．レンズレスカメラの観測画像から復元画像を生成する信号処理について］
次に、レンズレスカメラの観測画像から復元画像を生成する信号処理について説明する。図４は、レンズレスカメラ８０の概略構成を示す図である。図４に示すようにレンズレスカメラ８０は、画像センサ８１の前にマスク８２を配置した構成を持つ。マスク８２は、光の透過領域と不透過領域を２次元パターンとして設定したマスクである。このマスク８２を介した光を画像センサに入力する。

図４では、被写体８５の撮影を行い、被写体画像が復元された復元画像（最終画像）８７を出力する構成例を示している。なお、画像センサ（固体撮像素子）８１により撮像された再構成される前の画像が観測画像８６であり、信号処理部８３が観測画像８６に対して信号処理を行うことで再構成されて復元される画像が復元画像（最終画像）８７である。復元画像（最終画像）８７は、通常のレンズ装着カメラと同様、撮影シーンの被写体を含む画像となる。

画像センサ８１にはマスク８２を介した像（観測画像８６）が撮影される。マスク８２を介した撮像データ、すなわち画像センサ１上の観測画像８６が信号処理部８３に入力される。信号処理部８３は、画像センサ８１上の観測画像８６に対して、所定の信号処理を行うことで、一般的なカメラと同様の撮影シーンに対応する２次元画像としての復元画像（最終画像）８７を生成する。

画像センサ８１上の観測画像８６から実際のシーンを再現した復元画像８７を生成する信号処理部８３における信号処理に際しては、様々な撮影条件を考慮した処理を行うことが必要である。具体的には、例えば、
（１）被写体に対する画像センサの幾何的な位置、
（２）被写体から出力される光の強度、分光特性、
（３）マスクによる変調、
（４）マスクとセンサの位置、幾何関係、
（５）センサの分光感度特性、
これらの撮影条件を考慮した信号処理を実行することが必要となる。

特に、マスクと画像センサの位置、幾何関係については、その物理的な変化に対する最終画像（復元画像）への影響が大きく、システムにおける既知の値として扱うことが困難である。マスクと画像センサの位置や幾何関係を実際のものと異なる想定で信号処理を行い、復元画像を生成した場合、復元画像は破たんしてしまう場合がある。そのため、各レンズレスカメラ固有のマスクと画像センサの位置や幾何関係を考慮した処理が必要となる。

図４に示すレンズレスカメラ８０による観測画像の撮影原理を定式化すると、以下の（式１）によって表現することができる。
ｙ＝Ｆｘ＋ｎ ・・・（式１）
ただし、
ｙ：画像センサ８１の観測信号（１次元化データ）
ｘ：シーンベクトル（撮影シーンの放射光の値（１次元化データ））
ｎ：ノイズ
Ｆ：イメージング行列（Ｉｍａｇｉｎｇ Ｍａｔｒｉｘ）

なお、ｘは、撮影シーンの放射光の値であり、復元画像８７の画素値にも相当する。復元画像８７は、撮影シーンの放射光の値を再現した画像に相当するからである。
上記（式１）から理解されるように、レンズレスカメラ８０の画像センサ８１の観測信号ｙは、撮影シーンのシーンベクトル（ｘ）をイメージング行列Ｆによって変調した光にノイズｎを付加した信号となる。

図５以下を参照して、上記（式１）の詳細について説明する。図５には、図４と同様のレンズレスカメラ８０、信号処理部８３、復元画像８７を示している。レンズレスカメラ８１は、画像センサ８１、マスク８２を有する。画像センサ８１は、図に示すように、水平Ｎ画素、垂直Ｍ画素のＭ×Ｎ画素構成からなるセンサである。

図５に示す例において、レンズレスカメラ８０は、木や人を含む撮影領域の画像を撮影する。最終的には、信号処理部の画像復元処理によって木や人を含む復元画像８７が生成される。この復元画像８７の解像度は、水平Ｌ画素、垂直Ｋ画素のＫ×Ｌ画素の解像度である。

復元画像８７の解像度は、信号処理部８３における信号処理に依存する。具体的には、撮影被写体からの放射光をどれだけ細分化して解析するかに依存する。図５に示す撮影シーン９０は、被写体からの放射光の通過領域に設定した２次元平面である。この２次元平面は、画像センサ８１に平行な２次元平面であり、被写体から画像センサ８１に入射する光はこの２次元平面を通過する。この２次元平面を通過する被写体光を再現したものが復元画像８７となる。

図に示す２次元平面上の撮影シーン９０に示す複数の丸印をサンプリングポイントとし、このサンプリングポイントの放射光が、上記（式１）、すなわち、
ｙ＝Ｆｘ＋ｎ ・・・（式１）
この（式１）のｘ（撮影シーンの放射光の値）に相当する。このｘを再現することで、復元画像の各画素の値が決定される。すなわち、信号処理部８３は、図５に示す２次元平面上の撮影シーン９０上のサンプリングポイント単位の放射光ｘを算出して、復元画像８７の画素値を設定する。

図に示す例では、２次元平面上の撮影シーン９０上のサンプリングポイントは、水平Ｌ個、垂直Ｋ個のＫ×Ｌ個である。信号処理部８３は、レンズレスカメラ８０のＭ×Ｎ画素構成からなる画像センサ８１の出力、すなわちマスク８１を介して得られる観測画像を入力して、撮影シーン９０上のＫ×Ｌ個のサンプリングポイントの放射光を解析し、水平Ｌ画素、垂直Ｋ画素のＫ×Ｌ画素の解像度からなる復元画像８７を生成する。

次に、図６を参照して、前述した（式１）、すなわち、
ｙ＝Ｆｘ＋ｎ ・・・（式１）
上記（式１）の具体的な計算処理例について説明する。

図６には、上記（式１）を構成する各データ行列形式に表現した計算式を示している。すなわち、
（ａ）画像センサ観測値ｙ１０１、
（ｂ）イメージング行列Ｆ１０２、
（ｃ）シーンベクトルｘ（サンプリングポイント放射光（＝復元画像））１０３、
（ｄ）ノイズｎ１０４
これらの４つのデータである。

（ａ）画像センサ観測値ｙ１０１は、Ｍ×Ｎの画像センサの各画素の観測値（ｙ（１），ｙ（２），・・・ｙ（ＭＮ））によって構成されるＭＮ行、１列の行列となる。

（ｂ）イメージング行列Ｆ１０２は、（ａ）画像センサ観測値ｙ１０１と、（ｃ）シーンベクトルｘ（サンプリングポイント放射光（＝復元画像））１０３との対応関係情報からなる行列であり、ＭＮ行、ＫＬ列の行列となる。
（ｂ）イメージング行列Ｆ１０２と、（ｃ）シーンベクトルｘ（サンプリングポイント放射光（＝復元画像））１０３との乗算結果＋（ｄ）ノイズｎ１０４が、（ａ）画像センサ観測値ｙ１０１、すなわち画像センサのＭＮ画素の各画素値となる。
なお、（ａ）画像センサ観測値ｙ１０１から、復元画像のＫＬ画素の画素値を算出する場合は、イメージング行列Ｆ１０２の逆行列が利用される。

（ｃ）シーンベクトルｘ（サンプリングポイント放射光（＝復元画像））１０３は、図５を参照して説明した２次元平面の撮影シーン９０に設定したサンプリングポイントの数、すなわち復元画像８７の画素数に等しいＫＬ個の要素（ｘ（１），ｘ（２），・・・ｘ（ＫＬ））によって構成されるＫＬ行、１列の行列となる。
（ｄ）ノイズｎ１０４は、Ｍ×Ｎの画像センサの各画素対応のノイズであり、各画素のノイズの値（ｎ（１），ｎ（２），・・・ｎ（ＭＮ））によって構成されるＭＮ行、１列の行列となる。

このように、上述した（式１）、すなわち、
ｙ＝Ｆｘ＋ｎ ・・・（式１）
この（式１）の演算は、図６に示す行列の演算を行うことを意味する。

画像センサ８１の画素数がＭＮ画素であり、復元画像の解像度をＫＬ画素としたとき、イメージング行列Ｆは、（ＭｘＮ）ｘ（ＫｘＬ）の次元数を持った２次元行列となる。

シーンベクトルｘに、イメージング行列Ｆを乗算し、ＭｘＮ次元のノイズベクトルｎを加算したものが、画像センサ８１上の各画素の値の一次元データからなる観測ベクトルｙとなる。なお、イメージング行列Ｆの各行の要素は、マスク８２を介して、画像センサ８１のある１画素に到達するシーン中の各点からの光を意味する。イメージング行列Ｆの各行の要素の意味について、図７を参照して説明する。

図７には、図６と同様、前述した、（式１）を構成する各データを簡略化して示している。すなわち、
（ａ）画像センサ観測値ｙ１０１、
（ｂ）イメージング行列Ｆ１０２、
（ｃ）シーンベクトルｘ（サンプリングポイント放射光（＝復元画像））１０３、
（ｄ）ノイズｎ１０４
これらの４つのデータである。

図７には、（ａ）画像センサ観測値ｙ１０１に含まれる２つの観測値である、
センサ観測値ｙ（ｐ）１０１ｐ、
センサ観測値ｙ（ｑ）１０１ｑ、
これら２つのセンサ観測値の記録位置を示している。
センサ観測値ｙ（ｐ）１０１ｐは、（ａ）画像センサ観測値ｙ１０１を構成する行列のｐ番目の行の要素であり、ＭＮ画素から構成される画像センサ８１のｐ番目の画素の観測値（画素値）である。
センサ観測値ｙ（ｑ）１０１ｑは、（ａ）画像センサ観測値ｙ１０１を構成する行列のｑ番目の行の要素であり、ＭＮ画素から構成される画像センサ８１のｑ番目の画素の観測値（画素値）である。

画像センサ８１の各画素には、図５を参照して説明した撮影シーン９０の様々なサンプリングポイントからの放射光が入射する。すなわち、センサ観測値ｙ（ｐ）１０１ｐ、センサ観測値ｙ（ｑ）１０１ｑ、いずれも、図５に示すＫＬ個のサンプリングポイント内の複数のサンプリングポイントからの放射光を入射している。

（ａ）画像センサ観測値ｙ１０１を構成する行列のセンサ観測値ｙ（ｐ）１０１ｐの記録行に対応する「（ｂ）イメージング行列Ｆ１０２」の行（ｐ番目の行）には、このセンサ観測値ｙ（ｐ）１０１ｐに含まれるＫＬ個のサンプリングポイント各々の出力光成分が記録される。この（ｂ）イメージング行列Ｆ１０２の行のデータの具体例は、図７の下部左側に示す、
（Ｐ）センサ観測値ｙ（ｐ）に含まれる撮影シーン対応データ（＝復元画像）（Ｋ×Ｌ）対応データである。

（Ｐ１）は、１次元データであり、「（ｂ）イメージング行列Ｆ１０２」の行（ｐ番目の行）のＫＬ個の要素の値をグラフとして示している。横軸が「（ｂ）イメージング行列Ｆ１０２」の行（ｐ番目の行）の左端の第１列から右端のＫＬ列の要素位置を示す軸である。縦軸が光強度を示している。すなわち、センサ観測値ｙ（ｐ）１０１ｐに含まれるＫＬ個のサンプリングポイントの放射光成分をグラフ化したデータである。

（Ｐ２）は、２次元データであり、水平方向Ｌ画素、垂直方向Ｋ画素の復元画像相当の解像度を持つ２次元平面に、（Ｐ１）１次元データに記録されたＫＬ個のデータを展開したものである。

また、（ａ）画像センサ観測値ｙ１０１を構成する行列のもう１つのセンサ観測値ｙ（ｑ）１０１ｑの記録行に対応する「（ｂ）イメージング行列Ｆ１０２」の行（ｑ番目の行）には、このセンサ観測値ｙ（ｑ）１０１ｑに含まれるＫＬ個のサンプリングポイント各々の出力光成分が記録される。この（ｂ）イメージング行列Ｆ１０２の行のデータの具体例は、図７の下部右側に示す、（Ｑ）センサ観測値ｙ（ｑ）に含まれる撮影シーン対応データ（＝復元画像）（Ｋ×Ｌ）対応データである。

（Ｑ１）は、１次元データであり、「（ｂ）イメージング行列Ｆ１０２」の行（ｑ番目の行）のＫＬ個の要素の値をグラフとして示している。横軸が「（ｂ）イメージング行列Ｆ１０２」の行（ｑ番目の行）の左端の第１列から右端のＫＬ列の要素位置を示す軸である。縦軸が光強度を示している。すなわち、センサ観測値ｙ（ｑ）１０１ｑに含まれるＫＬ個のサンプリングポイントの放射光成分をグラフ化したデータである。

（Ｑ２）は、２次元データであり、水平方向Ｌ画素、垂直方向Ｋ画素の復元画像相当の解像度を持つ２次元平面に、（Ｑ１）１次元データに記録されたＫＬ個のデータを展開したものである。

（Ｐ１），（Ｑ２）には、「（ｂ）イメージング行列Ｆ１０２」の２つの行のサンプリングポイントの放射光成分の２次元データを示しているが、「（ｂ）イメージング行列Ｆ１０２」の全ての行（ＭＮ行）のサンプリングポイントの放射光成分の２次元データを重畳すると、復元画像８７が生成される。

ちなみに、上述した（式１）、すなわち、
ｙ＝Ｆｘ＋ｎ
この撮像システムの原理式は、レンズレスカメラのみならず、従来のレンズを用いた撮像、拡散板を介した撮像などでも用いることは可能である。レンズレスカメラにおいては、イメージング行列Ｆに、マスクによる変調およびマスクとセンサの位置・幾何関係が関係していることが、異なるポイントである。

［３．イメージング行列Ｆに関連する物理量について］
次に、イメージング行列Ｆに関連する物理量について説明する。図８は、レンズレスカメラの使用イメージを示す図である。

図８を用いて、イメージング行列Ｆに関連する物理量の要素について説明する。撮影シーン１１０内に１つの注目点Ａ，１１１を設定する。注目点Ａ，１１１は、位置（ｘ，ｙ，ｚ）から、分光特性Ｘｐ、強度Ｉｋの光をレンズレスカメラ１２０に入光する被写体の１つの点である。

このとき、レンズレスカメラ１２０の画像センサ１２２のある画素ｊが観測する観測値値Ｙ（ｊ）は、以下の（式２）、すなわち、
Ｙ（ｊ）＝Ｇ（ｘ，ｙ，ｚ，Ｘｐ，Ｍｇ，Ｍｐ，Ｓｐ，ｊ）×Ｉｋ、・・（式２）
上記（式２）で表すことができる。

ここで、
Ｍｇはマスクの幾何形状、
Ｍｐはマスクのセンサに対する幾何的な位置、
Ｓｐは、画像センサ１２２の分光感度特性、
ｊは、画像ゼンサの画素識別子、
である。

先に説明したレンズレスカメラによる観測画像の撮影原理を示す式である、
ｙ＝Ｆｘ＋ｎ ・・・（式１）
ただし、
ｙ：画像センサ８１の観測信号（１次元化データ）
ｘ：シーンベクトル（撮影シーンの放射光の値（１次元化データ））
ｎ：ノイズ
Ｆ：イメージング行列（Ｉｍａｇｉｎｇ Ｍａｔｒｉｘ）

上記（式１）と、（式２）から、イメージング行列Ｆは、（式２）に含まれる各パラメータの関数Ｇにより与えられると言い換えることができる、すなわち、イメージング行列Ｆの構成要素中、画像センサの画素ｊの対応行の行列構成要素Ｆ（ｊ）は以下の（式３）によって定義される。
Ｆ（ｊ）＝Ｇ（ｘ，ｙ，ｚ，Ｘｐ，Ｍｇ，Ｍｐ，Ｓｐ，ｊ）・・・（式３）
である。

上記（式３）から言えることは、関数Ｇに含まれるパラメータ（ｘ，ｙ，ｚ，Ｘｐ，Ｍｇ，Ｍｐ，Ｓｐ，ｊ）の値によって、イメージング行列Ｆが変化するということである。これらのパラメータのうち、
注目点の光の発光位置を示す座標（ｘ，ｙ，ｚ），
注目点の光の分光特性Ｘｐ、
これらは、撮影シーンに依存するものである。
また、
マスクの形状Ｍｇも既知の値である。

マスクのセンサに対する位置関係Ｍｐは、レンズレスカメラごとに異なるカメラ固有の値となる。すなわち、例えばレンズレスカメラの製造工程において、各カメラに対して、センサの取り付けと、マスクの取り付けを行う場合、製造されるカメラごとにばらつきが発生する。

従って、マスクのセンサに対する位置関係Ｍｐについては、各カメラ単位で異なる値となり、精緻にその値を取得して、その取得値に基づいて、カメラ固有のイメージング行列Ｆを生成するか、あるいは、共通のイメージング行列Ｆに対するカメラ固有の補正処理、例えば補正行列による補正処理を行う等、何らかの補正処理が必要となる。

このような補正処理を行わずにイメージング行列Ｆを適用した処理、あるいはその逆行列を利用して復元画像の生成処理を実行しても正常な復元画像が生成できず破たんした復元画像が生成されることになる。

なお、画像センサ１２２の分光感度特性Ｓｐについては、概ねのケースで既知の値を用いることができるため、これに基づく補正の必要はない。ただし、例えば、画像センサがマイクロボロメータの場合などは、観測分光特性はセンサ自身の温度等によって変化することもあり、画像センサ１２２の分光感度特性Ｓｐに対応した補正を行う構成としてもよい。

［４．カメラキャリブレーション処理の詳細について］
上述したように、イメージング行列Ｆに影響を与えるンズレスカメラ固有のパラメータとして、以下の２つのパラメータがある。
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらのばらつきを考慮せずに、すべてのカメラに共通のイメージング行列Ｆやその逆行列を利用した復元画像の生成処理を行ってしまうと、正常な復元画像の生成ができなくなる。この問題を解決するためのカメラキャリブレーション処理の具体例について説明する。

以下において説明するカメラキャリブレーション処理の概要は以下の通りである。
（Ｓ０１）キャリブレーション対象となるレンズレスカメラによって、点光源の撮影画像（画像センサによる点光源観測画像）を取得。
（Ｓ０２）規定の基準パラメータの設定された理想的なカメラ（基準カメラ）による点光源の撮影画像（画像センサによる点光源観測画像）（＝基準画像）をシミュレーションにより生成。
なお、規定の基準パラメータには、
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらのパラメータを含む。

（Ｓ０３）シミュレーション画像（基準画像）に対して、イメージング行列Ｆに影響の影響のるカメラ固有のパラメータ、すなわち、
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらのパラメータを順次、変更したシミュレーション画像（補正基準画像）を生成、
（Ｓ０４）シミュレーション画像（補正基準画像）と、撮影画像との比較によって、カメラ固有の理想的なパラメータを取得、
本開示の処理において実行するカメラキャリブレーション処理の概要は上述の処理（Ｓ０１）～（Ｓ０４）である。

このキャリブレーション処理は、１点のみの点光源をレンズレスカメラで撮像した場合、マスクパターンの幾何形状を、直接、反映した像が観測されることを利用したものである。なお、被写体距離に応じてイメージング行列Ｆを変更したい場合には、レンズレスカメラと点光源の距離を変えて、各距離に応じた被写体距離対応のイメージング行列Ｆ、あるいは距離対応の補正行列を求めることが可能である。

なお、シミュレーション画像の生成時には、できればマスクによる回折現象についても考慮することが好ましい。回折現象はマスクの幾何形状、具体的には光が透過するスリットの大きさなどに依存して発生する。特に、画像センサの中心部とマスクの中心部間の距離ｄが変化すると、画像センサ上の像に対する回折の影響が大きく変化することになり、この距離ｄに応じた回折現象を織り込んだシミュレーション画像を生成することが好ましい。
なお、回折現象のシミュレーションには一般に知られている回折モデルを用いることが可能である。例えば、代表的な回折モデルであるフレネル回折モデルを利用することが可能である。

図９は、キャリブレーション処理における上記の最初のステップ（Ｓ０１）の処理、すなわち、
（Ｓ０１）キャリブレーション対象となるレンズレスカメラによって、点光源の観測画像（画像センサによる点光源観測画像）を取得、
この撮影画像取得処理の実行例を示す図である。

点光源Ｐ，１５１をレンズレスカメラ１２０の正面、センサの中心とマスク設置想定位置の中心を結んだ光軸の延長上に配置する。レンズレスカメラ１２０は、画像センサ１２１、マスク１２２を有し、点光源Ｐ，１５１の光は、マスク１２２の開口部を介して画像センサ１２２に入射する。

実際に実行したキャリブレーション処理に利用した、
画像センサ１２２、
マスク１２１、および、
点光源１５１、
これら、各構成要素の仕様を、図１０、図１１に示す。

図１０に示すように、
画像センサ１２２は、以下の仕様を持つ。
特性＝モノクロセンサ、センシングレンジ＝４００ｎｍ～６００ｎｍ、
解像度＝２５６×２５６画素、
画素ピッチ＝４マイクロメートル、
分光感度特性＝（波長（ｎｍ），感度（ｒｅｓｐｏｎｓｅ））＝（４００，０．５３），（４５０，０．７１），（５００，０．８１），（５５０，０．６３），（６００，０．６９）

また、マスク１２１は、以下の仕様を持つ。
解像度＝３２×３２
サイズ（Ｆｅａｔｕｒｅ Ｓｉｚｅ）＝４０マイクロメートル、
画像センサからの距離＝約２ｍｍ
取り付け位置＝ほぼ画像センサ中心位置、

また、図１１に示すように、
点光源１５１は、以下の仕様を持つ。
画像センサからの距離＝１ｍ、
位置＝画像センサの光軸上、
光源（ソース）＝スペクトラム、
分光感度特性＝（波長（ｎｍ），感度（ｒｅｓｐｏｎｓｅ））＝（４００，０．０７），（４５０，０．２１），（５００，１．０），（５５０，０．７１），（６００，０．３２）

これらの仕様を持つ画像センサ１２２、マスク１２１によって構成されるレンズレスカメラ１２０と、点光源１５１を用いてキャリブレーション処理を実行した。なお、ここで、まず、補正したいパラメータはマスク１２１の幾何的な位置Ｍｐである。

マスクの幾何的な位置Ｍｐは、複数の要素を持つ。まず、マスクの幾何的位置Ｍｐを以下の関数Ｇ２によって表す。
Ｍｐ＝Ｇ２（Ｒ，Ｔ，ｄ）
関数Ｇ２の入力パラメータは、
回転パラメータＲ，
平行移動バラメータＴ，
画像センサ中心とマスク中心間の距離パラメータｄ、
これら３つのパラメータである。
なお、回転パラメータＲ，平行移動バラメータＴは、それぞれマスクの３次元位置を規定する（ｘ，ｙ，ｚ）からなる行列に対する補正行列として表現することが可能であり、回転行列Ｒと、平行移動行列Ｔとして表現可能である。

なお、Ｍｐ＝Ｇ２（Ｈｏ，ｄ）として、回転行列Ｒと、平行移動行列Ｔを１つの行列としたホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）行列Ｈｏを用いた表現としてもよい。

以下では、
回転パラメータＲ，
平行移動バラメータＴ，
画像センサ中心とマスク中心間の距離パラメータｄ、
これら３つのパラメータを用いた処理として説明する。

図１２に示すフローチャートに従って、本開示のキャリブレーション処理の詳細シーケンスについて説明する。
フローに示すステップＳ１０１以下の各処理について順次、説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、キャリブレーション対象となるレンズレスカメラ１２０により、点光源Ｐ，１５１を撮影する。

この点光源撮影画像の例を図１３（Ｓ１０１）に示す。この画像は、図９を参照して説明した点光源１５１の撮影処理によって得られる画像センサ１２３からの出力であり、マスク１２２のパターンを直接的に反映した画像となる。

（ステップＳ１０２）
次に、ステップＳ１０２において、初期パラメータを利用したシミュレーション画像（基準画像）を生成する。シミュレーション画像（基準画像）は、理想的なパラメータ構成を持つレンズレスカメラによって図９に示す点光源１５１を撮影したと仮定した場合に画像センサから出力される画像データである。

初期パラメータは、予め規定した基準パラメータである。例えば、上述した、
（ａ）マスクのセンサに対する位置関係Ｍｐ
については、マスクがセンサに対して規定の基準位置に正確に取り付けられていると仮定した場合のパラメータＭｐ（基準パラメータＭｐ）を使用する。

なお、後段で説明するオプション処理であるステップＳ１０６～Ｓ１０７の処理を行う場合は、
（ｂ）画像センサの分光感度特性Ｓｐ、
このパラメータについても、予め規定した基準パラメータＳｐを初期パラメータとして設定してシミュレーション画像（基準画像）を生成する。

このステップＳ１０２において生成されるシミュレーション画像の例を図１３（Ｓ１０２）に示す。このシミュレーション画像は、マスクがセンサに対して予め規定した基準位置に正確に取り付けられているとの仮定、すなわちマスクのセンサに対する位置関係が理想的な位置関係であるとの仮定に基づいて生成されたシミュレーション画像であり、理想的な画像となる。

（ステップＳ１０３）
次に、ステップＳ１０３において、ステップＳ１０２で生成したシミュレーション画像に対して、様々な回転パラメータＲと、平行移動パラメータＴを適用したアフィン（Ａｆｆｉｎｅ）変換、またはホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）変換を行い、様々な回転、平行移動をさせたシミュレーション画像（補正基準画像）を生成し、これらをステップＳ１０１で取得した撮影画像と比較する。

この比較処理によって、撮影画像との画像差分が最も小さくなるシミュレーション画像を選択し、そのシミュレーション画像に適用した回転パラメータＲと、平行移動パラメータＴを抽出する。

なお、撮影画像とシミュレーション画像との画像差分の評価処理としては、例えば、評価関数（ＳＳＩＭ：Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）を用いる。ＳＳＩＭは、画像差分が大きいほど０に近く、画像差分が小さいほど１に近い値を示す画像差分評価関数である。

このステップＳ１０３において探索された撮影画像との差分が最小となるシミュレーション画像（補正基準画像）の例を図１３（Ｓ１０３）に示す。図１３（Ｓ１０３）に示すシミュレーション画像は、ステップＳ１０２で生成したシミュレーション画像に対して、所定の平行移動パラメータＴを適用した平行移動を行い、さらに所定の回転パラメータＲを適用して回転を行って生成したシミュレーション画像である。

このシミュレーション画像は、ステップＳ１０２において生成した理想的な構成を持つカメラによって撮影されるシミュレーション画像を、実際の撮影画像（Ｓ１０１で取得した撮影画像）に近づける平行移動と回転を行って生成したシミュレーション画像となる。

図１３の（Ｓ１０３）の画像の下部には、この画像を生成するために適用した補正量を示している。すなわち、
パラメータＴ補正量＝－０．００００８６ｍ，－０．０００１０１ｍ
パラメータＲ補正量＝２．３６°
これらのパラメータ補正量である。

これらは、図１３の（Ｓ１０３）に示すシミュレーション画像（補正基準画像）が、ステップＳ１０２で生成したシミュレーション画像（基準画像）に対して、ｘ方向に－０．００００８６ｍ，ｙ方向に－０．０００１０１ｍ、平行移動を行い、時計まわりに２．３６°回転させて生成したシミュレーション画像（補正基準画像）であることを意味し、この補正によって、実際の撮影画像（Ｓ１０１で取得した撮影画像）に最も差分の少ない画像が生成されたことを意味する。

図１３に示すように、（Ｓ１０３）で生成したシミュレーション画像の差分評価関数は、ＳＳＩＭ＝０．７６２３である。これは、（Ｓ１０３）で生成したシミュレーション画像（補正基準画像）と実際の撮影画像（Ｓ１０１で取得した撮影画像）との差分評価値である。ちなみに、図１３に示す（Ｓ１０２）で生成した最初のシミュレーション画像（基準画像）の差分評価関数ＳＳＩＭは、ＳＳＩＭ＝０．０６２９である。

前述したように、ＳＳＩＭは、画像差分が大きいほど０に近く、画像差分が小さいほど１に近い値を示す画像差分評価関数であり、ステップＳ１０３におけるシミュレーション画像の平行移動と回転処理により、差分評価関数ＳＳＩＭの値が１に近づき、撮影画像との差分が小さくなったことを示している。

（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で得られたシミュレーション画像（補正基準画像）、すなわち、撮影画像との差分を最小にする補正（回転パラメータＲと、平行移動パラメータＴ）を適用したシミュレーション画像に対して、複数の異なるマスク－画像センサ距離パラメータｄ（ｄ１，ｄ２，ｄ３・・・ｄｎ）を設定した複数のシミュレーション画像を生成する。

次に最適化するのはマスク－センサ間の距離ｄである。マスク－センサ間の距離ｄにより、像倍率のみならず、回折ぼけの大きさが変わるため、ある程度の間隔でパラメータｄを振って複数のシミュレーション画像を生成する。

（ステップＳ１０５）
次に、ステップＳ１０５において、ステップＳ１０４で生成した複数の異なるマスク－画像センサ距離パラメータｄ（ｄ１，ｄ２，ｄ３・・・ｄｎ）を設定して生成した複数のシミュレーション画像（補正基準画像）の中から、撮影画像との差分が最小となるシミュレーション画像を探索してそのマスク－画像センサ距離パラメータｄを取得する。

なお、この処理における、撮影画像との差分が最小となるシミュレーション画像の探索、すなわちパラメータｄの探索処理は、例えば、コースーファイン（Ｃｏａｒｓｅ－Ｆｉｎｅ）型探索処理を適用して行う。
コースーファイン（Ｃｏａｒｓｅ－Ｆｉｎｅ）型探索処理は、最初は、粗い間隔で探索し、徐々に探索幅を小さくする探索処理である。

このステップＳ１０５において取得されたマスク－画像センサ距離パラメータｄを適用したシミュレーション画像（補正基準画像）の例を図１３（Ｓ１０５）に示す。
このシミュレーション画像は、ステップＳ１０３において生成したシミュレーション画像、すなわち実際の撮影画像に近い位置に平行移動と回転処理を施した後のシミュレーション画像（補正基準画像）に対して、さらに、実際の撮影画像（Ｓ１０１で取得した撮影画像）に近づけるように、パラメータｄ、すなわちマスク－画像センサ距離パラメータｄを変更して再補正したシミュレーション画像（補正基準画像）となる。

図１３の（Ｓ１０５）の画像の下部には、この画像を生成するために適用した補正量を示している。すなわち、
パラメータｄ補正量＝２．３８ｍｍ
このパラメータ補正量である。

これは、図１３の（Ｓ１０５）に示すシミュレーション画像（補正基準画像）が、ステップＳ１０３で生成したシミュレーション画像に対して、マスク－画像センサ距離パラメータｄ＝２．３８ｍｍに設定する再補正を行って生成したシミュレーション画像であることを意味し、この補正によって、実際の撮影画像（Ｓ１０１で取得した撮影画像）に最も差分の少ない画像が生成されたことを意味する。

図１３に示すように、（Ｓ１０５）で生成したシミュレーション画像の差分評価関数は、ＳＳＩＭ＝０．９４８７である。これは、（Ｓ１０５）で生成したシミュレーション画像と実際の撮影画像（Ｓ１０１で取得した撮影画像）との差分評価値である。ちなみに、図１３に示す（Ｓ１０３）で生成したシミュレーション画像の差分評価関数ＳＳＩＭは、ＳＳＩＭ＝０．７６２３である。

前述したように、ＳＳＩＭは、画像差分が大きいほど０に近く、画像差分が小さいほど１に近い値を示す画像差分評価関数であり、ステップＳ１０５におけるシミュレーション画像は、ステップＳ１０３で生成したシミュレーション画像より、差分評価関数ＳＳＩＭの値が１に近づき、撮影画像との差分が小さくなったことを示している。

（ステップＳ１０６）
次のステップＳ１０６～Ｓ１０７の処理は、オプション処理であり、省略可能である。
これらの処理は、
（ｂ）画像センサの分光感度特性Ｓｐ
についての補正値を算出する場合に実行する。

なお、先に説明したように、このステップＳ１０６～Ｓ１０７の処理を実行する場合には、ステップＳ１０２において生成するシミュレーション画像は、
（ｂ）画像センサの分光感度特性Ｓｐ、
このパラメータを予め規定した基準パラメータＳｐ（初期パラメータ）として設定して生成したシミュレーション画像とすることが必要である。

ステップＳ１０６では、ステップＳ１０５で取得したシミュレーション画像（補正基準画像）、すなわち、撮影画像との差分を最小にする補正を行ったシミュレーション画像に対して、複数の異なる画像センサ分光感度特性Ｓｐ（Ｓｐ１，Ｓｐ２，Ｓｐ３・・・Ｓｐｎ）を設定した複数のシミュレーション画像を生成する。

ここで最適化対象とするパラメータは分光感度特性Ｓｐである。ある程度の間隔でパラメータＳｐの値を振って複数のシミュレーション画像を生成する。

（ステップＳ１０７）
次に、ステップＳ１０７において、ステップＳ１０６で生成した複数の異なる分光感度特性Ｓｐ（Ｓｐ１，Ｓｐ２，Ｓｐ３・・・Ｓｐｎ）に従って生成した複数のシミュレーション画像（補正基準画像）の中から、撮影画像との差分が最小となるシミュレーション画像（補正基準画像）を探索してその分光感度特性Ｓｐを取得する。

なお、この処理における、撮影画像との差分が最小となるシミュレーション画像の探索、すなわち分光感度特性Ｓｐの探索処理も、例えば、コースーファイン（Ｃｏａｒｓｅ－Ｆｉｎｅ）型探索処理を適用して行う。

このステップＳ１０７において取得された分光感度特性Ｓｐを適用したシミュレーション画像（補正基準画像）の例を図１３（Ｓ１０７）に示す。
このシミュレーション画像は、ステップＳ１０３とステップＳ１０５において補正されたシミュレーション画像、すなわち、平行移動、回転、マスク－画像センサ距離パラメータｄの変更を施して生成したシミュレーション画像に対して、さらに、実際の撮影画像（Ｓ１０１で取得した撮影画像）に近づけるように、パラメータＳｐ、すなわち画像センサの分光感度特性Ｓｐを変更して再補正したシミュレーション画像（補正基準画像）となる。

図１３の（Ｓ１０７）の画像の下部には、この画像を生成するために適用した補正量を示している。すなわち、
パラメータＳｐ補正量＝（０．６，０．６５，０．７５，０．６５，０．５９）
このパラメータ補正量である。
これらの分光感度特性は、それぞれ波長（ｎｍ）＝４００，４５０，５００，５５０，６００ｎｍ対応の感度（ｒｅｓｐｏｎｓｅ）である。

これは、図１３の（Ｓ１０７）に示すシミュレーション画像（補正基準画像）が、ステップＳ１０５で生成したシミュレーション画像（補正基準画像）に対して、
画像センサの分光感度特性Ｓｐを上記の設定、すなわち、
パラメータＳｐ補正量＝（０．６，０．６５，０．７５，０．６５，０．５９）
この設定とする再補正を行って生成したシミュレーション画像（補正基準画像）であることを意味し、この補正によって、実際の撮影画像（Ｓ１０１で取得した撮影画像）に最も差分の少ない画像が生成されたことを意味する。

図１３に示すように、（Ｓ１０７）で生成したシミュレーション画像の差分評価関数は、ＳＳＩＭ＝０．９４８８である。これは、（Ｓ１０７）で生成したシミュレーション画像と実際の撮影画像（Ｓ１０１で取得した撮影画像）との差分評価値である。ちなみに、図１３に示す（Ｓ１０５）で生成したシミュレーション画像の差分評価関数ＳＳＩＭは、ＳＳＩＭ＝０．９４８７である。

前述したように、ＳＳＩＭは、画像差分が大きいほど０に近く、画像差分が小さいほど１に近い値を示す画像差分評価関数であり、ステップＳ１０７におけるシミュレーション画像は、ステップＳ１０５で生成したシミュレーション画像より、差分評価関数ＳＳＩＭの値が１に近づき、撮影画像との差分が小さくなったことを示している。

（ステップＳ１０８）
次に、ステップＳ１０８において、ステップＳ１０７で生成したシミュレーション画像（補正基準画像）と、ステップＳ１０１で取得した実際の撮影画像との差分を示す差分評価関数ＳＳＩＭの値が、予め規定したしきい値以上となったか否かを判定する。

予め規定したしきい値以上となったと判定した場合は、処理を終了する。予め規定したしきい値以上でない場合は、ステップＳ１０２以下の処理を繰り返し実行する。最終的に、ステップＳ１０８において、予め規定したしきい値以上となったと判定されると処理を終了する。

なお、ステップＳ１０６～Ｓ１０７の処理を省略した場合は、ステップＳ１０８では、ステップＳ１０５で生成したシミュレーション画像と、ステップＳ１０１で取得した実際の撮影画像との差分を示す差分評価関数ＳＳＩＭの値が、予め規定したしきい値以上となったか否かを判定する処理を行う。

予め規定したしきい値以上となったと判定した場合は、処理を終了し、しきい値以上でない場合は、ステップＳ１０２以下の処理を繰り返し実行する。最終的に、ステップＳ１０８において、予め規定したしきい値以上となったと判定されると処理を終了する。

処理終了時点で取得されている補正量、具体的には、先に図１３を参照して説明した以下の補正量が、現在キャリブレーション対象としているレンズレスカメラの基準パラメータからのずれ、あるいは特性を示すデータとなる。すなわち、ステップＳ１０３とステップＳ１０５において取得される、
回転パラメータＲ，
平行移動パラメータＴ，
マスク－画像センサ距離パラメータｄ
これらのパラメータが、現在キャリブレーション対象としているレンズレスカメラの基準パラメータからのずれを示すデータとなる。
これらは、
（ａ）マスクのセンサに対する位置関係Ｍｐを示すパラメータである、

さらに、ステップＳ１０６～Ｓ１０７を実行した場合は、ステップＳ１０７で取得される、
画像センサの分光感度特性Ｓｐ
このパラメータが、現在キャリブレーション対象としているレンズレスカメラの特性を示すデータとなる。

図１２に示すフローのステップＳ１０２～Ｓ１０７の処理を１回、実行して処理が終了した場合、すなわち、ステップＳ１０８において、差分評価関数ＳＳＩＭの値が、予め規定したしきい値以上となった場合は、以下の補正量が、現在キャリブレーション対象としているレンズレスカメラの基準パラメータからのずれ、あるいは特性を示すデータ補正パラメータ）となる。
（１）回転パラメータＲ＝２．３６°，
（２）平行移動パラメータＴ＝－０．００００８６ｍ，－０．０００１０１ｍ，
（３）マスク－画像センサ距離パラメータｄ＝２．３８ｍｍ
（４）画像センサの分光感度特性Ｓｐ＝（０．６，０．６５，０．７５，０．６５，０．５９）

例えば、キャリブレーション対象としたレンズレスカメラのメモリに、これらのデータ（補正パラメータ）を格納する。レンズレスカメラは、撮影画像に対する復元画像を生成する際に、メモリに格納されたデータ（補正パラメータ）を利用して、イメージング行列Ｆを算出することで、カメラの実際の構成に応じた最適なイメージング行列Ｆを算出することが可能となる。

なお、カメラの実際の構成とは、例えば、
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらの構成情報である。

なお、先に（式３）として説明したように、画像センサの画素ｊの対応行のイメージング行列Ｆの行列構成要素Ｆ（ｊ）は、
Ｆ（ｊ）＝Ｇ（ｘ，ｙ，ｚ，Ｘｐ，Ｍｇ，Ｍｐ，Ｓｐ，ｊ）・・・（式３）
上記（式３）によって定義される。
これらの式に含まれるパラメータ
マスクのセンサに対する幾何的位置Ｍｐ、
画像センサの分光感度特性Ｓｐ、
これらのパラメータを、図１２に示すフローに従って算出した各カメラ固有の構成や特性に応じたパラメータとして各カメラのメモリに格納する。

レンズレスカメラは、撮影画像に対する復元画像を生成する際に、メモリに格納されたデータ（補正パラメータ）を利用して、イメージング行列Ｆを算出することで、カメラの実際の構成に応じた最適なイメージング行列Ｆを算出することが可能となる。

なお、予め各カメラ固有のパラメータを（Ｍｐ，ＳＰ）を利用してカメラ対応の補正済みイメージング行列Ｆを算出して、この補正済みイメージング行列Ｆをメモリに格納する構成としてもよい。

あるいは、各カメラに共通のイメージング行列Ｆを格納し、この共通のイメージング行列Ｆを、各カメラ固有のパラメータを（Ｍｐ，ＳＰ）を反映したカメラ固有のイメージング行列Ｆに変換するための補正行列を算出して、各カメラのメモリに格納する構成としてもよい。

なお、前述したように、レンズレスカメラの画像センサの観測値ｙと、イメージング行列Ｆとの対応関係は、以下の（式１）となる。
ｙ＝Ｆｘ＋ｎ ・・・（式１）
ただし、
ｙ：画像センサ観測値、
Ｆ：イメージング行列、
ｘ：シーンベクトル（サンプリングポイント放射光（＝復元画像））、
ｎ：ノイズ
であり、画像センサ観測値ｙから、復元画像の画素値を算出する場合は、イメージング行列Ｆの逆行列Ｆ^－１を利用する。

従って、各カメラのメモリに予め各カメラ固有のパラメータを反映したイメージング行列Ｆの逆行列Ｆ^－１を格納する構成としてもよい。

［５．キャリブレーション処理を実行する装置、およびカメラの構成例について］
次に、キャリブレーション処理を実行する装置、およびカメラの構成例について説明する。

図１４は、図１２に示すフローに従った処理を実行する場合の装置構成例を示すブロック図である。キャリブレーション対象となるレンズレスカメラ２００とキャリブレーション処理実行装置２１０を接続する。レンズレスカメラ２００は、マスクと画像センサを有し、マスクを介した光を画像センサで受光する。

レンズレスカメラ２００は、先に図９を参照して説明したように、点光源を撮影した点光源撮影画像２１１をキャリブレーション装置２１０に出力する。

キャリブレーション装置２１０は、先に図１２を参照して説明したフローチャートのステップＳ１０２～Ｓ１０８の処理を実行する。すなわち、まず、初期パラメータ（基準パラメータ）２１２を適用して理想的な構成、設定を持つ基準となるレンズレスカメラによって点光源を撮影した場合に撮影されると仮定されるシミュレーション画像（基準画像）を生成する。

その後は、生成したシミュレーション画像と、レンズレスカメラ２００から入力した点光源撮影画像２１１との差分を小さくするように、シミュレーション画像を順次、補正していく。
シミュレーション画像の補正処理は、まず、
回転パラメータＲ，
平行移動パラメータＴ，
これらの値を順次、変更したシミュレーション画像（補正基準画像）を生成する。

このシミュレーション画像（補正基準画像）から、最も点光源撮影画像２１１に近いものを選択し、選択されたシミュレーション画像（補正基準画像）に適用した
回転パラメータＲ，
平行移動パラメータＴ，
を保持する。

次に、マスク－画像センサ距離パラメータｄの値を順次、変更したシミュレーション画像（補正基準画像）を生成する。このシミュレーション画像（補正基準画像）から、最も点光源撮影画像２１１に近いものを選択し、選択されたシミュレーション画像に適用した
マスク－画像センサ距離パラメータｄ、
を保持する。

さらに、オプションとして、画像センサの分光感度特性Ｓｐを変更したを順次、変更したシミュレーション画像（補正基準画像）を生成する。このシミュレーション画像（補正基準画像）から、最も点光源撮影画像２１１に近いものを選択し、選択されたシミュレーション画像に適用した
分光感度特性Ｓｐを、
を保持する。

点光源撮影画像２１１と、シミュレーション画像（補正基準画像）との差分を示すＳＳＩＭが規定しきい値以上になるまで、上記処理を繰り返す。点光源撮影画像２１１と、シミュレーション画像（補正基準画像）との差分を示すＳＳＩＭが規定しきい値以上になった時点で処理を終了し、この時点で得られた補正パラメータを出力し、例えばレンズレスカメラ２００のメモリに格納する。

出力する補正パラメータは、
（ａ）マスクのセンサに対する位置関係Ｍｐを示すパラメータである、
回転パラメータＲ，
平行移動パラメータＴ，
マスク－画像センサ距離パラメータｄ
これらのパラメータである。
また、画像センサの分光感度特性Ｓｐについても算出した場合は、
このパラメータも出力する。

図１５は、レンズレスカメラ２００の構成例を示すブロック図である。レンズレスカメラ２００は、撮像部２０１、信号処理部２０２、メモリ２０３を有する。撮像部２０１は、先に図４他を参照して説明したように、画像センサの前にマスクを配置した構成を持つ。マスクは、光の透過領域と不透過領域を２次元パターンとして設定したマスクである。このマスクを介した光を画像センサに入力する。

撮像部２０１の画像センサにより撮像された観測画像２３１が信号処理部２０２に入力される。信号処理部２０２は、観測画像２３１に対して信号処理を行い、復元画像２３２を出力する。復元画像（最終画像）２３２は、通常のレンズ装着カメラと同様、撮影シーンの被写体を含む画像となる。

信号処理部２０２は、観測画像２３１から復元画像２３２を生成する信号処理に際して、イメージング行列Ｆを利用した処理を行う。具体的には、イメージング行列Ｆの逆行列Ｆ^－１を観測画像２３１に乗算する処理等を実行して、復元画像２３２を生成する。

ここで、イメージング行列Ｆは、レンズレスカメラ２００の固有のパラメータによって生成される固有の行列を利用する。すなわち、
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらのパラメータはカメラ固有のパラメータであり、この固有パラメータを適用して生成されるカメラ固有のイメージング行列Ｆ、および逆行列Ｆ^－１を利用することで正しい復元画像２３２を生成することが可能となる。

メモリ２０３には、例えば、以下のいずれかのデータが格納されている。
（１）共通のイメージング行列Ｆとカメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）、
（２）共通のイメージング行列Ｆと、カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を反映した補正行列、
（３）カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を適用して生成されたカメラ固有のイメージング行列Ｆ、
（４）カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を適用して生成されたカメラ固有のイメージング行列Ｆに対応する逆行列Ｆ^－１、
例えば、これらのいずれかのデータが格納されている。

なお、（２）のカメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を反映した補正行列とは、共通のイメージング行列Ｆに対する乗算処理によって、カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を適用して生成されたカメラ固有のイメージング行列Ｆに変換することをほ可能とした行列である。

信号処理部２０２は、このメモリ２０３に格納されたデータを利用して、レンズレスカメラ２００の固有のパラメータによって生成される固有の行列を適用して復元画像２３２を生成する。この処理により、カメラ固有の構成や特性に応じた正しい画像復元処理が実行され、正しい復元画像２３２を生成することが可能となる。

［６．計算処理を簡略化した処理例について］
ここまで、イメージング行列Ｆをレンズレスカメラ固有の構成や設定に応じた構成とするためのキャリブレーション処理について説明した。先に説明した特許文献１（国際公開ＷＯ２０１６／１２３５２９号公報）ではイメージング行列を２つの１次元ベクトルとして置き換える処理（Ｓｅｐａｒａｂｌｅモデル生成）を行うことで、復元画像を生成するための計算処理を簡略化する構成を開示している。さらに、イメージング行列Ｆを補正するためのキャリブレーション処理においても、計算処理の簡略化を実現したものとなっている。

本開示の処理においても、イメージング行列Ｆを２つの１次元ベクトルに置き換えて処理を行うことが可能である。すなわち、Ｓｅｐａｒａｂｌｅモデルを生成してキャリブレーション処理を行うことが可能である。

先に説明したように、レンズレスカメラによる観測画像の撮影原理を定式化すると、以下の（式１）によって表現することができる。
ｙ＝Ｆｘ＋ｎ ・・・（式１）
ただし、
ｙ：画像センサの観測信号（１次元化データ）
ｘ：シーンベクトル（撮影シーンの放射光の値（１次元化データ））
ｎ：ノイズ
Ｆ：イメージング行列（Ｉｍａｇｉｎｇ Ｍａｔｒｉｘ）

先に、図６を参照して説明したように、上記（式１）は、行列演算式として示すことができる。
Ｙ：画像センサの観測信号ｙから構成される行列、
Ｆ：イメージング行列
Ｘ：シーンベクトルｘから構成される行列
とすると、各行列は以下の（式１１）として示される。

なお、画像センサの画素数はＭＮであり、
撮影シーンのサンプリングポイント数（＝復元画像の画素数）はＫＬとする。

以下では、説明を簡略化するため、ノイズｎを削除した以下の（式４）を適用した処理について説明する。
Ｙ＝ＦＸ ・・・（式４）

レンズレスカメラの画像センサの第ｉ列、第ｊ行の画素値ｙ_ｉｊは、下記の（式１２）として表現できる。

ここで、上記の（式４）におけるイメージング行列Ｆを２つの１次元ベクトルとして置き換える処理（Ｓｅｐａｒａｂｌｅモデル生成）を行うと（式４）は、以下の（式１３）として示すことができる。

上記（式１３）において、
Φ_Ｌと、Φ_Ｒ ^Ｔは、イメージング行列Ｆを２つの１次元ベクトルとして置き換える処理（Ｓｅｐａｒａｂｌｅモデル生成）によって生成した行列である。上記（式１３）を行列式として示すと、以下の（式１４）となる。

さらに、上記（式１４）を変換すると、以下の（式１５）が導かれる。

さらに、上記（式１５）から、画像センサの第ｉ列、第ｊ行の画素値ｙ_ｉｊの画素値は、下記の（式１６）として表現できる。

上記（式１６）と、先に示した（式１２）は、同じ画像センサの第ｉ列、第ｊ行の画素値ｙ_ｉｊの画素値を表現した式であるので、以下の（式１７）が成立する。

なお、先に説明したように、各レンズレスカメラの構成情報である、
（ａ）マスクのセンサに対する位置関係Ｍｐ、
（ｂ）画像センサの分光感度特性Ｓｐ、
これらのパラメータＭｐ、Ｓｐに基づいて補正したキャリブレート後の補正イメージング行列Ｆの要素（係数）を、上述した２つの１次元ベクトルとして置き換える処理（Ｓｅｐａｒａｂｌｅモデル生成）によって生成したモデル行列Φ_Ｌと、Φ_Ｒ ^Ｔ、これらのモデル行列の係数にマッピングするには、いくつかのシーンＸを想定して、連立方程式を作成すればできる。

例えば、変数（ａ，ｂ，ｃ，ｄ）を、以下の（式１８）に示すような条件で設定する。

変数（ａ，ｂ，ｃ，ｄ）を、上記の（式１８）に示すような条件で設定すると、画像センサ上のある画素値ｙ_ａ，ｄは、先に示した（式１７）から、右辺をａ）、左辺をｂ）として代入すると、以下に示す（式１９）として表現できる。

上記（式１９）に基づいて、最終的に下記に示す（式２０）の関係式を導出することが可能となり、（式２０）に従って、画像センサ上の画素値を示す係数を対応させることができる。

このように、イメージング行列Ｆを、２つの１次元ベクトルとして置き換える処理（Ｓｅｐａｒａｂｌｅモデル生成）によって生成したモデル行列Φ_Ｌと、Φ_Ｒ ^Ｔに変換することで、特許文献１に記載されたと同様の計算処理を簡略化した処理、具体的にはカメラ固有のパラメータに敵夕した補正イメージング行列Ｆの算出処理を行うことが可能となる。

［７．その他の実施例と、本開示の画像処理の効果について］
次に、その他の実施例と、本開示の画像処理の効果について説明する。図１２に示すフローに従った処理は、例えばレンズレスカメラの製造工場におけるキャリブレーション装置によって実行可能であり、このキャリブレーション処理の結果として得られる情報が、各カメラのメモリに格納される。

例えば先に図１５を参照して説明したように、以下のいずれかのデータが各レンズレスカメラのメモリに格納される。
（１）共通のイメージング行列Ｆとカメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）、
（２）共通のイメージング行列Ｆと、カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を反映した補正行列、
（３）カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を適用して生成されたカメラ固有のイメージング行列Ｆ、
（４）カメラ固有の補正パラメータ（Ｍｐ，ＳＰ，・・・）を適用して生成されたカメラ固有のイメージング行列Ｆに対応する逆行列Ｆ^－１、
例えば、これらのいずれかのデータが格納されている。

レンズレスカメラは、このメモリに格納されたデータを利用して、レンズレスカメラ固有の構成や特性に応じた正しい画像復元処理を実行することが可能となる。

図１２に示すフローに従った処理は、レンズレスカメラの製造工場におけるキャリブレーション装置のみならず、例えばレンズレスカメラと通信可能なサーバにおいて行ってもよい。また、各レンズレスカメラ固有の構成や特性情報を反映した復元画像生成処理に適用するためのデータ、すなわち、上記（１）～（５）のデータをサーバ内のメモリに格納して、レンズレスカメラが必要に応じてサーバからデータを取得する構成としてもよい。

次に、上述した本開示の構成や処理による効果について以下に説明する。本開示の構成では、レンズレスカメラによる点光源の１回（または距離を変えた複数回には対応可能）の撮影処理を行い、この撮影画像とシミュレーション画像との対比により、マスクとセンサの幾何的な位置関係を最もよく反映したイメージング行列Ｇ、あるいはこの補正行列、またはカメラ固有の補正パラメータ等を取得することが可能となる。

本開示の処理を適用することで、カメラキャリブレーション処理におけるボトムネックとなる撮影時間を大幅に低減でき、また、可視光以外のディスプレイ設置が困難（または高価な）波長域の光に対しても、レンズレスカメラを補正することが可能となる。

さらに、本開示の処理により、各カメラの固有データであるマスクとセンサの幾何的な位置関係のみでなく、例えば、センサの分光感度特性についても、同じ撮像データを用いて、各カメラ対応の分光感度特性に適応した最適なイメージング行列Ｇ、あるいはこの補正行列、またはカメラ固有の補正パラメータ等を取得することが可能となる。

［８．画像処理装置のハードウェア構成例について］
次に、図１６を参照して、画像処理装置のハードウェア構成例について説明する。
図１６を参照して説明するハードウェアは、先に図１２を参照して説明したキャリブレーション処理を実行するキャリブレーション処理実行装置（図１４に示すキャリブレーション処理実行装置２１０）の構成例である。また、図１５に示すレンズレスカメラ２００の信号処理部２０２の処理を実行するハードウェア構成の一例でもある。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどからなる入力部５０６、ディスプレイ、スピーカーなどからなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［９．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部は、少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理装置。

（２）前記カメラ固有データは、前記レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたデータである（１）に記載の画像処理装置。

（３）前記基準画像は、レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像である（２）に記載の画像処理装置。

（４） 前記ミュレーション画像は、前記マスクによる回折シミュレーションモデルを適用して生成されたシミュレーション画像である（３）に記載の画像処理装置。

（５）前記カメラ固有データは、
前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなるシミュレーション画像を生成することで検出されたデータである（３）または（４）に記載の画像処理装置。

（６）前記カメラ固有データは、前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐである（１）～（５）いずれかに記載の画像処理装置。

（７） 前記位置関係データＭｐは、
マスクの画像センサに対する回転パラメータＲ，
マスクの画像センサに対する平行移動バラメータＴ，
画像センサ中心とマスク中心間の距離パラメータｄ、
これら３つのパラメータを含む（６）に記載の画像処理装置。

（８）前記カメラ固有データは、
（ａ）前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐ、
（ｂ）前記画像センサの分光感度特性データＳｐ、
上記の各データを含む（１）～（７）いずれかに記載の画像処理装置。

（９）前記信号処理部は、
複数のレンズレスカメラに共通のイメージング行列Ｆと、前記カメラ固有データを適用した画像処理により、前記復元画像の生成を行う（１）～（８）いずれかに記載の画像処理装置。

（１０）前記信号処理部は、
前記カメラ固有データを適用して補正されたカメラ固有のイメージング行列Ｆを適用した画像処理により、前記復元画像の生成を行う（１）～（９）いずれかに記載の画像処理装置。

（１１）前記信号処理部は、
前記カメラ固有データを適用して補正されたカメラ固有のイメージング行列Ｆと、前記画像センサの観測値ｙとの関係から、前記復元画像の生成を行う（１）～（１０）いずれかに記載の画像処理装置。

（１２）前記カメラ固有データは、
前記レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたデータであり、
前記レンズレスカメラと前記点光源との距離を変更して得られる距離対応の撮影画像とシミュレーション画像を利用した処理によって取得される複数の異なる被写体距離対応のカメラ固有データ、またはイメージング行列Ｆ、または補正行列である（１）～（１１）いずれかに記載の画像処理装置。

（１３）レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理装置。

（１４）前記カメラ固有データは、前記レンズレスカメラのマスクの画像センサに対する位置関係データを含む（１３）に記載の画像処理装置。

（１５）前記カメラ固有データは、
（ａ）前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐ、
（ｂ）前記画像センサの分光感度特性データＳｐ、
上記の各データを含む（１３）または（１４）に記載の画像処理装置。

（１６）前記画像処理装置は、
前記レンズレスカメラと前記点光源との距離を変更して得られる距離対応の撮影画像とシミュレーション画像を利用した処理を実行し、異なる被写体距離対応のカメラ固有データ、またはイメージング行列Ｆ、または補正行列を生成する（１３）～（１５）いずれかに記載の画像処理装置。

（１７）光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
前記マスクを介した光を受光する画像センサとからなる撮像部と、前記撮像部の光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたカメラ固有データを格納したメモリと、前記画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部は、前記メモリに格納された前記カメラ固有データを適用した画像処理により前記復元画像の生成を行う撮像装置。

（１８）画像処理装置において実行する画像処理方法であり、前記画像処理装置は、レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、前記信号処理部が、少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理方法。

（１９）画像処理装置において実行するレンズレスカメラのキャリブレーション処理を行う画像処理方法であり、前記画像処理装置が、レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理方法。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、レンズレスカメラのマスクと画像センサとの位置関係情報等のカメラ固有データを反映した画像処理により高精度な復元画像の生成を可能とした構成を実現する。

８０ レンズレスカメラ
８１ 画像センサ
８２ マスク
８３ 信号処理部
９０ 撮影シーン
９１ サンプリングポイント
１０１ 画像センサ観測値ｙ
１０２ イメージング行列Ｆ
１０３ サンプリングポイント放射光ｘ
１０４ ノイズ
１１０ 撮影シーン
１１１ 注目点Ａ
１２０ レンズレスカメラ
１２１ マスク
１２２ 画像センサ
２００ レンズレスカメラ
２０１ 撮像部
２０２ 信号処理部
２０３ メモリ
２１０ キャリブレーション装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (19)

1. レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、
   前記信号処理部は、
   少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理装置。
2. 前記カメラ固有データは、
   前記レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたデータである請求項１に記載の画像処理装置。
3. 前記基準画像は、
   レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像である請求項２に記載の画像処理装置。
4. 前記シミュレーション画像は、
   前記マスクによる回折シミュレーションモデルを適用して生成されたシミュレーション画像である請求項３に記載の画像処理装置。
5. 前記カメラ固有データは、
   前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなるシミュレーション画像を生成することで検出されたデータである請求項３に記載の画像処理装置。
6. 前記カメラ固有データは、前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐである請求項１に記載の画像処理装置。
7. 前記位置関係データＭｐは、
   マスクの画像センサに対する回転パラメータＲ，
   マスクの画像センサに対する平行移動バラメータＴ，
   画像センサ中心とマスク中心間の距離パラメータｄ、
   これら３つのパラメータを含む請求項６に記載の画像処理装置。
8. 前記カメラ固有データは、
   （ａ）前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐ、
   （ｂ）前記画像センサの分光感度特性データＳｐ、
   上記の各データを含む請求項１に記載の画像処理装置。
9. 前記信号処理部は、
   複数のレンズレスカメラに共通のイメージング行列Ｆと、前記カメラ固有データを適用した画像処理により、前記復元画像の生成を行う請求項１に記載の画像処理装置。
10. 前記信号処理部は、
    前記カメラ固有データを適用して補正されたカメラ固有のイメージング行列Ｆを適用した画像処理により、前記復元画像の生成を行う請求項１に記載の画像処理装置。
11. 前記信号処理部は、
    前記カメラ固有データを適用して補正されたカメラ固有のイメージング行列Ｆと、前記画像センサの観測値ｙとの関係から、前記復元画像の生成を行う請求項１に記載の画像処理装置。
12. 前記カメラ固有データは、
    前記レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたデータであり、
    前記レンズレスカメラと前記点光源との距離を変更して得られる距離対応の撮影画像とシミュレーション画像を利用した処理によって取得される複数の異なる被写体距離対応のカメラ固有データ、またはイメージング行列Ｆ、または補正行列である請求項１に記載の画像処理装置。
13. レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、
    前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、
    前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理装置。
14. 前記カメラ固有データは、
    前記レンズレスカメラのマスクの画像センサに対する位置関係データを含む請求項１３に記載の画像処理装置。
15. 前記カメラ固有データは、
    （ａ）前記レンズレスカメラのマスクの画像センサに対する位置関係データＭｐ、
    （ｂ）前記画像センサの分光感度特性データＳｐ、
    上記の各データを含む請求項１３に記載の画像処理装置。
16. 前記画像処理装置は、
    前記レンズレスカメラと前記点光源との距離を変更して得られる距離対応の撮影画像とシミュレーション画像を利用した処理を実行し、異なる被写体距離対応のカメラ固有データ、またはイメージング行列Ｆ、または補正行列を生成する請求項１３に記載の画像処理装置。
17. 光の透過領域と不透過領域を２次元パターンとして設定したマスクと、
    前記マスクを介した光を受光する画像センサとからなる撮像部と、
    前記撮像部の光軸前方の１つの点光源の撮影によって得られる撮影画像と、基準画像との比較処理によって生成されたカメラ固有データを格納したメモリと、
    前記画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、
    前記信号処理部は、
    前記メモリに格納された前記カメラ固有データを適用した画像処理により前記復元画像の生成を行う撮像装置。
18. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、レンズレスカメラの画像センサの出力である撮影画像を入力して復元画像を生成する信号処理部を有し、
    前記信号処理部が、
    少なくとも前記レンズレスカメラのマスクと画像センサとの位置関係情報に基づいて生成されるカメラ固有データを適用した画像処理により、前記復元画像の生成を行う画像処理方法。
19. 画像処理装置において実行するレンズレスカメラのキャリブレーション処理を行う画像処理方法であり、
    前記画像処理装置が、レンズレスカメラの光軸前方の１つの点光源の撮影によって得られる撮影画像と、
    前記レンズレスカメラのマスクと画像センサとの位置関係が基準位置にある場合に、レンズレスカメラの光軸前方の１つの点光源の撮影によって取得されると推定されるシミュレーション画像を入力し、
    前記シミュレーション画像に対する補正処理を行い、前記撮影画像との差分が小さくなる補正シミュレーション画像を選択し、前記補正シミュレーション画像に適用した補正データに基づいて、前記レンズレスカメラにおける画像復元処理に適用可能なカメラ固有データを生成するキャリブレーション処理を実行する画像処理方法。

Images