JP5198500B2 - 信号処理装置及びプログラム - Google Patents

Description

本発明は、画像、音声等の信号処理装置及びプログラムに関し、特に、高品質な信号を生成する技術に関する。

従来、画像処理の分野において、低解像の画像から高解像の画像を復元または推定する手法として、低解像画像の画素間を内挿補間することにより、高解像画像を生成する手法が知られている。この手法では、内挿処理を行う補間フィルタまたは後処理を行うフィルタに、高域強調特性を持たせることにより、画像信号の先鋭感を向上させることができる。

また、画像の局所的な輝度パターン構造（例えば、エッジ、直線、フラクタル性）に着目した１枚超解像方式により、高解像画像を生成する手法が知られている（特許文献１を参照）。この手法は、非線形のフィルタ（方向性フィルタ等）を用いて、高解像画像を生成するものである。具体的には、原画像信号から抽出した大域的なエッジ構造に対応する骨格成分、及び微細な振動成分に対応するテクスチャ成分のそれぞれに最適な補間処理を施す。これにより、高精細な補間処理を実現することができ、エッジ部分の高周波成分を仮想的に生成することができる。

また、動画像信号に対し、フレーム間の局所的な画像相関を少数画素位置精度で求め、動き補償を行いながら画像を重ね合わせる複数枚超解像方式により、高解像画像を生成する手法も知られている（特許文献２）。この手法によれば、超解像処理の高速化を実現することができると共に、折り返し歪みを打ち消し、エッジ部分の高周波成分を生成することができる。

また、前述の１枚超解像方式及び複数枚超解像方式による手法等において、画像の信号特性に対するコスト関数である正則化項を導入することにより、低解像画像から高解像画像を推定するという不良設定問題を解決する手法も知られている。例えば、トータルバリエーション正則化の最適化問題を、繰り返し演算によって解決する手法がある（非特許文献１）。

特開２００９−１３０６３２号公報 特開２００６−３０９６４９号公報

Sina Farsiu, M. Dirk Robinson, Michael Elad, and Peyman Milanfar, "Fast and Robust Multiframe Super Resolution," IEEE Transactions on Image Processing, Vol.13, No.10, pp.1327-1344, October 2004.

しかしながら、前述の内挿補間による手法では、原理的にみて、低解像画像の信号のナイキスト周波数を超える高周波成分を再現または生成することはできない。仮に高域強調処理を行ったとしても、そもそも有効な信号成分が存在しないから、ナイキスト周波数を超える高周波成分を再現または生成することはできない。

また、１枚超解像方式による手法では、例えば、画像の局所領域がエッジであるのか平坦であるのかについての判定を、輝度パターンに応じた場合分けにより行うが、場合分けの切り替わりによって不自然な歪みが生じてしまう可能性がある。また、場合分けの条件及び閾値等についての統一的な指針がないから、その設計は困難であり、１枚超解像方式による手法を容易に実現することができないという問題があった。

また、トータルバリエーション正則化による手法では、画像ぼけ、標本化等の物理的な過程をコスト関数として明確に定義することが可能であるから、設計は容易であるが、この最適化問題は非線形であるため、繰り返し演算等の計算負荷が高いという問題があった。

このように、画像処理の分野では、信号の分解能を向上させるため、低解像画像から高解像画像を生成する際に、画像の品質が劣化したり、計算負荷が高かったり等の様々な問題があった。また、音声処理の分野においても、低品質な音声から高品質な音声を生成する際に、画像処理の分野と同様の問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、信号の分解能を向上させる際に、演算の高速化を実現し、高品質な信号を生成することが可能な信号処理装置及びプログラムを提供することにある。

前記課題を解決するため、請求項１の発明は、低分解能の信号から高分解能の信号を生成する信号処理装置において、前記高分解能の信号に対する複数の候補を仮説群として保持すると共に、前記候補に対する重みを重み群として保持する保持手段と、前記保持手段に保持された仮説群を状態遷移させ、新たな仮説群を生成する状態遷移手段と、前記状態遷移手段により生成された新たな仮説群を、前記低分解能の信号と同じ分解能の観測信号に変換する観測変換手段と、前記観測変換手段により変換された観測信号と前記低分解能の信号とを比較し、信号間の類似度を尤度として演算する尤度演算手段と、前記尤度演算手段により演算された尤度に基づいて前記重み群を更新し、前記新たな仮説群に対する新たな重み群を生成する観測更新手段と、前記状態遷移手段により生成された新たな仮説群、及び前記観測更新手段により更新された新たな重み群に基づいて、前記新たな仮説群における仮説の代表値を、前記高分解能の信号として演算する代表値演算手段と、を備えることを特徴とする。

請求項１の発明によれば、状態遷移手段により仮説が状態遷移し、尤度演算手段及び観測更新手段により、低分解能の信号に整合する仮説の重みが大きくなる。これにより、低分解能の信号に整合する仮説から高分解能の信号を生成することができる。また、処理の効率化を図ることができ、従来のように繰り返し演算に伴った計算負荷の高い処理を行う必要がない。

また、請求項２の発明は、請求項１に記載の信号処理装置において、前記状態遷移手段が、前記仮説群の仮説を構成する各信号点の信号値を所定規則に基づき変化させ、新たな仮説群を生成する、ことを特徴とする。

請求項２の発明によれば、低分解能の信号から高分解能の信号を生成する際に、低分解能の信号を構成する信号点の信号値の影響を十分に受け、信号値がさほどばらつかないようにする正則化を実現することができる。

また、請求項３の発明は、請求項２に記載の信号処理装置において、前記状態遷移手段は、前記仮説群の仮説を構成する各信号点の信号値に対し、隣接する信号点の勾配の絶対値の和を示すトータルバリエーションの値が小さくなるように、新たな仮説群を生成する、ことを特徴とする。

請求項３の発明によれば、トータルバリエーションによる正則化を実現するようにしたから、信号エッジの劣化を少なくした高分解能の信号を生成することができる。

また、請求項４の発明は、請求項３に記載の信号処理装置において、前記状態遷移手段が、前記仮説群の仮説を構成する信号における注目点の信号値、及び前記注目点から所定範囲内の信号点の信号値により演算されるトータルバリエーションの値が、前記注目点の信号値を変更したときに小さくなるように規定した確率密度関数を用いて、前記仮説群を状態遷移させ、新たな仮説群を生成する、ことを特徴とする。

請求項４の発明によれば、トータルバリエーションによる正則化を実現する確率密度関数の確率密度分布モデルを利用するから、信号の微小な局所領域からトータルバリエーション値の変化を把握することができ、演算の高速化を図ることができる。

また、請求項５の発明は、請求項１から４までのいずれか一項に記載の信号処理装置において、前記信号を静止画像の信号とし、前記状態遷移手段、観測変換手段、尤度演算手段及び観測更新手段により、新たな仮説群及び新たな重み群が、所定回数の繰り返し処理にて生成される、ことを特徴とする。

請求項５の発明によれば、低分解能の静止画像から高分解能の静止画像を、効率的に生成することができる。

また、請求項６の発明は、請求項１から４までのいずれか一項に記載の信号処理装置において、前記信号を、複数フレームにより構成される動画像の信号とし、前記状態遷移手段、観測変換手段、尤度演算手段及び観測更新手段により、新たな仮説群及び新たな重み群が、前記フレーム毎に、または、前記フレームにおいて所定回数の繰り返し処理にて生成される、ことを特徴とする。

請求項６の発明によれば、時々刻々形状の変化する動画像を状態遷移により予測することができ、低分解能の動画像から高分解能の動画像を、効率的にかつ動画像内の物体の動きに即して生成することができる。

さらに、請求項７の発明は、コンピュータを、請求項１から６までのいずれか一項に記載の信号処理装置として機能させるための信号処理プログラムにある。

請求項７の発明によれば、仮説が状態遷移し、低分解能の信号に整合する仮説の重みが大きくなる。これにより、低分解能の信号に整合する仮説から高分解能の信号を生成することができる。また、処理の効率化を図ることができ、従来のように繰り返し演算に伴った計算負荷の高い処理を行う必要がない。

以上のように、本発明によれば、信号の分解能を向上させる際に、演算の高速化を実現し、高品質な信号を生成することができる。

本発明の実施形態による信号処理装置の全体構成を示すブロック図である。 信号処理装置の動作を説明するフロー図である。 補間フィルタのタップ係数の例を示す図である。 トータルバリエーションによる正則化を実現する確率密度関数を説明する図である。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。
〔信号処理装置の構成〕
まず、本発明の実施形態による信号処理装置の全体構成について説明する。図１は、信号処理装置１の全体構成を示すブロック図である。この信号処理装置１は、切替手段１０−１，１０−２、初期化手段２０、代表値演算手段３０、ラッチ手段（保持手段）４０、状態遷移手段５０、観測値予測手段（観測変換手段）６０、尤度演算手段７０、観測更新手段８０及び再標本化手段９０を備えて構成される。信号処理装置１は、画像信号を対象にしており、画像の品質を向上させるための超解像方式の処理を行う。信号処理装置１は、低解像画像ｙ及び初期化信号を入力し、超解像方式の処理によって、低解像画像ｙから超解像画像ｓを生成し出力する。超解像画像ｓは、低解像画像ｙよりも分解能（解像度）の高い高品質な高解像画像である。

以下、超解像画像ｓを生成するために内部的に保持する画像群を仮説群と呼び、仮説群を構成する仮説の個数をＮ個（Ｎは自然数）とし、各仮説（画像）をｘ^（ｎ）（ｎは０以上Ｎ未満の整数）、仮説群を｛ｘ^（ｎ）｝とする。低解像画像ｙ、超解像画像ｓ、仮説ｘ^（ｎ）は、画像を構成する全画素の画素値（グレースケール画像においては輝度のスカラー値、カラー画像または多バンド画像においては各色成分または各波長成分の輝度値を所定の順序で並べたベクトル値）をベクトル（列ベクトル）（以下、画像ベクトルという。）として、所定の順序で並べることにより表現する。画像ベクトルにおいて、画素値を並べる順序は任意であり、例えば、ラスタ走査の順序とする。

また、画像座標をｐ＝［ｕ，ｖ］^Ｔとする。ｕは水平座標、ｖは垂直座標である。画像座標ｐにおける低解像画像ｙの画素値をｙ（ｐ）、超解像画像ｓの画素値をｓ（ｐ）、仮説ｘ^（ｎ）の画素値をｘ^（ｎ）（ｐ）とする。例えば、低解像画像ｙが幅Ｌ_ｘ及び高さＬ_ｙの画像であり、画像ベクトルにおける画素値の並びが、画像の左上画素から右下画素へ至るラスタ走査の順序である場合、低解像画像ｙは、以下の式で表される。

切替手段１０−１は、低解像画像ｙ及び初期化信号を入力し、超解像方式の処理を初期化するための真の値の初期化信号を入力した場合、入力した低解像画像ｙを初期化手段２０に出力し、超解像方式の処理を行うための偽の値の初期化信号を入力した場合、入力した低解像画像ｙを尤度演算手段７０に出力する。

切替手段１０−２は、初期化手段２０からの出力信号、観測更新手段８０からの出力信号、及び初期化信号を入力し、真の値の初期化信号を入力した場合、初期化手段２０からの出力信号を代表値演算手段３０及び再標本化手段９０に出力し、偽の値の初期化信号を入力した場合、観測更新手段８０からの出力信号を代表値演算手段３０及び再標本化手段９０に出力する。

初期化手段２０は、超解像方式の処理を初期化するために、低解像画像ｙを入力し、低解像画像ｙよりも高分解能な画像であるＮ個の仮説ｘ^（ｎ）（超解像画像ｓの候補）及びＮ個の重みｗ^（ｎ）を生成し、仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を代表値演算手段３０及び再標本化手段９０に出力する。

代表値演算手段３０は、初期化手段２０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、または、観測更新手段８０から予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を入力し、重みｗ^（ｎ）を用いて仮説ｘ^（ｎ）の代表値を演算し、この代表値を超解像画像ｓとして出力する。

ラッチ手段４０は、後述する再標本化手段９０により再標本化（再構成）された新たな仮説群｛ｘ^（ｎ）｝及び新たな重み群｛ｗ^（ｎ）｝を入力し、一時的に保持して状態遷移手段５０に出力する。

状態遷移手段５０は、ラッチ手段４０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、確率密度関数Ｐを用いて、次のサイクルまたは次の時刻（フレーム）の仮説群を予測し、予測仮説群｛ｘ^（ｎ）｝として観測値予測手段６０に出力すると共に、予測仮説群｛ｘ^（ｎ）｝及び入力した重み群｛ｗ^（ｎ）｝を観測更新手段８０に出力する。確率密度関数Ｐとしては、例えば、トータルバリエーションの値が小さくなる仮説を生成しやすい関数、または、画像が移動し、変形し、ぼけやぶれを生じ、輝度が変化し、雑音等が付与される過程を定式化した関数が用いられる。この確率密度関数Ｐは、低解像画像から高解像画像を生成する際に、低解像画像を構成する画素値の影響を十分に受け、画素値がさほどばらつかないようにする、いわゆる正則化を実現するための関数である。確率密度関数Ｐの詳細については後述する。

観測値予測手段６０は、状態遷移手段５０から予測仮説群｛ｘ^（ｎ）｝を入力し、画像劣化過程を模擬する観測関数ｈを用いて、高解像画像である仮説ｘ^（ｎ）から低解像画像である観測予測値ｚ^（ｎ）を予測し、観測予測値ｚ^（ｎ）を尤度演算手段７０に出力する。

尤度演算手段７０は、観測値予測手段６０から観測予測値ｚ^（ｎ）を入力すると共に、低解像画像ｙ（状態遷移手段５０において予測された仮説群｛ｘ^（ｎ）｝のサイクルまたは時刻（フレーム）に対応した低解像画像ｙ）を入力し、観測予測値ｚ^（ｎ）と低解像画像ｙとを比較し、画像間の類似性を定量化して尤度Ｌ^（ｎ）を演算し、観測更新手段８０に出力する。尤度Ｌ^（ｎ）は、画像間の類似性が高いほど大きな値となる。

観測更新手段８０は、尤度演算手段７０から尤度Ｌ^（ｎ）を入力すると共に、状態遷移手段５０から予測仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、尤度Ｌ^（ｎ）に基づいて重みｗ^（ｎ）を更新し、予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を代表値演算手段３０及び再標本化手段９０に出力する。

再標本化手段９０は、初期化手段２０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、または、観測更新手段８０から予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を入力し、重みｗ^（ｎ）に基づいて、仮説ｘ^（ｎ）を複製または削除し、新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝に再標本化してラッチ手段４０に出力する。

〔信号処理装置の動作〕
次に、図１に示した信号処理装置１の動作について説明する。図２は、信号処理装置１の動作を説明するフロー図である。図２では、信号処理装置１が入力する低解像画像ｙを、フレーム番号ｔ＝０，１，．．．，Ｔの動画像とし、信号処理装置１は、超解像方式の処理として、低解像画像ｙを構成するフレーム毎に、１回の処理サイクルにて超解像画像ｓを生成し出力するものとする。

まず、信号処理装置１は、入力した低解像画像ｙについてフレーム番号ｔ＝０に設定する（ステップＳ１）。そして、信号処理装置１の初期化手段２０は、入力した低解像画像ｙにおけるフレーム番号ｔ＝０のフレーム（フレーム０）に基づいて、初期仮説として仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を生成する（ステップＳ２）。

再標本化手段９０は、重みｗ^（ｎ）に基づいて仮説ｘ^（ｎ）を複製または削除し、新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝に再標本化する（ステップＳ３）。再標本化された新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝はラッチ手段４０に出力され、保持される。そして、信号処理装置１は、フレーム番号ｔをインクリメント（ｔ＝ｔ＋１）する（ステップＳ４）。

状態遷移手段５０は、ラッチ手段４０により保持された仮説群｛ｘ^（ｎ）｝を入力し、確率密度関数Ｐを用いて仮説群｛ｘ^（ｎ）｝を状態遷移させ、ステップＳ４においてインクリメントされた新たなフレーム番号ｔの仮説群を予測し、予測仮説群｛ｘ^（ｎ）｝を生成する（ステップＳ５）。そして、観測値予測手段６０は、状態遷移手段５０により生成された予測仮説群｛ｘ^（ｎ）｝を、観測関数ｈを用いた観測式へ代入し、低解像画像である観測予測値ｚ^（ｎ）を予測する（ステップＳ６）。

尤度演算手段７０は、観測値予測手段６０により生成されたフレーム番号ｔの観測予測値ｚ^（ｎ）と、低解像画像ｙにおけるフレーム番号ｔのフレームとを比較し、画像間の類似性を定量化して尤度Ｌ^（ｎ）を演算する（ステップＳ７）。

観測更新手段８０は、尤度演算手段７０により演算された尤度Ｌ^（ｎ）に基づいて重みｗ^（ｎ）を更新する（ステップＳ８）。

代表値演算手段３０は、ステップＳ５において生成された予測仮説群｛ｘ^（ｎ）｝及びステップＳ８において更新された更新重み群｛ｗ^（ｎ）｝から、重みｗ^（ｎ）を用いて仮説ｘ^（ｎ）の代表値を演算し、この代表値を超解像画像ｓとして出力する（ステップＳ９）。

信号処理装置１は、フレーム番号ｔが最終のフレーム番号Ｔに等しいか否か（ｔ＝Ｔ）を判定する（ステップＳ１０）。すなわち、低解像画像ｙにおける全てのフレーム（フレーム番号ｔ＝０，１，．．．，Ｔ）の処理が完了したか否かを判定する。信号処理装置１は、ステップＳ１０において、ｔ＜Ｔであると判定した場合（ステップＳ１０：Ｎ）、すなわち、低解像画像ｙにおける全てのフレームの処理が完了していないと判定した場合、ステップＳ３へ移行し、次のフレームの処理（ステップＳ３〜ステップＳ９）を行う。一方、信号処理装置１は、ステップＳ１０において、ｔ＝Ｔであると判定した場合（ステップＳ１０：Ｙ）、すなわち、低解像画像ｙにおける全てのフレームの処理が完了したと判定した場合、処理を終了する。

信号処理装置１は、図２に示したステップＳ３〜ステップＳ１０の一連の処理単位である現処理サイクルより前の処理サイクルにおいて生成した内部状態（再標本化された新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝）をラッチ手段４０に保持する。そして、信号処理装置１は、ラッチ手段４０に保持した内部状態を参照しながら、逐次的な処理を行い、現処理サイクルにおける超解像画像ｓを生成する。

このように、信号処理装置１は、低解像画像ｙがフレーム番号ｔ＝０，１，・・・，Ｔの動画像である場合、図２に示した超解像方式の処理を行い、低解像画像ｙを構成するフレーム毎に１回の処理サイクルにて、超解像画像ｓを生成し出力する。

ここで、図２に示したステップＳ３〜ステップＳ１０の処理サイクルは、物理的な時刻に連動したものであっても、連動しないものであっても、それらを組み合わせたものであっても構わない。

処理サイクルが物理的な時刻に連動する場合には、信号処理装置１は、例えば、図２に示したフロー図のように、動画像である低解像画像ｙを入力し、動画像を構成するフレーム（静止画像）の更新と共に処理サイクルを一巡させることにより、超解像方式の処理を実現する。

また、処理サイクルが物理的な時刻に連動しない場合には、信号処理装置１は、例えば、静止画像である低解像画像ｙを入力し、１回以上の処理サイクルを繰り返し、この繰り返し演算を所定回数にて収束させることにより、または、繰り返し演算を行っても超解像画像ｓの差が所定値以内となったときに収束させることにより、超解像方式の処理を実現する。この場合、図２に示したフロー図において、尤度演算手段７０は、観測値予測手段６０により生成された観測予測値ｚ^（ｎ）と、静止画像である低解像画像ｙとを比較し、画像間の類似性を定量化して尤度Ｌ^（ｎ）を演算する。観測予測値ｚ^（ｎ）として、観測値予測手段６０によって処理サイクル毎に異なる値が生成されるが、尤度演算手段７０において比較される低解像画像ｙは、処理サイクルに関わらず同じ静止画像である。

さらに、処理サイクルが物理的な時刻に連動する場合と連動しない場合とを組み合わせた場合には、信号処理装置１は、動画像である低解像画像ｙを入力し、個々のフレームに対して１回以上の処理サイクルを繰り返し、繰り返し演算を収束させ、また、次の新たなフレームに対しても同様の繰り返し演算を行うことにより、超解像方式の処理を実現する。

次に、図１に示した信号処理装置１の切替手段１０−１，１０−２、初期化手段２０、代表値演算手段３０、ラッチ手段４０、状態遷移手段５０、観測値予測手段６０、尤度演算手段７０、観測更新手段８０及び再標本化手段９０の各構成手段について詳細に説明する。

〔切替手段〕
まず、図１に示した切替手段１０−１，１０−２について詳細に説明する。切替手段１０−１，１０−２は、初期化信号を入力し、初期化信号に従って互いに連動しながら、初期化信号の値に応じて出力先を変更する。

初期化信号は、通常は偽の値をとり、信号処理装置１による超解像方式の処理を初期化するタイミングで、例えば、信号処理装置１に低解像画像ｙが入力される最初のタイミングで真の値をとる。後述する初期化手段２０の初期化処理が完了したときに、偽の値になる。つまり、図示しない初期化信号生成手段は、信号処理装置１が低解像画像ｙを最初に入力したタイミングまたはその直前のタイミングで、真の値の初期化信号を切替手段１０−１，１０−２に出力する。また、初期化信号生成手段は、初期化手段２０による初期化処理が完了するタイミングを監視し、そのタイミングで、偽の値の初期化信号を切替手段１０−１，１０−２に出力する。

尚、初期化入力信号は、真偽の値を逆にしてもよい。また、初期化入力信号は、例えば、手動操作または外部に接続された装置による自動操作により、その値を変化させるようにしてもよい。例えば、信号処理装置１による超解像方式の処理を初期化するために、操作者（または外部の操作装置）が、高品質の超解像画像ｓが生成されないことを判断したとき等の必要性を判断したタイミングにて、初期化信号生成手段は、真の値の初期化信号を切替手段１０−１，１０−２に出力する。

切替手段１０−１は、真の値の初期化信号を入力した場合、超解像方式の処理を初期化するために、低解像画像ｙが入力される端子を初期化手段２０の入力端子に接続し、入力した低解像画像ｙを初期化手段２０に出力する。一方、偽の値の初期化信号を入力した場合、超解像方式の処理を行うために、低解像画像ｙが入力される端子を尤度演算手段７０の入力端子に接続し、入力した低解像画像ｙを尤度演算手段７０に出力する。

切替手段１０−２は、真の値の初期化信号を入力した場合、超解像方式の処理を初期化するために、初期化手段２０の出力端子を代表値演算手段３０及び再標本化手段９０の入力端子に接続し、入力した初期化手段２０の出力信号を代表値演算手段３０及び再標本化手段９０に出力する。一方、偽の値の初期化信号を入力した場合、超解像方式の処理を行うために、観測更新手段８０の出力端子を代表値演算手段３０及び再標本化手段９０の入力端子に接続し、観測更新手段８０の出力信号を代表値演算手段３０及び再標本化手段９０に出力する。

〔初期化手段〕
次に、図１に示した初期化手段２０について詳細に説明する。初期化手段２０は、超解像方式の処理を初期化するために、低解像画像ｙを入力し、低解像画像ｙよりも高分解能な画像である仮説ｘ^（ｎ）及び重みｗ^（ｎ）をそれぞれＮ個（Ｎは自然数）生成し、仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を代表値演算手段３０及び再標本化手段９０に出力する。ここで、ｎ＝０，１，．．．，Ｎ−１であり、仮説群｛ｘ^（ｎ）｝を構成する各仮説ｘ^（ｎ）は、全て同一の値（画像）であってもよいし、異なる値を含んでいてもよい。重みｗ^（ｎ）は、０以上の実数とする。例えば、初期化手段２０は、幅Ｌ_ｘ及び高さＬ_ｙの低解像画像ｙに対して補間処理を行い、幅Ｈ_ｘ及び高さＨ_ｙの仮説ｘ^（ｎ）を生成する。

初期化手段２０は、全て同一の値の仮説ｘ^（ｎ）を生成する場合、例えば、以下の式により、零次内挿にて仮説ｘ^（ｎ）を生成する。

前記式（２）において、以下の関数は、ｚより大きくない最大の整数（床関数により小数を丸めた数）を示す。

また、初期化手段２０は、全て同一の値の仮説ｘ^（ｎ）を生成する場合、例えば、以下の式により、補間フィルタａを用いて仮説ｘ^（ｎ）を生成する。

前記式（３）において、Ｚは整数環であり、Ｚ^２は２次元の格子点の集合を示す。また、ａ（ｐ）は、画像座標ｐにおける補間フィルタａのタップ係数である。演算子＊は、２次元の畳み込み演算を示す。

尚、前記式（２）の零次内挿は、前記式（３）の補間フィルタａにおいて、

としたものと等価である。

図３は、補間フィルタａのタップ係数ａ（ｐ）の例を示す図である。この例は、タップ係数ａ（ｐ）（ｐ＝［ｕ，ｖ］^Ｔ）を６５５３６倍したものを、水平座標ｕ及び垂直座標ｖについて表したものであり、太枠内の数値を６５５３６で除した結果がタップ係数となる。尚、図３に示した水平座標ｕ及び垂直座標ｖ以外の画像座標［ｕ，ｖ］^Ｔ（格子点以外の点、｜ｕ｜＞３または｜ｖ｜＞３）については、全てのタップ係数が０であるものとする。

また、初期化手段２０は、全てが同一の値ではない仮説ｘ^（ｎ）を生成する場合、例えば、前記式（３）に雑音ｅを付加し、仮説ｘ^（ｎ）を生成する。雑音ｅが加法性の特性を有するときは、以下の式により仮説ｘ^（ｎ）を生成する。

尚、雑音ｅ（ｐ）は、画像座標ｐ毎及び仮説ｘ^（ｎ）毎に、ある確率過程に基づいて生成され、画像座標ｐ毎及び仮説ｘ^（ｎ）毎には必ずしも同一の値をとらない。

例えば、雑音ｅは、以下式のように、平均０、分散σ^２のガウス雑音としてもよい。

また、初期化手段２０は、全てが同一の値ではない仮説ｘ^（ｎ）を生成する場合、例えば、仮説ｘ^（ｎ）毎に、補間方法を変えて仮説ｘ^（ｎ）を生成する。具体的には、初期化手段２０は、仮説ｘ^（ｎ）毎に、前記式（３）または前記式（４）における補間フィルタａとして別のもの（すなわち、タップ係数の異なるもの）を用いて、仮説ｘ^（ｎ）を生成する。

一方、初期化手段２０は、仮説ｘ^（ｎ）毎に、０以上の実数を重みｗ^（ｎ）として生成する。尚、初期化手段２０は、仮説ｘ^（ｎ）毎に、重みｗ^（ｎ）をランダムに生成するようにしてもよいし、異なる値の重みｗ^（ｎ）を生成するようにしてもよい。また、初期化手段２０は、全ての仮説ｘ^（ｎ）に対し、以下の式により、同一の値の重みｗ^（ｎ）を生成するようにしてもよい。

〔代表値演算手段〕
次に、図１に示した代表値演算手段３０について詳細に説明する。代表値演算手段３０は、初期化手段２０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、または、観測更新手段８０から予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を入力し、重みｗ^（ｎ）を用いて仮説ｘ^（ｎ）の代表値を演算し、この代表値を超解像画像ｓとして出力する。

代表値演算手段３０は、例えば、以下の式により重み付き平均を演算し、仮説ｘ^（ｎ）の代表値を求める。

尚、代表値演算手段３０は、仮説群｛ｘ^（ｎ）｝の中から、重みｗ^（ｎ）が最大である仮説ｘ^（ｎ）を代表値として求めるようにしてもよい。また、代表値演算手段３０は、仮説群｛ｘ^（ｎ）｝をクラスタリングし、クラスタリングした複数のクラスタから、重みｗ^（ｎ）の和が最大となるクラスタを求め、そのクラスタに属する仮説ｘ^（ｎ）のみについて、重み付き平均を演算し、演算結果を仮説ｘ^（ｎ）の代表値とするようにしてもよい。

〔ラッチ手段〕
ラッチ手段４０は、再標本化手段９０により再標本化（再構成）された新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝を入力し、一時的に保持して状態遷移手段５０に出力する。

〔状態遷移手段５０〕
次に、図１に示した状態遷移手段５０について詳細に説明する。以下、時刻ｔの第ｃサイクル（ｃ∈｛０，１，．．．，Ｃ_ｔ−１｝、Ｃ_ｔは自然数）における仮説及び重みを、ｘ_ｔ，ｃ ^（ｎ）及びｗ_ｔ，ｃ ^（ｎ）とする。各時刻ｔにおいては、サイクルが合計Ｃ_ｔ回存在するものとする。また、前述したように、処理サイクルが物理的な時刻に連動しない場合は、ｔを固定し、ｃのみが計数されるよう動作させればよい。一方、前述したように、処理サイクルが時刻に連動する場合は、ｃ＝０に固定したまま（すなわちＣ_ｔ＝１）、ｔのみが計数されるよう動作させればよい。

状態遷移手段５０は、ラッチ手段４０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、次のサイクルまたは次の時刻（フレーム）の仮説群を予測し、予測仮説群｛ｘ^（ｎ）｝として観測値予測手段６０に出力すると共に、予測仮説群｛ｘ^（ｎ）｝及び入力した重み群｛ｗ^（ｎ）｝をそのまま観測更新手段８０に出力する。具体的には、状態遷移手段５０は、ラッチ手段４０から時刻ｔ、サイクルｃにおける仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝及び重み群｛ｗ_ｔ，ｃ ^（ｎ）｝を入力し、仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から時刻ｔ、サイクルｃ＋１における仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝、または、時刻ｔ＋１、サイクル０における仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を、所定の確率密度関数Ｐを用いて予測する。そして、状態遷移手段５０は、予測した仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝または仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を観測値予測手段６０に出力し、仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝または仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝と共に、入力した重み群｛ｗ_ｔ，ｃ ^（ｎ）｝を観測更新手段８０に出力する。以下、確率密度関数Ｐを用いた状態遷移による予測演算について詳細に説明する。

（仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝を予測する場合）
まず、時刻ｔ、サイクルｃにおける仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から、時刻ｔ、サイクルｃ＋１における仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝を予測する場合について説明する。サイクルｃがｃ＜Ｃ_ｔ−１であるとき（かつ、時刻ｔにおいて出力すべき超解像画像ｓが収束に至っていないとき）には、状態遷移手段５０は、時刻ｔ、サイクルｃ＋１における仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝を予測する。

サイクルｃからｃ＋１へ増加するときの仮説群の更新（状態遷移）を式（９）により定義する。

ここで、Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）は、仮説ｘ_ｔ，ｃが与えられたときに、次サイクルｃ＋１における仮説ｘ_{ｔ，ｃ＋１}のとる確率密度関数をモデル化したものである。

ここで、確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）は、サイクルｃの増加と共に、仮説ｘが画像として過剰に複雑な画素値パターンとならないように、静定させる機能を有する関数を用いる。つまり、仮説ｘの画素値が所定規則に基づき変化するような確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）を用いる。例えば、確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）として、画像のトータルバリエーション（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）の値が小さくなる仮説ｘ_{ｔ，ｃ＋１}を生成し易い関数を用いる。すなわち、画像のトータルバリエーションの値が小さくなるように、元の仮説ｘ_ｔ，ｃを状態遷移させて次のサイクルの仮説ｘ_{ｔ，ｃ＋１}を生成する関数を用いる。ここで、トータルバリエーションとは、画像内の画素値における勾配（隣接画素間の画素値の差）の絶対値の和をいう。トータルバリエーションＶは、１次元の場合、以下の式で表される。

つまり、トータルバリエーションＶは、画素値が増加する区間についてはそのままの値を用い、画素値が減少する区間については符号を反転した値を用いて、それぞれの傾きを積分して得られた値である。

確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）としては、例えば、以下の式が用いられる。

式（１１）において、Ｒは仮説の画像内における全画素位置の集合である。第１項のｅｘｐ部は、水平方向の画素においてトータルバリエーションの値を小さくする式であり、第２項のｅｘｐ部は、垂直方向の画素においてトータルバリエーションの値を小さくする式であり、第３項のｅｘｐ部は、現在の画素値から極端に変化させないようにする式である。また、Λ関数は、台形の特性を、富士山型のように裾広がりの特性に変換する関数である。つまり、台形の傾斜部の直線を裾広がりの曲線に変換する。このような確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）を用いることにより、仮説ｘ_ｔ，ｃを構成する所定の注目点の画素値、及び、その注目点から所定範囲内の信号点の画素値により演算されるトータルバリエーションの値が、注目点の画素値を変更したときに小さくなるように、新たな仮説ｘ_{ｔ，ｃ＋１}が生成される。

図４は、トータルバリエーションによる正則化を実現する確率密度関数を説明する図である。図４に示すように、確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）の特性は、第１項の特性、第２項の特性及び第３項の特性を、式（１１）により合成したものである。つまり、式（１１）に示した確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）により、画像のトータルバリエーションを低減化する正則化ノイズが生成される。

尚、カラー画像（または多バンド画像）等のように仮説の画素値がベクトル値をとる場合には、各色（または各バンド）成分に関して、それぞれ式（１１）を独立して適用する。

（仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を予測する場合）
次に、時刻ｔ、サイクルｃにおける仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から、時刻ｔ＋１、サイクル０における仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を予測する場合について説明する。サイクルｃがｃ＝Ｃ_ｔ−１であるとき（または、時刻ｔにおいて出力すべき超解像画像が収束に至ったとき）には、状態遷移手段５０は、時刻ｔ＋１、サイクル０における仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を予測する。

このときの仮説群の更新（状態遷移）を以下の式により定義する。

ここで、前記式（１２）の確率密度関数Ｐは、仮説

が与えられたときに、次時刻における仮説ｘ_{ｔ＋１，０}のとる確率密度関数をモデル化したものである。

また、確率密度関数Ｐは、時刻ｔの増加と共に、仮説ｘの表す画像が移動し、変形し、ぼけやぶれを生じ、輝度が変化し、雑音が付与される過程を定式化したものとする。例えば、正規分布Ｎにより次式とすることができる。

式（１３）では、まず、仮説

を関数φにより変換する。Σは共分散行列である。つまり、式（１３）は、関数φの変換結果を平均値にもつ正規分布の確率密度となる。すなわち、式（１２）により生成される仮説ｘ_{ｔ＋１，０}は、平均が

共分散行列がΣのガウス雑音である。

関数φの定め方について例示する。関数φは、画像の移動、変形等の演算を合成して表現した関数である。すなわち、関数φは、以下の式のように、Ｍ個（Ｍは自然数）の関数φ_０乃至φ_Ｍ−１の合成関数として表現することができる。

ここで、各φ_ｍ（ｍは０以上Ｍ未満の整数）には、例えば、画像の移動、変形、輝度の変化等の各変換機能が与えられる。

例えば、関数φ_ｍが画像の移動を表現する関数である場合には、以下の式のように、平均０、共分散行列Σ_ｖの２次元正規分布に従う動きベクトルｖにより画像が移動する。

また、関数φ_ｍが画像のアフィン変換を表現する関数である場合には、以下の式のように、平均０、共分散行列Σ_ａの６次元正規分布に従うアフィンパラメータにより画像が変形する。

さらに、関数φ_ｍが画像の輝度オフセットを表現する関数である場合には、以下の式のように、平均０、分散行列σ_ω ^２の１次元正規分布に従う輝度オフセットにより画像が生成される。

このように、状態遷移手段５０は、トータルバリエーションの値が小さくなる仮説ｘ_{ｔ，ｃ＋１}を生成しやすい確率密度関数Ｐを用いて、仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝を予測する。また、状態遷移手段５０は、画像が移動し、変形し、ぼけやぶれを生じ、輝度が変化し、雑音等が付与される過程を定式化した確率密度関数Ｐを用いて、仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝を予測する。

（観測値予測手段６０）
次に、図１に示した観測値予測手段６０について詳細に説明する。観測値予測手段６０は、状態遷移手段５０から予測仮説群｛ｘ^（ｎ）｝（仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝または仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝）を入力し、高解像画像である仮説ｘ^（ｎ）から低解像画像である観測予測値ｚ^（ｎ）を予測し、観測予測値ｚ^（ｎ）を尤度演算手段７０に出力する。観測値予測手段６０には、高解像画像から低解像画像を生成する過程（以下、観測という。）の処理手段が実装されており、観測値予測手段６０は、例えば、高解像画像に対し、ぶれ、標本化、量子化等による画像劣化過程を模擬することにより、観測を実行し、低解像画像を生成する。

観測による変換演算を関数ｈ（以下、観測関数）とすると、観測値予測手段６０は、各仮説画像ｘ^（ｎ）に対して観測を実行し、その結果を観測予測値ｚ^（ｎ）＝ｈ（ｘ^（ｎ））として生成する。

観測関数ｈは、複数の要因（ぼけ、ぶれ、標本化、量子化等）の合成関数としてもよい。例えば、観測関数ｈがＪ個（Ｊは自然数）の要因からなり、そのｊ番目（ｊは０以上Ｊ未満の整数）の要因が関数ｈ_ｊである場合には、以下の式により表される。

例えば、関数ｈ_ｊがぼけまたはぶれを表す関数である場合、その点の拡がり関数ｓ（定義域を領域Ｃとおく）との畳み込み演算（演算子＊）を行うものとして、以下の式により演算される。

点拡がり関数ｓとしては、例えば、以下の式に示すガウシアンカーネルが用いられる。

とする。ここで、Σ_ｑ ^−１は２行２列の共分散行列である。また、定義域Ｃは、半径Ｒの円内（円周を含む）として定義される。

ここで、｜｜ｑ｜｜はベクトルｑのノルムを示し、Ｚは整数環を示す。ノルムとしては、例えば、ユークリッドノルム（Ｌ_２ノルム）、マンハッタンノルム（Ｌ_１ノルム）、チェビシェフノルム（Ｌ_∞ノルム）等が用いられる。例えば、半径をＲ＝１、ノルムをチェビシェフノルムとすると、３画素×３画素の矩形の畳み込みカーネルとなる。

また、関数ｈ_ｊが標本化を表す関数である場合、例えば、２行２列の行列Ｓと２次元の列ベクトルｕとを用いて、以下の式により演算される。

ここで、行列Ｓは標本化格子の標本化間隔及びシアーを決定する行列である。例えば、行列Ｓとして、対角行列Ｓ＝ｄｉａｇ（Ｓ_ｘ，Ｓ_ｙ）を用いると、水平方向に間隔Ｓ_ｘ、垂直方向に間隔Ｓ_ｙの標本化格子となる。一方、ベクトルｕは、標本化格子の標本化位相を決定するベクトルである。このベクトルにより、標本化の開始点（原点）の位置は、画像ｘ_ｉｎ上における画像座標ｕとなる。

例えば、水平方向にＳ_ｘ、垂直方向にＳ_ｙの間隔で、かつ、ｘ_ｉｎ上における標本化の原点を（ｕ_ｘ，ｕ_ｙ）とする場合には、行列Ｓ及び画像座標ｕは、以下の式で表される。

尚、式（２２）において、Ｓｐ＋ｕが格子点上に存在しない可能性がある場合には、式（２２）の代わりに、以下の式を用いて演算するようにしてもよい。

ここで、関数Ｑ（ｐ）は、画像座標ｐに最も近い格子点の画像座標を出力する関数である。

また、関数ｈ_ｊが画素値の輝度変換または量子化を表す関数である場合、例えば、以下の式により演算される。

ここで、関数

は、入出力間の輝度変換または量子化を表す関数である。

例えば、ガンマ値がγのガンマ補正は、以下の式で表される。

ここで、Ｘ_０及びＸ_１は、それぞれ画素値（輝度値）の最小値（黒レベル）及び最大値（白レベル）である。

また、量子化は、以下の式により表される。

ここで、Ψは量子化ステップ、ωは量子化の際の丸めの方法を決めるオフセットである。例えば、量子化ステップ２にて四捨五入による量子化を行う場合には、Ψ＝２，ω＝１とすればよい。

このように、観測値予測手段６０は、ぶれ、標本化、量子化等の画像劣化過程を模擬した観測関数ｈを用いて、高解像画像である仮説ｘ^（ｎ）から低解像画像である観測予測値ｚ^（ｎ）を予測する。

（尤度演算手段７０）
次に、図１に示した尤度演算手段７０について詳細に説明する。尤度演算手段７０は、観測値予測手段６０から観測予測値ｚ^（ｎ）を入力すると共に、低解像画像ｙ（状態遷移手段５０において予測された仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝または仮説群｛ｘ_{ｔ＋１，０} ^（ｎ）｝のサイクルまたは時刻（フレーム）に対応した低解像画像ｙ）を入力する。そして、尤度演算手段７０は、観測予測値ｚ^（ｎ）と低解像画像ｙとを比較し、画像間の類似性を定量化して尤度Ｌ^（ｎ）を演算し（画像間の類似度を演算して尤度Ｌ^（ｎ）とし、）、観測更新手段８０に出力する。

尤度Ｌ^（ｎ）は、観測予測値ｚ^（ｎ）と低解像画像ｙとの間の距離ｄ^（ｎ）に基づいて演算されるようにしてもよく、例えば、以下の式により、尤度Ｌ^（ｎ）を距離ｄ^（ｎ）の指数関数にて定義する。

ここで、σ_Distanceは、距離に対する尤度の下がり具合を決めるための正の定数である。

距離ｄ^（ｎ）は、例えば、観測予測値ｚ^（ｎ）と低解像画像ｙとの間のＬ_ｋノルムにより演算される。

式（２９）の下付きのｋは、Ｌ_ｋノルムのｋであり、ｋ＝０のときハミング距離、ｋ＝１のときマンハッタン距離、ｋ＝２のときユークリッド距離、ｋ＝∞のときチェビシェフ距離となる。

また、距離ｄ^（ｎ）は、観測予測値ｚ^（ｎ）と低解像画像ｙとの間のマハラノビス距離により演算される。

ここで、Σ_Mahalanobisは、マハラノビス距離を計算するための共分散行列である。Σ_Mahalanobisを単位行列とすると、尤度Ｌ^（ｎ）は、観測予測値ｚ^（ｎ）と低解像画像ｙとの間のユークリッド距離になる。また、Σ_Mahalanobisを対角行列とし、各対角要素に、対応する画素位置への分散値を設定すると、分散が小さく設定された画素ほど、尤度Ｌ（ｎ）に大きく影響を与えることができる。

このように、尤度演算手段７０は、観測予測値ｚ^（ｎ）と低解像画像ｙとを比較し、画像間の類似性を定量化して尤度Ｌ^（ｎ）を演算する。尤度Ｌ^（ｎ）は、画像間の類似性が高いほど大きい値になる。

（観測更新手段８０）
次に、図１に示した観測更新手段８０について詳細に説明する。観測更新手段８０は、尤度演算手段７０から尤度Ｌ^（ｎ）を入力すると共に、状態遷移手段５０から、予測仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力する。そして、観測更新手段８０は、各仮説ｘ^（ｎ）に対する尤度Ｌ^（ｎ）に基づいて重みｗ^（ｎ）を更新して新たな重みｗ_new ^（ｎ）を求め、予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を代表値演算手段３０及び再標本化手段９０に出力する。

新たな重みｗ_new ^（ｎ）は、例えば以下の式により求められる。

（再標本化手段９０）
次に、図１に示した再標本化手段９０について詳細に説明する。再標本化手段９０は、切替手段１０−２の切替えに応じて、最初の動作時に、初期化手段２０から仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を入力し、通常の動作時に、観測更新手段８０から予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝を入力する。そして、再標本化手段９０は、重みｗ^（ｎ）に基づいて、仮説ｘ^（ｎ）を複製または削除し、新たな仮説群｛ｘ_new ^（ｎ）｝及び新たな重み群｛ｗ_new ^（ｎ）｝に再標本化してラッチ手段４０に出力する。再標本化手段９０は、例えば、仮説ｘ^（ｎ）に関する確率密度分布Ｄ（ｘ）から標本を採り、以下の式により、新しい仮説ｘ_new ^（ｎ）を生成する。

ここで、δはディラックのデルタ関数である。前記式（３２）の標本抽出は、以下の手順で実行される。

まず、再標本化手段９０は、重みｗ^（ｋ）（ｋ＝０，１，．．．，Ｎ−１）を正規化し、かつ、ｋに関して累積した数列（α_ｋ）を、以下の式により定義する。

次に、再標本化手段９０は、以下の式のように、ｎ番目（ｎ＝０，１，．．．，Ｎ_new−１）（Ｎ_newは自然数。好ましくは、Ｎ_new＝Ｎとする。）の標本ｕ^（ｎ）を、０以上１未満の連続一様分布Ｕ［０，１）から抽出する。この標本抽出過程は、疑似乱数の取り得る値域に基づいて、擬似乱数を０以上１未満に正規化することで近似的に実現される。

そして、再標本化手段９０は、以下の式により、ｎ番目の新しい仮説ｘ_new ^（ｎ）を生成する。

一方、再標本化手段９０は、以下の式により、新しい重みｗ_new ^（ｎ）として一様な値を設定する。

尚、再標本化手段９０は、入力した仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝を再標本化することなく、そのまま出力するようにしてもよい。また、再標本化手段９０は、重みｗ^（ｎ）の大きな仮説ｘ^（ｎ）を単純に複製して新たな仮説ｘ_new ^（ｎ）を生成し、これらの重みｗ_new ^（ｎ）の総和が、元の仮説ｘ^（ｎ）の重みｗ^（ｎ）の総和に等しく（または近似的に等しく）なるように、再標本化してもよい。また、再標本化手段９０は、重みｗ^（ｎ）が所定の閾値以下になっている仮説ｘ^（ｎ）を削除してもよい。また、図１に示した信号処理装置１の構成において、再標本化手段９０自体が存在しなくてもよい。また、再標本化手段９０は、再構成の処理を毎回（毎処理サイクル）行ってもよいし、複数回に１回行ってもよい。また、仮説群｛ｘ^（ｎ）｝及び重み群｛ｗ^（ｎ）｝の数を変化させることなく再構成を行ってもよいし、その数を増やしても減らしてもよい。

以上のように、本発明の実施形態による信号処理装置１によれば、状態遷移手段５０が、トータルバリエーションの値が小さくなる仮説を生成しやすい確率密度関数Ｐ、または、画像が移動し、変形し、ぼけやぶれを生じ、輝度が変化し、雑音等が付与される過程を定式化した確率密度関数Ｐを用いて、次のサイクルまたは次の時刻（フレーム）の仮説群を予測し、予測仮説群｛ｘ^（ｎ）｝を生成するようにした。また、観測値予測手段６０が、画像劣化過程を模擬した観測関数ｈを用いて、予測仮説群｛ｘ^（ｎ）｝を低解像度化して観測予測値ｚ^（ｎ）を生成し、尤度演算手段７０が、観測予測値ｚ^（ｎ）と低解像画像ｙとを比較し、画像間の類似性が高いほど大きな値の尤度Ｌ^（ｎ）を演算して求め、観測更新手段８０が、尤度Ｌ^（ｎ）が大きい値ほど重みｗ^（ｎ）が大きくなるように、新たな重みｗ_new ^（ｎ）を求め、代表値演算手段３０が、予測仮説群｛ｘ^（ｎ）｝及び更新重み群｛ｗ^（ｎ）｝に基づいて代表値を演算し、超解像画像ｓとして出力するようにした。

この場合、状態遷移手段５０は、トータルバリエーション正則化等の確率過程を実装しており、従来のように繰り返し演算に伴った計算負荷の高い処理を行う必要がないから、高速化及び効率化を実現することができ、信号処理装置１を実時間処理の必要な機器に適用することができる。また、状態遷移手段５０、観測値予測手段６０、尤度演算手段７０及び観測更新手段８０は、仮説ｘ^（ｎ）毎に独立した演算を行うことができ、並列演算が可能であるから、並列演算チップとの相性がよく、機器への組み込みにも適している。したがって、低解像画像ｙの解像度を向上させて超解像画像ｓを生成する際に、演算の高速化及び効率化を実現することができると共に、高精細な超解像画像ｓを生成することができる。

また、本発明の実施形態による信号処理装置１によれば、前述した特許文献１の１枚超解像方式及び特許文献２の複数枚超解像方式を、この超解像方式１つで代用することができる。このため、動画像及び静止画像が混在するテレビジョン映像等の処理において、ハードウェア及びソフトウェアのリソースを効率化することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、画像信号を対象にして説明したが、本発明は、音声信号等の他の信号にも適用がある。音声信号を対象にする場合には、信号処理装置１は、前記処理により高品質な音声信号を生成して出力する。また、前記実施形態では、低解像画像ｙを超解像画像ｓに変換する処理について説明したが、本発明は、ぼけた画像を先鋭な画像に変換する処理、歪みのある画像から歪みを取り除く処理にも適用がある。

また、前記実施形態では、２次元画像に対する超解像方式の処理について説明したが、本発明は、２次元以外の次元数の信号についても適用がある。また、前記実施形態では、低解像画像ｙ、超解像画像ｓ、仮説ｘ^（ｎ）等のベクトル表現において、２次元画像を規定の順序（例えば、ラスタ走査の順序）で画素値を並べることにより列ベクトルを構成した。２次元以外の任意の次元数の信号を処理対象とする場合には、この構成順序の代わりに、次元の信号を構成する標本値群を、規定の順序により並べて列ベクトルを構成すればよい。１次元信号の場合には、例えば、信号の順序を保って列ベクトルを構成すればよい。３次元信号（動画像）の場合には、例えば、各フレームをラスタ走査の順序で並べたものを、さらに時間方向に並べて列ベクトルを構成すればよい。すなわち、任意の次元数の信号は、ある軸方向に走査して並べた結果群を、さらに別の軸方向に走査して並べ、全次元に渡って繰り返すことにより、列ベクトルを構成すればよい。

また、前記実施形態において、信号処理装置１の状態遷移手段５０は、仮説群｛ｘ_ｔ，ｃ ^（ｎ）｝から時刻ｔ、サイクルｃ＋１における仮説群｛ｘ_{ｔ，ｃ＋１} ^（ｎ）｝を予測する際に、前記式（１１）の確率密度関数Ｐ（ｘ_{ｔ，ｃ＋１}｜ｘ_ｔ，ｃ）を用いて、画像のトータルバリエーションの値が小さくなるように、元の仮説ｘ_ｔ，ｃを状態遷移させて次のサイクルの仮説ｘ_{ｔ，ｃ＋１}を生成する、いわゆるトータルバリエーションによる正則化を実現するようにした。前記式（１１）は、画像のトータルバリエーションの値が小さくなるようにするための一例の式であり、本発明は、この式に限定されるものではなく、他の式を用いるようにしてもよい。また、トータルバリエーション以外の手法、例えば、滑らかさ（道のり）の手法によって正則化を実現する確率密度関数を用いるようにしてもよい。この確率密度関数は、低解像画像から高解像画像を生成する際に、低解像画像を構成する画素値間を曲線にて関係付けることにより、この画素値の影響を十分に受け、画素値がさほどばらつかないようにする正則化を実現する関数である。

尚、本発明の実施形態による信号処理装置１のハード構成としては、通常のコンピュータを使用することができる。信号処理装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。信号処理装置１に備えた切替手段１０−１，１０−２、初期化手段２０、代表値演算手段３０、ラッチ手段４０、状態遷移手段５０、観測値予測手段６０、尤度演算手段７０、観測更新手段８０及び再標本化手段９０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１ 信号処理装置
１０−１，１０−２ 切替手段
２０ 初期化手段
３０ 代表値演算手段
４０ ラッチ手段
５０ 状態遷移手段
６０ 観測値予測手段
７０ 尤度演算手段
８０ 観測更新手段
９０ 再標本化手段

Claims (7)

1. 低分解能の信号から高分解能の信号を生成する信号処理装置において、
   前記高分解能の信号に対する複数の候補を仮説群として保持すると共に、前記候補に対する重みを重み群として保持する保持手段と、
   前記保持手段に保持された仮説群を状態遷移させ、新たな仮説群を生成する状態遷移手段と、
   前記状態遷移手段により生成された新たな仮説群を、前記低分解能の信号と同じ分解能の観測信号に変換する観測変換手段と、
   前記観測変換手段により変換された観測信号と前記低分解能の信号とを比較し、信号間の類似度を尤度として演算する尤度演算手段と、
   前記尤度演算手段により演算された尤度に基づいて前記重み群を更新し、前記新たな仮説群に対する新たな重み群を生成する観測更新手段と、
   前記状態遷移手段により生成された新たな仮説群、及び前記観測更新手段により更新された新たな重み群に基づいて、前記新たな仮説群における仮説の代表値を、前記高分解能の信号として演算する代表値演算手段と、
   を備えることを特徴とする信号処理装置。
2. 請求項１に記載の信号処理装置において、
   前記状態遷移手段は、前記仮説群の仮説を構成する各信号点の信号値を所定規則に基づき変化させ、新たな仮説群を生成する、ことを特徴とする信号処理装置。
3. 請求項２に記載の信号処理装置において、
   前記状態遷移手段は、前記仮説群の仮説を構成する各信号点の信号値に対し、隣接する信号点の勾配の絶対値の和を示すトータルバリエーションの値が小さくなるように、新たな仮説群を生成する、ことを特徴とする信号処理装置。
4. 請求項３に記載の信号処理装置において、
   前記状態遷移手段は、前記仮説群の仮説を構成する信号における注目点の信号値、及び前記注目点から所定範囲内の信号点の信号値により演算されるトータルバリエーションの値が、前記注目点の信号値を変更したときに小さくなるように規定した確率密度関数を用いて、前記仮説群を状態遷移させ、新たな仮説群を生成する、ことを特徴とする信号処理装置。
5. 請求項１から４までのいずれか一項に記載の信号処理装置において、
   前記信号を静止画像の信号とし、
   前記状態遷移手段、観測変換手段、尤度演算手段及び観測更新手段により、新たな仮説群及び新たな重み群が、所定回数の繰り返し処理にて生成される、ことを特徴とする信号処理装置。
6. 請求項１から４までのいずれか一項に記載の信号処理装置において、
   前記信号を、複数フレームにより構成される動画像の信号とし、
   前記状態遷移手段、観測変換手段、尤度演算手段及び観測更新手段により、新たな仮説群及び新たな重み群が、前記フレーム毎に、または、前記フレームにおいて所定回数の繰り返し処理にて生成される、ことを特徴とする信号処理装置。
7. コンピュータを、請求項１から６までのいずれか一項に記載の信号処理装置として機能させるための信号処理プログラム。

Images