JP5005319B2 - 信号処理装置および信号処理方法 - Google Patents

Description

本発明は、信号処理装置および信号処理方法に関する。

従来から、カメラ等の信号（画像）処理装置で被写体を撮影した際には、その画像には時々劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。

撮影時の手ぶれによって、劣化した撮影画像を是正するには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで是正する方式が知られている（特許文献１参照）。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化した画像を是正するものが知られている（特許文献２参照）。

また、一般の撮影画像以外にも、Ｘ線写真、顕微鏡画像等、種々の画像が、ぶれやその他の原因によって劣化したり、変化したりすることが知られている。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１および２記載の劣化した画像の是正の場合に限らず、一般に、劣化した信号を劣化しなかったと考えられる信号へと是正（以下、復元と言う。）する際に、どの程度復元できたかを評価するのは困難である。何故ならば、自然界の風景等は、本来的に画像信号等として把握できないものであり、それを敢えて画像信号化して取得し、その取得の際の手ぶれ等で劣化した画像信号を復元したとしても、現実の自然界の風景等との厳密な対比が不可能であり、復元の度合いの基準が曖昧になるためである。また、自然界の風景等は刻々と変化するし、撮影時の露出等によっても画像は変化する。このため、本来撮影されるべきであった理想画像を特定することができず、復元画像の評価、復元画像と理想画像との比較、復元画像の状態の予想等が行えないのである。このことは画像の信号に限らず、音声信号等あらゆる信号について言えることである。

そこで本発明の課題は、劣化等の変化が生じた信号データから、劣化しなかったと考えられる信号データへと復元した信号データについて、その復元状態を予想、推定または評価等することである。

上記課題を解決するため、本発明の信号処理装置は、劣化等の変化が生じた原信号データから、変化する前の信号もしくは本来取得されるべきであった信号（以下、元信号という）のデータまたは元信号の近似信号データである復元信号データを、変化する際の変化要因情報のデータを利用して、生成する処理部を有し、処理部は、所定の既知の信号データを、変化要因情報のデータを利用して変化させて変化済み既知データを生成すると共に、変化要因情報のデータを利用して、変化済み既知データを既知の信号データまたはそれに近似した信号データへと復元させた参照用復元データを取得し、既知の信号データと参照用復元データとを対照する機能を有している。

この発明によれば、原信号データから元信号のデータまたはそれに近似した信号データへと復元する、信号復元を、既知の信号データと参照用復元データとを用いて行っている。ここで、既知の信号データは原信号データに対応し、参照用復元データは元信号のデータに対応する。そして、既知の信号データと参照用復元データとを対照する。この対照を行うことで、復元信号データの復元状態を予想、推定または評価等することができる。ここで、「対照」とは、２つのものを比べ合わせることを言う。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、対照の結果に基づいて、復元信号データの復元状態を評価する。この構成の採用によって、復元信号データの復元状態を評価できる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、対照の結果に基づいて、復元信号データの生成方法を決定、変更または改善する。この構成の採用によって、最適と考えられる復元信号データの生成方法を選択したり、変更したり、改善することができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、対照の結果に基づいて、信号処理装置を操作する者に復元信号データの生成状態を認識させる。この構成の採用によって、信号処理装置を操作する者に、復元精度等の復元信号データの生成状態を把握させることができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、対照の結果、参照用復元データと既知の信号データとが同一または類似の場合、復元信号データが元信号のデータまたは元信号の近似信号データであると判断する。この構成を採用することで、既知の信号データと参照用復元データとが同一または類似していると評価できる場合には、元信号と復元信号データとが同一または類似していると判断できる。また既知の信号データと参照用復元データとがかけ離れていると評価できる場合には、元信号と復元信号データとがかけ離れていると判断できる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、変化要因情報のデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと比較用のデータとの差分のデータを変化要因情報のデータを利用して任意の信号データに配分することで復元データを生成し、この復元データを任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う。

この構成の採用によって、所定のデータを生成することだけで元信号のデータを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原信号データとの差分のデータを、変化要因情報のデータを利用して任意の信号データに配分する処理を繰り返し、徐々に元信号のデータに近い復元信号データを得るので、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、対照の結果に基づいて、繰り返し処理を続行するか終了するかを決定する。この構成の採用によって、元信号のデータと復元信号データとが十分に同一または類似していると評価できる場合に、無駄な繰り返し処理をせずに処理部の負担を軽減できる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、既知の信号データと参照用復元データとの差分を用いて、対照を行う。この構成の採用によって、対照の手段を簡単な数値の比較とすることができ、処理部の処理をし易くする。

他の発明に係る信号処理装置は、上述した発明に加え、既知の信号データが、原信号データよりも容量の小さいこととしている。この構成の採用によって、対照の際の処理部の処理負担を軽減でき、また処理を迅速化できる。

他の発明に係る信号処理装置は、上述した発明に加え、原信号のデータを画像のデータとしている。この構成の採用によって、カメラの手ぶれによる画像劣化が生じた場合に、劣化等の変化が生じた原画像から、変化する前の画像もしくは本来取得されるべきであった画像である元画像のデータまたは元画像の近似画像データを、復元手段によって復元できる。

上記課題を解決するため、本発明の信号処理方法は、元信号から、劣化等の変化が生じた原信号データへと変化する際の変化要因情報のデータを取得し、所定の既知の信号データを変化要因情報のデータを利用して変化させた変化済み既知データを取得し、変化要因情報のデータを利用して、変化済み既知データを既知の信号データまたはそれに近似した信号データへと復元させた参照用復元データを取得し、既知の信号データと参照用復元データとを対照する。

この発明によれば、原信号データから元信号のデータまたはそれに近似した信号データへと復元する、信号復元を、既知の信号データと参照用復元データとを用いて行っている。ここで、既知の信号データは原信号データに対応し、参照用復元データは元信号のデータに対応する。そして、既知の信号データと参照用復元データとを対照する。この対照を行うことで、復元信号データの復元状態を予想、推定または評価等することができる。

他の発明に係る信号処理方法は、上述した発明に加え、対照は、既知の信号データと参照用復元データとの差分値を用いて行う。この構成の採用によって、対照の手段を簡単な数値の比較とすることができ、処理部の処理をし易くする。

本発明では、劣化等の変化が生じた信号データから、劣化しなかったと考えられる信号データへと復元した信号データについて、その復元状態を予想、推定または評価等することができる。

以下、本発明の実施の形態に係る信号処理方法を採用した、本発明の実施の形態に係る信号処理装置１を、図を参照しながら説明する。なお、この信号処理装置１は、画像処理装置としての民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

図１には信号処理装置１の構成の概要を示している。信号処理装置１は、人物等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像の処理を行う処理部４と、を有している。また、この実施の形態に係る信号処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる変化要因情報を保存する要因情報保存部７を有する。なお信号処理装置１が画像処理装置以外のものとして適用される場合、撮影部２は、音声信号等の種々の入力信号を受信する受信部２（以下では、適宜、撮影部２と受信部２とを使い分けることとする。）となる。

撮影部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５，検出部６，および要因情報保存部７等、信号処理装置内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部４は、検出する手ぶれ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。また処理部４は、振動検出の開始と終了を制御している。なお、信号処理装置１が画像処理装置以外のものとして適用される場合、受信部２の受信感度を入力信号の大きさ等によって変えることができる。

また、この処理部４には、後述する比較用データを生成する際の元となる画像のデータまたは所定の既知の画像データ等が保管されることもある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、信号処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出するものである。撮影時に手ぶれがある場合、撮影された画像はぶれた画像となる。このような手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動、Ｚ軸回りの回動も生ずるが、各変動によって最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りのぶれの検出のために、PITCH（上下（Ｙ）方向の動き）検出用センサ、YAW（左右（Ｘ）方向の動き）検出用センサ、およびROLL（左右（Ｘ）方向への傾き）検出センサの３つを用いている。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向またはＹ方向への移動を検出するセンサを、さらに付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。なお、信号処理装置１が画像信号以外のものを対象として適用され、受信特性または信号処理システムの応答特性などが、たとえば温度または湿度に影響を受ける場合には、検出部６には温度計または湿度計を含ませることができる。このようにして検出部６では、変化要因情報のデータが観測される。

要因情報保存部７は、劣化要因情報などの変化要因情報、たとえば光学系の収差および／または検出された振動に基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部７で記録された点像関数は、たとえばその算出後の直近に撮影された原画像データ（劣化等の変化が生じた画像データ）から元画像（変化する前の画像もしくは本来撮影されるべきであった画像）のデータへの復元処理の際に、処理部４で用いられる。なお、信号処理装置１が画像処理装置以外のものとして適用される場合は、検出部６で検出される温度、湿度等が受信部２の受信特性やシステム全体の特性を変化させることもあるので、それらを記録し、変化要因情報として用いることができる。また、システムのインパルス応答等、予めわかっているシステムの応答特性関数等を要因情報保存部７に保存することもできる。

ここで、原画像データを元画像またはその近似画像のデータへと復元処理する時期は、撮影用の電源がオフされている時、処理部４が稼働していない時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像データおよび、要因情報保存部７に保存された、その原画像にデータついての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像データの復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。

次に、以上のように構成された本実施の形態に係る信号処理装置１および信号復元方法（信号処理方法）の概要を、図面に基づいて説明する。

（第１の信号復元方法）
第１の信号復元方法として、ウィーナフィルタ等の古典的な復元フィルタを挙げる。このウィーナフィルタとは、最小２乗フィルタ（least square filter）のことである。このウィーナフィルタは、フィルタぶれ（ノイズ）の大きさと方向がわかれば、良好な復元画像を得ることができるものである。このウィーナフィルタの他、一般逆フィルタ、制限付最小二乗フィルタ等を古典的な復元フィルタと呼ぶことができる。これらは、信号処理システムの応答特性等による変化を伝達関数で表し、信号処理システムを通して得られる観測信号である出力信号から伝達関数を用いて変化の無い入力信号またはこれに近似した信号に復元する手法である。また、古典的な復元フィルタは、処理時間が短時間であることが利点である。

（第２の信号復元方法）
第２の信号復元方法として、反復処理を挙げる。反復処理は、信号復元手段の実行に際し、処理部４が、変化要因情報のデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと比較用のデータとの差分のデータを変化要因情報のデータを利用して任意の信号データに配分することで復元データを生成し、この復元データを任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行って、復元データを元信号のデータに近づけるものである。

反復処理の概要を、図３に基づいて説明する。図３は、信号（画像）復元手段（反復処理）に係る処理ルーチンを説明するための処理フロー図である。図３中、「Ｉ_０」は、任意の初期画像であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉ_０’」は、その初期画像のデータＩ_０の変化画像のデータを示し、比較のための比較用データである。「Ｇ」は、検出部６で検出された変化要因情報（＝劣化要因情報（点像関数））のデータから算出される変化関数で、処理部４の記録部に保存されるものである。「Ｉｍｇ’」は、原画像のデータである。

「δ」は、原画像データＩｍｇ’と、比較用データＩ_０’との差分のデータである（以下、第１差分データという）。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉ_０＋ｎ」は、初期画像のデータＩ_０に、第１差分データδを変化要因情報のデータＧに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Ｉｍｇ」は、元画像のデータである。ここで、ＩｍｇとＩｍｇ’の関係は、次の（１）式で表されるものとする。
Ｉｍｇ’＝Ｉｍｇ＊Ｇ ……（１）
ここで、「＊」は、重畳積分を表す演算子である。以下同じ。

処理部４の処理ルーチンは、まず、任意の画像データＩ_０を用意することから始まる（ステップＳ１０１）。この初期画像のデータＩ_０としては、変化している原画像のデータＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩ_０を入れ、変化画像である比較用データＩ_０’を求める。次に、原画像データＩｍｇ’と比較用データＩ_０’とを比較し、第１差分データδを算出する（ステップＳ１０３）。

その第１差分データδの各々の絶対値が所定値未満であるか否かをステップＳ１０４で判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、原画像データＩｍｇ’と比較用データＩ_０’とを比較した際の第１差分データδを変化関数Ｇに基づいて、任意の画像データＩ_０に配分し、新たな復元データI_０＋１を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，およびＳ１０５を繰り返す。

ステップＳ１０４において、第１差分データδの絶対値が所定値未満の場合、繰り返し処理を終了する。そして、繰り返し処理を終了した時点での復元データＩ_０＋ｎを元画像のデータＩｍｇと推定する。すなわち、第１差分データδの絶対値が所定値より小さくなった場合、比較用データＩ_０＋ｎ’の元となった復元データＩ_０＋ｎは元画像のデータＩｍｇと非常に近似したものとなることから、その復元データＩ_０＋ｎを元画像のデータＩｍｇと推定する。なお、記録部５には、初期画像のデータＩ_０、変化関数Ｇを記録しておき、必要に応じて処理部４に渡すようにしても良い。

上述した繰り返し処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

最適化問題として解く場合において、第２の信号復元方法では、次のような条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）対比する出力が同じであれば、それらの入力は同じである。
（３）対比する出力が同じになるように、入力を更新しながら反復処理することによって、解を収束させていく。

このことを換言すれば、図４（Ａ）（Ｂ）に示すように、原画像のデータＩｍｇ’と近似である比較用データＩ_０’（Ｉ_０＋ｎ’）を生成できれば、その生成の元データとなる初期画像のデータＩ_０または復元データＩ_０＋ｎは、元画像のデータＩｍｇに近似したものとなる。

次に、図３に示す手ぶれの復元処理方法（ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５の反復処理）の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からぶれの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にＳ−１，Ｓ，Ｓ+１，Ｓ+２，Ｓ+３，…，とし、ある画素Ｓに注目する。ぶれが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの撮影結果を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表している。

露光時間中にぶれがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。

ぶれは、全ての画素で一様であり、線形問題として把握される。そして、上ぶれ（縦ぶれ）が無いとすると、ぶれの状況は、図８に示す表のとおりとなる。図８中の「ぶれ画像」として示されるデータが、劣化している原画像のデータＩｍｇ’となる。具体的には、たとえば「Ｓ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「Ｓ−３」の画素に「６０」、「Ｓ−２］の画素に「３６」、「Ｓ−１」の画素に「２４」というように分散する。同様に、「Ｓ−２」の画素データである「６０」は、「Ｓ−２」に「３０」、「Ｓ−１」に「１８」、「Ｓ」に「１２」として分散する。この劣化している原画像データＩｍｇ’と、図７に示す変化要因情報のデータＧから元画像データＩｍｇを算出することとなる。

ステップＳ１０１に示す任意の画像データＩ_０としては、どのようなものでも採用できるが、この説明に当たっては、原画像データＩｍｇ’を用いる。すなわち、Ｉ_０＝Ｉｍｇ’として処理を開始する。図９の表中に「入力」とされたものが初期画像のデータＩ_０に相当する。このデータＩ_０すなわちＩｍｇ’と、ステップＳ１０２で変化要因情報のデータＧとを重畳積分する。すなわち、たとえば、初期画像のデータＩ_０の「Ｓ−３」の画素の「６０」は、Ｓ−３の画素に「３０」が、「Ｓ−２」の画素に「１８」が、「Ｓ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ_０’」として示される比較用データＩ_０’が生成される。このため、ステップＳ１０３の第１差分データδは、図９の最下欄に示すようになる。

この後、ステップＳ１０４で、原画像データＩｍｇ’と比較用データＩ_０’の画像を構成する複数の各画素の第１差分データδの絶対値が所定値未満であるか否かを判断する。その判断の結果、「Ｎ」ならばステップＳ１０５に進む。すなわち、第１差分データδを変化要因情報のデータＧを使用して、任意の画像のデータＩ_０に配分して、図１０中の「次回入力」として示される復元データＩ_０＋ｎを生成する。この場合、第１回目であるため、図１０では、Ｉ_０＋１と表している。

第１差分データδの配分は、たとえば「Ｓ−３」の画素データ「３０」に自分の所（＝「Ｓ−３」の画素）の配分比である０．５をかけた「１５」を「Ｓ−３」の画素に配分し、また「Ｓ−２」の画素のデータ「１５」にその「Ｓ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「Ｓ−１」の画素のデータ「９．２」に、その「Ｓ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「Ｓ−３」の画素に配分された総量（更新量）は、「２１．３４」となり、この値を初期画像のデータＩ_０（ここでは原画像データＩｍｇ’を使用）にプラスして、復元データＩ_０＋１を生成している。

図１１に示すように、この復元データＩ_０＋１が図３のステップＳ１０２の入力画像のデータ（＝初期画像のデータＩ_０）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい第１差分データδを得る。その後、上述と同様にステップＳ１０４の判断をする。その判断の結果、「Ｎ」ならばステップＳ１０５に進み、新しい第１差分データδを前回の復元データＩ_０＋１に配分し、新しい復元データＩ_０＋２を生成する（図１２参照）。その後、ステップＳ１０２の遂行によって、復元データＩ_０＋２から新しい比較用データＩ_０＋２’が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４での判断が「Ｎ」ならステップＳ１０５へ移行する。このような処理を繰り返す。

以上のように、繰り返し処理がなされることで、第１差分データδが徐々に小さくなっていき、所定値より小さくなると、ステップＳ１０４の判断が「Ｙ」となり、ぶれていない元画像データＩｍｇが得られる。

以上に述べた図３に示す手ぶれの復元処理方法（ステップＳ１０２，Ｓ１０３，Ｓ１０４，およびＳ１０５の反復処理）においては、処理部４で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の反復回数が信号処理装置１側で自動的にまたは固定的に設定しても良い。その場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータが、ぶれによって多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

さらに、反復処理中に、第１差分データδが発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなってきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば第１差分データδの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。

また、出力画像となる復元データを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素ＸＮ１のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１に割り振られる処理をする。画素ＸＮ１の隣の画素Ｎ２についても同様に真上で最上覧の画素Ｘ１２（＝画素Ｘ１１の隣り）に割り振ることとなる。

なお、第２の信号復元方法では、角速度検出センサのサンプリング周波数を６０Ｈｚから２４０Ｈｚ内としているが、高周波数を検出できるように５μｓｅｃ毎に角速度を検出してもよい。また、第１差分データδの判定基準となる値は、各データを８ビット（０〜２５５）で表した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出したぶれの生データは、センサ自体の校正が不十分なときは、実際のぶれとは対応しない。よって実際のぶれに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

第２の信号復元方法である反復処理は、第１の信号復元方法よりも満足な復元結果を得ることができる場合もある利点を有する。また、第１または第２の信号復元方法のいずれかに属する信号復元方法の中でも、用いるパラメータの設定の仕方によって復元結果の品質および処理時間が異なる。したがって、パラメータ設定を如何に行なうかによって、最適な信号復元方法か否かが選択される場合がある。

このように信号の復元は、それぞれの方法に特長があり、また、非常に有効な状況や苦手な状況等がある。信号の復元は、できるだけ短時間で終了できることが好ましい。また、復元処理に必要なメモリが少なく、より高品質な復元結果を得ることのできるものを選択して使用することが好ましい。

そこで、既知信号のデータを用いて信号復元方法の一種である信号復元のシミュレーションを行う。つまり既知信号データと参照用復元データを対照することで原信号データの復元結果が十分満足できるかどうかを予め判断する。そして、満足できると判断した場合はその信号復元方法で原信号の復元処理を行う。しかし、満足な結果が得られないと判断した場合は、違う信号復元方法で行うか、または復元処理のパラメータを変更し、既知信号の復元結果を再度評価して、その信号復元方法が有効かどうかの判断を行う。こうすることで、最も有効な信号復元方法で復元処理を行なうことができる。また、復元結果の品質を予想または評価できる。たとえば処理部４は、以下に述べる５種類の信号復元方法のいずれか１つまたは複数、すなわち、第１、第２、第３、第４、および／または第５のシミュレーション方法（信号復元方法）を行う。

（第１のシミュレーション方法およびその後の復元処理）
図１３に示す第１のシミュレーション方法およびその後の復元処理について説明する。まず、既知の信号データｉｎ＿ｒｅｆを、原信号のデータ取得時（撮影時）に得られる変化要因情報のデータから算出した変化関数ｇで変化させ、既知の信号データｉｎ＿ｒｅｆを変化関数ｇで変化させた変化済み既知データｏｕｔ＿ｒｅｆを得る(ステップＳ２０１）。そして復元アルゴリズムとして、Ａｌｇｏ＿ａ、Ａｌｇｏ＿ｂ、Ａｌｇｏ＿ｃの３つが用意されている。それらのアルゴリズムの処理コスト（たとえば、処理に要する時間）は、Ａｌｇｏ＿ａ＜Ａｌｇｏ＿ｂ＜Ａｌｇｏ＿ｃである。第１のシュミレーション方法は、図１３の処理フローに従って処理されるものの一部であり、ｏｕｔ＿ｒｅｆをＡｌｇｏ＿ａ、Ａｌｇｏ＿ｂまたはＡｌｇｏ＿ｃで復元処理する。得られた参照用復元データｄｅｃ＿ａ、ｄｅｃ＿ｂ、またはｄｅｃ＿ｃと、Ｉｎ＿ｒｅｆとを対照することで、第１のシミュレーション方法が終了する。図１３の処理フローでは、この第１のシュミレーション方法を展開し、許容できると評価されたら、その信号復元方法で原信号を復元し、許容できなかったと評価されたら、他のアルゴリズムで復元し、評価をする。

図１３のフローでは、処理コストを掛けずに許容レベルであると判断できる品質の復元結果を得るために、変化済み既知データｏｕｔ＿ｒｅｆを、まずＡｌｇｏ＿ａで復元処理し、参照用復元データｄｅｃ＿ａを得る(ステップＳ２０２）。既知の信号データＩｎ＿ｒｅｆと参照用復元データｄｅｃ＿ａを対照し(ステップＳ２０３）、参照用復元データｄｅｃ−ａに対する所定の基準に基づいた評価結果が許容レベルであれば、原信号をＡｌｇｏ＿ａで復元処理を行なう(ステップＳ２０４）。この場合、最も処理コストが小さくなる。復元信号の品質として許容レベルであると判断できない場合、変化済み既知データｏｕｔ＿ｒｅｆをＡｌｇｏ＿ｂで復元処理し、参照用復元データｄｅｃ＿ｂを得る(ステップＳ２０５）。既知の信号データＩｎ＿ｒｅｆと参照用復元データｄｅｃ＿ｂを対照し(ステップＳ２０６）、参照用復元データｄｅｃ−ｂに対する所定の基準に基づいた評価結果が許容レベルであると判断できるのであれば、撮影画像である原信号のデータをＡｌｇｏ＿ｂで復元処理を行なう(ステップＳ２０７）。復元信号の品質として許容レベルであると判断できない場合、変化済み既知データｏｕｔ＿ｒｅｆをＡｌｇｏ＿ｃで復元処理し、その復元結果を参照用復元データｄｅｃ＿ｃとする(ステップＳ２０８）。既知の信号データＩｎ＿ｒｅｆと参照用復元データｄｅｃ＿ｃを対照し(ステップＳ２０９）、参照用復元データｄｅｃ−ｃに対する所定の基準に基づいた評価結果が許容レベルであると判断できるのであれば、撮影画像である原信号のデータをＡｌｇｏ＿ｃで復元処理を行なう(ステップＳ２１０）。復元信号の品質が許容レベルであると判断できない場合、原信号のデータの復元処理を行なわない(ステップＳ２１１）。

なお、復元処理をせずに終了する(ステップＳ２１１）のではなく、参照用復元データｄｅｃ＿ａ、ｄｅｃ＿ｂ、ｄｅｃ＿ｃのうち、所定の基準に基づいた復元の評価結果が最良のものを選び、そのアルゴリズムを用いて原信号のデータの復元を行なっても良い。この第１のシミュレーション方法では、３つの復元アルゴリズムが用意されていたが、１つまたは２つとしたり、４つ以上としても良い。また、処理コストの低い順に対照を行って、許容できるか否かの判断を行っているが、用意した全ての復元アルゴリズムの処理を評価し、それらのうちで、所定の基準に基づいた復元の評価結果が最良のものを採用し、その方法で復元するという方法を実施できる。

（第２のシミュレーション方法およびその後の復元処理）
次に図１４に示す第２のシミュレーション方法およびその後の復元処理について説明する。既知信号データｉｎ＿ｒｅｆを、原信号のデータ取得時（撮影時）に得られる変化要因情報のデータから算出した変化関数ｇで変化させた変化済み既知データｏｕｔ＿ｒｅｆを、上述のステップＳ２０１と同様に得る(ステップＳ３０１）。用意した復元アルゴリズムＡｌｇｏ＿ａの復元処理の速度に影響を与えるパラメータをｋとしたとき、予め用意されているｋの初期値で、変化済み既知データｏｕｔ＿ｒｅｆの復元処理を行って、参照用復元データｄｅｃ＿ａを得る(ステップＳ３０２）。そして既知信号データｉｎ＿ｒｅｆと参照用復元データｄｅｃ＿ａを対照する(ステップＳ３０３）。その対照の結果、復元信号の品質が許容レベルであると判断できるのであれば、その復元処理のパラメータｋを用いて原信号のデータの復元処理を行なう(ステップＳ３０４）。その対照の結果が、復元信号の品質として許容レベルであると判断できないのでなければ、復元処理のパラメータｋを変更し(ステップＳ３０５）、変更後の新たなパラメータｋで復元処理を行なう(ステップＳ３０２）。これを繰り返すことにより最適な復元処理のパラメータｋが求まる。これで、第２のシミュレーション方法が終了する。この後、このパラメータｋを用い、原信号のデータに対して復元処理を行なう。

復元処理の際に用いるパラメータｋの例としては、たとえば復元アルゴリズムＡｌｇｏ＿ａが、図３に示す反復処理による復元処理方法の場合、反復による更新データを得るための更新係数（図３のステップＳ１０５における係数ｋ）がある。ここで、更新係数ｋを大きくすると、一回の反復での更新値が大きくなるため、第１差分データδの値の収束スピードを速くすることができる。しかし、更新係数ｋが大きすぎると、第１差分データδの値が発散してしまう場合がある。更新係数を小さくすると良好な結果を得ることができるが、収束スピードが遅くなるため、より多くの反復回数が必要となり、復元処理に要する時間が多く掛かる。したがって、発散せずにより短時間で良好な結果が得られる更新係数ｋを、第２のシミュレーション方法によって選択することが好ましい。

（第３のシミュレーション方法および復元処理）
次に図１５に示す第３のシミュレーション方法および復元処理について説明する。これは、たとえば図３に示す反復処理による復元処理を行なう場合の反復数（繰り返し回数）の決定（反復処理の終了）をする処理に適用する。図３を用いて説明してきた反復処理では、観測信号(撮影画像または原信号)のデータＩｍｇ’と復元信号(復元画像)のデータを変化させた比較用データＩ_０’を比較して第１差分データδが十分小さくなるまで反復処理を繰り返している。しかし、既知の信号で復元シミュレーションを行なうことで、既知の信号データに基づいた判断ができるようになるため、復元結果の品質をこれまでよりもより良くすることができるようになる。

図１５はまず、既知の信号データＰ_０を用意する(ステップＳ４０１）。それを原信号のデータ取得時（撮影時）に得られる変化要因情報のデータから算出される変化関数Ｇで変化させて変化済み既知データＰ_０’を算出する(ステップＳ４０２）。そして、撮影画像である原信号のデータＩｍｇ’を復元するために、任意の信号データＩ_０を用意する。Ｉ_０は任意の信号データであるが、ここではゼロとする(ステップＳ４０３）。次に、既知の信号データＰ_０’を復元するために、参照用復元データＱ_０を用意する。ここで、参照用復元データＱ_０もゼロとする(ステップＳ４０３）。ここで、任意の信号データＩ_０を原信号データＩｍｇ’に対応するものとした場合は、参照用復元データＱ_０を変化済み既知データＰ_０’に対応するものとするのが、第３のシミュレーション方法の精度上好ましい。

次に、既知の信号データＰ_０と参照用復元データＱ_０を対照する(ステップＳ４０４）。現段階では、「Ｑ_０＋ｎ＝Ｑ_０」である。その差分値が所定値以下で、復元の評価結果として許容レベルであると判断できるのであれば、十分復元品質は高いと判断して復元処理を終了し、復元データＩ_０を原信号のデータＩｍｇ’の復元信号とする(ステップＳ４０５）。以下、既知の信号データＰ_０と参照用復元データＱ_０を対照する都度(ステップＳ４０４）、図１５の処理フローに含まれる第３のシミュレーション方法が終了する。ただし、現段階では、「Ｑ_０＝０」であり、殆どの場合、ステップＳ４０４で「許容できる」判断がされず、ステップＳ４０５へは進まずに、以下のステップＳ４０６以降に進む。

ステップＳ４０４で「許容できない」と判断されれば、任意の信号データＩ_０を変化関数Ｇで変化させ、変化済み任意信号データＩ２_０’を算出する(ステップＳ４０６）。また、参照用復元データＱ_０を変化関数Ｇで変化させ変化済み参照用復元データＱ_０’を算出する(ステップＳ４０６）。そして、原信号のデータＩｍｇ’と変化済み任意信号データＩ２_０’の差分のデータ（以下、第２差分データδ＿Ｉｍｇという）を算出する(ステップＳ４０７）。また、変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’の差分のデータ（以下、第３差分データδ＿ｒｅｆという）を算出する(ステップＳ４０７）。その第３差分データδ＿ｒｅｆおよび変化要因データから算出される変化関数Ｇを用いて更新量を算出する(ステップＳ４０８）。その更新量を参照用復元データＱ_０に加えて、新たな任意の信号データＱ_１（＝Ｑ_０+ｎ）とする(ステップＳ４０８）。そして第２差分データδ＿Ｉｍｇおよび変化関数Ｇを利用して更新量を算出し、その更新量を参照用復元データＱ_０に加えて、新たな任意の信号データＩ_１（＝Ｉ_０+ｎ）を得る(ステップＳ４０８）。このステップＳ４０８を経た後は、新たに得られた任意の信号データＱ_１と任意の信号データＩ_１は、それぞれ「Ｑ_０」と「Ｉ_０」の代わりとなり、再度、以下の第３のシミュレーション方法が実施される。

その後、再度既知の信号データＰ_０と、新たな任意の信号データＱ_１を対照し(ステップＳ４０４）、復元の評価結果として許容レベルであると判断できるのであれば、十分復元品質は高いと判断して復元処理を終了する(ステップＳ４０５）。そして、新たな任意の信号データＩ_１（＝Ｉ_０＋ｎ）を原信号のデータＩｍｇ’の復元信号とする(ステップＳ４０５）。ステップＳ４０４の判断で、復元の評価結果として許容レベルでないと判断できるのであれば、許容レベルとなるまでステップＳ４０６，Ｓ４０７，Ｓ４０８，およびＳ４０４を繰り返す。または、繰り返し数を予め決めておき、それまでに終わらなければ、品質の高い復元信号は得られないと判断して処理を終了しても良い。

図１５に示した第３のシミュレーション方法は、原信号のデータＩｍｇ’を理想画像である元信号Ｉｍｇまたはそれに近似するデータに復元する復元処理と、変化情報Ｇを利用して既知の信号データＰ_０と参照用復元データＱ_０（＝Ｑ_０＋ｎ）による復元処理を同時並行で行ない、既知の信号データＰ_０と参照用復元データＱ_０（＝Ｑ_０＋ｎ）による復元処理の結果から、原信号のデータＩｍｇ’を理想画像である元信号Ｉｍｇまたはそれに近似するデータに復元する復元処理の結果を推定するものである。

（第４のシミュレーション方法およびその後の復元処理）
図１６に示す第４のシミュレーション方法は、既知データによる復元処理のみを先に行い、既知データでの復元結果で品質の高い結果が得られるまでの反復回数を求めて、その反復回数分だけ、後から原信号の復元処理を行うものである。こうすることで、原信号の復元処理にどれぐらいの処理時間が掛かるか、などを原信号の復元処理を行う前に知ることができる。非常に処理時間を要すると事前に分かれば、復元処理は行わない、または別の種類の復元処理法を採用する等の判断ができる。

第４のシミュレーション方法は、まず、既知の信号データＰ_０を用意する(ステップＳ５０１）。それを原信号のデータ取得時（撮影時）に得られる変化要因情報のデータから算出される変化関数Ｇで変化させて変化済み既知データＰ_０’を算出する(ステップＳ５０２）。そして、変化済み既知データＰ_０’を復元するために、参照用復元データＱ_０を用意する。ここでは、Ｑ_０をゼロとする(ステップＳ５０３）。

ここで、既知の信号データＰ_０と参照用復元データＱ_０（＝Ｑ_０+ｎ）を対照し(ステップＳ５０４）、復元信号の品質として許容レベルであると判断できるのであれば、図３に示す繰り返し処理の繰り返しの回数ｎが１回で十分と判断して(ステップＳ５０５）、撮影して得られた原信号データＩｍｇ’を図３に示す反復処理（繰り返し回数１回）で復元処理し、復元データＩ_１を原信号のデータＩｍｇ’の復元信号とする(ステップＳ５０６）。この対照（ステップＳ５０４）を行う都度、第４のシミュレーション方法が終了する。

既知の信号データＰ_０と参照用復元データＱ_０（＝Ｑ_０＋ｎ）を対照し(ステップＳ５０４）、復元信号の品質として許容レベルであると判断できず、かつ、反復回数ｎが所定回数未満なら(ステップＳ５０７）、参照用復元データＱ_０を変化関数Ｇで変化させ、変化済み参照用復元データＱ_０’を算出する(ステップＳ５０９）。そして、変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’（＝Ｑ_０＋ｎ’）の差分のデータ（以下、第４差分データδ’＿ｒｅｆという）を算出する(ステップＳ５１０）。そして、その第４差分データδ’＿ｒｅｆを、変化要因データＧの関数を利用して参照用復元データＱ_０に配分する。その際、更新係数ｋを使用して更新量を算出してその更新量を参照用復元データＱ_０に加えて新たな任意の信号データＱ_１（＝Ｑ_０＋ｎのｎ＝１の値）とする(ステップＳ５１１）。このステップＳ５１１を経た後は、新たに得られた任意の信号データＱ_１が、「Ｑ_０」の代わりにして扱われ、再度、第４のシミュレーション方法が実施される。

その後、新たに得られた任意の信号データＱ_１を、既知の信号データＰ_０と対照し(ステップＳ５０４）、その結果が所定値以下であれば図３に示す繰り返し処理の繰り返しの回数ｎが２回で十分と判断する。その後、撮影して得られた原信号データＩｍｇ’に対して２回の復元処理をし(ステップＳ５０５）、復元データＩ_２を原信号のデータＩｍｇ’の復元信号とする(ステップＳ５０６）。対照結果（ステップＳ５０４)が、復元信号の品質として許容レベルであると判断できず、かつ、反復回数ｎが所定回数未満なら(ステップＳ５０７）、その復元結果が許容レベルであると判断できるようになるまで、参照用復元データＱ_０（＝Ｑ_０+２）を変化関数Ｇで変化させ（ステップＳ５０９）、その後のステップＳ５１０，Ｓ５１１，Ｓ５０４，Ｓ５０７，およびＳ５０９を繰り返す。または、予め決めておいた繰り返し数の限度（ステップＳ５０７）までに終わらなければ、品質の高い復元信号は得られないとして復元処理を行わないこととする(ステップＳ５０８）。

（第５のシミュレーション方法）
図１７に示す第５のシミュレーション方法について説明する。図１７は、図３に示した繰り返し処理により得られた復元データＩ_０＋ｎを評価する方法を説明するための処理フロー図である。この第５のシミュレーションでは、信号の復元状態の評価結果に応じて、信号処理装置１を操作する者に、復元状態の評価結果を音声にて発することおよび表示等の、五感に訴えることのできる手段で認識させることができる。

「Ｐ_０’」は、既知の画像データＰ_０を原信号のデータ取得時（撮影時）に得られる変化要因情報のデータＧによって劣化（変化）させた、変化済み既知データである。「Ｑ_０」は、任意の画像データである。図３の「Ｉ_０」を「Ｑ_０」としても良い。「Ｑ_０’」は、任意の画像データＱ_０を変化関数Ｇによって劣化（変化）させた、参照用復元データである。「δ’」は、変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’との差分のデータである（以下、第５差分データという）。「Ｑ_０＋ｎ」は、参照用復元データＱ_０に、第５差分データδ’を変化要因情報のデータＧに基づいて配分して新たに生成した、次回の繰り返し処理に使用する新たな任意の信号データである。「ｋ」は、更新係数である。

第５のシミュレーション方法における処理部４の処理ルーチンは、まず、既知の画像データＰ_０および参照用復元データＱ_０を用意することから始まる（ステップＳ６０１，Ｓ６０３）。そして既知の画像データＰ_０および参照用復元データＱ_０に対し、それぞれ変化関数Ｇを重畳積分し、変化済み既知の画像データＰ_０’および変化済み参照用復元データＱ_０’を得る（ステップＳ６０２，Ｓ６０４）。そして、変化済み既知の画像データＰ_０’と変化済み参照用復元データＱ_０’との差分データ（以下、第５差分データδ’という）を求める（ステップＳ６０５）。

そして、ステップＳ６０６で、図１７の繰り返し処理回数が、図３の画像復元の際の繰り返し処理回数と同じか否か判断する。同じでない場合は、「Ｎ」の方に進み、ステップＳ６０７で新たな参照用復元データＱ_０＋１（＝Ｑ_０＋ｎ＝Ｑ_１）を生成する処理を行う。すなわち、第５差分データδ’を変化関数Ｇに基づいて、参照用復元データＱ_０に配分し、新たな任意の信号データＱ_１を生成する。その後、新たな任意の信号データＱ_１をＱ_０の代わりに用いて、ステップＳ６０２，Ｓ６０５，Ｓ６０６，およびＳ６０７を繰り返す。

ステップＳ６０６において、図１７の繰り返しの回数が、図３の信号復元の際の繰り返し処理回数と同じである場合、ステップＳ６０２，Ｓ６０５，Ｓ６０６，およびＳ６０７を繰り返す処理を終了する。この段階では、図３において復元データＩ_０＋ｎを元画像Ｉｍｇのデータと推定するに至る過程と同じ過程を、既知の画像データＰ_０、参照用復元データＱ_０および変化関数Ｇを用いて行った段階である。よって、既知の画像データＰ_０と現段階での新たな参照用復元データＱ_０＋ｎとを対照することによって（ステップＳ６０８）、図３の復元データＩ_０＋ｎが、未知の元画像Ｉｍｇへ、どの程度近づいているかを評価することができる。この既知の画像データＰ_０と参照用復元データＱ_０＋ｎとを対照することによって、第５のシミュレーション方法が終了する。第５のシミュレーション方法によって、たとえば、既知の画像データＰ_０と現段階での新たな任意の画像データＱ_０＋ｎとの見かけ上の差が小さければ、図３の復元データＩ_０＋ｎは元画像Ｉｍｇのデータに近いもの、すなわち復元結果が良好であると評価できる。しかし、その見かけ上の差が大きければ、図３の復元データＩ_０＋ｎは、元画像Ｉｍｇのデータとかけ離れており、復元結果が良好でないと評価できる。

以上、本実施の形態における信号処理装置１およびこの信号処理装置１に採用されうる２つの基本的な信号復元方法と、５つの信号復元方法（＝シミュレーション方法）について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、第１の信号復元方法の図３から図１２に示す反復処理（第２の信号復元方法）によらず、逆変換または逆畳み込み演算によって画像を復元しても良い。具体的には、ぶれを表す伝達関数等を用い、変化画像データを変換することで変化要因を除去する技術によって画像復元を実現することができる。この構成を採用することによって、既存の成熟した技術が採用され、安定した信号の復元を行うことができると共に、信号処理装置１の構成を簡略化できる。

既知の画像データであるＰ_０およびＱ_０と、復元処理対象の原画像のデータＩｍｇ’のデータ容量は、同一でも良い。ただし、第３、第４および第５のシミュレーション方法において、その処理の速度を速めるためには、各種既知の画像データのデータ容量を、原画像のデータＩｍｇ’のデータ容量の５％、１０％、３０％、５０％、７０％、または９０％等の小さい値とすることが好ましい。特に、第４のシミュレーション方法の場合は、予め反復回数ｎをシミュレーションによって求め（図１６のステップＳ５０６）、その後に原画像のデータＩｍｇ’を復元するため、シミュレーションの処理の迅速化が求められる。よって、第４のシミュレーション方法では、各種既知の画像データのデータ容量を、各種原画像のデータのデータ容量よりも小さい値とすることが特に好ましい。

Ｐ_０等の各種既知の画像データは、予め数種類用意しておき、被写体に合わせて適当なものを選ぶことができるようにしておくことが好ましい。その被写体に近い画像データを用いることによって、適切な評価を行うことができる。用意しておくべき画像データは、たとえばポートレート、景色、花、夜景、評価チャート画像（解像力チャート、ゾーンプレート等）等の画像データである。

なお、第２差分データδ＿ｒｅｆ等の各種差分データは、例えば図１５のステップＳ４０５のように変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’の見かけ上の差を用いて、復元データＩ_０＋ｎの復元状態を判断している。しかし各種差分データは、たとえば変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’とを対照して、その差分値を得て復元データＩ_０＋ｎの評価をしたり、両データの所定の対応関係を、復元データＩ_０＋ｎについて当てはめる等しても良い。また、第１差分データδ等の各種差分データは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧによって異なる。たとえば第１差分データδは、次の（２）式で表される。
δ＝ｆ（Ｉｍｇ’，Ｉｍｇ，Ｇ） …（２）

第３および第４のシミュレーション方法では、参照用復元データＱ_０（＝Ｑ_０＋ｎ）を、既知の信号データＰ_０と対照している(ステップＳ４０４，Ｓ５０４）。ここで、対照するのを、それらの代わりに変化済み既知データＰ_０’と変化済み参照用復元データＱ_０’としても良い。しかし、シミュレーション上、理想画像Ｉｍｇに相当する既知の信号データＰ_０を対照に用いることは、変化済み既知データＰ_０’を対照に用いるよりもシミュレーションの精度が向上し、好ましい。

本実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。

また、上述した各信号復元方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、信号処理装置１は、その記憶媒体内のプログラム化されたものが信号処理装置１の外部サーバに入れられ、必要に応じてダウンロードされ、使用されるようにしても良い。この場合、信号処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である。 図１に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１に示す信号処理装置の処理部で行う信号（画像）復元方法であって、第２の信号復元方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。 図３に示す処理方法の概念を説明するための図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、第１差分データを生成する状況を説明するための図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して第１差分データを生成する状況を説明するための図である。 図３に示す信号（画像）復元処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された第１差分データを配分し、新たな復元データを生成する状況を説明するための図である。 図１に示す信号処理装置の処理部で実行される信号復元方法であって、第１のシミュレーション方法およびその後の復元処理を説明するための処理フロー図である。 図１に示す信号処理装置の処理部で実行される信号復元方法であって、第２のシミュレーション方法およびその後の復元処理を説明するための処理フロー図である。 図１に示す信号処理装置の処理部で実行される信号復元方法であって、第３のシミュレーション方法およびその後の復元処理を説明するための処理フロー図である。 図１に示す信号処理装置の処理部で実行される信号復元方法であって、第４のシミュレーション方法およびその後の復元処理を説明するための処理フロー図である。 図１に示す信号処理装置の処理部で実行される信号復元方法であって、第５のシミュレーション方法およびその後の復元処理を説明するための処理フロー図である。

符号の説明

１ 信号処理装置
２ 撮影部（受信部）
３ 制御系部
４ 処理部
５ 記録部
６ 検出部
７ 要因情報保存部
Ｇ，ｇ 変化要因情報のデータから算出された変化関数
Ｉｍｇ’ 原信号のデータ（撮影された画像）
Ｉ_０＋ｎ，Ｑ_０＋ｎ 復元データ
Ｉｍｇ 元信号のデータ（変化する前の信号もしくは本来取得されるべきであった信号のデータ）
Ｐ_０ 既知の信号データ
Ｑ_０ 参照用復元データ
Ｉ_０ 任意の信号データ
Ｐ_０’ 変化済み既知データ
Ｑ_０’ 変化済み参照用復元データ

Claims (11)

1. 劣化等の変化が生じた原信号データから、変化する前の信号もしくは本来取得されるべきであった信号（以下、元信号という）のデータまたは元信号の近似信号データである復元信号データを、前記変化する際の変化要因情報のデータを利用して、生成する処理部を有する信号処理装置において、
   前記処理部は、
   所定の既知の信号データを、前記変化要因情報のデータを利用して変化させて変化済み既知データを生成すると共に、前記変化要因情報のデータを利用して、前記変化済み既知データを前記既知の信号データまたはそれに近似した信号データへと復元させた参照用復元データを取得し、前記既知の信号データと前記参照用復元データとを対照する機能と、
   前記変化要因情報のデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと前記比較用のデータとの差分のデータを前記変化要因情報のデータを利用して前記任意の信号データに配分することで復元データを生成し、この復元データを前記任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う機能と
   を有することを特徴とする信号処理装置。
2. 前記処理部は、前記対照の結果に基づいて、前記繰り返し処理を続行するか終了するかを決定することを特徴とする請求項１記載の信号処理装置。
3. 劣化等の変化が生じた原信号データから、変化する前の信号もしくは本来取得されるべきであった信号のデータまたは元信号の近似信号データである復元信号データを、前記変化する際の変化要因情報のデータを利用して、生成する処理部を有する信号処理装置において、
   前記処理部は、所定の既知の信号データを、前記変化要因情報のデータを利用して変化させて変化済み既知データを生成すると共に、前記変化要因情報のデータを利用して、前記変化済み既知データを前記既知の信号データまたはそれに近似した信号データへと復元させた参照用復元データを取得し、前記既知の信号データと前記参照用復元データとを対照する機能を有し、
   前記既知の信号データは、前記原信号データよりも容量が小さい
   ことを特徴とする信号処理装置。
4. 前記処理部は、前記対照の結果に基づいて、前記復元信号データの復元状態を評価することを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
5. 前記処理部は、前記対照の結果に基づいて、前記復元信号データの生成方法を決定、変更または改善することを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
6. 前記処理部は、前記対照の結果に基づいて、前記信号処理装置を操作する者に前記復元信号データの生成状態を認識させることを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
7. 前記処理部は、前記対照の結果、前記参照用復元データと前記既知の信号データとが同一または類似の場合、前記復元信号データが前記元信号のデータまたは前記元信号の近似信号データであると判断することを特徴とする請求項１から３のいずれか１項に記載の信号処理装置。
8. 前記処理部は、前記既知の信号データと前記参照用復元データとの差分を用いて、前記対照を行うことを特徴とする請求項２から７のいずれか１項に記載の信号処理装置。
9. 前記原信号のデータを画像のデータとしたことを特徴とする請求項１から８のいずれか１項に記載の信号処理装置。
10. 元信号から、劣化等の変化が生じた原信号データへと変化する際の変化要因情報のデータを取得し、
    所定の既知の信号データを前記変化要因情報のデータを利用して変化させた変化済み既知データを取得し、
    前記変化要因情報のデータを利用して、前記変化済み既知データを前記既知の信号データまたはそれに近似した信号データへと復元させた参照用復元データを取得し、
    前記既知の信号データと前記参照用復元データとを対照し、
    前記変化要因情報のデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと前記比較用のデータとの差分のデータを前記変化要因情報のデータを利用して前記任意の信号データに配分することで復元データを生成し、この復元データを前記任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う
    ことを特徴とする信号処理方法。
11. 前記対照は、前記既知の信号データと前記参照用復元データとの差分値を用いて行うことを特徴とする請求項１０記載の信号処理方法。

Images