JPWO2008084670A1 - 信号処理装置 - Google Patents

Abstract

復元処理に当たって、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供する。信号処理装置１の処理部４は、原信号データの容量値を縮小処理（ステップＳ２０３）した縮小原信号データを用い、変化要因情報のデータを利用して、任意の画像データから比較用データを生成する。そして、処理対象となる画像データと比較用のデータとの差分のデータを変化要因情報のデータを利用して任意の画像データに配分することで復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理（ステップＳ２０４）を行う。その後、最後の（縮小）復元データを拡大処理（ステップＳ２０５）した拡大信号データを用い、上述の繰り返し処理を行う（ステップＳ２０６）。なお、第１の繰り返し処理（ステップＳ２０４）のみで終了しても良い。

Description

本発明は、信号処理装置に関する。

従来から、カメラ等の信号（画像）処理装置で被写体を撮影した際には、その画像には時々劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。

撮影時の手ぶれによって、劣化した撮影画像を是正するには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで是正する方式が知られている（特許文献１参照）。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化した画像を是正するものが知られている（特許文献２参照）。

また、一般の撮影画像以外にも、Ｘ線写真、顕微鏡画像等、種々の画像が、ぶれやその他の原因によって劣化したり、変化したりすることが知られている。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。また特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の２つの理由で、画像復元が困難である。

第１に、取得する伝達関数は、ノイズやぶれ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる補正画像は、手ぶれがない状態で撮影した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

画像に生ずる上述した問題は、一般の種々の信号データにも現れ、伝達関数の逆変換で信号の復元を行うことは、取得した伝達関数が不正確な場合はもちろんのこと、正確であったとしても、困難となっている。しかも、１００％正確な伝達関数を得ることは、自然界を対象とする場合は、あり得ない状況である。

上述したように、本発明の課題は、信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供することである。

上記課題を解決するため、本発明の信号処理装置は、劣化等の変化が生じた原信号データから、変化する前の信号のデータもしくは本来取得されるべきであった信号のデータまたはその近似信号のデータ（以下、これらの「信号のデータ」を総称して元信号データという）、もしくは元信号データを縮小または拡大した相似信号データを、変化する際の変化要因情報のデータを利用して生成する処理部を有し、処理部は、原信号データの容量値を縮小する縮小処理した縮小原信号データと、任意の信号データから変化要因情報のデータを利用して生成した縮小原信号データと同じ容量で、かつ任意の信号データを劣化させた比較用縮小データの２つのデータの差分のデータを、変化要因情報のデータに基づいて任意の信号データに配分して、縮小復元データを生成し、この縮小復元データを縮小原信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う機能を有している。

この発明によれば、劣化等の変化が生じた原信号データから、変化する前等のデータとなる元信号データを生成する際に必要となる縮小復元データを生成できる。その際には、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、任意の信号データから比較用縮小データを作り、その比較用縮小データと処理対象の縮小原信号データとの差分のデータを、変化要因情報のデータを利用して縮小原信号データに配分する処理を繰り返し、徐々に縮小復元信号データを得るので、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。また、繰り返し処理の対象を原信号データでなく、その容量を縮小した縮小原信号データとしているため、処理速度が速くなる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、繰り返し処理の最後に得られた縮小復元データを拡大し、元信号データまたは相似信号データと同一の容量の拡大データを得る処理を行う。この構成の採用によって、原信号データと同程度の容量となる元信号データまたは相似信号データを得ることができる。

上記課題を解決するため、本発明の信号処理装置は、劣化等の変化が生じた原信号データから、元信号データもしくは元信号データを縮小または拡大した相似信号データを、変化する際の変化要因情報のデータを利用して生成する処理部を有し、処理部は、原信号データの容量値を縮小する縮小処理した縮小原信号データと、任意の信号データから変化要因情報のデータを利用して生成した縮小原信号データと同じ容量で、かつ任意の信号データを劣化させた比較用縮小データの２つのデータの差分のデータを、変化要因情報のデータに基づいて任意の信号データに配分して、縮小復元データを生成し、この縮小復元データを任意の信号データの代わりに使用し、同様の処理を繰り返す第１の繰り返し処理と、第１の繰り返し処理を行うことで得られた縮小復元データの容量値を拡大する拡大処理と、この拡大処理した拡大信号データから、その拡大信号データを劣化させた比較用拡大データを生成し、原信号データまたは原信号データの容量を比較用拡大データと同じ容量となるよう縮小または拡大した原信号相似信号データと、比較用拡大データとの第２の差分のデータを、変化要因情報のデータに基づいて拡大信号データに配分して、拡大復元データを生成し、この拡大復元データを拡大信号データの代わりに使用し、同様の処理を繰り返す第２の繰り返し処理と、を行う機能を有している。

この発明によれば、原信号データからの元信号データまたは相似信号データへの復元を行うことができる。その際には、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、第１の繰り返し処理では、任意の信号データから比較用縮小データを作り、その比較用縮小データと処理対象の縮小原信号データとの第１の差分のデータを、変化要因情報のデータを利用して任意の信号データに配分する処理を繰り返し、第２の繰り返し処理では、縮小復元データから比較用拡大データを作り、その比較用拡大データと処理対象の原信号データまたは原信号相似信号データとの第２の差分のデータを、変化要因情報のデータを利用して拡大信号データに配分する処理を繰り返す。この第１の繰り返し処理および第２の繰り返し処理によって、徐々に元信号データまたは相似信号データに近い拡大復元信号データを得るので、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。また第１の繰り返し処理では、繰り返し処理の対象を原信号データでなく、その容量を縮小した縮小原信号データとしているため、処理速度を速くすることができる。そのため、第1の繰り返し処理を短時間化できると共に所定時間内の処理ということになれば、より多数回の繰り返しを行うことができ、縮小復元データの復元品質が良好となる。そして、その良好な品質の縮小復元データを用いて第２の繰り返し処理を行うことで、拡大信号の復元品質をも良好なものとなる。

他の発明に係る信号処理装置は、上述した発明に加え、縮小処理は、縮小原信号データの容量値をｘとし、原信号データの容量値をｙとしたとき、ｘ／ｙの値を０．９以下とすることとしている。この比の値を０．９以下とすることで、第１の繰り返し処理を迅速に行うことができ、そのため、第１の繰り返し処理を短時間化できると共に所定時間内の処理ということになれば、より多数回行うことができ、縮小復元データの復元品質が良好となる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、変化要因情報のデータから得られる変化が所定値以上の場合にのみ縮小処理、第１の繰り返し処理、拡大処理および第２の繰り返し処理を行うこととしている。この構成の採用によって、変化が比較的大きい場合にのみ、縮小処理および拡大処理を伴う状態で、原信号データからの元信号データまたは相似信号データへの復元を行うことになる。このため、時間がかかる傾向のもののみが処理対象となるので、時間短縮の面でより有利となる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、縮小原信号データと比較用縮小データとを対照し、この対照結果に基づき、または第１の差分のデータが所定値以下となった場合に、もしくは第１の繰り返し処理の繰り返しの回数が所定値以上となった場合に、第１の繰り返し処理を終了させ、原信号データまたは原信号相似信号データと、比較用拡大データとを対照し、これらの対照結果に基づき、または第２の差分のデータが所定値以下となった場合に、もしくは第２の繰り返し処理の繰り返しの回数が所定値以上となった場合に、第２の繰り返し処理を終了させることとしている。この構成の採用によって、原信号データからの元信号データまたは相似信号データへの復元を行うに際し、第１の繰り返し処理および第２の繰り返し処理を終了させる条件を好適なものとすることができる。ここで、「対照」とは、２つのものを比べ合わせることを言う。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、拡大復元データを、元信号データまたは相似信号データとして得ることとしている。この構成の採用によって、好適な条件で第１の繰り返し処理および第２の繰り返し処理を終了させた元信号データまたは相似信号データを得ることができる。

他の発明に係る信号処理装置は、上述した発明に加え、第２の繰り返し処理の回数が、第１の繰り返し処理の回数よりも少ないこととしている。この構成を採用する信号処理装置は、処理速度が速い第１の繰り返し処理を重点的に行って、縮小復元データの復元品質を良好にし、その良好な品質の縮小復元データを用いて第２の繰り返し処理を行うことで、拡大信号の復元品質をも良好なものとすることができる。

他の発明に係る信号処理装置は、上述した発明に加え、信号のデータを画像のデータとしている。この構成の採用によって、カメラの手ぶれによる画像劣化が生じた場合に、劣化等の変化が生じた原画像から、変化する前の画像もしくは本来取得されるべきであった画像である元画像データまたは元画像の近似画像データ、もしくは元画像データを縮小または拡大した相似画像データへと復元できる。

本発明では、信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供することができる。

本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である。 図１に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１に示す信号処理装置の処理部で行う縮小処理方法の概念を説明するための図である。 図１に示す信号処理装置の処理部で行う拡大処理方法の概念を説明するための図である。 図１に示す信号処理装置の処理部で行う各繰り返し処理の共通処理部分に係る処理ルーチンを説明するための処理フロー図である。 図５に示す処理方法の概念を説明するための図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、第１差分データを生成する状況を説明するための図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図５に示す共通処理について、手ぶれを例にして具体的に説明するための図で、新たに生成された第１差分データを配分し、新たな復元データを生成する状況を説明するための図である。 図１に示す信号処理装置の処理部で行う各処理の流れ全体を示すフロー図である。

符号の説明

１ 信号処理装置
２ 撮影部（受信部）
３ 制御系部
４ 処理部
５ 記録部
６ 検出部
７ 要因情報保存部
Ｇ 変化要因情報から算出される変化関数
Ｉｍｇ’ 原画像のデータ（撮影された画像）
Ｉ_０＋ｎ 復元データ
Ｉｍｇ 元画像データ（変化する前の画像もしくは本来取得されるべきであった画像のデータ）
Ｉ_０ 任意の画像データ
ｈ 目的画像データ（最後に得られた縮小復元データ、最後に得られた縮小復元データ、または元画像データ）
Ｊ 処理対象となる画像データ（原画像データ、縮小原画像データ、または拡大画像データ）

以下、本発明の実施の形態に係る信号処理装置１を、図を参照しながら説明する。なお、この信号処理装置１は、画像処理装置としての民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

図１には信号処理装置１の構成の概要を示している。信号処理装置１は、人物等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像の処理を行う処理部４と、を有している。また、この実施の形態に係る信号処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる変化要因情報を保存する要因情報保存部７を有する。なお信号処理装置１が画像処理装置以外のものとして適用される場合、撮影部２は、音声信号等の種々の入力信号を受信する受信部２（以下では、適宜、撮影部２と受信部２とを使い分けることとする。）となる。

撮影部２は、レンズを有する撮影光学系およびレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５，検出部６，および要因情報保存部７等、信号処理装置内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部４は、検出する手ぶれ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。また処理部４は、振動検出の開始と終了を制御している。さらに処理部４は、原信号データの容量値を縮小する縮小処理、縮小復元データの容量値を拡大する拡大処理、第１および第２の繰り返し処理を行う。さらに処理部４は、検出部６で検出された変化要因情報のデータから得られる変化の程度によって、縮小処理、第１の繰り返し処理、拡大処理および第２の繰り返し処理を行うか否かを判断する。なお、信号処理装置１が画像処理装置以外のものとして適用される場合、受信部２の受信感度を入力信号の大きさ等によって変えることができる。

また、この処理部４には、比較用縮小データおよび比較用拡大データを生成する際の元となる原画像のデータ（原信号データ）等が保管されることもある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、信号処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出するものである。撮影時に手ぶれがある場合、撮影された画像はぶれた画像となる。このような手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動、Ｚ軸回りの回動も生ずるが、各変動によって最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りのぶれの検出のために、PITCH（上下（Ｙ）方向の動き）検出用センサ、YAW（左右（Ｘ）方向の動き）検出用センサ２つを用いている。しかし、より完全を期すためＺ軸回りの回転を検出するROLL検出用センサをさらに付加したり、Ｘ方向またはＹ方向への移動を検出するセンサを、さらに付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。なお、信号処理装置１が画像信号以外のものを対象として適用され、受信特性または信号処理システムの応答特性などが、たとえば温度または湿度に影響を受ける場合には、検出部６には温度計または湿度計を含ませることができる。このようにして検出部６では、信号を劣化させる変化要因が観測される。

要因情報保存部７は、信号を劣化させる変化要因などの変化要因情報、たとえば光学系の収差および／または検出部６で検出された振動やそれに基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部７に記録された変化要因情報は、たとえば直近に撮影された原信号データとなる原画像データ（劣化等の変化が生じた画像データ）から元信号データとなる元画像データ（変化する前の画像データもしくは本来撮影されるべきであった画像データまたはその近似データ）もしくは元画像データを縮小または拡大した相似信号データとなる相似画像データへの復元処理の際に、処理部４で用いられる。なお、信号処理装置１が画像処理装置以外のものとして適用される場合は、温度、湿度等が受信部２の受信特性やシステム全体の特性を変化させることもあるので、それらを検出記録し、変化要因情報として用いることができる。また、システムのインパルス応答等、予めわかっているシステムの応答特性関数等を要因情報保存部７に保存することもできる。

ここで、原画像データを元画像データもしくは相似画像データへと復元処理する時期は、撮影用の電源がオフされている時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像データおよび、要因情報保存部７に保存された、その原画像データについての変化要因情報（点像関数等）が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像データの復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。

次に、以上のように構成された本実施の形態に係る信号処理装置１が行う主な処理（縮小処理、拡大処理、各繰り返し処理）の概要を説明しつつ、全体の処理の流れについて図面を参照しながら説明する。

（縮小処理）
図３には、縮小処理の概要を示している。図中の正方形の桝目の１単位は、画像データを構成する画素の１つを表している。矢印の左側は縮小処理前の画素、右側は縮小処理後の画素である。図３（Ａ）は、全体として正方形をなす隣り合う４個の画素の、各々の画素データの平均値を１個の画素の画素データへと置換する縮小処理の例を示している。この場合の縮小率は２５％である。図３（Ｂ）は、全体として正方形をなす隣り合う１６個の画素の、各々の画素データの平均値を１個の画素の画素データへと置換する縮小処理の例を示している。この場合の縮小率は６．２５％である。

図３（Ｃ）は、全体として正方形をなす隣り合う９個の画素を４個の画素の画素データとする縮小処理の例を示している。この場合の縮小率は約４４．４％である。この縮小処理の方法は、画素Ａ，Ｂ，ＤおよびＥの画素データの平均値を画素ａの画素データへと置換し、画素Ｂ，Ｃ，ＥおよびＦの画素データの平均値を画素ｂの画素データへと置換し、画素Ｄ，Ｅ，ＧおよびＨの画素データの平均値を画素ｃの画素データへと置換し、画素Ｅ，Ｆ，ＨおよびＩの画素データの平均値を画素ｄの画素データへと置換するものである。

図３は、画像データの一部を抜き出して縮小処理の概要を示しているに過ぎない。実際には図３に示す縮小処理を、画像データの全ての画素について行う。本実施の形態に係る信号処理装置１では、図３（Ｃ）に示す縮小処理を採用している。そのことを前提に以下の説明をする。なお、縮小処理は、原画像データを構成する画素の画素データ値を利用して、複数個の画素から１個の画素を生成し、その複数個の画素の代わりにその１個の画素を用いる処理である。ここで、「原画像データを構成する画素の画素データ値を利用」する方法は、複数個の画素の画素データの平均値を求める方法に限らず、複数の画素の中の１つの画素データの値をそのまま利用する方法、複数の画素の一部の画素データの平均値を求める方法、またはこれらのいずれかの値に所定の係数を乗じた値を求める方法等とすることができる。この縮小処理によって、原画像データ（撮影画像データ）からは、外見上大きく変化しない縮小原画像データを得ることができる。また、複数個の画素の画素データの平均値を用いる場合、その平均値を用いて１個の画素を生成することによって、ホワイトノイズ等のノイズを軽減した画像の復元が可能となる。なお、縮小処理によって得られた縮小原画像データは、デジタルカメラ等のモニタに表示される画像データとしても用いることができる。

（拡大処理）
図４には、拡大処理の概要を示している。図中の正方形の桝目の１単位は、画像データを構成する画素の１つを表している。また、画素ａ，ｂ，ｃおよびｄは、図３（Ｃ）に示す画素ａ，ｂ，ｃおよびｄにそれぞれ対応している。そして各々の画素は、各々の画素に付された符号の画素データを有しているものとする。図３（Ｃ）に示す画素ａとｂとの間に、画素ａの画素データと、画素ｂの画素データとの平均値（（ａ＋ｂ）／２）の画素データを有する画素を挿入している。同様の画素の挿入を、画素ａとｃとの間、画素ｃとｄとの間、画素ｂとｄとの間、画素ａとｄとの間にも行っている。ここで、画素ａとｄとの間に挿入する中心の画素の画素データは、画素ｂの画素データと、画素ｃの画素データとの平均値（（ｂ＋ｃ）／２）としても良い。なぜならば、この中心の画素は、画素ｂとｃとの間に存在しているものだからである。同様の考え方から、この中心の画素を、画素ａ，ｂ，ｃおよびｄの画素データの平均値（（ａ＋ｂ＋ｃ＋ｄ）／４）の画素データを有する画素としても良い。この拡大処理によって、図３（Ｃ）に示す縮小処理の前の原画像データの画素数に戻す拡大処理ができる。図４は、画像データの一部を抜き出して拡大処理の様子を示しているに過ぎない。実際には図４に示す拡大処理を画像データの画素全てについて行う。本実施の形態に係る信号処理装置１では、図４に示す拡大処理を採用している。そのことを前提に以下の説明をする。

なお、拡大処理は、後述する第１の繰り返し処理を経て最後に得られる縮小復元データを構成する画素において、拡大しようとする画素データに基づいて生成される新たな画素を、複数個の画素の間に挿入する処理である。ここで、「拡大しようとする画素データに基づいて生成される新たな画素データ」は、隣り合う複数個の画素の画素データの平均値に限らず、離れた場所の画素データを利用したり、隣り合う複数の画素の一部の画素データの平均値、またはこれらのいずれかの平均値に所定の係数を乗じたもの等とすることができる。この拡大処理によって、後述する縮小原画像データとは、見た目の絵柄は大きく変化しないが、拡大されたものとなる拡大画像データを得ることができる。

（繰り返し処理）
本実施の形態に係る信号処理装置１が行う繰り返し処理には、縮小処理した画像データの信号復元手段としての第１の繰り返し処理、拡大処理した画像データの信号復元手段としての第２の繰り返し処理がある。また、後述するように、縮小処理および拡大処理を行わない原画像データの信号復元手段としての第３の繰り返し処理がある。まず、これら３つの繰り返し処理に共通する共通処理を以下に説明する。

共通処理は、処理部４が、変化要因情報のデータを利用して、任意の画像データから比較用データを生成して、処理対象となる画像データと比較用のデータとの差分のデータを変化要因情報のデータを利用して上記任意の画像データに配分することで復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す処理である。

共通処理の概要を、図５に基づいて説明する。図５は、信号（画像）復元手段としての繰り返し処理に係る処理ルーチンを説明するための処理フロー図である。図５中、「Ｉ_０」は、任意の画像データ、「Ｊ」は、処理対象となる画像データであって、これらは処理部４の記録部に保存されている画像のデータである。ここで、「Ｉ_０」は任意の画像データであるので、任意の画像データとして処理対象となる画像データ「Ｊ」を用いても良い。「Ｉ_０’」は、その任意の画像データＩ_０の変化画像のデータを示し、これが比較のための比較用データとなる。「Ｇ」は、要因情報保存部７に保存された変化要因情報（＝劣化要因情報）から算出される変化関数（点像関数）である。

「δ」は、処理対象となる画像データＪと、比較用データＩ_０’との差分のデータである。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉ_０＋ｎ」は、任意の画像データＩ_０に、差分のデータδを変化要因情報から算出される変化関数（点像関数）Ｇに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。ここで、「ｈ」は最終的に得ようとする劣化の無い目的画像データであるとすると、目的画像データｈと処理対象となる画像データＪとの関係は、次の（１）式で表すことができる。
Ｊ＝ｈ＊Ｇ ……（１）
ここで、「＊」は、重畳積分を表す演算子である（以下同じ）。

処理部４の処理ルーチンは、まず、任意の画像データＩ_０を用意することから始まる（ステップＳ１０１）。ステップＳ１０２で、（１）式の目的画像データｈの代わりに任意の画像データＩ_０を入れ、変化画像である比較用データＩ_０’を求める。次に、処理対象となる画像データＪと比較用データＩ_０’とを比較し、差分のデータδを算出する（ステップＳ１０３）。

その差分のデータδの各々の絶対値が所定値未満であるか否かをステップＳ１０４で判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、処理対象となる画像データＪと比較用データＩ_０’とを比較した際の差分のデータδを変化関数Ｇに基づいて、任意の画像データＩ_０に配分し、新たな復元データI_０＋１を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，およびＳ１０５を繰り返す。

ステップＳ１０４において、差分のデータδの絶対値が所定値未満の場合、繰り返し処理を終了する。そして、繰り返し処理を終了した時点での復元データＩ_０＋ｎを目的画像データｈと推定する。すなわち、差分のデータδの絶対値が所定値より小さくなった場合、比較用データＩ_０＋ｎ’の元となった復元データＩ_０＋ｎは目的画像データｈに充分近似されたと判断し、その復元データＩ_０＋ｎを目的画像データｈと推定する。なお、記録部５には、任意の画像データＩ_０、変化関数Ｇを記録しておき、必要に応じて処理部４に渡すようにしても良い。

上述した共通処理の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理対象の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解くことは理論上は可能であるが、現実問題としては困難である。

最適化問題として解く場合において、本実施の形態に係る共通処理では、次のような条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）対比する出力が同じであれば、それらの入力は同じである。
（３）対比する出力が同じになるように、入力を更新しながら反復処理することによって、解を収束させていく。

このことを換言すれば、図６（Ａ）（Ｂ）に示すように、処理対象となる画像データＪと近似である比較用データＩ_０’（Ｉ_０＋ｎ’）を生成できれば、その生成の元データとなる画像データＩ_０（Ｉ_０＋ｎ）は、目的画像データｈに近似されたものとなる。

次に、図５に示す共通処理によるぶれ画像の復元（ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５の反復処理）の詳細を、目的画像データｈを元画像データＩｍｇ、処理対象となる画像データＪを原画像データＩｍｇ’とした場合（後述する第３の繰り返し処理）を例に、図７，図８，図９，図１０，図１１，図１２，図１３，および図１４に基づいて説明する。

（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からぶれの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にＳ−１，Ｓ，Ｓ+１，Ｓ+２，Ｓ+３，…，とし、ある画素Ｓに注目する。ぶれが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図７に示す。このときの撮影結果を、図８の表に示す。図８に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表している。

露光時間中にぶれがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図９に示す表のとおりとなる。これが変化要因情報から算出される変化関数（点像関数）Ｇとなる。

ぶれは、全ての画素で一様であり、シフトインバリアントな問題として把握される。そして、上ぶれ（縦ぶれ）が無いとすると、ぶれの状況は、図１０に示す表のとおりとなる。図１０中の「ぶれ画像」として示されるデータが、劣化している原画像データＩｍｇ’となる。具体的には、たとえば「Ｓ−３」の画素の「１２０」は、ぶれ情報である変化要因情報から算出される変化関数（点像関数）Ｇの「０．５」「０．３」「０．２」の配分比に従い、「Ｓ−３」の画素に「６０」、「Ｓ−２］の画素に「３６」、「Ｓ−１」の画素に「２４」というように分散する。同様に、「Ｓ−２」の画素データである「６０」は、「Ｓ−２」に「３０」、「Ｓ−１」に「１８」、「Ｓ」に「１２」として分散する。この劣化している原画像データＩｍｇ’と、図９に示す変化要因情報から算出される変化関数（点像関数）Ｇから元画像データＩｍｇを算出することとなる。

図５のステップＳ１０１に示す任意の画像データＩ_０は、この説明に当たっては、原画像データＩｍｇ’を用いる。すなわち、Ｉ_０＝Ｉｍｇ’として処理を開始する。図１１の表中に「入力」とされたものが任意の画像のデータＩ_０に相当する。このデータＩ_０すなわちＩｍｇ’と、ステップＳ１０２で変化要因情報から算出される変化関数（点像関数）Ｇとを重畳積分する。すなわち、たとえば、所定の画像データＩ_０の「Ｓ−３」の画素の「６０」は、「Ｓ−３」の画素に「３０」が、「Ｓ−２」の画素に「１８」が、「Ｓ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ_０’」として示される比較用データＩ_０’が生成される。このため、ステップＳ１０３の差分のデータδは、図１１の最下欄に示すようになる。

この後、図５のステップＳ１０４で、原画像データＩｍｇ’と比較用データＩ_０’の画像を構成する複数の各画素の差分のデータδの絶対値が所定値未満であるか否かを判断する。その判断の結果、「Ｎ」ならばステップＳ１０５に進む。すなわち、差分のデータδを変化要因情報のデータＧを使用して、任意の画像のデータＩ_０に配分して、図１２中の「次回入力」として示される復元データＩ_０＋ｎを生成する。この場合、第１回目であるため、図１２では、Ｉ_０＋１と表している。

差分のデータδの配分は、変化要因情報から算出される変化関数（点像関数）Ｇを利用して、たとえば「Ｓ−３」の画素データ「３０」に自分の所（＝「Ｓ−３」の画素）の配分比である０．５をかけた「１５」を「Ｓ−３」の画素に配分し、また「Ｓ−２」の画素のデータ「１５」にその「Ｓ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「Ｓ−１」の画素のデータ「９．２」に、その「Ｓ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「Ｓ−３」の画素に配分された総量（更新量）は、「２１．３４」となり、この値を所定の画像のデータＩ_０（ここでは原画像データＩｍｇ’を使用）にプラスして、復元データＩ_０＋１を生成している。

図１３に示すように、この復元データＩ_０＋１が図５のステップＳ１０２の入力画像のデータ（＝所定の画像のデータＩ_０）になり、ステップＳ１０２が実行され、ステップＳ１０３へと移行し、新しい差分のデータδを得る。その後、上述と同様にステップＳ１０４の判断をする。その判断の結果、「Ｎ」ならばステップＳ１０５に進み、新しい差分のデータδを前回の復元データＩ_０＋１に配分し、新しい復元データＩ_０＋２を生成する（図１４参照）。その後、ステップＳ１０２の遂行によって、復元データＩ_０＋２から新しい比較用データＩ_０＋２’が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４での判断が「Ｎ」ならステップＳ１０５へ移行する。このような処理を繰り返す。

以上のように、繰り返し処理がなされることで、差分のデータδの絶対値が徐々に小さくなっていき、所定値より小さくなると、ステップＳ１０４の判断が「Ｙ」となり、ぶれが低減された元画像データＩｍｇに近いデータが得られる。

以上に述べた図５に示すぶれ画像の復元処理方法（ステップＳ１０２，Ｓ１０３，Ｓ１０４，およびＳ１０５の繰り返し処理（共通処理））においては、処理部４で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の繰り返し回数は、信号処理装置１側で自動的にまたは固定的に設定しても良い。その場合、その設定された回数を変化要因情報から算出される変化関数（点像関数）Ｇによって変更するようにしても良い。たとえば、ある画素のデータが、ぶれによって多数の画素に分散している場合は、繰り返しの回数を多くし、分散が少ない場合は繰り返しの回数を少なくするようにしても良い。

さらに、繰り返し処理中に、差分のデータδが発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなってきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータδの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、繰り返し処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、繰り返し処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、上限の値である２５５として処理するようにする。

また、出力画像となる復元データを生成する際、変化要因情報から算出される変化関数（点像関数）Ｇによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにしても良い。たとえば、領域内の最も下に位置する画素ＸＮ１のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１に割り振られる処理をする。画素ＸＮ１の隣の画素Ｎ２についても同様に真上で最上覧の画素Ｘ１２（＝画素Ｘ１１の隣り）に割り振ることとなる。

なお、共通処理では、角速度検出センサのサンプリング周波数を６０Ｈｚから２４０Ｈｚ内としているが、高周波数を検出できるように５μｓｅｃ毎に角速度を検出してもよい。また、差分のデータδの判定基準となる値は、各データを８ビット（０〜２５５）で表した場合に、この実施の形態では「６」としている。すなわち、６より小さいときは、処理を終了している。また、角速度検出センサで検出したぶれの生データは、センサ自体の校正が不十分なときは、実際のぶれとは対応しない。よって実際のぶれに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

以上が、共通処理の処理方法である。この共通処理と同様な考え方基づいての処理方法である第１の繰り返し処理においては、共通処理における「任意の画像データＩ_０」を、撮影した原画像データＩｍｇ’を縮小処理した縮小原画像データとする。また共通処理における「比較用データＩ_０’」は、この任意の画像データＩ_０（縮小処理した縮小原画像データ）を変化要因情報から算出される変化関数（点像関数）Ｇ１を利用して劣化させた縮小原画像データと同じ容量の比較用縮小データとなる。また、共通処理における「処理対象となる画像データＪ」は、縮小原画像データとなる。また、共通処理における「差分のデータδ」は、縮小原画像データと比較用縮小データとの第１の差分のデータとなる。また、共通処理における「復元データＩ_０＋ｎ」は、第１の差分のデータを変化要因情報から算出される変化関数（点像関数）Ｇ１を利用して、縮小原画像データに配分することで生成した縮小復元データとなる。また、共通処理における「目的画像データｈ」は、最後に得られた縮小復元データとなる。

第２の繰り返し処理においては、共通処理における「任意の画像データＩ_０」を、第１の繰り返し処理を行うことで得られた最後の縮小復元データ（目的画像データｈ）を拡大処理した拡大画像データとする。また、共通処理における「比較用データＩ_０’」は、この任意の画像データＩ_０（拡大処理した拡大画像データ）を変化要因情報から算出される変化関数（点像関数）Ｇ２を利用して劣化させた比較用拡大データとなる。また、共通処理における「処理対象となる画像データＪ」は、原画像データＩｍｇ’または比較用拡大データと同じ容量の原画像相似画像データとなる。また、共通処理における「差分のデータδ」は、拡大画像データと比較用拡大データとの第２の差分のデータとなる。また、共通処理における「復元データＩ_０＋ｎ」は、第２の差分のデータを変化要因情報から算出される変化関数（点像関数）Ｇ２を利用して、拡大画像データに配分することで生成した拡大復元データとなる。また、共通処理における「目的画像データｈ」は、最後に得られた拡大復元データ（元画像データＩｍｇまたは相似画像データ）である。

第３の繰り返し処理は、所定画像データに対して行う共通処理そのものである。すなわち、第３の繰り返し処理においては、共通処理における「任意の画像データＩ_０」には原画像データＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。また、共通処理における「比較用データＩ_０’」は、第３の繰り返し処理においては、この任意の画像データＩ_０（任意の画像データ）を変化要因情報から算出される変化関数（点像関数）Ｇ３を利用して劣化させた比較用データとなる。また、共通処理における「処理対象となる画像データＪ」は、第３の繰り返し処理においては、原画像データＩｍｇ’となる。また、共通処理における「差分のデータδ」は、第３の繰り返し処理においては、原画像データＩｍｇ’と比較用データとの第３の差分のデータとなる。また、共通処理における「復元データＩ_０＋ｎ」は、第３の繰り返し処理においては、第３の差分のデータを変化要因情報から算出される変化関数（点像関数）Ｇ３を利用して、任意の画像データに配分することで生成した復元データとなる。また、共通処理における「目的画像データｈ」は、第３の繰り返し処理においては、元画像データＩｍｇとなる。

（全体の処理の流れ）
図１５に、本実施の形態に係る信号処理装置１の処理部４が主として行う、全体の処理のフロー図を示す。まず、検出部６によって得られる変化要因情報から算出される変化関数（点像関数）Ｇのうち、ぶれにのみ関する情報Ｇａを取得し、Ｇａが所定値以下か否か、すなわちぶれの程度が大きいか否かを判断する（ステップＳ２０１）。仮にＧａが所定値以下で、ぶれの程度が小さい場合には、第３の繰り返し処理を行い（ステップＳ２０２）、最終的に得られる復元画像データとして元画像データを得て、画像復元処理が終了する。ここで、ぶれの程度が小さい場合に第３の繰り返し処理を採用する理由は、ぶれの小さい画像データに対して縮小処理および拡大処理を行うと、それほどぶれていない状態の原画像Ｉｍｇ’のデータを縮小したり拡大することで、逆に画像が劣化したり処理時間が増加する危険性が大きくなるためである。なお、このように、変化要因情報から得られる変化（ここではＧａ）が所定値を超える場合にのみ縮小処理、第１の繰り返し処理、拡大処理および第２の繰り返し処理を行い、所定値以下の場合に第３の繰り返し処理をするという処理方法は、必ずしも必要でなく、信号処理装置１の仕様または処理する画像等によってステップＳ２０１およびＳ２０２が入っていない処理フローとすることができる。なお、ステップＳ２０１では、ぶれに関する情報Ｇａに代えて、ぶれ以外の情報が含まれている情報を用いても良い。

Ｇａが所定値を超えると判断された場合（ステップＳ２０１）、すなわち、ぶれの程度が大きい場合には、まず撮影して得られた原画像データＩｍｇ’の容量値を縮小する縮小処理(図３（Ｃ）参照）を行う（ステップＳ２０３）。次いで、縮小原画像データに対して第１の繰り返し処理を行う（ステップＳ２０４）。そして第１の繰り返し処理を行って得られた最後の縮小復元データの容量値を、原画像データＩｍｇ’の容量値と同一になるように拡大する拡大処理(図４参照）を行う（ステップＳ２０５）。この拡大処理した拡大画像データに対して、第２の繰り返し処理を行い（ステップＳ２０６）、最終的に得られる復元画像データを元画像データとして得て、本実施の形態に係る信号処理装置１の処理部４が行う画像復元処理が終了する。

処理時間が限られている場合、この第２の繰り返し処理の回数は、第１の繰り返し処理の回数よりも少ないことが好ましい。そのようにすることで、第１の繰り返し処理を多数回行うことができ、縮小復元データの復元品質が良好となる。また、それと共に、その良好な品質の縮小復元データを用いて第２の繰り返し処理を補助的（確認的）に行うことで、拡大処理によって大きい容量となった拡大画像データの復元品質をも良好なものとすることができる。

なお、第１、第２および第３の各繰り返し処理は、通常、繰り返しの回数を多くするに従って（比例して、ではない）画像復元の精度は高まる。その一方、画像復元全体に要する処理時間は、繰り返しの回数に比例して長くなる。また、同じ繰り返しの回数であれば、画像データの容量が多くなるに従って１回の繰り返し処理に要する時間が長くなる。

ここで、仮に原画像データＩｍｇ’の画像データが５００万画素、縮小原画像データがＶＧＡ（Video Graphics Array）と同等の約３０万画素とした（縮小率が約６％）ときの実験例を説明する。この実験では、第１の繰り返し処理を５０回行う処理時間は、原画像データＩｍｇ’に対して第３の繰り返し処理を３回行う時間と同等となった。その後、第２の繰り返し処理を２回行うと、その処理時間は、原画像データＩｍｇ’に対して第３の繰り返し処理を２回行うのと同等となった。原画像データＩｍｇ’に対して第３の繰り返し処理を５回行った場合の復元画像と、第１の繰り返し処理を５０回行った後第２の繰り返し処理を２回行った場合の拡大復元画像とを比べると、明らかに後者の拡大復元画像の方が、画像復元の精度・品質が高かった。また、第３の繰り返し処理を５０回行なった場合の復元画像と同等であった。

なお、繰り返し処理の速度を速める別の方法として、繰り返し処理におけるフィードバックゲイン（図５に示す「ｋ」：変化要因情報のデータに基づく配分比）を大きくする方法が考えられる。しかし、フィードバックゲイン「ｋ」の値を大きくし過ぎると、図５に示す「ｋδ」が大きくなりすぎて繰り返し処理において発散してしまい、収束（δの値を充分小さくする）させることができなくなる場合がある。よって、フィードバックゲインの値を大きくして第３の繰り返し処理を行うのは、一概に適切であるとは言えない。また、繰り返しの回数を多くすることで原画像データＩｍｇ’が有することのあるホワイトノイズ等のノイズを強調してしまう場合がある。しかし、本実施の形態では、縮小と拡大の各処理の際に、画素データの中に含まれるノイズも平均化（分散）され、その影響が軽減されている。また、第１の繰り返し処理から得られた拡大画像データは良好な復元品質に近いので、第２の繰り返し処理における差分のデータδは充分小さくなっているため、第２の繰り返し処理におけるフィードバックゲイン「ｋ」の値を大きくしたとしても、ｋδが大きくなりすぎることはない。よって、本実施の形態における信号処理装置１が行う画像復元処理は、第１の繰り返し処理や第３の繰り返し処理を行う場合に比べ、第２の繰り返し処理の中ではフィードバックゲインの値を大きくすることによる弊害が小さい。よって、本実施の形態に係る信号処理装置１では、第３の繰り返し処理を行う場合よりも更なる画像復元処理の迅速化を図ることができる。

本実施の形態における信号処理装置１は、復元画像を繰り返し生成し、その質を高めていくようにしているので、装置は大型化しない。また、本実施の形態における信号処理装置１は、変化要因情報のデータを利用して、所定の画像データから比較用データを生成して、処理対象となる画像データと比較用のデータとの差分のデータを変化要因情報のデータを利用して所定の画像データに配分することで復元データを生成し、この復元データを所定の画像データの代わりに使用し、同様の処理を繰り返し、徐々に元画像データまたは相似画像データを得るので、画像復元処理に当たり、現実性のある回路処理方式となっている。

以上、本発明の実施の形態における信号処理装置１について説明したが、本発明は、その要旨を逸脱しない限り種々変更実施可能である。たとえば、最終的に得られる復元画像データは、元画像データでなく、元画像データを縮小または拡大した相似信号データとなる相似画像データとしても良い。相似画像データを得るためには、拡大処理の際に元画像の容量とは異なる拡大画像データ（原画像相似画像データ）を生成する。そして、原画像データＩｍｇ’を原画像相似画像データと同じ容量となるように、縮小処理または拡大処理を行い、容量調整済み原画像データを得る。そして、図５のステップＳ１０３の処理対象となる画像データＪの代わりに容量調整済み原画像データを用いて、第２の繰り返し処理を実行する。

相似画像データを得るための別の方法は、たとえば縮小処理および第１の繰り返し処理のみ行い、第１の繰り返し処理を行うことで得られた最後の縮小復元データを、相似画像データとして得る方法である。この方法を採用すれば、第２の繰り返し処理を省略できることから、全体の画像復元処理を迅速化できる。この方法を採用する際には、縮小処理で得られる縮小原画像データの容量を、最終的に得る復元処理を行った画像データの容量と同一となるよう調整する。または、このような方法によって得た相似画像データを、第１の繰り返し処理の最後に得られた縮小復元データを拡大し、相似画像データと同一の容量の拡大データを得る処理を行うこととしても良い。この場合の拡大の方法は、本実施の形態に係る拡大処理(図４参照）以外の方法であっても良い。

原画像データＩｍｇ’は、解像度が高く画像品質が良くなるに従って、画像復元処理を行って最終的に得られる画像データの復元品質は良好となる。よって、相似画像データを得る利点は、たとえば、解像度が高いことによって高品質の原画像データＩｍｇ’を得た上で、縮小処理および各種繰り返し処理（画像復元処理）等を行って、最終的にぶれが少なく、かつ原画像データＩｍｇ’よりも小さい容量で取り扱い性が良好な画像データを得ることができる点等である。なお、信号処理装置１によって最終的に得られる相似画像データの解像度は、固定的に設定されていても良いし、複数種設定できることとしても良い。そして、相似画像データを得ることのできる信号処理装置１としてのデジタルカメラには、操作する者が最終的に得たい画像の解像度を、選択または調整する機構が設けられていることが好ましい。

本実施の形態における信号処理装置１が行う画像復元処理は、図１５に示すように、縮小処理（ステップＳ２０３）、第１の繰り返し処理（ステップＳ２０４）、拡大処理（ステップＳ２０５）、第２の繰り返し処理（ステップＳ２０６）の順番で行い、終了する。しかし、たとえば第２の繰り返し処理（ステップＳ２０６）の後に、再度縮小処理および第１の繰り返し処理を行った後に終了させることとしても良い。さらには、図１５に示す、縮小処理（ステップＳ２０３）、第１の繰り返し処理（ステップＳ２０４）、拡大処理（ステップＳ２０５）、第２の繰り返し処理（ステップＳ２０６）の順番で行う画像復元の処理全体を、複数回繰り返すこととしても良い。また、画像復元処理の前後、または各種処理（ステップＳ２０３からステップＳ２０６）の間のいずれかの時期に、いわゆるγ補正等の画像復元処理とは無関係の処理を行うこともできる。

本実施の形態における信号処理装置１が行う図３（Ｃ）で示した縮小処理は、縮小原画像データの容量値をｘとし、原画像データの容量値をｙとしたとき、ｘ／ｙの値（縮小率）を約０．４４４とする処理である。信号処理装置１が行う縮小処理の縮小率は、０．０５以上とすることが好ましい。その理由は、原画像データＩｍｇ’の画素データの過剰な喪失を避けるためである。またこの縮小率は、０．９以下が好ましく、０．５以下とするとさらに好ましい。その理由は、第１の繰り返し処理を迅速に行うためである。

本実施の形態における信号処理装置１が行う第１および第２の繰り返し処理では、図５に示すように、縮小原画像データと比較用縮小データとの第１の差分のデータδの絶対値、および拡大画像データと比較用拡大データとの第２の差分のデータδの絶対値が所定値未満の場合に（ステップＳ１０４）、第１の繰り返し処理および第２の繰り返し処理を終了させている。しかし、第１の繰り返し処理の終了の条件は、縮小原画像データと比較用縮小データとを対照し、この対照結果に基づき、または第１の差分のデータが所定値以下となった場合に、もしくは第１の繰り返し処理の繰り返しの回数が所定値となった場合とすることができる。また、第２の繰り返し処理の終了の条件は、原画像データまたは比較用拡大データと同じ容量の原画像相似画像データと前記比較用拡大データとを対照し、これらの対照結果に基づき、または前記第２の差分のデータが所定値以下となった場合に、もしくは前記第２の繰り返し処理の繰り返しの回数が所定値となった場合とすることができる。また、ステップＳ２０１の判断基準を「≦」ではなく「＜」としても良い。

ここで、上述の「対照」には、対比する複数のデータの所定の対応関係を見比べること等が含まれる。たとえば、処理部４は、外見上対比すべき画像データが近似していなくても、両データの特定の部分が一定の関係を満たしていれば、図５に示す繰り返し処理を終了させる処理を行うこととしても良い。また、第１および第２の差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報から算出される変化関数（点像関数）Ｇによって異なる。たとえば第１および第２の差分のデータδは、次の（２）式で表される。
δ＝ｆ（Ｊ，Ｉ_０，Ｇ） …（２）

本実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。音声信号データの場合、音を一定時間ごとに数値化したデータを、信号要素データとして、画像データにおける画素データと同様に扱うことができる。

また、上述した各信号復元方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、信号処理装置１は、その記憶媒体内のプログラム化されたものが信号処理装置１の外部サーバに入れられ、必要に応じてダウンロードされ、使用されるようにしても良い。この場合、信号処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

Claims (9)

1. 劣化等の変化が生じた原信号データから、変化する前の信号のデータもしくは本来取得されるべきであった信号のデータまたはその近似信号のデータ（以下、これらの「信号のデータ」を総称して元信号データという）、もしくは元信号データを縮小または拡大した相似信号データを、上記変化する際の変化要因情報のデータを利用して生成する処理部を有する信号処理装置において、
   上記処理部は、上記原信号データの容量値を縮小する縮小処理した縮小原信号データと、任意の信号データから上記変化要因情報のデータを利用して生成した上記縮小原信号データと同じ容量で、かつ上記任意の信号データを劣化させた比較用縮小データの２つのデータの差分のデータを、上記変化要因情報のデータに基づいて上記任意の信号データに配分して、縮小復元データを生成し、この縮小復元データを上記任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う機能を有することを特徴とする信号処理装置。
2. 前記処理部は、前記繰り返し処理の最後に得られた前記縮小復元データを拡大し、前記元信号データまたは前記相似信号データと同一の容量の拡大データを得る処理を行うことを特徴とする請求項１に記載の信号処理装置。
3. 劣化等の変化が生じた原信号データから、元信号データもしくは元信号データを縮小または拡大した相似信号データを、上記変化する際の変化要因情報のデータを利用して生成する処理部を有する信号処理装置において、
   上記処理部は、上記原信号データの容量値を縮小する縮小処理した縮小原信号データと、任意の信号データから上記変化要因情報のデータを利用して生成した上記縮小原信号データと同じ容量で、かつ上記任意の信号データを劣化させた比較用縮小データの２つのデータの差分のデータを、上記変化要因情報のデータに基づいて上記任意の信号データに配分して、縮小復元データを生成し、この縮小復元データを上記任意の信号データの代わりに使用し、同様の処理を繰り返す第１の繰り返し処理と、
   上記第１の繰り返し処理を行うことで得られた上記縮小復元データの容量値を拡大する拡大処理と、この拡大処理した拡大信号データから、その拡大信号データを劣化させた比較用拡大データを生成し、上記原信号データまたは上記原信号データの容量を上記比較用拡大データと同じ容量となるよう縮小または拡大した原信号相似信号データと、上記比較用拡大データとの第２の差分のデータを、上記変化要因情報のデータに基づいて上記拡大信号データに配分して、拡大復元データを生成し、この拡大復元データを上記拡大信号データの代わりに使用し、同様の処理を繰り返す第２の繰り返し処理と、を行う機能を有することを特徴とする信号処理装置。
4. 前記縮小処理は、前記縮小原信号データの容量値をｘとし、前記原信号データの容量値をｙとしたとき、ｘ／ｙの値を０．９以下とするものであることを特徴とする請求項１または３に記載の信号処理装置。
5. 前記処理部は、前記変化要因情報のデータから得られる前記変化が所定値以上の場合にのみ前記縮小処理、前記第１の繰り返し処理、前記拡大処理および前記第２の繰り返し処理を行うことを特徴とする請求項３に記載の信号処理装置。
6. 前記処理部は、前記縮小原信号データと前記比較用縮小データとを対照し、この対照結果に基づき、または前記第１の差分のデータが所定値以下となった場合に、もしくは前記第１の繰り返し処理の繰り返しの回数が所定値以上となった場合に、前記第１の繰り返し処理を終了させ、
   前記原信号データまたは前記原信号相似信号データと、前記比較用拡大データとを対照し、これらの対照結果に基づき、または前記第２の差分のデータが所定値以下となった場合に、もしくは前記第２の繰り返し処理の繰り返しの回数が所定値以上となった場合に、前記第２の繰り返し処理を終了させることを特徴とする請求項３に記載の信号処理装置。
7. 前記処理部は、前記拡大復元データを、前記元信号データまたは前記相似信号データとして得ることを特徴とする請求項６に記載の信号処理装置。
8. 前記第２の繰り返し処理の回数が、前記第１の繰り返し処理の回数よりも少ないことを特徴とする請求項３に記載の信号処理装置。
9. 前記信号のデータを画像のデータとしたことを特徴とする請求項１から８のいずれか１項に記載の信号処理装置。

Images