WO2007091422A1

WO2007091422A1 - 信号処理装置

Info

Publication number: WO2007091422A1
Application number: PCT/JP2007/051033
Authority: WO
Inventors: Fuminori Takahashi
Original assignee: Nittoh Kogaku K.K
Priority date: 2006-02-06
Filing date: 2007-01-24
Publication date: 2007-08-16
Also published as: US20090051775A1; JPWO2007091422A1; JP5133070B2; US7864214B2

Abstract

　劣化等変化した信号を復元するに当たり、装置の大型化を防止できると共に、現実性のある信号処理装置を提供する。　この信号処理装置１は、劣化等の変化が生じた原信号のデータから、変化する前の信号もしくは本来取得されるべきであった信号またはそれらの近似信号のデータの復元をする処理部４を有する。そして、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータが格納される復元データ領域とを設け、処理部４が、変化データのエネルギーを、変化の要因となる変化要因情報データを利用して、変化データ領域から復元データ領域へと移行させ、復元データを生成し、その移行により残存する変化データ領域の残部データを、変化データに置き換えて同様の処理を繰り返し、処理終了時の復元データ領域に形成されるデータを元信号データとする。

Description

明細書

信号処理装置

技術分野

[0001] 本発明は、信号処理装置に関する。

背景技術

[0002] 従来から、カメラ等の画像処理装置で撮影した際には、画像には時々劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。

[0003] 撮影時の手ぶれを補正するには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている（特許文献 1参照)。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等力撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元するものが知られて、る (特許文献 2参照)。

[0004] また、一般の撮影画像以外にも、音声、 X線写真、顕微鏡画像、地震波形等、種々の信号がぶれやその他の原因によって劣化したり、変化したりすることが知られている。

[0005] 特許文献 1：特開平 6— 317824号公報 (要約書参照）

特許文献 2：特開平 11 24122号公報 (要約書参照）

発明の開示

発明が解決しょうとする課題

[0006] 特許文献 1記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハ一ドウエアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。また特許文献 2記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の 2つの理由で、画像復元が困難である

[0007] 第 1に、取得する伝達関数は、ノイズやぶれ情報誤差等に非常に弱ぐこれらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる補正画像は、手ぶれがな、状態で撮影した画像とはほど遠、ものとなり、実際上は利用できな、。第 2に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

[0008] 画像に生ずる上述した問題は、一般の種々のデータにも現れ、伝達関数の逆変換で信号の復元を行うことは、取得した伝達関数が不正確な場合はもちろんのこと、正確であったとしても、困難となっている。し力も、 100%正確な伝達関数を得ることは、自然界を対象とする場合は、あり得ない状況である。

[0009] 上述したように、本発明の課題は、信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供することである。

課題を解決するための手段

[0010] 上記課題を解決するため、本発明の信号処理装置は、劣化等の変化が生じた原信号のデータ (以下、変化データという。）から、変化する前の信号もしくは本来取得されるべきであった信号またはそれらの近似信号のデータ（以下、元信号データと!/、う）の復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、処理部が、変化データのエネルギーを、変化の要因となる変化要因情報データを利用して、変化データ領域から復元データ領域へと移行させ、復元データを生成し、その移行により残存する変化データ領域の残部データを、変化データに置き換えて同様の処理を繰り返し、処理終了時の復元データ領域に形成されるデータを元信号データとしてヽる。

[0011] この発明によれば、元信号データが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データ利用することにより、変化データのエネルギーを復元データ領域に移行すれば、復元データ領域において元信号データが確実に復元される。ここで、変化データ領域に格納される変化データは、変化データを構成するエネルギーの状態をそのままにした上で、変化データにカ卩ェ等が施されたものであっても良い。また、復元データ領域に格納される復元データは、復元データを構成するエネルギーの状態をそのままにした上で、復元データにカ卩ェ等が施されたものであっても良い。さらに、「移行」は、変化データ領域から復元データ領域への、字義通りエネルギー値を移動すること、および、変化データ領域力そのエネルギーを除去し、復元データ領域に新たにそのエネルギーを生成することも含む。さらに、変化データ領域および復元データ領域は、一時的に形成されるものまたは恒久的に形成されるものの両者を含む（以下同じ)。

[0012] 他の発明は、上述の発明に加え、繰返し処理の際、その繰返しの都度復元データ領域へ移行するエネルギーを既に復元データ領域に格納された復元データに加算する処理をし、残部データを零に近づける処理を行っている。残部データが零に近づけば、変化データ領域のエネルギーの殆どが復元データ領域へと移行することとなるため、復元データが元信号データへと近づく。

[0013] 上記課題を解決するため、本発明の信号処理装置は、複数の要素力なる変化データから、複数の要素力なる元信号データの復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎に復元データが格納される復元データ領域とを設け、処理部が、変化データの一の要素における要素エネルギーを、変化の要因となる変化要因情報データが有する応答特性関数の重心値を利用して、変化データ領域から復元データ領域へと移行させ、移行させた要素エネルギ一に相当する要素エネルギーを、変化データ領域力変化要因情報データを利用して除外する処理を行い、またこの一の要素に対する処理を他の要素についても順次行い、復元データ領域に復元データを生成し、除外により残存する変化データ領域の残部データを、変化データに置き換えて同様の処理を各要素毎に繰り返し、その繰り返しの都度復元データ領域へ移行する要素エネルギーを復元データに加算する処理をし、残部データを零に近づける処理を行い、処理終了時の復元データ領域に形成されるデータを元信号データとしてヽる。 [0014] この発明によれば、元信号のデータが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データである応答特性関数の重心値 (エネルギーが最も集中して、る部分の値)の逆数を用いることにより、変化データのエネルギーの多くを復元データ領域に移行し、移行させたエネルギーに相当する要素エネルギーを、変化データ領域力も変化要因情報データを利用して除外して、残部データのエネルギー値 (以下、残部エネルギー量という）を、零に近づけることができれば、復元データ領域において元信号データが確実に復元される。ここで、変化データ領域に格納される変化データは、変化データを構成する各要素のエネルギーの状態をそのままにした上で、変化データに加工等が施されたものであっても良い。また、復元データ領域に格納される復元データは、復元データを構成する各要素のエネルギーの状態をそのままにした上で、復元データに加ェ等が施されたものであっても良い。さらに、「移行」は、変化データ領域から復元データ領域への、字義通りエネルギーを移動すること、および、変化データ領域からそのエネルギーを除去し、復元データ領域に新たにそのエネルギーに相当するェネルギーを生成することも含む。さらに、応答特性関数には、インパルス応答関数およびユニット応答関数等を含む。そして信号のデータを画像のデータとした場合には、ィンパルス応答関数は点像関数となる。

[0015] 他の発明に係る信号処理装置は、上述した発明にカ卩え、処理部は、繰り返しの処理の際、残部エネルギー量が、所定値以下または所定値より小さくなつたら、停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「0」にならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定値以下としているので、近似する復元データは変化データの元となる変化前 (劣化等する前）の元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部ェネルギー量が「0」になることが現実的にはあり得ない状況が生じがちである力そのような場合であっても無限に処理を繰り返すことにはならない。

[0016] 他の発明に係る信号処理装置は、上述した発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「0」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、近似する復元データは変化データの元となる劣化等する前の元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部エネルギー量が「

0」にならない状況が現実的には生じがちである力そのような場合であっても所定回数で終了させているので、無限に処理を繰り返すことにはならない。

[0017] 他の発明に係る信号処理装置は、上述した発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの残部エネルギー量が所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この発明では、処理の回数と、残部エネルギー量とを組み合わせて行うようにしているので、単に処理回数に制限を加えたり、残部エネルギー量に制限を行う場合に比較して、復元精度の良さと処理時間の短さのバランスが取れた処理とすることができる。

[0018] 上記課題を解決するため、本発明の信号処理装置は、複数の要素力なる変化データから、複数の要素力なる元信号データの復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元データが格納される復元データ領域とを設け、処理部が、変化データの一の要素におけるエネルギーを、変化の要因となる変化要因情報データを利用して、変化データ領域から復元データ領域へと移行させ、移行させたエネルギーに相当するエネルギーを、変化データ領域力変化要因情報データを利用して除外する処理を行い、また一の要素に対する処理を他の要素についても順次行い、復元データ領域に復元データを生成し、その移行により残存する変化データ領域の残部データの値が、所定値以下または所定値より小さい場合は処理を停止し、復元データを元信号データとして扱い、残部データ量が、所定値より大きいまたは所定値以上の場合は、残部データを変化データに置き換えて同様の処理を繰り返し、その繰り返しの都度復元データ領域へ移行するエネルギーを復元データに加算する処理を行っている。

[0019] この発明によれば、元信号のデータが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データを利用することにより、変化データのエネルギーを復元データ領域に移行できれば、復元データ領域において元信号データが確実に復元される。また、変化要因情報を利用して、変化データ領域から復元データ領域へとエネルギーを移行し、変化データ領域の各要素における残部エネルギー量の値が所定値を超える、または所定値以上のときのみ残部データを変化データに置き換えて、同様の処理を繰り返すため、復元処理を迅速にできる。さらに、変化データ領域から復元データ領域へとエネルギーを移行することで復元処理が行われるため、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。このため、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。

[0020] 他の発明に係る信号処理装置は、上述した発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「0」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部エネルギー量が「0」にならない状況が現実的には生じがちである力そのような場合、無限に処理を繰り返すことになつてしまうが、この構成を採用すると、そのような問題が生じない。

[0021] 他の発明に係る信号処理装置は、上述した発明に加え、繰り返しの処理の際、各要素が各々有する残部データの値の最大値、平均値または総和値のうちの一つまたは複数について、所定値との比較を行っている。この構成を採用した場合、変化データを構成する要素における残部エネルギー量を零に近づけることができるため、復元データと元信号データとの近似度をより高めることができる。

[0022] 他の発明に係る信号処理装置は、上述した発明に加え、処理部は、繰り返しのいずれかの回における要素エネルギーの移行の際、残部データのいずれかの要素における要素エネルギー値が零未満となる場合には、その回の要素については移行を行わずに次回以降に移行を行う処理、またはその回の移行値を補正する処理を行つている。この構成を採用した場合、エネルギーの移行の結果、残部データのいずれかの要素におけるエネルギー値が零未満となるという、理論的には起こり得ない事態を回避し得るため、画像の復元精度を向上させることができる。 [0023] 他の発明に係る信号処理装置は、上述した発明に加え、信号のデータを画像のデータとしている。これにより、カメラの手ぶれによる画像劣化が生じても、劣化等の生じた原画像から、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像 (以下、元画像という。）の復元をすることができる。

発明の効果

[0024] 本発明では、劣化等変化した信号を復元するに当たり、装置の大型化を防止できると共に、現実性のある信号処理装置を提供することができる。

図面の簡単な説明

[0025] [図 1]本発明の信号処理装置の主要構成を示すブロック図である。

[図 2]図 1に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。

[図 3]図 1に示す画像処理装置の処理部で行う画像復元処理方法 (繰返しの処理）に係る処理ルーチンを説明するための処理フロー図である。

[図 4]図 1に示す信号処理装置の処理部で行う処理方法の概念を説明するための図である。

[図 5]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画素エネルギーの集中を示す表である。

[図 6]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのな、ときの画像データを示す図である。

[図 7]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの画素エネルギーの分散を示す図である。

[図 8]図 7に示す画素エネルギーの分散があつたときの手ぶれの状況の一例を説明するための図である。

[図 9]図 3に示す処理方法を、手ぶれで劣化した図 8に示す画像データを例にして説明している図である。

[図 10]図 3に示す処理方法を実行した際の移行処理における移行値の見直し方法の考え方を示す概念図である。

符号の説明 [0026] 1 信号処理装置

2 受信部 (撮影部）

3 制御系部

4 処理部

5 記録部

6 検出部

7 要因情報保存部

G 変化要因情報のデータ (劣化要因情報のデータ）

Ga 点像関数の重心値

Img ' 原画像のデータ (撮影された画像）

Img 劣化のな!、本来の正し!/、画像のデータ（元画像）

E 原画像画素エネルギー

F 移行画素エネルギー

R 復元データ

cE 補正エネルギー

E 残部エネルギー量 (処理対象となるエネルギー）

E 残部エネルギー量最大値

max

X 残部エネルギー量の所定値

τ 原画像データ領域から除去する画素エネルギー量

発明を実施するための最良の形態

[0027] 以下、本発明の実施の形態に係る信号処理装置 1について図を参照しながら説明する。なお、この信号処理装置 1は画像処理装置になっており、民生用のカメラとして用いられるものである力監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらには NMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

[0028] 図 1には信号処理装置 1の構成の概要を示している。信号処理装置 1は、人物等の画像を撮影する撮影部 2と、その撮影部 2を駆動する制御系部 3と、撮影部 2で撮影された画像を処理する処理部 4と、を有している。また、この実施の形態に係る信号処理装置 1は、さらに処理部 4で処理された画像を記録する記録部 5と、角速度センサ等力なり、画像劣化など変化の要因となる変化要因情報を検知する検出部 6と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部 7を有する。なお、信号処理装置 1が画像処理装置以外のものとして適用される場合、撮影部 2は、音声信号等の種々の入力信号を受信する受信部 2 (以下では、適宜、撮影部 2 と受信部 2とを使い分けることとする。）となる。

[0029] 撮影部 2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する CCDや C— MOS等の撮影素子を備える部分である。制御系部 3は、撮影部 2、処理部 4、記録部 5、検出部 6及び要因情報保存部 7等、信号処理装置 1内の各部を制御するものである。

[0030] 処理部 4は、画像処理プロセサで構成されており、 ASIC(Application Specific Integ rated Circuit)のようなハードウェアで構成されている。処理部 4は、検出する手ぶれ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部 6に供給している。また処理部 4は、振動検出の開始と終了を制御している。なお、信号処理装置 1が画像処理装置以外のものとして適用される場合、受信部 2の受信感度を入力信号の大きさ等によって変えることができる。

[0031] また、この処理部 4は、 ASICのようなハードウェアとして構成されるのではなぐソフトウエアで処理する構成としても良い。この処理部 4には、変化データ領域となる原画像データ領域と復元データ領域となる復元画像データ領域が恒久的に配置されて、る。また処理部 4は、後述する各画素の残部エネルギー量の最大値「E 」を記憶す

max

る。また記録部 5は、半導体メモリで構成されている力ハードディスクドライブ等の磁気記録手段、または DVD等を使用する光記録手段等を採用しても良い。なお、この記録部 5に変化データ領域や復元データ領域を設けるようにしても良ぐまた残部ェネルギー量の最大値「E 」を記憶させるようにしてもよ!、。

max

[0032] 検出部 6は、図 2に示すように、信号処理装置 1の光軸である Z軸に対して垂直方向となる X軸、 Y軸の回りの速度を検出する 2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、 X方向、 Y方向、 Z方向の各方向への移動、 Z軸回りの回動も生ずる力各変動により最も大きな影響を受けるのは、 Y軸回りの回転と X軸回りの回転である。これら 2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図 2の X軸回りと Y軸回りの 2つの角速度センサのみを配置している。し力し、より完全を期すため Z 軸回りの角速度センサをさらに付加したり、 X方向や Y方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなぐ角加速度センサとしても良い。

[0033] 要因情報保存部 7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差および Zまたは検出された振動に基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部 7で記録された点像関数は、たとえばその算出後の直近に撮影された劣化等の変化が生じた画像である原画像の復元処理の際に、処理部 4で用いられる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部 4が稼働していない時、処理部 4の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部 5に保存された原画像のデータおよび、要因情報保存部 7に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部 4の負担を軽減できることである。なお、信号処理装置 1が画像処理装置以外のものとして適用される場合は、検出部 6で検出される温度、湿度等が受信部 2の受信特性ゃシステム全体の特性を変化させることもあるので、それらを記録し、変化要因情報として用いることができる。また、システムのインパルス応答等、予めわ力つているシステムの応答特性関数等を要因情報保存部 7に保存することもできる。

[0034] 次に、以上のように構成された信号処理装置 1の処理部 4により行われる画像復元処理方法の一例の概要を、図 3に基づいて説明する。

[0035] 図 3中、「E」は、劣化等の変化が生じた原画像データ Img' (詳細は後述する。 )の各画素各々が有する光エネルギー (原画像画素エネルギー）であり、変化データ領域となる原画像データ領域に格納される。「F」は、 n回目の変化領域となる原画像データ領域から復元データ領域となる復元画像データ領域に移された画素エネルギー (以下、移行画素エネルギーという）である。「E_n」は、 1回目力も n回目までの n回に渡る移行エネルギー Fの移行により変化データ領域である原画像データ領域に残存する残部エネルギー量であり、処理対象となるエネルギーである。「R」は、復元データ領域となる復元画像データ領域に格納される復元データであり、図 3に示す画像復元処理の遂行により、元画像データ「Img」の近似データとなる。「X」は、残部エネルギー量 Eの所定の値である。「G」は、検出部 6で検出された変化要因情報（=劣化要因情報（点像関数)）のデータで、処理部 4の記録部に保存されるものである。「Ga 」は、検出部 6で検出された変化要因情報 G (=劣化要因情報 (点像関数) )のデータの点像関数の重心値である。「Img」は、元画像、すなわち、本来撮影されるべきであつた画像のデータであり、元信号データである。なお、元信号データは、この元画像 I mg (本来取得されるべきであった信号)以外に、変化する前の信号やそれらの近似信号のデータを含むものとして、この明細書では定義される。原画像データ Img'は、撮影された画像、すなわち劣化した画像のデータを指す。ここで、 Imgと Img'との関係は、次の（1)式で現されるとする。

Img，=Img水 G (1)

ここで、「*」は、重畳積分を表す演算子である。

[0036] また図 3に示す「T」は、移行画素エネルギー Fに相当する画素エネルギーを原画像データ領域から除去する画素エネルギー量であり、移行画素エネルギー Fと同量となる。「Ε 」は、原画像データ領域における各画素の残部エネルギー量の最大値

max

である。ここで、原画像データ領域における各画素の残部エネルギー量 Eと移行画素エネルギー Fとの関係は、次の（2)式で現されるとする。すなわち移行画素ェネルギー Fは、原画像データ領域における各画素の残部エネルギー量 E (処理対象となるエネルギー）を変化要因情報のデータ Gである点像関数の重心値 Gaの逆数を用いることにより得ることがでさる。

F =E /Ga…… (2)

[0037] 図 3の処理部 4の処理ルーチンは、まず、原画像データ Img'を構成する一の要素の画素エネルギーを原画像画素エネルギー Eとして抽出すること力も始まる (ステップ S101)。ここで、現段階 (n=0)では、 E =E (原画像データ)であり、復元画像データ領域の復元データ R =0である。 1回目の処理 (n= l)では、まず原画像画素エネ

0

ルギー E = Eに点像関数の重心値 Ga (変化要因情報データ Gの最も大きな値)の逆

0

数をかけることにより、移行画素エネルギー Fを得る（ステップ S 102)。次いで、移行画素エネルギー Fを復元画像データ領域の復元データ Rへ移行する。すなわち、移行画素エネルギー Fを復元画像データ領域の復元データ Rへ加算して 1回目の

1 0

復元データ Rとする（ステップ S 103)。

[0038] 次に、復元画像データ領域へ移行させた移行画素エネルギー F分の画素エネルギーを原画像データ領域力も除去する。その際には、変化要因情報データ Gである点像関数を利用する。何故ならば、データの劣化は、変化要因情報データ Gというフィルタを通ることによるものであり、劣化の前後で矛盾が無いように移行画素エネルギ一 Fを原画像データ領域力も除去することができるためである。そこで、移行画素ェネルギー Fと変化要因情報データ Gとの重畳積分 (ステップ S 104)で得られた画素エネルギー量 Tを原画像データ領域から除去し、残存エネルギーである原画像データ領域の残部ネルギー量 Eを得る（ステップ S 105)。

[0039] 以上のステップ S102, S103, S104および S105の過程を、原画像データ領域にある原画像データ Img，を構成する残りの全ての画素について順次行う。このとき、ステツプ S102における処理対象となるエネルギー Eは、周囲の画素のエネルギー移

0

行処理における原画像データ領域から移行画素エネルギー Fを除去する際に、重畳積分によって得られる当該画素に対応する量が除去された値となっている。そして、全ての画素につ!ヽて、以上のステップ S102, S103, S104および S105力行われた後、原画像データ領域の残部エネルギー量 Eの最大値 E を記憶する (ステップ

1 max

S106)。

[0040] 次いで残部エネルギー量 Eの最大値 E が所定値 X未満カゝ否カゝ、すなわち当初

1 max

原画像データ領域に存した原画像画素エネルギー E = Eの多くが、復元画像データ

0

領域に移され、復元画像データ領域の復元データ Rが元画像データ Imgとみなすことができるかの判断を行う（ステップ S107)。本例では、所定値 Xを「0」以外の「0」に近い値としておき、 E が所定値 X未満になるかどうかを判断し、所定値 X以上のとき max

は、「n=n+ l」= 2として、全ての画素につ!ヽて、ステップ S102, S103, S104, S1 05, S106および S107の処理を再度行う。図 3の処理手順で、「n=n+ l」は、全ての画素【こつ!ヽてステップ S102, S103, S104および S105の処理を終えて、 S106 および S 107を行ったときに行う。すなわち画像全体の処理回数を nとして現している。なお、ステップ S107は、所定値 X以上となる残部エネルギー量 Eの画素がいくつあるかの判断を行うステップとしても良い。この場合、所定値 X以上となる残部エネルギー量 Eとなっている画素がいくつか存在しても、その数が少なければ復元データ R は元画像データ Imgに十分近似されたとみなすことができる。

[0041] ステップ S107において、残部エネルギー量の最大値 E が所定値 X以上のときの

max

処理を説明する。 E は、所定値 X以上であるため、 n=n+ 1として、全ての画素に

max

ついて、ステップ S102, S103, S104, S105, S106および S107の処理を行う。すなわち、残部エネルギー E 〖こ、点像関数の重心値 Ga (変化要因情報データ Gの最も大きな値)の逆数をかけることにより、移行画素エネルギー Fを得る (ステップ S1 02)。次いで、移行画素エネルギー Fを復元画像データ領域へ移行し、新たな復元データ Rを得る。すなわち、前回 (n— 1)までに復元された復元画像データ領域の復元データ R へ今回の移行画素エネルギー Fを加算して新たな復元データ Rとする。次いで、移行画素エネルギー Fと変化要因情報データ Gとの重畳積分 (ステップ S 104)で得られた画素エネルギー Tを原画像データ領域から除去し、新たな残部エネルギー Eを得る（ステップ S 105)。

[0042] 以上のステップ S102, S103, S104および S105の過程を、原画像データ領域にある残りの全ての画素について順次行う。そして、各画素における残部エネルギー量最大値「E 」を記憶する (ステップ S 106)。そして残部エネルギー量最大値 E 力 S max max 所定値 X未満か否かの判断を行う（ステップ S 107)。 E が所定値 X以上であれば、

max

「n=n+ l」として、ステップ S102, S103, S104, S105, S106および S107の処理を繰り返す。 E が所定値 X未満となったら、復元データ Rは、元画像データ Img

max n

と十分に近似できたと判断し、復元処理は終了する (ステップ S 108)。

[0043] 図 4に基づき、この実施の形態に係る手ぶれの復元処理の考え方を以下述べる。

元画像のデータ Img力変化要因情報のデータ Gにより原画像データ Img'へと変化したのなら、同一のフィルタとなる変化要因情報のデータ Gを利用して、原画像データ Img 'を構成する全ての画素における原画像画素エネルギー Eの全てを復元画像データ領域に移行すれば、復元画像データ領域の復元データ R_nは、元画像のデータ Imgへと理論上近づくはずである。

[0044] 次に、図 3,図 4に示す手ぶれの復元処理方法 (ステップ S102, S103, S104, S1 05, S106および S107の繰返しの処理）の詳細を、図 5,図 6,図 7,図 8および図 9 に基づいて説明する。

[0045] (復元アルゴリズム）

手ぶれ等による画像劣化が無いとき、所定の画素に対応する光エネルギー（画素エネルギー）は、露光時間中、その画素に集中する。また、手ぶれがある場合、画素エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれがわかれば、露光時間中の画素エネルギーの分散の仕方がわ力るため、ぶれた画像からぶれの無、画像を作ることが可能となる。

[0046] 以下、簡単のため、横一次元で説明する。画素を左から順に S— 1, S, S + l, S + 2, S + 3, ···,とし、ある画素 Sに注目する。ぶれ等による画像劣化が無いとき、露光時間中の画素エネルギーは、その画素に集中するため、画素エネルギーの集中度は「1. 0」である。この状態を図 5に示す。このときの撮影結果の一例を、図 6の表に示す。図 6に示すもの力劣化しな力つた場合の正しい画像データ Imgとなる。なお、各データは、 8ビット（0〜255)のデータで表している。

[0047] 露光時間中にぶれ等による画像劣化があり、露光時間中の 50%の時間は S番目の画素に、 30%の時間は S + 1番目の画素に、 20%の時間は S + 2番目の画素にそれぞれぶれていたとする。画素エネルギーの分散の仕方は、図 7に示す表のとおりとなる。これが変化要因情報のデータ Gとなる。また、点像関数の重心値 Gaは、ェネルギ一が最も集中している部分の値であるから、露光時間中の 50%の時間ぶれていた部分の値「0. 5」である。

[0048] ぶれは、全ての画素で一様であり、上ぶれ (縦ぶれ）が無ぐぶれが図 7に示すように三画素分の範囲とすると、ぶれの状況、すなわち各画素の画素エネルギー分散状況は、具体的には、たとえば図 8に示すように、「S— 3」の画素の「120」は、ぶれ情報である変化要因情報のデータ Gの「 α =0. 5」「 j8 =0. 3」「 γ =0. 2」（図 7)の分散比に従い、「S— 3」の画素に「60」、「S— 2]の画素に「36」、「S— 1」の画素に「24 」というように分散する。同様に、「S— 2」の画素エネルギーである「60」は、「S— 2」に「30」、「S— 1」に「18」、「S」に「12」として分散する。他の画素も同様に画素エネルギ一が分散する。

[0049] 元画像データ Imgの特定の画素のエネルギーである「A」と、撮影された原画像 Im g'におけるその特定の画素に相当する画素のエネルギー「A'」との関係は、一般的に、以下の（3)式で現される。

A X Ga=k XA，…（3)

ここで、「k」は、画素エネルギー「A，」に含まれる画素エネルギー「A」の成分比である。この「k」の値は、未知であるため「0<k≤l」の範囲で任意に設定できる。点像関数の重心値「Ga」は、エネルギーが最も集中している部分の値であるから、本例では、図 7に示すように、「α =0. 5」である。この「α」は、元画像データ Imgの特定の画素のエネルギー「A」が、ぶれにより、撮影された原画像 Img，におけるその特定の画素に相当する画素のエネルギー「A，」へと分散したエネルギー分散比である。この（ 3)式は、「《=0. 5」（図 7)以外の α値であっても適用できることは言うまでもない。また（3)式は、図 7に示すような三画素分の範囲未満またはその範囲を超える範囲に渡り、ぶれが生じた場合にも適用できる。さらに、仮に、点像関数の重心値 Gaが、図 7に示す「 |8」または「γ」等の部分にある場合でも、（3)式は適用できる。

[0050] 次に、原画像データ領域から復元画像データ領域の特定の画素へ、どのように画素エネルギーを移行させるべきかを考える。ここで、復元画像データ領域に元画像データ Imgを復元するのだから、元画像データ Imgの特定の画素のエネルギー「A」を求めるために、原画像データ領域から復元画像データ領域の「A」に相当する特定の画素へと移行するべきである。よって、（3)式より、「A=k XA' Z a」を原画像データ領域から復元画像データ領域の「A」に相当する特定の画素へと移行する。そして、「 AJに相当する画素エネルギーを原画像データ領域から除去する。このとき、全体として矛盾のな、ように原画像データ領域力画素エネルギーを除去するため、変化要因情報のデータ Gを利用する。たとえば、「A」に相当する特定の画素を図 7に示す画素「S」とすると、原画像データ領域の画素「S」から除去すべき画素エネルギーは「k ΧΑ' / α α」、原画像データ領域の画素「S + 1」から除去すべき画素エネルギーは「kXA'Z a X j8」、原画像データ領域の画素「S + 2」から除去すべき画素エネルギ一は「k XA'Z a X γ」となる。すると、これら除去した画素エネルギーの和が復元画像データ領域の画素「S」へと移行させた画素エネルギー量「A」となる。本例では、「k=0. 5」と設定して、具体的な画素エネルギーの移行の様子を以下に述べる。

[0051] 繰り返し処理の 1回目のステップ S101に示す原画像画素エネルギー「E」が、図 8, 図 9に示されている。最初に処理する画素では、この原画像画素エネルギー Eが処理対象のエネルギー Eであり、それに対し、ステップ S 102で点像関数の重心値 Ga

0

の逆数をかけて、移行画素エネルギー Fを得る。たとえば、画素「S— 3」に注目した場合、原画像データ (撮影データ）（図 9で「E」）の点像関数の重心値 Gaは「0. 5」だ力、（3)式より、「0. 5 X 60/0. 5 = 60」を原画像データ領域から復元画像データ領域の画素「S— 3」へと移行する（ステップ S 103) (図 9では F (S— 3) )。そして、原画像データ領域から「60」の画素エネルギーを除去する。すると、復元画像データ（図 9では R (S— 3) )は「60」、「0」…となる。ここで、変化要因情報のデータ Gは、上述のように「0. 5」「0. 3」「0. 2」であるので、原画像データ領域の画素「S— 3」からは「0. 5 X 60/0. 5 X 0. 5 = 30」、画素「S— 2」力らは「0. 5 X 60/0. 5 X 0. 3 = 18 」、画素「S— 1」からは「0. 5 X 60/0. 5 X 0. 2= 12」が除去されるべきである（図 9 では T (S— 3) )。よって、原画像データ領域の画素「S— 3」から「30」、画素「S— 2」力「18」、画素「S— 1」から「12」のエネルギーを取り去る（ステップ S104)。このとき、原画像データ領域の各画素の残部エネルギー量 Eは、それぞれ移行分が取り去られ、画素「S— 3」が「30」、画素「S— 2」が「48」、画素「S— 1」が「70」となり、そので「E (S— 3)」）。

[0052] 次に、画素「S— 2」に注目すると、現在は「48」（ = 66— 18)のエネルギーが処理対象のエネルギー Eとして残っている。上述した画素「S— 3」と同様の処理をすると

0

、原画像データ領域から復元画像データ領域の画素「S— 2」へ「48」の画素エネルギ一が移行して（図 9では F (S— 2) )、復元画像データ領域の画素「S— 2」の復元データ Rは、「48」となり、復元画像データ（図 9では R (S— 2) )は「60」「48」「0」· ·· となる。そして、原画像データ領域の画素「S— 2」から「24」、画素「S— 1」からは「14 . 4」、画素「S」からは「9. 6」を取り去る。この結果、撮影データ、すなわち原画像データ領域の各画素の残部エネルギー量 Eは、それぞれ移行分が取り去られ（図 9で「 T (S— 2)」）、画素「S— 3」が「30」、画素「S— 2」が「24」、画素「S— 1」が「55. 6」、画素「S」が「76. 4」となり、その他の画素は元のとおり「121」「105」「114」「142」となる（図 9で「E (S - 2) J ) ₀

[0053] 次に、画素「S— 1」に着目し、上述した画素「S - 3」と同様の処理をする。現在は「 55. 6」（ = 82— 12— 14. 4)のエネノレギ一が処理対象のエネノレギー Eとして残って

0

いる。そして、原画像データ領域から復元画像データ領域の画素「S— 1」へ「55. 6」の画素エネルギーが移行して（図 9では F (S— 1) )、復元画像データ領域の画素「S 1」の復元データ Rは、「55. 6」となり、復元画像データ（図 9では R (S— 1) )は「6 0」「48」「55. 6」「0」…となる。そして、原画像データ領域の画素「S— 1」から「27. 8 」、画素「S」からは「16. 68」、画素「S + 1」からは「11. 12」を取り去る。この結果、撮影データ、すなわち原画像データ領域の各画素の残部エネルギー量 Dは、それぞれ移行分が取り去られ（図 9で「T (S— 1)」）、画素「S— 3」が「30」、画素「S— 2」が「2 4」、画素「S— 1」が「27. 8」、画素「S」が「59. 72」、画素「S + 1」が「109. 88」となり、その他の画素は元のとおり「105」「114」「142」となる（図 9で「E (S— 1)」）。

[0054] このように、すべての画素につ、て順次画素エネルギーを移行して、く。そして 1回目（n= 1)の処理では、全ての画素「S— 3」「S— 2」「S— 1」…「S +4」の原画像画素エネルギー Eが復元画像データ領域に移動せず、原画像データ領域の各画素の残部エネルギー量 Eが大きな値として残る。ここでの残部エネルギー量最大値「E 」（ n max 画素「S +4」における「53. 06」）を制御部 4のメモリに記憶する (ステップ S 106)。そして残部エネルギー量最大値 E が所定値 X(たとえば本例では「5」とする）未満か max

否かの判断を行う（ステップ S 107)。以上の処理の結果、 E >Xであるから、残部 max

エネルギー（図 9で「E (S +4)」）を処理対象として、同様の画素エネルギー移行処理を第 2回目（n= 2)として行う。そしてその後、 E >Xを満足するまで (全ての画素 max

における残部エネルギー量 E力「0」に近づくまで）、同様の移行処理を繰り返す。

[0055] ここで、図 9の特定の画素が、この移行処理をした結果、移行画素エネルギー Fを移行した結果、復元データ R_nが所定の上限値を上回ってしまったり、残部エネルギ一量 Eがマイナスの値となることがある。この状態が発生することは、移行画素エネルギー Fを不適切な値に設定してしまっていることを意味する。そこで、以下にこのような場合であっても、全体として矛盾無く移行値を見直す方法を説明する

[0056] (移行値の見直し方法）

残部エネルギー量がマイナスとなる画素については復元画像データ領域に移動すべき移行画素エネルギー Fを移行せず、前回の処理の値をそのまま使用し、次回の移行処理に供することで、その際に除去する画素エネルギーが不適切な値にならなくなることを期待する。次回は、周囲の画素の残部エネルギー量が少なくなり、本来ならばマイナスとなった画素からの除去する画素エネルギー値、すなわち抜き去られる画素エネルギー値が今回よりも小さくなるため、残部エネルギー量が「₀」以上となる可能性が大きい。しかし、たとえば画素「S」がマイナスとなったときに前の値をそのまま使用した場合、画素「S— 2」「S— 1」等、処理済みの画素の残部エネルギー量が「0」に近づいている場合は、いつまでたっても復元されないままで収束しない。よって、この場合には、画素「S— 2」「S— 1」等の復元値の見直しを行うことが望ましい。

[0057] 移行後の見直し方法の考え方を図 10に示す概念図に基づいて説明する。既に復元画像データ領域に移行した画素エネルギーの一部を補正分 (以下、補正エネルギ一 cEという）を原画像データ領域に戻し、残部エネルギー量 Eを 0以上にする。このとき、補正エネルギー cEは、変化要因情報のデータ Gで重畳積分して原画像データ領域に戻す。すると全体として矛盾無く移行値を見直すことができる。

[0058] 上述した本実施の形態に係る信号処理装置 1では、処理するに当たり、ステップ S1 04、 S107において、事前に処理回数と、残部エネルギー E力「0」に近似してきたかどうかの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として 20回、 50回等任意の回数を設定できる。また、処理を停止させる残部エネルギー Eが「0」に近似してきたかどうかの近似値の値を 8ビット（0〜255)中の「5」と設定し、 5以下になったら処理を終了させたり、「0. 5」と設定し「0. 5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力する構成とした場合、いずれか一方が満足されたときに処理は停止されるようにするのが好ましい。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らな力つた場合、更に所定回数の処理を繰り返すようにしても良い。

[0059] 本実施の形態の説明の中では、要因情報保存部 7に保存されている情報を利用せず、処理部 4の記録部に保存されているデータを使用した力ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図 3)の処理方法 (繰返しの処理)では、ぶれの情報と光学収差の情報を合わせて 1つの劣化要因として捉えて処理を行うのが好ましいが、ぶれの情報での処理を終了した後に光学収差の情報での復元処理を行うようにしても良い。また、この要因情報保存部 7を設置しないようにして、処理部 4に記録されて、る撮影時の動的要因、たとえばぶれのみで画像を修正したり復元したりしても良い。

[0060] また、処理の繰返しの回数が信号処理装置 1側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータ Gによって変更するようにしても良い。たとえば、ある画素のデータがぶれにより多数の画素に分散している場合は、繰返しの回数を多くし、分散が少ない場合は繰返しの回数を少なくするようにしても良い。

[0061] また、出力画像となる復元データ Rを生成する際、変化要因情報のデータ Gによつては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにしても良い。たとえば、領域内の最も下に位置する画素 XN1のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素 XN1の真上で最も上に位置する画素 XI Iに割り振られる処理をする。画素 XN1の隣の画素 N2についても同様に真上で最上覧の画素 X12 ( =画素 XI Iの隣り）に割り振ることとなる。

[0062] この実施の形態の復元アルゴリズムでは、信号処理装置 1が有するデータ領域を小さくできる利点がある。その理由は、復元処理に際し、必要なデータ領域は、原画像データ領域および復元画像データ領域のみで足りるためである。また、復元処理に際し、この実施の形態の復元アルゴリズムでは、既知の変化要因情報のデータ Gを利用して画素エネルギーの移動を繰り返すだけだから、迅速な処理が可能となる。また、データ領域は、恒久的なものではなぐ一時的なデータ領域を設定した上で処理を行っても良い。

[0063] 以上、この実施の形態における信号処理装置 1について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部 4で行った処理は、ソフトウェアで構成している力それぞれ、一部の処理を分担して行うようにした部品力もなるハードウェアで構成しても良い。また、変化要因情報のデータ Gとしては、劣化要因情報のデータのみではなぐ単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。さらに、繰り返しの処理の際、各画素が各々有する残部エネルギー量 Eの値の最大値 E と所定値 (X)との比較を行わずに、そ

n max

の残部エネルギー量 Eの平均値または総和値との比較を行うことができる。そうすることにより、処理速度が向上する。さらに、各画素が各々有する残部エネルギー量 E の値の最大値 E 、平均値または総和値のうちの複数と、これらの値それぞれに対

max

応する複数の所定値との比較を行うこともできる。

[0064] また、繰返しの処理の回数が信号処理装置 1側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータ Gによって変更するようにしても良い。たとえば、ある画素のデータがぶれにより多数の画素に分散している場合は、繰り返しの処理回数を多くし、分散が少ない場合は繰り返しの処理回数を少なくするようにしても良い。

[0065] 上述の実施の形態では、復元対象を画像データとしてヽる。しかし、これらの復元処理の考え方および手法は、あらゆるデータの復元処理に適用できる。たとえば、音声データの復元、地震波データの復元等への適用が可能である。また、上述の実施の形態では、画像データの各場所で同じようにぶれる例を示した力画素の位置によつて異なるぶれとなる画像データやガンマ補正のように非線形なものにも、これらの考え方や手法を適用することができる。

[0066] また、上述した各処理方法は、プログラム化されても良ヽ。また、プログラム化されたものが記憶媒体、たとえば CD (Compact Disc) DVD, USB (Universal Serial Bus)メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、信号処理装置 1は、その記憶媒体内のプログラムを読み込む手段を持つこととなる。さらには、そのプログラム化されたものが信号処理装置 1の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、信号処理装置 1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

Claims

請求の範囲

[1] 劣化等の変化が生じた原信号のデータ (以下、変化データと、う。）から、変化する前の信号もしくは本来取得されるべきであった信号またはそれらの近似信号のデータ（以下、元信号データと、う）の復元をする処理部を有する信号処理装置にぉ、て上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データのエネルギーを、変化の要因となる変化要因情報データを利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記復元データを生成し、その移行により残存する上記変化データ領域の残部データを、上記変化データに置き換えて同様の処理を繰り返し、処理終了時の上記復元データ領域に形成されるデータを上記元信号データとすることを特徴とする信号処理装置。

[2] 前記繰返し処理の際、その繰返しの都度前記復元データ領域へ移行する前記ェネルギーを既に前記復元データ領域に格納された前記復元データに加算する処理をし、前記残部データを零に近づける処理を行うことを特徴とする請求項 1記載の信号処理装置。

[3] 複数の要素力なる変化データから、複数の要素力なる元信号データの復元をする処理部を有する信号処理装置にお!ヽて、

上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データの一の要素における要素エネルギーを、変化の要因となる変化要因情報データが有する応答特性関数の重心値を利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記移行させた上記要素エネルギーに相当する要素エネルギーを、上記変化データ領域から変化要因情報データを利用して除外する処理を行い、またこの一の要素に対する処理を他の要素についても順次行い、上記復元データ領域に上記復元データを生成し、上記除外により残存する上記変化データ領域の残部データを、上記変化データに置き換えて同様の処理を各要素毎に繰り返し、その繰り返しの都度上記復元データ領域へ移行する上記要素エネルギーを上記復元データに加算する処理をし、上記残部データを零に近づける処理を行ヽ、処理終了時の上記復元データ領域に形成されるデータを上記元信号データとすることを特徴とする信号処理装置。

[4] 前記処理部は、前記繰り返しの処理の際、前記残部データのエネルギー値力所定値以下または所定値より小さくなつたら、停止させる処理を行うことを特徴とする請求項 1から 3のいずれか 1項に記載の信号処理装置。

[5] 前記処理部は、前記繰り返しの処理の際、前記繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 1から 3のいずれか 1項に記載の信号処理装置。

[6] 前記処理部は、前記繰り返しの処理の際、前記繰り返しの回数が所定回数に到達したときの前記残部データのエネルギー値が所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項 1から 3のいずれか 1項に記載の信号処理装置。

[7] 複数の要素力なる変化データから、複数の要素力なる元信号データの復元をする処理部を有する信号処理装置にお!ヽて、

上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データの一の要素におけるエネルギーを、変化の要因となる変化要因情報データを利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記移行させた上記エネルギーに相当するエネルギーを、上記変化データ領域力上記変化要因情報データを利用して除外する処理を行い、また上記一の要素に対する処理を他の要素についても順次行い、上記復元データ領域に上記復元データを生成し、その移行により残存する上記変化データ領域の残部データの値が、所定値以下または所定値より小さい場合は処理を停止し、上記復元データを上記元信号データとして扱い、上記残部データの値が、所定値より大きいまたは所定値以上の場合は、上記残部データを上記変化データに置き換えて同様の処理を繰り返し、その繰り返しの都度上記復元データ領域へ移行する上記要素エネルギーを上記復元データに加算する処理を行うことを特徴とする信号処理装置。

[8] 前記処理部は、前記繰り返しの処理の際、前記繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 7記載の信号処理装置。

[9] 前記処理部は、前記繰り返しの処理の際、各要素が各々有する前記残部データの値の最大値、平均値または総和値のうちの一つまたは複数について、前記所定値との比較を行うことを特徴とする請求項 7記載の信号処理装置。

[10] 前記処理部は、前記繰り返しのいずれかの回における前記要素エネルギーの移行の際、前記残部データの!/、ずれかの要素における前記要素エネルギー値が零未満となる場合には、その回の当該要素については前記移行を行わずに次回以降に前記移行を行う処理、またはその回の移行値を補正する処理を行うことを特徴とする請求項 1から 9のいずれか 1項に記載の信号処理装置。

[11] 前記信号のデータを画像のデータとしたことを特徴とする請求項 1から 10のいずれ力 1項に記載の信号処理装置。