WO2007063630A1

WO2007063630A1 - 画像処理装置

Info

Publication number: WO2007063630A1
Application number: PCT/JP2006/317668
Authority: WO
Inventors: Fuminori Takahashi
Original assignee: Nittoh Kogaku K.K
Priority date: 2005-12-01
Filing date: 2006-09-06
Publication date: 2007-06-07
Also published as: JPWO2007063630A1; CN101310520B; CN101310520A; JP5007234B2

Abstract

　画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を提案すること。　この画像処理装置は、画像を処理する処理部を有する。この処理部は、画像変化の要因となる変化要因情報のデータＧを利用して、任意の画像のデータＩｏから比較用データＩｏ′を生成し、処理対象となる原画像のデータＩｍｇ′と比較用データＩｏ′とを比較し、得られた差分のデータσから周囲の影響を変化要因情報のデータＧに従って取り除き、その値を変化要因情報のデータＧでかつ１未満の値で割って戻し量とすることで、復元データＩｏ＋ｎを生成し、この復元データＩｏ＋ｎを任意の画像データＩｏの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の画像またはそれに近似する画像のデータとなる復元データＩｏ＋ｎを生成する処理を行う。なお、戻し量の計算は、他の方法も採用できる。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、画像処理装置に関する。

背景技術

[0002] 従来から、カメラ等で撮影した際には、画像劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある

[0003] 撮影時の手ぶれを補正するためには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている (特許文献 1参照)。

[0004] また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等力撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元する方式が知られている（特許文献 2参照)。

[0005] 特許文献 1：特開平 6— 317824号公報 (要約書参照）

特許文献 2：特開平 11 24122号公報 (要約書参照）

発明の開示

発明が解決しょうとする課題

[0006] 特許文献 1記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハ一ドウエアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。

[0007] また、特許文献 2記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の 2つの理由で、画像復元が困難である。 [0008] 第 1に、取得する伝達関数は、ノイズゃブレ情報誤差等に非常に弱ぐこれらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第 2に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

[0009] 上述したように、本発明の課題は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供することである。

課題を解決するための手段

[0010] 上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータ力比較用データを生成し、処理対象となる原画像のデータと比較用データとを比較し、得られた差分のデータから周囲の影響を変化要因情報のデータに従って取り除き、その値を変化要因情報のデータでかつ

1未満の値で割って戻し量とすることで、復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の原画像またはそれに近似する画像のデータとなる復元データを生成を生成している。

[0011] この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像に近似する復元データを生成して、るので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データ力比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に原画像の元となる変化前の映像に近ヽ復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを 1未満の値で割り、その割られた値を戻して、るので、質の良、復元データを少な、繰り返し処理回数で得ることができる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。 [0012] また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータ力比較用データを生成し、処理対象となる原画像のデータと比較用データとを比較し、得られた差分のデータをそのまままたは 1未満の値を掛けた値を変化要因情報のデータであってかつ 1未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を変化要因情報のデータに従って、差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成している。

[0013] この発明によれば、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像に近似する復元データを生成して、るので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データ力比較用データを作り、その比較用データと処理対象の原画像のデータを比較するという処理を繰り返し、徐々に原画像の元となる変化前の映像に近ヽ復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを 1未満の値で割り、その割られた値を戻して、るので、質の良、復元データを少な、繰り返し処理回数で得ることができる。このため、画像の復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0014] さらに他の発明は、上述の発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの差分のデータが所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この発明では、処理の回数と、差分の値とを組み合わせて行うようにしているので、単に処理回数に制限を加えたり、差分の値に制限を行う場合に比較して、画像の良さと処理時間の短さのバランスが取れた処理とすることができる。

[0015] また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さ!、場合は処理を停止し、比較用データの元となった所定の画像を原画像の変化前の画像またはそれに近似する画像として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータから周囲の影響を変化要因情報のデータに従って取り除き、その値を変化要因情報のデータでかつ 1未満の値で割って戻し量とすることで、復元データを生成し、この復元データを所定の画像に置き換えて同様な処理を繰り返す処理を行って！/、る。

[0016] この発明によれば、画像劣化等の変化要因情報を利用して、比較用データを生成し、原画像との比較をし、差が大きいときのみ原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データから比較用データを作り、その比較データと処理対象の原画像のデータを比較することを繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを 1未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、劣化等した画像を復元するに当たり、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0017] また、他の発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さ!、場合は処理を停止し、比較用データの元となった所定の画像を原画像の変化前の画像またはそれに近似する画像として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータをそのまままたは 1未満の値を掛けた値を変化要因情報のデータであってかつ 1未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を変化要因情報のデータに従つて、差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを所定の画像に置き換えて同様な処理を繰り返す処理を行っている。 [0018] この発明によれば、画像劣化等の変化要因情報を利用して、比較用データを生成し、原画像との比較をし、差が大きいときのみ原画像に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データから比較用データを作り、その比較データと処理対象の原画像のデータを比較することを繰り返し、徐々に原画像の元となる変化前の映像に近い復元データを得るので、現実的な復元作業となる。また、周囲の影響を除いた差分のデータを 1未満の値で割り、その割られた値を戻しているので、質の良い復元データを少ない繰り返し処理回数で得ることができる。このため、劣化等した画像を復元するに当たり、現実性のある回路処理方式を有する画像処理装置とすることができる。

[0019] また、他の発明は、上述の発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、差分が「0」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは原画像の元となる変化前の映像により近いものとなる。さらに、ノイズなどがあった場合、差分が「0」にならない状況が現実的には生じがちである力そのような場合、無限に処理を繰り返すことになつてしまうが、この構成を採用すると、そのような問題が生じない。

[0020] さらに他の発明は、上述の発明に加え、変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有している。この構成を採用すると、画像変化の外部要因と内部要因の両者を考慮した、補正された復元データを得ることがでさる。

[0021] また、変化要因情報のデータで割るときに使用する値を、変化要因情報のデータの中で一番重みが大きい値とするのが好ましい。この構成を採用すると、一段と処理速度が向上する。

[0022] さらに、戻し量を算出してゆく順序を、変化要因情報のデータの性質に依存させるのが好ましい。この構成を採用すると、変化要因情報のデータの性質によって最適な処理方法が選択可能となる。

発明の効果 [0023] 本発明によれば、劣化等変化した画像を復元するに当たり、装置の大型化を防止できると共に、現実性のある回路処理方式を有する画像処理装置とすることができる図面の簡単な説明

[0024] [図 1]本発明の第 1の実施の形態に係る画像処理装置の主要構成を示すブロック図である。

[図 2]図 1に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。

[図 3]図 1に示す画像処理装置の処理部で行う処理方法 (処理ルーチン)の基本概念を説明するための処理フロー図である。

[図 4]図 3に示す処理方法の概念を説明するための図である。

[図 5]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。

[図 6]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのな、ときの画像データを示す図である。

[図 7]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。

[図 8]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像力も比較用データを生成する状況を説明するための図である。

[図 9]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。

[図 10]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。

[図 11]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である [図 12]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。

[図 13]図 5から図 12に示す処理方法の問題点を説明するための図である。

[図 14]図 1に示す画像処理装置が行うアルゴリズムを説明するための図で、図 3に示した処理方法の考え方を採用しつつ、一部変更したアルゴリズムの内容を説明するための図である。

[図 15]本発明の第 2の実施の形態に係る画像処理装置に使用されるアルゴリズムを説明するための図である。

符号の説明

[0025] 1, 1A 画像処理装置

2 撮影部

3 制御系部

4 処理部

5 記録部

6 検出部

7 要因情報保存部

Io 初期画像のデータ (任意の画像のデータ）

Ιο' 比較用データ

G 変化要因情報のデータ (劣化要因情報のデータ）

Img' 原画像のデータ (撮影された画像）

σ 差分のデータ

k 配分比

Io+n 復元データ (復元画像のデータ）

Img 劣化のな!、本来の正し!/、画像のデータ（元画像）

発明を実施するための最良の形態

[0026] 以下、本発明の第 1の実施の形態に係る画像処理装置 1について図を参照しながら説明する。なお、この画像処理装置 1は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらには NMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

[0027] 画像処理装置 1は、人物等の映像を撮影する撮影部 2と、その撮影部 2を駆動する制御系部 3と、撮影部 2で撮影された画像を処理する処理部 4と、を有している。また、この実施の形態に係る画像処理装置 1は、さらに処理部 4で処理された画像を記録する記録部 5と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部 6と、画像劣化などを生じさせる既知の変化要因情報を保存する要因情報保存部 7を有する。なお、モニタ等力なる表示部を、画像処理装置 1 に設けるようにしても良い。

[0028] 撮像部 2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する CCD (Charge Coupled Devices)や C— MOS (Complementary Metal

Oxide Semiconductor)等の撮像素子を備える部分である。制御系部 3は、撮影部 2,処理部 4,記録部 5、検出部 6,および要因情報保存部 7等、画像処理装置 1内の各部を制御するものである。

[0029] 処理部 4は、画像処理プロセサで構成されており、 ASIC (Application Specific

Integrated Circuit)のようなハードウェアで構成されている。この処理部 4には、後述する比較用データを生成する際の元となる画像が保管されることもある。処理部 4は、 ASICのようなハードウェアとして構成されのではなぐソフトウェアで処理する構成としても良い。記録部 5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、 DVD (Digital Versatile Disk)等を使用する光記録手段等を採用しても良い。

[0030] 検出部 6は、図 2に示すように、画像処理装置 1の光軸である Z軸に対して垂直方向となる X軸、 Y軸の回りの速度を検出する 2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、 X方向、 Y方向、 Z方向の各方向への移動や Z軸回りの回動も生ずる力各変動により最も大きな影響を受けるのは、 Y軸回りの回転と X軸回りの回転である。これら 2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図 2の X軸回りと Y軸回りの 2つの角速度センサのみを配置している。し力し、より完全を期すため Ζ 軸回りの角速度センサをさらに付加したり、 X方向や Υ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなぐ角加速度センサとしても良い。

[0031] 要因情報保存部 7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部 7には、光学系の収差やレンズのひずみの情報が保存されている力後述する手ぶれのぼけの復元の際にはそれらの情報は、利用して、な!/、。

[0032] 次に、以上のように構成された画像処理装置 1の処理部 4の処理方法の基本となる概念を、図 3に基づいて説明する。

[0033] 図 3中、「Ιο」は、任意の初期画像であって、処理部 4の記録部に予め保存されている画像のデータである。 Γΐο' 」は、その初期画像のデータの Ιοの劣化画像のデータを示し、比較のための比較用データである。「G」は、検出部 6で検出された変化要因情報（=劣化要因情報 (点像関数) )のデータで、処理部 4の記録部に保存されるものである。「Img' 」は、撮影された画像、すなわち劣化画像のデータを指し、この処、て処理対象となる原画像のデータである。

[0034] 「 σ」は、原画像のデータ Img' と、比較用データ Io' との差分のデータである。「k 」は、変化要因情報のデータ Gに基づく配分比である。「Io+n」は、初期画像のデータ Ioに、差分のデータ σを変化要因情報のデータ Gに基づいて配分して新たに生成した復元画像のデータ (復元データ）である。「Img」は、撮影された劣化画像である原画像のデータ Img' の基となった、劣化のない本来の正しい画像のデータとなる元画像である。ここで、 Imgと Img' の関係は、次の（1)式で現されるとする。

Img' =Img X G- -- (l)

なお、差分のデータ σは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータ Gにより異なり、次の（2)式で現される。

σ =f (Img' , Img, G) - -- (2)

[0035] 処理部 4の処理ルーチンは、まず、任意の画像のデータ Ioを用意する（ステップ S1 01)ことから始まる。この初期画像のデータ Ioとしては、撮影された劣化画像のデータ Img' を用いても良ぐまた、黒ベタ、白ベタ、灰色ベタ、巿松模様等どのような画像のデータを用いても良い。ステップ S102で、（1)式の Imgの代わりに初期画像となる任意の画像のデータ Ioを入れ、劣化画像である比較用データ Io'を求める。次に、撮影された劣化画像である原画像のデータ Img' と比較用データ I と比較し、差分のデータ σを算出する (ステップ S 103)。

[0036] 次に、ステップ S 104で、この差分のデータ δが所定値以上であるか否かを判断し、所定値以上であれば、ステップ S 105で新たな復元画像のデータ（=復元データ）を生成する処理を行う。すなわち、差分のデータ δを変化要因情報のデータ Gに基づいて、任意の画像のデータ Ιοに配分し、新たな復元データ Ιο+ηを生成する。その後、ステップ S102, S103, S104を繰り返す。

[0037] ステップ S104において、差分のデータ δが所定値より小さい場合、処理を終了する（ステップ S106)。そして、処理を終了した時点での復元データ Io+nを正しい画像、すなわち劣化のない画像のデータ Imgと推定し、そのデータを記録部 5に記録する。なお、記録部 5には、初期画像のデータ Ioや変化要因情報のデータ Gを記録しておき、必要により処理部 4に渡すようにしても良ヽ。

[0038] 以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献 2の記載にもあるように、理論上は可能であるが、現実問題としては困難である。

[0039] 最適化問題として解くということは、次の条件を前提としている。

すなわち、

(1)入力に対する出力は、一意に決まる。

(2)出力が同じであれば、入力は同じである。

(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

[0040] このことを換言すれば、図 4 (A) (B)に示すように、撮影された画像である原画像のデータ Img' と近似である比較用データ Ιο^ (Ιο+η' )を生成できれば、その生成の元データとなる初期画像のデータ Ioまたは復元データ Ιο+ηは、原画像のデータ I mg' の元となる正 U、画像のデータ Imgまたはそれに近似したものとなる。

[0041] なお、この実施の形態では、角速度検出センサは 5 sec毎に角速度を検出している。また、差分のデータ σの判定基準となる値は、各データを 8ビット（0〜255)で現した場合に、この実施の形態では「6」としている。すなわち、 6より小さい、つまり 5以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

[0042] 次に、図 3および図 4に示す処理方法の具体例を、図 5,図 6,図 7,図 8,図 9,図 1 0,図 11および図 12に基づいて説明する。

[0043] (手ぶれの復元アルゴリズム）

手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわ力るため、ぶれた画像力ブレの無い画像を作ることが可能となる。

[0044] 以下、簡単のため、横一次元で説明する。画素を左から順に、 η- 1, η, η+ 1, η

+ 2, η+ 3, ···,とし、ある画素 ηに注目する。ブレが無いとき、露光時間中のエネルギ一は、その画素に集中するため、エネルギーの集中度は「1. 0」である。この状態を図 5に示す。このときの撮影結果を、図⁶の表に示す。図⁶に示すものが、劣化しなかった場合の正しい画像データ Imgとなる。なお、各データは、 8ビット（0〜255)のデータで現している。

[0045] 露光時間中にブレがあり、露光時間中の 50%の時間は n番目の画素に、 30%の時間は n+ 1番目の画素に、 20%の時間は n+ 2番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図 7に示す表のとおりとなる。これが変化要因情報のデータ Gとなる。

[0046] ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図 8に示す表のとおりとなる。図 8中の「撮影結果」として示されるデータ力元の正しい画像のデータ Imgで、「ブレ画像」として示されるデータ力撮影された劣化画像のデータ Img' となる。具体的には、たとえば「n— 3」の画素の「120」は、ぶれ情報である変化要因情報のデータ Gの「0. 5J「0. 3」「0. 2」の配分比に従い、「n— 3」の画素に「60」、「n— 2」の画素に「36」、「n— 1」の画素に「24」というように分散する。同様に、「n— 2」の画素のデータである「60」は、「n— 2」に「30」、「n— 1」に「1 8」、「n」に「12」として分散する。この劣化画像のデータ Im と、図 7に示す変化要因情報のデータ G力ぶれの無い撮影結果を算出することとなる。

[0047] ステップ S101に示す任意の画像のデータ Ioとしては、どのようなものでも採用できる力この説明に当たっては、撮影した原画像のデータ Img' を用いる。すなわち、 I o=Img' として処理を開始する。図 9の表中に「入力」とされたものが初期画像のデータ Ioに相当する。このデータ Ioすなわち Img' に、ステップ S102で変化要因情報のデータ Gをかける。すなわち、たとえば、初期画像のデータ Ioの「n— 3」の画素の「 60」は、 n— 3の画素に「30」が、「n— 2」の画素に「18」が、「n— 1」の画素に「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力 Io' 」として示される比較用データ Io' が生成される。このため、ステップ S103の差分のデータ δは、図 9の最下欄に示すようになる。

[0048] この後、ステップ S104にて差分のデータ δの大きさを判断する。具体的には、差分のデータ σが全て絶対値で 5以下となった場合に処理を終了する力図 9に示す差分のデータ σは、この条件に合わないため、ステップ S105に進む。すなわち、差分のデータ σを変化要因情報のデータ Gを使用して、任意の画像のデータ Ioに配分して、図 10中の「次回入力」として示される復元データ Io+nを生成する。この場合、第 1回目であるため、図 10では、 Io + lと現している。

[0049] 差分のデータ σの配分は、たとえば「η— 3」の画素のデータ「30」に自分の所（=「 η— 3」の画素）の配分比である 0. 5をかけた「15」を「η— 3」の画素に配分し、また「η 2」の画素のデータ「15」にその「η— 2」の画素にきているはずの配分比である 0. 3 を力けた「4. 5」を配分し、さらに、「η—1」の画素のデータ「9. 2」に、その「η—1」の画素にきているはずの配分比である 0. 2をかけた「1. 84」を配分する。「η— 3」の画素に配分された総量は、「21. 34」となり、この値を初期画像のデータ Ιο (ここでは撮影された原画像のデータ Img' を使用）にプラスして、復元データ Io + 1を生成している。

[0050] 図 11に示すように、この復元データ Io + lがステップ S 102の入力画像のデータ（

=初期画像のデータ Io)になり、ステップ S 102が実行され、ステップ S 103へと移行し、新しい差分のデータ σを得る。その新しい差分のデータ σの大きさをステップ SI 04で判断し、所定値より大きい場合、ステップ S 105で新しい差分のデータ σを前回の復元データ Io + lに配分し、新しい復元データ Io + 2を生成する（図 12参照)。その後、ステップ S102の遂行により、復元データ Io + 2から新しい比較用データ Io + 2 ' が生成される。このように、ステップ S102, S103が実行された後、ステップ S104 へ行き、そこでの判断によりステップ S 105へ行ったり、ステップ S 106へ移行する。このような処理を繰り返す。

[0051] このようなアルゴリズムでは、反復回数を数万回と非常に多くのループを回すと、復元データ Io+nは本来の元画像に対して、とても良い近似となってゆくこと力本発明者によって確かめられている。しかし、製品化を考えた場合、数万回の反復処理は現実的ではない。このように反復処理を数万回も繰り返さなければならない原因は、収束スピードが非常に遅、ことが原因して、る。

[0052] この収束スピードが遅い原因は、以下のとおりと考えられる。すなわち、復元データ I o+nの評価を劣化画像空間で行うため、本来の元画像の空間での差分は周囲に分散され、値も小さくなつてしまう。また、その差分力も算出されるフィードバック更新量も変化要因情報のデータ Gを利用して算出するが、さらに小さな値となり、本来、フィードバックすべきではない差分も更新量へ計上してしまう。したがって、フィードバック更新量が小さぐカロえて、そこには誤差分 (フィードバックすべきではない量)が入つてしまうため、収束スピードが非常に遅くなると考えられる。

[0053] この様子を図 13に基づいて説明する。図 13 (A)は、変化要因情報のデータ Gが劣化要因情報であり、画素値「1」が「0. 1」ずつ 10の箇所に分散する例を示す。図 13 ( B)は、（A)の変化要因情報のデータ Gに基づいて、画素 Aがどのように分散するかを示した図である。図 13 (C)は、図 3中のステップ S101にて任意の画像として「0」を入れたときの「Io + k σ」中の「k σ」を示す。

[0054] 図 13 (B)で画素 Αに注目したとき、フィードバックの目標は 10としたいが、図 13 (C) に示すようにフィードバックはたったの「1」である。また、周囲の画素 B, C - · ·など変化要因情報のデータ Gの広がる範囲に対し、本来は画素 Aの影響である差分を、画素 B, C, · · ·へもフィードバックしてしまっている。このように、図 5から図 12に示すァルゴリズムでは、目標に対してフィードバック量が非常に小さくかつ、本来フィードバックすべきではない領域へもフィードバック量を算出してしまうことになる。

[0055] このように図 3に示す処理ルーチンで、配分比 kとして図 5から図 12に示す配分方法を採用した場合、フィードバックの量が小さいため、ー且発生してしまった誤差は、なかなか消えず、またその影響は弱まりながらもどんどん波紋のように周囲へ広がつてゆく。これが収束スピードが遅い原因であり、また画像のエッジ付近で発生するリンギングと呼ばれる現象の原因であると考えられる。

[0056] この実施の形態の画像処理装置 1は、図 3に示す処理ルーチンの基本である繰り返し処理 (ループ処理)を利用しつつ、収束スピードを飛躍的に高めたものである。改善したアルゴリズムは、配分量である ¾ σ」を工夫したものである。

[0057] まず、改善したアルゴリズムの概要にっ、て説明する。画像の劣化は、変化要因情報のデータ Gにより周囲のデータが配分されたものとなっている。したがって、劣化画像のある画素のデータは、変化要因情報のデータ Gが既知であれば、自分自身がその中にどれぐらい含まれているの力おおよそ見当を付けることができる。よって、差分のデータ σの中の自分自身の割合もおおよそ見当を付けることができるため、原画像空間（Imgと Img' の空間）における差分を予想することができる。そのため、フイードバック量は、原画像空間での差分に近い値となる。また、その予想した差分のデータ σを利用して自分自身の画素へフィードバックするため、周囲へ悪影響を及ぼすようなフィードバックは行われないこととなる。

[0058] 以上の概念を、図 14に基づいて具体的に説明する。

[0059] 図 14 (A)に示したように、変化要因情報のデータ Gが α , β , γからなり、自分自身の位置に a分あり、次の隣の画素に /3が配分され、またその隣の画素に γが配分されるとする。ここで、「 α + j8 + γ = 1」である。

[0060] 元の正しい画像データ Imgの画素 aoのデータは、劣化画像のデータ Img^ の画素 ao' , al' , a2 へ分散される。画素 ao' は、 ao X αとなり、画素 al' へは ao X jS が配分され、 a2' へは、 aoX γが配分される。同様に復元データ Ιο + ηに変化要因情報のデータ Gを付加することで得られる比較用データ Ιο + は、 lx , hi' , b2 ' · ··の画素列となる。画素 bo^ は、 boX αとなり、画素 bl へは boX βが配分され、画素 b2^ へは、 bo X γが配分される。

[0061] 画素 alの値は、各画素 a , a2' , a3' へ配分される。画素 a / へは alX a力配分され、画素 a2^ へは al X βが配分され、 a3' へは、 al X γが配分される。同様に、画素 blの値も画素 bl , b2' , b3' a, β , γの割合で配分される。画素 a2' , a3' , a4' · · ·の値も同様に配分され、画素 b2' , b3' , b4' ···の値も同様に配分される。

[0062] 差分のデータ量 doは、「ao' -bo' =aoX a -boX a = (ao— bo) X α」となる。この結果、 ao-bo = do÷ aとなり、 ao = bo + do÷ αとなる。すなわち、画素 bo' に戻す量は、「do÷ひ」となる。同様にして、画素 blに戻す量は、次のようにして計算される。すなわち、「dl = a — bl = (ao X j8 +al X α ) - (bo X j8 +bl X a ) = (ao-bo) X j8 + (al-bl) X a」となる。そして、「dl— (ao— bo) j8 = (al— bl) X a」となり、「al=bl+(dl— (ao— bo) X j8)÷ a)」となる。ここで、「ao— bo」は、差分のデータ量 doとみなし、「&1=1)1+((11—(10 |8)÷0；)」となり、画素 blに戻す量は、「（dl— doX j8)÷ α)」となる。

[0063] 同様にして、画素 b2に戻す量は、「（d2— dl X j8— do X γ ) ÷ α」となる。このような戻し量を一般化すると、画素 bnに戻す戻し量は、 (dn-dn-lX |8 dn— 2X y ) ÷ α」となる。このように、図 3に示す処理フロー中のスッテプ S105で、前回の復元データ Ιο+ηに戻す量として、差分のデータ σの差分量から周囲の影響を変化要因情報のデータ Gに従って取り除き、その値を変化要因情報のデータ Gで割った値を採用することで、図 3の処理ルーチンの繰り返し回数を大きく減少させることができる。本発明者の実験によれば、図 5から図 12の処理アルゴリズムでは、数 10回の反復処理ではほとんど正しい元の画像に近似できないが、図 14に示すアルゴリズムでは、 5回力 6回の反復処理でほぼ収束している。

[0064] なお、上述の場合、 bnへのフィードバック量（戻し量）としては、差分のデータ σから得られる値を変化要因情報のデータ Gの中の 1つである「 α」で割ったものとしたが、この方法を採用すると、 α , β , γのうち、 αが一番重みが大きい (割合が高い）ときに効率的に収束できることとなる。たとえば、 |8が最も重みが大きい (割合が高い）ときには、差分のデータ量である dl, d2, d3を使用しての復元は、「al =bl + (d2— do X γ -d2 X α ) ÷ j8」の式を用い、画素 blへの戻し量は「（d2— do X γ — d2 X a ) ÷ j8」とするのが好ましい。これを一般化すると、画素 bnに戻す戻し量は、「（dn+ l -dn- l X γ — dn+ 1 X α ) ÷ 」となる。同様に、 γが最も重みが大きい (割合が高い）ときには、画素 bnに戻す戻し量は、「dn+ 2— dn+ 2 X a— dn+ l X ) ÷ γ 」となる。なお、効率的な処理をそれほど考慮しない場合は、最も重みが大きい (割合が高、)もので割るようにしなくても良、。

[0065] 上述の例では、変化要因情報のデータ Gは、 α , β , γの 3つとした力これらは 2 つ以上であれば、 5つでも 7つでも 10でも良い。 αを Psfoと表わし、 j8を Psflとして表わすように、各値を一般化して表示すると、 Psfn (nは 0以上の整数値）となる。このように一般ィ匕した場合にも、上述の考え方が適用でき、戻し量が計算される。

[0066] 以上のように、この第 1の実施の形態に係る画像処理装置 1では、差分のデータ σ を「1」以下の変化要因情報のデータ Gで割ることとなるので、戻し量は非常に大きな値となってしまう。このため、小さなノイズがあってもそれが拡大してしまう。この問題への対応のため、この実施の形態では特定の差分のデータ量に含まれる周囲の影響を取り除き、その取り除いた後のデータを変化要因情報のデータ G (実際はその中の 1つ）で割ってフィードバックさせている。

[0067] なお、このような対応に加え、データの信頼性との関係で、上述の考え方で得られた戻し量に、 0. 3や 0. 5や 0. 7などの所定の割合を掛けるようにして戻し量を減少させるようにしても良い。このように 1未満の値を掛けると、収束スピードは遅くなる力より確実に復元させることができる。一方、得られた戻し量に 1を超える値を掛けると、収束スピードをさらに向上させることができる。

[0068] 次に、第 2の実施の形態に係る画像処理装置を図 15に基づいて説明する。この画像処理装置は、第 1の実施の形態に係る画像処理装置 1とは、部品構成や処理ルーチンが基本的に同一であり、異なる点は、上述したァリゴリズム (戻し量をどうする力）の点のみである。よって、以下の説明に当たっては、第 1の実施の形態と同一部材には同一の符号を付けて説明する。また、第 2の実施の形態に係る装置には、「1A」の符号を付与するが、この符号「1A」は、図面上には現われない。

[0069] 第 2の実施の形態に係る画像処理装置 1 Aは、図 3に示す処理ルーチンの基本である繰り返し処理 (ループ処理)を使用している。しかし、その処理に当たっての戻し量（図 3では ka)を以下のようにしている。すなわち、変化要因情報のデータ Gの中で、一番重い場所 (先の例では一番割合が大きい場所)に注目し、その差分を信用しあるいはその差分のある割合を信用し、その値を変化要因情報のデータ Gで割る。そして、その割った値を復元データ Io+nへの戻し量とする。その後、復元された値による周囲への影響を変化要因情報のデータ Gに従って、その差分のデータ量 (戻し量）から取り除いて、次の画素についての処理へ移行する。この繰り返しによって、全画素の一回分の復元データ Io+nを得るというものである。

[0070] 以下に、具体的に説明する。図 15(A)のような変化要因情報のデータ Gを仮定すると、図 15(B)に示すデータ関係が得られる。このような中で、仮に、比較用データ Io +n ' の元となる初期値を「0」とすると、 Io ' も「0」となる。すると、 a =Img ' となる。図 15(B)に示した 4つの画素について検討すると、「do = aoX α」となり，「dl = aoX β +alX α」、「d2 = aoX γ +alX β +a2X α」となる。 d3は、「alX γ + a2X j8 +a3X a」となる。

[0071] この結果、劣化画像のデータ Img ' 力元の正しい画像データ Imgへの関係は、「ao = do÷ α」、「al= (dl— aoX j8) ÷ α」、「a2= (d2— alX β— aoX γ ) ÷ a」、「a3= (d3-a2X β—al X γ ) ÷ a」となる。具体的な戻し量を計算して行く場合、まず、「do」と「ひ」（共に既知）から「ao」が算出されるため、「do÷a」を戻し量とする。次に、「al=(dl— aoX |8)÷_α」を考える力その際、「dl」「 α」「」が既知であり、かつ「ao」力^つ前に求められているので、その求められた値を代入することで、「al」が求められる。よって、その「al」の値を戻し量とする。この値中の「dl— aoX β 」は、差分のデータ量である dlから、 1つ前に求められた復元データである「ao」による影響である「_ao X 」を取り除、たものである。

[0072] 次に、隣の画素 a2(すなわち b2)を求める。上述のように「a2= (d2— al X β ao

X γ)÷ α」なのだが、この中で「d2」「 α」「 j8」「 γ」は既知である。加えて、「ao」「al 」も前の 2つの処理によって値が求められているので、「a2」を求めることができる。ここで、「d2— alX β—aoX γ」は、差分のデータ量である d2から、 2つ前に求められた復元データである「ao」による影響である「ao X γ」と、 1つ前に求められた復元データである「al」により影響である「ao X |8」とを取り除いたものである。

[0073] 同様にして、「a3=(d3— a2X β— al X γ ) ÷ α」より「a3」が求まる。このようにして、次力も次へと復元データ Io+nの各画素値が求まる。次回のループでは、比較用データ Ιο+η' と劣化画像 (原画像)のデータ Img' とを比較し、新たな差分のデータ σを求める。なお、 α, β, γ力 S正しく、 do, dl---^ ao, al, ···も正し!/ヽ値であれば、 1回の復元処理によって Io + l=Imgとなる力各値の中に誤差が含まれるため、そうはならない。よって、図 3と同様な繰り返し処理をする。

[0074] 比較用データ Io + (—般ィ匕すると Io+r )と劣化画像 (原画像)のデータ Img ' との差分のデータ量である doは、上述したように「（ao— bo) X α」となる。よって、「 ao = bo + do÷ α」となり、既知の画素 boに戻す量は、「do÷ o;」となる。同様に、画素 blに戻す量は、上述したように「（dl— (ao— bo) X j8)÷ α」となる。ここで、「dl」「α」「|8」「1)ο」が既知であり、し力も、 1つ前の処理によって「ao」も既知となっており、画素 blに戻す量が求まる。その戻す量と画素 blの量との合計値力画素 alの値となる。

[0075] 同様に、画素 b2に戻す量は、第 1の実施の形態の説明の際に説明したように、「（d 2— (al— bl) X j8— (ao— bo) X γ)÷ a」となる。ここで、「d2」「 α」「 j8」「 γ」「ao」「bo」「bl」が既知であり、し力も、 1つ前の処理によって「al」も既知となっており、画素 b2に戻す量が求まる。この戻す量の値中の「d2—（al— bl) X β - (ao— bo) X T」は、差分のデータ量である d2から、 2つ前の画素の影響と、 1つ前の画素の影響を取り除いた値である。このように、 1つ前の処理で得た値を利用しつつかつ他の画素からの変化要因情報のデータ Gに基づく影響を取り除いて、より正確なフィードバック量を決定して、くのが、この第 2の実施の形態に係る画像処理装置 1 Aのアルゴリズムである。なお、フィードバック量は、第 1の実施の形態と同様に、変化要因情報のデータ Gで割っており、戻し量は大きくなり、ループ回数は少なくなり、収束スピードが速くなる。 [0076] 上述の説明では、たとえば ao = do ÷ aとし、計算上のすべての値をフィードバックしている力「の値の信用度との関係で戻し量を^^+ ^ 5」のように半分としたり、 60%としたり、 30%としたりして、復元の信頼性をアップさせるようにしても良い。また、上述した説明では、 α , β , γの大きさを説明しな力つた力自分自身の位置の重みが大き、 (割合が高ヽ)場合、すなわち、 aが βや γより大き!/、場合、特に、 α > β > γの場合に、上述したアルゴリズム ( aで割るもの）が最も好適であるが、第 1の実施の形態と同様に、 αより j8や γが大きい場合にも、 αで割るアルゴリズムを利用できる。

[0077] この画像処理装置 1, 1Aでは、処理するに当たり、ステップ S104において、事前に処理回数と、差分のデータ σの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として 3回、 10回等任意の回数を設定できる。また、処理を停止させる差分のデータ σの値を 8ビット（0〜255)中の「5」と設定し、 5以下になったら処理を終了させたり、「0. 5」と設定し「0. 5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らな力つた場合、さらに所定回数の処理を繰り返すようにしても良、。

[0078] この各実施の形態の説明の中では、要因情報保存部 7に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、図 3の処理方法では、ブレの情報と光学収差の情報を合わせて 1つの劣化要因として捉えて処理を行うのが好まし!/、が、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部 7を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良、。

[0079] 以上、本発明の各実施の形態に係る画像処理装置 1, 1Aについて説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部 4で行った処理は、ソフトウェアで構成している力それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。 [0080] また、上述の各実施の形態では、復元処理を左端力も右端に向力つて順に行っていたが、たとえば、変化要因情報のデータ Gが右端から左端への方向に流れるものである場合は、右端力も左端に順に行うのが好ましい。また、同様に変化要因情報のデータ Gの方向が右力左であっても、 aぐ βぐ γである場合、 γを使用して左から右の処理順序とするのが好ま、。このように変化要因情報のデータ Gの性質に合わせ、処理順序を決めるのが好ましい。

[0081] また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用データとしては、変化要因情報のデータ Gを使用して生成したデータ以外に、変化要因情報のデータ Gを使用して生成したものに色補正をカ卩えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなぐ単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

[0082] また、処理の反復回数が画像処理装置 1, 1A側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータ Gによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

[0083] さらに、反復処理中に、差分のデータ σが発散してきたら、すなわち大きくなつていつたら処理を中止させるようにても良い。発散している力否かは、たとえば差分のデータ σの平均値を見てその平均値が前回より大きくなつたら発散していると判断する方法を採用できる。また、発散が 1回生じたら、処理を即中止させても良いが、発散が 2 回続けて生じたら中止させる方法としたり、発散が所定回数続いたら処理を中止させる方法を採用しても良い。また、反復処理中に、入力を異常な値に変更しょうとしたときには、処理を中止させるようにしても良い。たとえば 8ビットの場合、変更されるようとする値が 255を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しょうとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、 8ビットの 0〜255の中で、 255を超える値を入力データとしょうとした際は、マックスの値である 255として処理するようにする。すなわち、復元データ中に許容される数値 (上述の例では、 0〜255)以外の異常数値（上述の例では、 255を超える値）が含まれるときは、その処理を中止したり、復元データ中に許容される数値以外の異常数値が含まれるときは、その異常数値を許容される数値に変更して処理を継続させたりすることができる。

[0084] また、出力画像となる復元データを生成する際、変化要因情報のデータ Gによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入つてくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素 XN1 (N行 1列）のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素 XN1の真上で最も上に位置する画素 XI I (1行 1列）に割り振られる処理をする。画素 XN1の隣の画素 XN2 (N行 2列）についても同様に真上で最上欄の画素 X12 ( =画素 XI Iの隣りで 1行 2列））に割り振ることとなる。このように、復元データを生成する際、復元対象領域外となるデータが発生するときは、そのデータの発生位置の縦、横、または斜めのいずれか 1つの方向の反対側の位置の復元対象領域内に配置するようにすると、復元しょうとする対象領域について、確実な復元が可能となる。

[0085] また、上述した各種のアルゴリズム、たとえば反対方向への処理、一定の割合を掛ける処理等各種のアルゴリズムの!/ヽずれか複数を処理部 4に保存しておき、使用者の選択もしくは画像の種類または変化要因情報のデータ Gの性質に応じて自動的にまたは手動にて、処理方法を選択できるようにしても良い。また、これらの方法のうちいずれか複数を選択し、 1ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置 1, 1Aは、上述した各種のアルゴリズムのいずれか 1つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良ヽ。

[0086] また、上述した各処理方法は、プログラム化されても良ヽ。また、プログラム化されたものが記憶媒体、たとえば CD (Compact Disc)、 DVD、 USB (Universal Serial Bus)メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置 1は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置 1の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置 1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

Claims

請求の範囲

[1] 画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータ力比較用データを生成し、処理対象となる原画像のデータと上記比較用データとを比較し、得られた差分のデータ力周囲の影響を上記変化要因情報のデータに従って取り除き

、その値を上記変化要因情報のデータでかつ 1未満の値で割って戻し量とすることで

、復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、上記原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成する処理を行うことを特徴とする画像処理装置。

[2] 画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータ力比較用データを生成し、処理対象となる原画像のデータと上記比較用データとを比較し、得られた差分のデータをそのまままたは 1未満の値を掛けた値を上記変化要因情報のデータであってかつ 1未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を上記変化要因情報のデータに従って、上記差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、上記原画像の変化前の画像またはそれに近似する画像のデータとなる復元データを生成する処理を行うことを特徴とする画像処理装置。

[3] 前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの前記差分のデータが所定値以下または所定値より小さ、場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項 1または 2記載の画像処理装置。

[4] 画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった上記所定の画像を上記原画像の変化前の画像またはそれに近似する画像として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータから周囲の影響を上記変化要因情報のデータに従って取り除き、その値を上記変化要因情報のデータでかつ 1未満の値で割って戻し量とすることで、復元データを生成し、この復元データを上記所定の画像に置き換えて同様な処理を繰り返す処理を行うことを特徴とする画像処理装置。

[5] 画像を処理する処理部を有する画像処理装置において、上記処理部は、画像変化の要因となる変化要因情報のデータを利用して、所定の画像のデータから比較用データを生成し、処理対象となる画像が変化した原画像のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった上記所定の画像を上記原画像の変化前の画像またはそれに近似する画像として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータをそのまままたは 1未満の値を掛けた値を上記変化要因情報のデータであってかつ 1未満の値で割って戻し量とし、特定画素の復元データの値として決め、その値による周囲の影響を上記変化要因情報のデータに従って、上記差分のデータから取り除くことで、各画素の復元データを生成し、この復元データを上記所定の画像に置き換えて同様な処理を繰り返す処理を行うことを特徴とする画像処理装置。

[6] 前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 4または 5記載の画像処理装置。

[7] 前記変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有することを特徴とする請求項 1から 6のいずれか 1項記載の画像処理装置。

[8] 前記変化要因情報のデータで割るときに使用する値を、前記変化要因情報のデータの中で一番重みが大きい値としたことを特徴とする請求項 1から 7のいずれか 1項記載の画像処理装置。

[9] 前記戻し量を算出してゆく順序を、前記変化要因情報のデータの性質に依存させたことを特徴とする請求項 1から 8のいずれか 1項記載の画像処理装置。