WO2007077733A1

WO2007077733A1 - 画像処理装置

Info

Publication number: WO2007077733A1
Application number: PCT/JP2006/325330
Authority: WO
Inventors: Fuminori Takahashi
Original assignee: Nittoh Kogaku K.K
Priority date: 2005-12-28
Filing date: 2006-12-20
Publication date: 2007-07-12
Also published as: US8243148B2; US20100220203A1; JPWO2007077733A1; JP4975644B2

Abstract

　画像を復元するに当たり、撮影画像のぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像が生成されるようにする画像処理装置を提供すること。　撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、画像処理部は、復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することを特徴とする画像処理装置。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、画像処理装置に関する。

背景技術

[0002] 従来から、撮像部に CCD (Charge Coupled Devices)などの撮像素子を使用するカメラにより撮影を行った撮影画像は、撮影時の手ぶれ、撮影光学系の各種の収差、あるいは撮影光学系を構成するレンズの歪み等がある場合は、これが要因となり、撮影画像が劣化することが知られている。

[0003] このような撮影画像の劣化を防ぐ手段として、撮影画像の劣化の要因のうち、撮影時の手ぶれに関しては、レンズを動かす方式と撮影した画像を回路処理する方式の 2つの方式が知られている。例えば、レンズを動かす方式としては、カメラの手ぶれを検出し、撮影光学系の中の所定のレンズを、検出した手ぶれによるカメラの移動に合わせて動かすことにより、撮像素子上における結像位置の移動を抑制する方式が知られている (特許文献 1参照)。

[0004] また、回路処理する方式としては、カメラの撮影光学系の光軸の変動を角加速度センサ等により検出し、検出した角速度等力撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化のない画像を復元する方式が知られて!/ヽる (特許文献 2参照)。

[0005] 特許文献 1：特開平 6— 317824号公報 (要約書参照）

特許文献 2：特開平 11 24122号公報 (要約書参照）

発明の開示

発明が解決しょうとする課題

[0006] 特許文献 1記載の手ぶれ補正を採用したカメラは、モータ等のレンズを駆動するハ一ドウエアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。

[0007] また、特許文献 2記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。

[0008] 手ぶれにより劣化した撮影画像を画像表示装置の表示画面で見ると、撮影の開始時である露光開始時力撮影の終了時である露光終了時までの間に手ぶれをして力メラが移動した軌跡に沿ってぶれた撮影画像になってヽる。この劣化した撮影画像を伝達関数に基づいて表示画面上で復元すると、復元画像は、ぶれた撮影画像が露光開始時の位置に収束するように生成されるように見える。

[0009] ところが、手ぶれの仕方によっては、手ぶれの途中や露光を終了する位置において、手ぶれの速さが遅くなる状態で撮影を行ってしまうことがある。このような状態で撮影した撮影画像は、手ぶれの速さが遅くなつた手ぶれの途中や露光を終了位置において、露光時間の長い画像になっている。そのため、この撮影画像は、ぶれの途中や終端部の明るさが高いものとなっている。そして、このような撮影画像を復元すると、ぶれの軌跡の途中や終端部の明るい部分が、撮影開始時の位置へ移動したように見えるため、不自然さを感じることがある。

[0010] そこで、本発明の課題は、画像を復元するに当たり、撮影画像のぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像が生成されるようにする画像処理装置を提供することである。

課題を解決するための手段

[0011] 上記課題を解決するために、本発明の画像処理装置は、撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、画像処理部は、復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することとしている。

[0012] 本発明によれば、処理対象画像における露光時間が一番長い位置に復元画像を生成するため、復元画像を表示画面に表示する際に、処理対象画像と復元画像の表示位置のずれが少なくなり、自然な感じで復元画像が表示すされることになる。

[0013] また、他の発明は、上述の発明に加え、露光時間が最も長い位置を、画像変化の要因となる変化要因情報のデータのデータ値の最も大きい画素とすることとした。 [0014] この構成を採用した場合、画像変化の要因となる変化要因情報のデータに基づいて露光時間が最も長い位置を判断することしたため、露光時間が最も長い位置に関する情報を容易に得ることができる。

[0015] また、他の発明は、上述の発明に加え、復元画像の復元は、変化要因情報のデータを利用して、任意の画像データから比較用画像データを生成し、その後、処理対象となる処理対象画像の画像データと比較用画像データとを比較し、得られた差分のデータを変化要因情報のデータを利用して任意の画像データに配分することで復元画像データを生成し、その後、この復元画像データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の基画像に近似する復元画像を生成する処理を行うこととする。

[0016] この構成を採用した場合、変化要因情報を利用して比較用画像データを作り、この比較用画像データと処理対象画像の画像データを比較するという処理を繰り返し、徐々に処理対象画像の基となる変化前の基画像に近い復元画像データを得る。そのため、露光時間が最も長い位置に関する情報を、画像変化の要因となる変化要因情報のデータから判断できることに加えて、復元画像データの生成を現実的な作業とすることができる。

発明の効果

[0017] 本発明によれば、画像を復元するに当たり、ぶれの軌跡の途中や終端部において露光時間が長くなるような露光が行われた撮影画像を復元する場合に、見た目で自然な感じに復元画像を生成することができる。

図面の簡単な説明

[0018] [図 1]本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である

[図 2]図 1に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。

[図 3]図 1に示す画像処理装置の処理部で行う処理方法を示す図で、（A)は、処理方法の基本的な考え方の概要を説明するためのフロー図で、（B)は、図 1に示す画像処理装置の処理部で行う本実施の形態における処理方法を説明するためのフロ一図である。

[図 4]図 3 (A)に示す処理方法の考え方の概念を説明するための図である。

[図 5]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの光エネルギの集中を示す表である。

[図 6]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの基画像データを示す表である。

[図 7]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの光エネルギの分散を示す表である。

[図 8]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、任意の画像力比較用画像データを生成する状況を説明するための表である。

[図 9]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、比較用画像データと、処理対象画像とを比較して、差分のデータを生成する状況を説明するための表である。

[図 10]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、差分のデータを配分し任意の画像に加えることで復元画像データを生成する状況を説明するための表である。

圆 11]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、生成された復元画像データから新たな比較用画像データを生成し、そのデータと処理対象画像とを比較して差分のデータを生成する状況を説明するための表である。

[図 12]図 3 (A)に示す処理方法の考え方の概要を、手ぶれを例にして具体的に説明するための表で、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 13]図 1に示す画像処理装置の処理部での処理方法を説明するに当たって、その前提となる手ぶれの状態を示す図で、手ぶれの始まりより後の方が遅くなるように手ぶれが生じたときの光エネルギの分散を示す表である。

[図 14]図 13に示す光エネルギの分散によって、光エネルギが 100の画素 n力変化要因情報データ Gによりぶれたときの処理対象画像 Img' の画素の光エネルギの状態を表わす表である。

[図 15] (A)は、図 3の処理フロー (A)に示す処理方法の第 1回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 1回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。

[図 16] (A)は、図 3の処理フロー (A)に示す処理方法の第 1回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 1回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 17] (A)は、図 3の処理フロー (A)に示す処理方法の第 2回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 2回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。

[図 18] (A)は、図 3の処理フロー (A)に示す処理方法の第 2回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 2回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 19] (A)は、図 3の処理フロー (A)に示す処理方法の第 3回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 3回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。

[図 20] (A)は、図 3の処理フロー (A)に示す処理方法の第 3回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 3回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 21] (A)は、図 3の処理フロー (A)に示す処理方法の第 4回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 4回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。

[図 22] (A)は、図 3の処理フロー (A)に示す処理方法の第 4回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 4回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 23] (A)は、図 3の処理フロー (A)に示す処理方法の第 5回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 5回目の処理フローにより、比較用画像データと、処理対象画像データとを比較して、差分のデータを生成する状況を説明するための表である。

[図 24] (A)は、図 3の処理フロー (A)に示す処理方法の第 5回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表で、（B)は、図 3の処理フロー（B)に示す処理方法の第 5回目の処理フローにより、新たに生成された差分のデータを配分し、新たな復元画像データを生成する状況を説明するための表である。

[図 25] (A)は、図 3の処理フロー (A)を繰り返し行い、処理対象画像データが理想的に復元された復元画像データを示し、（B)は、図 3の処理フロー（B)を繰り返し行い、処理対象画像データが理想的に復元された復元画像データを示す。

符号の説明 [0019] 1 画像処理装置

2 撮影部

3 制御系部

4 処理部

5 記録部

6 検出部

7 要因情報保存部

I

0 任意画像データ (初期画像データ）

I

0 ' 比較用画像データ

G 変化要因情報データ

Img 基画像

Img' 撮影画像データ (撮影された画像）

h フィードバック関数

I

O+n 復元画像データ

発明を実施するための最良の形態

[0020] 以下、本発明の第 1の実施の形態に係る画像処理装置 1について図を参照しながら説明する。なお、この画像処理装置 1は、撮像部に CCDを使用した民生用のいわゆるデジタルカメラとしているが、撮像部に CCD等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには NMR撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。

[0021] 画像処理装置 1は、人物等の被写体を撮影する撮像部 2と、その撮像部 2を駆動する制御系部 3と、撮像部 2で撮影された画像を処理する画像処理部 4と、を有している。また、この実施の形態に係る画像処理装置 1は、さらに画像処理部 4で処理された画像を記録する記録部 5と、角速度センサ等からなり、画像劣化等の撮影画像の変化の要因となる変化要因情報を検知する検出部 6と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部 7を有する。

[0022] 撮像部 2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する CCDや C MOS (Complementary Metal Oxide Semiconductor)等の撮像素子を備える部分である。制御系部 3は、撮像部 2,画像処理部 4、記録部 5、検出部 6および要因情報保存部 7等、画像処理装置 1内の各部を制御するものである。

[0023] 画像処理部 4は、画像処理プロセッサで構成されており、 ASIC(Application Spe cific Integrated Circuit)のようなハードウェアで構成されている。この画像処理部 4は図示外の記録部を備え、この記録部に後述する処理用画像データにおける複素空間の高周波成分を有する画像データや、比較用画像データを生成する際の元となる任意の画像の画像データが保存されている。画像処理部 4は、 ASICのようなハードウェアとして構成されるのではなぐソフトウェアで処理する構成としても良い。記録部 5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、 DVD (Digital Versatile Disk)等を使用する光記録手段等を採用しても良い。

[0024] 検出部 6は、図 2に示すように、画像処理装置 1の光軸である Z軸に対して垂直方向となる X軸、 Y軸の回りの速度を検出する 2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、 X方向、 Y方向、 Z方向の各方向への移動や Z軸回りの回動も生ずる力各変動により最も大きな影響を受けるのは、 Y軸回りの回転と X軸回りの回転である。これら 2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図 2の X軸回りと Y軸回りの 2つの角速度センサのみを配置している。し力し、より完全を期すため Z 軸回りの角速度センサをさらに付加したり、 X方向や Y方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなぐ角加速度センサとしても良い。

[0025] 要因情報保存部 7は、既知の劣化要因情報などの変化要因情報、例えば撮影光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部 7には、撮影光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれによる画像の劣化を補正する際にはそれらの情報は、利用していない

[0026] 次に、以上のように構成された画像処理装置 1の画像処理部 4の処理方法を説明するに先立ち、先ず、本発明の基になる処理方法の考え方の概要を図 3 (A)の処理フロー（以下、処理フロー (A) )および図 4に基づ、て説明する。

[0027] 図 3の処理フロー (A)中、「I」は、任意の画像の画像データ（以下、任意画像デー

0

タ）であって、画像処理部 4の記録部に予め保存されている画像のデータである。「I

0

' 」は、その任意画像データ I

0の変化画像のデータを示し、比較のための比較用画像の画像データ（以下、比較用画像データ）である。「G」は、検出部 6で検出された変化要因情報（=変化要因情報 (点像関数) )のデータで、画像処理部 4の記録部に保存されるものである。「Img' 」は、撮影された画像、すなわち変化要因により変化した撮影画像のデータを指し、この処理にお!ヽて処理対象となる処理対象画像の画像データ（以下、処理対象画像データ)である。

[0028] 「 δ」は、処理対象画像データ Img' と、比較用画像データとの差分のデータ

0

である。「k」は、変化要因情報データ Gに基づく配分比である。「I 」は、任意画像

O+n

データ Iに、差分データ δを変化要因情報データ Gに基づいて配分して新たに生成

0

した復元画像の画像データ（以下、復元画像データ)である。「Img」は、処理対象画像データ Img' の基となる、変化する前の本来の画像の画像データ（以下、基画像データという）である。すなわち、手ぶれ等の画像の変化要因がない状態で撮影が行われたとたしたときの撮影画像の画像データである。ここで、 Imgと Im の関係は、次の（1)式で現されるとする。

Img, =Img水 G · ·· (1)

「 *」は、重畳積分を表わす演算子である。

なお、差分データ δは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ Gにより異なり、次の（2)式で現される。

δ =f ( , Img, Gト - (2)

[0029] 図 3の処理フロー (A)は、まず、任意画像データ Iを初期画像データとして用意す

0

ることから始まる (ステップ S 101)。この初期画像データ、すなわち任意画像データ I

0 としては、撮影した画像の画像データである処理対象画像データ Img' を用いても良ぐまた、黒ベタ、白ベタ、灰色ベタ、巿松模様等どのような画像のデータを用いても良い。ステップ S102で、（1)式の Imgの代わりに任意画像データ Iを入れ、変化画

0

像である比較用画像データ I ' を求める。次に、処理対象画像データ Img' と比較用画像データ I ' と比較し、差分データ δを算出する (ステップ S103)。

0

[0030] 次に、ステップ S 104で、この差分データ δが所定値以上である力否かを判断し、所定値以上であれば、ステップ S 105で新たな初期画像データとなる復元画像データを生成する処理を行う。すなわち、差分データ δを変化要因情報データ Gに基づ V、て、任意画像データ Iに配分し、復元画像データ I を生成する。その後、復元画

0 Ο+η

像データ I を新たな初期画像データとして、ステップ S 102,ステップ S 103,ステツ

Ο+η

プ SI 04を繰り返す。

[0031] ステップ S104において、差分データ δが所定値より小さい場合、処理を終了する（ステップ S106)。そして、処理を終了した時点での復元画像データ I を正し、画像

Ο+η

、すなわち劣化のない基画像データ Imgと推定し、そのデータを記録部 5に記録する。なお、記録部 5には、任意画像データ Iや変化要因情報データ Gを記録しておき、

0

必要により画像処理部 4に渡すようにしても良ヽ。

[0032] 以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献 2の記載にもあるように、理論上は可能であるが、現実問題としては困難である。

[0033] 最適化問題として解くということは、次の条件を前提としている。

すなわち、

(1)入力に対する出力は、一意に決まる。

(2)出力が同じであれば、入力は同じである。

(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

[0034] このことを換言すれば、図 4 (A) (B)に示すように、処理対象画像データ Img' と近似である比較用画像データ (I ' )を生成できれば、その生成の元データとな

0 O+n

る任意画像データ Iまたは復元画像データ I は、処理対象画像データ Img' の基

0 O+n

となる基画像データ Imgに近似したものとなる。

[0035] なお、この実施の形態では、角速度検出センサは 5 sec毎に角速度を検出している。また、各画素のデータは、画素が受ける光エネルギの量に対応させてから 0〜25 5の 8ビットのデータで表わしている。データが「0」のときは、光エネルギが 0であり、データが「255」のときは画素に受容可能な光エネルギ量が最大の状態になっていることを示す。

[0036] 差分データ δの判定基準となるデータ値は、例えば「6」とし、 6より小さい、つまり 5以下の時は、処理を終了することとする。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

[0037] 次に、図 3の処理フロー (Α)および図 4に示す処理方法の詳細を、図 5,図 6,図 7, 図 8,図 9,図 10,図 11および図 12に基づいて説明する。

[0038] (手ぶれの復元アルゴリズム）

手ぶれが無いとき、所定の画素に対応する光エネルギは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中の光エネルギの分散の仕方がわかるため、ぶれた画像力もブレの無い画像を作ることが可能となる。

[0039] 以下、簡単のため、横一次元で説明する。画素を左から順に、 η- 1, η, η+ 1, η

+ 2, η+ 3, ···,とし、ある画素 ηに注目する。ブレが無いとき、露光時間中の光エネルギは、その画素に集中するため、光エネルギの集中度は「1. 0」である。この状態を図 5に示す。このときの撮影結果、すなわち手ぶれない状態で撮影したときの撮影結果を、図 6の表に示す。図 6に示すものが、劣化しなカゝつたとした場合の基画像データ Imgとなる。

[0040] 露光時間中にブレがあり、露光時間中の最初の 50%の時間は画素 nに、次の 30 %の画素 n+ 1に、終わりの 20%の時間は画素 n+ 2に、それぞれぶれていたとする。光エネルギの分散の仕方は、図 7に示す表のとおりとなる。これが変化要因情報データ Gとなる。

[0041] ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図 8に示す表のとおりとなる。処理対象画像データ Img' は、撮影された結果、基画像データ Imgがブレにより変化した画像の画像データである。具体的には、たとえば画素 n— 3のデータ値「120」は、ぶれ情報である変化要因情報データ Gの「0 . 5」「0. 3」「0. 2」の配分比に従い、画素 n— 3に「60」、画素 n— 2に「36」、画素 n— 1に「24」というように分散する。同様に、画素 n— 2のデータ値「60」は、画素 n—2に「30」、画素 n—1に「18」、画素 nに「12」として分散する。この処理対象画像データ I mg' と、図 7に示す変化要因情報データ G力ぶれの無い撮影結果を算出することとなる。

[0042] ステップ S101に示す初期画像データとしての任意画像データ Iとしては、どのよう

0

なものでも採用できる力この説明に当たっては、処理対象画像データ Img' を用いる。すなわち、 I =Img' として処理を開始する。図 9の表中に「入力 I」とされたもの

0 0

が任意画像データ I

0に相当する。この任意画像データ I

0、すなわち処理対象画像データ Img' に、ステップ S 102で変化要因情報データ Gを作用させる。すなわち、たとえば、任意画像データ Iの画素 n— 3のデータ値「60」は、画素 n— 3に「30」力画素

0

n—2に「18」力画素 n—lに「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力 I ' I '

0 」として示される比較用画像データ 0 が生成される。そして、ステップ S103の差分データ δは、図 9の最下欄に示すようになる。

[0043] この後、ステップ S 104にて差分データ δの大きさを判断する。具体的には、例えば、差分データ δのデータ値が全て絶対値で 5以下となった場合に処理を終了するが、図 9に示す差分データ δは、この条件に合わないため、ステップ S105に進む。すなわち、差分データ δを変化要因情報データ Gを使用して、任意画像データ Iに配

0 分して、図 10中の「次回入力 I 」として示される復元画像データ I を生成する。こ

0+1 0+η

の場合、第 1回目であるため、図 10では η= 1として I と表している。

0+ 1

[0044] 差分データ δの配分は、たとえば、画素 η— 3についてみると、画素 η— 3に、自分の所のデータ値「30」に配分比である 0. 5をかけた「15」を配分し、また、画素 n—2 のデータ値「15」に、この画素 n—2にきているはずの配分比 0. 3を力けた「4. 5」を配分し、さらに、画素 n— 1のデータ値「9. 2」に、この画素 n— 1にきているはずの配分比 0. 2をかけた「1. 84」を配分する。したがって、画素 n— 3に配分されたデータ値の総量は、「21. 34」となり、この値を任意画像データ I (ここでは撮影画像である

0

処理対象画像データ Img' を使用）にプラスして、復元画像データ I を生成している。この復元画像データ I は、図 10の表中の「次回入力 I 」に相当するものであ

0+1 0+1

る。

[0045] 図 11に示すように、入力 I である復元画像データ I 力ステップ S 102の入力

0+1 0+ 1

画像のデータ（=任意画像データ I )になり、ステップ S 102が実行され、ステップ S1

0

03へと移行し、新しい差分データ δを得る。この新しい差分データ δの大きさをステップ S104で判断し、所定値より大きい場合、ステップ S 105で新しい差分データ δを前回の復元画像データ I

0+1に配分し、新しい復元画像データ I

0+2を生成する。この復元画像データ I は、図 12の表中の「次回入力 I 」に相当するものである。その

0+2 0+2

後、ステップ S102の遂行により、復元画像データ I 力も新しい比較用画像データ I

0 + 2

' が生成される。このように、ステップ S102,ステップ S103が実行された後、ステ

0 + 2

ップ S 104へ行き、そこでの判断によりステップ S 105へ行ったり、ステップ S 106へ移行する。このような処理を繰り返す。

[0046] ところで、上述した画像の復元方法の基本的な考え方によれば、復元画像は、処理対象画像の露光が開始された位置、すなわち撮影が開始された位置に生成するように処理されている。したがって、表示画面に表示された撮影画像である処理対象画像が復元画像に復元されるのを見ると、処理対象画像のぶれの始点位置に復元画像が移動して復元されるように見える。

[0047] 先に説明した処理対象画像については、変化要因情報データ Gが「0. 5, 0. 3, 0 . 2」であり、処理対象画像の露光時間は、ぶれの方向に従って短くなつている。つまり、処理対象画像は、ブレの方向に従って徐々に明るさが暗くなる画像である。この処理対象画像の処理対象画像データ Img' を上述の処理方法により復元すると、露光時間が一番長い位置でもある露光開始位置に復元画像が生成されるように見える。つまり、処理対象画像の明るい部分に復元画像が復元されるように見える。そのため、ぶれた処理対象画像力復元画像が生成されるのを表示画面において見ていても、不自然さは感じない。

[0048] しかしながら、露光時間中のブレが、露光時間中の最初の 20%の時間は画素 nに、次の 30%の時間は画素 n+ 1に、終わりの 50%の時間は画素 n+ 2にあるといったように、変化要因情報データ Gが「0. 2, 0. 3, 0. 5」である処理対象画像から復元画像が生成されるのを表示画面において見た場合には、不自然を感じることになる。つまり、処理対象画像は、ぶれの始まる位置から終端位置に向力つて、明るさが高くなる画像となっている。そして、この処理対象画像の処理対象画像データ Img' を上述の復元処理方法により復元すると、復元画像は、処理対象画像の明るさが低い露光開始位置に生成されることになる。そのため、処理対象画像から復元画像が生成されるのを表示画面において見た場合に、復元画像が、本来の撮像位置とは異なる位置に生成されるような錯覚を起こし、不自然さを感じる。

[0049] そこで、本発明においては、処理対象画像の実際の露光開始と露光終了の位置に関わらず、処理対象画像は、変化要因情報データ Gのデータ値が一番大きな位置から小さくなる方向にぶれが生じたものとして、変化要因情報データ Gのデータ値の一番大きな位置に対応させて復元画像を生成するようにした。

[0050] このように処理することにより、処理対象画像の一番明るい部分に復元画像が生成されることになるため、処理対象画像の露光開始位置と変化要因情報データ Gのデータ値の一番大きヽ位置とがずれてヽても、処理対象画像から復元画像が生成されるのを表示画面にぉ、て見た場合に、不自然さを感じることがな、。

[0051] 具体的な処理について、図 3 (B)で示す処理フロー（B) (以下、処理フロー（B) )、および図 13から図 24を参照しながら説明する。図 3の処理フロー（B)は、図 3の処理フロー（A)のステップ S102とステップ S105の処理内容が異なるものである。図 3の処理フロー (A)のステップ S 102の代わりにステップ S102' の処理を行い、また、ステツプ S105の代わりにステップ S105' の処理を行う。図 3の処理フロー（B)のステップ S101, 103,ステップ S104については、図 3の処理フロー（A)と同様の処理を行う。

[0052] 図 15から図 24の各図の（B)の表（以下、表（B) )は、図 3の処理フロー（B)のステツプ S102' ,ステップ S105' の処理内容を具体的に示したものである。つまり、図 15 力も図 24の各図の表 (B)は、処理対象画像のブレの方向に関わらず、変化要因情報データ Gのデータ値が一番大きな画素から、小さくなる画素の方向にぶれが生じたものとして、処理対象画像データ Img' の復元処理を行う処理を示すものである。

[0053] 図 15, 17, 19, 21, 23の表（B)の処理の内容は、図 3の処理フロー（B)のステツプ S102' の内容である。また、図 16, 18, 20, 22, 24の表（B)の処理の内容は、図 3の処理フロー（B)のステップ S105' の内容である。

[0054] 図 15から図 24の各図の (A)の表（以下、表 (A) )は、露光開始位置に復元画像データ I を生成する処理を示すもので、図 15から図 24の各図の表（B)の処理との比

O+n

較のために記載している。すなわち、図 15, 17, 19, 21, 23の表 (A)の処理は、図 3の処理フロー（A)のステップ S102の処理内容であり、図 16, 18, 20, 22, 24の表 (A)の処理は、図 3の処理フロー (A)のステップ S105の処理内容である。

[0055] この実施の形態においては、簡単のため、基画像データ Imgは、一つの画素 nだけのものとし、横一次元に 2画素分、つまり、画素 n+ 1, n+ 2にだけブレが発生し、このブレの変化要因情報データ Gが「0. 2, 0. 3, 0. 5」であるときの処理対象画像データ Img' の復元処理について説明することにする。

[0056] つまり、図 13の表〖こ示すよう〖こ、ブレがないとしたときの、画素 _nの光エネノレギの集中度を 1としたとき、ブレによる変化要因情報データ Gが「0. 2, 0. 3, 0. 5」のときは、各画素 n, n+ 1, n+ 2への光エネルギの分散の仕方は、 0. 2, 0. 3, 0. 5となる。そして、図 14の表に示すように、画素 nの光エネルギが 100としたとき、変化要因情報データ Gに従い、画素 nの光エネルギのうち 30%が画素 n+ 1に分散し、 50%が画素 n+ 2に分散し、画素 nには 20%が残り、処理対象画像データ Img' となる。つまり、処理対象画像データ Img' は、画素 n, n+ 1, n+ 2の光エネルギが 20, 30, 50となっている。

[0057] このような処理対象画像データ Img' について図 3の処理フロー（B)により処理を行う。先ず、ステップ S101に示す任意画像データ Iとして、ここでは簡単のため、 I

0 0

=0として処理を開始する。つまり、各画素のデータ値を「0」として処理を開始する。図 15の表（B)中の Iの欄は「0」となる。この任意画像データ Iを、ステップ S102' で

0 0

変化要因情報データ G' を作用させ変化させる。この変化要因情報データ G' は、変化要因情報データ G「0. 2, 0. 3, 0. 5」に基づいて、光エネルギの分散の高い画素から低!、画素にぶれが生じたデータとして生成されて、る。

[0058] すなわち、変化要因情報データ Gは、画素 nから画素 n+ 1、そして画素 n+ 2の順にブレが生じたデータとなっている力変化要因情報データ G' は、画素 nから画素 n— 1、そして画素 n— 2にブレが生じたデータに変換されている。したがって、この変化要因情報データ G' を任意画像データ I =0に作用させたときの具体的な処理内

0

容、つまり、ステップ S102' の処理内容は次のようになる。

[0059] 画素 n— 3のデータは、自身の画素 n— 3に 0. 5の光エネルギ配分がされる。画素 n

2のデータは、自身の画素 n— 2に 0. 5の光エネルギ配分がされ、画素 n— 3に 0. 3の光エネルギ配分がされる。画素 n—lのデータは、自身の画素 n—lに 0. 5の光エネルギ配分がされ、そして、画素 n— 2に 0. 3の光エネルギ配分がされ、さらに、画素 n— 3に 0. 2の光エネルギ配分がされる。他の画素 nから n+4についても同様に、各画素自身とその左側の画素に、順に 0. 5, 0. 3, 0. 2の割合で光エネルギ配分がなされる。図 15の表（B)においては、任意画像データ I =0としているため、変化要

0

因情報データ G' が作用して生成される出力 I ' (比較用画像データ I ' )の欄は全

0 0

て「0」となる。この図 15の表（B)は、任意画像データ Iのデータ値を「0」としているた

0

め、変化要因情報データ G' を任意画像データ Iに作用させたときの具体的な処理

0

内容が判りにくいものとなっている。任意画像データ Img' に変化要因情報データ G ' を作用させたときの処理内容については、任意画像データ Img' のデータ値が「0 」より大きな値となる図 17 (B)において改めて説明することとする。

[0060] 次に、処理対象画像データ Img' との差分データ δを算出する (ステップ S103)。

この差分データ δが図 15の表（Β)の最下欄に示される。

[0061] ここで、比較のため図 14に示す処理対象画像データ Img' を図 3の処理フロー（A) により処理した場合のステップ S102の処理内容を図 15の表 (A)を参照しながら説明する。先ず、ステップ S101に示す任意画像データ Iとして、図 3の処理フロー（B)

0

と同様に、ここでは簡単のため、 I =0として処理を開始する。つまり、図 15の表 (A)

0

中の I力となる。この任意画像データ Iを、ステップ S102で変化要因情報データ G

0 0

を作用させ変化させる。この変化要因情報データ Gは、露光開始位置から露光終了位置までのぶれの軌跡に対応したデータとなっている。したがって、画素 n— 3のデータは、自身の画素 n— 3に 0. 2の光エネルギ配分がされ、画素 n— 2に 0. 3の光ェネルギ配分がされ、さらに、画素 n— 1に 0. 5の光エネルギ配分がされる。画素 n—2 のデータ値は、自身の画素 n— 2に 0. 2の光エネルギ配分がされ、画素 n— 1に 0. 3 の光エネルギ配分がされ、そして、画素 _nに 0. 5の光エネルギ配分がされる。また、画素 n— 1のデータ値は、自身の画素 n— 1に 0. 2の光エネルギ配分がされ、画素 n に 0. 3の光エネルギ配分がされ、そして、画素 n+ 1に 0. 5の光エネルギ配分がされる。他の画素 nから n+4についても同様に、各画素自身とその右側の画素に、順に 0 . 2, 0. 3, 0. 5の割合で光エネルギ配分がなされる。図 15の表 (A)においては、任意画像データ I =0としているため、変化要因情報データ Gが作用して生成される出

0

力 I ' (比較用画像データ I ' )の欄は全て「0」となる。この図 15の表 (A)は、任意画

0 0

像データ Iのデータ値を「0」としているため、変化要因情報データ Gを任意画像デー

0

タ Iに作用させたときの具体的な処理内容が判りにくいものとなっている。この処理内

0

容については、任意画像データのデータ値が「0」より大きな値となる図 17 (A)において改めて説明することとする。図 15の表 (A)の最下欄には、処理対象画像データ I mg' と比較用画像 Iの差分データ δの算出 (ステップ S103)結果が示されている。

0

[0062] 図 3の処理フロー (Β)に戻って、ステップ S 104にて差分データ δの大きさを判断する。そして、差分データ δが所定の絶対値以下となった場合に処理を終了し、そうでない場合は、図 16の表（Β)で示す処理を行うステップ S105' に進む。このステップ S105' の差分データ δの配分の処理は、たとえば、画素 n+ 2についてみると、自身の画素 n+ 2に、画素 n+ 2のデータ「50」に自身の所の配分比である 0. 5をかけた「25」を配分し、また、画素 n+ 1のデータ「30」に、この画素 n+ 1にきているはずの配分比 0. 3をかけた「9」を配分し、さらに、画素 nのデータ値「20」に、この画素 nにきているはずの配分比 0. 2をかけた「4」を配分する。したがって、この画素 n+ 2に配分されたデータ値の総量は、「38」となる。そして、この値を初期画像データである入力 I

0 (任意画像データ I )

0 に加算して次回入力 I

0+1 (復元画像データ I )

0+1 を生成する。画素 n— 3から n+4の全画素について、配分量の総量を算出し、この総量を任意画像データ Iに加算して復元画像データ I 生成する。その結果が、図 16の表 (B)の最

0 0+ 1

下欄に示される。ここまでで図 3の処理フロー（B)の 1回目の処理フローが終了する。

[0063] 比較のため、図 3の処理フロー（A)のステップ S105における差分のデータ δの配分の処理内容にについて図 16の表 (Α)を参照しながら説明する。図 3の処理フロー (Α)のステップ S 105の差分データ δの配分の処理は、たとえば、画素 ηについてみると、自身の画素 nに、画素 nのデータ「20」に自身の所の配分比である 0. 2をかけた「4」を配分し、また、画素 n+ 1のデータ「30」に、この画素 n+ 1にきているはずの配分比 0. 3をかけた「9」を配分し、さらに、画素 n+ 2のデータ値「50」に、この画素 n+ 2にきているはずの配分比 0. 5をかけた「25」を配分する。したがって、この画素 nに配分されたデータ値の総量は、「38」となる。そして、この値を初期画像データである入力 I

0 (任意画像データ I )

0 に加算して次回入力 I

0+ 1 (復元画像データ I )

0+ 1 を生成する。画素 n— 3から n+4の全画素について、配分量の総量を算出し、この総量を任意画像データ Iに加算して復元画像データ I 生成する。その結果が、図 16の表 (A)

0 0+ 1

の最下欄に示される。ここまでで図 3の処理フロー（A)の 1回目の処理フローが終了する。

[0064] 次に、任意画像データ Iを図 16の表 (B)の最下欄に示される次回入力 I (復元

0 0 + 1 画像データ I )とする図 3の処理フロー（B)の 2回目の処理フローが行われる。この

0+ 1

2回目の処理フローにお!/、ては、任意画像データ Iのデータ値に「0」以外のデータ

0

値を有する復元画像データ I

0 + 1を用いている。

[0065] 図 15の表（B)を参照しながら説明した図 3の処理フロー（B)のステップ S102' の具体的な処理内容を、図 17の表 (B)を参照しながら改めて説明すると次のようになる。画素 n+2についてみることとする。画素 n+ 2のデータは、上述の図 16の表（B)の処理の結果より初期画像データである復元画像データ I

0 + 1のデータ「38」となってヽる。したがって、自身の画素 n+ 2に 0. 5の割合分の「19」の光エネルギ配分がされ、画素 n+ 1に 0. 3の割合分の「11. 4」の光エネルギ配分がされる。そして、画素 nに 0 . 2の割合分の「7. 6」の光エネルギが配分されることになる。他の画素についても、同様に処理を行い、図 17の表 (B)に示される出力 I

0+ 1 ' 比較用画像データ I

0+ 1 ' が生成される。

[0066] 比較のため、図 3の処理フロー（A)についての 2回目の処理フローについても説明する。この 2回目の処理フローにおいては、任意画像データ Iのデータ値に「0」以外

0

のデータ値を有する復元画像データ I を用いている。図 15の表 (A)を参照しなが

0+ 1

ら説明した図 3の処理フロー（A)のステップ S102の具体的な処理内容について、図 17の表 (A)を参照しながら説明する。画素 nについてみることとする。画素 nのデータは、上述の図 16の表 (A)の処理の結果より初期画像データである復元画像データ I

0 のデータ「38」となっている。したがって、自身の画素 nに 0. 2の割合分の「7. 6」の

+ 1

光エネルギ配分がされ、画素 n+ 1に 0. 3の割合分の「11. 4」の光エネルギ配分がされる。そして、画素 n+ 2に 0. 5の割合分の「19」の光エネルギが配分されることになる。他の画素についても、同様に処理を行い、図 17の表 (A)に示される出力 I

0+ 1

' (比較用画像データ I ' )

0+ 1 が生成される。

[0067] 以下、図 3の処理フロー (A) (B)につ、て、それぞれ上述した処理と同様の処理を、ステップ S104において、差分データ δが所定値以下になるまで繰り返し行うことになる。つまり、図 17および図 18の表（Β)は、図 3の処理フロー（Β)の 2回目の処理フローの処理内容を、図 19および図 20の表（Β)は、図 3の処理フロー（Β)の 3回目の処理フローの処理内容を、また、図 21および図 22の表（Β)は、図 3の処理フロー（Β )の 4回目の処理フローの処理内容を、そして、図 23および図 24の表（Β)は、図 3の処理フロー (Β)の 5回目の処理フローの処理内容をそれぞれ示して!/、る。さらに図 3 の処理フロー（Β)が繰り返えされると、復元画像データ I は、図 25の表（Β)に示さ

0+η

れるような、復元画像データ I の画素 n+ 2のデータ値が 100となるような復元画像

0+n

データ I

0+nに近づいていく。

[0068] また、図 17および図 18の表（A)は、図 3の処理フロー（A)の 2回目の処理フローの処理内容を、図 19および図 20の表（A)は、図 3の処理フロー（A)の 3回目の処理フローの処理内容を、また、図 21および図 22の表（A)は、図 3の処理フロー（A)の 4回目の処理フローの処理内容を、そして、図 23および図 24の表（A)は、図 3の処理フロー（A)の 5回目の処理フローの処理内容をそれぞれ示して!/、る。さらに図 3の処理フロー (A)が繰り返えされると、復元画像データ I は、図 25の表 (A)に示されるよう

0+n

な、復元画像データ I の画素 nのデータ値が 100となるような復元画像データ I

0+n 0+n に近づいていく。

[0069] ここで、図 3の処理フロー（A)により生成した復元画像データ I と図 3の処理フロ

0+n

一 (B)により生成した復元画像データ I のデータの分散の仕方につ!、て比較して

0+n

みると次のことが判る。すなわち、処理対象画像データ Img' は画素 n, n+ 1, n+ 2 のデータ値は、手ぶれの方向に従って、それぞれ、「20」，「30」，「50」となっていて、露光開始位置の画素 nの位置より露光終了位置の画素 n+ 2の位置の方が明るい画像になっている。

[0070] このような露光開始位置の画素 nの位置より露光終了位置の画素 n+ 2の位置の方が明るい画像を図 3の処理フロー (A)により復元した復元画像データ I ,は、図 16

0 + 1

、図 18、図 20、図 22、図 24、図 25の各表 (A)における最下欄の次回入力（復元画像) I ' I ' · · ·に示すように、画素 nの明るさが高い画像となって復元され、最

0 + 1 0 + 2

終的に画素 nに復元されることが判る。すなわち、画素 n+ 2に明るさの中心がある処理対象画像データ Img' 1S 画素 nに復元され、処理対象画像データ Img' から、復元画像データ I が復元されるのを表示画面で見る者に不自然さを与える。

O+n

[0071] 一方、処理対象画像データ Img' を図 3の処理フロー（B)により復元した復元画像データ I は、図 16、図 18、図 20、図 22、図 24、図 25の各表（B)における最下欄

0+n

の次回入力（復元画像) I , 1 , · · ·に示すように、画素 n+ 2の明るさが高い画像

0+ 1 0+ 2

となって復元され、最終的に画素 n+ 2に復元されることが判る。すなわち、復元画像データ I は、処理対象画像データ Img' の明るさの中心である n+ 2がある画像に

O+n

復元され、処理対象画像データ Img' から、復元画像データ I が復元されるのを

O+n

表示画面で見る者に不自然さを与えな!/、。

[0072] このように、本実施の形態においては、変化要因情報データ Gに代えて、画素の光エネルギ配分の高い画素力低い画素に向力つてブレが生じたとする変化要因情報データ G' を用いて処理対象画像データ Img' を復元する。このようにすると、露光開始位置よりブレの軌跡の途中や露光終了位置の方が露光時間が長い処理対象画像 (撮影画像)を復元する場合でも、表示画面上において、復元画像が生成されるのを自然な感覚で見ることができる。

[0073] 変化要因情報データ Gに代えて変化要因情報データを用いることは言い換えれば、点像関数の原点を、点像の分布の一番集中している位置に変換することと同義である。

[0074] なお、上述の実施の形態で説明した図 3の処理フロー（B)においては、ステップ 10 4において、差分データ δの大きさを判断する代わりに、ステップ S 102からステップ S 105の処理の回数を設定し、設定した回数の処理を実行したときの復元画像データ I を基画像データ Imgに近似したもとすることもできる。つまり、処理回数を、復元

O+n

画像データ I が基画像データ Imgに近似したと推定できる回数以上に設定するこ

O+n

とにより、差分データ δの大きさの判断を行うことなく復元画像データ I を求めること

O+n

ができる。また。差分データ δの大きさの判断と処理回数による判断の両者による判断を可能にした場合、いずれか一方が満足されたときに処理が停止するようにしてもよい。なお、両者の設定を可能としたとき、差分データ δの大きさの判断を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。

[0075] また、以上の説明においては、要因情報保存部 7に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図 3の処理フロー（Β) )の処理方法では、ブレの情報と光学収差の情報を合わせて 1つの劣化要因として捉えて処理を行うのが好ましヽが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部 7を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。

[0076] また、上述した各処理方法は、プログラム化されても良、。また、プログラム化されたものが記憶媒体、例えば CD (Compact Disc) , DVD, USB (Universal Serial B us)メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置 1は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置 1の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置 1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

[0077] 以上の説明においては、要因情報保存部 7に保存されている情報を利用しなかつたが、ここに保存されている既知の劣化要因 (変化要因）、例えば、光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、例えば、ブレの情報と光学収差の情報を合わせて 1つの変化要因情報データ (劣化要因情報)として捉えて計算を行うのが好ましいが、ブレの情報による変化要因情報データでの計算を終了した後に光学収差の情報による変化要因情報データでの計算を行うようにしても良い。また、この要因情報保存部 7を設置しないようにして、撮影時の動的要因、例えばブレのみに関する変化要因情報データにより画像を復元しても良い。

なお、変化要因情報データ「G」としては、劣化要因の関数のみではなぐ単に画像を変化させるものや、劣化とは逆に、画像を良くするものを含むものとする。また、角速度検出センサは、例えば、 5 sec毎に角速度を検出する。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

Claims

請求の範囲

[1] 撮影装置の露光中の移動により、基画像に対して変化させられた処理対象画像から、基画像に近似する復元画像を生成する画像処理部を有する画像処理装置において、

上記画像処理部は、上記復元画像を、処理対象画像の露光時間が最も長い位置に対応させて生成することを特徴とする画像処理装置。

[2] 前記露光時間が最も長い位置は、画像変化の要因となる変化要因情報のデータのデータ値の最も大き！/ヽ画素とすることを特徴とする請求項 1に記載の画像処理装置。

[3] 前記復元画像の復元は、前記変化要因情報のデータを利用して、任意の画像データから比較用画像データを生成し、その後、処理対象となる前記処理対象画像の画像データと上記比較用画像データとを比較し、得られた差分のデータを前記変化要因情報のデータを利用して上記任意の画像データに配分することで復元画像データを生成し、その後、この復元画像データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の基画像に近似する復元画像を生成する処理を行うことを特徴とする請求項 2に記載の画像処理装置。