JP6171371B2 - 画像処理プログラム、画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理プログラム、画像処理装置および画像処理方法に関する。

撮影時に被写体が動いたり、撮影者が手ブレを起こしたりすると、画像にブレが生じ得るが、このようなブレを除去するためのアルゴリズムとして、ウィーナフィルタを用いる方法やＲＬ法等が公知である。そして、このようなブレを除去するブレ補正においては、しばしば、被写体の動いた方向や手ブレの方向等といった「ブレ方向」がパラメータとなる（特許文献１，２参照）。このブレ方向のパラメータは、カメラに搭載されたジャイロセンサ等の手ブレ補正機構の検出値に基づいて推定することもできるが（例えば、特許文献１）、このような情報がなくとも、ブレの生じている画像そのものから推定することも可能である。例えば、特許文献２では、連続して撮影された２枚の画像中の特徴点の動きから被写体のブレ方向が推定される。

特開２００７−２９５４２７号公報 特開２００６−１８０４２９号公報

以上の通り、従来、特許文献２をはじめとして、ブレの生じている画像そのものからブレ方向を推定するための様々なアルゴリズムが提案されているものの、これらのアルゴリズムは、特定の仮定の下（例えば、直線状のブレである、又は一定速度のブレである場合等）に成立するものである。従って、特定の仮定の下に成立するアルゴリズムがあらゆる画像に対して有効ということはなく、ユーザに満足のいくようなブレの除去された画像を得ることは難しい。

本発明は、ユーザが自身の目でブレ補正の効果を確認しながら、ブレ方向を決定することにより、精度よくブレを除去することができる画像処理プログラム、画像処理装置および画像処理方法を提供することを目的とする。

第１観点に係る画像処理プログラムは、第１次画像からブレを除去するための画像処理プログラムであって、Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、以下の３つのステップをコンピュータに実行させる。第１のステップは、第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップである。第２のステップは、複数の第Ｉ次中間画像を表示するステップである。第３のステップは、表示された複数の第Ｉ次中間画像の中から、第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップである。なお、以上の３つのステップは、Ｋ＝１の場合、１回実行され、Ｋ≧２の場合、Ｋ回繰り返し実行される。

ここでは、第Ｉ次画像が複数のブレ方向へブレ補正され、その結果、これらのブレ方向にそれぞれ対応する複数の第Ｉ次中間画像が生成される。これらの第Ｉ次中間画像は、ユーザに対し表示され、これを受けて、ユーザは、提示された複数の第Ｉ次中間画像の中から、第Ｉ次画像と比較してブレの低減された補正画像を選択し、第（Ｉ＋１）次画像とする。すなわち、第Ｉ次中間画像とは、補正画像を選択するための候補画像である。なお、Ｋ≧２の場合、以上の一連の処理が複数回（Ｋ回）繰り返されることになる。繰り返しの回数Ｋ（Ｋ＝１の場合を含む）は、ユーザが適宜決定できるようにしてもよいし（補正画像及び／又はその候補画像等を見ながら、ユーザが好きなタイミングで終了させることが可能な場合を含む）、予め定められていてもよい。また、あるブレ方向へのブレ補正とは、仮にそのブレ方向へのブレが生じていた場合に、当該ブレを補正する処理である。

以上の処理によれば、ブレ方向の決定後に、当該ブレ方向へのブレ補正が実行されるのではなく、ブレ方向の決定の前に、複数の仮のブレ方向へのブレ補正が実行される。そして、ユーザは、その結果得られる複数の候補画像の中から、すなわち、複数の仮のブレ方向の中から、自身の目でブレ補正の効果を確認しつつ、正しい補正画像、すなわち、正しいブレ方向を選択する。従って、ここでは、ユーザが自身の目でブレ補正の効果を確認しながら、ブレ方向を決定することにより、精度よくブレを除去することができる。

第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、Ｋは、２以上の自然数である。
すなわち、ここでは、上述の３つのステップが複数回（Ｋ回）繰り返される。言い換えると、第１次画像のブレ方向が決定され、当該ブレ方向への補正画像である第２次画像が得られた後、さらに、第２次画像のブレ方向が決定され、当該ブレ方向への補正画像である第３次画像が得られ、その後、適宜、以上の一連の処理が繰り返される。従って、ユーザは、ブレ方向として、正しいと考える方向を連続的に選択してゆくことになる。その結果、ここでは、直線状の軌跡を描くブレだけでなく、折れ曲がった軌跡を描くブレのような複雑なブレをも除去した補正画像を得ることができる。

第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、第４のステップをさらにコンピュータに実行させる。第４のステップは、第（Ｋ＋１）次画像を、第１次画像からブレを除去した最終的な補正画像として保存するステップである。

ここでは、第（Ｋ＋１）次画像、すなわち、最新に選択された補正画像（選択回数が１回の場合は、その選択画像）が、初期画像（第１次画像）から最終的にブレを除去した補正画像として保存される。従って、最終的な補正画像の利用が図られる。

第４観点に係る画像処理プログラムは、第２観点に係る画像処理プログラムであって、第４のステップをさらにコンピュータに実行させる。第４のステップは、第２次〜第Ｋ次画像を保存することなく、第（Ｋ＋１）次画像を、第１次画像からブレを除去した最終的な補正画像として保存するステップである。

ここでは、第２次〜第Ｋ次画像を保存することなく、第（Ｋ＋１）次画像、すなわち、最新に選択された補正画像（選択回数が１回の場合は、その選択画像）のみが、初期画像（第１次画像）から最終的にブレを除去した補正画像として保存される。従って、有用性の低い画像（中間生成物である第２次〜第Ｋ次画像）を保存しないことにより、記憶領域の省スペースを図りつつ、有用性の高い画像（最終的な補正画像）の利用を図ることができる。

第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、第２のステップは、複数の第Ｉ次中間画像が第Ｉ次画像を基準とするそれぞれのブレ方向に対応する方向に配置された態様で、複数の第Ｉ次中間画像を表示するステップである。

ここでは、複数の第Ｉ次中間画像の中から、第Ｉ次画像の補正画像となる第（Ｉ＋１）次画像をユーザに選択させるべく、複数の第Ｉ次中間画像が、第Ｉ次画像を基準とするそれぞれのブレ方向に対応する位置に表示される。例えば、第Ｉ次画像が第（Ｉ＋１）次画像から右上３０°の方向へブレた画像であるとすると、後者の画像は、前者の画像の左下３０°の方向の位置に表示される。従って、ユーザは、複数の候補画像の中から特定の補正画像を選択しながら、直感的にブレの方向を理解することができる。

第６観点に係る画像処理プログラムは、第２観点に係る画像処理プログラムであって、Ｉ＝１，２，・・・，Ｋに対し順に、第１から第３のステップに加え、第５のステップをさらにコンピュータに実行させる。第５のステップは、第１次画像から第（Ｉ＋１）次画像に至るまでのブレ方向を線図として表示するステップである。

ここでは、複数の候補画像が表示され、ユーザによりその中から特定の補正画像が選択される度に、すなわち、特定のブレ方向が選択される度に、初期画像（第１次画像）から最新の補正画像に至るまでのブレ方向が線図として表示される。従って、ユーザは、ブレ方向を順次選択しながら、初期画像（第１次画像）から最新の補正画像に至るまでのブレ方向を直感的に理解することができる。

第７観点に係る画像処理プログラムは、第１観点から第６観点のいずれかに係る画像処理プログラムであって、第６のステップをさらにコンピュータに実行させる。第６のステップは、ブレ補正のパラメータとなるブレ量をユーザに選択させるステップである。

一般に、ブレ補正においては、ブレ方向の他、当該ブレ方向への「ブレ量」がパラメータとされることが多い。そして、ここでは、このブレ量のパラメータがユーザにより選択される。従って、ユーザにより満足のいくようなブレの除去された画像を得ることができる。

第８観点に係る画像処理装置は、表示装置に接続され、第１次画像からブレを除去する画像処理装置であって、生成部と、表示制御部と、選択受付部とを備える。生成部は、第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成する。表示制御部は、複数の第Ｉ次中間画像を表示装置に表示する。選択受付部は、表示された複数の第Ｉ次中間画像の中から、第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させる。生成部、表示制御部及び選択受付部は、Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、以上の処理を実行する。なお、以上の処理は、Ｋ＝１の場合、１回実行され、Ｋ≧２の場合、Ｋ回繰り返し実行される。ここでは、第１観点と同様の効果を奏することができる。

第９観点に係る画像処理方法は、第１次画像からブレを除去する画像処理方法であって、Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に実行されるべき、以下の３つのステップを含む。第１のステップは、第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップである。第２のステップは、複数の第Ｉ次中間画像を表示するステップである。第３のステップは、表示された複数の第Ｉ次中間画像の中から、第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップである。なお、以上の３つのステップは、Ｋ＝１の場合、１回実行され、Ｋ≧２の場合、Ｋ回繰り返し実行される。ここでは、第１観点と同様の効果を奏することができる。

本発明によれば、ブレ方向の決定後に、当該ブレ方向へのブレ補正が実行されるのではなく、ブレ方向の決定の前に、複数の仮のブレ方向へのブレ補正が実行される。そして、ユーザは、その結果得られる複数の候補画像の中から、すなわち、複数の仮のブレ方向の中から、自身の目でブレ補正の効果を確認しつつ、正しい補正画像、すなわち、正しいブレ方向を選択する。従って、ここでは、ユーザが自身の目でブレ補正の効果を確認しながら、ブレ方向を決定することにより、精度よくブレを除去することができる。

本発明の一実施形態に係る画像処理装置のブロック図。 画像データが取り込まれる前の基本画面の図。 画像データが取り込まれた後の基本画面の図。 １のタイムラインに属する静止画群を示す図。 ブレ補正処理の流れを示すフローチャート。 ブレ補正画面の図。 ブレ補正画面の別の図。 ブレ方向表示エリア内の線図を示す図。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム、画像処理装置および画像処理方法について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。

画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像処理部４１、表示制御部４２、及び操作受付部４３として動作する。特に、画像処理部４１は、後述するブレ補正の画像処理が実行される場合には、生成部４１ａ、及び保存部４１ｂとして動作する。各部４１〜４３，４１ａ，４１ｂの動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、画像処理プログラム２の動作に関連し、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４２により制御される。一方、画像処理プログラム２の動作に関連し、ディスプレイ１０上に表示された画面、ウィンドウ、ボタン等の要素を介して、ユーザが入力部２０を操作することにより入力する各種命令、選択、設定等の情報は、全て操作受付部４３により受け付けられ、適宜、画像処理プログラム２による処理に供されるものとする。

＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４２は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。

なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

＜２−２．静止画ファイル群の再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４２は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。

表示制御部４２は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４２は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４２は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。

タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。画像処理部４１は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。画像処理部４１は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、ブレ補正などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４１は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。

フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４１は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。

図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｑ（ｎ，ｍ）を表している。静止画Ｑ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。

制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍ_sとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍ_sは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍ_sは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍ_sを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍ_s次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍ_sを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍ_sの静止画を表示することである。従って、座標ｍ_sを変更することには、アクティブな表示ウィンドウＷ２に表示される対象を変更するという意味もある。

＜２−３−１．ブレ補正＞
以下、画像処理プログラム２に実装されている画像処理の１つである、ブレ補正の画像処理（以下、ブレ補正処理）の流れについて説明する。一般に、撮影時に被写体が動いたり、撮影者が手ブレを起こしたりすると、画像にブレが生じ得るが、ブレ補正処理は、このようなブレを除去するための処理である。なお、簡単のため、ここでは単に「ブレ」と表現しているが、本処理は、ブレのみならず、ボケの改善も対象としている。ブレ補正処理は、ブレ補正の画像処理モジュールにより実現され、これに組み込まれているブレ補正ルーチンを１又は複数回実行する処理である。

図５は、ブレ補正処理の流れを示すフローチャートである。この処理は、ユーザが入力部２０を介して基本画面Ｗ１上で所定の操作を行ったときに開始する。

上記のとおり、ブレ補正処理は、選択フレーム群に対し実行されるが、ステップＳ１では、画像処理部４１が、その後のステップＳ３で実行されるブレ補正ルーチンの対象として、選択フレーム群の中から１枚のフレームを選択する。なお、ここでの選択のルールは、適宜設定され得るが、例えば、選択フレーム群にフレームが１枚しか含まれない場合は、そのフレームを選択し、複数のフレームが含まれる場合には、最新に選択されたフレームを選択するというように定められる。また、ステップＳ３のブレ補正ルーチンの対象となるのは、より正確には、このようなルールに従って選択されたフレームの第ｍ_s次の静止画である。なお、以下では、ステップＳ３のブレ補正ルーチンの対象となる画像を、対象画像と呼ぶ。ステップＳ１が終了すると、処理はステップＳ２に進む。

ステップＳ２では、画像処理部４１は、ステップＳ３で用いられるブレ補正ルーチンのパラメータを決定する。ここで決定されるパラメータの種類には、補正方法、ノイズ係数、演算回数制限、標準偏差σ及びブレ量ｗがある。補正方法とは、ブレ補正ルーチンのアルゴリズムであり、本実施形態では、ウィーナフィルタを用いる方法及びＲＬ法の２種類の中から選択される。また、ノイズ係数とは、補正方法としてウィーナフィルタを用いる方法が選択された場合に指定されるべきパラメータであり、対象画像に含まれるノイズを評価するための係数である。演算回数制限とは、補正方法としてＲＬ法が選択された場合に指定されるべきパラメータであり、所定の演算の繰り返し回数の上限を定める係数である。また、標準偏差σ及びブレ量ｗとは、対象画像におけるボケ具合及びブレ具合を表す点拡がり関数を決定する因子である。従って、ステップＳ２で標準偏差σ及びブレ量ｗのパラメータを決定することには、ステップＳ３で用いられる対象画像の点拡がり関数を決定する意味がある。標準偏差σは、対象画像のボケ具合を定めるパラメータであり、ブレ量ｗは、対象画像のブレ具合を定めるパラメータである。

図５から分かるように、ステップＳ２は、ユーザの選択によっては複数回実行され得る。ここで、最初のステップＳ２では、補正方法、ノイズ係数、演算回数制限、標準偏差σ及びブレ量ｗの値として、予め定められている初期値が与えられる。一方、ユーザが後述するブレ補正画面Ｗ３を介してこれらのパラメータのいずれかを変更することにより、後述のステップＳ６からステップＳ２に進んだ場合には、当該変更に係るパラメータは、当該ユーザの操作に応じた値に更新される。ステップＳ２が終了すると、処理はステップＳ３に進む。

ステップＳ３は、図５に示すとおり、ユーザの選択によっては複数の段階実行され得る。ここで、段階数Ｉは、ステップＳ１の直前に初期値１に設定されている。Ｉ段階目のステップＳ３では、生成部４１ａが、直近のステップＳ２で決定されたパラメータを用いて、対象画像に対しブレ補正ルーチンを実行する。そして、その結果、基準画像ｇ_Iを複数のブレ方向θへブレ補正した画像である複数の中間画像ｆ_I（ｘ，ｙ）が生成される。ここで、基準画像ｇ_Iとは、Ｉ＝１の場合は、対象画像であり、Ｉ≧２の場合には、最新の補正画像である。補正画像については、後述される。また、本実施形態における複数のブレ方向θとは、周方向に均等に並ぶ８方向であり、θ＝０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°である。

具体的には、段階数ＩのステップＳ３においては、生成部４１ａは、直近のステップＳ２で決定された標準偏差σ及びブレ量ｗを用いて、対象画像の点拡がり関数Ｈ_I（ｘ，ｙ）を導出する。ｘ，ｙは、対象画像中の画素を特定する空間領域を表す直交座標系である。ここでは、点拡がり関数Ｈ_I（ｘ，ｙ）は、上述の８つのブレ方向θに対し、以下の手順でそれぞれ８つ導出される。

まず、生成部４１ａは、対象画像のブレ具合を表す、上述の８つのブレ方向θにそれぞれ対応する８つの関数ｈ_I（ｘ，ｙ）を導出する。具体的には、関数ｈ_I（ｘ，ｙ）は、関数ｈ_I-1（ｘ，ｙ）において、ｘｙ平面上で点Ｐ_I-1（ｘ，ｙ）と点Ｐ_I（ｘ，ｙ）とを結ぶ直線上の点に対応する値を２５５に変更した関数である。なお、ここでの関数ｈ_I-1（ｘ，ｙ）は、Ｉ≧２の場合、前の段階Ｉ−１のステップＳ３（前の段階Ｉ−１のステップＳ３が複数回実行された場合には、最新のもの）で算出された８つの関数ｈ_I-1（ｘ，ｙ）のうち、後述するブレ補正画面Ｗ３を介してユーザにより選択されたブレ方向θに対応するものである。一方、Ｉ＝１の場合のここでの関数ｈ_I-1（ｘ，ｙ）＝ｈ₀（ｘ，ｙ）は、ｘｙ平面上で原点Ｐ₀（０，０）と点Ｐ₁（ｘ，ｙ）とを結ぶ直線上の点に対応する値を２５５とし、それ以外の点に対応する値を０とする関数である。

また、上述のＰ_I（ｘ，ｙ）は、Ｐ_I-1（ｘ，ｙ）からｘ方向にＥ_x、ｙ方向にＥ_yだけ移動した点である。さらに、この移動量の値の組（Ｅ_x、Ｅ_y）は、８つのブレ方向θにそれぞれ対応するように、ブレ量ｗを用いて以下のとおり８通りに表される。
θ＝０°のとき、（Ｅｘ、Ｅｙ）＝（ｗ，０）
θ＝４５°のとき、（Ｅｘ、Ｅｙ）＝（ｗ，ｗ）
θ＝９０°のとき、（Ｅｘ、Ｅｙ）＝（０，ｗ）
θ＝１３５°のとき、（Ｅｘ、Ｅｙ）＝（−ｗ，ｗ）
θ＝１８０°のとき、（Ｅｘ、Ｅｙ）＝（−ｗ，０）
θ＝２２５°のとき、（Ｅｘ、Ｅｙ）＝（−ｗ，−ｗ）
θ＝２７０°のとき、（Ｅｘ、Ｅｙ）＝（０，−ｗ）
θ＝３１５°のとき、（Ｅｘ、Ｅｙ）＝（ｗ，−ｗ）

続いて、画像処理部４１は、８つの関数ｈ_I（ｘ，ｙ）の値が２５５の部分を、以下の式１の関数ｈ’（ｘ，ｙ）でボケさせることにより、８つの点拡がり関数Ｈ_I（ｘ，ｙ）を算出する。関数ｈ’（ｘ，ｙ）は、式１から分かるとおり、対象画像のボケ具合を表す関数である。また、πは、円周率である。
（式１）
ｈ’（ｘ，ｙ）＝（１／２πσ²）ｅｘｐ｛−（ｘ²＋ｙ²）／２σ²｝

以上のとおり、関数Ｈ_I（ｘ，ｙ）は、８つのブレ方向θに対し、８つ導出される。すなわち、実際のブレ方向θは未知であるが、ここでは、θの値として、予め８つの候補値が与えられていることになる。ステップＳ３では、以後、基準画像ｇ_Iからθ＝０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の８つのブレ方向θへそれぞれブレの改善を試みた画像として、８枚の中間画像ｆ_I（ｘ，ｙ）が生成される。

具体的には、生成部４１ａは、各点拡がり関数Ｈ_Iに対し、対象画像のフーリエ変換後の画像を、点拡がり関数Ｈ_I（ｘ，ｙ）のフーリエ変換後の関数の逆数である逆フィルタに通し、逆フィルタを通過した画像を逆フーリエ変換することで、中間画像ｆ_I（ｘ，ｙ）を生成する。このとき、補正方法、ノイズ係数及び演算回数制限のパラメータが、適宜参照される。

ステップＳ３に続くステップＳ４では、表示制御部４２が、基本画面Ｗ１上にブレ補正画面Ｗ３（図６参照）を重ねて表示させる。ブレ補正画面Ｗ３には、画像群表示エリアＣ１が設けられており、このエリアＣ１には、基準画像ｇ_I（ｘ，ｙ）及び８枚の中間画像ｆ_I（ｘ，ｙ）が表示される。より具体的には、画像群表示エリアＣ１内では、中央に基準画像ｇ_I（ｘ，ｙ）が配置され、この基準画像ｇ_I（ｘ，ｙ）の周囲に８枚の中間画像ｆ_I（ｘ，ｙ）が、それぞれのブレ方向θ＝０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°と一致する方向に配置される。

そして、操作受付部４３が、この画像群表示エリアＣ１内の８枚の中間画像ｆ_I（ｘ，ｙ）の中から、特定の画像の選択をユーザから受け付ける。従って、ユーザは、提示された８枚の中間画像ｆ_I（ｘ，ｙ）の中から、自身の目でブレ補正ルーチンの効果を確認しつつ、基準画像ｇ_I（ｘ，ｙ）と比較して実際にブレの改善された画像を、基準画像ｇ_I（ｘ，ｙ）の補正画像として選択することができる。この選択は、複数のブレ方向θ＝０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の中から、実際のブレ方向を選択することを意味する。なお、本実施形態では、補正画像の選択の操作は、特定の中間画像ｆ_I（ｘ，ｙ）をシングルクリックして仮選択した後、「移動」ボタンＢ１を押すことにより行われるものとするが、特定の中間画像ｆ_I（ｘ，ｙ）をダブルクリックする等、その他の態様に適宜変更可能である。

ステップＳ４に続くステップＳ５では、操作受付部４３が、ユーザにより画像群表示エリアＣ１内の８枚の中間画像ｆ_I（ｘ，ｙ）の中から補正画像が選択されたか否かを判断する。ここで、補正画像の選択が行われたと判断された場合には、処理はステップＳ３に戻り、当該補正画像を新たな基準画像ｇ_I+1（ｘ，ｙ）として、次の段階（Ｉ＋１）のブレ補正ルーチンが実行される。すなわち、Ｉ段階目のステップＳ３において基準画像ｇ_I（ｘ，ｙ）から８つのブレ方向θへブレ補正することにより生成された８枚の中間画像ｆ_I（ｘ，ｙ）のうちの１枚が、（Ｉ＋１）段階目のステップＳ３における基準画像ｇ_I+1（ｘ，ｙ）となる。一方、ステップＳ５において、補正画像の選択が行われなかったと判断された場合には、処理はステップＳ６に進む。

ステップＳ６では、操作受付部４３が、ブレ補正画面Ｗ３上のエリアＣ２〜Ｃ６（図６及び図７参照）を介して、ユーザによりブレ補正ルーチンのパラメータの変更が命令されたか否かを判断する。ここで、エリアＣ２は、ユーザから補正方法の設定を受け付け、エリアＣ３は、ノイズ係数の設定を受け付け、エリアＣ４は、標準偏差σの設定を受け付け、エリアＣ５は、ブレ量ｗの設定を受け付け、エリアＣ６は、演算回数制限の設定を受け付ける。なお、ブレ量ｗの単位は、画素である。

そして、ステップＳ６において、パラメータの変更が命令されたと判断された場合には、処理はステップＳ２に戻り、上記のとおり、ブレ補正ルーチンのパラメータが更新される。そして、これに続くステップＳ３では、当該変更後のパラメータを用いて、再度前回と同じ基準画像ｇ_I（ｘ，ｙ）を８つのブレ方向θへブレ補正すべく、対象画像に対するブレ補正ルーチンが実行され、８枚の中間画像ｆ_I（ｘ，ｙ）が新たに生成される。さらに、これに続くステップＳ４では、画像群表示エリアＣ１内の８枚の中間画像ｆ_I（ｘ，ｙ）が更新される。一方、ステップＳ６において、パラメータの変更が命令されなかったと判断された場合には、処理はステップＳ７に進む。

このように、ステップＳ３は、ブレ補正画面Ｗ３上でユーザにより補正画像が選択された場合だけでなく、ブレ補正ルーチンのパラメータが変更された場合にも、再度実行されることになる。しかしながら、図５に示すとおり、ステップＳ３の段階数Ｉは、ブレ補正画面Ｗ３上でユーザにより補正画像が選択された場合にのみ、１段階進むものとしてカウントされる。

次に、ステップＳ７では、操作受付部４３が、ユーザによりブレ補正画面Ｗ３上の「１つ前に戻る」ボタンＢ２が押されたか否かを判断する。このボタンＢ２は、ユーザが、ブレ補正画面Ｗ３上で選択した中間画像ｆ_I（ｘ，ｙ）が、補正画像として適切でなかったと思い直したとき等に押されるべきボタンであり、このボタンＢ２が押されると、直前のブレ補正ルーチンによる処理の効果がキャンセルされる。具体的には、ステップＳ７において、ボタンＢ２が押されたと判断された場合には、ステップＳ３の段階数Ｉが１つ戻され、その後、処理はステップＳ４に戻る。そして、ステップＳ７に続くステップＳ４では、画像群表示エリアＣ１は、ボタンＢ２が押された時点の１段階前のステップＳ３であって、最新のものの実行直後の状態に戻される。なお、Ｉ＜２の場合には、ボタンＢ２は押すことができず、グレーアウト表示されているものとする。従って、Ｉ＜２の場合には、ステップＳ７でＹｅｓが成立することはなく、処理はステップＳ８に進む。また、ステップＳ７において、ボタンＢ２が押されなかったと判断された場合にも、処理はステップＳ８に進む。

ステップＳ８では、操作受付部４３が、ユーザによりブレ補正画面Ｗ３上の「ＯＫ」ボタンＢ３又は「キャンセル」ボタンＢ４が押されたか否かを判断する。ここで、「キャンセル」ボタンＢ４が押されたと判断された場合には、これまでの処理の効果が全てキャンセルされる。具体的には、ブレ補正画面Ｗ３が閉じられるとともに、これまでに生成された全ての中間画像ｆ_I（ｘ，ｙ）がＲＡＭ内から破棄され、選択フレーム群の次数ｍが進むことなく、処理が終了する。一方、ステップＳ８において、「ＯＫ」ボタンＢ３が押されたと判断された場合には、処理はステップＳ９に進む。「ＯＫ」ボタンＢ３は、ユーザが、対象画像の最終的な補正画像として適切なものを見つけることができた、又は、これ以上ブレを除去することができないと判断した場合等に押されるべきボタンである。また、ステップＳ８において、ボタンＢ３，Ｂ４のいずれも押されなかったと判断された場合には、処理はステップＳ５に戻る。

ステップＳ９では、保存部４１ｂが、対象画像の最終的な補正画像を、現在処理中のフレームの次の次数ｍの静止画として、すなわち、本処理の最終生成物として、加工ファイル領域５２内に保存する。ここで、最終的な補正画像とは、原則として、「ＯＫ」ボタンＢ３が押された時点でエリアＣ１の中央に配置されている基準画像ｇ_I（ｘ，ｙ）であるが、この時点でエリアＣ１内の中間画像ｆ_I（ｘ，ｙ）のいずれかが仮選択されていた場合には、その中間画像となる。また、上述したことから分かることであるが、「ＯＫ」ボタンＢ３が押された時点でエリアＣ１の中央に配置されている画像ｇ_I（ｘ，ｙ）とは、ステップＳ７で段階数Ｉが巻き戻され、その後、補正画像の選択操作がなされなかった場合を除き、最新に選択された補正画像である。

なお、Ｉの値等の条件によっては、最終的な補正画像が対象画像に一致することがある。しかしながら、そのような場合には、図５には示されていないものの、ステップＳ９及びこれに続くステップＳ１０はスキップされ、ブレ補正画面Ｗ３が閉じられるとともに、図５の処理が終了するものとする。

また、ステップＳ９では、最終的な補正画像とともに、対象画像から最終的な補正画像に最短で至るために必要とされるブレ補正ルーチンのパラメータ及びブレ方向θの履歴も、加工ファイル領域５２内に保存される。なお、ここでいう「最短で至る」とは、「１つ前に戻る」ボタンＢ２が押されたことによりその効果がキャンセルされたブレ補正ルーチンに関するパラメータ及びブレ方向θは無視するという意味である。すなわち、対象画像から最終的な補正画像に至るまでのブレ方向θのベクトルを足していったときに、折れ曲がった複雑な軌跡が描かれる場合において、この軌跡の始点と終点とを直線的に結ぶという意味ではない。一方、基準画像ｇ₂（ｘ，ｙ）〜基準画像ｇ_I-1（ｘ，ｙ）が存在する場合には、これらの画像をはじめとして、これまでに生成された全ての中間生成画像が、記憶部３０内のどこにも保存されることなく、ＲＡＭ内から破棄される。これらの画像は、その後の有用性の低い画像であるとともに、ブレ補正ルーチンのパラメータ及びブレ方向θの履歴等を参照すれば、再生成可能だからである。

次に、ステップＳ９に続くステップＳ１０では、選択フレーム群に含まれるが、ステップＳ１で選択されなかった残りのフレームが、ステップＳ１で選択されたフレームと同様に処理される。より具体的には、生成部４１ａが、これらの残りのフレームに対し、対象画像から最終的な補正画像に最短で至るために必要とされるのと同じ段階数のブレ補正ルーチンを同じブレ方向θへ同じパラメータを用いて実行する。また、保存部４１ｂが、この過程で生成された画像のうち、中間生成画像を除く、最終的に生成された補正画像のみを、加工ファイル領域５２内に保存する。ステップＳ１０が終了すると、ブレ補正画面Ｗ３が閉じられるとともに、図５の処理が終了する。なお、選択フレーム群に含まれる全てのフレームに同様のブレ補正ルーチンを実行することは、被写体が一定方向に移動することによる被写体ブレが生じている場合等に、特に有用である。

以上のように、本処理によれば、ステップＳ３のブレ補正ルーチンの段階数Ｉが進むにつれて、対象画像に対し順次生成されてゆく複数の候補画像ｆ_I（ｘ，ｙ）の中から、ユーザにより補正画像として適切なものが順次選択されてゆくことになる。その結果、直線状の軌跡を描くブレだけでなく、折れ曲がった軌跡を描くブレのような複雑なブレをも除去した補正画像を得ることができる。また、本処理では、ユーザは、段階数Ｉを進めるだけでなく、戻すこともできる。従って、自身の目で見て適切であると思う補正画像を順次選択してゆく中で、やはり不適切であったと思い直した選択をキャンセルすることもできるし、また、様々なブレの経路に係るブレ補正を試した上で、その中から最適なものを選択することもできる。このように、ユーザは、ブレ補正画面Ｗ３上で行きつ戻りつしながら、最適な補正画像を見つけることができる。

ところで、図６に示すとおり、ブレ補正画面Ｗ３には、ステップＳ３のブレ補正ルーチンの段階数Ｉに関わらず、常に対象画像を表示しておくための初期画像表示エリアＣ６が設けられている。従って、ユーザは、段階数Ｉに関わらず、常に対象画像との比較を行いながら、次の補正画像を選択したり、処理の終了のタイミングを決定したり等することができる。

また、図６に示すとおり、ブレ補正画面Ｗ３には、対象画像からエリアＣ１内で現在選択されている画像に最短で至るまでのブレ方向を表す線図Ｄを表示するブレ方向表示エリアＣ７が設けられている。ここで、エリアＣ１内で現在選択されている画像とは、原則として、エリアＣ１の中央に現在配置されている基準画像ｇ_I（ｘ，ｙ）であるが、エリアＣ１内の中間画像ｆ_I（ｘ，ｙ）のいずれかが現在仮選択されている場合には、その中間画像となる。線図Ｄは、線の延びる方向がブレ方向θを表し、線の長さがブレ量ｗを表すような折れ線の態様で描かれる。例えば、段階数Ｉが１から４に進む過程で選択されたパラメータが、θに関しては、順に４５°，０°１３５°であり、ブレ量ｗに関しては、１画素、３画素、２画素であったとすると、線図Ｄは、図８に示されているようになる。なお、エリアＣ７内の線図Ｄは、段階数Ｉが変化するか、エリアＣ１内の中間画像ｆ_I（ｘ，ｙ）が仮選択される度に、リアルタイムに変化する。従って、ユーザは、いつでも、基準画像ｇ_I（ｘ，ｙ）から最新の補正画像又はこれから選択しようとしている補正画像に至るまでのブレ方向を、直感的に理解することができる。

＜３．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、防犯カメラの監視映像の中に、容疑者の車のナンバーが捕えられている場合がある。しかし、このような被写体は、移動しているため、監視映像の中にブレて不鮮明に写っている場合が多い。しかしながら、画像処理プログラム２のブレ補正の機能によれば、このような容疑者の車のナンバーも読み取り可能にすることができる。

＜４．特徴＞
上記実施形態では、基準画像ｇ_I（ｘ，ｙ）からのブレ方向θについては、基準画像ｇ_I（ｘ，ｙ）から自動的に推定されるのではなく、予め複数の候補値が定められている。すなわち、ブレ方向θの決定後に、当該ブレ方向θへのブレ補正が実行されるのではなく、ブレ方向θの決定の前に、複数の仮のブレ方向θへのブレ補正が実行される。そして、ユーザは、その結果得られる複数の候補画像の中から、すなわち、複数の仮のブレ方向θの中から、自身の目でブレ補正の効果を確認しつつ、正しい補正画像、すなわち、正しいブレ方向を選択する。従って、ユーザは、自身の目でブレ補正の効果を確認しながら、ブレ方向を決定することにより、精度よくブレを除去することができる。また、コンピュータがブレの生じている基準画像ｇ_I（ｘ，ｙ）からブレ方向θを推定する場合と比較して、演算負荷が低減され得る。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態では、ブレ方向θをユーザが変更できないものとしたが、ブレ量ｗ等のパラメータと同様、ユーザにより変更可能としてもよい。変更の態様としては、例えば、ブレ補正画面Ｗ３上に、エリアＣ２〜Ｃ５のような、ブレ方向θの変更を受け付けるエリアを表示することができる。この変形例によれば、例えば、θ＝０°及び４５°として実行された中間画像を見て、ユーザが実際のブレ方向θは３０°くらいであると判断した場合に、θ＝３０°でのより適切な補正画像を得ることができる。また、これに代えて又は加えて、補正方法、ノイズ係数、標準偏差σ及びブレ量ｗの少なくとも１つをユーザが変更できないようにしてもよい。

＜５−２＞
標準偏差σ及びブレ量ｗ等のパラメータについては、初期値を定めておき、その後ユーザに手動で変更させるのではなく、適当なアルゴリズムに従って、対象画像から自動で計算されるようにしてもよい。なお、このようなアルゴリズムについては、様々なものが公知であるため、ここでは説明を省略する。

＜５−３＞
ブレ補正ルーチンのアルゴリズムは、様々に変更することができるが、例えば、点拡がり関数Ｈ_I（ｘ、ｙ）のモデルも、適宜変更することができる。例えば、対象画像のボケ具合を表すパラメータであるσを考慮せずに、Ｈ_I（ｘ、ｙ）＝ｈ_I（ｘ、ｙ）としてもよい。

＜５−４＞
上記実施形態では、ブレ方向θの候補値は、θ＝０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°と予め設定されていたが、ユーザが適宜設定できるようにしてもよい。設定の態様としては、例えば、複数の候補値を各々ユーザに手動で設定させる態様も考えられるし、候補値の数をユーザに手動で設定させた後、画像処理装置１が自動的に全周３６０°をその候補値の数で均等に分割する態様も考えられる。

＜５−５＞
上記実施形態では、ステップＳ３（ブレ補正ルーチン）が複数の段階実行され得るものとしたが、１段階しか実行されないようにしてもよい。すなわち、対象画像に対し補正画像が１回選択されると（ステップＳ５でＹｅｓ）、ステップＳ８へ直ちに進むようにしてもよい。この場合、図５の処理を適宜、変更する必要があるが、例えば、ステップＳ７を省略し、ステップＳ６でＮｏであれば、ステップＳ８へ進むようにする。

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
３０ 記憶部（記憶装置）
４１ 画像処理部
４１ａ 生成部
４２ 表示制御部
４３ 操作受付部（選択受付部）
Ｄ 線図

Claims (15)

1. 第１次画像からブレを除去するための画像処理プログラムであって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
   第Ｉ次画像を複数のあらかじめ定められたブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
   前記複数の第Ｉ次中間画像を表示するステップと、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
   をコンピュータに実行させる、
   画像処理プログラム。
2. 第１次画像からブレを除去するための画像処理プログラムであって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
   第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
   前記複数の第Ｉ次中間画像を表示するステップと、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
   をコンピュータに実行させる、
   画像処理プログラム。
3. 第（Ｋ＋１）次画像を、前記第１次画像からブレを除去した最終的な補正画像として保存するステップ
   をさらにコンピュータに実行させる、
   請求項１又は２に記載の画像処理プログラム。
4. 第２次〜第Ｋ次画像を保存することなく、第（Ｋ＋１）次画像を、前記第１次画像からブレを除去した最終的な補正画像として保存するステップ、
   をさらにコンピュータに実行させる、
   請求項２に記載の画像処理プログラム。
5. 第１次画像からブレを除去するための画像処理プログラムであって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
   第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
   前記複数の第Ｉ次中間画像を表示するステップと、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
   をコンピュータに実行させ、
   前記複数の第Ｉ次中間画像を表示するステップは、
   前記複数の第Ｉ次中間画像が前記第Ｉ次画像を基準とするそれぞれの前記ブレ方向に対応する方向に配置された態様で、前記複数の第Ｉ次中間画像を表示するステップである、
   画像処理プログラム。
6. 第１次画像からブレを除去するための画像処理プログラムであって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
   第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
   前記複数の第Ｉ次中間画像を表示するステップと、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
   をコンピュータに実行させ、
   Ｉ＝１，２，・・・，Ｋに対し順に、
   前記第１次画像から前記第（Ｉ＋１）次画像に至るまでの前記ブレ方向を線図として表示するステップ
   をさらにコンピュータに実行させる、
   画像処理プログラム。
7. 前記ブレ補正のパラメータとなるブレ量をユーザに選択させるステップ
   をさらにコンピュータに実行させる、
   請求項１から６のいずれかに記載の画像処理プログラム。
8. 表示装置に接続され、第１次画像からブレを除去する画像処理装置であって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
   第Ｉ次画像を複数のあらかじめ定められたブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成する生成部と、
   前記複数の第Ｉ次中間画像を前記表示装置に表示させる表示制御部と、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させる選択受付部と、
   を備える、画像処理装置。
9. 第１次画像からブレを除去する画像処理方法であって、
   Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
   第Ｉ次画像を複数のあらかじめ定められたブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
   前記複数の第Ｉ次中間画像を表示するステップと、
   前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
   を備える、画像処理方法。
10. 表示装置に接続され、第１次画像からブレを除去する画像処理装置であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成する生成部と、
    前記複数の第Ｉ次中間画像を前記表示装置に表示させる表示制御部と、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させる選択受付部と
    を備える、画像処理装置。
11. 第１次画像からブレを除去する画像処理方法であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
    前記複数の第Ｉ次中間画像を表示するステップと、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
    を備える、画像処理方法。
12. 表示装置に接続され、第１次画像からブレを除去する画像処理装置であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成する生成部と、
    前記複数の第Ｉ次中間画像を前記表示装置に表示させる表示制御部と、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させる選択受付部と
    を備え、
    前記表示制御部は、前記複数の第Ｉ次中間画像が前記第Ｉ次画像を基準とするそれぞれの前記ブレ方向に対応する方向に配置された態様で、前記複数の第Ｉ次中間画像を前記表示装置に表示させる、
    画像処理装置。
13. 第１次画像からブレを除去する画像処理方法であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
    前記複数の第Ｉ次中間画像を表示するステップと、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
    を備え、
    前記複数の第Ｉ次中間画像を表示するステップは、
    前記複数の第Ｉ次中間画像が前記第Ｉ次画像を基準とするそれぞれの前記ブレ方向に対応する方向に配置された態様で、前記複数の第Ｉ次中間画像を表示するステップである、
    画像処理方法。
14. 表示装置に接続され、第１次画像からブレを除去する画像処理装置であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成する生成部と、
    前記複数の第Ｉ次中間画像を前記表示装置に表示させる表示制御部と、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させる選択受付部と
    を備え、
    前記表示制御部は、
    Ｉ＝１，２，・・・，Ｋに対し順に、
    前記第１次画像から前記第（Ｉ＋１）次画像に至るまでの前記ブレ方向を線図として表示する、
    画像処理装置。
15. 第１次画像からブレを除去する画像処理方法であって、
    Ｉ＝１，２，・・・，Ｋ（Ｋは、２以上の自然数）に対し順に、
    第Ｉ次画像を複数のブレ方向へブレ補正することで、複数の第Ｉ次中間画像を生成するステップと、
    前記複数の第Ｉ次中間画像を表示するステップと、
    前記表示された複数の第Ｉ次中間画像の中から、前記第Ｉ次画像よりもブレの改善された補正画像として、第（Ｉ＋１）次画像をユーザに選択させるステップと
    を備え、
    Ｉ＝１，２，・・・，Ｋに対し順に、
    前記第１次画像から前記第（Ｉ＋１）次画像に至るまでの前記ブレ方向を線図として表示するステップ
    をさらに備える、
    画像処理方法。