JP4725059B2 - 手ブレ画像補正装置、手ブレ画像補正方法およびコンピュータプログラム - Google Patents

Description

本発明は、撮影装置で撮影して得られた撮影画像の手ブレを補正する技術に関する。

デジタルカメラ（デジタルスチールカメラ）等で被写体を撮影する際、露光中のカメラの動き、いわゆる手ぶれによるボケが撮影画像に生じる。手ぶれによる画像の劣化を避けるため、従来から様々な技術が開発されてきた。

例えば、手ぶれの動きを検知するための加速度センサ等をカメラに装備しておき、同センサの検出信号を画像の動きに換算し、その画像の動きを補償する方向にカメラの光学系（プリズム、レンズ、あるいは撮像素子）を機械的に移動させる技術が知られている。

一方、加速度センサ等を利用しないで、得られた画像からソフト的に手ぶれを補正する技術も提案されている（例えば、下記の特許文献１）。

特開２０００−２９８３００号公報

しかしながら、上述した画像からソフト的に手ぶれを補正する技術では、精度よく手ブレを補正することができないという問題があった。というのも画像からでは、手ブレの方向と程度を正確に検出することが難しく、画像によっては高精度に手ブレを補正することができなかった。

本発明の解決しようとする課題は、手ブレの方向と程度を、正確にしかも簡単な操作によって操作者が指定可能とすることで、手ブレを高精度に補正可能とすることにある。

前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。

本発明の手ブレ画像補正装置は、
撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正装置であって、
前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示するウィンドウ表示手段と、
前記ウィンドウに表示される補正前画像に対してレイヤを形成するレイヤ形成手段と、
前記レイヤに前記撮影画像の少なくとも一部の輪郭を示す輪郭画像を配置する輪郭画像配置手段と、
操作者からの入力装置を用いた操作指令に基づいて、前記レイヤにおける前記輪郭画像の配置位置を移動する輪郭画像移動手段と、
前記輪郭画像移動手段による前記移動についての方向と距離を、前記手ブレの方向と程度として検出する手ブレ方向・程度検出手段と、
該検出された前記手ブレの方向と距離に基づいて、前記撮影画像の手ブレの補正を実行する手ブレ補正手段と
を備えることを特徴としている。

上記構成の手ブレ画像補正装置によれば、表示装置に表示されるウィンドウに、補正前画像である撮影画像の全体もしくは一部が表わされ、この補正前画像に対して、レイヤが形成される。レイヤには、撮影画像の少なくとも一部の輪郭を示す輪郭画像が配置される。レイヤにおける輪郭画像の配置位置は、操作者からの入力装置を用いた操作指令を受けて移動される。その移動についての方向と距離が、手ブレの方向と程度として検出されて、この検出された手ブレの方向と程度に基づいて、撮影画像の手ブレの補正が実行される。このために、操作者は、ウィンドウを見て、レイヤに配置された輪郭画像を、撮影画像（補正前画像）におけるその輪郭部分の手ブレの位置に合わせ込むように移動させることで、視認による手ブレの方向と程度を手ブレ画像補正装置に入力することができる。

したがって、操作者の操作により正確に入力された手ブレの方向と程度に従う手ブレ補正を行なうことができることから、画像の手ブレを高精度に補正することができる。

前記輪郭画像移動手段は、前記入力装置としてのマウスからのドラッグ操作を受け付けて、該ドラッグ操作に応じて、前記輪郭画像を移動する構成としてもよい。この構成によれば、操作者による操作が容易である。

本発明の手ブレ画像補正装置において、前記ウィンドウに表示される前記補正前画像についての輪郭を強調する補正前画像輪郭強調手段を備える構成としてもよい。

この構成によれば、補正前画像についての輪郭が強調されることから、操作者は、レイヤに配置された輪郭画像を補正前画像における輪郭部分に移動させる操作を、高精度に行なうことができる。したがって、画像の手ブレをより一層高精度に補正することができる。

前記ウィンドウ表示手段は、前記ウィンドウに、前記補正前画像に加えて、前記手ブレ補正手段による補正後画像を表わす補正後画像表示手段を備える構成としてもよい。

この構成によれば、表示装置に表示されるウィンドウに、手ブレ補正手段による補正前画像と補正後画像が表わされることから、操作者は、両画像を比較することで、手ブレ補正手段により手ブレがうまく補正されたか否かを容易に判定することができる。

上記補正後画像表示手段を備える手ブレ画像補正装置において、前記ウィンドウ表示手段は、前記補正前画像を、前記補正後画像と比べて表示倍率を高くして表示させる補正前画像拡大表示手段を備える構成とすることができる。

この構成によれば、補正前画像は、補正後画像と比べて表示倍率が高くなっていることから、操作者は、輪郭画像の移動を行なうに際して、手ブレの視認を容易に行なうことができ、また、その移動の操作も容易に行なうことができる。

本発明の手ブレ画像補正装置において、前記撮影画像に基づいて、前記手ブレの方向と程度を検出する手ブレ方向・程度検出手段を備え、前記ウィンドウ表示手段は、前記補正前画像を、前記手ブレ方向・程度検出手段により検出された前記手ブレの程度が小さいほど、表示倍率を高くして表示させる補正前画像拡大表示手段を備える構成とすることができる。

この構成によれば、撮影画像から手ブレ方向・程度検出手段により自動的に検出された手ブレの程度が小さい場合に、補正前画像が高い表示倍率で表示されることから、操作者は、輪郭画像の移動を行なうに際して、手ブレの視認を容易に行なうことができ、また、その移動の操作も容易に行なうことができる。

前記手ブレ方向・程度検出手段は、前記撮影画像の画素毎に手ブレの方向と程度を検出する各画素手ブレ検出手段と、前記各画素手ブレ検出手段により検出された手ブレの程度が最も大きいエッジ部を検出するエッジ検出手段と、前記エッジ検出手段により検出された前記エッジ部の手ブレの方向と程度を、前記撮影画像全体の手ブレの方向と程度に定める手ブレ決定手段とを備える構成とすることができる。

この構成によれば、撮影画像において最も手ブレの程度が大きいエッジ部における手ブレの方向と程度に基づいて、手ブレの補正が行なわれる。このために、撮影画像の自動的な手ブレ補正の精度を高めることができる。

上記構成の画像補正装置において、前記補正前画像拡大表示手段は、前記エッジ検出手段により検出されたエッジ部を少なくとも含む領域を拡大表示させる構成とすることができる。この構成によれば、操作者による輪郭画像の移動の操作が容易である。

前記構成の手ブレ画像補正装置において、前記手ブレ補正手段は、前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定するフィルタ設定手段と、該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なうフィルタ演算手段と、前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分演算手段と、前記撮影画像に対して前記差分を合成することにより前記補正後画像を生成する画像合成手段とを備える構成とすることができる。

この構成によれば、手ブレ補正手段により、入力された前記手ブレの方向と程度に基づいて手ブレを、より一層、高精度に補正することができる。

本発明の手ブレ画像補正方法は、
撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正方法であって、
（ａ）前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示する行程と、
（ｂ）前記ウィンドウに表示される補正前画像に対してレイヤを形成する行程と、
（ｃ） 前記レイヤに前記撮影画像の少なくとも一部の輪郭を示す輪郭画像を配置する行程と、
（ｄ）操作者からの入力装置を用いた操作指令に基づいて、前記レイヤにおける前記輪郭画像の配置位置を移動する行程と、
（ｅ）前記行程（ｄ）による前記移動についての方向と距離を、前記手ブレの方向と程度として検出する行程と、
（ｆ）該検出された前記手ブレの方向と距離に基づいて、前記撮影画像の手ブレの補正を実行する行程と
を備えることを特徴としている。

本発明のコンピュータプログラムは、
撮影装置で撮影して得られた撮影画像の手ブレを補正するためのコンピュータプログラムであって、
（ａ）前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示する機能と、
（ｂ）前記ウィンドウに表示される補正前画像に対してレイヤを形成する機能と、
（ｃ） 前記レイヤに前記撮影画像の少なくとも一部の輪郭を示す輪郭画像を配置する機能と、
（ｄ）操作者からの入力装置を用いた操作指令に基づいて、前記レイヤにおける前記輪郭画像の配置位置を移動する機能と、
（ｅ）前記行程（ｄ）による前記移動についての方向と距離を、前記手ブレの方向と程度として検出する機能と、
（ｆ）該検出された前記手ブレの方向と距離に基づいて、前記撮影画像の手ブレの補正を実行する機能と
をコンピュータに実現させるためのコンピュータプログラムである。

本発明の手ブレ画像補正方法およびコンピュータプログラムによっても、本発明の手ブレ画像補正装置と同様に、操作者の操作により正確に手ブレの方向と程度を入力して、高精度の手ブレ補正を行なうことができるという効果を奏する。

本発明の記録媒体は、本発明のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。

本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、コンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。

本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
１．第１実施例：
Ａ．装置の構成：
Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
Ｂ−２．手ブレ補正処理：
Ｂ−２−１．自動補正：
Ｂ−２−２．手動補正：
Ｃ．作用・効果：
２．第２実施例：
３．他の実施形態：

１．第１実施例：
Ａ．装置の構成：
図１は、本発明の第１実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の手ブレ画像補正装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とＣＤドライブ２８とプリンタ２９が接続されている。キーボード２２とマウス２４は、本発明でいう操作者からの操作を受け付ける入力装置に該当する。ディスプレイ２０は、本発明でいう表示装置である。マウス２４は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。

パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、表示画像メモリ１４、ハードディスクドライブ１５、入力制御ユニット１６、表示制御ユニット１７、出力制御ユニット１８等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。表示画像メモリ１４は、ディスプレイ２０に表示する画像の画像データを一旦記憶するメモリである。

ハードディスクドライブ１５は、手ブレ画像補正装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１５には、画像データＤｐが１または複数記憶されている。画像データＤｐは、デジタルカメラ２６によって撮影した撮影画像の画像データであり、ハードディスクドライブ１５の所定の領域（例えば、ホルダ）に格納されている。撮影画像は、カラー画像である。

入力制御ユニット１６は、キーボード２２やマウス２４から入力操作を取り込み、デジタルカメラ２６から画像データを取り込み、ＣＤドライブ２８からデータを取り込む制御ユニットである。表示制御ユニット１７は、ディスプレイ２０への信号出力を制御する制御ユニットである。出力制御ユニット１８は、プリンタ２９への印刷を制御する制御ユニットである。

コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されている。そのＣＤ−ＲＯＭをＣＤドライブ２８にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムＰｒをＣＤ−ＲＯＭから読み出してハードディスクドライブ１５にインストールすることができる。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の手ブレ画像補正装置の各種構成要件は実現される。

図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている。すなわち、ＣＰＵ１１は、ウィンドウ表示部３１、レイヤ形成部３２、輪郭画像配置部３２ａ、輪郭画像移動部３３、手ブレ方向・程度検出部３４および手ブレ補正部３５を機能として備える。このコンピュータプログラムＰｒは、実際は、デジタルカメラ２６で撮影した撮影画像を修整するフォトレタッチ用のアプリケーションプログラムであり、その中の一部のモジュールによって、上述した各部３１〜３５の機能をパーソナルコンピュータ１０に実現させる。

なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。

Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
このコンピュータプログラムＰｒを起動すると、まず、ディスプレイ２０にアプリケーションウィンドウが表示される。このアプリケーションウィンドウは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を構成している。

図２は、アプリケーションウィンドウＷＤの一例を示す説明図である。図示するように、アプリケーションウィンドウＷＤの左側の処理メニュー欄ＭＮには、［入力］、［修整］、［印刷］、［出力］の４種類のボタンＢＴ１，ＢＴ２，ＢＴ３，ＢＴ４が、下方に向かって順に並んでおり、操作者は、これらボタンＢＴ１〜ＢＴ４を順にマウス２４によりクリックしていくことで、ＣＲＴディスプレイ１２の画面上で、デジタルカメラ２６で撮影した撮影画像を取り込み、修整して、出力する作業を進めていくことができる。

操作者は、まず、［入力］のボタンＢＴ１をクリックすることで、ハードディスクドライブ１５から画像データＤｐを取り込む処理を行なう。なお、ここでは、ハードディスクドライブ１５に換えて、デジタルカメラ２６から直接画像データを取り込む構成や、ＤＶＤ等の他の記憶媒体から画像データを取り込む構成に換えることができる。この取り込んだ画像データＤｐは、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示される。

その後、操作者は、［修整］のボタンＢＴ２をクリックすることで、上記取り込んだ画像データＤｐの修整を行なう。図２は、［修整］のボタンＢＴ２がクリックされたときのものである。図示するように、アプリケーションウィンドウＷＤのメニューバーＭＢには、［ファイル］、［コースメニュー］、［編集］、［表示］、［修整］、［修復・加工］等のボタンが設けられている。［修整］のボタンをクリックすることにより、画像データＤｐに対して、回転やトリミングを行なったり、明度や彩度などの色補正を行なうことができる。図中には、［修復・加工］のボタンをクリックしたときに開くプルダウンメニューＤＭが示されている。操作者は、［修復・加工］のボタンをクリックし、プルダウンメニューＤＭから所望の選択肢をクリックすることにより、画像データＤｐに対して、「手ブレ補正」や「ピンボケ補正」等を行なうこともできる。

Ｂ−２．手ブレ補正処理：
Ｂ−２−１．自動補正：
上記「手ブレ補正」が、本発明に関わるものである。プルダウンメニューＤＭの［手ブレ補正］の選択肢がクリックされたときに実行される手ブレ補正処理について、以下、詳細に説明する。

図３は、ＣＰＵ１１により実行される手ブレ補正処理を示すフローチャートである。プルダウンメニューＤＭの［手ブレ補正］の選択肢がクリックされて、処理が開始されると、ＣＰＵ１１は、まず、［注目領域の指定］ウィンドウＷＤ１を、ディスプレイ２０に表示する処理を行なう（ステップＳ１００）。

図４は、［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。図示するように、［注目領域の指定］ウィンドウＷＤ１には、画像表示フィールドＦＤ１と、［領域指定］ボタンＢＴ１１と、［拡大］ボタンＢＴ１２と、［縮小］ボタンＢＴ１３が設けられている。

画像表示フィールドＦＤ１には、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示された画像データＤｐが表示される。表示の開始時には、表示倍率が調整され、画像データＤｐの画像全体が表示される。

「拡大」ボタンＢＴ１２は、画像表示フィールドＦＤ１に表示された画像を拡大するためのスイッチである。「拡大」ボタンがクリックされると、「表示拡大モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、画像を１０％単位で拡大することができる。同時にクリックした位置が画像表示フィールドＦＤ１の中心に設定される。

「縮小」ボタンＢＴ１３は、画像表示フィールドＦＤ１に表示された画像を縮小するためのスイッチである。「縮小」ボタンがクリックされると、「表示縮小モード」になり、画像上にマウスカーソルを移動するとマウスカーソルの形状が変化し、この状態でクリックを行なうことで、画像を１０％単位で縮小することができる。同時にクリックした位置が画像表示フィールドＦＤ１の中心に設定される。

図４に示した例では、「縮小」ボタンＢＴ１３をクリックして上記のように操作がなされた結果、画像データＤｐは所望の倍率に縮小され、撮影画像に写ったピアノの角部辺りが、画像表示フィールドＦＤ１の中心に位置するように表示されている。

［領域指定］ボタンＢＴ１１は、画像表示フィールドＦＤ１に表示された撮影画像に対して注目する領域（以下、「注目領域」と呼ぶ）を指定するためのスイッチである。［領域指定］ボタンＢＴ１１がクリックされると、「領域指定モード」になり、撮影画像上をドラッグして始点と終点を結んだ直線を対角線とする矩形で注目領域を指定することができる。

図５は、注目領域ＳＡの指定がなされた後の［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。図示するように、画像表示フィールドＦＤ１に表示された画像に対して、矩形の線分によって注目領域ＳＡが指定される。操作者は、［領域指定］ボタンＢＴ１１をクリックした後、ドラッグの操作により、画像表示フィールドＦＤ１に表示された撮影画像上に所望の領域を指定することができる。図示の例では、撮影画像に写ったピアノの角部を中心として、注目領域ＳＡが指定されている。ピアノの角部のように周囲との濃度値（階調値）の差が大きい領域の境界、すなわちエッジ部分は、手ブレが顕著に現われることから、手ブレの検出が容易であるためである。この注目領域ＳＡを指定する処理が図３のステップＳ１１０である。

その後、［注目領域の指定］ウィンドウＷＤ１において、［ＯＫ］ボタンＢＴ１４がクリックされると、［注目領域の指定］ウィンドウＷＤ１は閉じられ、ＣＰＵ１１は、図３に示すように、続くステップＳ１２０に処理を進める。ステップＳ１２０では、ステップＳ１１０で指定された注目領域ＳＡで囲まれた領域のデータを、注目画像データＧＳとして抽出する。なお、注目領域ＳＡの指定が操作者によりなされない状態で、［ＯＫ］ボタンＢＴ１４がクリックされた場合には、画像データＤｐ全体を注目画像データＧＳとする。

その後、ＣＰＵ１１は、注目画像データＧＳで示される注目画像についての手ブレの方向θ１と程度ｍ１を検出する手ブレ方向・程度検出ルーチンを実行する（ステップＳ１３０）。

図６は、手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、初期設定として、変数ｍ１と変数θ１にそれぞれ値０をセットする（ステップＳ１３１）。次いで、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳを構成する画素を１つ注目画素として選択する処理を行なう（ステップＳ１３２）。次いで、ＣＰＵ１１は、その注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域に対して、水平方向ソーベル（Ｓｏｂｅｌ）フィルタを用いたフィルタ演算処理を実行する（ステップＳ１３３）。

図７は、水平方向ソーベルフィルタを示す説明図である。水平方向ソーベルフィルタは、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

ステップＳ１３３では、詳細には、注目画素を中心とする３×３の領域に対して、水平方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をＴｈとする。

図６に戻り、ステップＳ１３３の実行後、ＣＰＵ１１は、ステップＳ１３１で選択された注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域に対して、垂直方向ソーベル（Ｓｏｂｅｌ）フィルタを用いたフィルタ演算処理を実行する（ステップＳ１３４）。

図８は、垂直方向ソーベルフィルタを示す説明図である。垂直方向ソーベルフィルタは、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

ステップＳ１３４では、詳細には、注目画素を中心とする３×３の領域に対して、垂直方向ソーベルフィルタに示される係数をそれぞれ乗算し、結果を合計するといったフィルタ演算処理を実行する。この合計値をＴｖとする。

ステップＳ１３４の実行後、ＣＰＵ１１は、ステップＳ１３３とステップＳ１３４のフィルタ演算処理により求められた合計値Ｔｈ、Ｔｖから、注目画素におけるエッジの方向θと程度ｍを算出する処理を行なう（ステップＳ１３５）。図９は、合計値Ｔｈ、Ｔｖとエッジの方向θ、程度ｍとの関係を示す説明図である。図示するように、ベクトル演算することで、合計値Ｔｈ、Ｔｖの和であるベクトルαが求まり、このベクトルαの方向θと長さｍを、注目画素におけるエッジの方向θと程度ｍとする。

図６に戻り、ステップＳ１３５の実行後、ＣＰＵ１１は、ステップＳ１３５で求めた程度ｍが、変数ｍ１より大きいか否かを判別する（ステップＳ１３６）。ここで、大きいと判別された場合には、変数ｍ１に程度ｍを代入するとともに、変数θ１にステップＳ１３５で求めたエッジの方向θを代入する（ステップＳ１３７）。すなわち、程度ｍが、これまでの値より大きくなったときに、その程度ｍと方向θを、ｍ１、θ１に記憶する処理を行なう。ステップＳ１３７の実行後、ＣＰＵ１１は、ステップＳ１３８に処理を進める。一方、ステップＳ１３６で、程度ｍが、変数ｍ１以下であると判別された場合には、ＣＰＵ１１は、ステップＳ１３７を実行することなく、ステップＳ１３８に処理を進める。

ステップＳ１３８では、ＣＰＵ１１は、注目画像データＧＳの全画素についてステップＳ１３２ないしＳ１３７の処理が終了したか否かを判定し、終了していなければ、ステップＳ１３２で画素を次の画素に移行して、ステップＳ１３３ないしＳ１３７の処理を繰り返す。一方、ステップＳ１３８で全画素についての処理が終了したと判定された場合には、「リターン」に抜けて、このルーチンの処理を一旦終了する。

上記のように構成された手ブレ方向・程度検出ルーチンによれば、注目画像データＧＳの中で、エッジの程度が最大となる画素におけるエッジの方向θ１と程度ｍ１が得られる。

図３に戻って、手ブレ方向・程度検出ルーチンを抜けると、ＣＰＵ１１は、ステップＳ１４０に処理を進める。ステップＳ１４０では、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳについての手ブレ補正ルーチンを実行する。

図１０は、注目画像データＧＳについての手ブレ補正ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ１と程度ｍ１に基づいて、モーションブラー（Ｍｏｔｉｏｎ Ｂｌｕｒ）フィルタを算出する処理を行なう（ステップＳ１４１）。モーションブラーフィルタは、画像に対し「動作ぼかし」をかけるフィルタであり、動作の方向とぼかしの程度の入力に応じてフィルタの係数が定まる。すなわち、動作の方向θおよび程度ｍと、モーションブラーフィルタＦ１とは、次式（１）の関係が成り立つ。

Ｆ１＝Ｆ（θ，ｍ） ...（１）
ここで、Ｆは、モーションブラーフィルタを求める際の関数である。

そこで、ステップＳ１４１では、「動作の方向θ」を、手ブレ方向・程度検出ルーチンで算出されたエッジの方向θ１とし、「動作の程度ｍ」を、手ブレ方向・程度検出ルーチンで算出されたエッジの程度ｍ１として、上記式（１）の関係から、モーションブラーフィルタＦ１を算出する。

図１１は、モーションブラーフィルタの一例を示す説明図である。モーションブラーフィルタＦ１は、縦方向に３画素、横方向に３画素の３×３のフィルタであり、図示のごとく、各ピクセルの重み係数が定められている。

図１０に戻り、ステップＳ１４１の実行後、ＣＰＵ１１は、その注目画像データＧＳに対して、モーションブラーフィルタＦ１を用いたフィルタ演算処理を実行する（ステップＳ１４２）。詳細には、手ブレ方向・程度検出ルーチンと同様に、注目画像データＧＳから注目画素を選択して、その注目画素を中心とする縦方向に３画素、横方向に３画素の３×３の領域を抽出して、この３×３の領域に対して、フィルタ、ここでは、モーションブラーフィルタＦ１を用いたフィルタ演算処理を実行していく、このフィルタ演算処理によって求められた値に注目画素の階調値を変換する。この一連の処理を注目画素を順次切り換えて、注目画像データＧＳの全画素について行なう。こうして得られた新たな画像データをぼかし画像データＧＳ＊とする。

続いて、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳからステップＳ１４２で求められたぼかし画像データＧＳ＊を引くことによって、両者の差分ＤＳを演算する（ステップＳ１４３）。詳細には、注目画像データＧＳとぼかし画像データＧＳ＊とを、画素毎にＲＧＢ毎の階調値の引き算を行なうことで、両画像データＧＳ、ＧＳ＊の差分ＤＳの演算を行なう。

その後、ＣＰＵ１１は、ステップＳ１４３で算出された差分ＤＳを、ステップＳ１２０で抽出した注目画像データＧＳに加えて、新たな画像データを生成する（ステップＳ１４４）。詳細には、注目画像データＧＳと差分ＤＳとを、画素毎にＲＧＢ毎の階調値の足し算を行なうことで、両データＧＳ、ＤＳを合成する演算を行なう。

図１２は、注目画像データＧＳについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。図中において、ハッチングの部分が、注目画像ＧＳにおける所定の部位であり、ここでは、ピアノの角部を模式化したものである。この部位の画像部分には、手ブレによるぼけた部分を含んでいる。この手ブレの方向θ１と程度ｍ１は、手ブレ方向・程度検出ルーチンにより自動的に検出されているが、図中のベクトルＶは、この手ブレの方向θ１と程度ｍ１を示すものである。ステップＳ１４１、Ｓ１４２によれば、ベクトルＶの方向θ１、長さｍ１でもって動作ぼかしがなされることから、ピアノの角部の下側境界線は、図中、１点鎖線の位置に移動し、この１点鎖線を境界とするぼかし画像ＧＳ＊が生成される。

ステップＳ１４３によれば、注目画像ＧＳからぼかし画像ＧＳ＊を引くことで両画像の差分ＤＳが、図示するように求まり、ステップＳ１４４では、この差分ＤＳを注目画像ＧＳに足し込むことで（ベクトルＶの方向を正の方向とすると、差分ＤＳは負の値をとることから）、注目画像ＧＳから手ブレにより動作ぼかしされた分だけ取り除くことができる。この結果、図中２点鎖線に示すように、手ブレがない新たな画像データＴＧＳを生成することができる。こうして得られた画像データＴＧＳは、高精度に手ブレが補正されている。以下、この画像データＴＧＳを「補正後注目画像データ」と呼ぶ。

図１０に戻り、ステップＳ１４４の実行後、「リターン」に抜けて、このルーチンの処理を一旦終了する。

図３に戻って、注目画像データＧＳについての手ブレ補正ルーチンを抜けると、ＣＰＵ１１は、ステップＳ１５０に処理を進める。ステップＳ１５０では、ＣＰＵ１１は、［手ブレ補正］ウィンドウＷＤ２を表示する処理を行なう。

図１３は、［手ブレ補正］ウィンドウＷＤ２の一例を示す説明図である。図示するように、［手ブレ補正］ウィンドウＷＤ２には、［元画像］表示フィールドＦＤ１１と、［補正後］表示フィールドＦＤ１２とが設けられている。［補正後］表示フィールドＦＤ１２の上部には、［ウィンドウに合わせて表示］ボタンＢＴ２１、［１００％表示］ボタンＢＴ２２、［１０％縮小表示］ボタンＢＴ２３、［１０％拡大表示］ボタンＢＴ２４が設けられている。下方には、［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６が設けられている。

［元画像］表示フィールドＦＤ１１には、ステップＳ１２０で抽出した注目画像データＧＳが表示される。［補正後］表示フィールドＦＤ１２には、注目画像データＧＳについての手ブレ補正ルーチンで得られた補正後注目画像データＴＧＳが表示される。両画像データＧＳ、ＴＧＳは、注目画像のサイズと両表示フィールドＦＤ１１、ＦＤ１２のサイズから自動計算された同じ位置および表示倍率で表示されており、操作者による比較が容易なように構成されている。

［ウィンドウに合わせて表示］ボタンＢＴ２１がクリックされると、［元画像］・［補正後］表示フィールドＦＤ１１、ＦＤ１２内に画像全体が表示されるように表示倍率が計算され、その表示倍率で両表示フィールドＦＤ１１、ＦＤ１２の画像が表示される。［１００％表示］ボタンＢＴ２２がクリックされると、両画像ともに、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示される。［１０％縮小表示］ボタンＢＴ２３がクリックされると、両画像の現在の表示倍率を１０％縮小して表示される。［１０％拡大表示］ボタンＢＴ２４がクリックされると、両画像の現在の表示倍率を１０％拡大して表示される。

［ＯＫ］ボタンＢＴ２５は、［補正後］表示フィールドＦＤ１２に表示された補正後画像が良好だと操作者によって判断されたときに、操作者からのクリックを受け付けるものである。一方、［手動補正］ボタンＢＴ２６は、補正後画像が不可であると操作者によって判断されたときに、操作者からのクリックを受け付けるもので、この［手動補正］ボタンＢＴ２６がクリックされたときには、操作者による手動にて手ブレ補正を行なうことが可能となる。

図３に戻って、ステップＳ１５０で、上述した構成の［手ブレ補正］ウィンドウＷＤ２が表示されると、ＣＰＵ１１は、ステップＳ１６０に処理を進めて、操作者による操作指令は、上記［ＯＫ］ボタンＢＴ２５と［手動補正］ボタンＢＴ２６のいずれをクリックするものであるかを判別する処理を行なう。ここで、［ＯＫ］ボタンＢＴ２５がクリックされたと判定された場合には、手ブレ補正の対象である画像データＤｐに対して手ブレ補正処理を実行する（ステップＳ１７０）。

ステップＳ１７０の手ブレ補正処理は、詳細には、ステップＳ１３０の手ブレ方向・程度検出ルーチンで検出された手ブレの方向θ１と程度ｍ１を、手ブレ補正を施す画像データＤｐ全体の手ブレの方向として、この手ブレの方向θ１と程度ｍ１を用いて補正を行なうものである。すなわち、図１０に示した「注目画像データＧＳについての手ブレ補正ルーチン」において、処理対象を注目画像データＧＳに換えて画像データＤｐとした手ブレ補正処理を行なう。こうして得られた新たな画像データは、手ブレが補正された補正後画像データとして出力される。ステップＳ１７０の実行後、「リターン」に抜けて「手ブレ補正処理」は終了する。

一方、ステップＳ１６０で、［手動補正］ボタンＢＴ２６がクリックされたと判定された場合には、ＣＰＵ１１は、手動補正ルーチンを実行して（ステップＳ１８０）、その後、「リターン」に抜けて「手ブレ補正処理」を終了する。

Ｂ−２−２．手動補正：
図１４は、手動補正ルーチンの詳細を示すフローチャートである。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、ステップＳ１８１ないしＳ１８５の処理により、［手動補正］ウィンドウＷＤ３を表示する処理を行なう。

図１５は、［手動補正］ウィンドウＷＤ３の一例を示す説明図である。図示するように、［手動補正］ウィンドウＷＤ３には、［元画像］表示フィールドＦＤ２１と、［補正後］表示フィールドＦＤ２２とが設けられている。両表示フィールドＦＤ２１、ＦＤ２２のそれぞれの上部には、［１００％表示］ボタンＢＴ３１、ＢＴ４１と、［１０％縮小表示］ボタンＢＴ３２、ＢＴ４２と、［１０％拡大表示］ボタンＢＴ３３、ＢＴ４３とが設けられている。下方には、［ＯＫ］ボタン４５が設けられている。また、［輪郭抽出方法］メニューＭＮと、［角度］エディットボックスＢＸ１と、［長さ］エディットボックスＢＸ２が設けられている。

［元画像］表示フィールドＦＤ２１には、ステップＳ１２０で抽出した注目画像データＧＳが表示される。この手動補正ルーチンの起動時、すなわち［手動補正］ウィンドウＷＤ３の初期表示時には、まだ補正がなされていないものとして、［補正後］表示フィールドＦＤ２２にも、ステップＳ１２０で抽出した注目画像データＧＳがそのまま表示される。以降のステップで補正がなされた後には、補正後の注目画像データＴＧＳが表示される。なお、初期表示時の両表示フィールドＦＤ２１、ＦＤ２２に表示される画像データＧＳの表示倍率は、後述するように相違する。

［手動補正］ウィンドウＷＤ３では、初期表示時は、［元画像］表示フィールドＦＤ２１に表示される注目画像データＧＳは、［補正後］表示フィールドＦＤ２２に表示される注目画像データＧＳと比べて表示倍率が高くなっている。この表示倍率は、ステップＳ１３０の手ブレ方向・程度検出ルーチンにより検出された手ブレの程度ｍ１に基づいて定められている。

図１６は、手ブレの程度ｍ１と表示倍率Ｒとの関係を示すグラフである。図示するように、手ブレの程度ｍ１が小さいほど、表示倍率Ｒは高くなっている。すなわち、自動計算により求められた手ブレの方向θ１が小さいほど、表示倍率Ｒは高くなっている。

図１４のステップＳ１８１では、ＣＰＵ１１は、［元画像］表示フィールドＦＤ２１と［補正後］表示フィールドＦＤ２２とに画像が表示されていない状態の［手動補正］ウィンドウＷＤ３のベースとなる画像を表示する。その後、ＣＰＵ１１は、ステップＳ１８２で、手ブレ方向・程度検出ルーチンにより検出された手ブレの程度ｍ１と、注目画像のサイズと、［元画像］表示フィールドＦＤ２１のサイズに基づいて表示倍率Ｒを求めて、その表示倍率Ｒでもって、注目画像データＧＳを［元画像］表示フィールドＦＤ２１に表示する。手ブレの程度ｍ１と表示倍率Ｒの関係は、前述したように、手ブレの程度ｍ１が小さいほど、表示倍率Ｒは高くなっている。なお、表示位置については、注目画像データＧＳの中心が［元画像］表示フィールドＦＤ２１の中央に位置するようになされており、上記表示倍率Ｒでもって表示しきれない外側部分は当然表示されない。

表示位置については、上記の構成に換えて、手ブレ方向・程度検出ルーチンにより検出されたエッジの方向θ１と程度ｍ１を持つエッジの程度が最大となる画素（エッジ部）を、［元画像］表示フィールドＦＤ２１の中央に位置するように構成することができる。また、この構成に換えて、エッジの方向θ１と程度ｍ１を持つエッジの程度が最大となる画素を、［元画像］表示フィールドＦＤ２１のいずれかの位置に位置するように構成することもできる。

ステップＳ１８２の実行後、ＣＰＵ１１は、注目画像データＧＳを、［補正後］表示フィールドＦＤ２２に表示する（ステップＳ１８３）。この表示における表示倍率については、注目画像のサイズと、［補正後］表示フィールドＦＤ２２のサイズに基づいて定められており、前述したように、初期表示時は、［元画像］表示フィールドＦＤ２１に表示される元画像より表示倍率は低くなっている。

なお、［元画像］表示フィールドＦＤ２１に表示された画像についての表示倍率は、初期表示の状態から、［元画像］表示フィールドＦＤ２１の上方に配置された［１００％表示］ボタンＢＴ３１、［１０％縮小表示］ボタンＢＴ３２、［１０％拡大表示］ボタンＢＴ３３を操作することにより自由に変更することができる。［１００％表示］ボタンＢＴ３１がクリックされると、元画像は、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示され、［１０％縮小表示］ボタンＢＴ３２がクリックされると、元画像の現在の表示倍率を１０％縮小して表示され、［１０％拡大表示］ボタンＢＴ３３がクリックされると、元画像の現在の表示倍率を１０％拡大して表示される。

表示位置については、［元画像］表示フィールドＦＤ２１の右側と下側に設けられたスライダーバＳＢ１，ＳＢ２を操作して画像をスクロールさせることで変更することができる。

一方、［補正後］表示フィールドＦＤ２２に表示された画像についての表示倍率も、初期表示の状態から、［補正後］表示フィールドＦＤ２２の上方に配置された［１００％表示］ボタンＢＴ４１、［１０％縮小表示］ボタンＢＴ４２、［１０％拡大表示］ボタンＢＴ４３を操作することにより自由に変更することができる。［１００％表示］ボタンＢＴ４１がクリックされると、補正後画像は、ディスプレイ２０の1 画素と画像データの1 画素が1：1 になるように表示され、［１０％縮小表示］ボタンＢＴ３２がクリックされると、補正後画像の現在の表示倍率を１０％縮小して表示され、［１０％拡大表示］ボタンＢＴ３３がクリックされると、補正後画像の現在の表示倍率を１０％拡大して表示される。

表示位置については、［補正後］表示フィールドＦＤ２２の右側と下側に設けられたスライダーバＳＢ３，ＳＢ４を操作して画像をスクロールさせることで変更することができる。

図１４に戻り、ステップＳ１８３の実行後、ＣＰＵ１１は、［元画像］表示フィールドＦＤ２１に表示された元画像（注目画像データＧＳの表示範囲）に対して、１枚のレイヤを形成する処理を行なう（ステップＳ１８４）。レイヤは、元画像に手を加えることなく色補正や、新たな画像を乗せる貼り付けなどの作業ができるようにするための透明のシートである。ここでは、詳細には、ステップＳ１８２によって［元画像］表示フィールドＦＤ２１に表示された注目画像データＧＳの表示範囲に対して、レイヤが形成される。

続いて、ＣＰＵ１１は、［元画像］表示フィールドＦＤ２１に表示された上記元画像についての輪郭を示す輪郭画像を抽出して、この輪郭画像の輪郭画像データを、ステップＳ１８４で形成したレイヤに配置する処理を行なう（ステップＳ１８５）。輪郭画像は、前述したエッジを検出するソーベルフィルタを用いることで元画像から抽出することができる。この結果、［元画像］表示フィールドＦＤ２１に表示された元画像に重畳させて輪郭画像データが表示される。なお、ソーベルフィルタを用いる手法に換えて、微分フィルタやラプラシアン（２次微分）フィルタ、プレヴィット（Prewitt）フィルタ、ロバーツ（Roberts）フィルタ等を用いる手法によっても輪郭画像を抽出することができ、いずれの手法を採用するかは、［元画像］表示フィールドＦＤ２１の下方に設けられた［輪郭抽出方法］メニューＭＮからの操作者による指定によって定まる。

上記輪郭画像データは、この実施例では、［元画像］表示フィールドＦＤ２１に表示された注目画像データＧＳの表示範囲についての輪郭を示すものであったが、必ずしも表示範囲全体の輪郭を示すものとする必要もない。輪郭画像データを、その表示範囲の一部についての輪郭を示すものとしてもよい。例えば、注目画像データＧＳの中で、エッジの程度が最大となる画素を算出しているが、輪郭画像データを、この画素を含む所定の範囲についての輪郭を示すものとすることができる。

図１７は、上記レイヤＬＹに形成された輪郭画像データＥＰの一例を示す説明図である。図示するように、レイヤＬＹには、元画像についての輪郭を示す輪郭画像データＥＰが表示される。なお、ステップＳ１８４では、レイヤを元画像に重ねたときに、上記レイヤに配置された輪郭画像が、元画像の輪郭部分と完全に一致するように、輪郭画像の配置位置が定められている。

レイヤに配置された輪郭画像は、操作者によるマウス２４の操作を受けて、レイヤ上で移動することができる。詳細には、［元画像］表示フィールドＦＤ２１に表示された元画像上にマウスカーソルを移動すると、マウスカーソルが十字矢印の形状に変化し、この状態で、操作者は、マウス２４の左ボタン２４ａを押しながらドラッグすることにより、輪郭画像を移動することができる。

図１８は、上記輪郭画像の移動の様子を示す説明図である。上述したように、元画像上に十字矢印のカーソルＣＳが表示された状態で、図中（ａ）に示すように、ドラッグが開始されると、図中（ｂ）に示すように、輪郭画像全体が移動される。操作者は、ピアノの角部に着目して、この角部にカーソルＣＳが位置するようにマウス２４を操作することにより移動し、その上で、左ボタン２４ａを押してドラッグを開始する。ドラッグ中には、輪郭画像全体は、ドラッグの方向と距離に従って移動される。操作者は、輪郭画像におけるピアノの角部を、元画像のその角部のブレ部分の終端ＥＧに合わせるようドラッグを行なう。図１８（ｃ）には、ドラッグ操作の終了後の状態が示されている。図１８（ｃ）に示すように、輪郭画像のピアノの角部（カーソルＣＳの位置）と、その角部の手ブレ部分の終端ＥＧとが合わせ込まれる。

図１４のステップＳ１８６では、前述した輪郭画像に対するドラッグ操作を受け付けて、そのドラッグ操作に応じて輪郭画像を移動する処理を行なっている。その後、ＣＰＵ１１は、そのドラッグの方向と長さを、操作者により手動入力された手ブレの方向θ２と程度ｍ２として検出する処理を行なう（ステップＳ１８７）。この結果、操作者により実行された、元画像の所定の輪郭部分を元画像のその輪郭部分のブレの終端に合わせるドラッグ操作に基づいて、操作者により手動入力された手ブレの方向θ２と程度ｍ２が求められることになる。

なお、操作者は、上述したように、輪郭画像を移動するドラッグ操作により、手ブレの方向θ２と程度ｍ２を指定することができるが、この実施例では、さらに、［手動補正］ウィンドウＷＤ３に設けられた［角度］エディットボックスＢＸ１と［長さ］エディットボックスＢＸ２によっても、手ブレの方向θ２と程度ｍ２を指定可能である。

図１４に戻り、ステップＳ１８７の実行後、ＣＰＵ１１は、ステップＳ１８７で検出した手ブレの方向θ２と程度ｍ２を用いた「注目画像データＧＳについての手ブレ補正ルーチン」を実行する（ステップＳ１８８）。注目画像データＧＳについての手ブレ補正ルーチンは、前述した図１０に示したものであるが、ここでは、ステップＳ１４１で算出するモーションブラーフィルタを、ステップＳ１８７で検出した手ブレの方向θ２と程度ｍ２に基づくものとした。すなわち、モーションブラーフィルタＦ２を、次式（２）に従って算出する。

Ｆ２＝Ｆ（θ２，ｍ２） ...（２）
ここで、Ｆは、モーションブラーフィルタを求める際の関数である。

その後、このモーションブラーフィルタＦ２を用いてフィルタ演算してぼかし画像データＧＳ＊を求めて、注目画像データＧＳとぼかし画像データＧＳ＊の差分ＤＳを求めて、この差分ＤＳに注目画像データＧＳを足し混むことで、手ブレ補正がなされた補正後注目画像データＴＧＳを生成する。

こうしてステップＳ１８８の処理が終了すると、ＣＰＵ１１は、ステップＳ１８８で生成された補正後注目画像データＴＧＳでもって、［補正後］表示フィールドＦＤ２２の表示を変更する（ステップＳ１８９）。

その後、ＣＰＵ１１は、［手動補正］ウィンドウＷＤ３の［ＯＫ］ボタン４５がクリックされたか否かを判別する（ステップＳ１９０）。［ＯＫ］ボタンＢＴ４５は、［補正後］表示フィールドＦＤ２２に表示された補正後画像が良好だと操作者によって判断されたときに、操作者によりクリックされるものであることから、［ＯＫ］ボタンＢＴ４５がクリックされていないと判別された場合には、手ブレ補正処理をやり直すべく、ステップＳ１８６に処理を戻して、ステップＳ１８６ないしＳ１８９による、レイヤの輪郭画像をドラッグする操作によって手ブレの方向θ２と程度ｍ２を指定する処理を再度行なう。

一方、ステップＳ１９０で、［ＯＫ］ボタンＢＴ４５がクリックされたと判別された場合には、［補正後］表示フィールドＦＤ２２に表示された補正後画像は良好であるとして、ステップＳ１９１に処理を進めて、手ブレ補正の対象である画像データＤｐに対して手ブレ補正処理を実行する。

ステップＳ１９１の手ブレ補正処理は、詳細には、ステップＳ１８７で検出された手ブレの方向θ２と程度ｍ２を、手ブレ補正を施す画像データＤｐ全体の手ブレの方向として、この手ブレの方向θ２と程度ｍ２を用いて補正を行なうものである。すなわち、図１０に示した「注目画像データＧＳについての手ブレ補正ルーチン」において、モーションブラーフィルタＦ２を、上記手ブレの方向θ２と程度ｍ２に基づいて求めるとともに、処理対象を注目画像データＧＳに換えて画像データＤｐとした手ブレ補正処理を行なう。こうして得られた新たな画像データは、手ブレが補正された補正後画像データとして出力される。ステップＳ１９１の実行後、「リターン」に抜けてこのルーチンは一旦終了する。

以上のように構成された手動補正ルーチンのステップＳ１８１およびＳ１８２がウィンドウ表示部３１（図１）に、ステップＳ１８４がレイヤ形成部３２（図１）に、ステップＳ１８５が輪郭画像配置部３２ａ（図１）に、ステップＳ１８６が輪郭画像移動部３３（図１）に、ステップＳ１８７が手ブレ方向・程度検出部３４（図１）に、ステップＳ１８８（あるいはステップＳ１９１）が手ブレ補正部３５（図１）にそれぞれ対応する。

Ｃ．作用・効果：
以上のように構成されたこの実施例のコンピュータシステムによれば、レイヤに配置された輪郭画像がドラッグにより移動されることにより、撮影画像の手ブレの方向と程度の入力が操作者によりなされ、この入力に基づいて手ブレ補正ルーチンにより手ブレの補正がなされる。したがって、操作者の操作により正確に入力された手ブレの方向と程度に従う手ブレ補正を行なうことができることから、画像の手ブレを高精度に補正することができる。

また、この実施例では、ディスプレイ２０に表示される［手動補正］ウィンドウＷＤ３に、手ブレ補正ルーチンによる補正前画像と補正後画像が表わされることから、操作者は、両画像を比較することで、手ブレ補正ルーチンにより手ブレがうまく補正されたか否かを容易に判定することができる。さらに、元画像（補正前画像）は、補正後画像と比べて表示倍率が高くなっていることから、操作者は、輪郭画像をドラッグするに際して、手ブレの視認を容易に行なうことができ、また、その移動の操作も容易に行なうことができる。

この実施例では、［手動補正］ウィンドウＷＤ３に表示される元画像は、手ブレ方向・程度検出ルーチンにより自動的に検出された手ブレの程度ｍ１が小さいほど、表示倍率を高くする構成となっている。このために、手ブレの程度が小さい場合に、補正前画像が高い表示倍率で表示されることから、操作者は、元画像から手ブレを視認することがより一層、容易であり、また、輪郭画像をドラッグする操作をより一層、容易に行なうことができる。

この実施例では、手ブレ方向・程度検出ルーチンにより、注目画像データＧＳの中で、エッジの程度が最大となる画素におけるエッジの方向θ１と程度ｍ１が得られるように構成されている。このために、撮影画像において最も手ブレの程度が大きいエッジ部における手ブレの方向と程度に基づいて、手ブレの補正が行なわれる。したがって、撮影画像の自動的な手ブレ補正の精度を高めることができる。

２．第２実施例：
本発明の第２実施例について次に説明する。この第２実施例のコンピュータシステムは、第１実施例のコンピュータシステムと比較して、パーソナルコンピュータ１０のＣＰＵ１１にて実行される手動補正ルーチン（第１実施例では、図１４で示したもの）の構成が相違し、その他のソフトウェア構成やハードウェア構成については同一の構成を備える。したがって、第１実施例と同一の構成については同一の符号を用いて以下の説明を行なうことにする。

図１９は、第２実施例における手動補正ルーチンの詳細を示すフローチャートである。このフローチャートにおけるステップＳ１８１、Ｓ１８３〜Ｓ１９１は第１実施例と同一であり、第１実施例と同一の符号をつけた。図示するように、このルーチンに処理が移行すると、ＣＰＵ１１は、まず、ステップＳ１８１により、第１実施例と同様に、［手動補正］ウィンドウＷＤ３のベースとなる画像を表示する。

次いで、ＣＰＵ１１は、ステップＳ１２０で抽出した注目画像データＧＳについての輪郭を強調する輪郭強調処理を行なって、輪郭強調注目画像データＸＧＳを生成する（ステップＳ２００）。輪郭強調処理は、アンシャープマスクを用いて行なわれる。なお、輪郭強調処理は、アンシャープマスクを用いた処理に限る必要はなく、二次微分フィルタを用いた処理、シャープフィルタを用いた処理等の他の手法によって輪郭を強調するものとすることもできる。

ステップＳ２００の実行後、ＣＰＵ１１は、ステップＳ２０１に処理を進めて、手ブレ方向・程度検出ルーチンにより検出された手ブレの程度ｍ１と、注目画像のサイズと、［元画像］表示フィールドＦＤ２１のサイズに基づいて表示倍率Ｒを求めて、その表示倍率Ｒでもって、ステップＳ２００で生成した輪郭強調注目画像データＸＧＳを［元画像］表示フィールドＦＤ２１に表示する。このステップＳ２０１の処理は、第１実施例におけるステップＳ１８２の処理において、表示する対象を、注目画像データＧＳに換えて輪郭強調注目画像データＸＧＳとしたものである。

ステップＳ２０１の実行後、ＣＰＵ１１は、ステップＳ１８３に処理を進めて、第１実施例と同様に、ステップＳ１８３ないしＳ１９１の処理を実行する。その後、「リターン」に抜けて、この手続補正ルーチンを一旦終了する。

図２０は、上記構成の手続補正ルーチンにおけるステップＳ１８５までの処理により、［元画像］表示フィールドＦＤ２１の表示画像がどのように形成されるかを示す説明図である。

図示するように、注目画像データＧＳを基に、注目画像データＧＳについての画像の輪郭を強調した輪郭強調注目画像データＸＧＳと、注目画像データＧＳについての画像の輪郭を示す輪郭画像を配置したレイヤＬＹとが生成され、次いで、輪郭強調注目画像データＸＧＳとレイヤＬＹとが重ね合わされて、その合成結果が表示画像ＤＰＣとして表示される。

上述した手動補正ルーチンでは、フローチャート上では、ステップＳ２０１で輪郭強調注目画像データＸＧＳを［元画像］表示フィールドＦＤ２１に表示して、その後、レイヤを形成して（ステップＳ１８４）、そのレイヤに輪郭画像データを配置する（ステップＳ１８５）ことで、輪郭強調注目画像に輪郭画像を重ね合わせて表示するように構成していたが、要は、図２０で説明したように、輪郭強調注目画像データＸＧＳに、輪郭画像が配置されたレイヤＬＹを重ね合わせた合成画像を表示可能な構成であれば、どのような処理手順で行なうようにしてもよい。なお、こうしたことは、第１実施例でも同様に言えることで、注目画像データＧＳに、輪郭画像が配置されたレイヤＬＹを重ね合わせた合成画像を表示可能な構成であれば、第１実施例のステップＳ１８１ないしＳ１８５の構成に限る必要はなく、どのような処理手順で行なうようにしてもよい。

図２１は、第２実施例における輪郭画像の移動の様子を示す説明図である。上述したように、元画像上に十字矢印のカーソルＣＳが表示された状態で、図中（ａ）に示すように、ドラッグが開始されると、図中（ｂ）に示すように、輪郭画像全体が移動される。操作者は、ピアノの角部に着目して、この角部にカーソルＣＳが位置するようにマウス２４を操作することにより移動し、その上で、左ボタン２４ａを押してドラッグを開始する。ドラッグ中には、輪郭画像全体は、ドラッグの方向と距離に従って移動される。操作者は、輪郭画像におけるピアノの角部を、輪郭強調注目画像におけるその角部のブレ部分の終端ＥＧに合わせるようドラッグを行なう。図１８（ｃ）には、ドラッグ操作の終了後の状態が示されている。図１８（ｃ）に示すように、輪郭画像のピアノの角部（カーソルＣＳの位置）と、輪郭強調注目画像におけるその角部の手ブレ部分の終端ＥＧとが合わせ込まれる。

したがって、この第２実施例では、輪郭画像のピアノの角部を合わせ込む手ブレ部分の終端ＥＧが、輪郭線が強調されたものとなっていることから、操作者は、上記の合わせ込みの操作を高精度に行なうことができる。

以上のように構成された第２実施例のコンピュータシステムによれば、第１実施例と同様に、レイヤに配置された輪郭画像がドラッグにより移動されることにより、撮影画像の手ブレの方向と程度の入力が操作者によりなされ、この入力に基づいて手ブレ補正ルーチンにより手ブレの補正がなされる。したがって、第１実施例と同様に、操作者の操作により正確に入力された手ブレの方向と程度に従う手ブレ補正を行なうことができることから、画像の手ブレを高精度に補正することができる。

特にこの実施例では、補正前画像に相当する注目画像データＧＳについての輪郭が強調されていることから、前述したように、操作者は、ウィンドウＷＤ３を見て輪郭強調注目画像にデータＸＧＳに、レイヤに配置された輪郭画像を合わせ込む操作を、高精度に行なうことができる。したがって、画像の手ブレをより一層高精度に補正することができる。

３．他の実施形態：
なお、この発明は上記の第１、第２実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。

（１）前記第１実施例では、［手ブレ補正］ウィンドウＷＤ２、［手動補正］ウィンドウＷＤ３で表示する元画像（補正前画像）は、画像データＤｐからトリミングした注目画像データＧＳとしていたが、これに換えてトリミングを行なうことなく、画像データＤｐをそのまま表示する構成としてもよい。また、第２実施例では、［手動補正］ウィンドウＷＤ３で表示する画像は、注目画像データＧＳについての輪郭を強調したものであったが、これに換えてトリミングを行なうことなく、画像データＤｐについての輪郭を強調したものとしてもよい。

（２）前記実施例では、マウス２４からのドラッグ操作に応じて、レイヤに表示された輪郭画像を移動する構成としていたが、これに換えて、輪郭画像上に着目点をクリックして、その後、該着目点の移動先を示す移動位置をクリックするという操作により、輪郭画像を移動する構成等とすることもできる。

（３）前記実施例の手ブレ方向・程度検出ルーチンでは、ソーベルフィルタを用いて、手ブレの方向と程度を検出していたが、この方法に限る必要もなく、他の方法で、手ブレの方向と程度を検出するように構成してもよい。

（４）前記実施例では、手ブレ補正を行なう手ブレ補正ルーチンを、モーションブラーフィルタを用いてフィルタリングすることにより動作ぼかしを行なって、手ブレ補正を行なう構成であったが、この方法に限る必要もなく、要は、手ブレの方向と程度の入力を受けて、該入力に基づいて撮影画像の手ブレの補正を実行するものであればどのような構成とすることもできる。

（５）本発明では、レイヤにおける輪郭画像の配置位置が操作者により移動されることで、手ブレの方向と程度が入力されるが、ここでいう「手ブレの方向と程度」とは、「手ブレ補正の方向と程度」を含むものである。「手ブレ補正の程度」は、「手ブレの程度」と等価であり、「手ブレ補正の方向」は、「手ブレの方向」と正反対ではあるが、「手ブレの方向」を実質的に決定するものであるためである。例えば、前記第１、第２実施例の変形例として、レイヤに配置された輪郭画像におけるピアノの角部の手ブレ部分の終端を、元画像（補正前画像）のピアノの角部に合わせるようドラッグを行なうすることにより、手ブレ補正の方向と長さを指定する構成とすることができる。なお、この場合には、手ブレ補正ルーチンにおいて、手ブレの方向θ２は、上記ドラッグ操作により指定された手ブレ補正の方向を１８０度だけ反転した値として入力する。こうした構成によっても前記実施例と同様の効果を奏することができる。

（６）前記実施例では、手ブレを補正する対象としての画像データＤｐは、デジタルカメラ２６により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置（例えば、静止画の撮影機能を持ったビデオカメラ）で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、ＨＤＤ１５等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。

本発明の第１実施例を適用するコンピュータシステムのハードウェアの概略構成を示す説明図である。 アプリケーションウィンドウＷＤの一例を示す説明図である。 ＣＰＵ１１により実行される手ブレ補正処理を示すフローチャートである。 ［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。 注目領域ＳＡの指定がなされた後の［注目領域の指定］ウィンドウＷＤ１の一例を示す説明図である。 手ブレ方向・程度検出ルーチンの詳細を示すフローチャートである。 水平方向ソーベルフィルタを示す説明図である。 垂直方向ソーベルフィルタを示す説明図である。 合計値Ｔｈ、Ｔｖとエッジの方向θ、程度ｍとの関係を示す説明図である。 注目画像データＧＳについての手ブレ補正ルーチンの詳細を示すフローチャートである。 モーションブラーフィルタＦ１の一例を示す説明図である。 注目画像データＧＳについての手ブレ補正ルーチンに従う処理内容を概念的に示す説明図である。 ［手ブレ補正］ウィンドウＷＤ２の一例を示す説明図である。 手動補正ルーチンの詳細を示すフローチャートである。 ［手動補正］ウィンドウＷＤ３の一例を示す説明図である。 手ブレの程度ｍ１と表示倍率Ｒとの関係を示すグラフである。 レイヤＬＹに形成された輪郭画像データＥＰの一例を示す説明図である。 ドラッグによる輪郭画像の移動の様子を示す説明図である。 第２実施例における手動補正ルーチンの詳細を示すフローチャートである。 手続補正ルーチンにおけるステップＳ１８５までの処理により表示画像がどのように形成されるかを示す説明図である。 第２実施例における輪郭画像の移動の様子を示す説明図である。

符号の説明

１０...パーソナルコンピュータ
１１...ＣＰＵ
１２...バス
１３...メモリ
１４...表示画像メモリ
１５...ハードディスクドライブ
１６...入力制御ユニット
１７...表示制御ユニット
１８...出力制御ユニット
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...ＣＤドライブ
２９...プリンタ
３１...ウィンドウ表示部
３２...レイヤ形成部
３２ａ...輪郭画像配置部
３３...輪郭画像移動部
３４...手ブレ方向・程度検出部
３５...手ブレ補正部
Ｐｒ...コンピュータプログラム
Ｆ１、Ｆ２...モーションブラーフィルタ
ＷＤ...アプリケーションウィンドウ
ＦＤ１...画像表示フィールド
ＦＤＷ...作業フィールド
ＳＡ...注目領域
ＧＳ...注目画像データ
ＴＧＳ...補正後注目画像データ
ＷＤ１...［注目領域の指定］ウィンドウ
ＷＤ２...［手ブレ補正］ウィンドウ
ＦＤ１１...［元画像］表示フィールド
ＦＤ１２...［補正後］表示フィールド
ＢＴ２６...［手動補正］ボタン
ＷＤ３...［手動補正］ウィンドウ
ＦＤ２１...［元画像］表示フィールド
ＦＤ２２...［補正後］表示フィールド
ＬＹ...レイヤ
ＥＰ...輪郭画像データ
ＣＳ...カーソル
ＥＧ...終端
θ１、θ２...手ブレの方向
ｍ１、ｍ２...手ブレの程度
ＸＧＳ...輪郭強調注目画像データ

Claims (18)

1. 撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正装置であって、
   前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示するウィンドウ表示手段と、
   前記補正前画像の少なくとも一部の輪郭を示す輪郭画像を前記補正前画像に重畳させ、位置あわせをして配置し表示させる輪郭画像配置手段と、
   操作者からの入力装置を用いた操作指令に基づいて、前記輪郭画像の配置位置を移動する輪郭画像移動手段と、
   前記輪郭画像移動手段による移動により、前記輪郭画像が前記補正前画像における前記輪郭に対応する手ブレ部分の終端に重ね合わされたものとして、前記移動についての方向と距離を、前記手ブレの方向と程度として検出する手ブレ方向・程度検出手段と、
   該検出された前記手ブレの方向と程度に基づいて、前記撮影画像の手ブレの補正を実行する手ブレ補正手段と
   を備える手ブレ画像補正装置。
2. 請求項１に記載の手ブレ画像補正装置であって、
   前記輪郭画像移動手段は、
   前記入力装置としてのマウスからのドラッグ操作を受け付けて、該ドラッグ操作に応じて、前記輪郭画像を移動する構成である手ブレ画像補正装置。
3. 請求項１または２に記載の手ブレ画像補正装置であって、
   前記ウィンドウに表示される前記補正前画像についての輪郭を強調する補正前画像輪郭強調手段を備える手ブレ画像補正装置。
4. 請求項１ないし３のいずれかに記載の手ブレ画像補正装置であって、
   前記ウィンドウ表示手段は、
   前記ウィンドウに、前記補正前画像に加えて、前記手ブレ補正手段による補正後画像を表わす補正後画像表示手段を備える手ブレ画像補正装置。
5. 請求項４に記載の手ブレ画像補正装置であって、
   前記ウィンドウ表示手段は、
   前記補正前画像を、前記補正後画像と比べて表示倍率を高くして表示させる補正前画像拡大表示手段
   を備える手ブレ画像補正装置。
6. 請求項１ないし３のいずれかに記載の手ブレ画像補正装置であって、
   前記ウィンドウ表示手段は、
   前記補正前画像を、前記手ブレ方向・程度検出手段により検出された前記手ブレの程度が小さいほど、表示倍率を高くして表示させる補正前画像拡大表示手段を備える手ブレ画像補正装置。
7. 請求項６に記載の手ブレ画像補正装置であって、
   前記手ブレ方向・程度検出手段は、
   前記撮影画像の画素毎に手ブレの方向と程度を検出する各画素手ブレ検出手段と、
   前記各画素手ブレ検出手段により検出された手ブレの程度が最も大きいエッジ部を検出するエッジ検出手段と、
   前記エッジ検出手段により検出された前記エッジ部の手ブレの方向と程度を、前記撮影画像全体の手ブレの方向と程度に定める手ブレ決定手段と
   を備える手ブレ画像補正装置。
8. 請求項７に記載の手ブレ画像補正装置であって、
   前記補正前画像拡大表示手段は、
   前記エッジ検出手段により検出されたエッジ部を少なくとも含む領域を拡大表示させる構成である手ブレ画像補正装置。
9. 請求項１ないし８いずれかに記載の手ブレ画像補正装置であって、
   前記手ブレ補正手段は、
   前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定するフィルタ設定手段と、
   該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なうフィルタ演算手段と、
   前記撮影画像と前記フィルタ演算手段により得られた画像との差分を演算する画像差分演算手段と、
   前記撮影画像に対して前記差分を合成することにより前記補正後画像を生成する画像合成手段と
   を備える手ブレ画像補正装置。
10. 撮影装置で撮影して得られた撮影画像の手ブレを補正する手ブレ画像補正方法であって、
    （ａ）前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示する行程と、
    （ｂ）前記補正前画像の少なくとも一部の輪郭を示す輪郭画像を前記補正前画像に重畳させ、位置あわせをして配置し表示させる行程と、
    （ｃ）操作者からの入力装置を用いた操作指令に基づいて、前記輪郭画像の配置位置を移動する行程と、
    （ｄ）前記行程（ｃ）による移動により、前記輪郭画像が前記補正前画像における前記輪郭に対応する手ブレ部分の終端に重ね合わされたものとして、前記移動についての方向と距離を、前記手ブレの方向と程度として検出する行程と、
    （ｅ）該検出された前記手ブレの方向と程度に基づいて、前記撮影画像の手ブレの補正を実行する行程と
    を備える手ブレ画像補正方法。
11. 撮影装置で撮影して得られた撮影画像の手ブレを補正するためのコンピュータプログラムであって、
    （ａ）前記撮影画像の全体もしくは一部についての前記手ブレを補正する以前の補正前画像を表わすウィンドウを表示装置に表示する機能と、
    （ｂ）前記補正前画像の少なくとも一部の輪郭を示す輪郭画像を前記補正前画像に重畳させ、位置あわせをして配置し表示させる機能と、
    （ｃ）操作者からの入力装置を用いた操作指令に基づいて、前記輪郭画像の配置位置を移動する機能と、
    （ｄ）前記機能（ｃ）による移動により、前記輪郭画像が前記補正前画像における前記輪郭に対応する手ブレ部分の終端に重ね合わされたものとして、前記移動についての方向と距離を、前記手ブレの方向と程度として検出する機能と、
    （ｅ）該検出された前記手ブレの方向と程度に基づいて、前記撮影画像の手ブレの補正を実行する機能と
    をコンピュータに実現させるためのコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムであって、
    前記機能（ｃ）は、
    前記入力装置としてのマウスからのドラッグ操作を受け付けて、該ドラッグ操作に応じて、前記輪郭画像を移動する構成であるコンピュータプログラム。
13. 請求項１１または１２に記載のコンピュータプログラムであって、
    （ｆ）前記ウィンドウに表示される前記補正前画像についての輪郭を強調する機能を備えるコンピュータプログラム。
14. 請求項１１ないし１３のいずれかに記載のコンピュータプログラムであって、
    前記機能（ａ）は、
    （ａ−１）前記ウィンドウに、前記補正前画像に加えて、前記機能（ｅ）による補正後画像を表わす機能
    を備えるコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムであって、
    前記機能（ａ）は、
    （ａ−２）前記補正前画像を、前記補正後画像と比べて表示倍率を高くして表示させる機能
    備えるコンピュータプログラム。
16. 請求項１１ないし１３のいずれかに記載のコンピュータプログラムであって、
    前記機能（ａ）は、
    （ａ−１）前記補正前画像を、前記機能（ｄ）により検出された前記手ブレの程度が小さいほど、表示倍率を高くして表示させる機能を備えるコンピュータプログラム。
17. 請求項１１ないし１６のいずれかに記載のコンピュータプログラムであって、
    前記機能（ｅ）は、
    （ｅ−１）前記手ブレの方向と程度に基づいて、動作ぼかしを掛けるモーションブラーフィルタを設定する機能と、
    （ｅ−２）該設定されたモーションブラーフィルタを用いて、前記撮影画像に対して演算処理を行なう機能と、
    （ｅ−３）前記撮影画像と前記機能（ｅ−２）により得られた画像との差分を演算する機能と、
    （ｅ−４）前記撮影画像に対して前記差分を合成することにより前記補正後画像を生成する機能と
    を備えるコンピュータプログラム。
18. 請求項１１ないし１７のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images