JP4487191B2

JP4487191B2 - 画像処理装置および画像処理プログラム

Info

Publication number: JP4487191B2
Application number: JP2004374269A
Authority: JP
Inventors: 雅昭佐々木; 紳一松井
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2004-12-24
Filing date: 2004-12-24
Publication date: 2010-06-23
Anticipated expiration: 2024-12-24
Also published as: EP1828982A1; CN101076832B; KR20070088528A; EP1828982B1; US7496287B2; US20070014554A1; WO2006068299A1; CN101076832A; DE602005023653D1; JP2006180429A; KR100886298B1

Description

本発明は、例えばデジタルカメラやデジタルビデオカメラに用いて好適な画像処理装置および画像処理プログラムに関する。

従来より画像処理にて手ぶれ補正する技術が知られている。例えば特許文献１には、露光量の異なる複数の画像を撮像し、これら画像の内、一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出し、検出した動きベクトルに基づき画像のぶれが「被写体ぶれ」あるいは「手ぶれ」のいずれであるかを判断し、「手ぶれ」の場合には、「手ぶれ」に起因する画角のずれに対応した被写体や背景等の位置ずれを相殺するように、連続する各画像の位置合わせをしてから１つの画像に重ね合わせて手ぶれ補正する装置が開示されている。

特開２００３−１３４３８５号公報

ところで、被写体や背景等の位置ずれを相殺するように、連続する各画像を重ね合わせて手ぶれ補正するには、重ね合わせる画像の一つ一つが手ぶれを含まない短時間露出画像として撮像され、しかも被写体や背景のずれを認識できる程度の鮮明さを備えていることが前提条件になる。この前提条件は、十分に明るい撮影環境であれば両立するが、光量が不足すれば何れか一方を犠牲にせざるを得ない。
また、別の手ぶれ補正の手法として、ぶれた画像に対し逆変換フィルタをかけることでぶれを目立たなくさせる技術もある。こうした技術を上記の個々の短時間露出画像に適用することも考え得るがこれにも問題が生じる。すなわち、上記のような露光不足の画像は撮像素子の持つノイズを多く含んでおり、一方、手ぶれ補正用の逆変換フィルタは一般に高域を強調する特性がある為、逆にノイズ成分を強調してしまうことから根本的な解決に至らない。

そこで本発明は、このような事情に鑑みてなされたもので、夜間や暗い室内など長時間露出を必要とする環境で撮影された画像でも手ぶれ補正することができる画像処理装置および画像処理プログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明では、連続した複数の画像の特徴点の動きから各画像のぶれ方向を判別し、同じぶれ方向の画像をグループ化するグループ化手段と、前記グループ化手段によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成手段と、前記グループ合成画像生成手段により生成された各グループ毎のグループ合成画像に対してそれぞれ対応するぶれ方向成分を補正し、補正された各グループ合成画像の特徴点が一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成手段とを具備することを特徴とする。

請求項２に記載の発明では、所定時間の露光を繰り返して撮像してなる連続した複数フレームの画像から特徴点を抽出する抽出手段と、前記抽出手段により抽出された先フレームの画像の特徴点を参照して次フレームの画像の動きベクトルを検出し、検出した動きベクトルから先フレームの画像のぶれ方向を判別する操作を繰り返して各フレームの画像のぶれ方向を判別する判別手段と、前記判別手段により判別された各フレームの画像のぶれ方向を参照して同じぶれ方向の画像を選び出してグループ化するグループ化手段と、前記グループ化手段によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成手段と、前記グループ合成画像生成手段により生成された各グループ合成画像のそれぞれに、対応するぶれ方向成分を補正する逆変換フィルタリングを施してグループ別の手ぶれ補正を行う補正手段と、前記補正手段により手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成手段とを具備することを特徴とする。

請求項３に記載の発明では、連続した複数の画像の特徴点の動きから各画像のぶれ方向を判別し、同じぶれ方向の画像をグループ化するグループ化処理と、前記グループ化処理によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成処理と、前記グループ合成画像生成処理により生成された各グループ毎のグループ合成画像に対してそれぞれ対応するぶれ方向成分を補正し、補正された各グループ合成画像の特徴点が一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成処理とをコンピュータで実行させることを特徴とする。

請求項４に記載の発明では、所定時間の露光を繰り返して撮像してなる連続した複数フレームの画像から特徴点を抽出する抽出処理と、前記抽出処理により抽出された先フレームの画像の特徴点を参照して次フレームの画像の動きベクトルを検出し、検出した動きベクトルから先フレームの画像のぶれ方向を判別する操作を繰り返して各フレームの画像のぶれ方向を判別する判別処理と、前記判別処理により判別された各フレームの画像のぶれ方向を参照して同じぶれ方向の画像を選び出してグループ化するグループ化処理と、前記グループ化処理によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成処理と、前記グループ合成画像生成処理により生成された各グループ合成画像のそれぞれに、対応するぶれ方向成分を補正する逆変換フィルタリングを施してグループ別の手ぶれ補正を行う補正処理と、前記補正処理により手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成処理とをコンピュータで実行させることを特徴とする。

請求項１、３に記載の発明によれば、連続した複数の画像の特徴点の動きから各画像のぶれ方向を判別し、同じぶれ方向の画像をグループ化する。そして、グループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を各グループ毎に生成する。生成された各グループ毎のグループ合成画像に対してそれぞれ対応するぶれ方向成分を補正し、補正された各グループ合成画像の特徴点が一致するように位置補正して重ね合わせた手ぶれ補正画像を生成するので、夜間や暗い室内など長時間露出を必要とする環境で撮影された画像でも手ぶれ補正することができる。

請求項２、４に記載の発明によれば、所定時間の露光を繰り返して撮像してなる連続した複数フレームの画像から特徴点を抽出すると、抽出された先フレームの画像の特徴点を参照して次フレームの画像の動きベクトルを検出し、検出した動きベクトルから先フレームの画像のぶれ方向を判別する操作を繰り返して各フレームの画像のぶれ方向を判別する。そして、判別された各フレームの画像のぶれ方向を参照して同じぶれ方向の画像を選び出してグループ化し、グループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を各グループ毎に生成する。生成された各グループ合成画像のそれぞれに、対応するぶれ方向成分を補正する逆変換フィルタリングを施してグループ別の手ぶれ補正を行った後、手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わせた手ぶれ補正画像を生成するので、夜間や暗い室内など長時間露出を必要とする環境で撮影された画像でも手ぶれ補正することができる。

以下、本発明の実施の形態について図面を参照して説明する。
Ａ．構成
（１）全体構成
図１は、本発明の一実施形態であるデジタルカメラの概略構成を示すブロック図である。この図において、操作部１０は、電源スイッチやシャッターキー等の各種操作キーを有し、キー操作に応じたキーイベントを発生して制御部２０に供給する。制御部２０は、ＣＰＵ等から構成され、操作部１０から入力されるキーイベントに応じて各部を制御する制御信号を発生する。撮像部３０は、撮影レンズ群およびシャッタ機構を備える光学系と、被写体像を撮像して所定のフレーム周期でカラー画像信号を生成するＣＣＤ等のカラーイメージセンサとを有し、制御部２０から供給される制御信号に基づいて設定されるシャッター速度や露出値に従って撮像して得た画像信号を出力する。

夜間や暗い室内など長時間露出を必要とする環境で撮影する場合、撮像部３０では、図２（ａ）に図示する通常撮影時の露光時間Ｔに対し、短時間ΔＴの露光をＮ回繰り返してＮフレーム分の画像信号を連続的に生成する手ぶれ防止撮影（同図（ｂ）参照）を行う。手ぶれ防止撮影時の総露光時間Ｔは、１フレーム当りの露光時間ΔＴの総和ΣΔＴとなり、これは通常撮影時の露光時間Ｔに一致する。こうした手ぶれ防止撮影が意図するところについては追って述べる。

画像処理部４０は、撮像部３０から入力される画像信号を、輝度成分および色差成分とからなる画像データに変換し、制御部２０から供給される制御信号に従って各種画像処理を施す。ここで言う各種画像処理とは、例えばホワイトバランス補正や、操作部１０のメニューキー操作で選択された撮影モードに対応してシャープネスやコントラスト等の画質調整処理の他、後述する手ぶれ補正処理を指す。画像処理部４０が実行する手ぶれ補正処理については後述する。表示部５０は、制御部２０の制御の下に、画像処理部４０が出力する画像データを画面表示したり、画像記憶部６０に記憶された画像データを画面表示する。画像記憶部６０は、制御部２０の制御の下に、画像処理部４０が出力する画像データを記録する。

（２）画像処理部４０の構成
図２は画像処理部４０の構成を示すブロック図である。この図に示す構成は、画像処理部４０が実行する手ぶれ補正処理に対応した機能要素を図示している。図２において、信号処理部４１は、撮像部３０から入力される画像信号を、輝度成分および色差成分とからなる画像データに変換する。夜間や暗い室内など長時間露出を必要とする環境で撮影する場合、信号処理部４１には、図２（ｂ）に図示した通り、Ｎフレーム分の画像データが連続的に撮像部３０から供給される。

特徴点抽出部４２は、信号処理部４１から連続的に入力されるＮフレーム分の画像データからそれぞれ複数の特徴点を抽出する。特徴点とは、輝度又は色が周囲と大きく相違する画素（ピクセル）を指す。具体的には、例えば図４（ａ）に図示するように、撮像部３０から供給されるフレーム画像がノートパソコンを被写体として撮影した画像Ａであるとすると、この画像Ａ中では、被写体のエッジ部分などが特徴点（図中の黒丸で図示）として抽出される。抽出される特徴点は、輝度や色など固有のパラメータを有し、それぞれ独立した属性を持つデータとして扱われる。
一時記憶メモリ４３は、特徴点抽出部４２により抽出された複数の特徴点と、特徴点抽出したフレームの画像データとを組にして一時記憶する。この一時記憶メモリ４３は、画像処理部４０が備える個別のメモリであっても良いし、前述した画像記憶部６０が有するメモリ領域の一部を用いる形態としても構わない。

動き検出部４４は、一時記憶メモリ４３に記憶される先フレーム画像の特徴点を参照して、信号処理部４１から出力される次フレーム画像の動きベクトルを検出し、次フレーム画像に対して先フレーム画像がどの方向にぶれたかを決定する。
動きベクトル検出とは、図４（ｂ）に図示するように、先フレーム画像中の特徴点Ｐの位置を次フレーム画像に射影し、その射影点から所定範囲に特徴点Ｐと一致する属性の類似特徴点が存在する場合に、射影点と類似特徴点との差分（ｄｘ，ｄｙ）を求める処理である。射影点に対応する類似特徴点が検索されない場合には、他の特徴点を用いて動きベクトルを検出する。動き検出部４４では、一時記憶メモリ４３から読み出した先フレームの画像データに、決定した「ぶれの方向」を属性として付加して次段のグループ分け制御部４５に出力する。

グループ分け制御部４５では、動き検出部４４から出力され、「ぶれの方向」が属性として付与されたフレームの画像データについて、その属性を参照してグループ分けを行う。本実施の形態では、説明の簡略化を図る為、ぶれの方向θを図５に示すように、「π／８＜θ＜３π／８又は９π／８＜θ＜１１π／８」、「３π／８＜θ＜５π／８又は１１π／８＜θ＜１３π／８」、「５π／８＜θ＜７π／８又は１３π／８＜θ＜１５π／８」および「１５π／８＜θ＜π／８又は７π／８＜θ＜９π／８」の４つのグループに分けるようになっている。

グループ保存メモリ４６は、上記４つのグループに各々対応した記憶エリア１〜４を備え、グループ分け制御部４５によりグループ分けされた画像データを対応する記憶エリアにグループ登録する。なお、このグループ保存メモリ４６は、画像処理部４０が備える個別のメモリであっても良いし、前述した画像記憶部６０が有するメモリ領域の一部を用いる形態としても構わない。

画像合成部４７は、上記グループ保存メモリ４６に、画像データが新たにグループ登録される毎に、先に登録済みの画像データの特徴点と、新たに登録しようとする画像データの特徴点とが重なり合うように位置補正した後に１つの画像データに加算合成したグループ合成画像データを形成する。したがって、連続的に撮影されたＮフレーム分の各画像データが全てグループ化されてグループ保存メモリ４６にグループ登録された状態では、各グループに対応する記憶エリアには最大で１つのグループ合成画像データが格納されることになる。

また、画像合成部４７では、連続的に撮影されたＮフレーム分の各画像データの全てがグループ化されてグループ保存メモリ４６にグループ登録された時点で、当該グループ保存メモリ４６から各グループ毎のグループ合成画像データを読み出し、読み出したグループ合成画像データに対し、対応する方向の逆変換フィルタ処理を施してグループ別の手ぶれ補正を行う。以下、画像合成部４７にて行われる逆変換フィルタ処理の概要について述べる。

いま例えば、ある特徴点（ｘ_０，ｙ_０）を補正することを考える。上述したように、画像合成部４７では、ぶれの方向毎に１つのグループ合成画像データを形成しているので、特徴点（ｘ_０，ｙ_０）を原点として、ぶれの方向に新たなｘ軸と、これに直交する新たなｙ軸とを定める。そうすると、各々のｙ値に対して同一の処理を行うので、画像は１つの変数ｘで表すことができる。ぶれていない画像をｆ（ｘ）、ぶれた画像をｇ（ｘ）、画像のぶれ具合（ＰＳＦ）をｈ（ｘ）とすると、これらは次式（１）で表される。
ｇ（ｘ）＝ｆ（ｘ）＊ｈ（ｘ） …（１）
ここで、＊はコンボリューション（畳み込み演算）を表す。

さて、上記（１）式におけるｆ（ｘ）、ｇ（ｘ）およびｈ（ｘ）をそれぞれフーリエ変換したものをＦ、Ｇ、Ｈとすると、上記（１）式は次式（２）で表現でできる。
Ｇ（ｕ）＝Ｆ（ｕ）×Ｈ（ｕ） …（２）
つまり、単純な乗算で表現されるから、上記（２）式の両辺をＨ（ｕ）で除算すすると、次式（３）となる。
Ｆ（ｕ）＝Ｇ（ｕ）／Ｈ（ｕ） …（３）
上記（１）〜（３）式より、画像のぶれ具合（ＰＳＦ）であるｈ（ｘ）が判れば、ぶれた画像のフーリエ変換Ｇ（ｕ）を、ぶれ具合のフーリエ変換Ｈ（ｕ）で除算し、それを逆フーリエ変換することによってぶれていない画像ｆ（ｘ）を得ることができる。これにより、逆変換フィルタＭ（ｕ）は次式（４）で表現される。
Ｍ（ｕ）＝１／Ｈ（ｕ） …（４）

次に、ｈ（ｘ）を具体的に求める。例えば、ぶれ幅が５ピクセルで、あるぶれ画像を補正する場合を想定する。露出時間中一定速度でぶれていると仮定して、撮影後に得られた画像の、ある任意の１ピクセルの画像データは、ぶれていない画像の５ピクセル分の画像データの平均値と考えてもよい。
すなわち、ぶれ具合ｈ（ｘ）は、｜ｘ｜＜２．５の場合に「１／５」、｜ｘ｜≧２．５の場合に「０」となる。こうした特性のぶれ具合ｈ（ｘ）を上記（１）式に代入することで逆変換フィルタＭ（ｕ）を求めることができる。なお、この逆変換フィルタＭ（ｕ）は、ノイズ混入を考慮しない理想的なものであり、実際には周知のウィーナーフィルタリングによる画像復元手法を用いればよい。

前述した通り、画像合成部４７では、ぶれの方向毎に１つのグループ合成画像データを形成している為、画像データに重畳されるＣＣＤノイズなどが平均化されてＳＮ比が改善され、これにさらに上述の逆変換フィルタＭ（ｕ）を用いた逆フィルタ処理を行うことによって手ぶれ補正が効果的に行われる訳である。画像合成部４７では、こうして逆変換フィルタ処理された各グループ毎のグループ合成画像データについて、互いの特徴点が重なり合うように位置補正して加算合成した手ぶれ補正画像データを発生し、制御部２０（図１参照）を介して表示部５０に画像表示するか、あるいは画像記憶部６０に記憶させる。

Ｂ．動作
次に、図６〜図８を参照して、上記構成による実施形態において実行される手振れ補正処理の動作を説明する。なお、図６は画像処理部４０が実行する手ぶれ補正処理の概略動作を示すフローチャート、図７は特徴点抽出部４２が実行する特徴点抽出処理の動作を示すフローチャート、図８は動き検出部４４、グループ分け制御部４５および画像合成部４７が実行する移動方向分類処理の動作を示すフローチャートである。

制御部２０からの指示に応じて、撮像部３０が短時間ΔＴの露光をＮ回繰り返してＮフレーム分の画像信号を連続的に発生する手ぶれ防止撮影（図２参照）を行うと、画像処理部４０は、手ぶれ防止撮影により生じるＮフレーム分の画像信号について図６に図示する手ぶれ補正処理を施す。
すなわち、先ずステップＳＡ１では、撮像部３０から入力される画像信号を画像データに変換する。続いて、ステップＳＡ２では、入力される画像データから複数の特徴点を抽出する特徴点抽出処理を実行する。特徴点抽出処理は、図７に図示するステップＳＢ１〜ＳＢ４から構成される。

図７に図示するステップＳＢ１，ＳＢ４では、入力されるフレーム画像の各画素を順次走査して行き、輝度又は色が周囲と大きく相違する画素を検索する。その条件に該当する画素が検索されると、ステップＳＢ１の判断結果が「ＹＥＳ」になり、ステップＳＢ２に進み、該当する画素を特徴点として抽出する。抽出された特徴点は、輝度や色など固有のパラメータを有し、それぞれ独立した属性を持つデータとして、抽出対象の画像データと共に、前述した一時記憶メモリ４３に記憶される。

次に、ステップＳＢ３では、抽出対象のフレームの画像データから所定数の特徴点を抽出し終えたか否かを判断する。所定数の特徴点を抽出し終えていなければ、判断結果は「ＮＯ」になり、ステップＳＢ４に進み、画素走査を継続する。一方、所定数の特徴点を抽出し終えると、判断結果が「ＹＥＳ」になり、本処理を終える。この後、図６に図示するステップＳＡ３を介して図８に図示する移動方向分類処理を実行する。

移動方向分類処理が実行されると、図８に示すステップＳＣ１に進み、一時記憶メモリ４３に記憶された先フレーム画像の特徴点を参照して、次フレーム画像の動きベクトルを検出し、次フレーム画像に対して先フレーム画像がどの方向にぶれたかを決定すると共に、一時記憶メモリ４３から読み出した先フレームの画像データに、決定した「ぶれの方向」を属性として付加してグループ分け制御部４５に出力する。

グループ分け制御部４５は、ステップＳＣ２〜ＳＣ４を実行し、画像データに付加された属性を参照して、ぶれの方向θに応じて当該画像データをグループ保存メモリ４６にグループ登録する。すなわち、ぶれの方向θが「π／８＜θ＜３π／８又は９π／８＜θ＜１１π／８」であれば、ステップＳＣ２の判断結果が「ＹＥＳ」になり、該当する画像データをグループ保存メモリ４６の記憶エリア１にグループ登録する。
ぶれの方向θが「３π／８＜θ＜５π／８又は１１π／８＜θ＜１３π／８」であれば、ステップＳＣ３の判断結果が「ＹＥＳ」になり、該当する画像データをグループ保存メモリ４６の記憶エリア２にグループ登録する。
ぶれの方向θが「５π／８＜θ＜７π／８又は１３π／８＜θ＜１５π／８」であれば、ステップＳＣ４の判断結果が「ＹＥＳ」になり、該当する画像データをグループ保存メモリ４６の記憶エリア３にグループ登録する。
ぶれの方向θが「１５π／８＜θ＜π／８又は７π／８＜θ＜９π／８」の場合には、上記ステップＳＣ２〜ＳＣ４の各判断結果が「ＮＯ」になり、該当する画像データをグループ保存メモリ４６の記憶エリア４にグループ登録する。

画像合成部４７は、ステップＳＣ５〜ＳＣ８を実行する。すなわち、上記グループ保存メモリ４６に、画像データが新たにグループ登録される毎に、先に登録された画像データの特徴点と、新たに登録しようとする画像データの特徴点とが重なり合うように位置補正した後に１つの画像データに加算合成したグループ合成画像データを形成する。そして、連続的に撮影されたＮフレーム分の各画像データが全てグループ分けされてグループ保存メモリ４６にグループ登録されると、ステップＳＣ９の判断結果が「ＹＥＳ」になり、本処理を完了させ、図６に図示するステップＳＡ４の方向別フィルタ処理を実行する。

ステップＳＡ４では、連続的に撮影されたＮフレーム分の各画像データの全てがグループ分けされてグループ保存メモリ４６にグループ登録された時点で、画像合成部４７が当該グループ保存メモリ４６から各グループ毎のグループ合成画像データを読み出し、読み出したグループ合成画像データに逆フィルタ処理を施してグループ別の手ぶれ補正を行う。この後、ステップＳＡ５に進み、画像合成部４７が、逆フィルタ処理された各グループ毎のグループ合成画像データについて、互いの特徴点が重なり合うように位置補正して加算合成した手ぶれ補正画像データを発生する。

以上のように、本実施形態では、短時間露光を繰り返して得た複数フレームの画像からそれぞれ特徴点を抽出すると共に、抽出された先フレーム画像の特徴点を参照して次フレーム画像の動きベクトルを検出し、検出した動きベクトルから先フレーム画像のぶれ方向を判定する。そして、この判定結果に基づき複数フレームの画像から同じぶれ方向の画像を選び出してグループ化する一方、グループ化された画像同士の特徴点が互いに一致するように位置補正して重ね合わされたグループ合成画像を各グループ毎に形成する。この後、グループに対応付けられたぶれ方向成分を補正する逆変換フィルタ処理をグループ合成画像データに施してグループ別の手ぶれ補正を行い、手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わされた手ぶれ補正画像を発生する。

したがって、ぶれの方向を揃えてグループ化することによって、ぶれが生じていない方向の精度を落とすことなくノイズ除去（ノイズ平均化）することが出来る上、必要な方向にのみ効果のある逆変換フィルタを用いることでぶれの生じていない方向への悪影響を与えることなくボケ修正が可能になり、さらにノイズ除去とボケ修正とを行った後の画像を重ね合わせることで鮮明度を損うことなく露光不足を補う結果、夜間や暗い室内など長時間露出を必要とする環境で撮影された画像でも手ぶれ補正することが出来るようになっている。

本発明の一実施形態の構成を示すブロック図である。手ぶれ防止撮影時の露光形態を説明するための図である。画像処理部４０の構成を示すブロック図である。特徴点抽出を説明するための図である。グループ分け制御部４５が行うグループ分けの一例を示す図である。手ぶれ補正処理の動作を示すフローチャートである。特徴点抽出処理の動作を示すフローチャートである。移動方向分類処理の動作を示すフローチャートである。

符号の説明

１０操作部
２０制御部
３０撮像部
４０画像処理部
４１信号処理部
４２特徴点抽出部
４３一時記憶メモリ
４４動き検出部
４５グループ分け制御部
４６グループ保存メモリ
４７画像合成部
５０表示部
６０画像記憶部

Claims

連続した複数の画像の特徴点の動きから各画像のぶれ方向を判別し、同じぶれ方向の画像をグループ化するグループ化手段と、
前記グループ化手段によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成手段と、
前記グループ合成画像生成手段により生成された各グループ毎のグループ合成画像に対してそれぞれ対応するぶれ方向成分を補正し、補正された各グループ合成画像の特徴点が一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成手段と
を具備することを特徴とする画像処理装置。
所定時間の露光を繰り返して撮像してなる連続した複数フレームの画像から特徴点を抽出する抽出手段と、
前記抽出手段により抽出された先フレームの画像の特徴点を参照して次フレームの画像の動きベクトルを検出し、検出した動きベクトルから先フレームの画像のぶれ方向を判別する操作を繰り返して各フレームの画像のぶれ方向を判別する判別手段と、
前記判別手段により判別された各フレームの画像のぶれ方向を参照して同じぶれ方向の画像を選び出してグループ化するグループ化手段と、
前記グループ化手段によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成手段と、
前記グループ合成画像生成手段により生成された各グループ合成画像のそれぞれに、対応するぶれ方向成分を補正する逆変換フィルタリングを施してグループ別の手ぶれ補正を行う補正手段と、
前記補正手段により手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成手段と
を具備することを特徴とする画像処理装置。
連続した複数の画像の特徴点の動きから各画像のぶれ方向を判別し、同じぶれ方向の画像をグループ化するグループ化処理と、
前記グループ化処理によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成処理と、
前記グループ合成画像生成処理により生成された各グループ毎のグループ合成画像に対してそれぞれ対応するぶれ方向成分を補正し、補正された各グループ合成画像の特徴点が一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成処理と
をコンピュータで実行させることを特徴とする画像処理プログラム。
所定時間の露光を繰り返して撮像してなる連続した複数フレームの画像から特徴点を抽出する抽出処理と、
前記抽出処理により抽出された先フレームの画像の特徴点を参照して次フレームの画像の動きベクトルを検出し、検出した動きベクトルから先フレームの画像のぶれ方向を判別する操作を繰り返して各フレームの画像のぶれ方向を判別する判別処理と、
前記判別処理により判別された各フレームの画像のぶれ方向を参照して同じぶれ方向の画像を選び出してグループ化するグループ化処理と、
前記グループ化処理によりグループ化された画像同士の特徴点が一致するように位置補正して重ね合わせたグループ合成画像を、各グループ毎に生成するグループ合成画像生成処理と、
前記グループ合成画像生成処理により生成された各グループ合成画像のそれぞれに、対応するぶれ方向成分を補正する逆変換フィルタリングを施してグループ別の手ぶれ補正を行う補正処理と、
前記補正処理により手ぶれ補正された各グループ合成画像同士の特徴点が互いに一致するように位置補正して重ね合わせた手ぶれ補正画像を生成する補正画像生成処理と
をコンピュータで実行させることを特徴とする画像処理プログラム。