JP4325625B2 - 画像処理装置、画像処理方法、そのプログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像を利用して一の静止画像を生成する画像処理装置，画像処理方法およびコンピュータプログラム，記録媒体に関する。

従来から、複数の画像を合成して一枚の高解像度の画像を生成する画像処理装置および画像処理方法がある。例えば、デジタルビデオカメラで撮影された動画像から１シーンを決定し、決定した１フレームの画像よりも高解像度（高い画素密度）の静止画像を生成する技術が知られている。この技術では、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準画像として選択し、この基準画像に対する他のｎ枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して静止画像を生成している（例えば、特開２０００−２４４８５１号公報参照）。こうした画像の合成処理方法は、単に１フレーム画像を解像度変換する方法に比べ、画像を高画質、鮮明なものとすることができるとされている。

しかしながら、こうした画像処理技術では、画像の合成処理に時間を費やしても、常に高解像度の静止画像を生成できるとは限らないという問題があった。例えば、静止画像を生成する際に使用する一のフレーム画像自体にブレが含まれているような場合には、それを用いて画像の合成処理を実行しても、時間をかけた割には、満足のいく静止画像が得られない。
本発明は、こうした問題を解決し、複数の画像から一の高解像度の画像を生成する際に、効率的な画像処理を実行することを目的とする。
本発明の第１の画像処理装置は、上記課題の少なくとも一部を解決するため、以下の手法を採った。すなわち、複数の画像から画素密度の高い静止画像を生成する画像処理装置であって、前記静止画像の生成に用いる複数の画像を抽出する画像抽出手段と、前記抽出した複数の画像間のずれ量を検出するずれ量検出手段と、前記検出したずれ量に基づいて、前記抽出した複数の画像の中から２以上の画像を特定する特定手段と、前記特定された２以上の画像を合成して一の静止画像を生成する画像合成手段とを備えたことを要旨としている。
また、本発明の第１の画像処理方法は、複数の画像から画素密度の高い静止画像を生成する画像処理方法であって、前記静止画像の生成に用いる複数の画像を抽出し、前記抽出した複数の画像間のずれ量を検出し、前記検出したずれ量に基づいて、前記抽出した複数の画像の中から２以上の画像を特定し、前記特定された２以外の画像を合成して一の静止画像を生成することを要旨としている。
第１の画像処理装置および画像処理方法（第１の画像処理という）によれば、複数の画像間のずれ量を検出し、そのずれ量に基づいて、２以上の画像を、画像の合成処理に先立って、特定する。つまり、画像の合成に供される２以上の画像は、画像間のずれ量に基づいて特定されていることになり、画像合成の処理を効率的に行なうことができる。
上記画像処理では、前記一の静止画像の合成の基準となる画像を指定する構成を備え、該指定された画像に対して、予め関連付けられた順序に従って、複数の画像を抽出するものとしても良い。
かかる画像処理によれば、画素密度の高い静止画像の合成に用いようとする複数の画像の抽出は、指定された画像を基準として予め関連付けられた順序で行なわれる。合成に用いようとする複数の画像は、一の画像を指定することで自動的に抽出される。したがって、合成に用いようとする複数の画像を全て指定する必要がなく、画像の合成処理操作を容易なものとすることができる。
上記画像処理において、複数の画像は、時系列に連続する複数の画像であり、前記関連付けられた順序は、前記指定された画像から連続する時系列順であるものとしても良い。複数の画像の抽出は、指定された画像を中心として時系列で前後方向に交互の順序や、時系列で一つ置きの順序など、様々な態様が考えられるが、指定された画像から時系列で連続する順に画像を抽出することで、画像の抽出処理を簡素なものとすることができる。
上記画像処理では、一の静止画像の生成に先立って、前記画像の合成に用いる画像枚数を表示するものとしても良い。かかる画像処理によれば、画像の合成処理に使用する画像枚数をユーザが容易に認識することができる。なお、この画像枚数に加えて、あるいはこの画像枚数に代えて、合成に用いないとした画像の枚数を表示するものとしても良い。
上記画像処理において、特定された２以外の画像が所定の枚数に達しない場合には、警告を表示するものとしても良い。また、特定された２以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を実行するか否かを選択するものとしても良い。
かかる画像処理によれば、画像の合成処理に使用する画像枚数が所定枚数に達しない結果、生成される一の静止画像の効果的な鮮明化が期待できない旨を予めユーザに警告することができる。また、所定枚数に達しない状態での合成処理を実行するか否かを、ユーザに選択させることができる。
上記画像処理において、特定された２以上の画像の枚数が所定の枚数に達しない場合には、前記画像の合成を中止するものとしても良い。
かかる画像処理によれば、ある画像が閾値を超えるため除外された結果、合成に用いる画像が２枚以上、３枚以上といった任意に設定した所定枚数に達しない場合には、合成処理自体を中止する。したがって、画素密度の高い静止画像を期待できない場合には、処理時間のかかる合成処理を行なうことなく、早い段階で合成処理を中止することができる。例えば、所定枚数の設定により、検出した画像間のずれ量が予め定めた閾値を超えるものが一つでもある場合には、即座に合成処理を中止するものとすることができる。
また、２以上の画像を特定するに際しては、検出されたずれ量が所定の閾値を超える画像を前記抽出した複数の画像から除外するものとし、こうして除外された画像以外の画像を、前記２以上の画像として特定するものとしても良い。検出したずれ量と所定の閾値との大小を判断すれば、画像合成に用いにくい画像を容易に見出すことができるからである。
上記画像処理おいて検出したずれ量は、画像間の並進方向の並進ずれ量および／または回転方向の回転ずれ量とすることができ、この並進ずれ量および／または回転ずれ量が所定の閾値を超える画像を除外するものとしても良い。
上記画像処理において、所定の閾値は、特定の値として設定しても良いし、合成しようとする画像の画素数に対して所定の割合として定めることも可能である。例えば縦横の画素数の数％から１０％として定めても良い。もとより、固定値としても良い。例えば、並進ずれ量の場合には、判断する所定の閾値は、±１６画素程度とし、回転ずれの場合には、判断する所定の閾値は、±１°程度としても良い。かかる画像処理によれば、画像間の並進ずれ量が±１６画素および／または回転ずれ量が±１°、を超える画像は、画像の合成対象から除外され、または合成処理を中止する。例えば、時系列で連続する画像間の並進ずれ量がこの閾値を超える場合には、合成対象の画像自体にブレが含まれている可能がある。したがって、この閾値により判断することで、合成に貢献する可能性の低い画像を予め除外して合成処理を行なうことができ、または、合成処理を中止することができる。
上記画像処理に使用する複数の画像は、動画像に含まれる複数のフレーム画像であるものとしても良い。通常、低解像度である複数のフレーム画像を合成して、一の高解像度の静止画像を生成する場合に特に有効である。
上記画像処理に使用する複数の画像は、撮影時の撮影対象の明るさによって変化する露光時間の情報を有する複数の静止画像とすることができ、露光時間に基づいて、前記静止画像毎に前記所定の閾値を設定するものとしても良い。
かかる画像処理によれば、各静止画像が有する撮影時の露光時間の情報から、各静止画像毎に画像間のずれ量に対する閾値を設定する。つまり、ずれ量を検出する対象となる２つの画像の撮影時間間隔と露光時間との時間比率から、一の静止画像の露光時間内における許容ずれ量を検討し、閾値を設定する。こうすることで、一律に固定された閾値ではなく、各静止画像に対応した閾値を適応的に設定することができる。
本発明は、コンピュータプログラムプロダクトおよびコンピュータプログラムを記録した媒体としても実装することができる。

図１は、本発明の第１実施例としての画像処理システムを示す説明図である。
図２は、第１実施例の画像処理のフローチャートである。
図３は、２つの画像の位置ずれを示す説明図である。
図４は、勾配法による並進ずれ量の算出方法を示す説明図である。
図５は、画素の回転ずれ量を模式的に示す説明図である。
図６は、画像のずれ量と鮮明化に貢献する範囲との関係の説明図である。
図７は、第２実施例の画像処理のフローチャートである。
図８は、第２実施例におけるずれ量検出手順の説明図である。
図９は、第３実施例の画像処理のフローチャートである。
図１０は、静止画像の撮影周期と露光時間の関係の説明図である。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像処理装置の構成
Ａ２．画像処理
Ａ３．ずれ量の検出
Ａ４．閾値の設定
Ｂ．第２実施例：
Ｂ１．画像処理
Ｃ．第３実施例：
Ｃ１．画像処理装置の構成
Ｃ２．画像処理
Ｃ３．閾値の設定
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、動画像や静止画像などの画像データを供給する画像データベース２０、画像データベース２０から入力した複数の画像に対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。
画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，ＤＶＤ２３，ハードディスク２４などの画像を取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、第１実施例の画像データデース２０に保有される画像データは、デジタルビデオカメラ２１で取得した動画像データである。以下、本実施例の画像処理にて取り扱う画像データをフレーム画像と呼ぶ。このフレーム画像は、時系列的に連続して配置された複数枚の画像であり、動画像を構成する一部である。
パーソナルコンピュータ３０は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像処理のソフトウェアをインストールするハードディスク３４、画像データベース２０，ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路３５等を有している。ハードディスク３４にインストールされたソフトウェアの画像処理は、入力した複数枚のフレーム画像を合成して一枚の高解像度の静止画像を生成する処理である。このソフトウェアをインストールしたパーソナルコンピュータ３０は、画像処理装置としての「画像抽出手段」，「ずれ量検出手段」，「除外手段」，「画像合成手段」の各機能を有する。なお、この画像処理の流れについては、後に詳しく説明する。
ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前のフレーム画像や合成処理後の静止画像を表示するディスプレイ４３などを備えている。
Ａ２．画像処理：
図２は、複数枚の画像データを合成して一の静止画像を生成する第１実施例の画像処理のフローチャートである。上述のハード構成を有する画像処理システム１００において、ユーザがキーボード４１を操作することで、パーソナルコンピュータ３０にインストールされた画像処理が開始される。
画像処理が開始すると、パーソナルコンピュータ３０は、画像データベース２０からフレーム画像データの集合である動画像データを入力し、これをディスプレイ４３上で再生する。ユーザは、静止画像として出力を所望する一シーンで再生画像の一時停止の操作を行ない、そのシーン（フレーム画像）を指定する（ステップＳ２００）。
パーソナルコンピュータ３０は、指定されたフレーム画像から時系列順に、画像処理に使用するフレー厶画像を抽出する（ステップＳ２１０）。本実施例では、フレーム画像の指定の操作タイミングから時系列的に連続する４枚のフレーム画像を入力するものとした。以下、この４枚のフレーム画像の内、ユーザが指定したもの（つまり、時系列で最初のもの）を参照フレーム画像Ｆ１と呼び、それ以外のものを対象フレーム画像（Ｆ２〜Ｆ４）と呼ぶ。なお、抽出するフレー厶画像の数はユーザが任意に設定できるものとしても良い。
パーンナルコンピュータ３０は、こうして指定・抽出された４枚のフレーム画像同士のフレーム画像間のずれ量を検出する（ステップＳ２２０）。ここで検出するずれ量とは、図３に示すように、２つの画像の「位置のずれ」であり、並進方向のずれを表す並進ずれ量ｕ，ｖと、回転方向のずれを表す回転ずれ量δとの３つの要素で表現されるものである。パーソナルコンピュータ３０は、参照フレーム画像Ｆ１，３枚の対象フレーム画像（Ｆ２〜Ｆ４）のそれぞれとの間でずれ量（ｕ，ｖ，δ）を検出する。なお、ずれ量の検出方法については、後述する。
パーンナルコンピュータ３０は、時系列で隣接するフレーム画像間のずれ量が所定の範囲（閾値）にあるか否かの判断を行なう。例えば、対象フレーム画像Ｆ２と対象フレー厶画像Ｆ３との間のずれ量が閾値を超えるほど大きい場合には、意識的にデジタルビデオカメラ２１を動かした速いパンであると推定でき、対象フレーム画像Ｆ３自体にブレが生じている可能性が高い。パーソナルコンピュータ３０は、判断の結果、ブレが生じている可能性のある対象フレーム画像Ｆ３を合成の対象から排除する処理を行なう（ステップＳ２３０）。
なお、本実施例では、並進ずれ量ｕ，ｖについて下限値の閾値を設け、全てのフレーム画像間の並進ずれ量ｕ，ｖについての判断を行なっている。例えば、隣接する対象フレーム画像Ｆ２と対象フレーム画像Ｆ３とのずれ量、対象フレーム画像Ｆ３と対象フレーム画像Ｆ４とのずれ量は、それぞれ所定の範囲内である場合でも、対象フレーム画像Ｆ２と対象フレーム画像Ｆ４とが同一の画像であり、画像の合成に同じ対象フレーム画像を用いる必要性がない場合がある。つまり、ほとんどずれのないフレーム画像（同一の画像）であるため、画像の合成処理にはどちらか一方を使用すれば足りる。本実施例では、フレーム画像間の並進ずれ量ｕ，ｖに対して０．１画素の閾値を設け、検出したずれ量ｕ，ｖが０．１画素以下である場合には、合成の対象から除外している。
パーソナルコンピュータ３０は、除外されずに残った対象フレーム画像と参照フレーム画像Ｆ１とを用いて、画像の合成処理を行なう（ステップＳ２４０）。具体的には、参照フレーム画像Ｆ１に位置のずれを補正した対象フレーム画像（例えば対象フレーム画像Ｆ２）を重ね合わせ、両者の各画素の階調値に基づいて、合成画像の各画素の階調値を決定する。合成画像の各画素の階調値は、周知のバイリニア法を用いている。なお、バイリニア法に替えて、ニアレストネイバ法やバイキュービック法など、他の周知の方法を用いる事としても良い。このバイリニア法を用いた合成処理を、順次実行し、１枚の静止画像を生成する。
なお、本実施例では、所定の閾値に基づいて対象フレーム画像を除外した結果、合成処理に使用する対象フレーム画像の数が減っても、そのまま合成処理を実行するものとしている。この場合に、パーソナルコンピュータ３０は、画像の合成に使用した数をディスプレイ４３に表示するが、合成処理の実行に先立って、合成に使用する画像枚数を表示するものとしても良い。また、画像データベース２０から更に時系列で連続するフレーム画像（５枚目）を対象フレーム画像として抽出し、ステップＳ２２０からの処理を繰り返し、合成処理に使用する対象フレーム画像の数を常に一定に保つものとしても良い。さらに、参照フレーム画像Ｆ１より時系列で前のフレーム画像を抽出するものとしても良い。
パーソナルコンピュータ３０は、こうして合成された静止画像をディスプレイ４３上の所定の位置に表示すると共に、この処理を終了する。ユーザは、好みに応じて、この静止画像をカラープリンタ２０やハードディスク３４などに出力する操作を行なう。
この一連の画像処理では、対象フレーム画像自体にブレが含まれる画像や、ほとんど参照フレーム画像Ｆ１と同じ対象フレーム画像などの合成した画像の高解像度化、鮮明化に貢献しない対象フレーム画像を予め除外する。したがって、効率的な画像処理を行なうことができる。
Ａ３．ずれ量の検出
上述の図３に示したように、参照フレーム画像Ｆ１と対象フレーム画像Ｆ２との位置のずれは、３つのパラメータ（ｕ，ｖ，δ）によって表される。ここで、参照フレーム画像Ｆ１は、画像中心を原点とし、横方向をｘ１軸，縦方向をｙ１軸とする直行座標系（ｘ１，ｙ１）を有し、対象フレーム画像Ｆ２は、画像中心を原点とし、横方向をｘ２軸、縦方向をｙ２軸とする直行座標系（ｘ２，ｙ２）を有するものとする。図３は、対象フレーム画像Ｆ２が、参照フレーム画像Ｆ１に対して、横方向にｕ，縦方向にｖ，対象フレー厶画像の中心に対する回転方向にδのずれを生じている場合を示している。
本実施例では、フレーム画像間のずれ量を求めるのに、フレーム画像間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法を用いた。図４は、この勾配法による並進ずれ量の算出方法を示す説明図である。図４の（ａ）（ｃ）には、各画像上の画素の輝度を示し、図４の（ｂ）（ｄ）には、勾配法の原理を示した。ここで、（ｘ１ｉ，ｙ１ｉ）は、参照フレーム画像Ｆ１上の一の画素の座標を示し、Ｂ１（ｘ１ｉ，ｙ１ｉ）は、その画素の輝度を表している。なお、ここでは、対象フレーム画像Ｆ２上の座標（ｘ２ｉ，ｙ２ｉ）の画素が、参照フレーム画像Ｆ１上の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間にあるものとし、その座標を（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）とする。
図４（ｂ）（ｄ）に示すように、対象フレーム画像Ｆ２における座標（ｘ２ｉ，ｙ２ｉ）の画素が、参照フレーム画像Ｆ１上の座標（ｘ１ｉ＋Δｘ，ｙ１ｉ）にあるものとし、
Ｐｘ＝Ｂ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（１）
とすると、
Ｐｘ・Δｘ＝Ｂ２（ｘ２ｉ，ｙ２ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（２）
が成り立つ。この場合、Ｂ１（ｘ１ｉ，ｙ１ｉ）およびＢ２（ｘ２ｉ，ｙ２ｉ）を単にＢ１，Ｂ２と置くと、
｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝^２＝０ ・・・（３）
を満たすΔｘを求めれば、対象フレーム画像Ｆ２のｘ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｘを算出し、平均をとることとなる。
同様にして、対象フレー厶画像Ｆ２における座標（ｘ２ｉ，ｙ２ｉ）の画素が、参照フレーム画像Ｆ１上の座標（ｘ１ｉ，ｙ１ｉ＋Δｙ）にあるものとし、
Ｐｙ＝Ｂ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（４）
とすると、
Ｐｙ・Δｙ＝Ｂ２（ｘ２ｉ，ｙ２ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（５）
が成り立つ。この場合、Ｂ１（ｘ１ｉ，ｙ１ｉ）およびＢ２（ｘ２ｉ，ｙ２ｉ）を単にＢ１，Ｂ２と置くと、
｛Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝^２＝０ ・・・（６）
を満たすΔｙを求めれば、対象フレーム画像Ｆ２のｙ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｙを算出し、平均をとることとなる。
上記式（３）はｘ軸方向のみを、上記式（６）はｙ軸方向のみを考慮した場合であるため、これをｘ軸方向、ｙ軸方向の両方向について拡張すると、
Ｓ^２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝^２ ・・・（７）
を最小とするΔｘ，Δｙを最小自乗法により求めれば良いこととなる。こうして求められたΔｘ，Δｙが並進ずれ量ｕ，ｖに相当する。
以上は、フレーム画像間において、単に並進ずれのみがある場合についての計算であるが、加えて、回転ずれ量δを考慮したずれ量の算出方法について説明する。図５は、画素の回転ずれ量を模式的に示す説明図である。図示するように、参照フレーム画像Ｆ１の座標（ｘ１，ｙ１）の原点０からの距離をｒ、ｘ１軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。なお、図５では、説明を簡単にするためフレーム画像中心を原点Ｏとし、画像が回転しているものとして説明する。
ｒ＝（ｘ^２＋ｙ^２）^１／^２ ・・・（８）
θ＝ｔａｎ^−１（ｘ／ｙ） ・・・（９）
ここで、原点Ｏを中心として、対象フレーム画像の座標（ｘ１，ｙ１）を角度δだけ回転させたときに、対象フレーム画像の座標（ｘ２，ｙ２）と一致するものとする。この回転によるｘ軸方向の移動量Δｘとｙ軸方向の移動量Δｙは、以下の式により求められる。なお、回転ずれ量δは微小量であるとして、ｃｏｓδ≒１、ｓｉｎδ≒δの近似式を用いている。
Δｘ＝ｘ２−ｘ１≒−ｒ・δ・ｓｉｎδ＝−δ・ｙ１ ・・・（１０）
Δｙ＝ｙ２−ｙ１≒ｒ・δ・ｃｏｓδ＝δ・ｘ１ ・・・（１１）
そこで、上記式（７）における、Δｘ，Δｙを、並進ずれ量ｕ，ｖに回転ずれ量δを加味して表すと、以下の式となる。
Δｘ＝ｕ−δ・ｙ１ ・・・（１２）
Δｙ＝ｖ＋δ・ｘ１ ・・・（１３）
これらを上記式（７）に代入すると、以下の一般式が得られる。
Ｓ^２＝Σ｛Ｐｘ・（ｕ−δ・ｙ）＋Ｐｙ・（ｖ＋δ・ｘ）−（Ｂ２−Ｂ１）｝^２ ・・・（１４）
すなわち、上記式（１４）のＳ^２を最小とするｕ，ｖ，δを最小自乗法によって求めることにより、フレーム画像間の１画素未満のずれ量を精度良く検出することができる。なお、本実施例では、勾配法により、ずれ量を算出したが、ブロックマッチング法や反復勾配法，これらを組み合わせた手法などを用いて算出するものとしても良い。
Ａ４．閾値の設定：
上述のように検出されたずれ量（ｕ，ｖ，δ）に対し、画像の高解像度化、鮮明化に貢献する範囲（閾値）の設定について説明する。図６は、画像のずれ量と鮮明化に貢献する範囲との関係の説明図である。図示するように、横軸を並進ずれ量ｕ，ｖ、縦軸を回転ずれ量δで表し、高解像度・鮮明化に貢献する基準を領域（ａ），（ｂ），（ｃ）で表している。ここで、領域（ａ）は、通常の手ブレ、パンにより発生する隣接フレーム画像間のずれの範囲、領域（ｂ）は、速いパン、故意に回転操作を行なった場合の隣接フレーム画像間のずれの範囲、領域（ｃ）は、並進ずれ量、回転ずれ量のとり得る範囲を示している。
本実施例では、領域（ａ）の範囲は、−１６画素≦並進ずれ量ｕ，ｖ≦１６画素、−１°≦回転ずれ量δ≦１°の条件を満たす領域とした。フレーム画像間のずれ量が領域（ａ）に含まれる場合には、画像の鮮明化に貢献する対象フレーム画像であると判断する。換言すると、±１６画素、±１°を画像の鮮明化に貢献する閾値として設定した。もとより、この閾値は、上記のように固定的な値としても良いが、画像の条件や合成の条件などに従って設定するものとしても良い。例えば、合成しようとする画像全体の縦横の画素数に対する割合（例えば、数％ないし十数％）として設定するものとしても良い。あるいは、画像を抽出した元の動画の光学的な倍率などに応じて設定するものとしても良い。倍率が低ければ一般にブレなどは生じにくいからである。更に、この閾値は学習するものとしても良い。合成後の画像の良否を使用者に判定させ、鮮明化に対して満足であると判定された時には、閾値を高くし、鮮明化に対して不満足である判定された場合には、閾値を低くし、その使用者が使用する画像に対する閾値を徐々に学習するものとしても良い。
一般に、通常のデジタルビデオカメラにて撮影した動画像において、手ブレやパンによる隣接するフレーム画像間のずれ量は、並進ずれ量で数画素、回転ずれ量で１°以下程度である。したがって、フレーム画像間のずれ量が領域（ａ）に入るフレーム画像を選択することで、例えば、速いパンにより、フレーム画像自体にブレが含まれるようなフレーム画像を対象フレーム画像から排除することができる。また、シーンチェンジをまたぐようなフレーム画像を対象フレーム画像から排除することができる。
なお、領域（ａ）の範囲に含まれるフレーム画像の回転ずれ量δは、±１°以下であるため、上述の「ずれ量の検出」過程で導入したｃｏｓδ≒１，ｓｉｎδ＝δの近似式が十分に成り立つ範囲（ずれ量の検出精度を保つ範囲）となる。したがって、領域（ａ）に含まれるフレーム画像を対象フレーム画像として使用することで、ずれ量検出の精度を低下させるフレーム画像も排除することができる。
Ｂ．第２実施例：
Ｂ１．画像処理：
図７は、複数枚の画像データを合成して一の静止画像を生成する第２実施例の画像処理のフローチャートである。図示するように、画像の合成処理の中止の判断ステップを設けたことが、図２に示した第１実施例の場合と異なる。したがって、第１実施例と共通する処理については、簡潔に説明する。なお、第２実施例の画像処理システムのハード構成については、第１実施例と同様であるため、符号を同一とし、説明を省略する。
図７に示すように、ユーザのキーボード４１操作により、画像処理が開始すると、パーソナルコンピュータ３０は、画像データデース２０からフレーム画像データを入力する（ステップＳ４００）。本実施例では、第１実施例と同様に、ユーザが指定したものを参照フレーム面像Ｆ１とし、参照フレーム画像Ｆ１から時系列に連続する３枚のフレーム画像を対象フレーム画像（Ｆ２〜Ｆ４）として抽出する（ステップＳ４１０）。
パーソナルコンピュータ３０は、各フレーム画像間のずれ量（ｕ，ｖ，δ）を検出する（ステップＳ４２０）。このずれ量検出処理は、第１実施例と同様、参照フレーム画像Ｆ１，３枚の対象フレーム画像（Ｆ２〜Ｆ４）のそれぞれのフレーム画像間のずれ量（ｕ，ｖ，δ）を検出する。以下、図８に示すように、このフレーム画像間のずれ量検出処理の内、参照フレーム画像Ｆ１と対象フレーム画像Ｆ２との間の処理を処理Ｓ１−２と、対象フレーム画像Ｆ２と対象フレーム画像Ｆ３との間の処理を処理Ｓ２−３と、対象フレーム画像Ｆ３と対象フレーム画像Ｆ４との間の処理を処理Ｓ３−４と呼ぶ。
パーソナルコンピュータ３０は、検出したフレーム画像間のずれ量の内、隣接する一のフレーム画像間のずれ量（ｕ，ｖ，δ）が第１実施例の閾値内であるか否かを判断する（ステップＳ４３０）。具体的には、処理Ｓ１−２より検出したずれ量（ｕ，ｖ，δ）と閾値との比較を行なう。ステップＳ４３０にて、ずれ量が閾値内に入らない場合には、ディスプレイ４３上に画像の合成処理を実行しても鮮明な画像が得られない旨などの警告画面を表示し（ステップＳ４６０）、合成処理を実行するか否かをユーザに選択させる選択画面を表示する（ステップＳ４６５）。ステップＳ４６５にて、合成処理を実行しない旨をユーザが選択した場合には、合成処理を中止し（ステップＳ４７０）、この一連の画像処理を終了する。
他方、ステップＳ４３０にて、ずれ量が閾値内である場合、または、ステップＳ４６５にて、ずれ量が閾値内には入らないが合成処理を実行する旨をユーザが選択した場合には、他の隣接フレーム画像間の全てについて、ずれ量（ｕ，ｖ，δ）の確認を行なったか否かを判断する（ステップＳ４４０）。全ての隣接フレーム画像間のずれ量について、閾値内であるか否かの確認を行なっていない場合には、ステップＳ４３０へ戻り、次の隣接フレーム画像間のずれ量の検出についての判断を行なう。具体的には、処理Ｓ１−２にて検出したずれ量が閾値の条件を満たせば、処理Ｓ２−３のずれ量について条件を判断する。処理Ｓ２−３にて検出したずれ量が閾値の条件を満たせば、処理Ｓ３−４のずれ量について条件を判断する。この過程にて、閾値を満たさないものが一つでもあれば、上述と同様に、警告表示を行ない（ステップＳ４６０）、合成処理を実行するか否かをユーザに選択させる（ステップＳ４６５）。
ステップＳ４４０にて、パーソナルコンピュータ３０は、全ての隣接フレーム画像間のずれ量が閾値の条件を満たすと判断した場合には、画像の合成処理を実行する（ステップＳ４５０）。なお、合成処理を実行する前に、第１実施例と同様、同一または同一と見なせるフレーム画像を排除するための並進ずれ量ｕ，ｖについての判断を行なっている。パーソナルコンピュータ３０は、合成された静止画像をディスプレイ４３上に表示すると共に、この一連の画像処理を終了する。この処理は、第１実施例と同様である。
第２実施例の画像処理では、画像合成の高解像度化・鮮明化に貢献しない画像が含まれる場合には、警告を表示し、画像の合成処理を実行するか否かをユーザに選択させる。ユーザは画像の鮮明化が望めるか否かの判断を容易に行なうことができ、画像の鮮明化が望める場合にのみ、処理時間のかかる画像の合成処理の実行を選択することができる。したがって、効率的な画像処理を行なうことができる。また、一般に、デジタルビデオカメラで撮影した動画像において、合成画像の鮮明化に貢献するフレーム画像の隣接フレーム画像間のずれ量が急激に変化することはない。本実施例では、検出した隣接フレーム画像間のずれ量の内、少なくとも一つが条件を満たさない場合には、警告表示を行なう。つまり、画像処理の早い段階で、画像合成を中止するか否かを判断することができる。したがって、より効率的な画像処理システムを構築することができる。
なお、本実施例では、全ての隣接フレーム画像間のずれ量の検出の後に、ずれ量についての判断を行なうものとしたが、一の隣接フレーム画像間のずれ量を検出して判断を行ない、一の隣接フレーム画像間が条件を満たした時のみ、次の隣接フレーム画像間のずれ量を検出するものとしても良い。また、本実施例では、一つでもずれ量が閾値を超える画像がある場合には合成処理の中止を促す警告を行なうものとしたが、合成処理を実行するための画像枚数の許容値を設定し、許容値に満たない場合に、合成処理を中止するものとしても良い。例えば、抽出した４枚のフレーム画像のうち、閾値を超える画像が１枚ある場合には、閾値を超える画像を除外して、３枚の画像で合成処理を実行し、閾値を超える画像が２枚以上となった場合には、合成処理を中止するものとして良い。
Ｃ．第３実施例：
Ｃ１．画像処理装置の構成：
第３実施例の画像処理システムのハード構成は、第１実施例と同様であるが、画像データベース２０に保有される画像データ（つまり、画像の合成処理を行なう素材）が異なる。したがって、各装置の符号は同一として説明は省略し、取り扱う画像データについて説明する。
第３実施例で取り扱う画像データは、デジタルスチルカメラの連写モードで撮影した複数の静止画像データである。この静止画像データは、Ｅｘｉｆ形式の画像ファイルであり、ＪＰＥＧ形式の画像データに、撮影日時，露光時間，フラッシュの有無などの撮影情報を付加した構造からなる画像ファイルである。このデジタルスチルカメラの連写モードでは、シャッターを押し続けることで、１／３０秒間隔の静止画像を撮影することができる。画像データベース２０には、１／３０秒間隔で撮影した少なくとも４つのＥｘｉｆファイルが保有されている。この画像ファイルは、撮影対象の明るさによって自動的に露光時間を変化させて撮影された画像データを備えたファイルである。なお、本実施例では、１／３０秒間隔の静止画像を取り扱うこととしたが、例えば、１秒間に４枚、９枚といった通常の連写モードで撮影した静止画像を用いるものとしても良い。
Ｃ２．画像処理：
図９は、複数枚の画像データを合成して一の静止画像を生成する第３実施例の画像処理のフローチャートである。上述のハード構成において、ユーザがキーボード４１を操作することで、パーソナルコンピュータ３０にインストールされた画像処理が開始される。
パーソナルコンピュータ３０は、画像データベース２０から連写モードで撮影した複数の静止画像ファイルを読み込み、ディスプレイ４３上に表示する。ユーザは、表示された静止画像から、所望する一の静止画像を指定する（ステップＳ５００）。この指定操作は、ディスプレイ４３上の一の静止画像を、マウス４２でクリックすることで行なわれる。
一の静止画像の指定指令を受けたパーソナルコンピュータ３０は、読み込んだ静止画像ファイルの中から、指定された静止画像に時系列で連続する３枚の静止画像を抽出し（ステップＳ５１０）、第１実施例と同様、この４枚の静止画像の各画像間のずれ量を検出する処理を行なう（ステップＳ５２０）。なお、区別のため、指定された静止画像を参照画像と、抽出された静止画像を対象画像と呼ぶ。
続いて、パーソナルコンピュータ３０は、各画像が画像の合成に使用できるか否かを判断するため、ずれ量に対する閾値を設定する（ステップＳ５３０）。第３実施例では、第１実施例のように固定された閾値を持たず、各画像ファイルの撮影情報に含まれる露光時間を用いて、対象となる静止画像毎に閾値を設定する。なお、この閾値の設定については、後述する。
パーソナルコンピュータ３０は、各画像間のずれ量が露光時間に基づいて設定した閾値内にあるか否かの判断を行なう。本実施例では、デジタルスチルカメラで連写した静止画像であることから回転ずれ量δは小さいものとして、並進ずれ量ｕ，ｖに対して閾値内であるか否かの判断を行なっている。パーソナルコンピュータ３０は、判断の結果、閾値の条件を見たさない対象画像を合成の対象から除外する処理を行なう（ステップＳ５４０）。
パーンナルコンピュータ３０は、除外されずに残った対象画像と参照画像とを用いて、画像の合成処理を行なう（ステップＳ５５０）。この処理は、第１実施例と同様である。パーソナルコンピュータ３０は、こうして合成された静止画像をディスプレイ４３上に表示すると共に、この処理を終了する。
Ｃ３．閾値の設定：
図１０は、連写モードで撮影される静止画像の撮影周期と露光時間の関係の説明図である。図１０は、撮影周期Ｔｆごとに、時系列で連続して撮影した静止画像（Ｆ１，Ｆ２，Ｆ３・・・）の露光時間Ｔｐを示している。本実施例では、上述のように、撮影周期Ｔｆは１／３０秒で一定間隔であり、各静止画像における露光時間Ｔｐは静止画像ごとに変化する。
ここで、時系列で連続する静止画像Ｆ１と静止画像Ｆ２とのずれ量（ｕ，ｖ，δ）を求める。連写モードで撮影しており、回転ずれ量δが小さいとすると、画像間における被写体の移動量ｍｆは、
ｍｆ＝（ｕ^２＋ｖ^２）^１／２ ・・・（１５）
で表される。この移動量ｍｆは、撮影周期Ｔｆの時間内の移動量を示していることとなる。
他方、一の静止画像内における被写体の移動量ｍｐが、画像間の移動量ｍｆに比例関係にあるとすると、一の静止面像内における被写体の移動量ｍｐは、
ｍｐ＝ｍｆ×Ｔｐ／Ｔｆ ・・・（１６）
で表される。この移動量ｍｐは、露光時間Ｔｐ内の移動量を示していることとなる。
この移動量ｍｐが１画素を超えるような場合は、一の静止画像内にブレが生じている可能性があると判断できる。このブレに対する許容量を１画素以下の所定値ｍｐｔとすると、画像間の移動量ｍｆは、
ｍｆ＝ｍｐｔ×Ｔｆ／Ｔｐ ・・・（１７）
で表現できる。つまり、この条件式を満たす範囲を、画像間のずれ量（ｕ，ｖ）の閾値とする。
この上記式（１７）では、露光時間Ｔｐが長い静止画像に対しては、画像間のずれ量の許容範囲が狭く、露光時間Ｔｐが短い静止画像に対しては、画像間のずれ量の許容範囲が広くなる。したがって、撮影条件の異なる静止画像ごとに適切なずれ量の閾値を設定することがきる。なお、本実施例では、撮影周期Ｔｆは１／３０秒で一定であるが、撮影周期が変化しても上記式（１７）を満たす閾値を設定することで、ブレのある画像を検出することができる。
本実施例では、静止画像ごとの露光時間Ｔｐを用いて個々に閾値を設定することで、静止画像内にブレの生じている可能性のある静止画像を適切に除外することができる。したがって、効率的な画像処理を行なうことができる。なお、第３実施例では、第１実施例と同様、不適当な画像を除外して合成処理をするものとしたが、第２実施例のように、画像の合成を中止するものとしても良い。
また、本発明の第１実施例から第３実施例では、時系列的に連続する画像を素材として説明したが、本発明は、これに限るものではない。例えば、日を異にして同じアングルから撮影した画像を選択して、画像の合成処理に用いる素材としても良い。さらに、近接する２台のデジタルビデオカメラ，デジタルスチルカメラ等で同時に撮影した画像を、画像の合成処理に用いる素材とすることもできる。この場合には、２台のカメラの各々の解像度は低くても、合成処理によって、高解像度の静止画像を出力することができる。
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。

本実施例では、パーソナルコンピュータを本発明の画像処理装置として説明したが、例えば、プリンタ，デジタルビデオカメラ，デジタルスチルカメラなど種々の機器においても実施可能である。本発明の画像処理装置および画像処理方法は、コンピュータ上で単独で実現しても良いし、これらの機器に内蔵した形態で実施するものであっても差し支えない。

Claims (15)

1. 複数の画像から画素密度の高い静止画像を生成する画像処理装置であって、
   前記複数の画像を抽出する画像抽出手段と、
   前記抽出した複数の画像間のずれ量を検出するずれ量検出手段と、
   前記検出したずれ量に基づいて、前記抽出した複数の画像の中から２以上の画像を選択する画像選択手段と、
   該選択された２以上の画像を合成して一の静止画像を生成する画像合成手段と
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記一の静止画像の合成の基準となる画像を指定する指定手段を備え、
   前記画像抽出手段は、該指定された画像に対して、所定の順序に従って前記複数の画像を抽出する画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記複数の画像は、時系列に連続する複数の画像であり、
   前記所定の順序は、前記指定された画像から時系列に連続する順序である画像処理装置。
4. 請求項１ないし３のいずれか記載の画像処理装置であって、
   前記一の静止画像の生成に先立って、前記画像の合成に用いる画像の数を表示する合成画像数表示手段を備えた画像処理装置。
5. 請求項１ないし４のいずれか記載の画像処理装置であって、
   前記選択された２以上の画像の数が所定数未満の場合には、警告を表示する警告手段を備えた画像処理装置。
6. 請求項１ないし４のいずれか記載の画像処理装置であって、
   前記選択された２以上の画像の数が所定数未満の場合には、前記画像の合成を実行するか否かを選択させる選択手段を備えた画像処理装置。
7. 請求項６記載の画像処理装置であって、
   前記選択手段による選択の結果、前記画像の合成を実行しないことが選択された場合には、
   前記画像の合成を中止する中止手段を備えた画像処理装置。
8. 請求項１ないし７のいずれか記載の画像処理装置であって、
   前記検出されたずれ量が所定の閾値を超える画像を前記抽出した複数の画像から除外する除外手段を備え、
   前記画像選択手段は、該除外手段によって除外された画像以外の画像の中から前記２以上の画像を選択する画像処理装置。
9. 請求項８記載の画像処理装置であって、
   前記複数の画像間のずれ量は、前記複数の画像間の並進方向の並進ずれ量および前記複数の画像間の回転方向の回転ずれ量の少なくともいずれかであり、
   前記除外手段は、前記並進ずれ量および前記回転ずれ量の少なくともいずれかが前記所定の閾値を超える画像を除外する
   画像処理装置。
10. 前記所定の閾値は、前記画像を構成する画素数に対して所定の割合の画素数である請求項９記載の画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    前記並進ずれ量の所定の閾値は、±１６画素であり、前記回転ずれ量の所定の閾値は、±１°である画像処理装置。
12. 請求項１ないし請求項１１のいずれか記載の画像処理装置であって、
    前記複数の画像は、動画像に含まれる複数のフレーム画像である画像処理装置。
13. 請求項８ないし請求項１１のいずれか記載の画像処理装置であって、
    前記複数の画像は、撮影時の撮影対象の明るさによって変化する露光時間の情報を有する複数の静止画像であり、
    前記露光時間に基づいて、前記静止画像毎に前記所定の閾値を設定する閾値設定手段を備える 画像処理装置。
14. 複数の画像から画素密度の高い静止画像を生成する画像処理方法であって、
    前記複数の画像を抽出し、
    前記抽出した複数の画像間のずれ量を検出し、
    前記検出したずれ量に基づいて、前記抽出した複数の画像の中から２以上の画像を選択し、
    前記選択された２以上の画像を合成して一の静止画像を生成する
    画像処理方法。
15. 複数の画像から画素密度の高い静止画像を生成する処理を実現するコンピュータプログラムであって、
    コンピュータに
    前記複数の画像を抽出する機能と、
    前記抽出した複数の画像間のずれ量を検出する機能と、
    前記検出したずれ量に基づいて、前記抽出した複数の画像の中から２以上の画像を選択する機能と、
    前記選択された２以上の画像を合成して一の静止画像を生成する機能と
    を実現させるためのコンピュータプログラム。

Images