JP4419500B2 - 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 - Google Patents

Description

本発明は、複数の比較的低解像度の画像データから、比較的高解像度の静止画像データを生成可能な、静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体に関する。

デジタルビデオカメラなどで撮影された動画像データは、複数の比較的低解像度の画像データ（例えば、フレーム画像データなど。）で構成されている。従来、このような動画像データからフレーム画像データを取得し、その取得したフレーム画像から、そのフレーム画像データよりも高解像度の静止画像データを生成することが行われている。

このように、高解像度の静止画像データを生成するために、フレーム画像データを用いて高解像度化する方法としては、複数の方法が存在する。例えば、取得した１つのフレーム画像データをバイ・キュービック法やバイ・リニア法などの方法を用いて、単純に高解像度化する方法がある。また、動画像データから、１つのフレーム画像データだけでなく、複数のフレーム画像データを取得して、それら複数のフレーム画像データを合成しつつ高解像度化する方法もある。ここで、解像度とは、１つの画像を構成する画素の密度あるいは画素数を意味している。
なお、上述のような静止画像データを作成する技術として関連するものには、例えば、下記特許文献１に記載されたものが知られている。かかるは、特許文献１では、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他のｎ枚のフレーム画像（対象フレーム画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して１枚の高解像度な画像を生成する技術が開示されている。

特開平１１−１６４２６４号公報

一方、デジタルビデオカメラなどでは、いろいろなものが撮影されるため、その動画像データから取得されるフレーム画像データの表す画像も、様々である。例えば、画像中でほとんど動きがない画像（風景画像など。）や、画像全体で種々の動きがある画像（大勢でサッカーをしている画像など。）や、画像中でこれらの中間程度の動きがある画像などがある。ここで、「動き」とは、主に、画像中における局所的な動きであり、画像中のある対象物の動きを意味している。
しかしながら、従来において、動画像データからフレーム画像データとして、このようなほとんど動きがない画像や全体で種々の動きがある画像などを取得して、高解像度な静止画像データを生成しようとする場合には、ユーザは、上記した複数の高解像度化方法の中から、試行錯誤しながら、取得した画像に応じた適切な方法を選択する必要があった。
そのため、ユーザの負担が大きくなると共に、適切な方法を得るまでに相当な時間を要するという問題があった。
なお、上記問題は、動画像データから取得した複数の低解像度のフレーム画像データに基づいて、高解像度化処理を行う場合に限らず、単に、時系列に並ぶ複数の低解像度の画像に基づいて、高解像度化処理を行う場合も同様に発生する問題である。

従って、本発明は、上記課題にかんがみてなされたもので、複数ある高解像度化方法の中から、画像に応じた適切な方法を容易に選択し得る技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の第１の静止画像生成装置は、複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
前記複数の第１の画像データについて、互いの画像間の位置ずれを補正するずれ補正部と、
補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する動き検出部と、
算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する高解像度化処理選択部と、
前記複数の高解像度化処理をそれぞれ実行することが可能であり、選択した前記高解像度化処理によって、補正した前記複数の第１の画像データに基づいて、前記第１の画像データに比べて高解像度な第２の画像データを生成する高解像度化処理部と、
を備えたことを要旨とする。

このようにすれば、ユーザ自ら、試行錯誤しながら高解像度化処理を選択する必要がなく、自動的に、画像の動きに応じた適切な高解像度化処理を実行することができ、高画質な静止画像データを生成することができる。

なお、前記複数の第１の画像データは、動画像データの中から取得された時系列に連続する複数の画像データであってもよい。

このようにすれば、動画像データに含まれる比較的低解像度の複数の第１の画像データに比べて比較邸高解像度の第２の画像データを静止画像データとして容易に生成することができる。

上記目的の少なくとも一部を達成するために、本発明の第２の静止画像生成装置は、複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
前記複数の第１の画像データについて、互いの画像間の位置ずれを補正するずれ補正部と、
補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する動き検出部と、
算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する高解像度化処理選択部と、
選択した前記高解像度化処理を、推奨すべき高解像度化処理として外部に報知する報知部と、
を備えたことを要旨とする。

このようにすれば、ユーザは、静止画像生成装置が推奨している高解像度化処理を知ることができるので、それを参考にした上で、ユーザは、希望する高解像度化処理を自由に選択することができる。

上記した各静止画像生成装置において、
前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行い、その判定結果において動きがあると判定された画素の数に基づいて、前記動き量を算出するようにしてもよい。

このようにすれば、動きがあると判定された画素の数として、対象画像全体における局所的な動きの総量を、精度よく求めることができる。

上記した各静止画像生成装置において、
前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、判定範囲を設定し、前記判定画素の画素値が前記判定範囲内にあれば、前記判定画素について動きがあると判定し、前記判定範囲内になければ、動きがないと判定するようにしてもよい。

上記した各静止画像生成装置において、
前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、前記判定画素の画素値と同じ画素値を持つ推定画素を推定し、前記判定画素と前記推定画素との間の距離が、予め設定された閾値よりも大きければ、前記判定画素について動きがあると判定し、前記閾値よりも小さければ、動きがないと判定するようにしてもよい。

上記した各静止画像生成装置において、
前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの程度を表す動き値を算出し、それら動き値の総合計に基づいて、前記動き量を算出するようにしてもよい。

このようにすれば、動きの程度を表す動き値の総合計として、対象画像全体における前記局所的な動きの総量を、精度よく求めることができる。

上記した各静止画像生成装置において、
前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、基準画素値を設定し、前記判定画素の画素値と前記基準画素値の差分を、前記対象画素についての前記動き値として算出するようにしてもよい。

上記した前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、前記判定画素の画素値と同じ画素値を持つ推定画素を推定し、前記判定画素と前記推定画素との間の距離を、前記対象画素についての前記動き値として算出するようにしてもよい。

なお、本発明は、上記した静止画像生成装置などの装置発明の態様に限ることなく、静止画像生成方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
Ａ．静止画像生成装置の構成：
Ｂ．静止画像生成の手順：
Ｂ−１．補正量推定処理：
Ｂ−２．動き量検出処理：
Ｂ−３．高解像度化処理の選択：
Ｂ−４．高解像度化処理：
Ｂ−４−１．動き非対応合成処理：
Ｂ−４−２．動き対応合成処理：
Ｂ−４−３．単純高解像度化処理：
Ｃ．その他の動き量の検出方法：
Ｃ−１．動き量検出方法１：
Ｃ−２．動き量検出方法２：
Ｃ−３．動き量検出方法３：
Ｄ．効果：
Ｅ．変形例：

Ａ．静止画像生成装置の構成：
図１は、本発明の一実施例としての静止画像生成装置の概略構成を示す説明図である。この静止画像生成装置は、汎用のパーソナルコンピュータであり、コンピュータ１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０およびプリンタ２０と、を備えている。また、コンピュータ１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

なお、本実施例においては、フレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。

コンピュータ１００は、所定のオペレーティングシステムの下で、静止画像を生成するためのアプリケーションプログラムを実行することにより、静止画像生成装置として機能する。特に、図に示したように、静止画像生成制御部１０２、フレーム画像取得部１０４、ずれ補正部１０６、動き検出部１０８、処理選択部１０９、高解像度化処理部１１０として機能する。なお、推奨処理部１１２については、後述の変形例において説明する。

静止画像生成制御部１０２は、各部の制御を行い、静止画像生成動作を全体的に制御する。例えば、キーボード１２０やマウス１３０からユーザによって動画像の再生の指示が入力されると、静止画像生成制御部１０２は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスク（図示せず）などからメモリ（図示せず）内に動画像データを読み込む。この動画像データには、それぞれ静止画像を表す複数のフレーム画像データが含まれている。各フレームのフレーム画像データの表す静止画像をビデオドライバを介してディスプレイ１５０に順に表示する。これにより、ディスプレイ１５０上で動画像が表示される。また、静止画像生成制御部１０２は、後述するように、フレーム画像取得部１０４、ずれ補正部１０６、動き検出部１０８、処理選択部１０９、高解像度化処理部１１０の動作を制御して、比較的低解像度な１つ若しくは、複数フレームのフレーム画像データから比較的高解像度な静止画像データを生成する。さらに、静止画像生成制御部１０２は、生成された静止画像データを、プリンタドライバを介してプリンタ２０に印刷させることもできる。
Ｂ．静止画像生成の手順：
図２は、生成静止画像データを生成する手順を示す説明図である。まず、動画像の再生中に、キーボード１２０やマウス１３０からユーザによってフレーム画像データの取得指示が入力されると、フレーム画像取得部１０４は、動画像データの中から時系列に連続する複数フレームのフレーム画像データを取得する(ステップＳ２)。例えば、本実施例では、取得指示の入力タイミングから時系列に連続する４フレームのフレーム画像データを取得するものとする。フレーム画像取得部１０４によって取得された複数のフレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に記憶される。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

次に、キーボード１２０やマウス１３０からユーザによって静止画像の生成指示が入力されると、静止画像データの生成処理が開始される。

まず、ずれ補正部１０６は、取得した４フレームの各フレーム間において発生しているずれ（位置ずれ）を補正するための補正量の推定を実行する（ステップＳ４）。この補正量の推定では、上記４フレームのうち、１フレームを基準フレームとして選択し、その他の３フレームを対象フレームとして選択する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施例では、ユーザによるフレーム画像データの取得指示の入力タイミングで最初に取得されたフレームを基準フレームとして選択し、その後時系列順に取得される３フレームを対象フレームとして選択することとする。以下に、補正量推定処理について説明する。

Ｂ−１．補正量推定処理：
まず、図３を用いて、基準フレームのフレーム画像と対象フレームの対象フレーム画像との間の位置ずれについて説明し、図４を用いて位置ずれについての補正について説明する。そして、その後、補正に基づく補正量の推定について説明する。図３は、基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図であり、図４は、基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。

なお、以下の説明では、取得した４フレームの番号（以下、「フレーム番号」とも呼ぶ。）をａ（ａ＝０，１，２，３）とし、フレーム番号ａのフレームをフレームａと呼び、フレームａの画像をフレーム画像Ｆａと呼ぶこととする。例えば、フレーム番号ａが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ３を対象フレーム画像とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図３では、基準フレーム画像Ｆ０に対する、対象フレーム画像Ｆ３のずれ量を分かり易く示すため、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ３の縁とを重ねて示すとともに、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ３と同様にずれたとして、対象フレーム画像Ｆ３上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、このずれ量を、より分かり易く示すために、基準フレーム画像Ｆ０、および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ３、および十字画像Ｘ３を細い破線で示すようにしている。

本実施例では、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についてのずれ量を「ｕｍａ」、「ｖｍａ」、「δｍａ」と表すこととする。例えば、図３に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、対象フレーム画像Ｆ１〜Ｆ３を基準フレーム画像Ｆ０と合成するためには、対象フレーム画像Ｆ１〜Ｆ３と基準フレーム画像Ｆ０とのずれをなくすように、対象フレーム画像Ｆ１からＦ３の各画素の位置ずれを補正することとなる。このために用いられる並進補正量として横方向を「ｕ」、縦方向を「ｖ」、回転補正量を「δ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量を「ｕａ」、「ｖａ」、「δａ」と表すこととする。例えば、対象フレーム画像Ｆ３についての補正量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、補正とは、対象フレーム画像Ｆａ（ａ＝１，２，３）の各画素の位置を、横方向にｕａの移動、縦方向にｖａの移動、およびδａの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、ｕａ＝−ｕｍａ、ｖａ＝−ｖｍａ、δａ＝−δｍａの関係で表される。例えば、対象フレーム画像Ｆ３についての補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。

以上のことから、例えば、図４に示すように、補正量ｕ３、ｖ３、δ３を用いて、対象フレーム画像Ｆ３の各画素の位置を補正することにより、対象フレーム画像Ｆ３と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ３と、基準フレーム画像Ｆ０と、をディスプレイ１５０で表示させると、図４に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して部分一致すると推定される。なお、この補正の結果を分かり易く示すため、図４においても、図３と同じ仮想の十字画像Ｘ０および十字画像Ｘ３を表記しており、図４に示すように、補正の結果として、十字画像Ｘ３と十字画像Ｘ０との間のずれがなくなり一致することとなる。

同様に、対象フレーム画像Ｆ１，Ｆ２についても、補正量ｕ１、ｖ１、δ１、およびｕ２、ｖ２、δ２、の各値を用いて補正が施され、対象フレーム画像Ｆ１，Ｆ２の各画素の位置を置き換えることができる。

なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図４に示すように、例えば、ハッチングを施した領域Ｐ１は、対象フレーム画像Ｆ３にのみ存在する領域の画像であり、基準フレーム画像Ｆ０には、該当する領域の画像は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、基準フレーム画像Ｆ０にのみ、または、対象フレーム画像Ｆ３にのみ存在する領域の画像が生じてしまうため、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して完全一致することはなく、部分一致することとなる。

ところで、各対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、ずれ補正部１０６（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データとに基づき、パターンマッチ法や勾配法等による所定の算出式を用いて、推定量として算出される。そして、算出された補正量ｕａ、ｖａ、δａは、並進補正量データと回転補正量データとして、メモリ内（図示せず）の所定の領域に記憶される。

本実施例では、ずれ補正部１０６は、推定した補正量を用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との位置ずれを補正し、高解像度化処理部１１０は、後述する３種類の高解像度化処理のうち、一つを実行することによって、静止画像データを生成する。しかし、３種類の高解像度化処理には、フレーム画像中の「動き」の量に応じて、適するもの、適さないものがあり、前述したとおり、ユーザには、画像に応じて適切に高解像度化処理を選択するのは難しい。そこで、本実施例では、フレーム画像中の動きを表す量（以下、動き量とも呼ぶ。）を検出し、その動き量の検出結果に応じて、後述する３種類の高解像度化処理の中から適切な高解像度化処理を選択するようにしている。動き量検出処理、その検出結果に応じて選択される高解像度化処理については後述する。

Ｂ−２．動き量の検出処理：
補正量推定処理（図２、ステップＳ４）が終了すると、次に、動き量検出処理（図２、ステップＳ６）が実行される。この動き量検出処理では、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との位置ずれを補正した上で、基準フレーム画像Ｆ０に対する各対象フレーム画像Ｆ１〜Ｆ３の動きを判定し、その動き量を検出している。

以下、動き量の検出の説明をわかり易くするために、基準フレーム画像をＦｒ、対象フレーム画像をＦｔとして説明する。図５は、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとを、ずれを補正して重ね合わせた様子を拡大して示す説明図である。図５では、基準フレーム画像Ｆｒの各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆｔの画素が、ハッチングを施した四辺形で示されている。また、図の中央付近に、動き判定を行う画素（以下、判定画素とも呼ぶ。）Ｆｐｔが示されている。また、判定画素Ｆｐｔに最も近い基準フレーム画像の画素Ｆｐ１が示されている。

まず、ずれ補正部１０６は、図５に示すように、補正量推定処理（図２、ステップＳ４）で、推定された補正量を用いて基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとの位置ずれを補正し、ずれをなくすように対象フレーム画像Ｆｔを基準フレーム画像Ｆｒに重ね合わせる。次に、動き検出部１０８は、対象フレーム画像Ｆｔ中において、判定画素Ｆｐｔを設定し、その判定画素Ｆｐｔに最も近い基準フレーム画像Ｆｒの画素Ｆｐ１を探索する。さらに、動き検出部１０８は、探索した基準フレーム画像Ｆｒの画素Ｆｐ１と、その画素Ｆｐ１に隣接して、判定画素Ｆｐｔを囲む基準フレーム画像Ｆｒの画素を用いて、判定画素Ｆｐｔの動き判定を行う。以下に、この動き判定方法を説明する。

図６は、動きの判定方法を説明するための前提条件を示す説明図である。図中１つのハッチングされた四辺形は、対象フレーム画像Ｆｔ中における判定画素Ｆｐｔを示している。また、格子状に並ぶ４つの白抜きの四辺形は、基準フレーム画像Ｆｒ中において、判定画素Ｆｐｔを囲む４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４を示している。上述で説明したように画素Ｆｐ１が判定画素Ｆｐｔに最も近い画素とする。また、判定画素Ｆｐｔの輝度値をＶｔｅｓｔとし、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４の画素の輝度値をＶ１，Ｖ２，Ｖ３，Ｖ４とする。また、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４で形成される格子内での位置（Δｘ，Δｙ）は、左上の画素Ｆｐ１の位置を基準とし、横方向をｘ軸、縦方向をｙ軸とした座標であり、それぞれ０〜１の間の値のみを取りうることとする。

また、以下で説明する図７では、図の説明をわかりやすくするため、判定画素Ｆｐｔの位置が、上記格子内において、１次元の位置、すなわち、ｘ方向に並ぶ２つの画素Ｆｐ１，Ｆｐ２の間の座標（Δｘ、０）にある場合を例に描くこととする。

図７は、本実施例における動き判定方法について示す説明図である。空間的に急激な輝度値の変化がない限り、対象フレーム画像Ｆｔにおける判定画素Ｆｐｔの輝度値は、その周りに位置する基準フレーム画像Ｆｒにおける画素Ｆｐ１，Ｆｐ２の輝度値の間の値になるものとして期待される。そこで、この点を考慮すると、判定画素Ｆｐｔを囲む画素Ｆｐ１，Ｆｐ２の輝度値の最大値と最小値の間の領域を、動きがないと判定される範囲とすることが考えられる。さらに、ノイズの発生による誤検出を防止するため、その範囲を閾値ΔＶｔｈの幅だけ広げることが考えられる。従って、以下に示すように、動き検出部１０８は、上記した動きがないと判定される範囲に、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔがあるか否かを判定することにより、判定画素Ｆｐｔの動きを判定することができる。

まず、判定画素Ｆｐｔの両側に位置する基準フレーム画像Ｆｒにおける２つの画素Ｆｐ１，Ｆｐ２について、輝度値の最大値Ｖｍａｘと最小値Ｖｍｉｎを、下式のように求める。
Ｖｍａｘ＝ｍａｘ（Ｖ１，ｖ２）
Ｖｍｉｎ＝ｍｉｎ（Ｖ１，Ｖ２）
ここで、ｍａｘ（）は（）内の引数の中で最大値を求める関数、ｍｉｎ（）は（）内の引数の中で最小値を求める関数を意味している。

そして、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔが、２つの下式を満たす場合には動きがないと判定され、そうでない場合には動きがあると判定される。
Ｖｔｅｓｔ＞Ｖｍｉｎ−ΔＶｔｈ
Ｖｔｅｓｔ＜Ｖｍａｘ＋ΔＶｔｈ
なお、以下では、動きがないと判定される範囲を判定範囲とも呼ぶ。例えば、ここでは、判定画素Ｆｐｔが存在する画素間においてＶｍｉｎ−ΔＶｔｈ＜Ｖ＜Ｖｍａｘ＋ΔＶｔｈの範囲が判定範囲となる。

以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。また、判定画素Ｆｐｔの座標が２次元の座標（Δｘ，Δｙ）の場合には、輝度値の最大値Ｖｍａｘおよび最小値Ｖｍｉｎを、下式により求めるようにすればよい。
Ｖｍａｘ＝ｍａｘ（Ｖ１，Ｖ２，Ｖ３，Ｖ４）
Ｖｍｉｎ＝ｍｉｎ（Ｖ１，Ｖ２，Ｖ３，Ｖ４）

このようにして、動き検出部１０８は、判定画素Ｆｐｔについて動き判定を行い、さらに、同様な動き判定を、対象フレーム画像Ｆｔにおける全画素について行う。例えば、対象フレーム画像Ｆｔの左上の画素から開始して順番に右上の画素まで行い、その後１つずつ下の左端の画素から順番に右端の画素まで行い、最後に右下の画素まで行う。ただし、ずれ補正した結果、判定画素Ｆｐｔが、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔが部分一致した位置にある場合で、基準フレーム画像Ｆｒ上にない場合は行わない。

さらに、動き検出部１０８は、対象フレーム画像Ｆｔにおける全画素について動き判定を終えると、その対象フレーム画像Ｆｔにおいて、動きがあると判定された画素の数を算出する。

以上のようにして、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３それぞれについて、動きがあると判定された画素の数を算出し、さらに、それらの画素数を加算して、３つの対象フレーム画像Ｆ１〜Ｆ３において、動きがあると判定された画素数の総合計Ｒｍを求める。さらに、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き判定を行った全画素数の総合計Ｒｊを計算し、その総合計Ｒｊに対して、動きがあると判定された画素数の総合計Ｒｍとの割合Ｒｅ（＝Ｒｍ／Ｒｊ）を算出する。この割合Ｒｅは、基準フレーム画像に対する対象フレーム画像の動きの程度を表すので、この割合Ｒｅを前述した動き量とする。

Ｂ−３．高解像度化処理の選択：
動き量検出処理（図２、ステップＳ６）が終了すると、次に、高解像度化処理の選択（図２、ステップＳ８）が実行される。
本実施例では、予め、閾値Ｒｔ１，Ｒｔ２（１＞Ｒｔ１＞Ｒｔ２＞０）が設定されており、処理選択部１０９は、上述の動き検出処理（図２、ステップＳ６）で算出した動き量Ｒｅを、これら閾値Ｒｔ１，Ｒｔ２と比較して、高解像度化処理の選択を行う。

具体的には、処理選択部１０９は、まず、動き量Ｒｅと閾値Ｒｔ１とを比較する。この時、動き量Ｒｅが閾値Ｒｔ１より大きければ（Ｒｅ＞Ｒｔ１）、画像全体で種々の動きがあるものとして、後述する単純高解像度化処理を選択し、動き量Ｒｅが閾値Ｒｔ１以下であれば（Ｒｅ≦Ｒｔ１）、次に、処理選択部１０９は、動き量Ｒｅと閾値Ｒｔ２とを比較する。この時、動き量Ｒｅが閾値Ｒｔ２より大きければ（Ｒｅ＞Ｒｔ２）、画像中で中間程度の動きがあるものとして、後述する動き対応合成処理を選択し、動き量Ｒｅが閾値Ｒｔ２以下であれば（Ｒｅ≦Ｒｔ２）、画像中でほとんど動きがないものとして、後述する動き非対応合成処理を選択する。

従って、例えば、閾値Ｒｔ１が０．８に設定され、閾値Ｒｔ２が０．２に設定されているとすると、動き量Ｒｅが、０．８より大きい場合には、単純高解像度化処理が選択され、動き量Ｒｅが、０．２より大きく、０．８以下の場合には、動き対応合成処理が選択され、動き量Ｒｅが、０．２以下の場合には、動き非対応合成処理が選択される。

Ｂ−４．高解像度化処理：
高解像度化処理の選択（図２、ステップＳ８）が終了すると、次に、高解像度化処理（図２、ステップＳ１０〜Ｓ１４）が実行される。
すなわち、高解像度化処理部１１０は、処理選択部１０９で選択された結果に基づいて、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理、単純高解像度化処理）のうち、選択された高解像度化処理を実行する。

Ｂ−４−１．動き非対応合成処理：
まず、動き非対応合成処理（図２、ステップＳ１０）について説明する。この動き非対応合成処理において、ずれ補正部１０６が、上述の補正量推定処理（図２、ステップＳ４）で推定した補正量を用いて、基準フレームの画像データと対象フレームの画像データとの位置ずれの補正を行い、高解像度化処理部１１０が、補正した基準フレームの画像データと対象フレームの画像データを合成しつつ高解像度化することにより、静止画像データを生成する。すなわち、高解像度化処理部１１０は、生成する静止画像を構成する各画素（以下、「生成画素」とも呼ぶ。）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。以下では、図８および図９を用いてこの動き非対応合成処理について簡単に説明する。

図８は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とを、ずれを補正して配置した様子を拡大して示す説明図である。図８では、生成画像Ｇの各画素が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ３の各画素が、ハッチングを施した四辺形で示されている。なお、以下において生成画像Ｇの画素密度は、基準フレーム画像Ｆ０に対して、縦横１．５倍密の画素密度に高解像度化されるものとする。また、生成画像Ｇの各画素は、２画素おきに基準フレーム画像Ｆ０の各画素に重なるような位置にあるものとする。ただし、生成画像Ｇの画素が、必ずしも基準フレーム画像Ｆ０の各画素に重なるように位置している必要はない。例えば、生成画像Ｇの各画素のすべてが、基準フレーム画像Ｆ０の各画素の中間に位置するものでもよく、種々の位置とすることが可能である。また、高解像度化の倍率も、縦横１．５倍密に限定されるものではなく、種々の倍率とすることができる。

以下では、生成画像Ｇ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、生成画像Ｇの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。高解像度化処理部１１０は、この画素（以下、「注目画素」と呼ぶ。）Ｇ（ｊ）に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）を探索する。

具体的には、高解像度化処理部１１０は、各フレーム画像Ｆ０，Ｆ１，Ｆ２，Ｆ３において、注目画素Ｇ（ｊ）に対して、最も近い画素（以下、近傍画素とも呼ぶ。）Ｆ（０），Ｆ（１），Ｆ（２），Ｆ（３）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２，Ｌ３を算出し、最近傍画素を決定する。例えば、図８では、Ｌ３＜Ｌ１＜Ｌ０＜Ｌ２であるので、高解像度化処理部１１０は、対象フレーム画像Ｆ３の画素Ｆ（３）を、注目画素Ｇ（ｊ）の最近傍画素として決定する。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ３のｉ番目の画素であったとして、以下、最近傍画素Ｆ（３，ｉ）と表記する。

そして、高解像度化処理部１１０は、以上の手順を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について実行し、それぞれの画素について最近傍画素を決定することになる。

次に、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成する。以下に、バイ・リニア法による補間処理について説明する。

図９は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ３のいずれにも存在しない画素であるので、画素データが存在していない。そこで、高解像度化処理部１１０は、例えば、上述のごとく対象フレーム画像Ｆ３の画素Ｆ（３）を、注目画素Ｇ（ｊ）の最近傍画素Ｆ（３，ｉ）として決定した場合、図９に示すように、最近傍画素Ｆ（３，ｉ）のほか、対象フレーム画像Ｆ３中において、注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（３，ｉ＋１）、Ｆ（３，ｋ）、Ｆ（３，ｋ＋１）で区画される領域を、注目画素Ｇ（ｊ）で４つの区画に分割し、その面積比で対角位置の画素データをそれぞれ重み付けして加算することにより、注目画素Ｇ（ｊ）の画素データを補間する。ただし、ｋはｉ番目の画素にフレーム画像Ｆ３の横方向の画素数を加えた画素の番号を示している。

以上のように、動き非対応合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高解像度化を行っている。このため、非常に高画質な静止画像を得ることができる。

このような動き非対応合成処理は、取得した４つのフレーム画像のうち、基準フレーム画像と対象フレーム画像との画像間の動き量が小さい場合に適している。
なぜなら、このような動き非対応合成処理では、基準フレーム画像と対象フレーム画像との画像間で動きが発生していた場合、以下に示す問題点が生じるおそれがあるからである。

図１０は、複数のフレーム画像間で動きが発生していた場合に、上記動き非対応合成処理を実行した場合の説明図である。図の下段は、上段の４つのフレーム画像Ｆ０〜Ｆ３を用いて動き非対応合成処理により得られた生成画像Ｇを示している。上段の４つのフレーム画像Ｆ０〜Ｆ３は、画面の左から右に移動する自動車が撮影された動画像を示しており、自動車の位置が順に移動しているものである。上述の動き非対応合成処理では、決定された最近傍画素がフレーム画像間で動きのある画素であるか否かに関わらず、最近傍画素とこの最近傍画素を含むフレーム画像中の他の画素とを用いて、注目画素の補間処理を行うため、図１０に示すように、生成画像Ｇ中の自動車の画像が多重画像となってしまう場合がある。

従って、本実施例では、動き検出部１０８で検出した動き量Ｒｅが閾値Ｒｔ２以下（Ｒｅ≦Ｒｔ２）であって、基準フレーム画像と対象フレーム画像との画像間でほとんど動きがない場合に、上述の動き非対応合成処理により、高解像度化を行うようにしている。

Ｂ−４−２．動き対応合成処理：
一方、動き検出部１０８で検出した動き量Ｒｅが閾値Ｒｔ２より大きく、閾値Ｒｔ１以下（Ｒｔ２＜Ｒｅ≦Ｒｔ１）であって、基準フレーム画像と対象フレーム画像との画像間に中間程度の動きがある場合には、以下に説明する動き対応合成処理（図２ステップＳ１２）を実行する。この動き対応合成処理では、フレーム画像間に動きが発生している場合でも、多重画像を発生させることなく高解像度化が可能である。

この動き対応合成処理において、まず、ずれ補正部１０６が、上述の動き非対応合成処理（図２、ステップＳ１０）の場合と同様に、図８に示すごとく、上述の補正量推定処理（図２、ステップＳ４）で推定した補正量を用いて、基準フレームの画像データと対象フレームの画像データとの位置ずれの補正を行い、それらを重ね合わせる。次に、高解像度化処理部１１０が、上述の動き非対応合成処理（図２、ステップＳ１０）の場合と同様に、生成する静止画像の生成画素Ｇにおける注目画素Ｇ（ｊ）に対して、フレーム画像ごとに近傍画素を求め、その中から最近傍画素を決定する。

続いて、高解像度化処理部１１０は、求めた最近傍画素と基準フレーム画像Ｆ０に対する動きの判定を行う。
最近傍画素が基準フレーム画像Ｆ０の画素である場合は、動きの判定を行わず、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素を用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。

一方、最近傍画素が対象フレーム画像Ｆ１〜Ｆ３の画素である場合は、動きの判定方法として、上述の動き量検出処理（図２、ステップＳ６）で、行った動き判定方法（図７）を用いる。具体的には、動き量検出処理での動き判定（図７）における判定画素Ｆｐｔを前述の最近傍画素に置き換え、高解像度化処理部１１０は、その最近傍画素に最も近い基準フレーム画像Ｆ０の画素を探索し、動き量検出処理での動き判定における基準フレーム画像Ｆｒの画素Ｆｐ１を、その探索した基準フレーム画像Ｆ０の画素に置き換え、その探索した基準フレーム画像Ｆ０の画素と、その画素に隣接して、最近傍画素を囲む基準フレーム画像Ｆ０の画素を用いることにより、上述のようにして、最近傍画素について動き判定を行う。

このような動き判定で、最近傍画素に動きがないと判定されると、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、最近傍画素と、この最近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成する。

一方、動き判定で、最近傍画素に動きがあると判定された場合には、注目画素Ｇ（ｊ）に対して、最近傍画素の次に近い近傍画素（以下、次近傍画素とも呼ぶ。）について、上述した動き判定を行う。その判定で、次近傍画素に動きがないと判定された場合には、前述と同様、注目画素Ｇ（ｊ）の画素データを、次近傍画素と、この次近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成する。

また、次近傍画素についての動き判定で、次近傍画素に動きがあると判定された場合には、次近傍画素の次に近い近傍画素を求め、その画素について、同様の動き判定を行う。以上の手順を繰り返し、注目画素Ｇ（ｊ）に対する対象フレーム画像Ｆ１〜Ｆ３のすべての近傍画素で、動きがあると判定されると、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成する。

このようにして、高解像度化処理部１１０は、注目画素Ｇ（ｊ）について補間処理を行い、さらに、同様の補間処理を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について行う。

以上のように、動き対応合成処理において、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像の近傍画素について、近い順に動き判定を行い、その画素に動きがないと判定した場合のみ、その動きがないと判定された画素と、この画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、注目画素Ｇ（ｊ）の補間処理を行う。また、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像のすべて画素について、動きがあると判定すると、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の画像データを用いて、注目画素Ｇ（ｊ）の補間処理を行う。

このようにすることで、この動き非対応合成処理では、取得した４つのフレーム画像のうち、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との画像間に中程度の動きがある場合にも、基準フレーム画像Ｆ０に対して動きのある画素は排除して合成し、高解像度化することができるので、その画像間の動き量が中程度の場合に適している。

Ｂ−４−３．単純高解像度化処理：
一方、本実施例では、動き検出部１０８で検出した動き量Ｒｅが閾値Ｒｔ１より大きくて（Ｒｅ＞Ｒｔ１）、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との画像間で動きが大きい場合、つまりフレーム画像中ほとんどの場所で動きが検出される場合には、以下に説明する単純高解像度化処理（図２、ステップＳ１４）を実行する。

この単純高解像度化処理において、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の、各々の画素データを用いて、上述の動き非対応合成処理および動き対応合成処理で使われている、バイ・リニア法、バイ・キュービック法、二アレストネイバ法などの補間処理によって生成する。

Ｃ．その他の動き量の検出方法：
さて、上述のように動き量検出処理（図２、ステップＳ６）において、動き検出部１０８は、基準フレーム画像Ｆ０に対する各対象フレーム画像Ｆ１〜Ｆ３の動きを判定し、その動き量を検出していた。具体的には、対象フレーム画像中において、判定画素Ｆｐｔを設定し、動きがないと判定される範囲に、その判定画素Ｆｐｔの輝度値Ｖｔｅｓｔがあるか否かを判定することにより、判定画素Ｆｐｔの動きを判定した上で、対象フレーム画像中において、動きがあると判定された画素の数に基づいて、動き量を求めていた。

しかしながら、このような動き量検出方法に代えて、以下に示す動き量検出方法１〜３の何れかを用いて、動き量の検出処理を行っても良い。

なお、以下で説明する動き判定方法において、上述の動き量検出処理で説明した前提条件（図６）は同様であるとする。さらに、以下で用いる後述の図１１、図１２および図１３では、図の説明をわかりやすくするため、判定画素Ｆｐｔの位置が、その判定画素Ｆｐｔを囲む４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４で形成される格子内において、１次元の位置、すなわち、ｘ方向に並ぶ２つの画素Ｆｐ１，Ｆｐ２の間の座標（Δｘ、０）にある場合を例に描いている。

Ｃ−１．動き量検出方法１：
まず、本実施例における第２の動き判定方法を以下に説明する。図１１は、本実施例における第２の動き判定法について示す説明図である。一般に、画像全体のずれと、画像中の一部について局所的に求めたずれとが一致しない場合に、動きがある可能性が高い。
そこで、この点を考慮し、判定画素Ｆｐｔの両側に位置する基準フレーム画像Ｆｒの２つの画素Ｆｐ１，Ｆｐ２間の輝度勾配が一定であると仮定して、その輝度値Ｖｍが判定画素Ｆｐｔの輝度値Ｖｔｅｓｔに等しくなる画素Ｆｍ（以下、「推定画素」とも呼ぶ。）の位置Ｘｍを算出する。そして、その位置（以下、「推定位置」とも呼ぶ。）Ｘｍから、この推定位置Ｘｍを中心として、画面全体のずれによって変化する可能性のある位置までの距離を閾値Ｌｔｈとする。このとき、以下に示すように判定画素Ｆｐｔと推定画素Ｆｍとの間の距離Ｌｍが、閾値Ｌｔｈより大きいか否かによって動きの判定を行うことができる。

まず、動き検出部１０８は、判定画素Ｆｐｔの両側に位置する基準フレーム画像Ｆｒ中の２つの画素Ｆｐ１，Ｆｐ２の間の勾配を一定として、推定輝度値Ｖｍが判定画素Ｆｐｔの輝度値Ｖｔｅｓｔに等しくなる推定位置Ｘｍを算出する。次に、判定画素Ｆｐｔの位置Ｘと、推定画素Ｆｍの推定位置Ｘｍとの距離Ｌｍを、下式のように算出する。
Ｌｍ＝｜Ｘｍ−Ｘ｜＝｜（Ｖｔｅｓｔ−Ｖ１）／（Ｖ２−Ｖ１）−Δｘ｜

そして、こうして求めた距離Ｌｍを、前述の閾値Ｌｔｈと比較することにより、Ｌｍ＞Ｌｔｈであれば、判定画素Ｆｐｔに動きがあると判定し、そうでなければ、動きがないと判定する。

なお、以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。

また、判定画素Ｆｐｔの座標が２次元の座標（Δｘ，Δｙ）の場合には、判定画素Ｆｐｔに基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とするｘ軸方向（横方向）およびｙ軸方向（縦方向）に、輝度値Ｖｔｅｓｔの値を写像して判定を行うようにすればよい。ここで、動き検出部１０８は、ｘ軸方向およびｙ軸方向の判定結果について、少なくとも一方において動きがありと判定した場合には、この判定画素Ｆｐｔは動きがあると判定し、それ以外の場合には動きがないと判定する。

このようにして、動き検出部１０８は、判定画素Ｆｐｔについて動き判定を行い、さらに、同様な動き判定を、対象フレーム画像Ｆｔにおける全画素について行う。なお、判定の順番等については、上述した動き量検出処理（図２、ステップＳ６）で行った動き判定方法の場合と同様である。

さらに、動き検出部１０８は、対象フレーム画像Ｆｔにおける全画素について動き判定を終えると、その対象フレーム画像Ｆｔにおいて、動きがあると判定された画素の数を算出する。

以上のようにして、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３それぞれについて、動きがあると判定された画素の数を算出し、さらに、それらの画素数を加算して、３つの対象フレーム画像Ｆ１〜Ｆ３において、動きがあると判定された画素数の総合計Ｓｍを求める。さらに、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き判定を行った全画素数の総合計Ｒｊを計算し、その総合計Ｓｊに対して、動きがあると判定された画素数の総合計Ｓｍの割合Ｓｅ（＝Ｓｍ／Ｒｊ）を算出する。この割合Ｓｅは、基準フレーム画像に対する対象フレーム画像の動きの程度を表すので、この割合Ｓｅを前述した動き量とする。

その後、上述したとおり、高解像度化処理の選択（図２、ステップＳ８）が実行されるが、その際に用いる閾値としては、予め、閾値Ｓｔ１，Ｓｔ２（１＞Ｓｔ１＞Ｓｔ２＞０）が設定されており、処理選択部１０９は、上述の動き検出方法で算出した動き量Ｓｅを、これら閾値Ｓｔ１，Ｓｔ２と比較して、高解像度化処理の選択を行う。

具体的には、処理選択部１０９は、まず、動き量Ｓｅと閾値Ｓｔ１とを比較する。この時、動き量Ｓｅが閾値Ｓｔ１より大きければ（Ｓｅ＞Ｓｔ１）、画像全体で種々の動きがあるものとして、上述の単純高解像度化処理を選択し、動き量Ｓｅが閾値Ｓｔ１以下であれば（Ｓｅ≦Ｓｔ１）、次に、処理選択部１０９は、動き量Ｓｅと閾値Ｓｔ２とを比較する。この時、動き量Ｓｅが閾値Ｓｔ２より大きければ（Ｓｅ＞Ｓｔ２）、画像中で中間程度の動きがあるものとして、上述の動き対応合成処理を選択し、動き量Ｓｅが閾値Ｓｔ２以下であれば（Ｓｅ≦Ｓｔ２）、画像中でほとんど動きがないものとして、上述の動き非対応合成処理を選択する。

Ｃ−２．動き量検出方法２：
次に、動き量検出方法２を以下に説明する。上述の動き量検出処理（図２、ステップＳ６）において、動き検出部１０８は、動き判定を行った全画素数の総合計Ｒｊを計算し、その総合計Ｒｊに対して、動きがあると判定された画素数の総合計Ｒｍとの割合Ｒｅ（＝Ｒｍ／Ｒｊ）を動き量としている。しかし、この動き量検出方法２では、上述で動き検出部１０８が行う動き判定において、判定画素Ｆｐｔについて後述する動き値を求め、その動き値を全画素について加算し、その総合計を求めることにより、動き量を算出している。以下に、図１２を用いて具体的に説明する。

図１２は、動き量検出方法２における動き量の算出を説明する図である。
まず、動き検出部１０８は、判定画素Ｆｐｔの両側に位置する基準フレーム画像Ｆｒにおける２つの画素Ｆｐ１，Ｆｐ２について、輝度値の最大値Ｖｍａｘと最小値Ｖｍｉｎを求める。
次に、動き検出部１０８は、判定画素Ｆｐｔについて、輝度値の最大値Ｖｍａｘと輝度値の最小値Ｖｍｉｎとを結んだ線上における位置Δｘでの輝度値をＶｘ'として求める。そして、判定画素Ｆｐｔについて、その動きを表す動き値ΔＶｋとして、｜Ｖｔｅｓｔ−Ｖｘ'｜を算出する。

このようにして、動き検出部１０８は、判定画素Ｆｐｔについて動き値の算出を行い、さらに、同様にして、対象フレーム画像Ｆｔにおける全画素について、それぞれ、動き値ΔＶｋを算出する。例えば、対象フレーム画像Ｆｔの左上の画素から開始して順番に右上の画素まで行い、その後１つずつ下の左端の画素から順番に右端の画素まで行い、最後に右下の画素まで行う。ただし、ずれ補正した結果、判定画素Ｆｐｔが、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔが部分一致した位置にある場合で、基準フレーム画像Ｆｒ上にない場合は行わない。

さらに、動き検出部１０８は、対象フレーム画像Ｆｔにおける全画素について動き値ΔＶｋの算出を終えると、その対象フレーム画像Ｆｔにおいて、算出した各画素の動き値ΔＶｋを加算して、その合計Ｖｋを算出する。

以上のようにして、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３それぞれについて、動き値の合計Ｖｋを算出し、さらに、各合計Ｖｋを加算して、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き値の総合計Ｖｋｘを求める。さらに、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き判定を行った全画素数の総合計Ｒｊを計算し、その総合計Ｒｊにおける、動き値の平均Ｖａｖ（＝Ｖｋｘ／Ｒｊ）を算出する。動き値の平均Ｖａｖは、基準フレーム画像に対する対象フレーム画像の動きの程度を表すので、この動き値の平均Ｖａｖを前述した動き量とする。

なお、以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。また、判定画素Ｆｐｔの座標が（Δｘ、Δｙ）の場合には、Ｖ１、Ｖ２、Ｖ３を通る輝度平面を求め、その輝度平面上の（Δｘ、Δｙ）の位置における輝度値をＶｘｙ'とし、｜Ｖｔｅｓｔ−Ｖｘｙ'｜を、判定画素Ｆｐｔの動き値ΔＶｋとして、上述の手順で動き量Ｖａｖを求めるようにすればよい。

その後、上述したとおり、高解像度化処理の選択（図２、ステップＳ８）が実行されるが、その際に用いる閾値としては、予め、閾値Ｖｔ１，Ｖｔ２（１＞Ｖｔ１＞Ｖｔ２＞０）が設定されており、処理選択部１０９は、上述の動き検出方法で算出した動き量を、これら閾値Ｖｔ１，Ｖｔ２と比較して、高解像度化処理の選択を行う。

具体的には、処理選択部１０９は、まず、動き量Ｖａｖと閾値Ｖｔ１とを比較する。この時、動き量Ｖａｖが閾値Ｖｔ１より大きければ（Ｖａｖ＞Ｖｔ１）、画像全体で種々の動きがあるものとして、上述の単純高解像度化処理を選択し、動き量Ｖａｖが閾値Ｖｔ１以下であれば（Ｖａｖ≦Ｖｔ１）、次に、処理選択部１０９は、動き量Ｖａｖと閾値Ｖｔ２とを比較する。この時、動き量Ｖａｖが閾値Ｖｔ２より大きければ（Ｖａｖ＞Ｖｔ２）、画像中で中間程度の動きがあるものとして、上述の動き対応合成処理を選択し、動き量Ｖａｖが閾値Ｖｔ２以下であれば（Ｖａｖ≦Ｖｔ２）、画像中でほとんど動きがないものとして、上述の動き非対応合成処理を選択する。

Ｃ−３．動き量検出方法３：
次に、動き量検出方法３を以下に説明する。上述の動き検出方法１において、動き検出部１０８は、動き量を検出する際に、動き判定を行った全画素数の総合計Ｒｊに対して、動きがあると判定された画素数の総合計Ｓｍとの割合Ｓｅ（＝Ｓｍ／Ｒｊ）を動き量としている。しかし、この動き量検出方法３では、上述の動き量検出方法１での動き検出部１０８が行う動き判定において、判定画素Ｆｐｔについて後述する動き値を求め、その動き値を全画素について加算し、その総合計を求めることにより、動き量を算出している。以下に、図１３を用いて具体的に説明する。

図１３は、動き量検出方法３における動き量の算出を説明する図である。
まず、動き検出部１０８は、判定画素Ｆｐｔの両側に位置する基準フレームの２つの画素Ｆｐ１，Ｆｐ２間の輝度勾配が一定であると仮定して、その輝度値Ｖｍが判定画素Ｆｐｔの輝度値Ｖｔｅｓｔに等しくなる推定画素Ｆｍの位置Ｘｍを算出する。
次に、動き検出部１０８は、判定画素Ｆｐｔについて、この判定画素Ｆｐｔと推定画素Ｆｍとの間の距離Ｌｍを、動き値として算出する。

このようにして、動き検出部１０８は、判定画素Ｆｐｔについて動き値の算出を行い、さらに、同様にして、対象フレーム画像Ｆｔにおける全画素について、それぞれ、動き値Ｌｍを算出する。例えば、対象フレーム画像Ｆｔの左上の画素から開始して順番に右上の画素まで行い、その後１つずつ下の左端の画素から順番に右端の画素まで行い、最後に右下の画素まで行う。ただし、ずれ補正した結果、判定画素Ｆｐｔが、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔが部分一致した位置にある場合で、基準フレーム画像Ｆｒ上にない場合は行わない。

さらに、動き検出部１０８は、対象フレーム画像Ｆｔにおける全画素について動き値Ｌｍの算出を終えると、その対象フレーム画像Ｆｔにおいて、算出した各画素の動き値Ｌｍを加算して、その合計Ｌｍａを算出する。

以上のようにして、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３それぞれについて、動き値の合計Ｌｍａを算出し、さらに、各合計Ｌｍａを加算して、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き値の総合計Ｌｍｘを求める。さらに、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き判定を行った全画素数の総合計Ｒｊを計算し、その総合計Ｒｊにおける、動き値の平均Ｌａｖ（＝Ｌｍｘ／Ｒｊ）を算出する。動き値の平均Ｌａｖは、基準フレーム画像に対する対象フレーム画像の動きの程度を表すので、この動き値の平均Ｌａｖを前述した動き量とする。

なお、以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。また、判定画素Ｆｐｔの座標が２次元の座標（Δｘ，Δｙ）の場合には、判定画素Ｆｐｔに基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とするｘ軸方向（横方向）およびｙ軸方向（縦方向）に、輝度値Ｖｔｅｓｔの値を写像して判定を行うようにすればよい。ここで、ｘ軸方向およびｙ軸方向において、それぞれ動き値を求め、それを加算して動き値Ｌｍとして、上記手順で動き量Ｌａｖを求めるようにすればよい。

その後、上述したとおり、高解像度化処理の選択（図２、ステップＳ８）が実行されるが、その際に用いる閾値としては、予め、閾値Ｌｔ１，Ｌｔ２（１＞Ｌｔ１＞Ｌｔ２＞０）が設定されており、処理選択部１０９は、上述の動き検出方法で算出した動き量を、これら閾値Ｌｔ１，Ｌｔ２と比較して、高解像度化処理の選択を行う。

具体的には、処理選択部１０９は、まず、動き量Ｌａｖと閾値Ｌｔ１とを比較する。この時、動き量Ｌａｖが閾値Ｌｔ１より大きければ（Ｌａｖ＞Ｌｔ１）、画像全体で種々の動きがあるものとして、上述の単純高解像度化処理を選択し、動き量Ｌａｖが閾値Ｌｔ１以下であれば（Ｌａｖ≦Ｌｔ１）、次に、処理選択部１０９は、動き量Ｌａｖと閾値Ｌｔ２とを比較する。この時、動き量Ｌａｖが閾値Ｌｔ２より大きければ（Ｌａｖ＞Ｌｔ２）、画像中で中間程度の動きがあるものとして、上述の動き対応合成処理を選択し、動き量Ｌａｖが閾値Ｌｔ２以下であれば（Ｌａｖ≦Ｌｔ２）、画像中でほとんど動きがないものとして、上述の動き非対応合成処理を選択する。

Ｄ．効果：
上述のように、高解像度化処理の選択（図２、ステップＳ８）において、処理選択部１０９は、動き量検出処理（図２、ステップＳ６）で検出した動き量Ｒｅに応じて、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理および単純高解像度化処理）を自動的に選択している。このため、ユーザ自ら、（３つの高解像度化処理の中から）高解像度化処理を選択することなく、適切な高解像度化処理を行うことができ、その結果、高画質な静止画像データを生成することができる。

Ｅ．変形例：
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

上記実施例では、高解像度化処理の選択を行うと、その選択した高解像度化処理をそのまま実行していたが、本発明は、これに限られるものではなく、例えば、選択した高解像度化処理を、ユーザに一旦、推奨するようにしてもよい。以下に、この処理について、図１、図１４、図１５を用いて説明する。

この変形例において、静止画像生成装置の構成は、図１に示したのとほぼ同様であるが、さらに、コンピュータ１００は推奨処理部１１２としても機能する。

図１４は、ユーザが、高解像度化処理の選択を行う場合のフローチャートであり、図１５は、ユーザに対して推奨する高解像度化処理の種別をお知らせするプレビューの説明図である。プレビュー２００の上部には、動画像を再生したり、静止画像を表示したりする画像表示エリア２２０が設けられ、中央部には、ユーザが高解像度化処理を選択可能なプルダウンリスト２４０が設けられ、下部には、処理選択部１０９により選択された高解像度化処理をユーザに推奨する推奨表示エリア２５０が設けられている。また、画像表示エリア２２０とプルダウンリスト２４０との間には、プレビュー２００の略中央から右側にかけて順に、フレーム画像取得ボタン２０５、処理ボタン２３０が設けられている。

今、ディスプレイ１５０にプレビュー２００が表示されている。画像表示エリア２２０に動画像が表示されている時に、ユーザがマウスカーソル２１０を操作することにより、フレーム画像取得ボタン２０５が押されると、フレーム画像データの取得指示が入力され、フレーム画像取得部１０４は、図２に示した処理手順と同様に、動画像データの中から、時系列に連続する複数フレームのフレーム画像データを取得する（ステップＳ２０）と共に、画像表示エリア２２０に表示されている動画像を一時停止させる。次に、取得したフレーム画像データに基づいて、ずれ補正部１０６は、補正量を推定する（ステップＳ２２）。続いて、ずれ補正部１０６は、推定した補正量に基づいて、基準フレーム画像と対象フレーム画像を重ね合わせ、動き検出部１０８は、動き量を求める動き量検出処理を行う（ステップＳ２４）。そして、処理選択部１０９は、求められた動き量に基づいて、３つの高解像度化処理の中から１つの高解像度化処理の選択を行う（ステップＳ２６）。

さらに、推奨処理部１１２は、選択された高解像度化処理をユーザに対して推奨する推奨画面を、図１５のごとく推奨表示エリア２５０に表示する（ステップＳ２８）。図１５では、例えば、上述の高解像度化処理の選択において、動き対応合成処理が選択され、ユーザに対し、取得したフレーム画像データについては、その動き対応合成処理で高解像度化処理を実行することを推奨している。

ここで、ユーザが、推奨された高解像度化処理でそのまま実行することを希望する場合には、ユーザは、マウスカーソル２１０を操作して処理ボタン２３０を押す（ステップＳ３０：ＹＥＳ）。すると、高解像度化処理部１１０は、推奨表示エリア２５０に表示された推奨画面が示す高解像度化処理を実行する（ステップＳ３２）。

一方、ユーザが、推奨された高解像度化処理で実行することを希望しない場合には、ユーザは、処理ボタン２３０を押さずに（ステップＳ３０：ＮＯ）、プルダウンリスト２４０から好みの高解像度化処理を選択して（ステップＳ３４：ＹＥＳ）、処理ボタン２３０を押す（ステップＳ３６：ＹＥＳ）。すると、高解像度化処理部１１０は、ユーザが選択した高解像度化処理を実行する（ステップＳ３８）。

また、ユーザが処理ボタン２３０を押さずに（ステップＳ３０：ＮＯ）、プルダウンリスト２４０から高解像度化処理を選択していない場合には（ステップＳ３４：ＮＯ）、ユーザが処理ボタン２３０を押すか、プルダウンリスト２４０から高解像度化処理を選択するまで待機する。さらに、プルダウンリスト２４０から高解像度化処理が選択されている場合も（ステップＳ３６：ＹＥＳ）、処理ボタン２３０が押されるまで待機する。

なお、ユーザがプルダウンから高解像度処理を選択して（ステップＳ３４：ＹＥＳ）、処理ボタン２３０を押していない場合（ステップＳ３６：ＮＯ）には、ユーザは、プルダウンから選択している高解像度処理とは異なる高解像度処理を再度選択することができる。この場合、推奨の高解像度化処理を選択することもできる。

以上のようにすれば、ユーザは、推奨表示エリア２５０を見れば、静止画像生成装置が推奨している高解像度化処理を知ることができるので、それを参考にした上で、ユーザは、希望する高解像度化処理を自由に選択することができる。

上記実施例では、高解像度化処理部１１０は、３つの高解像度化処理を行うことができるが、本発明は、これに限られるものではない。例えば、１つや２つ、または４つ以上の高解像度化処理を行ってもよい。この場合、処理選択部１０９は、高解像度化処理部１１０が行うことができる可能な高解像度化処理の中から、１つを選択するようにする。

上記実施例では、検出した動き量に応じて、３つの高解像度化処理（つまり、動き対応合成処理、動き非対応合成処理および単純高解像度化処理）の中から１つの高解像度化処理を選択して実行するようにしているが、本発明は、これに限定されるものではない。例えば、高解像度化処理としては、動き対応合成処理を実行するが、検出した動き量に応じて、動き対応合成処理での処理内容を切り換え、動き対応合成処理の中において、本来の動き対応合成処理だけでなく、実質的に、動き対応合成処理、動き非対応合成処理および単純高解像度化処理と同様な処理も、選択的に実行するようにしてもよい。以下に、具体的に説明する。なお、以下の説明では、図２のステップＳ２〜ステップＳ６までの処理は、上述と同様であるので説明は省略する。

まず、動き対応合成処理の中において、動き非対応合成処理と同様の処理を実行する場合を説明する。上述の高解像度化処理の選択（図２、ステップＳ８）で、動き検出部１０８が検出した動き量Ｒｅが閾値Ｒｔ２以下（Ｒｅ≦Ｒｔ２）である場合には、動き対応合成処理の中で対象フレーム画像の各画素について行う動き判定における、上記判定範囲の幅を無限大になるように設定する。このようにすることにより、対象フレーム画像のすべての画素で動きがないと判定される。従って、高解像度化処理部１１０は、動き対応合成処理の中において、常に、上記注目画素Ｇ（ｊ）の画素データを、最近傍画素と、この最近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成することになる。従って、この様な処理を行うことにより、動き対応合成処理の中において、実質的に、動き非対応合成処理と同様の処理を行うことができる。

次に、動き対応合成処理の中において、単純高解像度化処理と同様の処理を実行する場合を説明する。上述の高解像度化処理の選択（図２、ステップＳ８）で、動き検出部１０８で検出した動き量Ｒｅが閾値Ｒｔ１より大きい（Ｒｅ＞Ｒｔ１）場合には、動き対応合成処理の中で対象フレーム画像の各画素について行う動き判定において、上記判定範囲の幅がなくなるように設定する。このようにすることにより、対象フレーム画像のすべての画素で動きがあると判定される。従って、高解像度化処理部１１０は、動き対応合成処理の中において、常に、上記注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、二アレストネイバ法等の種々の補間処理によって生成することになる。従って、この様な処理を行うことにより、動き対応合成処理の中において、実質的に、単純高解像度化処理と同様の処理を行うことができる。

なお、上述の高解像度化処理の選択（図２、ステップＳ８）で、動き検出部１０８で検出した動き量Ｒｅが閾値Ｒｔ２より大きく、閾値Ｒｔ１以下（Ｒｔ２＜Ｒｅ≦Ｒｔ１）の場合には、上記実施例で述べた通りの動き対応合成処理を行うようにする。

以上のよう、上記判定範囲の幅を変化させることにより、動き対応合成処理の中において、本来の動き対応合成処理だけでなく、実質的に、動き非対応合成処理と同様の処理、および単純高解像度化処理と同様の処理を実行することができるので、３つの高解像度化処理に分けることなく、動き対応合成処理１つで、上記実施例と同様の処理を行うことが可能である。

ところで、上述したように、検出した動き量Ｒｅに応じて動き対応合成処理の処理内容を切り換え、高解像度化処理を動き対応合成処理１つで実行する場合、上記した説明では、検出した動き量Ｒｅに応じて、判定範囲の幅を３段階で切り換えていたが、４段階以上、または無段階に切り換えるようにしてもよい。

例えば、動き量Ｒｅに応じて上記判定範囲の幅を無段階で切り換える場合、動き量Ｒｅが１に近づくに連れて、上記判定範囲の幅を動き量Ｒｅに応じて徐々に小さくするようにする。このようにすれば、動き対応合成処理における動き判定で、動きがあると判定される画素数が増えるので、結果的に多くの画素で単純高解像度化処理を行ったことになる。また、動き量Ｒｅが０に近づくに連れて、上記判定範囲の幅を動き量Ｒｅに応じて徐々に大きくするようにする。このようにすれば、動き対応合成処理における動き判定で、動きがあると判定される画素数が減るので、結果的に多くの画素で動き非対応合成処理を行ったことになる。

以上のようにすれば、実行すべき高解像度化処理を、動き量Ｒｅに応じて、単純高解像度化処理から動き非対応合成処理まで多段階で切り換えて実行することができるため、検出した動き量Ｒｅにより精度よく対応した高解像度化処理を行うことができる。

上記実施例では、動き量検出処理（図２、ステップＳ６）および動き量検出方法１〜３において、動き量の検出をする際に、すべての対象フレーム画像を参照して動き量を算出しているが、本発明は、これに限られるものではない。動き量の検出をする際には、すべて参照するのではなく、１つ若しくは、複数の対象フレーム画像を参照して動き量を算出してもよい。このようにすれば、すべての対象フレーム画像を参照して動き量を算出する必要がなくなり、演算量が少なくなるので、処理時間の短縮になる。

上記実施例における動き量検出方法１の動き判定（図１１）において、まず、動き量検出処理（図２、ステップＳ６）で行った動き判定方法を用いて、対象フレーム画像Ｆｔにおける判定画素Ｆｐｔの動きを判定し、動きがないと判定された場合にのみ動き判定を行うようにしてもよい。

上記実施例の静止画像生成システムにおいて、取得するフレーム画像は、取得指示の入力タイミングから時系列的に連続する４フレームのフレーム画像データを取得するものとしているが、本発明は、これに限られるものではない。取得するフレーム画像は、２フレーム、３フレーム若しくは、５フレーム以上のフレーム画像データを取得してもよい。この場合には、取得したフレーム画像データの一部または、全部を用いて、上述のようにして比較的高解像度な静止画像データを生成する処理を行ってもよい。

上記実施例では、動画像データの中から取得された時系列に連続する複数のフレーム画像データに基づいて、１つの高解像度な静止画像データを生成する場合を説明しているが、本発明はこれに限られるものではなく、単に、時系列に連続する複数の低解像度の画像データに基づいて、１つの高解像度の画像データを生成することも可能である。例えば、時系列に連続する複数の低解像度の画像データとしては、デジタルカメラで連写された複数の画像データであってもよい。
また、必ずしも時系列に連続する複数の低解像度の画像データ（フレーム画像データを含む。）である必要もなく、時系列に並んだ複数の低解像度の画像データであってもよい。

上記実施例では、静止画像生成装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の静止画像生成装置がビデオカメラ、デジタルカメラ、プリンタ、ＤＶＤプレーヤ、ビデオテーププレーヤ、ハードディスクプレーヤ、カメラ付き携帯電話などに内蔵されてもよい。特に、ビデオカメラを本発明の静止画像生成装置とした場合には、動画像を撮影しながら、撮影した動画像の動画像データに含まれる複数のフレーム画像データから１つの高解像度な静止画像データを生成することが可能となる。また、デジタルカメラを本発明の静止画像生成装置とした場合にも、被写体を連写しながら、あるいは、連写した結果を確認しながら、複数の撮像画像データから１つの高解像度な静止画像データを生成することができる。

上記実施例では、比較的低解像度の画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

本発明の一実施例としての静止画像生成装置の概略構成を示す説明図である。 生成静止画像データを生成する手順を示す説明図である。 基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図である。 基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。 基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとのずれを補正して重ね合わせた様子を拡大して示す説明図である。 動きの判定方法を説明するための前提条件を示す説明図である。 本実施例における動き判定方法について示す説明図である。 基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とをずれを補正して配置した様子を拡大して示す説明図である。 バイ・リニア法による補間処理について示す説明図である。 複数のフレーム画像間で動きが発生していた場合に上記動き非対応合成処理を実行した場合の説明図である。 本実施例における第２の動き判定法について示す説明図である。 動き量検出方法２における動き量の算出を説明する図である。 動き量検出方法３における動き量の算出を説明する図である。 ユーザが高解像度化処理の選択を行う場合のフローチャートである。 ユーザに対して推奨する高解像度化処理の種別をお知らせするプレビューの説明図である。

符号の説明

２０...プリンタ
３０...デジタルビデオカメラ
１００...コンピュータ
１０２...静止画像生成制御部
１０４...フレーム画像取得部
１０６...ずれ補正部
１０８...動き量検出部
１０９...処理選択部
１１０...高解像度化処理部
１１２...推奨処理部
１２０...キーボード
１３０...マウス
１５０...ディスプレイ
２００...プレビュー
２２０...画像表示エリア
２４０...プルダウンリスト
２５０...推奨表示エリア
２０５...フレーム画像取得ボタン
２３０...合成ボタン
２１０...マウスカーソル

Claims (14)

1. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
   前記複数の第１の画像データについて、互いの画像間の位置ずれを補正するずれ補正部と、
   補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する動き検出部と、
   算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する高解像度化処理選択部と、
   前記複数の高解像度化処理をそれぞれ実行することが可能であり、選択した前記高解像度化処理によって、補正した前記複数の第１の画像データに基づいて、前記第１の画像データに比べて高解像度な第２の画像データを生成する高解像度化処理部と、
   を備えたことを特徴とする静止画像生成装置。
2. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
   前記複数の第１の画像データについて、互いの画像間の位置ずれを補正するずれ補正部と、
   補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する動き検出部と、
   算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する高解像度化処理選択部と、
   選択した前記高解像度化処理を、推奨すべき高解像度化処理として外部に報知する報知部と、
   を備えたことを特徴とする静止画像生成装置。
3. 請求項１または請求項２に記載の静止画像生成装置において、
   前記複数の第１の画像データは、動画像データの中から取得された時系列に並ぶ複数の画像データであることを特徴とする静止画像生成装置。
4. 請求項１ないし請求項３のいずれかに記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行い、その判定結果において動きがあると判定された画素の数に基づいて、前記動き量を算出することを特徴とする静止画像生成装置。
5. 請求項４に記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、判定範囲を設定し、前記判定画素の画素値が前記判定範囲内にあれば、前記判定画素について動きがあると判定し、前記判定範囲内になければ、動きがないと判定することを特徴とする静止画像生成装置。
6. 請求項４に記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、前記判定画素の画素値と同じ画素値を持つ推定画素を推定し、前記判定画素と前記推定画素との間の距離が、予め設定された閾値よりも大きければ、前記判定画素について動きがあると判定し、前記閾値よりも小さければ、動きがないと判定することを特徴とする静止画像生成装置。
7. 請求項１ないし請求項３のいずれかに記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの程度を表す動き値を算出し、それら動き値の総合計に基づいて、前記動き量を算出することを特徴とする静止画像生成装置。
8. 請求項７に記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、基準画素値を設定し、前記判定画素の画素値と前記基準画素値の差分を、前記対象画素についての前記動き値として算出することを特徴とする静止画像生成装置。
9. 請求項７に記載の静止画像生成装置において、
   前記動き検出部は、前記対象画像の各画素について、それぞれ、前記基準画像に対する動きの判定を行う場合に、前記対象画像の各画素のうち、判定の対象となる判定画素について、前記基準画像における前記判定画素の近傍に位置する近傍画素の画素値に基づいて、前記判定画素の画素値と同じ画素値を持つ推定画素を推定し、前記判定画素と前記推定画素との間の距離を、前記対象画素についての前記動き値として算出することを特徴とする静止画像生成装置。
10. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成方法であって、
    （ａ）前記複数の第１の画像データについて、互いの画像間の位置ずれを補正する工程と、
    （ｂ）補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する工程と、
    （ｃ）算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する工程と、
    （ｄ）選択した前記高解像度化処理によって、補正した前記複数の第１の画像データに基づいて、前記第１の画像データに比べて高解像度な第２の画像データを生成する工程と、
    を備えたことを特徴とする静止画像生成方法。
11. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成方法であって、
    （ａ）前記複数の第１の画像データについて、互いの画像間の位置ずれを補正する工程と、
    （ｂ）補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する工程と、
    （ｃ）算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する工程と、
    （ｄ）選択した前記高解像度化処理を、推奨すべき高解像度化処理として報知する工程と、
    を備えたことを特徴とする静止画像生成方法。
12. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成プログラムであって、
    前記複数の第１の画像データについて、互いの画像間の位置ずれを補正する機能と、
    補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する機能と、
    算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する機能と、
    選択した前記高解像度化処理によって、補正した前記複数の第１の画像データに基づいて、前記第１の画像データに比べて高解像度な第２の画像データを生成する機能と、
    をコンピュータに実現させるための静止画像生成プログラム。
13. 複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成プログラムであって、
    前記複数の第１の画像データについて、互いの画像間の位置ずれを補正する機能と、
    補正した前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データと、を比較して、前記対象画像データの表す対象画像において、前記基準画像データの表す基準画像に対する局所的な動きを検出し、前記対象画像全体における前記局所的な動きの総量に対応した動き量を算出する機能と、
    算出した前記動き量に応じて、複数の高解像度化処理の中から、１つの高解像度化処理を選択する機能と、
    選択した前記高解像度化処理を、推奨すべき高解像度化処理として報知する機能と、
    をコンピュータに実現させるための静止画像生成プログラム。
14. 請求項１２または請求項１３に記載の静止画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images