JP4360177B2 - 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 - Google Patents

Description

本発明は、複数の比較的低解像度の画像データから、比較的高解像度の静止画像データを生成可能な、静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体に関する。

デジタルビデオカメラなどで撮影された動画像データは、複数の比較的低解像度の画像データ（例えば、フレーム画像データなど。）で構成されている。従来、このような動画像データからフレーム画像データを取得し、その取得したフレーム画像から、そのフレーム画像データよりも高解像度の静止画像データを生成することが行われている。

このように、高解像度の静止画像データを生成するために、フレーム画像データを用いて高解像度化する方法としては、複数の方法が存在する。例えば、取得した１つのフレーム画像データをバイ・キュービック法やバイ・リニア法などの方法を用いて、単純に高解像度化する方法がある。また、動画像データから、１つのフレーム画像データだけでなく、複数のフレーム画像データを取得して、それら複数のフレーム画像データを合成しつつ高解像度化する方法もある。ここで、解像度とは、１つの画像を構成する画素の密度あるいは画素数を意味している。
なお、上述のような静止画像データを作成する技術として関連するものには、例えば、下記特許文献１に記載されたものが知られている。かかる特許文献１では、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他のｎ枚のフレーム画像（対象フレーム画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して１枚の高解像度な画像を生成する技術が開示されている。

特開２０００−２４４８５１号公報

一方、デジタルビデオカメラなどでは、いろいろなものが撮影されるため、その動画像データから取得されるフレーム画像データの表す画像も、様々である。例えば、画像中でほとんど動きがない画像（風景画像など。）や、画像全体で種々の動きがある画像（大勢でサッカーをしている画像など。）や、画像中でこれらの中間程度の動きがある画像などがある。ここで、「動き」とは、主に、画像中における局所的な動きであり、画像中のある対象物の動きを意味している。
しかしながら、従来において、動画像データからフレーム画像データとして、このようなほとんど動きがない画像や全体で種々の動きがある画像などを取得して、高解像度な静止画像データを生成しようとする場合には、ユーザは、上記した複数の高解像度化方法の中から、試行錯誤しながら、取得した画像に応じた適切な方法を選択する必要があった。
そのため、ユーザの負担が大きくなると共に、適切な方法を得るまでに相当な時間を要するという問題があった。
なお、上記問題は、動画像データから取得した複数の低解像度のフレーム画像データに基づいて、高解像度化処理を行う場合に限らず、単に、時系列に並ぶ複数の低解像度の画像に基づいて、高解像度化処理を行う場合も同様に発生する問題である。

従って、本発明は、上記課題にかんがみてなされたもので、複数ある高解像度化方法の中から、画像に応じた適切な方法を容易に選択し得る技術を提供することを目的とする。

上記目的の少なくとも一部を達成するために、本発明の第１の静止画像生成装置は、複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データとを比較することにより、前記対象画像データの表す対象画像の、前記基準画像データの表す基準画像に対する動きを、画像を分割して得られる複数のブロック単位で検出し、その検出結果に基づいて、前記対象画像の前記基準画像に対する画像全体における動きの程度を表す動き量を検出する動き検出部と、
検出した前記動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択する高解像度化処理選択部と、
選択した前記高解像度化処理によって、前記複数の第１の画像データに基づいて、前記第２の画像データを生成する高解像度化処理部と、
を備えたことを要旨とする。

このようにすれば、ユーザ自ら、試行錯誤しながら高解像度化処理を選択する必要がなく、自動的に、画像の動きに応じた適切な高解像度化処理を実行することができ、高画質な静止画像データを生成することができる。

上記目的の少なくとも一部を達成するために、本発明の第２の静止画像生成装置は、複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
前記複数の第１の画像データのうち、基準となる基準画像データと、それ以外の少なくとも１つの対象画像データとを比較することにより、前記対象画像データの表す対象画像の、前記基準画像データの表す基準画像に対する動きを、画像を分割して得られる複数のブロック単位で検出し、その検出結果に基づいて、前記対象画像の前記基準画像に対するブロック内における動きの程度を表すブロック内動き量を、各ブロックについてそれぞれ検出する動き検出部と、
各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択する高解像度化処理選択部と、
前記複数の第１の画像データに基づいて、前記第２の画像データを前記静止画像として生成し、該静止画像のうち、或るブロックに属する部分について生成する際には、そのブロックについて選択した前記高解像度化処理を実行することによって生成する高解像度化処理部と、
を備えたことを要旨とする。

このようにすれば、局所的な動きがある画像であっても、その局所的な動きがある部分では、その部分に対応した適切な高解像度化処理を自動的に行うことができ、ほとんど動きがない部分では、その部分に対応した適切な高解像度化処理を自動的に行うことできるので、高画質な静止画像データを生成することができる。

なお、高解像度化処理選択部では、各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択するようにしているが、このことは、各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を、ブロック内の画素ごとに選択する場合も含んでいる。

上記静止画像生成装置において、前記対象画像と前記基準画像との画像全体としての位置ずれを第１の位置ずれとして検出すると共に、前記対象画像と前記基準画像の間におけるブロックごとの位置ずれをそれぞれ第２の位置ずれとして検出するずれ検出部をさらに備え、
前記動き検出部は、
或るブロックについての前記動きを、検出した前記第１の位置ずれと、そのブロックについて検出した前記第２の位置ずれとに基づいて、検出するようにしてもよい。

このようにすれば、対象画像において、画素単位の動きを検出することなく、大まかな単位で動きを検出することができるので、処理時間を短縮することができる。

上記静止画像生成装置において、前記動き検出部は、
或るブロックについての前記動きを検出する際には、
そのブロックに含まれる各画素について、それぞれ、前記対象画像の前記基準画像に対する動きの判定を行い、その判定結果において動きがあると判定された画素の数に基づいて、そのブロックについての前記動きを検出するようにしてもよい。

このようにすれば、ブロックの動き検出をする際に、画素単位の動きについても、動きとして反映することができるので、精度よく動き検出を行うことができる。

上記静止画像生成装置において、前記動き検出部は、
或るブロックについての前記動きを検出する際には、
そのブロックに含まれる各画素について、それぞれ、前記対象画像の前記基準画像に対する動きの大きさを表す動き値を算出し、それら動き値の総合計に基づいて、そのブロックについての前記動きを検出するようにしてもよい。

このようにすれば、ブロックの動き検出をする際に、画素単位の動きについても、動きとして反映することができるので、精度よく動き検出を行うことができる。

また、上記静止画像生成装置において、前記動き検出部は、各ブロックについて、それぞれ、前記検出した動きに基づいて動きの判定を行い、動きがあると判定されたブロックの総量に基づいて、前記動き量を算出するようにしてもよい。さらに、前記動き検出部は、各ブロックについて、それぞれ、検出した前記動きの大きさを総合計し、該総合計に基づいて前記動き量を算出するようにしてもよい。

なお、上記静止画像生成装置において、前記複数の第１の画像データは、動画像データの中から取得された時系列に並ぶ複数の画像データであってもよい。このようにすれば、動画像データに含まれる複数の第１の画像データから第２の画像データを静止画像として容易に生成することができる。

さらに、本発明は、上記した静止画像生成装置などの装置発明の態様に限ることなく、静止画像生成方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。

また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。

以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
１．第１の実施例：
Ａ．静止画像生成装置の構成：
Ｂ．静止画像生成の手順：
Ｂ−１．補正量推定処理：
Ｂ−２．動き量検出処理：
Ｂ−３．高解像度化処理の選択：
Ｂ−４．高解像度化処理：
Ｂ−４―１．動き非対応合成処理：
Ｂ−４―２．動き対応合成処理：
Ｂ−４―３．単純高解像度化処理：
Ｃ．効果：
２．第２の実施例：
３．第３の実施例：
４．第４の実施例：
５．第５の実施例：
６．変形例：

１．第１の実施例：
Ａ．静止画像生成装置の構成：
図１は、本発明の第１の実施例としての静止画像生成装置の概略構成を示す説明図である。この静止画像生成装置は、汎用のパーソナルコンピュータであり、コンピュータ１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０およびプリンタ２０と、を備えている。また、コンピュータ１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。

なお、本実施例においては、フレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。

コンピュータ１００は、所定のオペレーティングシステムの下で、静止画像を生成するためのアプリケーションプログラムを実行することにより、静止画像生成装置として機能する。特に、図に示したように、静止画像生成制御部１０２、フレーム画像取得部１０４、ずれ補正部１０６、動き検出部１０８、処理選択部１０９、高解像度化処理部１１０として機能する。なお、請求項におけるずれ検出部は、本実施例における、ずれ補正部１０６に該当する。

静止画像生成制御部１０２は、各部の制御を行い、静止画像生成動作を全体的に制御する。例えば、キーボード１２０やマウス１３０からユーザによって動画像の再生の指示が入力されると、静止画像生成制御部１０２は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷやデジタルビデオカメラ３０、あるいはハードディスク（図示せず）などからメモリ（図示せず）内に動画像データを読み込む。この動画像データには、それぞれ静止画像を表す複数のフレーム画像データが含まれている。各フレームのフレーム画像データの表す静止画像をビデオドライバを介してディスプレイ１５０に順に表示する。これにより、ディスプレイ１５０上で動画像が表示される。また、静止画像生成制御部１０２は、後述するように、フレーム画像取得部１０４、ずれ補正部１０６、動き検出部１０８、処理選択部１０９、高解像度化処理部１１０の動作を制御して、比較的低解像度な１つ若しくは、複数フレームのフレーム画像データから比較的高解像度な静止画像データを生成する。さらに、静止画像生成制御部１０２は、生成された静止画像データを、プリンタドライバを介してプリンタ２０に印刷させることもできる。

Ｂ．静止画像生成の手順：
図２は、本発明の第１の実施例における静止画像データを生成する手順を示す説明図である。まず、動画像の再生中に、キーボード１２０やマウス１３０からユーザによってフレーム画像データの取得指示が入力されると、フレーム画像取得部１０４は、動画像データの中から時系列に連続する複数フレームのフレーム画像データを取得する(ステップＳ２)。例えば、本実施例では、取得指示の入力タイミングから時系列に連続する４フレームのフレーム画像データを取得するものとする。フレーム画像取得部１０４によって取得された複数のフレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に記憶される。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)、Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。

次に、キーボード１２０やマウス１３０からユーザによって静止画像の生成指示が入力されると、静止画像データの生成処理が開始される。

まず、ずれ補正部１０６は、取得した４フレームの各フレーム間において発生しているずれ（位置ずれ）を補正するための補正量の推定を実行する（ステップＳ４）。この補正量の推定では、上記４フレームのうち、１フレームを基準フレームとして選択し、その他の３フレームを対象フレームとして選択する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施例では、ユーザによるフレーム画像データの取得指示の入力タイミングで最初に取得されたフレームを基準フレームとして選択し、その後時系列順に取得される３フレームを対象フレームとして選択することとする。以下に、補正量推定処理について説明する。

Ｂ−１．補正量推定処理：
まず、図３を用いて、基準フレームのフレーム画像と対象フレームの対象フレーム画像との間の位置ずれについて説明し、図４を用いて位置ずれについての補正を説明する。そして、その後、補正に基づく補正量の推定について説明する。図３は、基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図であり、図４は、基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。

なお、以下の説明では、取得した４フレームの番号（以下、「フレーム番号」とも呼ぶ。）をａ（ａ＝０，１，２，３）とし、フレーム番号ａのフレームをフレームａと呼び、フレームａの画像をフレーム画像Ｆａと呼ぶこととする。例えば、フレーム番号ａが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ３を対象フレーム画像とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図３では、基準フレーム画像Ｆ０に対する、対象フレーム画像Ｆ３のずれ量を分かり易く示すため、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ３の縁とを重ねて示すとともに、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ３と同様にずれたとして、対象フレーム画像Ｆ３上に、ずれた結果の画像である十字画像Ｘ３を示すようにしている。更に、このずれ量を、より分かり易く示すために、基準フレーム画像Ｆ０、および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ３、および十字画像Ｘ３を細い破線で示すようにしている。

本実施例では、並進ずれ量として横方向を「ｕｍ」、縦方向を「ｖｍ」と表し、回転ずれ量を「δｍ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についてのずれ量を「ｕｍａ」、「ｖｍａ」、「δｍａ」と表すこととする。例えば、図３に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、対象フレーム画像Ｆ１〜Ｆ３を基準フレーム画像Ｆ０と合成するためには、対象フレーム画像Ｆ１〜Ｆ３と基準フレーム画像Ｆ０とのずれをなくすように、対象フレーム画像Ｆ１からＦ３の各画素の位置ずれを補正することとなる。このために用いられる並進補正量として横方向を「ｕ」、縦方向を「ｖ」、回転補正量を「δ」と表し、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量を「ｕａ」、「ｖａ」、「δａ」と表すこととする。例えば、対象フレーム画像Ｆ３についての補正量は、ｕｍ３、ｖｍ３、δｍ３と表される。

ここで、補正とは、対象フレーム画像Ｆａ（ａ＝１，２，３）の各画素の位置を、横方向にｕａの移動、縦方向にｖａの移動、およびδａの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、ｕａ＝−ｕｍａ、ｖａ＝−ｖｍａ、δａ＝−δｍａの関係で表される。例えば、対象フレーム画像Ｆ３についての補正量ｕ３、ｖ３、δ３は、ｕ３＝−ｕｍ３、ｖ３＝−ｖｍ３、δ３＝−δｍ３で表される。

以上のことから、例えば、図４に示すように、補正量ｕ３、ｖ３、δ３を用いて、対象フレーム画像Ｆ３の各画素の位置を補正することにより、対象フレーム画像Ｆ３と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ３と、基準フレーム画像Ｆ０と、をディスプレイ１５０で表示させると、図４に示すように、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して部分一致すると推定される。なお、この補正の結果を分かり易く示すため、図４においても、図３と同じ仮想の十字画像Ｘ０および十字画像Ｘ３を表記しており、図４に示すように、補正の結果として、十字画像Ｘ３と十字画像Ｘ０との間のずれがなくなり一致することとなる。

同様に、対象フレーム画像Ｆ１，Ｆ２についても、補正量ｕ１、ｖ１、δ１、およびｕ２、ｖ２、δ２、の各値を用いて補正が施され、対象フレーム画像Ｆ１，Ｆ２の各画素の位置を置き換えることができる。

なお、上述の「部分一致する」とは、以下のことを意味するものである。すなわち、図４に示すように、例えば、ハッチングを施した領域Ｐ１は、対象フレーム画像Ｆ３にのみ存在する領域の画像であり、基準フレーム画像Ｆ０には、該当する領域の画像は存在しない。このように、上述の補正を行ったとしても、ずれに起因して、基準フレーム画像Ｆ０にのみ、または、対象フレーム画像Ｆ３にのみ存在する領域の画像が生じてしまうため、対象フレーム画像Ｆ３は、基準フレーム画像Ｆ０に対して完全一致することはなく、部分一致することとなる。

ところで、各対象フレーム画像Ｆａ（ａ＝１，２，３）についての補正量ｕａ、ｖａ、δａは、ずれ補正部１０６（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データとに基づき、パターンマッチ法や勾配法および最小自乗法等による所定の算出式を用いて、推定量として算出される。そして、算出された補正量ｕａ、ｖａ、δａは、並進補正量データと回転補正量データとして、メモリ内（図示せず）の所定の領域に記憶される。

本実施例では、ずれ補正部１０６は、推定した補正量を用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との位置ずれを補正し、高解像度化処理部１１０は、後述する３種類の高解像度化処理のうち、一つを実行することによって、静止画像データを生成する。しかし、３種類の高解像度化処理には、フレーム画像中の「動き」の量に応じて、適するもの、適さないものがあり、前述したとおり、ユーザには、画像に応じて適切に高解像度化処理を選択するのは難しい。そこで、本実施例では、フレーム画像中において区分された複数のブロックのそれぞれについて動きを検出し、各ブロックの動きの検出結果に応じて、動きを表す量（以下、動き量とも呼ぶ。）を検出し、その動き量に基づいて、後述する３種類の高解像度化処理の中から適切な高解像度化処理を選択するようにしている。動き量検出処理、その検出結果に応じて選択される高解像度化処理については後述する。

Ｂ−２．動き量検出処理：
補正量推定処理（図２、ステップＳ４）が終了すると、次に、動き量検出処理（図２、ステップＳ６）が実行される。まず、以下に、図５、図６を用いてこの動き量検出処理についての概略を簡単に説明する。

図５は、本発明の第１の実施例における基準フレーム画像および対象フレーム画像を１２のブロックに区分した状態を表した図である。本実施例では、図５に示すように、基準フレーム画像Ｆ０は、１２のブロックに区分されており、対象フレーム画像Ｆ１〜Ｆ３においても基準フレーム画像Ｆ０と同様に１２のブロックに区分され、各フレーム画像のブロックには、左上のブロックから右下のブロックへ順番に１〜１２の番号が付されている。

画像全体として見た場合、これら基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との間には、それぞれ、上述の補正量推定処理で説明したような位置ずれが存在する。しかし、画像全体ではなく、ブロック単位で見た場合には、これら基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との間に、それぞれ、ブロックごとに各々異なる位置ずれが存在する。

図６は、本発明の第１の実施例における動き量検出処理の概略を説明するための図である。図６では、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１との関係のみ示しており、各フレーム画像に表現される絵は省略している。

図６（Ａ）は、上述の補正量推定処理で述べた基準フレーム画像Ｆ０と対象フレーム画像Ｆ１とにおける画像全体としての位置ずれの補正に伴う移動量Ｍ１を表した図である。この移動量Ｍ１は、上述の補正量推定処理（図２、ステップＳ４）において推定される、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とにおける画像全体として位置ずれの補正をする補正量ｕ１、ｖ１、δ１、に基づいて算出される。

一方、図６（Ｂ）は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１とにおけるブロックごとに各々異なる位置ずれの補正に伴う移動量Ｍ２を表した図である。移動量Ｍ２の算出については、後述する。

また、図６（Ｃ）は、移動量Ｍ１に対する移動量Ｍ２の相対移動量Ｍを表した図である。

ここで、相対移動量Ｍについて簡単に説明する。
動画像データにおけるフレーム画像間には、手ぶれによる画像の揺れのように、画像全体を一様に動かして重なるような、画像全体における変化による「ずれ」が生じる場合があり、移動量Ｍ１は、この「ずれ」を補正するための移動量である。一方、動画像データにおけるフレーム画像間には、このような「ずれ」と同時に画像中における「局所的な動き」が生じる場合があり、移動量Ｍ２は、これら「ずれ」と「局所的な動き」をブロック単位で補正するための移動量である。

従って、各ブロックにおいて、画像全体としての位置ずれ（つまり、手ぶれなどによる画像全体の変化による「ずれ」に基づく位置ずれ）の補正に伴う移動量Ｍ１と、ブロック単位での位置ずれ（つまり、「ずれ」と同時に起こる「局所的な動き」に基づく位置ずれ）の補正に伴う移動量Ｍ２との差を求めることで、画像全体の「ずれ」がキャンセルされた「局所的な動き」を表す相対移動量Ｍを求めることができる。

この動き量検出処理（図２、ステップＳ６）では、まず、図６（Ｂ）に示される、基準フレーム画像Ｆ０のブロックと、そのブロックの番号と同じ対象フレーム画像Ｆ１〜Ｆ３のブロックとの位置ずれの補正を行うための補正量ｕｂ１、ｖｂ１、δｂ１を求め、それらの補正量に基づく移動量Ｍ２をブロックごとに求める。次に、各ブロックで、この移動量Ｍ２（図６（Ｂ））と、移動量Ｍ１（図６（Ａ））とから相対移動量Ｍ（図６（Ｃ））を求め、それらの相対移動量Ｍに基づき各ブロックの動きの判定を行う。そして、各ブロックの動き判定の結果、動きがあると判定されたブロックの総量を求めることにより、動き量を検出する。なお、本実施例では、移動量Ｍ１、移動量Ｍ２とも、基準フレーム画像のブロックの中心からの移動量を表している。また、基準フレーム画像Ｆ０の各ブロックと、それらと同じ番号の対象フレーム画像Ｆ１〜Ｆ３の各ブロックとは、ほぼ同様の形状、大きさである。

以下、動き量検出処理について、図７、図８および図９を用いて詳細に説明する。なお、図７、図８および図９においても、上述の図６と同様に、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１とを用いて説明する。

図７は、対象フレーム画像Ｆ１の番号１のブロックにおける補正に伴う移動量の算出を説明する図である。（Ａ）は、上述の補正量推定処理（図２、ステップＳ４）で求められた補正量に基づいて、基準フレーム画像Ｆ０に対して対象フレーム画像Ｆ１の画像全体としての位置ずれを補正した状態を表した図である。この図には、基準フレーム画像Ｆ０の番号１のブロックが斜線で、対象フレーム画像Ｆ１の番号１のブロックが網線で示されている。（Ｂ）は、（Ａ）の斜線および網線で示されたブロック、つまり基準フレーム画像Ｆ０の番号１のブロックと、基準フレーム画像Ｆ０に対して、補正量ｕ１、ｖ１、δ１に基づいて画像全体としての位置ずれを補正した後の対象フレーム画像Ｆ１の番号１のブロックを拡大して表した図である。この図には、画像全体としての位置ずれを補正する前の、対象フレーム画像Ｆ１の番号１のブロックにおける基準フレーム画像上での中心座標（ｘｔ１，ｙｔ１）と、この中心座標（ｘｔ１，ｙｔ１）が、画像全体としての位置ずれの補正によって移動した後の、基準フレーム画像上での座標（ｘｒ１，ｙｒ１）と、が示されている。

図８は、基準フレーム画像Ｆ０の番号１のブロックにおいて、基準フレーム画像Ｆ０に対して、補正量ｕｂ１、ｖｂ１、δｂ１に基づいてブロックごとの位置ずれを補正した後の対象フレーム画像Ｆ１の番号１のブロックを拡大して表した図である。この図には、ブロックごとの位置ずれを補正する前の、対象フレーム画像Ｆ１の番号１のブロックにおける基準フレーム画像上での中心座標（ｘｔ１，ｙｔ１）と、この中心座標（ｘｔ１，ｙｔ１）が、ブロックごとの位置ずれの補正によって移動した後の、基準フレーム画像上での座標（ｘｒ１'，ｙｒ１'）と、が示されている。

なお、当然ながら、図７（Ｂ）に示す画像全体としての位置ずれを補正する前の、対象フレーム画像Ｆ１の番号１のブロックにおける基準フレーム画像上での中心座標（ｘｔ１，ｙｔ１）と、図８に示すブロックごとの位置ずれを補正する前の、対象フレーム画像Ｆ１の番号１のブロックにおける基準フレーム画像上での中心座標（ｘｔ１，ｙｔ１）とは一致している。

図９は、基準フレーム画像Ｆ０の番号１のブロックと対象フレーム画像Ｆ１の番号１のブロックにおける相対移動量Ｍの算出を説明する図である。具体的には、図７（Ｂ）に示す各ブロックと図８に示す各ブロックとを、基準フレーム画像Ｆ０の番号１のブロックを一致させながら、重ね合わせたものである。

まず、ずれ補正部１０６は、上述の補正量推定処理（図２、ステップＳ４）で推定された画像全体としての位置ずれを補正するための補正量ｕ１、ｖ１、δ１をメモリ（図示せず）から読み出して、図７（Ａ）のごとく、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１との画像全体としての位置ずれの補正を行う。この時、ずれ補正部１０６は、補正によって移動した後の基準フレーム画像上における対象フレーム画像Ｆ１の番号１のブロックの中心座標（ｘｒ１，ｙｒ１）（図７（Ｂ））を、補正前の対象フレーム画像Ｆ１の番号１のブロックの中心座標（ｘｔ１，ｙｔ１）（図７（Ｂ））と、補正量ｕ１、ｖ１、δ１と、を用いて以下の式にて算出する。
ｘｒ１＝ｃｏｓδ１・（ｘｔ１＋ｕ１）−ｓｉｎδ１・（ｙｔ１＋ｖ１）...（１）
ｙｒ１＝ｓｉｎδ１・（ｘｔ１＋ｕ１）＋ｃｏｓδ１・（ｙｔ１＋ｖ１）...（２）

従って、動き検出部１０８は、（１）、（２）式より、図７（Ｂ）に示す基準フレーム画像Ｆ０に対する対象フレーム画像Ｆ１の番号１のブロックの移動量Ｍ１（すなわち、画像全体としての位置ずれの補正に伴う移動量Ｍ１）の横方向成分Ｍ１ｘ，縦方向成分Ｍ１ｙを、以下の式にて算出することができる。
Ｍ１ｘ＝ｘｒ１−ｘｔ１...（３）
Ｍ１ｙ＝ｙｒ１−ｙｔ１...（４）

続いて、ずれ補正部１０６は、基準フレーム画像Ｆ０の番号１のブロックに対する対象フレーム画像Ｆ１の番号１のブロックのブロックごとの位置ずれを補正するための補正量ｕｂ１、ｖｂ１、δｂ１を、基準フレーム画像Ｆ０の番号１のブロックの画素データと、対象フレーム画像Ｆ１の番号１のブロックの画素データとに基づき、上述の補正量推定処理（図２、ステップＳ４）で用いた方法、つまり、パターンマッチング法や、勾配法および最小自乗法等による所定の算出式を用いて、推定量として算出する。なお、ｕｂ１は、横方向の並進ずれを補正する補正量であり、ｖｂ１は、縦方向の並進ずれを補正するための補正量であり、δｂ１は、回転ずれを補正するための補正量である。

ずれ補正部１０６は、推定した補正量ｕｂ１、ｖｂ１、δｂ１に基づいて、図８のごとく、基準フレーム画像Ｆ０の番号１のブロックと、対象フレーム画像Ｆ３の番号１のブロックとのブロックごとの位置ずれの補正を行う。この時、ずれ補正部１０６は、ブロックごとの位置ずれの補正によって移動した後の基準フレーム画像上における対象フレーム画像Ｆ１の番号１のブロックの中心座標（ｘｒ１'，ｙｒ１'）（図８）を、補正前の対象フレーム画像Ｆ１の番号１のブロックの中心座標（ｘｔ１，ｙｔ１）（図８）と、補正量ｕｂ１、ｖｂ１、δｂ１と、を用いて以下の式にて算出する。
ｘｒ１'＝ｃｏｓδｂ１・（ｘｔ１＋ｕｂ１）−ｓｉｎδｂ１・（ｙｔ１＋ｖｂ１）...（５）
ｙｒ１'＝ｓｉｎδｂ１・（ｘｔ１＋ｕｂ１）＋ｃｏｓδｂ１・（ｙｔ１＋ｖｂ１）...（６）

従って、動き検出部１０８は、（５）、（６）式より、図８に示す基準フレーム画像Ｆ０の番号１のブロックに対する対象フレーム画像Ｆ１の番号１のブロックにおける移動量Ｍ２（ブロックごとの位置ずれの補正に伴う移動量Ｍ２）の横方向成分Ｍ２ｘ，縦方向成分Ｍ２ｙを、以下の式にて算出することができる。
Ｍ２ｘ＝ｘｒ１'−ｘｔ１...（７）
Ｍ２ｙ＝ｙｒ１'−ｙｔ１...（８）

続いて、動き検出部１０８は、移動量Ｍ１に対する移動量Ｍ２の相対移動量Ｍ（図９）の横成分Ｍｘ、縦成分Ｍｙを（３）、（４）、（７）、（８）式より、以下の式にて算出する。
Ｍｘ＝Ｍ２ｘ−Ｍ１ｘ（＝ｘｒ１'−ｘｒ１）...（９）
Ｍｙ＝Ｍ２ｙ−Ｍ１ｙ（＝ｙｒ１'−ｙｒ１）...（１０）

さらに、動き検出部１０８は、（９）、（１０）式より相対移動量Ｍの大きさ｜Ｍ｜を、以下の式より算出する。
｜Ｍ｜＝（（Ｍｘ）^２＋（Ｍｙ）^２）^１／２...（１１）

そして、動き検出部１０８は、（１１）式により算出した相対移動量Ｍの大きさ｜Ｍ｜と、予め設定してある閾値ｍｔとを比較して、｜Ｍ｜≧ｍｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがあると判断する。｜Ｍ｜＜ｍｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがないと判断する。

このようにして、動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロックについて動き判定を行い、さらに、同様な動き判定を、対象フレーム画像Ｆ１の全ブロックについて行う。例えば、対象フレーム画像Ｆ１の番号１のブロックから順番に、番号１２のブロックまで行う。

さらに、動き検出部１０８は、対象フレーム画像Ｆ１における全ブロックについて動き判定を終えると、その対象フレーム画像Ｆ１において、動きがあると判定されたブロックの数を算出する。

以上のようにして、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３それぞれについて、動きがあると判定されたブロックの数を算出し、さらに、３つの対象フレーム画像Ｆ１〜Ｆ３において、動きがあると判定されたブロックの総合計Ｍｃを算出する。さらに、動き検出部１０８は、３つの対象フレーム画像Ｆ１〜Ｆ３において、動き判定を行った全ブロック数の総合計Ｍｂを計算し、その総合計Ｍｂに対して、動きがあると判定されたブロック数の総合計Ｍｃとの割合Ｍｅ（＝Ｍｃ／Ｍｂ）を算出する。この割合Ｍｅは、対象フレーム画像の基準フレーム画像に対する動きの程度を表すので、この割合Ｍｅを前述した動き量とする。

Ｂ−３．高解像度化処理の選択：
動き量検出処理（図２、ステップＳ６）が終了すると、次に、高解像度化処理の選択（図２、ステップＳ８）が実行される。
本実施例では、予め、閾値Ｍｔ１，Ｍｔ２（１＞Ｍｔ１＞Ｍｔ２＞０）が設定されており、処理選択部１０９は、上述の動き検出処理（図２、ステップＳ６）で算出した動き量Ｍｅを、これら閾値Ｍｔ１，Ｍｔ２と比較して、高解像度化処理の選択を行う。

具体的には、処理選択部１０９は、まず、動き量Ｍｅと閾値Ｍｔ１とを比較する。この時、動き量Ｍｅが閾値Ｍｔ１より大きければ（Ｍｅ＞Ｍｔ１）、画像全体で種々の動きがあるものとして、後述する単純高解像度化処理を選択し、動き量Ｍｅが閾値Ｍｔ１以下であれば（Ｍｅ≦Ｍｔ１）、次に、処理選択部１０９は、動き量Ｍｅと閾値Ｍｔ２とを比較する。この時、動き量Ｍｅが閾値Ｍｔ２より大きければ（Ｍｅ＞Ｍｔ２）、画像中で中間程度の動きがあるものとして、後述する動き対応合成処理を選択し、動き量Ｍｅが閾値Ｍｔ２以下であれば（Ｍｅ≦Ｍｔ２）、画像中でほとんど動きがないものとして、後述する動き非対応合成処理を選択する。

従って、例えば、閾値Ｍｔ１が０．８に設定され、閾値Ｍｔ２が０．２に設定されているとすると、動き量Ｍｅが、０．８より大きい場合には、単純高解像度化処理が選択され、動き量Ｍｅが、０．２より大きく、０．８以下の場合には、動き対応合成処理が選択され、動き量Ｍｅが、０．２以下の場合には、動き非対応合成処理が選択される。

Ｂ−４．高解像度化処理：
高解像度化処理の選択（図２、ステップＳ８）が終了すると、次に、高解像度化処理（図２、ステップＳ１０〜Ｓ１４）が実行される。
すなわち、高解像度化処理部１１０は、処理選択部１０９で選択された結果に基づいて、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理、単純高解像度化処理）のうち、選択された高解像度化処理を実行する。

Ｂ−４−１．動き非対応合成処理：
まず、動き非対応合成処理（図２、ステップＳ１０）について説明する。この動き非対応合成処理において、ずれ補正部１０６が、上述の補正量推定処理（図２、ステップＳ４）で推定した補正量を用いて、基準フレームの画像データと対象フレームの画像データとの位置ずれの補正を行い、高解像度化処理部１１０が、補正した基準フレームの画像データと対象フレームの画像データを合成しつつ高解像度化することにより、静止画像データを生成する。すなわち、高解像度化処理部１１０は、生成する静止画像を構成する各画素（以下、「生成画素」とも呼ぶ。）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。以下では、図１０および図１１を用いてこの動き非対応合成処理について簡単に説明する。

図１０は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とを、ずれを補正して配置した様子を拡大して示す説明図である。図１０では、生成画像Ｇの各画素が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ３の各画素が、ハッチングを施した四辺形で示されている。なお、以下において生成画像Ｇの画素密度は、基準フレーム画像Ｆ０に対して、縦横１．５倍密の画素密度に高解像度化されるものとする。また、生成画像Ｇの各画素は、２画素おきに基準フレーム画像Ｆ０の各画素に重なるような位置にあるものとする。ただし、生成画像Ｇの画素が、必ずしも基準フレーム画像Ｆ０の各画素に重なるように位置している必要はない。例えば、生成画像Ｇの各画素のすべてが、基準フレーム画像Ｆ０の各画素の中間に位置するものでもよく、種々の位置とすることが可能である。また、高解像度化の倍率も、縦横１．５倍密に限定されるものではなく、種々の倍率とすることができる。

以下では、生成画像Ｇ内のある画素Ｇ（ｊ）に注目して説明する。ここで、変数ｊは、生成画像Ｇの全画素を区別する番号を示しており、例えば、左上の画素から開始して順番に右上の画素までとし、その後１つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素とされる。高解像度化処理部１１０は、この画素（以下、「注目画素」と呼ぶ。）Ｇ（ｊ）に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）を探索する。

具体的には、高解像度化処理部１１０は、各フレーム画像Ｆ０，Ｆ１，Ｆ２，Ｆ３において、注目画素Ｇ（ｊ）に対して、最も近い画素（以下、近傍画素とも呼ぶ。）Ｆ（０），Ｆ（１），Ｆ（２），Ｆ（３）と、注目画素Ｇ（ｊ）との距離Ｌ０，Ｌ１，Ｌ２，Ｌ３を算出し、最近傍画素を決定する。例えば、図１０では、Ｌ３＜Ｌ１＜Ｌ０＜Ｌ２であるので、高解像度化処理部１１０は、対象フレーム画像Ｆ３の画素Ｆ（３）を、注目画素Ｇ（ｊ）の最近傍画素として決定する。なお、この注目画素Ｇ（ｊ）に対する最近傍画素が、対象フレーム画像Ｆ３のｉ番目の画素であったとして、以下、最近傍画素Ｆ（３，ｉ）と表記する。

そして、高解像度化処理部１１０は、以上の手順を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について実行し、それぞれの画素について最近傍画素を決定することになる。

次に、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、決定された最近傍画素と、この最近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。以下に、バイ・リニア法による補間処理について説明する。

図１１は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ３のいずれにも存在しない画素であるので、画素データが存在していない。そこで、高解像度化処理部１１０は、例えば、上述のごとく対象フレーム画像Ｆ３の画素Ｆ（３）を、注目画素Ｇ（ｊ）の最近傍画素Ｆ（３，ｉ）として決定した場合、図１１に示すように、最近傍画素Ｆ（３，ｉ）のほか、対象フレーム画像Ｆ３中において、注目画素Ｇ（ｊ）を囲む３つの画素Ｆ（３，ｉ＋１）、Ｆ（３，ｋ）、Ｆ（３，ｋ＋１）で区画される領域を、注目画素Ｇ（ｊ）で４つの区画に分割し、その面積比で対角位置の画素データをそれぞれ重み付けして加算することにより、注目画素Ｇ（ｊ）の画素データを補間する。ただし、ｋはｉ番目の画素にフレーム画像Ｆ３の横方向の画素数を加えた画素の番号を示している。

以上のように、動き非対応合成処理では、基準フレーム画像と対象フレーム画像のうち、最近傍画素を含むフレーム画像の画素を用いて、注目画素の補間処理を行うことにより、合成を行いつつ高解像度化を行っている。このため、非常に高画質な静止画像を得ることができる。

このような動き非対応合成処理は、取得した４つのフレーム画像のうち、基準フレーム画像と対象フレーム画像との画像間の動き量が小さい場合に適している。
なぜなら、このような動き非対応合成処理では、基準フレーム画像と対象フレーム画像との画像間で動きが発生していた場合、以下に示す問題点が生じるおそれがあるからである。

図１２は、複数のフレーム画像間で動きが発生していた場合に、上記動き非対応合成処理を実行した場合の説明図である。図の下段は、上段の４つのフレーム画像Ｆ０〜Ｆ３を用いて動き非対応合成処理により得られた生成画像Ｇを示している。上段の４つのフレーム画像Ｆ０〜Ｆ３は、画面の左から右に移動する自動車が撮影された動画像を示しており、自動車の位置が順に移動しているものである。上述の動き非対応合成処理では、決定された最近傍画素がフレーム画像間で動きのある画素であるか否かに関わらず、最近傍画素とこの最近傍画素を含むフレーム画像中の他の画素とを用いて、注目画素の補間処理を行うため、図１２に示すように、生成画像Ｇ中の自動車の画像が多重画像となってしまう場合がある。

従って、本実施例では、動き検出部１０８で検出した動き量Ｍｅが閾値Ｍｔ２以下（Ｍｅ≦Ｍｔ２）であって、基準フレーム画像と対象フレーム画像との画像間でほとんど動きがない場合に、上述の動き非対応合成処理により、高解像度化を行うようにしている。

Ｂ−４−２．動き対応合成処理：
一方、動き検出部１０８で検出した動き量Ｍｅが閾値Ｍｔ２より大きく、閾値Ｍｔ１以下（Ｍｔ２＜Ｍｅ≦Ｍｔ１）であって、基準フレーム画像と対象フレーム画像との画像間に中間程度の動きがある場合には、以下に説明する動き対応合成処理（図２ステップＳ１２）を実行する。この動き対応合成処理では、フレーム画像間に動きが発生している場合でも、多重画像を発生させることなく高解像度化が可能である。

この動き対応合成処理において、まず、ずれ補正部１０６が、上述の動き非対応合成処理（図２、ステップＳ１０）の場合と同様に、図１０に示すごとく、上述の補正量推定処理（図２、ステップＳ４）で推定した補正量を用いて、基準フレームの画像データと対象フレームの画像データとの位置ずれの補正を行い、それらを重ね合わせる。次に、高解像度化処理部１１０が、上述の動き非対応合成処理（図２、ステップＳ１０）の場合と同様に、生成画像Ｇにおける注目画素Ｇ（ｊ）に対して、フレーム画像ごとに近傍画素を求め、その中から最近傍画素を決定する。

続いて、高解像度化処理部１１０は、求めた最近傍画素と基準フレーム画像Ｆ０に対する動きの判定を行う。以下に、この動き判定について説明する。
なお、動きの判定の説明をわかり易くするために、基準フレーム画像をＦｒ、対象フレーム画像をＦｔとして説明し、動きの判定を行う画素を判定画素と呼ぶ。

まず、高解像度化処理部１１０は、判定画素を設定し、その判定画素に最も近い基準フレーム画像Ｆｒの画素を探索する。そして、高解像度化処理部１１０は、その探索した基準フレーム画像Ｆｒの画素と、その画素に隣接して、判定画素を囲む基準フレーム画像Ｆｒの画素を用いて、判定画素の動き判定を行う。以下、この動き判定方法を具体的に説明する。

図１３は、本発明の第１の実施例における動きの判定方法を説明するための前提条件を示す説明図である。図中１つのハッチングされた四辺形は、対象フレーム画像Ｆｔ中における判定画素Ｆｐｔを示している。また、格子状に並ぶ４つの白抜きの四辺形は、基準フレーム画像Ｆｒ中において、判定画素Ｆｐｔを囲む４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４を示している。ここでは、画素Ｆｐ１が判定画素Ｆｐｔに最も近い画素とする。また、判定画素Ｆｐｔの輝度値をＶｔｅｓｔとし、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４の画素の輝度値をＶ１，Ｖ２，Ｖ３，Ｖ４とする。また、４つの画素Ｆｐ１，Ｆｐ２，Ｆｐ３，Ｆｐ４で形成される格子内での位置（Δｘ，Δｙ）は、左上の画素Ｆｐ１の位置を基準とし、横方向をｘ軸、縦方向をｙ軸とした座標であり、それぞれ０〜１の間の値のみを取りうることとする。

また、以下で説明する図１４では、図の説明をわかりやすくするため、判定画素Ｆｐｔの位置が、上記格子内において、１次元の位置、すなわち、ｘ方向に並ぶ２つの画素Ｆｐ１，Ｆｐ２の間の座標（Δｘ、０）にある場合を例に描くこととする。

図１４は、本発明の第１の実施例における動きの判定方法について示す説明図である。空間的に急激な輝度値の変化がない限り、対象フレーム画像Ｆｔにおける判定画素Ｆｐｔの輝度値は、その周りに位置する基準フレーム画像Ｆｒにおける画素Ｆｐ１，Ｆｐ２の輝度値の間の値になるものとして期待される。そこで、この点を考慮すると、判定画素Ｆｐｔを囲む画素Ｆｐ１，Ｆｐ２の輝度値の最大値と最小値の間の領域を、動きがないと判定される範囲とすることが考えられる。さらに、ノイズの発生による誤検出を防止するため、その範囲を閾値ΔＶｔｈの幅だけ広げることが考えられる。従って、以下に示すように、動き検出部１０８は、上記した動きがないと判定される範囲に、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔがあるか否かを判定することにより、判定画素Ｆｐｔの動きを判定することができる。

まず、判定画素Ｆｐｔの両側に位置する基準フレーム画像Ｆｒにおける２つの画素Ｆｐ１，Ｆｐ２について、輝度値の最大値Ｖｍａｘと最小値Ｖｍｉｎを、下式のように求める。
Ｖｍａｘ＝ｍａｘ（Ｖ１，ｖ２）
Ｖｍｉｎ＝ｍｉｎ（Ｖ１，Ｖ２）
ここで、ｍａｘ（）は（）内の引数の中で最大値を求める関数、ｍｉｎ（）は（）内の引数の中で最小値を求める関数を意味している。

そして、判定画素Ｆｐｔの輝度値Ｖｔｅｓｔが、２つの下式を満たす場合には動きがないと判定され、そうでない場合には動きがあると判定される。
Ｖｔｅｓｔ＞Ｖｍｉｎ−ΔＶｔｈ
Ｖｔｅｓｔ＜Ｖｍａｘ＋ΔＶｔｈ
なお、以下では、動きがないと判定される範囲を判定範囲とも呼ぶ。例えば、ここでは、判定画素Ｆｐｔが存在する画素間においてＶｍｉｎ−ΔＶｔｈ＜Ｖ＜Ｖｍａｘ＋ΔＶｔｈの範囲が判定範囲となる。

以上の説明では、判定画素Ｆｐｔの座標が基準フレーム画像Ｆｒ中の画素Ｆｐ１を原点とする座標（Δｘ，０）の場合を例に説明しているが、判定画素Ｆｐｔの座標が（０，Δｙ）の場合も同様である。また、判定画素Ｆｐｔの座標が２次元の座標（Δｘ，Δｙ）の場合には、輝度値の最大値Ｖｍａｘおよび最小値Ｖｍｉｎを、下式により求めるようにすればよい。
Ｖｍａｘ＝ｍａｘ（Ｖ１，Ｖ２，Ｖ３，Ｖ４）
Ｖｍｉｎ＝ｍｉｎ（Ｖ１，Ｖ２，Ｖ３，Ｖ４）

以上のようにして、高解像度化処理部１１０は、最近傍画素についての動き判定を行う。なお、最近傍画素が基準フレーム画像Ｆ０の画素である場合は、動きの判定を行わず、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素を用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。

このような動き判定で、最近傍画素に動きがないと判定されると、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、最近傍画素と、この最近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。

一方、動き判定で、最近傍画素に動きがあると判定された場合には、注目画素Ｇ（ｊ）に対して、最近傍画素の次に近い近傍画素（以下、次近傍画素とも呼ぶ。）について、上述した動き判定を行う。その判定で、次近傍画素に動きがないと判定された場合には、前述と同様、注目画素Ｇ（ｊ）の画素データを、次近傍画素と、この次近傍画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。

また、次近傍画素についての動き判定で、次近傍画素に動きがあると判定された場合には、次近傍画素の次に近い近傍画素を求め、その画素について、同様の動き判定を行う。以上の手順を繰り返し、注目画素Ｇ（ｊ）に対する対象フレーム画像Ｆ１〜Ｆ３のすべての近傍画素で、動きがあると判定されると、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素の画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。

このようにして、高解像度化処理部１１０は、注目画素Ｇ（ｊ）について補間処理を行い、さらに、同様の補間処理を、注目画素Ｇ（ｊ）の番号であるｊ＝１，２，３，...の順に、生成画像Ｇ内の全ての画素について行う。

以上のように、動き対応合成処理において、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像の近傍画素について、近い順に動き判定を行い、その画素に動きがないと判定した場合のみ、その動きがないと判定された画素と、この画素を含む対象フレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素の、各々の画素データを用いて、注目画素Ｇ（ｊ）の補間処理を行う。また、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の近傍に位置する対象フレーム画像のすべて画素について、動きがあると判定すると、注目画素Ｇ（ｊ）を囲む基準フレーム画像Ｆ０の画素の画像データを用いて、注目画素Ｇ（ｊ）の補間処理を行う。

このようにすることで、この動き対応合成処理では、取得した４つのフレーム画像のうち、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との画像間に中程度の動きがある場合にも、基準フレーム画像Ｆ０に対して動きのある画素は排除して合成し、高解像度化することができるので、その画像間の動き量が中程度の場合に適している。

Ｂ−４−３．単純高解像度化処理：
一方、本実施例では、動き検出部１０８で検出した動き量Ｍｅが閾値Ｍｔ１より大きくて（Ｍｅ＞Ｍｔ１）、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３との画像間で動きが大きい場合、つまりフレーム画像中ほとんどの場所で動きが検出される場合には、以下に説明する単純高解像度化処理（図２、ステップＳ１４）を実行する。

この単純高解像度化処理において、高解像度化処理部１１０は、注目画素Ｇ（ｊ）の画素データを、注目画素Ｇ（ｊ）を囲む基準フレーム画像の画素の、各々の画素データを用いて、上述の動き非対応合成処理および動き対応合成処理で使われている、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法などの補間処理によって生成する。

Ｄ．効果：
上述のように、高解像度化処理の選択（図２、ステップＳ８）において、処理選択部１０９は、動き量検出処理（図２、ステップＳ６）で算出した動き量Ｍｅに応じて、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理および単純高解像度化処理）を自動的に選択している。このため、ユーザ自ら、３つの高解像度化処理の中から高解像度化処理を選択することなく、適切な高解像度化処理を行うことができ、その結果、高画質な静止画像データを生成することができる。

また、動き量検出処理（図２、ステップＳ６）において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の基準フレーム画像Ｆ０に対する画像全体における動き量を検出する場合に、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動きを判定し、各ブロックの基準フレーム画像Ｆ０に対する動き判定の結果、動きがあると判定されたブロックの総量を求めることで、動き量を検出している。このため、画素単位の動きを検出することなく大まかな単位で動きを検出することができ、それらの総量を動き量として検出することができるので、処理時間を短縮することができる。

２．第２の実施例：
次に、本発明における第２の実施例を説明する。本発明における第２の実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と基本的に同様の構成となっており、動き検出部１０８が行う補正量推定処理（図２、ステップＳ４）までの動作は、第１の実施例の静止画像生成装置と同じである。従って、それらについての説明は省略する。

本実施例の静止画像生成装置が、第１の実施例の静止画像生成装置と異なる点は、第１の実施例の静止画像生成装置が、高解像度化処理を画像全体について選択し実行しているのに対し、本実施例の静止画像生成装置が、高解像度化処理をブロック単位で選択して、そのブロックに属する画素に実行している点である。

すなわち、第１の実施例の静止画像生成装置において、動き量検出処理（図２、ステップＳ６）で、処理選択部１０９が、対象フレーム画像Ｆ１〜Ｆ３の基準フレーム画像に対する動き量Ｒｅに応じて、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理および単純高解像度化処理）の中から何れか１つを選択し、高解像度化処理部１１０が、その選択した高解像度化処理を、生成画像におけるすべての画素について実行している。これに対して、本実施例の静止画像生成装置では、処理選択部１０９が、後述する対象フレーム画像Ｆ１〜Ｆ３におけるブロックごとのブロック内動き量に応じて、ブロックごとに、３つの高解像度化処理の中から何れか１つを選択し、高解像度化処理部１１０が、各ブロックについて各々選択した高解像度化処理を、そのブロックに属する画素について実行している。これについて、基準フレーム画像Ｆ１〜Ｆ３のそれぞれの番号１のブロックを例として、以下に、図１５を用いて、具体的に説明する。

図１５は、本発明の第２の実施例における静止画像データを生成する手順を示す説明図である。
補正量推定処理（図１５、ステップＳ４）が終了すると、ブロック内動き量検出処理（図１５、ステップＳ２０）が実行される。このブロック内動き量検出処理では、まず、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックにおいて、基準フレーム画像の各ブロックに対する相対移動量の大きさ｜Ｍ｜を、上述の第１の実施例における動き量検出処理（図２、ステップＳ６）と同様にして算出する。次に、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックにおいて、同じ番号のブロックの相対移動量Ｍを合計し、合計した同じ番号のブロック数（ここでは、対象フレーム画像がＦ１〜Ｆ３であるので３）で割ることで相対移動量Ｍの平均ＢＭ（＝Ｍ／３）を算出する。この平均ＢＭは、対象フレーム画像Ｆ１〜Ｆ３のブロックと、そのブロックと同じ番号の基準フレーム画像のブロックに対する動きの程度を表すので、この平均ＢＭを、そのブロックについての前述したブロック内動き量とする。なお、算出されたブロック内動き量ＢＭは、メモリ内（図示せず）の所定の領域に記憶される。

ブロック内動き量検出処理が終了すると、続いて、生成画素の設定（図１５、ステップＳ２４）が実行される。高解像度化処理部１１０は、生成する静止画像（生成画像）における或る生成画素を設定する。生成画素の設定を行う順番として、例えば、生成する静止画像の左上の生成画素から開始して順番に右上の生成画素まで行い、その後１つずつ下の左端の生成画素から順番に右端の生成画素まで行い、最後に右下の生成画素まで行うようにする。

生成画素が設定されると、次に、設定された生成画素の属するブロック内動き量ＢＭの読み出し処理（図１５、ステップＳ２８）が実行される。高解像度化処理部１１０は、設定された生成画素の属するブロックのブロック内動き量ＢＭを、上述でメモリ内（図示せず）の所定の領域から読み出す。

生成画素の属するブロックのブロック内動き量ＢＭが読み出されると、続いて、高解像度化処理の選択（図１５、ステップＳ３２）が実行される。この高解像度化処理の選択では、まず、処理選択部１０９は、読み出されたブロック内動き量ＢＭと、予め設定されている閾値Ｂｍｔ１、Ｂｍｔ２（１＞Ｂｍｔ１＞Ｂｍｔ２＞０）とを比較する。この時、処理選択部１０９は、ブロック内動き量ＢＭが閾値Ｂｍｔ１より大きければ（ＢＭ＞Ｂｍｔ１）、生成画素が属するブロック内では種々の動きがあるものとして、その生成画素の属するブロックに対して単純高解像度化処理を選択し、ブロック内動き量ＢＭが閾値Ｂｍｔ１以下であれば（ＢＭ≦Ｂｍｔ１）、次に、処理選択部１０９は、ブロック内動き量ＢＭと閾値Ｂｍｔ２とを比較する。この時、処理選択部１０９は、ブロック内動き量ＢＭが閾値Ｂｍｔ２より大きければ（ＢＭ＞Ｂｍｔ２）、生成画素が属するブロック内では中間程度の動きがあるものとして、その生成画素の属するブロックに対して上述した動き対応合成処理を選択し、ブロック内動き量ＢＭが閾値Ｂｍｔ２以下であれば（ＢＭ≦Ｂｍｔ２）、生成画素が属するブロック内ではほとんど動きがないものとして、その生成画素の属するブロックに対して上述した動き非対応合成処理を選択する。

従って、例えば、閾値Ｂｍｔ１が０．８に設定され、閾値Ｂｍｔ２が０．２に設定されているとすると、ブロック内動き量ＢＭが、０．８より大きい場合には、生成画素の属するブロックに対して単純高解像度化処理が選択され、ブロック内動き量ＢＭが、０．２より大きく、０．８以下の場合には、生成画素の属するブロックに対して動き対応合成処理が選択され、ブロック内動き量ＢＭが、０．２以下の場合には、生成画素の属するブロックに対して動き非対応合成処理が選択される。

なお、処理選択部１０９は、生成画素の属するブロックについて、このような高解像度化処理の選択が既に行われている場合は、もう一度高解像度化処理の選択をする必要がなく、この処理を行わないようにすることもできる。

高解像度化処理の選択が終了すると、次に、生成画素について、高解像度化処理（図１５、ステップＳ３６〜Ｓ４４）が実行される。
すなわち、高解像度化処理部１１０は、生成画素が属するブロックに対して、３つの高解像度化処理（つまり、動き非対応合成処理、動き対応合成処理、単純高解像度化処理）のうちから選択された高解像度化処理を、その生成画素について実行する。

高解像度化処理（図１５、ステップＳ３６〜Ｓ４４）が終了すると、すべての生成画素で高解像度化処理が実行されたかどうかの判断（ステップＳ４８）がなされる。高解像度化処理部１１０は、すべての生成画素で高解像度化処理が実行されていない場合（ステップＳ４８：ＮＯ）には、ステップＳ２４の処理に戻り、次の生成画素を設定する。高解像度化処理１１０は、すべての生成画素で高解像度化処理が実行されている場合（ステップＳ４８：ＹＥＳ）には、静止画像データの生成を終了する。

以上のようにすれば、生成画像における生成画素の属するブロックごとに、各ブロックのブロック内動き量に応じて、３つの高解像度化処理の中から最適な１つの高解像度化処理を選択し、選択した高解像度化処理を各ブロック内の生成画素について実行することができる。このため、局所的な動きがある画像であっても、その局所的な動きがある部分では、その部分に対応した適切な高解像度化処理を自動的に行うことができ、ほとんど動きがない部分では、その部分に対応した適切な高解像度化処理を自動的に行うことできるので、高画質な静止画像データを生成することができる。

３．第３の実施例：
次に、本発明における第３の実施例を説明する。本発明における第３の実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と基本的に同様の構成となっており、ずれ補正部１０６が行う補正量推定処理（図２、ステップＳ４）までの動作は、第１の実施例の静止画像生成装置と同じである。従って、それらについての説明は省略する。

本実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と比較して、動き量の算出方法が異なっている。具体的には、第１の実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックで求めた相対移動量を予め設定された閾値ｍｔと比較することにより各ブロックの動き判定を行い、動きがあると判定されたブロックの総合計Ｍｃに基づいて動き量Ｍｅを算出している。これに対して、本実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックで求めた相対移動量を合計したものを動き量Ｍｇとして算出している。

なお、処理選択部１０９は、動き量Ｍｇを、予め設定してある閾値Ｍｔ３とＭｔ４と比較して、高解像度化処理の選択を行う場合には、まず、動き量Ｍｇと閾値Ｍｔ３とを比較する。この時、動き量Ｍｇが閾値Ｍｔ３より大きければ（Ｍｇ＞Ｍｔ３）、画像全体で種々の動きがあるものとして、上述の単純高解像度化処理を選択し、動き量Ｍｇが閾値Ｍｔ３以下であれば（Ｍｇ≦Ｍｔ３）、次に、処理選択部１０９は、動き量Ｍｇと閾値Ｍｔ４とを比較する。この時、動き量Ｍｇが閾値Ｍｔ４より大きければ（Ｍｇ＞Ｍｔ４）、画像中で中間程度の動きがあるものとして、上述の動き対応合成処理を選択し、動き量Ｍｇが閾値Ｍｔ４以下であれば（Ｍｇ≦Ｍｔ４）、画像中でほとんど動きがないものとして、上述の動き非対応合成処理を選択する。

以上のようにすれば、処理選択部１０９が、動き量の算出を行う際に、対象フレーム画像Ｆ１〜Ｆ３の各ブロックで算出する相対移動量に基づいて動き判定を行って、それらを合計して動き量を算出する必要なく、各ブロックの相対移動量の合計をそのまま動き量として算出することができるので、動き量を算出するまでの処理時間が短縮できる。

４．第４の実施例：
次に、本発明における第４の実施例を説明する。本発明における第４の実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と基本的に同様の構成となっており、ずれ補正部１０６が行う補正量推定処理（図２、ステップＳ４）までの動作は、第１の実施例の静止画像生成装置と同じである。従って、それらについての説明は省略する。

本実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と比較して、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定方法が異なっている。第１の実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定を行う場合に、各ブロックで相対移動量を算出し、その相対移動量から動き量Ｍｅを算出し、それに基づいて各ブロックの動き判定を行っている。これに対して、本実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロック内の各画素について動き判定を行い、各ブロックで、動きがあると判定された画素の総量に基づいてそれらのブロック内におけるブロック内動き量を算出し、それに基づいて動き判定を行っている。なお、以下では、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１における番号１のブロックの動き判定を行う場合を例に用いて具体的に説明する。

動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロック内における各画素について動き判定を行う方法としては、上述の動き対応合成処理（図２、ステップＳ１２）で行った動き判定方法（図１４）を用いる。具体的には、動き対応合成処理での動き判定（図１４）における判定画素Ｆｐｔを、ここでの動き判定を行う画素（以下、画素Ｚともよぶ。）に置き換え、動き検出部１０８は、その画素Ｚにもっとも近い基準フレーム画像Ｆ０の画素を探索し、動き対応合成処理での動き判定における基準フレーム画像Ｆｒの画素Ｆｐ１を、その探索した基準フレーム画像Ｆ０の画素に置き換え、その探索した基準フレーム画像Ｆ０の画素と、その画素に隣接して、画素Ｚを囲む基準フレーム画像Ｆ０の画素を用いることにより、上述のようにして、画素Ｚについて動き判定を行う。

動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロック内におけるすべての画素について動き判定が終わると、続いて、対象フレーム画像Ｆ１の番号１のブロック内において動きがあると判定された画素の総合計Ｈｃを計算する。さらに、動き検出部１０８は、そのブロック内において、動き判定を行った全画素の数の総合計Ｈｂを計算し、その総合計Ｈｂに対して、動きがあると判定された画素数の総合計Ｈｃとの割合Ｈｅ（＝Ｈｃ／Ｈｂ）を算出する。この割合Ｈｅは、対象フレーム画像Ｆ１の番号１のブロックにおける、基準フレーム画像の番号１のブロックに対する動きの程度を表すので、この割合Ｈｅを前述したブロック内動き量とする。そして、動き検出部１０８は、このブロック内動き量Ｈｅと、予め設定してある閾値ｈｔとを比較して、｜Ｈｅ｜≧ｈｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがあると判断する。｜Ｈｅ｜＜ｈｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがないと判断する。

このようにして、動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロックについて動き判定を行い、同様にして、対象フレーム画像Ｆ１〜Ｆ３の各ブロックについても動き判定を行う。

以上のようにすれば、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定を行う場合に、ブロック内の各画素について動き判定を行い、ブロック内で動きがあると判定された画素の総量に基づいてそのブロックの動き判定を行うことができる。このため、より小さな部分の動き（画素単位の動き）についても、ブロックの動き判定に反映されるので、精度よく動き判定を行うことができる。

５．第５の実施例：
次に、本発明における第５の実施例を説明する。本発明における第５の実施例の静止画像生成装置は、第１の実施例の静止画像生成装置と基本的に同様の構成となっており、ずれ補正部１０６が行う補正量推定処理（図２、ステップＳ４）までの動作は、第１の実施例の静止画像生成装置と同じである。従って、それらについての説明は省略する。

本実施例の静止画像生成装置も、第１の実施例の静止画像生成装置と比較して、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定方法が異なっている。第１の実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定を行う場合に、各ブロックで相対移動量を算出し、その相対移動量から動き量Ｍｅを算出し、それに基づいて各ブロックの動き判定を行っている。これに対して、本実施例の静止画像生成装置において、動き検出部１０８は、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定を行う場合に、ブロック内における各画素について後述する動き値を求め、その総量に基づいてブロック内のブロック内動き量を算出し、それに基づいて動き判定を行っている。なお、以下では、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１における番号１のブロックの動き判定を行う場合を例に用いて具体的に説明する。

図１６は、第５の実施例として、対象フレーム画像Ｆ１の番号１のブロック内の動き値の算出を説明する図である。
まず、動き検出部１０８は、上述の動き対応合成処理（図２、ステップＳ１２）で行った動き判定方法（図１４）における条件を用いて対象フレーム画像Ｆ１の番号１のブロック内における各画素について動き値を求める。具体的には、動き対応合成処理での動き判定（図１４）における判定画素Ｆｐｔを、動き値を求める画素（以下、画素Ｙともよぶ。）に置き換え、その画素Ｙにもっとも近い基準フレーム画像Ｆ０の画素（Ｆｙ１）を探索し、動き対応合成処理での動き判定における基準フレーム画像Ｆｒの画素Ｆｐ１を、その探索した基準フレーム画像Ｆ０の画素Ｆｙ１に置き換え、その探索した基準フレーム画像Ｆ０の画素Ｆｙ１と、その画素に隣接して、画素Ｙを囲む基準フレーム画像Ｆ０の画素Ｆｙ２を用いることにより、動き値を求める。

具体的には、動き検出部１０８は、画素Ｙの両側に位置する基準フレーム画像Ｆ０における２つの画素Ｆｙ１、Ｆｙ２について、輝度値の最大値Ｖｍａｘと最小値Ｖｍｉｎを求める。

次に、動き検出部１０８は、画素Ｙについて、輝度値の最大値Ｖｍａｘと輝度値の最小値Ｖｍｉｎとを結んだ線上における位置Δｘでの輝度値をＶｘ'として求める。そして、画素Ｙについて、その動きを表す動き値ΔＶｋとして、｜Ｖｔｅｓｔ−Ｖｘ'｜を算出する。

このようにして、動き検出部１０８は、画素Ｙについて動き値の算出を行い、さらに、同様にして、対象フレーム画像Ｆ１の番号１のブロック内における全画素について、それぞれ、動き値ΔＶｋを算出する。

さらに、動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロック内における全画素について動き値ΔＶｋの算出を終えると、その対象フレーム画像Ｆ１において、算出した各画素の動き値ΔＶｋを加算して、その合計Ｖｋを算出する。

次に、動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロック内において、動き判定を行った全画素数の総合計Ｖｂを計算し、その総合計Ｖｂにおける、対象フレーム画像Ｆ１の番号１のブロックの動き値の平均Ｖａｖ（＝Ｖｋ／Ｖｂ）を算出する。この動き値の平均Ｖａｖは、対象フレーム画像Ｆ１の番号１のブロックにおける、基準フレーム画像の番号１のブロックに対する動きの程度を表すので、この動き値の平均Ｖａｖを前述したブロック内動き量とする。

そして、動き検出ブロック１０８は、対象フレーム画像Ｆ１の番号１のブロック内動き量Ｖａｖと、予め設定してある閾値ｖｔとを比較して、｜Ｖａｖ｜≧ｖｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがあると判断する。｜Ｖａｖ｜＜ｖｔならば、対象フレーム画像Ｆ１の番号１のブロックは、動きがないと判断する。

このようにして、動き検出部１０８は、対象フレーム画像Ｆ１の番号１のブロックについて動き判定を行い、同様にして、対象フレーム画像Ｆ１〜Ｆ３の各ブロックについても動き判定を行う。

以上のようにすれば、対象フレーム画像Ｆ１〜Ｆ３の各ブロックの動き判定を行う場合に、ブロック内の各画素の動き値の総量を求め、その総量に基づいてそのブロックの動きを判定することができる。このため、より小さな局所的な動き（つまり、画素単位の動き）についても、ブロックの動き判定に反映されるので、精度よく動き判定を行うことができる。

６．変形例：
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。

上記第２の実施例において、先に、ある生成画素を設定し、その後、その生成画素の属するブロックについて高解像度化処理を選択し、選択された高解像度化処理を設定された生成画素で実行するようにしている。そして、同様にして、すべての生成画素を順番に設定していき、それらの生成画素の属するブロックについて高解像度化処理を選択し、選択された高解像度化処理を設定された生成画素で実行するようにしている。しかし、本発明は、これに限られるものではなく、先に、ブロックごとの高解像度化処理を選択し、その後、ある生成画素を設定し、その生成画素の属するブロックにおいて選択された高解像度化処理を設定された生成画素で実行するようにしてもよい。そして、同様にして、すべての生成画素を順番に設定していき、それらの生成画素の属するブロックにおいて既に選択された高解像度化処理を設定された生成画素で実行するようにしてもよい。

上記変形例において、先に、ブロックごとの高解像度化処理を選択し、その後、ある生成画素を設定し、その生成画素の属するブロックにおいて選択された高解像度化処理を設定された生成画素で実行するようにしているが、この場合における生成画素の設定の順番として、ブロック単位で順番を移行する、すなわち、あるブロック内のすべての生成画素について処理を終えると、次のブロックの生成画素について処理するようにしてもよい。

上記第１の実施例において、先に、ある生成画素を設定し、その後、その生成画素の属するブロックについて高解像度化処理を選択し、選択された高解像度化処理を設定された生成画素で実行するようにしているが、この場合における生成画素の設定の順番として、ブロック単位で順番を移行する、すなわち、あるブロック内のすべての生成画素について処理を終えると、次のブロックの生成画素について処理するようにしてもよい。

上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。

また、上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、推定するパラメータの数もしくは推定するパラメータの種類が互いに異なっていてもよい。例えば、画像全体のずれ補正量の推定は、上記実施例のごとく、並進ずれ（ｕ、ｖ）および回転ずれ（δ）の３つのパラメータを用いて補正量を推定し、ブロックごとのずれ補正量の推定は、回転ずれ（δ）を無視して並進ずれ（ｕ、ｖ）のみの２つのパラメータを用いてずれ補正量を推定するようにしてもよい。

上記第１の実施例において、動き検出部１０８は、移動量Ｍ１に対する移動量Ｍ２の相対移動量Ｍ（図９）に基づいて、動き量を求めているが、本発明は、これに限られるものではなく、移動量Ｍ２に対する移動量Ｍ１の相対移動量に基づいて、動き量を求めるようにしてもよい。

上記第１の実施例において、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１〜Ｆ３を１２のブロックに区分けしているが、本発明は、これに限られるものではない。例えば、６つのブロックに区分けしてもよいし、２４のブロックに区分けしてもよい。また、上記第１の実施例において、基準フレーム画像Ｆ０のブロックと対象フレーム画像Ｆ１〜Ｆ３のブロックのほぼ同様の形状、大きさは、同じものを用いているが、本発明は、これに限られるものではなく、それぞれのブロックの大きさが異なっていてもよい。

上記第１の実施例において、基準フレーム画像Ｆ０若しくは基準フレーム画像Ｆ０の各ブロック対する対象フレーム画像Ｆ１〜Ｆ３のブロックの中心座標の移動量を求めているが、本発明は、これに限られるものではなく、対象フレーム画像Ｆ１〜Ｆ３のブロックの任意の座標における移動量を求めるようにしてもよい。

上記実施例では、高解像度化処理部１１０は、３つの高解像度化処理を行うことができるが、本発明は、これに限られるものではない。例えば、２つ、または４つ以上の高解像度化処理を行ってもよい。この場合、処理選択部１０９は、高解像度化処理部１１０が行うことができる可能な高解像度化処理の中から、１つを選択するようにする。

上記実施例では、動き量検出処理（図２、ステップＳ６）において、動き量の検出をする際に、すべての対象フレーム画像を参照して動き量を算出しているが、本発明は、これに限られるものではない。動き量の検出をする際には、すべて参照するのではなく、１つ若しくは、複数の対象フレーム画像を参照して動き量を算出してもよい。このようにすれば、すべての対象フレーム画像を参照して動き量を算出する場合に比較して、演算量が少なくなるので、処理時間の短縮になる。

上記実施例の静止画像生成システムにおいて、取得するフレーム画像は、取得指示の入力タイミングから時系列的に連続する４フレームのフレーム画像データを取得するものとしているが、本発明は、これに限られるものではない。取得するフレーム画像は、２フレーム、３フレーム若しくは、５フレーム以上のフレーム画像データを取得してもよい。この場合には、取得したフレーム画像データの一部または、全部を用いて、上述のようにして比較的高解像度な静止画像データを生成する処理を行ってもよい。

上記実施例では、動画像データの中から取得された時系列に連続する複数のフレーム画像データに基づいて、１つの高解像度な静止画像データを生成する場合を説明しているが、本発明はこれに限られるものではなく、単に、時系列に連続する複数の低解像度の画像データに基づいて、１つの高解像度の画像データを生成することも可能である。例えば、時系列に連続する複数の低解像度の画像データとしては、デジタルカメラで連写された複数の画像データであってもよい。
また、必ずしも時系列に連続する複数の低解像度の画像データ（フレーム画像データを含む。）である必要もなく、時系列に並んだ複数の低解像度の画像データであってもよい。

上記実施例では、静止画像生成装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の静止画像生成装置がビデオカメラ、デジタルカメラ、プリンタ、ＤＶＤプレーヤ、ビデオテーププレーヤ、ハードディスクプレーヤ、カメラ付き携帯電話などに内蔵されてもよい。特に、ビデオカメラを本発明の静止画像生成装置とした場合には、動画像を撮影しながら、撮影した動画像の動画像データに含まれる複数のフレーム画像データから１つの高解像度な静止画像データを生成することが可能となる。また、デジタルカメラを本発明の静止画像生成装置とした場合にも、被写体を連写しながら、あるいは、連写した結果を確認しながら、複数の撮像画像データから１つの高解像度な静止画像データを生成することができる。

上記実施例では、比較的低解像度の画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。

本発明の第１の実施例としての静止画像生成装置の概略構成を示す説明図である。 本発明の第１の実施例における静止画像データを生成する手順を示す説明図である。 基準フレームのフレーム画像と対象フレームのフレーム画像との間の位置ずれについて示す説明図である。 基準フレーム画像と対象フレーム画像との間の位置ずれの補正について示す説明図である。 本実施例における基準フレーム画像および対象フレーム画像を１２のブロックに区分した状態を表した図である。 本発明の第１の実施例における動き量検出処理の概略を説明するための図である。 対象フレーム画像Ｆ１の番号１のブロックにおける補正に伴う移動量の算出を説明する図である。 基準フレーム画像Ｆ０の番号１のブロックにおいて基準フレーム画像Ｆ０に対して補正量ｕｂ１、ｖｂ１、δｂ１に基づいてブロックごとの位置ずれを補正した後の対象フレーム画像Ｆ１の番号１のブロックを拡大して表した図である。 基準フレーム画像Ｆ０の番号１のブロックと対象フレーム画像Ｆ１の番号１のブロックにおける相対移動量Ｍの算出を説明する図である。 基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３とをずれを補正して配置した様子を拡大して示す説明図である。 バイ・リニア法による補間処理について示す説明図である。 複数のフレーム画像間で動きが発生していた場合に上記動き非対応合成処理を実行した場合の説明図である。 本実施における動きの判定方法を説明するための前提条件を示す説明図である。 本実施例における動きの判定方法について示す説明図である。 本発明の第２の実施例における静止画像データを生成する手順を示す説明図である。 第５の実施例として対象フレーム画像Ｆ１の番号１のブロック内の動き値の算出を説明する図である。

符号の説明

２０...プリンタ
３０...デジタルビデオカメラ
１００...コンピュータ
１０２...静止画像生成制御部
１０４...フレーム画像取得部
１０６...ずれ補正部
１０８...動き検出部
１０９...処理選択部
１１０...高解像度化処理部
１２０...キーボード
１３０...マウス
１５０...ディスプレイ

Claims (4)

1. 動画像データを構成する複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成装置であって、
   前記複数の第１の画像データのうち、基準となる基準画像データの表す基準画像と、前記基準画像データ以外の少なくとも１つの対象画像データの表す対象画像との画像全体としての位置ずれを第１の位置ずれとして検出すると共に、前記基準画像および前記対象画像を複数のブロックに区分し、前記基準画像と前記対象画像の間において対応するブロック間の位置ずれを、それぞれ第２の位置ずれとして検出するずれ検出部と、
   各ブロックについて、前記対象画像の、前記基準画像に対する動きの程度を表す動き量を、前記第１の位置ずれと、前記第２の位置ずれとに基づいて、それぞれ検出する動き検出部と、
   各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択する高解像度化処理選択部と、
   前記複数の第１の画像データに基づいて、前記第２の画像データを前記静止画像として生成し、該静止画像のうち、或るブロックに属する部分について生成する際には、そのブロックについて選択した前記高解像度化処理を実行することによって生成する高解像度化処理部と、
   を備えたことを特徴とする静止画像生成装置。
2. 動画像データを構成する複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成方法であって、
   前記複数の第１の画像データのうち、基準となる基準画像データの表す基準画像と、前記基準画像データ以外の少なくとも１つの対象画像データの表す対象画像との画像全体としての位置ずれを第１の位置ずれとして検出すると共に、前記基準画像および前記対象画像を複数のブロックに区分し、前記基準画像と前記対象画像の間において対応するブロック間の位置ずれを、それぞれ第２の位置ずれとして検出する工程と、
   各ブロックについて、前記対象画像の、前記基準画像に対する動きの程度を表す動き量を、前記第１の位置ずれと、前記第２の位置ずれとに基づいて、それぞれ検出する工程と、
   各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択する工程と、
   前記複数の第１の画像データに基づいて、前記第２の画像データを前記静止画像として生成し、該静止画像のうち、或るブロックに属する部分について生成する際には、そのブロックについて選択した前記高解像度化処理を実行することによって生成する工程と、
   を備えたことを特徴とする静止画像生成方法。
3. 動画像データを構成する複数の第１の画像データから、該第１の画像データに比べて高解像度の第２の画像データを静止画像として生成するための静止画像生成プログラムであって、
   前記複数の第１の画像データのうち、基準となる基準画像データの表す基準画像と、前記基準画像データ以外の少なくとも１つの対象画像データの表す対象画像との画像全体としての位置ずれを第１の位置ずれとして検出すると共に、前記基準画像および前記対象画像を複数のブロックに区分し、前記基準画像と前記対象画像の間において対応するブロック間の位置ずれを、それぞれ第２の位置ずれとして検出する機能と、
   各ブロックについて、前記対象画像の、前記基準画像に対する動きの程度を表す動き量を、前記第１の位置ずれと、前記第２の位置ずれとに基づいて、それぞれ検出する機能と、
   各ブロックについて、それぞれ、検出した前記ブロック内動き量に応じて、複数の高解像度化処理の中から１つの高解像度化処理を選択する機能と、
   前記複数の第１の画像データに基づいて、前記第２の画像データを前記静止画像として生成し、該静止画像のうち、或るブロックに属する部分について生成する際には、そのブロックについて選択した前記高解像度化処理を実行することによって生成する機能と、
   をコンピュータに実現させるための静止画像生成プログラム。
4. 請求項３に記載の静止画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images