JP4120677B2 - 複数のフレーム画像からの静止画像の生成 - Google Patents

Description

本発明は、動画像に含まれる複数のフレーム画像を合成して、静止画像を生成する技術に関する。

従来、ディジタルビデオカメラ等で撮影された動画像の１シーンをキャプチャして、フレーム画像よりも高解像度の静止画像を生成することが行われている。このような静止画像は、動画像に含まれる複数のフレーム画像を重ね合わせて合成することによって生成される。
例えば、特開２０００−２４４８５１号公報には、連続する（ｎ＋１）枚のフレーム画像から１枚のフレーム画像を基準画像として選択し、この基準画像に対する他のｎ枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、（ｎ＋１）枚のフレーム画像を合成して静止画像を生成する技術が開示されている。
また、特開平６−３５０９７４号公報では、インタレース方式による動画像から静止画像を生成する技術において、インタレース方式で対になる２枚のフィールドのうち、１枚のフィールドを基準画像とし、他の１枚のフィールドを対象画像として、フィールドごとに対象画像が合成に適しているか否かを判別し、適していれば合成する技術が提案されている。一般に、合成するフレーム画像を増やせば、静止画像の画質が向上すると考えられているが、合成するフレーム画像を増やしても画質が向上するとは限らない。以下、その理由について説明する。
図１は、基準画像と合成対象画像との合成方法を示す説明図である。図１の上段に、基準画像と合成対象画像とを、ずれ量を補正して配置した様子を示した。図１の下段には、基準画像と、合成対象画像と、合成画像の各画素の位置関係を示した。図１の下段において、「○」は、基準画像の画素を表している。「●」は、合成対象画像の画素を表している。破線の格子上にハッチングを付した丸印は、合成画像の画素を表している。なお、この図では、基準画像および合成対象画像の解像度は同じであるものとし、フレーム画像の解像度をｘ軸方向およびｙ軸方向に１．５倍に増大する場合について示している。
ここで、合成画像の画素ｇ１に着目する。この画素ｇ１は、基準画像の画素ｔ１と一致している。この場合、画素ｇ１を囲む合成対象画像の４つの画素ｓ１〜ｓ４の階調値に基づいて、画素ｇ１の位置における階調値をバイリニア法によって求め、この階調値と基準画像の画素ｔ１の階調値とを平均することによって、画素ｇ１の階調値を決定する。
また、合成画像の画素ｇ２の階調値は、以下の手順で決定する。すなわち、まず、画素ｇ２を囲む基準画像の４つの画素ｔ２〜ｔ５の階調値に基づいて、画像ｇ２の位置における階調値をバイリニア法によって求める。次に、画素ｇ２を囲む合成対象画像の４つの画素ｓ４〜ｓ７の階調値に基づいて、画素ｇ２の位置における階調値をバイリニア法によって求める。そして、両者を平均することによって画素ｇ２の階調値を決定する。
他の画素についても、以上説明したのと同様にして階調値を決定することができる。ここでは、理解を容易にするため、基準画像および対象画像の解像度が同じであるものとして説明したが、基準画像および合成対象画像の解像度が異なっている場合には、適宜、拡大または縮小して同様の処理を行えばよい。
図２は、基準画像と合成対象画像とのずれ量が０である場合の合成方法を示す説明図である。図２の上段に、基準画像と合成対象画像とを、ずれ量を補正して配置した様子を示した。ずれ量が０であるから、基準画像と合成対象画像は完全に重なっている。図２の下段には、基準画像と、合成対象画像と、合成画像の各画素の位置関係を示した。基準画像と合成対象画像が重なっているので、基準画像と合成対象画像の各画素は、同じ位置に存在している。
合成画像の画素ｇ２の階調値は、以下の手順で決定する。すなわち、まず、画素ｇ２を囲む基準画像の４つの画素ｔ２〜ｔ５の階調値に基づいて、画像ｇ２の位置における階調値をバイリニア法によって求める。次に、画素ｇ２を囲む合成対象画像の４つの画素ｓ２〜ｓ５の階調値に基づいて、画素ｇ２の位置における階調値をバイリニア法によって求める。そして、両者を平均することによって画素ｇ２の階調値を決定する。
画素ｔ２〜ｔ５の階調値と画素ｓ２〜ｓ５の階調値がそれぞれ同値であるから、画素ｔ２〜ｔ５の階調値に基づいて、バイリニア法によって求めた画像ｇ２の位置における階調値と、画素ｓ２〜ｓ５の階調値に基づいて、バイリニア法によって求めた画素ｇ２の位置における階調値は、同じ値となる。つまり、それらの平均値も、画素ｔ２〜ｔ５の階調値に基づいて、バイリニア法によって求めた画像ｇ２の位置における階調値や、画素ｓ２〜ｓ５の階調値に基づいて、バイリニア法によって求めた画素ｇ２の位置における階調値と同じとなる。
つまり、基準画像と合成対象画像のずれ量が０である場合は、合成処理を行なっても合成結果の画像と元の画像に差異がない。ずれ量が僅かな場合も同様に、合成結果の画像と元の画像にほとんど違いが現れない。これらの場合は、合成処理を行なっても、徒に処理時間を増やすだけで、画質を飛躍的に向上することは望めない。

本発明は、上述の課題を解決するためになされたものであり、動画像に含まれる複数のフレーム画像から静止画像を生成する場合に、効率的に静止画像の画質を向上することを目的とする。
上述の課題の少なくとも一部を解決するため、本発明の画像生成装置は、動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも１以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定部と、前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、１つの比較基準フレーム画像領域を抽出する比較基準抽出部と、前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、１つの対象フレーム画像領域を抽出する対象抽出部と、前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較部と、前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外部と、前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成部とを備えることを特徴とする。
ここで、フレーム画像とは、プログレッシブ方式（ノンインタレース方式ともいう）で表示可能な静止画像である。したがって、インタレース方式の場合は、ラスタの異なる複数のフィールド画像（奇数フィールドと偶数フィールド）から構成される画像が本発明のフレーム画像に相当する。
本発明によれば、所定の基準を満たさないフレーム画像の領域を合成の対象から除外し、なおかつ合成するフレーム画像領域の枚数を所定枚数以上確保することで、効率的に合成画像の画質を向上することができる。ここで言う所定の基準は、例えば比較部の求めたパラメータが画像ずれ量であれば、画像ずれ量が閾値以上であることなどである。詳しくは後述する。所定枚数は任意に設定可能であるが、２枚以上であることが望ましい。
合成対象設定部は、動画において基準フレーム画像に時系列的に連続しているフレーム画像の領域を、連続数枚合成対象フレーム画像領域に設定しても良いし、数枚おきに合成対象フレーム画像領域に設定しても良い。
合成画像生成部が行なう画像の合成処理には、ニアレストネイバ法や、バイリニア法や、バイキュービック法など、周知の種々の画像補間の手法を適用することができる。一般に、高速処理が可能な方法は、手順が簡素化されているため、手順が複雑な方法よりも補間精度が悪く、画質が劣る。例えば、ニアレストネイバ法と、バイリニア法と、バイキュービック法とは、この順序で手順が複雑になり、処理時間が長くなる。一方、補間精度が高くなり、画質が向上する。
合成画像生成部は、前記合成対象フレーム画像領域と前記基準フレーム画像領域の合計枚数が多い場合は、ニアレストネイバ法などにより高速の合成処理を行ない、少ない場合はバイキュービック法などにより補間精度の良い合成処理を行なうものとしても良い。
上記画像生成装置は、さらに、前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する設定部と、前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記合成対象設定部と前記比較基準抽出部と前記対象抽出部と前記比較部と前記除外部の処理を繰り返させるフレーム数制御部と、を備えるようにしてもよい。
本発明の画像生成装置において、前記基準フレーム画像の指定を受ける指定受付部を備え、前記設定部は、指定を受けたフレーム画像を基準フレーム画像としても良い。
これにより、ユーザが、動画の中から静止画像としたいフレーム画像を選択して、基準フレーム画像とすることができる。
上記画像生成装置において、前記比較基準抽出部は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とするものとしても良い。
基準フレーム画像領域は、合成の基準となる画像の領域なので、まず基準フレーム画像領域を比較基準フレーム画像領域とすることが望ましい。基準フレーム画像領域を比較基準フレーム画像領域として、合成対象フレーム画像領域について、合成に値するか否かを判断し、合成に値した合成対象フレーム画像領域のうちの１枚を、次に比較基準フレーム画像領域とすることができる。
例えば、フレーム画像領域１とフレーム画像領域２とフレーム画像領域３において、フレーム画像領域１が基準フレーム画像領域、フレーム画像領域２とフレーム画像領域３が合成対象フレーム画像領域であるとする。まずフレーム画像領域１を比較基準フレーム画像領域として、フレーム画像領域２とのずれ量と、フレーム画像領域３とのずれ量を求める。求めたずれ量が、それぞれ所定値以上であった場合、次にフレーム画像領域２を比較基準フレーム画像領域とする。
フレーム画像領域１とフレーム画像領域２のずれ量と、フレーム画像領域１とフレーム画像領域３のずれ量とが、それぞれ所定値以上であっても、フレーム画像領域２とフレーム画像領域３のずれ量が０であれば、フレーム画像領域１，２，３をすべて合成する必要はないからである。つまり、フレーム画像領域１，２またはフレーム画像領域１，３を合成すれば足りる。フレーム画像領域２を比較基準フレーム画像領域とし、フレーム画像領域３を対象フレーム画像領域とすることで、フレーム画像領域３を合成対象から除外することが可能となる。
上記画像生成装置において、前記合成対象フレーム画像領域から、１つのフレーム画像の領域としての特徴が所定の条件を満たすフレーム画像の領域を取り除く排除部を備えるものとしても良い。
所定の条件としては、例えば、ノイズが大きい、ピントがぼけている、手がレンズ前に被さるなどして色の階調が異常である、などがあげられる。排除部により、そのようなフレーム画像領域は、予め合成対象から取り除くことができる。
上記画像生成装置において、前記パラメータは、画像ずれ量であるものとしても良い。
画像ずれ量は、例えば手ぶれやカメラのターンで生ずる。画像ずれ量が小さすぎると、合成対象フレーム画像領域は合成画像領域の画質を殆どあげることができない。本発明では、合成画像領域の画質の向上にあまり役立たない合成対象フレーム画像領域を合成対象から除外することができる。画像ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含むものとしても良い。並進ずれ量は、ブロックマッチング法や、勾配法や、これらを組み合わせた手法など、種々の手法によって、検出することができる。回転ずれ量も、また、幾何学的な計算によって検出することができる。パラメータが画像ずれ量であれば、先に述べた所定の基準は画像ずれ量が閾値以上であることなどである。
上記画像生成装置において、前記比較部は、前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求めるフレームずれ量算出部と、前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める領域ずれ量算出部とを備えるものとしても良い。
本発明によれば、領域のずれ量をフレーム画像の画像ずれ量をもとに、簡便に求めることができる。フレーム画像の画像ずれ量が、回転ずれ量を含んでいても、個々の領域のずれ量としては、並進ずれ量で近似可能な場合もある。また、フレーム画像全体としては合成に値しない画像も、領域に分割することで合成に使用できるようになる場合もある。フレーム画像の画像ずれ量を求めずに、領域のずれ量を直接計算しても良い。
上記画像生成装置において、前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分であるものとしても良い。
特徴量は、色の階調や輝度であっても良い。本発明では、比較基準フレーム画像領域と比較して、画像差分がほとんどないフレーム画像領域を合成対象から除外することができる。同じ内容のフレーム画像領域同士を合成しても、また同じ内容のフレーム画像領域が得られるだけで、画質が向上しないので、比較基準フレーム画像領域と同じ内容のフレーム画像領域を合成対象フレーム画像領域から除外する意図である。
本発明は、動画においてフレームレートを変換した場合など、同じ内容のフレーム画像が連続する場合に、同じ内容のフレーム画像領域は合成対象から除外するのに、特に有効である。そのような場合では、ずれ量を計算するまでもなく、画像差分があるか否かだけで、合成に値するか否か判別可能だからである。画像差分のみ求めれば良いので簡便となる。パラメータが画像差分であれば、先に述べた所定の基準は画像差分が０ではないことなどである。
上記画像生成装置において、前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較であっても良い。
本発明では、比較基準フレーム画像領域と比較して、特徴に差異があるフレーム画像領域を合成対象から除外することができる。比較基準フレーム画像領域と比べて明らかに異常なフレーム画像領域を合成に使用すると、合成フレーム画像の画質も異常になってしまうので、明らかに異常なフレーム画像領域を合成対象フレーム画像領域から除外する意図である。
例えば、色調が明るい場面の静止画像領域を合成している際に、暗い色調のフレーム画像領域を合成対象から除外する場合などに特に有効である。そのような場合では、ずれ量を計算するまでもなく、特徴量の平均値の差を計算するだけで、合成に値するか否か判別可能だからである。特徴量の平均値の差のみ求めれば良いので簡便となる。パラメータが画素の特徴量の平均値の比較であれば、先に述べた所定の基準は画素の特徴量の平均値の比較が大きいことなどである。
上記画像生成装置において、前記基準フレーム画像領域と前記合成対象フレーム画像領域は、前記フレーム画像が、それぞれ同じ形式で分割された領域であって、前記対象抽出部は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出するものとしても良い。
本発明によれば、フレーム画像が同じ形式で分割された領域毎に、合成対象とするか否か判別可能となる。領域毎に判別することで、一様に合成対象から除外されていたフレーム画像も、ある領域では合成対象とすることができる。その結果、合成画像の画質をあげることもできる。
本発明は、上述の画像生成装置としての構成の他、画像生成方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。

図１は、基準画像と対象画像との合成方法を示す説明図である。
図２は、基準画像と対象画像とのずれ量が０である場合の合成方法を示す説明図である。
図３は、本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。
図４は、第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。
図５は、比較基準画像と対象画像とのずれ量について示す説明図である。
図６は、勾配法による並進ずれ量の算出方法を示す説明図である。
図７は、回転ずれの算出方法を示す説明図である。
図８は、第１実施例における静止画像生成処理の流れを示すフローチャートである。
図９は、フレーム画像の入力処理を示したフローチャートである。
図１０は、本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。
図１１は、比較基準画像と対象画像とのブロックのずれ量について示す説明図である。
図１２は、ブロックに分割したフレーム画像を示す説明図である。
図１３は、第２実施例における静止画像生成処理の流れを示すフローチャートである。
図１４は、パノラマ画像生成の様子を示す説明図である。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
Ａ２．静止画像の生成：
Ａ３．ずれ量の検出：
Ａ４．静止画像生成処理：
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
Ｂ２．ブロックのずれ量の検出：
Ｂ３．静止画像生成処理：
Ｃ．変形例：
Ａ．第１実施例：
Ａ１．画像生成装置の構成：
図３は、本発明の第１実施例としての画像生成装置１００の概略構成を示す説明図である。この画像生成装置１００は、動画像に含まれる複数のフレーム画像を合成して、フレーム画像よりも高解像度の静止画像を生成する装置である。画像生成装置１００は、汎用のパーソナルコンピュータに所定のアプリケーションソフトをインストールすることによって構成されており、図示する各機能ブロックをソフトウェア的に備えている。
パーソナルコンピュータは、ＣＰＵや、ＲＯＭや、ＲＡＭの他、ハードディスクや、ＤＶＤ−ＲＯＭ、メモリカード等の記録媒体から動画像を入力するためのインタフェースなどを備えている。また、入力した動画像を再生する機能も有している。
制御部１０は、各部の制御を行う。フレーム画像入力部２０は、動画像に含まれるフレーム画像を入力する。本実施例では、フレーム画像入力部２０は、動画像の再生中にユーザが一時停止の指示を、入力したタイミングから、時系列的に連続する４枚のフレーム画像を入力するものとした。ここで入力するフレーム画像の数が、静止画像の合成に使用されるフレーム画像の数となる。
フレーム画像入力部２０は、４枚のフレーム画像を入力すると同時に、それに時系列的に連続する２０枚のフレーム画像を入力し、フレーム画像記憶部３０に別個に記憶させておく。その２０枚のフレーム画像は、先の４枚のフレーム画像が静止画像の合成に適さない場合に、新たに合成の候補となる予備のフレーム画像である。以下、２０枚のフレーム画像を予備フレーム画像と呼ぶ。また、先の４枚のフレーム画像は、選択フレーム画像と呼ぶ。フレーム画像入力部２０は、予備フレーム画像を選択フレーム画像に変更する処理も行なう。
フレーム画像入力部２０が入力するフレーム画像の数は、ユーザが任意に設定できるようにしてもよい。また、入力するフレーム画像は、時系列的に連続していなくてもよい。コマンド入力部に入力したタイミングにおけるフレーム画像を２枚目または３枚目のフレーム画像として、時系列的に連続してフレーム画像を入力してもよい。
フレーム画像記憶部３０は、フレーム画像入力部２０が入力した複数のフレーム画像を記憶する。排除部５０は、フレーム画像記憶部３０に記憶された選択フレーム画像のうち、フレーム単位で評価した場合に異常なフレーム画像を取り除く。例えば、ノイズが大きいフレーム画像や、ピントがぼけたフレーム画像や、手がレンズ前に被さるなどして色の階調が異常な選択フレーム画像を取り除く。
選択フレーム画像が取り除かれた場合は、フレーム画像入力部２０が、新たに予備フレーム画像を選択フレーム画像に変更する。変更される予備フレーム画像は、先に選択フレーム画像となった画像に時系列的に連続する予備フレーム画像である。排除部５０は、新たに選択フレーム画像となった画像を調べ、異常な選択フレーム画像を取り除く。最終的に排除部５０により正常と判断された選択フレーム画像が４枚になるまで、選択フレーム画像の排除と、予備フレーム画像から選択フレーム画像への変更は繰り返す。
基準画像指定受付部２５は、選択フレーム画像をモニタに表示する。ユーザは、表示された選択フレーム画像の中から基準画像としたいフレーム画像を指定する。基準画像指定受付部２５は、その指定を受け付ける。基準画像設定部４０は、基準画像指定受付部２５が指定を受けた選択フレーム画像を基準画像に設定する。
なお、基準画像指定受付部２５を備えずに、選択フレーム画像のうち、フレーム画像入力部２０が最初に入力した選択フレーム画像を基準画像として設定するものとしてもよい。画像生成装置１００内に、選択フレーム画像それぞれについて、その特徴量（例えば、エッジ強度等）の解析を行うための機能ブロックを設け、解析結果に基づいて、基準画像の設定を行うようにしてもよい。
比較対象設定部４５は、選択フレーム画像のうち、基準画像以外の選択フレーム画像を、比較対象画像に設定する。比較基準画像設定部９０は、基準画像または比較対象画像のうちの１枚を、比較基準画像に設定する。ただし、最初に基準画像を比較基準画像に設定する。比較対象再設定部８５は、比較基準画像以外の比較対象画像を、比較対象画像に再設定する。対象画像設定部６５は、比較対象画像のうち１枚を、次に比較基準画像とのずれ量を検出する対象として、対象画像に設定する。本実施例では、後述するように、比較対象画像を、フレーム画像入力部２０が入力（変更）した順に、対象画像として設定していくものとした。
ずれ量検出部６０は、基準画像に対する対象画像のずれ量を検出する。本実施例では、ずれ量として、並進ずれ量を検出するものとした。このずれ量の検出については、後述する。除外部８０は、ずれ量検出部６０が検出したずれ量が所定の基準を満たさなければ、対象画像を、比較対象画像から除外する。
判断部７０は、比較基準画像と比較対象画像の合計数が４枚になっているかどうか判断する。４枚の場合は、合成画像生成部７５は、解像度変換を行うとともに、ずれ量検出部６０が検出したずれ量を補償するように、比較基準画像と比較対象画像とを合成して合成画像を生成する。合成の際の基準となるのは、基準画像で、合成方法は先に述べた通りである。ただし、４枚の画像の合成となるので、合成画像の各々の画素において４つの階調値の平均を求めることになる。４枚となっていない場合は、再度フレーム画像入力部が予備フレーム画像を選択フレーム画像に変更する。
Ａ２．静止画像の生成：
図４は、第１実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。先に説明したように、本実施例では、時系列的に連続するフレーム画像を用いて、静止画像を生成する。先頭のフレーム画像１が基準画像設定部４０により設定された基準画像であり、フレーム画像２からフレーム画像４までが比較対象設定部４５により設定された比較対象画像である。なお、いずれのフレーム画像も排除部５０により排除されなかったフレーム画像である。
工程１について説明する。比較基準画像設定部９０は、まず基準画像であるフレーム画像１を比較基準画像に設定する。比較対象再設定部８５は、比較基準画像以外の比較対象画像、つまりフレーム画像２からフレーム画像４までを比較対象画像に再設定する。対象画像設定部６５は、比較対象画像のうち、まずフレーム画像２を対象画像とする。ずれ量検出部６０は、比較基準画像（フレーム画像１）と対象画像（フレーム画像２）のずれ量を検出する。除外部８０は、そのずれ量が所定の基準を満たすかどうか判別する。ここでは、所定の基準を満たさなかったものとして「×」印を図示する。つまり、フレーム画像２は、除外部８０により比較対象画像から除外される。
次に、対象画像設定部６５は、フレーム画像３を対象画像とする。そして比較基準画像（フレーム画像１）と対象画像（フレーム画像３）のずれ量が検出され、ずれ量が所定の基準を満たすかどうか判別される。ここでは、所定の基準を満たすものとして「○」印を図示する。つまり、フレーム画像３は、除外部８０により比較対象画像から除外されない。次に、フレーム画像４を対象画像として、比較基準画像（フレーム画像１）と対象画像（フレーム画像４）のずれ量が検出される。ずれ量が所定の基準を満たすものとして「○」印を図示する。
工程２について説明する。工程２は、工程１の次に行なわれる処理である。まず、比較基準画像設定部９０が、除外部８０により除外されなかった比較対象画像（フレーム画像３とフレーム画像４）のうちの１枚（フレーム画像３）を、比較基準画像に設定する。基準画像（フレーム画像１）は、工程１ですでに比較基準画像となったので、比較基準画像にはされない。区別のため、先のフレーム画像１を比較基準画像１、フレーム画像３を比較基準画像２と呼ぶ。
そして、比較対象再設定部８５が、その比較基準画像（フレーム画像３）以外の比較対象画像（フレーム画像４）を、新たに比較対象画像とする。ここでは、新たな比較対象画像が１枚となったが、複数枚となる場合もある。
対象画像設定部６５は、比較対象画像のうちの１枚を対象画像とする。必然的にフレーム画像４が対象画像となる。ずれ量検出部６０は、比較基準画像２（フレーム画像３）と対象画像（フレーム画像４）のずれ量を検出する。除外部８０は、そのずれ量が所定の基準を満たすかどうか判別する。所定の基準を満たさなかったものとして「×」印を図示した。つまり、フレーム画像４は、除外部８０により比較対象画像から除外されることになる。
次に、判断部７０が、比較基準画像と比較対象画像の合計数が４枚になっているかどうか判断する。判断部７０は、ずれ量検出後に比較対象画像が１枚以下になった際に判断を行なう。比較基準画像はフレーム画像１とフレーム画像３の２枚、比較対象画像は０枚となったので、合計２枚である。よって、４枚ではないので、フレーム画像入力部２０が、フレーム画像の合計数が４枚となるように予備フレーム画像を選択フレーム画像に変更する。つまり、２枚の予備フレーム画像を選択フレーム画像に変更する。２枚のうち、一方でも排除部５０により排除されれば、再度フレーム画像の変更を行なう。
このように新たに入力したフレーム画像が、工程３に図示したフレーム画像５とフレーム画像６である。工程３について説明する。工程３は、工程２の次に行なわれる処理である。まず、比較対象設定部４５が、フレーム画像５とフレーム画像を比較対象画像に設定する。比較基準画像設定部９０は、フレーム画像１を比較基準画像１とし、比較対象再設定部８５は、フレーム画像３、フレーム画像５、フレーム画像６を比較対象画像とする。
そして、フレーム画像３、フレーム画像５、フレーム画像６の順に対象画像に設定してずれ量を検出する。フレーム画像３、フレーム画像５、フレーム画像６のいずれも、ずれ量が所定の基準を満たすものとして「○」印を図示する。なお、フレーム画像１とフレーム画像３のずれ量検出結果は、工程１で示してあるので、工程３では図示を省略した。
次に、比較対象画像（フレーム画像３、フレーム画像５、フレーム画像６）のうちの１枚（フレーム画像３）を比較基準画像２として、残りの比較対象画像（フレーム画像５、フレーム画像６）を比較対象画像とする。そして、フレーム画像５、フレーム画像６の順に対象画像に設定してずれ量を検出する。フレーム画像５、フレーム画像６のいずれも、ずれ量が所定の基準を満たすものとして「○」印を図示する。
更に、比較対象画像（フレーム画像５、フレーム画像６）のうちの１枚（フレーム画像５）を比較基準画像３として、残りの比較対象画像（フレーム画像６）を比較対象画像とする。そして、フレーム画像６を対象画像に設定してずれ量を検出する。フレーム画像６のずれ量が所定の基準を満たすものとして「○」印を図示する。
ずれ量検出後に比較対象画像が１枚以下（フレーム画像６のみ）になったので、判断部７０が判断を行なう。比較基準画像が３枚（フレーム画像１、フレーム画像３、フレーム画像５）と比較対象画像が１枚（フレーム画像６）で、合計４枚である。よって、比較基準画像と比較対象画像の合計数が４枚となったので、合成画像生成部７５は、解像度変換を行うとともに、ずれ量検出部６０が検出したずれ量を補償するように、比較基準画像と比較対象画像とを合成して静止画像を生成する。以下、比較基準画像と対象画像とのずれ量の検出について説明する。
Ａ３．ずれ量の検出：
図５は、比較基準画像と対象画像とのずれ量について示す説明図である。比較基準画像の座標（ｘ１，ｙ１）が対象画像の座標（ｘ２，ｙ２）にずれているものとする。ここでは、ずれ量として並進ずれ量（ｕ，ｖ）と、回転ずれ量δとを用いる。
本実施例では、比較基準画像と対象画像との並進ずれ量を、勾配法によって求めるものとした。図６は、勾配法による並進ずれ量の算出方法を示す説明図である。図６（ａ）には、比較基準画像および対象画像の画素および輝度を示した。図６（ａ）において、例えば、（ｘ１ｉ，ｙ１ｉ）は、比較基準画像の画素の座標値を表しており、Ｂ１（ｘ１ｉ，ｙ１ｉ）は、その輝度を表している。また、図６（ｂ）には、勾配法の原理を示した。
ここでは、対象画像の座標（ｘ２ｉ，ｙ２ｉ）の画素が、比較基準画像の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間、すなわち、画素間の座標である（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）にあるものとして説明する。
図６（ｂ）に示すように、
Ｐｘ＝Ｂ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（１）
Ｐｙ＝Ｂ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（２）
とし、
Ｂ１＝Ｂ１（ｘ１ｉ，ｙ１ｉ） ・・・（３）
Ｂ２＝Ｂ２（ｘ２ｉ，ｙ２ｉ） ・・・（４）
とすると、
Ｐｘ・Δｘ＝Ｂ２−Ｂ１ ・・・（５）
Ｐｙ・Δｙ＝Ｂ２−Ｂ１ ・・・（６）
の関係が成り立つ。したがって、
｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝^２＝０ ・・・（７）
｛Ｐｘ・Δｙ−（Ｂ２−Ｂ１）｝^２＝０ ・・・（８）
を満たすΔｘ、Δｙを求めればよい。実際には、各画素についてΔｘ、Δｙを算出し、全体で平均をとることになる。
そして、ｘ方向およびｙ方向の両方向を考慮すると、
Ｓ^２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝^２ ・・・（９）
を最小にするΔｘ、Δｙを求めればよい。
なお、本実施例では、勾配法によって、並進ずれ量を算出するものとしたが、ブロックマッチング法や、反復勾配法や、これらを組み合わせた手法など、他の手法を用いるようにしてもよい。
図７は、回転ずれの算出方法を示す説明図である。ここでは、比較基準画像と対象画像との並進ずれが補正されているものとする。
比較基準画像の座標（ｘ１，ｙ１）の原点Ｏからの距離をｒとし、ｘ軸からの回転角度をθとすると、ｒ、θは、
ｒ＝（ｘ１^２＋ｙ１^２）^１／２ ・・・（１０）
θ＝ｔａｎ^−１（ｘ１／ｙ１） ・・・（１１）
となる。
ここで、原点Ｏを中心として、比較基準画像の座標（ｘ１，ｙ１）を角度δだけ回転させたときに、対象画像の座標（ｘ２，ｙ２）と一致するものとすると、この回転によるｘ軸方向およびｙ軸方法の移動量は、

によって求められる。
したがって、上記式（９）におけるΔｘ、Δｙは、
Δｘ＝ｕ−δ・ｙ１ ・・・（１４）
Δｙ＝ｖ＋δ・ｘ１ ・・・（１５）
と表すことができる。
これらを上記式（９）に代入すると、
Ｓ^２＝Σ｛Ｐｘ・（ｕ−δ・ｙ１）
＋Ｐｙ・（ｖ＋δ・ｘ１）−（Ｂ２−Ｂ１）｝^２ ・・・（１６）
が得られる。
上記式（１６）のＳ２を最小にするｕ，ｖ，δを最小二乗法によって求めることにより、比較基準画像と対象画像との１画素未満の並進ずれ量および回転ずれ量を精度よく検出することができる。なお、第１実施例では、フレーム間の時間

０として、
Ｓ^２＝Σ｛Ｐｘ・ｕ＋Ｐｙ・ｖ−（Ｂ２−Ｂ１）｝^２ ・・・（１７）
を最小にするｕ，ｖを最小二乗法によって求めることにより、比較基準画像と対象画像との１画素未満の並進ずれ量を検出する。
Ａ４．静止画像生成処理：
図８は、第１実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００のＣＰＵが実行する処理である。
まず、フレーム画像入力部２０は、フレーム画像を入力する（ステップＳ２０）。図９は、フレーム画像の入力処理を示したフローチャートである。フレーム画像入力部２０は、まず動画像から選択フレーム画像４枚と予備フレーム画像２０枚を入力し、フレーム画像記憶部３０に記憶させる（ステップＳ２１）。
次に、排除部５０は、選択フレーム画像のうちの１枚に、ノイズが大きい、ピントがぼけている、手がレンズ前に被さるなどして色の階調が異常である、などの異常があるか否か判断する（ステップＳ２３）。異常であれば（ステップＳ２３）、その選択フレーム画像はフレーム画像記憶部３０から削除して（ステップＳ２４）、予備フレーム画像を１枚選択フレーム画像に変更する（ステップＳ２５）。すべての選択フレーム画像が正常と判断されるまで、ステップＳ２３からステップＳ２５までを繰り返す。
基準画像指定受付部２５は、すべての選択フレーム画像をモニタに表示して（ステップＳ２７）、基準画像の指定をユーザから受け付ける（ステップＳ２８）。基準画像の指定は１枚である。基準画像設定部４０は、ユーザから指定を受けた１枚の選択フレーム画像を基準画像に設定する（ステップＳ２９）。そして、比較対象設定部４５は、基準画像以外の選択フレーム画像を比較対象画像に設定する（ステップＳ３０）。以上でフレーム画像入力処理の説明は終わり、図８に戻って静止画像生成処理の流れを説明する。
次に、基準画像または比較対象画像のうちの１枚を比較基準画像に設定し（ステップＳ３５）、比較基準画像以外の比較対象画像を、比較対象画像に再設定する（ステップＳ４０）。そして、比較対象画像のうち１枚を、対象画像に設定し、比較基準画像に対する対象画像のずれ量を検出する（ステップＳ５０）。
ただし、検出結果のずれ量が（ｕ，ｖ）であれば、ずれ量（Δｕ，Δｖ）は、（ｕ，ｖ）と最も近い整数と、（ｕ，ｖ）の差の絶対値として求める。例えば、（ｕ，ｖ）＝（２．３，０．８）であれば、（ｕ，ｖ）と最も近い整数は、（２，１）であるから、ずれ量（Δｕ，Δｖ）＝｜（２，１）−（２．３，０．８）｜＝（０．３，０．２）となる。
次に、ずれ量（Δｕ，Δｖ）が閾値（０．１，０．１）以下であれば（ステップＳ５５）、合成に値しないものとして、対象画像を比較対象画像から除外する（ステップＳ６０）。全ての比較対象画像について比較基準画像とのずれ量を検出していなければ（ステップＳ６５）、次の比較対象画像を対象画像に設定して、ステップＳ４５からステップＳ６０までを繰り返す。
全ての比較対象画像について比較基準画像とのずれ量を検出したら（ステップＳ６５）、比較対象画像が１枚以下になっているかどうか判断する（ステップＳ７０）。１枚以下になっていなければ、新たに比較対象画像を比較基準画像として、ステップＳ３５からステップＳ６５までを繰り返す。
１枚以下になっていれば（ステップＳ７０）、比較基準画像と比較対象画像の合計が４枚となっているかどうか判断する（ステップＳ７５）。４枚となっていなければ、足りない分だけ予備フレーム画像を選択フレーム画像に変更し（ステップＳ８５）、新たに追加した選択フレーム画像について排除処理（図９のステップＳ３１）を行なう。そして、新たに追加した選択フレーム画像を比較対象画像に設定する（ステップＳ８６）。４枚となっていれば、比較基準画像と比較対象画像とを合成して合成画像を生成する（ステップＳ８０）。
以上説明した第１実施例の画像生成装置によれば、比較基準画像とのずれ量が小さいフレーム画像を合成の対象から除外し、なおかつ合成するフレーム画像の枚数を４枚確保することで、効率的に合成画像の画質を向上することができる。
Ｂ．第２実施例：
Ｂ１．画像生成装置の構成：
図１０は、本発明の第２実施例としての画像生成装置１００Ａの概略構成を示す説明図である。画像生成装置１００Ａの構成は、分割部９５を備えていること以外は、第１実施例の画像生成装置１００とほぼ同じである。なお、以下に説明するように、第２実施例では、対象画像を複数のブロックに分割して、ブロック単位で比較基準画像とのずれ量を求める。そして、比較基準画像とのずれ量が小さいブロックを合成の対象から除外する。このため、分割部９５は、全ての選択フレーム画像を各ブロックが１６×１６画素になるように分割する。
Ｂ２．ブロックのずれ量の検出：
図１１は、基準画像と対象画像とのブロックのずれ量について示す説明図である。比較基準画像の座標（ｘ１，ｙ１）が対象画像の座標（ｘ２，ｙ２）にずれているものとする。第２実施例においては、フレーム画像のずれ量は、並進ずれ量（ｕ，ｖ）と、回転ずれ量δの３つのパラメータからなる。
図１２は、ブロックに分割したフレーム画像を示す説明図である。図のフレーム画像は、５×８のブロックに分割されている。全体のフレーム画像が、図の矢印に示すように回転している場合でも、ブロックのずれ量としては並進ずれ量（ｕ，ｖ）のみで表現できる。
具体的には、図１１の（ｘｂ，ｙｂ）を中心とするブロックのずれ量（ｕｂ，ｖｂ）は、
（ｕｂ，ｖｂ）＝（ｕ−ｙｂδ，ｖ＋ｘｂδ）
となる。つまり、各ブロックのずれ量は、フレーム画像の並進ずれ量と回転ずれ量から計算すればよい。ここでは、各ブロックのずれ量をフレーム画像の並進ずれ量と回転ずれ量から計算するものとしたが、各ブロックのずれ量を直接検出しても構わない。
Ｂ３．静止画像生成処理：
図１３は、第２実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置１００ＡのＣＰＵが実行する処理である。
第２実施例においては、まず全ての選択フレーム画像を各ブロックが１６×１６画素になるように分割する（ステップＳ９２）。そして、各ブロックについて、第１実施例と同様の処理を行なう（ステップＳ９５〜ステップＳ１５０）。つまり、各ブロックが独立したフレーム画像であるものとみなして処理を行なう。その際、選択フレーム画像内において同じ位置のブロック（選択フレーム画像１の第１ブロック，選択フレーム画像２の第１ブロック，選択フレーム画像３の第１ブロック，選択フレーム画像４の第１ブロック）同士で処理を行なう。第２ブロック、第３ブロック・・についても同様に、全てのブロックについて、ステップＳ９５からステップＳ１５０までの処理を繰り返す（ステップＳ１５５）。
ただし、予備フレーム画像を選択フレーム画像に変更したら（ステップＳ１５５）、排除処理をして（ステップＳ３０）、選択フレーム画像を比較対象画像に設定し（ステップＳ１５６）、その比較対象画像も各ブロックが１６×１６画素になるように分割する（ステップＳ１５８）。
以上説明した第２実施例の画像生成装置１００Ａによれば、ブロックのずれ量をフレーム画像の画像ずれ量をもとに、簡便に求めることができる。フレーム画像全体としては合成に使用できなかった画像も、ブロックに分割することで合成に使用できるようになる場合もある。
Ｃ．変形例：
以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、合成するフレーム画像の枚数や、ずれ量の閾値は、様々に設定可能である。更に、比較基準画像と対象画像における同じ位置の画素の特徴量の差の集合である画像差分や、画素の特徴量の平均値の差を、対象画像を合成に使用するか否かの判断基準としても良い。また、以下のような変形例が可能である。
上記第１実施例の画像生成装置１００は、パノラマ画像の生成を行うこともできる。図１４は、パノラマ画像生成の様子を示す説明図である。ここでは、実線で示した５枚のフレーム画像１〜５を合成し、その一部を抽出して、破線で示したパノラマ画像を生成する場合について示した。先に説明した従来の画像生成装置では、フレーム画像１を基準画像とした場合には、フレーム画像５と重なる領域がないため、合成画像の生成ができなかった。しかし、第１実施例の画像生成装置１００によれば、比較基準画像をフレーム画像１→フレーム画像２→フレーム画像３→フレーム画像４と変更することにより、より多くのフレーム画像を合成してパノラマ画像を生成することが可能である。

この発明は、動画や静止画の複数のフレーム画像を合成する装置に適用可能である。

Claims (21)

1. 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、
   前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも１以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定部と、
   前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、１つの比較基準フレーム画像領域を抽出する比較基準抽出部と、
   前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、１つの対象フレーム画像領域を抽出する対象抽出部と、
   前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較部と、
   前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外部と、
   前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成部と
   を備えた画像生成装置。
2. 請求項１記載の画像生成装置であって、さらに、
   前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する設定部と、
   前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記合成対象設定部と前記比較基準抽出部と前記対象抽出部と前記比較部と前記除外部の処理を繰り返させるフレーム数制御部と、
   を備える画像生成装置。
3. 請求項２記載の画像生成装置であって、さらに、
   前記基準フレーム画像の指定を受ける指定受付部を備え、
   前記設定部は、指定を受けたフレーム画像を前記基準フレーム画像とする
   画像生成装置。
4. 請求項１または２記載の画像生成装置であって、
   前記比較基準抽出部は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とする画像生成装置。
5. 請求項１または２記載の画像生成装置であって、さらに、
   前記合成対象フレーム画像領域から、１つのフレーム画像の領域としての特徴が所定の条件を満たすフレーム画像の領域を取り除く排除部を備えた画像生成装置。
6. 請求項１または２記載の画像生成装置であって、
   前記パラメータは、画像ずれ量である画像生成装置。
7. 請求項６記載の画像生成装置であって、
   前記比較部は、
   前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求めるフレームずれ量算出部と、
   前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める領域ずれ量算出部と
   を備えた画像生成装置。
8. 請求項１または２記載の画像生成装置であって、
   前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分である画像生成装置。
9. 請求項１または２記載の画像生成装置であって、
   前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較である画像生成装置。
10. 請求項１または２記載の画像生成装置であって、
    前記基準フレーム画像領域と前記合成対象フレーム画像領域は、前記フレーム画像が、それぞれ同じ形式で分割された領域であって、
    前記対象抽出部は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出する
    画像生成装置。
11. 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、
    （ａ）前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも１以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する工程と、
    （ｂ）前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、１つの比較基準フレーム画像領域を抽出する工程と、
    （ｃ）前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、１つの対象フレーム画像領域を抽出する工程と、
    （ｄ）前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める工程と、
    （ｅ）前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する工程と、
    （ｆ）前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する工程と
    を備えた画像生成方法。
12. 請求項１１記載の画像生成方法であって、さらに、
    前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する工程と、
    （ｇ）前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記工程（ａ）と前記工程（ｂ）と前記工程（ｃ）と前記工程（ｄ）と前記工程（ｅ）の処理を繰り返させる工程と、
    を備える画像生成方法。
13. 請求項１２記載の画像生成方法であって、さらに、
    前記基準フレーム画像の指定を受ける工程を備え、
    前記基準フレーム画像領域を設定する工程は、指定を受けたフレーム画像を前記基準フレーム画像とする工程を含む、、
    画像生成方法。
14. 請求項１１または１２記載の画像生成方法であって、
    前記工程（ｂ）は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とする工程を含む、画像生成方法。
15. 請求項１１または１２記載の画像生成方法であって、さらに、
    前記合成対象フレーム画像領域から、１つのフレーム画像の領域としての特徴が所定の条件を満たすフレーム画像の領域を取り除く工程を備えた画像生成方法。
16. 請求項１１または１２記載の画像生成方法であって、
    前記パラメータは、画像ずれ量である画像生成方法。
17. 請求項１６記載の画像生成方法であって、
    前記工程（ｄ）は、
    前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求める工程と、
    前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める工程と
    を備えた画像生成方法。
18. 請求項１１または１２記載の画像生成方法であって、
    前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分である画像生成方法。
19. 請求項１１または１２記載の画像生成方法であって、
    前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較である画像生成方法。
20. 請求項１１または１２記載の画像生成方法であって、
    前記基準フレーム画像領域と前記合成対象フレーム画像領域は、前記フレーム画像が、それぞれ同じ形式で分割された領域であって、
    前記工程（ｃ）は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出する工程を含む、
    画像生成方法。
21. 動画像に含まれる複数のフレーム画像から静止画像を生成するためのコンピュータプログラムであって、
    前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも１以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定機能と、
    前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、１つの比較基準フレーム画像領域を抽出する比較基準抽出機能と、
    前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、１つの対象フレーム画像領域を抽出する対象抽出機能と、
    前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較機能と、
    前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外機能と、
    前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成機能と
    をコンピュータに実現させるコンピュータプログラム。

Images