WO2004093011A1

WO2004093011A1 - 複数のフレーム画像からの静止画像の生成

Info

Publication number: WO2004093011A1
Application number: PCT/JP2004/005514
Authority: WO
Inventors: Seiji Aiso
Original assignee: Seiko Epson Corporation
Priority date: 2003-04-17
Filing date: 2004-04-16
Publication date: 2004-10-28
Also published as: EP1538562A1; JPWO2004093011A1; EP1538562A4; US20060171687A1; US7672538B2; CN1717702A; JP4120677B2; CN100351868C

Abstract

　複数のフレーム画像の一部を静止画像の合成に使用する比較対象画像とする。比較対象画像のうち１枚を比較基準画像、１枚を対象画像として、比較基準画像と対象画像を比較してパラメータを求める。そのパラメータが所定の基準を満たさなければ、対象画像を、比較対象画像から除外する。更に、複数のフレーム画像から任意の数のフレーム画像を比較対象画像に設定し、合成の基準となる基準画像と比較対象画像の合計数が所定の数以上になるまで、上記比較を行なう。合成画像生成部７５は、合計数が所定の数以上の比較対象画像と基準画像を合成して静止画像を生成する。

Description

明細書

複数のフレーム画像からの静止画像の生成技術分野

本発明は、動画像に含まれる複数のフレーム画像を合成して、静止画像を生成する技術に関する。背景技術

従来、ディジタルビデオカメラ等で撮影された動画像の 1シーンをキヤプチャして、フレーム画像よりも高解像度の静止画像を生成することが行われている。このような静止画像は、動画像に含まれる複数のフレーム画像を重ね合わせて合成することによって生成される。

例えば、特開 2 0 0 0— 2 4 4 8 5 1号公報には、連続する（ n + 1 ) 枚のフレーム画像から 1枚のフレーム画像を基準画像として選択し、この基準画像に対する他の n枚のフレーム画像（対象画像）の動きベクトルをそれぞれ算出し、各動きべクトルに基づいて、（n + 1 )枚のフレーム画像を合成して静止画像を生成する技術が開示されている。

また、特開平 6— 3 5 0 9 7 4号公報では、インタレース方式による動画像から静止画像を生成する技術において、インタレース方式で対になる 2枚のフィールドのうち、 1枚のフィールドを基準画像とし、他の 1枚のフィールドを対象画像として、フィールドごとに対象画像が合成に適しているか否かを判別し、適していれば合成する技術が提案されている。一般に、合成するフレーム画像を増やせば、静止画像の画質が向上すると考えられているが、合成するフレーム画像を増やしても画質が向上するとは限らない。以下、その理由について説明する。図 1は、基準画像と合成対象画像との合成方法を示す説明図である。図 1の上段に、基準画像と合成対象画像とを、ずれ量を補正して配置した様子を示した。図 1の下段には、基準画像と、合成対象画像と、合成画像の各画素の位置関係を示した。図 1の下段において、「o」は、基準画像の画素を表している。「·」は、合成対象画像の画素を表している。破線の格子上にハッチングを付した丸印は、合成画像の画素を表している。なお、この図では、基準画像および合成対象画像の解像度は同じであるものとし、フレーム画像の解像度を X軸方向および y軸方向に 1 . 5倍に増大する場合について示している。

ここで、合成画像の画素 g 1に着目する。この画素 g 1は、基準画像の画素 t 1と一致している。この場合、画素 g 1を囲む合成対象画像の 4つの画素 s 1〜 s 4の階調値に基づいて、画素 g 1の位置における階調値をバイリニア法によつて求め、この階調値と基準画像の画素 t 1の階調値とを平均することによって、画素 g 1の階調値を決定する。

また、合成画像の画素 g 2の階調値は、以下の手順で決定する。すなわち、まず、画素 g 2を囲む基準画像の 4つの画素 t 2〜 t 5の階調値に基づいて、画像 g 2の位置における階調値をバイリニア法によって求める。次に、画素 g 2を囲む合成対象画像の 4つの画素 s 4〜 s 7の階調値に基づいて、画素 g 2の位置における階調値をバイリニア法によって求める。そして、両者を平均することによて画素 g 2の階調値を決定する。

他の画素についても、以上説明したのと同様にして階調値を決定することができる。ここでは、理解を容易にするため、基準画像および対象画像の解像度が同じであるものとして説明したが、基準画像および合成対象画像の解像度が異なつている場合には、適宜、拡大または縮小して同様の処理を行えばよい。

図 2は、基準画像と合成対象画像とのずれ量が 0である場合の合成方法を示す説明図である。図 2の上段に、基準画像と合成対象画像とを、ずれ量を補正して配置した様子を示した。ずれ量が 0であるから、基準画像と合成対象画像は完全に重なっている。図 2の下段には、基準画像と、合成対象画像と、合成画像の各画素の位置関係を示した。基準画像と合成対象画像が重なっているので、基準画像と合成対象画像の各画素は、同じ位置に存在している。

合成画像の画素 g 2の階調値は、以下の手順で決定する。すなわち、まず、画素 g 2を囲む基準画像の 4つの画素 t 2〜 t 5の階調値に基づいて、画像 _g 2の位置における階調値をバイリニア法によって求める。次に、画素 g 2を囲む合成対象画像の 4つの画素 s 2 ~ s 5の階調値に基づいて、画素 _g 2の位置における階調値をバイリニア法によって求める。そして、両者を平均することによって画素 g 2の階調値を決定する。

画素 t 2〜 t 5の階調値と画素 s 2〜 s 5の階調値がそれぞれ同値であるから、画素 t 2〜 t 5の階調値に基づいて、バイリニア法によって求めた画像 g 2の位置における階調値と、画素 s 2〜s 5の階調値に基づいて、バイリニア法によつて求めた画素 g 2の位置における階調値は、同じ値となる。つまり、それらの平均値も、画素 t 2〜 t 5の階調値に基づいて、バイリニア法によって求めた画像 g 2の位置における階調値や、画素 s 2〜 s 5の階調値に基づいて、バイリニア法によって求めた画素 g 2の位置における階調値と同じとなる。

つまり、基準画像と合成対象画像のずれ量が 0である場合は、合成処理を行なつても合成結果の画像と元の画像に差異がない。ずれ量が僅かな場合も同様に、合成結果の画像と元の画像にほとんど違いが現れない。これらの場合は、合成処理を行なっても、徒に処理時間を増やすだけで、画質を飛躍的に向上することは望めない。発明の開示

本発明は、上述の課題を解決するためになされたものであり、動画像に含まれる複数のフレーム画像から静止画像を生成する場合に、効率的に静止画像の画質を向上することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明の画像生成装置は、動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも 1以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定部と、前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、 1つの比較基準フレーム画像領域を抽出する比較基準抽出部と、前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、 1つの対象フレーム画像領域を抽出する対象抽出部と、前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較部と、前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外部と、前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成部とを備えることを特徴とする。

ここで、フレーム画像とは、プログレッシブ方式 (ノンインタレース方式ともいう）で表示可能な静止画像である。したがって、インタレース方式の場合は、ラスタの異なる複数のフィールド画像（奇数フィールドと偶数フィールド）から構成される画像が本発明のフレーム画像に相当する。

本発明によれば、所定の基準を満たさないフレーム画像の領域を合成の対象から除外し、なおかつ合成するフレーム画像領域の枚数を所定枚数以上確保することで、効率的に合成画像の画質を向上することができる。ここで言う所定の基準は、例えば比較部の求めたパラメータが画像ずれ量であれば、画像ずれ量が閾値以上であることなどである。詳しくは後述する。所定枚数は任意に設定可能であるが、 2枚以上であることが望ましい。

合成対象設定部は、動画において基準フレーム画像に時系列的に連続しているフレーム画像の領域を、連続数枚合成対象フレーム画像領域に設定しても良いし、数枚おきに合成対象フレーム画像領域に設定しても良い。

合成画像生成部が行なう画像の合成処理には、二ァレストネイバ法や、バイリニァ法や、バイキュービック法など、周知の種々の画像補間の手法を適用することができる。一般に、高速処理が可能な方法は、手順が簡素化されているため、手順が複雑な方法よりも補間精度が悪く、画質が劣る。例えば、二アレストネィバ法と、バイリニア法と、バイキュービック法とは、この順序で手順が複雑になリ、処理時間が長くなる。一方、補間精度が高くなリ、画質が向上する。

合成画像生成部は、前記合成対象フレーム画像領域と前記基準フレーム画像領域の合計枚数が多い場合は、二アレストネイバ法などにより高速の合成処理を行ない、少ない場合はバイキュービック法などにより補間精度の良い合成処理を行なうものとしても良い。

上記画像生成装置は、さらに、前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する設定部と、前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記合成対象設定部と前記比較基準抽出部と前記対象抽出部と前記比較部と前記除外部の処理を繰リ返させるフレーム数制御部と、を備えるようにしてもよい。

本発明の画像生成装置において、前記基準フレーム画像の指定を受ける指定受付部を備え、前記設定部は、指定を受けたフレーム画像を基準フレーム画像としても良い。

これにより、ユーザが、動画の中から静止画像としたいフレーム画像を選択して、基準フレーム画像とすることができる。

上記画像生成装置において、前記比較基準抽出部は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とするものとしても良い。

基準フレーム画像領域は、合成の基準となる画像の領域なので、まず基準フレーム画像領域を比較基準フレーム画像領域とすることが望ましい。基準フレーム画像領域を比較基準フレーム画像領域として、合成対象フレーム画像領域について、合成に値するか否かを判断し、合成に値した合成対象フレーム画像領域のうちの 1枚を、次に比較基準フレーム画像領域とすることができる。

例えば、フレーム画像領域 1 とフレーム画像領域 2とフレーム画像領域 3において、フレーム画像領域 1が基準フレーム画像領域、フレーム画像領域 2とフレーム画像領域 3が合成対象フレーム画像領域であるとする。まずフレーム画像領域 1を比較基準フレーム画像領域として、フレーム画像領域 2とのずれ量と、フレーム画像領域 3とのずれ量を求める。求めたずれ量が、それぞれ所定値以上であった場合、次にフレーム画像領域 2を比較基準フレーム画像領域とする。フレーム画像領域 1とフレーム画像領域 2のずれ量と、フレーム画像領域 1 とフレーム画像領域 3のずれ量とが、それぞれ所定値以上であっても、フレーム画像領域 2とフレーム画像領域 3のずれ量が 0であれば、フレーム画像領域 1 , 2 , 3をすベて合成する必要はないからである。つまり、フレーム画像領域 1 , 2またはフレーム画像領域 1 , 3を合成すれば足りる。フレーム画像領域 2を比較基準フレーム画像領域とし、フレーム画像領域 3を対象フレーム画像領域とすることで、フレーム画像領域 3を合成対象から除外することが可能となる。

上記画像生成装置において、前記合成対象フレーム画像領域から、 1つのフレ —ム画像の領域としての特徴が所定の条件を満たすフレーム画像の領域を取り除く排除部を備えるものとしても良い。

所定の条件としては、例えば、ノイズが大きい、ピントがぼけている、手がレンズ前に被さるなどして色の階調が異常である、などがあげられる。排除部によリ、そのようなフレーム画像領域は、予め合成対象から取り除くことができる。上記画像生成装置において、前記パラメータは、画像ずれ量であるものとしても良い。

画像ずれ量は、例えば手ぶれやカメラのターンで生ずる。画像ずれ量が小さすぎると、合成対象フレーム画像領域は合成画像領域の画質を殆どあげることができない。本発明では、合成画像領域の画質の向上にあまり役立たない合成対象フレーム画像領域を合成対象から除外することができる。画像ずれ量は、並進ずれ量および回転ずれ量の少なくとも一方を含むものとしても良い。並進ずれ量は、ブロックマッチング法や、勾配法や、これらを組み合わせた手法など、種々の手法によって、検出することができる。回転ずれ量も、また、幾何学的な計算によつて検出することができる。パラメータが画像ずれ量であれば、先に述べた所定の基準は画像ずれ量が閾値以上であることなどである。

上記画像生成装置において、前記比較部は、前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求めるフレームずれ量算出部と、前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める領域ずれ量算出部とを備えるものとしても良い。

本発明によれば、領域のずれ量をフレーム画像の画像ずれ量をもとに、簡便に求めることができる。フレーム画像の画像ずれ量が、回転ずれ量を含んでいても、個々の領域のずれ量としては、並進ずれ量で近似可能な場合もある。また、フレーム画像全体としては合成に値しない画像も、領域に分割することで合成に使用できるようになる場合もある。フレーム画像の画像ずれ量を求めずに、領域のずれ量を直接計算しても良い。

上記画像生成装置において、前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分であるものとしても良い。

特徴量は、色の階調や輝度であっても良い。本発明では、比較基準フレーム画像領域と比較して、画像差分がほとんどないフレーム画像領域を合成対象から除外することができる。同じ内容のフレーム画像領域同士を合成しても、また同じ内容のフレーム画像領域が得られるだけで、画質が向上しないので、比較基準フレーム画像領域と同じ内容のフレーム画像領域を合成対象フレーム画像領域から除外する意図である。本発明は、動画においてフレームレートを変換した場合など、同じ内容のフレー厶画像が連続する場合に、同じ内容のフレーム画像領域は合成対象から除外するのに、特に有効である。そのような場合では、ずれ量を計算するまでもなく、画像差分があるか否かだけで、合成に値するか否か判別可能だからである。画像差分のみ求めれば良いので簡便となる。パラメータが画像差分であれば、先に述ベた所定の基準は画像差分が 0ではないことなどである。

上記画像生成装置において、前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較であっても良い。

本発明では、比較基準フレーム画像領域と比較して、特徴に差異があるフレーム画像領域を合成対象から除外することができる。比較基準フレーム画像領域と比べて明らかに異常なフレーム画像領域を合成に使用すると、合成フレーム画像の画質も異常になってしまうので、明らかに異常なフレーム画像領域を合成対象フレーム画像領域から除外する意図である。

例えば、色調が明るい場面の静止画像領域を合成している際に、暗い色調のフレーム画像領域を合成対象から除外する場合などに特に有効である。そのような場合では、ずれ量を計算するまでもなく、特徴量の平均値の差を計算するだけで、合成に値するか否か判別可能だからである。特徴量の平均値の差のみ求めれば良いので簡便となる。パラメータが画素の特徴量の平均値の比較であれば、先に述ベた所定の基準は画素の特徴量の平均値の比較が大きいことなどである。

上記画像生成装置において、前記基準フレーム画像領域と前記合成対象フレーム画像領域は、前記フレーム画像が、それぞれ同じ形式で分割された領域であつて、前記対象抽出部は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出するものとしても良い。

本発明によれば、フレーム画像が同じ形式で分割された領域毎に、合成対象とするか否か判別可能となる。領域毎に判別することで、一様に合成対象から除外されていたフレーム画像も、ある領域では合成対象とすることができる。その結果、合成画像の画質をあげることもできる。

本発明は、上述の画像生成装置としての構成の他、画像生成方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像生成装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクや C D— R O M、 D V D— R O M、光磁気ディスク、 I Cカード、 R O Mカートリッジ、パンチ力ード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置 ( R A Mや R O Mなどのメモリ）および外部記憶装置などコンピュータが読み取リ可能な種々の媒体を利用できる。図面の簡単な説明

図 1は、基準画像と対象画像との合成方法を示す説明図である。

図 2は、基準画像と対象画像とのずれ量が 0である場合の合成方法を示す説明図である。

図 3は、本発明の第 1実施例としての画像生成装置 1 0 0の概略構成を示す説明図である。

図 4は、第 1実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。

図 5は、比較基準画像と対象画像とのずれ量について示す説明図である。図 6は、勾配法による並進ずれ量の算出方法を示す説明図である。図 7は、回転ずれの算出方法を示す説明図である。

図 8は、第 1実施例における静止画像生成処理の流れを示すフローチヤ一卜で図 9は、フレーム画像の入力処理を示したフローチヤ一トである。

図 1 0は、本発明の第 2実施例としての画像生成装置 1 0 0 Αの概略構成を示す説明図である。

図 1 1は、比較基準画像と対象画像とのブロックのずれ量について示す説明図である。

図 1 2は、ブロックに分割したフレーム画像を示す説明図である。

図 1 3は、第 2実施例における静止画像生成処理の流れを示すフローチャートである。

図 1 4は、パノラマ画像生成の様子を示す説明図である。発明を実施するための最良の形態

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。

A . 第 1実施例：

A 1 . 画像生成装置の構成：

A 2 . 静止画像の生成：

A 3 . ずれ量の検出：

A 4 . 静止画像生成処理：

B . 第 2実施例：

B 1 . 画像生成装置の構成：

B 2 . ブロックのずれ量の検出：

B 3 . 静止画像生成処理：

C . 変形例： A . 第 1実施例：

A 1 . 画像生成装置の構成：

図 3は、本発明の第 1実施例としての画像生成装置 1 0 0の概略構成を示す説明図である。この画像生成装置 1 0 0は、動画像に含まれる複数のフレーム画像を合成して、フレーム画像よりも高解像度の静止画像を生成する装置である。画像生成装置 1 0 0は、汎用のパーソナルコンピュータに所定のアプリケーションソフトをインストールすることによって構成されており、図示する各機能ブロックをソフトウエア的に備えている。

パーソナルコンピュータは、 C P Uや、 R O Mや、 R A Mの他、ハードデイスクゃ、 D V D— R O M、メモリカード等の記録媒体から動画像を入力するためのインタフェースなどを備えている。また、入力した動画像を再生する機能も有している。

制御部 1 0は、各部の制御を行う。フレーム画像入力部 2 0は、動画像に含まれるフレーム画像を入力する。本実施例では、フレーム画像入力部 2 0は、動画像の再生中にユーザが一時停止の指示を、入力したタイミングから、時系列的に連続する 4枚のフレーム画像を入力するものとした。ここで入力するフレーム画像の数が、静止画像の合成に使用されるフレーム画像の数となる。

フレーム画像入力部 2 0は、 4枚のフレーム画像を入力すると同時に、それに時系列的に連続する 2 0枚のフレーム画像を入力し、フレーム画像記憶部 3 0に別個に記憶させておく。その 2 0枚のフレーム画像は、先の 4枚のフレーム画像が静止画像の合成に適さない場合に、新たに合成の候補となる予備のフレーム画像である。以下、 2 0枚のフレーム画像を予備フレーム画像と呼ぶ。また、先の 4枚のフレーム画像は、選択フレーム画像と呼ぶ。フレーム画像入力部 2 0は、予備フレーム画像を選択フレーム画像に変更する処理も行なう。

フレーム画像入力部 2 0が入力するフレーム画像の数は、ユーザが任意に設定できるようにしてもよい。また、入力するフレーム画像は、時系列的に連続していなくてもよい。コマンド入力部に入力したタイミングにおけるフレーム画像を 2枚目または 3枚目のフレーム画像として、時系列的に連続してフレーム画像を入力してもよい。

フレーム画像記憶部 3 0は、フレーム画像入力部 2 0が入力した複数のフレーム画像を記憶する。排除部 5 0は、フレーム画像記憶部 3 0に記憶された選択フレーム画像のうち、フレーム単位で評価した場合に異常なフレーム画像を取リ除く。例えば、ノイズが大きいフレーム画像や、ピントがぼけたフレーム画像や、手がレンズ前に被さるなどして色の階調が異常な選択フレーム画像を取り除く。選択フレーム画像が取り除かれた場合は、フレーム画像入力部 2 0が、新たに予備フレーム画像を選択フレーム画像に変更する。変更される予備フレーム画像は、先に選択フレーム画像となった画像に時系列的に連続する予備フレーム画像である。排除部 5 0は、新たに選択フレーム画像となった画像を調べ、異常な選択フレーム画像を取り除く。最終的に排除部 5 0により正常と判断された選択フレーム画像が 4枚になるまで、選択フレーム画像の排除と、予備フレーム画像から選択フレーム画像への変更は繰り返す。

基準画像指定受付部 2 5は、選択フレーム画像をモニタに表示する。ユーザは、表示された選択フレーム画像の中から基準画像としたいフレーム画像を指定する。基準画像指定受付部 2 5は、その指定を受け付ける。基準画像設定部 4 0は、基準画像指定受付部 2 5が指定を受けた選択フレーム画像を基準画像に設定する。なお、基準画像指定受付部 2 5を備えずに、選択フレーム画像のうち、フレーム画像入力部 2 0が最初に入力した選択フレーム画像を基準画像として設定するものとしてもよい。画像生成装置 1 0 0内に、選択フレーム画像それぞれについて、その特徴量（例えば、エッジ強度等）の解析を行うための機能ブロックを設け、解析結果に基づいて、基準画像の設定を行うようにしてもよい。

比較対象設定部 4 5は、選択フレーム画像のうち、基準画像以外の選択フレー厶画像を、比較対象画像に設定する。比較基準画像設定部 9 0は、基準画像または比較対象画像のうちの 1枚を、比較基準画像に設定する。ただし、最初に基準画像を比較基準画像に設定する。比較対象再設定部 8 5は、比較基準画像以外の比較対象画像を、比較対象画像に再設定する。対象画像設定部 6 5は、比較対象画像のうち 1枚を、次に比較基準画像とのずれ量を検出する対象として、対象画像に設定する。本実施例では、後述するように、比較対象画像を、フレーム画像入力部 2 0が入力（変更）した順に、対象画像として設定していくものとした。ずれ量検出部 6 0は、基準画像に対する対象画像のずれ量を検出する。本実施例では、ずれ量として、並進ずれ量を検出するものとした。このずれ量の検出については、後述する。除外部 8 0は、ずれ量検出部 6 0が検出したずれ量が所定の基準を満たさなければ、対象画像を、比較対象画像から除外する。

判断部 7 0は、比較基準画像と比較対象画像の合計数が 4枚になっているかどうか判断する。 4枚の場合は、合成画像生成部 7 5は、解像度変換を行うとともに、ずれ量検出部 6 0が検出したずれ量を補償するように、比較基準画像と比較対象画像とを合成して合成画像を生成する。合成の際の基準となるのは、基準画像で、合成方法は先に述べた通りである。ただし、 4枚の画像の合成となるので、合成画像の各々の画素において 4つの階調値の平均を求めることになる。 4枚となっていない場合は、再度フレーム画像入力部が予備フレーム画像を選択フレーム画像に変更する。 A 2 . 静止画像の生成：

図 4は、第 1実施例において、複数のフレーム画像を合成して静止画像を生成する様子を概念的に示す説明図である。先に説明したように、本実施例では、時系列的に連続するフレーム画像を用いて、静止画像を生成する。先頭のフレーム画像 1が基準画像設定部 4 0によリ設定された基準画像であり、フレーム画像 2 からフレーム画像 4までが比較対象設定部 4 5により設定された比較対象画像である。なお、いずれのフレーム画像も排除部 5 0により排除されなかったフレーム画像である。

工程 1について説明する。比較基準画像設定部 9 0は、まず基準画像であるフレーム画像 1を比較基準画像に設定する。比較対象再設定部 8 5は、比較基準画像以外の比較対象画像、つまリフレーム画像 2からフレーム画像 4までを比較対象画像に再設定する。対象画像設定部 6 5は、比較対象画像のうち、まずフレーム画像 2を対象画像とする。ずれ量検出部 6 0は、比較基準画像（フレーム画像 1 ) と対象画像（フレーム画像 2 ) のずれ量を検出する。除外部 8 0は、そのずれ量が所定の基準を満たすかどうか判別する。ここでは、所定の基準を満たさなかったものとして「x」印を図示する。つまり、フレーム画像 2は、除外部 8 0 により比較対象画像から除外される。

次に、対象画像設定部 6 5は、フレーム画像 3を対象画像とする。そして比較基準画像（フレーム画像 1 ) と対象画像（フレーム画像 3 )のずれ量が検出され、ずれ量が所定の基準を満たすかどうか判別される。ここでは、所定の基準を満たすものとして Γο」印を図示する。つまり、フレーム画像 3は、除外部 8 0により比較対象画像から除外されない。次に、フレーム画像 4を対象画像として、比較基準画像（フレーム画像 1 ) と対象画像（フレーム画像 4 ) のずれ量が検出される。ずれ量が所定の基準を満たすものとして「ο」印を図示する。

工程 2について説明する。工程 2は、工程 1の次に行なわれる処理である。まず、比較基準画像設定部 9 0が、除外部 8 0により除外されなかった比較対象画像（フレーム画像 3とフレーム画像 4 ) のうちの 1枚（フレーム画像 3 ) を、比較基準画像に設定する。基準画像（フレーム画像 1 ) は、工程 1ですでに比較基準画像となったので、比較基準画像にはされない。区別のため、先のフレーム画像 1を比較基準画像 1、フレーム画像 3を比較基準画像 2と呼ぶ。

そして、比較対象再設定部 8 5が、その比較基準画像（フレーム画像 3 ) 以外の比較対象画像（フレーム画像 4 ) を、新たに比較対象画像とする。ここでは、新たな比較対象画像が 1枚となったが、複数枚となる場合もある。対象画像設定部 6 5は、比較対象画像のうちの 1枚を対象画像とする。必然的にフレーム画像 4が対象画像となる。ずれ量検出部 6 0は、比較基準画像 2 (フレーム画像 3 ) と対象画像（フレーム画像 4 ) のずれ量を検出する。除外部 8 0 は、そのずれ量が所定の基準を満たすかどうか判別する。所定の基準を満たさなかったものとして「x」印を図示した。つまり、フレーム画像 4は、除外部 8 0 によリ比較対象画像から除外されることになる。

次に、判断部 7 0が、比較基準画像と比較対象画像の合計数が 4枚になっているかどうか判断する。判断部 7 0は、ずれ量検出後に比較対象画像が 1枚以下になった際に判断を行なう。比較基準画像はフレーム画像 1 とフレーム画像 3の 2 枚、比較対象画像は 0枚となったので、合計 2枚である。よって、 4枚ではないので、フレーム画像入力部 2 0が、フレーム画像の合計数が 4枚となるように予備フレーム画像を選択フレーム画像に変更する。つまり、 2枚の予備フレーム画像を選択フレーム画像に変更する。 2枚のうち、一方でも排除部 5 0により排除されれば、再度フレーム画像の変更を行なう。

このように新たに入力したフレーム画像が、工程 3に図示したフレーム画像 5 とフレーム画像 6である。工程 3について説明する。工程 3は、工程 2の次に行なわれる処理である。まず、比較対象設定部 4 5が、フレーム画像 5とフレーム画像を比較対象画像に設定する。比較基準画像設定部 9 0は、フレーム画像 1を比較基準画像 1とし、比較対象再設定部 8 5は、フレーム画像 3、フレーム画像 5、フレーム画像 6を比較対象画像とする。

そして、フレーム画像 3、フレーム画像 5、フレーム画像 6の順に対象画像に設定してずれ量を検出する。フレーム画像 3、フレーム画像 5、フレーム画像 6 のいずれも、ずれ量が所定の基準を満たすものとして「ο」印を図示する。なお、フレーム画像 1とフレーム画像 3のずれ量検出結果は、工程 1で示してあるので、工程 3では図示を省略した。

次に、比較対象画像（フレーム画像 3、フレーム画像 5、フレーム画像 6 ) のうちの 1枚（フレーム画像 3 )を比較基準画像 2として、残りの比較対象画像（フレーム画像 5、フレーム画像 6 ) を比較対象画像とする。そして、フレーム画像 5、フレーム画像 6の順に対象画像に設定してずれ量を検出する。フレーム画像 5、フレーム画像 6のいずれも、ずれ量が所定の基準を満たすものとして「o」印を図示する。

更に、比較対象画像（フレーム画像 5、フレーム画像 6 ) のうちの 1枚（フレーム画像 5 ) を比較基準画像 3として、残りの比較対象画像（フレーム画像 6 ) を比較対象画像とする。そして、フレーム画像 6を対象画像に設定してずれ量を検出する。フレーム画像 6のずれ量が所定の基準を満たすものとして Γ ο」印を図示する。

ずれ量検出後に比較対象画像が 1枚以下（フレーム画像 6のみ）になったので、判断部 7 0が判断を行なう。比較基準画像が 3枚（フレーム画像 1、フレーム画像 3、フレーム画像 5 ) と比較対象画像が 1枚（フレーム画像 6 ) で、合計 4枚である。よって、比較基準画像と比較対象画像の合計数が 4枚となったので、合成画像生成部 7 5は、解像度変換を行うとともに、ずれ量検出部 6 0が検出したずれ量を補償するように、比較基準画像と比較対象画像とを合成して静止画像を生成する。以下、比較基準画像と対象画像とのずれ量の検出について説明する。

A 3 . ずれ量の検出：

図 5は、比較基準画像と対象画像とのずれ量について示す説明図である。比較基準画像の座標（X 1 , y 1 ) が対象画像の座標（X 2， y 2 ) にずれているものとする。ここでは、ずれ量として並進ずれ量（u， V ) と、回転ずれ量 δとを用いる。

本実施例では、比較基準画像と対象画像との並進ずれ量を、勾配法によって求めるものとした。図 6は、勾配法による並進ずれ量の算出方法を示す説明図である。図 6 ( a ) には、比較基準画像および対象画像の画素および輝度を示した。図 6 (a) において、例えば、（x 1 i , y 1 i ) は、比較基準画像の画素の座標値を表しており、 B 1 (x 1 i , y 1 i ) は、その輝度を表している。また、図 6 (b) には、勾配法の原理を示した。

ここでは、対象画像の座標（X 2 ί , y 2 i ) の画素が、比較基準画像の座標 (x 1 i〜x 1 i + 1 , y 1 i〜y 1 i + 1 ) の間、すなわち、画素間の座標である（x 1 i +Δχ , y 1 i +Δγ ) にあるものとして説明する。

図 6 (b) に示すように、

P X =B 1 ( X 1 ί + 1 , y 1 i ) -B 1 ( x 1 i , y 1 i ) - - ■ ( 1 ) P y = B 1 (x 1 i , y 1 i + 1 ) -B 1 (x 1 i , y 1 i ) ' ■ - (2)

B 1 =B 1 ( x 1 i , y 1 i ) ■ ■ ■ (3)

B 2 = B 2 (x 2 i , y 2 i ) ■ ■ ■ (4)

とすると、

P y - Ay = B 2 -B 1 - - ■ (6)

の関係が成り立つ。したがって、

{ P x ■ Δχ - (Β 2 -Β 1 )} ²= 0 ■ ■ ■ (7 )

{ Ρ χ ■ Δγ - (Β 2-Β 1 )} ²=0 ■ ■ - (8)

を満たす Δχ、 Ayを求めればよい。実際には、各画素について Δχ、 Ayを算出し、全体で平均をとることになる。

そして、 X方向および y方向の両方向を考慮すると、

S²=∑ {P x ■ Δχ + P y - Ay- (B 2 -B 1 )} ² ' ' - (9)

を最小にする Δχ、 Δνを求めればよい。

なお、本実施例では、勾配法によって、並進ずれ量を算出するものとしたが、ブロックマッチング法や、反復勾配法や、これらを組み合わせた手法など、他の手法を用いるようにしてもよい。図 7は、回転ずれの算出方法を示す説明図である。ここでは、比較基準画像と対象画像との並進ずれが補正されているものとする。

比較基準画像の座標（X 1 , y 1 ) の原点 Oからの距離を rとし、 x軸からの回転角度を Θとすると、 r、 Θは、

r = ( X 1²+ y 1²) 1,2 ■ ■ ' ( 1 0)

θ= t a n -i ( x 1 / y 1 ) ' ■ ■ ( 1 1 )

となる。

ここで、原点 Oを中心として、比較基準画像の座標（x 1， y 1 ) を角度 δだけ回転させたときに、対象画像の座標（x 2， y 2) と一致するものとすると、この回転による X軸方向および y軸方法の移動量は、

x 2-x 1~- r - 5 - s i ηθ=-δ - y 1 - - - (1 2)

y 2 - y 1 ~ r - δ - c o s0 = 8 - x 1 - - - (1 3)

によって求められる。

したがって、上記式（9) における Δχ、 Ayは、

Ay = v +δ■ x 1 - - - (1 5)

と表すことができる。

これらを上記式（9) に代入すると、

S²=∑ {Px■ (u-δ■ y 1 )

+Py■ (ν+δ · x1 ) - (B2-B1) } ² ■ ■ ■ ( 1 6 )

が得られる。

上記式（1 6) の S2 を最小にする u , V , 5 を最小二乗法によって求めることにより、比較基準画像と対象画像との 1画素未満の並進ずれ量および回転ずれ量を精度よく検出することができる。なお、第 1.実施例では、フレーム間の時間は微小なので回転ずれ量やズームを考慮しない。回転ずれを考慮しないので、 0として、 S²=∑ {Px■ u+Py■ v- (B2-B1) } ² - - " ( 1 7 )

を最小にする u， vを最小二乗法によって求めることにより、比較基準画像と対象画像との 1画素未満の並進ずれ量を検出する。 A 4 . 静止画像生成処理：

図 8は、第 1実施例における静止画像生成処理の流れを示すフローチヤ一卜である。画像生成装置 1 0 0の C P Uが実行する処理である。

まず、フレーム画像入力部 2 0は、フレーム画像を入力する（ステップ S 2 0 )。図 9は、フレーム画像の入力処理を示したフローチャートである。フレーム画像入力部 2 0は、まず動画像から選択フレーム画像 4枚と予備フレーム画像 2 0枚を入力し、フレーム画像記憶部 3 0に記憶させる（ステップ S 2 1 )。

次に、排除部 5 0は、選択フレーム画像のうちの 1枚に、ノイズが大きい、ピントがぼけている、手がレンズ前に被さるなどして色の階調が異常である、などの異常があるか否か判断する（ステップ S 2 3 )。異常であれば（ステップ S 2 3 )、その選択フレーム画像はフレーム画像記憶部 3 0から削除して（ステップ S 2 4 )、予備フレーム画像を 1枚選択フレーム画像に変更する（ステップ S 2 5 )。すべての選択フレーム画像が正常と判断されるまで、ステップ S 2 3からステップ S 2 5までを繰り返す。

基準画像指定受付部 2 5は、すべての選択フレーム画像をモニタに表示して（ステツプ S 2 7 )、基準画像の指定をユーザから受け付ける（ステップ S 2 8 )。基準画像の指定は 1枚である。基準画像設定部 4 0は、ユーザから指定を受けた 1 枚の選択フレーム画像を基準画像に設定する（ステップ S 2 9 )。そして、比較対象設定部 4 5は、基準画像以外の選択フレーム画像を比較対象画像に設定する（ステツプ S 3 0 )。以上でフレーム画像入力処理の説明は終わり、図 8に戻って静止画像生成処理の流れを説明する。

次に、基準画像または比較対象画像のうちの 1枚を比較基準画像に設定し（ステツプ S 35)、比較基準画像以外の比較対象画像を、比較対象画像に再設定する (ステップ S 40)。そして、比較対象画像のうち 1枚を、対象画像に設定し、比較基準画像に対する対象画像のずれ量を検出する（ステップ S 50)。

ただし、検出結果のずれ量が（ u， V ) であれば、ずれ量（Δυ , Δ V ) は、 (u, v) と最も近い整数と、（u, V) の差の絶対値として求める。例えば、（u， v) = (2. 3, 0. 8) であれば、（u, V) と最も近い整数は、（2, 1 ) であるから、ずれ量（Δίΐ, Δν) = | (2， 1 ) - (2. 3， 0. 8) | = (0. 3, 0. 2) となる。

次に、ずれ量（Δι_ι, Δν) が閾値（0. 1 , 0. 1 ) 以下であれば（ステップ S 55)、合成に値しないものとして、対象画像を比較対象画像から除外する（ステツプ S 60)。全ての比較対象画像について比較基準画像とのずれ量を検出していなければ（ステップ S 65)、次の比較対象画像を対象画像に設定して、ステツプ S 45からステップ S 60までを繰り返す。

全ての比較対象画像について比較基準画像とのずれ量を検出したら（ステップ S 65)、比較対象画像が 1枚以下になっているかどうか判断する（ステップ S 7

0)。 1枚以下になっていなければ、新たに比較対象画像を比較基準画像として、ステップ S 35からステップ S 65までを繰り返す。

1枚以下になっていれば（ステップ S 70)、比較基準画像と比較対象画像の合計が 4枚となっているかどうか判断する（ステップ Sフ 5)。 4枚となっていなければ、足りない分だけ予備フレーム画像を選択フレーム画像に変更し（ステップ

S 85)、新たに追加した選択フレーム画像について排除処理（図 9のステップ S

3 1 ) を行なう。そして、新たに追加した選択フレーム画像を比較対象画像に設定する（ステップ S 86)。 4枚となっていれば、比較基準画像と比較対象画像とを合成して合成画像を生成する（ステップ S 80)。

以上説明した第 1実施例の画像生成装置によれば、比較基準画像とのずれ量が小さいフレーム画像を合成の対象から除外し、なおかつ合成するフレーム画像の枚数を 4枚確保することで、効率的に合成画像の画質を向上することができる。

B. 第 2実施例：

B 1. 画像生成装置の構成：

図 1 0は、本発明の第 2実施例としての画像生成装置 1 00 Aの概略構成を示す説明図である。画像生成装置 1 00 Aの構成は、分割部 95を備えていること以外は、第 1実施例の画像生成装置 1 00とほぼ同じである。なお、以下に説明するように、第 2実施例では、対象画像を複数のブロックに分割して、ブロック単位で比較基準画像とのずれ量を求める。そして、比較基準画像とのずれ量が小さいブロックを合成の対象から除外する。このため、分割部 95は、全ての選択フレーム画像を各ブロックが 1 6x1 6画素になるように分割する。

B 2. ブロックのずれ量の検出：

図 1 1は、基準画像と対象画像とのブロックのずれ量について示す説明図である。比較基準画像の座標（X 1 , y 1 ) が対象画像の座標（X 2, y 2) にずれているものとする。第 2実施例においては、フレーム画像のずれ量は、並進ずれ量（u, v) と、回転ずれ量 δの 3つのパラメータからなる。

図 1 2は、ブロックに分割したフレーム画像を示す説明図である。図のフレーム画像は、 5X8のブロックに分割されている。全体のフレーム画像が、図の矢印に示すように回転している場合でも、ブロックのずれ量としては並進ずれ量（u, V ) のみで表現できる。

具体的には、図 1 1の（x b, y b) を中心とするブロックのずれ量（u b, V b ) は、

(u b, v b ) = ( u— y bo, v + x b δ)

となる。つまり、各ブロックのずれ量は、フレーム画像の並進ずれ量と回転ずれ量から計算すればよい。ここでは、各ブロックのずれ量をフレーム画像の並進ずれ量と回転ずれ量から計算するものとしたが、各ブロックのずれ量を直接検出しても構わない。

B 3. 静止画像生成処理：

図 1 3は、第 2実施例における静止画像生成処理の流れを示すフローチャートである。画像生成装置 1 00 Aの C P Uが実行する処理である。

第 2実施例においては、まず全ての選択フレーム画像を各ブロックが 1 6x1 6画素になるように分割する（ステップ S 92)。そして、各ブロックについて、第 1実施例と同様の処理を行なう（ステップ S 95〜ステップ S 1 50)。つまり、各ブロックが独立したフレーム画像であるものとみなして処理を行なう。その際、選択フレーム画像内において同じ位置のブロック（選択フレーム画像 1の第 1 ブロック，選択フレーム画像 2の第 1ブロック，選択フレーム画像 3の第 1 ブロック，選択フレーム画像 4の第 1ブロック）同士で処理を行なう。第 2ブロック、第 3ブロック ■ 'についても同様に、全てのブロックについて、ステップ S 95 からステップ S 1 50までの処理を繰り返す（ステップ S 1 55)。

ただし、予備フレーム画像を選択フレーム画像に変更したら（ステップ S 1 5 5)、排除処理をして（ステップ S 30)、選択フレーム画像を比較対象画像に設定し（ステップ S 1 56)、その比較対象画像も各ブロックが 1 6x1 6画素になるように分割する（ステップ S 1 58)。

以上説明した第 2実施例の画像生成装置 1 0 OAによれば、ブロックのずれ量をフレーム画像の画像ずれ量をもとに、簡便に求めることができる。フレーム画像全体としては合成に使用できなかつた画像も、ブロックに分割することで合成に使用できるようになる場合もある。 C. 変形例

以上、本発明のいくつかの実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、合成するフレーム画像の枚数や、ずれ量の閾値は、様々に設定可能である。更に、比較基準画像と対象画像における同じ位置の画素の特徴量の差の集合である画像差分や、画素の特徴量の平均値の差を、対象画像を合成に使用するか否かの判断基準としても良い。また、以下のような変形例が可能である。

上記第 1実施例の画像生成装置 1 0 0は、パノラマ画像の生成を行うこともできる。図 1 4は、パノラマ画像生成の様子を示す説明図である。ここでは、実線で示した 5枚のフレーム画像 1〜 5を合成し、その一部を抽出して、破線で示したパノラマ画像を生成する場合について示した。先に説明した従来の画像生成装置では、フレーム画像 1を基準画像とした場合には、フレーム画像 5と重なる領域がないため、合成画像の生成ができなかった。しかし、第 1実施例の画像生成装置 1 0 0によれば、比較基準画像をフレーム画像 1→フレーム画像 2→フレーム画像 3→フレーム画像 4と変更することにより、より多くのフレーム画像を合成してパノラマ画像を生成することが可能である。産業上の利用可能性

この発明は、動画や静止画の複数のフレーム画像を合成する装置に適用可能である。

Claims

請求の範囲

1 . 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、

前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも 1以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定部と、

前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、 1つの比較基準フレーム画像領域を抽出する比較基準抽出部と、

前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、 1つの対象フレーム画像領域を抽出する対象抽出部と、

前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較部と、

前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外部と、

前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成部と

を備えた画像生成装置。

2 . 請求項 1記載の画像生成装置であって、さらに、

前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する設定部と、

前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記合成対象設定部と前記比較基準抽出部と前記対象抽出部と前記比較部と前記除外部の処理を繰リ返させるフレーム数制御部と、

を備える画像生成装置。

3 . 請求項 2記載の画像生成装置であって、さらに、

前記基準フレーム画像の指定を受ける指定受付部を備え、

前記設定部は、指定を受けたフレーム画像を前記基準フレーム画像とする画像生成装置。

4 . 請求項 1または 2記載の画像生成装置であって、

前記比較基準抽出部は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とする画像生成装置。

5 . 請求項 1または 2記載の画像生成装置であって、さらに、

前記合成対象フレーム画像領域から、 1つのフレーム画像の領域としての特徴が所定の条件を満たすフレーム画像の領域を取り除く排除部を備えた画像生成装置。

6 . 請求項 1または 2記載の画像生成装置であって、

前記パラメータは、画像ずれ量である画像生成装置。

7 . 請求項 6記載の画像生成装置であって、

前記比較部は、

前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求めるフレームずれ量算出部と、

前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める領域ずれ量算出部と

を備えた画像生成装置。

8 . 請求項 1または 2記載の画像生成装置であって、

前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分である画像生成装置。 9 . 請求項 1または 2記載の画像生成装置であって、

前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較である画像生成装置。

1 0 . 請求項 1または 2記載の画像生成装置であって、

前記基準フレーム画像領域と前記合成対象フレーム画像領域は、前記フレーム画像が、それぞれ同じ形式で分割された領域であって、

前記対象抽出部は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出する

画像生成装置。

1 1 . 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成装置であって、

前記複数のフレーム画像うちの 1つである基準フレーム画像に含まれ、合成の基準となる領域である基準フレーム画像領域と、前記基準フレーム画像以外の前記複数のフレーム画像に含まれる領域のうちの 1つである比較対象フレーム画像領域との比較によリ求まる画像の特徴量に基づく評価値が、所定の基準を満たす場合は、前記基準フレーム画像領域と前記比較対象フレーム画像領域を合成することを特徴とする画像生成装置。

1 2 . 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、

( a ) 前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも 1以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する工程と、

( b ) 前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、 1 つの比較基準フレーム画像領域を抽出する工程と、

( c ) 前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、 1つの対象フレーム画像領域を抽出する工程と、

( d ) 前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める工程と、

( e ) 前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する工程と、

( f ) 前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する工程と

を備えた画像生成方法。

1 3 . 請求項 1 2記載の画像生成方法であって、さらに、

前記基準フレーム画像内に、合成の基準となる領域を前記基準フレーム画像領域として設定する工程と、

( g ) 前記基準フレーム画像領域と、前記基準を満たす合成対象フレーム画像領域の合計数が所定の数以上になるまで、前記工程（a ) と前記工程（b ) と前記工程（c ) と前記工程（d ) と前記工程（e ) の処理を繰り返させる工程と、を備える画像生成方法

1 4 . 請求項 1 3記載の画像生成方法であって、さらに、

前記基準フレーム画像の指定を受ける工程を備え、

前記基準フレーム画像領域を設定する工程は、指定を受けたフレーム画像を前記基準フレーム画像とする工程を含む、、

画像生成方法。

1 5 . 請求項 1 2または 1 3記載の画像生成方法であって、

前記工程（b ) は、前記基準フレーム画像領域を前記比較基準フレーム画像領域とする工程を含む、画像生成方法。

1 6 . 請求項 1 2または 1 3記載の画像生成方法であって、さらに、

前記合成対象フレーム画像領域から、 1つのフレーム画像の領域としての特徵が所定の条件を満たすフレーム画像の領域を取り除く工程を備えた画像生成方法。

1 7 . 請求項 1 2または 1 3記載の画像生成方法であって、

前記パラメータは、画像ずれ量である画像生成方法。 1 8 .. 請求項 1 7記載の画像生成方法であって、

前記工程（d ) は、

前記対象フレーム画像領域を含む対象フレーム画像の、前記比較基準フレーム画像領域を含む比較基準フレーム画像からの画像ずれ量を求める工程と、

前記対象フレーム画像領域の、前記比較基準フレーム画像領域からの画像ずれ量を、前記フレームずれ量算出部が求めた画像ずれ量に基づいて求める工程とを備えた画像生成方法。

1 9 . 請求項 1 2または 1 3記載の画像生成方法であって、前記パラメータは、前記対象フレーム画像領域と前記比較基準フレーム画像領域における同じ位置の画素の特徴量の比較によって得られる画像差分である画像生成方法。

2 0 . 請求項 1 2または 1 3記載の画像生成方法であって、

前記パラメータは、前記対象フレーム画像領域と、前記比較基準フレーム画像領域における、画素の特徴量の平均値の比較である画像生成方法。

2 1 . 請求項 1 2または 1 3記載の画像生成方法であって、

前記工程（c ) は、前記比較基準フレーム画像領域に対応する同じ位置の対象フレーム画像領域を抽出する工程を含む、

画像生成方法。

2 2 . 動画像に含まれる複数のフレーム画像から静止画像を生成する画像生成方法であって、

前記複数のフレーム画像うちの 1つである基準フレーム画像に含まれ、合成の基準となる領域である基準フレーム画像領域と、前記基準フレーム画像以外の前記複数のフレーム画像に含まれる領域のうちの 1つである比較対象フレーム画像領域との比較によリ求まる画像の特徴量に基づく評価値が、所定の基準を満たす場合は、前記基準フレーム画像領域と前記比較対象フレーム画像領域を合成することを特徴とする画像生成方法。

2 3 . 動画像に含まれる複数のフレーム画像から静止画像を生成するためのコンピュータプログラムであって、

前記複数のフレーム画像の中の基準フレーム画像以外のフレーム画像に含まれる領域のうち、少なくとも 1以上を、前記基準フレーム画像内の基準フレーム画像領域との関係で設定された所定の規則に基づいて、合成対象フレーム画像領域に設定する合成対象設定機能と、

前記基準フレーム画像領域及び前記合成対象フレーム画像領域から、 1つの比較基準フレーム画像領域を抽出する比較基準抽出機能と、

前記比較基準フレーム画像領域以外の合成対象フレーム画像領域から、 1つの対象フレーム画像領域を抽出する対象抽出機能と、

前記比較基準フレーム画像領域と前記対象フレーム画像領域を比較し、所定のパラメータを求める比較機能と、

前記パラメータが所定の基準を満たさなければ、前記対象フレーム画像領域を合成対象フレーム画像領域から除外する除外機能と、

前記基準フレーム画像領域と前記合成対象フレーム画像領域を合成して合成画像領域を生成する合成画像生成機能と

をコンピュータに実現させるコンピュータプログラム。

2 4 . 動画像に含まれる複数のフレーム画像から静止画像を生成するためのコンピュータプログラムであって、

前記複数のフレーム画像うちの 1つである基準フレーム画像に含まれ、合成の基準となる領域である基準フレーム画像領域と、前記基準フレーム画像以外の前記複数のフレーム画像に含まれる領域のうちの 1つである比較対象フレーム画像領域との比較により求まる画像の特徴量に基づく評価値が、所定の基準を満たす場合は、前記基準フレーム画像領域と前記比較対象フレーム画像領域を合成する処理をコンピュータに実現させることを特徴とするコンピュータプログラム。