JP4420061B2 - 静止画合成装置、及び動画像からの静止画合成方法 - Google Patents

Description

本発明は、動画像におけるフレーム画像から、動きのあった被写体部分の画像を抽出し静止画像に合成する静止画合成装置、及び動画像からの静止画合成方法に関する。

従来、デジタルカメラにおいては、１回の撮影操作で被写体を複数回連続して撮影する連写撮影モードを備えたものがある。係る撮影モードは、動きのある被写体の画像を時系列的に記録することができるため、例えばゴルフスウィングや野球の投球動作等のフォーム分析を行う場合に用いられている。

さらに、前述した連写撮影モードで記録した複数画像から、各画像について動きのあった被写体部分を切り出し、切り出した複数の被写体部分の画像を１枚の画像に合成することによって、被写体の動きを視覚的に把握できるようにする技術が本出願人において提案されるに至っている（下記特許文献１参照。）。

特開平１１−３３１６９３号公報

しかしながら、動きベクトルが所定の閾値よりも大きい部分画像だけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、合成されない部分画像が存在することになってしまい、本来抽出して合成すべき部分画像が欠落してしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることができる静止画合成装置、及び動画像からの静止画合成方法を提供することを目的とする。

前記課題を解決するために請求項１の発明にあっては、動画像を取得する取得手段と、この取得手段により取得された前記動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する動きベクトル判断手段と、前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択する選択手段と、この選択手段により選択された部分画像を静止画像に合成する合成手段とを備えたものとした。

かかる構成においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができる。

また、請求項２の発明にあっては、前記選択手段は、更に、前記隣接する部分画像が所定の選択条件を満足するか否かを判断する選択条件判断手段を含み、前記選択条件判断手段により所定の選択条件を満足すると判断された前記隣接する部分画像を選択するものとした。

かかる構成においては、静止画像に合成すべき部分画像を、各フレーム画像から精度よく抽出することができる。

また、請求項３の発明にあっては、フレーム画像中の部分画像の輪郭を抽出する輪郭抽出手段を備え、前記選択条件判断手段は、前記輪郭抽出手段により動きベクトルが所定の閾値よりも大きい部分の画像から抽出された輪郭と、前記輪郭抽出手段により前記隣接する部分画像から抽出された輪郭との間における連続性の度合が所定の閾値よりも大きいか否かを判断するものとした。

かかる構成においては、各フレーム画像から、合成すべき部分画像をより一層精度よく抽出することができる。

また、請求項４の発明にあっては、同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段と、前記演算手段により演算されたフレーム動きベクトルに基づき、前記合成手段により静止画像に合成される部分画像の静止画像に対する合成位置を補正する補正手段とを更に備えたものとした。

かかる構成においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。

また、請求項５の発明にあっては、前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、前記合成手段は、前記選択手段により選択された部分画像を、前記指定手段により指定されたフレーム画像に合成するものとした。

また、請求項６の発明にあっては、前記合成手段により生成された合成静止画像を表示出力又は印刷出力する画像出力手段を備えたものとした。

また、請求項７の発明にあっては、前記取得手段は、動画像を記憶するメモリを含み、前記メモリに記憶されている動画像を取得するものとした。

また、請求項８の発明にあっては、前記取得手段は、被写体を撮像し、動画像を出力する撮像手段を含み、前記撮像手段から出力された動画像を取得するものとした。

また、請求項９の発明にあっては、動画像を取得するステップと、前記取得された動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断するステップと、前記動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択するステップと、前記選択された部分画像を静止画像に合成するステップとを含むことを特徴とする動画像からの静止画合成方法とした。

また、請求項１０の発明にあっては、静止画合成装置が有するコンピュータに、動画像を取得する処理と、前記取得された動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する処理と、前記動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択する処理と、前記選択された部分画像を静止画像に合成する処理とを実行させるための静止画合成プログラムとした。

以上説明したように、本発明においては、各フレーム画像における、本来抽出して合成すべき部分画像が欠落する率を減少させることができるようにした。よって、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。

（第１の実施の形態）
図１は、本発明の各実施の形態に共通する静止画合成装置１を示すブロック図である。静止画合成装置１は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠する動画データ、すなわちフレーム間予測符号化技術を用いて符号化された動画像から、被写体の動きが視覚的に把握可能な静止画を生成する機能を有するものであり、画像データ取込み部２と、ワークメモリ３、操作部４、画像処理部５、モニタ８、プリンタ９とを備えている。

ここで、ＭＰＥＧ方式により記録されている動画像の概略について説明する。すなわち、ＭＰＥＧ方式においては、図１１に示したように動画を構成する一連のフレーム画像Ｆ１〜Ｆｎに、Ｉピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ、フレーム内符号化画像）と、Ｐピクチャ（Ｐｒｅｄｉｃｉｔｉｖｅ Ｐｉｃｔｕｒｅ、順方向予測符号化画像）及びＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｉｃｔｕｒｅ、双方向予測符号化画像）とが混在している。Ｉピクチャはフレーム内符号化により記録されている完全な画像であるが、Ｐ、Ｂピクチャはフレーム間予測符号化により記録されている画像であって、図１２に示したように所定数に分割されたマクロブロック毎に、動きベクトル（ＭＶ）と予測誤差によって表現されており、それらと共に、先に復号されている他のフレーム画像（Ｐピクチャでは過去のフレーム画像、Ｂピクチャについては過去又は未来のフレーム画像）を復元用予測画像を用いて復元されるようになっている。動きベクトルは、過去（又は未来）のフレームとの間における被写体が動いた方向と距離とを示すデータであり、予測誤差は、過去（又は未来）のフレームとの間における画素値の差分情報をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数により量子化したデータである。つまり、ＰピクチャとＢピクチャとは、いずれかのＩピクチャを起点とする一連の再生処理を経なければ生成し得ない画像である。

一方、前述した画像データ取込み部２は、上述した構成の動画データを取り込む部分であり、例えばデジタルカメラやデジタルビデオカメラに設けられた動画エンコーダ、或いは動画データが蓄積されたハードディスク等の記録媒体や、動画データが蓄積されたビデオＣＤが装着されるディスクドライブ等である。ワークメモリ３は、動画像の各フレームデータを記憶したり、それに基づき後述する方法により作成される静止画データを記憶するＤＲＡＭ等である。操作部４はユーザーインターフェイスとして各種の操作キーから構成されており、動画像のどの部分から静止画を合成するかを指示するための操作キーが含まれる。

画像処理部５は、動画データをデコードするデコード部６と、デコードしたデータに基づき静止画を合成する画像合成部７から構成される。図２は、前記画像処理部５の詳細を示すブロック図であり、前記デコード部６は、第１及び第２の可変長復号部６ａ，６ｂと、逆量子化部６ｃ、逆ＤＣＴ部６ｄ、動き補償部６ｅ、フレームメモリ６ｆを備えている。また、前記画像合成部７は、採用判定部７ａと合成処理部７ｂとを備えており、採用判定部７ａが本発明の選択手段として機能する。合成処理部７ｂは、静止画データの生成過程で使用されるスチルバッファ７１を備えるとともに本発明の合成手段として機能する。

モニタ８は、画像処理部５においてデーコードされた動画像や合成された静止画像を表示し、プリンタ９は合成された静止画を印刷する。

次に、以上の構成からなる静止画合成装置１の動作を説明する。図３は、例えば記録されている任意の動画像から静止画像を合成するときの動作を示すフローチャートである。

静止画合成装置１は、画像データ取込み部２から指定された動画データを読み出し（ステップＳ１）、動画像を構成する複数のフレーム画像Ｆ１〜Ｆｎ（図１１）から、ユーザーに、所望するスタートフレーム、ベースフレーム、エンドフレームを指定させる（ステップＳ２）。スタートフレームは静止画像を合成するとき最初に処理対象となるフレーム、エンドフレームは最後に処理対象となるフレームであり、ベースフレームは、スタートフレームとエンドフレームとの間のフレームに含まれる部分画像を合成するとき元（背景）となるフレーム画像である。なお、ベースフレームとして指定させるフレーム画像の種類はＩ、Ｐ、Ｂピクチャのいずれであってもよく、また、動画像とは別に記録されている任意の静止画像や空白（単色で塗りつぶされた画像）を指定可能としてもよい。

また、上記各フレームの指定は、例えば動画像を先頭から再生してモニタ８に表示させながら所望するフレーム画像を選択させることにより行う。その際、前記画像処理部５においては、前記デコード部６が以下の動作で各フレーム画像を復元する。なお、以下の説明では、便宜上、動画像を構成する複数のフレーム画像Ｆ１〜Ｆｎが、ＩピクチャとＰピクチャのみであることを前提とする。

先ず、先頭のフレーム画像Ｆ１つまりＩピクチャを復元するときには、ブロック毎に、第１の可変長復号部６ａによるＤＴＣ係数の復号化、逆量子化部６ｃによる逆量子化処理、逆ＤＣＴ部６ｄによる逆ＤＣＴ演算を順に行って対象ブロックの画像（以下、部分画像という。）を復元する。そして、それを前述したワークメモリ３へ出力する一方、フレームメモリ６ｆにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ３及びフレームメモリ６ｆにフレーム画像Ｆ１を生成する。

さらに、２枚目以降のフレーム画像つまりＰピクチャの復元に際しては、ＤＴＣ係数と動きベクトルＭＶ（図１２参照）とを分離した後、各々を第１及び第２の可変長復号部６ａ，６ｂによって復号し、復号したＤＴＣ係数に対して逆量子化処理、逆ＤＣＴ演算を順に行い予測誤差の画像データを取得する。また、動き補償部６ｅによって、フレームメモリ６ｆに蓄積されている画像を復元用予測画像とし、そこから、復号した動きベクトルＭＶによって表されるブロック部分の画像データを取り出し、それを前記予測誤差の画像データに加えることにより部分画像を復元する。そして、それを前述したワークメモリ３へ出力する一方、フレームメモリ６ｆにも蓄積する。これを全てのブロックに対して行うことにより、ワークメモリ３にフレーム画像が生成され、かつ同一の画像がフレームメモリ６ｆの新たな復元用予測画像として更新される。

一方、前述したスタートフレーム、ベースフレーム、エンドフレームが指定されたら、指定されたベースフレームの静止画データを合成処理部７ｂのスチルバッファ７１に記憶する（ステップＳ３）。なお、前述したように動画像を先頭から再生してモニタ８に表示させてベースフレームを指定させる場合には、その時点で記憶させてもよい。

引き続き、動画像における対象フレーム（当初はスタートフレーム）を選択し（ステップＳ４）、さらにそのフレームにおける復元対象となる対象ブロックを選択し（ステップＳ５）、その部分画像を、前述した通常の動画再生時と同様の手順で復元する。またその間には、前記採用判定部７ａにおいて動きベクトルＭＶを抽出し（ステップＳ６）、それが予め決められている閾値よりも大きいか否かを判断する（ステップＳ７）。ここで動きベクトルＭＶが閾値よりも大きければ（ステップＳ７でＹＥＳ）、合成処理部７ｂにおいてスチルバッファ７１に記憶されているベースフレームの画像（静止画像）に、復元した部分画像を合成する（ステップＳ８）。

また、動きベクトルＭＶが閾値以下であれば（ステップＳ７でＮＯ）、上記合成処理をスキップして、次の対象ブロックについてもステップＳ６〜Ｓ８の処理を行う。やがて、全てのブロックに対する処理が終了したら（ステップＳ９でＹＥＳ）、引き続き、対象フレームに次のフレームを選択した後（ステップＳ４）、ステップＳ５〜Ｓ９の処理を繰り返す。つまり、前記スチルバッファ７１に記憶している画像に、各フレーム画像から抽出された部分画像であって、前のフレーム画像と比べて一定以上の動きがあった被写体部分の画像である部分画像だけを復号順に合成する。

そして、エンドフレームまでの全てのフレームに対する処理が終了したら（ステップＳ１０でＹＥＳ）、その時点で、スチルバッファ７１に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ３へ出力して合成処理を終了する。なお、ワークメモリ３へ出力された静止画像は、その後、モニタ８によって表示されるとともに、ユーザーの指示に応じてプリンタ９により印刷される。

以上のように、本実施の形態においては、動画像から、被写体の動きが視覚的に把握可能な静止画像を生成するとき、スタートフレームからエンドフレームまでの処理対象とする複数のフレーム画像から、必要な部分画像だけを動きベクトルに基づき選択的に抽出して静止画像に合成するため、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がない。よって、静止画像の生成を効率的に行うことができる。

また、本実施の形態では、部分画像（ブロック毎の画像）の抽出処理、及び静止画像への合成処理を、処理対象とする複数のフレーム画像の復元（復号）処理を行う間にそれと並行して行うため、前述したように動画像の再生に使用するデコード部６を静止画像合成時に流用することができる。したがって、静止画合成装置１の構成が簡単であり、それを容易かつ低コストで実施することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。第１の実施の形態では、各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像を抽出して静止画像に合成するものとしたが、本実施の形態は、動画像を構成する各フレーム画像が、例えば図４に示したように横９×縦６のブロック（マクロブロック）に分割されて符号化されているとき、動きベクトルが閾値よりも大きいブロック（同図に黒塗りで示したブロック）の画像（部分画像）と共に、それと隣接するブロック（斜線及び網掛けで示したブロック）の画像（他の部分画像）も静止画像として合成するものである。

図５は、本実施の形態の静止画合成装置における画像処理部５の詳細を示した図２に対応するブロック図である。本実施の形態では、前述した採用判定部７ａに採用判定バッファ７２が設けられている。この採用判定バッファ７２は、復号処理中の対象フレームの全ブロックについて、それが静止画像として合成すべきブロックか否かの判定結果を記憶するためのバッファ（一時記憶用のメモリ等）であって、この採用判定バッファ７２にはブロック毎に判定結果が記憶されるよう構成されている。

そして、本実施の形態においては、第１の実施の形態と同様に、スタートフレームからエンドフレームまでの対象フレームを復号する間に、採用判定バッファ７２が、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。同時に、そのブロックに隣接する他のブロックについても採用フラグを記憶する。

図６は、係る採用フラグの記憶処理動作の内容を示す説明図であって、同図において、「ブロック番号」は採用判定バッファ７２内でブロック毎に付与されている、同一フレーム内での復号順（左から右、上から下へ向かう順）と一致する番号を、「動きベクトル」はブロック毎の動きベクトルを、「採用判定」は前記採用フラグの有無、及びそれが記憶された原因を示している。また「採用判定」の「×」は採用フラグが記録されていないことを示し、「◎」はそのブロックにおける動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示し、かつ「○」はそのブロックが、それと隣接する他のブロックの動きベクトルが閾値よりも大きいことに起因して採用フラグが記録されたことを示している。

また、図示した例は、動きベクトルの閾値が例えば（５，５）である場合を示したものであって、この場合においては、ブロック番号２１，２２，２４のブロックの動きベクトルが（２，１）、ブロック番号２３のブロック（ここでは、図４に黒塗りで示したブロックである）の動きベクトルが（１０，−１２）であるため、上記の判別、及び判定の記憶処理が繰り返し行われる間、ブロック番号２２のブロックが復号対象となった時点まで、ブロック番号２１，２２の採用判定は「×」となるが、ブロック番号２３のブロックが復号対象となった時点で、その採用判定が「◎」となると同時に、それと隣接するブロック番号２２，２４のブロックの採用判定が「○」となることとなる。なお、図６には示さないが、ブロック番号１３〜１５，３１〜３３のブロックの採用判定も「○」となる。

そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ７２において採用フラグが記憶されている（図６で採用判定が「◎」又は「○」である）ブロックの情報が採用判定部７ａから前記合成処理部７ｂへ送られる。さらに、それに応答して合成処理部７ｂが、それらのブロックに対応する複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。

それ以後、対象フレームを順に切り換えながら、各フレーム画像について前述と同様の処理を実施する。そして、エンドフレームまでの全てのフレームに対する処理が終了したら、第１の実施の形態と同様、その時点で、スチルバッファ７１に記憶されている合成画像のデータ、つまり被写体の動きを視覚的に把握することができる静止画像のデータをワークメモリ３へ出力して合成処理を終了する。

ここで本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像（部分画像）と共に、その周囲のブロックの画像（他の部分画像）も抽出し、それらの部分画像を静止画像として合成するため、第１の実施の形態と比べ以下のような効果を得ることができる。

すなわち動画像の各フレーム間における動き補償の有無は動画が符号化された時点で適宜決められているものであるため、動きのある被写体部分の全て、つまり被写体部分が含まれる全てのブロックについて動き補償が行われているとは限らない。そのため、動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、合成されない部分画像が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多い。したがって、本実施の形態によれば、本来抽出して合成すべき部分画像が欠落する率を減少させることができるため、最終的に生成する静止画像に、動きのある被写体部分をより忠実に反映させることができる。

また、第１の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置１の構成が簡単であり、それを容易に実現することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。第２の実施の形態では、動きベクトルが閾値よりも大きいブロックに隣接するブロックの画像を全て静止画像に合成するものとしたが、本実施の形態は、隣接するブロックのうち予測誤差の大きいものだけを静止画像に合成するものである。

図７は、本実施の形態の静止画合成装置における画像処理部５の詳細を示した図５に対応するブロック図である。本実施の形態では第２の実施の形態と異なり、逆ＤＣＴ部６ｄにおいて復元された予測誤差（画素値のデータ）を採用判定部７ａに入力するとともに、採用判定バッファ７２には、前述した判定結果に加え予測誤差のデータがブロック毎に記憶されるよう構成されている。

そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部７ａは、対象ブロック毎に動きベクトルが閾値よりも大きいか否かを判別し、閾値よりも大きいときには、そのブロックの画像を合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。さらに、対象ブロックの予測誤差も採用判定バッファ７２に記憶する。やがて全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。なお、予測誤差の大きさは、例えば当該ブロック内の全ての画素値の合計値や平均値である。

図８は、上記の採用フラグの記憶処理動作の内容を示した、図６に対応する説明図であって、図示したように本実施の形態では、動きベクトルが閾値よりも大きかったブロック番号２３と隣接するブロック番号２２，２４のブロックのうち、予測誤差が小さいブロック番号２２のブロックについては採用判定が「×」となり、予測誤差が大きいブロック番号２４のブロックについてはブロックの採用判定は「○」となる。

そして、全てのブロックについて上記の判別、及び判定の記憶が終了したら、その時点で、採用判定バッファ７２において採用フラグが記憶されている（図８で採用判定が「◎」又は「○」である）ブロックの情報が採用判定部７ａから前記合成処理部７ｂへ送られる。さらに、それに応答して合成処理部７ｂが、それらのブロックに対応する複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。なお、これ以後の動作については第２の実施の形態と同様である。

以上のように本実施の形態においては、スタートフレームからエンドフレームまでの各フレーム画像から、動きベクトルが閾値よりも大きいブロックの画像と共に、それと隣接するブロックの画像のうちで予測誤差が閾値よりも大きなものを抽出し、それらの部分画像を静止画像として合成するため、以下のような効果を得ることができる。

すなわち、前述したように動きベクトルが閾値よりも大きいブロックだけを静止画像に合成する場合には、動きのある被写体部分が含まれているにもかかわらず、抽出されず合成されないブロックの画像（部分画像）が存在することとなる。一方、あるブロックの画像が、動きがあった被写体部分を構成しているときには、それと隣接するブロックの画像が上記被写体部分を構成している場合が多く、しかも予測誤差が大きいブロックについてはその確率が極めて高い。したがって、第２の実施の形態に比べると、合成すべき部分画像の抽出精度が高く、ベースフレームとして指定された静止画像に、動きのある被写体部分を正確に合成することができる。

また、第１及び第２の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態を説明する。第３の実施の形態では、前記採用判定部７ａが、予測誤差が所定の閾値よりも大きいことを条件（選択条件）として、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定するものとしたが、本実施の形態は、上記条件に、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に連続性があることを加えたものである。

図９は、本実施の形態の静止画合成装置における画像処理部５の詳細を示す、第３の実施の形態で図７に示したものに対応するブロック図である。本実施の形態では第３の実施の形態と異なり、前記フレームメモリ６ｆに記憶されている復元用予測画像のデータが入力するとともに、入力した画像から輪郭を抽出する本発明の輪郭抽出手段である輪郭抽出部７ｃを有しており、そこで抽出された輪郭のデータが採用判定部７ａへ出力される構成となっている。

そして、本実施の形態においても、スタートフレームからエンドフレームまでの対象フレームを復号する間、採用判定部７ａは、対象ブロック毎に動きベクトルが閾値よりも大きいブロックについて、その画像が合成すべきものであることを示す採用フラグを採用判定バッファ７２に記憶する。また、全てのブロックについて上記の判別、及び判定フラグの記憶が終了したら、その時点で、採用フラグが記憶されているブロックと隣接するブロックのうち、記憶されている予測誤差が予め決められている閾値よりも大きいブロックについて新たに採用フラグを記憶する。

さらに、本実施の形態では、採用判定部７ａが、採用フラグが記憶されているブロックと、それに隣接する各々のブロック（但し、採用フラグが記憶されているものは除く）について、互いの画像における輪郭をフレーム画像における位置関係に即して所定の方法により比較し、両者間における輪郭の連続性を数値化する。そして、隣接する各々のブロックに前記連続性が所定レベルに達しているものがあれば、そのブロックについて、採用判定バッファ７２に新たに採用フラグを記憶する。

以後は、第３の実施の形態と同様に、採用判定バッファ７２において採用フラグが記憶されているブロックの情報が採用判定部７ａから合成処理部７ｂへ送られ、それに基づき合成処理部７ｂによって複数の部分画像がフレームメモリ６ｆから読み出されるとともに、それが内部のスチルバッファ７１に記憶されている静止画像に順に合成されることとなる。

以上のように本実施の形態においては、動きベクトルが閾値よりも大きいブロックに隣接したブロックの合成の可否を判定する際の条件として、そのブロックの画像が、動きベクトルが閾値よりも大きいブロックの画像との間で輪郭に一定以上の連続性があることを追加したことから、第３の実施の形態に比べ、各フレーム画像から合成すべき部分画像をより一層精度よく抽出することができる。その結果、ベースフレームとして指定された静止画像に、動きのある被写体部分だけを確実に合成することができる。

また、第１〜第３の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。

（第５の実施の形態）
次に、本発明の第５の実施の形態を説明する。本実施の形態は、スタートフレームからエンドフレームまでの対象フレームを復号する間に、第３の実施の形態と同様の方法により抽出した部分画像を静止画像に合成するとき、その位置を補正するものである。

図１０は、本実施の形態の静止画合成装置における画像処理部５の詳細を示す、第３の実施の形態で図７に示したものに対応するブロック図である。本実施の形態では第３の実施の形態と異なり、前記画像合成部７（図１）が、採用判定部７ａと合成処理部７ｂに加え、フレーム動きベクトル推定部７ｄと、本発明の演算手段として機能するフレーム動きベクトル累積部７ｅとを備えており、フレーム動きベクトル推定部７ｄには、第２の可変長復号部６ｂで復号された対象ブロックの動きベクトルが入力する構成となっている。

そして、本実施の形態においては、対象フレームを復号する間、画像合成部７が以下のように動作する。すなわち採用判定部７ａは第３の実施の形態で説明した手順で、同一フレームの全ブロックについて、その画像を静止画像として合成すべきか否かの判定を行うとともに、その判定結果を採用判定バッファ７２に記憶する。一方、それと並行してフレーム動きベクトル推定部７ｄは、入力した各ブロックの動きベクトルについて、その内容別に出現回数をカウントする統計的処理を行い、最終的な処理結果をフレーム動きベクトル累積部７ｅへ出力する。フレーム動きベクトル累積部７ｅは、入力した動きベクトルの内容別の出現回数（ブロック数）に基づき、各ブロックにおける全体的な動きの傾向を示すフレーム動きベクトルを演算し、それを合成処理部７ｂへ出力する。

前記フレーム動きベクトルの演算は、最も出現回数が多い動きベクトルについて、出現回数が決められた数以上で、かつその動きベクトルが決められた閾値（合成するブロックの判定に用いられるものとは異なる閾値である。）よりも小さいといった決定条件を満たせば、その動きベクトルを前記フレーム動きベクトルとして決定し、上記決定条件を満たさなければ、フレーム動きベクトルの内容を動き無しを示すもの（０，０）とする演算である。

ここで、フレーム動きベクトルの演算に際して、対象フレームが撮影時にカメラ揺れがあったものである場合、本来は動きのない背景等の被写体部分のブロックについては、その動きベクトルの内容が同一となる可能性が高い。例えば各ブロックの動きベクトルの内容が図８に示したようなものであって、ブロック番号２１，２２，２４のブロックのように微少な動きを示す動きベクトル（２，１）が大勢を占めている場合が、それに相当する。そして、上記動きベクトル（２，１）が前述した決定条件を満たすものであった場合には、それがフレーム動きベクトルとして合成処理部７ｂへ出力される。

また、合成処理部７ｂは、採用判定部７ａから各ブロックの採用判定結果が送られると、それに従い複数の部分画像をフレームメモリ６ｆから読み出すとともに、それらを内部のスチルバッファ７１に記憶されている静止画像に順に合成する。そのとき、本実施の形態においては、合成処理部７ｂが、読み出した部分画像を、本来のブロック位置から前記フレーム動きベクトルより示される距離だけ所定の方向へシフトさせて静止画像に合成する。これにより、静止画像に合成される部分画像におけるカメラ揺れに起因する位置ズレが補償される。なお、これ以外の動作については第３の実施の形態と同様である。

以上のように本実施の形態においては、各フレーム画像から抽出した部分画像を静止画像に合成するとき、撮影時のカメラ揺れに起因する位置ズレを補償することができる。したがって、最終的に得られる静止画像から撮影時のカメラ揺れの影響を排除することができ、静止画像の品質が向上する。

また、第１〜第４の実施の形態と同様、異なるフレーム画像同士を比較して動きのあった被写体部分の部分画像を特定し、特定した部分画像を別途切り出する場合に比べその処理に無駄がなく、静止画像の生成を効率的に行うことができ、また、動画像の再生に使用するデコード部６を静止画像合成時においてもそのまま使用することができるため、静止画合成装置の構成が簡単であり、それを容易に実現することができる。

なお、本実施の形態では、静止画像における部分画像の合成位置を、部分画像の合成時点でフレーム動きベクトルに基づき補正するようにしたが、以下のようにしてもよい。すなわち前記採用判定部７ａに、全ての対象ブロックの動きベクトルを記憶するバッファを設けるとともに、前記フレーム動きベクトル累積部７ｅから採用判定部７ａにフレーム動きベクトルを出力させる構成とするとともに、前記採用判定部７ａに、前記バッファに記憶した全ての動きベクトルをフレーム動きベクトルに基づき予め補正した後、各ブロックに対する前述した判定処理を行わせるようにしてもよい。その場合であっても、結果的には静止画像における部分画像の合成位置をフレーム動きベクトルに基づき補正することができる。

また、本実施の形態においては、第３の実施の形態を基本としたものについて説明したが、それ以外の前述した他の実施の形態にフレーム動きベクトル推定部７ｄとフレーム動きベクトル累積部７ｅとを付加することにより、静止画像から撮影時のカメラ揺れの影響を排除するようにしてもよい。

なお、以上の説明においては、主として、被写体の動きを視覚的に把握することができる静止画像を生成し、それを表示したり印刷したりする静止画合成装置について説明したが、本発明は、例えば動画撮影機能を有するデジタルカメラや、デジタルビデオカメラに適用することができる。また、前述した画像処理部５が行うデータ処理は、専用のハードウェア資源を用いなくとも実現することができる。したがって、例えば汎用のパーソナルコンピュータと、それに前記画像処理部５と同様のデータ処理を行わせるための所定のソフトウェアとによっても本発明を実施することができる。

本発明の各実施の形態に共通する静止画合成装置のブロック図である。 第１の実施の形態における画像処理部を示すブロック図である。 同実施の形態において静止画像を合成するときの動作を示すフローチャートである。 フレーム画像におけるマクロブロックを示す図である。 第２の実施の形態における画像処理部を示すブロック図である。 同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。 第３の実施の形態における画像処理部を示すブロック図である。 同実施の形態の採用判定部による採用フラグの記憶処理動作の内容を示す説明図である。 第４の実施の形態における画像処理部を示すブロック図である。 第５の実施の形態における画像処理部を示すブロック図である。 動画データの構成を示す模式図である。 フレーム画像を構成するデータの内容を示す説明図である。

符号の説明

１ 静止画合成装置
２ 画像データ取込み部
５ 画像処理部
６ デコード部
６ａ 第１の可変長復号部
６ａ 第２の可変長復号部
６ｃ 逆量子化部
６ｄ 逆ＤＣＴ部
６ｅ 動き補償部
６ｆ フレームメモリ
７ 画像合成部
７ａ 採用判定部
７ｂ 合成処理部
７ｃ 輪郭抽出部
７ｄ フレーム動きベクトル推定部
７ｅ フレーム動きベクトル累積部
８ モニタ
９ プリンタ

Claims (10)

1. 動画像を取得する取得手段と、
   この取得手段により取得された前記動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する動きベクトル判断手段と、
   前記動きベクトル判断手段により動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択する選択手段と、
   この選択手段により選択された部分画像を静止画像に合成する合成手段と
   を備えたことを特徴とする静止画合成装置。
2. 前記選択手段は、更に、
   前記隣接する部分画像が所定の選択条件を満足するか否かを判断する選択条件判断手段を含み、
   前記選択条件判断手段により所定の選択条件を満足すると判断された前記隣接する部分画像を選択することを特徴とする請求項１記載の静止画合成装置。
3. フレーム画像中の部分画像の輪郭を抽出する輪郭抽出手段を備え、
   前記選択条件判断手段は、
   前記輪郭抽出手段により動きベクトルが所定の閾値よりも大きい部分の画像から抽出された輪郭と、前記輪郭抽出手段により前記隣接する部分画像から抽出された輪郭との間における連続性の度合が所定の閾値よりも大きいか否かを判断することを特徴とする請求項２記載の静止画合成装置。
4. 同一フレーム画像における各部分の動きベクトルに基づき、それらの部分の全体的な動きの傾向を示すフレーム動きベクトルを演算する演算手段と、
   前記演算手段により演算されたフレーム動きベクトルに基づき、前記合成手段により静止画像に合成される部分画像の静止画像に対する合成位置を補正する補正手段と
   を更に備えたことを特徴とする請求項１乃至３いずれか記載の静止画合成装置。
5. 前記取得手段により取得された動画像を構成する複数のフレーム画像のうち任意のフレーム画像を指定する指定手段を備え、
   前記合成手段は、前記選択手段により選択された部分画像を、前記指定手段により指定されたフレーム画像に合成することを特徴とする請求項１乃至４いずれか記載の静止画合成装置。
6. 前記合成手段により生成された合成静止画像を表示出力又は印刷出力する画像出力手段を備えたことを特徴とする請求項１乃至５いずれか記載の静止画合成装置。
7. 前記取得手段は、
   動画像を記憶するメモリを含み、
   前記メモリに記憶されている動画像を取得することを特徴とする請求項１乃至６いずれか記載の静止画合成装置。
8. 前記取得手段は、
   被写体を撮像し、動画像を出力する撮像手段を含み、
   前記撮像手段から出力された動画像を取得することを特徴とする請求項１乃至６いずれか記載の静止画合成装置。
9. 動画像を取得するステップと、
   前記取得された動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断するステップと、
   前記動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択するステップと、
   前記選択された部分画像を静止画像に合成するステップと
   を含むことを特徴とする動画像からの静止画合成方法。
10. 静止画合成装置が有するコンピュータに、
    動画像を取得する処理と、
    前記取得された動画像に含まれるフレーム画像中において動きベクトルが所定の閾値よりも大きい部分があるか否かを判断する処理と、
    前記動きベクトルが所定の閾値よりも大きいと判断された部分の画像及び該画像に隣接する部分の画像を部分画像として選択する処理と、
    前記選択された部分画像を静止画像に合成する処理と
    を実行させるための静止画合成プログラム。

Images