JP4239855B2 - 動画像データからの静止画像データの生成 - Google Patents

Description

本発明は、動画像データから静止画像データを生成する技術に関する。

近年、デジタルビデオカメラその他の動画像撮像装置で記録された動画像データから静止画像データを生成する技術が普及しつつある。動画像データからの静止画像データの生成処理においては、一般に、たとえば被写体の移動ベクトルやカメラワークといった動的な情報が失われる。

特開２００２−２８１５０６号公報 特開平７−２３３２２号公報 特開２０００−３５８１８３号公報 特開２０００−３４１６１３号公報

しかし、このようにして失われた動的な情報は、静止画像データの取り扱いに有益な場合もある。たとえば静止画像データから被写体を切り出して他の画像と組み合わせる際には、被写体の移動ベクトルが被写体の配置や構図の決定に有益である。

この発明は、従来技術における上述の課題を解決するためになされたものであり、動画像データから静止画像データを生成する処理において、動画像データに含まれていた情報を保持する技術を提供することを目的とする。

本発明の第１の態様は、動画像データから静止画像データファイルを生成する静止画像データファイル生成装置であって、
前記動画像データから静止画像データを生成する静止画像データ生成部と、
前記静止画像データの属性情報を生成する属性情報生成部と、
前記静止画像データと前記属性情報とを用いて前記静止画像データファイルを生成するデータファイル生成部と、
を備え、
前記属性情報生成部は、前記動画像データに含まれる情報のうち前記静止画像データに含まれる情報以外の情報を用いて、前記属性情報を生成することを特徴とする。

本発明の静止画像データファイル生成装置によれば、動画像データに含まれる情報のうち静止画像データに含まれる情報以外の情報を用いて生成された属性情報が生成された静止画像データファイルに格納されるので、以下のような利点の少なくとも一部が得られることになる。

たとえば、（１）仮に動画像データが失われても、動画像の一部としての静止画像の取り扱いが可能となる。（２）このような属性情報を有する静止画像データファイルは、動画像の一部としてのデータ管理を容易に行うことが可能である。（３）動画像データから静止画像データの生成において使用された属性情報は、他の静止画像データの生成においても再利用することが出来る場合があるので、これにより処理の高速化を図ることができる。

上記の静止画像データファイル生成装置において、前記属性情報は、前記静止画像データによって表される画像領域のうちで動きが検出された領域である動き領域を特定する情報を含むようにしても良い。こうすれば、たとえば被写体に着目した自動的なトリム処理を実現することができる。動き領域が被写体である場合が多いからである。

上記の静止画像データファイル生成装置において、前記静止画像データ生成部は、前記静止画像データから前記動き領域を抽出するようにしても良い。

上記の静止画像データファイル生成装置において、前記属性情報は、前記動き領域の前記画像領域における並進移動状態を表す移動情報を含むようにしても良い。こうすれば、たとえば被写体の移動状態に応じて自動的に最適な配置がなされたトリム処理を実現することができる。

上記の静止画像データファイル生成装置において、前記属性情報は、前記動き領域内の画像の性質を表す被写体情報を含むようにしても良い。こうすれば、たとえば静止画像データを属性情報に基づいて検索やデータベース化する際に有用な情報をユーザが容易に取得することができる。

本発明の第２の態様は、静止画像データと、前記静止画像データの属性情報とを含む静止画像データファイルに応じて、前記静止画像データに対して画像処理を行う画像処理装置であって、
前記属性情報は、前記静止画像データによって表される画像領域のうちで動きが検出された領域である動き領域を特定する情報を含み、
前記画像処理装置は、前記属性情報に応じて、前記静止画像データによって表される画像領域の中から前記動き領域を抽出することを特徴とする。

本発明の画像処理装置によれば、静止画像データから自動的に被写体を抽出することができるので、たとえば被写体の他の画像への合成といった被写体を中心とする画像処理においてユーザの負担を軽減することができる。

上記の画像処理装置において、前記属性情報は、前記動き領域の前記画像領域における移動方向を含む並進移動状態を表す移動情報を含み、
前記画像処理装置は、前記移動情報に応じて、前記動き領域の前記移動方向の側に所定の領域が付加された領域の画像を抽出する用にしても良い。

こうすれば、移動する被写体を好ましい配置とする画像を自動的に抽出することができる。一般に、被写体が移動している場合には、移動方向に空き領域を設けることが構図上好ましいからである。

上記の画像処理装置において、前記画像処理装置は、前記移動情報に応じて、前記動き領域の前記移動方向の側において前記移動方向の反対側よりも大きな領域が、前記動き領域に付加された領域の画像を抽出するようにしても良い。

上記の画像処理装置において、前記画像処理装置は、前記画像処理によって生成すべき静止画像データによって表される画像の形状を決定するとともに、前記決定された形状を有する画像領域内に生ずる余剰の領域が、前記移動方向により多く配分されるように前記動き領域を配置するようにしても良い。

上記の画像処理装置において、前記形状が所定の縦横比を有する矩形である場合には、前記画像処理装置は、前記所定の縦横比を有する画像領域内に前記動き領域を配置する際に生ずる余剰の領域が、前記移動方向に最も近い上下左右のいずれかの側により多く配分されるように配置するようにしても良い。

なお、本発明は、静止画像データ出力装置、画像ファイル生成装置、画像ファイル管理装置、静止画像データ生成の方法または装置の機能をコンピュータに実現させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．本発明の実施例における画像処理システムの構成：
Ｂ．本発明の実施例における静止画像データファイル生成処理：
Ｃ．本発明の実施例におけるテンプレート画像合成処理：
Ｄ．変形例：

Ａ．本発明の実施例における画像処理システムの構成：
図１は、本発明の一実施例としての画像処理システム１００を示す説明図である。画像処理システム１００は、動画像データを供給する動画像データベース部３０と、動画像データから取得する複数の静止画像データの特定や画像処理のためのユーザインターフェース部１８と、動画像データベース部３０から取得した複数の静止画像データに対して画像処理を行う画像処理装置としてのパーソナルコンピュータＰＣと、処理された静止画像データを出力する出力装置としてのカラープリンタ２０とを備えている。

パーソナルコンピュータＰＣは、動画像データからの静止画像データの抽出その他の画像処理を実行する画像処理アプリケーションプログラム１０と、動画像データベース部３０やユーザインターフェース部１８、カラープリンタ２０といった外部機器との間のインターフェースを司るインターフェース部１５とを備えている。

画像処理アプリケーションプログラム１０は、動画像データから静止画像データを生成する静止画像データ生成部１１と、各静止画像データの生成の際に属性情報を生成する属性情報生成部１２と、生成された静止画像データとその属性情報とから静止画像データファイルを生成するデータファイル生成部１３と、静止画像データファイルと予め準備されたテンプレート画像とを合成する画像合成処理部１４とを備えている。

動画像データベース部３０は、デジタルビデオカメラ３０ａ、ＤＶＤ３０ｂ、およびハードディスク３０ｃを動画像データの供給源として有している。動画像データは、本実施例では、ノンインターレース方式のフレーム画像データとしている。

ユーザインターフェース部１８は、動画像データから取得するフレーム画像データをユーザが特定するためのユーザインターフェースである。ユーザインターフェース部１８は、動画像データベース部３０から供給されている動画像、生成中の静止画像、および後述する操作表示画面を表示するディスプレイ１８ａと、ユーザからの入力を受け付けるキーボード１８ｂやマウス１８ｃを備える。

図２は、ディスプレイ１８ａに表示される画像ファイル生成処理における操作表示画面２００を示す説明図である。操作表示画面２００は、処理対象となる元画像データの種類を選択する元画像データ種選択スイッチ１２１と、選択された種類の元画像データの中から１つを選択するための元画像データ選択ウィンドウ１２２と、処理対象となる元画像データによって表される画像を表示する画像表示エリア１２３と、静止画像データ生成処理のための操作ボタンとを含んでいる。なお、図２の例では、元画像データ選択ウィンドウ１２２において、動画像データＧｓが選択された状態が示されている。

静止画像データ生成処理のための操作ボタンには、画像表示エリア１２３に表示される動画像を制御するための各種ボタンが含まれている。動画像を制御するための各種ボタンには、再生ボタン２３１、停止ボタン２３２、一時停止ボタン２３３、巻き戻しボタン２３４、早送りボタン２３５が含まれている。

静止画像データ生成処理のための操作ボタンには、さらに、動画像データから静止画像データを生成するための手動抽出ボタン１２５と自動抽出ボタン１２４とが含まれている。手動抽出ボタン１２５は、動画像を制御しつつユーザが静止画像を生成するためのボタンである。一方、自動抽出ボタン１２４は、動画像データから静止画像データを自動的に生成するためのボタンである。

以上説明したシステム構成において、自動抽出ボタン１２４が押されると、以下に示すように動画像データに含まれていた動的な情報を属性情報として含む静止画像データファイルが生成される。なお、本実施例では、「動的な情報」とは被写体の動きを表す情報である。

Ｂ．本発明の実施例における静止画像データファイル生成処理：
図３は、本発明の第１実施例における静止画像データ生成処理の内容を示すフローチャートである。ステップＳ１００では、画像処理アプリケーションプログラム１０（図１）は、動画像データベース部３０から動画像データの供給を受ける。供給された動画像データは、図示しないメモリにバッファされるとともに画像表示エリア１２３（図２）に表示される。

図４は、本発明の実施例で使用される動画像データの構成の一例を示す説明図である。動画像データは、１フレーム時間が３３ｍｓの時系列的に連続するフレーム画像データの集合であり、各フレーム画像データには、時系列的な順序でフレーム番号が付されている。図４の例では、動画像データは、サッカー選手の１人がゴールに向かってドリブルしている様子を表している。

ステップＳ２００では、静止画像データ生成部１１は、フレーム画像抽出処理を実行する。フレーム画像抽出処理とは、本実施例では、フレーム画像データの集合である動画像データから特定のフレーム画像データを選択する処理である。

図５は、本実施例におけるフレーム画像抽出処理の内容を示すフローチャートである。ステップＳ２１０では、静止画像データ生成部１１は、サンプリング処理を行う。サンプリング処理とは、動画像データからフレーム画像データを抽出する処理である。この抽出は、たとえば１秒間隔でフレーム画像データを選択することにより行われる。このようにして抽出されたフレーム画像データは、本明細書では、「サンプリング画像データ」と呼ばれる。

ステップＳ２２０では、静止画像データ生成部１１は、評価値計算処理を行う。評価値計算処理とは、各フレーム画像の評価値を計算する処理である。この処理の詳細については後述する。

ステップＳ２３０では、静止画像データ生成部１１は、フレーム画像選択処理を行う。フレーム画像選択処理は、算出された評価値が予め定められた所定の閾値より大きいフレーム画像データをサンプリング画像データから選択することによって行うことができる。

図６は、本実施例における評価値計算処理の内容を示すフローチャートである。ステップＳ２２２では、静止画像データ生成部１１は、ブロック化処理を実行する。ブロック化処理とは、選択されたフレーム画像データの領域を所定のブロック毎に分割する処理である。

図７は、本実施例におけるブロック化処理の様子を示す説明図である。図７（ａ）、図７（ｂ）、および図７（ｃ）は、それぞれ図４（ａ）、図４（ｂ）、および図４（ｃ）に示された３枚のフレーム画像データがブロック化処理された様子を示している。各フレーム画像データは、縦方向に３行、そして横方向に６列に分割されてている。

ステップＳ２２４では、静止画像データ生成部１１は、サンプリング画像比較処理を実行する。サンプリング画像比較処理とは、連続するサンプリング画像をブロック毎に比較する処理である。比較の方法は、たとえば勾配法を用いてブロックの動きの有無を検出することができる。なお、本実施例では、「動き」として並進移動だけでなく回転移動や特徴部の大きさ変動を検出している。

図８は、本実施例におけるフレーム間比較処理の結果を示す説明図である。図８（ａ）、図８（ｂ）、および図８（ｃ）は、それぞれ図７（ａ）、図７（ｂ）、および図７（ｃ）に示されるフレーム画像データの処理結果を示している。処理結果は、「動き」が検出されたブロック（動きブロック）のブロック値を「１」とし、「動き」が検出されなかったブロック（静止ブロック）のブロック値を「０」として表している。

具体的には、以下のような処理が行われる。たとえば図７（ａ）に示されるフレーム画像については、Ｅ列３行、Ｅ列４行、Ｆ列３行、およびＦ列４行の４つのブロックが動きブロックに決定される。これは、サッカー選手が同ブロック内で移動しているからである。この結果、これらの４つのブロックについては、ブロック値が「１」に決定され、他のブロックについては、ブロック値が「０」に決定される。

同様の処理が行われて、図７（ｂ）に示されるフレーム画像については、Ｄ列２行、Ｄ列３行、Ｅ列２行、およびＥ列３行の４つのブロックのブロック値のみが「１」に決定され、同様に、図７（ｃ）に示されるフレーム画像については、Ｃ列２行、Ｃ列３行、およびＤ列２行の３つのブロックのブロック値のみが「１」に決定される。

ステップＳ２２６では、静止画像データ生成部１１は、ブロック群生成処理を実行する。ブロック群生成処理とは、ブロック値が「１」の連続するブロックの集合をブロック群としてグループ化する処理である。このようなブロック群は、主被写体であることが多いため、ブロック群に着目して処理すれば、被写体の状況を的確に推定することが出来るからである。なお、本実施例では、ブロック群が特許請求の範囲における「動き領域」に相当する。

ステップＳ２２８では、静止画像データ生成部１１は、計数表乗算処理を行う。計数表乗算処理は、図９に示される計数表とブロック値を乗じた値の総和を各ブロック群毎に算出する処理である。たとえば、図７（ａ）のフレーム画像データに含まれるブロック群については、Ｅ列３行、Ｅ列４行、Ｆ列３行、およびＦ列４行の４つのブロックのブロック値と計数表の対応するブロックの計数がそれぞれ乗算される。なお、他のブロックについては、ブロック値が「０」なので無視することができる。

この計数表（図９）は、被写体が画像領域の中央部分に存在する場合に高い評価値となるように構成されている。このため、周辺部分の係数は負の値となっているとともに、中央部分の係数は正の値となっている。なお、本実施例の計数表は、説明を分かりやすくするために簡略化されたものである。

具体的には、以下の計算が実行される。Ｅ列３行については、ブロック値「１」と係数表中の対応する計数「１」が乗算されて、乗算値「１」が算出される。同様の処理が行われ、Ｅ列４行、Ｆ列３行、およびＦ列４行については、乗算値「−１」が算出される。これらの値の総和は、「−３」となる。同様に、図７（ｂ）および図７（ｃ）のフレーム画像に含まれる各ブロック群については、それぞれ「４」「３」となる。

このようにして、図７（ａ）、図７（ｂ）、および図７（ｃ）に示されるフレーム画像の評価値は、それぞれ「−３」、「４」、および「３」と算出されることになる。

ステップＳ２３０（図５）では、静止画像データ生成部１１は、サンプリング画像選択処理を実行する。サンプリング画像選択処理とは、算出された評価値に基づいてブロック群を含むフレーム画像データを選択する処理である。たとえば評価値が４以上のブロック群を含むことを選択基準とすれば、図７（ｂ）に示されるフレーム画像のみが選択されることになる。

ステップＳ３００（図３）では、属性情報生成部１２は、属性情報を生成する。属性情報とは、静止画像データが含まれていた動画像データが有する動的な属性情報である。本実施例では、ブロック群の移動ベクトル、すなわち移動方向とその大きさが属性情報となる。この属性情報は、各静止画像データ毎に生成される。

図１０は、本実施例における属性情報の一例を示す説明図である。図１０の例では、右下から左上に向かった移動ベクトルＶｂが属性情報に相当する。移動ベクトルＶｂは、たとえば２つの数字の組合せとして生成することができる。

ステップＳ４００では、データファイル生成部１３は、画像ファイル生成処理を実行する。画像ファイル生成処理は、選択されたフレーム画像データと生成された属性情報とを用いて静止画像データファイルを生成する処理である。

図１１は、本実施例における画像データファイルＧＦの構成を示す説明図である。画像データファイルＧＦは、画像データ格納領域９０と画像データ情報格納領域８０とから構成されている。画像データ格納領域９０と画像データ情報格納領域８０とには、それぞれフレーム画像データとその属性情報とが格納される。

図１１の例では、画像データ情報格納領域８０には、属性情報としてブロック群（動き領域）のサイズと、このブロック群の移動ベクトルとが格納されている。ブロック群のサイズは、たとえば縦と横の画素数として表すことができる。

画像データファイルＧＦは、デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉf）に従ったファイル構造を有するようにしても良い。この規格は、日本電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。この場合には、属性情報は、たとえば「Ｍａｋｅｒ Ｎｏｔｅ」に格納することができる。また、画像データ情報格納領域８０に格納する代わりに、電子透かしとして静止画像データ内に格納するようにしても良い。

このようにして生成された静止画像データファイルに含まれた属性情報は、たとえば以下に説明するテンプレート画像合成処理において有効利用することができる。

Ｃ．本発明の実施例におけるテンプレート画像合成処理：
図１２は、本発明の実施例におけるテンプレート画像合成処理の内容を示すフローチャートである。テンプレート画像合成処理とは、本実施例では、予め準備されたテンプレート画像に対して抽出された静止画像データの一部の領域を合成する処理である。

図１３は、ディスプレイ１８ａに表示されるテンプレート画像合成処理における操作表示画面２００ａを示す説明図である。操作表示画面２００ａは、前述の操作表示画面２００と同様に、処理対象となる元画像データの種類を選択する元画像データ種選択スイッチ１２１と、選択された種類の元画像データの中から１つを選択するための元画像データ選択ウィンドウ１２２と、処理対象となる元画像データによって表される画像を表示する画像表示エリア１２３とを含んでいる。静止画像データ生成処理のための操作ボタンには、画像表示エリア１２３に表示される動画像を制御するための各種ボタンの代わりに手動トリムボタン１２６と自動トリムボタン１２７とが含まれている。

ステップＳ１１００では、ユーザは、テンプレート画像を選択する。テンプレート画像とは、写真画像に装飾を施すために合成される画像のことをいい、銀塩写真の額ぶちに相当する画像である。テンプレート画像の選択は、ユーザが元画像データ種選択スイッチ１２１で「テンプレート」を選択するとともに、元画像データ選択ウィンドウ１２２で所望の画像をクリックすることによって行うことができる。このようにして、テンプレート画像が選択されると、画像表示エリア１２３に選択されたテンプレート画像が表示される。なお、図１３の例では、元画像データ選択ウィンドウ１２２において、静止画像データファイルＴｓが選択された状態が示されている。

このようにして選択されたテンプレート画像は、静止画像を挿入するための二つの画像挿入ウィンドウＷ１、Ｗ２を有している。二つの画像挿入ウィンドウＷ１、Ｗ２のサイズや縦横比といった情報は、各テンプレート画像の属性情報として各テンプレート画像毎に格納されている。

ステップＳ１２００では、ユーザは、画像挿入ウィンドウを指定する。画像挿入ウィンドウの指定は、図１３の例では、２つの画像挿入ウィンドウＷ１、Ｗ２のいずれかをマウス１８ｃことによって行うことができる。画像挿入ウィンドウが指定されると、指定された画像挿入ウィンドウのサイズや縦横比といった情報が画像合成処理部１４（図１）に入力される。

ステップＳ１３００では、ユーザは、画像挿入処理を行う。画像挿入処理とは、テンプレート画像の指定されたウインドウの内部に抽出された静止画像データの一部の領域を挿入して合成する処理である。

図１４は、本発明の実施例における画像挿入処理の内容を示すフローチャートである。ステップＳ１３１０では、ユーザは、挿入対象となる静止画像データを選択する。静止画像データの選択は、ユーザが元画像データ種選択スイッチ１２１で「静止画像」を選択するとともに、元画像データ選択ウィンドウ１２２で所望の静止画像をクリックすることによって行うことができる。

ステップＳ１３２０では、画像合成処理部１４は、属性データ読み込み処理を実行する。属性データ読み込み処理では、静止画像データの属性データと、テンプレート画像の指定された挿入ウインドウの属性データとが読み込まれる。双方の画像データの属性データが読み込まれると、ステップＳ１３３０の最適構図決定処理に処理が進められる。これにより、画像合成処理部１４は、挿入ウインドウの属性データに基づいて挿入すべき静止画像の形状を決定することができる。

図１５は、本発明の実施例における最適構図決定処理の内容を示すフローチャートである。最適構図決定処理とは、静止画像データの一部の領域（以下では、挿入領域と呼ぶ。）を、指定された挿入ウインドウに適切に配置するための処理である。本実施例では、適切な配置とは、静止画像データの挿入領域の移動ベクトルを考慮して、移動方向に空間を大きく開けるような配置を意味する。

図１６は、本発明の実施例において最適構図が決定される様子を示す説明図である。図１６（ａ）は、挿入領域を示している。図１６（ｂ）は、挿入領域が挿入ウインドウの中央に配置された様子を示している。図１６（ｃ）は、最適配置処理によって挿入領域が挿入ウインドウの右側に配置された様子を示している。図１６（ｄ）は、最適配置された合成画像を示している。なお、図１６（ｂ）および図１６（ｃ）では、挿入領域（図１６（ａ））が点線で示されている。

ステップＳ１３３２では、画像合成処理部１４は、静止画像データの属性データに移動ベクトルを表す移動ベクトル情報が含まれているか否かを決定する。移動ベクトル情報が含まれていない場合には、処理がステップＳ１３３８に進められ、挿入領域が図１６（ｂ）に示されるように、挿入領域が挿入ウインドウの中央に配置される。一方、移動ベクトル情報が含まれてる場合には、処理がステップＳ１３３４に進められる。

ステップＳ１３３４では、画像合成処理部１４は、アスペクト比比較処理を実行する。アスペクト比比較処理とは、挿入ウインドウと挿入領域のアスペクト比（縦横比）を比較して、挿入ウインドウ内において縦方向と横方向のいずれの方向に空き領域ができるかを決定する処理である。たとえば図１６の例では、挿入ウインドウ内において横方向に空き領域ができることがわかる。なお、空き領域が発生しない方向には、挿入画像のサイズを調整することによって、挿入ウインドウＷ１と挿入領域のサイズを一致させる。

ステップＳ１３３６では、画像合成処理部１４は、挿入領域配置処理を実行する。挿入領域配置処理とは、移動ベクトルに基づいて挿入ウインドウ内の最適位置に挿入画像を配置する処理である。具体的には、挿入画像は、挿入ウインドウ内において移動方向の前側に空き領域が生ずるように配置される。一般に、被写体が移動している場合には、移動方向に空き領域を設けることが構図上好ましいからである。

ステップＳ１４００では、画像合成処理部１４は、挿入画像と挿入ウインドウのサイズをマッチさせて合成し、図１６（ｃ）に示されるような合成画像を生成する。なお、上述の最適配置は、移動ベクトルが所定の大きさ以上の場合にのみ実行し、所定の大きさ未満の場合には、中央位置に配置する用にしても良い。

このように、本実施例では、動画像データから静止画像データを生成する際に生成された情報に基づいて、自動的に最適な配置がなされた合成処理を実行することができるので、動画像から抽出された静止画像のテンプレート画像への合成処理においてユーザの負担を軽減することができる。

Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、たとえば次のような変形も可能である。

Ｄ−１．上述の実施例では、属性情報は、ブロック群（動き領域）の移動ベクトルであるが、たとえば動き領域内の画像の特徴を表す情報としても良い。このような属性情報は、たとえばブロック群内の画素値の色相ヒストグラムを生成して、肌色領域の割合を判定することによって実現することができる。画像の特徴を表す属性情報は、たとえばユーザが静止画像データを属性情報に基づいて検索（絞り込みを含む）する際や、静止画像データのデータベース化を行う際の有用な情報となる。

検索の例としては、たとえば挿入ウインドウが左方向の移動を想定したものである場合に、その画像挿入ウィンドウをユーザがクリックすると、属性情報として左方向の移動ベクトルを有する動き領域を有する静止画像データのみを抽出してユーザに提示するような構成も実現可能である。

Ｄ−２．上述の実施例では、属性情報は、動画像データに含まれるフレーム画像データから生成されているが、たとえば日付や音声、時系列に関する情報（たとえば順序）といった動画像データが属性情報として含んでいた情報に応じて静止画像の属性情報を生成するようにしても良い。さらに、パンやズームといった推定されたカメラワークを属性情報に含めるようにしても良い。本発明において静止画像データの属性情報は、一般に、動画像データに含まれる情報のうち、その静止画像データに含まれる情報以外の情報を用いて生成されたものであればよい。

時系列に関する情報は、たとえば時系列的に複数の静止画像を配置することができるテンプレート画像に静止画像を嵌め込む際に利用することができる。日付は、たとえばテンプレート画像に日付を表すウィンドウがある場合に直接利用することがでいる。音声は、テンプレート画像ファイルが音声ファイルを格納する領域を有する場合に、音声付きの画像ファイルを生成する際に利用することができる。

なお、本発明における静止画像データの属性情報はたとえば以下の過程で生成される。
（１）動画像データから静止画像データを抽出する過程、
（２）動画像データから静止画像データを生成する過程（たとえば鮮明化）、あるいは
（３）他のフレーム画像と比較する過程。

Ｄ−３．上述の実施例では、１つの静止画像データに１つの動き領域が検出された例が示されているが、複数の動き領域が１つの静止画像データに含まれていても良い。複数の動き領域が含まれている場合には、各動き領域がラベリングされているとっともに、各動き領域毎に属性情報が付加されていることが好ましい。こうすれば、たとえば動画像に複数の被写体が含まれている場合において、各被写体毎に属性情報を管理することができるからである。これにより、たとえば各動き領域毎の最適なトリミングその他の画像処理やデータベース管理が可能となる。

Ｄ−４．上述の実施例では、動画像データはノンインターレース方式のフレーム画像データで構成されていたが、本発明は、インターレース方式の動画像データにも適用することができる。この場合には、上述の実施例における各フレーム画像データは、奇数番目の走査線の画像データから構成される奇数フィールドの静止画像データと、偶数番目の走査線の画像データから構成される偶数フィールドの静止画像データと、から生成される静止画像データに相当することになる。

Ｄ−５．上述の実施例では、ブロックの移動の有無の決定に使用するフレーム間比較処理として勾配法を用いてブロックの「動き」として移動を検知しているが、たとえばフレーム間差分法や背景差分法といった他の方法を用いて被写体の移動を検知するようにしても良い。さらに、被写体の移動だけでなく、被写体の大きさの変化や回転といった被写体の変動を検知するようにしても良い。

Ｄ−６．上述の実施例では、静止画像のうちの動き領域を抽出して挿入ウインドウに挿入する際において、挿入ウインドウにマッチするように空き領域が決定されているが、たとえば静止画像の動き領域を予め抽出しておいても良い。こうすれば、静止画像データのデータサイズを小さくすることができるという利点がある。

このような場合には、動き領域に加えて移動方向の側の所定の領域を表す画像を予め抽出しておくことが好ましい。所定の領域は、たとえば図１７（ａ）に示されるように動き領域Ｐａ１の移動方向の側に配置されることになる。このようにして生成された画像領域Ｐａ２を有する静止画像データは、たとえば図１７（ｂ）に示される画像挿入ウィンドウＷ３に挿入される際に、画像挿入ウィンドウＷ３からはみ出す部分を削除することによって画像挿入ウィンドウＷ３にマッチさせることができる。なお、所定の領域の大きさは、予め設定された大きさ（たとえば１〜２倍）とするようにしても良いし、移動ベクトルの大きさに応じて決定するようにしても良い。

また、矩形の画像領域を有する静止画像データを生成する場合には、所定の領域は、動き領域に対して、上下左右の４方向のうち移動方向に最も近い方向（延長方向）に配置することが好ましい。所定の領域の延長方向の大きさは、たとえば動き領域の１〜２倍の大きさを持つようにすれば十分である。挿入ウインドウのアスペクト比は、一般に、１〜３倍の範囲に入っているからである。

Ｄ−７．上述の実施例では、動き領域の移動方向の側にのみ空き領域が設けられているが、たとえば移動方向の反対側にも移動方向の側よりも小さな空き領域を設けるようにしても良い。本発明では、一般に、動き領域の移動方向の側において、移動方向の反対側よりも大きな領域が動き領域に付加されるように構成されていればよい。

上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としての画像処理システム１００を示す説明図。 ディスプレイ１８ａに表示される画像ファイル生成処理における操作表示画面２００を示す説明図。 本発明の第１実施例における静止画像データ生成処理の内容を示すフローチャート。 本発明の実施例で使用される動画像データの構成の一例を示す説明図。 本発明の実施例におけるフレーム画像抽出処理の内容を示すフローチャート。 本発明の実施例における評価値計算処理の内容を示すフローチャート。 本発明の実施例におけるブロック化処理の様子を示す説明図。 本発明の実施例におけるフレーム間比較処理の結果を示す説明図。 本発明の実施例において使用される係数表を示す説明図。 本実施例における属性情報の一例を示す説明図。 本実施例における画像データファイルＧＦの構成を示す説明図。 本発明の実施例におけるテンプレート画像合成処理の内容を示すフローチャート。 ディスプレイ１８ａに表示されるテンプレート画像合成処理における操作表示画面２００ａを示す説明図。 本発明の実施例における画像挿入処理の内容を示すフローチャート。 本発明の実施例における最適構図決定処理の内容を示すフローチャート。 本発明の実施例において最適構図が決定される様子を示す説明図。 本発明の変形例において画像が抽出される様子を示す説明図。

符号の説明

１０…画像処理アプリケーションプログラム
１１…静止画像データ生成部
１２…属性情報生成部
１３…データファイル生成部
１４…画像合成処理部
１５…インターフェース部
１８…ユーザインターフェース部
１８ａ…ディスプレイ
１８ｂ…キーボード
１８ｃ…マウス
２０…カラープリンタ
３０…動画像データベース部
３０ａ…デジタルビデオカメラ
３０ｂ…ＤＶＤ
３０ｃ…ハードディスク
８０…画像データ情報格納領域
９０…画像データ格納領域
１００…画像処理システム
１２１…元画像データ種選択スイッチ
１２２…元画像データ選択ウィンドウ
１２３…画像表示エリア
１２４…自動抽出ボタン
１２５…手動抽出ボタン
１２６…手動トリムボタン
１２７…自動トリムボタン
２００…操作表示画面
２００ａ…操作表示画面
２３１…再生ボタン
２３２…停止ボタン
２３３…一時停止ボタン
２３４…巻き戻しボタン
２３５…早送りボタン

Claims (4)

1. 静止画像データと、前記静止画像データの属性情報とを含む静止画像データファイルに応じて、前記静止画像データに対して画像処理を行う画像処理装置であって、
   前記属性情報は、前記静止画像データによって表される画像領域のうちで動きが検出された領域である動き領域を特定する情報を含み、
   前記画像処理装置は、前記属性情報に応じて、前記静止画像データによって表される画像領域の中から前記動き領域を抽出し、
   前記属性情報は、前記動き領域の前記画像領域における移動方向を含む並進移動状態を表す移動情報を含み、
   前記画像処理装置は、前記移動情報に応じて、所定の領域の大きさを決定すると共に、前記動き領域の前記移動方向の側に前記所定の領域が付加された領域の画像を抽出する、画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記画像処理装置は、前記移動情報に応じて、前記動き領域の前記移動方向の側において前記移動方向の反対側よりも大きな領域が、前記動き領域に付加された領域の画像を抽出する、画像処理装置。
3. 請求項１記載の画像処理装置であって、
   前記画像処理装置は、前記画像処理によって生成すべき静止画像データによって表される画像の形状を決定するとともに、前記決定された形状を有する画像領域内に生ずる余剰の領域が、前記移動方向により多く配分されるように前記動き領域を配置する、画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記形状は、所定の縦横比を有する矩形であり、
   前記画像処理装置は、前記所定の縦横比を有する画像領域内に前記動き領域を配置する際に生ずる余剰の領域が、前記移動方向に最も近い上下左右のいずれかの側により多く配分されるように配置する、画像処理装置。

Images