JP5315694B2 - 映像生成装置、映像生成方法および映像生成プログラム - Google Patents

Description

本発明は、入力映像を編集して新規映像を生成する映像生成装置及びその方法に関し、特に入力映像に登場する対象物の登場率を考慮して新規映像を生成する映像生成装置、映像生成方法および映像生成プログラムに関する。

従来のこの種の映像生成装置の一例が、特開2005-157463号公報に記載されている。この公報に記載された映像生成装置の構成を図１に示す。この従来の映像生成装置は、地上デジタル放送により受信したコンテンツデータ９０４を編集して、その要約データを生成する。コンテンツデータ９０４はフレームの集合であり、各フレームは、映像データおよび音声データに加えて、当該フレームに登場している人物や場所などを示す付加情報を含んでいる。コンテンツデータ取得手段９００は、コンテンツデータ９０４を取得すると、各フレームの付加情報を登場確率算出手段９０１へ出力すると共に各フレームの内容を要約データ作成手段９０３に出力する。登場確率算出手段９０１は、付加情報に基づいて各フレームに登場する人物や場所を認識し、各登場人物と場所とが任意のフレームに登場する登場確率を算出する。メインキャラクタおよびメイン舞台決定手段９０２は、登場確率が或る閾値以上の登場人物および場所を潜在主人公および潜在中心位置として選択する。要約データ作成手段９０３は、コンテンツデータ取得手段９００から送られてきた各フレームの付加情報を参照して、メインキャラクタおよびメイン舞台決定手段９０２で選択された潜在主人公および潜在中心位置の双方が同一フレーム内に現れているフレームを選択し、その選択したフレームを時系列的に配列し直すことにより、コンテンツデータ９０４のストーリー的な要約である要約データを作成する。ただし、各潜在主人公および各潜在中心位置が登場するフレームをどのくらい選択して要約データを作成するかについての明確な記述はない。

上述したように、編集対象となる入力映像に登場する対象物の登場率を考慮して新規映像を生成する従来の映像生成装置では、各対象物の登場率は、潜在主人公および潜在中心位置を決定するためにだけ利用されており、各対象物を新規映像中にどのくらい登場させるかを決める基準に利用する考えはなかった。このため、各対象物を新規映像中にどのくらい登場させるかは別途設定する必要があり、入力映像中における各対象物の登場率に応じて新規映像中の各対象物の登場時間が決まるような新規映像などを生成するのが容易ではなかった。

本発明の第１の目的は、入力映像に現れる各対象物を新規映像にどのくらい登場させるかを、入力映像中における各対象物の登場率に応じて制御し得るようにすることにある。

本発明の第２の目的は、入力映像に現れる各対象物を新規映像にどのくらい登場させるかを、入力映像中における各対象物の登場率と利用者の好みとに応じて制御し得るようにすることにある。

本発明の第１の映像生成装置は、入力映像を編集して新規映像を生成する映像生成装置において、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換することを基本とする。より具体的には、入力映像に登場する各対象物の登場率を算出する登場率算出手段と、前記算出された各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する登場率提示長変換手段と、入力映像を編集して前記変換されて得られた各対象物に関する映像の提示長をほぼ満足する新規映像を生成する新規映像生成手段とを備えている。このような構成を採用し、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換することにより、本発明の第１の目的を達成することができる。

また本発明の第２の映像生成装置は、第１の映像生成装置において、前記登場率提示長変換手段は、登場率に対応する提示長が一意に定まるそれぞれ異なる複数の変換規則のうち、利用者によって選択された変換規則を使用して、各対象物の登場率を提示長に変換する。このような構成を採用し、利用者が選択した変換規則を使用して、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換することにより、本発明の第２の目的を達成することができる。

上記のとおりの本発明においては、登場率算出手段が、入力映像に登場する各対象物の登場率を算出し、登場率提示長変換手段が、前記算出された各対象物の登場率を、予め定められた変換規則あるいは利用者が選択した変換規則を使用して、新規映像における各対象物に関する映像の提示長に変換し、新規映像生成手段が、入力映像を編集して前記変換されて得られた各対象物に関する映像の提示長をほぼ満足する新規映像を生成する。

本発明によれば、入力映像に現れる各対象物を新規映像にどのくらい登場させるかを、入力映像中における各対象物の登場率に応じて制御できる。その理由は、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換するためである。これにより、入力映像に登場する対象物が入力映像にどれくらい登場するのかを利用者が理解できるような新規映像などを容易に生成することが可能になる。

また、利用者が選択した変換規則を使用して入力映像に登場する各対象物の登場率を新規映像における各対象物に関する映像の提示長に変換する構成によれば、入力映像に現れる各対象物を新規映像にどのくらい登場させるかを、入力映像中における各対象物の登場率と利用者の好みとに応じて制御することができる。これにより、入力映像に登場する対象物が入力映像にどれくらい登場するのかを利用者が理解できるような新規映像、入力映像に登場する各対象物が均等に登場する新規映像など、各種の映像を選択的に生成することが可能となる。

従来の映像生成装置のブロック図である。 本発明の第１の実施の形態の構成を示すブロック図である。 本発明の第１の実施の形態におけるフレーム記憶部に記憶される画像情報の一例を示す図である。 本発明の第１の実施の形態におけるフレーム関連情報記憶部に記憶されるフレーム関連情報の一例を示す図である。 本発明の第１の実施の形態の動作を示す流れ図である。 本発明の第２の実施の形態の構成を示すブロック図である。 本発明の第２の実施の形態の動作を示す流れ図である。 本発明の第３の実施の形態の構成を示すブロック図である。 本発明の第３の実施の形態におけるフレーム記憶部に記憶される画像情報の一例を示す図である。 本発明の第３の実施の形態におけるフレーム関連情報記憶部に記憶されるフレーム関連情報の一例を示す図である。 本発明の第３の実施の形態の動作を示す流れ図である。 本発明の第４の実施の形態の構成を示すブロック図である。 本発明の第５の実施の形態の構成を示すブロック図である。 本発明の実施例１の構成を示すブロック図である。 本発明の実施例１において、全出演者が均等に登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、全出演者が登場率に比例して登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、特定の登場率以上の全出演者が登場率に比例して登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、登場率が中位の出演者が出演率に比例して登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、特定の登場率の出演者が長く他の出演者が均等に登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、出演率の低い出演者のみが均等に登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例１において、出演率の高い出演者ほど長く登場する新規映像を作成するための変換規則の一例を示す図である。 本発明の実施例２の構成を示すブロック図である。 本発明の実施例２において、登場率提示長変換方式の選択時にディスプレイに表示される選択肢の一例を示す図である。 本発明の実施例３の構成を示すブロック図である。

符号の説明

１００，２００，３００，４００，５００…データ処理装置
１０１，２０１，３０１…登場率算出手段
１０１ａ，２０１ａ…対象物検出手段
３０１ａ…対象物群検出手段
１０１ｂ，２０１ｂ…登場率決定手段
３０１ｂ…特徴量抽出手段
３０１ｃ…クラスタリング手段
３０１ｄ…登場率決定手段
１０２，２０２，３０２…登場率提示長変換手段
２０２ａ…変換規則選択手段
１０３，２０３，３０３…新規映像生成手段
１１０，２１０，３１０，４１０，５１０…映像入力手段
１２０，２２０，３２０，４２０，５２０…記憶装置
１２１，２２１，３２１…対象物検出フレーム記憶手段
１２１ａ，２２１ａ，３２１ａ…フレーム記憶部
１２１ｂ，２２１ｂ，３２１ｂ…フレーム関連情報記憶部
１２２，２２２，３２２…変換規則記憶部
１３０，２３０，３３０，４３０，５３０…映像出力手段
２４０，５４０…コマンド入力装置
４４０，５５０…映像生成用プログラム

［第１の実施の形態］
次に本発明の第１の実施の形態について図面を参照して詳細に説明する。

図２を参照すると、本発明の第１の実施の形態にかかる映像生成装置は、プログラム制御により動作するデータ処理装置１００と、映像を入力する映像入力手段１１０と、記憶装置１２０と、映像を出力する映像出力手段１３０とから構成されている。

映像入力手段１１０は、映像を入力するための手段であり、新規映像の作成対象となる映像はこの映像入力手段１１０を利用して入力される。映像出力手段１３０は、映像を出力するためのものであり、生成された新規映像はこの映像出力手段１３０を用いて出力される。

記憶装置１２０は、対象物検出フレーム記憶手段１２１と変換規則記憶部１２２とを有する。対象物検出フレーム記憶手段１２１は、対象物が登場している映像フレームを記憶するフレーム記憶部１２１ａと、対象物が登場している映像フレームのフレーム番号を対象物ごとに記憶するフレーム関連情報記憶部１２１ｂとを含む。変換規則記憶部１２２は、変換テーブルや変換式などの形式で表現された変換規則を１つ記憶している。変換規則は、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換するための規則である。ここで、使用する変換規則は、登場率が与えられるとそれに対応する提示長として、０でない提示長を与える変換規則であっても良いし、登場率の値によっては０となる提示長を与える変換規則であっても良い。

データ処理装置１００は、登場率算出手段１０１と、登場率提示長変換手段１０２と、新規映像生成手段１０３とを含む。

登場率算出手段１０１は、入力映像に含まれる各対象物の登場率を算出するもので、対象物検出手段１０１ａと登場率決定手段１０１ｂとを含む。

対象物検出手段１０１ａは、映像入力手段１１０から受け取った映像の各フレームから対象物を検出する。対象物検出手段１０１ａは、対象物が検出されたフレームの画像情報をフレーム記憶部１２１ａに記憶する。対象物が検出されないフレームの画像情報もあわせて、フレーム記憶部１２１ａに記憶しても良い。また対象物検出手段１０１ａは、対象物が検出されたフレームのフレーム番号を、対象物ごとにフレーム関連情報記憶部１２１ｂに記憶する。図３に、フレーム記憶部１２１ａに記憶される画像情報の一例を、また図４にフレーム関連情報記憶部１２１ｂに記憶されるデータ構造の一例を示す。

ここで、対象物は、映像に撮影されたものの中で利用者が着目するものであれば何であっても構わない。例えば、対象物の代表例としては、人物Ａ、人物Ｂといった特定人物、犬Ａ、犬Ｂ等の動物や木Ａ、木Ｂ等の植物、東京タワー、ベイブリッジなどの建造物、富士山、琵琶湖といった自然物、カメラ、車といった人工物などが挙げられる。

登場率決定手段１０１ｂは、フレーム関連情報記憶部１２１ｂに記憶されたフレーム関連情報から各対象物が検出されたフレームの枚数と、映像入力手段１１０から得られる入力映像の全フレーム数とから、各対象物の登場率を算出して登場率提示長変換手段１０２に出力する。登場率の算出はフレーム数を基準にする以外に、シーン、ショットあるいはトピック等、何らかの基準で区切られた映像区間の数を基準に計算しても良い。

登場率提示長変換手段１０２は、登場率決定手段１０１ｂから各対象物の登場率を受け取り、変換規則記憶部１２２から読み出した変換規則を使用して、入力映像に登場する各対象物の登場率を新規映像における各対象物に関する映像の提示長に変換し、新規映像生成手段１０３に出力する。ここで、映像の提示長とは、新規映像において提示する映像の時間の長さ、あるいはフレーム数、あるいは何らかの条件により映像を区切ることで生成される映像区間の個数のいずれかである。

新規映像生成手段１０３は、登場率提示長変換手段１０２から各対象物の提示長を受け取り、入力映像を編集して各対象物に関する映像の提示長をほぼ満足する新規映像を生成する。入力映像に含まれるフレームのうち、或る対象物が登場しているフレームの番号はフレーム関連情報記憶部１２１ｂを参照することで認識でき、そのフレーム番号のフレームの映像情報はフレーム記憶部１２１ａから読み出すことができる。各対象物に関する映像の提示長をほぼ満足する新規映像を生成する方法は種々考えられ、本発明はその方法を限定するものでないが、本実施の形態では、新規映像生成手段１０３は、フレーム関連情報記憶部１２１ｂに対象物ごとに記憶されたフレーム番号から各対象物の提示長分だけ新規映像に利用するフレーム番号を選択し、次に、各対象物について、提示長分選択されたフレーム番号に対応する画像情報をフレーム記憶部１２１ａから取得し、次に、これら取得したフレームを時系列順に合成することで、新規映像を生成する。そして、この生成された新規映像を映像出力手段１３０に出力する。

次に、図２及び図５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、対象物検出手段１０１ａは、入力映像に含まれる対象物が検出されたフレームの枚数を対象物ごとに計測する変数である対象物検出フレーム数と、入力映像の全フレーム数を計測する変数である入力映像フレーム数とをそれぞれ０に初期設定する（図５のステップＡ０１）。

次に、映像入力手段１１０は、対象物検出手段１０１ａに映像を入力する（ステップＡ０２）。対象物検出手段１０１ａは、入力映像からフレームを１つずつ抽出し（ステップＡ０３）、抽出したフレームから対象物を検出する（ステップＡ０４）。

対象物の検出には、例えばパターン認識の手法を用いる。一例として、対象物検出手段１０１ａにおいて、予めテンプレートとして記憶した対象物の画像と入力フレームにおける画像との間で画素値に基づく差分を算出し、差分が閾値以下のとき入力画像に当該テンプレートの対象物が存在すると判定する手法が挙げられる。テンプレートとして記憶する対象物の画像は、ユーザが映像入力手段１１０を介して入力する画像であっても良いし、ユーザが指定する対象物の特徴をもとに対象物検出手段１０１ａが選択した画像であっても良い。対象物検出には、例示したテンプレートを利用した手法以外の別の手法を適用しても構わない。

対象物検出手段１０１ａは、対象物が検出された場合（ステップＡ０５）、対象物の検出されたフレームの画像情報をフレーム記憶部１２１ａに記憶し、フレーム番号を対象物ごとにフレーム関連情報記憶部１２１ｂに記憶する（ステップＡ０６）。また、登場率決定手段１０１ｂは、対象物の検出されたフレーム数を対象物ごとに計測する対象物検出フレーム数と、入力映像の全フレーム数を計測する入力映像フレーム数とをそれぞれ１増加させる（ステップＡ０７、Ａ０８）。

対象物が検出されない場合には、登場率決定手段１０１ｂは入力映像フレーム数のみを１増加させる（ステップＡ０８）。

ステップＡ０３からステップＡ０８の処理を、入力映像の全フレームについて行う（ステップＳ０９）。

次に登場率決定手段１０１ｂは、入力映像フレーム数と対象物検出フレーム数とから各対象物の登場率を算出する（ステップＡ１０）。算出された各対象物の登場率は、登場率提示長変換手段１０２に入力される。

登場率提示長変換手段１０２は、各対象物の登場率を受け取ると、変換規則記憶部１２２から読み出した変換規則に従って、各対象物の登場率を新規映像における各対象物の提示長に変換する（ステップＡ１１）。変換して得られた各対象物の提示長は、新規映像生成手段１０３に入力される。

新規映像生成手段１０３は、各対象物の提示長を受け取ると、フレーム関連情報記憶部１２１ｂに対象物ごとに記憶されたフレーム番号から、各対象物の提示長分だけ新規映像に利用するフレーム番号を選択する（ステップＡ１２）。そして、各対象物について提示長分選択されたフレーム番号の画像情報をフレーム記憶部１２１ａから取得して合成し、生成された新規映像を映像出力手段１３０に出力する（ステップＡ１３）。

映像出力手段１３０は、新規映像生成手段１０３から受け取った映像を出力する（ステップＡ１４）。

次に、本実施の形態の効果について説明する。

本実施の形態では、入力映像に登場する対象物に関する映像を作成する際に、新規映像における各対象物の映像の提示長を、入力映像に登場する各対象物の登場確率から変換することによって決定するように構成されているため、入力映像中における各対象物の登場率に応じて新規映像中の各対象物の登場時間を制御することができる。このため、入力映像における各対象物がどれくらい登場しているかを利用者が理解することができる新規映像などを容易に生成することができる。

なお、前記した第１の実施の形態では、変換規則を記憶装置１２０に記憶したが、登場率提示長変換手段１０２のロジック内に変換規則を組み込む実施の形態も考えられる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図６を参照すると、本発明の第２の実施の形態にかかる映像生成装置は、コマンド入力装置２４０を備えていること、変換規則を１つでなく、それぞれ異なる複数の変換規則を記憶する変換規則記憶部２２２を有すること、登場率提示長変換手段２０２が、変換規則記憶部２２２に記憶された複数の変換規則のうちからコマンド入力装置２４０を通じて利用者が入力したコマンドによって指定された１つの変換規則を選択する変換規則選択手段２０２ａを有することが、図２に示した第１の実施の形態と相違している。

次に、図６及び図７のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

図７のステップＢ０１からステップＢ１０までの動作は、第１の実施の形態の動作を示した図５のステップＡ０１からステップＡ１０までと同じである。ただし、ステップＢ０１の初期設定では、第１の実施の形態と同様の処理に加えて、変換規則記憶部２２２に記憶された複数の変換規則の中の１つの変換規則をデフォルトの変換規則として設定する処理も行われる。このデフォルトの変換規則は、複数種類の新規映像のうち初期設定された種類の新規映像を生成するための変換規則である。

登場率決定手段２０１ｂにより入力映像中に登場する各対象物の登場率の算出が完了すると、次にコマンド入力装置２４０は、映像生成を終了するかどうか、映像生成を続ける場合には、どのような種類の新規映像を生成するのかといった質問をユーザに提示する（ステップＢ１１）。

コマンド入力装置２４０から入力するコマンドによって、ユーザが映像生成の終了を選択した場合には、新規映像生成処理を終了する（ステップＢ１２、Ｂ１３）。それ以外のコマンドの場合、変換規則選択手段２０２ａは、ユーザが入力したコマンドから初期設定と異なる新規映像を生成するかどうかを判定する（ステップＢ１４）。

この判定の結果、ユーザが初期設定と異なる或る種類の新規映像を生成する場合、変換規則選択手段２０２ａは、変換規則記憶部２２２に記憶された複数の変換規則の中から該当する種類の新規映像を生成するための変換規則を選択する（ステップＢ１５）。他方、ユーザが初期設定の新規映像を生成すると判定した場合は、変換規則選択手段２０２ａは、変換規則記憶部２２２に記憶された複数の変換規則の中から初期設定された種類の新規映像を生成するための変換規則を選択する（ステップＢ１６）。

次に登場率提示長変換手段２０２は、変換規則選択手段２０２ａで選択された変換規則を用いて、第１の実施の形態と同様に、登場率決定手段２０１ｂから入力された各対象物の登場率を映像提示長に変換し、新規映像生成手段２０３に入力する（ステップＢ１７）。新規映像生成手段２０３は、第１の実施の形態と同様に、フレーム関連情報記憶部２２１ｂに対象物ごとに記憶されたフレーム番号から、各対象物の提示長分だけ新規映像に利用するフレーム番号を選択し（ステップＢ１８）、この選択したフレーム番号の画像情報をフレーム記憶部２２１ａから取得して合成し、生成された新規映像を映像出力手段２３０に出力する（ステップＢ１９）。映像出力手段２３０は、新規映像生成手段２０３から受け取った映像を出力する（ステップＢ２０）。そして、ステップＢ１１の処理に戻る。

ユーザがコマンド入力装置２４０によりステップＢ１３において映像生成処理の終了を選択するまで、ステップＢ１１からＢ２０までの処理が繰り返される。

次に、本実施の形態の効果について説明する。

本実施の形態では、第１の実施の形態と同様の効果が得られると同時に、登場率を提示長に変換するための変換規則を複数備え、利用者が選択した変換規則を使用して、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換するため、入力映像に現れる各対象物を新規映像にどのくらい登場させるかを、入力映像中における各対象物の登場率と利用者の好みとに応じて制御することができる。このため、利用者は、入力映像に登場するすべての対象物を把握可能な新規映像、入力映像に高い登場率で登場する対象物を把握可能な新規映像など、各種の映像を選択的に生成することが可能となる。

また本実施の形態では、変換規則を選択し新規映像を生成して出力する処理を繰り返すことができるため、利用者は対象物の提示長が多様な新規映像を複数生成することができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。

図８を参照すると、本発明の第３の実施の形態にかかる映像生成装置は、対象物検出手段１０１ａの代わりに対象物検出手段３０４を備えている点で、図２に示した第１の実施の形態と相違している。また、フレーム関連情報記憶部３２１ｂは、図１０に示すように、対象物群名ごとに、その対象物群が検出されたフレーム番号、フレーム内における当該対象物の位置、その特徴量およびクラスタ番号を保持する構造となっている。

対象物検出手段３０４は、対象物群検出手段３０１ａと特徴量抽出手段３０１ｂとクラスタリング手段３０１ｃとを含む。

対象物群検出手段３０１ａは、対象物検出手段１０１ａと同様にパターン認識により、映像入力手段３１０から受け取った映像の各フレームから対象物群を検出する。ここで、「対象物群」と表記したのは、ここで検出された対象物群が後述するように複数に分類されてその各々が１つの対象物になる場合があるためであり、フレーム中に物理的に離れて現れる複数の対象物を抽出する意味ではない。

対象物群検出手段３０１ａは、図９に示すように、対象物群が検出されたフレームの画像情報をフレーム記憶部３２１ａに記憶する。また、図１０に示すように、対象物群が検出されたフレームのフレーム番号とフレームにおける対象物群の検出位置とをフレーム関連情報記憶部３２１ｂに記憶する。

特徴量抽出手段３０１ｂは、フレーム記憶部３２１ａに記憶された各フレームごとに、そのフレームの画像情報からフレーム関連情報記憶部３２１ｂに記憶された各フレームにおける対象物群の検出位置を利用して対象物群部分の画像を切り出し、その画像から対象物群の特徴量を抽出する。特徴量抽出手段３０１ｂは、図１０に示すように、抽出した特徴量を、対象物群ごとにフレーム関連情報記憶部３２１ｂに記憶する。

クラスタリング手段３０１ｃは、フレーム関連情報記憶部３２１ｂに記憶された特徴量について、対象物群ごとに値の類似する特徴量が抽出されたフレームを同一の対象物が検出されたフレームとして同一のクラスタにまとめる。そして、同一のクラスタに属するフレームには同一のクラスタ番号を付与し、図１０に示すようにフレーム関連情報記憶部３２１ｂに記憶する。

この同一のクラスタ番号が付与されたフレームは、第１の実施の形態における対象物検出手段１０１ａで検出されたフレームと同様に、同じ対象物が登場しているフレームとして扱われる。従って、登場率決定手段３０１ｄは、フレーム関連情報記憶部３２１ｂに記憶された各クラスタについて、同一クラスタに含まれるフレーム数を計測し、各クラスタに含まれるフレーム数を、各対象物が検出されたフレーム数と等価に扱って登場率の算出に利用する。また、新規映像生成手段３０３は、フレーム関連情報記憶部３２１ｂに記憶された各クラスタ番号が付与された（各対象物が検出された）フレームから、各対象物の提示長分だけ新規映像に利用するフレーム番号を選び、各対象物について、提示長分選択されたフレーム番号の画像情報をフレーム記憶部３２１ａから取得して合成する。

次に、図８及び図１１のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、対象物群検出手段３０１ａは、入力映像に含まれる対象物が検出されたフレームの枚数を対象物ごとに計測する変数である対象物検出フレーム数と、入力映像の全フレーム数を計測する変数である入力映像フレーム数とをそれぞれ０に初期設定する（図１１のステップＣ０１）。

次に、映像入力手段３１０は、対象物群検出手段３０１ａに映像を入力する（ステップＣ０２）。対象物群検出手段３０１ａは、入力映像からフレームを１つずつ抽出し（ステップＣ０３）、抽出したフレームから対象物群を検出する（ステップＡ０４）。対象物群の検出は第１の実施の形態と同様にパターン認識により行う。対象物群検出手段３０１ａは、対象物群が検出された場合には、対象物群の検出されたフレームの画像情報をフレーム記憶部３２１ａに記憶し、フレーム番号と対象物群の検出位置とを対象物群ごとにフレーム関連情報記憶部３２１ｂに記憶する（ステップＣ０５、Ｃ０６）。また登場率決定手段３０１ｄは、対象物群検出手段３０１ａにフレームが入力されるごとに、入力映像の全フレーム数を計測する入力映像フレーム数を１増加させる（ステップＣ０７）。

全フレームについて以上の処理を終了すると、特徴量抽出手段３０１ｂは、フレーム記憶部３２１ａに記憶された各フレームの画像情報ごとに、フレーム関連情報記憶部３２１ｂに記憶された各フレームにおける対象物群の検出位置を利用して対象物の画像を切り出してその特徴量を抽出し、抽出した特徴量を、対象物群ごとにフレーム関連情報記憶部３２１ｂに記憶する（ステップＣ０９）。

次にクラスタリング手段３０１ｃは、フレーム関連情報記憶部３２１ｂに記憶された特徴量について、対象物群ごとに値の類似する特徴量が抽出されたフレームを同一の対象物が検出されたフレームとして同一のクラスタにまとめ、同一のクラスタに属するフレームには同一のクラスタ番号を付与し、フレーム関連情報記憶部３２１ｂに記憶する（ステップＣ１０、Ｃ１１）。

次に登場率決定手段３０１ｄは、同一クラスタに属するフレームは、同一の対象物が検出されたフレームであることを意味するため、フレーム関連情報記憶部３２１ｂに記憶された各クラスタに属するフレームの枚数を、各対象物が検出されたフレーム数を表す対象物検出フレーム数として計測する（ステップＣ１２）。そして登場率決定手段３０１ｄは、映像入力手段３１０から得られる入力映像の全フレーム数と対象物検出フレーム数とから、各対象物の登場率を算出して登場率提示長変換手段３０２に入力する（ステップＣ１３）。

登場率提示長変換手段３０２は、各対象物の登場率を受け取ると、変換規則記憶部３２２から読み出した変換規則に従って、各対象物の登場率を新規映像における各対象物の提示長に変換する（ステップＣ１４）。変換して得られた各対象物の提示長は、新規映像生成手段３０３に入力される。新規映像生成手段３０３は、各対象物の提示長を受け取ると、フレーム関連情報記憶部３２１ｂに記憶された各クラスタ番号が付与された（各対象物が検出された）フレーム番号から、各対象物の提示長分だけ新規映像に利用するフレーム番号を選択する（ステップＣ１５）。そして、各対象物について提示長分選択されたフレーム番号の画像情報をフレーム記憶部３２１ａから取得して合成し、生成された新規映像を映像出力手段３３０に出力する（ステップＣ１６）。映像出力手段３３０は、新規映像生成手段３０３から受け取った映像を出力する（ステップＣ１７）。

次に、本実施の形態の効果について説明する。

本実施の形態では、第１の実施の形態と同様の効果が得られると同時に、対象物群検出手段３０１ａが検出する対象物群をその特徴量に基づいて１以上の対象物に分類して、その分類した個々の対象物の登場率を求めて新規映像を作成するため、パターン認識で同じ対象物と認識されるものに比べてより細かな単位の対象物について、その登場率に基づく新規映像を生成することができる。例えば、対象物群検出手段３０１ａが同じ対象物群として検出する単位を動物体としたときに、対象物群検出手段３０１ａで検出された動物体からそれより細かい単位である人物、犬、車などの対象物を検出して新規映像を作成することができる。また、対象物群検出手段３０１ａが同じ対象物群として検出する単位を人物としたときには、対象物群検出手段３０１ａで検出された人物からそれより細かい単位である人物Ａ、人物Ｂなどの特定人物を検出して新規映像が作成できる。さらに、対象物群検出手段３０１ａが同じ対象物群として検出する単位を人物Ａとしたときに、対象物群検出手段３０１ａで検出された人物Ａから、より細かい単位である人物Ａの笑った顔、人物Ａの怒った顔、人物Ａの泣いた顔など、特定人物の特定部位の状態を検出して新規映像が作成できる。このように、本実施の形態を利用することで対象物を群としてしか検出できない場合であっても、各対象物の登場率に基づく新規映像が生成できる。
［第４の実施の形態］
次に本発明の第４の実施の形態について図面を参照して詳細に説明する。

図１２を参照すると、本発明の第４の実施の形態にかかる映像生成装置は、第１及び第３の実施の形態と同様なデータ処理装置４００、映像入力手段４１０、記憶装置４２０および映像出力手段４３０を備え、さらに映像生成用プログラム４４０を有している。

映像生成用プログラム４４０は、磁気ディスクや半導体メモリなどのコンピュータによって読み取り可能な記録媒体に記憶されており、コンピュータを構成するデータ処理装置４００に読み込まれ、データ処理装置４００の動作を制御することにより、データ処理装置４００上で、図２に示した第１の実施の形態における対象物検出手段１０１ａ、登場率決定手段１０１ｂ、登場率提示長変換手段１０２および新規映像生成手段１０３を実現して、図５に示す処理を行わせるか、または、図８に示した第３の実施の形態における対象物群検出手段３０１ａ、特徴量抽出手段３０１ｂ、クラスタリング手段３０１ｃ、登場率決定手段３０１ｄ、登場率提示長変換手段３０２および新規映像生成手段３０３を実現して、図１１に示した処理を行わせる。
［第５の実施の形態］
次に本発明の第４の実施の形態について図面を参照して詳細に説明する。

図１３を参照すると、本発明の第５の実施の形態にかかる映像生成装置は、第２の実施の形態と同様なデータ処理装置５００、映像入力手段５１０、記憶装置５２０、映像出力手段５３０およびコマンド入力装置５４０を備え、さらに映像生成用プログラム５５０を有している。

映像生成用プログラム５５０は、磁気ディスクや半導体メモリなどのコンピュータによって読み取り可能な記録媒体に記憶されており、コンピュータを構成するデータ処理装置５００に読み込まれ、データ処理装置５００の動作を制御することにより、データ処理装置５００上で、図６に示した第２の実施の形態における対象物検出手段２０１ａ、登場率決定手段２０１ｂ、登場率提示長変換手段２０２および新規映像生成手段２０３を実現して、図７に示す処理を行わせる。

次に、具体的な実施例を用いて本発明の実施の形態の構成および動作をより詳しく説明する。かかる実施例１は、本発明の第１の実施の形態に対応するものである。

実施例１では、本発明の映像生成装置を入力映像に登場する人物についての映像生成に利用した例を示す。図１４に示すように、本実施例は、映像入力手段として映像入力端子６１０を、データ処理装置としてパーソナル・コンピュータ６００を、記憶装置としてハードディスク６２０を、映像出力手段としてディスプレイ６３０をそれぞれ備えている。

パーソナル・コンピュータ６００は、登場率算出手段６０１と登場率提示長変換手段６０２と新規映像生成手段６０３として機能する中央演算装置を有している。登場率算出手段６０１には、人物検出手段６０１ａと登場率決定手段６０１ｂとが含まれる。

ハードディスク６２０は、人物検出手段６０１ａによって人物が検出されたフレームの画像情報を記憶するフレーム記憶部６２１ａと、人物が検出されたフレームのフレーム番号を記憶するフレーム関連情報記憶部６２１ｂとを有している。

今、映像入力端子６１０から映像が入力されたとする。中央演算装置の人物検出手段６０１ａは、入力映像の各フレームから人物Ａや人物Ｂといった特定人物の検出を行い、特定人物が検出されたフレームの画像情報をハードディスク６２０内のフレーム記憶部６２１ａに記憶する。また、フレーム番号をフレーム関連情報記憶部６２１ｂに記憶する。個々の人物、例えば人物Ａの検出方法として、例えば人物Ａの映っている画像をテンプレートとして記憶し、入力画像とテンプレートの差分が或る閾値以下のとき人物Ａが入力画像中に存在すると判定する手法が挙げられる。また、人物Ａの顔画像から取り出した目、鼻、口等の特徴を記憶しておき、入力画像に人物Ａの特徴に似た特徴が検出されたときに人物Ａが入力画像中に存在すると判定する手法も利用できる。勿論、個々の人物の検出手法として、上記の例以外の他の手法を適用しても構わない。

人物検出手段６０１ａは、人物Ａ，人物Ｂなどの各人物が検出されたフレーム数と入力映像の全フレーム数とを計測する。ここで人物検出手段６０１ａが計測するのは、フレーム数であっても、シーンやショット、チャプター等、何らかの基準で区切られた映像区間の数であっても良い。

人物の検出は、あらかじめ作成した人物の人体や顔の形状および色をもとにして、テンプレートマッチングや肌色検出、エッジの方向や密度によるモデル等を用いることにより実現する。

登場率決定手段６０１ｂは、フレーム関連情報記憶部６２１ｂに記憶された各人物の検出フレーム数と入力映像から得られた入力映像の全フレーム数とから、各人物の登場率を算出する。

登場率として、単純なフレーム数の比に基づく登場率に加え、位置や大きさなどの様々な要素を考慮に入れて算出しても良い。また、登場率の順位に応じて１位の登場率を５０％、２位の登場率を４０％というように、登場率の再割り当てを行っても良い。

登場率の算出方法を以下に例示する。

（１）フレーム数に基づく登場率
入力映像の全フレーム数に対する各人物の登場するフレーム数により算出する。

［人物Ａの登場率］＝［人物Ａの登場するフレーム数］／［入力映像の全フレーム数］
…（式１）
（２）シーン数に基づく登場率
入力映像の全シーン数に対する、各人物の登場するシーン数により算出する。各フレームから取り出された色や形状等の特徴量が隣接フレーム間で大きく変化した箇所や、映像が意味的に変化した箇所をシーンの区切りとすることにより、シーンを定義することができる。

［人物Ａの登場率］＝［人物Ａの登場するシーン数］／［入力映像の全シーン数］
…（式２）
（３）ショット数に基づく登場率
入力映像の全ショット数に対する、各人物の登場するショット数により算出する。ショットとは、カメラのオンオフによる映像の切れ目で区切られた映像区間を指す。

［人物Ａの登場率］＝［人物Ａの登場するショット数］／［入力映像の全ショット数］
…（式３）
（４）チャプター数に基づく登場率
入力映像の全チャプター数に対する、各人物の登場するチャプター数により算出する。
チャプターは、映像制作者等が設定した映像の内容や単位時間の切れ目によって区切られた映像区間を指す。

［人物Ａの登場率］＝［人物Ａの登場するチャプター数］／［入力映像の全チャプター数］
…（式４）
（５）位置による重みに基づく登場率
入力映像の全フレーム数に対する、検出位置による重みづけを行った各人物の登場するフレーム数により算出する。

…（式５）
ここで、Ｎは、人物Ａが検出されたフレーム数、ｗaiはフレーム内での人物Ａの検出位置による重みを表す。ｗaiは、０以上１以下の範囲で、人物Ａの検出位置がフレームの中心に近いほど大きな値をとる。

（６）大きさによる重みに基づく登場率
入力映像の全フレーム数に対する、大きさによる重み付けを行った各人物の登場するフレーム数により算出する。

…（式６）
ここで、Ｎは、人物Ａが検出されたフレーム数、ｗbiはフレーム内での人物Ａの大きさによる重みを表す。ｗbiは、０以上１以下の範囲で、人物Ａの領域がフレーム内に占める割合が大きいほど、大きな値をとる。

（７）フレームの連続性による重みに基づく登場率
入力映像の全フレーム数に対する、検出フレームの連続性により重み付けされた各人物の登場するフレーム数により算出する。

…（式７）
ここで、Ｎは、人物Ａが検出されたフレーム数、ｗciは検出フレームの連続性による重みを表す。ｗciは、０以上１以下の範囲で、人物Ａが連続して検出される程大きな値をとる。

上述のようにして算出された登場率は、登場率提示長変換手段６０２に入力される。

登場率提示長変換手段６０２は、変換規則記憶部６２２に記憶された変換規則を用いて、登場率決定手段６０１ｂから入力された各人物の登場率を新規映像における各人物の提示長に変換する。提示長とは、フレーム数、あるいはシーンやショット、チャプター等の何らかの法則により区切られた映像区間の個数をさす。

登場率提示長変換手段６０２において、登場率を以下に示すような各種の変換規則を用いて提示長に変換することで、様々なタイプの映像を生成できる。

（１）全出演者が均等に登場する新規映像
この新規映像は、入力映像に登場する全ての人物が、均等な提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図１５に示すような特性をもつ数式や変換テーブルなどで表現された変換規則が用いられる。

図１５に示す変換規則によれば、登場率ａの人物Ａと登場率ｂの人物Ｂとでは登場率は異なるが、人物Ａの映像と人物Ｂの映像は、新規映像において等しい提示長Ｌだけ用いられる。ユーザはこの新規映像を視聴することにより、入力映像に登場する出演者を把握できる。

（２）全出演者が登場率に比例して登場する新規映像
この新規映像は、入力映像に登場する全ての人物が、登場率に比例した提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図１６に示すような特性をもつ数式や変換テーブルなどで表現された変換規則が用いられる。

図１６に示す変換規則によれば、登場率ａの人物Ａと登場率ｂの人物Ｂは、登場率ａよりも登場率ｂの方が大きいため、新規映像における人物Ｂの映像は、登場率の高さに比例して長い提示長で用いられる。ユーザはこの新規映像を視聴することにより、入力映像に登場する出演者をその出演率とともに把握できる。

（３）特定の登場率以上の出演者が登場率に比例して登場する新規映像
この新規映像は、入力映像に登場する人物のうち登場率がある閾値Ｔ以上の人物のみが、その登場率に比例した提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図１７に示すような特性をもつ数式や変換テーブルなどで表現された変換規則が用いられる。

図１７に示す変換規則によれば、登場率ａの人物Ａは、登場率ａが閾値Ｔよりも小さいため、新規映像に人物Ａの映像は利用されない。また、登場率ｂの人物Ｂは、登場率ｂが閾値Ｔよりも大きいため、新規映像において人物Ｂの映像は登場率ｂに比例した提示長で用いられる。ユーザは、この新規映像を視聴することにより入力映像に長時間登場する人物（主役）を把握できる。

（４）登場率が中位の出演者が登場率に比例して登場する新規映像
この新規映像は、入力映像に登場する人物の中で登場率がある閾値Ｔ１以上かつ閾値Ｔ２以下の人物のみが、その登場率に比例した提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図１８に示すような特性を持つ数式や変換テーブルなどで表現された変換規則が用いられる。

図１８に示す変換規則によれば、登場率ａの人物Ａおよび登場率ｂの人物Ｂは、登場率が閾値Ｔ１未満もしくはＴ２よりも高いため、新規映像において人物Ａと人物Ｂの映像は用いられない。閾値の範囲内である登場率ｃの人物Ｃの映像は、登場率ｃに比例した提示長で利用される。ユーザは、この新規映像を視聴することにより入力映像に登場する準主役を把握できる。

（５）特定の登場率の出演者が長く、他の出演者は均等に登場する新規映像
この新規映像は、入力映像に登場する人物の中で登場率がある閾値Ｔ１以上かつ閾値Ｔ２以下の人物のみが長い提示長で登場し、それ以外の人物は短い提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図１９に示すような特性を持つ数式や変換テーブルなどで表現された変換規則が用いられる。

図１９に示す変換規則によれば、登場率ａの人物Ａは閾値の範囲外であるため、人物Ａの映像は短い提示長Ｌ１だけ用いられる。また、登場率ｂの人物Ｂは閾値の範囲内であるため、人物Ｂの映像は長い提示長Ｌ２だけ用いられる。ユーザは、この新規映像を視聴することにより、特定の出演率の人物の登場する映像を把握できる。

（６）出演率の低い出演者のみが均等に登場する新規映像
この新規映像は、入力映像に登場する人物の中で、登場率がある閾値Ｔ以下の人物が、均等な提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図２０に示すような特性を持つ数式や変換テーブルなどで表現された変換規則が用いられる。

図２０に示す変換規則によれば、人物Ａの登場率ａは閾値Ｔ以下であるため、新規映像において人物Ａの映像は提示長Ｌで用いられる。また、人物Ｂの登場率ｂは閾値Ｔよりも大きいため、新規映像において人物Ｂの映像は用いられない。ユーザは、この新規映像を視聴することにより入力映像に登場する脇役を把握できる。

（７）出演率の高い出演者ほど長く登場する新規映像
この新規映像は、入力映像において様々な登場率で出演する人物が、登場率に対して非線形な提示長で登場する新規映像である。本新規映像を生成するためには、たとえば図２１に示すような特性をもつ数式や変換テーブルなどで表現された変換規則が用いられる。

図２１で示す変換規則によれば、人物Ｂの登場率ｂは人物Ａの登場率ａよりも大きいため、新規映像における人物Ｂの映像は人物Ａよりも長い提示長で用いられる。ユーザはこの新規映像を視聴することにより、入力映像に登場する各出演者の登場率を明確に把握できる。

再び図１４を参照すると、新規映像生成手段６０３では、登場率提示長変換手段６０２から入力された各人物の提示長分だけ、人物検出フレーム記憶手段６２１のフレーム記憶部６２１ａから各人物が検出されたフレームを選択し、選択されたフレームを合成して新規映像を生成する。

フレーム選択手法としては、フレーム関連情報記憶部６２１ｂに記憶された各対象物の検出されたフレームから、各対象物の提示長分だけランダムに選択する手法がある。このほか、フレーム番号が連続するフレームを優先的に選択する手法や、入力映像中で大きな音声が検出された時間帯のフレームを重要フレームとして優先的に選択する手法や、クライマックスに当たることの多い映像の終盤付近のフレームを優先的に選択する手法などが例として挙げられる。

合成された新規映像は、ディスプレイ６３０に出力される。ユーザは、ディスプレイ６３０に出力された新規映像を視聴する。

実施例２では、本発明の映像生成装置を入力映像に登場する人物についての映像生成に利用した例を示す。かかる実施例２は、本発明の第２の実施の形態に対応するものである。

図２２に示すように、本実施例では、映像入力手段として映像入力端子７１０を、コマンド入力装置としてディスプレイとキーボード７４０を、データ処理装置としてパーソナル・コンピュータ７００を、記憶装置としてハードディスク７２０を、映像出力手段としてディスプレイ７３０をそれぞれ備えている。コマンド入力装置を構成するディスプレイと映像出力手段を構成するディスプレイとは、別々のディスプレイで構成してもよく、また、１台のディスプレイを兼用する形態としてもよい。

変換規則記憶部７２２は、実施例１で例示した複数の変換規則を記憶している。

映像入力端子７１０から映像が入力されると、登場率算出手段７０１は各出演者の登場率を実施例１と同様に算出し、登場率提示長変換手段７０２に入力する。登場率提示長変換手段７０２は、変換規則選択手段７０２ａを用いて、ディスプレイとキーボード７４０によるユーザからの入力コマンドをもとに変換規則記憶部７２２に記憶された複数の変換規則のうちから、一つの変換規則を選択する。

コマンド入力装置を構成するディスプレイに表示される選択肢の一例を図２３に示す。まず、ディスプレイには、実施例１で例示した種類の新規映像に対応する選択肢１から６と、初期設定の選択肢０と、映像生成処理を終了する選択肢７とが表示される。なお、選択肢１から６には、それに対応する種類の新規映像の生成に必要な変換規則が予め対応付けられている。また、初期設定の選択肢０には、それらの何れか１つの変換規則が予め対応付けられている。ユーザは、このような選択肢群からキーボード入力により希望する選択肢を選ぶ。なお、希望の特性をもった変換規則をユーザ自身が直接入力する構成を付加することもできる。

ユーザのキーボード入力を受けて、変換規則選択手段７０２ａは、選択された選択肢に対応する変換規則を変換規則記憶部７２２から選択する。登場率提示長変換手段７０２は、変換規則選択手段７０２ａによって選択された変換規則を用いて各登場人物の提示長を算出し、新規映像生成手段７０３に出力する。新規映像生成手段７０３は、フレーム関連情報記憶部７２１ｂに人物ごとに記憶されたフレーム番号から各人物の提示長分のフレームを選択し、選択したフレームに対応する画像情報をフレーム記憶部７２１ａから抽出する。そして、抽出したフレームを合成して新規映像を生成し、ディスプレイ７３０に出力する。

実施例３では、本発明の映像生成装置を入力映像に登場する人物についての映像生成に利用した例を示す。かかる実施例は本発明の第３の実施の形態に対応するものである。

図２４に示すように、本実施例では、映像入力手段として映像入力端子８１０を、データ処理装置としてパーソナル・コンピュータ８００を、記憶装置としてハードディスク８２０を、映像出力手段としてディスプレイ８３０を備えている。

映像入力端子８１０により映像が入力されると、パーソナル・コンピュータ８００内の各手段は以下のように動作する。

人物検出手段８０４の人物顔検出手段８０１ａにより、入力映像の各フレームについて人物顔を検出し、人物顔が検出されたフレームの画像情報はハードディスク８２０のフレーム記憶部８２１ａに記憶される。また、フレームのフレーム番号と顔の検出位置は、ハードディスク８２０のフレーム関連情報記憶部８２１ｂに記憶される。

顔特徴量抽出手段８０１ｂは、フレーム記憶部８２１ａに記憶された全フレームから、フレーム関連情報記憶部８２１ｂに記憶された顔の検出位置をもとに顔特徴量を抽出し、抽出された特徴量を各人物顔と対応付けてフレーム関連情報記憶部８２１ｂに記憶する。

クラスタリング手段８０１ｃは、フレーム関連情報記憶部８２１ｂに記憶された顔特徴量について、値の類似する特徴量が抽出されたフレームを同一人物が検出されたフレームとして同一のクラスタにまとめる。同一のクラスタに属するフレームには同一のクラスタ番号を付与し、フレーム関連情報記憶部８２１ｂに記憶する。

人物顔の検出手法の例として、参考文献１［岩井儀雄他３名、“画像処理による顔検出と顔認識”、情報処理学会研究報告（ＣＶＩＭ−１４９）、２００５年 ｐｐ．３４３〜３６８］に示されるように、顔（頭部）の輪郭が楕円の形状、目や口が細長の形状をしていることを利用して作成したテンプレートを用いて顔検出を行う手法や、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用して顔検出を行う手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法などの手法が挙げられる。また、大量の人物顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法として、ニューラルネットやサポートベクターマシン、AdaBoost法などを利用した手法が挙げられる。人物顔の検出手法として、上記の手法を利用しても別の手法を適用しても構わない。

人物顔の特徴量の例として、参考文献２［高木幹雄、下田陽久著、“新編 画像解析ハンドブック”、東京大学出版会 ２００４年９月 ｐｐ．１５６９−１５８２］に示されるように、顔の構造に関する知識を活用して目、鼻、口の形状や位置関係などを数値的に記述した特徴ベクトルや、顔の各画素の濃淡値の2次元配列として表現される特徴ベクトル、顔の各特徴点においてウェーブレット変換を施すことで得られるパターンの局所的な周期性とその方向性を表現可能なGabor jetと呼ばれる特徴ベクトルなどが挙げられる。人物間の類似度判定に用いる人物顔の特徴量として、上述の例を利用しても他の手法を適用しても構わない。

人物顔の特徴量をクラスタリングする手法の例として、参考文献３［赤松茂、“コンピュータによる顔の認識―サーベイ―”、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８０−Ａ Ｎｏ．８ ｐｐ．１２１ａ５〜１２３０］に示されるように、階層的クラスタリング法やK-means法が挙げられる。階層的クラスタリングは、はじめに全ての要素を要素１つからなるクラスタと考え、互いの距離の近いものから順にクラスタを融合することにより、適当な数のグループにまとめる手法である。また、K-means法は、あらかじめ固定された数のクラスタそれぞれに、クラスタの代表となるプロトタイプを定め、各要素を最も距離の近いプロトタイプの属するクラスタと判定する手法である。これらは、要素間の類似度を使って要素を分類する手法であるが、上記以外の別の手法を適用しても構わない。

登場率決定手段８０１ｄは、フレーム関連情報記憶部８２１ｂに記憶された各人物のクラスタに属するフレームの枚数から各人物の検出フレーム数を計測する。各人物の検出フレーム数と入力映像の全フレーム数とにより、実施例１で例示したような変換規則を用いて、各人物の登場率を算出し、算出した登場率を、登場率提示長変換手段８０２に入力する。

登場率提示長変換手段８０２は、実施例１で例示したような変換規則を用いて、各人物の提示長を決定し、決定した各人物の提示長を新規映像生成手段８０３に入力する。

新規映像生成手段８０３は、登場率提示長変換手段８０２から各対象物の提示長を受け取り、フレーム関連情報記憶部８２１ｂに記憶された各クラスタ番号が付与された（各対象物が検出された）フレームから、各対象物の提示長分だけ新規映像に利用するフレーム番号を選ぶ。そして各対象物について、提示長分選択されたフレーム番号の画像情報を、フレーム記憶部８２１ａから取得して合成し、新規映像を作成する。各人物の検出フレームから、新規映像に利用するフレームを提示長分だけ選択する処理は、新規映像の用途に応じて以下のようにして実現する。

（１）平均的な特性のフレームを利用した新規映像
まず、フレーム関連情報記憶部８２１ｂにおいて、同一人物が含まれるフレームとして同一クラスタにまとめられた各人物の検出フレームから特徴量を取り出す。次に、同一クラスタに属するフレームから抽出された同一人物の顔特徴量の値について特徴空間における分布を観測する。このとき、分布の中心に最も近い値が抽出されたフレームは、クラスタの最も平均的な特性を持つフレームと考えられる。平均的な特性とは、例として、様々な表情の顔が集まった際の真顔や、様々な向きの顔が集まった際の正面顔や、様々な照明下での顔が集まった際の均等な照明条件下の顔画像が挙げられる。そこで、平均的な特性のフレームを利用した新規映像を作成する際には、各人物の顔特徴量の値の分布において中心に近い特徴量値が抽出されたフレームから順に新規映像の生成に利用する。

（２）多様な特性のフレームを利用した新規映像
まず、同一人物が含まれるフレームとして同一クラスタにまとめられた各人物の検出フレームから特徴量を抽出する。次に、同一クラスタに属するフレームから抽出された同一人物の顔特徴量値について特徴空間における分布を観測する。このとき、互いに離れた位置に分布する特徴量対は、特性の異なるフレーム対と考えられる。特性の異なるフレーム対とは、例として、笑った顔と怒った顔、下向きの顔と上向きの顔、などが挙げられる。そこで、多様な特性のフレームを利用した新規映像を作成する際には、各人物の顔特徴量値の分布において、はじめに適当な特徴量値が抽出されたフレームを選択し、２枚目以降はそれ以前に選択したフレームから得られる特徴量値から最も離れた位置に分布する特徴量値が抽出されたフレームを順に新規映像の生成に利用する。生成された新規映像は、ディスプレイ８３０に出力される。

本発明によれば、複数の映像から目的の映像を選択するため、また短時間で映像内容を把握するための映像生成装置や、映像生成装置をコンピュータで実現するためのプログラムといった用途に適用できる。また、ホームビデオの整理や分類、視聴、閲覧などのために用いられる映像生成装置の実現といった用途にも適用可能である。また、監視カメラで長時間撮影された映像中からどんな人物がどのくらい出現しているかを短時間で把握するための映像を生成するシステムの実現といった用途にも適用可能である。また、多数の映像を用いて映像編集を行うシステムにおいて、編集に利用する映像を選択するための映像生成装置や、映像生成装置をコンピュータで実現するためのプログラムといった用途に適用できる。

Claims (39)

1. 入力映像を編集して新規映像を生成する映像生成装置において、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する映像生成装置であって、
   入力映像に登場する各対象物の登場率を算出する登場率算出手段と、前記算出された各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する登場率提示長変換手段と、入力映像を編集して前記変換されて得られた各対象物に関する映像の提示長をほぼ満足するように新規映像を、対象物と当該対象物が登場するフレームの番号とを対応付けた記憶手段から前記映像の提示長に対応するようにフレームの番号を選択し当該選択されたフレームの番号で識別されるフレームから生成する新規映像生成手段と、を備える、映像生成装置。
2. 前記登場率提示長変換手段は、登場率に対応する提示長が一意に定まる変換規則を使用して、各対象物の登場率を提示長に変換することを特徴とする請求項１に記載の映像生成装置。
3. 前記登場率提示長変換手段は、それぞれ異なる複数の変換規則のうち、利用者によって選択された変換規則を使用して、各対象物の登場率を提示長に変換することを特徴とする請求項２に記載の映像生成装置。
4. 前記変換規則は、登場率の値によっては変換後の提示長が０になる規則であることを特徴とする請求項２または３に記載の映像生成装置。
5. 前記変換規則は、登場率の値によらず変換後の提示長が０にならない規則であることを特徴とする請求項２または３に記載の映像生成装置。
6. 前記登場率算出手段は、前記入力映像に登場する各対象物を前記入力映像から検出する対象物検出手段と、該対象物検出手段から検出結果を受け取り、各対象物の検出された映像長と入力映像長とから各対象物の登場率を算出する登場率決定手段とを含むことを特徴とする請求項１に記載の映像生成装置。
7. 前記対象物検出手段は、前記入力映像に登場する対象物群を前記入力映像から検出する対象物群検出手段と、該対象物群検出手段により検出された対象物群の各特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出された特徴量について、値の類似する特徴量が抽出されたフレームを同一の対象物が検出されたフレームとして同一グループにまとめることで、各対象物が検出されたフレームを集めたクラスタを生成するクラスタリング手段とを含むことを特徴とする請求項６に記載の映像生成装置。
8. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるものであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における中心に近い値の特徴量が抽出されたフレームを優先的に切り出すことを特徴とする請求項７に記載の映像生成装置。
9. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるものであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における互いに離れた位置に分布する特徴量が抽出されたフレームを優先的に切り出すことを特徴とする請求項７に記載の映像生成装置。
10. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせることを特徴とする請求項１に記載の映像生成装置。
11. 前記映像の提示長は、新規映像において提示する映像の時間の長さ、あるいはフレーム数、あるいはショット、シーンおよびトピックのいずれかの条件により映像を区切ることで生成される映像区間の個数のいずれかであることを特徴とする請求項１乃至１０の何れか１項に記載の映像生成装置。
12. 前記対象物は人物であることを特徴とする請求項１乃至１０の何れか１項に記載の映像生成装置。
13. 前記対象物は人物であり、前記対象物検出手段は、人物の顔を検出することを特徴とする請求項６乃至９の何れか１項に記載の映像生成装置。
14. 入力映像を編集して新規映像を生成する映像生成方法において、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する映像生成方法であって、
    ａ）入力映像に登場する各対象物の登場率を算出するステップ、
    ｂ）前記算出された各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換するステップ、
    ｃ）入力映像を編集して前記変換されて得られた各対象物に関する映像の提示長をほぼ満足するように新規映像を、対象物と当該対象物が登場するフレームの番号とを対応付けた記憶手段から前記映像の提示長に対応するようにフレームの番号を選択し当該選択されたフレームの番号で識別されるフレームから生成するステップ、
    を含む、映像生成方法。
15. 前記ステップｂは、登場率に対応する提示長が一意に定まる変換規則を使用して、各対象物の登場率を提示長に変換するステップを含むことを特徴とする請求項１４に記載の映像生成方法。
16. 前記ステップｂは、それぞれ異なる複数の変換規則のうち、利用者によって選択された変換規則を使用して、各対象物の登場率を提示長に変換するステップを含むことを特徴とする請求項１５に記載の映像生成方法。
17. 前記変換規則は、登場率の値によっては変換後の提示長が０になる規則であることを特徴とする請求項１５または１６に記載の映像生成方法。
18. 前記変換規則は、登場率の値によらず変換後の提示長が０にならない規則であることを特徴とする請求項１５または１６に記載の映像生成方法。
19. 前記ステップａは、ａ−１）前記入力映像に登場する各対象物を前記入力映像から検出するステップ、ａ−２）該ステップの検出結果を受け取り、各対象物の検出された映像長と入力映像長とから各対象物の登場率を算出するステップ、を含むことを特徴とする請求項１４に記載の映像生成方法。
20. 前記ステップａ−１は、ａ−１−１）前記入力映像に登場する対象物群を前記入力映像から検出するステップ、ａ−１−２）該ステップにより検出された対象物群の各特徴量を抽出するステップ、ａ−１−３）該ステップにより抽出された特徴量について、値の類似する特徴量が抽出されたフレームを同一の対象物が検出されたフレームとして同一グループにまとめることで、各対象物が検出されたフレームを集めたクラスタを生成するステップ、を含むことを特徴とする請求項１９に記載の映像生成方法。
21. 前記ステップｃは、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるステップであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における中心に近い値の特徴量が抽出されたフレームを優先的に切り出すステップを含むことを特徴とする請求項２０に記載の映像生成方法。
22. 前記ステップｃは、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるステップであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における互いに離れた位置に分布する特徴量が抽出されたフレームを優先的に切り出すステップを含むことを特徴とする請求項２０に記載の映像生成方法。
23. 前記ステップｃは、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるステップを含むことを特徴とする請求項１４に記載の映像生成方法。
24. 前記映像の提示長は、新規映像において提示する映像の時間の長さ、あるいはフレーム数、あるいはショット、シーンおよびトピックのいずれかの条件により映像を区切ることで生成される映像区間の個数のいずれかであることを特徴とする請求項１４乃至２３の何れか１項に記載の映像生成方法。
25. 前記対象物は人物であることを特徴とする請求項１４乃至２３の何れか１項に記載の映像生成方法。
26. 前記対象物は人物であり、前記ステップａ−１は、人物の顔を検出するステップであることを特徴とする請求項１９乃至２２の何れか１項に記載の映像生成方法。
27. 入力映像を編集して新規映像を生成するコンピュータを、入力映像に登場する各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する手段として機能させるための映像生成プログラムであって、
    前記コンピュータを、入力映像に登場する各対象物の登場率を算出する登場率算出手段と、前記算出された各対象物の登場率を、新規映像における各対象物に関する映像の提示長に変換する登場率提示長変換手段と、入力映像を編集して前記変換されて得られた各対象物に関する映像の提示長をほぼ満足するように新規映像を、対象物と当該対象物が登場するフレームの番号とを対応付けた記憶手段から前記映像の提示長に対応するようにフレームの番号を選択し当該選択されたフレームの番号で識別されるフレームから生成する新規映像生成手段として機能させるための映像生成プログラム。
28. 前記登場率提示長変換手段は、登場率に対応する提示長が一意に定まる変換規則を使用して、各対象物の登場率を提示長に変換することを特徴とする請求項２７に記載の映像生成プログラム。
29. 前記登場率提示長変換手段は、それぞれ異なる複数の変換規則のうち、利用者によって選択された変換規則を使用して、各対象物の登場率を提示長に変換することを特徴とする請求項２８に記載の映像生成プログラム。
30. 前記変換規則は、登場率の値によっては変換後の提示長が０になる規則であることを特徴とする請求項２８または２９に記載の映像生成プログラム。
31. 前記変換規則は、登場率の値によらず変換後の提示長が０にならない規則であることを特徴とする請求項２８または２９に記載の映像生成プログラム。
32. 前記登場率算出手段は、前記入力映像に登場する各対象物を前記入力映像から検出する対象物検出手段と、該対象物検出手段から検出結果を受け取り、各対象物の検出された映像長と入力映像長とから各対象物の登場率を算出する登場率決定手段とを含むことを特徴とする請求項２７に記載の映像生成プログラム。
33. 前記対象物検出手段は、前記入力映像に登場する対象物群を前記入力映像から検出する対象物群検出手段と、該対象物群検出手段により検出された対象物群の各特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出された特徴量について、値の類似する特徴量が抽出されたフレームを同一の対象物が検出されたフレームとして同一グループにまとめることで、各対象物が検出されたフレームを集めたクラスタを生成するクラスタリング手段とを含むことを特徴とする請求項３２に記載の映像生成プログラム。
34. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるものであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における中心に近い値の特徴量が抽出されたフレームを優先的に切り出すことを特徴とする請求項３３に記載の映像生成プログラム。
35. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせるものであって、該映像区間の切り出しの際に、同一対象物が含まれるフレームの特徴量の値についての特徴空間の分布における互いに離れた位置に分布する特徴量が抽出されたフレームを優先的に切り出すことを特徴とする請求項３３に記載の映像生成プログラム。
36. 前記新規映像生成手段は、入力映像中から各対象物の提示長分だけ各対象物が登場している映像区間を切り出して時系列的につなぎ合わせることを特徴とする請求項２７に記載の映像生成プログラム。
37. 映像の提示長とは、新規映像において提示する映像の時間の長さ、あるいはフレーム数、あるいはショット、シーンおよびトピックのいずれかの条件により映像を区切ることで生成される映像区間の個数のいずれかであることを特徴とする請求項２７乃至３６の何れか１項に記載の映像生成プログラム。
38. 前記対象物は人物であることを特徴とする請求項２７乃至３６の何れか１項に記載の映像生成プログラム。
39. 前記対象物は人物であり、前記対象物検出手段は、人物の顔を検出することを特徴とする請求項３２乃至３５の何れか１項に記載の映像生成プログラム。

Images