JP4137007B2 - 映像内容説明文生成装置およびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、放送のデジタル化に伴い、映像（映像情報）の補足情報をインデックスとして付加し、そのインデックスを用いて映像のダイジェスト版を作成する場合に、切り出した各映像シーンの映像内容を説明する説明文を生成する映像内容説明文生成装置およびコンピュータ読み取り可能な記録媒体に関する。

近年、放送のデジタル化が世界的規模で急速に進展しており、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送や地上波デジタル放送の準備が着々と進んでいる。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報がインデックスとして付加された映像を対象として、そのインデックスを用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案し、このダイジェスト作成システムにおいて、重要場面と判定された映像シーンには音声解説も含まれているため、断面的なインデックスの概要を説明文として生成するだけで十分であるという考えで映像内容の説明文生成処理を考えてきた。また、インデックスを用いてダイジェスト映像を作成する際に、映像を利用する視聴者（利用者）の嗜好を反映したダイジェスト映像を作成するダイジェスト作成装置の提案も行っている。
なお、上記の技術の詳細は、非特許文献１〜３によって明らかにされている。

橋本隆子、他：「番組インデックスを利用したダイジェスト視聴方式の検討」、映像情報メディア学会放送方式研究会予稿集、１９９９年３月、ｐ．７−１２。 橋本隆子、他：「番組インデックスを利用したダイジェスト作成方式の試作」、データ工学ワークショップ（ＤＥＷＳ’９９）予稿集ＣＤ−ＲＯＭ、１９９９年３月。 橋本隆子、他：「ＴＶ受信端末におけるダイジェスト作成方式の試作」、ＡＤＢＳ９９予稿集、１９９９年１２月。

しかしながら、上記のような映像内容の説明文生成処理には以下の問題点があった。
第１に、検索結果である各映像シーンに対して、それぞれの断片的なインデックスを用いて、独立に説明文を生成するため、前後のつながりや、関連性が不明瞭な説明文となり、視聴者（利用者）にとって違和感のないスムーズな文章の流れの説明文を生成することはできなかった。

第２に、検索結果である各映像シーンの断片的なインデックスのみを用いて説明文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章としての前書き文や後書き文を生成することはできなかった。

第３に、ダイジェスト作成装置において映像を利用する視聴者（利用者）の嗜好を反映したダイジェスト映像を作成することは可能であるが、上記映像内容の説明文生成処理ではダイジェスト映像（映像シーン）に付与されている断片的なインデックスのみから説明文を生成しており、視聴者（利用者）の嗜好を反映した説明文を生成することはできなかった。

さらに、従来の技術によれば、ダイジェスト作成装置を用いて作成したダイジェスト映像をそのまま再生することで簡単な番組として利用することは可能であるが、ダイジェスト映像から自動的に番組を作成したり、視聴者（利用者）の嗜好を反映させた演出を施して番組を作成したりすることはできなかった。

本発明は上記に鑑みてなされたものであって、各映像シーンから生成した説明文の前後のつながりや、関連性を明瞭にして、視聴者（利用者）にとって違和感のないスムーズな文章の流れの説明文を生成することを第１の目的とする。

また、本発明は上記に鑑みてなされたものであって、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、前書き文や後書き文の生成を可能とすることを第２の目的とする。

また、本発明は上記に鑑みてなされたものであって、視聴者（利用者）の嗜好を反映した説明文の生成を可能とすることを第３の目的とする。

また、本発明は上記に鑑みてなされたものであって、ダイジェスト映像から自動的に番組を作成すると共に、視聴者（利用者）の嗜好を反映させた演出を施した番組を作成するダイジェスト映像の番組化方法またはダイジェスト映像の番組化装置を提供することを第４の目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、階層構造を用いて構造化された映像ストリームの中からダイジェスト映像用のシーンとして検索した各映像シーンに対して、その内容を説明する断片的な文字列または文字列に変換可能な情報からなる複数の文字情報が付加されている場合に、前記文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成手段を有する映像内容説明文生成装置において、前記階層構造は、前記映像ストリームのうち、下位の階層が上位の階層の映像シーンを論理的に意味のある単位で分割した映像シーンとなる関係で、最上位から最下位の階層まで段階的に分割されており、前記説明文生成手段が、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成することを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の映像内容説明文生成装置において、さらに、前記説明文生成手段は、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の後書きとなる後書き文を生成することを特徴とする。
また、請求項３にかかる発明は、請求項１に記載の映像内容説明文生成装置において、前記文字情報から各映像シーンの内容を判定する映像内容判定手段と、前記映像内容判定手段の判定結果に基づいて、前後の映像シーンの関係により、順接、逆接、並列、添加、選択の中から接続表現を選択する接続表現選択手段と、をさらに備え、前記説明文生成手段が、前記接続表現選択手段で選択した接続表現を用いて、該当する前後の映像シーンの説明文を接続することを特徴とする。

また、請求項４にかかる発明は、階層構造を用いて構造化された映像ストリームの中からダイジェスト映像用のシーンとして検索した各映像シーンに対して、その内容を説明する断片的な文字列または文字列に変換可能な情報からなる複数の文字情報が付加されている場合に、前記文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成ステップを有する映像内容説明文生成方法ををコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記階層構造は、前記映像ストリームのうち、下位の階層が上位の階層の映像シーンを論理的に意味のある単位で分割した映像シーンとなる関係で、最上位から最下位の階層まで段階的に分割されており、前記説明文生成ステップが、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成することを特徴とする。

請求項１にかかる発明によれば、階層構造を用いて構造化された映像ストリームから検索結果として得られた各映像シーンのある階層の映像シーンについての説明文を生成する際に、階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、前書き文を生成することができる。

請求項２にかかる発明によれば、階層構造を用いて構造化された映像ストリームから検索結果として得られた各映像シーンのある階層の映像シーンについての説明文を生成する際に、階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の後書きとなる後書き文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、後書き文を生成することができる。

また、請求項３にかかる発明によれば、文字情報から各映像シーンの内容を判定する映像内容判定手段と、映像内容判定手段の判定結果に基づいて、前後の映像シーンの関係により、順接、逆接、並列、添加、選択の中から接続表現を選択する接続表現選択手段と、を備え、説明文生成手段が、接続表現選択手段で選択した接続表現を用いて、該当する前後の映像シーンの説明文を接続するため、各映像シーンから生成した説明文の前後のつながりや、関連性を明瞭にして、視聴者（利用者）にとって違和感のないスムーズな文章の流れの説明文を生成することができる。

また、請求項４にかかる発明によれば、階層構造を用いて構造化された映像ストリームから検索結果として得られた各映像シーンのある階層の映像シーンについての説明文を生成する際に、階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、前書き文を生成することができる。

以下、本発明の映像内容の説明文生成方法、映像内容説明文生成装置、ダイジェスト映像の番組化方法、ダイジェスト映像の番組化装置およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態について、添付の図面を参照しつつ詳細に説明する。

〔実施の形態１〕
図１は、実施の形態１の映像内容説明文生成装置の概略構成図を示す。実施の形態１の映像内容説明文生成装置１００は、図示しないダイジェスト作成エンジンからダイジェスト映像用のシーンとして検索された各映像シーンの内容を説明する断片的な文字列からなる複数の文字情報を入力し、該文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成部１０１と、入力した文字情報から各映像シーンの内容を判定する映像内容判定部１０２と、映像内容判定部１０２の判定結果に基づいて、前後の映像シーンの関係により、順接、逆接、並列、添加、選択の中から接続表現を選択する接続表現選択部１０３と、から構成される。

ここでは、階層構造を用いて構造化された映像ストリームを使用するものとする。例えば、階層構造を用いた構造化は、映像全体を最上位の階層として、最上位の階層を論理的に意味のある映像シーン（映像の単位）に分割して次の階層とし、分割した映像シーンをさらに分割してその次の階層とするように、順次、映像シーンを分割して構造化することにより、容易に実現できる。また、この構造化した映像ストリームの各映像シーンには、その内容を説明する断片的な文字列（または文字列に変換可能な情報）からなる複数の文字情報がインデックスとして付加されているものとする。

なお、ダイジェスト作成エンジンで、構造化された映像ストリームからダイジェスト映像用のシーンを検索し、検索された各映像シーンと、その内容を説明する断片的な文字列（文字情報）とを出力する技術に関しては、本出願人らによって先に出願された技術（例えば、特願平１１−０５８９１６号「ダイジェスト作成装置、ダイジェスト作成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体」）を用いて容易に実現することができる。

また、説明文生成部１０１は、接続表現選択部１０３で選択した接続表現を用いて、該当する前後の映像シーンの説明文を接続して出力するものである。さらに説明文生成部１０１は、ある階層の映像シーンについての説明文を生成する際に、階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文および説明文の後書きとなる後書き文を生成する。

以上の構成において、（１）接続表現の付加処理、（２）前書き文・後書き文の生成処理の順に、その動作を説明する。
（１）接続表現の付加処理
この接続表現の付加処理は、上記映像内容判定部１０２と接続表現選択部１０３との共同作業によって実行される。接続表現の付加処理では、各映像シーンを説明する文字列（文字情報）から説明文を生成して、それらをただ連続的に提示するのではなく、前後の映像シーンの内容関係に着目し、２つの説明文の間に適切な接続を付加する。これにより、各映像シーンの説明文が並べられた複数の説明文からなる文章の流れがスムーズになり、視聴者の状況理解を助けるものである。

先ず、ダイジェスト作成エンジンでダイジェスト映像として切り出された２つの映像シーンの文字情報を入力し、その映像シーンの内容を分析して、その間の関係を判定する関数について説明する。以下、この関数を接続関係判別関数と呼ぶこととする。

一般に接続関係には以下の５つのタイプがあり、上記接続関係判別関数はこれらのどれかを返り値とする。
１．並列：並べあげる意味を表すもの。
例：また、および、あるいは、ならびに。
２．添加：付け加える意味を表すもの。
例：しかも、そのうえ、さらに、おまけに、それに。
３．選択：どちらか一方を選び取る意味を表すもの。
例：あるいは、それとも、もしくは、または。
４．順接：前に述べることが、後に述べることの原因、理由となることを表すも
の。
例：したがって、よって、すると、それゆえ、ですから、そうすると、
だから。
５．逆接：前に述べたことと、その後に述べたこととが逆の関係になることを表
すもの。
例：けれども、しかし、だか、でも、といっても、ところが、だけど、
しかしながら。

この接続関係判別関数の引数としては、ダイジェスト作成エンジンから入力した文字情報が与えられる。なお、実施の形態１では、映像シーンの内容を説明する断片的な文字列の他に、後述する重要度判定パラメータの値をダイジェスト作成エンジンが計算して、文字情報として映像内容説明文生成装置１００に出力し、映像内容説明文生成装置１００において、文字列と共に重要度判定パラメータの値が接続関係判別関数の引数として利用される。

以下、野球番組に対する接続関係判別関数を例として具体的に説明する。野球番組の場合の代表的な接続表現として以下に示す添加接続と逆接表現が挙げられる。
＊加点が続く映像シーン間の添加接続：
例：さらに→「＜さらに＞、ワンアウト、ランナー２塁、３塁、清原のホー
ムランにより，，，」
＊得点チャンスを逃がした場合の逆接表現：
例：しかし→「ランナー高橋３塁に進みました。＜しかし＞、４番清原セン
ターフライに倒れ、，，，」

また、説明文を生成する対象となる映像が野球の場合、接続関係判別関数で利用する重要度判定パラメータは以下のものとした。なお、いずれも正の値をとる。
＊攻撃レベル（重要度判定パラメータ）
攻撃的に重要なレベルを示す。ヒットやホームランなど攻撃的に重要な事象のときに値が上がる。
＊興奮レベル（重要度判定パラメータ）
視聴者の期待および興奮度を示す。例えば、打順が３、４、５番のクリーンナップの打席であったり、ランナーが３塁に出ていて特定のチャンスであるといったようなときに値が上がる。
＊投手レベル（重要度判定パラメータ）
投手および守備の調子を示す。ストライクや連続三振のときに値があがる。

図２は、接続関係判別関数のアルゴリズムを示す。このアルゴリズムの例では、説明を簡単にするために、説明文を生成する対象となる映像の構造のクラスが打席あるいは投球クラスといった小さい場合（換言すれば、前述した映像シーンの階層が下位階層の場合）と、イニングクラスのように大きい場合（換言すれば、前述した映像シーンの階層が上位階層の場合）に分けて考える。前者では、〔攻撃レベル−投手レベル〕を指標として、その計算値を興奮レベルでバイアスをかけるようにしてある（内容指標レベル）。マジックナンバのα，β，γについてはそれぞれ５，６，０に設定してある。また、イニング間の関係は得点の変化を基に計算している。

野球の場合、接続関係判別関数の返り値は、添加と逆接のいずれかとなる。ただし、例外的な場合には、これ以外の値をもつ場合も否定できないが、殆どの場合にはこの２通りであると考えられる。なお、接続関係判別関数は視聴者の嗜好に依存しない。例えば、どちらのチームのファンであっても形勢逆転は逆接であり、点数の追加は添加である。

（２）前書き文・後書き文の生成処理
説明文生成部１０１は、ある映像シーンの説明文を生成する際に、その時点にける各種の状況や、前提条件などを必要に応じて前書き文として提示する。また、ある映像シーンの説明をして、次の映像シーンの説明に入る前に、その映像シーンが全体に及ぼした結果の情報などを必要に応じて後書き文として提示する。これらの前書き文、後書き文は、映像シーンの階層構造を利用して、該当する映像シーンの親シーン（上位の階層の映像シーン）の文字情報から生成する。

具体的には、例えば、野球映像の場合、前書き文（前書きの表現）は、その時点で処理を行っている映像シーンの状況などを示す情報から生成される。
例えば、親シーンに付加された文字情報として、
・得点状況
・攻撃チーム名
・アウトカウント
・出塁ランナー
・投手名
・打者名
・ボールカウント
がある場合、「５回の裏、巨人の攻撃、ワンアウト、ランナー２，３塁，，」というような文字列を前書き文として自動的に生成することができる。

また、後書き文（後書きの表現）は、結果に関する情報、例えば、
・試合の結果
・出塁ランナーの結果
・得点結果
等の結果に関する情報を、その時点の状況を示す情報から生成する。

前述したように実施の形態１の映像内容の説明文生成方法および映像内容説明文生成装置によれば、文字情報から各映像シーンの内容を判定し、前後の映像シーンの関係により、順接、逆接、並列、添加、選択等の中から接続表現を選択し、選択した接続表現を用いて、該当する前後の映像シーンの説明文を接続した映像内容の説明文を生成するため、各映像シーンから生成した説明文の前後のつながりや、関連性を明瞭にして、視聴者（利用者）にとって違和感のないスムーズな文章の流れの説明文を生成することができる。

また、階層構造を用いて構造化された映像ストリームから検索結果として得られた各映像シーンのある階層の映像シーンについての説明文を生成する際に、階層構造を利用して、上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、前書き文を生成することができる。同様に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の後書きとなる後書き文を生成するため、検索結果である各映像シーンが、前後の映像シーンの中でどのような意味を持つのかを明確するための概要説明的な文章として、後書き文を生成することができる。

〔実施の形態２〕
図３は、実施の形態２の映像内容説明文生成装置の概略構成図を示す。実施の形態２の映像内容説明文生成装置２００は、図示しないダイジェスト作成エンジンからダイジェスト映像用のシーンとして検索された各映像シーンの内容を説明する断片的な文字列からなる複数の文字情報を入力し、該文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成部２０１と、予め映像シーン毎に、その映像内容に対する利用者の感情的な変化の度合い（嗜好レベル）を計算するための複数のパラメータを感情度パラメータとして定義して記憶した記憶部２０２と、利用者の嗜好情報を設定するための設定部２０３と、各映像シーンに対応する感情度パラメータおよび嗜好情報を用いて、各映像シーンに対する利用者の感情的な反応の度合い値（嗜好レベルの値）を計算する計算部２０４とから構成される。

なお、感情度パラメータの複数のパラメータは、映像シーンに付加され文字情報の内容と嗜好情報の内容との組み合わせによって度合い（嗜好レベル）が数値化されるものである。また、計算部２０４は、この数値化された度合いを用いて度合い値（嗜好レベルの値）を計算する。

さらに、詳細は後述するが実施の形態２では、説明文生成部２０１が、文字情報を用いて映像シーンの映像内容を説明する説明文を生成する際に、計算部２０４で計算した度合い値（嗜好レベルの値）に基づいて感情表現を示す感情表現文を付加するものである。

以上の構成において、実施の形態２の要部である感情表現生成処理（感情表現の付加処理）について、その動作を具体的に説明する。
感情表現生成処理では、各映像シーンの文字情報から説明文を生成する際に、事実を客観的に述べるだけではなく、視聴者の嗜好情報を利用して、表現方法を変化させる。例えば、検索結果が視聴者にとって嬉しい内容であれば、嬉しさあふれる表現を、検索結果が悲しい内容であれば、悲しい気持ちを表す表現を生成する。なお、実施の形態２の感情表現生成処理では、視聴者の嗜好情報を利用して感情表現を説明文（文章）で表すが、感情表現生成処理そのものは、映像中の音楽、画面の色調などの演出効果や、説明文を話す仮想キャラクタの表情などに反映させることも可能である。

ここで、記憶部２０２、設定部２０３、計算部２０４および説明文生成部２０１による感情表現生成処理の一連の流れを、検索結果に対する視聴者の嗜好レベル（度合い）の計算関数（以下、感情度判別関数と記載する）のアルゴリズムで表現して説明する。

以下、野球の場合を例として説明する。図４はこの感情度判別関数のアルゴリズムを示す。嗜好レベルの計算は、初めに、利用者が攻撃チームファンであるという立場にたって計算する。嗜好情報で設定された利用者の嗜好が守備チームである場合には、最後に正負の逆転をする。つまり、攻撃チームにとって攻撃の流れに乗っている場合、嬉しさ度（利用者の感情的な変化の度合い：正の変化）は高くなるが、逆に守備チームにとっては悲しさ度（利用者の感情的な変化の度合い：負の変化）が高くなる。

また、その値は利用者の嗜好度が高くなるほど増幅される。その増幅の調整値φを図においては「５」に設定してある。これによって、例えば、好きな選手が出ている時には、良い場面はより嬉しく、悪い場面はより悲しくなるというような、利用者の感情的な変化を表現することが可能となる。

なお、このアルゴリズムは、仮定として、嗜好情報によって設定さた利用者の嗜好が、好きな選手の所属するチームと自分が応援するチームが同じである場合を想定して作成したものである。

実施の形態２の映像内容説明文生成装置２００において、各映像シーンの文字情報を入力すると、計算部２０４は、各映像シーンに対応した感情度パラメータを記憶部２０２から読み出して、設定部２０３に設定されている嗜好情報を参照して、感情度パラメータに該当する嗜好情報および該当する文字情報を設定して計算を行い、対象となる映像シーンの嗜好レベルの値を求める。次に、説明文生成部２０１は、各映像シーンの文字情報を入力して映像シーンの映像内容を説明する説明文を生成すると共に、計算部２０４で求めた嗜好レベル（度合い値）に基づいて感情表現を示す感情表現文を付加する。例えば、映像シーンの嗜好レベルの値が（嗜好レベル＞θ）の場合には、嬉しいという感情を示す感情表現文を付加する。説明文が「ツーアウト、ランナー３塁、高橋のタイムリーヒットで逆転します。」という内容であった場合、感情表現文「やりました。」を付加して、「ツーアウト、ランナー３塁、高橋のタイムリーヒットで逆転します。やりました。」という説明文を生成する。

前述したように実施の形態２の映像内容の説明文生成方法および映像内容説明文生成装置によれば、説明文生成手段が、文字情報を用いて映像シーンの映像内容を説明する説明文を生成する際に、度合い値に基づいて感情表現を示す感情表現文を付加するため、視聴者（利用者）の感覚に適合させて、嗜好を反映した説明文を生成することができる。換言すれば、利用者の感情的な反応の度合い値に対応させて、より柔軟に（または段階的に）嗜好を反映した説明文を生成することにより、利用者の嗜好に沿ったパーソナルな説明文を作成することが可能となる。

また、実施の形態２では、感情度パラメータの複数のパラメータは、映像シーンに付加され文字情報の内容と嗜好情報の内容との組み合わせによって度合いが数値化され、計算部２０４は数値化された度合いを用いて度合い値を計算するため、さらに視聴者（利用者）の感覚に適合させて、嗜好を反映した説明文を生成することができる。換言すれば、利用者の感情的な反応の度合い値に対応させて、より柔軟に（または段階的に）に感情表現文を付加でき、利用者の嗜好を反映したパーソナルな説明文を作成することができる。

〔実施の形態３〕
実施の形態３では、映像の階層構造に基づく説明文生成アルゴリズムを用いて映像内容の説明文を生成する方法について説明する。図５は実施の形態３の説明文生成関数（説明文生成アルゴリズム）を示す。図示の如く、説明文生成関数は実施の形態１または実施の形態２で説明した接続関係判別関数および感情度判別関数を用いながら、階層的に再起呼び出しを使い、順に説明文を生成する。

例えば、ある映像シーンに対する説明文を生成する場合、まずその映像シーンがクラス（階層）の先頭であるか否かをチェックする。先頭である場合、前の映像シーンは存在しないので、接続関係判別関数は呼ばない。クラス階層ごとに、同レベルのクラスインスタンスの集合に対して、前書き文、後書き文を付加する。例えば、野球では、文字情報から「５回の裏、巨人の攻撃、ワンアウト、ランナー２、３塁」というような前書き文を生成する。後書き文としては、そのイニング終了時の得点状況や、イニングの概要説明などを生成する。

計算された感情レベルの値は、説明文生成関数の各所で利用される。前書き文の生成においては、正値：嬉しいの場合、「嬉しいことに，，，」などの表現を加える。反対に、負値：悲しいの場合、「残念なことに，，，」などの表現を付加する。また、後書き文の生成の場合は、「本当によかったですね」、「全く残念な結果となってしまいました」などの表現を加える。

図６は、実施の形態３の説明文生成関数を用いた場合、ある試合に対してどのような順序で説明文が生成されるかを示した説明図である。視聴者が広島ファンであった場合、それぞれの説明文は以下の（１）〜（１７）のようになる。なお、対応する文章が必要ない場合は、説明文の生成は行わない。また、図において、矢印および数字を用いて説明文の生成する順序を記述している。

（１） １０月３日、広島対巨人戦が東京ドームで行われました。
（２） １回の表、広島の攻撃、
（４） 江藤の打席で、ソロホームランがでました。
（５） よかったですね。
（６） １回表を終わり、江藤のホームランにより１対０で広島が先制してい
ます。
（７） しかし悔しいことに、１回の裏、すぐに巨人に逆転されてしまいまし
た。
（８） まず
（９） 先頭バッター川相がセンター前ヒットで出塁しました。
（１０） 巨人の反撃開始です。
（１１） さらに
（１２） 松井がフォアボールで出塁です。
（１３） 走者、１，２塁。広島、ピンチです。
（１４） その上、残念なことに
（１５） 高橋のタイムリーヒットで、２点加点。巨人１−２と逆転です。
（１７） １回裏を終わり、広島１対２と巨人に逆転されてしまいました。まっ
たく残念なことです。

前述したように実施の形態３によれば、映像の階層構造に基づく説明文生成アルゴリズムを用いて映像内容の説明文を生成するので、実施の形態１および実施の形態２の効果に加えて、階層構想表現を用いて説明文をより、明確に作成することができ、さらに読み易い文章にすることができる。特に、実施の形態３によれば、映像の階層構造を汎用的に利用することが可能となるという効果を奏することができる。

ここで、前述した実施の形態１〜実施の形態３の映像内容の説明文生成方法および映像内容説明文生成装置を、ダイジェスト作成システムに適用した場合について説明する。図７は、本発明の映像内容の説明文生成方法を映像文生成機能として取り込んだダイジェスト作成システムの概要図を示し、ダイジェスト作成エンジンにより切り出したシーン（映像シーン）およびその簡単な説明文が出力された後、最終的にＴＶ装置上でどのように表示されるかまでのシステム全体の概要を説明する。なお、図において、ＴＶ視聴者と対話的に操作を進めていくユーザインターフェース（ＵＩＦ）を番組視聴用ユーザインターフェースと呼び、以降、ＰＶ（Ｐｒｏｇｒａｍ Ｖｉｅｗｅｒ）と略す。

ダイジェスト作成エンジンにより生成された説明文（文字列）および映像シーンは、説明文生成関数に入力され、接続表現および感情表現、構造表現を含む説明文として生成される。この生成された説明文や、各映像シーン、計算された接続のタイプおよび嗜好レベルがＰＶに渡される。

ＰＶは、ＴＶ視聴を対象としたユーザインターフェースであるため、ＴＶ番組シナリオでできるようなアクション記述能力が必要とされる。この要件を満たすものとしてＴＶＭＬが知られている。なお、このＴＶＭＬの技術については、林、折原、下田、他：「テレビ番組記述言語ＴＶＭＬの言語仕様とＣＧ記述方法」第３回知能情報メディアンシンポジウム、ｐｐ７５−８０，１９９７．に記述されている。

ＴＶＭＬは、ＴＶ番組のシナリオを記述する言語としてよく仕様検討され、広く普及している言語であるので、ＰＶインタプリタでは、ＴＶ番組記述言語としてＴＶＭＬインタプリタを用いることができる。なお、ＰＶインタプリタからＴＶＭＬインタプリタを呼び出すことで、ＴＶＭＬのもつ以下のような機能を実現することができる。
＊ＣＧキャラクタの選択、配置およびシナリオ中での動作（首を傾げる等）
＊カメラの位置の設定、複数台カメラ間のスイッチング、パンチルト
＊動画および音声ファイル再生
＊ビデオイフェクト
＊字幕の表示

ダイジェスト作成システムの出力する動画は、最終的にＴＶＭＬの動画再生機能で再生される。また、ＰＶ記述言語では、シーンの遷移における照明の変化や、カメラのズームインアクションなどのＴＶ的演出効果を記述できるようにすることが望ましい。

また、ＴＶＭＬライブラリとして、図示の如く、キャラクタデザインや、そのキャラクタ語彙等をデータベース化する。例えば、ＰＶが、現在選択されているキャラクタの語彙データベースを検索し、そのキャラクタがその種類の接続言語を話すときの台詞を見つけ、コードに埋め込むという処理を行うことができる。具体的には、マルチリンガル対応の場合、キャラクタによって逆接表現「しかし」、“ｂｕｔ”、“ｈｏｗｅｖｅｒ”などを使いわけるといった処理を行う。

上記のようなダイジェスト作成システムでは、簡単な映像検索問い合わせの実現の他に、検索結果として得られたダイジェスト映像を如何にわかりやすく提示するかが大きな問題となるが、本発明の映像内容の説明文生成方法および映像内容説明文生成装置を一つの説明文生成機能として組み込むことにより、この問題を解決するために大いに役に立つことは明らかである。

以上説明した実施の形態１〜３に係る映像内容の説明文生成方法は、前述した説明および各フローチャート（アルゴリズム）に示した手順に従って予め用意したプログラムをコンピュータで実行することによって実現することができる。このプログラムは、ハードディスク、フロッピー（Ｒ）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。またはネットワークを介して配布することができる。

〔実施の形態４〕
実施の形態４は、本明のダイジェスト映像の番組化方法およびダイジェスト映像の番組化装置を示す。実施の形態４のダイジェスト映像の番組化装置は、１つの映像ストリームの中からダイジェスト映像用のシーンとして検索された各映像シーンと、各映像シーンに対して作成された映像内容の説明文を入力し、各映像シーンの再生に加えて、予め設定された仮想キャラクタを介して映像内容の説明文を音声または文字で提供することでダイジェスト映像の番組を作成するものであり、映像シーンおよび映像内容の説明文と共に、各映像シーンの映像内容に対する仮想キャラクタの感情的な反応の度合い値を入力し、各映像シーン毎に度合い値に基づいて仮想キャラクタの感情表現の演出を行う。

また、ダイジェスト映像用の映像シーンと共に、実施の形態２の映像内容説明文生成装置２００で生成された各映像シーンの説明文、前書き文、後書き文および度合い値を入力し、ダイジェスト映像の番組を作成する。このとき、各映像シーンの再生に加えて、予め設定された仮想キャラクタを介して説明文、前書き文および後書き文を音声で提供すると共に、各映像シーン毎に度合い値に基づいて仮想キャラクタの感情表現の演出を行うものである。

図８は、実施の形態４のダイジェスト映像の番組化装置４００のブロック構成図を示す。なお、２００は、前述した実施の形態２の映像内容説明文生成装置を示し、前提条件として、映像内容説明文生成装置２００で、ダイジェスト映像用のシーンとして検索された各映像シーンに対して、説明文、前書き文、後書き文およびその映像内容に対する利用者の感情的な変化の度合いを示す度合い値と、さらにスーパー（キャプション）が生成され、これらの６つの情報がダイジェスト映像の番組化装置４００に渡されるものとする。

なお、実施の形態４では、これら６つの情報を以下のように置き換えて記述する。
１） 映像シーン（映像シーン）
２） 前書き説明文（前書き文）
３） イベント説明文（説明文）
４） 後書き説明文（後書き文）
５） スーパー（スーパー）
６） 感情レベルパラメータ（感情種類情報を有する度合い値）

ただし、これらの６つの情報のうち、映像シーン以外の情報は必要に応じて生成されるか、あるいは必要に応じて情報が設定されていなくても良いものである。また、ここで、感情レベルパラメータは、喜怒哀楽等の感情の種類を示すための感情種類情報を有している。感情種類情報としては、例えば、『嬉しい』、『楽しい』、『可笑しい』、『びっくりした』、『悲しい』、『悔しい』、『残念』、『安堵』などのように具体的な感情の種類を示す情報が設定される。

さらに、感情レベルパラメータは、複数の感情レベルパラメータで構成することも可能であり、例えば、、『悔しい』という感情種類情報を有する感情レベルパラメータと、『残念』という感情種類情報を有する感情レベルパラメータとの２つの感情レベルパラメータを用いて１つの映像シーンの感情レベルパラメータが構成されていても良い。このように複数の感情レベルパラメータを用いることにより、それぞれの感情種類情報の内容を合成した『悔しくて、残念』というような感情を表現し、情報として利用することができる。

実施の形態４のダイジェスト映像の番組化装置４００は、映像ファイル生成部４０１と、番組定義ファイルデータベース４０２と、演出定義データベース４０３と、演出テンプレート選択部４０４と、演出処理部４０５と、ＰＶＭＬインタプリタ４０６と、ＴＶＭＬプレーヤ４０７と、ＴＶ（テレビジョン：表示装置））４０８とから構成される。また、図示を省略するが、後述する複数の番組定義ファイルの中から所望の番組定義ファイルを指定するための指定手段を備えている。この指定手段は、パソコンの表示画面やキーボード等で容易に構成することができる。

映像ファイル生成部４０１は、映像内容説明文生成装置２００から１つの映像シーン毎にイベント説明文、前書き説明文、後書き説明文、スーパー（キャプション）および感情レベルパラメータを入力し、番組化の処理単位として１つの映像シーン毎にイベント説明文、前書き説明文、後書き説明文および感情レベルパラメータを対応させて映像ファイルを生成する。

番組定義ファイルデータベース４０２は、番組の各種構成情報を番組定義ファイルとして記憶しており、番組定義ファイルの番組の各種構成情報としては、例えば、少なくとも１つの仮想キャラクタと、番組のスタジオセット、カメラの台数や位置、ＣＧ照明、ＣＧ小道具、サウンド、番組タイトル、スーパーの設定等の情報がある。なお、この番組定義ファイルは、予め複数記憶さており、所定の形式で各種構成情報を設定することにより、追加、変更等も容易に行える。

演出定義データベース４０３は、複数の演出テンプレートが記憶されており、演出テンプレートは少なくとも複数段階に設定された感情表現の程度（例えば、非常に、普通に、少しの３つの段階）毎にそれぞれ１つの演出方法が定義されている。また、これら複数の演出テンプレートは、感情種類情報および感情表現の程度をキーインデックスとして分類され、記憶されている。

また、演出定義データベース４０３には、複数の感情種類情報および複数の感情種類情報の感情表現の程度をキーインデックスとして分類された複数の演出テンプレートも記憶されている。

さらに、演出テンプレートには、定義されている演出方法が適用可能な番組環境を示す番組環境情報が設定さており、また、定義されている演出方法を１回のダイジェスト映像の番組化で何回使用可能とするかを限定する使用回数限定情報が必要に応じて設定されている。

また、演出テンプレートは、各演出テンプレートの有する感情種類情報および感情表現の程度に対応付けられる感情レベルパラメータのうち、最も高い感情レベルパラメータを有する映像ファイルまたは最も低い感情レベルパラメータを有する映像ファイルの番組演出処理に使用することを指定する指定情報が必要に応じて設定可能である。

演出テンプレート選択部４０４は、映像ファイルを入力し、１つの映像ファイル毎に感情レベルパラメータに基づいて感情表現の程度を決定し、演出定義データベース４０３から感情表現の程度に応じた感情表現の演出テンプレートを選択する。具体的には、演出テンプレートを選択する際に、感情レベルパラメータに基づいて、キーインデックスとして使用する感情種類情報および感情表現の程度を決定し、演出定義データベース４０３から該当する全ての演出テンプレートを選択する。

また、演出テンプレート選択部４０４は、１つの映像ファイルの感情レベルパラメータが複数の感情レベルパラメータで構成されている場合には、演出テンプレートを選択する際に、複数の感情レベルパラメータに基づいて、キーインデックスとして使用する複数の感情種類情報および複数の感情種類情報の感情表現の程度を決定し、演出定義データベースから該当する全ての演出テンプレートを選択する。

演出処理部４０５は、番組定義ファイル、映像ファイルおよび演出テンプレートを入力し、１つの映像ファイル毎に選択した演出テンプレートに基づいて、少なくとも映像シーンの再生タイミングと、仮想キャラクタの音声として出力するイベント説明文、前書き説明文、後書き説明文の設定および音声の出力タイミングと、仮想キャラクタの動作とを設定することにより、映像ファイル単位の番組演出処理を行う。また、このとき、使用する番組定義ファイルは、指定手段を介して指定された番組定義ファイルを使用する。

以上の構成において、図９を参照してダイジェスト映像の番組化装置４００の処理の概略について説明する。ダイジェスト映像の番組化装置４００は、先ず、映像内容説明文生成装置２００で生成した入力ファイル（前書き説明文、イベント説明文、後書き説明文、スーパー、感情レベルパラメータ）と映像（ダイジェスト映像用の各映像シーン）とを入力する。当然ながらダイジェスト映像用の映像シーンは複数出力され、各映像シーン毎に、上記の入力ファイルが生成されて出力される。映像シーンによっては、前書き説明文および後書き説明文がない場合もある。

また、実施の形態１〜３で説明したように上記の３つの説明文には、感情表現、接続表現および階層構造表現が既に含まれている。映像内容説明文生成装置２００において感情表現を作成する基となった感情レベルパラメータ（感情種類情報を有する度合い値）は、映像シーンの演出決定に利用するため、そのままダイジェスト映像の番組化装置４００に渡される。

映像ファイル生成部４０１は、図９のＳ９０１で示すように、入力した映像シーン、前書き説明文、イベント説明文、後書き説明文、スーパーおよび感情レベルパラメータを対応させて映像ファイルを生成する。

演出テンプレート選択部４０４は、図９のＳ９０２〜Ｓ９０４で示すように、１つの映像ファイル毎（すなわち、映像シーン毎）に感情レベルパラメータから感情ＩＤ（感情表現の程度）を決定する。具体的には、予め感情表現定義ファイルとして、感情ＩＤ毎に感情レベルパラメータの数値（レベル値）の適用範囲を定義しておき、１シーン毎に、感情レベルパラメータから属する感情ＩＤを求め（Ｓ９０２，Ｓ９０３）、求めた感情ＩＤをキーインデックス（検索キー）として演出定義データベース４０３から該当する全ての演出テンプレートを選択する。

ここで、感情レベルパラメータが複数の感情レベルパラメータで構成されている場合には、複数の感情レベルパラメータが定義されている感情ＩＤを対象とし、複数の感情レベルパラメータをキーインデックスとして全ての感情レベルパラメータがマッチングする感情ＩＤを決定し、演出定義データベース４０３から該当する全ての演出テンプレートを選択する。例えば、感情レベルパラメータがｐ１とｐ２の２つであった場合、（ｐ１：−５〜−３）ａｎｄ（ｐ２：５〜６）の範囲の場合、感情ＩＤを「悔しくて残念」とする。

感情表現定義ファイルには、感情ＩＤとその感情ＩＤの値範囲パターンの定義が複数並んでいるが、上から順番にみていき、始めにパターンマッチした感情ＩＤが選ばれる。

次に、演出テンプレート選択部４０４は、選択した感情ＩＤと対応する演出テンプレートを選ぶが、基本的には、感情ＩＤと予め用意したある演出テンプレートの関係は１対多の関係である。１つの感情ＩＤに複数の演出テンプレートを用意しておく理由は、番組としてつまらないものにならないように演出に多様性をもたせるためである。例えば、『非常に嬉しい』という感情ＩＤに対して、以下の演出方法が定義された４つの演出テンプレートの集合を用意しておくこにより、『非常に嬉しい』シーンが来ると、適宜、その中から演出テンプレートを１つ選択することが可能となる。
（演出方法１） 顔を真っ赤にさせて立ち上がる
（演出方法２） 嬉し涙を流す
（演出方法３） 万歳三唱する
（演出方法４） くす玉を割って鳩を飛ばす

演出テンプレートを定義する際に注意すべき点は、始めに演出環境の枠組み（番組環境情報）を設定することである。例えば、出演する仮想キャラクタは何人か、小道具として何を使うか、などを決めておく必要がある。同様に番組定義ファイル中にも番組環境としても設定しておく必要がある。このように演出テンプレートと番組定義ファイルの両方に番組環境（演出環境）を設定することで、１つの番組中、一貫して同じ環境を用いることができる。

例えば、キャスタ役の仮想キャラクタが２人であると、始めに決めて、該当する番組定義ファイルを決定したら、演出（演出テンプレート）も２人という環境の枠組みに合致するものだけを組み合わせる。演出テンプレートと番組定義ファイルには、環境識別子（番組環境情報）を記載し、同じ環境であることの確認に用いる。

実施の形態４において、演出テンプレートおよび番組定義ファイルはＰＶＭＬで記述する。また、演出テンプレートを作成する際、以下の２種類の変数を使って演出を定義する。
（変数１） 映像内容説明文生成装置２００から渡される情報
例：『イベント説明文』は、変数＆ｅｎｅｔｓｃｒｉｐｔ
（変数２） 番組定義ファイル中で定義した項目
例：仮想キャラクタは＆Ｃａｓｔｎｎ（ｎｎは添字）
音楽や効果音ファイルは＆Ｓｏｕｎｄｎｎ

演出テンプレートは、定義した変数を使ってＰＶＭＬコードを書くだけなので、コンテンツ間の同期は自由に記述できる。例えば、以下に示すような同期の取り方が考えられる。
（１）始めに前書き説明文を仮想キャラクタが喋る。
（２）次に、以下を並列で行う。
（２ａ）映像シーンの再生
（２ｂ）イベント説明文の喋り
（２ｃ）スーパー（キャプション）表示
（３）その後、後書き説明文を喋る。

演出処理部４０５は、図９に示すＳ９０５を実行する。先ず、番組定義ファイル、映像ファイルおよび演出テンプレートを入力し、１つの映像ファイル毎に選択した演出テンプレートに基づいて、少なくとも映像シーンの再生タイミングと、仮想キャラクタの音声として出力するイベント説明文、前書き説明文、後書き説明文の設定および音声の出力タイミングと、仮想キャラクタの動作とを設定することにより、映像ファイル単位の番組演出処理を行う。また、このとき、使用する番組定義ファイルは、指定手段を介して指定された番組定義ファイルを使用する。

さらに、演出テンプレート選択部４０４で選択された演出テンプレートが複数存在する場合、各演出テンプレートの番組環境情報を参照して指定手段を介して指定された番組定義ファイルの番組環境と合致（マッチング）するか否かを判定し、合致する演出テンプレート（すなわち、実行可能な演出テンプレート）の１つを選択し、映像ファイル単位の番組演出処理を行う。

また、演出テンプレート選択部４０４は、実行可能な演出テンプレートの１つを選択した後、演出テンプレートに使用回数限定情報が設定されている場合、選択した演出テンプレートを過去に使用した回数と使用回数限定情報とを比較して使用可能であるか否かを判定し、使用可能でない場合には、他の実行可能な演出テンプレートを選択する。

具体的には、演出処理部４０５は、各映像シーンの演出テンプレートを決めた後、番組定義ファイルを参照しながら、各映像シーンの演出テンプレート（ＰＶＭＬコード）の上記変数に実際のデータを埋め込んでいく。図９の処理フローでは、最後にまとめて最終的にＰＶＭＬコードを作成するバッチ処理を示している。一方、番組利用者と対話的に処理を進めたい場合は、各映像シーン毎にＰＶＭＬコードを生成して実行するという逐次処理を行う。

さらに、図９のＳ９０６で示すように、まとまった動作や演出をサブルーチン化して共有するための別定義群ファイルを作成し、演出がカプセル化された別定義群ファイルを指定して一連の演出を選択するようにもできる。

前述したように演出処理部４０５は、映像ファイル単位の番組演出処理として、１つの映像ファイルの演出テンプレートの選択が終了すると、使用する演出テンプレートを選択して処理する逐次処理と、全ての映像ファイルの演出テンプレートの選択が終了するのを待って、各映像ファイルで使用する演出テンプレートを選択した後、処理するバッチ処理とを有している。

バッチ処理を行う際の他の変形例として、例えば、演出テンプレート選択部４０４で選択された全ての演出テンプレートを参照して、感情種類情報および感情表現の程度が同一である演出テンプレートの集合毎に、その集合が選択された回数を求め、複数回選択された集合のうち、１つの集合の中に異なる演出テンプレートが複数存在する場合、それぞれの演出テンプレートの選択回数が均一になるように演出テンプレートを選択するようにしても良い。換言すれば、各感情ＩＤ毎に選択された回数を求め、複数回選択された感情ＩＤのうち、複数の演出テンプレートを選択する感情ＩＤについて、それぞれの演出テンプレートの選択回数が均一になるように演出テンプレートを選択する。

さらに、バッチ処理を行う際の他の変形例として、演出処理部４０５は、理手段は、指定情報が設定されてる演出テンプレートが存在する場合、該当する演出テンプレートが選択された全ての映像ファイルの感情レベルパラメータを相対的に比較し、該当する演出テンプレートを最大の感情レベルパラメータまたは最小の感情レベルパラメータを有する映像ファイルの番組演出処理のみに使用するようにしても良い。

次に、図１０（ａ）、（ｂ）を参照して、実施の形態４のＴＶ４０８に表示されるダイジェスト映像の番組の画面例について説明する。ＴＶ４０８の画面（ＰＶＵＩ画面）は図示の如く、映像再生および字幕・文字スーパーを表示する素材表示エリア１００１と、仮想キャラクタの動作やスタジオ演出効果（セット、照明、カメラ位置などを含む）の表示に使用するスタジオエリア１００２と、利用者（視聴者）による操作メニュー選択に使用する操作メニューエリア１００３とから成る３つの論理的エリアから構成される。

実施の形態４では、上記エリアの数は各１個とし、重ね合わせなしのタイル貼りレイアウトとする。マルチウィンドウの表示形態としてタイル貼りレイアウトを使用するのは、重ね合わせて表示するより、コンピュータに不慣れな利用者に馴染み易いと考えたからであり、利用者のコンピュータ操作スキルに応じて、表示形態を選択可能としても良い。

図１１は、実施の形態４のダイジェスト映像の番組化装置４００でダイジェスト映像の番組として作成された最終的なＰＶＭＬコードの例を示す。
先ず、ダイジェスト映像の１つの映像シーンに対して、先ず仮想キャラクタ（ＢＯＢ）が前書き説明文を喋り、その後、仮想キャラクタ（ＢＯＢ）によるイベント説明文の喋りと、映像シーンの再生が並列に行われるように記述したものである。

なお、＜ｈｅａｄ＞部分が番組定義ファイルの部分に相当し、＜ｂｏｄｙ＞部分が番組本体である。並列処理および逐次処理はそれぞれ＜ｐａｒ＞、＜ｓｅｑ＞タグで記述する。

ＰＶＭＬの言語仕様は、原則は、＜メソッド、対象オブジェクト、メソッドに関するパラメータ列＞であるが、対象オブジェクトに対して多数のメソッドを記述した場合もあるので、以降のメソッド列に対して対象オブジェクトを指定するタグとして“＜ｓｅｔ＞”を用意した。万歳動作のようなよく使うマクロは、ＰＶＭＬのライブラリとして予め別途定義しておく。

＜ｈｅａｄ＞部に記載された位置レイアウト記述について説明する。予めｈｅａｄ部のレイアウト指定において、画面の左右に垂直分割（＜ｖｅｒｔｉｃａｌ＞）、その後、左半分に対して水平分割（＜ｈｏｒｉｓｏｎｔａｌ＞）を行っている。この分割ツリー情報の関係は保持したまま、サイズの連動が起こる。よって以下のようなサイズ変更により、操作メニューエリアは大きくなり、スタジオエリアは小さくなる。図１０（ａ）に示す画面の場合、図１０（ｂ）に示す画面のように変更される。
<viewchange area="display" duration="2"
dstx="0" dsty="0" dstheight="500" dstwidth="500"/>

実施の形態４で使用したＰＶＭＬはＳＭＩＬとＴＶＭＬの持つ各種機能を呼び出して使用するので、演出の内容はＳＭＩＬおよびＴＶＭＬの仕様に制約されることになるが、記述言語は特に限定するものではなく、本発明のダイジェスト映像の番組化方法およびダイジェスト映像の番組化装置において他の記述言語が適用可能であることは明らかである。

前述した実施の形態４においては、仮想キャラクタの解説（前書き説明文、イベント説明文、後書き説明文の音声出力）とダイジェスト映像の各映像シーンの再生、およびスーパーの表示の間で容易に整合性を保って同期をとることができる。これにより、説明の分かりやすいプレゼンテーションを行うことができる。また、作成した番組の中で、仮想キャラクタにダイジェスト映像の内容を説明・解説させると共に、実施の形態２の映像内容説明文生成装置２００で計算された度合い値（感情レベルパラメータ）を用いて、仮想キャラクタに喜怒哀楽の演出を施すので、作成された番組を評価した場合、その感情表現は視聴者にとって理解を助け馴染み易い、違和感のないものとすることができた。

以上説明した実施の形態４に係るダイジェスト映像の番組化方法は、前述した説明で示した手順に従って予め用意したプログラムをコンピュータで実行することによって実現することができる。このプログラムは、ハードディスク、フロッピー（Ｒ）ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。またはネットワークを介して配布することができる。

実施の形態１の映像内容説明文生成装置の概略構成図である。 実施の形態１の接続関係判別関数のアルゴリズムを示す説明図である。 実施の形態２の映像内容説明文生成装置の概略構成図である。 実施の形態２の感情度判別関数のアルゴリズムを示す説明図である。 実施の形態３の説明文生成関数（説明文生成アルゴリズム）を示す説明図である。 実施の形態３の説明文生成関数を用いた場合、ある試合に対してどのような順序で説明文が生成されるかを示した説明図である。 本発明の映像内容の説明文生成方法を映像文生成機能として取り込んだダイジェスト作成システムの概要図である。 実施の形態４のダイジェスト映像の番組化装置のブロック構成図である。 ダイジェスト映像の番組化装置の処理の概略フローを示す説明図である。 実施の形態４のＴＶに表示されるダイジェスト映像の番組の画面例を示す説明図である。 実施の形態４のダイジェスト映像の番組化装置でダイジェスト映像の番組として作成された最終的なＰＶＭＬコードの例を示す説明図である。

符号の説明

１００ 映像内容説明文生成装置
１０１ 説明文生成部
１０２ 映像内容判定部
１０３ 接続表現選択部
２００ 映像内容説明文生成装置
２０１ 説明文生成部
２０２ 記憶部
２０３ 設定部
２０４ 計算部
４００ ダイジェスト映像の番組化装置
４０１ 映像ファイル生成部
４０２ 番組定義ファイルデータベース
４０３ 演出定義データベース
４０４ 演出テンプレート選択部
４０５ 演出処理部
４０６ ＰＶＭＬインタプリタ
４０７ ＴＶＭＬプレーヤ
４０８ ＴＶ

Claims (4)

1. 階層構造を用いて構造化された映像ストリームの中からダイジェスト映像用のシーンとして検索した各映像シーンに対して、その内容を説明する断片的な文字列または文字列に変換可能な情報からなる複数の文字情報が付加されている場合に、前記文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成手段を有する映像内容説明文生成装置において、
   前記階層構造は、前記映像ストリームのうち、下位の階層が上位の階層の映像シーンを論理的に意味のある単位で分割した映像シーンとなる関係で、最上位から最下位の階層まで段階的に分割されており、
   前記説明文生成手段が、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成することを特徴とする映像内容説明文生成装置。
2. さらに、前記説明文生成手段は、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の後書きとなる後書き文を生成することを特徴とする請求項１に記載の映像内容説明文生成装置。
3. 前記文字情報から各映像シーンの内容を判定する映像内容判定手段と、
   前記映像内容判定手段の判定結果に基づいて、前後の映像シーンの関係により、順接、逆接、並列、添加、選択の中から接続表現を選択する接続表現選択手段と、をさらに備え、
   前記説明文生成手段が、前記接続表現選択手段で選択した接続表現を用いて、該当する前後の映像シーンの説明文を接続することを特徴とする請求項１に記載の映像内容説明文生成装置。
4. 階層構造を用いて構造化された映像ストリームの中からダイジェスト映像用のシーンとして検索した各映像シーンに対して、その内容を説明する断片的な文字列または文字列に変換可能な情報からなる複数の文字情報が付加されている場合に、前記文字情報を用いて映像シーンの映像内容を説明する説明文を生成する説明文生成ステップを有する映像内容説明文生成方法ををコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   前記階層構造は、前記映像ストリームのうち、下位の階層が上位の階層の映像シーンを論理的に意味のある単位で分割した映像シーンとなる関係で、最上位から最下位の階層まで段階的に分割されており、
   前記説明文生成ステップが、ある階層の映像シーンについての説明文を生成する際に、前記階層構造を利用して、当該階層の映像シーンの映像内容を示す説明文と共に、当該階層の映像シーンの上位の階層の映像シーンの文字情報から説明文の前書きとなる前書き文を生成することを特徴とするコンピュータ読み取り可能な記録媒体。

Images