JP5243366B2 - 映像要約方法および映像要約プログラム - Google Patents

Description

本発明は，映像要約方法に関し，特に映像区間（映像シーン）毎に複数ユーザのコメントやマーク付きコメントが付与されている場合に，ユーザが注目している複数映像区間のコメント等から得られるトピック（名詞）によって，要約映像を作成するためのテンプレートを提示し，作成手間を減らしながら，効果的な要約映像を構成する方法に関する。

従来は，コメント参照情報と関連する映像区間を手動で対応づけて要約映像を作成する方法がある（特許文献１参照）。コメント入力と同時に参照情報を手動で追加する方法は，コメント入力と直接関係する参照先映像区間をそのタイミングで付与するため，ユーザの意図を反映した要約映像を作成することができる。

特開２００５−２３６５４６号公報

特許文献１では，１つの基点映像区間から要約映像を作成することになるが，ユーザの意図で要約映像を作成する場合，要約したいテーマとなるトピックが複数映像区間に跨るようなケースで，関連するトピックも含めて，要約映像としたい場合，全ての映像参照区間について手動で参照先を指定することは大変である。また，現状の方法は複数の映像区間の関係を付けることには良いが，映像要約として，テーマトピックや映像要約の構成を考える場合には簡単であるとは言えない。そこで，（１）ユーザの意図視点で，ある程度関連映像区間を自動的に収集すること，および（２）映像要約の全体構成を考えやすくすることを支援することが課題となる。

本発明は，以上の課題を解決し，映像区間毎に複数ユーザのコメントやマーク付きコメントが付与されている場合に，指定トピックに関するユーザが関心ある映像区間を収集し，その収集した映像区間に対して要約映像の全体構成をテンプレートとして提示する形で要約映像を作成する方法を提供することを目的とする。

上記課題を解決するための本発明の概要を説明する。本発明では，映像のシーン（映像区間という）に付与されたユーザコメントを利用して映像の要約作成を支援するにあたって，ユーザコメントに含まれる名詞をトピックとして抽出し，そのトピックに対する共起単語および意味属性を得て，関心トピックセットとして蓄積しておく。

ここで，コメントからトピックとして抽出する名詞とは，形式名詞，動詞性名詞（サ変名詞），固有名詞，普通名詞の全体を表すものとする。また，意味属性とは，日本語語彙体系（参考文献１参照）のような一般名詞意味体系の意味属性を意味しており，このような意味属性の情報が格納されたシソーラス等のデータベースから得ることができる。
［参考文献１］池原悟，宮崎正弘，白井諭，横尾昭男，中岩浩巳，小倉健太郎，大山芳史，林良彦：日本語語彙体系，岩波書店，ISBN4-00-130101-6 C3881 ，1997．
ユーザが指定したユーザＩＤにより，そのユーザに関する関心トピックセットを蓄積データから抽出し，ユーザに要約に利用したいトピックや意味属性を選ばせる。選ばれたものと共起する，つまり関連が深い関心トピックセットの映像区間を要約候補とする。この要約候補を予め定められた映像区間群間の関係を示す何種類かの提示パターン（要約テンプレートパターンという）により提示する。ユーザは提示されたものを選択または削除することができる。ユーザが選択／削除した結果から映像の要約を自動生成する。

また，要約テンプレートパターンを表示するときに，トピックの映像区間内における影響度を算出して，ユーザが映像区間を選択／削除するときの参考にできるようにする。

上述のように，本発明によれば，ユーザが映像に対して付与したコメントやコメントマークをもとに，対象ユーザが指定した関心トピック，関心意味属性を用いることで，自動的に関係する映像区間を要約候補の映像区間群としてまとめ，それらの映像区間群間の関係をテンプレート的に位置付けて，要約映像を作成することができる。これにより，ユーザは自分の意図に合った要約映像を半自動的に作成でき，構造的に分かり易い要約映像の作成が可能となる。

本発明の基本的な処理手順の例を示す図である。 本発明の実施形態におけるシステム構成図である。 コメント情報記憶部のデータ構造の例を示す図である。 ユーザ毎関心トピックセット記憶部のデータ構造の例を示す図である。 映像インデックス情報記憶部のデータ構造の例を示す図である。 意味属性と共起単語の例を示す図である。 トピック一覧・意味属性一覧の画面例を示す図である。 要約テンプレートパターンルールの例を示す図である。 要約テンプレートパターン例を示す図である。 要約テンプレートパターン例を示す図である。 要約テンプレートパターン決定手順のフローを示す図である。 要約映像再生画面の例を示す図である。 コメントおよびコメントマーク付与に関する事前処理を示す図である。

以下，図面を用いながら，本発明の実施の形態を説明する。図１に，本発明による基本的な処理手順の例を示す。

映像の要約は，次のような手順で実行する。ユーザ指定手順Ｓ１では，ログイン等の管理ユーザのユーザＩＤの指定などの本方法で一意にユーザを規定できるもので指定させる手段によって，ユーザＩＤを特定する。関心コメント取得手順Ｓ２は，指定されたユーザＩＤなどをキーにその対象ユーザが入力したコメントや対象ユーザがマークしたマーク付きコメントを関心コメントとして取得することを行う。

ユーザ毎関心トピックセット蓄積手順Ｓ３は，関心コメントを解析してその関心コメントに現れる名詞をトピックとして抽出し，そのトピックが属する意味属性，そのトピックと同一コメント中に共起して現れる単語，その関心コメントが付与されている映像区間識別子をセットでユーザトピックセットとして，ユーザ毎関心トピックセット記憶部１７に蓄積する。

トピック・意味属性指定手順Ｓ４は，ユーザ毎関心トピックセット蓄積手順Ｓ３で蓄積された全トピックおよび意味属性から，ユーザが指定した一つもしくは複数のトピックまたは意味属性を選択する。

関連映像区間セット抽出手順Ｓ５は，指定されて選択したトピックまたは意味属性から，同一トピック，同一意味属性，同一共起単語とそれらをコメントに持つ映像区間識別子を関連映像区間セットとして抽出する。

要約テンプレートパターン提示手順Ｓ６は，指定されて選択したトピックまたは意味属性を含む映像区間群を基点映像区間群として，前記抽出したトピック，意味属性を含む関連映像区間群の数と関連タイプとにより基点映像区間群と少なくとも１つ以上の関連映像区間群の関連タイプを表した要約テンプレートパターン候補を入出力装置に提示する。

要約テンプレートパターン決定手順Ｓ７は，提示された要約テンプレートパターンからユーザが指定した要約テンプレートパターンを１つ選択し，かつ要約テーマタイトル，基点映像区間群と関連映像区間群の中の映像区間を決定する。最後の要約映像提示・出力手順Ｓ８は，基点映像区間群と少なくとも１つ以上の関連映像区間群から一連の映像区間識別子を連結し要約映像を作成する。

本実施形態は，上記手順を順に行うことで，要約映像作成が可能となる。また手順Ｓ２，Ｓ３により対象ユーザが関心あるトピックとその意味属性と映像区間が関連付けられて保持されることで，対象ユーザの意図が反映されるものに自動的に絞り込みが可能となる。また手順Ｓ６，Ｓ７により映像要約の構造がテンプレートで示されながら，要約映像を作成することが可能となり，映像要約の構成が考えやすくなる。

図２は，本発明の実施形態におけるシステム構成図である。本システムは，映像の要約を作成するサーバ装置１０と要約作成者であるユーザが使用するクライアント装置２０とが接続された構成となっている。サーバ装置１０およびクライアント装置２０は，それぞれＣＰＵおよびメモリ等と図１に示す手順をＣＰＵに実行させるためのソフトウェアプログラムとから構成される装置であるが，本発明は，必ずしもこのようなサーバ・クライアントの構成でなくても実施可能である。

サーバ装置１０の映像インデックス情報記憶部１８には，要約作成の対象となる映像の各映像区間に対するインデックス情報などがあらかじめ記憶されている。また，コメント情報記憶部１６には，映像区間毎にユーザが入力したコメントや，コメントに対するマーク情報が記憶されている。なお，映像区間は，映像を複数の映像シーンに分割する既存の技術によって得られたものでよい。

サーバ装置１０は，ユーザが指定したユーザＩＤとコメント情報記憶部１６と映像インデックス情報記憶部１８とから，関心コメントを取得する関心コメント取得処理部１１と，取得した関心トピックセットをユーザ毎関心トピックセット記憶部１７に蓄積するユーザ毎関心トピックセット蓄積処理部１２と，ユーザの指定により選択したトピックや意味属性をもとにユーザ毎関心トピックセット記憶部１７から関連映像区間セットを抽出する関連映像区間セット抽出処理部１３と，抽出した関連映像区間セットの映像区間群の関連タイプを表した要約テンプレートパターンをクライアント装置２０に提示する要約テンプレートパターン提示処理部１４と，決定された要約テンプレートパターンに従って，要約映像を作成し，クライアント装置２０へ提示・出力する要約映像提示・出力処理部１５を備える。

クライアント装置２０は，ログイン等によりユーザを一意に識別するユーザＩＤをサーバ装置１０へ送るユーザ指定部２１と，映像の要約を作成したいトピックや意味属性をサーバ装置１０へ送るトピック・意味属性指定部２２と，提示された要約パターンテンプレートの中から要約作成に用いる要約テンプレートパターンの決定要求をサーバ装置１０へ送る要約テンプレートパターン決定要求部２３と，サーバ装置１０から送られてきた要約映像を表示装置（図示省略）に出力する要約結果出力部２４とを備える。

コメント情報記憶部１６に記憶されているコメント情報に関するデータの構造は，例えば図３に示すようになっている。各コメント毎に，そのコメントを識別するコメントＩＤと，そのコメントを入力したユーザを識別する入力ユーザＩＤと，コメントが付けられた映像区間を識別する映像区間ＩＤと，コメントの内容とが格納される。また，ユーザが既に入力されているコメントに対してマークを付けると，そのマークが付けられたコメントのコメントＩＤがマーク付きコメントＩＤとして格納され，マークを付けたユーザのユーザＩＤがマークユーザＩＤとして格納される。

ユーザ毎関心トピックセット記憶部１７に格納されるユーザ毎関心トピックセットのデータ構造の例を，図４に示す。ユーザ毎関心トピックセット記憶部１７には，図４に示すように，ユーザ毎のトピックセット，トピックと意味属性セットの情報が格納される。

ユーザ毎関心トピックセット記憶部１７に格納されるユーザ毎のトピックセットは，ユーザＩＤと，トピックを識別するトピックＩＤと，そのトピックが現れる映像区間ＩＤと，トピックと同一文内に現れる共起単語を識別する共起単語ＩＤと，トピックの意味属性を示す意味属性ＩＤである。なお，共起単語ＩＤは，トピックと共起する単語が名詞の場合にはトピックＩＤであり，共起する単語が用言の場合には，それを識別する用言ＩＤである。なお，これらのＩＤは，それぞれ最初にユーザ毎関心トピックセット記憶部１７に格納するときにシーケンス番号などにより一意に付与される。

また，ユーザ毎関心トピックセット記憶部１７に格納されるトピックと意味属性セットは，トピックＩＤと，トピックと，コメントＩＤと，意味属性ＩＤであり，また，トピックに対応する用言（共起単語）としては，用言ＩＤ，用言，コメントＩＤ，意味属性ＩＤの一覧情報である。

映像インデックス情報記憶部１８に格納される映像インデックス情報のデータ構造の例を，図５に示す。映像インデックス情報記憶部１８には，あらかじめ映像区間を識別する映像区間ＩＤと，その映像区間がその映像のものであるかを示す映像ＩＤと，映像区間の開始時間，終了時間の情報が格納されている。なお，映像をシーンチェンジの検出などにより，複数の映像シーン（映像区間）に分割し，各映像区間の開始時間，終了時間などを管理する方法は，従来の一般的に知られている方法を用いることができるので，その詳細な説明は省略する。

次に，図２に示すシステムの動作について説明する。まず，クライアント装置２０において，ユーザＩＤをユーザが入力すると，そのユーザＩＤがサーバ装置１０の関心コメント取得処理部１１へ通知される。

関心コメント取得処理部１１は，コメント情報記憶部１６で管理されているデータに対して，指定されたユーザＩＤをキーに検索し，映像ＩＤ, 映像区間ＩＤ（映像区間識別子）, コメント，マークユーザＩＤを取得する。

取得したコメントに対して，ユーザ毎関心トピックセット蓄積処理部１２において，次の処理を行う。まず，コメントを形態素解析し，一般名詞，固有名詞などをトピックとして抽出し，そのトピックと同一文内にある共起する単語（トピック・用言）も同時に抽出する。さらに，トピックや用言をシソーラスとして保持されているデータ（図６参照）を使って，トピックの１つ上の階層にある上位概念である意味属性を抽出する。

このような意味属性を抽出するシソーラスとしては，例えば図６に示す日本語語彙体系［例：日本語語彙体系 ISBN4-00-130101-6 C3881］のような階層化された語彙体系の情報が格納されたデータベースを用いることができる。

これらの抽出結果から，図５に示すような映像インデックス情報記憶部１８を参照して，トピックＩＤ，映像区間ＩＤ，共起単語ＩＤ，意味属性ＩＤのセットを，ユーザＩＤと関連付けて，図４に示すようなデータ構造のユーザ毎関心トピックセット記憶部１７に蓄積する。蓄積すると同時に指定ユーザのトピック一覧，意味属性一覧をクライアント装置２０へ送り，クライアント装置２０に提示する。

図７は，トピック一覧・意味属性一覧画面の例を示している。クライアント装置２０に提示されるトピック一覧・意味属性一覧画面には，図７に示すように，要約作成対象となる映像毎に，その映像代表画像や各映像区間の情報および映像区間毎の興味話題一覧が表示される。興味話題一覧は，意味属性と話題（トピック）であり，ユーザがこの興味話題一覧の中の項目をマウスクリックなどにより選択し，話題指定ボタン３０を押下すると，その選択されたトピックまたは意味属性が，トピック・意味属性指定部２２から関連映像区間セット抽出処理部１３へ送られる。

関連映像区間セット抽出処理部１３では，トピック一覧・意味属性一覧画面からトピックが指定された場合と，意味属性が指定された場合とで，それぞれ以下の処理を行う。

（ａ）トピックが指定された場合
関連映像区間セット抽出処理部１３は，トピックが指定されると，ユーザ毎関心トピックセット記憶部１７に記憶されているユーザ毎関心トピック情報のデータを，まずトピックをキーに検索する。この検索により，図４（Ｂ）に示すデータから意味属性ＩＤの一覧セットを取得する。その取得した意味属性ＩＤと対象ユーザＩＤをキーとして，図４（Ａ）に示すユーザ毎のトピックセットを検索し，指定トピックと同一トピックＩＤを持つ映像区間ＩＤのセットを基点映像区間群として，指定トピックと異なるトピックＩＤを持つ映像区間ＩＤのセットを関連映像区間群として抽出して保持する。

さらに，図４（Ａ）に示す，指定トピックと共起する共起単語ＩＤのトピックＩＤをキーとしてユーザ毎のトピックセットを検索し，共起トピックと同じトピックＩＤを含む映像区間ＩＤを関連映像区間群としてさらに追加する。トピックの指定は複数指定してもよく，その場合は前記の処理をトピック数分繰り返す。

（ｂ）意味属性一覧が指定された場合
関連映像区間セット抽出処理部１３では，指定意味属性の意味属性ＩＤと対象ユーザＩＤをキーとして，図４（Ａ）に示すユーザ毎のトピックセットを検索し，結果を関連映像区間群として抽出して保持する。このようにして抽出される映像区間群は，例えば図１０（Ｃ）に示すように，ともに共通トピックａ１と，共通トピックを含む映像区間のセットで構成されることとなる。意味属性は複数指定してもよく，その場合には前記の処理を意味属性数分繰り返す。

保持されたトピックまたは意味属性に関連付いた基点映像区間群や関連映像区間群は，要約テンプレートパターン提示処理部１４に渡され，トピック数，基点映像区間群の数，関連映像区間群の数により，要約テンプレートパターンを変えて提示する。

要約テンプレートパターンは，要約作成の候補となる映像区間の関係を示すための予め用意された提示パターンであって，どのような要約テンプレートパターンを提示するかについては，例えば図８に示すような要約テンプレートパターンルールに従って定められる。なお，各種の要約テンプレートパターンの例を図９および図１０に示す。なお，要約テンプレートにおける「関係説明」には，各映像区間群がどのような関係を有しているかの説明情報が表示される。

〔ルールＲ１〕基点映像区間群と関連映像区間群の数の合計が１つの場合には，１つの映像区間群しかないため，１テーマテンプレートが選ばれる。そして，図９（Ａ）のような１テーマテンプレートの関係説明に関連付いたトピック，または意味属性が自動で入力される。

〔ルールＲ２〕基点映像区間群と関連映像区間群の数の合計が２つの場合には，２つの映像区間群があるため，比較テンプレートまたは収斂テンプレートが選ばれる。そして，図９（Ｂ），（Ｃ）のような比較テンプレートまたは収斂テンプレートの関係説明に関連付いたトピック，または意味属性が自動で入力される。

〔ルールＲ３〕トピック数が０の場合には，意味属性と関連付いているため，中心のテーマに意味属性を入力した発展テンプレートが選ばれる。図９（Ｄ）のように発展テンプレートの中心のテーマから放射線上に映像区間群が置かれる。

〔ルールＲ４〕トピック数が１の場合には，トピックが１つと関連付いた収斂テンプレートが選ばれる。収斂テンプレートの関係説明にトピックが自動的に入力される。

〔ルールＲ５〕トピック数が２の場合，トピックが２つあり，トピックを各軸とした図１０（Ａ）に示すような相関テンプレートが選ばれる。相関テンプレートの各軸にトピックが１つずつ自動で入力され，トピックの軸で区切られた事象に映像区間群が順に配置される。

〔ルールＲ６〕トピック数が３以上の場合には，トピック一つずつに対して〔ルールＲ１〕の１テーマテンプレートが繰り返し適用される。

ルールＲ１からＲ６までのルールの判定処理に従って，要約テンプレートパターンの提示処理が行われ，クライアント装置２０へ要約テンプレートパターンが提示される。

クライアント装置２０では，その提示された要約テンプレートに対して，ユーザは提示されたテンプレートの中から１つの要約テンプレートを選択し，次のような編集操作を行うことができる。すなわち，ユーザ操作による映像区間群の編集処理として，図１０（Ｂ）に示すように，そのテンプレートの映像区間群の２つを指定して映像区間群の位置を入れ替える操作，映像区間群を指定して削除する操作，映像区間群内の映像区間を削除する操作，テーマタイトルやトピックや関係説明の文字編集操作の処理などがある。

この関係説明の編集操作において，関係説明に自動で関係性のあるトピック，意味属性が入ることになるが，この自動設定により，ユーザは各映像区間の相互の関係性の編集入力が容易になる。

さらに各映像区間群内の各映像区間のトピックの影響度によるソートと削除対象映像区間の提示を，図１１に示す要約テンプレートパターン決定手順によって支援する。

まず，ステップＳ１０では，ユーザ毎関心トピックセット記憶部１７中の図４（Ａ）に示すユーザ毎のトピックセットに対して，対象ユーザのユーザＩＤをキーとすることで，対象ユーザの関心のある総トピックを抽出し，数をカウントする。

ステップＳ１１では，映像区間群毎に次の処理を行う。まず，ユーザに指定されたトピックまたは意味属性から得られる関連トピックを，ユーザが関心を持つ共通トピックとする。映像区間群内の各映像区間に関連する共通トピックの出現頻度を図４（Ａ）に示すユーザ毎のトピックセットに対して，映像区間ＩＤと共通トピックＩＤをキーとして抽出することで，各映像区間のトピック出現頻度を算出できる。その結果とステップＳ１０の総トピック数から，影響度を，以下の計算式で算出する。

影響度＝トピック出現頻度／総トピック数
この影響度の算出を指定テンプレートに含まれる全映像区間群に対して実行する。

ステップＳ１２では，映像区間群毎にステップＳ１１で算出した影響度の降順（高い影響度が上位となる）にソートする。

ステップＳ１３では，各映像区間群の影響度の一番高い映像区間のみ，要約映像区間候補として保持し，要約映像区間候補の総時間を映像インデックス情報記憶部１８から取得して算出する。

ステップＳ１４では，要約映像作成の規定時間をユーザにセットしてもらい，そのユーザがセットした時間とステップＳ１３の要約映像区間候補の総時間とを比較して，総時間が大きい場合にはステップＳ１６へ，総時間が小さい場合にはステップＳ１５へ遷移する。

ステップＳ１５では，要約映像区間候補以外の各映像区間群の影響度の一番高い映像区間のうち，最も影響度の高いものを要約映像区間候補に加えて設定し，ステップＳ１４を繰り返す。

ステップＳ１６では，要約映像区間候補以外の映像区間を削除候補として，ユーザに提示する。

ステップＳ１７では，要約映像区間候補以外を削除対象として，ユーザからの削除指示があった映像区間を映像区間群から除外する。

これで要約テンプレートパターンの決定がなされ，図９および図１０に示した要約テンプレートパターンの中のいずれか１つの要約テンプレートパターンと各映像区間群内の映像区間が影響度降順に設定された状態となる。

最後に要約映像提示・出力処理部１５は，以上で決定された要約映像区間候補となった１番目の映像区間群の映像区間から順に影響度降順に映像区間を連結して映像化することで，要約映像を生成する。生成した要約映像は，クライアント装置２０へ送られ，要約結果出力部２４によって出力される。

クライアント装置２０では，要約結果出力部２４で要約映像を再生し，それ以外はどういったテンプレートでどこが再生されているかなどを確認できる再生画面にて提示する。これにより，ユーザはどういった意図の要約映像なのかを確認しながら，要約映像を閲覧できることになる。

図１２に，要約映像再生画面の例を示す。要約映像再生画面には，図１２に示すように，映像再生エリアに要約映像として連結された映像区間が順番に表示され，そのトピックや関連コメントの一覧が提示される。また，要約映像として利用された各映像区間群に対する共通トピックなどが提示される。この再生映像に対しては，映像再生エリアの下に配置された再生制御ボタンによって，早送り，一時停止，巻戻しなどの再生操作が可能である。

次に，本システムにおける事前処理にあたるコメントとコメントマーク付与手順について図１３に示し，以下で説明する。

ユーザによる映像の再生や一時停止などの操作に対して，その操作に応じた映像の再生制御を行う（ステップＳ２０）。再生制御された映像中で，ユーザがアノテーションを入力したい場所を指定してコメントを入力すると，その入力を受け付け（ステップＳ２１），そのコメントが入力された対象映像時間情報から，対象映像，対象映像時間，映像区間情報を求め，ユーザが入力したコメントとともに，図３（Ａ）に示すような形式でコメント情報記憶部１６に記憶し，蓄積する（ステップＳ２２）。

また，コメントマーク付与については，再生制御されている映像の時間を取得し（ステップＳ２３），蓄積されたコメントの中から，取得した時間を含む対応映像区間のコメントを取得し（ステップＳ２４），映像区間に対応付いたコメントを映像再生と連動して表示する制御を行う（ステップＳ２５）。その表示されたコメントに対して，ユーザが関心あるコメントにマークを付与すると，付与したユーザと対象コメントの情報を，図３（Ｂ）に示す形式でコメント情報記憶部１６に記憶し，蓄積する（ステップＳ２６）。

これらの手順により映像を再生しながらコメント付与やコメントマーク付与を映像時間と関連付けて行うことができる。

以上の映像要約の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１０ サーバ装置
１１ 関心コメント取得処理部
１２ ユーザ毎関心トピックセット蓄積処理部
１３ 関連映像区間セット抽出処理部
１４ 要約テンプレートパターン提示処理部
１５ 要約映像提示・出力処理部
１６ コメント情報記憶部
１７ ユーザ毎関心トピックセット記憶部
１８ 映像インデックス情報記憶部
２０ クライアント装置
２１ ユーザ指定部
２２ トピック・意味属性指定部
２３ 要約テンプレートパターン決定要求部
２４ 要約結果出力部

Claims (7)

1. 映像区間毎に複数ユーザのコメントまたはマーク付きコメントが付与された状態の映像に対して，コンピュータが要約映像を作成する方法であって，
   映像区間毎に，ユーザが付与したコメントまたはコメントに対するマーク情報が映像区間識別子とともに格納されているコメント情報記憶手段から，指定されたユーザの入力コメントまたはマーク付きコメントを関心コメントとして取得する手順と，
   前記関心コメントを分析し，関心コメントに含まれる名詞をトピックとして抽出するとともに，そのトピックの意味属性をシソーラスを用いて抽出し，前記トピックとその意味属性と対象映像区間識別子，またはさらに前記トピックと同一コメントに現れる共起単語を含む情報を関心トピックセットとして，ユーザ毎関心トピックセット記憶手段にユーザＩＤに関連付けて蓄積する手順と，
   前記関心トピックセットに含まれるトピックまたは意味属性をユーザに指定させ，その指定入力を受け付ける手順と，
   前記ユーザ毎関心トピックセット記憶手段を参照し，前記指定されたトピックまたは意味属性と，それを指定したユーザのユーザＩＤとをもとに，前記ユーザの関心コメントの中から同一トピック，同一意味属性，またはさらに同一共起単語と，それらの対象となる映像区間識別子のセットとを関連映像区間セットとして抽出する関連映像区間セット抽出手順と，
   前記指定されたトピックまたは意味属性を含む映像区間群を基点映像区間群として，基点映像区間群と前記関連映像区間セットとして抽出された関連映像区間群との数およびトピック数に応じて，それらの映像区間群の関係を表す予め定められた要約テンプレートパターンの中から該当する１または複数の要約テンプレートパターン候補を選択し，選択した要約テンプレートパターン候補を出力してユーザに提示する要約テンプレートパターン提示手順と，
   前記提示した要約テンプレートパターン候補から，ユーザからの指示入力により要約テンプレートパターンを決定する要約テンプレートパターン決定手順と，
   前記決定した要約テンプレートパターンに従って，前記基点映像区間群と前記関連映像区間群に含まれる映像区間の映像区間識別子を連結し，連結された一連の映像区間識別子によって指定される映像区間から要約映像を作成する手順とを有する
   ことを特徴とする映像要約方法。
2. 請求項１に記載の映像要約方法において，
   前記関連映像区間セット抽出手順は，
   トピックが指定された場合に，まずトピックが属する意味属性を取得し，その意味属性に属する対象ユーザの関心トピックセットの中から同一トピックを抽出し，抽出したトピックを含む映像区間識別子のセットと，指定トピック以外のトピックを含む映像区間識別子のセットと，指定したトピックと共起するトピックを含む映像区間識別子のセットとを抽出する
   ことを特徴とする映像要約方法。
3. 請求項１または請求項２に記載の映像要約方法において，
   前記関連映像区間セット抽出手順は，
   意味属性が指定された場合に，対象ユーザの関心トピックセットの中から指定された意味属性のトピックを含む映像区間識別子のセットを抽出する
   ことを特徴とする映像要約方法。
4. 請求項１から請求項３までのいずれか１項に記載の映像要約方法において，
   前記要約テンプレートパターン提示手順は，
   ユーザからトピックが指定された場合に，その指定されたトピックと同一のトピックを含む映像区間識別子のセットを基点映像区間群とし，同一意味属性の他トピックを含む映像区間識別子のセットをそれぞれ関連映像区間群とし，関連映像区間群が１つの場合と複数の場合とで要約テンプレートパターンを分けて提示する
   ことを特徴とする映像要約方法。
5. 請求項１から請求項４までのいずれか１項に記載の映像要約方法において，
   前記要約テンプレートパターン提示手順は，
   ユーザから意味属性が指定された場合に，その指定された意味属性と同一の意味属性を含む映像区間識別子のセットのうち，同一の意味属性を持つ全トピックを含む映像区間識別子のセットを関連映像区間群とし，映像区間群の関係として前記指定された意味属性が設定された要約テンプレートパターンを提示する
   ことを特徴とする映像要約方法。
6. 請求項１から請求項５までのいずれか１項に記載の映像要約方法において，
   前記要約テンプレートパターン決定手順は，
   基点映像区間群，関連映像区間群中のトピックにおける１映像区間内の影響度を，映像区間群における前記ユーザに指定されたトピックまたは意味属性から得られる関連トピックと共通する共通トピックの数をもとに算出し，算出した影響度が大きい降順に基点映像区間群内，関連映像区間群内の映像区間をソートし，規定の要約映像時間に近くなるように映像区間削除候補として提示し，削除を指定する入力があった場合に指定された映像区間を各映像区間群から除外する
   ことを特徴とする映像要約方法。
7. 請求項１から請求項６までのいずれか１項に記載の映像要約方法を，コンピュータに実行させるための映像要約プログラム。

Images