JP4120597B2 - 部分コンテンツ作成方法及び装置及びプログラム - Google Patents

Description

本発明は、部分コンテンツ作成方法及び装置及びプログラムに係り、特に、コンピュータ上での映像を介したコミュニケーションを行う際に、映像に対して入力されたコメントと共に映像区間への参照情報を入力することで部分コンテンツの作成を用意するための部分コンテンツ作成方法及び装置及びプログラムに関する。

ディジタル化された映像を要約する場合、映像中から重要な部位を特定する技術が必要となる。従来の映像要約技術では、付与された属性情報（例えば、キーワード）から重要と考えられる属性をユーザに入力・選択させ、適切な映像区間を決定する手法や、映像の特徴から重要度を推定する方法、ユーザの能動的／暗黙的なスコア付けを利用して映像区間を選定する手法などを用い、映像中の特定部位を抽出し、映像を要約している。

例えば、属性を用いた手法では、映像の種別を属性として映像区間に付与し、その属性をユーザが選択することによって注目する映像区間一覧を作成する。一例として、ＣＭ属性を持つ区間の代表画像のみを表示することで、映像中にどのようなＣＭが含まれているかを容易に一覧できる映像要約表示方法を示している。この手法は、比較的判り易い情報を用いて関連する映像区間を能動的に指定できるため、ユーザにとって明確な映像要約が可能な点が特徴である（例えば、特許文献１参照）。

また、重要度を推定する方法では、映像の特徴である画像、音声、Closed Caption（映像中の文字）を強調させることにより映像を要約する。Closed Caption中の重要な単語を推定し、それと関連した映像、音声区間に対して、顔の検出結果や画面の動き、音量などの特徴量から重要度を求めることで、最大１／２０程度までに自動的に映像を圧縮できると述べられている（例えば、非特許文献１参照）。

ユーザのスコア付けを用いた手法では、各映像区間に対してユーザがコメントを付与できるシステムを対象に、コメントから映像区間への評価情報を取得する手法を提案している。一例として、各映像区間でのコメントの総量を暗黙的なスコア付けと捉えることで、映像区間の重要度を求め、重要な映像区間を時系列に繋ぎ合わせた要約映像を作成している。この手法は、刻々と付与されるコメントを対象とするため、その時点で最も重要と思われる映像区間を用いて要約映像を作成することを特徴とする。
特開平９−２１９８２５「映像要約方法及び装置」 M.Smith and T. Kanade, "Video skimming and characterization through the combination of image and language understanding techniques",CVPR, pp.775-781, 1997

しかしながら、上記の属性情報を用いた要約方法では、ユーザが望む属性情報が映像に付与されていない場合に問題が発生する。また、属性を増やそうとした場合、手動ではそのコストが問題となり、自動ではノイズが増えてしまうため、望ましい映像要約ができない恐れがある。

また、映像の特徴量から重要度を推定する方法では、ユーザの意図を反映し辛いことが問題となる。特に、色情報のような数値で表される映像特徴量は、キーワードなどの明確な情報と異なり、ユーザの意図との関連付けが難しく、ユーザの思い通りに要約映像を作ることが困難となる。

ユーザのスコアを用いた方法では、映像区間の重要度を統計的に求めることが問題となる。“良い”、“悪い”、“面白い”などの評価や上記の例に挙げたコメントの総量などを用いてスコアを求めた場合、必ずしもユーザが求める要約映像が作成されるとは限らない。例えば、“良い”場面だけを集めた映像がユーザにとって適切な要約映像になるとは限らない。

また、これらの技術は、映像単体を要約することに注目しており、例えば、数十話に亘るドラマ映像など、複数の映像からストーリに沿って要約する場合などを想定していない。

本発明は、上記の点に鑑みなされたもので、映像を用いたコミュニケーション手段に着目し、情報の不足をユーザの入力するコメントによって補い、且つ、コメントの参照を用いることで、ユーザの意図に沿った複数映像に跨る明確な映像要約を可能とする部分コンテンツ作成方法及び装置及びプログラムを提供することを目的とする。

上記の課題を解決するために、本発明では、ディジタル映像を要約する上で、まず、映像を用いたコミュニケーション手段において、映像及び映像区間をリンク（参照）したコメントを容易に入力可能な手段を提供し、その後、コメント及びリンクを用いて映像区間を選択的に繋げることで、要約映像を作成する方法及び装置及びプログラムを提供する。

以下の方法は、次々と入力されるコメントを対象とすることで情報の不足を補い、また、映像とコメントとリンクを用いた要約手段を用いることで、コメントの内容によってユーザの意図を反映すると共に、複数の映像に跨る要約を可能とするものである。

図１は、本発明の原理を説明するための図である。

本発明は、映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを作成するための部分コンテンツ作成方法であって、
コメント入力区間選択手順と（ステップ１）、
コミュニケーション手段を介して、映像区間に対してコメントを入力させるコメント情報入力手順と（ステップ２）、
コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させるニケーション手段を介して、映像区間から別の映像区間への参照情報を入力させる参照情報入力手順と（ステップ３）、
コメント入力区間選択手順と参照情報入力手順において、ユーザから入力されたコメント・参照情報を、映像区間と対応付けて、コメント・参照情報記憶手段に蓄積するコメント・参照情報蓄積手順（ステップ４）と、
コメント・参照情報記憶手段に蓄積されている対応付けられたコメント・参照情報を入力された映像区間と対応付けて、コミュニケーション手段を介して、ユーザに表示するコメント・参照情報表示手順（ステップ５）と、
コミュニケーション手段を介して、表示されているコメント・参照情報と入力された映像区間とが対応付けられた表示内容から、要約映像の基点となる映像区間をユーザに選択させる要約基点区間選択手順（ステップ６）と、
要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間を、コミュニケーション手段を介して、ユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加手順（ステップ７）と、
要約基点区間選択手順及び要約基点区間追加手順により選択された一連の映像区間を連結し、要約映像を作成する要約映像生成手順（ステップ８）と、を行う。

上記の手順により、まず、コメントを要約映像を作成する際の評価情報とすることで、刻々と増えるユーザのコメントによって要約に必要な情報の量を補うことができる。また、コメントは、数値情報と異なる文字情報のため、ユーザの意図と関連性を評価しやすい。特に、映像の内容に踏み込んだコメントの場合、“良い”、“悪い”などの簡単な評価と異なり、映像とユーザの意図との関連性により的確に評価できるようになる。

また、参照先として、数十話に亘るドラマ映像などを対象にできるため、複数の映像に跨った映像区間の連結が可能になる。よって、これらの手順を踏まえてコメントと参照情報を用いれば、ユーザの意図に沿った映像区間を複数の映像に跨って決定できるため、よりユーザの意図に合致する要約映像を作成することが可能となる。

また、本発明は、上記の参照情報入力手順（ステップ３）において、
ユーザに参照する映像区間を指定させる際に、
ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示し、ユーザが選択したコメントに基づいて、該コメントが参照している参照情報を取得し、該参照情報から映像区間参照情報を取り出して、参照する映像区間を特定して該ユーザに提示する。

上記のように、映像区間へ参照情報を入力する際に、入力済みのコメント・参照情報を選択することにより、関連付けられている映像区間への参照情報を入力することにより、映像の開始・終了時間を再度指定することなく、既に入力済みのコメント・参照情報を選択するだけで参照済みの映像区間が選択されるため、容易に映像区間を決定できる。

また、本発明は、コメント・参照情報蓄積手順（ステップ４）において、
ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加してコメント・参照情報記憶手段に蓄積する。

上記のように、映像区間から映像区間への参照情報を入力した際に、映像区間への一方向への参照ではなく、映像区間相互の参照情報を蓄積することにより、映像を連結する際に、連結時の基点となる映像区間から参照する映像だけでなく、基点となる区間を参照している映像区間も要約映像作成時に候補とすることが可能となる。

また、本発明は、コメント・参照情報蓄積手順（ステップ４）において、
映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定し、
特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与してコメント・参照情報記憶手段に蓄積する。

上記のように、コメント・参照情報を蓄積する際に、入力されたコメントから固有名詞などの特徴的なワード（部分コメント）を抜き出し、同様のワードをコメント内に持つ映像区間に対して自動的に参照情報を入力することにより、参照情報の入力が簡略化されると共に、例えば、複数のコメント内に書かれた共通の出演者名を要約映像の基準とするなど、より多彩な要約映像の生成が可能となる。

また、本発明は、要約基点区間追加手順（ステップ７）において、
要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
要約基点区間におけるコメントと、参照関係にある映像区間に置けるコメントを比較し、要約映像として連結する際の重要度を求め、
重要度の高い映像区間を要約基点映像区間として追加する。

上記のように、要約映像として連結可能な映像区間を選択する際の重要度を決定することにより、要約映像として連結可能な任意の映像区間を選択する際に、例えば、重要度順に候補を提示することで、ユーザは容易に映像区間を選択することが可能となる。また、重要度が最も高いものを選択していくことにより、自動的に要約映像を作成することも可能である。

図２は、本発明の原理構成図である。

本発明は、映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを作成するための部分コンテンツ作成装置であって、
コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させる映像区間選択手段１１と、
映像区間選択手段１１で選択された映像区間に対して、コミュニケーション手段を介して、コメントを入力させるコメント入力手段１２と、
コミュニケーション手段を介して、コメントと同時に映像区間から別の映像区間への参照情報を入力させる参照情報入力手段１３と、
コメント入力手段１２及び、参照情報入力手段１３においてユーザから入力されたコメント・参照情報を、映像区間と対応付けて、コメント・参照情報記憶手段５に蓄積するコメント・参照情報蓄積手段７と、
コメント・参照情報記憶手段５に蓄積されている対応付けられたコメント・参照情報をコミュニケーション手段を介して表示するコメント・参照情報表示手段６と、
コメント・参照情報表示手段６により表示された情報から、コミュニケーション手段を介して要約映像の基点となる映像区間をユーザに選択させる要約基点区間選択手段１５と、
コミュニケーション手段を介して、要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間をユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加手段１６と、
要約基点区間選択手段１５及び要約基点区間追加手段１６により選択された一連の映像区間を連結し、要約映像を作成する要約映像生成手段１７と、を有する。

また、本発明の参照情報入力手段１３は、
ユーザに参照する映像区間を指定させる際に、
ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示する手段と、
ユーザが選択した入力済みのコメントに基づいて、該コメントが参照している参照情報をコメント・参照情報記憶手段５から取得し、該参照情報に基づいて、該コメント・参照情報記憶手段５から映像区間に関連付けられた映像区間を特定して該ユーザに提示し、該映像区間に対する参照情報を入力させる手段と、を含む。

また、本発明のコメント・参照情報蓄積手段７は、
ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加してコメント・参照情報記憶手段５に蓄積する手段を含む。

また、本発明のコメント・参照情報蓄積手段７は、
映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定する手段と、
特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与してコメント・参照情報記憶手段５に蓄積する手段と、を含む。

また、本発明の要約基点区間追加手段１６は、
要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
要約基点区間におけるコメントと、参照関係にある映像区間におけるコメントを比較し、要約映像として連結する際の重要度を求める手段と、
重要度の高い映像区間を要約基点映像区間として追加する手段と、を含む。

本発明は、映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを、作成するための部分コンテンツ作成プログラムであって、
コンピュータに、
コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させるコメント入力区間選択ステップと、
コミュニケーション手段を介して、映像区間に対してコメントを入力させるコメント情報入力ステップと、
コミュニケーション手段を介して、映像区間から別の映像区間への参照情報を入力させる参照情報入力ステップと、
コメント入力区間選択ステップと参照情報入力ステップにおいて、ユーザから入力されたコメント・参照情報を、映像区間と対応付けて、コメント・参照情報記憶手段に蓄積するコメント・参照情報蓄積ステップと、
コメント・参照情報記憶手段に蓄積されている対応付けられたコメント・参照情報を入力された映像区間と対応付けて、コミュニケーション手段を介して、ユーザに表示するコメント・参照情報表示ステップと、
コミュニケーション手段を介して、表示されているコメント・参照情報と入力された映像区間とが対応付けられた表示内容から、要約映像の基点となる映像区間をユーザに選択させる要約基点区間選択ステップと、
要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間を、コミュニケーション手段を介して、ユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加ステップと、
要約基点区間選択ステップ及び要約基点区間追加ステップにより選択された一連の映像区間を連結し、要約映像を作成する要約映像生成ステップと、を実行させる。

また、本発明の参照情報入力ステップにおいて、
ユーザに参照する映像区間を指定させる際に、
ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示し、ユーザが選択したコメントに基づいて、該コメントが参照している参照情報を取得し、該参照情報から映像区間参照情報を取り出して、参照する映像区間を特定して該ユーザに提示するステップを実行させる。

また、本発明のコメント・参照情報蓄積ステップにおいて、
ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加してコメント・参照情報記憶手段に蓄積するステップを実行させる。

また、本発明のコメント・参照情報蓄積ステップにおいて、
映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定するステップと、
特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与してコメント・参照情報記憶手段に蓄積するステップと、を実行させる。

また、本発明の要約基点区間追加ステップにおいて、
要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
要約基点区間におけるコメントと、参照関係にある映像区間に置けるコメントを比較し、要約映像として連結する際の重要度を求めるステップと、
重要度の高い映像区間を要約基点映像区間として追加するステップと、を実行させる。

上記のように本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、従来の方法に比べ、映像区間の参照を許す幅広いコメント入力を可能とすると共に、映像区間に付与されたコメントと参照情報を用いて要約映像を作成できるため、よりユーザの意図を反映した要約映像を作成することができる。

以下、図面と共に、本発明の実施の形態を説明する。

以下の実施の形態の説明において、「映像コンテンツ」は、映像情報と音声情報を含むコンテンツに限定されることはなく、少なくとも画像情報を含むあらゆるコンテンツを映像コンテンツと呼ぶものとする。

また、「コメント」は、文字情報に限定されることなく、Ｗｅｂ上のコンテンツを指し示すＵＲＬや感情を表現する画像等、コミュニケーションを図る上で利用可能な情報を含む。

以下の実施の形態では、ディジタル映像を要約する上で、まず、映像を用いたコミュニケーション手段において、映像及び映像区間リンク（参照）したコメントを容易に入力可能な手段を提供し、その後、コメント及びリンクを用いて映像区間を提案するものである。以下に示す方法は、次々と入力されるコメントを対象とすることで、情報の不足を補い、また、映像間のコメントとリンクを用いた要約手段を用いることで、コメントの内容によってユーザの意図を反映し、複数の映像にまたがる要約の作成を行うものである。

［第１の実施の形態］
図３は、本発明の第１の実施の形態におけるシステム構成を示す。

同図に示すシステムは、クライアント装置１とサーバ装置２から構成され、サーバ装置２上に蓄積された映像に対して他ユーザが書き込みをしたコメント・参照情報を表示したり、あるいはコメント・参照情報の書き込みを行い、そのコメント・参照情報を用いてユーザが部分コンテンツ（要約映像）を作成・閲覧するシステムである。

同図に示すシステムは、複数台のクライアント装置１とサーバ装置２を含み、クライアント装置１とサーバ装置２は、例えば、インターネットのようなネットワーク（図示せず）を介して接続される。クライアント装置１は、複数台存在するが、説明の簡略化のため、以下の説明では、１台として説明する。

クライアント装置１は、映像区間選択部１１、コメント入力部１２、参照情報入力部１３、コメント・参照情報表示部１４、要約基点区間選択部１５、要約基点区間追加部１６、要約映像生成部１７、要約映像再生部１８、及び、要約基点バッファ１９から構成される。

なお、図示しないが、映像区間選択部１１、コメント入力部１２、参照情報入力部１３、コメント・参照情報表示部１４、要約基点区間選択部１５には、ユーザとのコミュニケーション手段として、ユーザインタフェースが存在するものとする。

サーバ装置２は、映像インデクス情報ＤＢ２１，コメント・参照情報蓄積部２２、コメント・参照情報ＤＢ２３，及び映像ＤＢ２４から構成される。

クライアント装置１の映像区間選択部１１は、ユーザに映像の中からコメントを付与したい区間を選択させるための画像を表示し、選択入力を受け付ける。

コメント入力部１２は、選択された映像区間に対して付与するコメントを入力させるためのコメント入力画面を表示し、コメントの入力を受け付ける。

参照情報入力部１３は、コメントと共に、映像区間から別の映像区間への参照情報を入力するための画面を表示し、ユーザからの参照情報の入力を受け付け、取得した参照情報をサーバ装置２に送信する。また、参照情報入力部１３では、参照する映像区間をユーザに指定させる際に、入力済みのコメント・参照情報を指定させ、それに関連付けられた映像区間を表示し、ユーザにその中から映像区間を指定させることも可能である。

コメント・参照情報表示部１４は、サーバ装置２のコメント・参照情報ＤＢ２３に蓄積されている情報を、当該情報が入力された映像区間と対応付けて表示する。

要約基点区間選択部１５は、表示されたコメント、参照情報から、要約映像の基点となる映像区間を選択させる。

要約基点区間追加部１６は、要約映像の基点となる区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択させ、選択された映像区間を基点区間に追加する。また、当該要約基点区間追加部１６は、要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、要約基点区間におけるコメントと、参照関係にある映像区間におけるコメントを比較し、要約映像として連結する際の重要度を求め、重要度に応じて候補をユーザに提示する。または、重要度の最も高いものを選択して要約映像生成部１７に渡すことも可能である。

要約映像生成部１７は、要約基点区間選択部１５と要約基点区間追加部１６によって選択された一連の映像区間を連結し、要約映像を作成する。

要約映像再生部１８は、サーバ装置２に対して区間情報を送信することにより、サーバ装置２の映像ＤＢ２４に蓄積されている映像コンテンツを取得して、ディスプレイ等の表示手段に表示する。

要約基点バッファ１９は、要約基点区間選択部１５により表示された画面において、ユーザが選択した映像区間を一時的に格納するバッファであり、要約基点ＩＤ毎に要約基点区間情報（映像ＩＤ，区間ＩＤ）及び深さからなる情報を有する。

サーバ装置２の映像インデクス情報ＤＢ２１は、映像を幾つかの区間に分けるための区間情報やサムネイルを蓄積する。

コメント・参照情報蓄積部２２は、クライアント装置１の参照情報入力部１３から送信されたコメントと参照情報（コメント・参照情報）を蓄積する。この場合の、コメント・参照情報とは、コメントやコメントが入力された映像区間の情報、映像区間への参照情報など、コメント入力、参照情報入力によって生じる様々な情報を含む。

コメント・参照情報ＤＢ１５は、コメント・参照情報蓄積部２２から渡された情報を蓄積する。

映像ＤＢ２４は、区間情報毎の映像コンテンツを蓄積する。

次に、上記のシステムの処理について説明する。

概略としては、図４に示すように、複数のクライアント装置１から入力されたコメント・参照情報をサーバ装置２上に蓄積する段階（ステップ１００）と、クライアント装置１上に表示されたコメント・参照情報を元にユーザが任意の映像区間を逐次選択することで部分コンテンツ作成する段階（ステップ２００）に分かれる。これらの処理は、コメントの内容と参照される映像区間を参考に、ユーザが映像区間を選択していくことにより、ユーザの意図に沿った部分コンテンツの作成を容易とする。

まず、コメント・参照情報をサーバ装置２上に蓄積する段階（ステップ１００）について説明する。

（１）クライアント装置１は、映像区間選択部１１において、ユーザに映像区間を選択させるための画面を表示し、コメントを入力したい映像区間をユーザに選択させる。

ユーザがコメントを入力したい映像区間を選択する場合、例えば、図５に示すように、帯状に表現された映像時間軸上でバーを動かすことで直感的に映像上の時刻を指定することができるスライダーインタフェースを利用する。同図にあるような開始ボタン及び終了ボタンを併用することで、コメントを入力したい区間の開始・終了点を入力できる。

本実施の形態では、映像コンテンツをいくつかの区間に分ける映像インデックス情報をサーバ装置２上の映像インデクス情報ＤＢ２１から取得して用いる。

サーバ装置２の映像インデクス情報ＤＢ２１の映像インデクス情報の例を図６に示す。ユーザがコメントを入力したい映像区間とは、同じ景色を映し続けている区間やある人物が現れている区間、文字が表示されているテロップ表示区間、音楽が流れている区間など、時間軸上の物理的、あるいは意味的に区分できる時間区間の場合が多いと考えられる。映像インデクス情報とは、このような映像上の物理的・意味的な位置や区間を示す情報で、手動・自動で付与される。例えば、場面の切り替わり点やテロップ表示区間などの物理的な区間は、既知の映像解析技術（例えば、特許２８３９９１３２号広報、特開平９−２３８２９８号広報及び、特開平１１−１７８００７号広報等）を用いて取得できる。

本実施の形態における図６のインデクス情報では、場面の切り替え点を用いて映像を幾つかの区分に分割する。また、各映像区間の最初の画像をサムネイル（代表画像）として用いる。実際には、手動で付与された区間や製作者が入力したシーン毎のタイトル・出演者情報、区間内で特徴的な画像をサムネイルとして用いるなど、幅広い映像インデクス情報が利用できる。

映像インデクス情報（区間情報及びサムネイル）を用いることで映像区間選択部１１は、図７のように映像区間選択画面ａを提示できるため、ユーザは入力ボタンをクリックすることで容易に映像区間が選択できる。

（２） クライアント装置１において、コメント入力部１２が、映像区間選択部１１により取得した映像区間に対して、ユーザにコメントを入力させるためのコメント入力画面αを表示する。コメント入力画面の例を図８に示す。同図におけるコメント入力部１２は、図８に示す入力ボタンがユーザによりクリックされた段階でクライアント装置１上のディスプレイに表示され、文字列等のコメントを入力させることで、選択された映像区間にコメントを付与する。

（３） クライアント装置１において、参照情報入力部１３が、ユーザに他の映像区間への参照情報を入力させるための参照情報入力画面ｂを表示する。参照情報入力画面の例を図９に示す。

本実施の形態では、参照情報を入力する際には、以下のような手順により行う。

まず、コメントに参照情報を追加する場合、図９中の「参照入力」ボタンをクリックする。すると、参照情報入力画面ｂが画面上に表示される。参照情報入力部１３は、映像インデクス情報ＤＢ２１にある映像インデクス情報（映像区間情報とサムネイル）を図１０のように一覧として表示する。

ユーザは、マウスカーソル等で該当するサムネイルを選択し、参照したい映像区間を選択する。また、同図中では、参照先を判り易く表現するために、「参照表示文字列」入力インタフェースを備えている。これは、映像区間への参照をコメント内に埋め込んで表現する際に、参照部分を文字列で表現するためのインタフェースである。実施の形態によっては、文字列ではなく、参照先の映像区間を代表するサムネイル等を用いてもよい。

最終的に、コメント入力部１２及び参照情報入力部１３により入力されたコメント・参照情報の画面表示イメージを図１０に示す。なお、具体的な情報の蓄積方法及び、表示方法について後述する。

また、請求項２、７，１２に係る発明として、参照情報入力部１３は、既に入力済みのコメント・参照情報を用いて、上記のような映像区間選択を省略することができる。この方法については、コメント・参照情報蓄積部２２の説明後に記載する。

（４）サーバ装置２は、コメント・参照情報蓄積部２２において、上述したコメント及び参照情報をクライアント装置１から受け取り、コメント・参照情報ＤＢ２３に蓄積する。

本実施の形態におけるコメント・参照情報の例を図１１に示す。コメント・参照情報は、コメント情報ＩＤ「ｃ（ｉ）」と、参照情報ＩＤ「ｒ（ｉ）」に分類される。「ｃ（ｉ）」は、映像区間選択部１１で選択された映像区間を表すコメント入力区間情報、即ち、コメント入力先の映像ＩＤ「ｉ＿ｍＩＤ（ｉ）」、映像区間ＩＤ「ｉ＿ｄ（ｉ）」と、コメント入力部１２で入力されたコメント文字列「ｃｈｒ（ｉ）」で構成される。また、「ｒ（ｉ）」は、参照情報が入力されたコメント情報を示す入力元コメント情報「ｃ（ｉ）」と、参照表示用文字「ｒｃｈｒ（ｉ）」と、参照表示用文字「ｒｃｈｒ（ｉ）」、映像区間への参照情報、すなわち、参照する映像のＩＤ「ｒ＿ｍＩＤ（ｉ）」、参照する映像区間ＩＤ「ｒ＿ｄ（ｉ）」で構成される。なお、映像区間ＩＤ「ｉ＿ｄ（ｉ）」、「ｒ＿ｄ（ｉ）」は、図６で説明した映像インデクス情報における映像区間ＩＤを示す。

例えば、一つのコメント内で２箇所の映像区間への参照情報が入力された場合において、コメント・参照情報蓄積部２２が、コメント・参照情報蓄積ＤＢ２３上にデータを蓄積する場合を図１２に示す。コメント・参照情報蓄積部２２は、コメントが入力された映像区間の情報と共に、参照情報を埋め込む位置に、“＜％参照情報ＩＤ％＞”という文字列を追記したコメント文字列を、コメント情報としてＤＢ２３上に蓄積する。“＜％参照情報ＩＤ％＞”部分は、コメント・参照情報を表示する場合などに、再度参照情報に置換される。また、参照情報として、入力元コメント情報ＩＤ、参照表示用文字列、参照する映像区間情報を参照情報として蓄積する。

また、請求項２，７，１２に係る発明として、参照情報入力部１３は、既に入力済みのコメント・参照情報を用いて、映像区間選択処理を省略することができる。コメント・参照情報蓄積ＤＢ２３上のデータ構造を踏まえ、図１３に映像区間選択方法を示す。

コメントを入力する場合、映像そのものに対してコメントする場合と、既に付与されているコメントに対してコメントする（コメントにレスポンス）場合があり、議論を重視するような掲示板では、後者を利用したコミュニケーションが活発である。図１３では、後者のようにコメントに対してコメントを入力する場面を想定し、さらに、同一の映像区間を参照しながらコメントを行う場合の動作を説明する。

図１３の映像区間選択画面ａ上には、既に入力済みのコメント・参照情報が表示されており、このコメントに対して返信する場合、ユーザは、「返信コメント書き込み用ボタン（返信ボタン）」をクリックする。

ユーザは、次に、画面上に表示されたコメント入力画面ｂ上で既に入力済みのコメント・参照情報を用いて参照情報を入力するための「参照情報入力手段呼び出しボタン」をクリックする。すると、参照情報入力部１３は、コメント・参照情報蓄積ＤＢ２３上から直ちに、返信コメントが入力されようとしているコメントのコメント情報を検索する。図１３上では、「ｃ（２５）」が該当する。

次に、参照情報入力部１３は、該当する「ｃ（２５）」のコメントが参照している映像区間を示す参照情報ＩＤを取り出す。図１３上では、「ｒ（１２９）」、「ｒ（１３９）」が該当する。

最終的に、参照情報入力部１３は、各参照情報から映像区間参照情報を取り出すことで、返信先のコメントが参照する映像区間を特定し、ユーザに提示する。図１３上では、映像ＩＤ「２」、区間ＩＤ「３」と、映像ＩＤ「１２」が参照情報入力画面上ｂに表示される。

ユーザは、表示された映像区間を任意に選択することで、図９のように逐一映像区間を探す必要がなく、容易に参照情報を入力することができるようになる。

以上のような段階を経ることで、ユーザは映像区間に対して次々とコメント、及び、他の映像区間への参照情報を入力することができ、それらの情報は、コメント・参照情報蓄積ＤＢ２３へ蓄積されることになる。

次に、クライアント装置１上に表示されたコメント・参照情報を元に、ユーザが任意の映像区間を逐次選択することで、要約映像を作成する段階（ステップ２００）について説明する。

クライアント装置１は、コメント・参照情報表示部１４において、サーバ装置２のコメント・参照情報蓄積ＤＢ２３に蓄積されたコメント・参照情報を映像区間と対応付けて表示する。その例を図１４に示す。コメント・参照情報表示部１４は、図７と同様に、映像インデクス情報（映像区間、サムネイル）を用いて各映像区間を表示する。また、各映像区間に付与されているコメント・参照情報を、コメント参照情報ＤＢ２３より取り出し、表示する。例えば、図１４に示すように、コメント・参照情報表示画面ｃ上の４番目の映像区間が映像ＩＤ「３」、区間ＩＤ「９」の場合、関連するコメント情報ＩＤ「ｃ（２５）」をコメント・参照情報ＤＢ２３より取り出す。また、コメント文字列を見ることで、２つの参照情報「ｒ（１２９）」、「ｒ（１３０）」を取り出す。最終的に参照情報表示部１６は仕切り線で区分することで、各映像区間に関連付けられたコメント・参照情報を映像区間と対応付けて表示する。

このように、映像区間とコメント・参照情報を対応付けて表示する参照情報表示方法は、映像区間選択部１１による映像区間選択画面ａや、参照情報入力部１３による参照情報入力画面ｂなどと組み合わせることができる。例えば、映像区間選択画面ｄに組み合わせた場合を図１５に示す。図７の表示例と比べた場合、過去のコメントを読むことができるため、映像区間を選択する場合の一助となり得る。また、既に説明したように、コメントに対するコメントを入力することも可能となる。

クライアント装置１は、要約基点区間選択部１５において、表示されたコメント、参照情報から、要約映像の基点となる映像区間をユーザに選択させる。その画面例を図１６に示す。ユーザは、コメント・参照情報画面ｅ上に表示された映像インデックス情報、コメント、参照情報を閲覧しながら、興味ある映像区間を見つけた場合、要約基点区間選択部１５により表示された要約基点区間選択画面ｆ（図１６上では、「要約」ボタン）をクリックすることで、その区間を要約映像の基点区間として選択できる。

要約基点区間として選択された映像区間は、クライアント装置１上で、要約基点区間バッファ１９上に一時的に記憶される。要約基点区間バッファの例を図１７に示す。要約基点バッファ１９は、基点区間が追加される毎に付与される一意のＩＤ「要約基点ＩＤ」と、基点区間の映像区間情報、即ち、映像ＩＤ「ｍＩＤ（ｉ）」と区間ＩＤ「ｄ（ｉ）」、最初に選択された映像区間からどれだけ参照を辿ったかを示す深さ「depth（ｉ）」からなる。例えば、最初に選択された映像区間の映像ＩＤが「３」、区間ＩＤが「９」の場合、それぞれ、「ｃ（０）」、「３」、「９」、「０」となる。

クライアント装置１は、要約基点区間追加部１６において、要約映像の基点となる区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択し、選択された映像区間を基点区間に追加する。要約基点区間追加部１６による要約基点区間画面の例を図１８に示す。

図１８に示す映像区間が選択された場合、映像基点区間追加部１６は、コメント・参照情報ＤＢ２３から、直ちに参照関係にある映像区間を抽出する。図１８では、映像ＩＤ「２」、区間ＩＤ「３」と映像ＩＤ「６」、区間ＩＤ「１２」が該当する。ユーザは、要約映像として閲覧したい映像があった場合、基点区間選択ボタン（図１７の例では、「選択」ボタン）をクリックすることで、選択された映像を要約基点区間バッファ１９に追加できる。図１９に追加された場合の要約基点区間バッファ１９の例を示す。

さらに、要約映像の候補となる映像区間をユーザに選択させる場合には、図２０に示すようなアルゴリズムを用いて、要約基点区間追加画面に次の候補区間を提示する。図２０の動作の概要は、現在選択されている映像区間から一定の深さ以内にある基点区間のみを選択し、その区間から参照される映像区間を提示する。このような方法を採ることで、現在選択されている映像区間からあまり内容が逸れていない映像区間だけが提示されるようになり、より内容に一貫性のある要約映像が作成され易くなる。

図２０に示す映像基点区間追加部１６が候補映像をユーザに提示する際のフローチャートの動作を説明する。

ステップ１１） 画面に表示する映像区間の深さの幅をｗ（システムで予め定義しておく）、現在選択されている要約基点の深さをｄとする。

ステップ１２） 要約基点バッファ１９へのポインタを初期化し、ｉ＝０とする。また、要約基点バッファ１９に追加されている要約基点の総量をｊとする。

ステップ１３） ポインタの位置を確認する。０≦ｉ＜ｊ（バッファの内側を指す）でない場合は処理を終了し、条件を満たす場合はステップ１４に移行する。

ステップ１４） ポン他が指し示す要約基点ｃ（ｉ）の深さをｄ＿ｉとする。

ステップ１５） ｄ＿ｉが設定された範囲内の深さにあるかどうかを調べる。

ｄ−ｗ≦ｄ＿ｉ≦ｄ＋ｗ
を満たす場合は、ステップ１６に移行する。満たさない場合はステップ１７に移行する。

ステップ１６） 要約基点ｃ（ｉ）を表示候補の要約基点として選択する。

ステップ１７） 次の要約基点を指し示すように、ポインタｉを移動し、ステップ１３に戻る。

上記のステップを経て、最終的に選ばれた複数の要約基点「ｃ（ｎ）」から参照される映像区間を、要約基点区間追加画面として表示する。図２１は、上記のアルゴリズムを適応した例である。ｗ＝１とし、図示されている映像基点バッファ１９上で、「ｃ（５）」が選択されている場合、「ｃ（５）」から深さ±１にある映像基点「ｃ（３）」、「ｃ（５）」（当然自分自身も含む）から参照される映像区間が、映像基点区間追加画面ｇが表示されることになる。

以上のように、要約基点区間追加部１６による映像基点区間追加画面ｇ上に要約基点区間から参照される映像区間を適宜表示することで、ユーザは、付与されたコメントを見て映像区間を評価しながら、興味ある映像を順次選択することができる。

クライアント装置１の要約映像生成部１７は、要約基点区間選択部１５と、要約基点区間追加部１６においてユーザによって選択された一連の映像区間を連結し、要約映像を作成する。要約映像生成部１７による要約映像生成画面の例を図２２に示す。

要約映像生成部１７は、要約基点バッファ１９上に格納された基点区間を格納された順に、即ち、ユーザが基点区間を選択した順に表示し、最終的に必要な映像をユーザに選択させるインタフェースを備え、選択された映像の選択フラグをＯＮにする。なお、ユーザに選択させることなく、要約基点バッファ１９上に列挙された映像区間をそのまま利用する方法や、コミュニケーション手段を用いて映像区間の順番を任意に入れ替える等の方法も可能である。

クライアント装置１は、要約映像再生部１８において、要約映像生成部１７によって生成された要約映像を再生する。要約映像生成部１７から受け取った要約映像に関する情報、即ち、選択された候補映像の映像区間集合をサーバ装置２に送信することで、次偽地と映像ＤＢ２４から映像区間の映像を取得し、再生する。

このようにして、本実施の形態によれば、映像コメント入力・表示方法を用いることで、コメントしたい映像区間に対してコメントを入力するだけでなく、他の映像区間への参照情報を入力することができ、また、入力されているコメント及び参照情報を用いて次々に興味ある映像区間を探し出し、繋げていくことでユーザの好みの要約映像を作成することができる。

また、参照情報の入力を行う際に、既に入力済みのコメント・参照情報を用いて映像区間選択処理を省略することができるため、より容易に参照情報の入力が可能となる。

［第２の実施の形態］
本実施の形態では、サーバ装置２上に蓄積された映像に対して、他ユーザが書き込みをしたコメントを表示したり、あるいは、コメントの書き込みを行うことで、それらの情報を用いてサーバ装置２側で自動的に部分コンテンツ（要約映像）を作成する場合について説明する。

図２３は、本発明の第２の実施の形態におけるシステム構成図である。

同図において、図３と同一構成部分には同一符号を付し、その説明を省略する。

クライアント装置１は、映像区間選択部１１、コメント入力部１２、参照情報入力部１３、コメント・参照情報表示部１４、要約基点区間選択部１５、要約映像再生部１８から構成される。

サーバ装置２は、映像インデクス情報ＤＢ２１，コメント・参照情報蓄積部２２、コメント・参照情報ＤＢ２３，映像ＤＢ２４，キーワードＤＢ２５，要約基点バッファ２６、要約基点区間追加部２７、要約映像生成部２８から構成される。

同図に示すシステムは、図３に示すクライアント装置１の基点区間追加部１６、要約映像生成部１７、要約基点バッファ１９をサーバ装置２側に持たせた構成であり、さらに、サーバ装置２に、キーワードＤＢ２５を付加した構成である。

キーワードＤＢ２５は、コメント・参照情報蓄積部２２により参照されるデータベースであり、映像区間に付与されたコメントから特徴的なワードを抜き出す際に利用される。

上記の構成において、本実施の形態では、図２４に示すような動作を行う。

まず、複数のクライアント装置１において、コメント・参照情報を入力し（ステップ３００）、サーバ装置２上に蓄積する段階（ステップ４００）と、クライアント装置１上に表示されたコメント・参照情報を元にユーザが任意の映像区間を選択する（ステップ５００）ことで、サーバ装置２側で部分コンテンツを作成する段階（ステップ６００）に分かれる。

ユーザが選択した映像区間と参照関係にある映像区間を、そのコメントの内容から算出される重要度を用いて繋ぎ合わせることで、ユーザの意図に沿った部分コンテンツの作成を行う。

なお、本実施の形態では、請求項１〜５（請求項６〜１５）を実施した場合について説明する。

まず、コメント・参照情報をサーバ装置２上に蓄積する段階（ステップ３００〜４００）について説明する。

クライアント装置１は、サーバ装置２の映像コンテンツをいくつかの区間に分ける映像インデクス情報を保持する映像インデクス情報ＤＢ２１から映像の区間情報、サムネイルを取得して映像区間を選択するための画面を表示し、ユーザに映像区間を選択させ、さらに、コメント及び参照情報を入力させるための画面を表示し、ユーザにコメント・参照情報を入力させ、コメントと参照情報をサーバ装置２に送信する。

サーバ装置２のコメント・参照情報蓄積部２２は、コメント及び参照情報をクライアント装置１より受け取り、コメント・参照情報ＤＢ２４に蓄積する。

コメント・参照情報蓄積部２２は、映像区間への参照情報を蓄積する際に、入力元映像区間から参照先映像区間への参照情報を、相互参照情報として蓄積することができる（請求項３，８，１３）。

図２５に、相互参照となるコメント・参照情報を示す。

例えば、映像ＩＤ「３」、区間ＩＤ「９」の映像区間から映像ＩＤ「２」、区間ＩＤ「３」への参照情報を入力した場合、既に説明したように、映像ＩＤ「３」、区間ＩＤ「９」から映像ＩＤ「２」、区間ＩＤ「３」への参照は、コメントＩＤ「ｃ（２５）」及び参照情報ＩＤ「ｒ（１２９）」により表現される。

相互参照とした場合、即ち、映像ＩＤ「３」、区間ＩＤ「９」の映像区間から映像ＩＤ「２」、区間ＩＤ「３」への参照情報を入力した際に、映像ＩＤ「２」、区間ＩＤ「３」から映像ＩＤ「３」、区間ＩＤ「９」への参照情報も同時に生成する場合、本実施の形態では、図２５におけるコメントＩＤ「ｃ（２６）」のような表現を用いる。コメントＩＤ「ｃ（２６）」は、コメントＩＤ「ｃ（２５）」と同じ参照情報により相互参照するため、コメント文字列内に参照情報「ｒ（１２９）」への参照を持つ。但し、映像ＩＤ「３」、区間ＩＤ「９」からの受け側の参照情報であることを示すため、「￣」を用い、“＜％￣参照情報ＩＤ％＞”
と表現する。

このような相互参照表現を用いることで、例えば、図２６に示すように、コメント・参照情報蓄積部２２が、コメント・参照情報ＤＢ２３のコメント情報テーブルのコメント入力区間情報を参照するだけで、ある映像区間から他の区間へのコメント・参照情報と、他の映像区間からその区間へのコメント・参照情報を容易に列挙することができる。自分が参照する映像区間だけでなく、自分を参照する映像区間を取得することで選択肢が増え、より多くの候補映像を用いて要約映像を作成できるようになる。

また、コメント・参照情報蓄積部２２は、映像区間に付与されるコメント内の特徴的なワードを持つ別の映像区間へのコメント・参照情報を付与することができる。図２７に本実施の形態における特徴的なワードを用いたコメント・参照情報付与方法を示す（請求項４，９，１４）。

コメント・参照情報蓄積部２２は、図２７に示すコメント及び参照情報が入力されると、まず、通常の処理を行う。即ち、コメント情報ＩＤ「ｃ（２５）」及び参照情報ＩＤ「ｒ（１２９）」を生成する。また、本実施の形態では、参照情報を相互参照表現可能であるため、さらに、コメント情報を追加するが、既に図２５において説明したのでここでは割愛する。

次に、コメント・参照情報蓄積部２２は、特徴的なワードを特定するために、ワードを蓄積したキーワードＤＢ２５を参照し、特徴的なワードとマッチする部分をコメント情報内から検索する。キーワードＤＢ２５は、固有名詞や地名などの特徴的と考えられるワードを列挙し、蓄積したＤＢである。図２７では、「パリ」の部分が該当するため、コメント情報ＩＤ「ｃ（２５）」のコメント文字列の該当部分を置き換え、参照情報ＩＤ「ｒ（１３９）」を新たに生成する。この際、参照情報ＩＤ「ｒ（１３０）」が参照する映像区間は不定であるため、映像区間参照情報は、規定文字（例では、‘−’）とする。ワードのマッチングには、特定の文字列に完全にマッチングさせる方法やシソーラス語彙体系などを用いて概念的に似通った文字列もマッチングさせる方法など、既存の技術で実現可能である。

このような相互参照を用いることで、例えば、図２８に示すように、映像区間の参照情報が不定（‘−’）である場合は、コメント・参照情報ＤＢ２３の参照情報テーブルの参照表示文字列が一致する参照情報を取得することで、ある映像区間と共通するワードを持つ参照情報を列挙することができる。例えば、有名な俳優名や地名などをキーワードＤＢ２１に登録しておくことで、自動的に参照情報がコメント・参照情報蓄積部２２に入力され、コメント内に俳優名が出現する映像区間を用いて要約映像を作成できるようになる。

以上のような段階を経ることで、ユーザは、映像区間に対して次々とコメント及び、他の映像区間への参照情報を入力することができ、それらの情報は、相互参照表現としてコメント・参照情報蓄積ＤＢ２３に蓄積される。また、キーワードＤＢ２５を用いてコメント内に特徴的なワードを持つ映像区間を特定し、自動的にコメント参照情報を付与することで同一のワードを持つ映像区間を列挙できるようになる。

次に、クライアント装置１上に表示されたコメント・参照情報を元に、ユーザが任意の映像区間を一つ選択することで、サーバ装置２側で自動的に部分コンテンツを作成する段階（ステップ５００，６００）を説明する。

クライアント装置１のコメント・参照情報表示部１４は、サーバ装置２のコメント・参照情報蓄積ＤＢ２３に蓄積されたコメント・参照情報を映像区間と対応付けて表示する。要約基点区間選択部１５は、表示されたコメント、参照情報から、要約映像の基点となる映像区間を選択する。これらの処理については、前述の図１４、図１６において説明しているため省略する。

ユーザは、要約基点区間選択部１５により表示されたコメント・参照情報を参考に好みの映像区間を選択し、要約基点区間選択部１５において、それを要約映像の基点となる映像区間として決定する。

サーバ装置２の要約基点区間追加部２７は、ユーザが選択した要約映像の基点となる映像区間の情報をクライアント装置１の要約基点区間選択部１５から取得し、その映像区間を元に要約映像の候補となる映像区間を追加していく。

本実施の形態においても、要約基点区間の選択は、図２１で示したように、要約基点区間と参照関係にある映像区間を順次選択・追加する方法をとるが、第１の実施の形態と異なる点は、ユーザが要約基点区間を選択する代わりに、サーバ装置２が自動的に要約基点区間を選択・追加する点にある。追加された映像区間の情報は、要約基点バッファ２６に蓄積されるが、要約基点バッファ２６については、前述の第１の実施の形態における図１７において説明しているので省略する。

要約基点区間を選別する手法としては、例えば、図２９に示すように、要約基点バッファ２６を参照し、バッファ２６上にある最新の映像区間（ｃ（５））から深さ±ｗの範囲内にある映像区間（ｃ（３），ｃ（４））と参照関係にある映像区間を列挙し、それらと類似性を評価することで、類似度が一定値以上かつ、最も類似度が高い映像区間を選択していく方法がある。類似度の求め方としては、例えば、「M. Smith and T. Kanade, “Video skimming and characterization through the combination of image and language understanding techniques”, CVPR, pp.775-781, 1997」に代表されるように、テロップ文字（画面上の表示文字）内の重要単語の重み付けや、人物の顔やオブジェクトの認識、画面の色合いや動きなど、映像中の特徴や属性などを用いて判定する方法等、既存技術により実現可能である。

次に、請求項５における、要約基点映像区間追加部２７の処理について説明する。要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、該要約基点区間におけるコメントと、参照関係にある映像区間におけるコメントを比較し、要約映像として連結する際の重要度を求めることができる。本実施の形態にお場合、図２９に示したような方法で、要約基点バッファ２６を用いて連結可能な候補映像区間を算出し、それぞれの映像区間との類似度を計算する代わりにコメント間の類似性を比較することで映像区間の重要度を決定し、重要度の高い映像区間を要約基点映像区間として追加する。

要約基点バッファ２６を用いて候補映像区間を算出する方法については、既に説明した図２０のフローチャートと同等の処理で達成できる。図２０のフローチャートによって最終的に選ばれた複数の要約基点「ｃ（ｎ）」から参照される映像区間を候補映像区間とする。重要度の算出方法を図３０に示す。

映像基点区間追加部２７が各候補映像区間の重要度を決定し、その中から要約基点映像区間を算出する方法について説明する。

本実施の形態では、各映像区間の保有するコメント間の類似性を評価し、類似するコメントを多く保有する映像区間をより重要度の高い映像区間と判断する。文章間の類似性を評価する方法には様々な手法が存在するが、本実施の形態では、コメントから名詞群を抽出し、それらの類似性を評価することで、コメントの類似性及び映像区間の重要度を求める。

ステップ２１） 最も新しい要約基点映像区間ｃ（１）が保有するｍ個のコメントをｃｍｔ＿１（ｍ）とする。

ステップ２２９ コメントｃｍｔ＿１（ｍ）に含まれるｎ個の名詞をｎｏｕｎ＿１（ｍ）（ｎ）とする。コメント内から名詞群を抽出する方法として、日本語形態素解析プログラム、例えば、茶筌（http://chasen.aist-nara.ac.jp/chasen/whatis.html.ja）等を用いて抽出することができる。

ステップ２３） 要約基点映像区間の候補となるｉ個の映像区間をｐ（ｉ）とし、各映像区間の保有するｊ個のコメントをｃｍｔ（ｉ）（ｊ）とする。ｉ個の候補映像区間は、図２９に示したように、要約基点バッファ２６を用いて、ｃ（１）から深さｗ以内にある陽やいう基点映像区間から参照される映像区間とする。

ステップ２４） コメントｃｍｔ＿（ｉ）（ｊ）に含まれるｋ個の名詞をｎｏｕｎ（ｉ）（ｊ）とする。

ステップ２５） 候補映像区間毎の処理を行うためのループカウンタｏ，コメント毎の処理を行うためのループカウンタｐ，名詞毎の処理を行うループカウンタｑを初期化する。また、候補映像区間ｐ（ｉ）の重要度ｗ（ｉ）を初期化する。

ステップ２６） 候補映像区間毎に、ステップ２８以降の処理を行うための判定をする。すべての候補映像について重要度ｗ（ｏ）を求めていた場合は、ステップ２７に移行し、そうでない場合はステップ２８に移行する。

ステップ２７） 最も重要度ｗ（ｉ）が大きい候補映像区間ｐ（ｉ）を採用して処理を終了する。

ステップ２８） 候補映像区間ｐ（ｏ）が保有するｊ個のコメントについてステップ３０以降の処理を行うための判定をする。全てのコメントについて処理をしていた場合はステップ２９に移行し、そうでない場合にはステップ３０に移行する。

ステップ２９） 候補映像区間ｐ（ｏ）の重要度ｗ（ｏ）を、保有するコメントの数ｊで平均化する。次の候補映像区間ｐ（ｏ＋１）の処理をするためにｏの値をインクリメントし、ステップ２６に戻る。

ステップ３０） 候補映像区間ｐ（ｏ）の保有するコメントｃｍｔ（ｏ）（ｐ）と要約基点映像区間ｃ（１）の保有するコメントと類似度を求めるための変数ｃｍｔ＿ｗを初期化する。

ステップ３１） 要約基点映像区間ｃ（１）の保有するコメントｃｍｔ＿１（ｑ）についてステップ３３以降の処理をするための判定をする。全てのコメントｃｍｔ＿１（ｑ）とコメントｃｍｔ（ｏ）（ｐ）の類似度を求めた場合はステップ３２に移行し、そうでない場合にはステップ３３に移行する。

ステップ３２） 候補映像区間ｐ（ｏ）の重要度ｗ（ｏ）に、コメントｃｍｔ（ｏ）（ｐ）と要約基点映像区間ｃ（１）の保有するコメントとの類似度を足す。また、次のコメントｃｍｔ（ｏ）（ｐ＋１）の処理をするためにｐの値をインクリメントしてステップ２８に戻る。

ステップ３３） コメントｃｍｔ（ｏ）（ｐ）とｃｍｔ＿１（ｑ）との類似度を一時的に保持するための変数ｃｍｔ＿ｗ（ｑ）を初期化する。

ステップ３４） コメントｃｍｔ（ｏ）（ｐ）が保有する名詞ｎｏｕｎ（ｏ）（ｐ）（ｒ）についてステップ３６以降の処理するための判定を行う。全ての名詞ｎｏｕｎ（ｏ）（ｐ）（ｒ）について処理をしている場合はステップ３５に移行し、そうでない場合はステップ３６に移行する。

ステップ３５） ステップ３６以降で求める変数ｃｍｔ＿ｗ（ｑ）の値を名詞の数ｋで平均化して、最も大きな値を持つｃｍｔ＿ｗ（ｑ）をコメントのｃｍｔ＿ｗとする。

ステップ３６） ｎｏｕｎ（ｏ）（ｐ）（ｒ）とｃｍｔ＿１（ｑ）の保有する名詞との類似度を一時的に保持するための変数ｎｏｕｎ＿ｗを初期化する。

ステップ３７） ｎｏｕｎ（ｏ）（ｐ）（ｒ）とｎｏｕｎ（ｑ）（ｓ）についてステップ３９以降の処理をするための判定を行う。全ての名詞ｎｏｕｎ（ｑ）（ｓ）について処理をしている場合はステップ３８に移行し、そうでない場合はステップ３９に移行する。

ステップ３８） コメント間の類似度ｃｍｔ＿ｗ（ｑ）に、ステップ３９以降で求める名詞間の類似度ｎｏｕｎ＿ｗを足す。また、次のｎｏｕｎ（ｏ）（ｐ）（ｒ＋１）の処理をするためｒの値をインクリメントし、ステップ３４に戻る。

ステップ３９） ｎｏｕｎ（ｏ）（ｐ）（ｒ）とｎｏｕｎ（ｑ）（ｓ）との間の類似度を求める。名詞間の類似度を求めるには様々な方法があるが、本実施の形態では、シソーラスを用いて、名詞間の類似性を評価する。シソーラスには、同義語や類義語などを扱う類義語辞書的なものと語の概念を体系化するものがある。前者は、例えば、“アメリカ”という単語に対して、“ＵＳ”，“Ｕｎｉｔｅｄ Ｓｔａｔｅｓ”、“Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ”、“亜米利加”などの同義語を定義したり、“愛”という単語と類義関係にある“愛情”、“情愛”、“敬愛”、“慈しみ”、“親愛”などを定義する。

また、後者は、ある語句についての上位概念語、下位概念後などを定義したものであり、図３１に示すよう様な構造を持っている。例えば、“惑星”を例に取った場合、上位概念に“天体”を持ち、天体から見た場合に、同様の概念となる語として、“衛星”や“恒星”を持つ。また、下位には、“火星”や“水星”など、より“惑星”を詳細にする語が並ぶ。シソーラスとしては、例えば前者は、「分類語彙表」（国立国語研究所）、後者は「ＥＤＲ電子化辞書」（通信総合研究所）などがある。

シソーラスを用いた名詞間の類似性の評価は、同義語や類義語の場合はスコアを１に、それ以外の場合は概念辞書を用いて語と語の概念的な距離を用いることで算出する。概念的な距離を用いる場合、ここでは、図３２に示すように、語から語へ到達できるパスをまず求め、パスの中でもっとも上位にあたるノードの深さをｄ_ｃ、語ｉの深さをｄ_ｉ、語ｊの深さをｄ_ｊとした場合に類似度のスコアを以下の式で求める（長尾真編、自然言語処理、岩波ソフトウェア科学１５、岩波書店、１９９６）。なお、深さｄは下に行くほど（具体的になるほど）大きな値となる。

上記のScore（ｉ，ｊ）は、より抽象的な概念（ｄ_ｃ）を辿らなければ比較する２つの語の概念が共通しない場合に小さくなり、より具体的な概念で共通する場合は大きくなる。また、２つの語の概念レベル（ｄ_ｉ，ｄ_ｊ）がより近い場合に大きな値となる。よってScore（ｉ，ｊ）は、２つの語の類似性が高ければ高いほど大きな値をとる。

ステップ４０） 次のｎｏｕｎ（ｑ）（ｓ＋１）の処理をするためｓの値をインクリメントし、ステップ３７に戻る。

上記のステップの概略を述べると、ステップ３６、３７，３９、４０で名詞間の類似度を決定する。ステップ３４、３８では、名詞とコメント間、ステップ３０，３１，３３、３５では、コメントとコメント間、ステップ２８、２９、３０，３２では、コメントと要約基点映像区間との類似度を算出し、その平均値を要約基点映像区間と候補映像区間との重要度とする。

上記のステップを経ることで、要約基点映像区間と候補映像区間との間の重要度を決定することができるため、その中で閾値よりも大きく、且つ、最も大きな重要度を持つ候補映像区間を次の要約基点映像区間として決定できる。

以上のように、要約基点区間追加部２７では、要約基点区間から参照関係にある映像区間との間の重要度を各映像区間が保持するコメントから求め、重要度が高い映像区間を次々と要約基点区間に追加していくことで、ユーザの手を煩わせることなく、要約映像の候補を絞り込むことができる。従来の色情報や動き情報のような物理量では映像の内容を正確に把握できるとは言い難かったが、ユーザが内容を見て書き込んだコメントを利用して重要な映像区間を決定するため、よりユーザの意図を反映した要約映像を作成し易い。

クライアント装置１の要約映像生成部２８は、要約基点区間選択部１４、要約基点区間追加部２７において、選択された一連の映像区間を連結し、要約映像を作成する。

要約映像生成部２８は、一連の映像区間の時間を評価して一定時間内に収まるように要約基点バッファ２５上の先頭の映像区間から順次選択して要約映像を作成する。これは、次々と映像を選択して、要約とは言い難い長さの映像を作成してしまうことを防ぐと共に、参照関係を用いて映像を選択していくため、あまり多くの映像を選ぶと、本来意図していなかった話題の映像も選択してしまうことを防ぐためである。

本実施の形態では、システムで設定した時間（例えば、５分）以内に収まるように映像を選択していくが、一定数の映像区間を選択する場合や、第１の実施の形態のようにユーザに選択させる場合なども実施できる。

クライアント装置１の要約映像再生部１８は、サーバ装置２の要約映像生成部２８から受け取った要約映像に関する情報、即ち選択された候補映像の映像区間集合をサーバ装置２側に送信することで、次々と映像ＤＢ２４から映像区間の映像を取得し、再生する。

このようにして、第２の実施の形態によれば、請求項１記載の映像コメント入力・表示方法を用いることで、コメントしたい映像区間に対してコメントを入力するだけでなく、他の映像区間への参照情報を入力することができ、また、入力されているコメント及び参照情報を用いて、次々にユーザの興味に合致した映像区間を選択することで、ユーザの好みの要約映像を作成することができる。

また、請求項２の参照情報入力方法を用いることで、既に入力済みのコメント・参照情報を用いて映像区間選択を省略することができるため、より容易に参照情報の入力が可能となる。

また、請求項３のコメント・参照情報蓄積方法を用いることで、自身が参照する映像区間だけでなく、自身を参照する映像区間を要約映像の候補映像として扱うことができ、より多くの選択肢の中から要約映像を作ることができるため、ユーザの意図に沿った要約映像を作り易くなる。

また、請求項４のコメント・参照情報蓄積方法を用いることで、コメント内の特徴的なワードを自動的に参照することが可能であるため、ユーザの入力の手間が省けると共に、例えば、ドラマにおける俳優名や観光地の地名などを用いた要約映像が作成可能となり、幅広い要約映像の作成が容易になる。

また、請求項５の要約基点区間追加方法を用いることにより、映像の物理的な特徴量（例えば色合いや認識されたオブジェクト、カメラの動きなど）による判定ではなく、映像区間の内容を記述したコメントを用いて候補映像の重要度を判定できるため、映像の内容をより反映し、また、ユーザの意図を反映した要約映像の作成が容易になる。

また、本発明は、上記の第１、第２の実施の形態のクライアント装置及びサーバ装置の動作をプログラムとして構築し、クライアント装置及びサーバ装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行させることも可能である。

また、構築されたプログラムをクライアント装置及びサーバ装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実行時にコンピュータにインストールすることも可能である。

また、上記の実施の形態では、各手段を、クライアント装置とサーバ装置に分離して搭載しているが、この例に限定されることなく、１つの装置上に設けてもよい。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

ディジタル化された映像の要約映像を作成する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の第１の実施の形態におけるシステム構成図である。 本発明の第１の実施の形態における動作の概要を示すフローチャートである。 本発明の第１の実施の形態におけるスライダーインタフェースの一例である。 本発明の第１の実施の形態における場面の切り替わり点を用いた映像インデクス情報の説明図である。 本発明の第１の実施の形態における映像インデクス情報を用いたクライアント装置上の画面表示例である。 本発明の第１の実施の形態におけるクライアント装置上のコメント入力画面表示例である。 本発明の第１の実施の形態における映像インデクス情報を用いたクライアント装置上の参照情報入力画面表示例である。 本発明の第１の実施の形態における入力されたコメント・参照情報の画面表示イメージである。 本発明の第１の実施の形態におけるコメント・参照情報の説明図である。 本発明の第１の実施の形態におけるコメント・参照情報蓄積部による情報格納例である。 本発明の第１の実施の形態における入力済みのコメント・参照情報を用いて参照情報入力画面を表示する際の処理を説明するための図である。 本発明の第１の実施の形態における映像インデクス情報を用いたクライアント装置上の参照情報表示例である。 本発明の第１の実施の形態における参照情報表示画面と組み合わせた場合の映像区間選択画面の表示例である。 本発明の第１の実施の形態における要約基点区間選択部による画面表示例である。 本発明の第１の実施の形態における要約基点バッファの説明図である。 本発明の第１の実施の形態における要約基点区間選択部による画面表示例である。 本発明の第１の実施の形態における要約基点バッファの説明図である。 本発明の第１の実施の形態における映像基点追加部が実行する候補映像区間の選択方法を示す詳細フローチャートである。 本発明の第１の実施の形態における候補映像区間の選択方法を示す図である。 本発明の第１の実施の形態における要約映像生成部による画面表示例である。 本発明の第２の実施の形態におけるシステム構成図である。 本発明の第２の実施の形態における動作の概要を示すシーケンスチャートである。 本発明の第２の実施の形態における相互参照となるコメント・参照情報の説明図である。 本発明の第２の実施の形態における相互参照表現によるコメント情報を用いた映像区間から映像区間へのコメント・参照情報の取得例である。 本発明の第２の実施の形態におけるコメント・参照情報蓄積部による特徴的なワードを用いたコメント・参照情報の格納例である。 本発明の第２の実施の形態における特徴的なワードを用いたコメント・参照情報の取得例である。 本発明の第２の実施の形態における候補映像区間の選択方法の例である。 本発明の第２の実施の形態における候補映像区間の重要度を決定する方法を示す詳細フローチャートである。 シソーラスの例である。 シソーラスを用いた名詞間の類似性の評価方法の一例である。

符号の説明

１ クライアント装置
２ サーバ装置
５ コメント・参照情報記憶手段
６ コメント・参照情報表示手段
７ コメント・参照情報蓄積手段
１１ 映像区間選択手段、映像区間選択部
１２ コメント入力手段、コメント入力部
１３ 参照情報入力手段、参照情報入力部
１４ コメント・参照情報表示部
１５ 要約基点区間選択手段、要約基点区間選択部
１６ 要約基点区間追加手段、要約基点区間追加部
１７ 要約映像生成手段、要約映像生成部
１８ 要約映像再生部
１９ 要約基点バッファ
２１ 映像インデクス情報ＤＢ
２２ コメント・参照情報蓄積部
２３ コメント・参照情報ＤＢ
２４ 映像ＤＢ
２５ キーワードＤＢ
２６ 要約基点バッファ
２７ 要約基点区間追加部
２８ 要約映像生成部

Claims (15)

1. 映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを作成するための部分コンテンツ作成方法であって、
   前記コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させるコメント入力区間選択手順と、
   前記コミュニケーション手段を介して、前記映像区間に対してコメントを入力させるコメント情報入力手順と、
   前記コミュニケーション手段を介して、前記映像区間から別の映像区間への参照情報を入力させる参照情報入力手順と、
   前記コメント入力区間選択手順と前記参照情報入力手順において、前記ユーザから入力されたコメント・参照情報を、前記映像区間と対応付けて、コメント・参照情報記憶手段に蓄積するコメント・参照情報蓄積手順と、
   前記コメント・参照情報記憶手段に蓄積されている対応付けられたコメント・参照情報を入力された映像区間と対応付けて、前記コミュニケーション手段を介して、前記ユーザに表示するコメント・参照情報表示手順と、
   前記コミュニケーション手段を介して、表示されている前記コメント・参照情報と入力された映像区間とが対応付けられた表示内容から、要約映像の基点となる映像区間を前記ユーザに選択させる要約基点区間選択手順と、
   前記要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間を、前記コミュニケーション手段を介して、前記ユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加手順と、
   前記要約基点区間選択手順及び前記要約基点区間追加手順により選択された一連の映像区間を連結し、要約映像を作成する要約映像生成手順と、
   を行うことを特徴とする部分コンテンツ作成方法。
2. 前記参照情報入力手順において、
   前記ユーザに参照する映像区間を指定させる際に、
   前記ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、前記コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示し、前記ユーザが選択したコメントに基づいて、該コメントが参照している参照情報を取得し、該参照情報から映像区間参照情報を取り出して、参照する映像区間を特定して該ユーザに提示する請求項１記載の部分コンテンツ作成方法。
3. 前記コメント・参照情報蓄積手順において、
   ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加して前記コメント・参照情報記憶手段に蓄積する請求項１記載の部分コンテンツ作成方法。
4. 前記コメント・参照情報蓄積手順において、
   前記映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定し、
   特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与して前記コメント・参照情報記憶手段に蓄積する請求項１乃至３記載の部分コンテンツ作成方法。
5. 前記要約基点区間追加手順において、
   前記要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
   前記要約基点区間におけるコメントと、参照関係にある映像区間に置けるコメントを比較し、要約映像として連結する際の重要度を求め、
   前記重要度の高い映像区間を前記要約基点映像区間として追加する請求項１乃至４記載の部分コンテンツ作成方法。
6. 映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを作成するための部分コンテンツ作成装置であって、
   前記コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させる映像区間選択手段と、
   前記映像区間選択手段で選択された前記映像区間に対して、前記コミュニケーション手段を介して、コメントを入力させるコメント入力手段と、
   前記コミュニケーション手段を介して、前記コメントと同時に前記映像区間から別の映像区間への参照情報を入力させる参照情報入力手段と、
   前記コメント入力手段及び、前記参照情報入力手段において前記ユーザから入力されたコメント・参照情報を、前記映像区間と対応付けて、コメント・参照情報記憶手段に蓄積するコメント・参照情報蓄積手段と、
   前記コメント・参照情報記憶手段に蓄積されている対応付けられたコメント・参照情報を前記コミュニケーション手段を介して表示するコメント・参照情報表示手段と、
   前記コメント・参照情報表示手段により表示された情報から、前記コミュニケーション手段を介して要約映像の基点となる映像区間を前記ユーザに選択させる要約基点区間選択手段と、
   前記コミュニケーション手段を介して、前記要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間を前記ユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加手段と、
   前記要約基点区間選択手段及び前記要約基点区間追加手段により選択された一連の映像区間を連結し、要約映像を作成する要約映像生成手段と、を有することを特徴とする部分コンテンツ作成装置。
7. 前記参照情報入力手段は、
   前記ユーザに参照する映像区間を指定させる際に、
   前記ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、前記コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示する手段と、
   前記ユーザが選択した入力済みのコメントに基づいて、該コメントが参照している参照情報を前記コメント・参照情報記憶手段から取得し、該参照情報に基づいて、該コメント・参照情報記憶手段から映像区間に関連付けられた映像区間を特定して該ユーザに提示し、該映像区間に対する参照情報を入力させる手段と、を含む請求項７記載の部分コンテンツ作成装置。
8. 前記コメント・参照情報蓄積手段は、
   ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加して前記コメント・参照情報記憶手段に蓄積する手段を含む請求項６記載の部分コンテンツ作成装置。
9. 前記コメント・参照情報蓄積手段は、
   前記映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定する手段と、
   特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与して前記コメント・参照情報記憶手段に蓄積する手段と、を含む請求項６乃至７記載の部分コンテンツ作成装置。
10. 前記要約基点区間追加手段は、
    前記要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
    前記要約基点区間におけるコメントと、参照関係にある映像区間におけるコメントを比較し、要約映像として連結する際の重要度を求める手段と、
    前記重要度の高い映像区間を前記要約基点映像区間として追加する手段と、を含む請求項６乃至９記載の部分コンテンツ作成装置。
11. 映像に関するユーザとのコミュニケーションを行うための映像を用いたコミュニケーション手段を介して、ユーザの意図に沿った映像要約である部分コンテンツを、作成するための部分コンテンツ作成プログラムであって、
    コンピュータに、
    前記コミュニケーション手段を介して、コメント入力対象となる映像区間をユーザに選択させるコメント入力区間選択ステップと、
    前記コミュニケーション手段を介して、前記映像区間に対してコメントを入力させるコメント情報入力ステップと、
    前記コミュニケーション手段を介して、前記映像区間から別の映像区間への参照情報を入力させる参照情報入力ステップと、
    前記コメント入力区間選択ステップと前記参照情報入力ステップにおいて、前記ユーザから入力されたコメント・参照情報を、前記映像区間と対応付けて、コメント・参照情報記憶手段に蓄積するコメント・参照情報蓄積ステップと、
    前記コメント・参照情報記憶手段に蓄積されている対応付けられたコメント・参照情報を入力された映像区間と対応付けて、前記コミュニケーション手段を介して、前記ユーザに表示するコメント・参照情報表示ステップと、
    前記コミュニケーション手段を介して、表示されている前記コメント・参照情報と入力された映像区間とが対応付けられた表示内容から、要約映像の基点となる映像区間を前記ユーザに選択させる要約基点区間選択ステップと、
    前記要約基点区間と参照関係にある複数映像区間から、要約映像として連結可能な任意の映像区間を、前記コミュニケーション手段を介して、前記ユーザに選択させ、選択された映像区間を該基点区間に追加する要約基点区間追加ステップと、
    前記要約基点区間選択ステップ及び前記要約基点区間追加ステップにより選択された一連の映像区間を連結し、要約映像を作成する要約映像生成ステップと、
    を実行させることを特徴とする部分コンテンツ作成プログラム。
12. 前記参照情報入力ステップにおいて、
    前記ユーザに参照する映像区間を指定させる際に、
    前記ユーザにより、該既に入力済みのコメント・参照情報を用いて参照情報を入力する旨の入力があった場合に、前記コメント・参照情報記憶手段から既に入力済みのコメント・参照情報を読み込んで表示し、前記ユーザが選択したコメントに基づいて、該コメントが参照している参照情報を取得し、該参照情報から映像区間参照情報を取り出して、参照する映像区間を特定して該ユーザに提示するステップを実行させる請求項１１記載の部分コンテンツ作成プログラム。
13. 前記コメント・参照情報蓄積ステップにおいて、
    ある映像区間から別の映像区間への参照情報を、相互参照情報であることを示す情報を付加して前記コメント・参照情報記憶手段に蓄積するステップを実行させる１請求項１１記載の部分コンテンツ作成プログラム。
14. 前記コメント・参照情報蓄積ステップにおいて、
    前記映像区間に付与されたコンテンツ内の特徴的なワードを、特徴的なワードを蓄積したキーワード記憶手段を参照して特定するステップと、
    特定されたワードを有する別の映像区間に対して、コメント・参照情報を付与して前記コメント・参照情報記憶手段に蓄積するステップと、を実行させる請求項１１乃至１３記載の部分コンテンツ作成プログラム。
15. 前記要約基点区間追加ステップにおいて、
    前記要約基点区間と参照関係にある複数の映像区間から、要約映像として連結可能な任意の映像区間を選択する際に、
    前記要約基点区間におけるコメントと、参照関係にある映像区間に置けるコメントを比較し、要約映像として連結する際の重要度を求めるステップと、
    前記重要度の高い映像区間を前記要約基点映像区間として追加するステップと、を実行させる請求項１乃至１４記載の部分コンテンツ作成プログラム。