WO2004012100A1 - コンテンツ要約装置及びコンテンツ要約プログラム - Google Patents

Description

明 コンテンツ要約装置及ぴコンテンツ要約プログラム 技術分野

本発明は、 放映前の素材映像、 放映または記録媒体に 記録されたスポーツ番組等のスポ一ッに関するコ ンテン ッか ら要約したコ ンテンツ要約を生成する コ ンテンツ要 約装置及びコ ンテンツ要約プロ グラムに関する も のであ る。 背景技術

近年、 さ まざまな分野においてユーザ.が利用でき るデ ジタル映像情報が増加の一途をた どっ ている。 イ ンタ一 ネ ッ ト社会の発展と と も に、 コ ン ピュー夕機器 · 通信環 境 · イ ンタ フ ェイ スが高速化 · 広帯域化 し、 様々 な映像 データが大量に随所に蓄積される よ う になる と、 これら 膨大な情報にア クセス し、 映像中の 自分の見たい箇所だ け、 あ る いは、 ハイ ライ ト部分だけを短時間に視聴する ための映像要約技術がますます重要視されてい る 。 こ の よ う な映像要約に関する技術は、 次に示す 2 つ の技術に 分類する こ とができる。

1 つ 目 の技術は、 映像か ら、 色やテク スチャ、 カ メ ラ 操作、 人物の顔、 キャ プシ ョ ン、 音の種別や大き さ、 書 き起 こ しデータ に対する T F I D F 、 等様々 なメ ディ ア か ら得られる低レベルの特徴量を 自動解析によって抽出 し、 これら の組み合わせや時間的変化によ っ て重要場面 を特定する ものであ り 、 特に、 ニュース映像な ど比較的 分か りやすい文脈構造を も つ映像に適用 される こ とが多 い。

2 つ 目の技術は、 要約に必要なデータ入力 を手作業で 行う こ と を大幅に許容して、 内容に関連したイ ンデッ ク ス を扱いやすいよ う に設計 し、 これを生成 · 利用する も のであ り 、 一度入力ができれば、 文脈の流れや個々 の特 徵的な場面を表現するイ ンデッ クスが利用可能なため、 目的に応じた柔軟な要約が実現できる。

と こ ろが、 前記 1 つ 目 の技術では、 基本的に低レベル 特徴に基づいているため、 個々 の場面が何を表現してい るか といっ た意味的な具体的内容の特定が困難であ っ た 。 また、 2 つ 目 の技術では、 適用範囲が限定される点、 人手による コ ス トゃ負荷を軽減するための工夫が必要で あっ た。 発明の開示

上記の課題を解決するために、 本発明は、 次のよ う な 手段を講じた ものである。

すなわち、 本発明は、 放映中の番組又は放映前の素材 映像や V T Rテープ等の記録媒体に記録されたスポーツ に関するコ ンテンッか ら特徴的な試合中の選手の動作を 抽出 し所望の時間に要約して視聴可能にする コ ンテンツ 要約装置であ っ て、 前記コ ンテンツか ら特徴的な試合中 の選手の動作等のイ ベン ト情報を取得するイ ベン ト情報 取得部と、 こ のイ ベン ト情報に基づき試合の概略を記述 した内部表現情報の生成を行う 内部表現情報生成部と、 この内部表現情報に基づき前記コ ンテンツを要約した文' 章で表現する表層文情報の生成を行う表層文情報生成部 と、 こ の表層文情報と前記イ ベン ト情報に対応する画像 情報と を関連付けたコ ンテンツ要約情報を出力する コ ン テンッ要約情報出力部とを具備する こ と を特徴とする。

こ のよ う な ものであれば、 イ ベン ト情報取得部で取得 した特徴的な試合中の選手の動作等のィ ベン ト情報にお ける試合の概略を表す内部表現情報を内部表現情報生成 部が生成し、 さ ら に表層文情報生成部がこ の内部表現情 報に基づき前記コ ンテンツを要約した文章で表現する表 層文情報を生成し、 さ ら に、 コ ンテンツ要約情報出力部 が、 表層文情報と前記イベン ト情報に対応する画像情報 とを関連付けてコ ンテンツ要約情報と して出力するため 、 不必要な人手が要 らず簡単に意味的な内容を含んだコ ンテンッ要約情報を生成する コ ンテンツ要約装置を提供 する こ とができる。 ，

特に、 利用者の興味や嗜好等に対応した要約を生成す るため には、 コ ンテンツ要約装置に利用者の興味や嗜好 を示す利用者情報を受け付ける利用者情報受付部を設け 、 前記表層文情報生成部が、 こ の利用者情報に基づき、 前記内部表現情報に利用者の興味 · 嗜好を反映させた表 層文情報を生成する こ とが望ま しい。

また、 要約したコ ンテンツを表現する文章を効率的に 得るため には、 当該コ ンテンツの試合展開や選手の動作 等を表現 し得る語句で構成される要約用テキス ト要素を 格納する要約用テキス ト要素格納部をさ ら に設け、 前記 表層文情報生成部がこ の要約用テキス ト要素に基づき表 層文情報を生成するよ う にすればよい。

と こ ろで、 試合中の任意時刻における選手の動作や試 合の状態を把握可能にするためには、 前記イ ベン ト情報 が、 当該スポーツのルール上の構造、 選手の動作等その 試合を記述可能な単位に基づく 階層的構造を有するよ う に構成し、 さ ら に前記イ ベン ト情報が、 試合の経過を示 す試合経過時間情報を含むよ う に構成すればよい。

そ して、 利用者が要約 したコ ンテンツ の試合経過を好 適に把握できる よ う にするためには、 前記コ ンテンツ要 約情報出力部が出力する コ ンテンツ要約情報が、 前記階 層的構造順序あるいは前記試合経過時間情報に基づいて ソー ト したものであればよい。

また、 好ま しいコ ンテンツの要約箇所 と しては、 前記 イ ベン ト情報が、 得点や成績等を示すス コ ア情報又は個 々 の選手の特徴的な動作を示すプレイ イ ベン ト情報の う ち少な く と も いずれか一方を含むよ う にする こ とが望ま しい。

なお、 コ ンテンツ要約情報を利用者の希望する視聴希 望時間内に編集して利用者に提供するためには、 前記利 用者情報受付部が利用者の視聴希望時間を受け付ける よ う に構成する と と も に、 こ の利用者情報受付部で受け付 けた視聴希望時間と前記コ ンテンツ要約情報出力部が出 力する コ ンテンッ要約情報の合計時間 とを比較する要約 時間照合部を設け、 こ の要約時間照合部が視聴希望時間 をコ ンテンツ要約情報の合計時間よ り 小さ い と判断した 場合、 前記コ ンテンツ要約情報出力部が前記利用者情報 受付部で受け付けた利用者の興味 · 嗜好に基づきコ ンテ ンッ要約情報を視聴希望時間内に収ま るよ う に編集して 出力する よ う に構成している こ とが好ま しい。

さ ら に、 どの選手が有利に試合を展開 したかを知るた めには、 前記ス コ ア情報に基づき、 任意の試合経過時に おける一の選手のス コ ア情報と他の選手とのス コ ア情報 とを比較して、 一の選手と他の選手と の試合展開におけ る優勢度合いを表す優勢度情報を生成する優勢度情報生 成部を設け、 こ の優勢度情報に基づき前記内部表現情報 生成部が内部表現情報を生成するよ う にすればよ く 、 さ ら に、 前記優勢度情報を、 任意の試合経過時における優 勢度情報を累積した もの とする こ とが望ま しい。

そ して、 試合が終了する直前に得点 した選手の動作を 含むシー ンあ る いは着目 した選手を中心に要約 したシー ン等、 利用者の興味や嗜好によ り 具体的に対応したコ ン テンッ要約情報を得るためには、 前記表層文情報生成部 を、 前記表層文情報を前記内部表現情報で表現される試 合展開に関連した表層文試合展開情報と顕著な選手動作 に関連した表層文選手動作情報と に分類して生成する よ う に構成する こ とが好ま しい。

また、 本発明の好ま しい態様と しては、 放映中の番組 や V T Rテープ等の記録媒体に記録されたスポーツに関 する コ ンテンツか ら特徴的な試合の流れを示す選手の動 作を抽出 し所望の時間に要約して視聴可能にする コ ンテ ンッ要約装置であ って、 前記コ ンテンツか ら得点や成績 等を示すスコア情報と と も に個々 の選手の特徴的な.動作 を示すプレイイ ベン ト情報と をイ ベン ト情報と して取得 するイ ベ ン ト情報取得部と、 前記ス コ ア情報に基づき任 意の試合経過時における一の選手のス コ ア情報と他の選 手とのス コア情報と を比較して一の選手と他の選手との 試合展開における優勢度合いを表す優勢度情報を生成す る優勢度情報生成部と、 こ の優勢度情報に基づき試合展 開の概略を記述 した内部表現情報の生成を行う 内部表現 情報生成部と、 こ の内部表現情報に基づき前記コ ンテン ッ を要約した文章で表現する表層文情報の生成を行う表 層文情報生成部と、 こ の表層文情報と前記イ ベン ト情報 に対応する画像情報と を関連付けたコ ンテンッ要約情報 を出力するコ ンテンツ要約情報出力部と を具備したも の が挙げられる。 図面の簡単な説明

第 1 図は、 本発明の実施形態における コ ンテンツ要約装 置の機器構成図である。 第 2 図は、 同実施形態における機能ブロ ッ ク 図である。 第 3 図は、 同実施形態における要約用テキス ト要素の格 納態様を示す図である。

第 4 図は、 同実施形態における コ ンテンツ要約情報を生 成する過程を示すフ ロー図である。

第 5 図は、 本発明の他の実施形態における コ ンテンツ要 約装置の機能ブロ ッ ク 図である。

第 6 図は、 同実施形態における累積優勢度情報をグラ フ ィ匕した図である。

第 7 図は、 同実施形態における コ ンテンツ要約情報を生 成する過程を示すフ ロー図である。 発明を実施するための最良の形態

<第 1 実施形態 >

以下、 本発明の第 1 実施形態について、 該実施形態に おけるスポーツに関する コ ンテンツをテニス と し、 2 人

'の選手が対戦する場面を録画した録画物か ら利用者の希 望する コ ンテンツ要約情報を生成する場合を、 第 1 図〜 第 4 図を参照 して説明する。

第 1 図は、 本実施形態における コ ンテンツ要約装置 1 の機器構成を示す機器構成図である。 第 2 図は、 同実施 形態における機能ブロ ッ ク 図である _P

本実施形態に係る コ ンテンツ要約装置 1 は、 テレビジ ョ ン受像機 T Vや V T R等の記録再生装置を用 いて表示 する放映中の番組や記録媒体な どに記録されるスポーツ に関する コ ンテンツか ら、 特徴的な試合中の選手の動作 を抽出し所望の時間に要約 したコ ンテンッ要約情報を生 成する も のであっ て、 第 1 図に示すよ う に、 テレ ビジョ ン受像機 T Vや V T R等の記録再生装置と接続される入 出力イ ンタ フ ェイ ス 1 1 と、 データやプロ グラム等を記 憶する H D D等の外部記憶装置 1 2 や内部メモ リ 1 3 と 、 前記外部記憶装置 1 2 等に記憶させたプロ グラムに し たがっ て作動し当該装置をコ ンテンツ要約装置 1 と して 機能させる C P U 1 4 と、 ユーザの利用者情報を受け付 けるキーボー ドやマウス等のユーザイ ンタ フ ェイ ス 1 5 等と を主な構成要素 と している。 なお、 こ こで 「コ ンテ ンッ」 とは、 選手の動作、 コー ト斜め上か ら縦方向にコ — 卜が映る よ う なア ングルで撮影されたシ ョ ッ ト、 審判 、 観客のア ッ プとなる ショ ッ ト等を含む映像や解説者等 の音声を含む一般的なテニス番組に設定している。

一方、 こ のコ ンテンツ要約装置 1 を機能面で説明する と、 前記 C P U 1 4 等が動作する こ と によ り 、 第 2 図に 示すよ う に、 イ ベン ト情報取得部 1 0 1 、 内部表現情報 生成部 1 0 2 、 要約用テキス ト要素格納部 1 0 3 、 利用 者情報受付部 1 0 4 、 表層文情報生成部 1 0 5 、 コ ンテ ンッ要約情報出力部 1 0 6 、 要約時間照合部 1 0 7 等と しての機能を有している。

以下、 これら各部を詳述する。

イ ベン ト情報取得部 1 0 1 は、 前記コ ンテンツか ら特 徴的な試合中の選手の動作等を示すイベン ト情報を取得 する も のであ っ て、 前記入出力イ ンタ フ ェイ ス 1 1 を利 用 して構成している。 なお、 本実施形態では、 コ ンテ ン ッの映像情報か ら 2 値画像処理等によ っ て抽出した選手 とボールとの位置関係か ら フ ォ アハ ン ドスィ ング等の選 手の動作を識別する こ と によ り イベン ト情報を取得する よ う に設定している。 そして、 取得した このイ ベン ト 情 報は、 当該スポーツのルール上の構造、 選手の動作等そ の試合を記述可能な単位に基づく 階層的構造と試合の経 過を示す試合経過時間情報と を有する よ う に構成して前 記内部表現情報生成部 1 0 2 に出力する よ う に してい る 内部表現情報生成部 1 0 2 は、 前記イ ベン ト情報に基 づき試合の概略を記述 した内部表現情報を生成する も の であ る。 よ り 具体的には、 例えば、 サー ビスエースゃダ ブルフ オル ト といっ た選手の顕著な動作を、 1 ゲーム毎 あ る い は 1 セ ッ ト毎に評価 して、 「サー ビスエースが多 く 決ま っ たゲームであ っ た。」 「ダブルフ ォル ト の多いセ ッ ト であっ た。」といっ た試合展開等に関する 内部表現情 報を生成する。

要約用テキス ト要素格納部 1 0 3 は、 当該コ ンテンツ の試合展開や選手の動作等を表現し得る語句で構成され る要約用テキス ト要素を格納する ものであっ て、 前記外 部記憶装置 1 2 及び内部メモ リ 1 3 の所定領域を利用 し て形成している。 なお、 本実施形態では、 こ の要約用テ キス ト要素は、 第 3 図に示すよ う に、 本システムにおい てユニーク な値を示す要約用テキス ト要素 I D と対応さ せて格納するよ う に している。

利用者情報受付部 1 0 4 は、 例えば、 要約して視聴し たい試合の内容に関する 内容構成、 利用者がどち ら の選 手あるいはチ一ム を重視するか といっ た点を指定するた めの項目 である着目選手、 視聴希望時間を示す要約時間 等、 利用者の興味や嗜好を示す利用者情報を受け付ける ための も のであっ て、 前記ュ一ザイ ン夕 フェイ ス 1 5 を 利用 して構成されている。

表層文情報生成部 1 0 5 は、 前記要約用テキス ト要素 と利用者情報と に基づいて、 コ ンテンツ を要約した文章 で表現する表層文情報を生成する も のである。 また、 表 層文情報生成の際には、 前記利用者入力情報に基づき、 前記着目選手を中心と した表現を用 いる よ う に している 。 これによ り 、 前記表層文情報は指定された選手ゃチー ムの観点か ら表現されて形成される こ と になる。

コ ンテンツ要約情報出力部 1 0 6 は、 前記表層文試合 展開情報及び前記表層文選手動作情報と前記ィ ベン ト情 報に対応する画像情報と を関連付けたコ ンテンッ要約情 報を前記テ レ ビジ ョ ン受像機 T V等に出力する も のであ る。 なお、 前記表層文試合展開情報に関連した映像と し ては、 セ ッ ト及びゲームが終了する直前にポイ ン ト した 選手の最後の打撃イ ベン ト を含むシーンや、 接戦あるい は一方的 と判断される全てのゲームの中で最も頻繁に起 きた動作イ ベン ト を含むシーンを各セ ッ トか ら選択する よ う に設定 している。 また、 前記表層文選手動作情報に 関連 した映像と しては、 パ ッ シングやサー ビスエース と いっ たスーパープレイ に類する ものに予め順位付け して おき、 試合展開 と前記着目選手に対応する選手の動作ィ ベン ト を順位の高い ものか ら各セ ッ ト毎に選択する よ う に設定している。 さ ら に、 個々 の特徴的なイ ベン ト を含 む映像場面の中か ら は、 指定された選手やチームが主体 的に関連したものに対してよ り 重みがかけ られて選択ざ れるよ う に している 。 また、 本実施形態において、 この コ ンテンツ要約情報を、 当該スポーツのルール上の構造

、 選手の動作等その試合を記述可能な単位を示す階層的 構造順序あ るいは試合の経過を示す試合経過時間情報に 基づきソー ト して出力する よ う に設定している。

要約時間照合部 1 0 7 は、 利用者情報受付部 1 0 4 で 受け付けた視聴希望時間と前記コ ンテンツ要約情報出力 部 1 0 6 が出力する コ ンテンツ要約情報の合計時間と を 比較して、 視聴希望時間をコ ンテンツ要約情報の合計時 間よ り 小さ い と判断した場合、 前記コ ンテンツ要約情報 出力部 1 0 6 に前記利用者情報受付部 1 0 4 で受け付け た利用者の興味 · 嗜好に基づきコ ンテンツ要約情報を視 聴希望時間内に収ま るよ う に編集して出力する旨の指示 を行う ものである。

次に、 本実施形態のコ ンテ ンツ要約装置 1 の動作を第 4 図に示すフ ロー図を用いて説明する。

第 4 図は、 テニス の試合を行う選手 O k a と H i n o n u r a と の対戦が録画されている録画物か ら 、 利用者 の希望する コ ンテンツ要約情報を生成する過程を示すフ ロー図であ る。

まず、 イ ベン ト情報取得部 1 0 1 が、 前記記録再生装 置で再生する録画物か らイベン ト情報を取得する と （ス テツ プ S 1 0 1 ) 、 このイベン ト情報に基づき、 試合展 開を表現する内部表現情報が内部表現情報生成部 1 0 2 で生成される （ステッ プ S 1 0 2 ) 。 そして、 この内部 表現情報と利用者情報受付部 1 0 4 が受け付ける利用者 情報と要約用テキス ト要素格納部 1 0 3 に格納 してい る 要約用テキス ト要素と に基づき、 表層文生成部が表層文 情報を生成する （ステッ プ S 1 0 3 ) 。 具体的には、 こ のステ ッ プ S 1 0 3 において、 例えば、 受け付ける利用 者情報が、 内容構成 =サービスエース重視、 着 目選手 = O k a , 要約時間 = 3 0 ( s e c ) であっ た場合には、 「第 1 セ ッ ト は、 」 、 「 O k a がサー ビスエース を連発 し、 」 、 「選手〇 k a が 6 — 2 で危なげな く と っ た。 」 、 「第 2 セ ッ ト は、 H i n o m u r a がサー ビスエース を一時決めた も のの」 、 「ほぼ互角の接戦とな り 、 」 、 「選手 O k a が 6 — 4 で逃げ切っ た。 」 といっ たサー ビ スエース重視で選手 O k a に着目 した表層文選手動作情 報が生成される。 なお、 生成される表層文情報 「第 1 セ ッ ト は、 」 における、 「第」 「セ ッ ト」 「は」 はそれぞ れ要約用テキス ト要素 I D 0 0 0 、 0 0 1 、 0 0 9 を参 照して生成する よ う に している。 また、 利用者情報が、 内容構成 ==ダブルフ ォル ト重視、 着目選手 = O k a 、 要 約時間 = 3 0 ( s e c ) 、 であっ た場合には、 「第 1 セ ッ ト は、 〇 k a のダブルフ ォル ト に始ま っ たが、 」 、 「 H i n o m u r a がダブルフ ォル ト を連発し、 」 、 「選 手 0 k a が 6 — 2 で危なげな く と っ た。 」 、 「第 2 セ ッ 卜 は、 〇 k a のダブルフ ォル ト が目立っ たが、 」 、 「後 半は、 ダブルフ ォル ト も無く 安定したプレイ で」 、 「選 手 O k a が 6 — 4 で逃げ切っ た。 」 とい っ た顕著なプレ ィ 重視で選手 0 k a に着目 した表層文選手動作情報が生 成される。

このよ う に して、 表層文生成部が生成 した表層文情報 に基づき、 コ ンテンツ要約情報出力部 1 0 6 が、 前記ィ ベン ト情報に対応する画像情報と を関連付けたコ ンテン ッ要約情報を編集し （ステッ プ S 1 0 4 )、 要約時間照合 部 1 0 7 が、 利用者情報受付部 1 0 4 で受け付けた視聴 希望時間 と前記コ ンテンツ要約情報出力部 1 0 6 が出力 する コ ンテンツ要約情報の合計時間と を比較して、 視聴 希望時間がコ ンテンツ要約情報の合計時間よ り大きい と 判断した場合 （ステッ プ S 1 0 5 )、 その ま ま前記ィ ベン ト情報に対応する画像情報と を関連付けたコ ンテンツ要 約情報を前記テ レ ビジョ ン受像機 T V等に出力 し （ステ ッ プ S 1 0 6 )、 一方、 視聴希望時間がコ ンテンツ要約情 報の合計時間よ り 小さ い と判断した場合 （ステッ プ S 1 0 5 )、前記コ ンテ ンツ要約情報出力部 1 0 6 に前記利用 者情報受付部 1 0 4 で受け付けた利用者の興味 · 嗜好に 基づきコ ンテンッ要約情報を視聴希望時間内に収ま る よ う に編集する よ う に設定している （ステッ プ S 1 0 4 ) 。 そ して、 コ ンテンツ要約再生時には、 表層文情報 （上 記で示した要約例の 「 」 で囲まれた 1 行分に相当） と それに対応 した各映像シーンが同期 してテレビジ ョ ン受 像機 T V に表示され、 ダイ ジエス ト を視聴できる こ と と なる。

以上のよ う なコ ンテンツ要約装置 1 であれば、 ィ ベン ト情報取得部 1 0 1 で取得した特徴的な試合中の選手の 動作等のイ ベン ト情報における試合展開の概略を表す内 部表現情報を内部表現情報生成部 1 0 2 が生成 し、 さ ら に表層文情報生成部 1 0 5 がこの内部表現情報に基づき 前記コ ンテンツを要約した文章で表現する表層文情報を 生成し、 さ ら に、 コ ンテンツ要約情報出力部 1 0 6 が、 表層文情報 と前記ィ ベン ト情報に対応する画像情報 と を 関連付けてコ ンテンツ要約情報と して出力するため、 不 必要な人手が要らず簡単に、 試合中の任意時刻における 選手の動作や試合の状態を把握した り 要約したコ ンテン ッの試合経過を好適に把握可能な意味的な内容を含んだ コ ンテンツ要約情報を生成する コ ンテンツ要約装置 1 を 提供する こ とができる。

また、 利用者情報受付部 1 0 4 で受け付ける着目選手 等を変化させれば、 要約用テキス ト要素格納部を参照 し 文脈の流れを保持しつつ、 利用者の嗜好に応じた要約内 容を有する コ ンテンツ要約情報を効率的に生成し提供す る こ とができる。

さ ら に、 利用者は、 自分の希望する視聴希望時間内で 要約 したコ ンテンツを楽しむ こ とができる。

なお、 本実施形態において、 要約対象とする コ ンテン ッをテニス と したが、 バ ド ミ ン ト ンや卓球等他のスポー ッに関するコ ンテンツであっ てもよい。

また、 本実施形態では、 コ ンテンツ要約情報を、 テ レ ビジ ョ ン受像機 T V に出力する よ う に していたが、 これ に限 らず、 例えば、 V T R等の記録再生装置に出力 して しかるべき記録媒体に記録させるな ど各種出力方法が考 え られる。

<第 2 実施形態 >

以下、 本発明の第 2 実施形態について、 該実施形態に おけるスポーツに関する コ ンテンツをテニス と し、 2 人 の選手が対戦する場面を放映中の番組か ら利用者の希望 する コ ンテンツ要約情報を生成する場合を、 第 5 図〜第 7 図等を参照 して説明する。

本実施形態に係る コ ンテンッ要約装置 1 の機器構成は 、 第 1 実施形態で説明 したも の と同様の機器構成であ る ため説明を省略する。 第 5 図は、 本実施形態における他 のコ ンテンツ要約装置 1 の機能ブロ ッ ク 図である。

こ のコ ンテンツ要約装置 1 を機能面で説明する と、 前 記 C P U 1 4 等が動作する こ と によ り 、 第 5 図に示すよ う に、 イ ベン ト情報取得部 1 0 1 、 優勢度情報生成部 1 1 1 、 内部表現情報生成部 1 0 2 、 要約用テキス ト要素 格納部 1 0 3 、 利用者情報受付部 1 0 4 、 表層文情報生 成部 1 0 5 、 コ ンテンツ要約情報出力部 1 0 6 、 要約時 間照合部 1 0 7 等と しての機能を有 している。

以下、 これら各部を詳述するが、 第 1 実施形態 と 同様 の構成作用効果を示すものは同一の名称及び同一の符号 を与えて説明を省略する。

イ ベ ト情報取得部 1 0 1 は、 前記コ ンテンツか ら特 徴的な試合の流れを示す選手の動作等のィ ベン ト情報及 び得点や成績等を示すス コ ア情報を取得する ものであつ て、 前記入出力イ ンタ フ ェイ ス 1 1 を利用 して構成して い る。 なお、 本実施形態も前述の第 1 実施形態と 同様、 コ ンテンツの映像情報か ら 2 値画像処理等によっ て抽出 した選手とポールとの位置関係か ら フォ アハ ン ドスイ ン グ等の選手の動作を識別する こ と によ り イ ベン ト情報を 取得する よ う に設定してい る。 そして、 ス コ ア情報は、 映像中に表示されるス コ ア を手入力 して取得する よ う に 設定している。 また、 取得した こ のイベン ト情報及びス コ ア情報は、 当該スポーツのルール上の構造、 選手の動 作等その試合を記述可能な単位に基づく 階層的構造と試 合の経過を示す試合経過時間情報と を有する よ う に構成 して優勢度情報生成部及び内部表現情報生成部に出力す る よ う に している。

優勢度情報生成部 1 1 1 は、 前記イベン ト情報取得部 1 0 1 が取得するス コ ア情報に基づき、 任意の試合経過 時における一の選手のス コ ア情報と他の選手とのス コ ア 情報 と を比較して、 一の選手と他の選手と の試合展開に おけるセ ッ ト又はゲームの優勢度合いを表すセ ッ ト優勢 度情報又はゲーム優勢度情報 （以下、 「優勢度情報」 と総 称する。） を生成する ものであ る。 なお、 こ のセッ ト優勢 度情報は、 任意のセ ッ ト において、 どち ら の選手が有利 にそのセ ッ ト を展開 したかを示す指標で、 計算式 S s = d s i Z d s m a x で定義 している。 こ こで、 d s i = (そのセッ ト の最後の 1 ゲームを取る までにつける こ と のできたゲーム差）、 d s m a = (そのセ ッ 卜の最後の 1 ゲームを取る までにつける こ とのできた最大のゲーム 差） と している。 また、 ゲーム優勢度情報は、 任意のゲ ーム において、 どち ら の選手が有利にそのゲームを展開 したかを示す指標で、 計算式 S g = d g i / d g m a x で定義している。 こ こで、 d g i = (そのゲームの最後 の 1 ポイ ン ト を取る までにつける こ とのできたポイ ン ト 差）、 d g m a x = (そのゲームの最後の 1 ポイ ン ト を と るまでにつける こ と のできた最大のポイ ン 卜差） と して いる。 ,

さ ら に、 各ゲーム毎のゲーム優勢度情報を累積して得 られる試合のある時点における累積優勢度情報を生成 し 、 どち ら の選手が有利にそのセ ッ ト ある いはゲーム を展 開 したかを示すよ う に設定している。 よ り 具体的には、 こ の累積優勢度情報は、 あ る時点までの試合の流れを表 す指標となる もので計算式 S r = ∑ S g で定義している 。 なお、 本実施形態では累積優勢度情報をゲーム優勢度 情報を累積して得る も の と したが、 セ ッ ト優勢度情報を 累積して得る こ と も考え られる。

内部表現情報生成部 1 0 2 は、 前記優勢度情報生成部 1 1 1 が生成した優勢度情報に基づき、 各セ ッ ト ある い はゲーム における試合の優勢度及びその推移か ら試合展 開の概略を分析して、 試合展開の概略を記述した内部表 現情報を生成する ものである。

よ り 具体的には、 前記優勢度情報 S s が、 i S s I ≤ 0 . 2 な ら ば接戦、 I S s I ≥ 0 . 6 な ら ば一方的、 0 . 2≤ I S s I ≤ 0 . 6 な ら ば順調、 な試合展開であ つ たと分析し、 ①一方的であつ たか、 ②接戦であ つ たか、 ③いずれでもな く 順調な展開であつ たか、 といっ たセ ッ ト の展開の概略を記述 した内部表現情報を生成する。 例 えば、 6 — 2 で決まっ たセ ッ ト におけるセ ッ ト優勢度情 報は、 S s = 3 Z 5 = 0 . 6 とな り 、 そのセ ッ ト の展開 が 「一方的であっ た」 こ とを示す内部表現情報が生成さ れる。

前記ゲーム優勢度情報 S g が、 I S g I ≤ 0 . 2 5 な ら ば接戦、 | S g | ≥ 0 . 6 な ら ば一方的、 0 . 2 5 ≤ I S g I ≤ 0 . 6 な ら ば順調、 な試合展開であ つ たと分 析し、 ①一方的であつ たか、 ②接戦であ つ たか、 ③いず れでもな く 順調な展開であつ たか、 と いっ たゲームの展 開の概略を記述した内部表現情報を生成する。 例えば、 2 回目 の d e u c e で決まっ たゲームのゲーム優勢度情 報は、 4 0 — A (得点に直すと 4 一 5 ) であ り 、 S g = - 1 / 5 = - 0 . 2 となっ て、 そのゲームの展開が 「接 戦であっ た」 こ と を示す内部表現情報が生成される。 な お、 各優勢度におけるマイ ナス は他方の選手が優勢であ る こ と を示している。

また、 前記累積優先度は、 例えば、 第 6 図に示すよ う に、 各ゲーム毎のゲーム優先度情報を累積させて表示し たグラ フ において、 そのグラ フ の傾き等を見る こ と によ り 、 ①そのセ ッ ト全体を通して持続したか、 ②前半 · 後 半で変化 したか、 といっ た試合展開の概略が記述される 内部表現を生成する よ う に設定している。 よ り 具体的に 第 6 図において、 試合 1 は、 前半か らマイ ナス側の選手 が有利に試合を展開 し、 後半は完全にマイ ナス側の選手 の一方的な試合展開になっ ている こ と を示す内部表現情 報が生成される。 一方、 試合 2 は、 前半はほとん ど均衡 状態で、 中盤、 一時的にプラス側の選手が有利にな り 再 びマイ ナス側の選手に盛 り 返されるが、 後半はプラス側 の選手に有利な試合展開 になっ た こ と を示す内部表現情 報が生成される。

表層文情報生成部 1 0 5 は、 前記要約用テキス ト要素 と利用者情報と に基づいて、 コ ンテンツ を要約した文章 で表現する表層文情報を生成する ものであ る。 なお、 本 実施形態において、 各セ ッ ト について、 前記内部表現情 報で表現される試合展開等に関連した表層文試合展開情 報と顕著な選手動作に関連した表層文選手動作情報との 2 種類を生成する よ う に設定してお り 、 例えば、 第 1 セ ッ 卜 の試合展開がほぼ一方的であ っ た場合には、 「第 1 セ ッ ト は、 選手 0 k a が 6 — 2 で危なげな く と っ た。」 と いっ た表層文試合展開情報や 「パッ シングやサーブ &ポ レーを決めるなどしたが、」と いっ た表層文選手動作情報 が生成される。 また、 表層文情報生成の際には、 前記利 用者入力情報に基づき、 前記着目選手を中心と した表現 を用 いるよ う に してい る。 これによ り 、 前記表層文情報 は指定された選手やチームの観点か ら表現されて形成さ れる こ とになる。

次に、 本実施形態のコ ンテンツ要約装置 1 の動作を第 7 図に示すフ ロー図を用いて説明する。

第 7 図は、 テニス の試合を行う選手 O k a と H i n o n u r a との対戦が放映されている番組か ら、 利用者の 希望するコ ンテンツ要約情報を生成する過程を示すフ ロ 一図である。

まず、 イ ベ ン ト情報取得部 1 0 1 が、 前記テ レ ビジ ョ ン受像機に放映中の番組か らィ ベン ト情報及びス コ ア情 報を取得する と （ステ ッ プ S 2 0 1 ) 、 優勢度情報生成 部 1 1 1 が、 セ ッ ト優勢度情報及びゲーム優勢度情報 と 、 こ のゲーム優勢度情報を各ゲーム毎に累積した累積優 勢度情報を生成する （ステッ プ S 2 0 2 ) 。 次に、 これ らセ ッ ト優勢度情報及びゲーム優勢度情報と累積優勢度 情報とイ ベン ト情報と に基づき、 試合展開を表現する 内 部表現情報が内部表現情報生成部 1 0 2 で生成される （ ステッ プ S 2 0 3 ) 。 そ して、 この内部表現情報と利用 ' 者情報受付部 1 0 4 が受け付ける利用者情報と要約用テ キス ト要素格納部 1 0 3 に格納している要約用テキス ト 要素と に基づき、 表層文生成部が表層文情報を生成する (ステ ッ プ S 2 0 4 ) 。

そ して、 こ のステ ッ プ S 2 0 5 において、 例えば、 利 用者情報が、 内容構成 =試合展開重視、 着目選手 = O k a 、 要約時間 = 3 0 ( s e c ) であっ た場合には、 「第 1 セ ッ ト は、 」 、 「〇 k a のほぼ一方的な展開 とな り 、 」 、 「選手 O k a が 6 — 2 で危なげな く と っ た。 」 、 「 第 2 セ ッ ト は、 H i n o m u r a がー時有利に試合を進 める も のの」 、 「ほぼ互角の接戦とな り 、 」 、 「選手〇 k a が 6 — 4 で逃げ切っ た。 」 といっ た試合展開重視で 選手 0 k a に着目 した表層文試合展開情報が生成される 。 なお、 生成される表層文情報 「第 1 セ ッ ト は、 」 にお いて、 「第」 「セ ッ ト」 「は」 はそれぞれ要約用テキス ト要素 I D 0 0 0 、 0 0 1 、 0 0 9 を参照して生成する よ う に している。 また、 利用者情報が、 内容構成 =顕著 なプレイ重視、 着目選手 = 〇 k a 、 要約時間 = 3 0 ( s e c ) 、 であっ た場合には、 「第 1 セ ッ ト は、 ノ \° ッ シン グゃ」 、 「サーブ &ポ レーを決めるな ど して リ ー ド した 」 、 「選手〇 k a が 6 — 2 で危なげな く とっ た。 」 、 「 第 2 セ ッ トは、 O k a がサ一ビスエースや」 、 「ス ト 口 ーク エース を決めるな どしたが、 」 、 「選手〇 k a が 6 — 4 で逃げ切っ た。 」 といっ た顕著なプレイ重視で選手 〇 k a に着目 した表層文選手動作情報が生成される。 さ ら にまた、 利用者情報が、 内容構成 -顕著なプレイ重視 、 着目選手 = H i n o m u r a 、 要約時間 = 3 0 ( s e c ) であ っ た場合には、 「第 1 セ ッ トは、 H i n o m u r a がサーブ &ポ レーや」 、 「サ一ビスェ一ス を決める な どして好プレイ を見せたが」 、 「選手〇 k a に 6 _ 2 で危なげな く 取 られた。 」 、 「第 2 セッ ト は、 H i n o m u r a がパッ シングや」 、 「ス ト ローク エース を決め るなどして好プレイ を見せたが」 、 「選手〇 k a に 6 — 4 で逃げ切 られた。 」 と いっ た顕著なプレイ重視で選手 H i n o m u r a に着目 した表層文選手動作情報が生成 される。

こ のよ う に して、 表層文生成部が生成 した表層文情報 に基づき、 コ ンテンツ要約情報出力部 1 0 6 が、 前記ィ ベン ト情報に対応する画像情報と を関連付けたコ ンテン ッ要約情報を編集し （ステ ッ プ S 2 0 5 )、 要約時間照合 部 1 0 7 が、 利用者情報受付部 1 0 4 で受け付けた視聴 希望時間 と前記コ ンテンツ要約情報出力部 1 0 6 が出力 する コ ンテンツ要約情報の合計時間 とを比較して、 視聴 希望時間がコ ンテンツ要約情報の合計時間よ り大きい と 判断した場合 （ステッ プ S 2 0 6 )、 そのま ま前記ィ ベン 卜情報に対応する画像情報 とを関連付けたコ ンテ ンツ要 約情報を前記テ レ ビジョ ン受像機 T V等に出力 し （ステ ッ プ S 2 0 7 )、 一方、 視聴希望時間がコ ンテンツ要約情 報の合計時間よ り 小さ い と判断した場合 （ステッ プ S 2 0 6 )、前記コ ンテンツ要約情報出力部 1 0 6 に前記利用 者情報受付部 1 0 4 で受け付けた利用者の興味 ， 嗜好に 基づきコ ンテンッ要約情報を視聴希望時間内に収ま る よ う に編集して出 する 旨の指示を行う よ う に設定してい る （ステッ プ S 2 0 5 )。 そ して、 コ ンテンツ要約再生時 には、 表層'文情報 （上記で示した要約例の 「 」 で囲ま れた 1 行分に相当） とそれに対応した各映像シーンが同 期 してテ レビジ ョ ン受像機 T Vに表示され、 ダイ ジエス ト を視聴できる こ と となる。

以上のよ う なコ ンテンツ要約装置 1 であれば、 ィ ベン ト情報取得部 1 0 1 で取得した特徴的な試合の流れを示 す選手の動作等のイ ベン ト情報やス コ ア情報に基づき試 合展開の概略を表す内部表現情報を内部表現情報生成部

1 0 2 が生成され、 さ ら に表層文情報生成部 1 0 5 がこ の内部表現情報に基づき前記コ ンテンツを要約した文章 で表現する表層文情報を生成し、 さ ら に、 コ ンテンツ要 約情報出力部 1 0 6 が、 表層文情報と前記イ ベン ト情報 に対応する画像情報と を関連付けてコ ンテンッ要約情報 と して出力するため、 不必要な人手が要 らず簡単に どの 選手が有利に試合を展開したかをよ り 的確に知る こ とが できる といっ た意味的な内容を含んだコ ンテンツ要約情 報を生成する コ ンテンツ要約装置 1 を提供する こ とがで きる。

なお、 イ ベン ト情報取得部がスコ ア情報を取得する方 法を、 映像中 に表示されるス コ アを手入力 して取得する よ う に構成していたが、 映像中に表示されるスコ アを 自 動解析 して取得した り 解説者等の音響情報に基づき取得 した り する よ う に構成するな ど、 ス コ ア情報を取得する 方法は本実施形態に限 られる ものではない。

また、 優勢度情報をスコ ア情報に基づき生成するよ う に構成していたが、 ス コ ア情報と解説者等の音響情報と を組み合わせて生成するよ う に構成するな ど、 優勢度情 報を生成する方法は本実施形態に限ら れる も のではない さ ら に、 テ レビジ ョ ン受像機 T Vや V T R等の記録再 生装置を用 いて表示する放映中の番組や記録媒体などに 記録されるスポーツに関する コ ンテンツか ら、 特徴的な 試合中の選手の動作を抽出し所望の時間に要約 して視聴 可能にする よ う に構成していたが、 例えば、 ス タジアム で当該スポーツを撮影 した放映される前の素材映像ゃィ ン夕ーネ ッ ト上にアーカイ ブ化されている映像情報か ら 、 特徴的な試合中の動作を抽出 し所望の時間に要約して 視聴可能にするな ど、 要約を行う コ ンテンツの対象とな る媒体は本実施形態に限られる ものではない。

その他、 各部の具体的構成について も上記実施形態に 限られる ものではな く 、 本発明の趣旨 を逸脱しない範囲 で種々 変形が可能である。 産業上の利用可能性

上述 したよ う に、 本発明によれば、 イ ベン ト情報取得 部で取得した特徴的な試合中の選手の動作等のィ ベン ト 情報における試合展開の概略を表す内部表現情報を内部 表現情報生成部が生成し、 さ ら に表層文情報生成部がこ の内部表現情報に基づき前記コ ンテンッを要約した文章 で表現する表層文情報を生成し、 さ ら に、 コ ンテンツ要 約情報出力部が、 表層文情報と前記イ ベン ト情報に対応 する画像情報と を関連付けてコ ンテンツ要約情報と して 出力するため、 不必要な人手が要 らず簡単に意味的な内 容を含んだコ ンテ ンツ要約情報を生成する コ ンテンツ要 約装置を提供する こ とができる。

Claims

請求の範囲

1 . 放映中の番組又は放映前の素材映像や V T Rテープ 等の記録媒体に記録されたスポーツ に関するコ ンテンツ か ら特徴的な試合中の選手の動作を抽出 し所望の時間に 要約して視聴可能にする コ ンテンッ要約装置であっ て、 前記コ ンテンツか ら特徴的な試合中の選手の動作等のィ ベン ト情報を取得するイ ベン ト情報取得部と、 こ のィ べ ン ト情報に基づき試合の概略を記述した内部表現情報の 生成を行う 内部表現情報生成部と、 こ の内部表現情報に 基づき前記コ ンテンッを要約した文章で表現する表層文 情報の生成を行う 表層文情報生成部と、 こ の表層文情報 と前記ィ ベン ト情報に対応する画像情報 と を関連付けた コ ンテンツ要約情報を出力する コ ンテンツ要約情報出力 部と を具備する こ と を特徴とする コ ンテンッ要約装置。

2 . 利用者の興味や嗜好を示す利用者情報を受け付ける 利用者情報受付部を備え、 前記表層文情報生成部が、 こ の利用者情報に基づき、 前記内部表現情報に利用者の興 味 · 嗜好を反映させた表層文情報を生成する こ と を特徴 とする請求の範囲第 1 項記載のコ ンテンツ要約装置。

3 . 当該コ ンテ ンツの試合展開や選手の動作等を表現 し 得る語句で構成される要約用テキス ト要素を格納する要 約用テキス ト要素格納部を備え、 前記表層文情報生成部 がこの要約用テキス ト要素に基づき表層文情報を生成す る こ と を特徴とする請求の範囲第 1 項又は第 2 項記載の コ ンテンッ要約装置。

4 . 前記イ ベン ト情報が、 当該スポーツのルール上の構 造、 選手の動作等その試合を記述可能な単位に基づく 階 層的構造を有している こ と を特徴とする請求の範囲第 1 項、 第 2 項又は第 3 項記載のコ ンテンツ要約装置。

5 . 前記イ ベン ト情報が、 試合の経過を示す試合経過時 間情報を含んでいる こ と を特徴とする請求の範囲第 1 項 、 第 2 項、 第 3 項又は第 4 項記載の コ ンテンツ要約装置

6 . 前記コ ンテンツ要約情報出力部が出力する コ ンテン ッ要約情報が、 前記階層的構造順序あるいは前記試合経 過時間情報に基づいてソー ト した も のである こ と を特徴 とする請求の範囲第 4項又は第 5 項記載のコ ンテンツ要 約装置。 .

7 . 前記イ ベン ト情報が、 得点や成績等を示すス コ ア情 報又は個々 の選手の特徴的な動作を示すプレイ ィ ベ ン ト 情報の う ち 少なく と もいずれか一方を含むよ う に構成し ている こ と を特徴とする請求の範囲第 1 項、 第 2 項、 第 3 項、 第 4 項、 第 5 項又は第 6 項記載のコ ンテンツ要約

8 . 前記利用者情報受付部が利用者の視聴希望時間 を受 け付ける よ う に構成する と と も に、 こ の利用者情報受付 部で受け付けた視聴希望時間 と前記コ ンテンツ要約情報 出力部が出力する コ ンテンッ要約情報の合計時間 と を比 較する要約時間照合部を設け、 こ の要約時間照合部が視 聴希望時間をコ ンテンッ要約情報の合計時間よ り 小さ い と判断 した場合、 前記コ ンテンツ要約情報出力部が前記 利用者情報受付部で受け付けた利用者の興味 · 嗜好に基 づきコ ンテンツ要約情報を視聴希望時間内に収ま るよ う に編集 して出力する よ う に構成 している こ と を特徴とす る請求の範囲第 1 項、 第 2 項、 第 3 項、 第 4項、 第 5 項 、 第 6 項又は第 7 項記載のコ ンテンツ要約装置。

9 . 前記ス コ ア情報に基づき、 任意の試合経過時におけ る一の選手のス コ ア情報と他の選手とのス コ ア情報と を 比較して、 一の選手と他の選手と の試合展開における優 勢度合いを表す優勢度情報を生成する優勢度情報生成部 を備え、 こ の優勢度情報に基づき前記内部表現情報生成 部が内部表現情報を生成する こ と を特徴とする請求の範 囲第 7 項記載のコ ンテンツ要約装置。

1 0 . 前記優勢度情報が、 任意の試合経過時における優 勢度情報を累積した も のである こ と を特徴とする請求の 範囲第 9 項記載のコ ンテンッ要約装置。

1 1 . 前記表層文情報生成部が、 前記表層文情報を前記 内部表現情報で表現される試合展開に関連した表層文試 合展開情報と顕著な選手動作に関連した表層文選手動作 情報と に分類して生成する こ と を特徴とする請求の範囲 第 9 項又は第 1 0 項記載のコ ンテンツ要約装置。

1 2 . 放映中の番組又は放映前の素材映像や V T Rテー プ等の記録媒体に記録されたスポーツに関する コ ンテン ッか ら特徴的な試合の流れを示す選手の動作を抽出 し所 望の時間に要約して視聴可能にする コ ンテンツ要約装置 であ っ て、 前記コ ンテンツか ら得点や成績等を示すス コ ァ情報と と も に個々 の選手の特徴的な動作を示すプレイ イ ベン ト情報と をイ ベン ト情報と して取得するイ ベ ン ト 情報取得部と、 前記スコ ア情報に基づき任意の試合経過 時における一の選手のス コ ア情報と他の選手とのス コ ア 情報と を比較して一の選手と他の選手と の試合展開 にお ける優勢度合いを表す優勢度情報を生成する優勢度情報 生成部と、 こ の優勢度情報に基づき試合展開の概略を記 述 した内部表現情報の生成を行う 内部表現情報生成部と こ の内部表現情報に基づき前記コ ンテンツ を要約した文 章で表現する表層文情報の生成を行う表層文情報生成部 と、 こ の表層文情報と前記イ ベン ト情報に対応する画像 情報と を関連付けたコ ンテンツ要約情報を出力する コ ン テンッ要約情報出力部と を具備する こ と を特徴とする コ ンテンッ要約装置。

1 3 . コ ン ピュータ を作動させて、 放映中の番組又は放 映前の素材映像や V T Rテープ等の記録媒体に記録され たスポーツ に関する コ ンテンツか ら特徴的な試合中 の選 手の動作を抽出し所望の時間に要約して視聴可能にする コ ンテンツ要約装置を稼動するプロ グラムであっ て、 当 該コ ン ピュータ を、 前記コ ンテンツか ら特徴的な試合中 の選手の動作等のィ ベン ト情報を取得するィ ベン ト情報 取得手段と、 こ のイ ベン ト情報に基づき試合の概略を記 述した内部表現情報の生成を行う 内部表現情報生成手段 と、 こ の内部表現情報に基づき前記コ ンテ ンツを要約し た文章で表現する表層文情報の生成を行う表層文情報生 成手段 と、 こ の表層文情報と前記イ ベ ン ト情報に対応す る画像情報と を関連付けたコ ンテンツ要約情報を出力す る コ ンテンツ要約情報出力手段と して機能させる こ と を 特徴とする コ ンテンツ要約プロ グラム。

1 4 . コ ン ピュータ を作動させて、 放映中の番組又は放 映前の素材映像や V T Rテープ等の記録媒体に記録され たスポーツ に関する コ ンテンツか ら特徴的な試合の流れ を示す選手の動作を抽出 し所望の時間に要約して視聴可 能にする コ ンテンツ要約装置を稼動する プロ グラムであ つ て、 当該コ ン ピュータ を、 前記コ ンテンツか ら得点や 成績等を示すス コ ア情報と と も に個々 の選手の特徴的な 動作を示すプレイイ ベン ト情報と をイ ベン ト情報と して 取得するイ ベン ト情報取得手段と、 前記スコ ア情報に基 づき任意の試合経過時における一の選手のスコ ア情報と 他の選手と のス コア情報とを比較して一の選手と他の選 手との試合展開 における優勢度合いを表す優勢度情報を 生成する優勢度情報生成手段と、 こ の優勢度情報に基づ き試合展開の概略を記述した内部表現情報の生成を行う 内部表現情報生成手段と、 こ の内部表現情報に基づき前 記コ ンテンツを要約した文章で表現する表層文情報の生 成を行う表層文情報生成手段と、 こ の表層文情報と前記 イ ベン ト情報に対応する画像情報と を関連付けたコ ンテ ンッ要約情報を出力するコ ンテンッ要約情報出力手段と して機能させる こ と を特徴 とする コ ンテンツ要約プロ グ ラム。