JP4132650B2 - 番組関連情報生成システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、放送サービスの中で本編の番組であるコンテンツと同期を取って配信する番組関連情報を生成する番組関連情報生成システムに関し、より詳細には、コンテンツを放送により配信する際に、その内容に連動した番組関連情報を生成して配信する番組関連情報生成システムに関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送や地上波デジタル放送では、データ放送サービスの実現が期待を集めている。データ放送サービスとは、各種のデータを放送し、受信機で何らの形で利用するサービスを意味するが、通常、テレビやラジオのようにストリーム型の映像・音声サービスを単独で放送する場合はデータ放送サービスの範疇に含めないのが一般的である。また、多数のデータ放送サービスでは、他のコンテンツ（殆どがテレビ番組）と同期を取るように設計されている。
【０００３】
電波産業会ＡＲＩＢ規格ＳＴＤ−２４では、データサービスを大きく放送サービスと機能サービスに分けているが、放送サービスの中で本編の番組と同期を取るものを番組関連サービスと呼んでいる。
【０００４】
この番組関連サービスの例としては、以下のようなものがある。
・電子番組ガイド
・番組インデックス
・字幕
・解説音声（視覚障害者向け情報等）
・番組補完情報（出演者，あらすじ等）
・マルチビューテレビ（複数のカメラアングル）
・参加型番組（ショッピング，アンケート等）
【０００５】
上記のサービスにおいては、視聴者がＴＶ受信機上で必要に応じてリモコンボタン操作を行うことにより、番組関連情報（番組関連サービスを提供するためのデータ、以下、番組関連情報と記載する）を表示し、対話的に番組使用を行うことができるようになっている。
【０００６】
このような番組関連サービスを実用化するためには、番組関連情報を効率よく生成することが必要である。番組関連情報を効率よく生成するための従来技術としては、以下の▲１▼〜▲３▼に示すＩｐｌｕｓＴＶのシステムが提供されている。
▲１▼ 岡村和夫、他：ＩｐｌｕｓＴＶ：「時系列ハイパーメディアを用いたデータ放送方式とその実装」、情報処理学会論文誌 データベース、Ｖｏｌ．４０、Ｎｏ．ＳＩＧ５（ＴＯＤ２）．ｐｐ．９１−１０２（１９９９）。
▲２▼ 宮部義幸：「次世代ディジタルテレビの全貌〜放送・通信・コンピュータ業界の挑戦〜、日経ニューメディア別冊、ｐｐ．２２−３２（１９９７）。
▲３▼ 角谷和俊、他：「デジタル放送インタラクティブ・データ送出のためのカルーセル方式ＤＶＸとその応用、アドバンスト・データベース・シンポジウム‘９９（ＡＤＢＳ‘９７）、東京、ｐｐ．２３−３０（１９９７）。
【０００７】
このＩｐｌｕｓＴＶのシステムは、デジタルＣＳサービス「ＤＩＲＥＣＴＶ ＪＡＰＡＮ」において採用され、実際にサービスを行った実績がある。ＩｐｌｕｓＴＶでは、番組関連情報（ＰＲＩ：Ｐｒｏｇｒａｍ Ｒｅｌａｔｅｄ Ｉｎｆｏｒｍａｔｉｏｎ）をハイパーメディア形式で表す方式を考案実装し、評価している。１次データである番組本編と緩やかな同期をとりながら、放送帯域、再送出を人手で指定して２次データであるハイパーテキスト（番組関連情報）を送出している。具体的には、始めにデータ放送用ハイパーテキストを人手により生成して、さらに配信用にそのハイパーテキストを人手により時分割、論理分割し送出している。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の技術によれば、番組関連情報（ＰＲＩ）の放送帯域の時間的分割および論理的分割作業を人手で行っているため、生成に時間とコストがかかるという問題点があった。
【０００９】
特に、データ放送サービスの大幅な普及によって、番組関連情報（ＰＲＩ）を大量に生成する必要が発生した場合、番組関連情報の生成コストは大きな負担となる。また、リアルタイムで放送される本編番組に同期させて番組関連情報を放送することはできないという問題点もあった。
【００１０】
また、上記従来の技術によれば、あらかじめデータ放送用ハイパーテキスト（番組関連情報）を生成する必要があるため、換言すれば、配信する番組関連情報をあらかじめ生成しておく必要があるため、リアルタイムの放送で状況が瞬時に変化したり、予想外の状況が発生した場合には、必ずしも適切な番組関連情報を送出することができない、または状況の変化に柔軟に対応して番組関連情報を送出することができないという問題点があった。
【００１１】
本発明は上記に鑑みてなされたものであって、データ放送サービスにおける番組関連情報を短時間に低コストで生成でき、かつ、リアルタイム放送の状況変化にも柔軟に対応できる番組関連情報生成システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る番組関連生成システムは、放送サービスの中で本編の番組であるコンテンツと同期を取って配信する番組関連情報を生成する番組関連情報生成システムであって、前記コンテンツに対して当該コンテンツの構造および当該コンテンツ中に発生した事象を表すインデックス情報を付与して記憶する第１のデータベースと、前記番組関連情報を生成する生成トリガーとなる前記インデックス情報と、当該インデックス情報に関連付けられていて前記コンテンツのシーンを検索するための関数である生成関数とを対応付けて定義した生成ルールを記憶する第２のデータベースと、前記第１のデータベースに記憶されている前記コンテンツを配信する際に、当該コンテンツに付与されている前記インデックス情報から前記生成トリガーとなる前記インデックス情報を検出するトリガー検出手段と、前記トリガー検出手段により前記生成トリガーとなる前記インデックス情報を検出した場合に、前記生成トリガーとなる前記インデックス情報に対応付けられて前記第２のデータベースに記憶されている前記生成関数を用いて前記第１のデータベースに記憶されている前記コンテンツを検索して前記番組関連情報を生成する番組関連情報生成手段と、を備え、前記第２のデータベースは、前記番組関連情報生成手段で生成された前記番組関連情報を消滅させる消滅トリガーとなる前記インデックス情報も前記生成関数に対応付けて前記生成ルールとして記憶するものであって、前記トリガー検出手段は、前記コンテンツに付与されている前記インデックス情報から前記消滅トリガーとなる前記インデックス情報も検出し、前記番組関連情報生成手段は、前記トリガー検出手段により前記消滅トリガーとなる前記インデックス情報を検出した場合に、前記第２のデータベースで前記消滅トリガーとなる前記インデックス情報に対応付けられて記憶されている前記生成関数に従って生成された前記番組関連情報を消滅させる、ことを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の番組関連情報生成システムの実施の形態について、
〔本発明の概要〕
〔本発明の番組関連情報生成システムの提供する機能〕
〔本発明で使用する関連する技術〕
〔本実施の形態の番組関連情報生成システム〕
の順で図面を参照して説明する。
【００１８】
〔本発明の概要〕
まず、本発明の番組関連情報生成システムでは、放送される番組（コンテンツ）にインデックス情報（番組インデックス）が付与されていることを前提とし、放送サービスの中で本編の番組であるコンテンツと同期を取って配信する番組関連情報を生成する際に、インデックス情報を番組関連情報を生成するトリガー（生成トリガー）として利用するものである。
【００１９】
すなわち、あらかじめ特定のインデックス情報を生成トリガーとして定義しておき、本編の番組であるコンテンツを放送により配信する際に、コンテンツに付与されているインデックス情報中に生成トリガーがあるか否か判定し、コンテンツに生成トリガーとなるインデックス情報が付与されている場合に、該当するインデックス情報をトリガーとして番組関連情報を生成する。また、上記インデックス情報は、コンテンツ中に発生したイベント情報（事象情報）であり、番組関連情報の生成はイベント情報を生成トリガーとしたイベント駆動型であるものである。
【００２０】
図１は、本発明の番組関連情報生成システムのクレーム対応図を示し、テキストデータ、動画、静止画、グラフ、表などの番組関連情報の元となる各種データを記憶した第１のデータベース１０１と、番組関連情報の生成トリガーとなるインデックス情報と番組関連情報を生成するための生成関数とを対応付けて定義した生成ルールを複数記憶した第２のデータベース１０２と、コンテンツに付与されているインデックス情報を入力し、入力したインデックス情報の中から第２のデータベース１０２に生成トリガーとして記憶されているインデックス情報を検出するトリガー検出手段１０３と、トリガー検出手段１０３で生成トリガーが検出されると、該生成トリガーとなるインデックス情報と対応する生成関数に基づいて第１のデータベース１０１の各種データを参照して番組関連情報を生成する番組関連情報生成手段１０４と、から構成される。
【００２１】
なお、第１のデータベース１０１には、各種データと共に、あらかじめ生成された番組関連情報１０１ａが記憶されており、生成関数によって第１のデータベース１０１に記憶されている番組関連情報１０１ａを直接指定することが可能である。このように生成関数によって番組関連情報１０１ａが直接指定されている場合、番組関連情報生成手段１０４は、該当する番組関連情報１０１ａを生成した番組関連情報として出力する。
【００２２】
第１のデータベースには、各種データと共に、あらかじめ生成された番組関連情報が記憶されており、生成関数によって第１のデータベースに記憶されている番組関連情報を直接指定することが可能であり、番組関連情報生成手段は、生成関数によって番組関連情報が直接指定されている場合、該当する番組関連情報を生成した番組関連情報として使用するため、人手によってあらかじめ生成した番組関連情報の利用も含めて、番組関連情報の生成を自動化することができる。
【００２３】
この番組関連情報１０１ａは、あらかじめ人手によって生成された番組関連情報であり、必要に応じて使用することを前提に第１のデータベース１０１に蓄積されている。この番組関連情報１０１ａは、放送したいときに第１のデータベース１０１を検索して取り出すことにより、容易に利用できる。例えば、野球選手の成績データやプロフィールデータなどは、あらかじめ人手で入力（生成）しておく。また、講演などの難しい用語が頻繁に出てくる番組の場合、その用語解説データをあらかじめ登録して、第１のデータベース１０１を用語解説データベースとして使用することができる。
【００２４】
この番組関連情報１０１ａに対して、番組関連情報生成手段１０４が第１のデータベース１０１の各種データを参照して生成する番組関連情報は、自動的に生成する番組関連情報と呼ぶことができる。例えば、インデックス情報を基に、生成関数で求められるシーンの検索を行い、その結果（ダイジェスト映像）を番組関連情報として生成する場合が挙げられる。具体的には、野球番組で松井選手がＨＲ（ホームラン）を打ったとき、この松井のホームランを示すインデックス情報に基づいて、生成関数によって最近の数試合で松井がＨＲを打ったシーンを検索し、ＨＲシーン集を生成して番組関連情報とする。視聴者は、松井のＨＲフォームの比較などを行い、その番組関連情報を楽しむことができる。また、投手が三振をとったとき、その試合の今までの三振集ダイジェストなども生成が望まれる。これらの番組関連情報は、インデックス情報に基づいて生成関数で定義されたシーン検索を行うことで自動化できる。
【００２５】
第２のデータベース１０２に記憶されている生成ルールには、生成トリガーとなるインデックス情報が同一で生成関数の異なる複数の生成ルールも存在している。このため、番組関連情報生成手段は、１つの生成トリガーとなるインデックス情報に対して複数の生成ルールが存在する場合、該当する複数の生成ルールのそれぞれの生成関数を用いて番組関連情報を生成する。換言すれば、１つのインデックス情報（生成トリガー）から複数の番組関連情報が生成される場合がある。
【００２６】
生成ルールには、生成トリガーとなるインデックス情報が同一で生成関数の異なる複数の生成ルールが存在し、番組関連情報生成手段は、１つの生成トリガーとなるインデックス情報に対して複数の生成ルールが存在する場合、該当する複数の生成ルールのそれぞれの生成関数を用いて番組関連情報を生成するため、１つの生成トリガーで異なる複数の番組関連情報を生成することできる。また、これらを放送することで、視聴者は、複数の番組関連情報から選択する自由度が広がる。
【００２７】
また、生成ルールは、生成トリガーとなるインデックス情報および生成関数に加えて、該当する生成関数で生成した番組関連情報の配信または一次保管を停止する消滅トリガーとなるインデックス情報と、該当する生成ルールを定義したルール定義者によって想定された当該番組関連情報に対する利用者の要求度と、が定義されている。これにより、番組関連情報を短時間に低コストで生成でき、かつ、リアルタイム放送の状況変化にも柔軟に対応できることに加えて、さらに、番組関連情報の配信の優先順位や、スケジューリングの機能を適用可能となる。
【００２８】
次に、図２を参照して、上記生成トリガー、消滅トリガーおよび生成される番組関連情報の関係を概念的に説明する。図において、ａ〜ｄは番組（コンテンツ）に付与されたインデックス情報を示す。また、生成ルールとして、次の８つの生成ルールが定義されているとする。
生成ルールＡ１：インデックス情報ａ（生成トリガー）
生成関数Ａ１
インデックス情報ｃ（消滅トリガー）
生成ルールＡ２：インデックス情報ａ（生成トリガー）
生成関数Ａ２
インデックス情報ｃ（消滅トリガー）
同様に生成ルールＡ３〜Ａ５（インデックス情報ａ、生成関数Ａ３〜Ａ５、インデックス情報ｃ）
生成ルールＢ１：インデックス情報ｂ（生成トリガー）
生成関数Ｂ１
インデックス情報ｄ（消滅トリガー）
生成ルールＢ２：インデックス情報ｂ（生成トリガー）
生成関数Ｂ２
インデックス情報ｄ（消滅トリガー）
生成ルールＢ３：インデックス情報ｂ（生成トリガー）
生成関数Ｂ３
インデックス情報ｄ（消滅トリガー）
【００２９】
まず、番組（コンテンツ）からインデックス情報ａが検出されたとする。
【００３０】
上記の８つの生成ルールのうち、インデックス情報ａを生成トリガーとするのは、生成ルールＡ１〜Ａ５である。したがって、インデックス情報ａが検出された時点で、生成ルールＡ１〜Ａ５が発火（起動）して、それぞれ生成関数Ａ１〜Ａ５に基づいて番組関連情報を生成する。この５つの番組関連情報を、インデックス情報ａを生成トリガーとする番組関連情報として図２に示す。
【００３１】
次に、番組（コンテンツ）からインデックス情報ｂが検出されたとする。
【００３２】
上記の８つの生成ルールのうち、インデックス情報ｂを生成トリガーとするのは、生成ルールＢ１〜Ｂ３である。したがって、インデックス情報ｂが検出された時点で、生成ルールＢ１〜Ｂ３が発火（起動）して、それぞれ生成関数Ｂ１〜Ｂ３に基づいて番組関連情報を生成する。この３つの番組関連情報を、インデックス情報ｂを生成トリガーとする番組関連情報として図２に示す。
【００３３】
その後、幾つかのインデックス情報（図示せず）が検出された後、インデックス情報ｃが検出されたとする。このインデックス情報ｃは、消滅トリガーとして生成ルールＡ１〜Ａ５に定義されている。インデックス情報ｃが検出された時点で、生成ルールＡ１〜Ａ５によって生成した５つの番組関連情報の配信を停止する。このようにインデックス情報ａ（生成トリガー）からインデックス情報ｃ（消滅トリガー）の間が生成ルールＡ１〜Ａ５で生成された番組関連情報の有効期間となる。この有効期間の間、番組関連情報を繰り返し配信する。また、番組関連情報を受信した受信機側では、この有効期間の間、番組関連情報を記憶装置に一時保管する。
【００３４】
同様に、インデックス情報ｄが検出されたとする。このインデックス情報ｄは、消滅トリガーとして生成ルールＢ１〜Ｂ３に定義されている。インデックス情報ｄが検出された時点で、生成ルールＢ１〜Ｂ３によって生成した３つの番組関連情報の配信を停止する。このようにインデックス情報ｃ（生成トリガー）からインデックス情報ｄ（消滅トリガー）の間が生成ルールＢ１〜Ｂ３で生成された番組関連情報の有効期間となる。
【００３５】
〔本発明の番組関連情報生成システムの提供する機能〕
データ放送サービスにおいて、視聴者はＴＶ受信機上で必要に応じてリモコンボタン操作を行うことで番組関連情報を表示し、対話的に番組を使用することができる。このような番組関連サービスを実用化するためには、番組関連情報を効率良く生成することが必要である。この番組関連情報を効率良く生成する際の課題としては、以下の２つが挙げられる。
▲１▼ 本編番組（コンテンツ）と同期を取る方法：多くの番組関連情報はコンテンツと同期と取って送出される必要がある。通常は、数秒以内の許容範囲をもつ緩やかな同期で十分である。ただし、オーサリングシステム等ではＭＰＥＧ２のフレーム単位で厳格な同期をとる必要がある場合もある。
▲２▼ 受信機のバッファ管理の方法：デジタル放送では蓄積型視聴を前提としている。ところが、ＴＶ受信機のバッファ容量には限りがあるので、効率良く利用するためにはバッファ管理が必要である。
【００３６】
本発明の番組関連情報生成システムでは、上記の課題を解決し、データ放送サービスにおける番組関連情報を短時間に低コストで生成でき、かつ、リアルタイム放送の状況変化にも柔軟に対応できるようにするために、以下の（Ａ）、（Ｂ）の機能を提供する。
【００３７】
（Ａ）番組関連情報の自動生成機能
番組（コンテンツ）と同期する番組関連情報をイベント駆動型で自動的に生成することにより、番組に同期した番組関連情報（ＰＲＩ）を自動的かつ低コストで生成する。これにより、▲１▼の課題である本編番組との同期を解決し、番組関連情報の生成コストの低減化が可能となる。また、インデックス情報が、コンテンツ中に発生したイベント情報であり、番組関連情報の生成はイベント情報を生成トリガーとしたイベント駆動型であるため、コンテンツ中に発生したイベントに、さらに柔軟に、かつ、リアルタイムで対応できる。
【００３８】
（Ｂ）番組関連情報の自動消滅制御機能
番組関連情報に消滅期限を設定する。この消滅期限を利用することにより、消滅期限が過ぎると各番組関連情報を受信機上で自動的に削除することができる。換言すれば、受信機における各番組関連情報の蓄積の管理が可能となり、バッファ容量の効率的な利用ができる。これにより、▲２▼の課題である受信機のバッファ管理の問題を解決できる。
【００３９】
〔本発明で使用する関連する技術〕
前述したように本発明では、放送される番組（コンテンツ）に番組インデックス（インデックス情報）が付与されていることを前提とする。インデックス情報とは番組表の情報だけでなく、番組の構造やシーン間の関連など、様々な番組情報記述を可能とした放送メタデータ記述方式であり、番組の映像シーンのシナリオ記述や番組映像中に発生したイベント情報のマーキングなどが可能である。
【００４０】
番組インデックスの応用例としては、蓄積した番組から重要部分を素早く検索して視聴するダイジェスト視聴や、複数の番組を予約する用例等が知られている。本出願人もまた、この番組インデックス（インデックス情報）を用いた関連する技術として、番組インデックスによるダイジェスト作成システムの研究を行っており、番組インデックスにより記述された基本的なイベント情報を基に、視聴者の嗜好を反映したダイジェスト映像を作成するシステムを開発している。
【００４１】
この本出願人によって開発された以下の技術を本発明の番組関連情報生成システムに応用する。
（１）橋本隆子、白田由香利、他：「映像情報に対する抽象度の高い用語による検索手法」、アドバンスト・データベース・シンポジウム‘９７（ＡＤＢＤ‘９７）、東京、ｐｐ．２３−３０（１９９７）。
（２）橋本隆子、白田由香利、他：「ＴＶ受信端末におけるダイジェスト視聴システム」、情報処理学会論文誌：データベース，Ｖｏｌ．４１，ＮｏＳＩＧ３（ＴＯＤ６），ｐｐ．７１−８４（２０００）。
【００４２】
上記（１）の技術を利用した番組関連情報生成システムについて説明する。
【００４３】
まず、前提として、番組関連情報生成者は、あらかじめ「このようなイベント列が起こった場合、このような関数を用いて番組関連情報を生成せよ」というイメージを持っており、そのイメージを番組関連情報を生成する生成ルールとして定義するものとする。この生成ルールを「番組関連情報生成ルール（Ｐｒｏｇｒａｍ Ｒｅｌａｔｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｇｅｎｅｒａｔｉｏｎ Ｒｕｌｅ）」と呼び、以下「ＰＲＩ生成ルール」と記述する。
【００４４】
ＰＲＩ生成ルールを起動するためのイベント記述の際、基本的なイベント情報だけでは記述能力が十分とは言えない。例えば、コンテンツが野球番組の場合、単なるヒットイベントだけでは、どのような状況で打ったヒットなのかというコンテクスト表現が不十分であるので、「逆転である」、「２打席連続ヒットである」などの記述ができるようにしたい。
【００４５】
上記のようなより詳細な状況が分かるイベント記述のために、上記（１）の技術を用いて「抽象度の高い用語によるイベント記述（以下、抽象イベントと呼ぶ）」ができる仕組みを実現する。このイベント記述では、イベント列の正規表現によって複合的な抽象度の高い用語の定義を行う。その際、イベント列の検索範囲として映像シーンを規定することで、その検索効率を高めている。
【００４６】
ここで、「抽象度の高い用語によるイベント記述」について具体的に説明する。対象となる番組（コンテンツ）は、構造化された映像であり、この構造化された映像にはインデックス情報として、映像を意味的な纏まりで分割するための構造インデックスと、映像中で発生した事象の内容および場所を特定するための事象インデックス（イベント情報に相当する）が付与されている。
【００４７】
図３および図４は、構造インデックスと事象インデックスとの関係を示す説明図である。図３において、例えば、構造１の構造インデックスで示される区間の映像データ（映像シーン）が１つの映像全体を表すものとした場合、この映像は、構造１の下位に構造２−ａ、構造２−ｂ、構造２−ｃ…等の複数の構造インデックスを有している。ここで、構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間は、構造１で示される映像全体を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である映像全体の区間と一致する。
【００４８】
また、構造２−ａの下位には、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の複数の構造インデックスが設けられている。同様に、構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間は、構造２−ａで示される区間を分割した区間であり、かつ、これらの分割された区間を全て繋げると上位の区間である構造２−ａの区間と一致する。
【００４９】
なお、最上位の構造１の構造インデックスで示される区間が、映像全体を示す構造単位となり、次の構造２−ａ、構造２−ｂ、構造２−ｃ…等の各構造インデックスで示される区間が、構造２レベルの構造単位となり、さらに下位の構造３−ａａ、構造３−ａｂ、構造３−ａｃ…等の各構造インデックスで示される区間が、構造３レベルの構造単位となる。
【００５０】
このように映像（構造１）は、構造インデックスで分割された区間の映像シーンを映像の構造単位とし、かつ、複数の階層化した構造単位を用いて構造化されている。
【００５１】
上記映像の構造を表す構造インデックスに対して、事象インデックスは、映像上で起こった事象を表すものである。前述したように構造インデックスが映像の論理的な区間を示すのに対して、事象インデックス（イベント情報）は基本的に区間を持たないインデックスである。この事象インデックスは、基本的には、映像中で事象が発生した場所にその事象の内容を示す情報として付与される。例えば、図４のように、映像の流れ（時系軸での変化）において事象の発生した時に事象インデックス３ａａ−１〜３ａａ−４のように付与しても良いし、図３のように、事象の発生した構造インデックス３ａａに事象インデックス３ａａ−１〜３ａａ−４を付与しても良い。
【００５２】
次に、抽象度の高い意味（用語）を用いてイベントを記述する場合の重要な要素である状態遷移テーブルの構造について詳細に説明する。抽象度の高い意味（用語）を用いて所望の映像シーンを検索するために、その用語を表現する状態遷移パターンを映像の構造情報（構造インデックスおよび事象インデックス）を利用して定義しておく。
【００５３】
状態遷移テーブルは、図５に示すように、以下の（３−１）〜（３−４）を対応させて設定したものである。
（３−１）用語：
抽象度の高い検索用語であり、該当する映像シーンの意味を表す文字列として設定したものである。抽象度の高い用語（検索用語）とは、事象インデックスとして使用される断片的な意味の用語が映像上の１つの事象と対応付けることができるのに対して、映像上の１つの事象のみに対応させることはできず、複数の事象の組み合わせによって表現可能な用語である。換言すれば、抽象度の高い用語（検索用語）は、ある区間の複数の事象の発生が明らかになって初めて意味が成立するものである。
（３−２）検索粒度：
映像を検索する際の検索対象単位として適当な構造単位を設定したものである。すなわち、用語（上記（３−１））の意味が成立する最小の構造単位を検索粒度として設定することにより、検索対象単位を狭い範囲に絞って効率的に検索できるようにするものである。
（３−３）状態遷移パターン：
用語（上記（３−１））を表現する事象の発生パターンに基づいて、検索粒度（上記（３−２））の中で連続して発生する複数の事象インデックスの入力列として用語（上記（３−１））に対応した事象リストを定義したものである。
（３−４）キーインデックス：
状態遷移パターン（上記（３−３））中に存在する事象インデックスのうち、少なくとも１つの事象インデックスを検索の取り掛かりとなるキー（中心事象）として指定したものである。
【００５４】
すなわち、状態遷移テーブルは、映像内容の意味定義を、ある構造上の論理単位（検索粒度）における事象インデックスのリストと、内容の意味を表す文字列と、検索を効率的に行うためのキーインデックスとの組として表現し、作成したものである。この状態遷移テーブル上の状態遷移パターンを、インデックスにより構造化された映像に対して、発見（パース）していくことが検索となる。
【００５５】
図５を参照して、さらに説明すると、意味を表す文字列『××××・・×』に対して、先ず、その用語を複数の事象の入力列で表現して事象リスト『事象１、事象２、事象３』を設定する。この事象リストは、図６に示すように、状態Ａにおいて事象１が発生し、次に事象２が発生し、次に事象３が発生し、状態Ｂに移ることを示している。
【００５６】
用語に対する事象リストが作成されると、この事象リストに存在する事象１〜３の中で最も用語を象徴的に表している事象または用語を特定するのに相応しい事象をキーインデックスに指定する。ここでは事象１がキーインデックスとして指定されている。続いて、構造化された映像の構造単位において、事象リストに存在する事象１〜３が用語の意味する内容として発生可能な最小の構造単位を検索粒度として選択し、設定する。ここでは粒度１として記述する。
【００５７】
同様に、意味を表す文字列『００００・・０』に対して、先ず、その用語を複数の事象の入力列で表現して事象リスト『事象１、事象２、事象４』を設定する。この事象リストは、図６に示すように、状態Ａにおいて事象１が発生し、次に事象２が発生し、次に事象４が発生し、状態Ｃに移ることを示している。
【００５８】
用語に対する事象リストが作成されると、この事象リストに存在する事象１、２、４の中で最も用語を象徴的に表している事象または用語を特定するのに相応しい事象をキーインデックスに指定する。ここでは事象４がキーインデックスとして指定されている。続いて、構造化された映像の構造単位において、事象リストに存在する事象１、２、４が用語の意味する内容として発生可能な最小の構造単位を検索粒度として選択し、設定する。ここでは粒度２として記述する。
【００５９】
なお、図５に示すように、異なる用語に対して検索粒度として設定された粒度１と粒度２が同一の構造単位であることもあり得る。検索粒度は用語毎に最適なものを選択すれば良く、検索粒度に同一の構造単位が多数存在していてもかまわない。
【００６０】
状態遷移テーブルを利用して用語の意味する映像内容を検索する場合、例えば、用語に対応した検索粒度の構造単位に絞り込んで検索をすることで検索効率の向上を図ることができる。さらに、キーインデックスを用いて該当する事象をパースした後、指定された検索粒度の構造単位で、事象リストが成り立つか判定することで、高速かつ効率的な検索を行うことができる。
【００６１】
本発明の番組関連情報生成システムでは、上記（１）の技術を応用して、「逆転」、「逆転ホームラン」のような抽象度の高い用語により表現される抽象イベントを生成トリガーとして使用することとする。
【００６２】
例えば、野球番組の場合、事象の経過によって「２ランホームラン」、「逆転」、「逆転２ランホームラン」などの抽象イベント（インデックス情報）が生成される。生成トリガー「逆転ホームラン」には、抽象イベント「逆転ソロホームラン」、「逆転２ランホームラン」、「逆転３ランホームラン」、「逆転満塁ホームラン」などが属することになる。
【００６３】
生成ルールは、この生成トリガーのタイプごとに定義される。各生成トリガーのタイプによって、生成される番組関連情報の重要度は異なるため、生成ルールには、重要度を算出する定義も記述しておく。
【００６４】
例えば、生成トリガー「逆転」よりも、生成トリガー「逆転ホームラン」によって生成される番組関連情報のほうが重要度が高くなる、いったことを生成ルールに記述することもできる。
【００６５】
ここで、抽象イベントを用いた生成ルールの例を概念的に説明する。
・生成トリガー「逆転」に対して「今シーズンのこれまでの試合における該当チームの逆転シーンを検索し、番組関連情報を生成する」というルールを定義しておく。抽象イベント「逆転」が発生すると、これまでの試合における逆転シーンが番組関連情報として自動的に生成される。
・生成トリガー「連続ヒット」に対して「直前の打席のヒットシーンを検索して、番組関連情報として生成する」という生成ルールを定義しておく。抽象イベント「２打席連続ヒット」が発生した場合は、直前のヒットシーンが自動的に番組関連情報として生成される。
【００６６】
次に、上記（２）の「ＴＶ受信端末におけるダイジェスト視聴システム」で開示されている「映像シーンの重要度を計算する手法」の技術を本発明の番組関連情報生成システムに利用する方法について説明する。
【００６７】
番組関連情報の送出には、前述した▲２▼で述べた受信機のバッファ管理の課題がある。これを解決するアルゴリズムを考えるに当たっては、生成した各番組関連情報の重要度レベルを知る必要がある。このため、上記（２）で本出願人によって開発されたダイジェスト作成システムの重要度判定の仕組みを利用するものとする。
【００６８】
ダイジェスト作成システムでは、あらかじめ番組に依存した「シーン特徴量」を定義しておく。ダイジェスト作成プロセスが起動されると、システムは先頭からイベント記述を解析し、特徴量の計算をする。特徴量は一般に複数種類存在するので、それらの特徴量値に重みをかけて加算し、「シーン重要度」を算出する。本発明の番組関連情報生成システムでは、このダイジェスト作成システムの計算した「シーン特徴量」、「シーン重要度」を以下のように利用し、各番組関連情報の重要度レベル（重要度値）を求める。
・生成ルールの生成トリガーの発火条件として、「シーン特徴量」に関する条件を記述する。例えば、特徴量Ａの値がいくつ以上の時にのみ発火せよ、という指定である。その際、シーン特徴量を基に番組関連情報の重要度値を算出するルールも生成ルールに記述できるようにする。
・放送のある一時点では、放送候補となる番組関連情報は複数種類存在する。その理由としては、一度生成された番組関連情報はそのデータの有効期間中はデータカルーセル方式で繰り返し放送されるからである。そこで、データカルーセル方式における再送出の際、「シーン重要度」を基に各番組関連情報の重要度を算出し、重要度の値が高い番組関連情報を優先して放送するようにスケジューリングする。また、視聴者のＴＶ受信機のバッファ管理においては、この番組関連情報の重要度の低いものから廃棄していく。
【００６９】
〔本実施の形態の番組関連情報生成システム〕
次に、本発明の番組関連情報生成システムの一実施の形態について、具体的に説明する。図７は、本実施の形態の番組関連情報生成システムを組み込んだデータ放送サービス・システムの概略構成図を示す。
【００７０】
データ放送サービス・システム７００は、番組（コンテンツ）と共に、該番組に同期させて番組関連情報を生成して放送により配信する放送局サイト７０１と、放送局サイト７０１から放送された番組および番組関連情報を受信する複数の受信機サイト７０２と、から構成される。なお、７０３はＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）を示す。
【００７１】
放送局サイト７０１では、番組インデックス付加システム７０４、ダイジェスト作成システム７０５、番組関連情報生成システムである番組関連情報作成システム７０６および番組関連情報スケジューリングシステム７０７のサブシステムが稼働する。
【００７２】
ダイジェスト作成システム７０５は、元来、パーソナルなダイジェストを作成するために家庭のＴＶ受信機（受信機サイト７０２）上で稼働するシステムであるが、本実施の形態では番組関連情報のために放送局サイト７０１で利用する。放送局サイト７０１でのダイジェスト作成システム７０５の利用方法には、次の２種類がある。
【００７３】
第１に、番組インデックス（インデックス情報）を解析して、対象となる生成トリガーが発生した時、生成ルールを発火する。
【００７４】
第２に、生成ルールの指示により、番組関連情報の一つとしてダイジェスト映像を作成する。
【００７５】
ダイジェスト作成システム７０５は、上記第１の役割を果たすために常に番組に付加された番組インデックス（インデックス情報）を監視しており、図１で示した本発明のトリガー検出手段１０３の機能を果たしている。また、上記第２の役割は、番組関連情報作成システム７０６からのダイジェスト作成依頼の関数呼び出しにより、ダイジェスト作成システム７０５でダイジェスト映像を作成し、ダイジェストを返すことである。
【００７６】
次に、放送局サイト７０１で稼働するサブシステムについて説明する。放送局サイト７０１では、まず、番組インデックス付加処理が行われ、次にダイジェスト作成システム７０５が解析を行い、その結果をトリガーメッセージ（生成トリガー）として番組関連情報作成システム７０６に渡す。番組インデックス付加処理は予め行われる場合と、リアルタイムに付加される場合の２通りあるが、いずれの場合でも番組インデックスの解析を行い、生成トリガーと一致する番組インデックスを検出した場合に、番組関連情報作成システム７０６へ通知する。
【００７７】
ダイジェスト作成システム７０５から番組関連情報作成システム７０６へ入力されるデータは、番組インデックスのデータのみで映像データは含まない。これは、番組インデックスを解析して生成ルールを発火する処理においては、映像を必要としないからである。なお、番組インデックスには、関連する映像データを示す情報が含まれているので、それにより後から番組映像と関連付けることが可能である。
【００７８】
ダイジェスト作成システム７０５と番組関連情報作成システム７０６は、次の３種類のデータを参照している。
・番組インデックスのスキーマ情報
・番組関連情報の生成ルール
・コンテクスト、シーン特徴量およびシーン重要度
【００７９】
次に、図８を参照して、本実施の形態で使用するトリガーメッセージ（生成トリガー）について説明する。ダイジェスト作成システム７０５は、流れてくる番組インデックスの列をリアルタイムに解析し、番組関連情報の生成トリガーとなるものがないかチェックする。ダイジェスト作成システム７０５は該当する番組インデックスを発見すると、シーンの特徴量およびその時点での状況を示すコンテクストデータを計算する。ダイジェスト作成システム７０５はそれらを図８に示すトリガーメッセージとし、番組関連情報作成システム７０６に渡す。
【００８０】
図８の生成トリガーにおける「トリガータイプ」には、例えば、「逆転」、「逆転ホームラン」などのトリガーのタイプを記述する。「イベント」には、番組上で実際に発生したホームラン、ヒットなどのイベント情報を記述する。このイベント情報には、ダイジェスト作成システム７０５により自動生成される抽象イベントも含まれる。また、各イベントは、その属性値を持っており、例えば、ホームランイベントの属性は、打者名、投手名などである。
【００８１】
「特徴量リスト」は、該当イベントを含むシーンにおいて算出されるシーン特徴量（通常は複数存在する）に関して、その種類と該当イベント発生時点における値をリストで示すものである。
【００８２】
「コンテクストデータリスト」は、該当イベントの発生時の各種コンテクストデータを表す。例えば、野球番組ならば、イニング数、攻撃チーム名、スコアなどである。
【００８３】
次に、図９を参照して、本実施の形態で使用する番組関連情報の生成ルールについて説明する。ダイジェスト作成システム７０５からトリガーメッセージ（生成トリガー）が発行されると、番組関連情報作成システム７０６は該当する生成トリガーに対して定義されている生成ルールに基づき、番組関連情報を生成する。この生成ルールは放送局サイト７０１の番組製作者があらかじめ作成し、図示しない生成ルールのＤＢ（図１の第２のデータベース１０２に相当する）に登録しておく。
【００８４】
図９における「トリガータイプ」の指定により、どのタイプの生成トリガーが発行されたときに発火する生成ルールであるかが規定されている。
【００８５】
また、「ＰＲＩ生成関数」とは、生成ルールの発火時に番組関連情報の生成のために呼び出される関数を示す。実際にこの生成ルールが発火した場合、トリガーメッセージにおけるイベントの属性やコンテクストデータがＰＲＩ生成関数の引数として使用される。
【００８６】
また、ＰＲＩ生成関数では、以下のような“＠”で始まる参照変数を使ってイベント属性およびコンテクストデータの参照を記述することができる。
・イベント属性：イベントタイプと、その属性の間を“．”で区切って記述する。例えば、“＠打席開始．打者名”。
・コンテクストデータ：そのまま記載する。例えば、“＠攻撃チーム名”。
【００８７】
「消滅トリガータイプ」とは、番組関連情報の有効期限の終了となるトリガーのタイプを記載する。生成された番組関連情報は、生成された時点から消滅トリガーが発行されるまでの一時的な保管用ＤＢ（図示せず）に保管される。消滅トリガーもまた、ダイジェスト作成システム７０５で番組インデックスのチェックの際にチェックしており、該当する番組インデックスが来ると、対象となる番組関連情報を保管用ＤＢから削除する。
【００８８】
生成ルール中の「重要度値算出定義」とは、その番組関連情報に対する重要度値を算出ための式などの指定を示す。重要度値は、複数の番組関連情報から次に放送する番組関連情報を選択するスケジューリングの際に参照される。
【００８９】
ここで、放送局サイト７０１における番組関連情報作成システム７０６の番組関連情報の生成処理について説明する。放送局サイト７０１の番組関連情報作成システム７０６は、ダイジェスト作成システム７０５から該当する生成トリガーが送られてくると、以下の作業を行う。
・該当するトリガー（番組インデックス）が生成トリガーの生成ルールに基づいて、番組関連情報を生成する。
・該当するトリガー（番組インデックス）が消滅トリガーとなっている番組関連情報を放送局サイト７０１の保管用ＤＢから消去し、クライアント（受信機サイト７０２）に対しても該当する番組関連情報を消去するメッセージを送出する。
・視聴者側で用いる番組関連情報用のメニューボタンを作成して放送する。
・次のトリガー（番組インデックス）が来るまで、現在保有している番組関連情報の中からスケジューリングによって適切な番組関連情報（例えば、重要度の高い番組関連情報）を選択して放送する。
【００９０】
次に、図１０を参照して、野球番組放送に対してリアルタイムに番組関連情報を生成する場合を例として、具体的な番組関連情報の生成イメージを説明する。図１０（ａ）は、放送局サイト７０１側の画面例を示し、図１０（ｂ）はクライアント（受信機サイト７０２）側の画面例を示している。
【００９１】
同図（ａ）の画面のボタン列１００１が放送局サイト７０１から送出される番組関連情報を示している。また、同図（ｂ）の右側のボタン列１００２は、放送局サイト７０１から送出され、現在クライアント側でリモコン操作可能な番組関連情報の集合を表している。
【００９２】
この画面例では、視聴者が「ダイジェストシーン」を選択した様子を示しており、ダイジェストとして、３つのシーンが抽出されていることが、同図（ｂ）の画面左側の番組関連情報ウェインドウ１００３により分かる。視聴者がそのうちの一つのダイジェストシーンを選択すると、小さなウィンドウで再生する仕様になっている。
【００９３】
前述したように本実施の形態によれば、番組インデックスを利用したイベント駆動型の番組関連情報生成システムを提供することができ、データ放送サービスにおける番組関連情報を短時間に低コストで生成でき、かつ、リアルタイム放送の状況変化にも柔軟に対応できるという効果を奏することができる。具体的には、従来手作業で行われていた番組関連情報の生成を自動的に行うことができ、番組関連情報の生成の効率化および受信機バッファ利用の効率化を図ることができる。
【００９４】
【発明の効果】
以上説明したように、本発明の番組関連情報生成システム（請求項１）は、放送サービスの中で本編の番組であって第１のデータベースに記憶されているコンテンツを配信する際に、当該コンテンツに付与されているコンテンツの構造およびコンテンツ中に発生した事象を表すインデックス情報から生成トリガーとなるインデックス情報を検出し、生成トリガーとなるインデックス情報に対して第２のデータベースで関連付けられている生成関数で求められるコンテンツのシーンを検索し、コンテンツと同期を取って配信する番組関連情報を生成することにより、インデックス情報を基に、生成関数で求められるシーンの検索を行い、その検索結果を番組関連情報として生成することができることにより、配信する番組関連情報をあらかじめ生成しておく必要がないので、データ放送サービスにおける番組関連情報を短時間に低コストで生成することができ、かつ、リアルタイムの放送で状況が瞬時に変化したり、予想外の状況が発生したりした場合にも柔軟に対応して番組情報を生成することができる、という効果を奏する。また、本発明の番組関連情報生成システムは、受信機における各番組関連情報の蓄積の管理が可能となり、バッファ容量の効率的な利用ができることにより、受信機のバッファ管理の問題を解決できる。
【図面の簡単な説明】
【図１】 本発明の番組関連情報生成システムのクレーム対応図である。
【図２】 本発明の生成トリガー、消滅トリガーおよび生成される番組関連情報の関係を概略的に示す概念図である。
【図３】 構造インデックスと事象インデックスとの関係を示す説明図である。
【図４】 構造インデックスと事象インデックスとの関係を示す説明図である。
【図５】 抽象度の高い用語によるイベント記述を説明するための状態遷移テーブルを示す説明図である。
【図６】 抽象度の高い用語によるイベント記述を説明するための状態遷移テーブルを示す説明図である。
【図７】 本実施の形態の番組関連情報生成システムを組み込んだデータ放送サービス・システムの概略構成図である。
【図８】 本実施の形態で使用するトリガーメッセージ（生成トリガー）の例を示す説明図である。
【図９】 本実施の形態で使用する番組関連情報の生成ルールの例を示す説明図である。
【図１０】 野球番組放送に対してリアルタイムに番組関連情報を生成する場合を例とした画面例を示す説明図である。
【符号の説明】
１０１ 第１のデータベース
１０２ 第２のデータベース
１０３ トリガー検出手段
１０４ 番組関連情報生成手段
７００ データ放送サービス・システム
７０１ 放送局サイト
７０２ 受信機サイト
７０３ ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）
７０４ 番組インデックス付加システム
７０５ ダイジェスト作成システム
７０６ 番組関連情報生成システム
７０７ 番組関連情報スケジューリングシステム

Claims (1)

1. 放送サービスの中で本編の番組であるコンテンツと同期を取って配信する番組関連情報を生成する番組関連情報生成システムであって、
   前記コンテンツに対して当該コンテンツの構造および当該コンテンツ中に発生した事象を表すインデックス情報を付与して記憶する第１のデータベースと、
   前記番組関連情報を生成する生成トリガーとなる前記インデックス情報と、当該インデックス情報に関連付けられていて前記コンテンツのシーンを検索するための関数である生成関数とを対応付けて定義した生成ルールを記憶する第２のデータベースと、
   前記第１のデータベースに記憶されている前記コンテンツを配信する際に、当該コンテンツに付与されている前記インデックス情報から前記生成トリガーとなる前記インデックス情報を検出するトリガー検出手段と、
   前記トリガー検出手段により前記生成トリガーとなる前記インデックス情報を検出した場合に、前記生成トリガーとなる前記インデックス情報に対応付けられて前記第２のデータベースに記憶されている前記生成関数を用いて前記第１のデータベースに記憶されている前記コンテンツを検索して前記番組関連情報を生成する番組関連情報生成手段と、
   を備え、
   前記第２のデータベースは、前記番組関連情報生成手段で生成された前記番組関連情報を消滅させる消滅トリガーとなる前記インデックス情報も前記生成関数に対応付けて前記生成ルールとして記憶するものであって、
   前記トリガー検出手段は、前記コンテンツに付与されている前記インデックス情報から前記消滅トリガーとなる前記インデックス情報も検出し、
   前記番組関連情報生成手段は、前記トリガー検出手段により前記消滅トリガーとなる前記インデックス情報を検出した場合に、前記第２のデータベースで前記消滅トリガーとなる前記インデックス情報に対応付けられて記憶されている前記生成関数に従って生成された前記番組関連情報を消滅させる、
   ことを特徴とする番組関連情報生成システム。

Images