JP5367499B2 - シーン検索装置及びプログラム - Google Patents

Description

本発明は、映像に含まれるシーンに対応した他の映像のシーンを検索して提示するシーン検索装置及びプログラムに関する。

スポーツニュースなどでは、試合のダイジェスト映像を放送することが一般的である。このダイジェスト映像に含まれる試合の各ハイライトシーンは極めて短時間であるため、ハイライトシーンの前後のシーンまでを含めて試合映像を詳しく視聴したいという視聴者の要望があった。このような場合、視聴者は、個人的に録画しておいた該当試合の放送番組における該当シーンを、早送りなどの操作を繰り返し行いながら探したり、該当試合に出場したチームのウェブサイト等においてストリーミング配信されている試合動画の中から該当シーンの映像を探したりしていた。

一方、特許文献１には、映像のフレーム画像から特徴量を抽出し、別のフレーム画像の特徴量との比較照合を行なうことによって類似シーンを検索する技術が開示されている。

特開２００３−２２４７９１号公報

ダイジェスト映像が本編の試合映像を利用して編集されている場合、特許文献１の技術を用いることにより、本編の試合映像からダイジェスト映像に含まれるハイライトシーンと同じ映像を検索することができるため、視聴者はハイライトシーンの前後のシーンを探すために自身で上述した煩雑な作業を行う必要がなくなると考えられる。しかし実際には、スポーツニュースのダイジェスト映像は、必ずしも本編の試合映像に含まれる映像を使用したものではなく、制作会社が本編の試合映像とは別に収録した映像から選ばれて使用されていることも多い。このような場合、類似シーンを正しく検索できないため、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像中のシーンを高精度に得られない可能性がある。

本発明は、このような事情を考慮してなされたもので、その目的は、スポーツのダイジェスト映像に含まれるハイライトシーンに対応した試合本編映像のシーンを検索し、ユーザに提示することができるシーン検索装置及びプログラムを提供することにある。

［１］ 本発明の一態様は、試合映像に関する文を含む言語情報データを受信する言語情報受信部と、前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部と、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれるキーワードと、当該キーワードに対応するシーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた前記試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部と、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部と、前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部と、を備えることを特徴とするシーン検索装置である。
この発明によれば、シーン検索装置は、試合のダイジェスト映像に関する言語情報データを受信し、受信した言語情報データに含まれるシーン特定情報及びキーワードの情報を検索条件とした試合経過データの検索を要求する。そして、この検索の要求により、ダイジェスト映像のハイライトシーンに対応した試合経過データの検索結果が得られると、検出された試合経過データにより示される本編の試合映像の対応箇所を含んだシーンの開始点及び終了点をコンテンツ視聴装置に通知する。
これにより、ユーザが保有するコンテンツ視聴装置は、試合映像蓄積装置に蓄積されている本編の試合映像データから、シーン検索装置より通知された開始点及び終了点で示される部分の試合映像データを読み出して表示することができ、ユーザに、スポーツの試合のダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像を提供することが可能になる。従って、ユーザがスポーツニュースなどで試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに興味を持った場合に、事前に録画された本編の試合映像を自身で検索するような煩雑な作業をすることなく、本編の試合映像中の所望のシーンを視聴することが可能となる。

［２］ 本発明の一態様は、上述するシーン検索装置であって、前記シーン検索要求部は、シーン特定情報及びキーワードが検出された文については、検出された前記シーン特定情報及び前記キーワードをシーン検索条件とし、キーワードのみが検出された文については、前記文より前の文において最も近くに検出されたシーン特定情報、及び、前記キーワードをシーン検索条件とする、ことを特徴とする。
この発明によれば、シーン検索装置は、１文中にシーン特定情報とキーワードとが明確に対応づけて示されていない場合でも、シーン検索条件となるシーン特定情報とキーワードの組み合わせを得ることができる。
これにより、言語情報データとしてダイジェスト映像のアナウンスコメントや、字幕等を使用することが可能となる。

［３］ 本発明の一態様は、上述するシーン検索装置であって、前記試合経過データは、前記シーンにおける試合状況の情報を含んでおり、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データに含まれる前記試合状況の情報を関連シーン検索条件として、前記関連シーン検索条件が含まれる前記試合経過データの検索を前記試合データ蓄積装置に要求する関連シーン検索要求部をさらに備え、前記部分映像特定部は、前記関連シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する、ことを特徴とする。
この発明によれば、シーン検索装置は、ダイジェスト映像のハイライトシーンに対応した試合経過データから得られる試合状況に基づいて、ハイライトシーンに関連する他のシーンの試合経過データをさらに検索し、検索の結果得られた試合経過データにより示される本編の試合映像データの対応箇所を含んだシーンの開始点及び終了点をコンテンツ視聴装置に通知する。
これにより、コンテンツ視聴装置は、ダイジェスト映像に含まれるハイライトシーンに関連したシーンの試合映像データを読み出して表示することができる。従って、ユーザは、煩雑な作業をすることなく、スポーツの試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに関連した本編の試合映像中のシーンを視聴することが可能になる。

［４］ 本発明の一態様は、上述するシーン検索装置であって、前記言語情報受信部は、コンテンツ視聴装置に出力されているダイジェスト映像に対応した前記言語情報データを受信する、ことを特徴とする。
この発明によれば、シーン検索装置は、ユーザがコンテンツ視聴装置によって視聴しているダイジェスト映像に関する言語情報データを受信し、この言語情報データに含まれるシーン特定情報及びキーワードの情報を検索条件として試合経過データの検索を要求する。
これにより、ユーザが現在、コンテンツ視聴装置によって視聴しているダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像を提供することが可能になる。

［５］ 本発明の一態様は、上述するシーン検索装置であって、前記試合は野球の試合であり、前記シーン特定情報は、イニング情報であり、前記試合経過データに含まれる前記キーワードは打者の情報である、ことを特徴とする。
この発明によれば、シーン検索装置は、野球の試合のダイジェスト映像に含まれているハイライトシーンに対応したシーンを含んだ本編の試合映像データの開始点及び終了点をコンテンツ視聴装置に出力する。
これにより、ユーザは、煩雑な作業をすることなく、野球の試合のダイジェスト映像を視聴している際、そのダイジェスト映像に含まれるハイライトシーンに関連した本編の試合映像中のシーンを視聴することが可能になる。

なお、上述するシーン検索装置において、前記キーワード候補データは、投手の情報を含んでおり、前記シーン検索要求部は、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、イニング情報と、前記キーワード候補データ取得部が取得した前記キーワード候補データが示す投手以外の選手と、を検出して前記検索条件とするようにしてもよい。
このシーン検索装置によれば、受信した言語情報データの文に含まれている選手が投手である場合は、試合経過データの検索条件として用いないようにする。
これにより、投手名を打者名として試合経過データを検索することがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。

なお、上述するシーン検索装置において、前記試合経過データそれぞれは、投手の各投球のシーンに対応するとともに、イニング情報と、打者の情報、及び、投球特定情報を含んでおり、前記シーン検索要求部は、前記シーン検索条件により特定される前記試合経過データのうち打者への最後の投球に対応する試合経過データの検索を要求するようにしてもよい。
このシーン検索装置によれば、試合経過データが１投球毎に生成されており、同一の打席について複数の試合経過データがある場合、打席の最後の投球のシーンに対応した試合経過データを検索結果として得ることができる。
これにより、ハイライトシーンとして選択されないシーンの試合経過データが検索結果として得られることがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。

なお、上述するシーン検索装置において、前記部分映像特定部は、選手が検出された前記文に基づいて生成したシーン検索条件による検索の要求の結果検出された前記試合経過データが、前記文よりも前の文に基づいて生成したシーン検索条件による検索の要求の結果検出された前記試合経過データよりも前のシーンに対応している場合、前記前のシーンに対応している前記試合経過データを検索結果から除外するようにしてもよい。
このシーン検索装置によれば、言語情報データ内の１文ごとに順に生成したシーン検索条件により検索した結果得られた試合経過データが時間的に前後している場合、ハイライトシーンに対応した試合経過データから除外する。
これにより、言語情報データに走者の選手名が含まれている場合に、ハイライトシーンとして選ばれていないこの走者の打席のシーンに対応した試合経過データを、ハイライトシーンに対応した試合経過データとして扱うことがないため、野球の試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンを精度よく提供することが可能になる。

［６］ 本発明の一態様は、シーン検索装置として用いられるコンピュータを、試合映像に関する文を含む言語情報データを受信する言語情報受信部、前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部、前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれるキーワードと、当該キーワードに対応するシーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた前記試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部、前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部、前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部、として機能させることを特徴とするプログラムである。

この発明によれば、シーン検索装置は、野球等のスポーツの試合のダイジェスト映像に含まれるハイライトシーンに対応した試合映像内のシーンをユーザに提供することができる。従って、ユーザがスポーツニュースなどで試合のダイジェスト映像を視聴している際に、そのダイジェスト映像に含まれるハイライトシーンに興味を持った場合に、事前に録画しておいた本編の試合映像や、インターネット上で配信されている本編の試合映像を自身で検索するような煩雑な作業をすることなく、本編試合映像中の所望のシーンを視聴することが可能となる。

本発明の第１の実施形態による関連映像推薦システムの機能ブロック図である。 同実施形態によるコンテンツ配信装置から配信されるダイジェスト映像データの例を示す図である。 同実施形態による言語情報蓄積装置の言語情報記憶部に記憶される言語情報データの記述例を示す図である。 同実施形態による試合データ蓄積装置の試合データ記憶部に記憶される出場選手データの記述例を示す図である。 同実施形態による試合データ蓄積装置の試合データ記憶部に記憶されるスコアデータの例を示す図である。 同実施形態によるスコアデータの記述例を示す図である。 同実施形態による試合映像蓄積装置の試合映像記憶部に記憶される試合映像データの例を示す図である。 同実施形態による関連映像推薦システムの動作を示す図である。 同実施形態によるシーン検索条件の取得を説明するための図である。 同実施形態による最終投球制約を説明するための図である。 同実施形態による投手除外制約を説明するための図である。 同実施形態による打順制約を説明するための図である。 同実施形態によるシーン検索装置における検索アルゴリズムのフローチャートである。 同実施形態によるコンテンツ視聴装置が表示する画面イメージを示す図である。 本発明の第２の実施形態による関連映像推薦システムの機能ブロック図である。 同実施形態による関連映像推薦システムの動作を示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
図１は、本発明の第１の実施形態による関連映像推薦システムの機能ブロック図である。同図において、関連映像推薦システムは、コンテンツ視聴装置１、コンテンツ配信装置２、言語情報蓄積装置３、シーン検索装置４、試合データ蓄積装置５、及び、試合映像蓄積装置６をインターネットなどのネットワーク９を介して接続して構成される。同図においては、コンテンツ視聴装置１を１台のみ示しているが、複数台がネットワーク９に接続される。

コンテンツ視聴装置１は、例えば、視聴者であるユーザが保有するパーソナルコンピュータや携帯電話などであり、通信部１１、出力制御部１２、表示部１３、音声出力部１４、検索要求部１５、及び、入力部１６を含んで構成される。通信部１１は、ネットワーク９を介して他の装置とデータを送受信する。表示部１３は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（cathode ray tube）などのディスプレイである。音声出力部１４は、スピーカーであり、音声を出力する。入力部１６は、例えば、キーボードやマウス、ボタンなどであり、ユーザへ入力インタフェースを提供する。出力制御部１２は、映像データに基づいて表示部１３に画像を表示させるとともに、音声出力部１４により音声を出力させる。検索要求部１５は、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像のシーンの検索要求や配信要求を出力する。なお、ダイジェスト映像とは、スポーツニュースなどでその日に行われたスポーツの試合の概要を伝えるために放送される映像であり、試合中のハイライトシーンの映像を集めたものである。また、本編の試合映像とは、生中継や録画中継などにより実際に放送された試合番組である。ハイライトシーンに対応した本編の試合映像のシーンには、本編の試合映像においてハイライトシーンとその前後のシーンが含まれる本編ハイライトシーンや、ハイライトシーンにおいて取り上げられている選手が出場している本編の試合映像の他のシーンである関連シーン等がある。

コンテンツ配信装置２は、例えばサーバ等のコンピュータ装置であり、通信部２１、コンテンツ配信部２２、及び、コンテンツ記憶部２３を含んで構成される。通信部２１は、ネットワーク９を介して他の装置とデータを送受信する。コンテンツ記憶部２３は、ハードディスク装置や半導体メモリなどで実現され、コンテンツの映像データを記憶する。コンテンツ配信部２２は、コンテンツ記憶部２３から読み出した映像データをコンテンツ視聴装置１へ配信する。コンテンツの映像データには、スポーツニュース番組の映像データである番組映像データや、ダイジェスト映像の映像データであるダイジェスト映像データなどがある。ダイジェスト映像データには、試合を一意に特定する試合特定情報が付加され、付加されている試合特定情報により特定される試合のみのダイジェスト映像が含まれる。例えば、試合特定情報は、試合日及び試合ＩＤ（Identifier）の組み合わせにより表すことができ、ダイジェスト映像データのデータ名、または、データ名の一部に用いることもできる。

言語情報蓄積装置３は、例えばデータベースサーバ等のコンピュータ装置であり、通信部３１、言語情報取得部３２、及び、言語情報記憶部３３を含んで構成される。通信部３１は、ネットワーク９を介して他の装置とデータを送受信する。言語情報記憶部３３は、ハードディスク装置や半導体メモリなどで実現され、言語情報データを試合特定情報と対応づけて記憶する。言語情報取得部３２は、受信した試合特定情報に対応した言語情報データを言語情報記憶部３３から読み出し、試合特定情報とともにシーン検索装置４へ送信する。言語情報データはダイジェスト映像データに付随するデータであり、例えば、ダイジェスト映像に付加されている音声コメントのテキストデータ、ダイジェスト映像に付加された字幕のテキストデータ、ダイジェスト映像データに関する情報が記述されたメタデータを用いることができる。

試合データ蓄積装置５は、例えばデータベースサーバ等のコンピュータ装置であり、通信部５１、試合データ検索部５２、及び、試合データ記憶部５３を含んで構成される。通信部５１は、ネットワーク９を介して他の装置とデータを送受信する。試合データ記憶部５３は、ハードディスク装置や半導体メモリなどで実現され、出場選手データ（キーワード候補データ）及びアーカイブされた試合経過データを試合特定情報と対応付けて記憶する。出場選手データは、対応する試合特定情報により特定される試合に出場した選手を示し、チームスポーツ等の場合は試合における選手のポジションの情報も含まれる。試合経過データは、対応する試合特定情報により特定される試合におけるシーンを特定するシーン特定情報と、試合映像における当該シーンの時刻情報と、当該シーンにおいて主に試合に関わっている選手など、試合に重要な役割を果たしている選手であるキー選手との情報を含む。なお、試合映像におけるシーンの時刻情報は、当該シーンが試合映像として録画されたときの実際の時刻や、本編の試合映像の開始を起点とした相対的な経過時間などを用いることができる。試合データ検索部５２は、シーン検索装置４から受信した試合特定情報により特定される出場選手データを試合データ記憶部５３から読み出して返送する。また、試合データ検索部５２は、シーン検索装置４からシーン検索条件を受信し、このシーン検索条件により示される試合特定情報、シーン特定情報、選手の情報等に基づいて試合データ記憶部５３に記憶されている試合経過データを検索した結果を返送する。

試合映像蓄積装置６は、例えばデータベースサーバ等のコンピュータ装置であり、通信部６１、試合映像配信部６２、及び、試合映像記憶部６３を含んで構成される。通信部６１は、ネットワーク９を介して他の装置とデータを送受信する。試合映像記憶部６３は、ハードディスク装置や半導体メモリなどで実現され、本編の試合映像のデータである試合映像データを試合特定情報と対応付けて記憶する。試合映像配信部６２は、コンテンツ視聴装置１から試合特定情報、試合映像における再生の開始点及び終了点の情報を含む映像要求を受信し、試合特定情報に対応した試合映像データから、再生の開始点及び終了点までの映像を抽出したデータである部分試合映像データを返送する。

シーン検索装置４は、例えばサーバ等のコンピュータ装置であり、通信部４１、言語情報受信部４２、出場選手データ取得部４３（キーワード候補データ取得部）、シーン検索要求部４４、関連シーン検索要求部４５、部分映像特定部４６、及び、シーン通知部４７を含んで構成される。通信部４１は、ネットワーク９を介して他の装置とデータを送受信する。言語情報受信部４２は、試合特定情報及び言語情報データを受信する。出場選手データ取得部４３は、言語情報受信部４２が受信した試合特定情報に対応した出場選手データを試合データ蓄積装置５から読み出す。シーン検索要求部４４は、言語情報受信部４２が受信した言語情報データと、出場選手データ取得部４３が読み出した出場選手データに基づいてハイライトシーンに対応した試合経過データを検索するためのシーン検索条件を生成し、試合データ蓄積装置５からシーン検索条件に基づいて試合経過データを検索した結果を受信する。関連シーン検索要求部４５は、シーン検索要求部４４が生成したシーン検索条件に基づいて検索した結果得られた試合経過データ内の情報を用いてハイライトシーンに関連した他のシーンを検索するための関連シーン検索条件を生成し、試合データ蓄積装置５から関連シーン検索条件に基づいて試合経過データを検索した結果を受信する。部分映像特定部４６は、シーン検索要求部４４が受信した試合経過データの検索結果に基づいて、試合映像における本編ハイライトシーンの開始点及び終了点を決定する。また、部分映像特定部４６は、関連シーン検索要求部４５が受信した試合経過データの検索結果に基づいて、試合映像における関連シーンの開始点及び終了点を決定する。シーン通知部４７は、試合映像データにおける本編ハイライトシーンや関連シーンの開始点及び終了点をコンテンツ視聴装置１に通知する。

なお、コンテンツ配信装置２、言語情報蓄積装置３、シーン検索装置４、試合データ蓄積装置５、及び、試合映像蓄積装置６の全てを同一のプロバイダ内に設置してよく、任意の複数の装置または各装置を異なる場所や異なる企業に設定し、管理してもよい。
また、コンテンツ配信装置２、言語情報蓄積装置３、シーン検索装置４、試合データ蓄積装置５、試合映像蓄積装置６のうち任意の装置を同一のコンピュータ装置により実現してもよい。

以下、コンテンツ視聴装置１が放送局やスポーツポータルサイトなどのコンテンツプロバイダが提供するウェブサイトにアクセスすることにより、コンテンツ配信装置２から配信される野球のダイジェスト映像を受信し、ユーザは、コンテンツ視聴装置１において動作するウェブブラウザ上で、配信されたダイジェスト映像を視聴している場合を例にして説明する。

図２は、コンテンツ配信装置２から配信されるダイジェスト映像データＤの例を示す図である。ここでは、ダイジェスト映像データＤのデータ名に試合特定情報が含まれるものとする。同図に示すダイジェスト映像データＤは、打者「大村」が「２塁打」を打ったハイライトシーンの映像データ、打者「阿部」が「ヒット」を打ったハイライトシーンの映像データ、打者「小笠原」が「フライ」を打ったハイライトシーンの映像データ、打者「松中」が「ヒット」を打ったハイライトシーンの映像データ、打者「本多」が「ゴロ」を打ったハイライトシーンの映像データからなる。

図３は、言語情報蓄積装置３の言語情報記憶部３３に記憶される言語情報データＣの例を示す図であり、図２に示すダイジェスト映像データＤに対応する。ここでは、言語情報データＣのデータ名に試合特定情報が含まれるものとする。図３に示す言語情報データＣは、ダイジェスト映像に付加されているアナウンスコメントをテキスト化したデータである。同図に示すように、アナウンスコメントには、イニング情報「６回表」、「７回」、…などのシーン特定情報や、選手名「大村」、「阿部」、…などの選手を特定する情報が含まれる。

図４は、試合データ蓄積装置５の試合データ記憶部５３に記憶される出場選手データＰの記述例を示す図である。同図に示すように、出場選手データＰは、試合特定情報と対応づけられて記憶されており、試合に出場した選手の選手ＩＤ及び選手名を示す選手リストと、各イニングの投手名を示す投手リストを含む。

図５は、試合データ蓄積装置５の試合データ記憶部５３に記憶される試合経過データとしてのスコアデータＳＣの例を示す図である。同図に示すように、スコアデータＳＣは、試合特定情報と対応付けられて記憶されている。スコアデータＳＣは、投手の１投球毎に生成されるデータである。つまり、投球の開始から次の投球の開始直前までの１投球毎の勝負が１シーンであり、スコアデータＳＣは１シーン毎に生成される。なお、試合の最後の投球の場合、投球の開始から試合終了までが１シーンとなる。

図６は、スコアデータＳＣの記述例を示す図である。同図に示すスコアデータＳＣは、ＸＭＬ（extensible markup language）文書として記述されており、スコアデータを特定する識別子であるシーンユニットＩＤ（sceneUnit id）、両チーム得点（score）、試合状況（situation）、打撃結果（result）の情報を含む。

シーンユニットＩＤには、イニング番号、イニングの表裏、イニングにおいて何人目の打者であるかを示す打者数、及び、打者に対する投球数の情報が含まれる。同図に示すシーンユニットＩＤ「0610405」は、最も左の数字を１桁目とした場合、１桁目から２桁目までの数字「06」がイニング番号「６回」を示し、３桁目「1」がイニングの表であることを示し（裏の場合は「2」となる）、４桁目から５桁目までの数値「04」が４人目の打者であることを示し、６桁目から７桁目までの数値「05」が５球目の投球であることを示す。

両チーム得点（score）には、表の攻撃チームの得点（teamScore HV="1"）と、裏の攻撃チームの得点（teamScore HV="2"）が含まれる。試合状況（situation）には、イニング番号（inning）、表のイニングであるか裏のイニングであるか（topbottom）、投手（pitcher）の選手識別子（ID）及び選手名（name）、打者（batter）の選手識別子（ID）及び選手名（name）、ｓｂｏカウント（sbo）、進塁状況（runner）、シーンの開始時刻（time）の情報が含まれ、ｓｂｏカウント（sbo）には、ストライクカウント（s）、ボールカウント（b）、アウトカウント（o）が含まれる。進塁状況（runner）は、それぞれが１〜３塁に対応した３つのビットからなり、走者がいる場合にはビットに「1」が、いない場合にはビットに「0」が設定される。

図７は、試合映像蓄積装置６の試合映像記憶部６３に記憶される試合映像データＶの例を示す図である。同図に示すように、各試合映像データＶは、試合特定情報と対応づけられている。

図８は、本実施形態による関連映像推薦システムの動作を示す図である。なお、番組映像データ、ダイジェスト映像データ、言語情報データ、出場選手データ、スコアデータ、及び、試合映像データは予め蓄積されているものとする。試合経過データは、外部の試合データ制作会社ＤＰなどによって作成され、制作会社端末から試合データ蓄積装置５に書き込まれる。

ユーザＵが当初はコンテンツ視聴装置１によりスポーツニュースを視聴している場合の関連映像推薦システムの動作を以下に述べる。すなわち、放送局、スポーツポータルサイトなどのコンテンツプロバイダのウェブサイトを提供するコンテンツ配信装置２において、コンテンツ配信部２２は、コンテンツ記憶部２３から読み出したスポーツニュースの番組映像データをコンテンツ視聴装置１に配信している。コンテンツ視聴装置１の出力制御部１２は、コンテンツ配信装置２から受信した映像データの画像を表示部１３に表示し、音声を音声出力部１４に出力する。

コンテンツ視聴装置１の出力制御部１２は、コンテンツ配信装置２のコンテンツ配信部２２がコンテンツ記憶部２３から読み出したスポーツニュース中のダイジェスト映像データＤを受信し始める（ステップＳ１０５）。出力制御部１２は、受信したダイジェスト映像データＤの画像を表示部１３に表示し、音声を音声出力部１４に出力する。コンテンツ視聴装置１の検索要求部１５は、出力制御部１２が受信したダイジェスト映像データのデータ名に含まれている試合特定情報を言語情報蓄積装置３に送信する（ステップＳ１１０）。

言語情報蓄積装置３の言語情報取得部３２は、コンテンツ視聴装置１から受信した試合特定情報に対応付けられた言語情報データＣを言語情報記憶部３３から読み出し、読み出した言語情報データＣをそのデータ名とともにシーン検索装置４に送信する（ステップＳ１１５）。シーン検索装置４の言語情報受信部４２は、言語情報データＣを受信すると、言語情報データＣのデータ名から試合特定情報を取得する。

シーン検索装置４の出場選手データ取得部４３は、言語情報受信部４２が受信した試合特定情報に対応した出場選手データＰの読み出しを指示する出場選手データクエリ言語Ｑ１を生成し、試合データ蓄積装置５に送信する（ステップＳ１２０）。試合データ蓄積装置５の試合データ検索部５２は、シーン検索装置４から受信した出場選手データクエリ言語Ｑ１に検索条件として設定されている試合特定情報を取得すると、取得した試合特定情報と対応付けられている出場選手データＰを試合データ記憶部５３から読み出して返送する（ステップＳ１２５）。

続いて、シーン検索装置４のシーン検索要求部４４は、言語情報データＣにより示される最初の文から順に、シーン特定情報としてのイニング情報と、選手名を取得すると、取得したイニング情報及び選手名の組み合わせをシーン検索条件としてスコアデータＳＣのシーンユニットＩＤを読み出すためのシーン検索クエリ言語Ｑ２を生成し、試合データ蓄積装置５に送信する（ステップＳ１３０）。なお、言語情報データＣの文から取得する選手名は、ステップＳ１２５において読み出された出場選手データＰの選手リストに含まれる選手名である。

試合データ蓄積装置５の試合データ検索部５２は、シーン検索クエリ言語Ｑ２を受信すると、シーン検索クエリ言語Ｑ２によって示されるシーン検索条件に合致する試合データ記憶部５３内のスコアデータＳＣを特定し、特定したスコアデータＳＣからシーンユニットＩＤを読み出してシーン検索装置４に返送する（ステップＳ１３５）。シーン検索装置４のシーン検索要求部４４は、試合データ蓄積装置５から受信したシーンユニットＩＤのリストであるハイライトシーンリストＬ１を得る（ステップＳ１４０）。

シーン検索装置４の部分映像特定部４６は、ハイライトシーンリストＬ１に含まれるシーンユニットＩＤに基づき、ハイライトシーンの前後のシーンを含んだ本編ハイライトシーンが試合映像において開始する位置及び終了する位置を決定する。例えば、シーンユニットＩＤにより特定されるスコアデータＳＣ内の開始時刻から所定時間だけ遡った時刻を開始点、経過した時刻を終了点とすることができる。また、例えば、シーンユニットＩＤにより特定されるスコアデータＳＣから、所定数だけ前のシーンのスコアデータＳＣに設定されている開始時刻を開始点、所定数だけ後ろのシーンのスコアデータＳＣに設定されている開始時刻を終了点とすることができる。

シーン検索装置４のシーン通知部４７は、試合特定情報及び開始点を試合映像蓄積装置６に出力し、画像データを要求する。試合映像蓄積装置６の試合映像配信部６２は、シーン検索装置４から受信した試合特定情報により特定される試合映像データＶから、開始点に対応する画像データを取得して返送する（ステップＳ１４５）。シーン検索装置４のシーン通知部４７は、試合映像蓄積装置６から取得した画像データからサムネイルＨの画像データを生成すると、試合特定情報と、本編ハイライトシーンの開始点及び終了点と、開始点に対応して取得した画像データから生成したサムネイルＨの画像データとを設定した検索結果シーンリストＬ２をコンテンツ視聴装置１に送信する（ステップＳ１５０）。

コンテンツ視聴装置１の出力制御部１２は、受信した検索結果シーンリストＬ２に含まれる画像データに基づいたサムネイルＨを表示部１３に表示させる。ユーザＵが、表示部１３に表示されているサムネイルＨのうち、本編ハイライトシーンを表示させるサムネイルＨを入力部１６により選択すると、検索要求部１５は、選択されたサムネイルＨに対応する試合特定情報と、開始点及び終了点とを設定した映像要求を試合映像蓄積装置６に送信する（ステップＳ１５５）。

試合映像蓄積装置６の試合映像配信部６２は、受信した映像要求から試合特定情報と、開始点及び終了点とを取得すると、試合特定情報により試合映像データＶを特定し、特定した映像データＶから開始点より終了点までの部分試合映像データＶ’を抽出して返送する（ステップＳ１６０）。コンテンツ視聴装置１の出力制御部１２は、試合映像蓄積装置６から受信した部分試合映像データＶ’に基づいた画像を表示部１３に表示するとともに、音声を音声出力部１４に出力する。これにより、ユーザＵは、ハイライトシーンの試合映像をゆっくり視聴することが可能となる。

なお、ユーザＵが現在コンテンツ視聴装置１により視聴しているダイジェスト映像について上記の処理を行なった後、コンテンツ配信装置２から新たなダイジェスト映像の映像データが配信され始めた場合には、再びステップＳ１０５からの処理を行なう。

次に、シーン検索装置４のシーン検索要求部４４によるシーン検索クエリ言語Ｑ２の作成方法について詳細に説明する。
図９は、シーン検索クエリ言語Ｑ２に設定するシーン検索条件となるイニング情報及び選手名の組み合わせの取得を説明するための図である。ここでは、シーン検索装置４の言語情報受信部４２が図３に示す言語情報データＣを受信し、出場選手データ取得部４３が図４に示す出場選手データＰを取得した場合を例にして説明する。

図９には、言語情報データＣ内の各文と、この各文の出現順を示す文番号を示している。この文番号は、説明のために便宜的に付与したものである。シーン検索装置４の関連シーン検索要求部４５は、言語情報データＣ内の最初の文から順に１文ずつ解析を行い、１文からイニング情報と選手名が取得できた場合に検索対象とし、シーン検索クエリ言語Ｑ２を生成する。１文毎のイニング情報と選手名の取得は以下のように行う。

まず、シーン検索装置４のシーン検索要求部４４は、現在処理対象としている文において、「ｎ回」、「ｎ回表」、あるいは、「ｎ回裏」（ｎは１以上の整数）として記述されるイニング情報を検出するとともに、出場選手データＰの選手リストに含まれている選手名を検出する。同図においては、検出されたイニング情報には波線の下線を付与し、検出された選手名には一重線の下線を付与している。イニング情報が検出されなかった場合、現在処理中の文の直前の文のイニング情報を引き継ぐ。このようにして、イニング情報と選手名の両方が取得できた文が検索対象となる。
なお、予め定めた一定回数だけ連続してイニング情報を引き継ぎ可能とするようにしてもよい。例えば、５文連続してイニング情報が検出されなかった場合、そのうち最初の３文のみが直前の文のイニング情報を引き継ぎ、４文以降はイニング情報なしとする。これにより、離れた文において出現したイニング情報は引き継がず、検索対象としないようにすることができる。

シーン検索要求部４４は、検索実行対象の文において検出されたイニング情報、あるいは、イニング情報が検出されなかったため前の文から引き継いだイニング情報と、当該検索対象の文で検出された選手名との組み合わせをシーン検索条件とし、シーン検索クエリ言語Ｑ２を生成する。なお、シーン検索条件に設定するイニング情報は、イニング情報で示されるイニング番号のみでもよく、イニング情報で示されるイニング番号と表裏の情報との組み合わせてもよいが、以下では、イニング番号のみを使用する場合を説明する。また、図において、括弧で示されるイニング情報は、文内ではイニング情報が検出されず、前の文のイニング情報を引き継いだことを示す。

例えば、文番号「１」の文ではイニング情報、選手名とも検出されず、この文より前の文はないため、イニング情報、選手名とも「−」（なし）となる。よって、シーン検索クエリ言語Ｑ２は生成されない。
次に、文番号「２」の文では、イニング情報「６回表」と選手名「大村」が検出されている。この場合、イニング番号「６回」と選手名「大村」の組み合わせをシーン検索条件としてシーン検索クエリ言語Ｑ２が生成される。
続いて、文番号「３」の文では、イニング情報、選手名とも検出されていない。この場合、文番号「３」の文のイニング情報は、文番号「２」において検出されたイニング情報「６回表」を引き継ぐ。しかし、選手名が検出されていないため、シーン検索クエリ言語Ｑ２は生成されない。

また、文番号「７」の文では、選手名「阿部」のみが検出されている。この場合、文番号「６」において検出されたイニング情報「７回」を引き継ぐ。よって、イニング番号「７回」と選手名「阿部」の組み合わせをシーン検索条件としてシーン検索クエリ言語Ｑ２が生成される。
文番号「８」の文では、選手名「小笠原」のみが検出されている。この場合、文番号「７」のイニング情報「７回」を引き継ぐ。よって、イニング番号「７回」と選手名「小笠原」の組み合わせをシーン検索条件としてシーン検索クエリ言語Ｑ２が生成される。

スコアデータがＸＭＬ文書として記述されている場合、シーン検索クエリ言語Ｑ２にはxpathなどを利用することができる。例えば、イニング番号「6回」、打者の選手名「大村」という条件でxpathを生成した場合、以下の（例１）ように記載することができる。

/game/sceneUnit[substring(./@id,1,2)=“06”][situation/batter/name=“大村”]/@id ・・・（例１）

これは、「game」配下に記憶されているスコアデータのうち、シーンユニットＩＤ（sceneUnit id）の１番目の位置から始まる長さ２文字分の値が「06」であり、かつ、試合状況（situation）配下の打者（batter）の選手名（name）に「大村」が設定されているスコアデータから、シーンユニットＩＤ（id）を読み出すことを示す。シーンユニットＩＤの１番目〜２番目の値はイニング番号を示すため、イニング番号「６」回は、シーンユニットＩＤの１番目の位置から２文字分を「06」として検索条件としている。

なお、イニング番号と表裏の情報の組み合わせ「６回表」により検索する場合には、[substring(./@id,1,2)=“06”]の部分を[substring(./@id,1,3)=“061”]と置き換えればよい。これは、シーンユニットＩＤ（sceneUnit id）の３番目の数値は表（1）か裏（2）かを示すため、「６回表」は、シーンユニットＩＤの１番目の位置から３文字分が「061」として表されるからである。
このように、シーン検索クエリ言語Ｑ２によってシーン検索条件に合致したスコアデータのシーンユニットＩＤを読み出すことにより、ハイライトシーンリストＬ１を得ることが可能となる。

しかし、上記のように、イニング情報および選手名のみを利用した検索では、次の理由（ａ）〜（ｃ）により、ハイライトシーンに対応していないスコアデータを検索してしまうことがある。

（ａ）同じイニングにおいて、同じ選手が登場する打席が複数ありうる。
（ｂ）文に現れる投手名を打者名として検索してしまう場合がある。
（ｃ）文に現れる走者名を打者名として検索してしまう場合がある。

これらの理由によりハイライトシーンに対応しないスコアデータが特定されてしまうことを回避するために、最終投球制約、投手除外制約、打順制約の３つの制約条件を導入する。以下、これらの制約条件を説明する。

図１０は、最終投球制約を説明するための図である。最終投球制約とは、同一打席の最終投球、もしくは、試合における最後の投球のシーンのスコアデータであることをシーン検索条件に加えるものである。
ハイライトシーンとして選択されるのは、ある打者の打席の最終投球や、試合最後のプレーであることがほとんどである。例えば、同図に示すように、イニング番号「６回」、打者の選手名「大村」をシーン検出条件とした場合に検出されるスコアデータは、１投球目の「大村ストライク」のシーン、２投球目「大村ボール」のシーン、３投球目の「大村ファール」のシーン、４投球目「大村ボール」のシーン、５投球目「大村２塁打」のシーンのものである。

通常、ある選手が打席に立った後、アウトにならないストライクシーンや進塁しないボールシーンがハイライトシーンとして選ばれることはなく、なんらかの打撃や、アウト、進塁などのシーンがハイライトシーンとして含まれる。このようなシーンは、打席の最後のシーンに対応する。従って、同図の例では、打席の最後のプレーである５投球目「大村２塁打」のシーンがハイライトシーンとして選ばれる。つまり、「次の投球が次打者の１投球目」であるか、「試合の最後のプレー」である、ということがハイライトシーンとして選ばれる条件である。よって、シーン検索クエリ言語Ｑ２によるハイライトシーンの検索の際にはこの条件を制約として加える。上述した（例１）のxpathクエリに対してこの制約を加えたxpathは、以下の（例２）のように記述される。

/game/sceneUnit[substring(./@id,1,2)=“06”][situation/batter/name=“大村"][position()=last() or following-sibling::sceneUnit[position()=1][substring(./@id,6,2)="01"]]/@id"; ・・・（例２）

「positon()=last()」は試合最後のスコアデータであるという制約条件を示す。また、「following-sibling::sceneUnit[position()=1]」は、自身より後ろにある兄弟要素（sceneUnit）の中で最初のスコアデータである次の投球のスコアデータを示し、「[substring(./@id,6,2)="01"]」は、シーンユニットＩＤ（sceneUnit id）の６番目の位置から始まる長さ２文字分が表す投球数の値が「01」であることを示すため、「following-sibling::sceneUnit[position()=1][substring(./@id,6,2)="01"]」は、次の投球のスコアデータが次の打者への１投球目のシーンのものであるという制約条件を示す。

図１１は、投手除外制約を説明するための図である。投手除外制約とは、言語情報データの文において検出した選手名が投手名である場合、検索を行わないようにするものである。同図において、文番号「６」の文には、イニング情報と共に投手名である「和田」という単語が現れている。図９に示した方法により生成したシーン検索クエリ言語Ｑ２によってスコアデータの検索を行った場合、イニング番号「６回」において選手名「和田」が打席に立ったときのシーンのスコアデータを検索してしまう。そのため、検索結果としては何も得られないか、目的とは違うスコアデータを特定してしまう。そこで、シーン検索装置４の関連シーン検索要求部４５は、現在、処理対象としている言語情報データＣの文について取得したイニング情報により示されるイニング番号と対応した投手名を図４に示す出場選手データの投手リストから取得し、取得した投手名と、文において検出された選手名とが一致する場合は、検索処理の対象から除外し、シーン検索クエリ言語Ｑ２の生成を行わない。

図１２は、打順制約を説明するための図である。打順制約とは、言語情報データに含まれる最初の文から順にシーン検索クエリ言語Ｑ２の生成を行なってスコアデータＳＣを検索した結果、前に生成したシーン検索クエリ言語Ｑ２によって特定されたスコアデータＳＣよりも遡った打順のスコアデータＳＣが検索結果としてられた場合、この遡った打順のスコアデータＳＣをハイライトシーンリストＬ１に加える対象から除外するものである。

同図において、文番号「１３」の文では、そのシーンにおけるランナーの選手名「本多」が出現している。よって、図９に示した検索処理や、図１０に示した最終投球制約、図１１に示した投手除外制約を行なった検索処理では、イニング番号「８回」の打者の選手名「本多」の打席のシーンに対応したスコアデータＳＣを特定してしまう。しかし、実際は、ハイライトシーンにおいて「本多」選手はランナーであるため、イニング番号「８回」の選手名「本多」の打席のシーンは、実際のハイライトシーンよりも前のシーンである。図１２において、文番号「１３」の文に基づいて生成されたシーン検索クエリ言語Ｑ２により得られたスコアデータＳＣは、文番号「１１」の文に基づいて生成されたシーン検索クエリ言語Ｑ２により得られた、イニング番号「８回」、打者の選手名「松中」の打撃のシーンのスコアデータＳＣより前のシーンに対応するため、ハイライトシーンリストＬ１から除外する。

上述した３つの制約を加えた検出を行うことにより、ダイジェスト映像の中に含まれるハイライトシーンに対応したスコアデータを高精度に検索することが可能となる。

図１３は、上述した制約条件を用いたシーン検索装置４における検索アルゴリズムのフローチャートを示す。
シーン検索装置４の言語情報受信部４２は、データ名に試合特定情報が含まれている言語情報データＣを言語情報蓄積装置３から受信する（ステップＳ２０５）。シーン検索要求部４４は、検索条件イニング番号ｉ、検索条件選手名ｐ、及び、ハイライトシーンリストＬ１に初期値ＮＵＬＬを設定し、初期化する（ステップＳ２１０）。

出場選手データ取得部４３は、言語情報受信部４２が取得した言語情報データＣ１のデータ名から試合特定情報を取得すると、取得した試合特定情報を検索条件として出場選手データＰの読み出しを指示する出場選手データクエリ言語Ｑ１を生成し、試合データ蓄積装置５に送信する（ステップＳ２２０）。出場選手データ取得部４３は、試合データ蓄積装置５から試合特定情報と対応付けられている出場選手データＰを受信する（ステップＳ２２５）。

続いて、シーン検索要求部４４は、言語情報データＣに未処理の文が含まれていると判断した場合（ステップＳ２３０：ＹＥＳ）、未処理の文のうち最も先頭に近い文を言語情報データＣから取得する（ステップＳ２３５）。シーン検索要求部４４は、ステップＳ２３５において取得した文に「ｎ回」、「ｎ回表」、「ｎ回裏」として記述されるイニング番号ｎが出現しているかを判断する（ステップＳ２４０：ＹＥＳ）。イニング番号ｎが出現していない場合（ステップＳ２４０：ＮＯ）、そのままステップＳ２５０の処理に進み、イニング番号ｎが出現している場合（ステップＳ２４０：ＹＥＳ）、検索条件イニング番号ｉにイニング番号ｎを代入した後（ステップＳ２４５）、ステップＳ２５０の処理に進む。

続いて、シーン検索要求部４４は、ステップＳ２３５において取得した文に、ステップＳ２２５において受信した出場選手データＰの選手リストに記述されているいずれかの選手名と一致する選手名Ｎが出現しているかを判断する（ステップＳ２５０）。文に出場選手データＰの選手リストに記述されているいずれの選手名も出現しない場合（ステップＳ２５０：ＮＯ）、ステップＳ２３０からの処理を繰り返す。

一方、文に出場選手データＰの選手リストに記述されている選手名と一致する選手名Ｎが出現する場合（ステップＳ２５０：ＹＥＳ）、シーン検索要求部４４は、さらに、出場選手データＰの投手リストに検索条件イニング番号ｉと対応付けて記述されている投手名が、選手名Ｎと一致するかを判断する（ステップＳ２５５）。検索条件イニング番号ｉに対応付けて記述されている投手名が選手名Ｎと一致する場合、ステップＳ２３０からの処理を繰り返す。

検索条件イニング番号ｉに対応付けて記述されている投手名が、選手名Ｎと一致しない場合（ステップＳ２５５：ＮＯ）、シーン検索要求部４４は、検索条件選手名ｐに選手名Ｎを代入する（ステップＳ２６０）。シーン検索要求部４４は、検索条件イニング番号ｉと検索条件選手名ｐの組み合わせからなるシーン検索条件に、最終投球制約の条件を加えたシーン検索クエリ言語Ｑ２を生成し、試合データ蓄積装置５に送信する（ステップＳ２６５）。関連シーン検索要求部４５は、試合データ蓄積装置５から、シーン検索クエリ言語Ｑ２によって示されるシーン検索条件及び制約条件に合致するスコアデータＳＣのシーンユニットＩＤを受信する（ステップＳ２７０）。

シーン検索要求部４４は、ステップＳ２７０において受信したシーンユニットＩＤと、直前に読み出されたシーンユニットＩＤとを比較し、ステップＳ２７０において受信したシーンユニットＩＤにより特定されるスコアデータＳＣが、直前のシーン検索クエリ言語Ｑ２によって読み出されたシーンユニットＩＤにより特定されるスコアデータＳＣよりも、時間的に前のシーンのものであるか否かを判断する（ステップＳ２７５）。例えば、読み出したシーンユニットＩＤにより示される打者数よりも、直前に読み出したシーンユニットＩＤにより示される打者数のほうが小さい場合、時間的に前のシーンであると判断することができる。あるいは、試合データ蓄積装置５からシーン検索クエリ言語Ｑ２によって特定されたスコアデータのシーンユニットＩＤに併せて、当該スコアデータ内の開始時間をさらに試合データ蓄積装置５から読み出すようにし、ステップＳ２７０において読み出された開始時間と、直前のシーン検索クエリ言語Ｑ２によって読み出された開始時間とを比較するようにしてもよい。

ステップＳ２７０において受信したシーンユニットＩＤにより特定されるスコアデータＳＣが、直前のシーン検索クエリ言語Ｑ２によって読み出されたシーンユニットＩＤにより特定されるスコアデータＳＣよりも時間的に前のシーンのものではない場合（ステップＳ２７５：ＮＯ）、シーン検索要求部４４は、ハイライトシーンリストＬ１に、ステップＳ２７０において受信したシーンユニットＩＤを追加し（ステップＳ２８０）、ステップＳ２３０からの処理を繰り返す。一方、ステップＳ２７０において受信したシーンユニットＩＤにより特定されるスコアデータＳＣが、直前のシーン検索クエリ言語Ｑ２によって読み出されたシーンユニットＩＤにより特定されるスコアデータＳＣよりも時間的に前のシーンのものである場合（ステップＳ２７５：ＮＯ）、ステップＳ２３０からの処理を繰り返す。

そして、ステップＳ２３０において、シーン検索要求部４４が、言語情報データＣ内の全ての文について処理を行なったため、未処理の文が含まれていないと判断した場合（ステップＳ２３０：ＮＯ）、部分映像特定部４６は、ハイライトシーンリストＬ１に含まれているシーンユニットＩＤを用いて、検索結果シーンリストＬ２を以下のように生成し、コンテンツ視聴装置１へ送信する（ステップＳ２８５）。

まず、部分映像特定部４６は、本編ハイライトシーンの試合映像データにおける開始点及び終了点を以下の（１）または（２）のように決定する。

（１）部分映像特定部４６は、シーンユニットＩＤに対応するスコアデータＳＣに記述されている開始時刻を試合データ蓄積装置５から読み出すと、読み出した開始時刻から所定時間だけ遡った時刻を開始点とし、所定の時間が経過した時刻を終了点とする。あるいは、シーンユニットＩＤに対応するスコアデータＳＣの次のスコアデータＳＣに記述されている開始時刻を試合データ蓄積装置５から読み出し、読み出した次のスコアデータＳＣの開始時刻から所定時間経過した時刻を終了点としてもよい。

（２）部分映像特定部４６は、シーンユニットＩＤに対応するスコアデータＳＣよりも所定数だけ前のシーンのスコアデータＳＣに記述されている開始時刻と、所定数だけ後ろのシーンのスコアデータＳＣに記述されている開始時刻を試合データ蓄積装置５から読み出し、それぞれを開始点、終了点とする。

シーン検索装置４のシーン通知部４７は、試合特定情報と、部分映像特定部４６が決定した開始時刻を試合映像蓄積装置６に出力し、試合特定情報により特定される試合映像データＶから開始点に対応する画像データを取得する。シーン通知部４７は、試合特定情報と、本編ハイライトシーンの開始点及び終了点と、試合特定情報及び開始点に対応した画像データから生成したサムネイルＨの画像データとを設定した検索結果シーンリストＬ２をコンテンツ視聴装置１に送信する。

なお、検索結果シーンリストＬ２には、ハイライトシーンリストＬ１に含まれるシーンユニットＩＤに対応したスコアデータＳＣに記述されている情報により示されるイベント内容を含めることもできる。例えば、検索結果シーンリストＬ２に、イベント内容、試合特定情報、開始点のタイムコード、開始点からの長さで示される終了点のタイムコード等の情報が含まれる場合、以下のように記述することができる。なお、ここでは、サムネイルＨの画像データは省略している。

[6回表4人目：大村2塁打],[NPB_20080622],[6140000],[69000],…、
[7回裏1人目：阿部ヒットゴロ],[NPB_20080622],[7391000],[32000],…、
・・・

イベント情報には、スコアデータＳＣから読み出したイニング番号、表の攻撃か裏の攻撃か、何人目の打者であるかの打者数、打者の選手名、打撃結果の情報が含まれる。コンテンツ視聴装置１の出力制御部１２は、サムネイルＨに対応付けて、イベント内容を表示部１３に表示させることができる。

なお、上記においては、ダイジェスト映像に含まれるハイライトシーンの前後のシーンが含まれる本編ハイライトシーンについて、試合映像における開始点及び終了点を取得しているが、ハイライトシーンに関連した他のシーンについて、試合映像における開始点及び終了点を取得し、コンテンツ視聴装置１に通知することもできる。この場合、シーン検索装置４の関連シーン検索要求部４５は、ハイライトシーンリストＬ１として得られたシーンユニットＩＤを試合データ蓄積装置５に送信し、シーンユニットＩＤに対応したスコアデータＳＣを読み出す。シーン検索装置４の関連シーン検索要求部４５は、受信したスコアデータに設定されている情報、例えば、投手の選手名及び打者の選手名を関連シーン検索条件としてスコアデータＳＣのシーンユニットＩＤを取得するための関連シーン検索クエリ言語Ｑ３を生成し、試合データ蓄積装置５に送信する。このとき、検索条件として、試合特定情報を加えてもよく、受信したスコアデータから読み出した日付より所定期間内の試合であることをなど加えてもよい。また、最終投球制約を加えてもよい。

試合データ蓄積装置５の試合データ検索部５２は、受信した関連シーン検索クエリ言語Ｑ３により示される関連シーン検索条件に合致する試合データ記憶部５３内のスコアデータＳＣを特定し、特定したスコアデータＳＣに設定されているシーンユニットＩＤと、特定したスコアデータＳＣに対応した試合特定情報を読み出してシーン検索装置４へ返送する。

シーン検索装置４の部分映像特定部４６は、受信したシーンユニットＩＤに基づいて、本編ハイライトシーンの場合と同様に、上述した（１）、（２）により、試合映像データにおける関連シーンの開始点及び終了点を決定し、シーン通知部４７は、試合特定情報により特定される試合映像データから開始点に対応する画像データを取得する。シーン通知部４７は、試合特定情報と、関連シーンの開始点及び終了点と、試合特定情報及び開始点に対応して読み出した画像データから生成したサムネイルＨの画像データと、関連シーン検索条件とを検索結果シーンリストＬ３としてコンテンツ視聴装置１に送信する。コンテンツ視聴装置１の出力制御部１２は、検索結果シーンリストＬ３に設定されている関連シーンのサムネイルＨと、当該関連シーンに対応した関連シーン検索条件とを表示部１３に表示させる。そして、ユーザＵが、コンテンツ視聴装置１の表示部１３に表示されているサムネイルＨを入力部１６により選択すると、検索要求部１５は、選択されたサムネイルＨに対応した試合特定情報と、開始点及び終了点とを設定した映像要求を試合映像蓄積装置６に送信する。コンテンツ視聴装置１の出力制御部１２は、試合映像蓄積装置６が試合特定情報により特定される試合映像データＶから抽出した開始点から終了点までの部分試合映像データＶ’を受信すると、部分試合映像データＶ’に基づいた画像を表示部１３に表示するとともに、音声を音声出力部１４に出力する。

図１３は、コンテンツ視聴装置１の表示部１３への表示例を示す。
同図に示すように、ウェブブラウザの中央に大きな映像によりスポーツニュースなどの番組映像が表示されており、ここにダイジェスト映像が表示されると、コンテンツ視聴装置１は試合特定情報を言語情報蓄積装置３へ送信する。これによって、シーン検索装置４が、言語情報蓄積装置３から言語情報データを受信し、この言語情報データにより示されるダイジェスト映像のアナウンスコメントを利用して、ダイジェスト映像を構成するハイライトシーンが含まれる本編ハイライトシーンを検索する。コンテンツ視聴装置１にはダイジェスト映像の下にシーン検索装置４が検索した本編ハイライトシーンのサムネイルＭを表示する。ユーザがサムネイルＭをマウスによってクリックすることにより、コンテンツ視聴装置１は、そのサムネイルＭに対応した本編ハイライトシーンが含まれる部分試合映像データＶ’を試合映像蓄積装置６から取得し、新たなウェブブラウザ、あるいは、現在表示されているウェブブラウザの中央等に表示させる。これにより、ユーザは、ハイライトシーンが含まれる試合映像をゆっくり視聴することが可能となる。

なお、コンテンツ視聴装置１の検索要求部１５は、ダイジェスト映像に含まれるハイライトシーンに対応した本編の試合映像のシーンの検索を要求するための試合特定情報を言語情報蓄積装置３に送信する代わりに、コンテンツ配信装置２へ検索要求を送信し、コンテンツ配信装置２は、検索要求を受信したときに配信していたダイジェスト映像データに対応した試合特定情報を言語情報蓄積装置３へ送信するようにしてもよい。
あるいは、コンテンツ配信装置２は、ダイジェスト映像データの配信を開始したときに、当該ダイジェスト映像データに対応した試合特定情報を言語情報蓄積装置３へ送信するようにしてもよい。

これらの場合、コンテンツ配信装置２が試合特定情報に対応する言語情報データを言語情報蓄積装置３から読み出してシーン検索装置４に通知するようにしてもよい。
また、これらの場合、シーン検索装置４は検索結果シーンリストＬ２をコンテンツ配信装置２に通知し、コンテンツ配信装置２から検索結果シーンリストＬ２をコンテンツ視聴装置１へ返送するようにしてもよく、コンテンツ配信装置２がシーン検索装置４へコンテンツ視聴装置１のアドレスを通知することにより、シーン検索装置４から直接コンテンツ視聴装置１へ検索結果シーンリストＬ２を送信するようにしてもよい。

なお、上記においては、シーン検索装置４のシーン通知部４７において、サムネイルＨとして用いる画像データを試合映像蓄積装置６から読み出して検索結果シーンリストＬ２に設定し、コンテンツ視聴装置１へ送信しているが、シーン検索装置４において検索結果シーンリストＬ２にサムネイルＨを設定せず、コンテンツ視聴装置１の検索要求部１５が、検索結果シーンリストＬ２に設定されている試合特定情報と開始点の組み合わせを試合映像蓄積装置６に出力し、サムネイルＭとして使用する画像データを読み出すようにしてもよい。

次に、本発明の第２の実施形態による関連映像推薦システムについて説明する。第１の実施形態では、付随する言語情報データが予め蓄積されているダイジェスト映像をダウンロードして視聴している場合を想定しているが、第２の実施形態では、ユーザが、生でリアルタイムに配信されているコンテンツや、放送番組を視聴している場合を想定する。つまり、テレビシステムに、視聴中のダイジェスト映像に対応したシーンの試合映像を自動的に表示させる機能を実装する。この場合、事前に言語情報データを蓄積しておくことができないため、音声認識装置などを利用してダイジェスト映像からリアルタイムに言語情報データを生成し、言語情報蓄積装置３へ送信する。以下、第１の実施形態との差分について説明する。

図１５は、本発明の第２の実施形態による関連映像推薦システムの機能ブロック図である。同図において、第１の実施形態との差分は、コンテンツ視聴装置１に代えてコンテンツ視聴装置１ａを、コンテンツ配信装置２に代えて放送局装置７を備えるとともに、ネットワーク９に音声認識装置８が接続されている点である。コンテンツ視聴装置１ａは、テレビジョン受信機であり、第１の実施形態のコンテンツ視聴装置１の機能部に加えて、放送局装置７から放送された映像データを受信する放送受信部１７を更に備える。音声認識装置８は、ダイジェスト映像の音声を認識し、認識した音声のテキストである言語情報データを生成する。

図１６は、第２の実施形態による関連映像推薦システムの処理概要を示す図である。なお、予め出場選手データ、スコアデータ、及び、試合映像データが蓄積されているものとする。同図において、ユーザＵは、コンテンツ視聴装置１ａによりスポーツニュースを視聴している。すなわち、コンテンツ視聴装置１ａの出力制御部１２は、放送受信部１７が放送局装置７から受信したスポーツニュース番組の番組映像データに基づき、画像を表示部１３に表示し、音声を音声出力部１４に出力している。

コンテンツ視聴装置１ａの出力制御部１２が、放送受信部１７を介して放送局装置７から配信される映像データとして、スポーツニュース中のダイジェスト映像データＤを受信し始めると（ステップＳ３０５）、検索要求部１５は、音声認識装置８にダイジェスト映像データから得られる音声データと、ダイジェスト映像データのデータ名から取得した試合特定情報を送信する（ステップＳ３１０）。音声認識装置８は、コンテンツ視聴装置１ａから受信した音声データにより示される音声を認識することにより、ダイジェスト映像に付加されたアナウンスコメントのテキストデータを生成する。音声認識装置８は、１文毎の音声のテキストデータ、あるいは、複数文をまとめた音声のテキストデータを言語情報データＣとして言語情報蓄積装置３へ送信する（ステップＳ３１５）。この言語情報データＣには、試合特定情報が含まれるデータ名が付与される。言語情報蓄積装置３の言語情報取得部３２は、音声認識装置８から受信した言語情報データＣを言語情報記憶部３３に書き込むとともに、シーン検索装置４へ送信する（ステップＳ３２０）。

ステップＳ３２５以降の処理は、図８に示す第１の実施形態のステップＳ１２０以降の処理と同様である。コンテンツ視聴装置１ａの出力制御部１２は、シーン検索装置４から受信した検索結果シーンリストＬ２内のサムネイルＨを表示部１３に表示させ、ユーザＵは、表示部１３に表示されている中から本編ハイライトシーンを表示させるサムネイルＨをリモートコントローラ等により選択する。これにより、コンテンツ視聴装置１ａの出力制御部１２は、選択されたサムネイルＨに対応する部分試合映像データを試合映像蓄積装置６から受信し、部分試合映像データに基づいた画像を表示部１３に表示するとともに、音声を音声出力部１４に出力する。これにより、ユーザＵは、ハイライトシーンをゆっくり視聴することが可能となる。

なお、上記においては、野球における投球毎にスコアデータを生成しているが、他のスポーツの場合、そのスポーツにおけるアクション毎に試合経過データを生成することができる。アクションには、例えば、バスケットボールにおけるターンオーバー、アメリカンフットボールにおけるダウン等がある。これにより、図１３のステップＳ２８５において、（１）のように、ダイジェスト映像のハイライトシーンの時刻よりも、分、秒などで表される所定時間だけ遡った時刻、経過した時刻を開始点及び終了点とするほか、（２）のように所定数だけ前のアクション、後のアクションを開始点及び終了点とすることができる。

なお、音声認識装置８は、コンテンツ視聴装置１ａ内に備えられることでもよく、言語情報蓄積装置３内に備えられることでもよい。
また、音声認識装置８は、放送局装置７から放送されるダイジェスト映像データを受信し、コンテンツ視聴装置１ａが送信した試合特定情報により特定されるダイジェスト映像データの音声を認識するようにしてもよい。

なお、上述のコンテンツ視聴装置１、１ａ、コンテンツ配信装置２、言語情報蓄積装置３、シーン検索装置４、試合データ蓄積装置５、試合映像蓄積装置６及び音声認識装置８は、内部にコンピュータシステムを有している。そして、コンテンツ視聴装置１、１ａの出力制御部１２及び検索要求部１５、コンテンツ配信装置２のコンテンツ配信部２２、言語情報蓄積装置３の言語情報取得部３２、シーン検索装置４の言語情報受信部４２、出場選手データ取得部４３、シーン検索要求部４４、関連シーン検索要求部４５、部分映像特定部４６及びシーン通知部４７、試合データ蓄積装置５の試合データ検索部５２、試合映像蓄積装置６の試合映像配信部６２、ならびに、音声認識装置８の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１、１ａ…コンテンツ視聴装置
１１、２１、３１、４１、５１、６１…通信部
１２…出力制御部
１３…表示部
１４…音声出力部
１５…検索要求部
１６…入力部
１７…放送受信部
２…コンテンツ配信装置
２２…コンテンツ配信部
２３…コンテンツ記憶部
３…言語情報蓄積装置
３２…言語情報取得部
３３…言語情報記憶部
４…シーン検索装置
４２…言語情報受信部
４３…出場選手データ取得部（キーワード候補データ取得部）
４４…シーン検索要求部
４５…関連シーン検索要求部
４６…部分映像特定部
４７…シーン通知部
５…試合データ蓄積装置
５２…試合データ検索部
５３…試合データ記憶部
６…試合映像蓄積装置
６２…試合映像配信部
６３…試合映像記憶部
７…放送局装置
８…音声認識装置
９…ネットワーク

Claims (6)

1. 試合映像に関する文を含む言語情報データを受信する言語情報受信部と、
   前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部と、
   前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれるキーワードと、当該キーワードに対応するシーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部と、
   前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部と、
   前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部と、
   を備えることを特徴とするシーン検索装置。
2. 前記シーン検索要求部は、シーン特定情報及びキーワードが検出された文については、検出された前記シーン特定情報及び前記キーワードをシーン検索条件とし、キーワードのみが検出された文については、前記文より前の文において最も近くに検出されたシーン特定情報、及び、前記キーワードをシーン検索条件とする、
   ことを特徴とする請求項１に記載のシーン検索装置。
3. 前記試合経過データは、前記シーンにおける試合状況の情報を含んでおり、
   前記シーン検索要求部による検索の要求の結果検出された前記試合経過データに含まれる前記試合状況の情報を関連シーン検索条件として、前記関連シーン検索条件が含まれる前記試合経過データの検索を前記試合データ蓄積装置に要求する関連シーン検索要求部をさらに備え、
   前記部分映像特定部は、前記関連シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する、
   ことを特徴とする請求項１または請求項２に記載のシーン検索装置。
4. 前記言語情報受信部は、コンテンツ視聴装置に出力されているダイジェスト映像に対応した前記言語情報データを受信する、
   ことを特徴とする請求項１から請求項３までのいずれかの項に記載のシーン検索装置。
5. 前記試合は野球の試合であり、
   前記シーン特定情報は、イニング情報であり、
   前記試合経過データに含まれる前記キーワードは打者の情報である、
   ことを特徴とする請求項１から請求項４までのいずれかの項に記載のシーン検索装置。
6. シーン検索装置として用いられるコンピュータを、
   試合映像に関する文を含む言語情報データを受信する言語情報受信部、
   前記試合映像に関するキーワード候補のリストを示すキーワード候補データを試合データ蓄積装置から読み出すキーワード候補データ取得部、
   前記言語情報受信部が受信した前記言語情報データに含まれる前記文から、前記キーワード候補データ取得部が取得した前記キーワード候補データに含まれるキーワードと、当該キーワードに対応するシーン特定情報とを検出し、検出された前記シーン特定情報及び前記キーワードをシーン検索条件として、前記試合映像中のシーンを特定するシーン特定情報と前記シーンにおけるキーワードと試合映像における前記シーンに対応する時刻情報とを関連付けた試合経過データの検索を前記試合データ蓄積装置に要求するシーン検索要求部、
   前記シーン検索要求部による検索の要求の結果検出された前記試合経過データの時刻情報が示すシーンを含む前記試合映像における開始点及び終了点を決定する部分映像特定部、
   前記部分映像特定部が決定した前記試合映像における前記開始点及び前記終了点を出力するシーン通知部、
   として機能させることを特徴とするプログラム。

Images