JP4487018B2 - 関連シーン付与装置及び関連シーン付与方法 - Google Patents

Description

本発明は、あるシーンに関連する情報の検索結果を他人と共有する際などに、検索結果に関連する動画コンテンツのシーンを、検索結果に付与することを支援する関連シーン付与装置及び関連シーン付与方法に関する。

近年、パーソナルコンピュータ（以下、「ＰＣ」という。）が多くの家庭に普及し、テレビを見ながらＰＣを操作するユーザが増加している。それに伴い、動画コンテンツ、例えば、現在放送中のテレビ番組を視聴しながら、そのテレビ番組に関連する情報をインターネットの検索エンジンを用いて検索するユーザが増加している。検索される情報としては、例えば、視聴している番組が旅行番組の場合には、現在表示されている場所やお店に関する情報である。また、クイズ番組の場合には、現在出題されているクイズの回答に関する情報である。さらに、動物番組の場合には、現在表示されている動物の名前やその動物を見ることができる場所に関する情報である。また、サッカー又は野球などのスポーツ番組の場合には、現在表示されている選手に関する情報に加え、動作又はルールに関する情報などである。

このように、視聴している番組のあるシーンをきっかけとして、ユーザがそのシーンに関連する情報の検索を開始した場合、検索結果に対して検索のきっかけとなったシーンを、他人と共有したりすること等が有効であると考えられる。

このような状況の中、従来、コンテンツに含まれる字幕情報を利用して、検索のきっかけとなったシーンを抽出するディジタル映像再生装置が提案されている（例えば、特許文献１参照）。このディジタル映像再生装置は、ユーザからコンテンツの録画要求を受けたとき、字幕文字データとその提示時刻情報とを対応付けたテーブルを作成する。また、ユーザから文字による映像検索指令を受けたときに、ディジタル映像再生装置は、前記テーブルを用いてユーザから入力された文字に関連する字幕文字を検索し、検索された字幕文字の提示時刻の映像を再生する。

特開２００４−８０４７６号公報

しかしながら、特許文献１に開示されているディジタル映像再生装置では、字幕情報を利用している。このため、字幕が含まれないコンテンツに対しては情報検索のきっかけとなった放送番組のシーンの抽出ができないという問題がある。例えば、上記サッカー又は野球などのスポーツ番組をはじめとする生放送の番組に対して字幕が付与されていることは、現状ではほとんど無い。このため、上述のディジタル映像再生装置の適用可能範囲は限定されてしまう。

また、上述のディジタル映像再生装置は、ユーザから入力された文字を基に検索を行う。このため、ユーザが情報検索のきっかけとなったシーンで表示されていたキーワードを把握し、それを入力する作業が必要となる。さらに入力したキーワードが複数の字幕で用いられていた場合、複数のシーンが検出されてしまう。このため、その数が多くなると検索結果も多くなる。よって、ユーザが欲しい情報検索のきっかけとなったシーンを探し出すためには手間を有してしまうという問題がある。

本発明は上記課題を解決するためになされたものである。コンテンツの各シーンに対して字幕等のテキストのタグが付与されていない場合等でも、ユーザが行った情報検索のきっかけとなったシーンを抽出することができる関連シーン付与装置、及び関連シーン付与方法を提供することを目的とする。

上記目的を達成するために、本発明の関連シーン付与装置は、検索結果に、検索に関連する画像データである関連シーンを関連付ける関連シーン付与装置であって、画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、ユーザが入力する検索条件に従って、情報を検索する情報検索実行部と、前記検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部と、前記情報検索実行部により検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部とを備える。

この構成によると、シーン付与対象検索結果との関連性が高く、かつ時間的に最も早い操作の履歴を特定することができる。つまり、シーン付与対象検索結果と同一の内容について検索を開始した操作の履歴を特定することができる。また、動画像データを視聴しながらユーザが検索を行う場合には、ユーザが検索した情報に関連するシーンは、ユーザが検索を開始した時刻周辺に存在すると考えられる。このため、検索を開始した操作の履歴を行なった時刻周辺の画像データを関連シーンとして抽出する。これにより、情報検索のきっかけとなった関連シーンの抽出を行うことができる。

なお、本発明は、このような特徴的な処理部を備える関連シーン付与装置として実現することができるだけでなく、関連シーン付与装置に含まれる特徴的な処理部をステップとする関連シーン付与方法として実現することができる。また、関連シーン付与方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体や、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。

以上のように本発明による関連シーン付与装置によれば、各シーンにテキスト情報などのシーンに関する情報が付与されていない動画コンテンツに対しても、情報検索のきっかけとなったシーンの抽出が可能となる。さらに本発明によるシーン付与装置においてはシーンの抽出のためだけにキーワードを入力する必要が無い。このため、ユーザが情報検索結果に関連シーンを付与する負担を軽減することができる。

図１は、本発明の実施の形態１における検索システムの構成を示す外観図である。 図２は、本発明の実施の形態１における検索システムの構成を示すブロック図である。 図３は、本発明の実施の形態１におけるユーザの操作手順を示すフローチャートである。 図４は、本発明の実施の形態１における関連シーン付与装置が実行する処理のフローチャートである。 図５は、本発明の実施の形態１における操作履歴情報の一例を示す図である。 図６Ａは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｂは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｃは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図６Ｄは、本発明の実施の形態１における関連シーン付与装置の出力画面の一例を示す図である。 図７は、本発明の実施の形態１における検索起点時刻推定部の詳細な構成を示す機能ブロックである。 図８は、本発明の実施の形態１における検索起点推定処理の詳細なフローチャートである。 図９は、本発明の実施の形態１における類似度記憶部に記憶される類似度情報の一例を示す図である。 図１０は、本発明の実施の形態１における関連シーン付与装置の出力画面一例を示す図である。 図１１Ａは、本発明の実施の形態１における共有テレビの出力画面の一例を示す図である。 図１１Ｂは、本発明の実施の形態１における共有テレビの出力画面の一例を示す図である。 図１２は、本発明の実施の形態１における類似度記憶部に記憶される類似度情報の一例を示す図である。 図１３は、本発明の実施の形態２における検索システムの構成を示すブロック図である。 図１４は、本発明の実施の形態２における関連シーン抽出処理の詳細なフローチャートである。 図１５は、本発明の実施の形態２における関連シーン付与装置の出力画面の一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本実施の形態では、ユーザがＰＣや携帯電話などインターネット上に存在する検索サーバにアクセスする。このことにより情報検索が可能な装置（以下、「情報検索装置」という。）を用いて、テレビ番組を視聴中にあるシーンをきっかけとした情報検索を行う場合を想定する。本実施の形態では、情報検索装置による情報検索結果を共有テレビに表示して他人と共有する際に、情報検索のきっかけとなったテレビ番組のシーンを推定する方法について説明する。また、推定したシーンを情報検索結果に付与する作業を支援する方法について説明する。例えば、家族でサッカー中継番組を視聴中に、オフサイドがあった場合に、ユーザが直ちにオフサイドについて検索を行う場合を考える。このような状況において、オフサイドに関する検索結果と、オフサイドのシーンとを関連付けるための検索システムについて説明する。

図１は、本発明の実施の形態１における検索システムの構成を示す外観図である。同図に示すように、検索システムは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のコンピュータネットワーク１６０２を介して相互に接続された、関連シーン付与装置１００と、共有テレビ１１４と、携帯端末１６０１とを含む。

図２は、本発明の実施の形態１における検索システムの構成を示すブロック図である。

検索システムは、情報検索を行い、情報検索結果を、情報検索のきっかけとなったテレビ番組のシーンに付与して表示するシステムであり、関連シーン付与装置１００と、共有テレビ１１４と、携帯端末１６０１とを含む。

関連シーン付与装置１００は、情報検索を行い、情報検索結果を、情報検索のきっかけとなったテレビ番組のシーンに付与する装置である。関連シーン付与装置１００は、入力部１０１と、情報検索実行部１０２と、検索結果記憶部１０３と、操作履歴収集部１０４と、操作履歴記憶部１０５と、タイマー１０６とを含む。検索起点時刻推定部１０７と、関連シーン付与装置１００は、さらに、関連シーン抽出部１０８と、画像取得部１０９と、画像記憶部１１０と、検索結果出力部１１１と、出力部１１２と、検索結果送信部１１３とを含む。

関連シーン付与装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、通信インタフェース等を備える一般的なコンピュータにより構成される。そして、ＣＰＵ上で関連シーン付与装置１００が備える各処理部を実現するためのプログラムを実行することにより、各処理部が機能的に実現される。また、各記憶部は、メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）により実現される。

入力部１０１は、ボタン、タッチパネル又は十字キーなどユーザからの入力を受け付ける処理部である。情報検索実行部１０２は、インターネット上に存在する検索サーバにアクセスすることにより情報検索を実行する処理部である。検索結果記憶部１０３は、情報検索実行部１０２での情報検索結果を記憶する記憶装置である。ここで、検索結果記憶部１０３に記憶される検索結果は、ユーザがシーン付与を行うことを指定した検索結果である。操作履歴収集部１０４は、情報検索実行部１０２で行われた情報検索の操作履歴を収集する処理部である。つまり、操作履歴収集部１０４は、ユーザが検索時に入力したキーワード、選択した項目に含まれる単語、選択項目が示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、及びユーザの指示などの操作に関する履歴を収集する。操作履歴記憶部１０５は、操作履歴収集部１０４により収集された操作履歴を記憶する記憶装置である。タイマー１０６は、現在の時刻を取得する処理部である。

検索起点時刻推定部１０７は、ユーザによる情報検索が開始された時刻を推定する処理部である。つまり、検索起点時刻推定部１０７は、検索結果記憶部１０３中の検索結果と操作履歴記憶部１０５中の操作履歴とを用いて、検索結果記憶部１０３に記憶されている検索結果に対応する情報検索を開始した検索開始操作を推定する。また、検索起点時刻推定部１０７は、その検索開始操作が実行された時刻を用いて検索結果に対応する情報検索を開始した時刻を推定する。このように、検索起点時刻推定部１０７は、ユーザによって特定された検索結果を得るために入力した検索条件の履歴から、その検索結果を得ることを目的にユーザが検索条件の入力を開始した時刻を推定する。

関連シーン抽出部１０８は、検索起点時刻推定部１０７で推定された情報検索が開始された時刻周辺のシーンを、検索結果記憶部１０３に記憶されている検索結果と関連があるシーンとして、画像記憶部１１０から抽出する処理部である。本実施の形態では、動画のコンテンツを想定しているが、静止画のコンテンツに対しても同様の処理が可能である。画像取得部１０９は、検索のきっかけとなる動画を取得する処理部である。画像取得部１０９が取得する動画は、放送されているテレビ番組コンテンツ又は蓄積された動画コンテンツである。画像記憶部１１０は、画像取得部１０９で取得した動画像データと、その再生時刻とを記憶する記憶装置である。

検索結果出力部１１１は、検索結果記憶部１０３に記憶されている検索結果と関連シーン抽出部１０８で抽出された関連シーンとを合成し、合成した結果を出力部１１２に出力する処理部である。出力部１１２は、検索結果出力部１１１から出力された結果を表示するディスプレイなどの表示装置である。検索結果送信部１１３は、検索結果出力部１１１で作成された検索結果と関連シーンとを合成した結果のデータを外部の機器に送信する処理部である。

共有テレビ１１４は、検索結果送信部１１３より送信されたデータを受信し、受信したデータを表示可能なテレビである。例えば、共有テレビ１１４は、リビングルームに設置された大型テレビ等である。共有テレビ１１４が関連シーン付与装置１００により関連シーンが付与された検索結果のデータを表示することにより、複数のユーザ間で情報を共有することが可能となる。

携帯端末１６０１は、検索結果送信部１１３より送信されたデータを受信し、受信したデータを表示可能な携帯端末である。例えば、携帯端末１６０１は、ユーザが携帯して持ち運びしながら利用する機器であり、携帯電話機等である。

このように構成された関連シーン付与装置１００の一例として、以下の処理を説明する。つまり、当該処理では、ユーザが、共有テレビ１１４で視聴しているシーンをきっかけに行った検索に対して、きっかけとなったシーンを、操作履歴及び前記検索の結果から推定する。また、推定されたシーンが検索の結果に付与して共有テレビ１１４に送信される。

図３は、ユーザの操作手順を示すフローチャートである。図４は、関連シーン付与装置１００が実行する処理のフローチャートである。

本実施の形態においては、ユーザが共有テレビ１１４で視聴している番組の動画コンテンツは、画像取得部１０９によって取得され、画像記憶部１１０に記憶されているものとする。なお、図２においては、画像取得部１０９及び画像記憶部１１０が、関連シーン付与装置１００内に設けられているが、これに限定されるものではない。例えば、動画コンテンツが外部の録画機器に記憶されており、関連シーン抽出部１０８は、その録画機器に記憶されている動画コンテンツからシーンを抽出するようにしてもよい。

ユーザは、入力部１０１を用いて、テレビのあるシーンをきっかけにして情報検索の指示を関連シーン付与装置１００に対して行う（Ｓ３０１）。例えば、ユーザは、旅行番組を視聴している場合には、現在表示されている場所やお店に関する情報の検索指示を行う。また、ユーザは、クイズ番組を視聴している場合には、現在出題されているクイズの回答に関する情報の検索指示を行う。さらに、ユーザは、動物番組を視聴している場合には、現在表示されている動物の名前又は動物を見ることができる場所に関する情報の検索指示を行う。また、ユーザは、サッカー若しくは野球などのスポーツ番組を視聴している場合には、現在表示されている選手に関する情報、又は選手の動作若しくはルールに関する情報の検索指示を行う。本実施の形態では、サッカーを視聴中に「オフサイド」があり、「オフサイド」のルールについて、インターネット上に存在する検索サーバにアクセスすることにより情報を検索する場合を想定する。

情報検索指示（Ｓ３０１）に対して、関連シーン付与装置１００の情報検索実行部１０２は、検索処理を実行する。また、操作履歴収集部１０４は、ユーザによる情報検索の操作履歴を操作履歴記憶部１０５に記憶する（Ｓ４０１）。なお、ユーザは、テレビのシーンをきっかけとして情報検索を行う場合だけでなく、単に興味のある情報について情報検索を行う場合もある。そこで、操作履歴収集部１０４は、情報検索実行部１０２で行われる情報検索の操作をすべて、操作履歴記憶部１０５に記憶する。なお、操作履歴記憶部１０５の容量を超えないように、記憶された操作履歴は、例えば１日の終わりの時刻や、一定時間以上ユーザの操作履歴が無かったタイミングで消去するようにしてもよい。また、古い操作履歴から順に消去するようにしてもよい。

図５に操作履歴記憶部１０５に記憶される操作履歴情報の一例を示す。操作履歴情報は、操作番号５０１と、操作時刻５０２と、表示ＵＲＬ５０３と、検索単語５０４と、選択項目５０５と、その他の操作５０６とからなる操作履歴を含む。

操作番号５０１は、操作履歴を特定するための番号であり、操作時刻５０２の古いものから昇順に番号が付されているものとする。操作時刻５０２は、ユーザが入力部１０１を利用して関連シーン付与装置１００に対して操作を行なった時刻を示す情報である。表示ＵＲＬ５０３は、操作の時点で出力部１１２に表示されているＷｅｂページのＵＲＬを示す情報である。検索単語５０４は、ユーザが入力した検索単語を示す情報である。検索単語は、ユーザが入力部１０１のキーボード又はボタンを用いて入力したものでも良いし、関連シーン付与装置１００が提示した検索用キーワードでも良い。選択項目５０５は、他のＵＲＬのＷｅｂページへ遷移するために、出力部１１２に表示された検索結果の一覧又はＷｅｂページの中からユーザが選択した項目を示す情報である。その他の操作５０６は、検索を実行するための検索実行操作、１つ前のＷｅｂページに戻るための戻る操作、新規にウィンドウを作る操作など、情報検索実行部１０２が受け付け可能な操作を示す情報である。

例えば、図５に示す操作履歴情報で示される操作をユーザが行なった際に、共有テレビ１１４では、サッカーの試合の映像が放映されていたものとする。また、図５に示す操作履歴の具体例は以下の状況下で作成されたものとする。つまり、ユーザはまず、共有テレビ１１４で放送されている内容と関係のない自分の興味がある事項である、「木村拓真」が出演しているドラマについての検索を行っていた。また、ユーザは、その検索結果について閲覧を行っていた。その後、共有テレビ１１４で放送されていたサッカーの試合において「オフサイド」があり、「オフサイド」の説明を家族から要求されたため、「オフサイド」の説明を行うため「オフサイド」に関する検索を開始している。

オフサイドに関する情報検索を行った際の画面例を図６Ａ〜図６Ｄに示す。ユーザは、まず、図６Ａに示すようなキーワード入力型の検索入力受け付けページに「オフサイド」というキーワードを入力する（図５の操作番号７）。検索の結果、図６Ｂに示すような検索結果が表示される。検索結果の中からユーザは「オフサイド（サッカー）−Ｗｉｋｅ」という選択項目（リンク）を選択する（図５の操作番号８）。選択の結果、図６Ｃに示すようなページが表示される。ユーザは、このページを、共有テレビ１１４に表示させることにより複数のユーザ間で共有するか否かを吟味する。しかし、ユーザは、このページは共有には適さないと判断し、前の検索結果が表示されていた画面（図６Ｂ）に戻るための操作を行なう（図５の操作番号９）。そして、ユーザは、図６Ｂに示されている検索結果の中から「ルールブック（オフサイド）」を選択し直す（図５の操作番号１０）。選択の結果、図６Ｄに示されるようなページが表示される。ユーザは、このページを吟味した結果、このページを複数のユーザ間で共有することを決定し、関連シーン付与の要求を関連シーン付与装置１００に対して行う。

なお、例えば、検索単語又は選択項目である「オフサイド」は、キーボードやテンキーを使った入力となる場合もある。そのため、日本語では「ｏ，ｆ，ｕ，ｓ，ａ，ｉ，ｄ，ｏ」のようなローマ字入力になる場合もあるが、本実施の形態では、操作として意味のある区切りにより入力単位を決定し、図５のような履歴を生成するものである。

ユーザは共有したい、すなわち関連シーンを付与したい検索結果を決定する（以下、「シーン付与対象検索結果」という。）（Ｓ３０２）。ユーザから関連シーン付与装置１００への関連シーン付与の要求は、出力部１１２に検索結果が表示されている状態で、入力部１０１を用いて所定の操作を行なうことにより行われる。

ユーザからの関連シーン付与要求（Ｓ３０２）に対して、情報検索実行部１０２は、シーン付与対象検索結果を検索結果記憶部１０３に記憶する（Ｓ４０２）。次に、検索起点時刻推定部１０７は、シーン付与対象検索結果に対する検索を開始した時刻（以下、「検索起点時刻」という。）を、シーン付与対象検索結果に対する検索を開始した操作（以下、「検索起点」という。）を基に推定する（Ｓ４０３）。そして、関連シーン抽出部１０８は、検索起点時刻に基づいて、画像記憶部１１０から関連シーンを抽出する（Ｓ４０４）。

この検索起点推定処理（Ｓ４０３）では、ユーザの操作履歴から、ユーザが、シーン付与対象検索結果に対する検索と同一事項の検索を行っているか否かを判断し、判断結果を検索起点の推定に利用する。つまり、検索起点時刻推定部１０７は、シーン付与対象検索結果とユーザが検索の際に入力若しくは閲覧した情報とが近い場合、ユーザが互いに同一の内容の検索を行っているという特徴を利用して検索起点を推定する。また、ユーザが検索の際に入力若しくは閲覧した情報同士が近い場合にも、ユーザが互いに同一の内容の検索を行っているという特徴を利用して検索起点を推定する。この処理について、以下に詳細に説明する。

図７は、検索起点時刻推定部１０７の詳細な構成を示す機能ブロックである。図８は、検索起点時刻推定部１０７が実行する検索起点推定処理（図４のＳ４０３）の詳細なフローチャートである。

図７に示すように、検索起点時刻推定部１０７は、テキストコーパス収集部７０１と、単語情報記憶部７０２と、単語類似度計算部７０３と、ページ情報収集部７０４と、ページ類似度計算部７０５と、検索状態判定部７０６とを含む。

テキストコーパス収集部７０１は、単語間の意味的類似度の定量化に利用するためのテキストコーパスを収集し、単語間又は単語−文書間の類似度を計算するための情報を作成する処理部である。単語情報記憶部７０２は、テキストコーパス収集部７０１で作成された類似度が計算するための情報を記憶する記憶装置である。単語類似度計算部７０３は、単語情報記憶部７０２に記憶されている情報を用いて、単語間又は単語−文書間の類似度を計算する処理部である。

ページ情報収集部７０４は、ユーザが閲覧したページの情報又はシーン付与対象検索結果に関係のあるページの情報を収集する処理部である。ページ類似度計算部７０５は、ページ情報収集部７０４で収集されたページ情報を基に、指定されたページ間の類似度を計算する処理部である。検索状態判定部７０６は、操作履歴とシーン付与対象検索結果とに基づいて、操作間で同一事項の検索を行っているか否かの判定を行う処理部である。類似度記憶部７０７は、前記同一事項の検索を行っているか否かの判断に利用する情報を記憶する記憶装置である。検索起点推定部７０８は、検索状態判定部７０６での判定結果を用いて検索起点及び検索起点時刻を推定する処理部である。

ここで、テキストコーパス収集部７０１による類似度を計算するための情報の作成処理について詳細に説明する。なお、テキストコーパス収集部７０１による処理は、関連シーン付与装置１００による関連シーンの付与処理とは別に実行される。

テキストコーパス収集部７０１は、多量の文書を収集し、その中から名詞や動詞といった検索で利用するのに有用な単語（以下、「索引語」という。）を抽出する。そして、テキストコーパス収集部７０１は、抽出した索引語と各文書とを行列で表現した索引語・文書行列に対して特異値分解を行うことにより、次元圧縮を行った行列を作成する。次に、テキストコーパス収集部７０１は、次元圧縮された行列を利用して索引語と文書とを圧縮した次元のベクトルで表現することにより、索引語ベクトルと文書ベクトルとをそれぞれ算出し、これらを単語情報記憶部７０２に記憶する。

前記圧縮した行列を基に作られる索引語ベクトル又は文書ベクトルを用いて、索引語間の意味的距離を求めることにより、意味的類似度に基づいた索引語からの文書の検索が可能となる。これらの技術は潜在的意味解析（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓ；ＬＳＡ）又は潜在的意味インデキシング（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇ；ＬＳＩ）と呼ばれる（参考非特許文献：日本知能情報ファジィ学会誌 Ｖｏｌ．１７，Ｎｏ．１ ｐ．７６（２００５），情報検索アルゴリズム（共立出版） ｐ．６５（２００２））。この手法により、単語間又は単語−文書間の意味的類似度を定量化できると共に、検索時の計算速度の向上が図れる。

なお、前記ＬＳＡ及びＬＳＩでは、より意味的な類似度を表現可能にするとともに、検索時の計算速度を向上させるために、次元圧縮を行っている。しかし、次元圧縮を行わなくとも単語間又は単語−文書間の類似度は定量化できる。このため、次元圧縮を行わない状態でベクトルを作成し、そのベクトルに基づいて類似度を計算しても良い。また、単語間の意味的類似度を求める方法としては、この他に、予めユーザが意味的類似度を作成する方法や、シソーラスなどの辞書を利用して意味的類似度を算出する方法であっても良い。例えば、単語間の意味関係が階層構造で表現されているシソーラスを用いた場合には、単語間のリンク数等により単語間の距離を定義することが可能である。

なお、テキストコーパス収集部７０１が収集する文書は、予めシステム開発者が用意した一般的な文書集合でも良いが、これに限定されるものではない。例えば、テキストコーパス収集部７０１は、シーン付与対象検索結果を基に関連文書を検索することにより得られる、シーン付与対象検索結果との間の類似度の高いページから得られる文書集合を収集してもよい。また、ユーザが一定期間内に閲覧したページから得られる文書集合を収集してもよい。これらの特殊な文書集合から単語間の意味的類似度を計算するのに必要な行列を作成するほうが、ユーザの実際の検索時における単語間の距離を正確に表現できる。このため、検索起点推定部７０８は、より精度よく検索起点が推定可能となる。予めシステム開発者が用意した一般的な文書集合を利用する場合には、上記単語間の意味的類似度を計算するのに必要な行列の作成は一度行うだけでよい。これに対して、シーン付与対象検索結果に基づいてテキストコーパスを取得する場合には、当該行列をその都度作成する必要がある。

また、テキストコーパスとして、例えばＷｅｂ等から取得されるテキストコーパスを用いることにより、自動的に単語間の距離を定義することが可能である。ニュース番組又は時事問題に関する検索時には、その時流行している固有名詞が利用されることが多い。そこで、ニュース番組又は時事問題に関するジャンルの番組放送中の検索履歴を利用して検索起点を特定する場合には、Ｗｅｂ等のテキストコーパスを利用して、上記行列を作成する方が適している場合もある。一方で、教育番組等のジャンルの動画に対する検索履歴を利用して検索起点を特定する場合には、新たな単語が出現する可能性が低い。このため、あらかじめ構築されているシソーラス等の辞書を利用して、上記行列を作成することもできる。さらには、録画番組の再生中である場合には、その録画番組が録画された日付の情報を利用して、その日時に利用されていたテキストコーパスを利用して、上記行列を作成することも考えられる。

次に、図８を用いて、検索起点推定処理（図４のＳ４０３）の詳細について説明する。

検索状態判定部７０６は、検索状態を判定する対象となる操作履歴に関する情報を取得する（Ｓ８０２）。つまり、検索状態判定部７０６は、操作履歴記憶部１０５に記憶されている図５に示すような操作履歴情報の中から、検索単語の入力又は選択項目の選択が行われている操作履歴を選択する。検索状態判定部７０６は、選択した操作履歴のうち、シーン付与対象検索結果を決定した操作に最も時間的に近い過去の操作履歴から、入力又は選択された単語集合を取得する。前述の操作履歴は、図５の操作番号５０１に示される操作履歴番号が最も近い操作履歴として示される。また、前述の単語集合は、図５に示す具体例においては操作番号１０の「ルールブック（オフサイド）」で示される。

検索状態判定部７０６は、シーン付与対象検索結果を決定した操作に関する情報と、操作履歴情報取得処理（Ｓ８０２）で取得された検索状態を判定する操作履歴に関する情報とを比較する（Ｓ８０３）。つまり、検索状態判定部７０６は、検索結果記憶部１０３に記憶されているシーン付与対象検索結果を取得し、検索結果に含まれるテキスト情報を抽出する。検索状態判定部７０６は、単語類似度計算部７０３に、抽出したテキスト情報を前記次元圧縮した行列を用いてベクトル化させる。このベクトル化の結果、生成されるベクトルを、「検索結果ベクトル」という。同様に、検索状態判定部７０６は、単語類似度計算部７０３に、操作履歴情報取得処理（Ｓ８０２）で取得した単語集合を前記次元圧縮した行列を用いてベクトル化させる。このベクトル化の結果、生成されるベクトルを、「入力単語ベクトル」という。検索状態判定部７０６は、単語類似度計算部７０３に、入力単語ベクトルと検索結果ベクトルとの類似度を求めさせ、求められた類似度を類似度記憶部７０７に記憶する。なお、ベクトル間の類似度の求め方は、例えば文書検索においてよく用いられているコサイン尺度（２つのベクトルのなす角度）や内積を利用する。

図９に、検索状態判定部７０６により計算され、類似度記憶部７０７に記憶される類似度情報の一例を示す。類似度情報は、操作番号９０１と、操作時刻９０２と、検索単語９０３と、選択項目９０４と、第１類似度９０５と、第２類似度９０６とからなる類似度履歴を含む。

ここで、操作番号９０１、操作時刻９０２、検索単語９０３及び選択項目９０４は、図５に示した操作履歴の操作番号５０１、操作時刻５０２、検索単語５０４及び選択項目５０５にそれぞれ対応している。第１類似度９０５は、操作履歴毎に、検索結果ベクトルと検索単語９０３又は選択項目９０４に示される単語集合によって作成される入力単語ベクトルとの類似度を示す。第２類似度９０６は、一つ前の操作履歴（時間的には一つ後の操作履歴）に含まれる入力単語ベクトルと、検索単語９０３又は選択項目９０４に示される単語集合によって作成される入力単語ベクトルとの類似度を示す。上記比較処理（Ｓ８０３）では、第１類似度を算出するものとしたが、第１類似度の算出と合わせて、又は第１類似度の算出に代えて、第２類似度を算出するようにしてもよい。

次に、検索状態判定部７０６は、検索結果ベクトルと入力単語ベクトルの類似度（第１類似度）が閾値以下か否かを判断する（Ｓ８０３）。第１類似度が閾値より大きい場合には（Ｓ８０３でＮＯ）、シーン付与対象検索結果に対する検索と同一事項の検索が続いていると判断する。そして、検索状態判定部７０６は、次に検索状態を判定する対象となる操作履歴に関する情報を取得する（Ｓ８０２）。つまり、検索状態判定部７０６は、操作履歴記憶部１０５に記憶されている操作履歴情報の中から、検索単語の入力又は選択項目の選択が行われている操作履歴を対象とする。検索状態判定部７０６は、対象とされた操作履歴のうち、１回前の操作履歴情報取得処理（Ｓ８０２）で単語集合の取得の対象とした操作履歴に最も時間的に近い過去の操作履歴を選択する。検索状態判定部７０６は、選択した操作履歴から、入力又は選択された単語集合を取得する。図５に示す具体例においては操作番号８の「オフサイド（サッカー）」が取得される。

第１類似度が閾値以下の場合には（Ｓ８０３でＹＥＳ）、シーン付与対象検索結果に対する検索と同一事項の検索が終了したと判断される。このため、検索起点推定部７０８は、以下に述べる方法により、検索起点を決定することにより、検索起点時刻を決定する（Ｓ８０４）。

例えば、図９の例では、閾値を０．５とすると、操作番号１０から操作番号７における第１類似度９０５は、閾値よりも大きい（Ｓ８０３でＮＯ）。そのため、操作番号１０から操作番号７における操作においては、シーン付与対象検索結果に対する検索と同一事項の検索が続いてと判断される。また、操作番号５で示される操作において「チェンジ」という選択項目を選んだ際に、第１類似度９０５が初めて閾値以下となっている（Ｓ８０３でＹＥＳ）。このため、シーン付与対象検索結果に対する検索と同一事項の検索が終了したと判断される。

次に、検索起点時刻決定処理（Ｓ８０４）について詳細に説明する。検索起点推定部７０８は、比較処理（Ｓ８０３）においてシーン付与対象検索結果に対する検索と同一事項を検索していると判定された操作履歴の中で、操作番号が最も小さな操作履歴（時間的に最も古い操作履歴）を検索起点とする。より具体的には図９において、第１類似度が閾値よりも大きい場合の操作履歴は同一事項を検索していると判断される。閾値を０．５とした場合には同一事項を検索している操作履歴は操作番号１０から操作番号７で示される操作履歴である。検索起点推定部７０８は、このうち、最も操作履歴番号が小さな操作番号７の操作履歴を検索起点と推定する。検索起点推定部７０８は、検索起点の操作が実行された時刻を検索起点時刻として決定する。検索起点時刻は、検索起点に対応する操作履歴に含まれる操作時刻９０２のことである。上述の例では、操作番号７の操作履歴が操作起点であるので、その操作履歴に含まれる操作時刻９０２である「２０：２１：２０」が検索起点時刻とされる。

上記のようにして検索起点時刻を決定した後（図４のＳ４０３、図８）、関連シーン抽出部１０８は、画像記憶部１１０より検索起点時刻におけるシーンを抽出する（Ｓ４０４）。ここで、関連シーン抽出部１０８は、検索起点時刻から長さΔｔだけ前の動画情報を関連シーンとして抽出する。つまり、関連シーン抽出部１０８は、（検索起点時刻−Δｔ）〜（検索起点時刻）の範囲に含まれる動画情報を関連シーンとして抽出する。Δｔは、システム開発者が予め決定しておいた一定値を利用する。なお、Δｔは、可変とし、ユーザに設定させるようにしてもよい。

検索結果出力部１１１は、関連シーン抽出部１０８で抽出された長さΔｔの関連シーンと、シーン付与対象検索結果とを合成し、合成した結果を出力部１１２に出力する（Ｓ４０５）。図１０は、出力部１１２が出力する画面の一例を示す図である。ここで、画面上には、シーン付与対象検索結果１００１と、関連シーン１００２とが合成されて表示されている。また、画面上には、さらに、関連シーン１００２が付与された検索結果を他の端末に送る際に利用するアイコン群１００３と、メニューボタン１００６とが表示されている。前述のメニューボタン１００６は、他の端末に送る際に送り先の端末でどのような表示の仕方をするかを指定するためのボタンである。

ユーザが、検索結果を他の端末に送りたいと判断した場合には、ユーザは、アイコン群１００３に含まれるいずれかのアイコン（アイコン１００４又は１００５）と、メニューボタン１００６とを押下する。この操作により、ユーザは、関連シーンが付された検索結果を送信する要求を、検索結果送信部１１３に対して行う（Ｓ３０３）。

検索結果送信部１１３は、ユーザの要求（Ｓ３０３）に基づき、関連シーンが付与された検索結果を、指定された送信先に送信する（Ｓ４０６）。例えば、ユーザは、関連シーンが付与された検索結果の送信操作について、例えば、図１０に示された画面上に表示されたアイコン群１００３を利用して行う。ユーザは、検索結果を、共有テレビ１１４に送信したい場合には、アイコン１００４を選択し、ＰＣや携帯電話などの他の携帯端末１６０１に送信したい場合には、アイコン１００５を選択する。また、動画コンテンツが放送・再生されている端末へ関連シーンが付与された検索結果を送信する場合、端末上で表示されている動画コンテンツが見えなくなってしまうと困る場合がある。そこで、ユーザが、アイコン１００４又は１００５を選択した際に、出力部１１２は、画面にメニューボタン１００６を表示し、送信後の表示方法について選択を可能とする。例えば、ユーザがメニューボタン「全画面」を選択した場合は、検索結果送信部１１３は、送信先の端末の画面を全て利用して、関連シーンが付与された検索結果を送信先の端末の画面に表示させるためのデータを送信する。一方、ユーザがメニューボタン「マルチ画面」を選択した場合は、検索結果送信部１１３は、送信先の端末の画面で再生又は放送されている動画コンテンツを一部表示したまま、関連シーンが付与された検索結果を送信先の端末の画面に表示させるためのデータを送信する。この画面例を図１１Ａ及び図１１Ｂに示す。図１１Ａは、図１０に示す画面上に表示されたメニューボタン１００６のうち、メニューボタン「全画面」をユーザが選択した際の送信先端末の表示画面例を示す図である。送信先端末の画面には、関連シーン付与装置１００が送信した関連シーンが付与された検索結果のみが表示される。一方、図１１Ｂは、図１０に示す画面上に表示されたメニューボタン１００６のうち、メニューボタン「マルチ画面」をユーザが選択した場合の表示画面例を示す図である。送信先端末の画面には、複数の画面が表示されている。つまり、送信先端末の画面には、送信先端末で再生又は放送されている動画コンテンツの表示画面１１０１と、これまでにこの送信先端末に送信された関連シーンが付与された検索結果を含む画面１１０２とが表示されている。なお、画面１１０２に含まれる関連シーンが付与された検索結果は、検索結果毎に検索起点時刻１１０３が合わせて表示されている。なお、検索起点時刻１１０３以外にも、検索結果の送信者に関する情報を合わせて表示するようにしてもよい。図１１Ｂのような表示方法を行うことにより、現在視聴中の動画コンテンツを邪魔することなく検索結果を複数のユーザで共有することができる。それに加えて、以前共有した結果についても、簡単に、再度共有することが可能となる。これにより例えば、はじめの共有の際にその場に居なかったユーザに対する説明が簡単に行える。また、図１１Ａの表示方法では上記で述べたように現在視聴中の動画コンテンツが見えなくなる。そこで、図１０に示す画面においてメニューボタン「全画面」をユーザが押すと、さらに、メニューボタン「今すぐ表示」「後に表示」が現れる制御を行っても良い。その後、ユーザがメニューボタン「後に表示」を選択すると、次のＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）の放送時に、検索結果が送信先端末に表示されるような制御を行っても良い。

図１は、関連シーンが付与された検索結果の表示例を示す図である。同図に示すように、関連シーン付与装置１００で検索された結果とその関連シーンとが、コンピュータネットワーク１６０２を介して共有テレビ１１４及び携帯端末１６０１に送信され、表示されている。

以上、説明したように本実施の形態に係る関連シーン付与装置１００は、検索のきっかけとなった動画コンテンツの関連シーンを、ユーザの情報検索の操作履歴及び各シーンに対する情報検索結果を用いて抽出している。このため、各シーンにテキスト情報が付与されていない動画コンテンツに対しても、関連シーンを抽出することができる。また、関連シーンの抽出のためだけにキーワードを入力する必要が無い。このため、ユーザが情報検索結果に関連シーンを付与する負担を軽減することができる。

なお、比較処理（Ｓ８０３）における同一事項の検索が終了したか否かの判断では、ユーザが入力もしくは選択した単語集合から生成される入力単語ベクトルとシーン付与対象検索結果から作成される検索結果ベクトルとの類似度である第１類似度を用いた。しかし、ユーザがシーン付与対象検索結果と同一事項を検索しているか否かの判断はこの方法に限られるものではない。例えば、第１類似度の代わりに、シーン付与対象検索結果を得るために入力された検索キーワードを、入力単語ベクトルを生成するのと同様の方法によりベクトル化した検索キーワードベクトルと、入力単語ベクトルとの類似度を用いてもよい。

また、以下に、本構成で実施可能な他の判定方法として３つの変形例を示す。

（変形例１）
変形例１では、比較処理（図８のＳ８０３）において、検索状態判定部７０６は、上述した第２類似度を用いて、ユーザが同一事項を検索しているか否かについて判断する点が実施の形態１と異なる。つまり、変形例１では、同一事項を検索している間は、入力又は選択している単語間の類似度が高いという特徴を利用する。この特徴を利用して、検索状態判定部７０６は、隣接する操作履歴における入力単語ベクトル同士の比較を行うことにより、上述した第２類似度を算出する。第２類似度が閾値よりも大きい場合には、隣接する操作履歴間で同一事項を検索していると判断する。例えば、図９に示す類似度情報の具体例で、操作番号８について検索状態を判定する場合を考える。検索状態判定部７０６は、時間的に１つ後の操作番号１０における入力である「ルールブック（オフサイド）」の入力単語ベクトルと、操作番号８における入力である「オフサイド（サッカー）」の入力単語ベクトルとの類似度である第２類似度を計算する。そして、第２類似度を第２類似度９０６に記憶する。検索状態判定部７０６は、計算された第２類似度と閾値とを比較することにより、同一事項を検索しているか否かについて判断する。例えば、操作番号８及び７における検索状態においては、第２類似度が閾値よりも大きくなっているが、操作番号５における検索状態において、第２類似度が閾値以下となっているとする。この場合、操作番号８及び７においては同一事項を検索しているが、操作番号５になると別事項を検索していたことが分かる。このため、最も時間的に古い操作番号７が検索起点となる。

なお、変形例１では、隣接する入力単語ベクトル同士を比較する方法について述べたが、これに限定されるものではない。例えば、シーン付与対象検索結果が表示されたが、表示された時刻の直前の操作履歴における入力単語ベクトルと他の入力単語ベクトルとの類似度を閾値と比較することにより、同一事項を検索しているか否かの判断を行ってもよい。

このように、入力単語ベクトルのみを利用して同一事項を検索しているか否かを判断することにより、シーン付与対象検索結果を解析し、ページ全体を表現する検索結果ベクトルを作成する処理を必要としない。そのため、計算処理の削減が可能となる。

（変形例２）
変形例２では、ユーザが同一事項を検索しているか否かについて判断する手法が実施の形態１と異なる。より具体的には、比較処理（図８のＳ８０３）において、検索状態判定部７０６が、同一事項を検索している間は、閲覧しているページのテキストに含まれる単語の類似度が高いという特徴を利用して前述の判断を行う。つまり、検索状態判定部７０６は、隣接する閲覧ページ同士の比較を行うことにより、隣接する閲覧ページ間の類似度を算出し、類似度が閾値よりも大きい場合には、閲覧ページ間で同一事項を検索していると判断する。具体的には、ページ情報収集部７０４が、操作履歴記憶部１０５に記憶されている操作履歴の中から、ユーザが閲覧していたページの表示ＵＲＬを取得する。情報検索実行部１０２は、当該表示ＵＲＬのページ情報を取得する。検索起点時刻推定部１０７の検索状態判定部７０６は、取得されたページ情報に含まれるテキスト情報の中から単語を抽出する。検索状態判定部７０６は、ページ類似度計算部７０５に各ページ間の類似度の計算を要求し、ページ類似度計算部７０５において計算された類似度を利用して、ユーザが同一事項を検索しているかの判断を行う。

ここで、前記判断に利用する各ページ間の類似度は、上記の入力又は選択された単語集合を利用した場合と同様に求めても良い。つまり、シーン付与対象検索結果のページに含まれるテキスト情報を示すベクトルとユーザが閲覧していた各ページに含まれるテキスト情報を示すベクトルとの類似度を、ページ間の類似度としてもよい。また、隣接する閲覧ページに含まれるテキスト情報を示すベクトル間の類似度を、ページ間の類似度としてもよい。さらに、上述のように行列を用いた類似度計算ではなく、単純に２つのページに共通に含まれている単語数をカウントし、単語数が閾値以下なら同一事項の検索を行っていないと判定しても良い。ここで、図１２に、ページを利用した場合の類似度記憶部７０７に記憶される類似度情報の一例を示す。類似度情報は、操作番号１２０１と、操作時刻１２０２と、表示ＵＲＬ１２０３と、第３類似度１２０４と、第４類似度１２０５とからなる類似度履歴を含む。操作番号１２０１、操作時刻１２０２及び表示ＵＲＬ１２０３は、図５に示した操作履歴の操作番号５０１、操作時刻５０２及び表示ＵＲＬ５０３にそれぞれ対応している。第３類似度１２０４は、シーン付与対象検索結果のページと各操作番号で閲覧していたページとの類似度を示す。また、第４類似度１２０５は、各操作番号で閲覧していたページと、当該ページと一つ前の操作履歴（時間的には一つ後の操作履歴）で閲覧していたページとの類似度を示す。

単語間の類似度のみを利用して同一事項を検索しているか否かを判断する場合には、単語間の類似度をより精度良く構築する必要がある。そのためには、類似度を定量化するために利用するテキストコーパスを、バラエティのある大量の文書から作成する必要がある。しかし、このようにページ間の類似度を利用して同一事項を検索しているか否かを判断する場合には、多くの単語を利用してその判断を行う。このため、単語の類似度のみを利用して判断を行う場合に比べて、事前に作成する単語間の類似度の精度は要求されない。また、上記のように単純に共通単語の出現頻度を利用して類似度を計算すると、あらかじめ単語間の類似度を求めておく必要がなくなる。このため、事前のコーパス収集、単語間の類似度を定量化するための処理及びベクトル同士の比較処理が必要なくなる。よって、より単純なシステム構成での比較処理（図８のＳ８０３）の実現が可能となる。

また、変形例２では、テキスト情報同士の比較を行っている。よって、実施の形態１のように単語同士の比較を行う場合に比べ、比較対象の情報量が多い。このため、精度よく類似度を算出することができる。

なお、上記ではページに含まれるテキスト情報を利用して類似度を判定した。さらに、Ｗｅｂページを利用して類似度を判定する場合には、各ページに対してＵＲＬが対応付けられている。そこで、ＵＲＬの情報から同一の内容であるか否かを判定してもよい。

（変形例３）
変形例３では、ユーザが同一事項を検索しているか否かについて判断する手法が実施の形態１と異なる。より具体的には、比較処理（図８のＳ８０３）において、検索状態判定部７０６は、同一事項を検索している間は、ユーザが入力するキーワードの一部が操作間で共通するという特徴を利用して、前述の判断を行う。

キーワード入力による検索を行う際、検索結果が多すぎたり、関係のある検索結果が少なすぎたりする場合、検索精度を向上させるために、ユーザは再度キーワードを入力し直す。通常、検索結果の絞込みを行う場合又は検索精度を上げる場合は、ユーザは検索のために入力するキーワードの修正を行う。例えば、図５の操作番号２から操作番号４のように、ユーザは、入力キーワードを追加したり、一部のキーワードを残し、残りのキーワードを変更したりする。そのため、検索状態判定部７０６は、前回の操作における入力単語と今回の操作における入力単語とを比較し、一部の単語が変更されている場合、又は単語が追加されている場合、操作間で同一事項を検索していると判断することができる。なお、単語が追加される場合とは、別の言い方をすると、今回の操作で新たに追加された入力単語が、前回の操作で入力されている入力単語と、所定の演算子（例えば、ＡＮＤ演算子、ＯＲ演算子）により組み合わされることによりキーワード検索が行われている場合のことである。

このように、ユーザが入力したキーワード間の関係を利用して同一事項を検索しているか否かを判断する場合、ユーザからのキーワード入力が必要となる。しかし、単語間の類似度をあらかじめ求めておく必要がなくなる。このため、事前のコーパス収集、単語間の類似度を定量化するための処理及びベクトル同士の比較処理が必要なくなる。よって、より単純なシステム構成での実現が可能となる。

（実施の形態２）
上記実施の形態１では、抽出される関連シーンの長さΔｔはシステム開発者が予め決定しておいた一定値を利用した。本実施の形態２では、Δｔの長さはユーザが検索した内容によって異なるべきという考え方のもとに、Δｔの長さをユーザが入力又は選択した単語と検索結果とを利用して決定する。これにより検索結果に応じて適切な長さのΔｔを自動的に決定することが可能となる。

本実施の形態と実施の形態１との主な相違点は、関連シーン抽出処理（図４のＳ４０４）において、関連シーン抽出部が、さらに、Δｔを決定する点である。他の構成要素及びそれらが実行する処理については、実施の形態１と同一である。従って本実施の形態においては、実施の形態１との相違点を中心に説明する。

図１３は、本発明の実施の形態２における検索システムの構成を示すブロック図である。この検索システムは、図１に示した検索システムの構成において、関連シーン付与装置１００の代わりに関連シーン付与装置２００を用いたものである。

本実施の形態に係る関連シーン付与装置２００は、図２に示した実施の形態１に係る関連シーン付与装置１００の構成において、関連シーン抽出部１０８の代わりに関連シーン抽出部１３０８が設けられている。また、実施の形態１に係る関連シーン付与装置１００に、電子辞書記憶部１３１５及び番組情報取得部１３１６が付け加えられた構成となっている。

関連シーン付与装置２００は、ＣＰＵ、メモリ、通信インタフェース等を備える一般的なコンピュータにより構成される。ＣＰＵ上で関連シーン付与装置２００が備える各処理部を実現するためのプログラムを実行することにより、各処理部が機能的に実現される。また、各記憶部は、メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）により実現される。

電子辞書記憶部１３１５は、固有名詞及び動作を説明する語についての説明を記憶する記憶装置であり、例えば、人名、動物名及び地名などに関する説明、並びにスポーツのルール及び動作に関する説明などが記憶されている。また、電子辞書記憶部１３１５には、単語とその単語の品詞に関する情報が蓄積されている。

番組情報取得部１３１６は、画像記憶部１１０に記憶される番組に関する情報を放送により取得する処理部であり、例えば、ＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）データなどの番組情報を取得する。一般的には、番組情報には、番組名、放送日時、ジャンル、出演者及び番組内容などが情報として含まれる。

以下、関連シーン抽出処理（図４のＳ４０４）の詳細について説明する。図１４は、関連シーン抽出処理（図４のＳ４０４）の詳細なフローチャートである。

関連シーン抽出部１０８は、関連シーンの長さΔｔを決定した後（Ｓ１４０１〜Ｓ１４１２）、画像記憶部１１０より、長さΔｔの関連シーンを抽出する（Ｓ１４１３）。

つまり、関連シーン抽出部１３０８は、シーンを抽出する対象となった番組の情報、又はシーン付与対象検索結果の検索時にユーザが入力もしくは選択した単語の中で重要と考えられる単語（以下、「検索重要単語」という。）と、シーン付与対象検索結果のページを代表する単語（以下、「ページ代表単語」という。）とを決定する（Ｓ１４０１）。関連シーン抽出部１３０８は、ユーザが入力若しくは選択した単語集合の中で出現頻度が多い単語又は検索起点において入力された単語に対して、重みが大きくなるような重み付けを行い、単語毎にスコアを計算する。関連シーン抽出部１３０８は、計算されたスコアが高いものから所定個数の単語を、検索重要単語と決定する。また、関連シーン抽出部１３０８は、シーン付与対象検索結果のページに含まれるテキスト情報の中で出現頻度が高い単語、又は当該ページのタイトルとして利用されている単語を、ページ代表単語と決定する。

関連シーン抽出部１３０８は、関連シーンの長さΔｔを、初期値１０秒に設定する（Ｓ１４０２）。次に、関連シーン抽出部１３０８は、上記処理で決定された検索重要単語及びページ代表単語の品詞を電子辞書記憶部１３１５を用いて判断する（Ｓ１４０３）。

関連シーン抽出部１３０８は、品詞判断処理（Ｓ１４０３）での結果を参照し、検索重要単語及びページ代表単語の中に、例えば、地名、人物名又は動物名などの固有名詞が含まれているか否かを判断する（Ｓ１４０４）。固有名詞が含まれていると判断された場合には（Ｓ１４０４でＹＥＳ）、関連シーン抽出部１３０８は、Δｔを短め（例えばΔｔを０として動画ではなく静止画）に設定する（Ｓ１４０５）。

固有名詞が含まれていないと判断された場合には（Ｓ１４０４でＮＯ）、関連シーン抽出部１３０８は、品詞判断処理（Ｓ１４０３）での結果を参照し、検索重要単語及びページ代表単語の中に動作を表す単語が含まれているか否かを判断する（Ｓ１４０６）。動作を表す単語が含まれていると判断された場合には（Ｓ１４０６でＹＥＳ）、関連シーン抽出部１３０８は、Δｔに一定の長さ（例えば、３分）を設定する（Ｓ１４０７）。

例えば、図５に示す操作履歴情報の例では、サッカーの試合を放送している番組を視聴中に、操作番号７の操作履歴において「オフサイド」に関する情報の検索を行っている。ここで、「オフサイド」という単語は、検索起点でユーザが入力した単語であり、選択項目５０５にも含まれる単語である。そこで、関連シーン抽出部１３０８は、「オフサイド」が検索重要単語であると判断する（Ｓ１４０１）。また、「オフサイド」は動作を表す言葉であるので（Ｓ１４０４でＮＯ、Ｓ１４０６でＹＥＳ）、関連シーン抽出部１３０８は、Δｔとして単語が動作であった場合の時間（例えば３分）を設定する（Ｓ１４０７）。

次に、関連シーン抽出部１３０８は、番組情報取得部１３１６で取得された番組情報の中から、検索のきっかけとなる検索起点時刻での番組情報を取得する（Ｓ１４０８）。関連シーン抽出部１３０８は、取得した番組情報で示される番組のジャンルが、クイズ番組か否かを判断する（Ｓ１４０９）。ジャンルがクイズ番組の場合には（Ｓ１４０９でＹＥＳ）、ユーザはクイズの質問に関する検索を行うことが多い。このため、関連シーン抽出部１３０８は、Δｔに、クイズの質問及び回答の説明に要する平均的な時間（例えば４分）を設定する（Ｓ１４１０）。

ジャンルがクイズ番組ではない場合には（Ｓ１４０９でＮＯ）、関連シーン抽出部１３０８は、取得した番組情報で示される番組のジャンルが、ニュース番組か否かを判断する（Ｓ１４１１）。ジャンルがニュース番組の場合には（Ｓ１４１１でＹＥＳ）、ユーザはニュースのトピックに関する検索を行うことが多い。このため、関連シーン抽出部１３０８は、Δｔに、ニュースにおける１トピックの説明に要する平均的な時間（例えば２分）を設定する（Ｓ１４１２）。以上の処理により、Δｔの値が決定される。

関連シーン抽出部１３０８は、画像記憶部１１０より（検索起点時刻−Δｔ）〜（検索起点時刻）の範囲に含まれる動画情報を関連シーンとして抽出する（Ｓ１４１３）。なお、Δｔ＝０の場合には、関連シーン抽出部１３０８は、検索起点時刻における静止画を抽出する。関連シーンの抽出時には、（検索起点時刻−Δｔ）〜（検索起点時刻）の範囲に含まれる動画情報を抽出するのではなく、さらにマージンα（αは正の値）を設けても良い。つまり、（検索起点時刻−Δｔ−α）〜（検索起点時刻＋α）の範囲に含まれる動画情報を抽出するようにしてもよい。

なお、単語の品詞を用いずに、番組のジャンルのみからΔｔの値を決定するようにしてもよい。つまり、番組のジャンルに対応させてΔｔの値を定義しておき、対象番組のジャンルによってΔｔの値を決定する。これにより、検索重要単語及びページ代表単語の決定並びに品詞等の単語の種類の特定を行う必要が無い。このため、より単純な処理によりΔｔが決定できる。また、検索重要単語とページ代表単語との類似度が小さく、どちらの単語を基にΔｔを決定すればよいか分からないときに、このジャンルのみを利用した方法を利用しても良い。

図１５は、検索結果出力処理（図４のＳ４０５）により出力部１１２に出力される画面の一例を示す図である。図１５に示す画面例では、図１０に示す画面例において、さらに、動画再生用の操作バー１５０７が表示されたものである。操作バー１５０７では、関連シーンの長さをバーの長さで表現している。また、現在表示している関連シーン１００２の時間位置をシンボル１５０８で表している。本例では、Δｔを３分とし、αを１分とする。また、検索起点時刻（図５の操作番号７における時刻）を２０時２１分とする。このとき、関連シーンとして２０時１７分（検索起点時刻−Δｔ−α）から２０時２２分（検索起点時刻＋α）までの区間の動画が、関連シーンとして抽出される。なお、関連シーン１００２として画面に表示されるのは、２０時１８分（検索起点時刻−Δｔ）から２０時２１分（検索起点時刻）までの区間の動画である。しかし、アイコン１５０９又は１５１０を移動させることにより、関連シーン１００２として画面に表示される動画の時間幅を変更することが可能である。

以上説明したように、本実施の形態によると、関連シーンの時間区間Δｔを検索内容に応じて自動的に変更することができる。このため、適切な長さの関連シーンを検索結果に付与することが可能となる。

以上、本発明の実施の形態に係る検索システムについて説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上述の実施の形態では、検索起点時刻として、シーン付与対象検索結果に対する検索を開始した時刻としたが、実際には、ユーザがシーンの映像を見てから検索を開始するまでには所定の時間がかかる。このため、検索起点時刻を、シーン付与対象検索結果に対する検索を開始した時刻から所定時間遡った時刻としてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、動画を基にした検索処理に一般適用できるため、実施の形態で述べたテレビ放送だけではなく、インターネット上の動画コンテンツやプライベートで撮影した映像に対しても適用可能である。また共有方法としても実施の形態で述べた共有ディスプレイに表示するだけではなく、メールに添付するなど、様々な状況での利用が可能であり、その利用可能性は非常に大きい。

本発明は、動画コンテンツを視聴しながら情報検索を行なう際に、情報検索結果と動画コンテンツのシーンとを関連付ける対応シーン付与装置、情報検索装置等に適用できる。

１００ 関連シーン付与装置
１０１ 入力部
１０２ 情報検索実行部
１０３ 検索結果記憶部
１０４ 操作履歴収集部
１０５ 操作履歴記憶部
１０６ タイマー
１０７ 検索起点時刻推定部
１０８ 関連シーン抽出部
１０９ 画像取得部
１１０ 画像記憶部
１１１ 検索結果出力部
１１２ 出力部
１１３ 検索結果送信部
１１４ 共有テレビ
１６０１ 携帯端末

Claims (16)

1. 検索結果に、検索に関連する画像データである関連シーンを関連付ける関連シーン付与装置であって、
   画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、
   ユーザが入力する検索条件に従って、情報を検索する情報検索実行部と、
   前記検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部と、
   前記情報検索実行部により検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴の中で起点となる操作である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、
   前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部と
   を備える関連シーン付与装置。
2. 前記検索起点時刻推定部は、前記情報検索実行部により検索された情報の中で、前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴のうち、最も古い時刻における操作である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する
   請求項１記載の関連シーン付与装置。
3. 前記検索起点時刻推定部は、
   前記操作の履歴毎に、前記シーン付与対象検索結果と、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された検索条件との類似度を計算する単語類似度計算部と、
   所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻から最も遠い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
4. 前記検索起点時刻推定部は、
   前記操作の履歴毎に、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件と、当該第１の検索条件が入力されるよりも時間的に前に受け付けられた検索条件との類似度を計算する単語類似度計算部と、
   所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が受け付けられた時刻から最も遠い時刻に受け付けられた検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
5. 前記検索起点時刻推定部は、
   前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件同士の類似度を計算する単語類似度計算部と、
   所定の値以下となる前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も近い時刻における操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
6. 前記検索起点時刻推定部は、
   前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件間に共通する単語が存在するか否かを判断する単語類似度計算部と、
   共通する単語が存在しないと判断された操作の履歴の組のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を含む操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
7. 前記検索起点時刻推定部は、
   前記操作の履歴毎に、前記シーン付与対象検索結果と、前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された検索条件に基づく検索結果との類似度を計算する単語類似度計算部と、
   所定の値よりも大きい前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻から最も遠い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も遠い時刻における操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
8. 前記検索起点時刻推定部は、
   前記シーン付与対象検索結果を検索するために入力された検索条件である第１の検索条件が入力された時刻よりも時間的に前に入力された時間的に隣接する操作の履歴の組毎に、当該操作の履歴の組に含まれる検索条件に基づく検索結果同士の類似度を計算する単語類似度計算部と、
   所定の値以下となる前記単語類似度計算部で計算された前記類似度のうち、前記第１の検索条件が入力された時刻に最も近い時刻に入力された検索条件を用いて計算された類似度を特定し、前記最も近い時刻における操作を前記検索起点として特定し、当該検索起点に基づいて、前記検索起点時刻を推定する検索起点推定部とを含む
   請求項２記載の関連シーン付与装置。
9. さらに、単語と前記単語の品詞に関する情報を記憶している電子辞書記憶部を備え、
   前記関連シーン抽出部は、前記電子辞書記憶部に記憶されている情報を参照することにより、前記シーン付与対象検索結果に関連する単語の品詞を決定し、決定された前記単語の品詞に応じて時間幅を決定し、前記検索起点時刻推定部で推定された前記検索起点時刻を含む前記時間幅内に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける
   請求項１〜８のいずれか１項記載の関連シーン付与装置。
10. さらに、前記画像記憶部に記憶されている前記動画像データの種類に関する情報を取得する番組情報取得部を備え、
    前記関連シーン抽出部は、前記番組情報取得部で取得された情報を参照することにより、前記検索起点時刻において再生された前記動画像データの種類を決定し、決定された前記動画像データの種類に応じて時間幅を決定し、前記検索起点時刻推定部で推定された前記検索起点時刻を含む前記時間幅内に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける
    請求項１〜８のいずれか１項記載の関連シーン付与装置。
11. さらに、前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を、外部の機器に出力する検索結果出力部を備える
    請求項１〜１０のいずれか１項記載の関連シーン付与装置。
12. 動画像データを表示する表示装置と、検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付ける関連シーン付与装置とを備える検索システムであって、
    前記関連シーン付与装置は、
    前記表示装置で表示されるのと同じ動画像データと、当該動画像データの再生時刻とを記憶している画像記憶部と、
    ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行部と、
    前記情報検索実行部において受け付けられた前記検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶している操作履歴記憶部と、
    前記情報検索実行部による検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記操作履歴記憶部に記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記操作履歴記憶部に記憶されている前記操作の履歴の中で起点となる操作である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と、
    前記検索起点時刻推定部で推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出部と、
    前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を、前記表示装置へ出力する検索結果出力部を備え、
    前記表示装置は、前記検索結果出力部より、前記関連シーン抽出部で前記動画像データ又は前記静止画像データが関連付けられた前記シーン付与対象検索結果を受信し、受信した前記シーン付与対象検索結果を表示する
    検索システム。
13. 検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付ける関連シーン付与装置のための関連シーン付与方法であって、
    前記関連シーン付与装置は、
    動画像データと、当該動画像データの再生時刻とを記憶している画像記憶部と、
    ユーザが入力する検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶している操作履歴記憶部とを備え、
    ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行ステップと、
    前記情報検索実行ステップによる検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記操作履歴記憶部に記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記操作履歴記憶部に記憶されている前記操作の履歴の中で起点となる操作である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定ステップと、
    前記検索起点時刻推定ステップで推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記画像記憶部に記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出ステップと
    を含む関連シーン付与方法。
14. 検索結果に、検索のきっかけとなった動画像データ又は静止画像データである関連シーンを関連付けるコンピュータ実行可能なプログラムであって、
    メモリは、動画像データと、当該動画像データの再生時刻とを記憶し、前記メモリは、さらに、ユーザが入力する検索条件と、当該検索条件が受け付けられた時刻とを対応付けた操作の履歴を記憶しており、
    前記プログラムは、
    ユーザが入力する検索条件を受け付け、当該検索条件に従って、情報を検索する情報検索実行ステップと、
    前記情報検索実行ステップによる検索結果のうち前記ユーザにより指定された検索結果であるシーン付与対象検索結果と、前記メモリに記憶されている前記操作の履歴との関連性に基づいて、前記シーン付与対象検索結果に関連する前記メモリに記憶されている前記操作の履歴の中で起点となる操作である検索起点を特定し、当該検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定ステップと、
    前記検索起点時刻推定ステップで推定された前記検索起点時刻を含む時間に再生された動画像データ又は静止画像データを、前記メモリに記憶されている前記動画像データより抽出し、抽出した前記動画像データ又は前記静止画像データを、前記シーン付与対象検索結果と関連付ける関連シーン抽出ステップと
    をコンピュータに実行させるプログラム。
15. 画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、
    ユーザが入力する検索条件に従って、情報を検索する情報検索実行部と、
    前記検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部と、
    前記情報検索実行部により検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴の中で起点となる操作である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定部と
    を備える検索起点時刻推定装置。
16. 検索起点時刻推定装置のための検索起点時刻推定方法であって、
    前記検索起点時刻推定装置は、
    画像データと、前記画像データの再生時刻とを記憶している画像記憶部と、
    ユーザが入力する検索条件と、前記検索条件が受け付けられた時刻と、を対応付けた操作の履歴を記憶している操作履歴記憶部とを備え、
    ユーザが入力する検索条件に従って、情報を検索する情報検索実行ステップと、
    前記情報検索実行ステップにおいて検索された情報の中で前記ユーザにより指定された検索情報であるシーン付与対象検索結果に関連する前記操作の履歴の中で起点となる操作である検索起点に基づいて、前記シーン付与対象検索結果を得るための検索条件の入力が開始された時刻である検索起点時刻を推定する検索起点時刻推定ステップと
    を含む検索起点時刻推定方法。

Images