JP4734048B2 - 情報検索装置、情報検索方法および情報検索プログラム - Google Patents

Description

この発明は、映像視聴中に関連情報を検索する情報検索装置、情報検索方法および情報検索プログラムに関するものである。

近年、テレビ視聴支援の一機能として、番組内の特定のシーンや特定のコンテンツを検索する機能や、番組を構成する特定のシーンや特定のコンテンツだけでなく、直接番組を構成する映像情報内には含まれない映像情報の関連情報を、インターネットなどの情報源から広く検索する機能が求められている。

関連情報を検索する技術として、与えられた検索条件に適合するコンテンツを含む情報提供サーバを検索し、当該情報提供サーバで情報が追加・更新されたときに通知を受けることにより広く情報を検索する方法や、分散して存在する情報提供サーバに対して検索キーを同時に通知し、広く検索結果を取得する方法が開発されている。

また、多数の単語を含む文書を基に情報を検索する際に、抽象的なキーワード（例えば、商品）と、検索する属性（例えば、価格）とを指定し、当該文書に含まれる単語のうちキーワードに適合する単語すべてを用いて検索キーを作成して情報を検索することにより、一度の検索要求で関連する情報を幅広く取得する技術が提案されている（例えば、特許文献１）。

特開２００５−１１１４９号公報

しかしながら、特許文献１の方法では、検索要求を入力した時点で得られる情報のみに基づいて検索条件を作成し、検索を実行しているため、検索要求後に得られる情報から検索キーワードを取得することができないという問題があった。

例えば、テレビ番組視聴中に利用者が関連情報の検索を要求した場合は、検索要求時点に再生されている音声やテキストからは適切な検索キーワードが得られず、その後に再生される映像に含まれる情報から適切な検索キーワードが補完されることが多いが、このような後から補足される情報を考慮して検索条件を作成し、情報を検索することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、検索要求後に取得される情報から抽出した検索キーワードを含めた検索条件により検索を実行することができる情報検索装置、情報検索方法および情報検索プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、情報検索装置おいて、コンテンツの再生中に検索キーワードの入力を受付ける検索キーワード受付手段と、前記検索キーワード受付手段が受付けた検索キーワードを記憶する検索キーワード記憶手段と、前記検索キーワードの入力を受付けた後に再生されているコンテンツの中に、前記検索キーワード記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手段と、前記検索キーワード監視手段が、再生されているコンテンツの中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されているコンテンツ内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手段と、前記検索キーワード記憶手段に記憶された検索キーワードと、前記周辺語抽出手段が抽出した前記周辺語とを検索キーとして情報を検索する検索手段と、を備えたことを特徴とする。

また、本発明は、上記装置を実行することができる情報検索方法および情報検索プログラムである。

本発明によれば、最初に入力した検索キーワードと一致する単語が、検索要求後に再生される情報内に存在する場合に、検索キーワードと一致する単語の近傍に含まれる単語を検索キーワードに追加して検索を実行することができる。このため、検索要求時点では得られない有用な情報を後から付加し、より適切かつ有用な情報を検索することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる情報検索装置、情報検索方法および情報検索プログラムの最良な実施の形態を詳細に説明する。

本実施の形態にかかる情報検索装置は、検索キーワード入力後に再生された映像等の情報内に、当該検索キーワードが出現することを監視し、出現した場合に検索キーワードの周辺の単語を検索キーに加えて、関連情報を検索するものである。

本実施の形態にかかる情報検索装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置と、ディスプレイ装置などの表示装置と、リモコンなどの入力装置と、テレビ受信装置とを備えた、一般的なデジタルテレビに適用することができる。

以下では、利用者がデジタルテレビにより映像などのコンテンツを視聴中に、リモコンなどの入力装置から入力された検索要求に応じて、映像情報に関連する情報の検索を実行してその結果を表示する例を示す。なお、インターネットを検索の対象とする例について説明するが、検索の対象はインターネットに限るものではなく、その他のネットワークや、情報を格納したデータベースを対象とするように構成してもよい。

図１は、本実施の形態にかかる情報検索装置１００の構成を示すブロック図である。同図に示すように、情報検索装置１００は、主要なハードウェア構成として、表示操作部１０１と、映像情報記憶部１４１と、メタデータ記憶部１４２と、単語記憶部１４３と、検索キーワード記憶部１４４と、類義語記憶部１４５と、検索クエリ・検索結果記憶部１４６と、を備えている。各記憶部は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶手段により構成することができる。

また、情報検索装置１００は、主要なソフトウェア構成として、メタデータ抽出部１１１と、単語抽出部１１２と、意味解析部１１３と、検索要求受付部１１４と、検索キーワード抽出部１１５と、検索キーワード受付部１１６と、検索キーワード追加部１１７と、検索キーワード監視部１１８と、周辺語抽出部１１９と、検索クエリ生成部１２０と、検索クエリ照合部１２１と、検索部１２２と、優先度算出部１２３と、を備えている。

表示操作部１０１は、再生中の情報から抽出した検索キーワードや検索結果などを利用者に対して表示するディスプレイなどの表示部（図示せず）と、利用者による情報検索の指定や、抽出した検索キーワードの選択などを行うテレビのリモコンや、キーボード、マウスなどの入力部（図示せず）を備えている。

映像情報記憶部１４１は、映像情報または映像に付随する情報を格納するものである。本実施例では、放送によりリアルタイムに受信した映像またはビデオ・ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などに録画された映像、および映像に付随するＥＰＧ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）情報が格納されているものとする。ここで、映像とは静止画像、動画像、音声、音楽、テキスト記述されたメタデータを含む情報をいう。

メタデータ記憶部１４２は、メタデータ抽出部１１１が抽出した映像に関連する情報であるメタデータを格納するものである。メタデータ記憶部１４２は、単語抽出部１１２が映像情報から単語を抽出する際に参照される。

図２は、メタデータ記憶部１４２のデータ構造の一例を示す説明図である。同図に示すように、メタデータ記憶部１４２は、情報種別と、開始時刻と、終了時刻と、内容とを対応づけて格納している。

情報種別は、メタデータの種別を表す情報であり、同図に示す例では、メタデータの取得元がＥＰＧか、音声認識結果か、テロップ認識結果かにより、「ＥＰＧ」、「音声」、「テキスト」を指定する例が示されている。

開始時刻および終了時刻は、メタデータが抽出された時刻の範囲を指定する情報である。ＥＰＧのように、番組放送前に得られた情報から抽出されたメタデータの開始時刻および終了時刻は、「０：００：００」のように表す。

内容は、メタデータの内容そのものを表す情報であり、ＥＰＧ、音声認識結果、テロップ認識結果のテキストデータが格納されている。

単語記憶部１４３は、メタデータ記憶部１４２に記憶されているメタデータから単語抽出部１１２によって抽出された単語を、その単語が含まれる時刻の範囲とともに格納するものである。単語記憶部１４３は、検索キーワード監視部１１８が検索キーワードに一致する単語が再生されたか否かを判断するために参照される。

図３は、単語記憶部１４３のデータ構造の一例を示す説明図である。同図に示すように、単語記憶部１４３は、開始時刻と、終了時刻と、単語の意味属性と、単語とを対応づけて格納している。単語の意味属性とは、単語の意味や概念を表す属性をいう。例えば、単語「青島」の意味属性は「人名」であり、単語「お台場」の意味属性は「地名」である。意味属性には、意味解析部１１３による単語の意味解析処理の実行結果が格納される。

検索キーワード記憶部１４４は、映像情報に関連する情報を検索するために使用する検索キーワードを格納するものである。検索キーワードとしては、利用者により指定または選択された検索キーワード、および、当該検索キーワードに関連して抽出された周辺語が格納される。周辺語についての詳細は後述する。図４は、検索キーワード記憶部１４４のデータ構造の一例を示す説明図である。同図に示すように、検索キーワード記憶部１４４は、単語記憶部１４３と同様の形式で検索キーワードが格納される。

類義語記憶部１４５は、単語と、当該単語と類似する意味を有する類義語とを対応づけて格納するものである。図５は、類義語記憶部１４５のデータ構造の一例を示す説明図である。同図に示すように、類義語記憶部１４５は、単語と、類義語とを対応づけて格納している。類義語記憶部１４５は、検索キーワードの類義語を取得し、取得した類義語を検索キーワード記憶部１４４に追加して関連情報の検索の範囲を広げるために使用される。

検索クエリ・検索結果記憶部１４６は、過去に実行された検索クエリと、当該検索クエリによる検索結果を格納するものである。図６は、検索クエリ・検索結果記憶部１４６のデータ構造の一例を示す説明図である。同図に示すように、検索クエリ・検索結果記憶部１４６は、検索キーワードと、検索クエリと、検索結果ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）と、検索結果本文とを対応づけて格納している。

検索キーワード欄には、利用者が指定または選択した単語を格納する。検索クエリ欄には、検索キーワードに関連する周辺語が付加された検索キーを格納する。具体的には、例えば、検索キーワード「青島」に対して抽出された周辺語である「小田裕一」をスペースで区切って付加した「青島 小田裕一」を検索クエリとして格納する。なお、スペースで区切った単語は、ＡＮＤ条件（「青島」および「小田裕一」を含む情報を検索する条件）として関連情報が検索される。

検索結果ＵＲＬ欄には、検索結果を保持しているＷｅｂページのＵＲＬを格納する。なお、インターネット以外を検索対象とする場合は、検索結果の存在する位置を一意に識別できる情報を格納するように構成する。検索結果本文欄には、検索の結果であるテキストの内容を格納する。

メタデータ抽出部１１１は、映像情報記憶部１４１に含まれる映像情報からメタデータを抽出するものである。例えば、映像を提供する放送事業者等により予め埋め込まれたＥＰＧや、映像から音声認識により抽出された音声の情報、テロップ認識により抽出されたテキストの情報を映像情報から抽出する。

単語抽出部１１２は、メタデータ抽出部１１１により抽出され、メタデータ記憶部１４２に記憶されたテキスト情報を形態素解析し、単語に分割するものである。分割した単語は単語記憶部１４３に格納される。

意味解析部１１３は、単語抽出部１１２が抽出した単語に対して意味解析処理を実行し、各単語の意味属性を付与するものである。意味属性が付与された単語は単語抽出部１１２に渡され、単語抽出部１１２により単語記憶部１４３に記憶される。

なお、メタデータ抽出部１１１によるメタデータの抽出処理、単語抽出部１１２による単語の抽出処理、意味解析部１１３による意味解析処理は、映像情報が再生されている間、常時実行される。また、単語抽出部１１２による形態素解析、意味解析部１１３による意味解析においては、ＨＤＤ、光ディスク、メモリカードなどの一般的に利用されている記憶手段に格納された自然言語処理用の辞書（図示せず）が参照される。

検索要求受付部１１４は、表示操作部１０１から利用者が入力した検索要求の入力を受付けるものである。

検索キーワード抽出部１１５は、検索要求受付部１１４により利用者の検索要求を受け付けた時点の直前または直後の予め定められた範囲内において、単語抽出部１１２により抽出された単語の一覧を検索キーワードの候補として単語記憶部１４３から抽出し、表示操作部１０１に表示するものである。

検索キーワード受付部１１６は、検索キーワード抽出部１１５が抽出し、表示操作部１０１に表示された検索キーワードの候補の中から、利用者により選択された検索キーワードの入力を受付けるものである。なお、検索キーワード受付部１１６は、キーボードなどの入力装置から、利用者が入力した検索キーワードを直接受付けるように構成してもよい。

検索キーワード受付部１１６により入力が受付けられた検索キーワードは、検索キーワード記憶部１４４に記憶される。また、検索キーワード受付部１１６は、検索キーワード監視部１１８による検索キーワードの監視処理を開始する。

検索キーワード追加部１１７は、検索キーワードに対応する類義語を、類義語記憶部１４５から検索し、検索キーワード記憶部１４４に追加するものである。

検索キーワード監視部１１８は、検索キーワード記憶部１４４に格納された検索キーワードが、映像情報の中に出現するか否かを監視するものである。具体的には、検索キーワード監視部１１８は、映像情報再生中に単語記憶部１４３に追加されていく単語を監視し、検索キーワードと表記および意味属性が一致する単語が追加されたか否かを監視する。なお、検索キーワードと表記だけが一致する単語を監視するように構成してもよい。この場合は、意味解析部１１３による意味解析は不要となる。

周辺語抽出部１１９は、検索キーワード監視部１１８が検索キーワードと一致する単語を検出した場合にその近傍に含まれる単語を周辺語として抽出するものである。近傍に含まれる単語（周辺語）とは、検索キーワードと一致する単語を検出した映像情報の前方または後方の少なくとも一方の予め定められた時間に再生された情報の中に含まれる単語、または、検索キーワードと一致する単語を検出した映像情報の中に含まれる検索キーワード以外の単語のうち、検索キーワードと一致する単語の前方と後方の少なくとも一方の予め定められた文字数の範囲に含まれる単語をいう。なお、範囲の指定方法は文字数に限られるものではなく、単語数、文数、節数、段落数などのあらゆる文字列の分割の単位を基準にして範囲を定めることができる。周辺語抽出処理の詳細については後述する。

検索クエリ生成部１２０は、検索キーワードと周辺語とから検索クエリを生成するものである。具体的には、検索キーワードと周辺語とをスペースで区切った文字列を検索クエリとして生成する。周辺語を抽出できない場合は、検索キーワードのみが検索クエリに含まれる。

検索クエリ照合部１２１は、検索クエリ生成部１２０が生成した検索クエリが、検索クエリ・検索結果記憶部１４６に存在するか否かを照合するものである。検索クエリ照合部１２１により、既に存在する検索クエリであると判断した場合は、当該検索クエリに対応する検索結果を検索クエリ・検索結果記憶部１４６から取得することにより、重複して検索処理を実行することを防止することができる。

検索部１２２は、検索クエリ生成部１２０が生成した検索クエリを用いてインターネットまたはデータベース等から関連情報の検索を行い、検索結果を検索クエリ・検索結果記憶部１４６に格納するものである。

優先度算出部１２３は、検索結果から検索結果を表示する優先順位を表す優先度を算出するものである。優先度算出方法の詳細については後述する。

次に、このように構成された本実施の形態にかかる情報検索装置１００による情報検索処理について説明する。図７は、本実施の形態における情報検索処理の全体の流れを示すフローチャートである。

情報検索処理は、映像情報の再生中に、利用者が任意の映像情報に関連する情報の検索を希望してリモコン等の入力装置から情報の検索要求を入力した時点から開始する。なお、映像情報の再生中は、映像情報からのメタデータ抽出処理、単語抽出処理、意味解析処理が常時実行される。

まず、検索要求受付部１１４が、利用者による検索要求の入力を受付ける（ステップＳ７０１）。次に、検索キーワード抽出部１１５が、検索要求を受付けた時点の前後の予め定められた時間内に再生されていた映像情報に含まれる単語を単語記憶部１４３から抽出し、表示操作部１０１上の検索キーワード表示・選択画面に表示する（ステップＳ７０２）。

図８は、検索キーワード表示・選択画面の表示内容の一例を示す説明図である。同図に示すように、検索キーワード表示・選択画面８０１は、検索キーワード抽出部１１５が抽出した単語を一覧表示している。また、検索キーワード表示・選択画面８０１には、利用者により選択された単語８０２が反転表示され、画面の下部にはＯＫボタン８０３が表示されている。ＯＫボタン８０３をクリックすると、反転表示された単語８０２が検索キーワードとして選択される。なお、表示された検索キーワードの候補の中から、検索対象とする単語を利用者が複数選択できるように構成してもよい。

検索キーワード表示・選択画面において利用者により検索キーワードが選択された後、検索キーワード受付部１１６が、利用者による検索キーワードの選択を受付ける（ステップＳ７０３）。受付けた検索キーワードは、検索キーワード記憶部１４４に記憶される。

次に、検索キーワード監視部１１８が、検索キーワード受付部１１６により受付けられた検索キーワードの監視を開始する（ステップＳ７０４）。なお、検索キーワード追加部１１７が、検索キーワードに対応する類義語を類義語記憶部１４５から検索し、検索キーワード記憶部１４４に追加することにより、検索キーワードだけでなく、当該検索キーワードの類義語も監視対象とするように構成してもよい。

続いて、メタデータ抽出部１１１が、再生中の映像情報からメタデータを抽出して（ステップＳ７０５）、メタデータ記憶部１４２に記憶する。次に、単語抽出部１１２が、メタデータ抽出部１１１により抽出されたメタデータから単語を抽出し（ステップＳ７０６）、単語記憶部１４３に記憶する。なお、単語の抽出時に意味解析部１１３による意味解析処理も実行され、意味属性を付与された単語が単語記憶部１４３に記憶される。

また、図８では、検索キーワードの監視が開始された後に実行されるメタデータ抽出処理および単語抽出処理の意味でステップＳ７０５およびステップＳ７０６を記載しているが、実際には、検索キーワードの監視開始前を含む映像情報再生中に、メタデータの抽出処理および単語抽出処理が常時実行されている。

次に、検索キーワード監視部１１８が、単語抽出部１１２により抽出された単語が検索キーワードに一致するか否かを判断する（ステップＳ７０７）。なお、検索キーワード監視部１１８は、抽出された単語と検索キーワードとの表記および意味属性が共に一致する場合に、両者が一致すると判断する。これにより検索の精度を高めてより有用な情報を取得することが可能となる。

検索キーワードに一致しない場合は（ステップＳ７０７：ＮＯ）、映像が終了したか否かの判断処理を実行する（ステップＳ７１３）。

検索キーワードに一致する場合は（ステップＳ７０７：ＹＥＳ）、検索キーワードの周辺語抽出処理を実行する（ステップＳ７０８）。なお、検索キーワード監視を開始した後に検索キーワードと一致する単語が抽出された場合だけでなく、検索キーワードを指定した直後にも、検索キーワードを指定した時点の映像情報に基づいて周辺語抽出処理を実行するように構成してもよい。周辺語抽出処理の詳細については後述する。

周辺語抽出処理の実行後、検索クエリ生成部１２０が、検索キーワードと周辺語とを含む検索クエリを生成する（ステップＳ７０９）。次に、検索クエリ照合部１２１が、生成した検索クエリが検索済みのクエリか否か、すなわち、検索クエリ・検索結果記憶部１４６に記憶されている検索クエリか否かを判断する（ステップＳ７１０）。

検索済みのクエリである場合（ステップＳ７１０：ＹＥＳ）、映像が終了したか否かの判断処理を実行する（ステップＳ７１３）。これにより、検索済みのクエリに対して重複して検索処理が実行されるのを回避することができる。

検索済みのクエリでない場合（ステップＳ７１０：ＮＯ）、検索部１２２が、当該検索クエリを使用して検索処理を実行する（ステップＳ７１１）。次に、検索結果の表示の優先順位を算出する優先度算出処理が実行される（ステップＳ７１２）。優先度算出処理の詳細については後述する。

優先度算出処理の後、メタデータ抽出部１１１が、映像の再生が終了したか否かの判断処理を実行する（ステップＳ７１３）。映像の再生が終了していない場合は（ステップＳ７１３：ＮＯ）、メタデータの抽出処理から処理が繰り返される（ステップＳ７０５）。映像の再生が終了した場合は（ステップＳ７１３：ＹＥＳ）、情報検索処理が終了する。

次に、ステップＳ７０８における周辺語抽出処理の詳細について説明する。図９は、本実施の形態における周辺語抽出処理の全体の流れを示すフローチャートである。

まず、周辺語抽出部１１９が、検索キーワードが含まれる映像情報の前方または後方の少なくとも一方の予め定められた時間に再生された情報の中に含まれる単語を周辺語として抽出する（ステップＳ９０１）。

例えば、予め定められた時間の範囲が前後２０秒であり、開始時刻＝０：１５：３０、終了時刻＝０：１５：３７において検出した音声から検索キーワード「青島」を指定し、開始時刻＝０：１５：４０、終了時刻＝０：１５：５２において「お台場で」を含む音声を検出したとする。

この場合、メタデータ記憶部１４２には、例えば、図２で示すように、開始時刻＝０：１５：３０、終了時刻＝０：１５：３７の内容として「青島さん、そちらは・・・」が記憶され、開始時刻＝０：１５：４０、終了時刻＝０：１５：５２の内容として「お台場で・・・」が記憶されているため、周辺語抽出部１１９は、この情報を参照して、検索キーワード「青島」を指定した映像情報から２０秒以内の範囲に再生された情報に含まれる周辺語として「お台場」を抽出する。

このように、本実施の形態では、検索キーワードが含まれる映像情報と同時ではないが、時間的に前後の映像情報から、検索キーワードに関連性のある単語を抽出して検索キーに追加することができる。このため、利用者が検索要求を入力した映像情報のみからでは得られない単語を追加して、関連情報を広く検索することが可能となる。

また、一度の検索要求で、検索キーワードの出現を契機とした複数回の検索を行うことができるため、利用者による映像の静止・巻戻し、検索キーワードの入力などの操作負担を削減することができる。

次に、周辺語抽出部１１９が、検索キーワードと一致する単語を検出した映像情報の中に含まれる検索キーワード以外の単語のうち、検索キーワードの近傍の予め定められた文字数の範囲に含まれる単語を周辺語として抽出する（ステップＳ９０２）。

例えば、予め定められた文字数の範囲が１０文字、検索キーワードが「青島」であり、検索キーワードを検出した映像情報が番組の最後のスタッフロールを表示する画面（開始時刻＝０：５３：１０、終了時刻＝０：５３：２０）で、当該画面に「青島太郎役・小田裕一」という文字列が存在したとする。

この場合、メタデータ記憶部１４２には、例えば、図２で示すように、開始時刻＝０：５３：１０、終了時刻＝０：５３：２０にテキスト「青島太郎役・小田裕一」という内容が記憶されているため、周辺語抽出部１１９は、この情報を参照して、検索キーワード「青島」から１０文字数以内の範囲に存在する周辺語として「太郎」「小田裕一」を抽出する。

このように、本実施の形態では、検索キーワードが含まれる映像情報を文字列化し、当該文字列の中で検索キーワードに位置的に近い単語を抽出して検索キーに追加することができる。このため、利用者が検索要求を入力した映像情報のみからでは得られない単語を追加して、関連情報を広く検索することが可能となる。

次に、周辺語抽出処理の具体例について説明する。図１０は、周辺語抽出処理の具体例を示した説明図である。同図に示すように、検索要求が入力された時点の直前に再生されていた音声１００１「青島さん、そちらは・・・」から検索キーワード「青島」が選択された場合を考える（ステップＳ７０３）。

検索キーワードが選択されてから予め定められた時間の範囲内に、音声１００２「お台場で・・・」が再生されたとすると、周辺語抽出部１１９が、「お台場」を周辺語として抽出する（ステップＳ９０１）。また、スタッフロール１００３の再生中に「青島太郎役・小田裕一」という文字列が認識されたとすると、周辺語抽出部１１９が、検索キーワードと一致する単語である「青島」から予め定められた文字数（例えば１０文字または１０単語）以内に存在する単語である「太郎」、「小田裕一」を周辺語として抽出する（ステップＳ９０２）。

なお、検索要求が入力された時点で、既にメタデータ記憶部１４２に記憶されているＥＰＧの情報から、ステップＳ９０２と同様の方法により周辺語を抽出するように構成してもよい。例えば、図２に示すような情報がメタデータ記憶部１４２に記憶されていた場合、ＥＰＧ情報の内容に「青島は殺人事件に巻き込まれ・・・」という文字列が存在するため、周辺語抽出部１１９が、検索キーワードと一致する単語である「青島」から予め定められた文字数（例えば１０文字または１０単語）以内に存在する単語である「殺人事件」を周辺語として抽出することができる。

次に、ステップＳ７１２における優先度算出処理の詳細について説明する。図１１は、本実施の形態における優先度算出処理の全体の流れを示すフローチャートである。

まず、優先度算出部１２３が、検索要求がなされた検索キーワードに対応する検索結果を検索クエリ・検索結果記憶部１４６から抽出する（ステップＳ１１０１）。次に、優先度算出部１２３が、検索結果のＵＲＬが示すＷｅｂサイトごとに検索結果を分類する（ステップＳ１１０２）。

続いて、優先度算出部１２３が、分類したＷｅｂサイトごとに、検索クエリに含まれるキーワードが少ない順に優先度を高く算出する（ステップＳ１１０３）。これは、検索キーワードだけで検索した結果の優先度を、検索キーワードに周辺語を追加して検索した結果より優先度を高くするためである。

なお、この他に、検索結果に含まれる検索キーワードの個数が多い順に優先度を高く算出するなど、一般的に用いられているあらゆる優先順位の決定方法を適用することができる。

次に、優先度算出部１２３が、検索結果の多いＷｅｂサイト順にソートして、検索結果を表示操作部１０１上の検索結果表示画面に表示する（ステップＳ１１０４）。なお、検索結果は、上述した方法により算出した優先度の高い順にＷｅｂサイトごとにソートして検索結果表示画面に表示する。また、表示する検索結果の個数、表示するＷｅｂサイトの個数を予め定められた数に制限して表示するように構成してもよい。

このように、Ｗｅｂサイトごとに優先度の高い順に検索結果をソートして表示することにより、検索キーワードに関するＷｅｂサイトごとの代表的なＷｅｂページを集めた検索結果を得ることができる。

図１２は、検索結果表示画面の表示内容の一例を示す説明図である。同図に示すように、検索結果表示画面１２０１は、画面の右側に利用者が検索要求を出した映像シーンのサムネイル１２０２を表示しており、利用者がこのうち一つを選択することで関連情報が画面左側の関連情報表示欄１２０３に表示される。

検索結果表示画面１２０１の画面の中央には、利用者により選択された映像１２０４が表示される。検索キーワード１２０５は画面の左側に表示され、検索結果１２０６は画面の下部に表示される。また、番組に戻るボタン１２０７をクリックすると、通常の映像の視聴画面（図示せず）に戻る。

なお、検索結果表示画面１２０１を表示する時点によって、表示される検索結果が変動する。例えば、検索要求を出した直後に表示する場合は、検索キーワードだけを含む検索クエリによる検索結果だけが得られるが、番組視聴後に表示する場合には、番組で出現したすべての周辺語に対する検索結果が得られるため、検索しうるすべての検索結果が表示される。

このように、本実施の形態にかかる情報検索装置１００では、検索キーワード入力後に再生された映像等の情報内に、当該検索キーワードが出現することを監視し、出現した場合に検索キーワードの周辺の単語を検索キーに加えて、関連情報を検索することができる。このため、検索要求時点では得られない有用な情報を後から付加し、より適切かつ有用な情報を検索することができる。

本実施の形態にかかる情報検索装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えた、通常のコンピュータを利用したハードウェア構成としてもよい。

本実施の形態にかかる情報検索装置で実行される情報検索プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施の形態にかかる情報検索装置で実行される情報検索プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態にかかる情報検索装置で実行される情報検索プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施の形態の情報検索プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態にかかる情報検索装置で実行される情報検索プログラムは、上述した各部（メタデータ抽出部、単語抽出部、意味解析部、検索要求受付部、検索キーワード抽出部、検索キーワード受付部、検索キーワード追加部、検索キーワード監視部、周辺語抽出部、検索クエリ生成部、検索クエリ照合部、検索部、優先度算出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から情報検索プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかる情報検索装置、情報検索方法および情報検索プログラムは、映像情報を表示し、利用者が映像視聴中または視聴後に映像情報に関連する情報を検索および表示する情報検索システムに適している。

本実施の形態にかかる情報検索装置の構成を示すブロック図である。 メタデータ記憶部のデータ構造の一例を示す説明図である。 単語記憶部のデータ構造の一例を示す説明図である。 検索キーワード記憶部のデータ構造の一例を示す説明図である。 類義語記憶部のデータ構造の一例を示す説明図である。 検索クエリ・検索結果記憶部のデータ構造の一例を示す説明図である。 本実施の形態における情報検索処理の全体の流れを示すフローチャートである。 検索キーワード表示・選択画面の表示内容の一例を示す説明図である。 本実施の形態における周辺語抽出処理の全体の流れを示すフローチャートである。 周辺語抽出処理の具体例を示した説明図である。 本実施の形態における優先度算出処理の全体の流れを示すフローチャートである。 検索結果表示画面の表示内容の一例を示す説明図である。

符号の説明

１００ 情報検索装置
１０１ 表示操作部
１１１ メタデータ抽出部
１１２ 単語抽出部
１１３ 意味解析部
１１４ 検索要求受付部
１１５ 検索キーワード抽出部
１１６ 検索キーワード受付部
１１７ 検索キーワード追加部
１１８ 検索キーワード監視部
１１９ 周辺語抽出部
１２０ 検索クエリ生成部
１２１ 検索クエリ照合部
１２２ 検索部
１２３ 優先度算出部
１４１ 映像情報記憶部
１４２ メタデータ記憶部
１４３ 単語記憶部
１４４ 検索キーワード記憶部
１４５ 類義語記憶部
１４６ 検索クエリ・検索結果記憶部
８０１ 検索キーワード表示・選択画面
８０２ 単語
８０３ ＯＫボタン
１００１、１００２ 音声
１００３ スタッフロール
１２０１ 検索結果表示画面
１２０２ サムネイル
１２０３ 関連情報表示欄
１２０４ 映像
１２０５ 検索キーワード
１２０６ 検索結果
１２０７ 番組に戻るボタン

Claims (10)

1. コンテンツの再生中に検索キーワードの入力を受付ける検索キーワード受付手段と、
   前記検索キーワード受付手段が受付けた検索キーワードを記憶する検索キーワード記憶手段と、
   前記検索キーワードの入力を受付けた後に再生されているコンテンツの中に、前記検索キーワード記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手段と、
   前記検索キーワード監視手段が、再生されているコンテンツの中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されているコンテンツ内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手段と、
   前記検索キーワード記憶手段に記憶された検索キーワードと、前記周辺語抽出手段が抽出した前記周辺語とを検索キーとして情報を検索する検索手段と、
   を備えたことを特徴とする情報検索装置。
2. 前記周辺語抽出手段は、検索キーワードと一致する単語が含まれている時刻の前方または後方の少なくとも一方の予め定められた時間に再生されたコンテンツの中に含まれる単語を周辺語として抽出することを特徴とする請求項１に記載の情報検索装置。
3. 前記周辺語抽出手段は、検索キーワードと一致する単語が含まれているコンテンツの中に含まれる検索キーワード以外の単語のうち、検索キーワードと一致する単語の前方と後方の少なくとも一方の予め定められた文字数または単語数の範囲に含まれる単語を周辺語として抽出することを特徴とする請求項１に記載の情報検索装置。
4. コンテンツの再生中に利用者による検索の要求の入力を受付ける検索要求受付手段と、
   前記検索要求受付手段が検索の要求を受付けたときに再生されていたコンテンツから検索キーワードを抽出する検索キーワード抽出手段をさらに備え、
   前記検索キーワード受付手段は、前記検索キーワード抽出手段が抽出した検索キーワードの入力を受付けることを特徴とする請求項１〜３のいずれか１つに記載の情報検索装置。
5. 前記検索キーワード抽出手段は、利用者により検索が指定されたときに再生されていたコンテンツの前方または後方の予め定められた時間に再生されていたコンテンツの中に含まれる単語を検索キーワードとして抽出することを特徴とする請求項４に記載の情報検索装置。
6. 前記検索キーワード抽出手段が抽出した検索キーワードを表示し、利用者による検索キーワードの選択操作が行われる表示操作手段をさらに備え、
   前記検索キーワード受付手段は、前記表示操作手段において利用者により選択された検索キーワードの入力を受付けることを特徴とする請求項４または５に記載の情報検索装置。
7. 前記検索キーワード抽出手段は、検索キーワードと検索キーワードの意味や概念を表す属性である意味属性とを抽出し、
   検索キーワード記憶手段は、検索キーワードと該検索キーワードの前記意味属性とを対応づけて記憶し、
   前記検索キーワード監視手段は、検索キーワードと表記および前記意味属性が一致する単語が含まれているか否かを監視することを特徴とする請求項４〜６のいずれか１つに記載の情報検索装置。
8. 単語と、該単語と類似する意味を有する類義語とを対応づけて記憶する類義語記憶手段と、
   検索キーワードに対応する前記類義語を、前記類義語記憶手段から検索し、検索した前記類義語を前記検索キーワード記憶手段に追加する検索キーワード追加手段と、
   をさらに備え、
   前記検索キーワード監視手段は、再生されているコンテンツの中に、前記検索キーワード記憶手段に記憶された検索キーワードまたは検索キーワードに対応する前記類義語と一致する単語が含まれているか否かを監視することを特徴とする請求項１〜７のいずれか１つに記載の情報検索装置。
9. コンテンツの再生中に検索キーワードの入力を受付ける検索キーワード受付ステップと、
   前記検索キーワードの入力を受付けた後に再生されているコンテンツの中に、前記検索キーワード受付ステップが受付けた検索キーワードを記憶する記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視ステップと、
   前記検索キーワード監視ステップが、再生されているコンテンツの中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されているコンテンツ内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出ステップと、
   前記記憶手段に記憶された検索キーワードと、前記周辺語抽出ステップが抽出した前記周辺語とを検索キーとして情報を検索する検索ステップと、
   を備えたことを特徴とする情報検索方法。
10. コンテンツの再生中に検索キーワードの入力を受付ける検索キーワード受付手順と、
    前記検索キーワードの入力を受付けた後に再生されているコンテンツの中に、前記検索キーワード受付手順が受付けた検索キーワードを記憶する記憶手段に記憶された検索キーワードと一致する単語が含まれているか否かを監視する検索キーワード監視手順と、
    前記検索キーワード監視手順が、再生されているコンテンツの中に検索キーワードと一致する単語が含まれていると判断した場合に、再生されているコンテンツ内の検索キーワードと一致する単語の近傍の予め定められた範囲に含まれる単語を周辺語として抽出する周辺語抽出手順と、
    前記記憶手段に記憶された検索キーワードと、前記周辺語抽出手順が抽出した前記周辺語とを検索キーとして情報を検索する検索手順と、
    をコンピュータに実行させる情報検索プログラム。

Images