JP5630107B2 - 情報検索システム、情報処理装置、及び情報検索方法 - Google Patents

Description

本発明は、情報検索システム、情報処理装置、端末装置、及び情報検索方法に関する。

テレビ放送を表示するテレビ機能を有する情報処理装置が知られている。情報処理装置でテレビ放送を見るユーザは、テレビ放送で表示される情報を検索しようとする場合、ユーザは、検索情報を自ら記憶することで、当該情報処理装置を用いて情報検索を実施することができる。

ユーザが、検索情報を自ら記憶し、検索する場合、検索情報を忘れることがある。忘れることを防ぐためには、ビデオレコーダ等を別途用意して、テレビ放送をビデオレコーダに録画して、放送終了後に検索情報について録画画像から検索する手段がとられる。また、テレビ放送用の情報処理装置とは別の情報処理装置を準備して、テレビ放送を見ながら情報検索をする手段がとられる。

特開２００８−９９３１３号公報

しかしながら、テレビ機能を有する情報処理装置とは別に、情報検索用の情報処理装置を用意すると、コストがかかる。また、１台の情報処理装置で表示されるテレビ放送を、複数人が鑑賞する場合、別な情報処理装置を用意するコストの増加は防げるが、１人が情報処理装置で情報検索を始めると、他の人にとって、テレビ放送の鑑賞の妨げとなる。

情報を検索する検索サーバを有する情報検索システムが提供される。情報検索システムは、第２の装置に表示される画像を第１の装置により特定し、前記第１の装置が前記特定された画像の取得を前記第２の装置に要求する画像取得要求を実行する画像取得要求手段と、前記画像取得要求に応じて取得される特定画像から前記特定画像内の画像範囲を指定する画像範囲指定手段と、前記画像範囲において文字認識を実行し、文字が認識された場合前記認識された文字を前記検索サーバに検索情報として送信し、前記文字が認識されなかった場合前記画像範囲を前記検索サーバに検索情報として送信する検索情報送信手段と、を備える。

開示の情報検索システムは、画像に含まれる情報を容易に検索できるという効果を奏する。

図１は、情報検索システムの一例を示す図である。 図２は、情報処理装置の一例を示す図である。 図３は、端末装置のハードウェア構成の一例を示す図である。 図４は、端末装置の記憶部の一例を示す図である。 図５は、端末装置の一例を示す図である。 図６は、情報処理装置のハードウェア構成の一例を示す図である。 図７は、情報処理装置の記憶部の一例を示す図である。 図８は、画像取得処理の一例を示す図である。 図９は、座標情報を送信処理する一例を示す図である。 図１０は、情報処理装置による文字認識処理の一例を説明する図である。 図１１は、検索結果の一具体例を示す図である。 図１２は、図１１での検索結果による画像の一例を示す図である。 図１３は、情報検索システムの処理フローの一例を示す図である。 図１４は、文字認識処理の処理フローの一例を示す図である。

以下、〔１〕情報検索システム、〔２〕端末装置、〔３〕情報処理装置、〔４〕画像取得処理、〔５〕座標情報送信処理、〔６〕文字認識処理、〔７〕検索処理および〔８〕情報検索システムの処理フローに分けて、順に実施例を説明する。
以下に説明する情報検索システム〔１〕は、端末装置〔２〕と、端末装置〔２〕を具備する情報処理装置〔３〕とを有してなる。端末装置〔２〕は、画像取得処理〔４〕としての画像取得指示処理、および座標情報送信処理〔５〕を行う。情報処理装置〔３〕は、画像取得処理〔４〕としての特定画像送信処理、文字認識処理〔６〕、および検索処理〔７〕を行う。情報検索システム〔１〕は所定の処理フロー〔８〕に従って検索処理を実行する。

〔１〕情報検索システム
まず、情報検索システムと、情報検索システムに接続する各要素とを説明する。

図１は、情報検索システムの一例を示す図である。図１に示す情報検索システム１０は、端末装置４００、及び情報処理装置５００を有する。情報検索システム１０は、情報処理装置５００で表示される画像を端末装置４００により特定し、その画像に対して端末装置４００により指定される画像範囲内の文字を検索情報として用いることにより、画像に含まれる情報を容易に検索できる機能を提供する。

端末装置４００と、情報処理装置５００とは、互いに無線通信を利用してデータを送受信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に従う無線通信である。情報処理装置５００は、インターネット２００を介して、検索サーバ３００に接続する。

アクセスポイント３１０は、情報処理装置５００又は端末装置４００と無線通信を介して接続し、ネットワークスイッチとして機能する。アクセスポイント３１０は、光ケーブル等を介してプロキシサーバ３２０に接続して、情報処理装置５００又は端末装置４００にインターネットへのＯＳＩ（Open Systems Interconnection）参照モデルにある物理層又はデータリンク層によるアクセスを提供する。なお、図１では、情報処理装置５００はアクセスポイント３１０と無線通信で接続するが、情報処理装置５００は、アクセスポイント３１０と有線接続してもよい。

テレビ局のテレビ送信所等であるテレビ送信アンテナ１００は、情報処理装置５００にテレビジョン放送を送信する。テレビ送信アンテナ１００は、ブロードキャスト信号であるテレビジョン放送を、ＶＨＦ（Ｖｅｒｙ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ）又はＵＨＦ（Ｕｌｔｒａ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ）等の特定の周波数帯を用いて送信するである。以下、テレビジョン放送は、「テレビ放送」と称する。

インターネット２００には、プロキシサーバ３２０、ウェブサーバ３３０、検索サーバ３００が接続されている。プロキシサーバ３２０は、自サーバのグローバルＩＰアドレスを、情報処理装置５００又は端末装置４００のＩＰアドレスに相互変換する処理などを行い、情報処理装置５００又は端末装置４００のインターネットへのＩＰアドレスによるアクセスを提供する。

検索サーバ３００は、情報検索システム１０から検索情報を受け取ると、インターネット２００に接続されるサーバ上に格納される情報のうち、検索情報に関連する情報を、検索情報の送信元に提供するサーバである。検索情報とは、例えば、検索文字列、又は、画像である。検索サーバ３００は、検索エンジンソフトウェアを実行して、ウェブサーバ３３０等がインターネット２００に公開している情報を収集し、収集した情報をデータベース化し、それらの情報を文字列、画像で検索するサービスを提供する。なお、図１では、例示のため、ウェブサーバ３３０の台数は１台であるが、インターネット２００に接続するウェブサーバ３３０の台数は、１台より多い。

検索情報が文字列である場合、検索サーバ３００は、例えば、自サーバのデータベースをＮグラム検索することで、検索文字列を含む情報を提供するウェブサーバ３３０等のＵＲＬ（Uniform Resource Locator）を検索し、当該検索結果を検索情報の送信元に送信する。

検索情報が画像である場合、検索サーバ３００は、画像から特徴パラメータあるいは特徴ベクトルなどの特徴量を求める画像認識機能を実行する。そして、検索サーバ３００は、自サーバ内のデータベースに登録される特徴量を有する画像を検索することで、検索画像と類似の特徴量を有する画像を含む情報を提供するウェブサーバ３３０等のＵＲＬを検索し、当該検索結果を検索情報の送信元に送信する。

情報処理装置５００は、テレビ放送等の画像を表示するとともに、端末装置４００から画像を特定する画像取得要求を受信すると、画像取得要求に従って表示部で表示される画像の中から取得した特定画像を端末装置に送信する。又、情報処理装置５００は、特定画像の画像範囲を指定する座標情報を端末装置４００から受信すると、座標情報により指定される画像範囲において認識した文字を検索サーバ３００に検索情報として送信する。

図２は、情報処理装置５００の一例を示す図である。図１の情報処理装置５００は、デスクトップコンピュータとして示されるが、情報処理装置５００は、図２に示すように、テレビ型の情報処理装置５００ａであってもよい。なお、情報処理装置５００のハードウェア構成の一例は、図６を用いて後述する。

端末装置４００は、端末装置４００を使用するユーザが、情報処理装置５００が表示する動画から画像を選択する画像取得要求を送信する。ユーザは、当該画像選択動作を、情報処理装置５００でテレビ放送視聴時に、情報検索したい画面が表示されたら、端末装置４００の入力部４２０を操作して、行なう。つまり、画像取得要求により特定される特定画像は、テレビ放送において、ユーザが情報検索を望む画像である。

端末装置４００は、画像取得要求により特定される特定画像を受け取ると、特定画像を自装置の表示部に表示し、ユーザが入力部を操作することで入力した特定画像の画像範囲を示す座標情報を情報処理装置５００に送信する。なお、端末装置４００のハードウェア構成の一例は、図３を用いて後述する。

〔２〕端末装置
次に、情報検索システム１０に含まれる端末装置４００、及び情報処理装置５００のハードウェア構成について説明する。

図３は、端末装置のハードウェア構成の一例を示す図である。図３に示されるように、端末装置４００は、制御部４１５、記憶部４１１、入力部４２０、通信部４１３、表示制御部４１４、表示部４１７を有する。制御部４１５は、上記の各ユニットと、データバス４１０を介してデータ接続する。

制御部４１５は、入力部４２０から画像取得要求を受け取ると、制御部４１５は、情報処理装置５００に対して画像取得要求を送信するように通信部４１３に対して制御する画像取得要求処理を行う。端末装置４００は、情報処理装置５００から画像取得要求に特定される特定画像を受け取ると、制御部４１５は、特定画像を表示部４１７に表示する特定画像表示処理を行う。制御部４１５は、入力部４２０から、ユーザが入力部を操作することで入力した特定画像の画像範囲を指定する座標情報を受け取ると、座標情報を情報処理装置５００に送信するように通信部４１３を制御する座標情報送信処理を行う。

制御部４１５は、記憶部４１１に記憶されるプログラムを実行して、上記した各処理を行う。制御部４１５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部４１５は、各処理を実行するさいに、制御部４１５内の命令実行部によりアクセス頻度の高いデータを一時的に保持するキャッシュメモリを含む。また、制御部４１５は、記憶部４１１に記憶されるウェブブラウザソフトウェアを実行して、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を介したインターネットアクセス機能を提供する。

なお、端末装置４００は、図示しないドライブ装置を有してもよい。ドライブ装置は、例えば、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記憶媒体を読み書きする。ドライブ装置は、記憶媒体を回転させるモータや記憶媒体上でデータを読み書きするヘッド等を含む。なお、記憶媒体は、プログラムを格納することができる。制御部４１５は、ドライブ装置により読み出されたプログラムを、記憶部４１１に格納する。このようにして、上記プログラムを、記憶部４１１は記憶する。

記憶部４１１は、制御部４１５が実行するプログラムを記憶する。記憶部４１１はさらに、端末装置４００の表示部４１７に表示する画面イメージデータを、記憶する。

図４は、端末装置の記憶部の一例を示す図である。図４に示すように、記憶部４１１は、プログラムを記憶するシングルポートのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１１ａと、画像イメージデータを記憶するデュアルポートのＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）４１１ｂとの２つ構成であってもよい。ＲＡＭ４１１ａには、制御部が実行するプログラム４９０が記憶される。ＶＲＡＭ４１１ｂには、画像取得要求により特定される特定画像４９５、及び、検索情報から検索文字列以外の情報を抜き取った検索結果画像５９９が一時的に保存される。検索結果画像５９９は、図１２を用いて後述する。

図３に示す入力部４２０は、範囲指定用十字キー、画像取得ボタン、及び範囲確定ボタンを有する。ユーザが、情報処理装置５００の表示部に表示される動画から、特定の画像を選択するために画像取得ボタンを押下すると、入力部４２０は、画像取得ボタン押下入力を、画像取得要求として制御部４１５に出力する。ユーザは、端末装置４００の表示部４１７に表示される画像から、ユーザが検索エンジンで情報検索しようとする特定画像内の画像やテキストの表示範囲を選択した表示範囲入力である座標情報を範囲指定用十字キーで選択し、範囲確定ボタンを押下する。入力部４２０は、範囲指定用十字キーで選択された表示範囲入力である座標情報を制御部４１５に出力する。

図５は、端末装置の一例を示す図である。図５に示す端末装置４００Ａは、表示部４１７、上記の範囲指定用十字キー４２１、画像取得ボタン４２２、範囲確定ボタン４２３を有する。図４に示されるように、画像取得ボタン４２２の上部には、「Ｃａｐｔｕｒｅ」の文字が示され、範囲確定ボタン４２３は、ボタンの上部に「ＥＮＴＥＲ」の文字が示される。

表示制御部４１４は、表示部４１７に接続されている。表示制御部４１４は、制御部４１５から伝送された画像信号（例えばＹＵＶやＲＧＢ形式の信号）に基づき、表示部４１７を駆動するための表示駆動信号を生成して、表示部４１７に表示駆動信号を供給する。表示部４１７は、表示駆動信号に従って、画像を表示する。表示部４１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、有機エレクトロルミネッセンスディスプレイなどの表示デバイスである。

なお、表示部４１７は、例えば、静電容量方式のタッチパネル式ディスプレイである。静電容量方式のタッチパネルは、導電膜と、検出回路を有し、検出回路が、指先と導電膜との間の静電容量の変化による電流変化を検出し、静電容量の変化を生じた位置を計算することで、導電膜上の指先の位置を検出する。導電膜は透明であり、導電膜は、タッチパネル下部に配置されるディスプレイの画像情報を表示するので、タッチパネル式ディスプレイの表示部４１７は、タッチパネル機能と、ディスプレイ機能をあわせ持つ。

このように、タッチパネル式ディスプレイの表示部４１７は、タッチパネル機能を有するので、表示部の一部分を、上記した入力部４２０として動作させてもよい。

図３に示す通信部４１３は、映像又は音声データを含む無線信号を受信して、受信した無線信号から、デジタル信号である映像又は音声データを取得する機能を有する。通信部４１３は、アンテナ４１８を有し、アンテナ４１８を介して電波を受信する。通信部４１３は、アンテナ４１８により受信された電波から、ＡＤ変換や、フーリエ変換、逆拡散などのベースバンド処理を行った後に、特定の周波数帯域の電波を抽出するデジタル信号処理を行う。通信部４１３は、ＴＣＰ（Transmission Control Protocol）／ＩＰ処理を行うＮＩＣ（Network Interface Card）としても動作して、インターネット２００へのアクセスを提供する。

〔３〕情報処理装置
図６は、情報処理装置のハードウェア構成の一例を示す図である。図６に示すように、情報処理装置５００は、制御部５１５、記憶部５１１、通信部５１３、表示制御部５１４、及び表示部５１７を有する。制御部５１５は、上記の各ユニットと、データバス５１０を介してデータ接続する。

制御部５１５は、端末装置４００から画像取得要求を受け取ると、表示部５１７に表示される動画から画像取得要求により特定される特定画像を取得し、特定画像を端末装置に送信するように、通信部５１３に対して制御する特定画像送信処理を行う。なお、制御部５１５による特定画像からの画像取得処理は、特定画像に含まれる画像取得ボタン４２２押下時の押下時刻を用いて、取得してもよい。また、制御部５１５が画像を取得する場合、情報処理装置５００と端末装置４００は、無線通信により、時刻同期を行なってもよい。このように、画像取得要求に時間が含まれることで、既に、情報処理装置５００のテレビ放送では表示されていないが、記憶部５１１に記憶されている画像を取得することが出来る。

制御部５１５はさらに、端末装置４００から座標情報を受け取ると、座標情報により特定される特定画像内の画像範囲（以下、「検索対象画像」という）を検索情報として検索サーバ３００に送信するように通信部５１３に対して制御する検索情報送信処理を行う。

制御部５１５はさらに、検索対象画像の中から文字を認識する文字認識処理を実行する。

制御部５１５の文字認識処理は、特定画像の画像範囲を一定の領域に分割する。制御部５１５の文字認識処理は、分割領域を、２値化し、文字要素を抽出し、抽出した文字要素の特徴を定量化したデータと、記憶部５１１に記憶された標準文字の特徴を定量化した特徴量データとをマッチングすることにより、入力された画像に含まれる個別の文字を認識する。マッチング率が所定値以上となった場合、制御部５１５は文字認識が成功（以下、「識字」ともいう）したと判断し、制御部５１５は、認識した文字を検索文字列として検索サーバ３００に送信することで、検索サーバ３００の文字列検索を利用する。

また制御部５１５は、検索対象画像に対して文字認識した検索文字列ではなく、検索対象画像を検索サーバ３００に送信し、検索サーバ３００の画像認識機能を利用してもよい。

ユーザが情報検索を所望する画像内には、文字が無い場合がある。例えば、綺麗な海がテレビに表示され、ユーザがその海に行きたい場合、画像内にその海を示す文字が無い場合、情報検索が得られない。しかしながら、検索サーバ３００の画像認識機能を利用する場合、情報処理装置５００が、綺麗な海を示す検索対象画像を送信し、その海が「モルディブ」の海であるとする検索結果を、検索サーバ３００から得られる。また、ユーザが、テレビに表示される人物に興味を持った場合、その人物の名前が画面に無い場合がある。そのような場合でも、情報処理装置５００が、人物を含む検索対象画像を送信し、その人物の名称を検索結果として検索サーバ３００から得ることが出来る。

また、検索対象画像によっては、文字認識の識字率が下がる場合がある。例えば、検索対象画像内に文字の画像があったとしても、著しく不鮮明であった場合や、斜め向きに表示される場合である。そのような場合、制御部５１５は識字できないため、検索サーバ３００に検索文字列を送信できない。しかし、制御部５１５は、検索対象画像をそのまま検索サーバ３００に送信して、検索サーバ３００の画像認識機能を利用する。このようにすることで、ユーザが情報検索を希望する画像について、常に、検索サーバ３００から情報を得ることが出来る。

制御部５１５は、さらに検索結果５９８から検索文字列にフィルタ処理をかけて、検索文字列とは関係の無い情報を削除し、端末装置４００へ送信する検索結果画像５９９を生成することが出来る。そのため、検索結果画像５９９には検索文字列に関係の無い情報が削除されることから、ユーザは、動画に含まれる情報に関連する検索結果を容易に判別することが出来る。

制御部５１５は、例えば、ＣＰＵである。制御部５１５は、各処理を実行するさいに、制御部５１５内の命令実行部によりアクセス頻度の高いデータを一時的に保持するキャッシュメモリを含む。

記憶部５１１は、制御部５１５が実行するプログラムを記憶する。記憶部５１１はさらに、通信部５１３で取得する画像を一時的に記憶する。

なお、情報処理装置５００は、端末装置４００と同様に、図示しないドライブ装置を有してもよい。ドライブ装置は、例えば、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ、ＤＶＤなどの記憶媒体を読み書きする。制御部５１５は、ドライブ装置の記録媒体により読み出されたプログラムを、記憶部５１１に格納する。このようにして、上記プログラムを、記憶部５１１は記憶する。

図７は、情報処理装置の記憶部の一例を示す図である。図７に示すように、記憶部５１１は、プログラムを記憶するシングルポートのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５１１ａと、画像イメージデータを記憶するデュアルポートのＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）５１１ｂとの２つ構成であってもよい。ＲＡＭ５１１ａには、制御部５１５が実行するプログラム５９０、端末装置４００から送信された座標情報５９１、文字認識処理により認識された検索文字列５９２、及び、標準文字の特徴量データ５９３、検索結果５９８が記憶される。ＶＲＡＭ５１１ｂには、画像取得要求により特定される特定画像４９５、及び、座標情報５９１により特定画像４９５より切り出された検索対象画像５９４、検索結果画像５９９が一時的に保存される。ＶＲＡＭ５１１ｂにはさらに、テレビ放送より取得した動画を構成する動画用画像５９５ａ、・・・、５９５ｎをＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）で保存される。

なお、検索文字列５９２を記憶部５１１に記憶しておき、嗜好データとしてその後に活用してもよい。

図６に示す通信部５１３は、端末装置４００の通信部４１３又はウェブサーバ３３０又は検索サーバ３００と通信を行うために、通信部４１３で説明した機能を有する。通信部５１３はさらに、テレビ放送を受信するアンテナ、及びアンテナチューナを有して、それにより、テレビ放送を受信する。アンテナチューナは、アンテナを所定のチャネルの周波数に共振させて、アンテナとアンテナチューナとのインピーダンス整合を取ることで、アンテナからの受信電力の効率を上げるように動作する。

表示制御部５０４は、表示部５１７に接続されている。表示制御部５０４は、制御部５１５から伝送された画像信号（例えばＹＵＶやＲＧＢ形式の信号）に基づき、表示部５１７を駆動するための表示駆動信号を生成して、表示部５１７に表示駆動信号を供給する。表示部５１７は、表示駆動信号に従って、画像を表示する。表示部５１７は、例えば、ＬＣＤや、有機エレクトロルミネッセンスディスプレイ、プラズマディスプレイなどの表示デバイスである。

〔４〕画像取得処理
次に、画像取得処理として、端末装置による画像取得要求処理、情報処理装置による特定画像送信処理、及び、端末装置による特定画像表示処理について説明する。

図８は、画像取得処理の一例を示す図である。図８に示すＳ７１〜Ｓ７５は、画像取得処理に伴うデータ通信又は情報処理を示す。なお、当該処理の前に、情報処理装置５００はテレビ放送を表示しながら、端末装置からの画像取得要求待ちうけ状態になっている。端末装置４００は電源をオンにして、操作可能な状態にある。そして、図８〜図１１に示される例は、情報処理装置５００では旅行番組を表示しており、ユーザは、興味をもった風景を発見し、端末装置４００を用いて当該風景に含まれる「ラベンダー おかむらさき」を元に検索情報を取得する例である。

まず、端末装置４００は、画像取得ボタン４２２操作により、入力部４２０から画像取得要求を受け取る（Ｓ７１）と、制御部４１５が、情報処理装置５００に対して画像取得要求を送信するように通信部４１３を制御する画像取得要求処理を行う（Ｓ７２）。

情報処理装置５００は端末装置４００から画像取得要求を受け取ると（Ｓ７２）、制御部５１５は表示部５１７に表示される動画から画像取得要求により特定される特定画像を選択して、特定画像４９５をＶＲＡＭ５１１ｂに一時格納する（Ｓ７３）。そして、制御部５１５は、特定画像を端末装置４００に送信するように通信部５１３を制御する（Ｓ７４）。

端末装置４００は、情報処理装置５００から画像取得要求により特定される特定画像を受け取ると（Ｓ７４）、制御部４１５は、特定画像を表示部４１７に表示する特定画像表示処理を行う（Ｓ７５）。図８に示す４９５は、表示部４１７に表示される特定画像の一例である。

〔５〕座標情報送信処理
次に、座標情報送信処理について説明する。図９は、座標情報送信処理の一例を示す図である。図９に示すＳ８１〜Ｓ８４は、画像取得処理に伴うデータ通信又は情報処理を示す。

端末装置４００のユーザは、範囲指定用十字キー４２１を操作して、切り出したい画像の左上座標［ｘ１，ｙ１］にカーソルを移動し、範囲確定ボタン４２３を押下して［ｘ１，ｙ１］を、検索画像の範囲の開始位置を確定する（Ｓ８１）。

端末装置４００のユーザは、範囲指定用十字キー４２１を操作して、切り出したい画像の右下座標［ｘ２，ｙ２］にカーソルを移動し、範囲確定ボタン４２３を押下して［ｘ２，ｙ２］を確定する（Ｓ８２）。端末装置４００は、Ｓ８１及びＳ８２により確定された座標情報を、通信部５１３を介して無線通信で情報処理装置５００に送信する。図９に示す５９４は、表示部４１７に表示される座標情報で特定される検索対象画像の一例である。

情報処理装置５００は、端末装置４００から送信された座標情報を受信し（Ｓ８３）、ＶＲＡＭ５１１ｂに座標情報で指定された検索対象画像５９４を格納する（Ｓ８４）。

〔６〕文字認識処理
図１０は、情報処理装置による文字認識処理の一例を説明する図である。制御部５１５の文字認識処理は、検索対象画像を２値化し、文字要素を抽出する。図１０に示す検索対象画像５９４ａは、検索対象画像５９４を２値化した画像である。図１０に示す文字要素５９６は、制御部５１５が抽出した文字要素である。文字要素５９６を、特徴量データ５９３とマッチングして、識字することで、制御部５１５は、検索対象画像５９４から「ラベンダー おかむらさき」という情報を検索文字列として取得する。

〔７〕検索処理
図１１は、検索情報の一例を説明する図である。図１１に示す検索結果５９８は、「ラベンダー おかむらさき」という情報を検索文字列に関して、検索サーバ３００から取得した情報である。図示されるように、「ラベンダー おかむらさき」に関する検索情報として、場所「富良野」や、「ハーブの説明」、「おかむらさき」等が示される。検索結果５９８は、上記のように、ＲＡＭ５１１ａに記憶される。

図１２は、検索結果画像の一例を説明する図である。図１２に示す検索結果画像５９９は、検索文字列に関連する以外の情報である５９７を除いた検索結果画像５９９が示される。

〔８〕情報検索システムの処理フロー
図１３は、情報検索システムの処理フローの一例を示す図である。図１４は、文字認識処理の処理フローの一例を示す図である。図１３に示すＳ７１〜Ｓ８４は、図８又は図９を用いて説明したので、説明を省略する。

情報処理装置５００は、検索対象画像に対して文字認識処理を実行する（Ｓ８５）。Ｓ８５の説明のために、図１４を参照する。図１４に示す文字認識処理を実行すると（Ｓ８５−１）、制御部５１５は、文字認識が成功したか否かを判断する（Ｓ８５−２）。文字認識が成功した場合（Ｓ８５−２ Ｙｅｓ）、情報処理装置５００は、文字認識した文字列を検索文字列として、検索サーバ３００に送信する（Ｓ８６）。マッチング率が所定値以下となり、文字認識に失敗した場合（Ｓ８５−２ Ｎｏ）、情報処理装置５００は、検索対象画像を検索サーバ３００に送信する（Ｓ８７）。

図１３を参照すると、検索サーバ３００は、検索文字列又は検索対象画像を用いて、検索処理を実行する（Ｓ８８）。検索サーバ３００は、検索結果５９８を情報処理装置５００に送信する（Ｓ８９）。

情報処理装置５００は、検索結果を受け取ると、検索文字列を、検索結果５９８から取り除く文字列フィルタ処理を実行する（Ｓ９０）。情報処理装置５００は、検索文字列を取り除いた検索結果画像５９９を端末装置４００に送信する（Ｓ９１）。端末装置４００は、検索結果画像５９９を受け取ると、表示部に検索結果画像５９９を表示する（Ｓ９２）。ユーザは、その後、検索結果画像５９９に示されるＵＲＬを、入力部４２０を操作して選択し、インターネット２００を介してウェブサーバ３３０に格納される情報を取得することで、端末装置４００を用いて情報検索することが出来る。

上記したように、端末装置４００のユーザは、情報処理装置５００でテレビ観賞しているときに、情報検索したいと思った瞬間に端末装置４００にて記録して情報検索可能となる。そのため、検索文字列をユーザが記憶又は記録する必要が無く、よって検索文字列を忘却することなく情報検索が可能となる。また、端末装置４００から情報検索指示を出し、検索結果を端末装置４００に表示するため、情報処理装置でテレビ鑑賞している人の邪魔になることも防止することが出来る。

以上の実施形態に関し、更に以下の付記を開示する。
［付記１］
情報を検索する検索サーバに接続する情報検索システムであって、
表示される画像を特定し、前記特定した画像の画像範囲を指定し、前記指定される前記画像範囲において認識した文字を前記検索サーバに送信することを特徴とする情報検索システム。
[付記２］
第１の装置及び第２の装置を備え、
前記第１の装置は、前記第２の装置で表示される画像を特定し、又、前記特定した画像の画像範囲を指定し、
前記第２の装置は、前記第１の装置で指定された画像範囲において認識した文字を前記検索サーバに送信することを特徴とする付記１に記載の情報検索システム。
［付記３］
情報を検索する検索サーバに接続するとともに、端末装置及び情報処理装置を有する情報検索システムであって、
前記端末装置は、データを送受信する第１通信部及び画像を表示する第１表示部と、
前記情報処理装置で表示される画像を特定する画像取得要求を、前記情報処理装置に送信するように、又、前記情報処理装置から送信される前記画像取得要求により特定される特定画像を前記第１表示部に表示して前記特定画像の画像範囲を指定する座標情報を前記情報処理装置に送信するように、前記第１通信部を制御する制御部と、を備え、
前記情報処理装置は、データを送受信する第２通信部及び前記第２通信部で受信した画像を表示する第２表示部と、
前記端末装置から送信される前記画像取得要求に従って前記第２表示部で表示される画像の中から取得した前記特定画像を前記端末装置に送信するように、又、前記端末装置から送信される前記座標情報により指定される前記画像範囲において認識した文字を前記検索サーバに検索情報として送信するように、前記第２通信部を制御する制御部と、を備えることを特徴とする情報検索システム。
［付記４］
前記第２制御部は、前記文字の認識が出来なかった場合、前記座標情報により指定される前記画像範囲を、前記検索情報として前記検索サーバに送信するように前記第２通信部を制御する、ことを特徴とする付記３に記載の情報検索システム。
［付記５］
前記第２制御部は、前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する、ことを特徴とする付記３又は４に記載の情報検索システム。
［付記６］
情報を検索する検索サーバと、端末装置とに接続する情報処理装置あって、
データを送受信する通信部と、
前記通信部で受信した画像を表示する表示部と、
前記表示部で表示される画像を特定する画像取得要求を前記端末装置から受信すると、前記画像取得要求に従って前記表示部で表示される画像の中から取得した前記特定画像を前記端末装置に送信するように、又、前記特定画像の画像範囲を指定する座標情報を前記端末装置から受信すると、前記座標情報により指定される前記画像範囲において認識した文字を前記検索サーバに検索情報として送信するように、前記通信部を制御する制御部と、を備えることを特徴とする情報処理装置。
［付記７］
前記制御部は、前記文字の認識が出来なかった場合、前記座標情報により指定される前記画像範囲を、前記検索情報として前記検索サーバに送信するように前記第２通信部を制御する、ことを特徴とする付記６に記載の情報処理装置。
［付記８］
前記制御部は、前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する、ことを特徴とする付記６又は７に記載の情報処理装置。
［付記９］
情報を検索する検索サーバと、画像を表示し、前記画像を特定する画像取得要求を受信すると、前記画像取得要求により特定される特定画像を前記画像の中から取得するとともに、前記特定画像の画像範囲を指定する座標情報を受信すると、前記座標情報により指定される前記画像範囲において認識した文字を前記検索サーバに検索情報として送信する情報処理装置と、接続する端末装置であって、
データを送受信する通信部と、
画像を表示する表示部と、
前記情報処理装置で表示される画像を特定する画像取得要求を、前記情報処理装置に送信するように、又、前記情報処理装置から送信される前記画像取得要求により特定される特定画像を前記表示部に表示して前記特定画像の画像範囲を指定する座標情報を前記情報処理装置に送信するように、前記通信部を制御する制御部と、を備えることを特徴とする端末装置。
［付記１０］
情報を検索する検索サーバに接続するとともに、端末装置及び情報処理装置を有する情報検索システムにおける情報検索方法であって、
前記端末装置は、前記情報処理装置で表示される画像を特定する画像取得要求を、前記情報処理装置に送信し、
前記情報処理装置は、前記端末装置から送信される前記画像取得要求に従って前記画像の中から取得した前記特定画像を前記通信端末に送信し、
前記端末装置は、前記特定画像の画像範囲を指定する座標情報を前記情報処理装置に送信し、
前記情報処理装置は、前記座標情報により指定される前記画像範囲において認識した文字を前記検索サーバに検索情報として送信することを特徴とする情報検索方法。
［付記１１］
前記情報処理装置は、前記文字の認識が出来なかった場合、前記座標情報により指定される前記画像範囲を、前記検索情報として前記検索サーバに送信する、ことを特徴とする付記１０に記載の情報検索方法。
［付記１２］
前記情報処理装置は、前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する、ことを特徴とする付記１０又は１１に記載の情報検索方法。
［付記１３］
情報を検索する検索サーバと、端末装置とに接続する情報処理装置を制御するためのプログラムであって、前記情報処理装置の制御部に、
前記表示部で表示される画像を特定する画像取得要求を前記端末装置から受信すると、前記端末装置から送信される前記画像取得要求に従って前記表示部で表示される画像の中から前記特定画像を取得する手順と、
前記特定画像を前記端末装置に送信するように前記情報処理装置の通信部を制御する手順と、
前記特定画像の画像範囲を指定する座標情報を前記端末装置から受信すると、前記座標情報により指定される前記画像範囲において文字を認識する手順と、
前記認識した文字を前記検索サーバに検索情報として送信するように、前記通信部を制御する手順と、を実行させることを特徴とするプログラム。
［付記１４］
前記文字の認識が出来なかった場合、前記座標情報により指定される前記画像範囲を、前記検索情報として前記検索サーバに送信するように前記通信部を制御する手順を、前記制御部に実行させることを特徴とする付記１３に記載のプログラム。
［付記１５］
前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する手順を、前記制御部に実行させることを特徴とする付記１３又は１４に記載のプログラム。
［付記１６］
情報を検索する検索サーバと、画像を表示し、前記画像を特定する画像取得要求を受信すると、前記画像取得要求により特定される特定画像を前記画像の中から取得するとともに、前記特定画像の画像範囲を指定する座標情報を受信すると、前記座標情報により指定される前記画像範囲において認識した文字を前記検索サーバに検索情報として送信する情報処理装置と、接続する端末装置を制御するためのプログラムであって、前記通信端末の制御部に、
前記情報処理装置に表示される動画から画像を特定する画像取得要求を、前記情報処理装置に送信するように前記通信端末の通信部を制御する手順と、
前記情報処理装置から前記画像取得要求に特定される特定画像を前記通信部で受け取ると、前記特定画像を前記通信端末の表示部に表示する手順と、
前記特定画像の前記座標情報を前記情報処理装置に送信するように前記通信部を制御する手順と、を実行させることを特徴とするプログラム。

１０ 情報検索システム
１００ テレビ送信アンテナ
３００ 検索サーバ
３１０ アクセスポイント
４００ 端末装置
４１１ 記憶部
４１３ 通信部
４１５ 制御部
４１７ 表示部
４２０ 入力部
４２１ 範囲指定用十字キー
４２２ 画像取得ボタン
４２３ 範囲確定ボタン
５００ 情報処理装置
５１１ 記憶部
５１３ 通信部
５１５ 制御部
５１７ 表示部

Claims (7)

1. 情報を検索する検索サーバを有する情報検索システムであって、
   第２の装置に表示される画像を第１の装置により特定し、前記第１の装置が前記特定された画像の取得を前記第２の装置に要求する画像取得要求を実行する画像取得要求手段と、
   前記画像取得要求に応じて取得される特定画像から前記特定画像内の画像範囲を指定する画像範囲指定手段と、
   前記画像範囲において文字認識を実行し、文字が認識された場合前記認識された文字を前記検索サーバに検索情報として送信し、前記文字が認識されなかった場合前記画像範囲を前記検索サーバに検索情報として送信する検索情報送信手段と、
   を備えることを特徴とする情報検索システム。
2. 前記第１の装置は、前記画像取得要求手段と前記検索対象画像指定手段を有し、
   前記第２の装置は、前記検索情報送信手段を有する、
   ことを特徴とする請求項１に記載の情報検索システム。
3. 情報を検索する検索サーバに接続するとともに、端末装置及び情報処理装置を有する情報検索システムであって、
   前記端末装置は、
   データを送受信する第１通信部及び画像を表示する第１表示部と、
   前記情報処理装置で表示される画像を取得する画像取得要求を、前記第１通信部を用いて前記情報処理装置に送信し、前記情報処理装置から送信される前記画像取得要求により特定される特定画像を前記第１表示部に表示し、前記表示される特定画像から前記特定画像内の画像範囲を指定する座標情報を前記第１通信部を用いて前記情報処理装置に送信する、第１制御部と、を備え、
   前記情報処理装置は、
   データを送受信する第２通信部及び前記第２通信部で受信した画像を表示する第２表示部と、
   前記端末装置から送信される前記画像取得要求により特定される前記特定画像を前記第２表示部で表示される画像の中から選択して前記第２通信部を用いて前記端末装置に送信し、前記端末装置から送信される前記座標情報により指定される画像範囲において文字認識を実行し、文字が認識された場合前記認識された文字を検索サーバに前記第２通信部を用いて検索情報として送信し、前記文字が認識されなかった場合前記画像範囲を前記検索サーバに前記第２通信部を用いて検索情報として送信する、第２制御部と、を備える
   ことを特徴とする情報検索システム。
4. 前記第２制御部は、前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する、ことを特徴とする請求項３に記載の情報検索システム。
5. 情報を検索する検索サーバと、端末装置とに接続する情報処理装置であって、
   データを送受信する通信部と、
   前記通信部で受信した画像を表示する表示部と、
   前記表示部で表示される画像の画像取得要求を前記端末装置から受信すると、前記画像取得要求に従って取得した特定画像を前記端末装置に前記通信部を用いて送信し、前記特定画像内の画像範囲を指定する座標情報を前記端末装置から受信すると、前記座標情報により指定される前記画像範囲において文字認識を実行し、文字が認識された場合前記認識された文字を前記検索サーバに前記通信部を用いて検索情報として送信し、前記文字が認識されなかった場合前記画像範囲を前記検索サーバに前記通信部を用いて検索情報として送信する、制御部と、
   を備えることを特徴とする情報処理装置。
6. 前記制御部は、前記検索サーバから取得した検索結果の中から、前記検索情報とは関係の無い情報を削除する、ことを特徴とする請求項５に記載の情報処理装置。
7. 情報を検索する検索サーバに接続するとともに、端末装置及び情報処理装置を有する情報検索システムにおける情報検索方法であって、
   前記端末装置は、前記情報処理装置で表示される画像を取得する画像取得要求を、前記情報処理装置に送信し、
   前記情報処理装置は、前記端末装置から送信される前記画像取得要求により特定される特定画像を前記端末装置に送信し、
   前記端末装置は、前記特定画像内の画像範囲を指定する座標情報を前記情報処理装置に送信し、
   前記情報処理装置は、前記画像範囲において文字認識を実行し、文字が認識された場合前記認識された文字を前記検索サーバに検索情報として送信し、前記文字が認識されなかった場合前記画像範囲を前記検索サーバに検索情報として送信することを特徴とする情報検索方法。