JP5906843B2 - キーワード検出装置、その制御方法および制御プログラム、並びに表示機器 - Google Patents

Description

本発明は、インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置、その制御方法および制御プログラム、並びに表示機器に関するものである。

近年、インターネット上の検索エンジンにて検索を行うための検索用キーワードを、ＣＭ（Commercial Message）などのテレビジョン（以下、「ＴＶ」と称する。）放送用画像に含めて放送することが行われている。上記検索用キーワードを上記ＴＶ放送用画像の一部としてＴＶ受像機にて表示することにより、ユーザに対し、上記検索エンジンにて上記検索用キーワードを検索するように促すことができる。

しかし、上記検索用キーワードの表示が短時間である場合も多く、このため、ユーザが上記検索用キーワードを見逃すことがある。また、ユーザが直ちにインターネット上での上記検索を行える環境ではない場合、上記検索を行う前に、表示された検索用キーワードを忘れてしまうことがある。

このような問題点を回避するため、上記放送用画像から検索用キーワードの文字列を認識して、該検索用キーワードを抽出することが考えられられる。

例えば、特許文献１に記載のインターネットテレビ装置では、テレビ放送の映像から文字認識により文字列を検出し、検出した文字列から単語を検出し、検出した単語から、所定の条件に従って、ネットワーク上の情報を検索するためのキーワードを決定している。

また、特許文献２には、ＴＶ放送において提示される各種検索誘導画面からキーワードを検出し、該キーワードを用いたインターネット検索を行う情報処理装置が開示されている。具体的には、最新の入力画像と所定時間前の入力画像との間の変化量を算出し、その変化量が閾値以下となる領域内において文字認識処理を実行している。文字列を含む画像は、当該文字列をユーザが認識できるように、或る程度の時間表示し続ける必要がある。このため、上記文字列の上記変化量はきわめて小さくなると考えられることから、上記文字認識処理によって上記キーワードを含む文字列を抽出することができる。

特開２０１０−０３９６４７号公報（２０１０年２月１８日公開） 特開２００９−１８８８８６号公報（２００９年８月２０日公開） 特開２００９−０４４６５８号公報（２００９年２月２６日公開） 特開２０１０−１５２８００号公報（２０１０年７月８日公開） 特許第４８９３８６１号公報（２０１２年３月７日発行）

「ディジタル画像処理」，第２版，財団法人 画像情報教育振興協会,２００９年，ｐ．３１１−３１３

しかしながら、特許文献１に記載のインターネットテレビ装置では、テレビ放送の映像の全体に対し文字認識を行った上で上記キーワードを検出している。この場合、多数の文字のそれぞれについて、当該文字の特徴点と上記映像の特徴点との照合を行う第１の処理と、該照合により検出された文字列から上記キーワードの検索を行う第２の処理とを行う必要がある。特に、日本国、中国のような漢字文化圏の場合、文字認識の対象となる文字の数が３千以上となり、処理負担が大きくかつ処理時間が長くなる。

これに対し、特許文献２の情報処理装置では、文字認識の対象となる画像領域が、最新の入力画像と所定時間前の入力画像との間の変化量が閾値以下となる領域に限定されるので、処理時間を短縮することができる。しかしながら、上記変化量を算出するために、少なくとも２枚のフレーム画像を扱う必要がある。そのため、メモリ容量を圧迫し、処理時間が長くなるという問題がある。また、同様の理由により、上記情報処理装置は静止画像に使用することができない。

そこで、上記検索用キーワードを迅速に抽出する技術として、上記検索用キーワードを入力するための検索窓が、特徴的な形態で提供されていることに着目した技術がある。

ここで、図９に、検索窓の形態例を示す。図示のように、検索窓は、検索を促す「検索」などの文字列の左側に、矩形の形態、または矩形に類似の形態で左右の辺が丸みを帯びた形態で提供されるものが多い。また、上記「検索」などの文字列は、矩形などの枠に囲まれていることもあるが、枠に囲まれずに提供されることもある。

例えば、特許文献３には、画像中から水平または垂直な直線となっている箇所を抽出することが開示されている。これにより、サーチエンジン（検索エンジン）の検索窓を模した領域を特定し、その領域内から検索用キーワードを抽出することができる。

また、特許文献４には、画面に表示される映像から文字入力領域（検索窓）の形状を有する映像であって、該映像内に存在する文字の配列が上記文字入力領域に入力される文字の配列を有している映像を抽出することが開示されている。これにより、上記文字入力領域内に文字が検索窓に特徴的な形態で配列された検索窓領域のみを画像から正確に抽出することができる。

しかし、ＴＶ放送用画像などの動画においては、検索窓でなくとも、風景の部分も含めて検索窓に類似の矩形または多角形が多数表示されることがある。特許文献３・４では、上記矩形または多角形の各々について文字または文字の特徴量を抽出する必要があり、結果として処理時間が長くなってしまう。特に、リアルタイム性が要求される動画を扱うためには、長い処理時間は深刻な問題となってしまう。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、検索用キーワードを迅速に検出できるキーワード検出装置などを提供することにある。

本発明に係るキーワード抽出装置は、インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置であって、上記課題を解決するために、上記対象画像から、上記検索を促す特定文字列の特徴点を検出する特徴点検出部と、上記対象画像において、上記特徴点検出部が検出した特徴点の周囲に存在する文字列を、上記検索用キーワードとして認識するキーワード認識部と、を備えることを特徴としている。

また、本発明に係るキーワード抽出装置の制御方法は、インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置の制御方法であって、上記課題を解決するために、上記対象画像から、上記検索を促す特定文字列の特徴点を検出する特徴点検出ステップと、上記対象画像において、上記特徴点検出ステップにて検出された特徴点の周囲に存在する文字列を、上記検索用キーワードとして認識するキーワード認識ステップと、を含むことを特徴としている。

上記の構成および方法によると、対象画像において、検索を促す特定文字列の特徴点が検出され、検出された特徴点の周囲に存在する文字列が、検索用キーワードとして認識される。

ところで、従来は、特許文献１のように、対象画像の全体に対し文字認識を行った上で上記特定文字列を抽出する場合がある。この場合、多数の文字のそれぞれについて、当該文字の特徴点と対象画像の特徴点との照合を行う第１の処理と、該照合により検出された文字列に上記特定文字列が含まれているか否かの判断を行う第２の処理とを行う必要がある。

これに対し、本発明では、幾つかの上記特定文字列のそれぞれについて、当該特定文字列の特徴点と対象画像の特徴点との照合を行う処理で済む。すなわち、本発明では、上記従来の場合に比べて、第１の処理は、少数の文字のそれぞれについて、当該文字の特徴点と対象画像の特徴点との照合を行うことになり、第２の処理は省略されることになる。従って、処理数が少ない上に、上記照合の繰返し数が少なくて済むので、従来よりも迅速に検出することができる。

また、対象画像から検索窓の矩形枠を検出する従来の場合、矩形などの幾何学形状は、特徴点の数が少ないので、対象画像から多数検出される可能性が高く、このため、多数検出された幾何学形状から検索窓の矩形枠を特定する必要がある。これに対し、対象画像から上記特徴文字列を検出する本発明の場合、当該特定文字列は、特徴点の数が多いので、対象画像から多数検出される可能性が低く、このため、従来よりも迅速に検出する可能性が高くなる。

また、検索用キーワードとしての文字列を認識する領域は、検出された特徴点の周囲に限定されるので、当該文字列を迅速に認識することができる。以上より、検索用キーワードを従来よりも迅速に検出することができる。

なお、上記検索を促す特定文字列の例としては、「検索」、「サーチ（search）」、「確認」、「チェック（check）」、これらの訳語などが挙げられる。また、上記特定文字列の特徴点の検出は、該特定文字列に含まれる文字ごとに特徴点を検出してもよいし、複数の文字ごとに特徴点を検出してもよい。上記文字ごとに特徴点を検出する場合、まず、上記特定文字列に含まれる或る文字の特徴点を検出し、次に、検出された特徴点の周囲から、上記特定文字列に含まれる別の文字の特徴点を検出してもよい。

本発明に係るキーワード抽出装置では、上記対象画像において、上記特徴点検出部が検出した特徴点の周囲から、上記検索用キーワードを入力するための検索窓を検出する検索窓検出部をさらに備えており、上記キーワード認識部は、上記検索窓検出部が検出した検索窓内の文字列を、上記検索用キーワードとして認識する構成であることが好ましい。

一般に、上記検索窓は、例えば矩形など、形状が限定されているので、上記特徴点の周囲において、上記検索窓を検出する方が、文字認識により文字列を検出するよりも著しく迅速に検出することができる。また、上記検索窓の内部は、上記特徴点の周囲よりも著しく狭いので、上記検索窓内から文字列を認識する方が、上記特徴点の周囲から文字列を認識するよりも著しく迅速に検出することができる。従って、上記の場合には、検索用キーワードをさらに迅速に検出することができる。

ところで、上記検索窓は、「検索」などの検索を促す特定文字列の左側付近に位置していることが多い。また、上記検索窓は、矩形を基調としながらも多様な形状を有しているが、一般には、上辺が、上記特定文字列の外接矩形（bounding box）の左上頂点座標よりも左上に位置しており、かつ、下辺が、上記外接矩形の左下頂点座標よりも左下に位置している。ここで、外接矩形とは、対象に接する最小の長方形をいう。

そこで、本発明に係るキーワード抽出装置では、上記検索窓検出部は、上記対象画像において、上記特定文字列の外接矩形を求め、求めた外接矩形の左上頂点を右下頂点とする上部検出用矩形と、上記外接矩形の左下頂点を右上頂点とする下部検出用矩形とを設定し、設定された上部検出用矩形および下部検出用矩形内に、それぞれ、上記検索窓の上辺および下辺を検出し、検出された上辺および下辺によって構成される矩形を両側方向に拡げた側部検出用矩形を設定し、設定された側部検出用矩形内に、上記検索窓の左側および右側の線を検出することにより、上記検索窓を検出することが好ましい。

この場合、上記検索窓を検出するための領域が、上記の上部検出用矩形、下部検出用矩形、および側部検出用矩形内の領域に限定される。従って、上記検索窓をさらに迅速に検出することができ、その結果、上記検索用キーワードをさらに迅速に検出することができる。

本発明に係るキーワード抽出装置では、上記対象画像は、動画における一連の静止画像であり、上記検索窓検出部が、或る上記静止画像から上記検索窓を検出した場合、その後の上記静止画像から上記検索窓が検出されなくなるまで、上記特徴点検出部の動作を省略することが好ましい。

この場合、上記検索窓が検出されている間は、上記特徴点検出部による特定文字列の特徴点の検出が省略されるので、上記検索用キーワードをさらに迅速に検出することができる。また、上記特定文字列の特徴点は、上記対象画像の全体を調べて検出しているので、上記対象画像のサイズが大きくなるにつれて、検出に必要な時間が長くなる。従って、上記の場合には、上記対象画像のサイズが大きくなることにより上記検索用キーワードの検出が遅延することを抑えることができる。

ところで、文字認識により得られる文字には、マッチング信頼度の順に幾つかの文字候補が含まれ、第１の文字候補が正解の文字であるとは限らないが、上位（例えば第１〜第３）の文字候補の何れかが正解の文字である可能性が高い。

そこで、本発明に係るキーワード抽出装置では、上記キーワード認識部は、上記検索窓内の文字列を構成する文字ごとに、文字認識を行って所定の条件を満たす１または複数の文字候補を検出し、上記各文字の文字候補を組み合わせることにより、上記検索用キーワードの候補を複数個作成することが好ましい。この場合、第１の文字候補のみを組み合わせることにより、正しい検索用キーワードが得られないというリスクを低減することができる。

ところで、正解の文字は、第２以降の文字候補であったとしても、マッチング信頼度が高いと考えられ、或いは第１の文字候補に比べて、マッチング信頼度の差が少ないと考えられる。

そこで、上記所定の条件は、上記文字認識によるマッチング信頼度が所定の閾値よりも大きいものであることが好ましい。また、上記所定の条件は、上記文字認識によるマッチング信頼度が、該マッチング信頼度が最大である文字候補（第１の文字候補）のマッチング信頼度との差が所定の範囲内であることが好ましい。これらの場合、正解の文字を含む文字候補を適切に抽出することができる。

また、上記キーワード認識部は、上記各文字の文字候補を組み合わせた認識文字列のスコアを、該認識文字列を構成する文字候補のマッチング信頼度の平均値とし、上記スコアが上位の認識文字列を上記検索用キーワードの候補とすることが好ましい。この場合、正しい検索用キーワードを含む候補を適切に抽出することができる。

ところで、上記検索窓内の文字列および文字数が時間と共に変化する場合がある。この場合、上記文字列および文字数の変化が終了した後に認識した文字列が、正しい検索用キーワードである可能性が高い。

そこで、本発明に係るキーワード検出装置では、上記対象画像は、動画における一連の静止画像であり、上記キーワード認識部は、上記検索窓検出部が、何れかの上記静止画像から上記検索窓を検出してから、その後に続く上記静止画像から上記検索窓が検出されなくなるまでに作成された認識文字列の中から上記検索用キーワードの候補を作成しており、或る上記静止画像からの認識文字列の文字数に比べて、次の上記静止画像からの認識文字列の文字数が変化するたびに、該認識文字列のスコアの重み付けが大きくなり、重み付けされた上記スコアが上位の認識文字列を上記検索用キーワードの候補とすることが好ましい。この場合、上記検索窓内の文字列および文字数が時間と共に変化する場合にも対応することができる。

なお、インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から抽出する上記構成のキーワード検出装置と、該キーワード検出装置が検出した検索用キーワードと、上記対象画像とを表示する表示装置と、を備えた表示機器であれば、上述と同様の効果を奏する。

また、上記キーワード抽出装置の各部を、制御プログラムによりコンピュータ上で実行させることができる。さらに、上記制御プログラムを、コンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で当該キーワード抽出装置を実行させることができる。

以上のように、本発明に係るキーワード抽出装置は、対象画像において、検索を促す特定文字列の特徴点が検出され、検出された特徴点の周囲に存在する文字列が、検索用キーワードとして認識されるので、上記特定文字列の特徴点を迅速に検出できると共に、当該文字列を迅速に認識でき、その結果、検索用キーワードを従来よりも迅速に検出できるという効果を奏する。

本発明の一実施形態である再生デバイスの概略構成を示すブロック図である。 上記再生デバイスにおける制御部によって実行されるキーワード検出処理の流れを示すフローチャートである。 上記再生デバイスにおける検索窓検出部によって実行される検索窓検出処理の流れを示すフローチャートである。 検索窓の一例を示す図である。 本発明の他の実施形態である表示装置の概略構成を示すブロック図である。 上記表示装置における検索キーワード作成部によって実行される処理の流れを示すフローチャートである。 上記表示装置の正面図であり、該表示装置における表示部の表示例を示す図である。 上記検索キーワード作成部によって実行される他の処理の流れを示すフローチャートである。 様々な検索窓および「検索」文字列の形態を示す図である。

〔実施の形態１〕
以下、本発明の一実施形態について、図１〜図４を参照しながら詳細に説明する。

〔再生デバイスの構成〕
図１は、本実施形態である再生デバイス（キーワード検出装置）１１０の概略構成を示している。再生デバイス１１０は、記憶された動画データを再生して、例えば表示デバイスなど、外部のデバイスに送信するものである。図示のように、再生デバイス１１０は、制御部１０、送信部１０１、および記憶部１０４を備える。

制御部１０は、再生デバイス１１０内における各種構成の動作を統括的に制御するものであり、例えばＣＰＵ（Central Processing Unit）およびメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。なお、制御部１０の詳細については後述する。

記憶部１０４は、情報を記録するものであり、ハードディスク、フラッシュメモリ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの記憶装置によって構成される。なお、記憶部１０４の詳細については後述する。

送信部１０１は、制御部１０からのデータを、データ送信に適した形式に変換した後、外部のデバイスに送信するものである。なお、この送信は、有線で行われてもよいし、無線で行われてもよい。

本実施形態では、再生デバイス１１０は、インターネット上の検索エンジンにて検索を行うための検索用キーワードを動画に含まれる静止画像（対象画像）から検出するものである。再生デバイス１１０は、上記静止画像において、上記検索を促す特定文字列の特徴点を検出し、検出した特徴点の周囲から、上記検索用キーワードを入力するための検索窓を検出し、検出した検索窓内の文字列を、上記検索用キーワードとして認識している。

これにより、上記静止画像の全体に対し文字認識を行った上で上記特定文字列を抽出する場合に比べて、幾つかの上記特定文字列の特徴点と照合すればよく、多数の文字の特徴点と照合する必要が無い。その結果、上記特定文字列の特徴点を迅速に検出することができる。同様に、上記検索窓は、例えば矩形など、形状が限定されているので、迅速に検出することができる。また、検索用キーワードとしての文字列を認識する領域は、上記検索窓内に限定されるので、当該文字列を迅速に認識することができる。その結果、検索用キーワードを従来よりも迅速に検出することができる。

また、上記静止画像から上記特定文字列の特徴点を検出すればよいので、複雑な背景下においても精度良く、かつ、リアルタイムでの処理が可能である。すなわち、「検索」などの特定文字列の背景に、グラデーションが施されていたり、風景が挿入されていたりしていても、精度良く検出でき、結果として、検索用キーワードの検出の精度を向上させることができる。また、「検索」などの特定文字列が矩形で囲まれていなくても問題なく検知することができる。さらに、複数枚分のフレーム画像を扱う必要がなく、そのためのメモリ容量が問題とはならない。

次に、制御部１０および記憶部１０４の詳細について説明する。図１に示すように、制御部１０は、動画再生部１１１、静止画生成部１１２、文字列検知部１１３（特徴点検出部）、検索窓検出部１１５、文字認識部１１６（キーワード認識部）、および合成部１１７を備える構成である。また、記憶部１０４は、画像情報記憶部１２１および文字情報記憶部１２２を含んでいる。

画像情報記憶部１２１は、動画データを記憶するものである。また、文字情報記憶部１２２は、文字に関する情報であって、特定文字列の検知および各種文字の認識に必要な情報である文字情報ＤＢ（データベース）を記憶するものである。具体的には、上記文字情報ＤＢには、文字コードと、特定文字列の特徴量と、各種文字の特徴量とが含まれる。

動画再生部１１１は、画像情報記憶部１２１に記憶された動画データを再生するものである。動画再生部１１１は、再生した動画データを静止画生成部１１２および合成部１１７に送出する。なお、画像情報記憶部１２１が静止画データを記憶し、動画再生部１１１が上記静止画データを再生してもよい。また、上記再生については、周知技術であるので、その詳細な説明を省略する。

静止画生成部１１２は、動画再生部１１１からの動画データを所定の期間ごとにデコードして、静止画像を生成するものである。静止画生成部１１２は、生成した静止画像を文字列検知部１１３に送出する。

文字列検知部１１３は、静止画生成部１１２からの静止画像の中から、検索を促す特定文字列に含まれる各文字の特徴点を検出することにより、上記特定文字列を検知する。文字列検知部１１３は、検知した特定文字列が上記静止画像上で占める位置情報を、上記静止画像と共に検索窓検出部１１５に送出する。なお、特徴点の例としては、画像において輝度が急激に変化する部分などが挙げられる。

上記特定文字列を検知する方法の一例としては、特許文献５に記載のものが挙げられる。すなわち、まず、上記静止画像を構成する各画素が有する色情報に基づいて、類似色を有する一定数以上の画素群からなるクラスタを少なくとも１つ定義する。次に、上記静止画像を、定義されたクラスタに属する画素群の領域と、その他の画素群の領域とに分割して、上記静止画像から上記その他の画素群の領域が排除されたクリッピング画像を生成する。そして、生成されたクリッピング画像から、上記特定文字列に含まれる各文字の特徴点を検出することにより、該特定文字列を検知する。

ここで、検索を促す特定文字列の例としては、「検索」、「サーチ」、「確認」、「チェック」、これらの訳語などが挙げられる。以下では、上記検索を促す特定文字列として「検索」を利用しており、上記特定文字列を「検索」文字列と表記する。

検索窓検出部１１５は、文字列検知部１１３からの静止画像と「検索」文字列の位置情報とを用いて、上記静止画像において「検索」文字列が占める位置の周囲から検索窓を検出する。検索窓検出部１１５は、検出した検索窓が上記静止画像上で占める領域情報を、上記静止画像と共に文字認識部１１６に送出する。なお、上記検索窓を検出する処理の詳細については後述する。

文字認識部１１６は、検索窓検出部１１５からの静止画像と上記検索窓の領域情報とを用いて、該検索窓内の１または複数の文字を認識する。文字認識部１１６は、認識した文字によって構成される文字列を検索用キーワードとして合成部１１７に送信する。

文字を認識する方法の一例としては、非特許文献１に記載の方法が挙げられ、さらに下記のものが挙げられる。すなわち、まず、黒画素数を計数したヒストグラムを用いて、文字認識をすべき文字画像の外接矩形情報を取得する。次に、上記外接矩形内において文字画像のエッジ成分などを抽出することにより、文字画像の特徴ベクトルを得る。そして、該文字画像の特徴ベクトルを、あらかじめ文字情報記憶部１２２に記憶させておいた文字認識用辞書内の特徴ベクトルと比較して、上記文字画像と類似度の高い１つまたは複数の文字の文字コードを取得する。この文字コードが、上記文字画像から認識された文字の文字コードとなる。

合成部１１７は、動画再生部１１１からの動画データと、文字認識部１１６からの検索用キーワードとを用いて、上記動画の適所に上記検索用キーワードを合成する。合成部１１７は、上記検索用キーワードが合成された動画のデータを、送信部１０１を介して外部のデバイスに送信する。

〔再生デバイスにおける処理〕
次に、上記構成の再生デバイス１１０における処理を、図２を参照して説明する。なお、本実施形態において、再生される画像データは、動画（ストリーミング動画）のデータである。

図２は、再生デバイス１１０の制御部１０において実行されるキーワード検出処理の流れを示すフローチャートである。図示のように、まず、タイマ（図示せず）の時刻ｔが０にセットされ、検索窓検出状態フラグdetectFlagが立っていない状態（FALSE）、すなわち検索窓を検出していない状態にセットされる初期化を行う（Ｓ１０１・１０２）。それから、動画再生部１１１が動画の再生を開始する（Ｓ１０３）。これにより、再生された動画データが、合成部１１７および送信部１０１を介して、外部のデバイスに送信される。

次に、静止画生成部１１２は、時刻ｔが、ｔ＝ｋ×ｔ０、という条件を満たすか否かを判断する（Ｓ１０４）。ここで、ｋは自然数であり、ｔ０は所定の周期である。上記条件を満たさない場合（Ｓ１０４にてＮＯ）、ステップＳ１１１に進む。

一方、上記条件を満たす場合（Ｓ１０４にてＹＥＳ）、静止画生成部１１２は、動画再生部１１１が再生した動画データ（フレーム画像のデータ）をデコードして、静止画像を生成する（Ｓ１０５）。なお、上記所定の周期ｔ０を適宜設定することにより、上記静止画像を作成する周期を調整することができる。

次に、文字列検知部１１３は、静止画生成部１１２が生成した静止画像において、検索処理を促す文字列、すなわち「検索」文字列を検知する（Ｓ１０６、特徴点検出ステップ）。「検索」文字列を検知できなかった場合（Ｓ１０７にてＮＯ）、ステップＳ１１１に進む。

一方、「検索」文字列を検知できた場合（Ｓ１０７にてＹＥＳ）、検索窓検出部１１５は、文字列検知部１１３が検知した「検索」文字列が上記静止画像において占める位置の周囲から検索窓を検出する（Ｓ１０８）。なお、該検索窓を検出する処理の詳細については後述する。上記検索窓を検出できた場合（Ｓ１０９でＹＥＳ）、ステップＳ１１５に進む。一方、上記検索窓を検出できなかった場合（Ｓ１０９でＮＯ）、ステップＳ１１０に進む。

ステップＳ１１５において、検索窓検出部１１５は、検索窓検出状態フラグdetectFlagを立った状態（TRUE）にセットする。これは、検索窓を検出した状態であることを示している。次に、文字認識部１１６は、検索窓検出部１１５が検出した検索窓内の１または複数の文字を認識して、認識した文字によって構成される文字列を認識する（Ｓ１１６、キーワード認識ステップ）。この文字の認識処理は、前述のような公知技術によって行われる。

次に、静止画生成部１１２は、時刻ｔが進んで、ｔ＝ｋ×ｔ１、という条件を満たすまで待機する（Ｓ１１７・Ｓ１１８）。ここで、ｔ１は、ｔ１≦ｔ０を満たす所定の周期である。例えば、ステップＳ１１６の処理を終了した時刻ｔがｔ０’であり、ｔ１≦ｔ０’＜２×ｔ１であったとすると、ｔ＝２×ｔ１となるまで待機することになる。

上記条件を満たすと、静止画生成部１１２は、ステップＳ１０５と同様に、静止画像を生成し（Ｓ１１９）、その後、ステップＳ１０８に戻って、検索窓検出部１１５が検索窓を検出する。すなわち、一度、「検索」文字列が検知され、検索窓が検出されると、検索窓が検出されなくなるまで、「検索」文字列の検知が省略されることになる。これにより、上記検索用キーワードをさらに迅速に検出することができる。また、静止画生成部１１２が静止画像を作成する周期ｔ１を周期ｔ０よりも短くすることができる（ｔ１＜ｔ０）。

また、「検索」文字列の特徴点は、静止画像の全体を調べて検出しているので、上記静止画像のサイズが大きくなるにつれて、検出に必要な時間が長くなる。従って、上記の構成によると、上記静止画像のサイズが大きくなることにより上記検索用キーワードの検出が遅延することを抑えることができる。特に、上記静止画像がフルＨＤサイズ（１９２０ピクセル×１０８０ピクセル）のような大きなサイズである場合に効果的である。

一方、ステップＳ１１０において、文字認識部１１６は、検索窓検出状態フラグdetectFlagが立った状態（TRUE）であるか否か、すなわち前の静止画像から上記検索窓を検出したか否かを判断する。前の静止画像から上記検索窓を検出した場合、すなわち、今回の静止画像では当該検索窓が消失した場合にはステップＳ１１３に進む。一方、前の静止画像から上記検索窓を検出しなかった場合、すなわち、検索窓を検出していない状態が継続している場合にはステップＳ１１１に進む。

ステップＳ１１３において、合成部１１７は、文字認識部１１６が認識した文字列（認識文字列）のデータを、検索用キーワードの候補のデータとして、動画再生部１１１が再生した動画データに合成し、合成された動画データを送信部１０１を介して外部のデバイスに送信する（Ｓ１１３）。

なお、文字認識部１１６が文字列を認識できなかった場合、合成部１１７は、「文字列は認識できませんでした」などのエラーメッセージのデータを上記動画データに合成してもよいし、合成前の上記動画データをそのまま送信部１０１を介して外部のデバイスに送信してもよい。また、文字認識部１１６が複数の文字列を認識できた場合、当該複数の認識文字列のデータを検索用キーワードの候補のデータとして、上記動画データに合成してもよい。

次に、合成部１１７は、検索窓検出状態フラグdetectFlagを、立っていない状態（FALSE）にセットし（Ｓ１１４）、その後、ステップＳ１１１に進む。

ステップＳ１１１において、単位時間経過した後、動画再生部１１１は、動画データの再生が終了したか否かを判断する（Ｓ１１２）。終了していない場合には、ステップＳ１０４に戻って上述の動作を繰り返す。一方、終了した場合には、処理を終了する。

〔検索窓検出処理〕
次に、図２に示す検索窓の検出処理（Ｓ１０８）の詳細について、図３、図４、および図９を参照して説明する。図９に示すように、検索窓ＳＢは、一般に「検索」文字列ＳＣの左に位置しており、かつ、「検索」文字列ＳＣの左上に検索窓ＳＢの上辺の右端が位置し、「検索」文字列ＳＣの左下に検索窓ＳＢの下辺の右端が位置している。

そこで、本実施形態では、検索窓ＳＢを以下のように検出する。すなわち、まず、「検索」文字列ＳＣの左上の領域から左方向に伸びる線分を、検索窓ＳＢの上線（上辺）として検出し、「検索」文字列ＳＣの左下の領域から左方向に伸びる線分を、検索窓ＳＢの下線（下辺）として検出する。次に、検出された上線の右端と下線の右端とを結ぶ線（線分または曲線）を、検索窓ＳＢの右線として検出し、検出された上線の左端と下線の左端とを結ぶ線（線分または曲線）を、検索窓ＳＢの左線として検出する。これにより、検索窓ＳＢを構成する全ての線（上線、下線、左線、および右線）が検出される。

図３は、本実施形態の検索窓検出部１１５が検索窓ＳＢを検出する検索窓検出処理の流れを示すフローチャートである。また、図４は、検索窓の一例を示す図であり、同図の（ａ）は、「検索」文字列の左側付近に検索窓が位置する例を示しており、同図の（ｂ）は、「検索」文字列の上側付近に検索窓が位置する例を示している。

図３および図４の（ａ）に示すように、まず、文字列検知部１１３が検知した「検索」文字列ＳＣの外接矩形ＢＢを取得し（Ｓ１０８１）、取得した外接矩形ＢＢの左上頂点を右下頂点とし、所定寸法である横長の矩形Ａを設定する（Ｓ１０８２）。

次に、設定した矩形Ａ内から、検索窓ＳＢの上辺に相当する線分（第１の線分）を検出する（Ｓ１０８３）。具体的には、設定した矩形Ａ内において、横方向（外接矩形ＢＢの上辺と平行な方向）に伸びる線分を第１の線分として検出する。

なお、矩形Ａ内において複数の線分を検出した場合には、矩形Ａの下辺に最も近い線分を第１の線分として選択することが好ましい。なぜなら、そのように選択しない場合、検索窓ＳＢ内に線分が残ることになり、検索窓ＳＢ内の文字認識のときに、残った線分による誤認識が発生する虞があるからである。

第１の線分を検出できなかった場合（Ｓ１０８４にてＮＯ）、検索窓ＳＢを検出できなかったとして（Ｓ１０８４’）、上記検索窓検出処理を終了し、図２に示す元の処理に戻る。

一方、第１の線分を検出できた場合（Ｓ１０８４にてＹＥＳ）、外接矩形ＢＢの左下頂点を右上頂点とし、矩形Ａと同様の所定寸法である横長の矩形Ｂを設定する（Ｓ１０８５）。次に、設定した矩形Ｂ内から、検索窓ＳＢの下辺に相当する線分（第２の線分）を検出する（Ｓ１０８６）。具体的には、設定した矩形Ｂ内において、横方向（外接矩形ＢＢの下辺と平行な方向）に伸びる線分を第２の線分として検出する。

なお、矩形Ｂ内において複数の線分を検出した場合には、矩形Ｂの上辺に最も近い線分を第２の線分として選択することが好ましい。なぜなら、そのように選択しない場合、検索窓ＳＢ内に線分が残ることになり、検索窓ＳＢ内の文字認識のときに、残った線分による誤認識が発生する虞があるからである。

第２の線分を検出できなかった場合（Ｓ１０８７にてＮＯ）、検索窓ＳＢを検出できなかったとして（Ｓ１０８４’）、上記検索窓検出処理を終了し、図２に示す元の処理に戻る。一方、第２の線分を検出できた場合（Ｓ１０８７にてＹＥＳ）、ステップＳ１０８８に進む。

ところで、検索窓ＳＢの上辺および下辺は、長さが略同じであると考えられる。従って、ステップＳ１０８３・Ｓ１０８６にて検出された第１および第２の線分は、長さが著しく異なる場合、検索窓ＳＢの上辺および下辺ではないと考えられる。

そこで、ステップＳ１０８８において、第１および第２の線分の長さの差が所定の閾値以上であるか否かを判断する。上記長さの差が所定の閾値よりも大きい場合（Ｓ１０８８にてＮＯ）、検索窓ＳＢを検出できなかったとして（Ｓ１０８４’）、上記検索窓検出処理を終了し、図２に示す元の処理に戻る。

一方、上記長さの差が所定の閾値以下である場合（Ｓ１０８８にてＹＥＳ）、第１および第２の線分のそれぞれについて、両端を所定の長さ（マージン）だけ延長し、延長された２つの線分を上辺および下辺とする矩形Ｃを設定する（Ｓ１０８９）。なお、図４の（ａ）では、理解し易いように、矩形Ｃの上辺および下辺は、検索窓ＳＢの上辺および下辺からずらして記載している。

次に、設定した矩形Ｃ内から、検索窓ＳＢの左辺（左線）および右辺（右線）に相当する２線（線分または弧）を検出する（Ｓ１０９０）。具体的には、設定した矩形Ｃ内において、第１の線分と第２の線分とを連結する２本の線を、上記の左線および右線に相当する２線として検出する。

なお、上記２線は、線分でもよいし弧でもよい。また、検索窓ＳＢの左線および右線に相当する２線を検出する範囲は、矩形Ｃ内の全体でなくてもよい。例えば、矩形Ｃ内の左側の１／３の領域で左線に相当する線を検出し、矩形Ｃの右側の１／３の領域で右線に相当する線を検出してもよい。この場合、検出を行う範囲が狭くなるので、検索窓ＳＢの検出処理時間が短縮される。

検索窓ＳＢの左線および右線に相当する２線を検出できなかった場合（Ｓ１０９１にてＮＯ）、検索窓ＳＢを検出できなかったとして（Ｓ１０８４’）、上記検索窓検出処理を終了し、図２に示す元の処理に戻る。一方、上記２線を検出できた場合（Ｓ１０９１にてＹＥＳ）、検索窓ＳＢを検出できたとして（Ｓ１０９２）、上記検索窓検出処理を終了し、図２に示す元の処理に戻る。

従って、検索窓ＳＢを検出するための領域が、矩形Ａ（上部検出用矩形）、矩形Ｂ（下部検出用矩形）、および矩形Ｃ（側部検出用矩形）内の領域に限定される。従って、検索窓ＳＢをさらに迅速に検出することができ、その結果、検索用キーワードをさらに迅速に検出することができる。

なお、検索窓ＳＢの上辺を検出する処理（Ｓ１０８２〜Ｓ１０８４）と、検索窓ＳＢの下辺を検出する処理（Ｓ１０８５〜Ｓ１０８７）とは、何れを先に行ってもよい。

また、本実施形態では、文字列検知部１１３は、上記静止画像の中から、「検索」文字列に含まれる各文字の特徴点を検出しているが、例えば、上記各文字の１つ（例えば「索」）の特徴点を検出し、検出された特徴点の周囲から、上記各文字の別の１つ（例えば「検」）の特徴点を検出してもよい。また、文字列検知部１１３は、上記静止画像の中から、「検索」文字列に含まれる複数の文字（すなわち「検索」）の特徴点を同時に検出してもよい。

〔変形例〕
また、本実施形態では、検索窓ＳＢが「検索」文字列ＳＣの左側付近に位置していると仮定して、「検索」文字列ＳＣの左側付近で検索窓ＳＢを検出する例を説明したが、本発明はこれに限らない。すなわち、検索窓ＳＢは、「検索」文字列ＳＣ（検索を促す文字列）に対し上下左右の何れの側付近に位置してもよい。

検索窓ＳＢが「検索」文字列ＳＣの上下左右の何れの側付近に位置しても検出できるようにするためには、以下のように行えばよい。すなわち、まず、「検索」文字列ＳＣの上下左右の方向について、検出を行う優先順位（例えば、左、上、右、および下の順）を予め設定しておく。そして、設定された優先順位で検索窓ＳＢの検出を行い、或る方向で検索窓ＳＢが検出できれば、その時点で検索窓ＳＢの検出を終了する。

「検索」文字列ＳＣの左側付近で検索窓ＳＢの検出を行う手順については、上述の通りである。また、「検索」文字列ＳＣの右側付近で検索窓ＳＢの検出を行う手順については、上述の手順において「左」と「右」とを入れ替えればよい。

「検索」文字列ＳＣの上側付近で検索窓ＳＢの検出を行う手順の一例について、図４の（ｂ）を参照して説明する。

すなわち、まず、「検索」文字列ＳＣの外接矩形ＢＢを取得し、取得した外接矩形ＢＢの左上頂点を右下頂点とし、所定寸法である横長の矩形Ａ’を設定し、外接矩形ＢＢの右上頂点を左下頂点とし、矩形Ａ’と同様の所定寸法である横長の矩形Ｂ’を設定する。次に、矩形Ａ’内において、逆コの字状の線であって、上辺および下辺が矩形Ａ’の右端に達している線を第１の線として検出し、矩形Ｂ’内において、コの字状の線であって、上辺および下辺が矩形Ｂ’の左端に達している線を第２の線として検出する。

そして、第１および第２の線の上辺どうしを連結する第３の線を検出し、第１および第２の線の下辺どうしを連結する第４の線を検出することにより、第１〜第４の線で囲まれた検索窓ＳＢを検出する。或いは、第１および第２の線の上辺を含む矩形Ａを設定し、第１および第２の線の下辺を含む矩形Ｂを設定して、図４の（ａ）に示す手順と同様の手順を行うことにより、検索窓ＳＢを検出してもよい。なお、「検索」文字列ＳＣの下側付近で検索窓ＳＢの検出を行う手順については、上記の手順において「上」と「下」とを入れ替えればよい。

〔実施の形態２〕
次に、本発明の他の実施形態について、図５〜図８を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した構成と同じ機能を有する構成については、同じ符号を付記し、その説明を省略する。

〔表示装置の構成〕
図５は、本実施形態である表示装置２００（表示機器）の概略構成を示すブロック図である。本実施形態の表示装置２００は、ＴＶ受像機にインターネット接続機能が追加された、いわゆるインターネットテレビである。

図５に示すように、表示装置２００は、図１に示す再生デバイス１１０に比べて、送信部１０１の代わりに表示部２０１が設けられ、ネットワークＩ／Ｆ（インタフェース）部２０２、操作部２０６、および放送受信部２０７が追加された構成である。また、表示装置２００の制御部２０は、図１に示す再生デバイス１１０の制御部１０に比べて、キーワード候補作成部２１７および検索要求部２１８が追加された構成である。

表示部２０１は、制御部２０からの画像データに基づいて、文字や画像などの各種の情報を表示出力するものである。表示部２０１は、ＬＣＤ（液晶表示素子）、ＣＲＴ（陰極線管）、プラズマディスプレイなどの表示デバイスによって構成されている。

ネットワークＩ／Ｆ部２０２は、制御部２０と外部の通信ネットワーク（図示せず）とのインタフェースを行うものである。具体的には、ネットワークＩ／Ｆ部２０２は、上記通信ネットワークに接続して、制御部２０からのデータを、上記通信ネットワークに適した形式に変換して上記通信ネットワークに送信する。また、ネットワークＩ／Ｆ部２０２は、上記通信ネットワークからのデータを、制御部２０での処理に適した形式に変換して制御部２０に送信する。

操作部２０６は、ユーザの操作によりユーザから各種の入力を受け付けるものであり、入力用ボタン、タッチパネル、その他の操作デバイスによって構成されている。操作部２０６は、ユーザが操作した情報を操作データに変換して制御部２０に送信する。なお、操作デバイスの他の例としては、キーボードと、テンキーと、マウスなどのポインティングデバイスとが挙げられる。

放送受信部２０７は、外部の放送局からのＴＶ放送波を、アンテナ（図示せず）を介して受信するものである。放送受信部２０７は、受信したＴＶ放送波からＡＶ（Audio Visual）データを抽出し、抽出したＡＶデータを制御部２０を介して画像情報記憶部１２１に記憶する。

キーワード候補作成部２１７は、文字認識部１１６と合成部１１７との間に設けられ、文字認識部１１６が認識した１または複数の認識文字列に基づいて、検索用キーワードの候補を作成するものである。キーワード候補作成部２１７は、作成した検索用キーワードの候補を合成部１１７および検索要求部２１８に送出する。これにより、上記検索用キーワードの候補は、合成部１１７にて動画と合成されて、表示部２０１にて表示される。なお、キーワード候補作成部２１７の詳細については後述する。

検索要求部２１８は、インターネット上の検索エンジンに対し、ユーザから操作部２０６を介して取得した検索用キーワードでの検索を、ネットワークＩ／Ｆ部２０２を介して要求するものである。具体的には、検索要求部２１８は、まず、キーワード候補作成部２１７からの検索用キーワードの候補の中から、ユーザが操作部２０６を介して選択したものを検索用キーワードとする。そして、該検索用キーワードでの検索を、ネットワークＩ／Ｆ部２０２を介して上記検索エンジンに要求する。検索要求部２１８は、上記検索の結果を、上記検索エンジンからネットワークＩ／Ｆ部２０２を介して取得する。取得した検索の結果は、合成部１１７および表示部２０１を介して表示出力される。

〔検索用キーワードの作成の詳細〕
次に、キーワード候補作成部２１７の詳細について説明する。本実施形態では、キーワード候補作成部２１７は、複数の上記認識文字列に候補順位を付し、該候補順位が１位から所定の順位までの上記認識文字列を、検索用キーワードの候補として作成する。上記候補順位は、上記認識文字列を構成する文字のマッチング信頼度の統計量（例えば平均値）の大きい順となっている。ここで、文字のマッチング信頼度とは、認識された文字について、検索窓ＳＢ内の当該文字の特徴と、文字情報記憶部１２２に記憶された当該文字の特徴との一致の程度を示すものである。

図６は、キーワード候補作成部２１７が行うキーワード候補の作成処理の流れを示すフローチャートである。なお、上記キーワード候補の作成処理は、図２に示すステップＳ１１３にて行われる処理である。

図６に示すように、まず、ｊ＝１に初期化し（Ｓ２０２１）、文字認識部１１６が認識した文字列におけるｊ番目の文字について、マッチング信頼度が所定の閾値よりも高い文字候補を選出する（Ｓ２０２２）。

なお、処理負担の軽減の観点から、文字候補の最大数を所定数（例えば３つ）に限定することが望ましい。また、マッチング信頼度が文字候補の間で大きく異なる場合、マッチング信頼度が高い文字候補が正しい認識であり、マッチング信頼度が低い文字候補が誤った認識である可能性が高い。従って、マッチング信頼度が最も高い文字候補との差が所定範囲内である文字候補に限定することが望ましい。

次に、上記認識した文字列における全ての文字について、ステップＳ２０２２を繰り返す（Ｓ２０２３・Ｓ２０２４）。それから、上記認識した文字列における各文字の文字候補を組み合わせて、文字列候補を作成する（Ｓ２０２５）。従って、（文字列候補の数）＝（１番目の文字の文字候補数）×（２番目の文字の文字候補数）×…×（最後の文字の文字候補数）、となる。

次に、作成した文字列候補のそれぞれについて、各文字のマッチング信頼度の平均値（スコア）を算出し、算出した平均値が上位の文字列候補を認識文字列として選出する（Ｓ２０２５）。そして、選出された認識文字列が、検索用キーワードの候補として合成部１１７および検索要求部２１８に送出される。

なお、処理負担の軽減の観点から、認識文字列の最大数を所定数（例えば３つ）に限定することが望ましい。また、マッチング信頼度の平均値が文字列候補の間で大きく異なる場合、マッチング信頼度の平均値が高い文字列候補が正しい認識であり、マッチング信頼度の平均値が低い文字列候補が誤った認識である可能性が高い。従って、認識文字列は、マッチング信頼度の平均値が最も高い文字列候補との差が所定範囲内である文字列候補に限定することが望ましい。

図７は、表示装置２００の正面図であり、検索用キーワードの候補を表示部２０１の表示画面２０１１に表示した一例を示している。図示のように、表示画面２０１１の中央部から右部には、動画が表示されている。該動画には、「検索」文字列ＳＣと、その左側付近に位置する検索窓ＳＢとが含まれ、該検索窓ＳＢ内には、文字列「ニューモデル」が含まれている。

一方、表示画面２０１１の左部には、検索用キーワードの候補が、過去の履歴と共に表示されている。具体的には、表示画面２０１１の左下に示される「ニューモデル」・「ニューモテル」・「ニユーモデル」の３つは、今回の検索窓ＳＢ内の文字列「ニューモデル」から作成された検索用キーワードの候補である。また、表示画面２０１１の左中央に示される「目指せ合格」・「目指せごうかく」・「目指せごう」の３つは、前回表示された検索窓ＳＢ内の文字列から作成された検索用キーワードの候補である。そして、表示画面２０１１の左上に示される、「テレビの歴史」・「テレビの歴丈」・「テレピの歴史」の３つは、前々回に表示された検索窓ＳＢ内の文字列から作成された検索用キーワードの候補である。

ここで、各検索用キーワードの候補には、スコアが高い順に番号が１から順に付されている。なお、ユーザがインターネット検索を行う検索用キーワードを選択するときに使用される表示画面２０１１上のポインタの初期位置は、番号１の検索用キーワードの候補の位置に設定しておくことが望ましい。この場合、スコアの高い検索用キーワードの候補ほど、検索窓ＳＢ内の文字列を正しく認識している可能性が高いので、ユーザが正しい検索用キーワードを選択するまでの手間を少なくすることができる。また、検索用キーワードの候補の数を増やしてもよい。この場合、適切な検索用キーワードが、上記検索用キーワードの候補に含まれる可能性がさらに高くなる。

ところで、図２に示すステップＳ１０８・Ｓ１０９・Ｓ１１５〜Ｓ１１９が繰り返される場合、作成された複数の静止画像には、同様の検索窓ＳＢが含まれることになる。この場合、上記静止画像ごとに認識文字列を選出し、選出された認識文字列のうち、異なる認識文字列であって、スコアが上位の認識文字列を、検索用キーワードの候補とすればよい。なお、複数の静止画像において同じ認識文字列が選出されたとき、当該認識文字列の各静止画像でのスコアを積算し、積算したスコアまたはその平均値を当該認識文字列のスコアとしてもよい。

また、検索窓ＳＢを含む動画の中には、検索窓ＳＢ内に文字列が一挙に出現するのではなく、あたかもユーザが文字を入力していく場合のように、徐々に出現するものが存在する。この場合、上記複数の静止画像のうち、最初の方の静止画像から選出された、文字数の少ない認識文字列よりも、最後の方の静止画像から選出された文字数の多い認識文字列の方が、検索用キーワードの候補として妥当であると考えられる。

そこで、最初の方で選出された認識文字列のスコアよりも、最後の方で選出された認識文字列のスコアの方が高くなるように、スコアに対し重み付けを行うことが望ましい。具体的には、連続する２つの静止画像からそれぞれ選出された認識文字列の文字数が異なる場合、後の方の静止画像から選出された認識文字列のスコアの重みを増やすことが考えられる。これにより、妥当な検索用キーワードの候補を表示することができる。

図８は、上記重み付けを考慮した上記キーワード候補の作成処理の流れを示すフローチャートである。図示のように、まず、ｉ＝１、ｎｕｍ＝０に初期化される（Ｓ２０１）。次に、ｉ番目の静止画像について、図６に示す処理を行い、選出された認識文字列をそのスコアと共に取得する（Ｓ２０２）。

次に、取得された認識文字列の文字数が、（ｉ−１）番目（前回）の静止画像から選出された認識文字列の文字数と異なるか否かを判断し（Ｓ２０３）、異なる場合には、ｎｕｍを増分する（Ｓ２０４）。すなわち、ｎｕｍは、認識文字列の文字数が変化した回数を表すことになる。なお、ｉ＝１の場合、０番目の静止画像から選出された認識文字列の文字数を０としてもよいし、ステップＳ２０３・Ｓ２０４をスキップしてもよい。

次に、ｉ番目の静止画像から選出された認識文字列のスコアに、ｎｕｍと所定の定数との積を加算する（Ｓ２０５）。すなわち、文字数が変化するたびに、スコアに加算される重みが大きくなる。

次に、全ての静止画像について、時系列順にステップＳ２０３〜Ｓ２０５を繰り返す（Ｓ２０６・Ｓ２０７）。それから、各静止画像から選出された認識文字列のうち、重み付けされたスコアが上位の認識文字列を、検索用キーワードの候補として選出する（Ｓ２０８）。そして、選出された検索用キーワードの候補が、合成部１１７および検索要求部２１８に送出される。なお、処理負担の軽減の観点から、検索用キーワードの候補の数を所定数（例えば３つ）に限定することが望ましい。

ここで、図７の表示例を参照すると、表示画面２０１１の左中央に示される検索用キーワードの候補は、検索窓ＳＢ内に「目指せごう」・「目指せごうかく」・「目指せ合格」の順で文字列が表示された場合に選出されるものである。この場合、後に表示された認識文字列ほど、重み付けが大きくなるので、検索用キーワードの候補として若い番号が付され、上の方に表示される。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、上記実施形態では、検知した「検索」文字列ＳＣの位置から、検索窓ＳＢを検出し、検索窓ＳＢ内の検索用キーワードの候補を選出しているが、検知した「検索」文字列ＳＣの周囲から上記検索用キーワードの候補を直接選出してもよい。この場合、文字列の検知領域が広くなったり、検索窓ＳＢから外部の文字列を誤認識する懸念があるが、検索窓ＳＢを検出する処理を省略することができる。

また、上記実施形態では、特に、インターネットテレビを例にして述べているが、その他にも、ＴＶ放送が視聴可能であってインターネット通信が可能な携帯機器、例えば、携帯電話機、携帯型ゲーム端末機などにも、本発明を適用できることは明らかである。

最後に、本発明に係る再生デバイス１１０の各部は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、再生デバイス１１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等で構成された記憶部（記録媒体）などを備えている。

そして、本発明の目的は、上述した機能を実現するソフトウェアである制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、再生デバイス１１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、再生デバイス１１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

以上のように、本発明に係るキーワード抽出装置は、対象画像において、検索を促す特定文字列の特徴点が検出され、検出された特徴点の周囲に存在する文字列が、検索用キーワードとして認識されることにより、上記検索用キーワードを従来よりも迅速に検出できるので、検索用キーワードを対象画像から検出する任意の装置に適用することができる。

１０、２０ 制御部
１０１ 送信部
１０４ 記憶部
１１０ 再生デバイス（キーワード検出装置）
１１１ 動画再生部
１１２ 静止画生成部
１１３ 文字列検知部（特徴点検出部）
１１５ 検索窓検出部
１１６ 文字認識部（キーワード認識部）
１１７ 合成部
１２１ 画像情報記憶部
１２２ 文字情報記憶部
２００ 表示装置（表示機器）
２０１ 表示部
２０２ ネットワークＩ／Ｆ部
２０６ 操作部
２０７ 放送受信部
２１７ キーワード候補作成部
２１８ 検索要求部
ＳＢ 検索窓
ＳＣ 文字列

Claims (13)

1. インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置であって、
   上記対象画像から、上記検索を促す特定文字列の特徴点を検出する特徴点検出部と、
   上記対象画像において、上記特徴点検出部が検出した特徴点の周囲に存在する文字列を、上記検索用キーワードとして認識するキーワード認識部と、を備えることを特徴とするキーワード検出装置。
2. 上記対象画像において、上記特徴点検出部が検出した特徴点の周囲から、上記検索用キーワードを入力するための検索窓を検出する検索窓検出部をさらに備えており、
   上記キーワード認識部は、上記検索窓検出部が検出した検索窓内の文字列を、上記検索用キーワードとして認識することを特徴とする請求項１に記載のキーワード検出装置。
3. 上記検索窓検出部は、上記対象画像において、
   上記特定文字列の外接矩形を求め、
   求めた外接矩形の左上頂点を右下頂点とする上部検出用矩形と、上記外接矩形の左下頂点を右上頂点とする下部検出用矩形とを設定し、
   設定された上部検出用矩形および下部検出用矩形内に、それぞれ、上記検索窓の上辺および下辺を検出し、
   検出された上辺および下辺によって構成される矩形を両側方向に拡げた側部検出用矩形を設定し、
   設定された側部検出用矩形内に、上記検索窓の左側および右側の線を検出することにより、上記検索窓を検出することを特徴とする請求項２に記載のキーワード検出装置。
4. 上記対象画像は、動画における一連の静止画像であり、
   上記検索窓検出部が、或る上記静止画像から上記検索窓を検出した場合、その後の上記静止画像から上記検索窓が検出されなくなるまで、上記特徴点検出部の動作を省略することを特徴とする請求項２または３に記載のキーワード検出装置。
5. 上記キーワード認識部は、上記検索窓内の文字列を構成する文字ごとに、文字認識を行って所定の条件を満たす１または複数の文字候補を検出し、上記各文字の文字候補を組み合わせることにより、上記検索用キーワードの候補を複数個作成することを特徴とする請求項２から４までの何れか１項に記載のキーワード検出装置。
6. 上記所定の条件は、上記文字認識によるマッチング信頼度が所定の閾値よりも大きいものであることを特徴とする請求項５に記載のキーワード検出装置。
7. 上記所定の条件は、上記文字認識によるマッチング信頼度が、該マッチング信頼度が最大である文字候補のマッチング信頼度との差が所定の範囲内であることを特徴とする請求項５または６に記載のキーワード検出装置。
8. 上記キーワード認識部は、上記各文字の文字候補を組み合わせた認識文字列のスコアを、該認識文字列を構成する文字候補のマッチング信頼度の平均値とし、上記スコアが上位の認識文字列を上記検索用キーワードの候補とすることを特徴とする請求項５から７までの何れか１項に記載のキーワード検出装置。
9. 上記対象画像は、動画における一連の静止画像であり、
   上記キーワード認識部は、
   上記検索窓検出部が、何れかの上記静止画像から上記検索窓を検出してから、その後に続く上記静止画像から上記検索窓が検出されなくなるまでに作成された認識文字列の中から上記検索用キーワードの候補を作成しており、
   或る上記静止画像からの認識文字列の文字数に比べて、次の上記静止画像からの認識文字列の文字数が変化するたびに、該認識文字列のスコアの重み付けが大きくなり、
   重み付けされた上記スコアが上位の認識文字列を上記検索用キーワードの候補とすることを特徴とする請求項８に記載のキーワード検出装置。
10. インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から抽出する請求項１から９までの何れか１項に記載のキーワード検出装置と、
    該キーワード検出装置が検出した検索用キーワードと、上記対象画像とを表示する表示装置と、を備えた表示機器。
11. インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置の制御方法であって、
    上記対象画像から、上記検索を促す特定文字列の特徴点を検出する特徴点検出ステップと、
    上記対象画像において、上記特徴点検出ステップにて検出された特徴点の周囲に存在する文字列を、上記検索用キーワードとして認識するキーワード認識ステップと、を含むことを特徴とするキーワード検出装置の制御方法。
12. インターネット上の検索エンジンにて検索を行うための検索用キーワードを対象画像から検出するキーワード検出装置を動作させるための制御プログラムであって、
    上記対象画像から、上記検索を促す特定文字列の特徴点を検出する特徴点検出ステップと、
    上記対象画像において、上記特徴点検出ステップにて検出された特徴点の周囲に存在する文字列を、上記検索用キーワードとして認識するキーワード認識ステップと、をコンピュータに実行させるための制御プログラム。
13. 請求項１２に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。

Images