JP5115089B2 - キーワード抽出方法 - Google Patents

Description

本発明は、画像中の情報に基づいてウエブサイトへアクセスする技術に関する。

商品の販売促進や、企業イメージの向上等のため、多くの人に情報を発信する手法（広報活動）としては、テレビによるＣＭ（commercial message）放送や、新聞、雑誌への広告掲載が主流であり、効果的である。

また、インターネットの普及に伴い、ウエブサイトによる広報活動も重要になってきている。

テレビＣＭや新聞広告は、タイムリーに多くの人に届く利点があるものの、放送時間や紙面に限りがあり、多くの情報を伝えられないという問題がある。

一方、ウエブサイトによる広告は、ユーザ（コンシューマ）の望む情報を詳細に伝えられる利点があるものの、ユーザからアクセスする必要があり、そのウエブサイトや情報の存在自体を知らないコンシューマがアクセスできない（即ち広告できない）という問題がある。

このため、テレビや新聞で広告する際に、ウエブサイトの存在も知らせ、広告内容に興味を持った人をウエブサイトへ誘導する試みがある。

例えば、ＣＭ中にウエブサイトのＵＲＬを表示し、インターネットを介したアクセスを促す。

しかし、ＵＲＬは、覚え難く、アクセスする際の入力ミスも多いことから、確実にウエブサイトへ誘導できるとは限らなかった。

そこで、図９に示すようにキーワードが入力されたサーチエンジンの検索欄を模した表示を行い、ブラウザから同様にキーワードを検索欄に入力して検索し、ウエブサイトへアクセスするように促す手法もある。この手法であれば、覚え易いキーワードを使い、表示のとおり検索すれば良く、容易にアクセス可能である。

また、本発明に関連する先行技術として、例えば、下記の文献に開示される技術がある。
特開２００２−２９０９４７号公報 ネット連動型テレビCMへの反応度調査、日経ＢＰ社、検索日2007/07/26、http://www.nikkeibp.co.jp/netmarketing/databox/nmdb/061201＿crossmedia/

しかし、テレビや新聞で検索キーワードを広告し、インターネットで検索する手法であると、キーワードを広告するメディア（テレビや新聞）と、検索するメディア（インターネット）が異なるので、検索する場合、ユーザが新たにブラウザを起動して検索を行う必要があり、手間がかかるので検索意欲を削ぐという問題があった。

そこで本発明は、サーチエンジンの検索欄を模した画像から検索キーワードを抽出し、
該検索キーワードで検索することにより、広告中の情報（検索キーワード）に基づくウエブアクセスを容易にする技術を提供する。

上記課題を解決するため、本発明は、以下の構成を採用した。
即ち、本発明のキーワード抽出方法は、
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータが実行する。

また、本発明の検索方法は、
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータが実行する。

また、本発明のキーワード抽出装置は、
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
を備える。

また、本発明の検索装置は、
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
を備える。

また、本発明は、上記方法をコンピュータに実行させるプログラムであっても良い。更に、本発明は、このプログラムをコンピュータが読み取り可能な記録媒体に記録したものであっても良い。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明によれば、サーチエンジンの検索欄を模した画像から検索キーワードを抽出し、該検索キーワードで検索することにより、広告中の情報（検索キーワード）に基づくウエブアクセスを容易にする技術を提供できる。

〈装置構成〉
以下、図面を参照して本発明を実施するための最良の形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
図１は、本実施形態に係る検索システムの概略図である。
本例の検索システム１０は、テレビ放送を行う放送局の局側装置１０１や、局側装置１０１から放送された動画像を受信するユーザ端末１、インターネット等のネットワークを介して情報を提供するウエブサーバ２、ウエブサーバ２で提供されている情報の検索サービスを提供する検索サーバ（サーチエンジン）３、ランキングサーバ４等を有している。

ユーザ端末１は、本システム１０の検索装置或は検索キーワード抽出装置に相当する。
ユーザ端末１は、ＣＰＵ（central processing unit）やメインメモリ等よりなる演算
処理部１２、演算処理の為のデータやソフトウェアを記憶した記憶部（ハードディスク）１３、入出力ポート１４、通信制御部（ＣＣＵ：Communication Control Unit）１５等を備えた汎用のコンピュータである。

該入出力ポート１４には、キーボードやマウス、ＣＤ−ＲＯＭドライブ、ＴＶ(Television)受信部１６等の入力デバイス、そして表示装置やプリンター等の出力デバイスが適宜接続される。

ＴＶ受信部（チューナ）１６は、ＴＶアンテナを介して放送局からの電波を受信し、電気信号（画像情報）に変換して入出力ポート１４に入力する。
ＣＣＵ１５は、ネットワークを介して他のコンピュータとの通信を行うものである。

記憶部１３には、オペレーティングシステム（ＯＳ）やアプリケーションソフト（キーワード抽出プログラム、検索プログラム）がインストールされている。

演算処理部１２は、前記ＯＳやアプリケーションプログラムを記憶部１３から適宜読み出して実行し、入出力ポート１４やＣＣＵ１５から入力された情報、及び記憶部１３から読み出した情報を演算処理することにより、画像取得部、解析部、抽出部、再生部、指示受信部としても機能する。

この画像取得部としては、画像情報を取得する。例えば、前記ＴＶ受信部１６で受信した画像情報を受信する、或いは、記憶部１３に記憶（録画）された画像情報を読み出して取得する。

再生部としては、画像取得部で取得した画像情報に基づいて動画像を再生する。即ち、表示部に動画像を表示させ、該動画の音をスピーカから出力させる。また、再生部は、再生のため、ユーザの操作等に応じてＴＶ受信部１６に受信する或いは変換するチャネルを通知する。

指示受信部としては、ユーザの操作による検索指示（指示信号）を受信する。

解析部としては、動画像を構成する画像情報のうち、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定する。

抽出部としては、前記擬似検索領域の文字認識を行い、検索キーワードを抽出する。

検索処理部としては、前記検索キーワードを用い、検索処理又は検索の前処理を行う。例えば、前記ＣＣＵ１５を介して検索サーバ３に検索キーワードを含む検索要求を送信し、該検索サーバから返信された検索結果を表示部に表示させる。また、検索処理部は、この表示したコンテンツの要約やハイパーリンク等の検索結果に基づいてウエブサーバにアクセスし、該コンテンツの表示を行う機能も有している。なお、検索処理部は、一般的なウエブブラウザを用いても良い。

一方、検索サーバ３は、ユーザ端末１の検索処理部（ウエブブラウザ）からの検索要求を受信する手段や、ウエブサーバ２の情報を記憶した記憶手段、受信した検索要求のキーワードに基づいて対応するウエブサーバ２の情報を記憶手段から索出する手段、検索結果を要求元のユーザ端末１に送信する手段等を有した一般的なコンピュータ、所謂検索エンジンである。

また、ウエブサーバ２は、インターネット等のネットワークを介してユーザ端末１や検索サーバ３等の他のコンピュータと接続している。ウエブサーバ２は、他のコンピュータからのアクセス要求（ＵＲＬ等）で指定されたコンテンツ（ファイル）を要求元のコンピュータに提供（送信）する。なお、該ウエブサーバ２は、周知の構成であるので、詳しい説明は省略する。

同様に、ランキングサーバ（キーワード提供サーバ）４は、インターネット等のネットワークを介してユーザ端末１や検索サーバ等の他のコンピュータと接続している。ランキングサーバ４は、検索サイトで検索に利用されたキーワードを検索回数の多い順にソートしたランキング情報を記憶部に記憶しており、他のコンピュータからの要求に応じて該キーワード（ランキング情報）を提供する。なお、ランキングサーバ４は、検索サーバ３と兼用しても良い。また、ＣＭで利用されているキーワードをオペレータが記憶部に記憶させておいても良い。該ランキングサーバ４は、一般的なウエブサーバと同一の構成であるので、詳しい説明は省略する。

〈検索方法〉

次に、これら構成のユーザ端末１が検索プログラムに基づいて実行する検索方法（検索キーワードの抽出方法も含む）について、図２を用いて説明する。

図２に示すように、ユーザ端末１は、ユーザの操作によりＴＶの視聴（再生）が指示されると、再生部が記憶部１３から或はＴＶ受信部から受信した画像情報に基づいて動画像を再生する。

このときユーザ端末１の画像取得部は、動画像を構成する一連のフレームのうち、後述の所定条件を満たしたフレームを解析対象のフレーム（画像情報）として特定（取得）する（ステップ１、以下Ｓ１のように略記する）。

次に、解析部は、上記特定したフレームを解析して、検索エンジンの検索欄を模した所定パターンに該当する擬似検索欄領域を特定する（Ｓ２）。
また、抽出部は、擬似検索欄領域について文字認識を行い、キーワードを抽出する（Ｓ３）。

そして、検索部は、ウエブブラウザを起動し、前記抽出部が抽出したキーワードを検索サーバに送信して検索し、検索結果を表示する（Ｓ４）。
各ステップの具体的な処理については、以下の具体例を用いて説明する。

〈具体例１〉
図３は、動画像からＣＭの所定部分（末尾）を自動的に特定して検索する方法の説明図である。
先ず、画像取得部は、動画像中の番組本編以外のＣＭ部分を検出する（Ｓ１１）。
このＣＭ検出手法としては、以下のような条件を満たした場合にＣＭと特定する。
１．前後のフレームを比較し、フレーム全域が異なっている（一致度合いが所定値未満）、即ちカットが切換わった場合で、所定以上の無音時間がある。
２．番組本編がモノラルで放送され、ＣＭ時にステレオ放送に切換わるので、モノラルがステレオに切換わってからモノラルに戻るまでの期間。
３．所定時間（例えば１５秒の倍数）でカットが切換わる場合
４．所定時刻（例えば正時から５分前等）
５．ＥＰＧで取得した番組情報に基づき、番組の切換わり時刻の前後５分、及び該番組の切換わり時刻から番組を等分（２分割や４分割）した時刻

なお、ＣＭの検出手法としては、この他公知の手法を用いても良いし、これらを組み合わせて用いても良い。

次に画像取得部は、ＣＭの長さの基準となる時間Ｌを設定する。本例では、Ｌ＝１５（秒）とした（Ｓ１２）。

なお、キーワード等を告知するタイミングは、ＣＭの末尾部分である可能性が高いので、上記条件に基づいて検出したＣＭの先頭から所定時間（Ｌ／２、Ｌ／３、Ｌ−５（秒））後からＬまでのフレームを取得する。本例では、Ｌ−５からＬまでとしている（Ｓ１３）。

そして、解析部が、前記画像取得部で取得したフレーム（画像情報）を解析して、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定し、抽出部が該擬似検索欄領域から文字を抽出する（Ｓ１４）。

このとき解析部は、図９のように画像中の検索欄を模した領域を特定するため、該画像を水平方向（主走査方向）及び垂直方向（副走査方向）に走査し、画素が水平或は垂直に所定距離以上連続して直線となっている箇所を抽出する。そして、該直線が矩形状となっている領域を擬似検索欄領域としている。

特に本実施形態では、一の矩形６１に対し、幅（水平方向）の短い矩形６２が隣接し、短い矩形中に「検索」の文字がある、即ち検索ボタンに相当する画像があるといった所定パターンと一致する場合、矩形６１の部分を擬似検索欄領域と特定する。

このときキーワードを抽出できた場合には、該キーワードを検索部へ通知し、抽出できなかった場合には、この抽出不可の旨を画像取得部に通知する（Ｓ１５）。

該抽出不可の通知を受けた画像取得部は、この抽出の対象となったフレームがＣＭの先頭からＬ秒後に達したか、否かを判断し（Ｓ１６）、Ｌ秒後のフレームでなければ次のフレームを取得する（Ｓ１７）。

また、ステップ１６でＬ秒後のフレームであれば、Ｌが６０秒未満であるか否かを判定し（Ｓ１８）、６０秒未満でなければ終了し、６０秒以上であればＬに１５秒加え（Ｓ１９）、ＣＭの最大値（例えば６０秒）を超えていなければステップ１３に戻ってフレーム
の取得を行う（Ｓ２０）。

なお、ステップ１３にてフレームを取得する際、Ｌ−５からＬ秒までの全てのフレームを取得しても良いが、ＭＰＥＧ方式の動画像の場合、Ｉピクチャのみを取得しても良い。このようにＩピクチャのみを取得する構成とすれば、処理量を低減できる。

〈具体例２〉
図４は、ユーザの操作に応じてフレームを特定してキーワードを抽出する方法の説明図、図５は、本例の解析順序の説明図である。

先ず、入出力ポート１４を介して接続したキーボードやリモコンを用いユーザの入力操作によってキーワード取得の指示が入力されると（Ｓ２１）、画像取得部は、入力を受けた時点で再生されているフレームを取得する（Ｓ２２）。

そして、解析部が、前記画像取得部で取得したフレーム（画像情報）を解析して、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定し、抽出部が該擬似検索欄領域から文字を抽出する（Ｓ２３）。

このときキーワードを抽出できた場合には、該キーワードを検索部へ通知し、抽出できなかった場合には、この抽出不可の旨を画像取得部に通知する（Ｓ２４）。

該抽出不可の通知を受けた画像取得部は、この抽出の対象となったフレームが入力を受けた以前のフレームか否かを判定し（Ｓ２５）、以前のフレームであれば更に、入力を受けた時点からＮ秒以前のフレームであるか否かを判定する（Ｓ２６）。

ステップ２６でＮ秒以前のフレームでなければ、１つ前のフレームを取得し（Ｓ２７）、Ｎ秒以前のフレームであれば、入力を受けた時点の次のフレームを取得する（Ｓ２８）。

一方、ステップ２５で入力を受けた後のフレームと判断した場合、入力を受けた時点からＭ秒以後のフレームか否かを判定し、Ｍ秒以後のフレームでなければ、画像取得部に通知し（Ｓ２９）、画像取得部が１つ次のフレームを取得する（Ｓ３０）。なお、ステップ２９で、Ｍ秒後のフレームと判定した場合、抽出処理を終了する。

このように、ユーザの入力に応じてフレームを特定する場合、ユーザが動画像中のキーワードを見つけてから入力操作する可能性が高いので、入力を受けた時点から順次遡ってフレームを特定し、キーワードが抽出されなければ入力を受けた時点以後のフレームを解析対象として特定することで、速やかに解析処理行うことができる。

〈具体例３〉
図６は、ライブ放送中にキーワードを抽出し、抽出したキーワードをバッファリングする例の説明図である。

まず、画像取得部は、再生している動画像がライブ放送（ＴＶ受信部で受信した情報）か否かを判定し（Ｓ３１）、ライブ放送であれば現時点のフレームを取得する（Ｓ３２）。

解析部は、取得したフレームから擬似検索欄領域を特定する（Ｓ３３）。ここで擬似検索欄領域を特定できた場合には、該擬似検索欄領域について抽出部が文字認識を行い（Ｓ３４−Ｓ３５）、キーワードを抽出し、擬似検索欄領域を特定できない場合にはステップ
Ｓ３１に戻る。

ステップ３５でキーワードを抽出できた場合、バッファが満杯か否かを判定し（Ｓ３６−Ｓ３７）、満杯であればバッファ中最も古いデータを削除して（Ｓ３８）バッファに抽出したキーワードを追加する（Ｓ３９）。

バッファリングしたキーワードは、例えば、ユーザの指示があった場合に、抽出部が直近のキーワードをバッファから読み出して検索部に通知し、検索を行う。

なお、本例ではステップ３５で抽出したキーワードをバッファに記憶したが、ステップ３３で特定した擬似検索欄領域をバッファに記憶し、ステップ３４，３５を省略しても良い。

また、ステップ３２でライブ放送中のフレームを順次取得する場合に、動画像を構成する全てのフレームを取得しても良いが、ＭＰＥＧ方式の動画像であればＩピクチャのみを記憶しても良い。これにより記憶容量及び解析の処理量を抑えることができる。

〈具体例４〉
図７は、特定後のフレームを解析し、キーワードを抽出して検索する方法の説明図である。
先ず解析部が解析対象のフレームを解析し、擬似検索欄領域を特定できた場合（Ｓ４１）、抽出部が該領域の文字認識を行う（Ｓ４２）。

該擬似検索欄領域からキーワードが抽出できた場合（Ｓ４３）、該キーワードとランキングサーバ４のデータベース（記憶部）に記憶されているキーワードとを比較し、類似のキーワードがあるか否かを判定する（Ｓ４４）。

類似のキーワードがあった場合、検索部は、このキーワードをウエブブラウザの検索キーワードに設定して検索サイトにアクセスし、検索を行う（Ｓ４５，Ｓ４７）。またステップ４４で類似したキーワードがない場合、抽出されたキーワードを検索キーワードに設定して検索を行う（Ｓ４６，Ｓ４７）。

検索サイトが該キーワードによる検索を行い、検索結果を返信すると（Ｓ４８）、ユーザ端末１の検索部がこの検索結果の最上位のコンテンツを表示部に表示させる（Ｓ４９）。

図８は、検索結果の表示例を示す図である。
該検索結果を示すウインドウのアドレス欄５１には検索されたコンテンツのＵＲＬ、コンテンツ欄５２にはウエブサーバから受信したコンテンツを表示している。

また、本例では、このコンテンツと別フレームで、検索結果一覧５４及び検索キーワード５３も表示している。該検索結果一覧から他のリンクを選べば上記以外のコンテンツも閲覧することができる。

なお、検索結果の表示方法は、上記に限らず、最上位のコンテンツのみ、或は検索結果一覧のみであっても良い。
また、キーワードによる検索まで行わずに、検索前処理として、ウエブブラウザを起動し、検索サーバ２の検索用ページの検索欄に抽出したキーワードを挿入した状態で処理を止め、ユーザの操作を待つようにしても良い。

〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、上述の例では、画像情報としてＴＶ受信部で受信した動画像或は記憶部から読み出した動画像を用いたが、これに限らず、新聞や、雑誌、チラシ等をデジタルカメラで撮影或はスキャナでスキャンして取得した画像情報であっても良い。

また、以下に付記した構成であっても上述の実施形態と同様の効果が得られる。また、これらの構成要素は可能な限り組み合わせることができる。

（付記１）
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータが実行するキーワード抽出方法。

（付記２）
動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記１に記載のキーワード抽出方法。

（付記３）
動画像中のフレームを比較し、ＣＭの条件を満たしたフレームを前記画像情報として検出する付記１に記載のキーワード抽出方法。

（付記４）
前記ＣＭの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする付記３に記載のキーワード抽出方法。

（付記５）
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記４に記載のキーワード抽出方法。

（付記６）
前記画像情報に基づいて動画像を再生するステップと、
ユーザの操作による指示信号を受信するステップと、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間離れたフレームを前記解析の対象とする付記２から５の何れか１項に記載のキーワード抽出方法。

（付記７）
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記６に記載のキーワード抽出方法。

（付記８）
前記画像情報を記憶部に記憶させ、前記指示信号を受信したときに再生中のフレームよ
り所定時間前のフレームを前記記憶部から読み出して解析の対象とする付記６に記載のキーワード抽出方法。

（付記９）
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータが実行する検索方法。

（付記１０）
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記９に記載の検索方法。

（付記１１）
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記９に記載の検索方法。

（付記１２）
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
を備えた抽出装置。

（付記１３）
前記画像取得部が、動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記１２に記載のキーワード抽出装置。

（付記１４）
前記画像取得部が、動画像中のフレームを比較し、ＣＭの条件を満たしたフレームを前記画像情報として検出する付記１２に記載のキーワード抽出装置。

（付記１５）
前記解析部が、前記ＣＭの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析の対象とする付記１４に記載のキーワード抽出装置。

（付記１６）
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記１５に記載のキーワード抽出装置。

（付記１７）
前記画像情報に基づいて動画像を再生する再生部と、
ユーザの操作による指示信号を受信する指示受信部と、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間離れたフレームを前記解析の対象とする付記１３から１６の何れか１項に記載のキーワード抽出装置。

（付記１８）
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記１７に記載のキーワード抽出装置。

（付記１９）
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
を備えた検索装置。

（付記２０）
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記１９に記載の検索装置。

（付記２１）
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記１９に記載の検索装置。

（付記２２）
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータに実行させるキーワード抽出プログラム。

（付記２３）
動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記２２に記載のキーワード抽出プログラム。

（付記２４）
動画像中のフレームを比較し、ＣＭの条件を満たしたフレームを前記画像情報として検出する付記２２に記載のキーワード抽出プログラム。

（付記２５）
前記ＣＭの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする付記２４に記載のキーワード抽出プログラム。

（付記２６）
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記２５に記載のキーワード抽出プログラム。

（付記２７）
前記画像情報に基づいて動画像を再生するステップと、
ユーザの操作による指示信号を受信するステップと、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間
離れたフレームを前記解析の対象とする付記２３から２６の何れか１項に記載のキーワード抽出プログラム。

（付記２８）
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記２７に記載のキーワード抽出プログラム。

（付記２９）
前記画像情報を記憶部に記憶させ、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記記憶部から読み出して解析の対象とする付記２７に記載のキーワード抽出プログラム。

（付記３０）
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータに実行させる検索プログラム。

（付記３１）
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記３０に記載の検索プログラム。

（付記３２）
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記３０に記載の検索プログラム。

検索システムの概略図 検索方法（検索キーワードの抽出方法も含む）の説明図 ＣＭの所定部分（末尾）を自動的に特定して検索する方法の説明図 ユーザの操作に応じてフレームを特定してキーワードを抽出する方法の説明図 解析順序の説明図 ライブ放送中に抽出したキーワードをバッファリングする例の説明図 特定後のフレームを解析し、キーワードを抽出して検索する方法の説明図 検索結果の表示例を示す図 検索欄を模した領域を有する画像の説明図

符号の説明

１０ 検索システム
１ ユーザ端末
２ ウエブサーバ
３ 検索サーバ（サーチエンジン）
４ ランキングサーバ
１０１ 局側装置

Claims (10)

1. 画像情報を取得するステップと、
   前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
   前記擬似検索欄領域から検索キーワードを抽出するステップと、
   をコンピュータが実行するキーワード抽出方法。
2. 前記画像情報を取得するステップにおいて、動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する請求項１に記載のキーワード抽出方法。
3. 前記画像情報を取得するステップにおいて、動画像中のフレームを比較し、ＣＭの条件を満たしたフレームを前記画像情報として検出する請求項１に記載のキーワード抽出方法。
4. 前記画像情報の解析において、前記ＣＭの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする請求項３に記載のキーワード抽出方法。
5. 前記画像情報の解析において、前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である請求項４に記載のキーワード抽出方法。
6. 画像情報を取得するステップと、
   前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
   前記擬似検索欄領域から検索キーワードを抽出するステップと、
   前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
   をコンピュータが実行する検索方法。
7. 画像情報を取得する画像取得部と、
   前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
   前記擬似検索欄領域から検索キーワードを抽出する抽出部と、
   を備えたキーワード抽出装置。
8. 画像情報を取得する画像取得部と、
   前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
   前記擬似検索欄領域から検索キーワードを抽出する抽出部と、
   前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
   を備えた検索装置。
9. 画像情報を取得するステップと、
   前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
   前記擬似検索欄領域から検索キーワードを抽出するステップと、
   をコンピュータに実行させるキーワード抽出プログラム。
10. 画像情報を取得するステップと、
    前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
    前記擬似検索欄領域から検索キーワードを抽出するステップと、
    前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
    をコンピュータに実行させる検索プログラム。

Images