JP5115089B2 - Keyword extraction method - Google Patents

Keyword extraction method Download PDF

Info

Publication number
JP5115089B2
JP5115089B2 JP2007209946A JP2007209946A JP5115089B2 JP 5115089 B2 JP5115089 B2 JP 5115089B2 JP 2007209946 A JP2007209946 A JP 2007209946A JP 2007209946 A JP2007209946 A JP 2007209946A JP 5115089 B2 JP5115089 B2 JP 5115089B2
Authority
JP
Japan
Prior art keywords
search
keyword
image information
pseudo
search field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007209946A
Other languages
Japanese (ja)
Other versions
JP2009044658A (en
Inventor
広行 駒井
徹 上和田
雅司 漆原
高史 寺崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007209946A priority Critical patent/JP5115089B2/en
Priority to US12/175,721 priority patent/US20090043769A1/en
Priority to TW97127613A priority patent/TWI457770B/en
Priority to EP20080161386 priority patent/EP2026220A1/en
Priority to KR20080077436A priority patent/KR100998532B1/en
Priority to CN2008101449296A priority patent/CN101364225B/en
Publication of JP2009044658A publication Critical patent/JP2009044658A/en
Priority to KR1020100055416A priority patent/KR101058444B1/en
Application granted granted Critical
Publication of JP5115089B2 publication Critical patent/JP5115089B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area

Description

本発明は、画像中の情報に基づいてウエブサイトへアクセスする技術に関する。   The present invention relates to a technology for accessing a website based on information in an image.

商品の販売促進や、企業イメージの向上等のため、多くの人に情報を発信する手法(広報活動)としては、テレビによるCM(commercial message)放送や、新聞、雑誌への広告掲載が主流であり、効果的である。   The mainstream of information (publicity activities) to send information to many people for the purpose of promoting product sales and improving the corporate image (commercial message) broadcasting, advertising in newspapers and magazines. Yes and effective.

また、インターネットの普及に伴い、ウエブサイトによる広報活動も重要になってきている。   Also, with the spread of the Internet, public relations activities on the website have become important.

テレビCMや新聞広告は、タイムリーに多くの人に届く利点があるものの、放送時間や紙面に限りがあり、多くの情報を伝えられないという問題がある。   Although TV commercials and newspaper advertisements have the advantage of reaching many people in a timely manner, there is a problem that broadcast time and space are limited and a large amount of information cannot be transmitted.

一方、ウエブサイトによる広告は、ユーザ(コンシューマ)の望む情報を詳細に伝えられる利点があるものの、ユーザからアクセスする必要があり、そのウエブサイトや情報の存在自体を知らないコンシューマがアクセスできない(即ち広告できない)という問題がある。   On the other hand, although advertisements by websites have the advantage of being able to convey the information desired by users (consumers) in detail, they need to be accessed by users and cannot be accessed by consumers who do not know the existence of the website or information itself (that is, Problem).

このため、テレビや新聞で広告する際に、ウエブサイトの存在も知らせ、広告内容に興味を持った人をウエブサイトへ誘導する試みがある。   For this reason, when advertising on television and newspapers, there is an attempt to inform the existence of a website and induce people interested in the contents of the advertisement to the website.

例えば、CM中にウエブサイトのURLを表示し、インターネットを介したアクセスを促す。   For example, the URL of the website is displayed in the CM to encourage access via the Internet.

しかし、URLは、覚え難く、アクセスする際の入力ミスも多いことから、確実にウエブサイトへ誘導できるとは限らなかった。   However, since URLs are difficult to remember and there are many input mistakes when accessing them, it has not always been possible to be surely guided to a website.

そこで、図9に示すようにキーワードが入力されたサーチエンジンの検索欄を模した表示を行い、ブラウザから同様にキーワードを検索欄に入力して検索し、ウエブサイトへアクセスするように促す手法もある。この手法であれば、覚え易いキーワードを使い、表示のとおり検索すれば良く、容易にアクセス可能である。   Therefore, as shown in FIG. 9, there is also a method of displaying a model similar to a search field of a search engine in which a keyword is input, and similarly inputting a keyword from the browser into the search field to perform a search and prompting to access the website. is there. With this method, keywords that are easy to remember can be used for searching as displayed, and can be easily accessed.

また、本発明に関連する先行技術として、例えば、下記の文献に開示される技術がある。
特開2002−290947号公報 ネット連動型テレビCMへの反応度調査、日経BP社、検索日2007/07/26、http://www.nikkeibp.co.jp/netmarketing/databox/nmdb/061201_crossmedia/
Moreover, as a prior art relevant to this invention, there exists a technique disclosed by the following literature, for example.
JP 2002-290947 A Survey of reactivity to internet-linked TV commercials, Nikkei Business Publications, search date 2007/07/26, http://www.nikkeibp.co.jp/netmarketing/databox/nmdb/061201_crossmedia/

しかし、テレビや新聞で検索キーワードを広告し、インターネットで検索する手法であると、キーワードを広告するメディア(テレビや新聞)と、検索するメディア(インターネット)が異なるので、検索する場合、ユーザが新たにブラウザを起動して検索を行う必要があり、手間がかかるので検索意欲を削ぐという問題があった。   However, if the search keyword is advertised on TV or newspaper and the Internet is searched, the media that advertises the keyword (TV or newspaper) is different from the media that is searched (Internet). There is a problem that it is necessary to start up a browser and perform a search, and it takes time and effort, so the search motivation is reduced.

そこで本発明は、サーチエンジンの検索欄を模した画像から検索キーワードを抽出し、
該検索キーワードで検索することにより、広告中の情報(検索キーワード)に基づくウエブアクセスを容易にする技術を提供する。
Therefore, the present invention extracts a search keyword from an image simulating a search field of a search engine,
Provided is a technique for facilitating web access based on information (search keyword) in an advertisement by searching with the search keyword.

上記課題を解決するため、本発明は、以下の構成を採用した。
即ち、本発明のキーワード抽出方法は、
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータが実行する。
In order to solve the above problems, the present invention employs the following configuration.
That is, the keyword extraction method of the present invention is:
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
Is executed by the computer.

また、本発明の検索方法は、
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータが実行する。
In addition, the search method of the present invention includes:
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
Performing a search process or a search pre-process using the search keyword;
Is executed by the computer.

また、本発明のキーワード抽出装置は、
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
を備える。
In addition, the keyword extraction device of the present invention is
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search region;
Is provided.

また、本発明の検索装置は、
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
を備える。
Moreover, the search device of the present invention provides
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search region;
A search processing unit that performs search processing or search pre-processing using the search keyword;
Is provided.

また、本発明は、上記方法をコンピュータに実行させるプログラムであっても良い。更に、本発明は、このプログラムをコンピュータが読み取り可能な記録媒体に記録したものであっても良い。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。   Further, the present invention may be a program for causing a computer to execute the above method. Furthermore, the present invention may be a program in which this program is recorded on a computer-readable recording medium. The function can be provided by causing the computer to read and execute the program of the recording medium.

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、8mmテープ、メモリカード等がある。   Here, the computer-readable recording medium refers to a recording medium that accumulates information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action and can be read from the computer. . Examples of such a recording medium that can be removed from the computer include a flexible disk, a magneto-optical disk, a CD-ROM, a CD-R / W, a DVD, a DAT, an 8 mm tape, and a memory card.

また、コンピュータに固定された記録媒体としてハードディスクやROM(リードオンリーメモリ)等がある。   Further, there are a hard disk, a ROM (read only memory), and the like as a recording medium fixed to the computer.

本発明によれば、サーチエンジンの検索欄を模した画像から検索キーワードを抽出し、該検索キーワードで検索することにより、広告中の情報(検索キーワード)に基づくウエブアクセスを容易にする技術を提供できる。   According to the present invention, there is provided a technique for facilitating web access based on information (search keyword) in an advertisement by extracting a search keyword from an image simulating a search field of a search engine and searching with the search keyword. it can.

〈装置構成〉
以下、図面を参照して本発明を実施するための最良の形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
図1は、本実施形態に係る検索システムの概略図である。
本例の検索システム10は、テレビ放送を行う放送局の局側装置101や、局側装置101から放送された動画像を受信するユーザ端末1、インターネット等のネットワークを介して情報を提供するウエブサーバ2、ウエブサーバ2で提供されている情報の検索サービスを提供する検索サーバ(サーチエンジン)3、ランキングサーバ4等を有している。
<Device configuration>
The best mode for carrying out the present invention will be described below with reference to the drawings. The configuration of the following embodiment is an exemplification, and the present invention is not limited to the configuration of the embodiment.
FIG. 1 is a schematic diagram of a search system according to the present embodiment.
The search system 10 of this example is a station that provides information via a network such as a station-side device 101 of a broadcasting station that performs a television broadcast, a user terminal 1 that receives a moving image broadcast from the station-side device 101, and the Internet. The server 2 includes a search server (search engine) 3 that provides a search service for information provided by the web server 2, a ranking server 4, and the like.

ユーザ端末1は、本システム10の検索装置或は検索キーワード抽出装置に相当する。
ユーザ端末1は、CPU(central processing unit)やメインメモリ等よりなる演算
処理部12、演算処理の為のデータやソフトウェアを記憶した記憶部(ハードディスク)13、入出力ポート14、通信制御部(CCU:Communication Control Unit)15等を備えた汎用のコンピュータである。
The user terminal 1 corresponds to a search device or a search keyword extraction device of the system 10.
The user terminal 1 includes an arithmetic processing unit 12 including a CPU (central processing unit) and a main memory, a storage unit (hard disk) 13 storing data and software for arithmetic processing, an input / output port 14, a communication control unit (CCU). : Communication Control Unit) 15 and the like.

該入出力ポート14には、キーボードやマウス、CD−ROMドライブ、TV(Television)受信部16等の入力デバイス、そして表示装置やプリンター等の出力デバイスが適宜接続される。   An input device such as a keyboard, a mouse, a CD-ROM drive, a TV (Television) receiver 16, and an output device such as a display device or a printer are appropriately connected to the input / output port 14.

TV受信部(チューナ)16は、TVアンテナを介して放送局からの電波を受信し、電気信号(画像情報)に変換して入出力ポート14に入力する。
CCU15は、ネットワークを介して他のコンピュータとの通信を行うものである。
A TV receiver (tuner) 16 receives radio waves from a broadcasting station via a TV antenna, converts them into electrical signals (image information), and inputs them to the input / output port 14.
The CCU 15 communicates with other computers via a network.

記憶部13には、オペレーティングシステム(OS)やアプリケーションソフト(キーワード抽出プログラム、検索プログラム)がインストールされている。   An operating system (OS) and application software (keyword extraction program, search program) are installed in the storage unit 13.

演算処理部12は、前記OSやアプリケーションプログラムを記憶部13から適宜読み出して実行し、入出力ポート14やCCU15から入力された情報、及び記憶部13から読み出した情報を演算処理することにより、画像取得部、解析部、抽出部、再生部、指示受信部としても機能する。   The arithmetic processing unit 12 appropriately reads out and executes the OS and application program from the storage unit 13, and performs arithmetic processing on information input from the input / output port 14 and the CCU 15 and information read from the storage unit 13. It also functions as an acquisition unit, analysis unit, extraction unit, playback unit, and instruction reception unit.

この画像取得部としては、画像情報を取得する。例えば、前記TV受信部16で受信した画像情報を受信する、或いは、記憶部13に記憶(録画)された画像情報を読み出して取得する。   The image acquisition unit acquires image information. For example, image information received by the TV receiving unit 16 is received, or image information stored (recorded) in the storage unit 13 is read and acquired.

再生部としては、画像取得部で取得した画像情報に基づいて動画像を再生する。即ち、表示部に動画像を表示させ、該動画の音をスピーカから出力させる。また、再生部は、再生のため、ユーザの操作等に応じてTV受信部16に受信する或いは変換するチャネルを通知する。   The reproduction unit reproduces the moving image based on the image information acquired by the image acquisition unit. That is, a moving image is displayed on the display unit, and the sound of the moving image is output from the speaker. Further, the playback unit notifies the TV reception unit 16 of a channel to be received or converted in accordance with a user operation or the like for playback.

指示受信部としては、ユーザの操作による検索指示(指示信号)を受信する。   The instruction receiving unit receives a search instruction (instruction signal) by a user operation.

解析部としては、動画像を構成する画像情報のうち、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定する。   As the analysis unit, a part corresponding to a predetermined pattern imitating a search field is specified as a pseudo search field area in the image information constituting the moving image.

抽出部としては、前記擬似検索領域の文字認識を行い、検索キーワードを抽出する。   The extraction unit performs character recognition in the pseudo search area and extracts a search keyword.

検索処理部としては、前記検索キーワードを用い、検索処理又は検索の前処理を行う。例えば、前記CCU15を介して検索サーバ3に検索キーワードを含む検索要求を送信し、該検索サーバから返信された検索結果を表示部に表示させる。また、検索処理部は、この表示したコンテンツの要約やハイパーリンク等の検索結果に基づいてウエブサーバにアクセスし、該コンテンツの表示を行う機能も有している。なお、検索処理部は、一般的なウエブブラウザを用いても良い。   The search processing unit uses the search keyword to perform search processing or search pre-processing. For example, a search request including a search keyword is transmitted to the search server 3 via the CCU 15, and the search result returned from the search server is displayed on the display unit. The search processing unit also has a function of accessing the web server based on search results such as a summary of the displayed content and a hyperlink, and displaying the content. The search processing unit may use a general web browser.

一方、検索サーバ3は、ユーザ端末1の検索処理部(ウエブブラウザ)からの検索要求を受信する手段や、ウエブサーバ2の情報を記憶した記憶手段、受信した検索要求のキーワードに基づいて対応するウエブサーバ2の情報を記憶手段から索出する手段、検索結果を要求元のユーザ端末1に送信する手段等を有した一般的なコンピュータ、所謂検索エンジンである。   On the other hand, the search server 3 responds based on means for receiving a search request from the search processing unit (web browser) of the user terminal 1, storage means for storing information on the web server 2, and keywords of the received search request. It is a so-called search engine, which is a general computer having means for searching for information of the web server 2 from storage means, means for transmitting search results to the requesting user terminal 1, and the like.

また、ウエブサーバ2は、インターネット等のネットワークを介してユーザ端末1や検索サーバ3等の他のコンピュータと接続している。ウエブサーバ2は、他のコンピュータからのアクセス要求(URL等)で指定されたコンテンツ(ファイル)を要求元のコンピュータに提供(送信)する。なお、該ウエブサーバ2は、周知の構成であるので、詳しい説明は省略する。   The web server 2 is connected to other computers such as the user terminal 1 and the search server 3 via a network such as the Internet. The web server 2 provides (sends) the content (file) specified by the access request (such as URL) from another computer to the requesting computer. The web server 2 has a well-known configuration and will not be described in detail.

同様に、ランキングサーバ(キーワード提供サーバ)4は、インターネット等のネットワークを介してユーザ端末1や検索サーバ等の他のコンピュータと接続している。ランキングサーバ4は、検索サイトで検索に利用されたキーワードを検索回数の多い順にソートしたランキング情報を記憶部に記憶しており、他のコンピュータからの要求に応じて該キーワード(ランキング情報)を提供する。なお、ランキングサーバ4は、検索サーバ3と兼用しても良い。また、CMで利用されているキーワードをオペレータが記憶部に記憶させておいても良い。該ランキングサーバ4は、一般的なウエブサーバと同一の構成であるので、詳しい説明は省略する。   Similarly, the ranking server (keyword providing server) 4 is connected to other computers such as the user terminal 1 and the search server via a network such as the Internet. The ranking server 4 stores ranking information obtained by sorting the keywords used for the search on the search site in the descending order of the number of searches, and provides the keywords (ranking information) in response to requests from other computers. To do. The ranking server 4 may also be used as the search server 3. Further, the keyword used in the CM may be stored in the storage unit by the operator. Since the ranking server 4 has the same configuration as a general web server, detailed description thereof is omitted.

〈検索方法〉   <retrieval method>

次に、これら構成のユーザ端末1が検索プログラムに基づいて実行する検索方法(検索キーワードの抽出方法も含む)について、図2を用いて説明する。   Next, a search method (including a search keyword extraction method) executed by the user terminal 1 having these configurations based on a search program will be described with reference to FIG.

図2に示すように、ユーザ端末1は、ユーザの操作によりTVの視聴(再生)が指示されると、再生部が記憶部13から或はTV受信部から受信した画像情報に基づいて動画像を再生する。   As shown in FIG. 2, when the user terminal 1 is instructed to view (reproduce) the TV by the user's operation, the reproduction unit moves the moving image based on the image information received from the storage unit 13 or the TV reception unit. Play.

このときユーザ端末1の画像取得部は、動画像を構成する一連のフレームのうち、後述の所定条件を満たしたフレームを解析対象のフレーム(画像情報)として特定(取得)する(ステップ1、以下S1のように略記する)。   At this time, the image acquisition unit of the user terminal 1 specifies (acquires), as a frame to be analyzed (image information), a frame that satisfies a predetermined condition (described later) from among a series of frames constituting the moving image (step 1 and thereafter) Abbreviated as S1).

次に、解析部は、上記特定したフレームを解析して、検索エンジンの検索欄を模した所定パターンに該当する擬似検索欄領域を特定する(S2)。
また、抽出部は、擬似検索欄領域について文字認識を行い、キーワードを抽出する(S3)。
Next, the analysis unit analyzes the identified frame, and identifies a pseudo search field area corresponding to a predetermined pattern imitating the search field of the search engine (S2).
Further, the extraction unit performs character recognition on the pseudo search field area and extracts keywords (S3).

そして、検索部は、ウエブブラウザを起動し、前記抽出部が抽出したキーワードを検索サーバに送信して検索し、検索結果を表示する(S4)。
各ステップの具体的な処理については、以下の具体例を用いて説明する。
And a search part starts a web browser, transmits the keyword extracted by the said extraction part to a search server, searches, and displays a search result (S4).
Specific processing of each step will be described using the following specific examples.

〈具体例1〉
図3は、動画像からCMの所定部分(末尾)を自動的に特定して検索する方法の説明図である。
先ず、画像取得部は、動画像中の番組本編以外のCM部分を検出する(S11)。
このCM検出手法としては、以下のような条件を満たした場合にCMと特定する。
1.前後のフレームを比較し、フレーム全域が異なっている(一致度合いが所定値未満)、即ちカットが切換わった場合で、所定以上の無音時間がある。
2.番組本編がモノラルで放送され、CM時にステレオ放送に切換わるので、モノラルがステレオに切換わってからモノラルに戻るまでの期間。
3.所定時間(例えば15秒の倍数)でカットが切換わる場合
4.所定時刻(例えば正時から5分前等)
5.EPGで取得した番組情報に基づき、番組の切換わり時刻の前後5分、及び該番組の切換わり時刻から番組を等分(2分割や4分割)した時刻
<Specific example 1>
FIG. 3 is an explanatory diagram of a method for automatically specifying and searching for a predetermined portion (tail) of a CM from a moving image.
First, the image acquisition unit detects a CM portion other than the main program in the moving image (S11).
This CM detection method is specified as CM when the following conditions are satisfied.
1. When the preceding and succeeding frames are compared, the entire frame is different (the degree of coincidence is less than a predetermined value), that is, when the cut is switched, there is a silent time longer than the predetermined.
2. Since the main part of the program is broadcast in monaural and switched to stereo broadcasting during commercials, the period from when monaural is switched to stereo until it returns to monaural.
3. 3. When the cut is switched in a predetermined time (for example, a multiple of 15 seconds). Predetermined time (for example, 5 minutes before the hour)
5. 5 minutes before and after the program switching time based on the program information acquired by EPG, and the time when the program is equally divided (2 or 4) from the program switching time

なお、CMの検出手法としては、この他公知の手法を用いても良いし、これらを組み合わせて用いても良い。   In addition, as a CM detection method, other known methods may be used, or these may be used in combination.

次に画像取得部は、CMの長さの基準となる時間Lを設定する。本例では、L=15(秒)とした(S12)。   Next, the image acquisition unit sets a time L that is a reference for the length of the CM. In this example, L = 15 (seconds) is set (S12).

なお、キーワード等を告知するタイミングは、CMの末尾部分である可能性が高いので、上記条件に基づいて検出したCMの先頭から所定時間(L/2、L/3、L−5(秒))後からLまでのフレームを取得する。本例では、L−5からLまでとしている(S13)。   Note that the timing for notifying the keyword or the like is likely to be the end of the CM, so a predetermined time (L / 2, L / 3, L-5 (seconds) from the beginning of the CM detected based on the above conditions. ) Acquire frames from L to L later. In this example, L-5 to L are set (S13).

そして、解析部が、前記画像取得部で取得したフレーム(画像情報)を解析して、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定し、抽出部が該擬似検索欄領域から文字を抽出する(S14)。   Then, the analysis unit analyzes the frame (image information) acquired by the image acquisition unit, specifies a portion corresponding to a predetermined pattern imitating a search field as a pseudo search field area, and the extraction unit identifies the pseudo search field. Characters are extracted from the area (S14).

このとき解析部は、図9のように画像中の検索欄を模した領域を特定するため、該画像を水平方向(主走査方向)及び垂直方向(副走査方向)に走査し、画素が水平或は垂直に所定距離以上連続して直線となっている箇所を抽出する。そして、該直線が矩形状となっている領域を擬似検索欄領域としている。   At this time, the analysis unit scans the image in the horizontal direction (main scanning direction) and the vertical direction (sub-scanning direction) in order to specify a region imitating the search field in the image as shown in FIG. Alternatively, a portion that is a straight line continuously longer than a predetermined distance in the vertical direction is extracted. And the area | region where this straight line is a rectangular shape is made into the pseudo search column area | region.

特に本実施形態では、一の矩形61に対し、幅(水平方向)の短い矩形62が隣接し、短い矩形中に「検索」の文字がある、即ち検索ボタンに相当する画像があるといった所定パターンと一致する場合、矩形61の部分を擬似検索欄領域と特定する。   In particular, in the present embodiment, a predetermined pattern in which a rectangle 62 having a short width (horizontal direction) is adjacent to one rectangle 61 and a character “search” is present in the short rectangle, that is, there is an image corresponding to a search button. If it matches, the portion of the rectangle 61 is specified as the pseudo search field area.

このときキーワードを抽出できた場合には、該キーワードを検索部へ通知し、抽出できなかった場合には、この抽出不可の旨を画像取得部に通知する(S15)。   If the keyword can be extracted at this time, the keyword is notified to the search unit, and if the keyword cannot be extracted, the image acquisition unit is notified that extraction is impossible (S15).

該抽出不可の通知を受けた画像取得部は、この抽出の対象となったフレームがCMの先頭からL秒後に達したか、否かを判断し(S16)、L秒後のフレームでなければ次のフレームを取得する(S17)。   The image acquisition unit that has received the notification indicating that extraction is not possible determines whether or not the frame targeted for extraction has reached L seconds after the beginning of the CM (S16). The next frame is acquired (S17).

また、ステップ16でL秒後のフレームであれば、Lが60秒未満であるか否かを判定し(S18)、60秒未満でなければ終了し、60秒以上であればLに15秒加え(S19)、CMの最大値(例えば60秒)を超えていなければステップ13に戻ってフレーム
の取得を行う(S20)。
If it is a frame after L seconds in step 16, it is determined whether or not L is less than 60 seconds (S18). If it is not less than 60 seconds, the process ends. In addition (S19), if the maximum value of CM (for example, 60 seconds) is not exceeded, the process returns to step 13 to acquire a frame (S20).

なお、ステップ13にてフレームを取得する際、L−5からL秒までの全てのフレームを取得しても良いが、MPEG方式の動画像の場合、Iピクチャのみを取得しても良い。このようにIピクチャのみを取得する構成とすれば、処理量を低減できる。   Note that when acquiring frames in step 13, all frames from L-5 to L seconds may be acquired. However, in the case of MPEG moving images, only I pictures may be acquired. If the configuration is such that only the I picture is acquired, the amount of processing can be reduced.

〈具体例2〉
図4は、ユーザの操作に応じてフレームを特定してキーワードを抽出する方法の説明図、図5は、本例の解析順序の説明図である。
<Specific example 2>
FIG. 4 is an explanatory diagram of a method for extracting a keyword by specifying a frame in accordance with a user operation, and FIG. 5 is an explanatory diagram of an analysis order of this example.

先ず、入出力ポート14を介して接続したキーボードやリモコンを用いユーザの入力操作によってキーワード取得の指示が入力されると(S21)、画像取得部は、入力を受けた時点で再生されているフレームを取得する(S22)。   First, when a keyword acquisition instruction is input by a user input operation using a keyboard or remote controller connected via the input / output port 14 (S21), the image acquisition unit displays the frame being played back when the input is received. Is acquired (S22).

そして、解析部が、前記画像取得部で取得したフレーム(画像情報)を解析して、検索欄を模した所定パターンに該当する部分を擬似検索欄領域として特定し、抽出部が該擬似検索欄領域から文字を抽出する(S23)。   Then, the analysis unit analyzes the frame (image information) acquired by the image acquisition unit, specifies a portion corresponding to a predetermined pattern imitating a search field as a pseudo search field area, and the extraction unit identifies the pseudo search field. Characters are extracted from the area (S23).

このときキーワードを抽出できた場合には、該キーワードを検索部へ通知し、抽出できなかった場合には、この抽出不可の旨を画像取得部に通知する(S24)。   If the keyword can be extracted at this time, the keyword is notified to the search unit. If the keyword cannot be extracted, the image acquisition unit is notified that extraction is impossible (S24).

該抽出不可の通知を受けた画像取得部は、この抽出の対象となったフレームが入力を受けた以前のフレームか否かを判定し(S25)、以前のフレームであれば更に、入力を受けた時点からN秒以前のフレームであるか否かを判定する(S26)。   The image acquisition unit that has received the notification that extraction is not possible determines whether or not the extraction target frame is the previous frame that received the input (S25). It is determined whether the frame is N seconds before the point in time (S26).

ステップ26でN秒以前のフレームでなければ、1つ前のフレームを取得し(S27)、N秒以前のフレームであれば、入力を受けた時点の次のフレームを取得する(S28)。   If it is not a frame before N seconds in step 26, the previous frame is acquired (S27), and if it is a frame before N seconds, the next frame at the time of receiving the input is acquired (S28).

一方、ステップ25で入力を受けた後のフレームと判断した場合、入力を受けた時点からM秒以後のフレームか否かを判定し、M秒以後のフレームでなければ、画像取得部に通知し(S29)、画像取得部が1つ次のフレームを取得する(S30)。なお、ステップ29で、M秒後のフレームと判定した場合、抽出処理を終了する。   On the other hand, if it is determined in step 25 that the frame has been received, it is determined whether it is a frame after M seconds from the time when the input is received. If not, the image acquisition unit is notified. (S29) The image acquisition unit acquires the next frame (S30). If it is determined in step 29 that the frame is M seconds later, the extraction process ends.

このように、ユーザの入力に応じてフレームを特定する場合、ユーザが動画像中のキーワードを見つけてから入力操作する可能性が高いので、入力を受けた時点から順次遡ってフレームを特定し、キーワードが抽出されなければ入力を受けた時点以後のフレームを解析対象として特定することで、速やかに解析処理行うことができる。   Thus, when specifying a frame according to the user's input, since the user is likely to perform an input operation after finding a keyword in the moving image, the frame is specified sequentially from the time of receiving the input, If a keyword is not extracted, the analysis processing can be quickly performed by specifying the frame after the time of receiving the input as the analysis target.

〈具体例3〉
図6は、ライブ放送中にキーワードを抽出し、抽出したキーワードをバッファリングする例の説明図である。
<Specific example 3>
FIG. 6 is an explanatory diagram of an example in which keywords are extracted during live broadcasting and the extracted keywords are buffered.

まず、画像取得部は、再生している動画像がライブ放送(TV受信部で受信した情報)か否かを判定し(S31)、ライブ放送であれば現時点のフレームを取得する(S32)。   First, the image acquisition unit determines whether or not the reproduced moving image is a live broadcast (information received by the TV reception unit) (S31), and if it is a live broadcast, acquires the current frame (S32).

解析部は、取得したフレームから擬似検索欄領域を特定する(S33)。ここで擬似検索欄領域を特定できた場合には、該擬似検索欄領域について抽出部が文字認識を行い(S34−S35)、キーワードを抽出し、擬似検索欄領域を特定できない場合にはステップ
S31に戻る。
The analysis unit specifies a pseudo search field area from the acquired frame (S33). If the pseudo search field area can be specified here, the extraction unit performs character recognition for the pseudo search field area (S34-S35), extracts a keyword, and if the pseudo search field area cannot be specified, step S31. Return to.

ステップ35でキーワードを抽出できた場合、バッファが満杯か否かを判定し(S36−S37)、満杯であればバッファ中最も古いデータを削除して(S38)バッファに抽出したキーワードを追加する(S39)。   If the keyword can be extracted in step 35, it is determined whether or not the buffer is full (S36-S37). If it is full, the oldest data in the buffer is deleted (S38) and the extracted keyword is added to the buffer (S38). S39).

バッファリングしたキーワードは、例えば、ユーザの指示があった場合に、抽出部が直近のキーワードをバッファから読み出して検索部に通知し、検索を行う。   For the buffered keyword, for example, when the user gives an instruction, the extraction unit reads the latest keyword from the buffer, notifies the search unit, and performs a search.

なお、本例ではステップ35で抽出したキーワードをバッファに記憶したが、ステップ33で特定した擬似検索欄領域をバッファに記憶し、ステップ34,35を省略しても良い。   In this example, the keyword extracted in step 35 is stored in the buffer. However, the pseudo search field area specified in step 33 may be stored in the buffer, and steps 34 and 35 may be omitted.

また、ステップ32でライブ放送中のフレームを順次取得する場合に、動画像を構成する全てのフレームを取得しても良いが、MPEG方式の動画像であればIピクチャのみを記憶しても良い。これにより記憶容量及び解析の処理量を抑えることができる。   Further, when frames in live broadcast are sequentially acquired in step 32, all frames constituting a moving image may be acquired. However, in the case of an MPEG moving image, only an I picture may be stored. . Thereby, the storage capacity and the processing amount of analysis can be suppressed.

〈具体例4〉
図7は、特定後のフレームを解析し、キーワードを抽出して検索する方法の説明図である。
先ず解析部が解析対象のフレームを解析し、擬似検索欄領域を特定できた場合(S41)、抽出部が該領域の文字認識を行う(S42)。
<Specific Example 4>
FIG. 7 is an explanatory diagram of a method for analyzing a specified frame, extracting a keyword, and searching.
First, when the analysis unit analyzes the frame to be analyzed and identifies the pseudo search field area (S41), the extraction unit performs character recognition of the area (S42).

該擬似検索欄領域からキーワードが抽出できた場合(S43)、該キーワードとランキングサーバ4のデータベース(記憶部)に記憶されているキーワードとを比較し、類似のキーワードがあるか否かを判定する(S44)。   When a keyword can be extracted from the pseudo search field (S43), the keyword is compared with a keyword stored in the database (storage unit) of the ranking server 4 to determine whether there is a similar keyword. (S44).

類似のキーワードがあった場合、検索部は、このキーワードをウエブブラウザの検索キーワードに設定して検索サイトにアクセスし、検索を行う(S45,S47)。またステップ44で類似したキーワードがない場合、抽出されたキーワードを検索キーワードに設定して検索を行う(S46,S47)。   If there is a similar keyword, the search unit sets the keyword as a search keyword of the web browser, accesses the search site, and performs a search (S45, S47). If there is no similar keyword in step 44, the extracted keyword is set as a search keyword to perform a search (S46, S47).

検索サイトが該キーワードによる検索を行い、検索結果を返信すると(S48)、ユーザ端末1の検索部がこの検索結果の最上位のコンテンツを表示部に表示させる(S49)。   When the search site performs a search using the keyword and returns the search result (S48), the search unit of the user terminal 1 displays the highest content of the search result on the display unit (S49).

図8は、検索結果の表示例を示す図である。
該検索結果を示すウインドウのアドレス欄51には検索されたコンテンツのURL、コンテンツ欄52にはウエブサーバから受信したコンテンツを表示している。
FIG. 8 is a diagram illustrating a display example of search results.
The address column 51 of the search result window displays the URL of the searched content, and the content column 52 displays the content received from the web server.

また、本例では、このコンテンツと別フレームで、検索結果一覧54及び検索キーワード53も表示している。該検索結果一覧から他のリンクを選べば上記以外のコンテンツも閲覧することができる。   In this example, a search result list 54 and a search keyword 53 are also displayed in a separate frame from this content. If other links are selected from the search result list, contents other than the above can be browsed.

なお、検索結果の表示方法は、上記に限らず、最上位のコンテンツのみ、或は検索結果一覧のみであっても良い。
また、キーワードによる検索まで行わずに、検索前処理として、ウエブブラウザを起動し、検索サーバ2の検索用ページの検索欄に抽出したキーワードを挿入した状態で処理を止め、ユーザの操作を待つようにしても良い。
Note that the search result display method is not limited to the above, and only the top-level content or only the search result list may be used.
In addition, without performing a search by keyword, as a pre-search process, the web browser is started, the process is stopped with the extracted keyword inserted in the search field of the search page of the search server 2, and the user's operation is waited. Anyway.

〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
<Others>
The present invention is not limited to the illustrated examples described above, and various modifications can be made without departing from the scope of the present invention.

例えば、上述の例では、画像情報としてTV受信部で受信した動画像或は記憶部から読み出した動画像を用いたが、これに限らず、新聞や、雑誌、チラシ等をデジタルカメラで撮影或はスキャナでスキャンして取得した画像情報であっても良い。   For example, in the above-described example, the moving image received by the TV receiving unit or the moving image read from the storage unit is used as the image information. However, the present invention is not limited to this. May be image information obtained by scanning with a scanner.

また、以下に付記した構成であっても上述の実施形態と同様の効果が得られる。また、これらの構成要素は可能な限り組み合わせることができる。   Moreover, even if it is the structure added below, the effect similar to the above-mentioned embodiment is acquired. These components can be combined as much as possible.

(付記1)
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータが実行するキーワード抽出方法。
(Appendix 1)
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
A keyword extraction method executed by a computer.

(付記2)
動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記1に記載のキーワード抽出方法。
(Appendix 2)
The keyword extraction method according to appendix 1, wherein frames of a predetermined interval are detected as the image information among a series of frames constituting a moving image.

(付記3)
動画像中のフレームを比較し、CMの条件を満たしたフレームを前記画像情報として検出する付記1に記載のキーワード抽出方法。
(Appendix 3)
The keyword extraction method according to supplementary note 1, wherein frames in moving images are compared and a frame satisfying a CM condition is detected as the image information.

(付記4)
前記CMの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする付記3に記載のキーワード抽出方法。
(Appendix 4)
The keyword extraction method according to supplementary note 3, wherein a frame within a predetermined period among a plurality of frames that satisfy the CM condition and is a group that is continuous in time series is the analysis target.

(付記5)
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記4に記載のキーワード抽出方法。
(Appendix 5)
The keyword extraction method according to claim 4, wherein the predetermined period is a latter half portion, a portion after a predetermined time from the beginning, or a portion before a predetermined time from the last in the frame group.

(付記6)
前記画像情報に基づいて動画像を再生するステップと、
ユーザの操作による指示信号を受信するステップと、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間離れたフレームを前記解析の対象とする付記2から5の何れか1項に記載のキーワード抽出方法。
(Appendix 6)
Replaying a moving image based on the image information;
Receiving an instruction signal by a user operation; and
6. The keyword extraction method according to any one of appendices 2 to 5, wherein a frame being reproduced when the instruction signal is received or a frame separated from the frame being reproduced for a predetermined time is the target of the analysis.

(付記7)
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記6に記載のキーワード抽出方法。
(Appendix 7)
A frame that is a predetermined time after a frame that is being played back when the instruction signal is received is subject to the analysis, and when a region corresponding to the predetermined pattern does not exist, a frame that is being played back when the instruction signal is received 7. The keyword extraction method according to appendix 6, wherein a frame before a predetermined time is a target of the analysis.

(付記8)
前記画像情報を記憶部に記憶させ、前記指示信号を受信したときに再生中のフレームよ
り所定時間前のフレームを前記記憶部から読み出して解析の対象とする付記6に記載のキーワード抽出方法。
(Appendix 8)
The keyword extraction method according to appendix 6, wherein the image information is stored in a storage unit, and a frame that is a predetermined time before the frame being reproduced is read from the storage unit when the instruction signal is received and is analyzed.

(付記9)
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータが実行する検索方法。
(Appendix 9)
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
Performing a search process or a search pre-process using the search keyword;
A search method that the computer performs.

(付記10)
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記9に記載の検索方法。
(Appendix 10)
The search method according to appendix 9, wherein the search preprocessing is a process of starting a browser and setting the search keyword as a search parameter of a search site.

(付記11)
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記9に記載の検索方法。
(Appendix 11)
The search method according to appendix 9, wherein the search process is a process of starting a browser and displaying a result of searching the search keyword on a search site on the browser.

(付記12)
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
を備えた抽出装置。
(Appendix 12)
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search region;
Extraction device with.

(付記13)
前記画像取得部が、動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記12に記載のキーワード抽出装置。
(Appendix 13)
The keyword extraction device according to supplementary note 12, wherein the image acquisition unit detects frames at a predetermined interval as the image information among a series of frames constituting a moving image.

(付記14)
前記画像取得部が、動画像中のフレームを比較し、CMの条件を満たしたフレームを前記画像情報として検出する付記12に記載のキーワード抽出装置。
(Appendix 14)
The keyword extraction device according to attachment 12, wherein the image acquisition unit compares frames in a moving image and detects a frame that satisfies a CM condition as the image information.

(付記15)
前記解析部が、前記CMの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析の対象とする付記14に記載のキーワード抽出装置。
(Appendix 15)
The keyword according to supplementary note 14, wherein the analysis unit is configured to analyze a frame within a predetermined period among a plurality of frames that satisfy the CM condition and are a group of time-series continuous groups. Extraction device.

(付記16)
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記15に記載のキーワード抽出装置。
(Appendix 16)
The keyword extracting device according to supplementary note 15, wherein the predetermined period is a latter half portion, a portion after a predetermined time from the beginning, or a portion before a predetermined time from the last in the frame group.

(付記17)
前記画像情報に基づいて動画像を再生する再生部と、
ユーザの操作による指示信号を受信する指示受信部と、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間離れたフレームを前記解析の対象とする付記13から16の何れか1項に記載のキーワード抽出装置。
(Appendix 17)
A playback unit for playing back a moving image based on the image information;
An instruction receiving unit that receives an instruction signal by a user operation, and
17. The keyword extraction device according to any one of appendices 13 to 16, wherein a frame being reproduced when receiving the instruction signal or a frame separated from the frame being reproduced for a predetermined time is the target of the analysis.

(付記18)
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記17に記載のキーワード抽出装置。
(Appendix 18)
A frame that is a predetermined time after a frame that is being played back when the instruction signal is received is subject to the analysis, and when a region corresponding to the predetermined pattern does not exist, a frame that is being played back when the instruction signal is received 18. The keyword extracting device according to appendix 17, wherein a frame before a predetermined time is a target of the analysis.

(付記19)
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
を備えた検索装置。
(Appendix 19)
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search region;
A search processing unit that performs search processing or search pre-processing using the search keyword;
Search device equipped with.

(付記20)
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記19に記載の検索装置。
(Appendix 20)
The search device according to appendix 19, wherein the search preprocessing is a process of starting a browser and setting the search keyword as a search parameter of a search site.

(付記21)
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記19に記載の検索装置。
(Appendix 21)
The search device according to appendix 19, wherein the search process is a process of starting a browser and displaying a result of searching the search keyword on a search site on the browser.

(付記22)
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータに実行させるキーワード抽出プログラム。
(Appendix 22)
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
Keyword extraction program that causes a computer to execute.

(付記23)
動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する付記22に記載のキーワード抽出プログラム。
(Appendix 23)
Item 23. The keyword extraction program according to appendix 22, wherein frames of a predetermined interval are detected as the image information in a series of frames constituting a moving image.

(付記24)
動画像中のフレームを比較し、CMの条件を満たしたフレームを前記画像情報として検出する付記22に記載のキーワード抽出プログラム。
(Appendix 24)
Item 23. The keyword extraction program according to appendix 22, wherein frames in moving images are compared and a frame that satisfies a CM condition is detected as the image information.

(付記25)
前記CMの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする付記24に記載のキーワード抽出プログラム。
(Appendix 25)
25. The keyword extraction program according to appendix 24, wherein a frame within a predetermined period is a target of analysis among a plurality of frames that satisfy the CM condition and are a group of frames that are continuous in time series.

(付記26)
前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である付記25に記載のキーワード抽出プログラム。
(Appendix 26)
26. The keyword extraction program according to appendix 25, wherein the predetermined period is a latter half portion, a portion after a predetermined time from the beginning, or a portion before a predetermined time from the end of the frame group.

(付記27)
前記画像情報に基づいて動画像を再生するステップと、
ユーザの操作による指示信号を受信するステップと、を更に実行し、
前記指示信号を受信したときに再生中のフレーム又は該再生中のフレームから所定時間
離れたフレームを前記解析の対象とする付記23から26の何れか1項に記載のキーワード抽出プログラム。
(Appendix 27)
Replaying a moving image based on the image information;
Receiving an instruction signal by a user operation; and
27. The keyword extraction program according to any one of appendices 23 to 26, wherein the frame being reproduced when the instruction signal is received or a frame separated from the frame being reproduced for a predetermined time is the target of the analysis.

(付記28)
前記指示信号を受信したときに再生中のフレームから所定時間後のフレームを前記解析の対象とし、前記所定パターンに該当する領域が存在しなかった場合に、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記解析の対象とする付記27に記載のキーワード抽出プログラム。
(Appendix 28)
A frame that is a predetermined time after a frame that is being played back when the instruction signal is received is subject to the analysis, and when a region corresponding to the predetermined pattern does not exist, a frame that is being played back when the instruction signal is received 28. The keyword extraction program according to appendix 27, wherein a frame before a predetermined time is a target of the analysis.

(付記29)
前記画像情報を記憶部に記憶させ、前記指示信号を受信したときに再生中のフレームより所定時間前のフレームを前記記憶部から読み出して解析の対象とする付記27に記載のキーワード抽出プログラム。
(Appendix 29)
28. The keyword extraction program according to appendix 27, wherein the image information is stored in a storage unit, and when the instruction signal is received, a frame that is a predetermined time before the frame being reproduced is read from the storage unit and analyzed.

(付記30)
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータに実行させる検索プログラム。
(Appendix 30)
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search area;
Performing a search process or a search pre-process using the search keyword;
Search program that causes a computer to execute.

(付記31)
前記検索の前処理が、ブラウザを起動し、前記検索キーワードを検索サイトの検索パラメータとして入力した状態とする処理である付記30に記載の検索プログラム。
(Appendix 31)
The search program according to supplementary note 30, wherein the search preprocessing is a process of starting a browser and setting the search keyword as a search parameter of a search site.

(付記32)
前記検索処理が、ブラウザを起動し、前記検索キーワードを検索サイトで検索した結果を該ブラウザで表示させた状態とする処理である付記30に記載の検索プログラム。
(Appendix 32)
The search program according to appendix 30, wherein the search process is a process of starting a browser and displaying a result of searching the search keyword on a search site on the browser.

検索システムの概略図Schematic diagram of the search system 検索方法(検索キーワードの抽出方法も含む)の説明図Explanatory diagram of search method (including search keyword extraction method) CMの所定部分(末尾)を自動的に特定して検索する方法の説明図Explanatory drawing of the method of automatically specifying and searching for a predetermined part (tail) of CM ユーザの操作に応じてフレームを特定してキーワードを抽出する方法の説明図Explanatory drawing of the method of identifying a frame and extracting a keyword according to a user's operation 解析順序の説明図Illustration of analysis order ライブ放送中に抽出したキーワードをバッファリングする例の説明図Illustration of buffering keywords extracted during live broadcast 特定後のフレームを解析し、キーワードを抽出して検索する方法の説明図Explanatory diagram of how to analyze the frame after identification, extract keywords, and search 検索結果の表示例を示す図Figure showing a display example of search results 検索欄を模した領域を有する画像の説明図Explanatory drawing of an image having an area simulating a search field

符号の説明Explanation of symbols

10 検索システム
1 ユーザ端末
2 ウエブサーバ
3 検索サーバ(サーチエンジン)
4 ランキングサーバ
101 局側装置
10 Search System 1 User Terminal 2 Web Server 3 Search Server (Search Engine)
4 Ranking server 101 Station side device

Claims (10)

画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータが実行するキーワード抽出方法。
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search field area;
A keyword extraction method executed by a computer.
前記画像情報を取得するステップにおいて、動画像を構成する一連のフレームのうち、所定間隔のフレームを前記画像情報として検出する請求項1に記載のキーワード抽出方法。 The keyword extracting method according to claim 1, wherein in the step of acquiring the image information, frames at a predetermined interval are detected as the image information among a series of frames constituting a moving image. 前記画像情報を取得するステップにおいて、動画像中のフレームを比較し、CMの条件を満たしたフレームを前記画像情報として検出する請求項1に記載のキーワード抽出方法。 The keyword extraction method according to claim 1, wherein in the step of acquiring the image information, frames in moving images are compared, and a frame that satisfies a CM condition is detected as the image information. 前記画像情報の解析において、前記CMの条件を満たした複数のフレームであって時系列的に連続した一群であるフレーム群のうち、所定期間内のフレームを前記解析対象とする請求項3に記載のキーワード抽出方法。 4. The analysis of the image information, wherein a frame within a predetermined period is selected as a target of analysis among a plurality of frames that satisfy the CM condition and are a group of time-series continuous groups. Keyword extraction method. 前記画像情報の解析において、前記所定期間が、前記フレーム群のうち、後半部分、最初から所定時間後の部分、又は最後から所定時間前の部分である請求項4に記載のキーワード抽出方法。 5. The keyword extraction method according to claim 4 , wherein in the analysis of the image information, the predetermined period is a second half portion, a portion after a predetermined time from the beginning, or a portion before a predetermined time from the last in the frame group. 画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータが実行する検索方法。
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search field area;
Performing a search process or a search pre-process using the search keyword;
A search method that the computer performs.
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
を備えたキーワード抽出装置。
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search field area;
A keyword extraction device comprising:
画像情報を取得する画像取得部と、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定する解析部と、
前記擬似検索領域から検索キーワードを抽出する抽出部と、
前記検索キーワードを用い、検索処理又は検索の前処理を行う検索処理部と、
を備えた検索装置。
An image acquisition unit for acquiring image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
An extraction unit for extracting a search keyword from the pseudo search field area;
A search processing unit that performs search processing or search pre-processing using the search keyword;
Search device equipped with.
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
をコンピュータに実行させるキーワード抽出プログラム。
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search field area;
Keyword extraction program that causes a computer to execute.
画像情報を取得するステップと、
前記画像情報を解析し、検索欄を模した所定パターンに該当する擬似検索欄領域を特定するステップと、
前記擬似検索領域から検索キーワードを抽出するステップと、
前記検索キーワードを用い、検索処理又は検索の前処理を行うステップと、
をコンピュータに実行させる検索プログラム。
Obtaining image information;
Analyzing the image information and identifying a pseudo search field area corresponding to a predetermined pattern imitating a search field;
Extracting a search keyword from the pseudo search field area;
Performing a search process or a search pre-process using the search keyword;
Search program that causes a computer to execute.
JP2007209946A 2007-08-10 2007-08-10 Keyword extraction method Expired - Fee Related JP5115089B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007209946A JP5115089B2 (en) 2007-08-10 2007-08-10 Keyword extraction method
US12/175,721 US20090043769A1 (en) 2007-08-10 2008-07-18 Keyword extraction method
TW97127613A TWI457770B (en) 2007-08-10 2008-07-21 Keyword extraction method and device, search method and device, and storage medium readable by a computer
EP20080161386 EP2026220A1 (en) 2007-08-10 2008-07-29 Keyword extraction method
KR20080077436A KR100998532B1 (en) 2007-08-10 2008-08-07 Keyword extraction method
CN2008101449296A CN101364225B (en) 2007-08-10 2008-08-07 Keyword extraction method
KR1020100055416A KR101058444B1 (en) 2007-08-10 2010-06-11 keyword extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007209946A JP5115089B2 (en) 2007-08-10 2007-08-10 Keyword extraction method

Publications (2)

Publication Number Publication Date
JP2009044658A JP2009044658A (en) 2009-02-26
JP5115089B2 true JP5115089B2 (en) 2013-01-09

Family

ID=39816711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007209946A Expired - Fee Related JP5115089B2 (en) 2007-08-10 2007-08-10 Keyword extraction method

Country Status (6)

Country Link
US (1) US20090043769A1 (en)
EP (1) EP2026220A1 (en)
JP (1) JP5115089B2 (en)
KR (2) KR100998532B1 (en)
CN (1) CN101364225B (en)
TW (1) TWI457770B (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406899B1 (en) * 2010-03-25 2014-06-13 후지쯔 가부시끼가이샤 Information processing program, device, and method
JP5506507B2 (en) * 2010-03-31 2014-05-28 Necパーソナルコンピュータ株式会社 CM detection system, server, CM detection method, program, and recording medium
KR20120021057A (en) * 2010-08-31 2012-03-08 삼성전자주식회사 Method for providing search service to extract keywords in specific region and display apparatus applying the same
JP2012160023A (en) * 2011-01-31 2012-08-23 Toshiba Corp Character extracting device, display method, and character extracting method
KR101359290B1 (en) * 2011-12-08 2014-02-11 애드티브이노베이션(주) Internet advertisement system and method for displaying search keyword
CN103198063A (en) * 2012-01-04 2013-07-10 联想(北京)有限公司 Electronic equipment and information processing method thereof
JP5906843B2 (en) 2012-03-14 2016-04-20 オムロン株式会社 Keyword detection apparatus, control method and control program therefor, and display device
CN103577414B (en) * 2012-07-20 2017-04-12 富士通株式会社 Data processing method and device
JP6155740B2 (en) * 2013-03-22 2017-07-05 富士通株式会社 Image processing apparatus, image processing program, and image processing method
CN104427350A (en) * 2013-08-29 2015-03-18 中兴通讯股份有限公司 Associated content processing method and system
CN106156244B (en) * 2015-04-28 2020-08-28 阿里巴巴集团控股有限公司 Information search navigation method and device
TWI608415B (en) * 2016-11-29 2017-12-11 關貿網路股份有限公司 Electronic data retrieval system and method
CN108491839A (en) * 2018-03-27 2018-09-04 北京小米移动软件有限公司 Information acquisition method and device

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4789235A (en) * 1986-04-04 1988-12-06 Applied Science Group, Inc. Method and system for generating a description of the distribution of looking time as people watch television commercials
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5819261A (en) * 1995-03-28 1998-10-06 Canon Kabushiki Kaisha Method and apparatus for extracting a keyword from scheduling data using the keyword for searching the schedule data file
US6075885A (en) * 1997-02-28 2000-06-13 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for extracting cross plane area of gamut and computer program product for carrying out the extraction
JPH10257401A (en) * 1997-03-14 1998-09-25 Access:Kk Internet television system and url information acquiring method
US8813137B2 (en) * 1998-05-08 2014-08-19 Qualcomm Incorporated Apparatus and method for decoding digital image and audio signals
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network
WO2001053966A1 (en) 2000-01-20 2001-07-26 Interactual Technologies, Inc. System, method, and article of manufacture for embedded keywords in video
JP2001229198A (en) * 2000-02-17 2001-08-24 Takayuki Hongo Web page retrieval system
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP2002290947A (en) 2001-03-22 2002-10-04 Purantekku:Kk Program/cm contents information providing system for digital broadcasting
JP4421134B2 (en) * 2001-04-18 2010-02-24 富士通株式会社 Document image search device
JP2006510248A (en) * 2002-12-11 2006-03-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for obtaining text keywords or phrases for providing content-related links to network-based resources using video content
US20040116183A1 (en) * 2002-12-16 2004-06-17 Prindle Joseph Charles Digital advertisement insertion system and method for video games
US20050086219A1 (en) * 2003-03-25 2005-04-21 Claria Corporation Generation of keywords for searching in a computer network
JP2005084866A (en) * 2003-09-08 2005-03-31 Kureo:Kk Information processor, server device and its program
US20060143016A1 (en) * 2004-07-16 2006-06-29 Blu Ventures, Llc And Iomedia Partners, Llc Method to access and use an integrated web site in a mobile environment
JP2006154976A (en) * 2004-11-25 2006-06-15 Sharp Corp Animation frame analyzer
US7672508B2 (en) * 2006-04-11 2010-03-02 Sony Corporation Image classification based on a mixture of elliptical color models
GB0622863D0 (en) * 2006-11-16 2006-12-27 Ibm Automated generation of form definitions from hard-copy forms
US8204896B2 (en) * 2008-01-08 2012-06-19 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2009169536A (en) * 2008-01-11 2009-07-30 Ricoh Co Ltd Information processor, image forming apparatus, document creating method, and document creating program
EP2321787B1 (en) * 2008-06-06 2017-01-11 Google, Inc. Annotating images

Also Published As

Publication number Publication date
US20090043769A1 (en) 2009-02-12
KR100998532B1 (en) 2010-12-07
TW200910128A (en) 2009-03-01
KR20090016408A (en) 2009-02-13
CN101364225B (en) 2011-11-16
JP2009044658A (en) 2009-02-26
CN101364225A (en) 2009-02-11
KR20100084491A (en) 2010-07-26
TWI457770B (en) 2014-10-21
KR101058444B1 (en) 2011-08-24
EP2026220A1 (en) 2009-02-18

Similar Documents

Publication Publication Date Title
JP5115089B2 (en) Keyword extraction method
JP5651231B2 (en) Media fingerprint for determining and searching content
JP4388128B1 (en) Information providing server, information providing method, and information providing system
US20080166057A1 (en) Video Structuring Device and Method
US8965916B2 (en) Method and apparatus for providing media content
JP4814849B2 (en) How to identify the frame
JP2010098730A (en) Link information providing apparatus, display device, system, method, program, recording medium, and link information transmitting/receiving system
US8301009B2 (en) Detailed information providing method and apparatus of personal video recorder
JP2008129884A (en) Information retrieval system, its method, and broadcast receiver used therefor
JP4534791B2 (en) CM search method, CM search result receiving method, CM search device, CM search result receiving device, and CM recording reservation system
JP2010218385A (en) Content retrieval device and computer program
KR101108584B1 (en) System and its method for providing advertisement based on substance of multimedia contents
JP2002077865A (en) Address information detecting device
JP2010157080A (en) System, method and program for retrieving content relevant information
JP6710926B2 (en) Recording/reproducing apparatus, server, and database creation method
KR101472430B1 (en) Method, system and computer-readable recording medium for providing information based on content data
JP2009060368A (en) Viewer evaluation collector, viewer evaluation collecting method, and viewer evaluation collecting program
KR20160117986A (en) Service Method for Providing Information of Exposure of Contents and Service System thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5115089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees