JP5105109B2 - Search device and search system - Google Patents

Search device and search system Download PDF

Info

Publication number
JP5105109B2
JP5105109B2 JP2009542452A JP2009542452A JP5105109B2 JP 5105109 B2 JP5105109 B2 JP 5105109B2 JP 2009542452 A JP2009542452 A JP 2009542452A JP 2009542452 A JP2009542452 A JP 2009542452A JP 5105109 B2 JP5105109 B2 JP 5105109B2
Authority
JP
Japan
Prior art keywords
program data
broadcast program
client device
search
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009542452A
Other languages
Japanese (ja)
Other versions
JPWO2009066397A1 (en
Inventor
俊久 角田
Original Assignee
エンドレス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エンドレス株式会社 filed Critical エンドレス株式会社
Publication of JPWO2009066397A1 publication Critical patent/JPWO2009066397A1/en
Application granted granted Critical
Publication of JP5105109B2 publication Critical patent/JP5105109B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、多チャンネルの放送番組データを所定期間連続して記録し、記録された放送番組データを検索する技術に係り、特にユーザーが指定するキーワードと放送番組データとを波形照合して、即ち指定したキーワードを音響波形に変換し、変換した音響波形と録画した放送番組データの音声の波形とを照合し、変換した音響波形と一致する放送番組データの箇所の時間情報を出力する検索装置及び検索システムに関するものである。   The present invention relates to a technique for continuously recording multi-channel broadcast program data for a predetermined period and retrieving the recorded broadcast program data. In particular, the present invention relates to waveform matching between a keyword specified by a user and broadcast program data, that is, A search device that converts a designated keyword into an acoustic waveform, collates the converted acoustic waveform with the sound waveform of the recorded broadcast program data, and outputs time information of a portion of the broadcast program data that matches the converted acoustic waveform; It relates to a search system.

近年、地上波、衛星波の複数チャンネルにおける放送番組データ、即ちテレビ映像を数週間分まとめて録画できる装置が開発されている。このような装置は、録画されているテレビ映像の中から見たいものを検索できるように構成されている。一般的には、テレビ映像は、インターネット及び放送を介して提供される電子プログラム・ガイド(EPG: Electronic Program Guide、所謂「電子番組表」)との連動で、番組内容、出演者などの情報と合わせて装置に録画される。   In recent years, apparatuses have been developed that can record broadcast program data on multiple channels of terrestrial and satellite waves, that is, television images for several weeks. Such an apparatus is configured to be able to search a desired television image from among recorded television images. In general, TV images are linked to information such as program contents and performers in conjunction with an electronic program guide (EPG: so-called “electronic program guide”) provided via the Internet and broadcast. Together, it is recorded on the device.

このような録画した大量のテレビ映像などの動画コンテンツや音声コンテンツからいかに所望のコンテンツを探せるようにするかということは非常に重要な要素であり、これは近年ハードディスクなどの記憶装置の大容量化と放送チャンネル数の増加に伴いますます重要性が高まっている。   It is a very important factor how to find the desired content from video content such as a large number of recorded video images and audio content, which has recently increased the capacity of storage devices such as hard disks. As the number of broadcast channels increases, the importance is increasing.

そこで、最近では、膨大な放送された番組の中から所望の番組を検索できるようにするために、例えば、放送された番組毎にさらに同じ番組中でもシーンが変わるごとに「放送日」「曜日」「局」「番組名」「分類」「ヘッドライン」「メモ」「番組開始時間」等を含んだ『メタデータ』を手動で作成することが行われている。   Therefore, recently, in order to be able to search for a desired program from among a large number of broadcasted programs, for example, every time the broadcast program changes, the “broadcast date” “day of the week” “Metadata” including “station”, “program name”, “classification”, “headline”, “memo”, “program start time”, etc. is manually created.

しかし、メタデータの作成は作業者が番組を視聴し内容を確認する必要があるため、その作成には時間と労力を要する。   However, since the creation of metadata requires an operator to view the program and confirm the contents, it takes time and effort.

本発明は、以上の点に鑑みて、メタデータを利用することなく、大容量の記憶装置内に格納された大量のテレビ映像の中から、所望の音声データ、インターネットを通じてダウンロードされた映像データ、テレビ映像を検索できる、映像検索装置及び検索システムを提供することを目的とする。   In view of the above points, the present invention provides desired audio data, video data downloaded through the Internet, from a large amount of television video stored in a large-capacity storage device without using metadata, An object of the present invention is to provide a video search device and a search system that can search for TV video.

上記目的を達成するため、本発明の検索装置の第一の構成は、放送番組データを録画してムービーファイルを作成する録画手段と、ムービーファイルから音声ファイルを作成する音声ファイル作成手段と、テキストファイル中の文字データを、音響波形の画像ファイルに変換する波形生成手段と、画像ファイルによって表される音響波形が音声ファイルによって表される波形に含まれているか検索を行う検索手段と、を備えている。さらに、本発明の検索装置は、好ましくは、デジタル放送の一部の番組に採用されている、字幕放送から特定のキーワードを検索する手段を備える。   In order to achieve the above object, a first configuration of the search device of the present invention includes a recording unit that records broadcast program data to create a movie file, an audio file creation unit that creates an audio file from the movie file, and a text Waveform generation means for converting character data in the file into an acoustic waveform image file; and search means for searching whether the acoustic waveform represented by the image file is included in the waveform represented by the audio file. ing. Furthermore, the search device of the present invention preferably includes means for searching for a specific keyword from a caption broadcast, which is employed in some programs of digital broadcast.

上記目的を達成するため、本発明の検索装置の第二の構成は、放送番組データを録画してムービーファイルを作成する録画手段と、ムービーファイルから音声ファイルを作成する音声ファイル作成手段と、音声を入力して音響波形の画像ファイルを生成する入力手段と、画像ファイルによって表される音響波形が音声ファイルによって表される波形に含まれているか検索を行う検索手段と、を備えている。さらに、本発明の検索装置は、好ましくは、検索手段の検索を補完するテロップ検索と字幕放送を検索する手段を備える。   In order to achieve the above object, a second configuration of the search device of the present invention includes a recording unit that records broadcast program data to create a movie file, an audio file creation unit that creates an audio file from the movie file, and an audio And an input means for generating an image file of an acoustic waveform, and a search means for searching whether the acoustic waveform represented by the image file is included in the waveform represented by the audio file. Furthermore, the search device of the present invention preferably includes a telop search and a subtitle broadcast search that complement the search of the search means.

さらに本発明の検索システムの第一の構成は、放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続されたクライアント装置と、を備え、サーバ装置がクライアント装置からの要求に基づいて、録画した放送番組データから所定のコンテンツを検索する検索システムであって、サーバ装置が、放送番組データを録画してムービーファイルを作成する録画手段と、ムービーファイルから音声ファイルを作成する音声ファイル作成手段と、テキストファイル中の文字データを、音響波形の画像ファイルに変換する波形生成手段と、画像ファイルによって表される音響波形が上記音声ファイルによって表される波形に含まれているか検索を行う検索手段と、を備えている。   Furthermore, a first configuration of the search system of the present invention includes a server device that records broadcast program data, and a client device connected to the server device via a network, and the server device responds to a request from the client device. A search system for searching for predetermined contents from recorded broadcast program data based on recording means for recording a broadcast program data and creating a movie file, and a sound for creating an audio file from the movie file A file creation means, a waveform generation means for converting character data in the text file into an acoustic waveform image file, and a search for whether the acoustic waveform represented by the image file is included in the waveform represented by the audio file. Search means to perform.

本発明の検索システムの第二の構成は、放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続されたクライアント装置と、を備え、サーバ装置がクライアント装置からの要求に基づいて、録画した放送番組データから所定のコンテンツを検索する検索システムであって、放送番組データを録画してムービーファイルを作成する録画手段と、ムービーファイルから音声ファイルを作成する音声ファイル作成手段と、音声を入力して音響波形の画像ファイルを生成する入力手段と、画像ファイルによって表される音響波形が上記音声ファイルによって表される波形に含まれているか検索を行う検索手段と、を備えている。
本発明の検索システムにおいて、好ましくは、検索手段が、画像ファイルによって表される音響波形に該当する対応領域を音声ファイルから探し出せた場合、サーバ装置は、対応領域が放送された時間とチャンネルの情報をクライアント装置へ送信する。サーバ装置は、好ましくは、対応領域が表すコンテンツのジャンルを考慮して対応領域を保存する際の方法を判別する判別手段を備え、判別手段によって判別された保存方法の情報がクライアント装置へ送信される。
A second configuration of the search system of the present invention includes a server device that records broadcast program data and a client device connected to the server device via a network, and the server device is based on a request from the client device. A search system for searching for predetermined contents from the recorded broadcast program data, recording means for recording the broadcast program data to create a movie file, audio file creation means for creating an audio file from the movie file, Input means for inputting sound to generate an image file of an acoustic waveform, and search means for searching whether the acoustic waveform represented by the image file is included in the waveform represented by the sound file. .
In the search system of the present invention, it is preferable that when the search unit can find a corresponding area corresponding to the acoustic waveform represented by the image file from the audio file, the server device stores information on the time and channel when the corresponding area was broadcast. To the client device. The server device preferably includes a determination unit that determines a method for storing the corresponding area in consideration of the genre of the content represented by the corresponding area, and information on the storage method determined by the determination unit is transmitted to the client device. The

本発明の検索システムにおいて、前記サーバ装置は、ムービーファイルから静止画を切り出し、当該静止画にテキストファイル中の文字や数字が含まれているか判断するテロップ検索手段とを備え、検索手段とテロップ検索手段の両方で該当するものを探し出すことができた場合に、サーバ装置は、画像ファイルによって表される音響波形に該当する対応領域の放送された時間とチャンネルとの情報をクライアント装置へ送信することが望ましい。或いは、本発明の検索システムは、検索手段、テロップ検索手段の他に、デジタル放送の字幕放送の文字を検索する手段を備えて構成されてもよく、3種類の方法を用いて検索精度を上げ、それらの手法の何れかに該当するもの、或いは、3種類の全ての方法で該当するものを探し出すように構成されてもよい。   In the search system of the present invention, the server device includes a telop search unit that cuts out a still image from a movie file and determines whether the still image includes characters or numbers in the text file. The search unit and the telop search When the corresponding device can be found by both means, the server device transmits information on the broadcast time and channel of the corresponding region corresponding to the acoustic waveform represented by the image file to the client device. Is desirable. Alternatively, the search system of the present invention may be configured to include a means for searching for characters of digital broadcast subtitle broadcasts in addition to the search means and the telop search means, and increase the search accuracy using three types of methods. Alternatively, a configuration corresponding to any of these methods or a configuration corresponding to all three methods may be searched.

本発明によれば、記録した大量の番組内容から所望のコンテンツ、即ちユーザーが指定したキーワードに関する映像コンテンツを検索することができる。この検索の際、メタデータを作成せずに、キーワードを音響波形の情報に変換して検索を行うことから、メタデータの作成に要する時間やその費用を省くことができる。   According to the present invention, a desired content, that is, a video content related to a keyword designated by a user can be searched from a large amount of recorded program contents. At the time of this search, since the search is performed by converting the keyword into the information of the acoustic waveform without generating the metadata, it is possible to save the time and cost required for generating the metadata.

本発明の実施形態に係る映像検索システムを示すブロック図である。1 is a block diagram illustrating a video search system according to an embodiment of the present invention. 本発明の実施形態に係るテレビ番組映像サーバの機能ブロック図である。It is a functional block diagram of the television program video server which concerns on embodiment of this invention. 本発明の実施形態に係る波形生成手段及び検索手段の作用を説明するための図である。It is a figure for demonstrating the effect | action of the waveform production | generation means and search means which concern on embodiment of this invention. 本発明の実施形態に係る最適化情報判別手段に保持されるテーブルデータ例を示す図である。It is a figure which shows the example of table data hold | maintained at the optimization information discrimination | determination means concerning embodiment of this invention. 本発明の実施形態に係るクライアント装置の機能ブロック図である。It is a functional block diagram of the client apparatus which concerns on embodiment of this invention. 本発明の実施形態の第1変形例に係る映像検索システムを示すブロック図である。It is a block diagram which shows the video search system which concerns on the 1st modification of embodiment of this invention. 本発明の実施形態の第2変形例に係る映像検索システムを示すブロック図である。It is a block diagram which shows the video search system which concerns on the 2nd modification of embodiment of this invention. 本発明の他の実施形態に係る映像検索装置を示す機能ブロック図である。It is a functional block diagram which shows the video search device which concerns on other embodiment of this invention.

符号の説明Explanation of symbols

1,1A 映像検索システム
10,10A テレビ番組映像サーバ
11 通信手段
12 録画手段
12A 第一データベース
13 波形生成手段
14 音声ファイル作成手段
14A WAVデータ作成手段
14B PCMデータ作成手段
14C 第三データベース
15 検索手段
16 最適化情報判別手段
17 画像ファイル作成手段
18 テロップ検索手段
18A 字幕放送検出装置
19 統合部
20 ネットワーク
30,30A クライアント装置
31 文字入力手段
32 通信手段
33 閲覧手段
34 音声入力手段
35 録画手段
35A 第四データベース
40 映像検索装置
1, 1A video search system 10, 10A TV program video server 11 communication means 12 recording means 12A first database 13 waveform generation means 14 audio file creation means 14A WAV data creation means 14B PCM data creation means 14C third database 15 search means 16 Optimized information discriminating means 17 Image file creating means 18 Telop searching means 18A Subtitle broadcast detecting device 19 Integration unit 20 Network 30, 30A Client device 31 Character input means 32 Communication means 33 Browsing means 34 Voice input means 35 Recording means 35A Fourth database 40 Video search device

以下、図面に基づいて本発明の実施形態を説明する。
図1は本発明の実施形態に係る映像検索システム1の構成を示すブロック図である。映像検索システム1は、多チャンネルの放送番組データを所定期間連続して録画し、録画された放送番組データを検索するシステムに係り、特に、ユーザーが指定したキーワードを音響波形に変換し、変換した音響波形と録画した放送番組データの音声の波形とを照合し、変換した音響波形と一致する放送番組データの箇所の時間情報を出力することを特徴としている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a video search system 1 according to an embodiment of the present invention. The video search system 1 relates to a system that continuously records multi-channel broadcast program data for a predetermined period and searches the recorded broadcast program data. In particular, the video search system 1 converts a keyword specified by a user into an acoustic waveform and converts it. The sound waveform is collated with the sound waveform of the recorded broadcast program data, and the time information of the portion of the broadcast program data that matches the converted sound waveform is output.

この映像検索システム1は、テレビ番組映像サーバ装置10と、このテレビ番組映像サーバ装置10にネットワーク20を介して接続するクライアント装置30と、から構成されている。図示例では、クライアント装置30が1台表示されているが、複数のクライアント装置30がネットワーク20を介してテレビ番組映像サーバ装置10に接続されてもよい。   The video search system 1 includes a television program video server device 10 and a client device 30 connected to the television program video server device 10 via a network 20. In the illustrated example, one client device 30 is displayed, but a plurality of client devices 30 may be connected to the television program video server device 10 via the network 20.

テレビ番組映像サーバ装置10は、放送された多チャンネルの番組を録画しており、ユーザーからの要求に基づいて録画されている放送番組データを検索し、ユーザーが指定したキーワードに関するコンテンツが放映されたチャンネル及びその放送時間の情報をユーザーへ返信する装置である。   The TV program video server device 10 records a broadcast multi-channel program, searches the broadcast program data recorded based on a request from the user, and broadcasts the content related to the keyword specified by the user. It is a device that returns information about the channel and its broadcast time to the user.

クライアント装置30は、ユーザーがテレビ番組映像サーバ装置10へアクセスするために利用する装置であり、ユーザーの要求をテレビ番組映像サーバ装置10へ送信し、この要求に対する情報をテレビ番組映像サーバ装置10から受信する装置である。なお、クライアント装置30も、放送された多チャンネルの番組を録画しており、テレビ番組映像サーバ装置10から返信されてくる検索結果を元にキーワードに関するコンテンツの閲覧等を行うことができる。   The client device 30 is a device used by a user to access the TV program video server device 10, transmits a user request to the TV program video server device 10, and transmits information on the request from the TV program video server device 10. It is a receiving device. The client device 30 also records the broadcast multi-channel program, and can browse the content related to the keyword based on the search result returned from the television program video server device 10.

ネットワーク20は、所謂イントラネット等の構内LANによって構築されるネットワーク、あるいはインターネット,アナログ及びデジタルを含む一般公衆回線網あるいは専用回線網等のネットワークであって、例えばインターネット接続サービスと同様の接続サービスを提供するものである。
ここで、ネットワークは、例えばTCP/IPなどの所定のプロトコル環境下のインターネット接続サービスを提供するネットワークであり、ケーブルテレビジョンのインターネット接続サービスや衛星通信を利用したインターネット接続サービスなども該当する。
The network 20 is a network constructed by a local LAN such as a so-called intranet, or a network such as a general public line network or a private line network including the Internet, analog and digital, and provides a connection service similar to the Internet connection service, for example. To do.
Here, the network is a network that provides an Internet connection service under a predetermined protocol environment such as TCP / IP, for example, an Internet connection service using cable television, an Internet connection service using satellite communication, or the like.

以下、テレビ番組映像サーバ装置10とクライアント装置30について詳述する。
〔テレビ番組映像サーバ装置の説明〕
本発明の実施形態に係るテレビ番組映像サーバ装置10は、クライアント装置30からの要求に応じて処理を実行するコンピュータである。このテレビ番組映像サーバ装置10は、録画した番組中の所望のコンテンツを音響波形で検索することを特徴としている。
Hereinafter, the television program video server device 10 and the client device 30 will be described in detail.
[Description of Television Program Video Server Device]
The television program video server apparatus 10 according to the embodiment of the present invention is a computer that executes processing in response to a request from the client apparatus 30. The television program video server apparatus 10 is characterized in that a desired content in a recorded program is searched by an acoustic waveform.

図2は本発明の実施形態に係るテレビ番組映像サーバ装置10の機能ブロック図である。この図に示すように、テレビ番組映像サーバ装置10は、通信手段11と、録画手段12と、波形生成手段13と、音声ファイル作成手段14と、検索手段15と、最適化情報判別手段16と、を備えている。   FIG. 2 is a functional block diagram of the television program video server apparatus 10 according to the embodiment of the present invention. As shown in this figure, the television program video server apparatus 10 includes a communication unit 11, a recording unit 12, a waveform generation unit 13, an audio file creation unit 14, a search unit 15, and an optimization information determination unit 16. It is equipped with.

通信手段11は、TCP/IP接続によってクライアント装置30とデータの送受信を行うものである。この通信手段11は、コンピュータに取り付けたモデムやルーターなどにより実現される。   The communication unit 11 transmits / receives data to / from the client device 30 by TCP / IP connection. The communication means 11 is realized by a modem or a router attached to the computer.

録画手段12は、複数のチャンネルの放送番組データをそれぞれチャンネル毎に連続して一定期間録画するものである。この録画手段12は、例えば、同時に多チャネルを連続して録画できるビデオレコーダやパーソナルコンピュータにより実現できる。テレビアンテナと接続されたパーソナルコンピュータとビデオレコーダは、地上アナログ、地上デジタル、衛星放送に対応して複数のチューナーを搭載したハードディスク型ビデオレコーダであり、ルーター付きADSLモデムなどでネットワークに接続してEPG(電子番組表)から番組情報を取得し、録画した番組に番組名やジャンル,出演者などの情報を付加して記録媒体としてのハードディスクドライブ(以下、第1データベースと言う)12Aに記録する。
なお、録画手段12によって録画される番組情報は、動画と音声を記録したムービー・ファイル(Movie File)であり、このムービーファイルの形式は例えば、AVI(Audio Video Interleave)、MPEG(Moving Picture Expert Group)、WMV(Windows(登録商標) Media Video)である。
The recording unit 12 records broadcast program data of a plurality of channels continuously for each channel for a certain period. The recording means 12 can be realized by, for example, a video recorder or a personal computer that can continuously record multiple channels simultaneously. The personal computer and video recorder connected to the TV antenna are hard disk type video recorders equipped with multiple tuners corresponding to terrestrial analog, digital terrestrial, and satellite broadcasting. Program information is acquired from the (electronic program guide), information such as program name, genre, and performer is added to the recorded program and recorded on a hard disk drive (hereinafter referred to as a first database) 12A as a recording medium.
The program information recorded by the recording means 12 is a movie file (Movie File) in which moving images and sounds are recorded. The format of the movie file is, for example, AVI (Audio Video Interleave), MPEG (Moving Picture Expert Group). ), WMV (Windows (registered trademark) Media Video).

地上波デジタル放送を録画する手段を備えるためには、アナログ放送用の録画手段と同様に、各デジタル放送チャンネル毎にチューナーを搭載して、同時に多チャネルを連続して録画する。アナログ放送の場合はインターネット経由でEPGが受信され、受信したEPGから番組情報を取得し、録画した番組に番組情報を付加して記録する。また、地上波デジタル放送や衛星デジタル方法の場合にはEPGはデジタル放送と同時に受信される。   In order to provide means for recording terrestrial digital broadcasts, a tuner is mounted for each digital broadcast channel, and multiple channels are continuously recorded at the same time, as with analog broadcast recording means. In the case of analog broadcasting, EPG is received via the Internet, program information is acquired from the received EPG, and program information is added to the recorded program and recorded. In the case of terrestrial digital broadcasting or satellite digital method, EPG is received simultaneously with digital broadcasting.

波形生成手段13は、通信手段11を介してクライアント装置30から受信したテキストファイル、即ち文字や数字を含んだキーワードに基づいてそのキーワードに対応した音声の波形を生成するものである。普通名詞や固有名詞などの文字は、音声にした場合、固有の音響波形を有しているので、本実施形態では、予め、文字とその文字を音声にした場合の音響波形とを結びつけたデータベース(以下、第2データベースと言う)13A、即ち辞書手段に記録しておき、受信した文字を音声の波形に変換する。このように変換された波形は、一つの画像として取り扱われて、以後処理される。具体的には、図3(A)に示すように、ユーザーが例えばキーワードとして文字『沖縄』を選択した場合、波形生成手段13は第2データベース13Aを検索して図3(B)に示すような文字『沖縄』に対応する音響波形13Bを表す画像ファイル13Cを抽出する。   The waveform generation unit 13 generates a speech waveform corresponding to a keyword based on a text file received from the client device 30 via the communication unit 11, that is, a keyword including characters and numbers. Since characters such as common nouns and proper nouns have a unique acoustic waveform when converted to speech, in this embodiment, a database in which the character and the acoustic waveform when the characters are converted into speech are linked in advance. (Hereinafter referred to as the second database) 13A, that is, recorded in the dictionary means, and the received character is converted into a speech waveform. The waveform converted in this way is handled as one image and processed thereafter. Specifically, as shown in FIG. 3 (A), when the user selects the character “Okinawa” as a keyword, for example, the waveform generation means 13 searches the second database 13A, as shown in FIG. 3 (B). The image file 13C representing the acoustic waveform 13B corresponding to the Japanese character “Okinawa” is extracted.

音声ファイル作成手段14は、録画手段12によって録画された放送番組データから音声情報を作成するものである。
放送番組データはAVI形式で記録されてデータ量が多いので、AVI形式の放送番組データ情報をそのまま処理するのでは時間がかかり効率的ではない。このため、音声ファイル作成手段14はWAVデータ作成手段14Aを備えており、WAVデータ作成手段14AはAVI形式の放送番組データ情報からサウンド・ファイルを抽出する。具体的には、WAV形式、即ちWAVの拡張子のついたデータのみを取り出す。
The audio file creating unit 14 creates audio information from the broadcast program data recorded by the recording unit 12.
Since broadcast program data is recorded in AVI format and has a large amount of data, it is time consuming and inefficient to process broadcast program data information in AVI format as it is. For this reason, the audio file creation means 14 includes a WAV data creation means 14A, and the WAV data creation means 14A extracts a sound file from broadcast program data information in the AVI format. Specifically, only the data having the WAV format, that is, the WAV extension is extracted.

さらに、WAV形式のサウンド・ファイルにはそのデータを説明するヘッダー情報がついているため検索された映像部分が開始時間から何分何秒後かは特定できない。このため、音声ファイル作成手段14はPCMデータ作成手段14Bを備えており、PCMデータ作成手段14BはWAV形式のサウンド・ファイルからそのデータを説明するヘッダー情報を取り除き、PCM(パルス符号変調:Pulse Code Modulation)でPCMデータに変換する。
このように、音声ファイル作成手段14は「WAVデータ作成手段14A」、「PCMデータ作成手段14B」を備えて、先ずWAVデータを作成し、その次に作成したWAVデータからPCMデータを作成する。
Furthermore, since the WAV format sound file has header information explaining the data, it cannot be specified how many minutes and seconds the searched video portion is after the start time. For this reason, the audio file creation means 14 includes PCM data creation means 14B. The PCM data creation means 14B removes header information describing the data from the sound file in the WAV format, and PCM (Pulse Code Modulation: Pulse Code). Conversion to PCM data using Modulation).
As described above, the audio file creation unit 14 includes the “WAV data creation unit 14A” and the “PCM data creation unit 14B”, and first creates the WAV data and then creates the PCM data from the created WAV data.

なお、WAVデータ作成手段14Aは、AVI形式の番組情報からサウンド・ファイルを抽出する代わりに、AVI形式の放送番組データ情報から動画を削除したエンコード、即ち圧縮を行うことで、WAV形式のサウンド・ファイルを作成するように構成されてもよい。   Note that the WAV data creation means 14A performs encoding, ie, compression, by deleting the moving image from the broadcast program data information in the AVI format, instead of extracting the sound file from the program information in the AVI format. It may be configured to create a file.

作成されたPCMデータは、元の番組情報が放送された時間と関連して保存される。即ち、元の番組情報の放送開始時間が、PCMデータの先頭の再生開始時間に関連付けられて、例えば、放送開示時間が午後7時であれば、PCMデータにおいて再生後35分における音声は、元の放送時間午後7時35分における番組における音声に該当する。
このように元の番組情報の放送時間と関連付けられて、PCMデータはハードディスク(第三データベースと言う)14Cに記録される。
The created PCM data is stored in association with the time when the original program information was broadcast. That is, the broadcast start time of the original program information is associated with the start playback start time of the PCM data. For example, if the broadcast disclosure time is 7:00 pm, the sound at 35 minutes after playback in the PCM data is Corresponds to the audio in the program at 7:35 pm.
In this way, the PCM data is recorded on the hard disk (referred to as the third database) 14C in association with the broadcast time of the original program information.

検索手段15は、波形生成手段13によって生成された音声の波形を用いて、第三データベース14C内を検索するものである。具体的には、検索手段15は、波形生成手段13によって生成した音響波形、例えば音響波形13Bを示す画像ファイル13C(図3(B)参照)を用いて、図3(C)に示すようにこの音響波形13Bの画像と一致する波形がPCMデータ内に存在するかPCMデータが示す波形13Dの画像と音響波形13Bの画像とを照合し、一致する箇所(領域)の時間情報tを抽出する。   The search means 15 searches the third database 14 </ b> C using the speech waveform generated by the waveform generation means 13. Specifically, the search means 15 uses the image file 13C (see FIG. 3B) showing the acoustic waveform generated by the waveform generation means 13, for example, the acoustic waveform 13B, as shown in FIG. The waveform 13D image indicated by the PCM data and the image of the acoustic waveform 13B are collated to determine whether a waveform that matches the image of the acoustic waveform 13B exists in the PCM data, and time information t of the matching portion (region) is extracted. .

検索手段15によって抽出された時間は、以下のような情報として出力される。
検索手段15により抽出された時間がt(年、月、時、分、秒)である場合、時間tから所定時間α〔秒〕経過した時間(t+α)までが検索結果により抽出された時間とする。この検索結果は数字とハイフンとで構成される。例えばαが5分に設定され、10チャンネルで2007年6月30日8時20分15秒が検索手段により抽出された場合、2007年6月30日8時20分15秒から2007年6月30日8時25分15秒10チャンネルの情報として、「200709063082015051−2007090630082515051」という結果が作成される。
例えば、検索結果は、テレビ番組映像サーバ装置10でHTML(Hyper Text Markup Language)形式のファイルとして作成される。
このように作成された検索結果は、通信手段11を介してクライアント装置30へ送信される。
The time extracted by the search means 15 is output as the following information.
When the time extracted by the search means 15 is t (year, month, hour, minute, second), the time from the time t to the time (t + α) after a predetermined time α [second] is extracted from the search result. To do. This search result is composed of numbers and hyphens. For example, if α is set to 5 minutes and 10:06 June 30, 2007, 8:20:15 is extracted by the search means, June 30, 2007, 8:20:15 to June 2007 As information on 10th channel on 30th, 8:25:15, a result of “20070709063082015051-120090600300825155051” is created.
For example, the search result is created as a file in HTML (Hyper Text Markup Language) format in the television program video server apparatus 10.
The search result created in this way is transmitted to the client device 30 via the communication unit 11.

さらに、最適化情報判別手段16は、前述の時間tによって特定されるコンテンツをユーザーがDVDやCD等の記録媒体へ保存する際の好ましい解像度を判別し、ユーザーに対して知らせるものである。
検索手段15の検索によって対応する音響波形を音声ファイル中に見つけた場合、この音声ファイルの基のデータであるムービーファイルにはEPGによってジャンルの情報が知らされている。このジャンルの情報に基づいて、本実施形態の最適化情報判別手段16は、検索手段15で抽出された時間tによって特定されるコンテンツが属するジャンルを割り出し、保存する際の解像度を判別する。
具体的には、解像度としては、図4に示すように、ハイビジョンレベル用の高解像度、DVDレベル用の中解像度と、低解像度とがあり、各解像度別に該当するジャンルがユーザーが独自に設定しない場合には予め割り当てられている。最適化情報判別手段16は、図4に示すようなテーブルを保持しており、検索手段15で抽出された時間tによって特定されるコンテンツのジャンルから解像度を特定する。特定された解像度は、識別コード(1〜3)としてクライアント装置30へ送信される。
Further, the optimization information discriminating means 16 discriminates a preferable resolution when the user saves the content specified by the above-mentioned time t on a recording medium such as a DVD or a CD, and informs the user.
When the corresponding acoustic waveform is found in the audio file by the search by the search means 15, the genre information is informed by the EPG in the movie file which is the original data of the audio file. Based on this genre information, the optimization information discriminating means 16 of this embodiment determines the genre to which the content specified by the time t extracted by the searching means 15 belongs and discriminates the resolution at the time of saving.
Specifically, as shown in FIG. 4, the resolution includes a high resolution for a high-definition level, a medium resolution for a DVD level, and a low resolution, and a genre corresponding to each resolution is not set by the user independently. In some cases, it is assigned in advance. The optimization information discriminating means 16 holds a table as shown in FIG. 4 and specifies the resolution from the genre of the content specified by the time t extracted by the searching means 15. The identified resolution is transmitted to the client device 30 as an identification code (1-3).

テレビ番組映像サーバ装置10を構成するコンピュータは、前もってインストールされたソフトウェアを実行することで、上記の通信手段11,録画手段12,波形生成手段13,音声ファイル作成手段14,検索手段15,最適化情報判別手段16の処理を行う。なお、複数のコンピュータがLANによって接続して、上記各手段11〜16の動作を複数のパーソナルコンピュータによって分散処理させてもよい。コンピュータは従来公知の構成のものを使用することができ、RAM,ROM,ハードディスクなどの記憶装置と、キーボード,ポインティング・デバイスなどの操作装置と、操作装置等からの指示により記憶装置に格納されたデータやソフトウェアを処理する中央処理装置(CPU)と,処理結果等を表示するディスプレイなどを備えている。   The computer constituting the television program video server apparatus 10 executes the software installed in advance, so that the communication means 11, the recording means 12, the waveform generation means 13, the audio file creation means 14, the search means 15, and the optimization described above. The information discrimination means 16 is processed. Note that a plurality of computers may be connected by a LAN, and the operations of the respective units 11 to 16 may be distributed by a plurality of personal computers. A computer having a conventionally known configuration can be used, and stored in a storage device such as a storage device such as a RAM, a ROM, and a hard disk, an operation device such as a keyboard and a pointing device, and an instruction from the operation device A central processing unit (CPU) for processing data and software, a display for displaying processing results, and the like are provided.

〔クライアント装置の説明〕
クライアント装置30は、ユーザーが入力したキーワードをテレビ番組映像サーバ装置10に送り、テレビ番組映像サーバ装置10からの検索結果を元に装置に取り付けられている映像記録装置(後述)にアクセスし所望の映像を閲覧等を行う装置である。このクライアント装置30は、図5に示すように、文字入力手段31,通信手段32,閲覧手段33を備えたコンピュータと、録画手段35を成すハードディスク型ビデオレコーダとからなる。
[Description of client device]
The client device 30 sends the keyword input by the user to the television program video server device 10 and accesses a video recording device (described later) attached to the device based on the search result from the television program video server device 10 to obtain a desired one. It is a device that browses video. As shown in FIG. 5, the client device 30 includes a computer including character input means 31, communication means 32, and browsing means 33, and a hard disk video recorder that constitutes recording means 35.

クライアント装置30における録画手段35は、テレビ番組映像サーバ装置10の録画手段12と同等のものであり、放送される多チャンネルの番組をそれぞれチャンネル毎に連続して一定期間録画するものである。この手段は一般に市販されている映像記録装置としてのハードディスク型ビデオレコーダであって、同時に多チャネルを連続して録画できるビデオレコーダにより実現される。各放送番組データは、番組名やジャンル,出演者などの情報を付加されて記録媒体としてのハードディスクドライブ(以下、第四データベースと言う)35Aに記録される。   The recording means 35 in the client device 30 is equivalent to the recording means 12 in the television program video server device 10 and records a broadcast multi-channel program for each channel continuously for a certain period. This means is realized by a hard disk type video recorder as a commercially available video recording apparatus, which can simultaneously record multiple channels simultaneously. Each broadcast program data is recorded on a hard disk drive (hereinafter referred to as a fourth database) 35A as a recording medium with information such as program name, genre, and performer added.

文字入力手段31は、キーボードやポインティング・デバイスなどの操作装置であり、ユーザーの操作により文字の入力を受けるものである。   The character input means 31 is an operation device such as a keyboard or a pointing device, and receives character input by a user operation.

通信手段32は、TCP/IP接続によってテレビ番組映像サーバ装置10とデータの送受信を行うものである。この通信手段32は、コンピュータに取り付けたモデムやルーターなどにより実現される。この通信手段32によって、文字入力手段31で入力された文字がテレビ番組映像サーバ装置10へ送信される。また、この通信手段32はテレビ番組映像サーバ装置10から送信されてくるデータを受信するものであり、特にテレビ番組映像サーバ装置10においてユーザーが指定した文字に基づいた検索結果を受信する。   The communication means 32 transmits / receives data to / from the TV program video server apparatus 10 by TCP / IP connection. The communication means 32 is realized by a modem or a router attached to the computer. The character input by the character input unit 31 is transmitted to the television program video server device 10 by the communication unit 32. Further, the communication means 32 receives data transmitted from the television program video server apparatus 10, and particularly receives a search result based on characters designated by the user in the television program video server apparatus 10.

閲覧手段33は、通信手段32が受信したテレビ番組映像サーバ装置10からの検索結果に基づいて、装置内の第四データベース35Aを検索し、該当するコンテンツがある場合はそのコンテンツ、即ち、ムービーファイルを再生するものである。この再生の他に、検索結果により特定されるコンテンツをDVD等の他の記録媒体に記録させる場合、テレビ番組映像サーバ装置10の最適化情報判別手段16から送信された識別コード(1〜3)に基づいて、必要なコンテンツのみを保存し、不要な部分を削除することができる。   The browsing means 33 searches the fourth database 35A in the apparatus based on the search result from the television program video server apparatus 10 received by the communication means 32, and if there is a corresponding content, that content, that is, a movie file. Is to play. In addition to this reproduction, when the content specified by the search result is recorded on another recording medium such as a DVD, the identification code (1-3) transmitted from the optimization information discriminating means 16 of the TV program video server device 10 Based on the above, it is possible to store only necessary contents and delete unnecessary parts.

クライアント装置30を構成するコンピュータは、前もってインストールされたソフトウェアを実行することで、上記の通信手段32,閲覧手段33の処理を行う。なお、複数のコンピュータをLANによって接続して、上記各手段32〜33の動作を複数のパーソナルコンピュータによって分散処理させてもよい。コンピュータは、従来公知の構成のものを使用することができ、RAM,ROM,ハードディスクなどの記憶装置と、キーボード,ポインティング・デバイスなどの操作装置と、操作装置等からの指示により記憶装置に格納されたデータやソフトウェアを処理する中央処理装置(CPU)と,処理結果等を表示するディスプレイなどを備えている。   The computer constituting the client device 30 executes the above-described communication means 32 and browsing means 33 by executing previously installed software. Note that a plurality of computers may be connected by a LAN, and the operations of the respective means 32 to 33 may be distributedly processed by a plurality of personal computers. A computer having a conventionally known configuration can be used. The computer is stored in a storage device such as a RAM, a ROM, or a hard disk, an operation device such as a keyboard or a pointing device, and an instruction from the operation device. A central processing unit (CPU) for processing data and software, a display for displaying processing results, and the like.

以上のように構成された映像検索システム1によれば、ユーザーがクライアント装置30を介してテレビ番組映像サーバ装置10へアクセスし、検索したいコンテンツに関する情報、即ちキーワードをテレビ番組映像サーバ装置10に対して指定することで、テレビ番組映像サーバ装置10が検索の処理を行う。そして、テレビ番組映像サーバ装置10は、ユーザーが入力した文字を音響波形に変換する。   According to the video search system 1 configured as described above, the user accesses the television program video server device 10 via the client device 30 and sends information related to the content to be searched, that is, keywords to the television program video server device 10. The TV program video server apparatus 10 performs a search process. And the television program image | video server apparatus 10 converts the character which the user input into an acoustic waveform.

さらに、テレビ番組映像サーバ装置10は第一データベース12A内のムービーファイルをPCMデータに変換し、PCMデータ中に変換した音響波形と一致する部分があるか照合処理を行う。即ち、テレビ番組映像サーバ装置10はPCMデータで特定される波形の画像に対して、文字を変換した波形の画像と一致する箇所があるかの照合を行う。この照合処理において、音響波形と一致するPCMデータ中の部位(領域)を抽出する。具体的には、一致する部位を検出できた場合、その部位が放送された時間を照合結果として記録する。   Furthermore, the television program video server device 10 converts the movie file in the first database 12A into PCM data, and performs a collation process to check whether there is a portion that matches the converted acoustic waveform in the PCM data. That is, the television program video server device 10 collates with the waveform image specified by the PCM data whether there is a location that matches the waveform image obtained by converting characters. In this verification process, a part (region) in the PCM data that matches the acoustic waveform is extracted. Specifically, when a matching part can be detected, the time when the part was broadcast is recorded as a verification result.

例えば、検索手段により抽出された時間がt(年、月、時、分、秒)である場合、時間tから所定時間α〔秒〕経過した時間(t+α)までが検索結果として記録される。この検索結果がテレビ番組映像サーバ装置10からネットワーク20を介してクライアント装置30へ送信される。その際、図4に示す識別コード(1〜3)もクライアント装置30へ送信される。   For example, when the time extracted by the search means is t (year, month, hour, minute, second), the time from the time t to the time (t + α) after a predetermined time α [second] is recorded as the search result. This search result is transmitted from the television program video server device 10 to the client device 30 via the network 20. At that time, the identification codes (1 to 3) shown in FIG. 4 are also transmitted to the client device 30.

クライアント装置30では、検索結果を受信し、このファイル、例えばHTMLファイルを開くことで例えばブラウザーにて検索結果を閲覧することがでできる。その際、ディスプレイには、例えば、2007年6月30日8時20分15秒から2007年6月30日8時25分15秒10チャンネルの情報を示す数値「200709063082015051−2007090630082515051」が表示される。この数値をクリックすると、クライアント装置を構成するコンピュータは、装置内の第四データベース35Aを検索、即ち10チャンネルで2007年6月30日8時20分15秒から2007年6月30日8時25分15秒に放送された番組が第四データベース35A内に存在するか検索する。検索した結果、第四データベース35A内に存在する場合は、ディスプレイに存在する旨の表示をし、ユーザーの操作の下,再生を行う。一方、検索した結果、該当する番組が記録されていない場合には、その旨をディスプレイに表示する。
また、再生の他に、検索結果により特定されるコンテンツをDVD等の他の記録媒体に記録させる場合、テレビ番組映像サーバ装置10の最適化情報判別手段16から送信された識別コード(1〜3)に基づいて、コンテンツを保存することができる。
The client device 30 can receive the search result and open the file, for example, an HTML file, so that the search result can be browsed by a browser, for example. At that time, for example, a numerical value “20070709063082015051-2007090663008251515051” indicating information of 10 channels on June 30, 2007 to 8:25:15 on June 30, 2007 is displayed on the display. . When this numerical value is clicked, the computer constituting the client device searches the fourth database 35A in the device, that is, 10 channels, June 30, 2007, 8:20:15 to June 30, 2007, 8:25. A search is made as to whether a program broadcast in 15 minutes is present in the fourth database 35A. As a result of the search, if it exists in the fourth database 35A, it is displayed on the display and is reproduced under the operation of the user. On the other hand, if the corresponding program is not recorded as a result of the search, the fact is displayed on the display.
In addition to reproduction, when the content specified by the search result is recorded on another recording medium such as a DVD, the identification code (1-3) transmitted from the optimization information discriminating means 16 of the TV program video server device 10 is recorded. ) On the basis of the content.

なお、テレビ番組映像サーバ装置10においてユーザーが入力したキーワードに関連した音声が抽出できない場合には、テレビ番組映像サーバ装置10は検索によって該当するコンテンツが抽出できなかった旨をクライアント装置30へ送信する。この情報は、例えば、クライアント装置30のディスプレイに表示されて、ユーザーに伝えられる。   When the TV program video server apparatus 10 cannot extract the voice related to the keyword input by the user, the TV program video server apparatus 10 transmits to the client apparatus 30 that the corresponding content cannot be extracted by the search. . For example, this information is displayed on the display of the client device 30 and is transmitted to the user.

このように、本発明の映像検索システム1によれば、記録した大量の番組内容から所望のコンテンツ、即ちユーザーが指定したキーワードに関する映像コンテンツを検索することができる。この検索の際、メタデータを作成せずに、キーワードを音響波形の情報に変換して検索を行うことから、メタデータの作成に要する時間やその費用を省くことができる。   As described above, according to the video search system 1 of the present invention, desired content, that is, video content related to a keyword designated by the user can be searched from a large amount of recorded program contents. At the time of this search, since the search is performed by converting the keyword into the information of the acoustic waveform without generating the metadata, it is possible to save the time and cost required for generating the metadata.

再生の他に、検索結果により特定されるコンテンツをDVD等の他の記録媒体に記録させる場合、テレビ番組映像サーバ装置10の最適化情報判別手段16から送信された識別コード(1〜3)に基づいて、コンテンツを保存する方法を容易にユーザーは理解することができる。例えば、テレビ番組映像サーバ装置10からクライアント装置30へ識別コードとして『1』が通知された場合は、最高画質で保存すべきことをユーザーは知らされて、圧縮せずに保存することが薦められていることを理解できる。このような、最適化情報判別手段16におけるコンテンツを保存すべき解像度の判別処理は、どの程度までデータを圧縮して保存すべきか判断できないユーザーにとって非常に有用である。   In addition to the reproduction, when the content specified by the search result is recorded on another recording medium such as a DVD, the identification code (1-3) transmitted from the optimization information discriminating means 16 of the television program video server device 10 is used. Based on this, the user can easily understand how to save the content. For example, when “1” is notified as an identification code from the TV program video server apparatus 10 to the client apparatus 30, the user is informed that the highest quality image should be stored, and it is recommended to store without compression. I can understand that. Such resolution determination processing for storing content in the optimization information determination unit 16 is very useful for a user who cannot determine how much data should be compressed and stored.

図6は、本発明の実施形態の第1変形例に係る映像検索システム1Aを示すブロック図である。映像検索システム1Aでは、クライアント装置30Aが前述の文字入力手段31の代わりに音声入力手段34を備え、テレビ番組映像サーバ装置10Aが前述の波形生成手段13を備えずに構成されることを特徴としている。なお、映像検索システム1の構成と同一或いは同等のものには同じ符号を付してその詳細な説明は省略する。   FIG. 6 is a block diagram showing a video search system 1A according to a first modification of the embodiment of the present invention. In the video search system 1A, the client device 30A includes voice input means 34 instead of the character input means 31, and the television program video server apparatus 10A is configured without the waveform generation means 13. Yes. In addition, the same code | symbol is attached | subjected to the same or equivalent thing as the structure of the video search system 1, and the detailed description is abbreviate | omitted.

クライアント装置30Aの音声入力手段は、マイク(図示省略)と、マイクから入力された音声を処理する処理手段(図示省略)とからなり、ユーザーが発した音声は波形を示す画像の情報に変換される。この画像が、通信手段32を介してテレビ番組映像サーバ装置10Aへ送信される。
テレビ番組映像サーバ装置10Aでは、受信した波形の画像がそのまま検索手段15で利用されて、前述の照合処理に活用される。
The voice input unit of the client device 30A includes a microphone (not shown) and a processing unit (not shown) that processes the voice input from the microphone, and the voice uttered by the user is converted into image information indicating a waveform. The This image is transmitted to the television program video server apparatus 10A via the communication means 32.
In the television program video server device 10A, the received waveform image is used as it is by the search means 15 and used in the above-described collation processing.

このように、映像検索システム1Aによれば、検索対象のキーワードを音声で入力して記録した大量の番組内容から所望のコンテンツを検索することができる。   Thus, according to the video search system 1A, it is possible to search for desired contents from a large amount of program contents recorded by inputting a search target keyword by voice.

図7は、本発明の実施形態の第2変形例に係る映像検索システム1Bを示すブロック図である。映像検索システム1Bでは、前述の映像検索システム1の構成に放送番組データ中に流れるテロップやエンドロープにキーワードが含まれているか検索する構成を付加したことを特徴としている。
このため、第2変形例に係るテレビ番組映像サーバ装置10Bは、テレビ番組映像サーバ装置10の構成の他に、画像ファイル作成手段17と、テロップ検索手段18と、統合部19と、を備えている。
FIG. 7 is a block diagram showing a video search system 1B according to a second modification of the embodiment of the present invention. The video search system 1B is characterized in that a configuration for searching whether a keyword is included in a telop or end rope flowing in broadcast program data is added to the configuration of the video search system 1 described above.
Therefore, the television program video server device 10B according to the second modification includes an image file creation means 17, a telop search means 18, and an integration unit 19 in addition to the configuration of the television program video server device 10. Yes.

画像ファイル作成手段17は、第一データベース12A内のムービーファイルから数秒単位で一つの画面を切り出し、ハードディスク17aに切り出した画像を保存するものである。
テロップ検索手段18は、切り出した静止画中にユーザーが指定したキーワードが含まれているか判断するものである。この画像ファイル作成手段17として、OCR(Optical Character Reader)装置を適用すればよい。ここで、静止画中の検索対象の文字は、テロップに限らずエンドロールも該当する。
なお、地上波デジタル放送の場合、字幕放送として文字も送られてくるので、この文字中にキーワードがあるか検索するようにしてもよい。この場合、テレビ番組映像サーバ装置10Bは、字幕放送の文字を検索する字幕放送検出装置18Aを備える。
統合部19は、検索手段15とテロップ検索手段18との両方で該当するものを探し出すことができた場合に、検索手段15で抽出した検索結果を出力するものである。
The image file creation means 17 cuts out one screen from the movie file in the first database 12A in units of several seconds and saves the cut out image on the hard disk 17a.
The telop search means 18 determines whether the keyword specified by the user is included in the cut out still image. An OCR (Optical Character Reader) device may be applied as the image file creation means 17. Here, the search target character in the still image is not limited to the telop but also corresponds to the end roll.
In the case of digital terrestrial broadcasting, characters are also sent as subtitle broadcasts, and it may be searched for keywords in these characters. In this case, the television program video server device 10B includes a subtitle broadcast detection device 18A that searches for subtitle broadcast characters.
The integration unit 19 outputs the search result extracted by the search unit 15 when the search unit 15 and the telop search unit 18 can find a corresponding item.

このように、映像検索システム1Bによれば、検索手段15とテロップ検索手段18との両方で検索を行えた場合に検索結果がクライアント装置30へ送信される。よって、信頼性の高い検索結果をユーザーへ提供することができる。   As described above, according to the video search system 1 </ b> B, the search result is transmitted to the client device 30 when the search is performed by both the search unit 15 and the telop search unit 18. Therefore, a highly reliable search result can be provided to the user.

図8は、本発明の他の実施形態に係る映像検索装置40を示す機能ブロック図である。この映像検索装置40は、テレビ番組映像サーバ装置10をネットワーク20に接続せずに利用する形態であり、直にユーザーが検索対象の文字、即ちキーワードを入力することができるように構成されている。即ち、映像検索装置40は、テレビ番組映像サーバ装置10と異なり、通信手段11を備えずに構成することができ、さらに、前述のクライアント装置30の文字入力手段31を備える。なお、映像検索システム1の構成と同一或いは同等のものには同じ符号を付してその詳細な説明は省略する。   FIG. 8 is a functional block diagram showing a video search device 40 according to another embodiment of the present invention. This video search device 40 is configured to use the TV program video server device 10 without being connected to the network 20, and is configured so that the user can directly input a search target character, that is, a keyword. . That is, unlike the television program video server device 10, the video search device 40 can be configured without the communication unit 11, and further includes the character input unit 31 of the client device 30 described above. In addition, the same code | symbol is attached | subjected to the same or equivalent thing as the structure of the video search system 1, and the detailed description is abbreviate | omitted.

映像検索装置40によれば、ユーザーが文字入力手段31によって入力した文字が直接波形生成手段13に送られて、波形の画像に変換される。そして、検索手段15によって前述の照合処理が行われる。   According to the video search device 40, a character input by the user through the character input unit 31 is directly sent to the waveform generation unit 13 and converted into a waveform image. Then, the above-described collation process is performed by the search means 15.

このように、映像検索装置40によっても、検索対象のキーワードをキーボードなどの入力装置を介して入力して記録した大量の番組内容から所望のコンテンツを検索することができる。   In this way, the video search device 40 can also search for desired content from a large amount of program content that is recorded by inputting a search target keyword via an input device such as a keyboard.

以上説明したが、本発明は発明の趣旨を逸脱しない範囲において様々な形態で実施をすることができる。
録画手段が録画する放送番組は、地上アナログ放送の番組や地上デジタル放送の番組に限らず、インターネットを通じてダウンロードされるコンテンツを含むことは明らかである。
上記説明では、録画手段が録画した放送番組データからムービーファイルを作成し、音声ファイル作成手段がムービーファイルから音声ファイルを作成しているが、これらの、録画手段及び音声ファイル手段に代えて、ラジオ等の音声放送を録音し、その音声ファイルを作成する手段を用いても良い。
As described above, the present invention can be implemented in various forms without departing from the spirit of the invention.
It is clear that the broadcast program recorded by the recording means is not limited to a terrestrial analog broadcast program or a terrestrial digital broadcast program, but includes contents downloaded through the Internet.
In the above description, a movie file is created from broadcast program data recorded by the recording means, and an audio file creation means creates an audio file from the movie file. However, instead of these recording means and audio file means, a radio file is created. It is also possible to use a means for recording an audio broadcast such as and creating an audio file.

Claims (6)

放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続され放送番組データを録画するクライアント装置と、を備えた検索システムであって、A search system comprising: a server device that records broadcast program data; and a client device that is connected to the server device via a network and records broadcast program data.
上記サーバ装置が、上記放送番組データを録画する録画手段と、上記クライアント装置からの要求に基づき、当該サーバ装置の録画手段で録画した放送番組データを検索する検索手段と、を備え、The server device comprises recording means for recording the broadcast program data, and search means for searching for broadcast program data recorded by the recording means of the server device based on a request from the client device,
上記クライアント装置が、上記放送番組データを録画する録画手段と、上記サーバ装置から返信されてくる上記検索手段の検索結果を用いて当該クライアント装置の録画手段で録画した放送番組データを再生する閲覧手段と、を備え、Recording means for recording the broadcast program data by the client device, and browsing means for reproducing the broadcast program data recorded by the recording means of the client device using a search result of the search means returned from the server device And comprising
上記サーバ装置が、上記検索結果として上記クライアント装置が再生すべき放送番組データの時間とチャンネルの情報とを上記クライアント装置へ送信し、The server device transmits the broadcast program data time and channel information to be reproduced by the client device as the search result to the client device,
上記クライアント装置の閲覧装置が、上記サーバ装置から受け取った上記時間と上記チャンネルの情報に基づいて、上記クライアント装置の録画手段で録画した放送番組データを再生することを特徴とする、検索システム。A retrieval system, wherein the browsing device of the client device reproduces the broadcast program data recorded by the recording means of the client device based on the time and channel information received from the server device.
前記放送番組データが、地上デジタル放送、デジタル衛星放送、ダウンロード型IP放送、ラジオ放送の何れかの番組データである、請求項1に記載の検索システム。The search system according to claim 1, wherein the broadcast program data is any one of terrestrial digital broadcast, digital satellite broadcast, download IP broadcast, and radio broadcast. 前記放送番組データが、地上アナログ放送、ラジオ放送の何れかの番組データである、請求項1に記載の検索システム。The search system according to claim 1, wherein the broadcast program data is any one of terrestrial analog broadcast and radio broadcast program data. 放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続され放送番組データを録画するクライアント装置と、を備え、A server device for recording broadcast program data, and a client device connected to the server device via a network for recording broadcast program data,
上記クライアント装置が、サーバ装置から返信されてくる検索結果を用いて当該クライアント装置の録画手段で録画した放送番組データを再生するように構成された検索システムにおいて、上記クライアント装置からの要求に基づき、当該サーバ装置で録画した放送番組データから所定のコンテンツを検索するサーバ装置であって、In the search system configured to reproduce the broadcast program data recorded by the recording unit of the client device using the search result returned from the server device based on a request from the client device, A server device for retrieving predetermined content from broadcast program data recorded by the server device,
上記放送番組データを録画する録画手段と、Recording means for recording the broadcast program data;
上記クライアント装置からの要求に基づき、当該サーバ装置の録画手段で録画した放送番組データを検索する検索手段と、Search means for searching for broadcast program data recorded by the recording means of the server device based on the request from the client device;
上記検索結果を上記クライアント装置へ送信する通信手段と、を備え、Communication means for transmitting the search result to the client device,
上記クライアント装置が当該クライアント装置の録画手段で録画した放送番組データを再生するために、上記検索手段の検索結果を上記クライアント装置へ送信し、In order for the client device to reproduce the broadcast program data recorded by the recording means of the client device, the search result of the search means is transmitted to the client device,
上記検索結果は、上記クライアント装置が再生すべき放送番組データの時間とチャンネルの情報であることを特徴とする、サーバ装置。The server apparatus according to claim 1, wherein the search result is time and channel information of broadcast program data to be reproduced by the client apparatus.
放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続され放送番組データを録画するクライアント装置と、を備え、上記サーバ装置が、上記クライアント装置からの要求に基づき、当該サーバ装置に録画した放送番組データから所定のコンテンツを検索し、上記クライアント装置が上記サーバ装置から返信されてくる検索結果を用いて当該クライアント装置で録画した放送番組データを再生する、検索システムにおけるサーバ装置用のプログラムであって、
コンピュータを、
上記放送番組データを録画する録画手段、
上記クライアント装置からの要求に基づき、当該サーバ装置の録画手段で録画した放送番組データを検索する検索手段、
上記検索結果として上記クライアント装置が再生すべき放送番組データの時間とチャンネルの情報とを上記クライアント装置へ送信する通信手段、
として機能させることを特徴とする、サーバ装置用のプログラム
A recording to the server broadcast program data, and the client device for recording broadcast program data is connected via a network to the server device, comprising a, the upper Symbol server device, based on a request from the client device, the server Find the predetermined content from the broadcast program data recorded in the apparatus, to reproduce the broadcast program data recorded in the client device using the search results on SL client device sends back from above SL server, search system A program for a server device in
Computer
Recording means for recording the broadcast program data;
Search means for searching for broadcast program data recorded by the recording means of the server device based on the request from the client device;
Communication means for transmitting the time and channel information of broadcast program data to be reproduced by the client device as the search result to the client device;
A program for a server device, characterized in that it functions as:
放送番組データを録画するサーバ装置と、このサーバ装置にネットワークを介して接続され放送番組データを録画するクライアント装置と、を備え、上記サーバ装置が、上記クライアント装置からの要求に基づき、当該サーバ装置に録画した放送番組データから所定のコンテンツを検索し、上記クライアント装置が、上記サーバ装置から返信されてくる検索結果を用いて当該クライアント装置で録画した放送番組データを再生する、検索システムにおけるクライアント装置用のプログラムであって、
上記検索結果は、上記クライアント装置が再生すべき放送番組データの時間とチャンネルの情報であり、
コンピュータを、
上記放送番組データを録画する録画手段、
上記サーバ装置から返信されてくる検索結果を用いて当該クライアント装置の録画手段で録画した放送番組データを再生する閲覧手段、
として機能させることを特徴とする、クライアント装置用のプログラム。
A recording to the server broadcast program data, and the client device for recording broadcast program data is connected via a network to the server device, comprising a, the upper Symbol server device, based on a request from the client device, the server then retrieves the contents from the broadcast program data given that recorded in the apparatus, the upper SL client device reproduces the broadcast program data recorded in the client device using the search results returned from the server device, search system A program for a client device in
The search result is time and channel information of broadcast program data to be reproduced by the client device,
Computer
Recording means for recording the broadcast program data;
Browsing means for reproducing broadcast program data recorded by the recording means of the client device using the search result returned from the server device;
A program for a client device, characterized in that it is made to function as:
JP2009542452A 2007-11-22 2007-11-22 Search device and search system Expired - Fee Related JP5105109B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/072693 WO2009066397A1 (en) 2007-11-22 2007-11-22 Retrieval device and retrieval system

Publications (2)

Publication Number Publication Date
JPWO2009066397A1 JPWO2009066397A1 (en) 2011-03-31
JP5105109B2 true JP5105109B2 (en) 2012-12-19

Family

ID=40667234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009542452A Expired - Fee Related JP5105109B2 (en) 2007-11-22 2007-11-22 Search device and search system

Country Status (2)

Country Link
JP (1) JP5105109B2 (en)
WO (1) WO2009066397A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5311348B2 (en) * 2009-09-03 2013-10-09 株式会社eVOICE Speech keyword collation system in speech data, method thereof, and speech keyword collation program in speech data
WO2014207833A1 (en) * 2013-06-26 2014-12-31 株式会社fuzz Advertisement effectiveness analysis system, advertisement effectiveness analysis device, and advertisement effectiveness analysis program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056006A (en) * 2000-08-10 2002-02-20 Nippon Hoso Kyokai <Nhk> Video/voice retrieving device
JP2002108385A (en) * 2000-09-28 2002-04-10 Nippon Telegr & Teleph Corp <Ntt> Signal detecting method and device, and recording medium recorded with program for the method
JP2002229996A (en) * 2001-01-29 2002-08-16 Fuji Xerox Co Ltd Apparatus and method for displaying search result, and program therefor
JP2007324990A (en) * 2006-06-01 2007-12-13 Sony Corp Information processing system, information processing apparatus, method and program
JP2008288694A (en) * 2007-05-15 2008-11-27 Sony Corp Information processing apparatus and information processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3252282B2 (en) * 1998-12-17 2002-02-04 松下電器産業株式会社 Method and apparatus for searching scene

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056006A (en) * 2000-08-10 2002-02-20 Nippon Hoso Kyokai <Nhk> Video/voice retrieving device
JP2002108385A (en) * 2000-09-28 2002-04-10 Nippon Telegr & Teleph Corp <Ntt> Signal detecting method and device, and recording medium recorded with program for the method
JP2002229996A (en) * 2001-01-29 2002-08-16 Fuji Xerox Co Ltd Apparatus and method for displaying search result, and program therefor
JP2007324990A (en) * 2006-06-01 2007-12-13 Sony Corp Information processing system, information processing apparatus, method and program
JP2008288694A (en) * 2007-05-15 2008-11-27 Sony Corp Information processing apparatus and information processing method, and program

Also Published As

Publication number Publication date
JPWO2009066397A1 (en) 2011-03-31
WO2009066397A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
US9100723B2 (en) Method and system for managing information on a video recording
CN101202864B (en) Player for movie contents
JP5481559B2 (en) Content recognition and synchronization on television or consumer electronic devices
US8589973B2 (en) Peer to peer media distribution system and method
JP4873018B2 (en) Data processing apparatus, data processing method, and program
US8478759B2 (en) Information presentation apparatus and mobile terminal
JP4388128B1 (en) Information providing server, information providing method, and information providing system
KR20040064703A (en) Method and system for information alerts
JP2005509949A (en) Method and system for retrieving, updating and presenting personal information
JP2005518724A (en) Method and system for retrieving information about a television program
KR20060132595A (en) Storage system for retaining identification data to allow retrieval of media content
JP2007012013A (en) Video data management device and method, and program
US6931201B2 (en) Video indexing using high quality sound
JP4734048B2 (en) Information search device, information search method, and information search program
KR20080108777A (en) Method and apparatus for providing a detailed information of personal video recorder
RU2316134C2 (en) Device and method for processing texts in digital broadcasting receiver
KR20030092176A (en) Method for processing edited a contents file and a navigation information
JP5105109B2 (en) Search device and search system
EP1858017A1 (en) Image processing apparatus and file reproduce method
KR20010037652A (en) Audio indexing system and method, and audio retrieval system and method
JP2006054517A (en) Information presenting apparatus, method, and program
JP2002262225A (en) Contents mediating device and method for processing contents mediation
JP2010157080A (en) System, method and program for retrieving content relevant information
JP2009049638A (en) Information processing system, method and program
JP2002324071A (en) System and method for contents searching

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120918

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5105109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R255 Notification that request for automated payment was rejected

Free format text: JAPANESE INTERMEDIATE CODE: R2525

LAPS Cancellation because of no payment of annual fees