JP3529540B2 - Video search device - Google Patents

Video search device

Info

Publication number
JP3529540B2
JP3529540B2 JP07816996A JP7816996A JP3529540B2 JP 3529540 B2 JP3529540 B2 JP 3529540B2 JP 07816996 A JP07816996 A JP 07816996A JP 7816996 A JP7816996 A JP 7816996A JP 3529540 B2 JP3529540 B2 JP 3529540B2
Authority
JP
Japan
Prior art keywords
search
screen
video data
scene
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07816996A
Other languages
Japanese (ja)
Other versions
JPH09247602A (en
Inventor
清乃 氏原
康之 中島
裕修 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP07816996A priority Critical patent/JP3529540B2/en
Publication of JPH09247602A publication Critical patent/JPH09247602A/en
Application granted granted Critical
Publication of JP3529540B2 publication Critical patent/JP3529540B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は動画像検索装置お
よび方法に関し、特に、符号化された動画像情報からな
る動画像の検索を簡単にかつ数種類の方法を使って行う
ことを可能とする動画像検索装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving image search apparatus and method, and more particularly, to a moving image that allows a moving image consisting of encoded moving image information to be searched easily and using several methods. The present invention relates to an image retrieval device.

【0002】[0002]

【従来の技術】従来から、ビデオテープ、磁気ディスク
等の磁気記憶媒体、あるいは光デイスク等の記憶媒体に
映像を格納しておき、必要に応じてこれらから映像を再
生できるようにした画像再生装置あるいは画像記録再生
装置が開発されている。これらの記憶媒体は大きな容量
を持っているので、数時間の映像を記憶することができ
るが、該記憶媒体をさらに有効利用するために、画像を
圧縮して記憶媒体に記憶させるようにしたものもある。
2. Description of the Related Art Conventionally, an image reproducing apparatus has been used in which an image is stored in a magnetic storage medium such as a video tape, a magnetic disk or the like, or a storage medium such as an optical disk, and the image can be reproduced from these as needed. Alternatively, an image recording / reproducing device has been developed. Since these storage media have a large capacity, they can store video for several hours, but in order to use the storage media more effectively, images are stored in the storage media after being compressed. There is also.

【0003】これらの記憶媒体に記憶された画像情報
は、単体の画像再生装置で再生されたり、パソコンに接
続されてパソコン上で再生されたり、あるいはネットワ
ークに接続されて、ワークステーション上で再生された
りしている。ユーザは、該記憶媒体に記憶されている画
像情報を再生する場合、該画像情報のタイトル名等の文
字情報をもとに画像情報を検索し、所望の画像を再生す
るようにしている。
The image information stored in these storage media is reproduced by a single image reproducing device, connected to a personal computer and reproduced on a personal computer, or connected to a network and reproduced on a workstation. I am. When reproducing the image information stored in the storage medium, the user retrieves the image information based on the character information such as the title name of the image information and reproduces the desired image.

【0004】[0004]

【発明が解決しようとする課題】前記したように、従来
は、再生したい画像情報をタイトル名等の文字情報をも
とに検索しているため、画像情報の頭出しはできるが、
選んだ画像情報の中の特定の画面(シーン)を検索しよ
うとすると、画像情報を例えば早送りで最初から再生
し、所望の特定の画面を見つけなければならず、時間と
手間がかかるという問題があった。また、検索のための
再生中にうっかりして所望の画面を見逃すと、再度最初
から画像情報を再生して、検索作業をやり直さなければ
ならないという問題があった。
As described above, since the image information to be reproduced is conventionally searched based on the character information such as the title name, the image information can be searched for.
When trying to search for a specific screen (scene) in the selected image information, it is necessary to play the image information from the beginning by fast-forwarding, for example, to find the desired specific screen, which takes time and trouble. there were. Further, if the user accidentally misses the desired screen during the reproduction for the search, there is a problem that the image information must be reproduced again from the beginning and the search work must be redone.

【0005】本発明の目的は、前記した従来技術の問題
点を除去し、映像を最初から最後まで再生することな
く、容易に映像内容の把握ができ、対話的に映像の検
索、再生を行って目的の映像を見つけることができる動
画像検索装置を提供することにある。また、類似検索機
能を備えることにより、所望の映像のみを表示、再生す
ることのできる動画像検索装置および方法を提供するこ
とにある。
An object of the present invention is to eliminate the above-mentioned problems of the prior art, to easily grasp the contents of the image without replaying the image from the beginning to the end, and interactively search and reproduce the image. Another object of the present invention is to provide a moving image search device capable of finding a desired video. Another object of the present invention is to provide a moving image search device and method capable of displaying and reproducing only a desired video by providing a similarity search function.

【0006】[0006]

【課題を解決するための手段】前記目的を達成するため
に、本発明は、ユーザの要求に応じて、あらかじめ蓄積
されたビデオデータを再生、検索する動画像検索装置に
おいて、ビデオデータを蓄積するビデオデータ蓄積手段
と、検索画面上に、時間検索、シーン検索および類似検
索の少なくとも1つの検索項目を指定できる検索画面を
表示し、該検索項目の指定操作に従って検索結果を送出
するビデオデータ検索手段と、該ビデオデータ検索手段
によって検索された画面に基づいてビデオデータを再生
する再生手段とを具備し、前記ビデオデータ検索手段
は、前記時間検索とシーン検索の指定が行われると、指
定時間間隔で各時間の画面を表示し、さらに指定された
前記時間の画面からのシーン検索を行い各シーンの代表
画面を表示し、前記再生手段は該代表画面のどのシーン
からでも再生できるようにした点に第1の特徴がある。
In order to achieve the above object, the present invention accumulates video data in a moving picture retrieval apparatus which reproduces and retrieves pre-accumulated video data in response to a user's request. Video data storage means and time search, scene search and similar search on the search screen.
A search screen where you can specify at least one search item in the search
Display and send the search result according to the specified operation of the search item
The video data searching means, and the reproducing means for reproducing the video data based on the screen searched by the video data searching means.
Is displayed when the time search and scene search are specified.
The screen for each time is displayed at regular time intervals, and further specified
Representative of each scene by performing a scene search from the time screen
A screen is displayed, and the reproduction means displays which scene of the representative screen.
The first feature is that it can be reproduced even from the.

【0007】また、ビデオデータを蓄積する手段を有す
るサーバと、該サーバとクライアントとを接続するネッ
トワークと、該ネットワークに接続されたクライアント
とで構成され、前記サーバが送出する検索画面上に、時
間検索、シーン検索および類似検索の少なくとも1つの
検索項目を指定できる検索画面を表示し、該検索項目の
指定操作に従って検索結果を送出するビデオデータ検索
手段と、該ビデオデータ検索手段によって検索された画
面に基づいてビデオデータを再生する再生手段とを設
け、前記ビデオデータ検索手段は、前記時間検索とシー
ン検索の指定が行われると、指定時間間隔で各時間の画
面を表示し、さらに指定された前記時間の画面からのシ
ーン検索を行い各シーンの代表画面を表示し、前記再生
手段は該代表画面のどのシーンからでも再生できるよう
にした点に第2の特徴がある。
Further, a server having a means for accumulating video data, a network connecting the server and the client, and a client connected to the network are provided on the search screen sent by the server.
At least one of inter-search, scene-search and similarity-search
Display the search screen where you can specify the search item,
Video data searching means for sending out a search result in accordance with a designated operation and reproducing means for reproducing video data based on the screen searched by the video data searching means are provided, and the video data searching means is provided for the time search and
When a search is specified, the screen for each time is displayed at the specified time interval.
Screen is displayed, and the screen from the screen of the specified time is displayed.
Search for scenes, display the representative screen of each scene, and play
Means can be played from any scene of the representative screen
The second feature lies in the fact that

【0008】第1の特徴によれば、検索画面上に、時間
検索、シーン検索および類似検索の少なくとも1つの検
索項目を指定できる検索画面を表示でき、前記時間検索
とシーン検索の指定が行われると、指定時間間隔で各時
間の画面を表示し、さらにユーザによって指定された前
記時間の画面からのシーン検索を行い各シーンの代表画
面を表示し、再生手段は該代表画面のどのシーンからで
も再生できる。このため、ユーザは該ビデオタイトル選
択手段によって選択されたビデオデータを最初から最後
まで再生しなくても、ビデオデータの検索をすることが
できる。また、短時間に検索をすることができる。ま
た、前記再生手段は該検索された画面に基づいてビデオ
データの再生を行うので、ユーザはビデオデータのう
ち、見たい画面からの再生を行うことができる。
According to the first feature , the time is displayed on the search screen.
At least one of search, scene search and similarity search
You can display a search screen that allows you to specify search items,
When a scene search is specified, each time at a specified time interval
Before displaying the screen between and further specified by the user
A scene search is performed from the time screen, and a representative image of each scene is displayed.
Screen is displayed, and the reproducing means selects from which scene of the representative screen.
Can also be played. Therefore, the user can search the video data without reproducing the video data selected by the video title selecting means from the beginning to the end. In addition, it is possible to search in a short time. Also, since the reproducing means reproduces the video data based on the searched screen, the user can reproduce the video data from the desired screen.

【0009】また、前記第2の特徴によれば、クライア
ントはネットワークを介してサーバに蓄積されているビ
デオデータを読み出し、該ビデオデータを検索した画面
を自身のモニタに表示することができる。このため、ク
ライアントは、サーバに共有されているビデオデータ
を、あたかも自分が所有しているのと同じ感覚で使用す
ることができる。
Further, according to the second feature, the client can read the video data accumulated in the server via the network and display the screen searched for the video data on its own monitor. Therefore, the client can use the video data shared by the server as if the client owns the video data.

【0010】[0010]

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。ここでは、動画像符号化の国際標準
方式、MPEG1(ISO/IEC 11172)によ
り圧縮された動画像符号化データからの動画像検索につ
いて説明するが、本発明はMPEG1の圧縮方式で圧縮
された動画像の検索に限定されるものではない。
BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described in detail below with reference to the drawings. Here, a moving image search from moving image encoded data compressed by MPEG1 (ISO / IEC 11172), which is an international standard method of moving image encoding, will be described. However, the present invention is a moving image compressed by the MPEG1 compression method. The search is not limited to images.

【0011】本発明の一実施形態は、ビデオデータを格
納するハードディスク、圧縮動画像を再生する再生ボー
ド、ソフトウェアを内蔵したPC(パソコン)、及びモ
ニタ等から構成されている。また、マウス等のポインテ
ィングデバイスを用いて、対話的な操作を実現してい
る。
One embodiment of the present invention comprises a hard disk for storing video data, a reproduction board for reproducing compressed moving images, a PC (personal computer) having software built therein, a monitor and the like. In addition, an interactive operation is realized by using a pointing device such as a mouse.

【0012】図1はこの実施形態の機能を表すブロック
図である。図のデータ蓄積部1は前記ハードディスクに
相当し、該データ蓄積部1には、予めジャンル選択画面
情報、ビデオタイトル選択画面情報、各種の映像ファイ
ルA,B,…、インデックスファイルが格納されてい
る。再生部2は前記データ蓄積部1から読み出された圧
縮動画像である映像ファイルaを復号化して再生するも
のであり、前記再生ボードに相当する。該再生部2は復
号化された映像データbを、表示データ用バッファ7に
送出する。
FIG. 1 is a block diagram showing the function of this embodiment. The data storage unit 1 in the figure corresponds to the hard disk, and the data storage unit 1 stores genre selection screen information, video title selection screen information, various video files A, B, ..., Index files in advance. . The reproduction unit 2 decodes and reproduces the video file a, which is the compressed moving image read from the data storage unit 1, and corresponds to the reproduction board. The reproducing unit 2 sends the decoded video data b to the display data buffer 7.

【0013】制御部3はCPU等で構成されており、前
記ソフトウェアを内蔵したPCに相当する。画面表示部
4は前記データ蓄積部1に格納されているジャンル選択
画面情報、ビデオタイトル選択画面情報、あるいは前記
再生部で復号化された映像ファイル等を表示する。ま
た、各種の制御ボタン等を表示する。操作入力部5はキ
ーボード、マウス等のポインティングデバイスに相当す
る。
The control unit 3 is composed of a CPU and the like, and corresponds to a PC containing the software. The screen display unit 4 displays the genre selection screen information, the video title selection screen information stored in the data storage unit 1, or the video file decoded by the reproduction unit. Also, various control buttons and the like are displayed. The operation input unit 5 corresponds to a pointing device such as a keyboard and a mouse.

【0014】検索処理部6は、オペレータによる操作入
力部5からの操作手順により、画像検索の指示がなされ
ると、前記データ蓄積部1に格納されている各種の映像
ファイルから指定された映像ファイルcを取り出し、複
数種類の方法(後述する時間検索、シーン検索、類似画
像検索等)で映像シーンの検索を行う。検索処理部6
は、また、後述するインデックス検索が選択された場合
には、データ蓄積部1中のインデックスファイルdを取
り出し、これを用いて、映像シーンの検索を行う。検索
処理部6は検索結果の画面情報eを再生部2に送ると共
に、画面タイムコード等の検索画面に付随する情報fを
表示データ用バッファ7に送出する。表示データ用バッ
ファ7は、前記画面表示部4に表示するデータを一時的
に蓄積する。
When an image search instruction is given by an operation procedure from the operation input section 5 by the operator, the search processing section 6 designates a video file designated from various video files stored in the data storage section 1. c is retrieved, and a video scene is searched by a plurality of types of methods (a time search, a scene search, a similar image search described later, etc.). Search processing unit 6
When the index search described later is selected, the index file d in the data storage unit 1 is retrieved and the video file is searched using the index file d. The search processing unit 6 sends the screen information e of the search result to the reproducing unit 2, and also sends the information f associated with the search screen such as the screen time code to the display data buffer 7. The display data buffer 7 temporarily stores the data to be displayed on the screen display unit 4.

【0015】次に、本実施形態の動作を、図2のフロー
チャート、図3以下の画面表示等を参照して説明する。
まず、図2のステップS1にあるように、前記データ蓄
積部1には、ビデオデータが圧縮符号化され、その内容
に従ってジャンル毎に分類されて格納されているものと
する。ステップS2において、オペレータが、本システ
ムのアプリケーションソフトウェアを立ち上げると、制
御部3の作用により、前記データ蓄積部1からジャンル
選択画面情報が読み出され、表示データ用バッファ7に
転送される。この結果、画面表示部4には図3に示され
ているようなジャンル選択画面を表示する。ジャンル名
の表示は、ディレクトリ名をサーチして表示する。ステ
ップS3では、該ジャンル選択画面から、検索、再生す
る映像のジャンルが選択されたかどうかの判断がなされ
る。ジャンルが選択されると、ステップS4に進む。こ
の選択は、ポインティングデバイスを用いることにより
行うことができる。
Next, the operation of this embodiment will be described with reference to the flowchart of FIG. 2 and the screen display of FIG.
First, as shown in step S1 in FIG. 2, it is assumed that video data is compression-encoded and stored in the data storage unit 1 classified by genre according to the content thereof. In step S2, when the operator starts up the application software of this system, the control section 3 reads the genre selection screen information from the data storage section 1 and transfers it to the display data buffer 7. As a result, the genre selection screen as shown in FIG. 3 is displayed on the screen display unit 4. The genre name is displayed by searching the directory name. In step S3, it is determined whether or not the genre of the video to be searched for and reproduced is selected from the genre selection screen. When the genre is selected, the process proceeds to step S4. This selection can be made by using a pointing device.

【0016】ステップS4では、データ蓄積部1からビ
デオタイトル選択画面情報が読み出され、図4(a) また
は(b) に示されているような、ビデオタイトル選択画面
が表示される。前記ジャンル選択画面情報およびビデオ
タイトル選択画面情報は、図9の(a) 〜(c) のいずれか
に示されているようなファイル構造をしている。(a)お
よび(b) はディレクトリをサーチしてタイトル名を表示
する場合のファイル構造を、(c) は識別子を利用してタ
イトル名を表示する場合のファイル構造を示している。
In step S4, the video title selection screen information is read from the data storage unit 1 and the video title selection screen as shown in FIG. 4 (a) or (b) is displayed. The genre selection screen information and the video title selection screen information have a file structure as shown in any of (a) to (c) of FIG. (a) and (b) show the file structure when displaying a title name by searching a directory, and (c) shows the file structure when displaying a title name using an identifier.

【0017】ビデオタイトル選択画面に表示される内容
としては、図4に示されているように、ビデオデータの
タイトル名、代表画面、トータルタイムがある。タイト
ル名は、ジャンル名と同様、データファイル等が蓄積さ
れているディレクトリをサーチして表示するか、識別子
を利用して表示する。また、画面中の「Cancel」は、前
画面に戻る(ここでは、ジャンル選択画面)ことを指示
する時に選択される制御ボタンであり、「Previous」、
「Next」は、表示される代表画面が多い場合の画面の切
り替え、すなわち前の画面に戻るまたは次の画面に進む
時に使用される制御ボタンである。該制御ボタンは、後
述の再生画面、検索画面、検索結果表示画面においても
共通である。
As shown in FIG. 4, the contents displayed on the video title selection screen include the title name of the video data, the representative screen, and the total time. As with the genre name, the title name is displayed by searching a directory in which data files and the like are stored or by using an identifier. Further, "Cancel" in the screen is a control button selected when instructing to return to the previous screen (here, the genre selection screen), and "Previous",
"Next" is a control button used when switching between screens when many representative screens are displayed, that is, when returning to the previous screen or advancing to the next screen. The control button is common to the reproduction screen, search screen, and search result display screen, which will be described later.

【0018】また、トータルタイムは以下の計算式で求
めることができる。 トータルタイム=ビデオデータの容量/ビットレート[sec ]…(1) ビットレート=(system bitstream multiplex rate) ×400 [bit/sec ]…( 2) ここで、system bitstream multiplex rate は、ISO
/IEC 11172ー3で規定されているMPEG1
のシステムビットストリームのビットレート単位であ
る。
The total time can be calculated by the following formula. Total time = video data capacity / bit rate [sec] (1) Bit rate = (system bitstream multiplex rate) × 400 [bit / sec] (2) where system bitstream multiplex rate is ISO
/ MPEG1 specified in IEC 11172-3
It is a bit rate unit of the system bit stream of.

【0019】さらに、代表画面としてはビデオデータの
先頭画面を利用することができ、その作成方法として
は、GIF,JPEG等のフォーマットを利用してあら
かじめ代表画面ファイルを作成しておくか、MPEG1
で圧縮されたもとのビデオデータをランダムアクセスし
てその画面のみを表示する方法がある。後者のランダム
アクセスした画面を代表画面として表示する場合のラン
ダムアクセスの方法としては、タイムコードを利用する
方法とフレームフラグを利用する方法がある。
Further, the first screen of the video data can be used as the representative screen, and as a method of creating it, a representative screen file is created in advance using a format such as GIF, JPEG, or MPEG1.
There is a method of randomly accessing the original video data compressed by to display only the screen. As the latter random access method for displaying the randomly accessed screen as a representative screen, there are a method using a time code and a method using a frame flag.

【0020】それぞれのアクセス位置は以下の計算式で
求めることができる。 タイムコードを利用する場合: (トータル容量×アクセスタイム/トータルタイム)−αバイト…(3) フレームフラグを利用する場合: (トータル容量×アクセスフレーム/トータルフレーム)−αバイト…(4) なお、αは任意の整数で、正の値を用いることにより、
アクセス位置を少し手前にすることができる。これによ
り、少し手前からの再生を行って、再生タイムコードを
監視し、該当のタイムコードで一時停止して、該当画面
の表示を行うことができる。
Each access position can be obtained by the following calculation formula. When using time code: (total capacity x access time / total time) -α bytes (3) When using frame flag: (total capacity x access frame / total frame) -α bytes (4) α is an arbitrary integer, and by using a positive value,
The access position can be a little closer to you. As a result, it is possible to perform reproduction from a little nearer side, monitor the reproduction time code, pause at the corresponding time code, and display the corresponding screen.

【0021】図4のビデオデータのタイトル選択画面に
おいてビデオタイトルが選択されると(ステップS5が
肯定)、選択したビデオデータを再生するか、検索する
かを選ぶことができる(ステップS6)。再生を選択す
る場合は再生ボタンを、検索を選択する場合は、検索ボ
タンをクリックする。また、この変形例として、ジャン
ル選択画面が表示される前の段階で、あらかじめ再生、
検索を選択することも可能である。
When a video title is selected on the video data title selection screen of FIG. 4 (Yes at step S5), it is possible to select whether to reproduce or search the selected video data (step S6). Click the play button to select playback or the search button to select search. Also, as a modification of this, before the genre selection screen is displayed, reproduction is performed in advance.
It is also possible to select a search.

【0022】選択したビデオデータを再生する場合は、
前記再生ボタンがクリックされる。そうすると、ステッ
プS7に進み、データ蓄積部1から選択されたビデオタ
イトルの映像ファイルを再生部2に送る。再生部2にお
いて、圧縮されて蓄積されていた画像データは復号化さ
れ、表示データ用バッファ7に記憶される。そして、ス
テップS8において、図5のような再生画面が表示され
る。この再生画面には、前記選択されたビデオタイトル
の画像データが最初から最後まで連続的に表示される。
この再生を途中で止めたい場合には、CANCELボタ
ンをクリックすればよい。なお、通常の再生のほか、ス
ロー再生、スキップ再生、コマ送り等の特殊再生を行っ
たり、再生画面のサイズを変えることもできる。図中の
PLAY,CUE,SLOW,SS,REW,FF,P
AUSE,STOPはそれぞれ通常再生、早送り再生、
低速再生、コマ送り、巻き戻し、早送り、一時停止、停
止を意味し、コマ送りの場合、マウス等のポインティン
グデバイスでクリックする毎に1コマずつ進むようにな
っている。
When reproducing the selected video data,
The play button is clicked. Then, in step S7, the video file of the video title selected from the data storage unit 1 is sent to the reproduction unit 2. The image data that has been compressed and accumulated in the reproducing unit 2 is decoded and stored in the display data buffer 7. Then, in step S8, a reproduction screen as shown in FIG. 5 is displayed. On this reproduction screen, the image data of the selected video title is continuously displayed from the beginning to the end.
If you want to stop this playback on the way, click the CANCEL button. In addition to normal reproduction, special reproduction such as slow reproduction, skip reproduction, frame advance can be performed, and the size of the reproduction screen can be changed. PLAY, CUE, SLOW, SS, REW, FF, P in the figure
AUSE and STOP are normal playback, fast-forward playback,
It means low-speed playback, frame advance, rewind, fast forward, pause, stop, and in the case of frame advance, it advances one frame each time it is clicked with a pointing device such as a mouse.

【0023】ステップS9では、再生を継続するか否か
の判断がなされる。すなわち、他のビデオタイトルの画
像を再生するか否かの判断がなされる。この判断が肯定
の場合には、ステップS2に戻って、図3のジャンル選
択画面を表示する。一方、再生を継続しない場合には終
了する。
In step S9, it is determined whether or not to continue the reproduction. That is, it is determined whether or not to reproduce the image of another video title. If this determination is positive, the process returns to step S2 and the genre selection screen of FIG. 3 is displayed. On the other hand, when the reproduction is not continued, the process ends.

【0024】次に、図4のタイトル選択画面で選択した
ビデオデータの内容を検索する場合には、検索ボタンが
クリックされる。そうすると、前記ステップS6からス
テップS10に進み、図6の検索画面が表示される。す
なわち、前記検索処理部6(図1参照)が動作し、図6
の検索画面が表示される。該検索画面には、時間検索、
シーン検索、類似画像検索等が表示される。これらのう
ちの任意の検索が選択されると、選択された種類の検索
が該検索処理部6にて実行され、検索結果が図7のよう
に表示される(ステップS11)。その後、該画面中の
検索画面またはタイムコードをポインティングデバイス
で指定し、再生を選択すると(ステップS12が肯
定)、該当画面からの再生を行うことが可能である(ス
テップS8)。この場合、指定された場所からの再生に
ついては、前述の(3)式か(4)式を用いてランダム
アクセス再生することができる。
Next, when searching the contents of the video data selected on the title selection screen of FIG. 4, the search button is clicked. Then, the process proceeds from step S6 to step S10, and the search screen of FIG. 6 is displayed. That is, the search processing unit 6 (see FIG. 1) operates and
The search screen of is displayed. On the search screen, time search,
Scene search, similar image search, etc. are displayed. When any one of these is selected, the selected type of search is executed by the search processing unit 6, and the search result is displayed as shown in FIG. 7 (step S11). After that, when the search screen or the time code in the screen is designated by the pointing device and the reproduction is selected (Yes in step S12), the reproduction from the corresponding screen can be performed (step S8). In this case, with respect to reproduction from the designated place, random access reproduction can be performed using the above formula (3) or formula (4).

【0025】次に、図6の画面に表示された各検索方法
について、詳細に説明する。時間検索は、指定された時
間間隔ごとにビデオデータを検索し、その画面とタイム
コードを表示する。時間の指定方法は、図6の検索画面
において、時間検索を選択すると同時に、開始および終
了時間(XX:XX〜XX:XX)と、検索間隔(XX
Sec.)を指定する。なお、前もって時間間隔を指
定したり、開始、終了時間をそれぞれビデオの開始、終
了時間に合わせることも可能である。この時間検索によ
れば、開始〜終了時間の間のビデオデータが、指定され
た検索間隔で抽出され、検索画面として画面表示部4に
表示される。
Next, each search method displayed on the screen of FIG. 6 will be described in detail. The time search searches the video data at every specified time interval and displays the screen and time code. The time can be specified by selecting the time search on the search screen of FIG. 6 and at the same time starting and ending times (XX: XX to XX: XX) and the search interval (XX
Sec. ) Is specified. It is also possible to specify the time interval in advance, and to match the start and end times with the start and end times of the video, respectively. According to this time search, the video data from the start time to the end time is extracted at the specified search interval and displayed on the screen display unit 4 as a search screen.

【0026】シーン検索は、映像のシーン切り替わり点
(カット点)を自動的に検出して、各シーンの代表画面
とタイムコードを表示する。代表画面としては、各シー
ンの先頭画面を用いることができる。該カット点検出に
は、例えば氏原らの’動画像のカット点画像検出装置及
び方法’、情報処理学会第51回後期全国大会6S −9
(1995)、特願平7ー263681号、特願平5−
216895号、あるいは特願平6−46561号に開
示されている技術を用いることができる。
In the scene search, the scene change point (cut point) of the video is automatically detected, and the representative screen and time code of each scene are displayed. As the representative screen, the top screen of each scene can be used. The cut points can be detected by, for example, Ushihara et al. "Cut point image detection device and method for moving images", IPSJ 51st Second National Convention 6S-9.
(1995), Japanese Patent Application No. 7-263681, Japanese Patent Application No. 5-
The technology disclosed in No. 216895 or Japanese Patent Application No. 6-46561 can be used.

【0027】この技術は、例えば、入力された動画像の
画面のデータから縮小画像を作る縮小画像作成手段と、
注目画面n(ただし、nは正の整数)、および該注目画
面から時間的に、前後に、1フレームまたは複数フレー
ム離れた画面(n−1)、(n+1)の縮小画像間の輝
度差分を総合して、各フレームに関するフレーム間輝度
差分を求めるフレーム間輝度差分演算手段と、前記画面
(n−1)、n、(n+1)の縮小画像間の色差信号の
ヒストグラムから、フレーム間の色差信号とヒストグラ
ム相関値を求める色差ヒストグラム相関演算手段と、前
記注目画面nのフレーム間輝度差分の、前記画面(n−
1)、(n+1)のフレーム間輝度差分に対する時間的
な変化と、前記注目画面nの色差ヒストグラム相関値
の、前記画面(n−1)、(n+1)の色差ヒストグラ
ム相関値に対する時間的な変化より、注目画面nのカッ
ト画面を判定するカット画面判定手段とを具備すること
により、カット点の検出を行うものである。
This technology is, for example, a reduced image creating means for producing a reduced image from input moving image screen data,
The brightness difference between the target screen n (where n is a positive integer) and the reduced images of the screens (n−1) and (n + 1) that are one frame or a plurality of frames away from the target screen temporally before and after is displayed. Comprehensively, the inter-frame luminance difference calculation means for obtaining the inter-frame luminance difference for each frame, and the color difference signal between frames from the histogram of the color difference signal between the reduced images of the screens (n-1), n, (n + 1) And a color difference histogram correlation calculating means for obtaining a histogram correlation value, and the screen (n-
1), a temporal change with respect to the inter-frame luminance difference of (n + 1), and a temporal change of the color difference histogram correlation value of the target screen n with respect to the color difference histogram correlation values of the screens (n-1) and (n + 1). Further, the cut point is detected by including a cut screen determination unit that determines the cut screen of the target screen n.

【0028】類似画像検索は、シーン検索を行った後、
検索結果として表示されたシーンの代表画面から類似画
像検索を行うシーンを指定し、類似画像検索を選択す
る。すなわち、前記シーン検索を行うと、図8の画面が
表示される。そこで、該画面中の類似画像検索をしたい
シーンを選択し、次いで類似画像検索ボタンをクリック
する。そうすると、該選択されたシーンと類似したシー
ンが検索され、そのシーンの代表画面とタイムコードが
検索結果として表示される。例えば図7または図8のよ
うに表示される。該類似画像検索には、例えば中島ら
の’類似画像検索装置及び方法’、画像電子学会研究会
予稿(1994ー06)、または特願平7ー77098
号に記載された技術を用いることができる。
In the similar image search, after performing the scene search,
A scene for which a similar image search is performed is designated from the representative screen of the scenes displayed as the search result, and the similar image search is selected. That is, when the scene search is performed, the screen shown in FIG. 8 is displayed. Then, a scene on the screen for which a similar image search is desired is selected, and then a similar image search button is clicked. Then, a scene similar to the selected scene is searched, and the representative screen and time code of the scene are displayed as the search result. For example, it is displayed as shown in FIG. 7 or 8. For the similar image retrieval, for example, Nakajima et al.'similar image retrieval apparatus and method ', Preliminary draft of the Institute of Image Electronics Engineers of Japan (1994-06), or Japanese Patent Application No. 7-77098.
The technique described in the issue can be used.

【0029】この技術は、例えば、参照画像を設定する
手段と、入力画像から検索対象画像を選択する手段と、
該参照画像および各検索対象画像の特徴量から検索対象
画像毎に類似度を演算する手段と、該類似度が所定値以
上であるか否かを判定する手段と、該類似度が所定値以
上であると判定された各検索対象画像を同一クラスタと
して記録する手段と、該参照画像の特徴量を前記同一ク
ラスタと判定された検索対象画像の特徴量を用いて更新
する手段とを具備し、該参照画像の特徴量を順次更新さ
せて、後続の検索対象画像から類似画像を検索するよう
にしたものである。
This technique includes, for example, means for setting a reference image, means for selecting a search target image from an input image, and
A means for calculating the similarity for each search target image from the feature amounts of the reference image and each search target image, a means for determining whether the similarity is equal to or more than a predetermined value, and the similarity is not less than a predetermined value. A means for recording each search target image determined to be the same cluster, and a means for updating the feature amount of the reference image using the feature amount of the search target image determined to be the same cluster, The feature amount of the reference image is sequentially updated, and a similar image is searched from the subsequent search target image.

【0030】検索結果として表示された画面あるいはタ
イムコードを選択すると、そのポイントからのビデオ再
生が可能となる。特定されたポイントへのアクセス方法
は、前述のようにタイムコードを利用する方法や、フレ
ームフラグを利用する方法などが利用できる。
When the screen or time code displayed as the search result is selected, the video can be reproduced from that point. As a method of accessing the specified point, the method of using the time code or the method of using the frame flag as described above can be used.

【0031】また、これらの数種の検索を複合して、次
のような検索をすることができる。
Further, the following searches can be performed by combining these several kinds of searches.

【0032】(1) 図6において、時間検索とシーン検索
とを続けて選択する。時間検索の選択時に時間指定を行
うと、指定された時間間隔で検索が行われ、例えば図7
のような検索画面が表示される。次に、この画面で特定
の検索画面が指定されると、該検索画面につき、それ以
降のビデオデータに対してシーン検索が行われ、各シー
ンの代表画面が表示される。このようにすると、例え
ば、1分単位で時間検索を行って、大まかな内容閲覧を
行った後、その代表画面の一つを選択して、そこからの
シーン検索を行うという検索ができる。
(1) In FIG. 6, time search and scene search are successively selected. If the time is designated when selecting the time search, the search is performed at the designated time interval, for example, as shown in FIG.
A search screen such as is displayed. Next, when a specific search screen is specified on this screen, a scene search is performed on the video data subsequent to the search screen, and a representative screen of each scene is displayed. In this way, it is possible to perform a search, for example, by performing a time search on a minute-by-minute basis and browsing the contents roughly, then selecting one of the representative screens and performing a scene search from there.

【0033】(2) 図6において、時間検索と類似画像検
索とが続けて選択されると、指定された時間間隔で検索
が行われ、例えば図7のような検索画面が表示される。
次に、この画面の中で特定の検索画面が指定されると、
該検索画面につき、それ以降のビデオデータに対してシ
ーン検索が行われ、例えば図8のような各シーンの代表
画面が表示される。そこで、ユーザが所望のシーンを指
定すると、該シーンと類似したシーンの検索が行われ、
類似したシーンが画面上に表示される。
(2) In FIG. 6, when the time search and the similar image search are continuously selected, the search is performed at the designated time interval, and the search screen as shown in FIG. 7, for example, is displayed.
Next, when a specific search screen is specified in this screen,
On the search screen, a scene search is performed on the video data after that, and a representative screen of each scene as shown in FIG. 8 is displayed. Therefore, when the user specifies a desired scene, a scene similar to the scene is searched,
Similar scenes are displayed on the screen.

【0034】(3) 図6において、シーン検索と類似画像
検索とが続けて選択されると、まず、シーン検索が行わ
れ、図8のような各シーンの代表画面が表示される。次
に、ユーザによって、その中の所望のシーンが指定さ
れ、類似検索ボタンが押されると、該所望のシーンに類
似したシーンが検索され表示される。
(3) In FIG. 6, when the scene search and the similar image search are successively selected, the scene search is first performed, and the representative screen of each scene as shown in FIG. 8 is displayed. Next, when the user designates a desired scene among them and presses the similar search button, a scene similar to the desired scene is searched and displayed.

【0035】インデックス検索の場合は、前記検索処理
部6(図1参照)はデータ蓄積部1に格納されているイ
ンデックスファイルをアクセスし、該インデックスファ
イルに基づいて代表画面を検索し、検索結果である代表
画面とタイムコードを画面表示部4に表示する。この時
の表示画面は、例えば、図8の画面のようになる。
In the case of index search, the search processing unit 6 (see FIG. 1) accesses the index file stored in the data storage unit 1, searches the representative screen based on the index file, and A representative screen and a time code are displayed on the screen display unit 4. The display screen at this time is, for example, the screen of FIG.

【0036】データ蓄積部1に格納するインデックスフ
ァイルの内容としては、例えば図10に示されているよ
うな3つが考えられる。第1のインデックスファイル
は、同図(a) に示されているように、タイムコードだけ
を記録したインデックスファイルである。このインデッ
クスファイルは、時間とその時間に対応するフレーム番
号から構成されている。図示の例は、30秒間隔のイン
デックスファイルである。この場合には、30秒毎の検
索画面が選択されたビデオタイトルのビデオデータから
取り出され、再生部2で再生されて画面表示部4に表示
される。
There are three possible contents of the index file stored in the data storage unit 1 as shown in FIG. 10, for example. The first index file is an index file in which only time codes are recorded, as shown in FIG. This index file is composed of a time and a frame number corresponding to the time. The example shown is an index file with 30 second intervals. In this case, the search screen every 30 seconds is extracted from the video data of the selected video title, reproduced by the reproduction unit 2 and displayed on the screen display unit 4.

【0037】図10(b) は第2のインデックスファイル
を示し、フレームフラグだけを記録したインデックスフ
ァイルである。このインデックスファイルには、取り出
されるフレームの番号が予め記録されている。例えば1
フレーム、100フレーム、200フレーム、…、50
00フレームというふうにフレームの番号が記録されて
いる。データ蓄積部1にこのインデックスファイルが格
納されている場合には、該記録されたフレームの検索画
面が選択されたビデオタイトルのビデオデータから取り
出され、再生部2で再生されて画面表示部4に表示され
ることになる。
FIG. 10B shows a second index file, which is an index file in which only frame flags are recorded. The number of the frame to be taken out is recorded in advance in this index file. Eg 1
Frame, 100 frame, 200 frame, ..., 50
The frame number is recorded as 00 frame. When the index file is stored in the data storage unit 1, the search screen of the recorded frame is extracted from the video data of the selected video title, reproduced by the reproduction unit 2 and displayed on the screen display unit 4. Will be displayed.

【0038】次に、図10(c) は第3のインデックスフ
ァイルを示し、代表画面データファイルとタイムコード
ファイルから構成されている。該代表画面データは圧縮
されていないビデオデータが好適であるが、圧縮されて
いるものであってもよい。このインデックスファイルの
場合には、代表画面データが予め作成されてデータ蓄積
部1に格納されているので、該代表画面データが対応す
るタイムコードと共に取り出され、画面表示部4に検索
画面として表示される。
Next, FIG. 10C shows a third index file, which is composed of a representative screen data file and a time code file. The representative screen data is preferably uncompressed video data, but may be compressed. In the case of this index file, since the representative screen data is created in advance and stored in the data storage unit 1, the representative screen data is extracted together with the corresponding time code and displayed on the screen display unit 4 as a search screen. It

【0039】次に、インデックス検索をした画像からの
再生方法について説明する。検索画像からの再生は、タ
イムコードのみのインデックスファイルの場合には、前
述のように、選択されたタイムコード、トータルタイ
ム、容量を用いてビデオデータの該当位置を予測し、そ
の位置から再生を行う。フレームフラグのインデックス
ファイルの場合は選択されたフレームフラグ、トータル
フレーム、容量を用いてビデオデータの該当位置を予測
し、その位置からの再生を行う。画像ファイルとタイム
コードのインデックスファイルの場合には、選択された
タイムコードに対応するビデオデータにランダムアクセ
スして再生を行う。なお、再生は、前述の実施例1と同
様、特殊再生と再生画面サイズの変更が可能である。
Next, a method of reproducing from the image for which the index search is performed will be described. In the case of an index file containing only time code, the playback from the search image predicts the corresponding position of the video data using the selected time code, total time, and capacity, as described above, and starts playback from that position. To do. In the case of a frame flag index file, the corresponding position of the video data is predicted using the selected frame flag, total frame, and capacity, and reproduction is performed from that position. In the case of the image file and the time code index file, the video data corresponding to the selected time code is randomly accessed for reproduction. As for the reproduction, the special reproduction and the reproduction screen size can be changed as in the first embodiment.

【0040】次に、前記データ蓄積部1に蓄積しておく
ファイルの構造を、図11に示す。ファイルはディレク
トリ構造で蓄積される。同図(a) の場合、代表画面の表
示にはビデオ(映像)ファイルを利用し、検索画面の表
示にはインデックスファイルを利用する。この場合、代
表画面は、ビデオの先頭画面などの固定された位置の画
像を用いる。同図(b) の場合には、代表画面の表示に
は、タイトルファイルを利用し、検索画像の表示にはイ
ンデックスファイルを利用する。なお、タイトルファイ
ルは、タイトル画面そのものをファイルとして持つ場
合、代表画面のタイムコードを持つ場合、あるいは、代
表画面のフレームフラグを持つ場合が考えられる。イン
デックスファイルは、前述のようにインデックス画面そ
のもの、インデックスタイムコード、あるいは、インデ
ックスフレームフラグを持つ場合が考えられる。
FIG. 11 shows the structure of files stored in the data storage unit 1. Files are stored in a directory structure. In the case of (a) in the figure, a video file is used to display the representative screen, and an index file is used to display the search screen. In this case, the representative screen uses an image at a fixed position such as the top screen of the video. In the case of FIG. 3B, the title file is used to display the representative screen, and the index file is used to display the search image. The title file may include the title screen itself as a file, the time code of the representative screen, or the frame flag of the representative screen. As described above, the index file may have the index screen itself, the index time code, or the index frame flag.

【0041】前記の実施形態は、本発明を、ハードディ
スクに格納されている画像データをパソコンから直接ア
クセスするシステムに適用した例であったが、本発明は
これに限定されず、図12に示されているような、サー
バとクライアントをネットワークで接続したシステムに
も使用することができる。該システム構成を図12を参
照して説明する。
The above embodiment is an example in which the present invention is applied to a system in which image data stored in a hard disk is directly accessed from a personal computer, but the present invention is not limited to this and is shown in FIG. It can also be used for a system in which a server and a client are connected via a network. The system configuration will be described with reference to FIG.

【0042】サーバ11とクライアント12a〜12c
は、例えばLAN,ISDNなどのネットワーク13で
接続され、サーバ11側に映像データを格納し、画像検
索処理、クライアント12a〜12cへの映像データの
送信をサーバ11側で行う。クライアント12a〜12
c側では、サーバ11から送信されたデータを用いて、
映像データの再生や、検索結果の表示などが行われる。
伝送制御手段としては、例えばLANではNFS(Ne
twork File System)を用いて、サー
バをクライアントの1つの仮想デバイスとして扱うこと
により、クライアント内蔵ハードディスクのデータのリ
ードライトと同様な手法でランダムアクセスが可能であ
る。なお、前記サーバはインターネットのWWWサーバ
を用い、クラアント側にはWWWビューアを備えて、再
生や検索結果の表示をするようにしてもよい。
Server 11 and clients 12a-12c
Is connected via a network 13 such as a LAN or ISDN, stores video data on the server 11 side, performs image search processing, and transmits video data to the clients 12a to 12c on the server 11 side. Clients 12a-12
On the c side, using the data transmitted from the server 11,
Playback of video data and display of search results are performed.
As a transmission control means, for example, in a LAN, NFS (Ne
By handling the server as one virtual device of the client by using the work file system, random access can be performed by the same method as the read / write of the data of the hard disk incorporated in the client. The server may be a WWW server on the Internet, and the client side may be provided with a WWW viewer for playing back and displaying the search results.

【0043】図13は、前記システム構成を使用した場
合の動作を示すフローチャートである。ステップS1〜
S6は図2と同一または同等であるので説明を省略し、
ステップS21以下について説明する。このシステム構
成では、前記データ蓄積部1(図1参照)はサーバ11
のハードディスク11aに相当する。そこで、ステップ
S6にて再生が選択されると、ステップS21に進み、
選択されたビデオタイトルのビデオデータがサーバ11
側からクライアント12側へ送信される。次いで、ステ
ップS22に進み、クライアント12側で、図5の再生
画面が表示され、該再生画面にビデオデータの再生画像
が表示される。ステップS23では、再生を継続するか
否かの判断がなされ、この判断が肯定の場合には、ステ
ップS2に戻って、再度ジャンル選択画面が表示され
る。
FIG. 13 is a flow chart showing the operation when the above system configuration is used. Step S1 ~
Since S6 is the same as or equivalent to that in FIG.
The step S21 and subsequent steps will be described. In this system configuration, the data storage unit 1 (see FIG. 1) is the server 11
Of the hard disk 11a. Therefore, when reproduction is selected in step S6, the process proceeds to step S21,
The video data of the selected video title is the server 11
From the client side to the client 12 side. Next, in step S22, the playback screen of FIG. 5 is displayed on the client 12 side, and the playback image of the video data is displayed on the playback screen. In step S23, it is determined whether or not to continue the reproduction. If the determination is affirmative, the process returns to step S2 and the genre selection screen is displayed again.

【0044】次に、ステップS6で検索が選択された場
合には、ステップS24に進んで、図6の検索画面が表
示される。そして、前記と同様に、この画面にて、時間
検索、シーン検索、類似画像検索およびインデックス画
像検索の選択が行われる。ステップS25では、サーバ
11はステップS24で選択された検索を開始し、その
検索結果をサーバ11側からクライアント12側へ送信
する。ステップS26では、クライアント12側は、受
信した検索結果を表示する。ステップS27では、検索
画面の再生を行うか否かの判断がなされ、この判断が肯
定の場合にはステップS28に進んで、サーバ11は画
像の再生を行う。そして、再生したビデオデータをクラ
イアント12側へ送信する。そして、ステップS22に
進んで、クライアント12側のモニタに再生画像が表示
される。
Next, when the search is selected in step S6, the process proceeds to step S24 and the search screen of FIG. 6 is displayed. Then, similarly to the above, selection of time search, scene search, similar image search, and index image search is performed on this screen. In step S25, the server 11 starts the search selected in step S24, and transmits the search result from the server 11 side to the client 12 side. In step S26, the client 12 side displays the received search result. In step S27, it is determined whether or not to reproduce the search screen. If the determination is affirmative, the process proceeds to step S28, and the server 11 reproduces the image. Then, the reproduced video data is transmitted to the client 12 side. Then, the process proceeds to step S22, and the reproduced image is displayed on the monitor on the client 12 side.

【0045】以上のように、本実施形態によれば、圧縮
された画像データがデータ蓄積部1またはサーバのハー
ドディスク11aに格納されるので、データ量が小さい
という効果、また、該データ蓄積部1またはサーバのハ
ードディスク11aに格納されている画像データに対し
て、時間検索、シーン検索、類似画像検索またはインデ
ックス画像検索のうちの所望の検索を行うことができる
ので、ビデオデータから、短時間に所望のシーンを取り
出すことができる。また、該取り出したシーンから、必
要に応じて再生を開始することができるので、見たい場
面のみを簡単にかつ短時間に再生することができる。
As described above, according to this embodiment, since the compressed image data is stored in the data storage unit 1 or the hard disk 11a of the server, the data amount is small, and the data storage unit 1 Alternatively, since desired search among time search, scene search, similar image search or index image search can be performed on the image data stored in the hard disk 11a of the server, the desired search can be performed in a short time from the video data. The scene of can be taken out. In addition, since the reproduction can be started from the extracted scene as needed, only the desired scene can be reproduced easily and in a short time.

【0046】なお、前記の実施形態では、図6に示され
ているように、選択できる検索の種類を時間検索、シー
ン検索、類似画像検索およびインデックス画像検索の4
種類を設けたが、本発明はその内の1種類でもよく、ま
た任意の組み合わせの2種類または3種類であってもよ
い。
In the above embodiment, as shown in FIG. 6, four types of search that can be selected are time search, scene search, similar image search and index image search.
Although types are provided, the present invention may be one type of them, or may be two types or three types of any combination.

【0047】[0047]

【発明の効果】以上の説明から明らかなように、本発明
によれば、従来のように、ビデオデータを最初から最後
まで再生しなくても、検索装置が自動的に検索し、検索
結果を表示するので、手間がかからず、短時間に検索で
きる。また、検索された画面に基づいて再生を開始する
ことができるので、ユーザは短時間に自分の見たい所を
見つけ、該見つけた所から再生することができ、操作性
が大いに向上するという効果がある。また、ビデオデー
タを蓄積する手段を有するサーバと、該サーバとクライ
アントとを接続するネットワークと、該ネットワークに
接続されたクライアントとで構成されるシステムにおい
ても、前記の検索と再生とを実現することができ、実用
的な価値が大きいという効果がある。さらに、本発明に
よれば、時間間隔指定の検索、シーン検索、類似したシ
ーンの検索、あるいはこれらを組み合わせた検索、ある
いはインデックス検索を行うことができるという効果が
ある。
As is apparent from the above description, according to the present invention, the search device automatically searches and retrieves the search result without reproducing the video data from the beginning to the end unlike the conventional case. Since it is displayed, it can be searched in a short time without any trouble. Further, since the reproduction can be started based on the searched screen, the user can find a place he / she wants to see in a short time and reproduce from the found place, which is an effect that the operability is greatly improved. There is. Further, the above-described search and reproduction can be realized also in a system including a server having means for accumulating video data, a network connecting the server and the client, and a client connected to the network. It has the effect that it is possible and has great practical value. Further, according to the present invention, there is an effect that it is possible to perform a search by designating a time interval, a scene search, a search for similar scenes, a search combining these, or an index search.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の全体構成の機能を示すブロック図で
ある。
FIG. 1 is a block diagram showing the functions of the overall configuration of the present invention.

【図2】 本発明の一実施形態の動作の概要を示すフロ
ーチャートである。
FIG. 2 is a flowchart showing an outline of the operation of one embodiment of the present invention.

【図3】 ジャンル選択画面の一例を示す図である。FIG. 3 is a diagram showing an example of a genre selection screen.

【図4】 タイトル選択画面の一例を示す図である。FIG. 4 is a diagram showing an example of a title selection screen.

【図5】 再生画面の一例を示す図である。FIG. 5 is a diagram showing an example of a reproduction screen.

【図6】 検索画面の一例を示す図である。FIG. 6 is a diagram showing an example of a search screen.

【図7】 検索結果画面の一例を示す図である。FIG. 7 is a diagram showing an example of a search result screen.

【図8】 類似検索画面の一例を示す図である。FIG. 8 is a diagram showing an example of a similarity search screen.

【図9】 ジャンル選択画面情報およびビデオタイトル
選択画面情報のファイル構造を示す図である。
FIG. 9 is a diagram showing a file structure of genre selection screen information and video title selection screen information.

【図10】 インデックスファイルの内容を示す図であ
る。
FIG. 10 is a diagram showing the contents of an index file.

【図11】 データ蓄積部に蓄積するファイル構造を示
す図である。
FIG. 11 is a diagram showing a file structure stored in a data storage unit.

【図12】 本発明が適用されるネットワークの一例を
示すシステム図である。
FIG. 12 is a system diagram showing an example of a network to which the present invention is applied.

【図13】 該ネットワークにおける本発明の動作の概
要を示すフローチャートである。
FIG. 13 is a flowchart showing an outline of the operation of the present invention in the network.

【符号の説明】[Explanation of symbols]

1…データ蓄積部、2…再生部、3…制御部、4…画像
表示部、5…操作入力部、6…検索処理部、7…表示デ
ータ用バッファ、11…サーバ、12a〜12c…クラ
イアント、13…ネットワーク。
DESCRIPTION OF SYMBOLS 1 ... Data storage part, 2 ... Playing part, 3 ... Control part, 4 ... Image display part, 5 ... Operation input part, 6 ... Search processing part, 7 ... Display data buffer, 11 ... Server, 12a-12c ... Client , 13 ... Network.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−23369(JP,A) 特開 平5−257989(JP,A) 特開 平6−253255(JP,A) 特開 平6−295565(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-7-23369 (JP, A) JP-A-5-257989 (JP, A) JP-A-6-253255 (JP, A) JP-A-6- 295565 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 5/76-5/956

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 ユーザの要求に応じて、あらかじめ蓄積
されたビデオデータを再生、検索する動画像検索装置に
おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、検索画面上に、時間検索、シーン検索および類似検索の
少なくとも1つの検索項目を指定できる検索画面を表示
し、該検索項目の指定操作に従って検索結果を送出する
ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを具備し、前記ビデオデータ検索手段は、前記時間検索とシーン検
索の指定が行われると、指定時間間隔で各時間の画面を
表示し、さらに指定された前記時間の画面からのシーン
検索を行い各シーンの代表画面を表示し、 前記再生手段は該代表画面のどのシーンからでも再生で
きる ことを特徴とする動画像検索装置。
1. A moving image search apparatus for playing back and searching previously stored video data in response to a user's request, and video data storage means for storing video data , and time search and scene search on a search screen. And similar search
Display a search screen where you can specify at least one search item
And a <br/> video data searching means for sending the search results according to the specified operation of the search item, and a reproducing means for reproducing the video data based on the retrieved screen by the video data retrieval means, the The video data search means uses the time search and scene detection.
When the search is specified, the screen for each time will be displayed at the specified time interval.
Display and further scene from the screen at the specified time
A search is performed to display a representative screen of each scene, and the reproducing means can reproduce from any scene of the representative screen.
A moving image search device characterized by being capable of performing .
【請求項2】 ビデオデータを蓄積する手段を有するサ
ーバと、該サーバとクライアントとを接続するネットワ
ークと、該ネットワークに接続されたクライアントとで
構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
検索および類似検索の少なくとも1つの検索項目を指定
できる検索画面を表示し、該検索項目の指定操作に従っ
て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを設け、前記ビデオデータ検索手段は、前記時間検索とシーン検
索の指定が行われると、指定時間間隔で各時間の画面を
表示し、さらに指定された前記時間の画面からのシーン
検索を行い各シーンの代表画面を表示し、 前記再生手段は該代表画面のどのシーンからでも再生で
きる ことを特徴とする動画像検索装置。
Wherein a server having a means for storing video data, and a network connecting the said server and a client, a moving image search device constituted by the clients connected to the network, said server On the search screen to be sent, time search, scene
Specify at least one search item of search and similar search
Display the search screen that can be displayed and follow the operation for specifying the search item.
Video data search means for sending out the search result and playback means for playing back the video data based on the screen searched by the video data search means. The video data search means is provided with the time search and scene detection.
When the search is specified, the screen for each time will be displayed at the specified time interval.
Display and further scene from the screen at the specified time
A search is performed to display a representative screen of each scene, and the reproducing means can reproduce from any scene of the representative screen.
A moving image search device characterized by being capable of performing .
【請求項3】 ユーザの要求に応じて、あらかじめ蓄積
されたビデオデータを再生、検索する動画像検索装置に
おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、 検索画面上に、時間検索、シーン検索および類似検索の
少なくとも1つの検索項目を指定できる検索画面を表示
し、該検索項目の指定操作に従って検索結果を送出する
ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを具備し、 前記ビデオデータ検索手段は、前記時間検索と類似検索
の指定が行われると、指定時間間隔で各時間の画面を表
示し、さらに指定された前記時間の画面以降であって、
指定されたシーンと類似したシーンを検索、表示し、 前記再生手段は、どの類似シーンからでも再生できる
とを特徴とする動画像検索装置。
3. Accumulation in advance according to a user's request
To a moving image search device that plays back and searches for recorded video data
In addition, the video data storage means for storing video data and the time search, scene search and similarity search on the search screen.
Display a search screen where you can specify at least one search item
Then, the search result is sent out in accordance with the designated operation of the search item.
Based on the video data search means and the screen searched by the video data search means
And a reproducing means for reproducing the video data , wherein the video data searching means is the time search and the similarity search.
Is specified, the screen for each time will be displayed at the specified time interval.
And further after the screen of the specified time,
A moving image search device characterized in that a scene similar to a designated scene is searched and displayed, and the reproducing means can reproduce from any similar scene .
【請求項4】 ビデオデータを蓄積する手段を有するサ
ーバと、該サーバとクライアントとを接続するネットワ
ークと、該ネットワークに接続されたクライアントとで
構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
検索および類似検索の少なくとも1つの検索項目を指定
できる検索画面を表示し、該検索項目の指定操作に従っ
て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを設け、 前記ビデオデータ検索手段は、前記時間検索と類似検索
の指定が行われると、指定時間間隔で各時間の画面を表
示し、さらに指定された前記時間の画面以降であって、
指定されたシーンと類似したシーンを検索、表示し、 前記再生手段は、どの類似シーンからでも再生できる
とを特徴とする動画像検索装置。
4. A server having means for storing video data.
Server and a network that connects the server and the client.
Network and clients connected to the network.
A moving image search device configured, wherein a time search and a scene are displayed on a search screen sent by the server.
Specify at least one search item of search and similar search
Display the search screen that can be displayed and follow the operation for specifying the search item.
Based on the screen searched by the video data searching means for sending out the search result by the video data searching means.
And a reproducing means for reproducing the video data, and the video data searching means searches the time search and the similarity search.
Is specified, the screen for each time will be displayed at the specified time interval.
And further after the screen of the specified time,
A moving image search device characterized in that a scene similar to a designated scene is searched and displayed, and the reproducing means can reproduce from any similar scene .
【請求項5】 ユーザの要求に応じて、あらかじめ蓄積
されたビデオデータを再生、検索する動画像検索装置に
おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、 検索画面上に、時間検索、シーン検索および類似検索の
少なくとも1つの検索項目を指定できる検索画面を表示
し、該検索項目の指定操作に従って検索結果を 送出する
ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを具備し、 前記ビデオデータ検索手段は、前記シーン検索と類似検
索の指定が行われると、各シーンの代表画面を表示し、
さらに指定されたシーンと類似したシーンを検索、表示
し、 前記再生手段は、どの類似シーンからでも再生できる
とを特徴とする動画像検索装置。
5. Accumulation in advance according to user's request
To a moving image search device that plays back and searches for recorded video data
In addition, the video data storage means for storing video data and the time search, scene search and similarity search on the search screen.
Display a search screen where you can specify at least one search item
Then, the search result is sent out in accordance with the designated operation of the search item.
Based on the video data search means and the screen searched by the video data search means
And a reproduction means for reproducing video data, wherein the video data search means is similar to the scene search.
When the search is specified, the representative screen of each scene is displayed,
Furthermore, the scene similar to the specified scene is searched and displayed.
And said reproducing means, moving image search device according to claim and this <br/> can play from any similar scene.
【請求項6】 ビデオデータを蓄積する手段を有するサ
ーバと、該サーバとクライアントとを接続するネットワ
ークと、該ネットワークに接続されたクライアントとで
構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
検索および類似検索の少なくとも1つの検索項目を指定
できる検索画面を表示し、該検索項目の指定操作に従っ
て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
いてビデオデータを再生する再生手段とを設け、 前記ビデオデータ検索手段は、前記シーン検索と類似検
索の指定が行われると、各シーンの代表画面を表示し、
さらに指定されたシーンと類似したシーンを検索、表示
し、 前記再生手段は、どの類似シーンからでも再生できる
とを特徴とする動画像検索装置。
6. A server having means for accumulating video data.
Server and a network that connects the server and the client.
Network and clients connected to the network.
A moving image search device configured, wherein a time search and a scene are displayed on a search screen sent by the server.
Specify at least one search item of search and similar search
Display the search screen that can be displayed and follow the operation for specifying the search item.
Based on the screen searched by the video data searching means for sending out the search result by the video data searching means.
And a reproducing means for reproducing video data, and the video data searching means is similar to the scene search.
When the search is specified, the representative screen of each scene is displayed,
Furthermore, the scene similar to the specified scene is searched and displayed.
And said reproducing means, moving image search device according to claim and this <br/> can play from any similar scene.
JP07816996A 1996-03-07 1996-03-07 Video search device Expired - Fee Related JP3529540B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07816996A JP3529540B2 (en) 1996-03-07 1996-03-07 Video search device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07816996A JP3529540B2 (en) 1996-03-07 1996-03-07 Video search device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003112859A Division JP4090936B2 (en) 2003-04-17 2003-04-17 Video search device

Publications (2)

Publication Number Publication Date
JPH09247602A JPH09247602A (en) 1997-09-19
JP3529540B2 true JP3529540B2 (en) 2004-05-24

Family

ID=13654445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07816996A Expired - Fee Related JP3529540B2 (en) 1996-03-07 1996-03-07 Video search device

Country Status (1)

Country Link
JP (1) JP3529540B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480667B1 (en) 1997-12-23 2002-11-12 Intel Corporation Method of time shifting to simultaneously record and play a data stream
US7359619B1 (en) 1997-12-23 2008-04-15 Intel Corporation Transmitting signals to cause replays to be recorded at a plurality of receivers
JP3597690B2 (en) 1998-01-21 2004-12-08 株式会社東芝 Digital information recording and playback system
JP3838775B2 (en) * 1998-03-12 2006-10-25 株式会社東芝 Multimedia processing apparatus and recording medium
US20020054752A1 (en) 1998-08-07 2002-05-09 Anthony Wood Video data recorder with personal channels
WO2000045596A1 (en) * 1999-01-29 2000-08-03 Sony Corporation Data describing method and data processor
JP2000353375A (en) 1999-06-11 2000-12-19 Pioneer Electronic Corp Information editing device and information reproducing device
JP2001028722A (en) 1999-07-13 2001-01-30 Matsushita Electric Ind Co Ltd Moving picture management device and moving picture management system
JP2001086433A (en) * 1999-09-17 2001-03-30 Hitachi Denshi Ltd Method for retrieving and displaying image data in monitoring storage device
JP3812274B2 (en) 2000-03-17 2006-08-23 株式会社日立製作所 VIDEO ACCESS DEVICE AND RECORDING MEDIUM RECORDING VIDEO ACCESS PROGRAM
JP4288442B2 (en) * 2000-05-29 2009-07-01 ソニー株式会社 Recording / reproducing apparatus and video processing method
JP4798594B2 (en) * 2001-05-08 2011-10-19 株式会社メガチップス Image signal processing apparatus and image distribution system
JP4818534B2 (en) * 2001-06-14 2011-11-16 京セラ株式会社 Moving image distribution system, moving image distribution method, and communication terminal device
EP1496701A4 (en) * 2002-04-12 2009-01-14 Mitsubishi Electric Corp Meta data edition device, meta data reproduction device, meta data distribution device, meta data search device, meta data reproduction condition setting device, and meta data distribution method
JP2009088686A (en) * 2007-09-27 2009-04-23 Fujifilm Corp Scene switching point detector and method for detecting scene switching point
CN103593363B (en) * 2012-08-15 2016-12-21 中国科学院声学研究所 The method for building up of video content index structure, video retrieval method and device

Also Published As

Publication number Publication date
JPH09247602A (en) 1997-09-19

Similar Documents

Publication Publication Date Title
US7174055B2 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
JP3529540B2 (en) Video search device
US7356244B2 (en) Method and system for replaying video images
JP3195284B2 (en) Moving image playback control method and image display device to which the method is applied
JPH1066008A (en) Moving image retrieving and editing device
KR20060012299A (en) Method of recording and of replaying and video recording and replay systems
JP2001028722A (en) Moving picture management device and moving picture management system
KR101117915B1 (en) Method and system for playing a same motion picture among heterogeneity terminal
JP2000350165A (en) Moving picture recording and reproducing device
US7697815B2 (en) Video playback unit, video delivery unit and recording medium
KR100657267B1 (en) Storage medium including meta information for search, display playback device, and display playback method therefor
JP4090936B2 (en) Video search device
JP4807250B2 (en) Recording method
JP4574771B2 (en) Image information description method
JP2002185889A (en) Contents retrieval/exhibit system and method, and storage medium
JPH11112870A (en) Animation editing system, animation reproducing system, animation editing reproduction system and medium for recording program of them
JP2002281433A (en) Device for retrieving and reading editing moving image and recording medium
JP2012044451A (en) Image reproduction device, control method therefor, image reproduction program, and recording medium
JP3478512B2 (en) Two-way cable television system, cable television device, and terminal device
JP5034608B2 (en) Recording method
JPH11239322A (en) Video browsing and viewing system
JP2002199345A (en) Animation retrieving device
JP2003046928A (en) Network image reproduction method and compression image data decoding reproduction apparatus
JP4946426B2 (en) Recording method
JP2002262240A (en) Method for retrieving video recorded scene and recording and reproducing device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040225

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160305

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees