JPH0746517A - 動画像検索方法及び装置 - Google Patents
動画像検索方法及び装置Info
- Publication number
- JPH0746517A JPH0746517A JP5188298A JP18829893A JPH0746517A JP H0746517 A JPH0746517 A JP H0746517A JP 5188298 A JP5188298 A JP 5188298A JP 18829893 A JP18829893 A JP 18829893A JP H0746517 A JPH0746517 A JP H0746517A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- scene
- feature amount
- scene change
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
る。 【構成】 動画像の入力蓄積時に、シーン・チェンジ自
動検出手段10は、シーン・チェンジを検出し、特徴量
計算手段12は、各シーンの特徴量を計算する。特徴量
は、記憶装置に動画像と一緒に記憶される。検索時に
は、シーン・チェンジ自動検出手段16が、入力された
動画像のシーン・チェンジを検出し、特徴量計算手段1
8は、各シーンの特徴量を計算する。対応判定手段20
は、蓄積された動画像の特徴量と、検索キーとして入力
された動画像の特徴量を比較し、対応するか否かをを判
定する。
Description
置に関する。
情報を提示する従来の動画像検索装置は、動画像に予め
与えられた分類コードや各種関連情報の一部を用いて検
索を行なうものや、実際にユーザが早送りや一定時間お
きのフレーム系列を見ながら検索するものがほとんどで
ある。
おいても、ある1フレームのみを入力し、それに該当す
るフレームを全フレームから捜し出すものであった。
うな欠点がある。即ち、分類コードなどの情報で検索す
る場合には、ユーザはそれらの情報を記憶していなけれ
ばならず、例えば、ビデオ・テープ上のあるシーンに関
する関連情報を知りたいが、テープ現物以外に手がかり
が全く無い場合には、利用できない。
れた動画像が少数の場合には実行可能であるが、多数の
場合には検索に費やす時間が長くなり、現実的では無
い。
は、入力されたフレーム画像が、蓄積された動画像中の
フレーム画像と同じであることを判定する方法として、
パターン・マッチング又は画像特徴量のマッチングが考
えられる。前者は、検索時にパターン・マッチング自体
にかなりの時間がかかり、後者は、動画像の蓄積時に特
徴量を計算しておかなければならず、その計算にかなり
の時間がかかる。
画像検索方法及び装置を提示することを目的とする。
方法は、動画像のシーン・チェンジを検出する検出ステ
ップと、当該検出ステップで切り出された各シーンに対
する特徴量を計算する特徴量計算ステップと、当該特徴
量の系列が検索対象の特徴量の系列に対応するか否かを
判別する判別ステップとからなることを特徴とする。
シーン・チェンジを検出する検出手段と、当該検出手段
で切り出された各シーンに対する特徴量を計算する特徴
量計算手段と、当該特徴量の系列が検索対象の特徴量の
系列に対応するか否かを判別する判別手段とからなるこ
とを特徴とする。
能になる。
に説明する。
示す図である。動作モードとしては、検索対象となる複
数の動画像を蓄積する入力蓄積過程と、与えられた動画
像から検索を実行する検索過程とに分類できる。シーン
・チェンジ自動検出手段10,16、特徴量計算手段1
2,18及び対応判定手段20が、本実施例の特徴をな
す。
の構成ブロック図を示す。30はCPU、32はCPU
30のメインメモリ、34はビデオ装置36からのアナ
ログ・ビデオ信号をディジタル信号に変換し、内蔵する
プロセッサ・ユニットによりフレーム・メモリ38に転
送するビデオ・ボード、40は画像を表示するコンソー
ルである。42はハード・ディスク装置である。
に直接アクセス可能であり、ディジタル動画像を直接処
理できる。
報や関連情報は、ハード・ディスク装置42に蓄積さ
れ、その内容は検索時に参照される。
像の入力蓄積系と、動画像をキーとして与える検索系の
両方に、シーン・チェンジ自動検出手段10,16(図
1)を設ける。シーン・チェンジとはカメラが切り替わ
るなどの、動画像としての画像系列が不連続に変化する
ところをいう。本実施例では、CPU30が実行するソ
フトウエアでシーン・チェンジ自動検出手段10,16
を実現する。
ビデオ再生装置等からの動画像がA/D変換されて、順
次、書き込まれる。
ェンジ検出アルゴリズムを示す。図3は時間的に連続す
る2枚の画像データの差分値の総和があるしきい値を越
えると、シーン・チェンジと見做す方式、図4は、時間
的に連続する2枚の画像データの差分値大きい(しきい
値を越える)画素数があるしきい値を越えたときにシー
ン・チェンジと見做す方式、図5は時間的に連続する2
枚の画像データのヒストグラムの形状が類似していない
場合にシーン・チェンジと見做す方式である。ちなみ
に、ヒストグラムの形状の非類似性は、ヒストグラムで
の各頻度値の差分値の総和の大きさで判定できる。
してシーン・チェンジが検出されると、シーン毎にシー
ン開始フレームと終了フレームが得られる。即ち、入力
動画像に対してそのシーン数と、各シーンの開始及び終
了フレーム番号ペアが、図6のように付加される。
各シーンの長さ(シーン・チェンジ間のフレーム数)を
特徴量とする。これは、各シーンの終了フレーム番号か
ら開始フレーム番号を減算し、その結果に1を加算する
ことで算出できる。また、その他に、入力蓄積時には動
画像に関する関連情報もユーザから与えられ、各動画像
は図7のように蓄積される。ここでは、関連情報の例と
して、動画像名称、種類、映像ソース及び入力日を、一
緒に蓄積する。
され、上述したシーン・チェンジ自動検出及び特徴抽出
が行なわれ、特徴量(フレーム数)の系列が得られる。
シーン数が3以下の場合、「キーとなる入力動画像が短
すぎる」という旨のメッセージを出して、検索を行なわ
ない。入力動画像のシーン数が4以上の場合には、最初
と最後のシーンを無視して、その間に含まれたシーン系
列のみに注目する。図8は、検索キーとしての特徴系列
の抽出過程を示す。
蓄積時に蓄積された特徴量系列中のどこと適合するかを
判定する。判定アルゴリズムは、本実施例では、単純に
入力系列をベクトルと見做し、蓄積される系列数が同じ
である全ての部分系列を候補にしてベクトル空間上の距
離があるしきい値以下であれば適合とする簡単なものを
採用する。図9は、その判定アルゴリズムを図示する。
どの動画像に関する関連情報と適合した部分を求め、そ
の情報がユーザに提示される。
ンジ間のフレーム数を用いたが、これに限らず、他の特
徴量を用いてもよい。また、本実施例では非常に簡単な
ものを採用したが、実際には誤った検索結果を含む可能
性があり、候補選択という意味合いが強い。信頼性向上
を目的とし、候補確認のため各シーンの中央フレームの
画像との間でパターン・マッチングを行なうなどの確認
処理が考えられる。ここでのパターン・マッチングと
は、例えば、画像間の差分値の総和のしきい値処理でよ
い。
に、本発明によれば、動画像を検索キーとする検索が可
能になる。しかも、入力蓄積時及び検索時のどちらにお
いても、特に時間をかけることなく、与えられた動画像
自体から関連情報の検索が可能になる。
る。
ック図である。
である。
である。
である。
である。
ある。
示す図である。
示す図である。
8:特徴量計算手段 20:対応判定手段 30:CPU 32:メインメモリ 34:ビデオ・ボ
ード 36:ビデオ装置 38:フレーム・メモリ 40:コ
ンソール 42:ハード・ディスク装置
Claims (2)
- 【請求項1】 動画像のシーン・チェンジを検出する検
出ステップと、当該検出ステップで切り出された各シー
ンに対する特徴量を計算する特徴量計算ステップと、当
該特徴量の系列が検索対象の特徴量の系列に対応するか
否かを判別する判別ステップとからなることを特徴とす
る動画像検索方法。 - 【請求項2】 動画像のシーン・チェンジを検出する検
出手段と、当該検出手段で切り出された各シーンに対す
る特徴量を計算する特徴量計算手段と、当該特徴量の系
列が検索対象の特徴量の系列に対応するか否かを判別す
る判別手段とからなることを特徴とする動画像検索装
置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18829893A JP3200784B2 (ja) | 1993-07-29 | 1993-07-29 | 動画像検索方法及び装置 |
US08/281,007 US6606636B1 (en) | 1993-07-29 | 1994-07-27 | Method and apparatus for retrieving dynamic images and method of and apparatus for managing images |
EP94305599A EP0636994B1 (en) | 1993-07-29 | 1994-07-28 | Method of and apparatus for retrieving dynamic images and method of and apparatus for managing images |
DE69432544T DE69432544T2 (de) | 1993-07-29 | 1994-07-28 | Verfahren und Gerät zum Wiederauffinden von dynamischen Bildern und zur Verwaltung von Bildern |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18829893A JP3200784B2 (ja) | 1993-07-29 | 1993-07-29 | 動画像検索方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0746517A true JPH0746517A (ja) | 1995-02-14 |
JP3200784B2 JP3200784B2 (ja) | 2001-08-20 |
Family
ID=16221175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18829893A Expired - Fee Related JP3200784B2 (ja) | 1993-07-29 | 1993-07-29 | 動画像検索方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3200784B2 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JPH0965287A (ja) * | 1995-08-18 | 1997-03-07 | Hitachi Ltd | 動画像の特徴場面検出方法及び装置 |
JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
US6275534B1 (en) | 1997-03-19 | 2001-08-14 | Nec Corporation | Moving picture transmission system and moving picture transmission apparatus used therein |
US6587637B2 (en) | 1997-05-16 | 2003-07-01 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
US6792043B1 (en) | 1998-10-23 | 2004-09-14 | Telecommunications Advancement Organization Of Japan | Method, apparatus and program products for retrieving moving image |
JP2006279429A (ja) * | 2005-03-29 | 2006-10-12 | Kddi Corp | 映像コンテンツの推薦システム |
JP2007200249A (ja) * | 2006-01-30 | 2007-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
JP2008522522A (ja) * | 2004-11-30 | 2008-06-26 | ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ | ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 |
US7417690B2 (en) | 1998-03-12 | 2008-08-26 | Kabushiki Kaisha Toshiba | Video processing system and video processing method |
EP1781027A3 (en) * | 2005-10-25 | 2008-12-24 | Sony Corporation | A display control device, and associated method of identifying content |
JP2009134803A (ja) * | 2007-11-29 | 2009-06-18 | Sony Corp | 情報記録装置、情報記録システムおよび情報記録方法 |
JP2010011501A (ja) * | 2009-10-13 | 2010-01-14 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよび記録媒体 |
US8036261B2 (en) | 2004-11-10 | 2011-10-11 | Kabushiki Kaisha Toshiba | Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program |
JP2012222450A (ja) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 類似映像出力方法、類似映像出力装置および類似映像出力プログラム |
JP2014503095A (ja) * | 2011-01-07 | 2014-02-06 | アルカテル−ルーセント | 映像を比較する方法および装置 |
US8817104B2 (en) | 2007-08-20 | 2014-08-26 | Sony Corporation | Data processing device and data processing method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2807902B1 (fr) * | 2000-04-17 | 2002-10-25 | Thomson Multimedia Sa | Procede de detection de changement de plan dans une succession d'images video |
-
1993
- 1993-07-29 JP JP18829893A patent/JP3200784B2/ja not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JPH0965287A (ja) * | 1995-08-18 | 1997-03-07 | Hitachi Ltd | 動画像の特徴場面検出方法及び装置 |
US6275534B1 (en) | 1997-03-19 | 2001-08-14 | Nec Corporation | Moving picture transmission system and moving picture transmission apparatus used therein |
US7254311B2 (en) | 1997-05-16 | 2007-08-07 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
US6587637B2 (en) | 1997-05-16 | 2003-07-01 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
US7181127B2 (en) | 1997-05-16 | 2007-02-20 | Hitachi, Ltd. | Image retrieving method and apparatuses therefor |
US7181126B2 (en) | 1997-05-16 | 2007-02-20 | Hiatchi, Ltd. | Image retrieving method and apparatuses therefor |
US7417690B2 (en) | 1998-03-12 | 2008-08-26 | Kabushiki Kaisha Toshiba | Video processing system and video processing method |
US6792043B1 (en) | 1998-10-23 | 2004-09-14 | Telecommunications Advancement Organization Of Japan | Method, apparatus and program products for retrieving moving image |
JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
US8036261B2 (en) | 2004-11-10 | 2011-10-11 | Kabushiki Kaisha Toshiba | Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program |
JP2008522522A (ja) * | 2004-11-30 | 2008-06-26 | ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ | ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 |
JP2006279429A (ja) * | 2005-03-29 | 2006-10-12 | Kddi Corp | 映像コンテンツの推薦システム |
US8009232B2 (en) | 2005-10-25 | 2011-08-30 | Sony Corporation | Display control device, and associated method of identifying content |
EP1781027A3 (en) * | 2005-10-25 | 2008-12-24 | Sony Corporation | A display control device, and associated method of identifying content |
JP2007200249A (ja) * | 2006-01-30 | 2007-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
US8817104B2 (en) | 2007-08-20 | 2014-08-26 | Sony Corporation | Data processing device and data processing method |
JP2009134803A (ja) * | 2007-11-29 | 2009-06-18 | Sony Corp | 情報記録装置、情報記録システムおよび情報記録方法 |
US8184955B2 (en) | 2007-11-29 | 2012-05-22 | Sony Corporation | Information recording apparatus, information recording system, and information recording method |
JP2010011501A (ja) * | 2009-10-13 | 2010-01-14 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよび記録媒体 |
JP2014503095A (ja) * | 2011-01-07 | 2014-02-06 | アルカテル−ルーセント | 映像を比較する方法および装置 |
JP2012222450A (ja) * | 2011-04-05 | 2012-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 類似映像出力方法、類似映像出力装置および類似映像出力プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3200784B2 (ja) | 2001-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3200784B2 (ja) | 動画像検索方法及び装置 | |
US11270108B2 (en) | Object tracking method and apparatus | |
US8160299B2 (en) | Image processing apparatus | |
US7075683B1 (en) | Dynamic image digest automatic editing system and dynamic image digest automatic editing method | |
US8488682B2 (en) | System and method for extracting text captions from video and generating video summaries | |
US7376274B2 (en) | Method and apparatus for use in video searching | |
US7802188B2 (en) | Method and apparatus for identifying selected portions of a video stream | |
US6342904B1 (en) | Creating a slide presentation from full motion video | |
JP3175632B2 (ja) | シーンチェンジ検出方法およびシーンチェンジ検出装置 | |
US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
JP3131560B2 (ja) | 動画像処理システムにおける動画像情報検出装置 | |
US6606636B1 (en) | Method and apparatus for retrieving dynamic images and method of and apparatus for managing images | |
JP3469122B2 (ja) | 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体 | |
JP3330348B2 (ja) | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 | |
JP3379453B2 (ja) | 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 | |
JPH0520367A (ja) | インデツクス作成方式 | |
CN109543511B (zh) | 基于图纹突变帧和特征计算的视频识别方法、系统及装置 | |
JP2000132692A (ja) | 曲線の特徴点抽出方法及びこの方法を記録した記録媒体 | |
JP2009049667A (ja) | 情報処理装置、その処理方法およびプログラム | |
KR100392257B1 (ko) | 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법 | |
JPH1139477A (ja) | 対応点探索装置 | |
JPH10154148A (ja) | 動画像検索装置 | |
JPH10171831A (ja) | 画像ファイル検索装置 | |
JPH05257989A (ja) | 動画像検索支援方式 | |
JP2010021728A (ja) | 画像処理装置、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010516 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080622 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090622 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090622 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110622 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120622 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130622 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |