JPH0746517A - 動画像検索方法及び装置 - Google Patents

動画像検索方法及び装置

Info

Publication number
JPH0746517A
JPH0746517A JP5188298A JP18829893A JPH0746517A JP H0746517 A JPH0746517 A JP H0746517A JP 5188298 A JP5188298 A JP 5188298A JP 18829893 A JP18829893 A JP 18829893A JP H0746517 A JPH0746517 A JP H0746517A
Authority
JP
Japan
Prior art keywords
moving image
scene
feature amount
scene change
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5188298A
Other languages
English (en)
Other versions
JP3200784B2 (ja
Inventor
Hiroshi Okazaki
洋 岡崎
Hiroaki Sato
宏明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18829893A priority Critical patent/JP3200784B2/ja
Priority to US08/281,007 priority patent/US6606636B1/en
Priority to DE69432544T priority patent/DE69432544T2/de
Priority to EP94305599A priority patent/EP0636994B1/en
Publication of JPH0746517A publication Critical patent/JPH0746517A/ja
Application granted granted Critical
Publication of JP3200784B2 publication Critical patent/JP3200784B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【目的】 動画像を検索キーとして検索出来るようにす
る。 【構成】 動画像の入力蓄積時に、シーン・チェンジ自
動検出手段10は、シーン・チェンジを検出し、特徴量
計算手段12は、各シーンの特徴量を計算する。特徴量
は、記憶装置に動画像と一緒に記憶される。検索時に
は、シーン・チェンジ自動検出手段16が、入力された
動画像のシーン・チェンジを検出し、特徴量計算手段1
8は、各シーンの特徴量を計算する。対応判定手段20
は、蓄積された動画像の特徴量と、検索キーとして入力
された動画像の特徴量を比較し、対応するか否かをを判
定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像検索方法及び装
置に関する。
【0002】
【従来の技術】予め蓄積された動画像に関する各種関連
情報を提示する従来の動画像検索装置は、動画像に予め
与えられた分類コードや各種関連情報の一部を用いて検
索を行なうものや、実際にユーザが早送りや一定時間お
きのフレーム系列を見ながら検索するものがほとんどで
ある。
【0003】また、画像自身を入力して検索する方式に
おいても、ある1フレームのみを入力し、それに該当す
るフレームを全フレームから捜し出すものであった。
【0004】
【発明が解決しようとする課題】従来例では、以下のよ
うな欠点がある。即ち、分類コードなどの情報で検索す
る場合には、ユーザはそれらの情報を記憶していなけれ
ばならず、例えば、ビデオ・テープ上のあるシーンに関
する関連情報を知りたいが、テープ現物以外に手がかり
が全く無い場合には、利用できない。
【0005】早送りなどの目視による検索では、蓄積さ
れた動画像が少数の場合には実行可能であるが、多数の
場合には検索に費やす時間が長くなり、現実的では無
い。
【0006】1フレームのみを入力して検索する方法で
は、入力されたフレーム画像が、蓄積された動画像中の
フレーム画像と同じであることを判定する方法として、
パターン・マッチング又は画像特徴量のマッチングが考
えられる。前者は、検索時にパターン・マッチング自体
にかなりの時間がかかり、後者は、動画像の蓄積時に特
徴量を計算しておかなければならず、その計算にかなり
の時間がかかる。
【0007】本発明は、短時間で効率的に検索出来る動
画像検索方法及び装置を提示することを目的とする。
【0008】
【課題を解決するための手段】本発明に係る動画像検索
方法は、動画像のシーン・チェンジを検出する検出ステ
ップと、当該検出ステップで切り出された各シーンに対
する特徴量を計算する特徴量計算ステップと、当該特徴
量の系列が検索対象の特徴量の系列に対応するか否かを
判別する判別ステップとからなることを特徴とする。
【0009】本発明に係る動画像検索装置は、動画像の
シーン・チェンジを検出する検出手段と、当該検出手段
で切り出された各シーンに対する特徴量を計算する特徴
量計算手段と、当該特徴量の系列が検索対象の特徴量の
系列に対応するか否かを判別する判別手段とからなるこ
とを特徴とする。
【0010】
【作用】上記手段により、動画像をキーとする検索が可
能になる。
【0011】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
【0012】図1は、本発明の一実施例の手順の流れを
示す図である。動作モードとしては、検索対象となる複
数の動画像を蓄積する入力蓄積過程と、与えられた動画
像から検索を実行する検索過程とに分類できる。シーン
・チェンジ自動検出手段10,16、特徴量計算手段1
2,18及び対応判定手段20が、本実施例の特徴をな
す。
【0013】図2は、本実施例を実現するハードウエア
の構成ブロック図を示す。30はCPU、32はCPU
30のメインメモリ、34はビデオ装置36からのアナ
ログ・ビデオ信号をディジタル信号に変換し、内蔵する
プロセッサ・ユニットによりフレーム・メモリ38に転
送するビデオ・ボード、40は画像を表示するコンソー
ルである。42はハード・ディスク装置である。
【0014】CPU30はまた、フレーム・メモリ38
に直接アクセス可能であり、ディジタル動画像を直接処
理できる。
【0015】入力蓄積時に抽出又は与えられたシーン情
報や関連情報は、ハード・ディスク装置42に蓄積さ
れ、その内容は検索時に参照される。
【0016】本実施例では、データベース作成時の動画
像の入力蓄積系と、動画像をキーとして与える検索系の
両方に、シーン・チェンジ自動検出手段10,16(図
1)を設ける。シーン・チェンジとはカメラが切り替わ
るなどの、動画像としての画像系列が不連続に変化する
ところをいう。本実施例では、CPU30が実行するソ
フトウエアでシーン・チェンジ自動検出手段10,16
を実現する。
【0017】図2のフレーム・メモリ38には、外部の
ビデオ再生装置等からの動画像がA/D変換されて、順
次、書き込まれる。
【0018】図3、図4及び図5は、複数のシーン・チ
ェンジ検出アルゴリズムを示す。図3は時間的に連続す
る2枚の画像データの差分値の総和があるしきい値を越
えると、シーン・チェンジと見做す方式、図4は、時間
的に連続する2枚の画像データの差分値大きい(しきい
値を越える)画素数があるしきい値を越えたときにシー
ン・チェンジと見做す方式、図5は時間的に連続する2
枚の画像データのヒストグラムの形状が類似していない
場合にシーン・チェンジと見做す方式である。ちなみ
に、ヒストグラムの形状の非類似性は、ヒストグラムで
の各頻度値の差分値の総和の大きさで判定できる。
【0019】入力蓄積時に上記のように入力動画像に対
してシーン・チェンジが検出されると、シーン毎にシー
ン開始フレームと終了フレームが得られる。即ち、入力
動画像に対してそのシーン数と、各シーンの開始及び終
了フレーム番号ペアが、図6のように付加される。
【0020】次に、本実施例では、特徴量抽出手段は、
各シーンの長さ(シーン・チェンジ間のフレーム数)を
特徴量とする。これは、各シーンの終了フレーム番号か
ら開始フレーム番号を減算し、その結果に1を加算する
ことで算出できる。また、その他に、入力蓄積時には動
画像に関する関連情報もユーザから与えられ、各動画像
は図7のように蓄積される。ここでは、関連情報の例と
して、動画像名称、種類、映像ソース及び入力日を、一
緒に蓄積する。
【0021】検索時には、検索キーとなる動画像が入力
され、上述したシーン・チェンジ自動検出及び特徴抽出
が行なわれ、特徴量(フレーム数)の系列が得られる。
シーン数が3以下の場合、「キーとなる入力動画像が短
すぎる」という旨のメッセージを出して、検索を行なわ
ない。入力動画像のシーン数が4以上の場合には、最初
と最後のシーンを無視して、その間に含まれたシーン系
列のみに注目する。図8は、検索キーとしての特徴系列
の抽出過程を示す。
【0022】次に、検索時に得られた特徴系列が、入力
蓄積時に蓄積された特徴量系列中のどこと適合するかを
判定する。判定アルゴリズムは、本実施例では、単純に
入力系列をベクトルと見做し、蓄積される系列数が同じ
である全ての部分系列を候補にしてベクトル空間上の距
離があるしきい値以下であれば適合とする簡単なものを
採用する。図9は、その判定アルゴリズムを図示する。
【0023】適合シーンが得られると、検索結果として
どの動画像に関する関連情報と適合した部分を求め、そ
の情報がユーザに提示される。
【0024】上記実施例では特徴量としてシーン・チェ
ンジ間のフレーム数を用いたが、これに限らず、他の特
徴量を用いてもよい。また、本実施例では非常に簡単な
ものを採用したが、実際には誤った検索結果を含む可能
性があり、候補選択という意味合いが強い。信頼性向上
を目的とし、候補確認のため各シーンの中央フレームの
画像との間でパターン・マッチングを行なうなどの確認
処理が考えられる。ここでのパターン・マッチングと
は、例えば、画像間の差分値の総和のしきい値処理でよ
い。
【0025】
【発明の効果】以上の説明により容易に理解できるよう
に、本発明によれば、動画像を検索キーとする検索が可
能になる。しかも、入力蓄積時及び検索時のどちらにお
いても、特に時間をかけることなく、与えられた動画像
自体から関連情報の検索が可能になる。
【図面の簡単な説明】
【図1】 本発明の一実施例の手順の流れを示す図であ
る。
【図2】 本実施例を実現するハードウエアの構成ブロ
ック図である。
【図3】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図4】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図5】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図6】 シーン・チェンジで付加される情報を示す図
である。
【図7】 入力動画像に関する蓄積関連情報を示す図で
ある。
【図8】 検索キーとなる特徴量系列を抽出する過程を
示す図である。
【図9】 入力動画像と蓄積動画像間の対応判定過程を
示す図である。
【符号の説明】
10,16:シーン・チェンジ自動検出手段 12,1
8:特徴量計算手段 20:対応判定手段 30:CPU 32:メインメモリ 34:ビデオ・ボ
ード 36:ビデオ装置 38:フレーム・メモリ 40:コ
ンソール 42:ハード・ディスク装置

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 動画像のシーン・チェンジを検出する検
    出ステップと、当該検出ステップで切り出された各シー
    ンに対する特徴量を計算する特徴量計算ステップと、当
    該特徴量の系列が検索対象の特徴量の系列に対応するか
    否かを判別する判別ステップとからなることを特徴とす
    る動画像検索方法。
  2. 【請求項2】 動画像のシーン・チェンジを検出する検
    出手段と、当該検出手段で切り出された各シーンに対す
    る特徴量を計算する特徴量計算手段と、当該特徴量の系
    列が検索対象の特徴量の系列に対応するか否かを判別す
    る判別手段とからなることを特徴とする動画像検索装
    置。
JP18829893A 1993-07-29 1993-07-29 動画像検索方法及び装置 Expired - Fee Related JP3200784B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP18829893A JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置
US08/281,007 US6606636B1 (en) 1993-07-29 1994-07-27 Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
DE69432544T DE69432544T2 (de) 1993-07-29 1994-07-28 Verfahren und Gerät zum Wiederauffinden von dynamischen Bildern und zur Verwaltung von Bildern
EP94305599A EP0636994B1 (en) 1993-07-29 1994-07-28 Method of and apparatus for retrieving dynamic images and method of and apparatus for managing images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18829893A JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置

Publications (2)

Publication Number Publication Date
JPH0746517A true JPH0746517A (ja) 1995-02-14
JP3200784B2 JP3200784B2 (ja) 2001-08-20

Family

ID=16221175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18829893A Expired - Fee Related JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置

Country Status (1)

Country Link
JP (1) JP3200784B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
JPH0965287A (ja) * 1995-08-18 1997-03-07 Hitachi Ltd 動画像の特徴場面検出方法及び装置
JP2001086434A (ja) * 1999-07-08 2001-03-30 Hyundai Electronics Ind Co Ltd 動き程度記述方法を用いる動映像索引及び検索方法
US6275534B1 (en) 1997-03-19 2001-08-14 Nec Corporation Moving picture transmission system and moving picture transmission apparatus used therein
US6587637B2 (en) 1997-05-16 2003-07-01 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US6792043B1 (en) 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
JP2006279429A (ja) * 2005-03-29 2006-10-12 Kddi Corp 映像コンテンツの推薦システム
JP2007200249A (ja) * 2006-01-30 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
US7417690B2 (en) 1998-03-12 2008-08-26 Kabushiki Kaisha Toshiba Video processing system and video processing method
EP1781027A3 (en) * 2005-10-25 2008-12-24 Sony Corporation A display control device, and associated method of identifying content
JP2009134803A (ja) * 2007-11-29 2009-06-18 Sony Corp 情報記録装置、情報記録システムおよび情報記録方法
JP2010011501A (ja) * 2009-10-13 2010-01-14 Sony Corp 情報処理装置、情報処理方法、プログラムおよび記録媒体
US8036261B2 (en) 2004-11-10 2011-10-11 Kabushiki Kaisha Toshiba Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program
JP2012222450A (ja) * 2011-04-05 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 類似映像出力方法、類似映像出力装置および類似映像出力プログラム
JP2014503095A (ja) * 2011-01-07 2014-02-06 アルカテル−ルーセント 映像を比較する方法および装置
US8817104B2 (en) 2007-08-20 2014-08-26 Sony Corporation Data processing device and data processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2807902B1 (fr) * 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07114567A (ja) * 1993-10-20 1995-05-02 Hitachi Ltd ビデオの検索方法および装置
JPH0965287A (ja) * 1995-08-18 1997-03-07 Hitachi Ltd 動画像の特徴場面検出方法及び装置
US6275534B1 (en) 1997-03-19 2001-08-14 Nec Corporation Moving picture transmission system and moving picture transmission apparatus used therein
US7254311B2 (en) 1997-05-16 2007-08-07 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US6587637B2 (en) 1997-05-16 2003-07-01 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US7181126B2 (en) 1997-05-16 2007-02-20 Hiatchi, Ltd. Image retrieving method and apparatuses therefor
US7181127B2 (en) 1997-05-16 2007-02-20 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US7417690B2 (en) 1998-03-12 2008-08-26 Kabushiki Kaisha Toshiba Video processing system and video processing method
US6792043B1 (en) 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
JP2001086434A (ja) * 1999-07-08 2001-03-30 Hyundai Electronics Ind Co Ltd 動き程度記述方法を用いる動映像索引及び検索方法
US8036261B2 (en) 2004-11-10 2011-10-11 Kabushiki Kaisha Toshiba Feature-vector generation apparatus, search apparatus, feature-vector generation method, search method and program
JP2008522522A (ja) * 2004-11-30 2008-06-26 ザ ユニバーシティー コート オブ ザ ユニバーシティー オブ セント アンドリューズ ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品
JP2006279429A (ja) * 2005-03-29 2006-10-12 Kddi Corp 映像コンテンツの推薦システム
US8009232B2 (en) 2005-10-25 2011-08-30 Sony Corporation Display control device, and associated method of identifying content
EP1781027A3 (en) * 2005-10-25 2008-12-24 Sony Corporation A display control device, and associated method of identifying content
JP2007200249A (ja) * 2006-01-30 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
US8817104B2 (en) 2007-08-20 2014-08-26 Sony Corporation Data processing device and data processing method
JP2009134803A (ja) * 2007-11-29 2009-06-18 Sony Corp 情報記録装置、情報記録システムおよび情報記録方法
US8184955B2 (en) 2007-11-29 2012-05-22 Sony Corporation Information recording apparatus, information recording system, and information recording method
JP2010011501A (ja) * 2009-10-13 2010-01-14 Sony Corp 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2014503095A (ja) * 2011-01-07 2014-02-06 アルカテル−ルーセント 映像を比較する方法および装置
JP2012222450A (ja) * 2011-04-05 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 類似映像出力方法、類似映像出力装置および類似映像出力プログラム

Also Published As

Publication number Publication date
JP3200784B2 (ja) 2001-08-20

Similar Documents

Publication Publication Date Title
JP3200784B2 (ja) 動画像検索方法及び装置
US8160299B2 (en) Image processing apparatus
US7075683B1 (en) Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US11270108B2 (en) Object tracking method and apparatus
US8488682B2 (en) System and method for extracting text captions from video and generating video summaries
US7376274B2 (en) Method and apparatus for use in video searching
US7802188B2 (en) Method and apparatus for identifying selected portions of a video stream
US6342904B1 (en) Creating a slide presentation from full motion video
JP3175632B2 (ja) シーンチェンジ検出方法およびシーンチェンジ検出装置
US8971585B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
JP3131560B2 (ja) 動画像処理システムにおける動画像情報検出装置
US6606636B1 (en) Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
JP3469122B2 (ja) 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP3330348B2 (ja) 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP3379453B2 (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JPH0520367A (ja) インデツクス作成方式
CN109543511B (zh) 基于图纹突变帧和特征计算的视频识别方法、系统及装置
JP2000132692A (ja) 曲線の特徴点抽出方法及びこの方法を記録した記録媒体
JP2009049667A (ja) 情報処理装置、その処理方法およびプログラム
KR100392257B1 (ko) 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
JPH1139477A (ja) 対応点探索装置
JPH10154148A (ja) 動画像検索装置
JPH10171831A (ja) 画像ファイル検索装置
JPH05257989A (ja) 動画像検索支援方式
JP2010021728A (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees