JP3200784B2 - 動画像検索方法及び装置 - Google Patents

動画像検索方法及び装置

Info

Publication number
JP3200784B2
JP3200784B2 JP18829893A JP18829893A JP3200784B2 JP 3200784 B2 JP3200784 B2 JP 3200784B2 JP 18829893 A JP18829893 A JP 18829893A JP 18829893 A JP18829893 A JP 18829893A JP 3200784 B2 JP3200784 B2 JP 3200784B2
Authority
JP
Japan
Prior art keywords
moving image
scene
feature
sequence
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18829893A
Other languages
English (en)
Other versions
JPH0746517A (ja
Inventor
洋 岡崎
宏明 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP18829893A priority Critical patent/JP3200784B2/ja
Priority to US08/281,007 priority patent/US6606636B1/en
Priority to EP94305599A priority patent/EP0636994B1/en
Priority to DE69432544T priority patent/DE69432544T2/de
Publication of JPH0746517A publication Critical patent/JPH0746517A/ja
Application granted granted Critical
Publication of JP3200784B2 publication Critical patent/JP3200784B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像検索方法及び装
置に関する。
【0002】
【従来の技術】予め蓄積された動画像に関する各種関連
情報を提示する従来の動画像検索装置は、動画像に予め
与えられた分類コードや各種関連情報の一部を用いて検
索を行なうものや、実際にユーザが早送りや一定時間お
きのフレーム系列を見ながら検索するものがほとんどで
ある。
【0003】また、画像自身を入力して検索する方式に
おいても、ある1フレームのみを入力し、それに該当す
るフレームを全フレームから捜し出すものであった。
【0004】
【発明が解決しようとする課題】従来例では、以下のよ
うな欠点がある。即ち、分類コードなどの情報で検索す
る場合には、ユーザはそれらの情報を記憶していなけれ
ばならず、例えば、ビデオ・テープ上のあるシーンに関
する関連情報を知りたいが、テープ現物以外に手がかり
が全く無い場合には、利用できない。
【0005】早送りなどの目視による検索では、蓄積さ
れた動画像が少数の場合には実行可能であるが、多数の
場合には検索に費やす時間が長くなり、現実的では無
い。
【0006】1フレームのみを入力して検索する方法で
は、入力されたフレーム画像が、蓄積された動画像中の
フレーム画像と同じであることを判定する方法として、
パターン・マッチング又は画像特徴量のマッチングが考
えられる。前者は、検索時にパターン・マッチング自体
にかなりの時間がかかり、後者は、動画像の蓄積時に特
徴量を計算しておかなければならず、その計算にかなり
の時間がかかる。
【0007】本発明は、短時間で効率的に検索出来る動
画像検索方法及び装置を提示することを目的とする。
【0008】
【課題を解決するための手段】本発明に係る動画像検索
方法は、動画像のシーン・チェンジを検出する検出ステ
ップと、当該検出ステップで切り出された各シーンに対
する特徴量を計算し、複数のシーンについての当該特徴
量の系列を得る特徴量系列生成ステップと、当該特徴量
の系列が検索対象の特徴量の系列に対応するか否かを判
別する判別ステップとからなることを特徴とする。
【0009】本発明に係る動画像検索装置は、動画像の
シーン・チェンジを検出する検出手段と、当該検出手段
で切り出された各シーンに対する特徴量を計算し、複数
のシーンについての当該特徴量の系列を得る特徴量系列
生成手段と、当該特徴量の系列が検索対象の特徴量の系
列に対応するか否かを判別する判別手段とからなること
を特徴とする。
【0010】
【0011】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
【0012】図1は、本発明の一実施例の手順の流れを
示す図である。動作モードとしては、検索対象となる複
数の動画像を蓄積する入力蓄積過程と、与えられた動画
像から検索を実行する検索過程とに分類できる。シーン
・チェンジ自動検出手段10,16、特徴量計算手段1
2,18及び対応判定手段20が、本実施例の特徴をな
す。
【0013】図2は、本実施例を実現するハードウエア
の構成ブロック図を示す。30はCPU、32はCPU
30のメインメモリ、34はビデオ装置36からのアナ
ログ・ビデオ信号をディジタル信号に変換し、内蔵する
プロセッサ・ユニットによりフレーム・メモリ38に転
送するビデオ・ボード、40は画像を表示するコンソー
ルである。42はハード・ディスク装置である。
【0014】CPU30はまた、フレーム・メモリ38
に直接アクセス可能であり、ディジタル動画像を直接処
理できる。
【0015】入力蓄積時に抽出又は与えられたシーン情
報や関連情報は、ハード・ディスク装置42に蓄積さ
れ、その内容は検索時に参照される。
【0016】本実施例では、データベース作成時の動画
像の入力蓄積系と、動画像をキーとして与える検索系の
両方に、シーン・チェンジ自動検出手段10,16(図
1)を設ける。シーン・チェンジとはカメラが切り替わ
るなどの、動画像としての画像系列が不連続に変化する
ところをいう。本実施例では、CPU30が実行するソ
フトウエアでシーン・チェンジ自動検出手段10,16
を実現する。
【0017】図2のフレーム・メモリ38には、外部の
ビデオ再生装置等からの動画像がA/D変換されて、順
次、書き込まれる。
【0018】図3、図4及び図5は、複数のシーン・チ
ェンジ検出アルゴリズムを示す。図3は時間的に連続す
る2枚の画像データの差分値の総和があるしきい値を越
えると、シーン・チェンジと見做す方式、図4は、時間
的に連続する2枚の画像データの差分値大きい(しきい
値を越える)画素数があるしきい値を越えたときにシー
ン・チェンジと見做す方式、図5は時間的に連続する2
枚の画像データのヒストグラムの形状が類似していない
場合にシーン・チェンジと見做す方式である。ちなみ
に、ヒストグラムの形状の非類似性は、ヒストグラムで
の各頻度値の差分値の総和の大きさで判定できる。
【0019】入力蓄積時に上記のように入力動画像に対
してシーン・チェンジが検出されると、シーン毎にシー
ン開始フレームと終了フレームが得られる。即ち、入力
動画像に対してそのシーン数と、各シーンの開始及び終
了フレーム番号ペアが、図6のように付加される。
【0020】次に、本実施例では、特徴量抽出手段は、
各シーンの長さ(シーン・チェンジ間のフレーム数)を
特徴量とする。これは、各シーンの終了フレーム番号か
ら開始フレーム番号を減算し、その結果に1を加算する
ことで算出できる。また、その他に、入力蓄積時には動
画像に関する関連情報もユーザから与えられ、各動画像
は図7のように蓄積される。ここでは、関連情報の例と
して、動画像名称、種類、映像ソース及び入力日を、一
緒に蓄積する。
【0021】検索時には、検索キーとなる動画像が入力
され、上述したシーン・チェンジ自動検出及び特徴抽出
が行なわれ、特徴量(フレーム数)の系列が得られる。
シーン数が3以下の場合、「キーとなる入力動画像が短
すぎる」という旨のメッセージを出して、検索を行なわ
ない。入力動画像のシーン数が4以上の場合には、最初
と最後のシーンを無視して、その間に含まれたシーン系
列のみに注目する。図8は、検索キーとしての特徴系列
の抽出過程を示す。
【0022】次に、検索時に得られた特徴系列が、入力
蓄積時に蓄積された特徴量系列中のどこと適合するかを
判定する。判定アルゴリズムは、本実施例では、単純に
入力系列をベクトルと見做し、蓄積される系列数が同じ
である全ての部分系列を候補にしてベクトル空間上の距
離があるしきい値以下であれば適合とする簡単なものを
採用する。図9は、その判定アルゴリズムを図示する。
【0023】適合シーンが得られると、検索結果として
どの動画像に関する関連情報と適合した部分を求め、そ
の情報がユーザに提示される。
【0024】上記実施例では特徴量としてシーン・チェ
ンジ間のフレーム数を用いたが、これに限らず、他の特
徴量を用いてもよい。また、本実施例では非常に簡単な
ものを採用したが、実際には誤った検索結果を含む可能
性があり、候補選択という意味合いが強い。信頼性向上
を目的とし、候補確認のため各シーンの中央フレームの
画像との間でパターン・マッチングを行なうなどの確認
処理が考えられる。ここでのパターン・マッチングと
は、例えば、画像間の差分値の総和のしきい値処理でよ
い。
【0025】
【発明の効果】以上のように、本発明によれば、動画像
の各シーン・チェンジを検出し、各シーンの特徴量を計
算し、それらの特徴量の系列が検索対象の特徴量の系列
に対応するかを判別し、所望の動画像を検索するので、
短時間で効率的に動画像を検索できる。すなわち、従来
のように分類コードによる検索方法や、目視などによる
検索方法や、動画のパタンマッチングを行う検索方法に
比して、前述の特徴量の系列という少ない量の情報を用
いて検索を行っているので、効率的に動画像を検索でき
る。
【図面の簡単な説明】
【図1】 本発明の一実施例の手順の流れを示す図であ
る。
【図2】 本実施例を実現するハードウエアの構成ブロ
ック図である。
【図3】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図4】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図5】 シーン・チェンジ検出アルゴリズムの説明図
である。
【図6】 シーン・チェンジで付加される情報を示す図
である。
【図7】 入力動画像に関する蓄積関連情報を示す図で
ある。
【図8】 検索キーとなる特徴量系列を抽出する過程を
示す図である。
【図9】 入力動画像と蓄積動画像間の対応判定過程を
示す図である。
【符号の説明】
10,16:シーン・チェンジ自動検出手段 12,1
8:特徴量計算手段 20:対応判定手段 30:CPU 32:メインメモリ 34:ビデオ・ボ
ード 36:ビデオ装置 38:フレーム・メモリ 40:コ
ンソール 42:ハード・ディスク装置
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/937 G06T 7/00 - 7/60

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像のシーン・チェンジを検出する検
    出ステップと、 当該検出ステップで切り出された各シーンに対する特徴
    量を計算し、複数のシーンについての当該特徴量の系列
    を得る特徴量系列生成ステップと、 当該特徴量の系列が検索対象の特徴量の系列に対応する
    か否かを判別する判別ステップとからなることを特徴と
    する動画像検索方法。
  2. 【請求項2】 当該特徴量は各シーンのシーン・チェン
    ジ間のフレーム数である請求項1に記載の動画像検索方
    法。
  3. 【請求項3】 動画像のシーン・チェンジを検出する検
    出手段と、 当該検出手段で切り出された各シーンに対する特徴量を
    計算し、複数のシーンについての当該特徴量の系列を得
    る特徴量系列生成手段と、 当該特徴量の系列が検索対象の特徴量の系列に対応する
    か否かを判別する判別手段とからなることを特徴とする
    動画像検索装置。
  4. 【請求項4】 当該特徴量は各シーンのシーン・チェン
    ジ間のフレーム数である請求項3に記載の動画像検索装
    置。
JP18829893A 1993-07-29 1993-07-29 動画像検索方法及び装置 Expired - Fee Related JP3200784B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP18829893A JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置
US08/281,007 US6606636B1 (en) 1993-07-29 1994-07-27 Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
EP94305599A EP0636994B1 (en) 1993-07-29 1994-07-28 Method of and apparatus for retrieving dynamic images and method of and apparatus for managing images
DE69432544T DE69432544T2 (de) 1993-07-29 1994-07-28 Verfahren und Gerät zum Wiederauffinden von dynamischen Bildern und zur Verwaltung von Bildern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18829893A JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置

Publications (2)

Publication Number Publication Date
JPH0746517A JPH0746517A (ja) 1995-02-14
JP3200784B2 true JP3200784B2 (ja) 2001-08-20

Family

ID=16221175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18829893A Expired - Fee Related JP3200784B2 (ja) 1993-07-29 1993-07-29 動画像検索方法及び装置

Country Status (1)

Country Link
JP (1) JP3200784B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351105A (ja) * 2000-04-17 2001-12-21 Thomson Multimedia Sa 一連のビデオ画像中のショット変化を検出する方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
JP3728775B2 (ja) * 1995-08-18 2005-12-21 株式会社日立製作所 動画像の特徴場面検出方法及び装置
JP3003618B2 (ja) 1997-03-19 2000-01-31 日本電気株式会社 動画像送受信装置
JP3780623B2 (ja) 1997-05-16 2006-05-31 株式会社日立製作所 動画像の記述方法
JP4021545B2 (ja) 1998-03-12 2007-12-12 株式会社東芝 デジタル動画像処理装置およびデジタル動画像処理方法
US6792043B1 (en) 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
KR20010009273A (ko) * 1999-07-08 2001-02-05 김영환 움직임 정도 기술방법을 이용한 동영상 색인 및 검색방법
JP4476786B2 (ja) 2004-11-10 2010-06-09 株式会社東芝 検索装置
WO2006059053A1 (en) * 2004-11-30 2006-06-08 The University Court Of The University Of St Andrews System, method & computer program product for video fingerprinting
JP2006279429A (ja) * 2005-03-29 2006-10-12 Kddi Corp 映像コンテンツの推薦システム
JP4670584B2 (ja) 2005-10-25 2011-04-13 ソニー株式会社 表示制御装置および方法、プログラム並びに記録媒体
JP2007200249A (ja) * 2006-01-30 2007-08-09 Nippon Telegr & Teleph Corp <Ntt> 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP4420085B2 (ja) 2007-08-20 2010-02-24 ソニー株式会社 データ処理装置、データ処理方法、プログラムおよび記録媒体
JP4556990B2 (ja) 2007-11-29 2010-10-06 ソニー株式会社 情報記録装置、情報記録システムおよび情報記録方法
JP4853564B2 (ja) * 2009-10-13 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび記録媒体
US8731292B2 (en) * 2011-01-07 2014-05-20 Alcatel Lucent Method and apparatus for comparing videos
JP5627002B2 (ja) * 2011-04-05 2014-11-19 日本電信電話株式会社 類似映像出力方法、類似映像出力装置および類似映像出力プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351105A (ja) * 2000-04-17 2001-12-21 Thomson Multimedia Sa 一連のビデオ画像中のショット変化を検出する方法

Also Published As

Publication number Publication date
JPH0746517A (ja) 1995-02-14

Similar Documents

Publication Publication Date Title
JP3200784B2 (ja) 動画像検索方法及び装置
US8160299B2 (en) Image processing apparatus
US7075683B1 (en) Dynamic image digest automatic editing system and dynamic image digest automatic editing method
JP2994177B2 (ja) ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法
US6342904B1 (en) Creating a slide presentation from full motion video
US8971585B2 (en) Image processing apparatus for retrieving object from moving image and method thereof
JP3131560B2 (ja) 動画像処理システムにおける動画像情報検出装置
JP5445467B2 (ja) クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム
JP2000222584A (ja) 映像情報記述方法、映像検索方法及び映像検索装置
JP4327827B2 (ja) 映像記録再生システムおよび映像記録再生方法
US20050231602A1 (en) Providing a visual indication of the content of a video by analyzing a likely user intent
JP4928822B2 (ja) 全画像を記録しなくても複数のオブジェクトを認識できる画像認識方法
JP2006244074A (ja) 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体
US6606636B1 (en) Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
US7170935B2 (en) Image processing apparatus and method, and computer-readable memory
JP3330348B2 (ja) 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP4323601B2 (ja) 画像処理システム及び画像処理方法
JP3379453B2 (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
JP2000132692A (ja) 曲線の特徴点抽出方法及びこの方法を記録した記録媒体
JP5111269B2 (ja) 画像処理装置、画像処理方法
JPH05257989A (ja) 動画像検索支援方式
JPH1139477A (ja) 対応点探索装置
JPH10154148A (ja) 動画像検索装置
JP2001022780A (ja) 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体
JPH10171831A (ja) 画像ファイル検索装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080622

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090622

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees