JPH08194714A - 圧縮動画像の検索方法および装置 - Google Patents
圧縮動画像の検索方法および装置Info
- Publication number
- JPH08194714A JPH08194714A JP408195A JP408195A JPH08194714A JP H08194714 A JPH08194714 A JP H08194714A JP 408195 A JP408195 A JP 408195A JP 408195 A JP408195 A JP 408195A JP H08194714 A JPH08194714 A JP H08194714A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- information
- compressed moving
- search
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 圧縮動画像の検索を行なう際に、圧縮動画像
から、動き情報を抽出する処理を軽減することによっ
て、検索装置に圧縮動画像を入力してから検索可能とな
るまでの時間を短縮し、検索装置の利便性を向上させ
る。あわせて、動画中に出現する物体の動きだけでな
く、動いた物体の大きさ、形状を自動抽出し、検索の情
報として用いることを可能にして、検索の自由度を高め
る。 【構成】 圧縮動画像を蓄積する手段と、圧縮動画像か
ら動き情報を検出する手段と、上記動き情報を圧縮動画
像との対応付け情報とともに検索情報として蓄積する手
段と、検索条件として動き情報を入力する手段と、検索
条件として入力された動き情報と検索条件として蓄積さ
れた動き情報を照合する手段を有する。
から、動き情報を抽出する処理を軽減することによっ
て、検索装置に圧縮動画像を入力してから検索可能とな
るまでの時間を短縮し、検索装置の利便性を向上させ
る。あわせて、動画中に出現する物体の動きだけでな
く、動いた物体の大きさ、形状を自動抽出し、検索の情
報として用いることを可能にして、検索の自由度を高め
る。 【構成】 圧縮動画像を蓄積する手段と、圧縮動画像か
ら動き情報を検出する手段と、上記動き情報を圧縮動画
像との対応付け情報とともに検索情報として蓄積する手
段と、検索条件として動き情報を入力する手段と、検索
条件として入力された動き情報と検索条件として蓄積さ
れた動き情報を照合する手段を有する。
Description
【０００１】
【産業上の利用分野】本発明は利用者が入力した動画像
中の物体の大きさ、形状、位置、動きの情報を検索の条
件として用いて、圧縮動画像を検索する装置及び方法に
関するものである。
中の物体の大きさ、形状、位置、動きの情報を検索の条
件として用いて、圧縮動画像を検索する装置及び方法に
関するものである。
【０００２】
【従来の技術】近年、動画像を動き情報を用いて検索を
する方式が提案されている。
する方式が提案されている。
【０００３】以下図面を参照しながら、上記した従来の
圧縮動画像検索装置の一例について説明する。図１は特
開平５−１０８７３０号公報の動画像データベースの検
索方式を示している。その方式を圧縮動画像の検索に適
用するとすれば、まず、圧縮動画像を圧縮動画像蓄積部
１６に蓄積する一方、圧縮動画像を復号化し（ステップ
１３）、フレーム列である非圧縮動画像を生成する。非
圧縮動画像を所定の基準に従ってオリジナルのフレーム
列よりも短いフレーム列である部分動画に分割し、部分
動画像の各々について、その開始フレームを複数ブロッ
クに分割し、分割されたブロックの各々について現在の
フレームを直前のフレームを比較してブロック間の誤差
が最小になるベクトルを探索し、そのようなベクトルが
発見されたなら、直前のフレームにおける該当ブロック
の画面上の位置と発見されたベクトルから現在のフレー
ムにおける該当ブロックの位置を算出することを反復す
ることによって、動き情報を抽出する（ステップ１
４）。抽出した動き情報は、部分動画の圧縮動画像蓄積
部１６における格納アドレスとともに、動き情報蓄積部
１５に蓄積され、利用者が入力した検索条件との照合が
行なわれ（ステップ１１）、検索結果を得る。
圧縮動画像検索装置の一例について説明する。図１は特
開平５−１０８７３０号公報の動画像データベースの検
索方式を示している。その方式を圧縮動画像の検索に適
用するとすれば、まず、圧縮動画像を圧縮動画像蓄積部
１６に蓄積する一方、圧縮動画像を復号化し（ステップ
１３）、フレーム列である非圧縮動画像を生成する。非
圧縮動画像を所定の基準に従ってオリジナルのフレーム
列よりも短いフレーム列である部分動画に分割し、部分
動画像の各々について、その開始フレームを複数ブロッ
クに分割し、分割されたブロックの各々について現在の
フレームを直前のフレームを比較してブロック間の誤差
が最小になるベクトルを探索し、そのようなベクトルが
発見されたなら、直前のフレームにおける該当ブロック
の画面上の位置と発見されたベクトルから現在のフレー
ムにおける該当ブロックの位置を算出することを反復す
ることによって、動き情報を抽出する（ステップ１
４）。抽出した動き情報は、部分動画の圧縮動画像蓄積
部１６における格納アドレスとともに、動き情報蓄積部
１５に蓄積され、利用者が入力した検索条件との照合が
行なわれ（ステップ１１）、検索結果を得る。
【０００４】動き情報として、照合に使われる情報は、
開始点座標、開始時刻及び動きの継続時間、動きベクト
ルの総和の時系列である。しかしながら、この方式に
は、以下に述べるような問題がある。
開始点座標、開始時刻及び動きの継続時間、動きベクト
ルの総和の時系列である。しかしながら、この方式に
は、以下に述べるような問題がある。
【０００５】
【発明が解決しようとする課題】圧縮動画像のなかに
は、時系列の圧縮率を向上させるために公知の動き補償
アルゴリズムで生成された動きベクトルのデータを圧縮
動画像の内部に持っているものがある。これは、ＭＰＥ
Ｇ１、ＭＰＥＧ２と呼ばれる圧縮方式である。圧縮率向
上のための動きベクトルのデータを持った圧縮動画像
を、上記方式で動き情報による検索を行なうためには、
圧縮動画像に復号化処理を施し、非圧縮動画像に変換し
た後に、動き情報を抽出しなければならない。圧縮動画
像を非圧縮動画像に復号化する処理は、多くの計算が必
要である。また、非圧縮動画像から動き情報を抽出する
処理も、フレームを分割したブロック単位で行われるた
め、これも、多くの計算が必要となる。したがって、圧
縮動画像から動き情報を抽出するにはには、多大な処理
が必要であり、圧縮動画像を入力してから、動き情報に
よる検索が可能になるまでに処理時間がかかり、即座に
検索可能とはならない。
は、時系列の圧縮率を向上させるために公知の動き補償
アルゴリズムで生成された動きベクトルのデータを圧縮
動画像の内部に持っているものがある。これは、ＭＰＥ
Ｇ１、ＭＰＥＧ２と呼ばれる圧縮方式である。圧縮率向
上のための動きベクトルのデータを持った圧縮動画像
を、上記方式で動き情報による検索を行なうためには、
圧縮動画像に復号化処理を施し、非圧縮動画像に変換し
た後に、動き情報を抽出しなければならない。圧縮動画
像を非圧縮動画像に復号化する処理は、多くの計算が必
要である。また、非圧縮動画像から動き情報を抽出する
処理も、フレームを分割したブロック単位で行われるた
め、これも、多くの計算が必要となる。したがって、圧
縮動画像から動き情報を抽出するにはには、多大な処理
が必要であり、圧縮動画像を入力してから、動き情報に
よる検索が可能になるまでに処理時間がかかり、即座に
検索可能とはならない。
【０００６】さらに、上記方式では、抽出された動き情
報に加え、動画像中の動いている物体の形の属性を指定
して検索する方法が提案されているが、動いている物体
の形の自動抽出の手法は述べられていない。
報に加え、動画像中の動いている物体の形の属性を指定
して検索する方法が提案されているが、動いている物体
の形の自動抽出の手法は述べられていない。
【０００７】本発明は上記問題点に鑑み、圧縮動画像か
ら、動き情報を抽出する処理を軽減することによって、
検索装置に圧縮動画像を入力してから検索可能となるま
での時間を短縮し、検索装置の利便性を向上させること
を目的とする。あわせて、動画中に出現する物体の動き
だけでなく、動いた物体の大きさ、形状を自動抽出し、
検索の情報として用いることを可能にして、検索の自由
度を高めることを目的とする。
ら、動き情報を抽出する処理を軽減することによって、
検索装置に圧縮動画像を入力してから検索可能となるま
での時間を短縮し、検索装置の利便性を向上させること
を目的とする。あわせて、動画中に出現する物体の動き
だけでなく、動いた物体の大きさ、形状を自動抽出し、
検索の情報として用いることを可能にして、検索の自由
度を高めることを目的とする。
【０００８】
【課題を解決するための手段】上記問題点を解決するた
めに本発明の圧縮動画像検索装置は、動きベクトルを含
んだ圧縮動画像から復号化することなしに動き情報を抽
出する手段と、動画像中の動いている物体の形状を抽出
する手段を有するものである。
めに本発明の圧縮動画像検索装置は、動きベクトルを含
んだ圧縮動画像から復号化することなしに動き情報を抽
出する手段と、動画像中の動いている物体の形状を抽出
する手段を有するものである。
【０００９】この動き情報及び形状情報の自動抽出によ
り、利用者が動画像中の物体の形状及び動きによって圧
縮動画像を検索できるようになる。
り、利用者が動画像中の物体の形状及び動きによって圧
縮動画像を検索できるようになる。
【００１０】
【作用】図２は、本発明の処理とデータの流れを示した
ものである。動きベクトルをデータとしてもつ圧縮動画
像は、圧縮動画像蓄積部２６に蓄積され、同時に、圧縮
動画像内のデータ処理によって、動き情報及び形状情報
が検出され、検索情報蓄積部２５に蓄積される。
ものである。動きベクトルをデータとしてもつ圧縮動画
像は、圧縮動画像蓄積部２６に蓄積され、同時に、圧縮
動画像内のデータ処理によって、動き情報及び形状情報
が検出され、検索情報蓄積部２５に蓄積される。
【００１１】動き情報及び形状情報の抽出は次の段階か
らなる。 １）圧縮動画像を、分割し、検索の最小単位となる部分
動画像を作成する。分割とは、オリジナルの圧縮動画像
を物理的に分割し、短い圧縮動画像をいくつも生成する
のではなく、論理的な固まりを決定することである。部
分動画像への分割方法としては、シーンチェンジを検出
し、同一シーンをひとつの部分動画像とするのがもっと
も、有効かつ一般的な方法である。
らなる。 １）圧縮動画像を、分割し、検索の最小単位となる部分
動画像を作成する。分割とは、オリジナルの圧縮動画像
を物理的に分割し、短い圧縮動画像をいくつも生成する
のではなく、論理的な固まりを決定することである。部
分動画像への分割方法としては、シーンチェンジを検出
し、同一シーンをひとつの部分動画像とするのがもっと
も、有効かつ一般的な方法である。
【００１２】以下、部分画像ごとに処理する。 ２）部分動画像中の前方予測を行なって圧縮されている
フレームの動きベクトルを抽出する。動きベクトルは、
原画像を圧縮する過程において動き補償を実施したブロ
ック毎に存在する。ブロックの大きさは圧縮方式によっ
て決定される。
フレームの動きベクトルを抽出する。動きベクトルは、
原画像を圧縮する過程において動き補償を実施したブロ
ック毎に存在する。ブロックの大きさは圧縮方式によっ
て決定される。
【００１３】３）抽出した動きベクトルを、前記のブロ
ックの大きさを単位に丸め込む。丸め込まれた動きベク
トルを追跡して、動きベクトル列を生成する。
ックの大きさを単位に丸め込む。丸め込まれた動きベク
トルを追跡して、動きベクトル列を生成する。
【００１４】４）動きベクトル列の中で動きベクトル列
が隣接し、かつ、挙動が類似している動きベクトル列を
統合し、ひとつの平均的な動きベクトル列を生成する。
また、平均的な動きベクトル列が占める領域をフレーム
毎に検出し、形状データとする。形状データが平均的動
きベクトル列の存在フレーム数だけの存在し、それを時
系列に並べ形状データ列を生成する。
が隣接し、かつ、挙動が類似している動きベクトル列を
統合し、ひとつの平均的な動きベクトル列を生成する。
また、平均的な動きベクトル列が占める領域をフレーム
毎に検出し、形状データとする。形状データが平均的動
きベクトル列の存在フレーム数だけの存在し、それを時
系列に並べ形状データ列を生成する。
【００１５】５）ひとつの平均的動きベクトル列に対
し、動きベクトルを生じたフレーム番号列、形状データ
列を生成し、部分動画像と対応づけて、検索情報蓄積部
２５に登録する。また、圧縮動画像蓄積部２６における
オリジナルの圧縮動画像格納の場所とその圧縮動画像か
ら生成した部分動画像の対応情報を検索情報蓄積部２５
に登録する。
し、動きベクトルを生じたフレーム番号列、形状データ
列を生成し、部分動画像と対応づけて、検索情報蓄積部
２５に登録する。また、圧縮動画像蓄積部２６における
オリジナルの圧縮動画像格納の場所とその圧縮動画像か
ら生成した部分動画像の対応情報を検索情報蓄積部２５
に登録する。
【００１６】以上のように、本発明の圧縮動画像の検索
装置は、圧縮用の動きベクトルを含んだ圧縮動画像か
ら、圧縮動画像を復号化することなしに、動き情報とそ
の動いている物体の形状情報を自動抽出し、検索情報と
して用いることによって、圧縮動画像の検索の自由度を
高める。
装置は、圧縮用の動きベクトルを含んだ圧縮動画像か
ら、圧縮動画像を復号化することなしに、動き情報とそ
の動いている物体の形状情報を自動抽出し、検索情報と
して用いることによって、圧縮動画像の検索の自由度を
高める。
【００１７】
１．図２の動きベクトルを含む圧縮動画像からの動き情
報の抽出（ステップ２２）及び動いている物体の形状情
報の抽出（ステップ２３）の詳細を、処理の流れ図３に
沿って、説明する。動きベクトルを含む圧縮動画像とし
て、ＭＰＥＧ１のデータを仮定している。
報の抽出（ステップ２２）及び動いている物体の形状情
報の抽出（ステップ２３）の詳細を、処理の流れ図３に
沿って、説明する。動きベクトルを含む圧縮動画像とし
て、ＭＰＥＧ１のデータを仮定している。
【００１８】１）圧縮動画像の入力（ステップ３０） 圧縮動画像が検索装置に入力され、圧縮動画像蓄積部２
６に登録される。一方、圧縮動画像に対し、以下の処理
により検索情報の生成が行なわれる。
６に登録される。一方、圧縮動画像に対し、以下の処理
により検索情報の生成が行なわれる。
【００１９】２）シーンチェンジの検出（ステップ３
１） 圧縮動画像からシーンチェンジを検出し、各シーンの開
始のフレーム番号が検出される。開始フレームから次の
シーンの開始フレームのひとつ前のフレームまでをひと
まとまりとして、動き情報と形状情報の抽出を行う。シ
ーン検出のアルゴリズムは、圧縮動画像を復号化するこ
となしにシーン検出する技術が提案されており、公知の
技術を用いることできる（例えば、電子情報通信学会信
学技報ＰＲＵ９３−１１９ＰＰ．２３−３０”ＤＣＴ成
分を用いたシーンのクラスタリングとカット検出”）。
１） 圧縮動画像からシーンチェンジを検出し、各シーンの開
始のフレーム番号が検出される。開始フレームから次の
シーンの開始フレームのひとつ前のフレームまでをひと
まとまりとして、動き情報と形状情報の抽出を行う。シ
ーン検出のアルゴリズムは、圧縮動画像を復号化するこ
となしにシーン検出する技術が提案されており、公知の
技術を用いることできる（例えば、電子情報通信学会信
学技報ＰＲＵ９３−１１９ＰＰ．２３−３０”ＤＣＴ成
分を用いたシーンのクラスタリングとカット検出”）。
【００２０】３）前方予測符号化フレームの抽出（ステ
ップ３２） 以下の処理は同一シーン毎に処理される。次に圧縮動画
像の中から時間的に前方のフレームと動き補償を行なっ
て前方予測符号化フレームを抽出する。合わせて、抽出
した前方予測符号化フレームのフレーム番号と予測画像
フレームのフレーム番号を検出する。
ップ３２） 以下の処理は同一シーン毎に処理される。次に圧縮動画
像の中から時間的に前方のフレームと動き補償を行なっ
て前方予測符号化フレームを抽出する。合わせて、抽出
した前方予測符号化フレームのフレーム番号と予測画像
フレームのフレーム番号を検出する。
【００２１】図４はＭＰＥＧ１の画面タイプの構成例を
示している。前方予測符合化フレームはＰピクチャと呼
ばれる。ＭＰＥＧ１データ内でのＰビクチャの出現位置
は決まっていないが、３から６フレームの周期で現れる
のが一般的である。
示している。前方予測符合化フレームはＰピクチャと呼
ばれる。ＭＰＥＧ１データ内でのＰビクチャの出現位置
は決まっていないが、３から６フレームの周期で現れる
のが一般的である。
【００２２】また、Ｐピクチャは、予測画像フレームと
して、Ｐピクチャではなく、自身の情報のみで画像が合
成できるＩピクチャを用いる場合がある。この場合、予
測画像フレームとのフレーム間隔とひとつ前の前方予測
符号化フレーム（Ｐピクチャ）とのフレーム間隔が異な
る。
して、Ｐピクチャではなく、自身の情報のみで画像が合
成できるＩピクチャを用いる場合がある。この場合、予
測画像フレームとのフレーム間隔とひとつ前の前方予測
符号化フレーム（Ｐピクチャ）とのフレーム間隔が異な
る。
【００２３】ここでは、ＭＰＥＧ１のすべての前方予測
フレームを抽出しているが、前方予測フレーム画像が短
い周期で現れる場合、以降の計算量の縮小し、検索のコ
スト低減のために、いくつかおきの前方予測フレーム画
像を抽出してもよい。
フレームを抽出しているが、前方予測フレーム画像が短
い周期で現れる場合、以降の計算量の縮小し、検索のコ
スト低減のために、いくつかおきの前方予測フレーム画
像を抽出してもよい。
【００２４】４）前方予測符号化フレーム内の動きベク
トルの抽出（ステップ３３）抽出した前方予測符号化フ
レームから動きベクトルを抽出する。図５に示す通り、
動き補償は固定のブロック単位の行なわれ、動きベクト
ルが存在するのもブロック単位である。ＭＰＥＧ１のブ
ロックの大きさは１６画素×１６画素である。
トルの抽出（ステップ３３）抽出した前方予測符号化フ
レームから動きベクトルを抽出する。図５に示す通り、
動き補償は固定のブロック単位の行なわれ、動きベクト
ルが存在するのもブロック単位である。ＭＰＥＧ１のブ
ロックの大きさは１６画素×１６画素である。
【００２５】次に、この動きベクトルをブロックの大き
さで丸める。丸めによって、動きベクトルＭ（ｘ，ｙ）
は、Ｍ（ｂ×ｉ，ｂ×ｊ）の形になる。ここで、ｂはブ
ロックの一辺の画素数、ｉ、ｊは整数である。
さで丸める。丸めによって、動きベクトルＭ（ｘ，ｙ）
は、Ｍ（ｂ×ｉ，ｂ×ｊ）の形になる。ここで、ｂはブ
ロックの一辺の画素数、ｉ、ｊは整数である。
【００２６】また、予測画像フレームとひとつ前の前方
予測符号化フレームが異なる場合は、予測画像フレーム
をひとつ前の前方予測符号化フレームと仮定する動きベ
クトルの補正を行なってから、丸める。実施例では、下
記の式（１）によって、動きベクトルＭ（ｘ，ｙ）を、
Ｍ（ｘ’，ｙ’）に補正する。
予測符号化フレームが異なる場合は、予測画像フレーム
をひとつ前の前方予測符号化フレームと仮定する動きベ
クトルの補正を行なってから、丸める。実施例では、下
記の式（１）によって、動きベクトルＭ（ｘ，ｙ）を、
Ｍ（ｘ’，ｙ’）に補正する。
【００２７】 ｘ’＝（（ｓ−ｕ）／（ｓ−ｔ））×ｘ （１） ｙ’＝（（ｓ−ｕ）／（ｓ−ｔ））×ｙ ただし、ｓは動きベクトルを抽出している前方予測符号
化フレームの番号、ｔはこの前方予測符号化フレームの
予測画像フレームの番号、ｕはひとつ前の前方予測符号
化フレームの番号である。
化フレームの番号、ｔはこの前方予測符号化フレームの
予測画像フレームの番号、ｕはひとつ前の前方予測符号
化フレームの番号である。
【００２８】５）動きベクトル列の生成（ステップ３
４） 時間的に最後の前方予測符号化フレームから生成された
動きベクトルからさかのぼって追跡していき動きベクト
ル列を生成する。図６に示す通り、前方予測符号化フレ
ーム（第ｓフレーム）内のブロックＢｓ（Ｘ，Ｙ）に丸
められた動きベクトルＭ（ｂ×ｉ，ｂ×ｊ）が存在する
場合、ひとつ前の前方予測符号化フレーム（第ｕフレー
ム）内のブロックＢｕ（Ｘ＋ｉ，Ｙ＋ｊ）へ、動きベク
トル（−ｂ×ｉ，−ｂ×ｊ）を渡す。もし、Ｂｓ（Ｘ，
Ｙ）に第ｓフレームよりひとつ後の前方予測符号化フレ
ーム内のブロックから渡された動きベクトル列があれ
ば、動きベクトル（−ｂ×ｉ，−ｂ×ｊ）を、そのベク
トル列の先頭の要素として加えた動きベクトル列を渡
す。時間に最後の前方予測符号化フレームから処理を始
め、一番始めの前方予測符号化フレームまで、繰り返し
同様の処理を行なう。この際、ひとつのブロックに、複
数の動きベクトル列が渡されることが場合もあるが、そ
のときは、別個の動きベクトル列として処理する。
４） 時間的に最後の前方予測符号化フレームから生成された
動きベクトルからさかのぼって追跡していき動きベクト
ル列を生成する。図６に示す通り、前方予測符号化フレ
ーム（第ｓフレーム）内のブロックＢｓ（Ｘ，Ｙ）に丸
められた動きベクトルＭ（ｂ×ｉ，ｂ×ｊ）が存在する
場合、ひとつ前の前方予測符号化フレーム（第ｕフレー
ム）内のブロックＢｕ（Ｘ＋ｉ，Ｙ＋ｊ）へ、動きベク
トル（−ｂ×ｉ，−ｂ×ｊ）を渡す。もし、Ｂｓ（Ｘ，
Ｙ）に第ｓフレームよりひとつ後の前方予測符号化フレ
ーム内のブロックから渡された動きベクトル列があれ
ば、動きベクトル（−ｂ×ｉ，−ｂ×ｊ）を、そのベク
トル列の先頭の要素として加えた動きベクトル列を渡
す。時間に最後の前方予測符号化フレームから処理を始
め、一番始めの前方予測符号化フレームまで、繰り返し
同様の処理を行なう。この際、ひとつのブロックに、複
数の動きベクトル列が渡されることが場合もあるが、そ
のときは、別個の動きベクトル列として処理する。
【００２９】上記処理の過程において、ブロックが持っ
ている動きベクトル列をひとつ前の前方予測符号化フレ
ーム内のブロックに渡せない場合、動きベクトル列Ｖ＝
｛ｖ１，ｖ２，…、ｖｎ｝（但し、動きベクトルｖ＝
（ｘｖ，ｙｖ））として検出する。その際、あわせて現
在のフレーム番号及び、ブロックの位置を検出する。
ている動きベクトル列をひとつ前の前方予測符号化フレ
ーム内のブロックに渡せない場合、動きベクトル列Ｖ＝
｛ｖ１，ｖ２，…、ｖｎ｝（但し、動きベクトルｖ＝
（ｘｖ，ｙｖ））として検出する。その際、あわせて現
在のフレーム番号及び、ブロックの位置を検出する。
【００３０】次に、検出した動きベクトル列で、存在時
間が短いものや、動きが微小なもの（Σｖｉが小さいも
の）は破棄し、有効なものだけを残す。
間が短いものや、動きが微小なもの（Σｖｉが小さいも
の）は破棄し、有効なものだけを残す。
【００３１】さらに、挙動が類似している動きベクトル
列を集合としてまとめる。二つの動きベクトルの類似度
の判定は同一フレーム内での互いの動きベクトル列が通
るブロックの距離を条件に用いるのが一般的である。
列を集合としてまとめる。二つの動きベクトルの類似度
の判定は同一フレーム内での互いの動きベクトル列が通
るブロックの距離を条件に用いるのが一般的である。
【００３２】６）形状データ列の生成（ステップ３５） 類似と判定された動きベクトル列の占める領域を前方予
測符号化フレーム毎に検出する。その結果、図７に示す
ように、各前方予測符号化フレーム毎に類似と判定され
て動きベクトル列が通るブロックを検出し、動いている
物体の形状情報として用いる。実施例では、前方予測符
号化フレームそのフレーム内の動きベクトルの占めるブ
ロック情報の列を形状データ列として生成する。
測符号化フレーム毎に検出する。その結果、図７に示す
ように、各前方予測符号化フレーム毎に類似と判定され
て動きベクトル列が通るブロックを検出し、動いている
物体の形状情報として用いる。実施例では、前方予測符
号化フレームそのフレーム内の動きベクトルの占めるブ
ロック情報の列を形状データ列として生成する。
【００３３】また、類似と判定された動きベクトル列の
集合から、その集合の動きを代表するひとつの平均的な
動きベクトル列を生成する。図７の３つの動きベクトル
列から図８に示す様なひとつの平均的な動きベクトル列
が生成される。平均的な動きベクトル列を生成には、動
きベクトル列の中から最長なものを平均的な動きベクト
ルとしたり、各前方予測符号化フレームで形状情報とし
て検出したブロック領域の重心を結んだ動きベクトル列
を生成し、平均的な動きベクトル列とする方法がある。
集合から、その集合の動きを代表するひとつの平均的な
動きベクトル列を生成する。図７の３つの動きベクトル
列から図８に示す様なひとつの平均的な動きベクトル列
が生成される。平均的な動きベクトル列を生成には、動
きベクトル列の中から最長なものを平均的な動きベクト
ルとしたり、各前方予測符号化フレームで形状情報とし
て検出したブロック領域の重心を結んだ動きベクトル列
を生成し、平均的な動きベクトル列とする方法がある。
【００３４】動画の動きは一般的に時間的に近傍のフレ
ーム間では少ないので、検索情報のデータ量を縮小し、
マッチングの検索効率をあげるために、サンプリングの
間隔を大きくした平均的な動きベクトル列を生成するこ
とができる。同じように形状データ列の要素も、サンプ
リングの間隔を大きくした動きベクトル列に対応したも
のだけにすることによって、要素数を減少させる。例え
ば、平均的な動きベクトル列Ｖ＝｛ｖ１，ｖ２，…，ｖ
ｎ｝（但し、動きベクトルｖ＝（ｘｖ，ｙｖ））をまと
めて、Ｖ＝｛（ｖ１＋ｖ２），（ｖ３＋ｖ４），…，
（ｖｎ−１＋ｖｎ）｝とする。また、形状データ列は、
ｖ１，ｖ３，…，ｖｎ−１に対応した要素のみ残し、そ
の他は破棄する。
ーム間では少ないので、検索情報のデータ量を縮小し、
マッチングの検索効率をあげるために、サンプリングの
間隔を大きくした平均的な動きベクトル列を生成するこ
とができる。同じように形状データ列の要素も、サンプ
リングの間隔を大きくした動きベクトル列に対応したも
のだけにすることによって、要素数を減少させる。例え
ば、平均的な動きベクトル列Ｖ＝｛ｖ１，ｖ２，…，ｖ
ｎ｝（但し、動きベクトルｖ＝（ｘｖ，ｙｖ））をまと
めて、Ｖ＝｛（ｖ１＋ｖ２），（ｖ３＋ｖ４），…，
（ｖｎ−１＋ｖｎ）｝とする。また、形状データ列は、
ｖ１，ｖ３，…，ｖｎ−１に対応した要素のみ残し、そ
の他は破棄する。
【００３５】ただし、検索の精度を保つためには、新た
に生成した動きベクトル列の要素ベクトル間のフレーム
数が一定になるように、まとめることが望ましい。
に生成した動きベクトル列の要素ベクトル間のフレーム
数が一定になるように、まとめることが望ましい。
【００３６】７）検索情報の生成（ステップ３６） 上記方法で生成されたデータをもとに検索情報を生成す
る。まず、圧縮動画像蓄積部２６での入力した圧縮動画
像の格納場所、さらに、その圧縮動画像を分割した部分
動画像の開始フレーム番号と終了フレーム番号を対応付
けた情報を蓄える。
る。まず、圧縮動画像蓄積部２６での入力した圧縮動画
像の格納場所、さらに、その圧縮動画像を分割した部分
動画像の開始フレーム番号と終了フレーム番号を対応付
けた情報を蓄える。
【００３７】部分動画ごとに検索情報として、平均的な
動きベクトル列ＡＶｅｃｔｏｒ、平均的な動きベクトル
の開始座標ＡＳ、平均的な動きベクトル列の要素である
動きベクトルのを抽出した前方予測符号化フレームのフ
レーム番号列ｆｒａｍ、さらに、平均的な動きベクトル
列を生成した類似動きベクトルの集合がその前方予測符
号化フレーム内で占めた形状データ列Ｓｈａｐｅを生成
する。ここで、 ＡＶｅｃｔｏｒ＝｛ａｖ１，ａｖ２，…，ａｖｌ｝ 但し、ａｖｋ＝（ｖｘｋ，ｖｙｋ） ＡＳ＝（ｘ，ｙ） ｆｒａｍ＝｛ｆ１，ｆ２，…，ｆｌ｝ Ｓｈａｐｅ＝｛Ｓ１，Ｓ２，…，Ｓｌ｝ 但し、Ｓｋ＝｛Ｂｋ（０，０），…，Ｂｋ（ｍ，０），
…，Ｂｋ（ｎ，０），…，Ｂｋ（ｍ，ｎ）｝， Ｂｉ（ｘ，ｙ）＝｛０｜１｝ である。上記検索情報を検索情報蓄積部２５に登録す
る。（ステップ３７）画像検索に利用される検索情報で
あるＡＶｅｃｔｏｒ、ＡＳ、ｆｒａｍ、Ｓｈａｐｅは、
通常、圧縮動画像を復号化し、復号化の結果生成された
非圧縮動画像の画像間の相関を計算して求められるもの
であり、検索情報を生成するために必要な計算量は、多
大なものである。
動きベクトル列ＡＶｅｃｔｏｒ、平均的な動きベクトル
の開始座標ＡＳ、平均的な動きベクトル列の要素である
動きベクトルのを抽出した前方予測符号化フレームのフ
レーム番号列ｆｒａｍ、さらに、平均的な動きベクトル
列を生成した類似動きベクトルの集合がその前方予測符
号化フレーム内で占めた形状データ列Ｓｈａｐｅを生成
する。ここで、 ＡＶｅｃｔｏｒ＝｛ａｖ１，ａｖ２，…，ａｖｌ｝ 但し、ａｖｋ＝（ｖｘｋ，ｖｙｋ） ＡＳ＝（ｘ，ｙ） ｆｒａｍ＝｛ｆ１，ｆ２，…，ｆｌ｝ Ｓｈａｐｅ＝｛Ｓ１，Ｓ２，…，Ｓｌ｝ 但し、Ｓｋ＝｛Ｂｋ（０，０），…，Ｂｋ（ｍ，０），
…，Ｂｋ（ｎ，０），…，Ｂｋ（ｍ，ｎ）｝， Ｂｉ（ｘ，ｙ）＝｛０｜１｝ である。上記検索情報を検索情報蓄積部２５に登録す
る。（ステップ３７）画像検索に利用される検索情報で
あるＡＶｅｃｔｏｒ、ＡＳ、ｆｒａｍ、Ｓｈａｐｅは、
通常、圧縮動画像を復号化し、復号化の結果生成された
非圧縮動画像の画像間の相関を計算して求められるもの
であり、検索情報を生成するために必要な計算量は、多
大なものである。
【００３８】ここで、示した検索情報生成方式では、符
号化の際に動き補償アルゴリズムで生成される動きベク
トルを利用して検索情報を生成するので、圧縮動画像を
復号化する処理、および、画像間相関を求める処理を省
くことができ、検索情報を生成するために必要な計算量
が大幅に軽減される。
号化の際に動き補償アルゴリズムで生成される動きベク
トルを利用して検索情報を生成するので、圧縮動画像を
復号化する処理、および、画像間相関を求める処理を省
くことができ、検索情報を生成するために必要な計算量
が大幅に軽減される。
【００３９】２．図２の検索条件の入力（ステップ２
０）と動き情報・形状情報の照合（ステップ２１）につ
いて説明する。
０）と動き情報・形状情報の照合（ステップ２１）につ
いて説明する。
【００４０】１）検索条件の入力（ステップ２０） 利用者の所望する検索条件を生成する。生成される条件
は、動きベクトル列ＳＶｅｃｔｏｒ、動きベクトルの経
過時間列Ｓｔｉｍｅ、形状データ列ＳＳｈａｐｅであ
る。ここで、 ＳＶｅｃｔｏｒ＝｛ｓｖ１，ｓｖ２，…，ｓｖｍ｝ Ｓｔｉｍｅ＝｛ｓｔ１，ｓｔ２，…，ｓｔｍ｝ ＳＳｈａｐｅ＝｛ｓｓ１，ｓｓ２，…，ｓｓｍ｝ である。この検索の条件入力の手段は特に問わない。ま
た、検索条件として、動きベクトル列または、形状デー
タ列の一方がなくても構わない。
は、動きベクトル列ＳＶｅｃｔｏｒ、動きベクトルの経
過時間列Ｓｔｉｍｅ、形状データ列ＳＳｈａｐｅであ
る。ここで、 ＳＶｅｃｔｏｒ＝｛ｓｖ１，ｓｖ２，…，ｓｖｍ｝ Ｓｔｉｍｅ＝｛ｓｔ１，ｓｔ２，…，ｓｔｍ｝ ＳＳｈａｐｅ＝｛ｓｓ１，ｓｓ２，…，ｓｓｍ｝ である。この検索の条件入力の手段は特に問わない。ま
た、検索条件として、動きベクトル列または、形状デー
タ列の一方がなくても構わない。
【００４１】２）検索条件の照合 検索条件の入力（ステップ２０）で入力された検索条件
と検索情報蓄積部２５に蓄えられている検索情報との照
合を行なう。検索条件と検索情報との照合は、公知のマ
ッチング技術をもちいて、行なうことができる。１秒間
のフレーム数は、圧縮動画像中に記述してあるのでｆｒ
ａｍとＳｔｉｍｅの対応は容易にとることができる。
と検索情報蓄積部２５に蓄えられている検索情報との照
合を行なう。検索条件と検索情報との照合は、公知のマ
ッチング技術をもちいて、行なうことができる。１秒間
のフレーム数は、圧縮動画像中に記述してあるのでｆｒ
ａｍとＳｔｉｍｅの対応は容易にとることができる。
【００４２】
【発明の効果】以上のように本発明は、圧縮動画像を復
号化することなしに動き情報を検出し、検索情報を生成
する手段を有し、圧縮動画像の動きによる検索を行なう
ための検索情報を簡単に求めることができ、圧縮道画像
を入力してから検索が可能となるまでの時間を短縮する
ことによって、圧縮動画像の検索装置の利便性を向上さ
せる。
号化することなしに動き情報を検出し、検索情報を生成
する手段を有し、圧縮動画像の動きによる検索を行なう
ための検索情報を簡単に求めることができ、圧縮道画像
を入力してから検索が可能となるまでの時間を短縮する
ことによって、圧縮動画像の検索装置の利便性を向上さ
せる。
【００４３】また、検索圧縮動画中の動いている物体の
大きさ、形状、位置の情報を検出し、検索情報を生成す
ることによって、動いている物体の形状、大きさ、位置
を用いた検索を可能とし、圧縮動画像の検索の自由度を
高める。
大きさ、形状、位置の情報を検出し、検索情報を生成す
ることによって、動いている物体の形状、大きさ、位置
を用いた検索を可能とし、圧縮動画像の検索の自由度を
高める。
【図１】従来の圧縮動画像検索装置の処理とデータの流
れを表すブロック図
れを表すブロック図
【図２】本発明の圧縮動画像検索装置の処理とデータの
流れを表すブロック図
流れを表すブロック図
【図３】動き情報と形状情報の検出処理の流れを表すブ
ロック図
ロック図
【図４】ＭＰＥＧ１のデータ構造図
【図５】前方予測符号化フレーム内の動きベクトルを示
す図
す図
【図６】動きベクトル列を生成する処理を説明する図
【図７】類似と判定された動きベクトル列から形状情報
を抽出する処理を説明する図
を抽出する処理を説明する図
【図８】平均的な動きベクトル列を説明する図
２０ 検索条件の入力ステップ ２１ 動き情報・形状情報の照合ステップ ２２ 検索結果の表示ステップ ２３ 動き情報の抽出ステップ ２４ 形状情報の抽出ステップ ２５ 検索情報蓄積部 ２６ 圧縮動画像蓄積部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 5/76 Ｂ 7/32 Ｇ０６Ｆ 15/62 ３３０ Ａ 15/66 ３３０ Ａ Ｈ０４Ｎ 7/137 Ｚ
Claims (4)
- 【請求項１】圧縮動画像を蓄積する手段と、圧縮動画像
から動き情報を検出する手段と、上記動き情報を圧縮動
画像との対応付け情報とともに検索情報として蓄積する
手段と、検索条件として動き情報を入力する手段と、検
索条件として入力された動き情報と検索情報として蓄積
された動き情報を照合する手段とを備えた圧縮動画像の
検索装置。 - 【請求項２】検出した動き情報からサンプリングの間隔
を大きくした動き情報を生成する手段を有し、生成した
動き情報を検索情報として用いる請求項１記載の検索装
置。 - 【請求項３】圧縮動画中の物体の大きさ、形状、位置の
情報を抽出する手段を有し、抽出した情報を検索情報と
して用いる請求項１または２記載の検索装置。 - 【請求項４】圧縮動画像を蓄積する手段と、圧縮動画像
から動き情報を検出する手段と、上記動き情報を圧縮動
画像との対応付け情報とともに検索情報として蓄積する
手段と、検索条件として動き情報を入力する手段と、検
索条件として入力された動き情報と検索情報として蓄積
された動き情報を照合する手段とを有し、圧縮動画像中
に出現する物体の動き情報と検索条件として入力した動
き情報との照合を行なうことにより、圧縮動画像の検索
を行うことを特徴とする圧縮動画像の検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP408195A JPH08194714A (ja) | 1995-01-13 | 1995-01-13 | 圧縮動画像の検索方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP408195A JPH08194714A (ja) | 1995-01-13 | 1995-01-13 | 圧縮動画像の検索方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08194714A true JPH08194714A (ja) | 1996-07-30 |
Family
ID=11574843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP408195A Pending JPH08194714A (ja) | 1995-01-13 | 1995-01-13 | 圧縮動画像の検索方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08194714A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
| JP2001507541A (ja) * | 1996-12-30 | 2001-06-05 | シャープ株式会社 | スプライトベースによるビデオ符号化システム |
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| JP2002112253A (ja) * | 2000-07-10 | 2002-04-12 | Mitsubishi Electric Research Laboratories Inc | ネットワーク化した監視／管制システム及び方法 |
| JP2002513487A (ja) * | 1997-05-05 | 2002-05-08 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | オブジェクト指向コンテンツに基づくビデオ・サーチ用のアルゴリズム及びシステム |
| KR100338083B1 (ko) * | 2000-07-26 | 2002-05-24 | 이광호 | 검색효율 및 검색성능 향상을 위한 로젯패턴 적용영상색인 및 검색방법 |
| KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
| JP2003516053A (ja) * | 1999-11-29 | 2003-05-07 | ソニー株式会社 | 映像音声信号処理方法及び映像音声信号処理装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108730A (ja) * | 1991-08-29 | 1993-04-30 | Internatl Business Mach Corp <Ibm> | 動画像データベースの検索 |
-
1995
- 1995-01-13 JP JP408195A patent/JPH08194714A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108730A (ja) * | 1991-08-29 | 1993-04-30 | Internatl Business Mach Corp <Ibm> | 動画像データベースの検索 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001507541A (ja) * | 1996-12-30 | 2001-06-05 | シャープ株式会社 | スプライトベースによるビデオ符号化システム |
| JP2002513487A (ja) * | 1997-05-05 | 2002-05-08 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | オブジェクト指向コンテンツに基づくビデオ・サーチ用のアルゴリズム及びシステム |
| JP2001086434A (ja) * | 1999-07-08 | 2001-03-30 | Hyundai Electronics Ind Co Ltd | 動き程度記述方法を用いる動映像索引及び検索方法 |
| KR100361939B1 (ko) * | 1999-07-27 | 2002-11-22 | 학교법인 한국정보통신학원 | 객체 움직임을 이용한 ｍｐｅｇ 비디오 시퀀스의 데이터 베이스 구축 및 검색 방법과 그 기록 매체 |
| JP2003516053A (ja) * | 1999-11-29 | 2003-05-07 | ソニー株式会社 | 映像音声信号処理方法及び映像音声信号処理装置 |
| JP2001333389A (ja) * | 2000-05-17 | 2001-11-30 | Mitsubishi Electric Research Laboratories Inc | ビデオ再生システムおよびビデオ信号処理方法 |
| JP2002112253A (ja) * | 2000-07-10 | 2002-04-12 | Mitsubishi Electric Research Laboratories Inc | ネットワーク化した監視／管制システム及び方法 |
| JP4601868B2 (ja) * | 2000-07-10 | 2010-12-22 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | ネットワーク化した監視／管制システム及び方法 |
| KR100338083B1 (ko) * | 2000-07-26 | 2002-05-24 | 이광호 | 검색효율 및 검색성능 향상을 위한 로젯패턴 적용영상색인 및 검색방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
| US8488682B2 (en) | System and method for extracting text captions from video and generating video summaries | |
| JP4725690B2 (ja) | 映像識別子抽出装置 | |
| JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
| US7184100B1 (en) | Method of selecting key-frames from a video sequence | |
| EP2304649B1 (en) | Frame based video matching | |
| EP1018688A2 (en) | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture | |
| EP2270748A2 (en) | Methods of representing images | |
| JP5445467B2 (ja) | クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム | |
| JP2006092559A (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| CN106375771B (zh) | 图像特征匹配方法和装置 | |
| Sahouria et al. | Motion indexing of video | |
| JP3200784B2 (ja) | 動画像検索方法及び装置 | |
| JPH08194714A (ja) | 圧縮動画像の検索方法および装置 | |
| JP4174279B2 (ja) | 映像オブジェクト識別・追跡装置、その方法及びそのプログラム | |
| US20050002569A1 (en) | Method and apparatus for processing images | |
| JP5644505B2 (ja) | 照合加重情報抽出装置 | |
| WO1999051022A1 (en) | Method of selecting key-frames from a video sequence | |
| US20090148047A1 (en) | Video data indexing system, video data indexing method and program | |
| JP3330348B2 (ja) | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 | |
| Kolekar et al. | Hidden markov model based video indexing with discrete cosine transform as a likelihood function | |
| JP4270118B2 (ja) | 映像シーンに対する意味ラベル付与方法及び装置及びプログラム | |
| JP2022112831A (ja) | 顔追跡装置およびプログラム | |
| JP2018137639A (ja) | 動画像処理システム、並びに、符号化装置及びプログラム、並びに、復号装置及びプログラム | |
| CN113569591A (zh) | 图像处理装置、图像处理方法和机器可读存储介质 |