JPH10207897A - 動画像検索システム - Google Patents

Abstract

(57)【要約】 【課題】動画像データ中の動体部分の画像データに基づ
く動画像検索を行うことができる動画像検索システムを
提供する。 【解決手段】制御部２８によって、ＭＰＥＧデータから
動体領域が抽出される。制御部２８によって、前記動体
領域が色領域に分割される。記憶装置２５によって、前
記動体領域の移動方向ベクトルのデータ，前記色領域の
代表色のデータ，前記色領域の面積のデータ，及び前記
色領域の重心座標のデータが特徴量データベースとして
保持される。キーボード１２によって、検索データが入
力される。制御部２８によって、前記検索データに基づ
いて前記特徴量データベースが検索される。制御部２８
によって、前記動体領域を含むフレームの画像が表示装
置１３に表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データ中か
ら所望のフレームを検索する動画像検索システムに関す
るものである。

【０００２】

【従来の技術】従来、ユーザが動画像データ中から所望
のフレームを検索するため、キーワード検索が行われて
いた。このような、従来のキーワード検索について説明
する。まず、オペレータが、フレームやフレームを含む
ショットを特徴づけるようなキーワードを予めフレーム
やショットに付与しておく。そして、ユーザから検索の
ためのキーワードが入力されると、当該キーワードと一
致するようなキーワードが付与されたフレームやショッ
トを検索する。

【０００３】このキーワード検索では、動画像のデータ
量が膨大であるためキーワードをフレームやショットに
付与する手間が膨大となっていた。また、オペレータが
キーワードを付与するため、同一の動画像に付与される
キーワードが、オペレータによって異なってしまってい
た。更に、動画像が含む全ての情報をキーワードによっ
て表現することは、不可能であった。

【０００４】キーワード検索には上述のような欠点があ
るため、静止画像検索を動画像検索に応用した動画像検
索システムも、用いられている。このような、動画像検
索システムについて説明する。まず、動画像を構成する
各フレーム中の色彩のヒストグラム，直線・円等の形
状，テクスチャ等を特徴量として抽出し、各フレームに
対応させておく。そして、ユーザから検索のための特徴
量が入力されると、当該特徴量と一致するような特徴量
を対応させたフレームを検索する。

【０００５】

【発明が解決しようとする課題】しかし、このような従
来の動画像検索システムでは、以下のような欠点があっ
た。即ち、従来の動画像検索システムにおいては、各フ
レームの画像全体から特徴量を抽出していた。従って、
背景がフレームの大部分を占めているような場合には、
付与される特徴量は殆ど背景に関するものとなる。その
ため、ユーザが各フレーム中の物体を検索しようとして
当該物体の特徴量を入力しても、満足な検索結果を得ら
れない場合があった。

【０００６】本発明の課題は、このような従来技術の問
題点に鑑み、各フレーム中の物体のみの特徴量に基づい
て動画像検索を行うことができる動画像検索システムを
提供することである。

【０００７】

【課題を解決するための手段】本発明は前記課題を解決
するために、以下の手段を採用した。本願の第１の発明
は、上述した課題を解決するため、動画像データを保持
する動画像データ保持手段と、前記動画像データに基づ
く動画像を表示する表示手段と、前記動画像データのフ
レーム中から動体部分の画像データである動体領域を抽
出する動体領域抽出手段と、前記動体領域抽出手段によ
って抽出された動体領域を特徴づける特徴量データを抽
出する特徴量データ抽出手段と、前記特徴量データに対
応させて前記動体領域を含むフレームを特定するフレー
ム特定データを保持する特徴量データベース手段と、検
索対象の動画像データの前記特徴量データを入力するた
めの特徴量データ入力手段と、前記特徴量データ入力手
段によって入力された前記特徴量データに基づいて前記
特徴量データベース手段を検索して前記フレーム特定デ
ータを得る特徴量データベース検索手段と、前記特徴量
データベース検索手段によって得られた前記フレーム特
定データによって特定されるフレームを前記動画像デー
タ保持手段から読み出して前記表示手段に表示させる制
御手段とを備えたことを特徴とする（請求項１に対
応）。

【０００８】ここで、動画像データ保持手段，特徴量デ
ータベース手段とはハードディスク等であり、表示手段
とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等で
あり、動体領域抽出手段，特徴量データ抽出手段，特徴
量データベース検索手段，制御手段とはＣＰＵ（Ｃｅｎ
ｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＤＳＰ
（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏ
ｒ）等であり、特徴量データ入力手段とはマウス，キー
ボード等である。

【０００９】本願の第１の発明によれば、動画像データ
保持手段は、動画像データを保持する。表示手段は、前
記動画像データに基づく動画像を表示する。動体領域抽
出手段は、前記動画像データのフレーム中から動体部分
の画像データである動体領域を抽出する。特徴量データ
抽出手段は、前記動体領域抽出手段によって抽出された
動体領域を特徴づける特徴量データを抽出する。特徴量
データベース手段は、前記特徴量データに対応させて前
記動体領域を含むフレームを特定するフレーム特定デー
タを保持する。特徴量データ入力手段によって、検索対
象の動画像データの前記特徴量データが入力される。特
徴量データベース検索手段は、前記特徴量データ入力手
段によって入力された前記特徴量データに基づいて前記
特徴量データベース手段を検索して前記フレーム特定デ
ータを得る。制御手段は、前記特徴量データベース検索
手段によって得られた前記フレーム特定データによって
特定されるフレームを前記動画像データ保持手段から読
み出して前記表示手段に表示させる。

【００１０】このように、動画像データから動体領域を
特徴づける特徴量データが抽出され、当該特徴量データ
に基づいて動画像検索がなされるので、動体領域以外の
背景の影響を受けることがない。

【００１１】また、本願の第２の発明は、上述した課題
を解決するため、前記動画像データはＭＰＥＧデータで
あり、前記動体領域抽出手段は、ＭＰＥＧデータ中の動
ベクトルの長さが所定の閾値以上であるマクロブロック
が連接した領域を前記動体領域として抽出することとし
て、請求項１記載の発明を特定したものである（請求項
２に対応）。

【００１２】また、本願の第３の発明は、上述した課題
を解決するため、前記動画像データはＭＰＥＧデータで
あり、前記動体領域抽出手段は、ＭＰＥＧデータ中の動
ベクトルの長さが所定の閾値以上であるマクロブロック
が連接した領域と、ＭＰＥＧデータ中のＰフレーム及び
Ｂフレーム内のＩｎｔｒａ−ｃｏｄｅｄマクロブロック
が連接した領域とを、前記動体領域として抽出すること
として、請求項１記載の発明を特定したものである（請
求項３に対応）。

【００１３】また、本願の第４の発明は、上述した課題
を解決するため、動画像データを保持する動画像データ
保持手段と、前記動画像データに基づく動画像を表示す
る表示手段と、前記動画像データ中のある時点における
画像データを背景データとして保持する背景データ保持
手段と、前記時点以降のフレーム中の領域であって前記
背景データとの色彩の差が所定の閾値以上である領域を
動体領域として抽出する動体領域抽出手段と、前記動体
領域抽出手段によって抽出された動体領域を特徴づける
特徴量データを抽出する特徴量データ抽出手段と、前記
特徴量データに対応させて前記動体領域を含むフレーム
を特定するフレーム特定データを保持する特徴量データ
ベース手段と、検索対象の動画像データの前記特徴量デ
ータを入力するための特徴量データ入力手段と、前記特
徴量データ入力手段によって入力された前記特徴量デー
タに基づいて前記特徴量データベース手段を検索して前
記フレーム特定データを得る特徴量データベース検索手
段と、前記特徴量データベース検索手段によって得られ
た前記フレーム特定データによって特定されるフレーム
を前記動画像データ保持手段から読み出して前記表示手
段に表示させる制御手段とを備えたことを特徴とする
（請求項４に対応）。

【００１４】ここで、動画像データ保持手段，特徴量デ
ータベース手段，背景データ保持手段とはハードディス
ク等であり、表示手段とはＣＲＴ等であり、動体領域抽
出手段，特徴量データ抽出手段，特徴量データベース検
索手段，制御手段とはＣＰＵ，ＤＳＰ等であり、特徴量
データ入力手段とはマウス，キーボード等である。

【００１５】本願の第４の発明によれば、動画像データ
保持手段は、動画像データを保持する。表示手段は、前
記動画像データに基づく動画像を表示する。背景データ
保持手段は、前記動画像データ中のある時点における画
像データを背景データとして保持する。動体領域抽出手
段は、前記時点以降の前記動画像データ中の領域であっ
て前記背景データとの色彩の差が所定の閾値以上である
領域を動体領域として抽出する。特徴量データ抽出手段
は、前記動体領域抽出手段によって抽出された動体領域
を特徴づける特徴量データを抽出する。特徴量データベ
ース手段は、前記特徴量データに対応させて前記動体領
域を含むフレームを特定するフレーム特定データを保持
する。特徴量データ入力手段によって、検索対象の動画
像データの前記特徴量データが入力される。特徴量デー
タベース検索手段は、前記特徴量データ入力手段によっ
て入力された前記特徴量データに基づいて前記特徴量デ
ータベース手段を検索して前記フレーム特定データを得
る。制御手段は、前記特徴量データベース検索手段によ
って得られた前記フレーム特定データによって特定され
るフレームを前記動画像データ保持手段から読み出して
前記表示手段に表示させる。

【００１６】このように、動画像データから動体領域を
特徴づける特徴量データが抽出され、当該特徴量データ
に基づいて動画像検索がなされるので、動体領域以外の
背景の影響を受けることがない。

【００１７】また、本願の第５の発明は、上述した課題
を解決するため、前記動画像データはＭＰＥＧデータで
あり、前記背景データ保持手段は、ＭＰＥＧデータ中の
各ショット内における最初のＩフレーム中のマクロブロ
ックのＤＣ成分のデータを前記背景データとして保持す
るものであり、前記動体領域抽出手段は、前記背景デー
タ保持手段に保持された前記Ｉフレーム以降の各Ｉフレ
ーム中のマクロブロックのＤＣ成分と前記背景データ中
のデータであって前記マクロブロックの位置に対応する
位置のデータとの差を算出しその差が所定の閾値以上で
ある前記マクロブロックが連接する領域を前記動体領域
として抽出するものであることとして、請求項４記載の
発明を特定したものである（請求項５に対応）。

【００１８】また、本願の第６の発明は、上述した課題
を解決するため、ＭＰＥＧデータを保持する動画像デー
タ保持手段と、ＭＰＥＧデータに基づく動画像を表示す
る表示手段と、ＭＰＥＧデータ中の各ショット内におけ
る最初のＩフレーム中のマクロブロックのＤＣ成分のデ
ータを背景データとして保持する背景データ保持手段
と、前記背景データ保持手段に保持された前記Ｉフレー
ム以降の各Ｉフレーム中のマクロブロックのＤＣ成分と
前記背景データ中のデータであって前記マクロブロック
の位置に対応する位置のデータとの差を算出しその差が
所定の閾値以上である前記マクロブロックが連接する領
域を前記動体領域として抽出するとともに、前記背景デ
ータ保持手段に保持された前記Ｉフレーム以降の各Ｐフ
レーム及びＢフレーム中の動ベクトルの長さが所定の閾
値以上であるマクロブロック及びＩｎｔｒａ−ｃｏｄｅ
ｄマクロブロックが連接した領域を前記動体領域として
抽出する動体領域抽出手段と、前記動体領域抽出手段に
よって抽出された動体領域を特徴づける特徴量データを
抽出する特徴量データ抽出手段と、前記特徴量データに
対応させて前記動体領域を含むフレームを特定するフレ
ーム特定データを保持する特徴量データベース手段と、
検索対象の動画像データの前記特徴量データを入力する
ための特徴量データ入力手段と、前記特徴量データ入力
手段によって入力された前記特徴量データに基づいて前
記特徴量データベース手段を検索して前記フレーム特定
データを得る特徴量データベース検索手段と、前記特徴
量データベース検索手段によって得られた前記フレーム
特定データによって特定されるフレームを前記動画像デ
ータ保持手段から読み出して前記表示手段に表示させる
制御手段とを備えたことを特徴とする（請求項６に対
応）。

【００１９】ここで、動画像データ保持手段，特徴量デ
ータベース手段，背景データ保持手段とはハードディス
ク等であり、表示手段とはＣＲＴ等であり、動体領域抽
出手段，特徴量データ抽出手段，特徴量データベース検
索手段，制御手段とはＣＰＵ，ＤＳＰ等であり、特徴量
データ入力手段とはマウス，キーボード等である。

【００２０】本願の第６の発明によれば、動画像データ
保持手段は、ＭＰＥＧデータを保持する。表示手段は、
ＭＰＥＧデータに基づく動画像を表示する。背景データ
保持手段は、ＭＰＥＧデータ中の各ショット内における
最初のＩフレーム中のマクロブロックのＤＣ成分のデー
タを背景データとして保持する。動体領域抽出手段は、
前記背景データ保持手段に保持された前記Ｉフレーム以
降の各Ｉフレーム中のマクロブロックのＤＣ成分と前記
背景データ中のデータであって前記マクロブロックの位
置に対応する位置のデータとの差を算出しその差が所定
の閾値以上である前記マクロブロックが連接する領域を
前記動体領域として抽出するとともに、前記背景データ
保持手段に保持された前記Ｉフレーム以降の各Ｐフレー
ム及びＢフレーム中の動ベクトルの長さが所定の閾値以
上であるマクロブロック及びＩｎｔｒａ−ｃｏｄｅｄマ
クロブロックが連接した領域を前記動体領域として抽出
する。特徴量データ抽出手段は、前記動体領域抽出手段
によって抽出された動体領域を特徴づける特徴量データ
を抽出する。特徴量データベースは、前記特徴量データ
に対応させて前記動体領域を含むフレームを特定するフ
レーム特定データを保持する。特徴量データ入力手段に
よって、検索対象の動画像データの前記特徴量データが
入力される。特徴量データベース検索手段は、前記特徴
量データ入力手段によって入力された前記特徴量データ
に基づいて前記特徴量データベース手段を検索して前記
フレーム特定データを得る。制御手段は、前記特徴量デ
ータベース検索手段によって得られた前記フレーム特定
データによって特定されるフレームを前記動画像データ
保持手段から読み出して前記表示手段に表示させる。

【００２１】このように、ＭＰＥＧデータから動体領域
を特徴づける特徴量データが抽出され、当該特徴量デー
タに基づいて動画像検索がなされるので、動体領域以外
の背景の影響を受けることがない。

【００２２】また、本願の第７の発明は、上述した課題
を解決するため、前記特徴量データ抽出手段は、所定数
の色彩を基準に前記動体領域を分割して１つ以上の色領
域とし、前記色領域の大きさ及び色彩を前記特徴量デー
タとするものであり、前記特徴量データ入力手段は、検
索対象の大きさ及び色彩を入力するものであり、前記特
徴量データベース検索手段は、前記特徴量データ入力手
段によって入力された検索対象の大きさ及び色彩によっ
て前記特徴量データベース手段を検索するものであるこ
ととして、請求項１乃至６の何れかに記載の発明を特定
したものである（請求項７に対応）。

【００２３】また、本願の第８の発明は、上述した課題
を解決するため、前記特徴量データ抽出手段は、前記色
領域の大きさ及び色彩に加えて、前記動体領域の移動方
向ベクトルを前記特徴量データとするものであり、前記
特徴量データ入力手段は、検索対象の大きさ，色彩及び
移動方向ベクトルを入力するものであり、前記特徴量デ
ータベース検索手段は、前記特徴量データ入力手段によ
って入力された検索対象の大きさ，色彩及び移動方向ベ
クトルによって前記特徴量データベース手段を検索する
ものであることとして、請求項７記載の発明を特定した
ものである（請求項８に対応）。

【００２４】

【発明の実施の形態】以下、本発明の実施の形態を図１
乃至図４３の図面に基いて説明する。

【００２５】

【第１実施形態】図１は本発明の実施形態による動画像
検索システム１０の回路構成を示したものである。図１
において、本実施形態による動画像検索システム１０
は、マウス１１、キーボード１２、表示装置１３、コン
ピュータ本体２０から、構成されている。またコンピュ
ータ本体２０は、バスＢによって相互に接続されたマウ
スインタフェース２１、キーボードインタフェース２
２、表示装置インタフェース２３、画像インタフェース
２４、記憶装置インタフェース２６、メモリ２７、制御
部２８と、記憶装置インタフェース２６を介してバスＢ
と接続された記憶装置２５とから、構成されている。マ
ウス１１はマウスインタフェース２１を介して、キーボ
ード１２はキーボードインタフェース２２を介して、表
示装置１３は表示装置インタフェース２３を介して、そ
れぞれバスＢと接続されている。

【００２６】マウス１１は、ユーザがデータを入力する
ための装置である。キーボード１２は、ユーザが文字等
のデータを入力するための入力装置である。このマウス
１１及びキーボード１２が、特徴量データ入力手段に相
当する。

【００２７】表示装置１３は、キーボード１２から入力
されたデータの文字，画像等を表示するための装置であ
る。この表示装置１３が、表示手段に相当する。コンピ
ュータ本体２０は、プログラムの実行等を行うための装
置である。

【００２８】マウスインタフェース２１は、ユーザから
入力されたデータをマウス１１から受け取ってバスＢへ
伝達する装置である。キーボードインタフェース２２
は、キーボード１２から入力データを受け取ってバスＢ
へ伝達する装置である。

【００２９】表示装置インタフェース２３は、文字，画
像等のデータを表示装置１３に表示させるための装置で
ある。画像インタフェース２４は、画像伝送路Ｃを介し
てＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ Ｅｘｐｅｒ
ｔｓ Ｇｒｏｕｐ）データの受信を行う装置である。

【００３０】記憶装置２５は、ＭＰＥＧデータ，制御部
２８が処理するプログラム，特徴量データベース，カッ
ト情報データベース等を記憶するハードディスク装置で
ある。ここで、特徴量データベースとは、ＭＰＥＧデー
タのフレーム中の動体部分の画像データの移動方向ベク
トル，色彩，大きさ（面積），及び重心座標からなる特
徴量データに対応させて、ＭＰＥＧデータ中の当該動体
領域を含むフレーム番号を記憶するデータベースであ
る。また、カット情報データベースとは、ＭＰＥＧデー
タ中のカット番号に対応させて、ＭＰＥＧデータ中のカ
ット位置のフレーム番号を記憶するデータベースであ
る。この記憶装置２５が、動画像データ保持手段，及び
特徴量データベース手段に相当する。

【００３１】記憶装置インタフェース２６は、記憶装置
２５へのデータの書き込みや、記憶装置２５からのデー
タの読み出しを行う装置である。メモリ２７は、ＲＡＭ
等で構成され、制御部２８の作業用に用いられるメモリ
である。このメモリ２７が、背景データ保持手段に相当
する。

【００３２】制御部２８は、ＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＤＳＰ（Ｄｉｇｉ
ｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成
され、表示装置インタフェース２３に対して、画面表示
指示を行う。また、制御部２８は、記憶装置インタフェ
ース２６に対して、記憶装置２５へのデータ書き込み指
示、記憶装置２５からのデータ読み出し指示を行う。更
に、制御部２８は、マウスインタフェース２１を介して
マウス１１から入力データを受け取り、キーボードイン
タフェース２２を介してキーボード１２から入力データ
を受け取り、画像インタフェース２４を介してＭＰＥＧ
画像データを受け取る。また、制御部２８は、マウス１
１及びキーボード１２から入力された文字等のデータの
処理、表示装置１３に表示する画面データの処理を行
う。この制御部２８が、動体領域抽出手段，特徴量デー
タ抽出手段，特徴量データベース検索手段，及び制御手
段に相当する。 ＜第１実施形態の動作の説明＞次に、記憶装置２５に格
納されているとともに制御部２８で実行される動画像検
索プログラムの内容を、図２乃至図１７のフローチャー
トによって説明する。 ＜ＭＰＥＧデータの取り込み及び特徴量データ抽出処理
＞動画像検索システム１０の制御部２８は、オペレータ
によってキーボード１２から画像データ取り込み指示デ
ータが入力されると、図２乃至図１３の処理を実行す
る。

【００３３】図２乃至図１３の処理を開始すると、最初
のＳ００１では、動画像検索システム１０の制御部２８
は、画像インタフェース２４を介してＭＰＥＧデータを
受け取り、記憶装置２５に書き込む。

【００３４】次のＳ００２では、制御部２８は、Ｓ００
１で受け取ったＭＰＥＧデータ中の全てのカット位置を
検出し、記憶装置２５中のカット情報データベースに書
き込む。

【００３５】次のＳ００３では、制御部２８は、Ｓ００
２で検出したカット位置のデータからショット数を求
め、変数Ｓｎｕｍに代入する。次のＳ００４では、制御
部２８は、各フレーム中のマクロブロックの数を求め、
変数ＭＢｎｕｍに代入する。

【００３６】次のＳ００５では、制御部２８は、変数
ｓ，ｆを０に初期化する。次に処理は、Ｓ００６乃至Ｓ
０９９のループに入る。このループに入って最初のＳ０
０６では、制御部２８は、ｓを１つインクリメントす
る。

【００３７】次のＳ００７では、制御部２８は、第ｓシ
ョット中のフレーム数を求め、変数Ｆｎｕｍに代入す
る。次のＳ００８では、制御部２８は、配列型変数ｐｖ
ｘ［１．．ＭＢｎｕｍ］，ｐｖｙ［１．．ＭＢｎｕｍ］
を０に初期化する。このｐｖｘは、各マクロブロックの
予測動ベクトルのｘ成分を保持する変数である。同様
に、ｐｖｙは、各マクロブロックの予測動ベクトルのｙ
成分を保持する変数である。

【００３８】次に処理は、Ｓ００９乃至Ｓ０９８のルー
プに入る。このループに入って最初のＳ００９では、制
御部２８は、ｆを１つインクリメントする。

【００３９】次のＳ０１０では、制御部２８は、記憶装
置２５から第ｓショットの第ｆフレーム中の各マクロブ
ロックの動ベクトルを読み出し、そのｘ成分を配列型変
数ｖｘ［１．．ＭＢｎｕｍ］に、ｙ成分をｖｙ［１．．
ＭＢｎｕｍ］に夫々代入する。

【００４０】次のＳ０１１では、制御部２８は、第ｆフ
レームがＩ（Ｉｎｔｒａ）フレームであるか否かをチェ
ックする。そして、もしＩフレームであれば処理をＳ０
１２へ移し、そうでなければ（即ちＰ（Ｐｒｅｄｉｃｔ
ｉｖｅ）フレーム又はＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ
ｌｙ ｐｒｅｄｉｃｔｉｖｅ）フレームであれば）処理
をＳ０１３へ移す。

【００４１】Ｓ０１２では、制御部２８は、動ベクトル
に代えて予測動ベクトルを使用するべく、配列型変数ｐ
ｖｘの各要素の値をｖｘの各要素に、ｐｖｙの各要素の
値をｖｙの各要素に夫々代入する。

【００４２】Ｓ０１３では、制御部２８は、配列型変数
ｒｋ［１．．ＭＢｎｕｍ］を０に初期化する。この配列
型変数ｒｋは、各マクロブロックが表す画像が動体の画
像であるか否かを示す変数である。即ち、あるマクロブ
ロックが表す画像が動体の画像である場合には、当該マ
クロブロックの番号を添字とするｒｋの要素に１が書き
込まれる。また、あるマクロブロックが表す画像が動体
の画像でない場合には、当該マクロブロックの番号を添
字とするｒｋの要素に０が書き込まれる。

【００４３】次に処理は、Ｓ０１４乃至Ｓ０１９のルー
プに入る。このループに入って最初のＳ０１４では、制
御部２８は、ｍを１つインクリメントする。

【００４４】次のＳ０１５では、制御部２８は、第ｓシ
ョットの第ｆフレーム中の第ｍマクロブロックがＩｎｔ
ｒａ−ｃｏｄｅｄマクロブロックであるか否かをチェッ
クする。そして、もしＩｎｔｒａ−ｃｏｄｅｄマクロブ
ロックであれば処理をＳ０１８へ移し、そうでなければ
処理をＳ０１６へ移す。

【００４５】Ｓ０１６では、制御部２８は、ｖｘ［ｍ］
及びｖｙ［ｍ］のデータからベクトル長を算出する。次
のＳ０１７では、制御部２８は、Ｓ０１６で算出したベ
クトル長が所定の閾値以上であるか否かをチェックす
る。そして、もし閾値以上であれば処理をＳ０１８へ移
し、そうでなければ処理をＳ０１９へ移す。

【００４６】Ｓ０１５にて第ｍマクロブロックがＩｎｔ
ｒａ−ｃｏｄｅｄマクロブロックであると判断した場合
又はＳ０１７にてベクトル長が閾値以上であると判断し
た場合には、次のＳ０１８において、制御部２８は、ｒ
ｋ［ｍ］に１を代入する。その後、処理はＳ０１９へ進
む。

【００４７】Ｓ０１９では、制御部２８は、ｍの値がＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ０１４へ戻す。以上説明したＳ
０１４乃至Ｓ０１９のループを繰り返した結果、ｍがＭ
Ｂｎｕｍと等しくなった場合には処理はＳ０１９からこ
のループを抜けて、Ｓ０２０に進む。

【００４８】次のＳ０２０では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ０２１乃至Ｓ０２６
のループに入る。このループに入って最初のＳ０２１で
は、制御部２８は、ｍを１つインクリメントする。

【００４９】次のＳ０２２では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１であれば処理をＳ０２３へ移し、そうでなければ処理
をＳ０２６へ移す。

【００５０】Ｓ０２３では、制御部２８は、第ｍマクロ
ブロックを囲む８個のマクロブロックを求める。次のＳ
０２４では、制御部２８は、配列型変数ｒｋの要素のう
ちＳ０２３で求めた８個のマクロブロックに対応する要
素の値が全て０であるか否かを、チェックする。そし
て、もし全て０であれば処理をＳ０２５へ移し、そうで
なければ処理をＳ０２６へ移す。

【００５１】Ｓ０２５では、制御部２８は、ｒｋ［ｍ］
に０を代入する。その後、処理はＳ０２６へ進む。Ｓ０
２６では、制御部２８は、ｍの値がＭＢｎｕｍと等しい
か否かをチェックする。そして、もし等しくなければ処
理をＳ０２１へ戻す。

【００５２】以上説明したＳ０２１乃至Ｓ０２６のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ０２６からこのループを抜けて、Ｓ０２
７に進む。

【００５３】次のＳ０２７では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ０２８乃至Ｓ０３３
のループに入る。このループに入って最初のＳ０２８で
は、制御部２８は、ｍを１つインクリメントする。

【００５４】次のＳ０２９では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１でなければ処理をＳ０３０へ移し、そうでなければ処
理をＳ０３３へ移す。

【００５５】Ｓ０３０では、制御部２８は、配列型変数
ｒｋの要素であって画面上第ｍマクロブロックの左上，
上，及び右上に位置する３個のマクロブロックに対応す
るもののうち２つ以上が１であり、且つ、ｒｋの要素で
あって画面上第ｍマクロブロックの左下，下，及び右下
に位置する３個のマクロブロックに対応するもののうち
２つ以上が１であるか否かをチェックする。そして、も
し以上の条件を満たさない場合には処理をＳ０３１へ移
し、満たす場合には処理をＳ０３２へ移す。

【００５６】Ｓ０３１では、制御部２８は、配列型変数
ｒｋの要素であって画面上第ｍマクロブロックの左上，
左，及び左下に位置する３個のマクロブロックに対応す
るもののうち２つ以上が１であり、且つ、ｒｋの要素で
あって画面上第ｍマクロブロックの右上，右，及び右下
に位置する３個のマクロブロックに対応するもののうち
２つ以上が１であるか否かをチェックする。そして、も
し以上の条件を満たす場合には処理をＳ０３２へ移し、
満たさない場合には処理をＳ０３３へ移す。

【００５７】Ｓ０３２では、制御部２８は、ｒｋ［ｍ］
に１を代入する。その後、処理はＳ０３３へ進む。次の
Ｓ０３３では、制御部２８は、ｍの値がＭＢｎｕｍと等
しいか否かをチェックする。そして、もし等しくなけれ
ば処理をＳ０２８へ戻す。

【００５８】以上説明したＳ０２８乃至Ｓ０３３のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ０３３からこのループを抜けて、Ｓ０３
４に進む。

【００５９】次のＳ０３４では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ０３５乃至Ｓ０４１
のループに入る。このループに入って最初のＳ０３５で
は、制御部２８は、ｍを１つインクリメントする。

【００６０】次のＳ０３６では、制御部２８は、第ｆフ
レーム中の第ｍマクロブロックの画面上のｘ座標を変数
ｍｘに、ｙ座標を変数ｍｙに夫々代入する。次のＳ０３
７では、制御部２８は、マクロブロックの幅を変数ｍｗ
に代入する。

【００６１】次のＳ０３８では、制御部２８は、ｘ座標
がｍｘ＋ｖｘ［ｍ］／ｍｗ、ｙ座標がｍｙ＋ｖｙ［ｍ］
／ｍｗであるマクロブロックを第ｆフレーム中から抽出
する。

【００６２】次のＳ０３９では、制御部２８は、Ｓ０３
８で抽出したマクロブロックの番号を変数ｎに代入す
る。次のＳ０４０では、制御部２８は、ｖｘ［ｎ］＋ｖ
ｘ［ｍ］／ＤＡＭＰを計算して予測動ベクトルのｘ成分
とし、ｐｖｘ［ｎ］に代入する。同様に、ｖｙ［ｎ］＋
ｖｙ［ｍ］／ＤＡＭＰを計算して予測動ベクトルのｙ成
分とし、ｐｖｙ［ｎ］に代入する。ここでＤＡＭＰは、
所定の定数である。

【００６３】次のＳ０４１では、制御部２８は、ｍの値
がＭＢｎｕｍと等しいか否かをチェックする。そして、
もし等しくなければ処理をＳ０３５へ戻す。以上説明し
たＳ０３５乃至Ｓ０４１のループを繰り返した結果、ｍ
がＭＢｎｕｍと等しくなった場合には処理はＳ０４１か
らこのループを抜けて、Ｓ０４２に進む。

【００６４】次のＳ０４２では、制御部２８は、配列型
変数ｒｋの要素の値が１であるものに対応するマクロブ
ロックが連接する領域を動体領域候補として検出し、夫
々に仮のラベル番号を付与する。

【００６５】次のＳ０４３では、制御部２８は、Ｓ０４
２で検出した動体領域候補の数を変数ＤＲＫｎｕｍに代
入する。次のＳ０４４では、制御部２８は、ｎを０に初
期化する。

【００６６】次に処理は、Ｓ０４５乃至Ｓ０５７のルー
プに入る。このループに入って最初のＳ０４５では、制
御部２８は、ｎを１つインクリメントする。

【００６７】次のＳ０４６では、制御部２８は、第ｎ動
体領域候補中のマクロブロックの数を変数ＭＢＤＲＫｎ
ｕｍに代入する。次のＳ０４７では、制御部２８は、Ｍ
ＢＤＲＫｎｕｍの値が所定の閾値以下であるか否かをチ
ェックする。そして、閾値以下であれば処理をＳ０４８
に移し、そうでなければ処理をＳ０４９に移す。

【００６８】Ｓ０４８では、制御部２８は、第ｎ動体領
域候補を構成する各マクロブロックに対応するｒｋの要
素に０を代入する。そして、処理はその後Ｓ０５７に進
む。これに対し、Ｓ０４７にてＭＢＤＲＫｎｕｍの値が
所定の閾値以下でないと判断した場合には、次のＳ０４
９において、制御部２８は、第ｆフレーム中において第
ｎ動体領域候補が占める範囲に相当する第（ｆ−１）フ
レーム中の範囲に、動体領域があるか否かをチェックす
る。そして、もしそのような動体領域がなければ処理を
Ｓ０５０へ移し、そのような動体領域があれば処理をＳ
０５１へ移す。

【００６９】Ｓ０５０では、制御部２８は、第ｎ動体領
域候補に新たなラベル番号を付与する。そして、そのラ
ベル番号を確定したラベル番号とする。その後、処理は
Ｓ０５２へ進む。

【００７０】これに対し、Ｓ０４９にて動体領域がある
と判断した場合には、次のＳ０５１において、制御部２
８は、Ｓ０４９で見つけ出した動体領域のうち第ｎ動体
領域候補が占める範囲に相当する範囲に最も重なってい
る動体領域を選択する。そして、当該動体領域に付与さ
れたラベル番号を第ｎ動体領域候補に付与し、確定した
ラベル番号とする。その後、処理はＳ０５２へ進む。

【００７１】次のＳ０５２では、制御部２８は、変数ａ
ｘ，ａｙ，ｃ，ｍを０に初期化する。次に処理は、Ｓ０
５３乃至Ｓ０５５のループに入る。

【００７２】このループに入って最初のＳ０５３では、
制御部２８は、ｍを１つインクリメントする。次のＳ０
５４では、制御部２８は、ａｘにｖｘ［ｍ］を加算し、
ａｙにｖｙ［ｍ］を加算する。更に、ｃをインクリメン
トする。

【００７３】次のＳ０５５では、制御部２８は、ｍがＭ
ＢＤＲＫｎｕｍと等しいか否かをチェックする。そし
て、もし等しくなければ処理をＳ０５３へ戻す。以上説
明したＳ０５３乃至Ｓ０５５のループを繰り返した結
果、ｍがＭＢＤＲＫｎｕｍと等しくなった場合には処理
はＳ０５５からこのループを抜けて、Ｓ０５６に進む。

【００７４】次のＳ０５６では、制御部２８は、第ｎ動
体領域候補の移動方向のｘ成分をａｘ／ｃ、ｙ成分をａ
ｙ／ｃとして算出する。そして、このように算出された
ａｘ／ｃ及びａｙ／ｃの値を、Ｓ０５０又はＳ０５１で
第ｎ動体領域候補に付与されたラベル番号に対応させ
て、記憶装置２５中の特徴量データベースに書き込む。

【００７５】次のＳ０５７では、制御部２８は、ｎがＤ
ＲＫｎｕｍと等しいか否かをチェックする。そして、も
し等しくなければ処理をＳ０４５へ戻す。以上説明した
Ｓ０４５乃至Ｓ０５７のループを繰り返した結果、ｎが
ＤＲＫｎｕｍと等しくなった場合には、処理はＳ０５７
からこのループを抜けてＳ０５８に進む。

【００７６】次のＳ０５８では、制御部２８は、第ｆフ
レームのデータをＹＣｂＣｒ表色系の画像データに復号
化する。次のＳ０５９では、制御部２８は、Ｓ０５８で
得たＹＣｂＣｒ表色系画像データをＬ＊ａ＊ｂ＊表色系
に基づく画像データに変換する。次のＳ０６０では、制
御部２８は、ｒｋの要素の値が１であるものに対応する
マクロブロックが連接する領域を動体領域として検出
し、その数を変数Ｒｎｕｍに代入する。

【００７７】次のＳ０６１では、制御部２８は、ｎを０
に初期化する。次に、処理は、Ｓ０６２乃至Ｓ０９７の
ループに入る。このループに入って最初のＳ０６２で
は、制御部２８は、ｎをインクリメントする。

【００７８】次のＳ０６３では、制御部２８は、所定数
（Ｃ個）のＬ＊ａ＊ｂ＊表色系に基づく代表色の初期値
を乱数によって夫々生成する。そして、これらの代表色
のＬ＊を配列型変数ｌ［１．．Ｃ］に、ａ＊をａ
［１．．Ｃ］に、ｂ＊をｂ［１．．Ｃ］に夫々代入す
る。

【００７９】次のＳ０６４では、制御部２８は、変数ｉ
を０に初期化する。次に、処理は、Ｓ０６５乃至Ｓ０８
３のループに入る。このループに入って最初のＳ０６５
では、制御部２８は、ｉをインクリメントする。

【００８０】次のＳ０６６では、制御部２８は、第ｎ動
体領域内の画素の数を変数Ｇｎｕｍに代入する。次のＳ
０６７では、制御部２８は、変数ｇを０に初期化する。

【００８１】次に、処理は、Ｓ０６８乃至Ｓ０７０のル
ープに入る。このループに入って最初のＳ０６８では、
制御部２８は、ｇをインクリメントする。

【００８２】次のＳ０６９では、制御部２８は、第ｇ画
素の色に最も近い色をＣ個の代表色の中から選択し、そ
の番号を配列型変数ｄｓ［ｇ］に代入する。尚、色の近
さは、Ｌ＊，ａ＊，及びｂ＊の値によって張られる３次
元空間におけるユークリッド距離の大小によって判断す
る。以下において色の近さを判断するときも、同様とす
る。

【００８３】次のＳ０７０では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ０６８に戻す。以上説明したＳ０
６８乃至Ｓ０７０のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ０７０からこの
ループを抜けてＳ０７１に進む。

【００８４】次のＳ０７１では、制御部２８は、変数ｃ
を０に初期化する。次に、処理は、Ｓ０７２乃至Ｓ０８
０のループに入る。このループに入って最初のＳ０７２
では、制御部２８は、ｃをインクリメントする。

【００８５】次のＳ０７３では、制御部２８は、変数
ｇ，ｃｌ，ｃａ，ｃｂ，ｃｈを０に初期化する。次に、
処理は、Ｓ０７４乃至Ｓ０７８のループに入る。

【００８６】このループに入って最初のＳ０７４では、
制御部２８は、ｇをインクリメントする。次のＳ０７５
では、制御部２８は、ｄｓ［ｇ］の値がｃと等しいか否
かをチェックする。そして、もし等しければ処理をＳ０
７６へ移し、そうでなければ処理をＳ０７８へ移す。

【００８７】Ｓ０７６では、制御部２８は、第ｇ画素の
ａ＊を変数ｇａに、ｂ＊をｇｂに、Ｌ＊をｇｌに夫々代
入する。次のＳ０７７では、制御部２８は、ｃｌにｇｌ
を加算し、ｃａにｇａを加算し、ｃｂにｇｂを加算す
る。更に、ｃｈをインクリメントする。

【００８８】次のＳ０７８では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ０７４に戻す。以上説明したＳ０
７４乃至Ｓ０７８のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ０７８からこの
ループを抜けてＳ０７９に進む。

【００８９】次のＳ０７９では、制御部２８は、ｃｌ／
ｃｈを算出してｌ［ｃ］に代入し、ｃａ／ｃｈを算出し
てａ［ｃ］に代入し、ｃｂ／ｃｈを算出してｂ［ｃ］に
代入する。更に、ｈ［ｃ］にｃｈを代入する。

【００９０】次のＳ０８０では、制御部２８は、ｃがＣ
と等しいか否かをチェックする。そして、もし等しくな
ければ処理をＳ０７２に戻す。以上説明したＳ０７２乃
至Ｓ０８０のループを繰り返した結果、ｃがＣと等しく
なった場合には、処理はＳ０８０からこのループを抜け
てＳ０８１に進む。

【００９１】次のＳ０８１では、制御部２８は、ｉが所
定の繰り返し回数の値に達したか否かをチェックする。
そして、もし達していなければ処理をＳ０８２へ移し、
達していればＳ０６５乃至Ｓ０８１のループを抜けて処
理をＳ０８４へ移す。

【００９２】Ｓ０８２では、制御部２８は、配列型変数
ｈの要素の最大値の添字を変数ｍａｘに代入する。ま
た、最小値の添字を変数ｍｉｎに代入する。次のＳ０８
３では、制御部２８は、ｌ［ｍａｘ］の値に乱数を加算
した値をｌ［ｍｉｎ］に代入する。同様に、ａ［ｍａ
ｘ］の値に乱数を加算した値をａ［ｍｉｎ］に、ｂ［ｍ
ａｘ］の値に乱数を加算した値をｂ［ｍｉｎ］に夫々代
入する。尚、乱数の値は、ｌ［ｍａｘ］，ａ［ｍａ
ｘ］，及びｂ［ｍａｘ］の値に比して小さな値とする。
その後、処理はＳ０６５へ戻る。

【００９３】一方、Ｓ０８１にてｉが所定の繰り返し回
数の値に達したと判断した場合、次のＳ０８４におい
て、制御部２８は、変数ｇを０に初期化する。次に、処
理は、Ｓ０８５乃至Ｓ０８７のループに入る。

【００９４】このループに入って最初のＳ０８５では、
制御部２８は、ｇをインクリメントする。次のＳ０８６
では、制御部２８は、第ｇ画素の色に最も近い色をＣ個
の代表色の中から選択し、その代表色の番号を配列型変
数ｄｓ［ｇ］に代入する。

【００９５】次のＳ０８７では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ０８５に戻す。以上説明したＳ０
８５乃至Ｓ０８７のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ０８７からこの
ループを抜けてＳ０８８に進む。

【００９６】次のＳ０８８では、制御部２８は、配列型
変数ｄｓの値が等しい要素に対応するマクロブロックが
連接する領域を、色領域として検出する。次のＳ０８９
では、制御部２８は、Ｓ０８８で検出した色領域の数を
変数ＩＲｎｕｍに代入する。

【００９７】次のＳ０９０では、制御部２８は、変数ｋ
を０に初期化する。次に、処理は、Ｓ０９１乃至Ｓ０９
６のループに入る。このループに入って最初のＳ０９１
では、制御部２８は、ｋをインクリメントする。

【００９８】次のＳ０９２では、制御部２８は、ノイズ
のカット等のため、第ｋ色領域を縮小する。次のＳ０９
３では、制御部２８は、第ｋ色領域を拡大する。

【００９９】次のＳ０９４では、制御部２８は、第ｋ色
領域を構成する画素数が所定の閾値以上であるか否かを
チェックする。そして、もし閾値以上であれば処理をＳ
０９５へ移し、そうでなければ処理をＳ０９６へ移す。

【０１００】Ｓ０９５では、制御部２８は、第ｋ色領域
の色に最も近い代表色の番号，第ｋ色領域の画素数，及
び第ｋ色領域の重心座標を、第ｎ動体領域のラベル番号
であるｎに対応させて、記憶装置２５中の特徴量データ
ベースに書き込む。

【０１０１】次のＳ０９６では、制御部２８は、ｋがＩ
Ｒｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ０９１に戻す。以上説明したＳ
０９１乃至Ｓ０９６のループを繰り返した結果、ｋがＩ
Ｒｎｕｍと等しくなった場合には、処理はＳ０９６から
このループを抜けてＳ０９７に進む。

【０１０２】次のＳ０９７では、制御部２８は、ｎがＲ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ０６２に戻す。以上説明したＳ０
６２乃至Ｓ０９７のループを繰り返した結果、ｎがＲｎ
ｕｍと等しくなった場合には、処理はＳ０９７からこの
ループを抜けてＳ０９８に進む。

【０１０３】次のＳ０９８では、制御部２８は、ｆがＦ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ００９に戻す。以上説明したＳ０
０９乃至Ｓ０９８のループを繰り返した結果、ｆがＦｎ
ｕｍと等しくなった場合には、処理はＳ０９８からこの
ループを抜けてＳ０９９に進む。

【０１０４】次のＳ０９９では、制御部２８は、ｓがＳ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ００６に戻す。以上説明したＳ０
０６乃至Ｓ０９９のループを繰り返した結果、ｓがＳｎ
ｕｍと等しくなった場合には、処理はＳ０９９からこの
ループを抜けて処理を終了する。

【０１０５】以上のようにして、制御部２８は、ＭＰＥ
Ｇデータ中から、動体領域を抽出するとともに、各動体
領域の移動方向ベクトルを算出することができる。ま
た、各動体領域中の色領域を抽出するとともに、各色領
域の色に最も近い代表色番号，各色領域の画素数，及び
各色領域の重心座標を検出することができる。 ＜検索データの入力処理及び検索処理＞次に、検索のた
めの特徴量データの入力処理及び当該特徴量データに基
づく検索処理について、図１４乃至図１７のフローチャ
ートに基づいて説明する。

【０１０６】動画像検索システム１０の制御部２８は、
オペレータによってキーボード１２から検索データ入力
開始指示データが入力されると、図１４乃至図１７の処
理を実行する。

【０１０７】図１４乃至図１７の処理を開始すると、最
初のＳ１０１では、動画像検索システム１０の制御部２
８は、入力された検索データをマウス１１及びキーボー
ド１２から受け取る。ここで、検索データは、大きさ
（画素数）のデータ及びＬ＊ａ＊ｂ＊表色系による色の
データからなる１つ以上の検索色領域データと、各色領
域データにオプションとして付加される検索移動方向デ
ータとから、構成される。

【０１０８】次のＳ１０２では、制御部２８は、Ｓ１０
１で受け取った検索データ中の各色領域データをその画
素数の多い順にソートする。次のＳ１０３では、制御部
２８は、Ｓ１０２でソートした検索色領域データの中か
ら、上位Ｎ個を選択する。

【０１０９】次のＳ１０４では、制御部２８は、記憶装
置２５中の特徴量データベースに保持されている特徴量
データの個数を変数Ｋに代入する。次のＳ１０５では、
制御部２８は、配列型変数ｓｍｉｎ［１．．Ｋ］，及び
変数ｋを０に初期化する。

【０１１０】次に、処理は、Ｓ１０６乃至Ｓ１２８のル
ープに入る。このループに入って最初のＳ１０６では、
制御部２８は、ｋをインクリメントする。

【０１１１】次のＳ１０７では、制御部２８は、第ｋ特
徴量データを記憶装置２５中の特徴量データベースから
読み出す。次のＳ１０８では、制御部２８は、Ｓ１０１
にて受け取った検索データに検索移動方向データが含ま
れているか否かをチェックする。そして、もし含まれて
いれば処理をＳ１０９へ移し、そうでなければ処理をＳ
１１１へ移す。

【０１１２】Ｓ１０９では、制御部２８は、第ｋ特徴量
データ中の移動方向データによって定まる移動方向が検
索移動方向データによって定まる移動方向の±Ｄ度以内
であるか否かをチェックする。そして、もし±Ｄ度以内
でなければ処理をＳ１１０へ移し、±Ｄ度以内であれば
処理をＳ１１１へ移す。

【０１１３】Ｓ１１０では、制御部２８は、ｓｍｉｎ
［ｋ］に、ｓｍｉｎ［ｋ］が採り得る最大値を代入す
る。その後処理は、Ｓ１２８に移る。これに対し、Ｓ１
０９にて±Ｄ度以内であると判断した場合又はＳ１０８
にて検索データに検索移動方向データが含まれていない
と判断した場合には、次のＳ１１１において、制御部２
８は、第ｋ特徴量データ中の色領域データを、その画素
数の大きい順にソートする。

【０１１４】次のＳ１１２では、制御部２８は、Ｓ１１
１にてソートした色領域データの中から、上位Ｎ個を選
択する。次のＳ１１３では、制御部２８は、検索データ
中に検索色領域データが１つだけ含まれているか否かを
チェックする。そして、もし１つだけであれば処理をＳ
１１４へ移し、そうでなければ処理をＳ１１５へ移す。

【０１１５】Ｓ１１４では、制御部２８は、検索色領域
データ中の色データによって定まる色と、第ｋ特徴量デ
ータに含まれる全ての色領域データ中の色データによっ
て定まる色との間の色差を夫々算出する。色差は、Ｌ
＊，ａ＊，及びｂ＊によって張られる３次元空間におけ
るユークリッド距離によって算出する。そして、算出さ
れた値の中の最小値をｓｍｉｎ［ｋ］に代入する。その
後、処理は、Ｓ１２８へ進む。

【０１１６】Ｓ１１５では、制御部２８は、変数ｉを０
に初期化する。次に、処理は、Ｓ１１６乃至Ｓ１２６の
ループに入る。このループに入って最初のＳ１１６で
は、制御部２８は、ｉをインクリメントする。

【０１１７】次のＳ１１７では、制御部２８は、第ｋ特
徴量データ中の第ｉ色領域データによって定まる色と、
第１検索色領域データによって定まる色との間の色差を
算出し、ｓ［ｉ］に代入する。

【０１１８】次のＳ１１８では、制御部２８は、変数ｎ
を０に初期化する。次に、処理は、Ｓ１１９至Ｓ１２５
のループに入る。このループに入って最初のＳ１１９で
は、制御部２８は、ｎをインクリメントする。

【０１１９】次のＳ１２０では、制御部２８は、第１検
索色領域データによって定まる領域の重心から第ｎ色領
域データ中の重心データによって定まる重心を見た時
の、所定の基準方向に対する角度を算出し、変数ｏａに
代入する。

【０１２０】次のＳ１２１では、制御部２８は、第ｋ特
徴量データに含まれる第ｉ色領域データによって定まる
領域の重心からｏａ±Ｄ度の角度範囲内にある色領域デ
ータを抽出する。

【０１２１】次のＳ１２２では、制御部２８は、Ｓ１２
１にて色領域データが抽出されたか否かをチェックす
る。そして、もし抽出されていれば処理をＳ１２３へ移
し、そうでなければ処理をＳ１２４へ移す。

【０１２２】Ｓ１２３では、制御部２８は、Ｓ１２１に
て抽出された色領域データであってその色が第ｎ検索色
領域データによって定まる色と最も近い色領域データ
を、選択する。そして、このようにして選択された色領
域データによって定まる色と第ｎ検索色領域データによ
って定まる色との色差を算出し、ｓ［ｉ］に加算する。
その後、処理はＳ１２５へ進む。

【０１２３】これに対し、Ｓ１２２にて色領域データが
抽出されなかったと判断した場合には、次のＳ１２４に
おいて、制御部２８は、ｓ［ｉ］に、ｓ［ｉ］が採りう
る最大値を代入する。その後処理は、Ｓ１２５に進む。

【０１２４】Ｓ１２５では、制御部２８は、ｎがＮと等
しいか否かをチェックする。そして、もし等しくなけれ
ば処理をＳ１１９へ戻す。以上説明したＳ１１９乃至Ｓ
１２５のループを繰り返した結果、ｎがＮと等しくなっ
た場合には処理はＳ１２５からこのループを抜けて、Ｓ
１２６に進む。

【０１２５】Ｓ１２６では、制御部２８は、ｉがＮと等
しいか否かをチェックする。そして、もし等しくなけれ
ば処理をＳ１１６へ戻す。以上説明したＳ１１６乃至Ｓ
１２６のループを繰り返した結果、ｉがＮと等しくなっ
た場合には処理はＳ１２６からこのループを抜けて、Ｓ
１２７に進む。

【０１２６】次のＳ１２７では、制御部２８は、ｓ
［１．．Ｎ］の要素の中の最小値をｓｍｉｎ［ｋ］に代
入する。次のＳ１２８では、制御部２８は、ｋがＫと等
しいか否かをチェックする。そして、もし等しくなけれ
ば処理をＳ１０６へ戻す。

【０１２７】以上説明したＳ１０６乃至Ｓ１２８のルー
プを繰り返した結果、ｋがＫと等しくなった場合には処
理はＳ１２８からこのループを抜けて、Ｓ１２９に進
む。Ｓ１２９では、制御部２８は、ｓｍｉｎ［１．．
Ｋ］を値の小さい順にソートする。

【０１２８】次のＳ１３０では、制御部２８は、Ｓ１２
９でソートされた要素の中から上位Ｍ個を選択する。次
のＳ１３１では、制御部２８は、変数ｍを０に初期化す
る。

【０１２９】次に、処理は、Ｓ１３２至Ｓ１３４のルー
プに入る。このループに入って最初のＳ１３２では、制
御部２８は、ｍをインクリメントする。

【０１３０】次のＳ１３３では、制御部２８は、第ｍ特
徴量データによって特定される動体を含むフレームを、
記憶装置２５に記憶されたＭＰＥＧデータ中から抽出す
る。そして、当該フレームに基づく画像を表示装置１３
に表示させるように、表示装置コントローラ２３に指示
する。

【０１３１】次のＳ１３４では、制御部２８は、ｍがＭ
と等しいか否かをチェックする。そして、もし等しくな
ければ処理をＳ１３２へ戻す。以上説明したＳ１３２乃
至Ｓ１３４のループを繰り返した結果、ｍがＭと等しく
なった場合には処理はＳ１３４からこのループを抜け
て、処理を終了する。

【０１３２】以上のように、制御部２８は、オペレータ
から入力された検索データに基づいて特徴量データベー
スを検索し、検索対象の動体を含むフレームの画像を表
示装置１３に表示させることができる。

【０１３３】

【第２実施形態】次に、本発明の第２の実施形態につい
て説明する。第２の実施形態の回路構成は、先に説明し
た第１の実施形態と同様であり、図１によって示され
る。

【０１３４】次に、第２の実施形態の動作について、図
１８乃至図２７のフローチャートによって説明する。 ＜ＭＰＥＧデータの取り込み及び特徴量データ抽出処理
＞動画像検索システム１０の制御部２８は、オペレータ
によってキーボード１２からＭＰＥＧデータ取り込み指
示データが入力されると、図１８乃至図２７の処理を実
行する。

【０１３５】図１８乃至図２７の処理を開始すると、最
初のＳ２０１では、動画像検索システム１０の制御部２
８は、画像インタフェース２４を介してＭＰＥＧデータ
を受け取り、記憶装置２５に書き込む。

【０１３６】次のＳ２０２では、制御部２８は、Ｓ２０
１で受け取ったＭＰＥＧデータ中の全てのカット位置を
検出し、記憶装置２５中のカット情報データベースに書
き込む。

【０１３７】次のＳ２０３では、制御部２８は、Ｓ２０
２で検出したカット位置のデータからショット数を求
め、変数Ｓｎｕｍに代入する。次のＳ２０４では、制御
部２８は、各フレーム中のマクロブロックの数を変数Ｍ
Ｂｎｕｍに、ブロックの数を変数Ｂｎｕｍに夫々代入す
る。

【０１３８】次のＳ２０５では、制御部２８は、変数
ｓ，ｆを０に初期化する。次に処理は、Ｓ２０６乃至Ｓ
２８４のループに入る。このループに入って最初のＳ２
０６では、制御部２８は、ｓを１つインクリメントす
る。

【０１３９】次のＳ２０７では、制御部２８は、第ｓシ
ョット中のフレーム数を求め、変数Ｆｎｕｍに代入す
る。次に処理は、Ｓ２０８乃至Ｓ２８３のループに入
る。

【０１４０】このループに入って最初のＳ２０８では、
制御部２８は、ｆを１つインクリメントする。次のＳ２
０９では、制御部２８は、第ｆフレームがＩ（Ｉｎｔｒ
ａ）フレームであるか否かをチェックする。そして、も
しＩフレームであれば処理をＳ２１０へ移し、そうでな
ければ処理をＳ２８３へ移す。

【０１４１】Ｓ２１０では、制御部２８は、第ｆフレー
ムが第ｓショットにおける最初のＩフレームであるか否
かをチェックする。そして、もし最初のＩフレームであ
れば処理をＳ２１１へ移し、そうでなければ処理をＳ２
１３へ移す。

【０１４２】Ｓ２１１では、制御部２８は、第ｆフレー
ム中の各マクロブロックのＤＣ成分データを読み出す。
尚、各マクロブロック中には、Ｙ（輝度信号）成分のた
めのブロックが４個ある。従って、Ｙ成分のＤＣ成分も
４個あるので、４個の算術平均をＹ成分のＤＣ成分とす
る。Ｃｂ及びＣｒ（色相信号）成分のためのブロックは
夫々１個であるので、夫々のＤＣ成分をそのまま読み出
す。

【０１４３】次のＳ２１２では、制御部２８は、Ｓ２１
１で読み出したＤＣ成分データをＬ＊ａ＊ｂ＊表色系に
変換し、ｄｃｌ［１．．ＭＢｎｕｍ］，ｄｃａ［１．．
ＭＢｎｕｍ］，及びｄｃｂ［１．．ＭＢｎｕｍ］に夫々
代入する。

【０１４４】次のＳ２１３では、制御部２８は、配列型
変数ｒｋ［１．．ＭＢｎｕｍ］を０に初期化する。次の
Ｓ２１４では、制御部２８は、変数ｍを０に初期化す
る。

【０１４５】次に処理は、Ｓ２１５乃至Ｓ２２０のルー
プに入る。このループに入って最初のＳ２１５では、制
御部２８は、ｍを１つインクリメントする。

【０１４６】次のＳ２１６では、制御部２８は、第ｆフ
レーム中の第ｍマクロブロックのＤＣ成分を読み出して
Ｌ＊ａ＊ｂ＊表色系に変換し、その値をｍｌ，ｍａ，及
びｍｂに夫々代入する。

【０１４７】次のＳ２１７では、制御部２８は、ｍｌ，
ｍａ，及びｍｂで定まる色とｄｃｌ［ｍ］，ｄｃａ
［ｍ］，及びｄｃｂ［ｍ］で定まる色との色差を算出す
る。次のＳ２１８では、制御部２８は、Ｓ２１７で算出
した色差が所定の閾値以上であるか否かをチェックす
る。そして、もし閾値以上であれば処理をＳ２１９へ移
し、そうでなければ処理をＳ２２０へ移す。

【０１４８】Ｓ２１９では、制御部２８は、ｒｋ［ｍ］
に１を代入する。Ｓ２２０では、制御部２８は、ｍがＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ２１５へ戻す。

【０１４９】以上説明したＳ２１５乃至Ｓ２２０のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ２２０からこのループを抜けて、Ｓ２２
１に進む。

【０１５０】次のＳ２２１では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ２２２乃至Ｓ２２７
のループに入る。このループに入って最初のＳ２２２で
は、制御部２８は、ｍを１つインクリメントする。

【０１５１】次のＳ２２３では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１であれば処理をＳ２２７へ移し、そうでなければ処理
をＳ２２４へ移す。

【０１５２】Ｓ２２４では、制御部２８は、第ｍマクロ
ブロックを囲む８個のマクロブロックを求める。次のＳ
２２５では、制御部２８は、配列型変数ｒｋの要素のう
ちＳ２２４で求めた８個のマクロブロックに対応するも
のの値が全て０であるか否かをチェックする。そして、
もし全て０であれば処理をＳ２２６へ移し、そうでなけ
れば処理をＳ２２７へ移す。

【０１５３】Ｓ２２６では、制御部２８は、｛ｄｃｌ
［ｍ］＊（Ｎ−１）＋ｍｌ｝／Ｎを算出してｄｃｌ
［ｍ］に代入する。同様に、｛ｄｃａ［ｍ］＊（Ｎ−
１）＋ｍａ｝／Ｎを算出してｄｃａ［ｍ］に代入し、
｛ｄｃｂ［ｍ］＊（Ｎ−１）＋ｍｂ｝／Ｎを算出してｄ
ｃｂ［ｍ］に代入する。尚、第ｓショットの処理を開始
してから現れたＩフレームが未だＮ個に満たない場合に
は、上式のＮをＩフレームが現れた数によって置き換え
て算出する。

【０１５４】次のＳ２２７では、制御部２８は、ｍがＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ２２２へ戻す。以上説明したＳ
２２２乃至Ｓ２２７のループを繰り返した結果、ｍがＭ
Ｂｎｕｍと等しくなった場合には処理はＳ２２７からこ
のループを抜けて、Ｓ２２８に進む。

【０１５５】次のＳ２２８では、制御部２８は、配列型
変数ｒｋの要素のうち値が１であるものに対応するマク
ロブロックが連接する領域を動体領域候補として検出
し、夫々に仮のラベル番号を付与する。

【０１５６】次のＳ２２９では、制御部２８は、Ｓ２２
８にて検出した動体領域候補の数を変数ＤＲＫｎｕｍに
代入する。次のＳ２３０では、制御部２８は、変数ｎを
０に初期化する。

【０１５７】次に処理は、Ｓ２３１乃至Ｓ２４２のルー
プに入る。このループに入って最初のＳ２３１では、制
御部２８は、ｎを１つインクリメントする。

【０１５８】次のＳ２３２では、制御部２８は、第ｎ動
体領域候補中のマクロブロックの数を変数ＭＢＤＲＫｎ
ｕｍに代入する。次のＳ２３３では、制御部２８は、Ｍ
ＢＤＲＫｎｕｍの値が所定の閾値以下であるか否かをチ
ェックする。そして、もし閾値以下であれば処理をＳ２
３４へ移し、そうでなければ処理をＳ２３５へ移す。

【０１５９】Ｓ２３４では、制御部２８は、第ｎ動体領
域候補を構成する各マクロブロックに対応するｒｋの要
素に０を代入する。その後、処理はＳ２４２へ進む。こ
れに対し、Ｓ２３３にてＭＢＤＲＫｎｕｍの値が所定の
閾値以上であると判断した場合、次のＳ２３５におい
て、制御部２８は、第ｎ動体領域候補の重心を算出す
る。そして、その重心のｘ座標を変数ｘ_nに、ｙ座標を
ｙ_nに夫々代入する。

【０１６０】次のＳ２３６では、制御部２８は、第ｆフ
レームより１つ前のＩフレーム中の範囲であって第ｆフ
レームにおける第ｎ動体領域候補が占める範囲に相当す
る範囲に動体領域があるか否かをチェックする。そし
て、もしそのような動体領域がなければ処理をＳ２３７
へ移し、あれば処理をＳ２３９へ移す。

【０１６１】Ｓ２３７では、制御部２８は、第ｎ動体領
域候補に新しいラベル番号を付与する。そして、制御部
２８は、当該番号を第ｎ動体領域候補の確定したラベル
番号とする。

【０１６２】次のＳ２３８では、制御部２８は、変数ｘ
_n-1にｘ_nの値を代入し、変数ｙ_n-1にｙ_nの値を代入す
る。その後処理は、Ｓ２４１へ進む。これに対し、Ｓ２
３６にて動体領域があると判断した場合、次のＳ２３９
にて、制御部２８は、Ｓ２３５にて検出した動体領域の
うち第ｎ動体領域候補が占める範囲に相当する範囲に重
なるマクロブロック数が最も多い動体領域を選択する。
そして、制御部２８は、当該動体領域に付与されたマク
ロブロック番号を、第ｎ動体領域候補に付与する。更
に、制御部２８は、当該番号を第ｎ動体領域候補の確定
したラベル番号とする。

【０１６３】次のＳ２４０では、制御部２８は、Ｓ２３
９にて選択した動体領域の重心座標を特徴量データベー
スから読み出す。そして、制御部２８は、読み出した重
心座標のｘ座標を変数ｘ_n-1に、ｙ座標を変数ｙ_n-1に夫
々代入する。その後、処理はＳ２４１に進む。

【０１６４】Ｓ２４１では、制御部２８は、第ｎ動体領
域候補の移動方向のｘ成分をｘ_n−ｘ_n-1によって算出
し、ｙ成分をｙ_n−ｙ_n-1によって算出する。そして、第
ｎ動体領域候補のラベル番号であるｎに対応させて、記
憶装置２５中の特徴量データベースに書き込む。動体領
域候補は、このように特徴量データベースに書き込まれ
た時点で、動体領域となる。

【０１６５】次のＳ２４２では、制御部２８は、ｎがＲ
ｎｕｍと等しいか否かをチェックする。そして、等しく
なければ処理をＳ２３１へ戻す。以上説明したＳ２３１
乃至Ｓ２４２のループを繰り返した結果、ｎがＲｎｕｍ
と等しくなった場合には処理はＳ２４２からこのループ
を抜けて、Ｓ２４３に進む。

【０１６６】次のＳ２４３では、制御部２８は、第ｆフ
レームのデータを画像データに復号化する。次のＳ２４
４では、制御部２８は、Ｓ２４３で得た画像データをＬ
＊ａ＊ｂ＊表色系に基づく画像データに変換する。

【０１６７】次のＳ２４５では、制御部２８は、配列型
変数ｒｋの要素のうち値が１であるものに対応するマク
ロブロックが連接する動体領域を検出し、その数を変数
Ｒｎｕｍに代入する。

【０１６８】次のＳ２４６では、制御部２８は、変数ｎ
を０に初期化する。次に処理は、Ｓ２４７乃至Ｓ２８２
のループに入る。このループに入って最初のＳ２４７で
は、制御部２８は、ｎを１つインクリメントする。

【０１６９】次のＳ２４８では、制御部２８は、所定数
（Ｃ個）のＬ＊ａ＊ｂ＊表色系に基づく代表色の初期値
を乱数によって夫々生成する。そして、これらの代表色
のＬ＊を配列型変数ｌ［１．．Ｃ］に、ａ＊をａ
［１．．Ｃ］に、ｂ＊をｂ［１．．Ｃ］に夫々代入す
る。

【０１７０】次のＳ２４９では、制御部２８は、変数ｉ
を０に初期化する。次に、処理は、Ｓ２５０乃至Ｓ２６
８のループに入る。このループに入って最初のＳ２５０
では、制御部２８は、ｉをインクリメントする。

【０１７１】次のＳ２５１では、制御部２８は、第ｎ動
体領域内の画素の数を変数Ｇｎｕｍに代入する。次のＳ
２５２では、制御部２８は、変数ｇを０に初期化する。

【０１７２】次に、処理は、Ｓ２５３乃至Ｓ２５５のル
ープに入る。このループに入って最初のＳ２５３では、
制御部２８は、ｇをインクリメントする。

【０１７３】次のＳ２５４では、制御部２８は、第ｇ画
素の色に最も近い色をＣ個の代表色の中から選択し、そ
の番号を配列型変数ｄｓ［ｇ］に代入する。尚、色の近
さは、Ｌ＊，ａ＊，及びｂ＊の値によって張られる３次
元空間におけるユークリッド距離の大小によって判断す
る。以下において色の近さを判断するときも、同様とす
る。

【０１７４】次のＳ２５５では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２５３に戻す。以上説明したＳ２
５３乃至Ｓ２５５のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ２５５からこの
ループを抜けてＳ２５６に進む。

【０１７５】次のＳ２５６では、制御部２８は、変数ｃ
を０に初期化する。次に、処理は、Ｓ２５７乃至Ｓ２６
５のループに入る。このループに入って最初のＳ２５７
では、制御部２８は、ｃをインクリメントする。

【０１７６】次のＳ２５８では、制御部２８は、変数
ｇ，ｃｌ，ｃａ，ｃｂ，ｃｈを０に初期化する。次に、
処理は、Ｓ２５９乃至Ｓ２６３のループに入る。

【０１７７】このループに入って最初のＳ２５９では、
制御部２８は、ｇをインクリメントする。次のＳ２６０
では、制御部２８は、ｄｓ［ｇ］がｃと等しいか否かを
チェックする。そして、もし等しければ処理をＳ２６１
へ移し、等しくなければ処理をＳ２６３へ移す。

【０１７８】次のＳ２６１では、制御部２８は、第ｇ画
素のａ＊を変数ｇａに、ｂ＊をｇｂに、Ｌ＊をｇｌに夫
々代入する。次のＳ２６２では、制御部２８は、ｃｌに
ｇｌを加算し、ｃａにｇａを加算し、ｃｂにｇｂを加算
する。更に、ｃｈをインクリメントする。

【０１７９】次のＳ２６３では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２５９に戻す。以上説明したＳ２
５９乃至Ｓ２６３のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ２６３からこの
ループを抜けてＳ２６４に進む。

【０１８０】次のＳ２６４では、制御部２８は、ｃｌ／
ｃｈを算出してｌ［ｃ］に代入し、ｃａ／ｃｈを算出し
てａ［ｃ］に代入し、ｃｂ／ｃｈを算出してｂ［ｃ］に
代入する。更に、ｈ［ｃ］にｃｈを代入する。

【０１８１】次のＳ２６５では、制御部２８は、ｃがＣ
と等しいか否かをチェックする。そして、もし等しくな
ければ処理をＳ２５７に戻す。以上説明したＳ２５７乃
至Ｓ２６５のループを繰り返した結果、ｃがＣと等しく
なった場合には、処理はＳ２６５からこのループを抜け
てＳ２６６に進む。

【０１８２】次のＳ２６６では、制御部２８は、ｉが所
定の繰り返し回数の値に達したか否かをチェックする。
そして、もし達していなければ処理をＳ２６７へ移し、
そうでなければＳ２５０乃至Ｓ２６８のループを抜けて
処理をＳ２６９へ移す。

【０１８３】Ｓ２６７では、制御部２８は、配列型変数
ｈの要素の最大値の添字を変数ｍａｘに代入する。ま
た、最小値の添字を変数ｍｉｎに代入する。次のＳ２６
８では、制御部２８は、ｌ［ｍａｘ］の値に乱数を加算
した値をｌ［ｍｉｎ］に代入する。同様に、ａ［ｍａ
ｘ］の値に乱数を加算した値をａ［ｍｉｎ］に、ｂ［ｍ
ａｘ］の値に乱数を加算した値をｂ［ｍｉｎ］に夫々代
入する。尚、乱数の値は、ｌ［ｍａｘ］，ａ［ｍａ
ｘ］，及びｂ［ｍａｘ］の値に比して小さな値とする。
その後、処理はＳ２５０へ戻る。

【０１８４】これに対し、Ｓ２６６にて所定の繰り返し
回数に達したと判断した場合、次のＳ２６９において、
制御部２８は、変数ｇを０に初期化する。次に、処理
は、Ｓ２７０乃至Ｓ２７２のループに入る。

【０１８５】このループに入って最初のＳ２７０では、
制御部２８は、ｇをインクリメントする。次のＳ２７１
では、制御部２８は、第ｇ画素の色に最も近い色をＣ個
の代表色の中から選択し、その代表色の番号を配列型変
数ｄｓ［ｇ］に代入する。

【０１８６】次のＳ２７２では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２７０に戻す。以上説明したＳ２
７０乃至Ｓ２７２のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ２７２からこの
ループを抜けてＳ２７３に進む。

【０１８７】次のＳ２７３では、制御部２８は、配列型
変数ｄｓの値が等しい要素に対応するマクロブロックが
連接する領域を、色領域として検出する。次のＳ２７４
では、制御部２８は、Ｓ２７２で検出した色領域の数を
変数ＩＲｎｕｍに代入する。

【０１８８】次のＳ２７５では、制御部２８は、変数ｋ
を０に初期化する。次に、処理は、Ｓ２７６乃至Ｓ２８
１のループに入る。このループに入って最初のＳ２７６
では、制御部２８は、ｋをインクリメントする。

【０１８９】次のＳ２７７では、制御部２８は、ノイズ
のカット等のため、第ｋ色領域を縮小する。次のＳ２７
８では、制御部２８は、第ｋ色領域を拡大する。

【０１９０】次のＳ２７９では、制御部２８は、第ｋ色
領域を構成する画素数が所定の閾値以上であるか否かを
チェックする。そして、もし閾値以上であれば処理をＳ
２８０へ移し、そうでなければ処理をＳ２８１へ移す。

【０１９１】Ｓ２８０では、制御部２８は、第ｋ色領域
の色に最も近い代表色の番号，第ｋ色領域の画素数，及
び第ｋ色領域の重心座標を、第ｎ動体領域のラベル番号
であるｎに対応させて、記憶装置２５中の特徴量データ
ベースに書き込む。

【０１９２】次のＳ２８１では、制御部２８は、ｋがＩ
Ｒｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ２７６に戻す。以上説明したＳ
２７６乃至Ｓ２８１のループを繰り返した結果、ｋがＩ
Ｒｎｕｍと等しくなった場合には、処理はＳ２８１から
このループを抜けてＳ２８２に進む。

【０１９３】次のＳ２８２では、制御部２８は、ｎがＲ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２４７に戻す。以上説明したＳ２
４７乃至Ｓ２８２のループを繰り返した結果、ｎがＲｎ
ｕｍと等しくなった場合には、処理はＳ２８２からこの
ループを抜けてＳ２８３に進む。

【０１９４】次のＳ２８３では、制御部２８は、ｆがＦ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２０８に戻す。以上説明したＳ２
０８乃至Ｓ２８３のループを繰り返した結果、ｆがＦｎ
ｕｍと等しくなった場合には、処理はＳ２８３からこの
ループを抜けてＳ２８４に進む。

【０１９５】次のＳ２８４では、制御部２８は、ｓがＳ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ２０６に戻す。以上説明したＳ２
０６乃至Ｓ２８４のループを繰り返した結果、ｓがＳｎ
ｕｍと等しくなった場合には、処理はＳ２８４からこの
ループを抜けて処理を終了する。

【０１９６】以上のようにして、制御部２８は、ＭＰＥ
Ｇデータ中から、動体領域を抽出するとともに、各動体
領域の移動方向ベクトルを算出することができる。ま
た、各動体領域中の色領域を抽出するとともに、各色領
域の色に最も近い代表色番号，各色領域の画素数，及び
各色領域の重心座標を検出することができる。 ＜特徴量データの入力処理及び検索処理＞本第２実施形
態の検索データの入力処理及び当該検索データに基づく
検索処理は、先述した第１実施形態と同様であるので、
その説明を省略する。

【０１９７】

【第３実施形態】次に、本発明の第３の実施形態につい
て説明する。第３の実施形態の回路構成は、先に説明し
た第１の実施形態と同様であり、図１によって示され
る。

【０１９８】次に、第３の実施形態の動作について、図
２８乃至図４３のフローチャートによって説明する。 ＜ＭＰＥＧデータの取り込み及び特徴量データ抽出処理
＞動画像検索システム１０の制御部２８は、オペレータ
によってキーボード１２からＭＰＥＧデータ取り込み指
示データが入力されると、図２８乃至図４３の処理を実
行する。

【０１９９】図２８乃至図４３の処理を開始すると、最
初のＳ４０１では、動画像検索システム１０の制御部２
８は、画像インタフェース２４を介してＭＰＥＧデータ
を受け取り、記憶装置２５に書き込む。

【０２００】次のＳ４０２では、制御部２８は、Ｓ４０
１で受け取ったＭＰＥＧデータ中の全てのカット位置を
検出し、記憶装置２５中のカット情報データベースに書
き込む。

【０２０１】次のＳ４０３では、制御部２８は、Ｓ４０
２で検出したカット位置のデータからショット数を求
め、変数Ｓｎｕｍに代入する。次のＳ４０４では、制御
部２８は、各フレーム中のマクロブロックの数を変数Ｍ
Ｂｎｕｍに、ブロックの数を変数Ｂｎｕｍに夫々代入す
る。

【０２０２】次のＳ４０５では、制御部２８は、変数
ｓ，ｆを０に初期化する。次に処理は、Ｓ４０６乃至Ｓ
５１７のループに入る。このループに入って最初のＳ４
０６では、制御部２８は、ｓを１つインクリメントす
る。

【０２０３】次のＳ４０７では、制御部２８は、第ｓシ
ョット中のフレーム数を求め、変数Ｆｎｕｍに代入す
る。次のＳ４０８では、制御部２８は、配列型変数ｐｖ
ｘ［１．．ＭＢｎｕｍ］，ｐｖｙ［１．．ＭＢｎｕｍ］
を０に初期化する。このｐｖｘは、各マクロブロックの
予測動ベクトルのｘ成分を保持する変数である。同様
に、ｐｖｙは、各マクロブロックの予測動ベクトルのｙ
成分を保持する変数である。

【０２０４】次に処理は、Ｓ４０９乃至Ｓ５１６のルー
プに入る。このループに入って最初のＳ４０９では、制
御部２８は、ｆを１つインクリメントする。

【０２０５】次のＳ４１０では、制御部２８は、記憶装
置２５から第ｓショットの第ｆフレーム中の各マクロブ
ロックの動ベクトルを読み出し、そのｘ成分を配列型変
数ｖｘ［１．．ＭＢｎｕｍ］に、ｙ成分をｖｙ［１．．
ＭＢｎｕｍ］に夫々代入する。

【０２０６】次のＳ４１１では、制御部２８は、第ｆフ
レームがＩ（Ｉｎｔｒａ）フレームであるか否かをチェ
ックする。そして、もしＩフレームであれば処理をＳ４
１２へ移し、そうでなければ処理をＳ４３１へ移す。

【０２０７】Ｓ４１２では、制御部２８は、動ベクトル
に代えて予測動ベクトルを使用するべく、配列型変数ｐ
ｖｘの各要素の値をｖｘの各要素に、ｐｖｙの各要素の
値をｖｙの各要素に夫々代入する。

【０２０８】Ｓ４１３では、制御部２８は、第ｆフレー
ムが第ｓショットにおける最初のＩフレームであるか否
かをチェックする。そして、もし最初のＩフレームであ
れば処理をＳ４１４へ移し、そうでなければ処理をＳ４
１６へ移す。

【０２０９】Ｓ４１４では、制御部２８は、第ｆフレー
ム中の各マクロブロックのＤＣ成分データを読み出す。
尚、各マクロブロック中には、Ｙ（輝度信号）成分のた
めのブロックが４個ある。従って、Ｙ成分のＤＣ成分も
４個あるので、４個の算術平均をＹ成分のＤＣ成分とす
る。Ｃｂ及びＣｒ（色相信号）成分のためのブロックは
夫々１個であるので、夫々のＤＣ成分をそのまま読み出
す。

【０２１０】次のＳ４１５では、制御部２８は、Ｓ４１
４で読み出したＤＣ成分データをＬ＊ａ＊ｂ＊表色系に
変換し、ｄｃｌ［１．．ＭＢｎｕｍ］，ｄｃａ［１．．
ＭＢｎｕｍ］，及びｄｃｂ［１．．ＭＢｎｕｍ］に夫々
代入する。

【０２１１】次のＳ４１６では、制御部２８は、配列型
変数ｒｋ［１．．ＭＢｎｕｍ］を０に初期化する。次の
Ｓ４１７では、制御部２８は、変数ｍを０に初期化す
る。

【０２１２】次に処理は、Ｓ４１８乃至Ｓ４２３のルー
プに入る。このループに入って最初のＳ４１８では、制
御部２８は、ｍを１つインクリメントする。

【０２１３】次のＳ４１９では、制御部２８は、第ｆフ
レーム中の第ｍマクロブロックのＤＣ成分を読み出して
Ｌ＊ａ＊ｂ＊表色系に変換し、その値をｍｌ，ｍａ，及
びｍｂに夫々代入する。

【０２１４】次のＳ４２０では、制御部２８は、ｍｌ，
ｍａ，及びｍｂで定まる色とｄｃｌ［ｍ］，ｄｃａ
［ｍ］，及びｄｃｂ［ｍ］で定まる色との色差を算出す
る。次のＳ４２１では、制御部２８は、Ｓ４２２で算出
した色差が所定の閾値以上であるか否かをチェックす
る。そして、もし閾値以上であれば処理をＳ２１９へ移
し、そうでなければ処理をＳ４２３へ移す。

【０２１５】Ｓ４２２では、制御部２８は、ｒｋ［ｍ］
に１を代入する。Ｓ４２３では、制御部２８は、ｍがＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ４１８へ戻す。

【０２１６】以上説明したＳ４１８乃至Ｓ４２３のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ４２３からこのループを抜けて、Ｓ４２
４に進む。

【０２１７】次のＳ４２４では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ４２５乃至Ｓ４３０
のループに入る。このループに入って最初のＳ４２５で
は、制御部２８は、ｍを１つインクリメントする。

【０２１８】次のＳ４２６では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１であれば処理をＳ４３０へ移し、そうでなければ処理
をＳ４２７へ移す。

【０２１９】Ｓ４２７では、制御部２８は、第ｍマクロ
ブロックを囲む８個のマクロブロックを求める。次のＳ
４２８では、制御部２８は、配列型変数ｒｋの要素のう
ちＳ４２７で求めた８個のマクロブロックに対応するも
のの値が全て０であるか否かをチェックする。そして、
もし全て０であれば処理をＳ４２９へ移し、そうでなけ
れば処理をＳ４３０へ移す。

【０２２０】Ｓ４２９では、制御部２８は、｛ｄｃｌ
［ｍ］＊（Ｎ−１）＋ｍｌ｝／Ｎを算出してｄｃｌ
［ｍ］に代入する。同様に、｛ｄｃａ［ｍ］＊（Ｎ−
１）＋ｍａ｝／Ｎを算出してｄｃａ［ｍ］に代入し、
｛ｄｃｂ［ｍ］＊（Ｎ−１）＋ｍｂ｝／Ｎを算出してｄ
ｃｂ［ｍ］に代入する。尚、第ｓショットの処理を開始
してから現れたＩフレームが未だＮ個に満たない場合に
は、上式のＮをＩフレームが現れた数によって置き換え
て算出する。

【０２２１】次のＳ４３０では、制御部２８は、ｍがＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ４２５へ戻す。以上説明したＳ
４２５乃至Ｓ４３０のループを繰り返した結果、ｍがＭ
Ｂｎｕｍと等しくなった場合には処理はＳ４３０からこ
のループを抜けて、Ｓ４６０に進む。

【０２２２】これに対し、Ｓ４１１にてＩフレームでな
いと判断した場合、次のＳ４３１において、制御部２８
は、配列型変数ｒｋ［１．．ＭＢｎｕｍ］及び変数ｍを
０に初期化する。

【０２２３】次に処理は、Ｓ４３２乃至Ｓ４３７のルー
プに入る。このループに入って最初のＳ４３２では、制
御部２８は、ｍを１つインクリメントする。

【０２２４】次のＳ４３３では、制御部２８は、第ｓシ
ョットの第ｆフレーム中の第ｍマクロブロックがＩｎｔ
ｒａ−ｃｏｄｅｄマクロブロックであるか否かをチェッ
クする。そして、もしＩｎｔｒａ−ｃｏｄｅｄマクロブ
ロックであれば処理をＳ４３６へ移し、そうでなければ
処理をＳ４３４へ移す。

【０２２５】Ｓ４３４では、制御部２８は、ｖｘ［ｍ］
及びｖｙ［ｍ］のデータからベクトル長を算出する。次
のＳ４３５では、制御部２８は、Ｓ４３５で算出したベ
クトル長が所定の閾値以上であるか否かをチェックす
る。そして、もし閾値以上であれば処理をＳ４３６へ移
し、そうでなければ処理をＳ４３７へ移す。

【０２２６】Ｓ４３３にて第ｍマクロブロックがＩｎｔ
ｒａ−ｃｏｄｅｄマクロブロックであると判断した場合
又はＳ４３５にてベクトル長が閾値以上であると判断し
た場合には、次のＳ４３６において、制御部２８は、ｒ
ｋ［ｍ］に１を代入する。その後、処理はＳ４３７へ進
む。

【０２２７】Ｓ４３７では、制御部２８は、ｍの値がＭ
Ｂｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ４３２へ戻す。以上説明したＳ
４３２乃至Ｓ４３７のループを繰り返した結果、ｍがＭ
Ｂｎｕｍと等しくなった場合には処理はＳ４３７からこ
のループを抜けて、Ｓ４３８に進む。

【０２２８】次のＳ４３８では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ４３９乃至Ｓ４４４
のループに入る。このループに入って最初のＳ４３９で
は、制御部２８は、ｍを１つインクリメントする。

【０２２９】次のＳ４４０では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１であれば処理をＳ４４１へ移し、そうでなければ処理
をＳ４４４へ移す。

【０２３０】Ｓ４４１では、制御部２８は、第ｍマクロ
ブロックを囲む８個のマクロブロックを求める。次のＳ
４４２では、制御部２８は、配列型変数ｒｋの要素のう
ちＳ４４１で求めた８個のマクロブロックに対応する要
素の値が全て０であるか否かを、チェックする。そし
て、もし全て０であれば処理をＳ４４３へ移し、そうで
なければ処理をＳ４４４へ移す。

【０２３１】Ｓ４４３では、制御部２８は、ｒｋ［ｍ］
に０を代入する。その後、処理はＳ４４４へ進む。Ｓ４
４４では、制御部２８は、ｍの値がＭＢｎｕｍと等しい
か否かをチェックする。そして、もし等しくなければ処
理をＳ４３９へ戻す。

【０２３２】以上説明したＳ４３９乃至Ｓ４４４のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ４４４からこのループを抜けて、Ｓ４４
５に進む。

【０２３３】次のＳ４４５では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ４４６乃至Ｓ４５１
のループに入る。このループに入って最初のＳ４４６で
は、制御部２８は、ｍを１つインクリメントする。

【０２３４】次のＳ４４７では、制御部２８は、ｒｋ
［ｍ］が１であるか否かをチェックする。そして、もし
１でなければ処理をＳ４４８へ移し、そうでなければ処
理をＳ４５１へ移す。

【０２３５】Ｓ４４８では、制御部２８は、配列型変数
ｒｋの要素であって画面上第ｍマクロブロックの左上，
上，及び右上に位置する３個のマクロブロックに対応す
るもののうち２つ以上が１であり、且つ、ｒｋの要素で
あって画面上第ｍマクロブロックの左下，下，及び右下
に位置する３個のマクロブロックに対応するもののうち
２つ以上が１であるか否かをチェックする。そして、も
し以上の条件を満たさない場合には処理をＳ４４９へ移
し、満たす場合には処理をＳ４５０へ移す。

【０２３６】Ｓ４４９では、制御部２８は、配列型変数
ｒｋの要素であって画面上第ｍマクロブロックの左上，
左，及び左下に位置する３個のマクロブロックに対応す
るもののうち２つ以上が１であり、且つ、ｒｋの要素で
あって画面上第ｍマクロブロックの右上，右，及び右下
に位置する３個のマクロブロックに対応するもののうち
２つ以上が１であるか否かをチェックする。そして、も
し以上の条件を満たす場合には処理をＳ４５０へ移し、
満たさない場合には処理をＳ４５１へ移す。

【０２３７】Ｓ４５０では、制御部２８は、ｒｋ［ｍ］
に１を代入する。その後、処理はＳ４５１へ進む。次の
Ｓ４５１では、制御部２８は、ｍの値がＭＢｎｕｍと等
しいか否かをチェックする。そして、もし等しくなけれ
ば処理をＳ４４６へ戻す。

【０２３８】以上説明したＳ４４６乃至Ｓ４５１のルー
プを繰り返した結果、ｍがＭＢｎｕｍと等しくなった場
合には処理はＳ４５１からこのループを抜けて、Ｓ４５
２に進む。

【０２３９】次のＳ４５２では、制御部２８は、変数ｍ
を０に初期化する。次に処理は、Ｓ４５３乃至Ｓ４５９
のループに入る。このループに入って最初のＳ４５３で
は、制御部２８は、ｍを１つインクリメントする。

【０２４０】次のＳ４５４では、制御部２８は、第ｆフ
レーム中の第ｍマクロブロックの画面上のｘ座標を変数
ｍｘに、ｙ座標を変数ｍｙに夫々代入する。次のＳ４５
５では、制御部２８は、マクロブロックの幅を変数ｍｗ
に代入する。

【０２４１】次のＳ４５６では、制御部２８は、ｘ座標
がｍｘ＋ｖｘ［ｍ］／ｍｗ、ｙ座標がｍｙ＋ｖｙ［ｍ］
／ｍｗであるマクロブロックを第ｆフレーム中から抽出
する。

【０２４２】次のＳ４５７では、制御部２８は、Ｓ４５
６で抽出したマクロブロックの番号を変数ｎに代入す
る。次のＳ４５８では、制御部２８は、ｖｘ［ｎ］＋ｖ
ｘ［ｍ］／ＤＡＭＰを計算して予測動ベクトルのｘ成分
とし、ｐｖｘ［ｎ］に代入する。同様に、ｖｙ［ｎ］＋
ｖｙ［ｍ］／ＤＡＭＰを計算して予測動ベクトルのｙ成
分とし、ｐｖｙ［ｎ］に代入する。ここでＤＡＭＰは、
所定の定数である。

【０２４３】次のＳ４５９では、制御部２８は、ｍの値
がＭＢｎｕｍと等しいか否かをチェックする。そして、
もし等しくなければ処理をＳ４５３へ戻す。以上説明し
たＳ４５３乃至Ｓ４５９のループを繰り返した結果、ｍ
がＭＢｎｕｍと等しくなった場合には処理はＳ４５９か
らこのループを抜けて、Ｓ４６０に進む。

【０２４４】次のＳ４６０では、制御部２８は、配列型
変数ｒｋの要素の値が１であるものに対応するマクロブ
ロックが連接する領域を動体領域候補として検出し、夫
々に仮のラベル番号を付与する。

【０２４５】次のＳ４６１では、制御部２８は、Ｓ４６
０で検出した動体領域候補の数を変数ＤＲＫｎｕｍに代
入する。次のＳ４６２では、制御部２８は、ｎを０に初
期化する。

【０２４６】次に処理は、Ｓ４６３乃至Ｓ４７５のルー
プに入る。このループに入って最初のＳ４６３では、制
御部２８は、ｎを１つインクリメントする。

【０２４７】次のＳ４６４では、制御部２８は、第ｎ動
体領域候補中のマクロブロックの数を変数ＭＢＤＲＫｎ
ｕｍに代入する。次のＳ４６５では、制御部２８は、Ｍ
ＢＤＲＫｎｕｍの値が所定の閾値以下であるか否かをチ
ェックする。そして、閾値以下であれば処理をＳ４６６
に移し、そうでなければ処理をＳ４６７に移す。

【０２４８】Ｓ４６６では、制御部２８は、第ｎ動体領
域候補を構成する各マクロブロックに対応するｒｋの要
素に０を代入する。そして、処理はその後Ｓ４７５に進
む。これに対し、Ｓ４６５にてＭＢＤＲＫｎｕｍの値が
所定の閾値以下でないと判断した場合には、次のＳ４６
７において、制御部２８は、第ｆフレーム中において第
ｎ動体領域候補が占める範囲に相当する第（ｆ−１）フ
レーム中の範囲に、動体領域があるか否かをチェックす
る。そして、もしそのような動体領域があれば処理をＳ
４６９へ移し、動体領域がなければ処理をＳ４６８へ移
す。

【０２４９】Ｓ４６８では、制御部２８は、第ｎ動体領
域候補に新たなラベル番号を付与する。そして、そのラ
ベル番号を確定したラベル番号とする。その後、処理は
Ｓ４７０へ進む。

【０２５０】これに対し、Ｓ４６７にて動体領域がある
と判断した場合には、次のＳ４６９において、制御部２
８は、Ｓ４６７で見つけ出した動体領域のうち第ｎ動体
領域候補が占める範囲に相当する範囲に最も重なってい
る動体領域を選択する。そして、当該動体領域に付与さ
れたラベル番号を第ｎ動体領域候補に付与し、確定した
ラベル番号とする。その後、処理はＳ４７０へ進む。

【０２５１】次のＳ４７０では、制御部２８は、変数ａ
ｘ，ａｙ，ｃ，ｍを０に初期化する。次に処理は、Ｓ４
７１乃至Ｓ４７３のループに入る。

【０２５２】このループに入って最初のＳ４７１では、
制御部２８は、ｍを１つインクリメントする。次のＳ４
７２では、制御部２８は、ａｘにｖｘ［ｍ］を加算し、
ａｙにｖｙ［ｍ］を加算する。更に、ｃをインクリメン
トする。

【０２５３】次のＳ４７３では、制御部２８は、ｍがＭ
ＢＤＲＫｎｕｍと等しいか否かをチェックする。そし
て、もし等しくなければ処理をＳ４７１へ戻す。以上説
明したＳ４７１乃至Ｓ４７３のループを繰り返した結
果、ｍがＭＢＤＲＫｎｕｍと等しくなった場合には処理
はＳ４７３からこのループを抜けて、Ｓ４７４に進む。

【０２５４】次のＳ４７４では、制御部２８は、第ｎ動
体領域候補の移動方向ベクトルのｘ成分をａｘ／ｃ、ｙ
成分をａｙ／ｃとして算出する。そして、このように算
出されたａｘ／ｃ及びａｙ／ｃの値を、Ｓ４６８又はＳ
４６９で第ｎ動体領域候補に付与されたラベル番号に対
応させて、記憶装置２５中の特徴量データベースに書き
込む。

【０２５５】次のＳ４７５では、制御部２８は、ｎがＤ
ＲＫｎｕｍと等しいか否かをチェックする。そして、も
し等しくなければ処理をＳ４６３へ戻す。以上説明した
Ｓ４６３乃至Ｓ４７５のループを繰り返した結果、ｎが
ＤＲＫｎｕｍと等しくなった場合には、処理はＳ４７５
からこのループを抜けてＳ４７６に進む。

【０２５６】次のＳ４７６では、制御部２８は、第ｆフ
レームのデータを画像データに復号化する。次のＳ４７
７では、制御部２８は、Ｓ４７６で得た画像データをＬ
＊ａ＊ｂ＊表色系に基づく画像データに変換する。

【０２５７】次のＳ４７８では、制御部２８は、配列型
変数ｒｋの要素のうち値が１であるものに対応するマク
ロブロックが連接する動体領域を検出し、その数を変数
Ｒｎｕｍに代入する。

【０２５８】次のＳ４７９では、制御部２８は、変数ｎ
を０に初期化する。次に処理は、Ｓ４８０乃至Ｓ５１５
のループに入る。このループに入って最初のＳ４８０で
は、制御部２８は、ｎを１つインクリメントする。

【０２５９】次のＳ４８１では、制御部２８は、所定数
（Ｃ個）のＬ＊ａ＊ｂ＊表色系に基づく代表色の初期値
を乱数によって夫々生成する。そして、これらの代表色
のＬ＊を配列型変数ｌ［１．．Ｃ］に、ａ＊をａ
［１．．Ｃ］に、ｂ＊をｂ［１．．Ｃ］に夫々代入す
る。

【０２６０】次のＳ４８２では、制御部２８は、変数ｉ
を０に初期化する。次に、処理は、Ｓ４８３乃至Ｓ５０
１のループに入る。このループに入って最初のＳ４８３
では、制御部２８は、ｉをインクリメントする。

【０２６１】次のＳ４８４では、制御部２８は、第ｎ動
体領域内の画素の数を変数Ｇｎｕｍに代入する。次のＳ
４８５では、制御部２８は、変数ｇを０に初期化する。

【０２６２】次に、処理は、Ｓ４８６乃至Ｓ４８８のル
ープに入る。このループに入って最初のＳ４８６では、
制御部２８は、ｇをインクリメントする。

【０２６３】次のＳ４８７では、制御部２８は、第ｇ画
素の色に最も近い色をＣ個の代表色の中から選択し、そ
の番号を配列型変数ｄｓ［ｇ］に代入する。尚、色の近
さは、Ｌ＊，ａ＊，及びｂ＊の値によって張られる３次
元空間におけるユークリッド距離の大小によって判断す
る。以下において色の近さを判断するときも、同様とす
る。

【０２６４】次のＳ４８８では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ４８６に戻す。以上説明したＳ４
８６乃至Ｓ４８８のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ４８８からこの
ループを抜けてＳ４８９に進む。

【０２６５】次のＳ４８９では、制御部２８は、変数ｃ
を０に初期化する。次に、処理は、Ｓ４９０乃至Ｓ４９
８のループに入る。このループに入って最初のＳ４９０
では、制御部２８は、ｃをインクリメントする。

【０２６６】次のＳ４９１では、制御部２８は、変数
ｇ，ｃｌ，ｃａ，ｃｂ，ｃｈを０に初期化する。次に、
処理は、Ｓ４９２乃至Ｓ４９６のループに入る。

【０２６７】このループに入って最初のＳ４９２では、
制御部２８は、ｇをインクリメントする。次のＳ４９３
では、制御部２８は、ｄｓ［ｇ］がｃと等しいか否かを
チェックする。そして、もし等しければ処理をＳ４９４
へ移し、そうでなければ処理をＳ４９６へ移す。

【０２６８】次のＳ４９４では、制御部２８は、第ｇ画
素のａ＊を変数ｇａに、ｂ＊をｇｂに、Ｌ＊をｇｌに夫
々代入する。次のＳ４９５では、制御部２８は、ｃｌに
ｇｌを加算し、ｃａにｇａを加算し、ｃｂにｇｂを加算
する。更に、ｃｈをインクリメントする。

【０２６９】次のＳ４９６では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ４９２に戻す。以上説明したＳ４
９２乃至Ｓ４９６のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ４９６からこの
ループを抜けてＳ４９７に進む。

【０２７０】次のＳ４９７では、制御部２８は、ｃｌ／
ｃｈを算出してｌ［ｃ］に代入し、ｃａ／ｃｈを算出し
てａ［ｃ］に代入し、ｃｂ／ｃｈを算出してｂ［ｃ］に
代入する。更に、ｈ［ｃ］にｃｈを代入する。

【０２７１】次のＳ４９８では、制御部２８は、ｃがＣ
と等しいか否かをチェックする。そして、もし等しくな
ければ処理をＳ４９０に戻す。以上説明したＳ４９０乃
至Ｓ４９８のループを繰り返した結果、ｃがＣと等しく
なった場合には、処理はＳ４９８からこのループを抜け
てＳ４９９に進む。

【０２７２】次のＳ４９９では、制御部２８は、ｉが所
定の繰り返し回数の値に達したか否かをチェックする。
そして、もし達していなければ処理をＳ５００に移し、
達していればＳ４８３乃至Ｓ５０１のループを抜けて処
理をＳ５０２へ移す。

【０２７３】Ｓ５００では、制御部２８は、配列型変数
ｈの要素の最大値の添字を変数ｍａｘに代入する。ま
た、最小値の添字を変数ｍｉｎに代入する。次のＳ５０
１では、制御部２８は、ｌ［ｍａｘ］の値に乱数を加算
した値をｌ［ｍｉｎ］に代入する。同様に、ａ［ｍａ
ｘ］の値に乱数を加算した値をａ［ｍｉｎ］に、ｂ［ｍ
ａｘ］の値に乱数を加算した値をｂ［ｍｉｎ］に夫々代
入する。尚、乱数の値は、ｌ［ｍａｘ］，ａ［ｍａ
ｘ］，及びｂ［ｍａｘ］の値に比して小さな値とする。
その後、処理はＳ４８３へ戻る。

【０２７４】これに対し、Ｓ４９９にて、ｉが所定の繰
り返し回数の値に達したと判断した場合、次のＳ５０２
において、制御部２８は、変数ｇを０に初期化する。次
に、処理は、Ｓ５０３乃至Ｓ５０５のループに入る。

【０２７５】このループに入って最初のＳ５０３では、
制御部２８は、ｇをインクリメントする。次のＳ５０４
では、制御部２８は、第ｇ画素の色に最も近い色をＣ個
の代表色の中から選択し、その代表色の番号を配列型変
数ｄｓ［ｇ］に代入する。

【０２７６】次のＳ５０５では、制御部２８は、ｇがＧ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ５０３に戻す。以上説明したＳ５
０３乃至Ｓ５０５のループを繰り返した結果、ｇがＧｎ
ｕｍと等しくなった場合には、処理はＳ５０５からこの
ループを抜けてＳ５０６に進む。

【０２７７】次のＳ５０６では、制御部２８は、配列型
変数ｄｓの値が等しい要素に対応するマクロブロックが
連接する領域を、色領域として検出する。次のＳ５０７
では、制御部２８は、Ｓ５０６で検出した色領域の数を
変数ＩＲｎｕｍに代入する。

【０２７８】次のＳ５０８では、制御部２８は、変数ｋ
を０に初期化する。次に、処理は、Ｓ５０９乃至Ｓ５１
４のループに入る。このループに入って最初のＳ５０９
では、制御部２８は、ｋをインクリメントする。

【０２７９】次のＳ５１０では、制御部２８は、ノイズ
のカット等のため、第ｋ色領域を縮小する。次のＳ５１
１では、制御部２８は、第ｋ色領域を拡大する。

【０２８０】次のＳ５１２では、制御部２８は、第ｋ色
領域を構成する画素数が所定の閾値以上であるか否かを
チェックする。そして、もし閾値以上であれば処理をＳ
５１３へ移し、そうでなければ処理をＳ５１４へ移す。

【０２８１】Ｓ５１３では、制御部２８は、第ｋ色領域
の色に最も近い代表色の番号，第ｋ色領域の画素数，及
び第ｋ色領域の重心座標を、第ｎ動体領域のラベル番号
であるｎに対応させて、記憶装置２５中の特徴量データ
ベースに書き込む。

【０２８２】次のＳ５１４では、制御部２８は、ｋがＩ
Ｒｎｕｍと等しいか否かをチェックする。そして、もし
等しくなければ処理をＳ５０９に戻す。以上説明したＳ
５０９乃至Ｓ５１４のループを繰り返した結果、ｋがＩ
Ｒｎｕｍと等しくなった場合には、処理はＳ５１４から
このループを抜けてＳ５１５に進む。

【０２８３】次のＳ５１５では、制御部２８は、ｎがＲ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ４８０に戻す。以上説明したＳ４
８０乃至Ｓ５１５のループを繰り返した結果、ｎがＲｎ
ｕｍと等しくなった場合には、処理はＳ５１５からこの
ループを抜けてＳ５１６に進む。

【０２８４】次のＳ５１６では、制御部２８は、ｆがＦ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ４０９に戻す。以上説明したＳ４
０９乃至Ｓ５１６のループを繰り返した結果、ｆがＦｎ
ｕｍと等しくなった場合には、処理はＳ５１６からこの
ループを抜けてＳ５１７に進む。

【０２８５】次のＳ５１７では、制御部２８は、ｓがＳ
ｎｕｍと等しいか否かをチェックする。そして、もし等
しくなければ処理をＳ４０６に戻す。以上説明したＳ４
０６乃至Ｓ５１７のループを繰り返した結果、ｓがＳｎ
ｕｍと等しくなった場合には、処理はＳ５１６からこの
ループを抜けて処理を終了する。

【０２８６】以上のようにして、制御部２８は、ＭＰＥ
Ｇデータ中から、動体領域を抽出するとともに、各動体
領域の移動方向ベクトルを算出することができる。ま
た、各動体領域中の色領域を抽出するとともに、各色領
域の色に最も近い代表色番号，各色領域の画素数，及び
各色領域の重心座標を検出することができる。 ＜特徴量データの入力処理及び検索処理＞本第３実施形
態の検索データの入力処理及び当該検索データに基づく
検索処理は、先述した第１実施形態と同様であるので、
その説明を省略する。

【０２８７】

【発明の効果】以上説明したように、本発明によれば、
動画像データから動体領域を抽出するとともに、各動体
領域の移動方向ベクトルを算出することができる。ま
た、各動体領域中の色領域を抽出するとともに、各色領
域の色に最も近い代表色番号，各色領域の画素数，及び
各色領域の重心座標を検出することができる。このよう
にして抽出された特徴量データに基づいて動画像検索が
行われるので、動体領域以外の背景の影響を受けること
なく動画像検索を行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態による動画像検索システム
の構成を示すブロック図

【図２】図１の制御部において実行される制御処理を示
すフローチャート

【図３】図１の制御部において実行される制御処理を示
すフローチャート

【図４】図１の制御部において実行される制御処理を示
すフローチャート

【図５】図１の制御部において実行される制御処理を示
すフローチャート

【図６】図１の制御部において実行される制御処理を示
すフローチャート

【図７】図１の制御部において実行される制御処理を示
すフローチャート

【図８】図１の制御部において実行される制御処理を示
すフローチャート

【図９】図１の制御部において実行される制御処理を示
すフローチャート

【図１０】図１の制御部において実行される制御処理を
示すフローチャート

【図１１】図１の制御部において実行される制御処理を
示すフローチャート

【図１２】図１の制御部において実行される制御処理を
示すフローチャート

【図１３】図１の制御部において実行される制御処理を
示すフローチャート

【図１４】図１の制御部において実行される制御処理を
示すフローチャート

【図１５】図１の制御部において実行される制御処理を
示すフローチャート

【図１６】図１の制御部において実行される制御処理を
示すフローチャート

【図１７】図１の制御部において実行される制御処理を
示すフローチャート

【図１８】図１の制御部において実行される制御処理を
示すフローチャート

【図１９】図１の制御部において実行される制御処理を
示すフローチャート

【図２０】図１の制御部において実行される制御処理を
示すフローチャート

【図２１】図１の制御部において実行される制御処理を
示すフローチャート

【図２２】図１の制御部において実行される制御処理を
示すフローチャート

【図２３】図１の制御部において実行される制御処理を
示すフローチャート

【図２４】図１の制御部において実行される制御処理を
示すフローチャート

【図２５】図１の制御部において実行される制御処理を
示すフローチャート

【図２６】図１の制御部において実行される制御処理を
示すフローチャート

【図２７】図１の制御部において実行される制御処理を
示すフローチャート

【図２８】図１の制御部において実行される制御処理を
示すフローチャート

【図２９】図１の制御部において実行される制御処理を
示すフローチャート

【図３０】図１の制御部において実行される制御処理を
示すフローチャート

【図３１】図１の制御部において実行される制御処理を
示すフローチャート

【図３２】図１の制御部において実行される制御処理を
示すフローチャート

【図３３】図１の制御部において実行される制御処理を
示すフローチャート

【図３４】図１の制御部において実行される制御処理を
示すフローチャート

【図３５】図１の制御部において実行される制御処理を
示すフローチャート

【図３６】図１の制御部において実行される制御処理を
示すフローチャート

【図３７】図１の制御部において実行される制御処理を
示すフローチャート

【図３８】図１の制御部において実行される制御処理を
示すフローチャート

【図３９】図１の制御部において実行される制御処理を
示すフローチャート

【図４０】図１の制御部において実行される制御処理を
示すフローチャート

【図４１】図１の制御部において実行される制御処理を
示すフローチャート

【図４２】図１の制御部において実行される制御処理を
示すフローチャート

【図４３】図１の制御部において実行される制御処理を
示すフローチャート

【符号の説明】

１０ 動画像検索システム １１ マウス １２ キーボード １３ 表示装置 ２０ コンピュータ本体 ２１ マウスインタフェース ２２ キーボードインタフェース ２３ 表示装置インタフェース ２４ 画像インタフェース ２５ 記憶装置 ２６ 記憶装置インタフェース ２７ メモリ ２８ 制御部

Claims (8)

【特許請求の範囲】
1. 【請求項１】動画像データを保持する動画像データ保持
   手段と、 前記動画像データに基づく動画像を表示する表示手段
   と、 前記動画像データのフレーム中から動体部分の画像デー
   タである動体領域を抽出する動体領域抽出手段と、 前記動体領域抽出手段によって抽出された動体領域を特
   徴づける特徴量データを抽出する特徴量データ抽出手段
   と、 前記特徴量データに対応させて前記動体領域を含むフレ
   ームを特定するフレーム特定データを保持する特徴量デ
   ータベース手段と、 検索対象の動画像データの前記特徴量データを入力する
   ための特徴量データ入力手段と、 前記特徴量データ入力手段によって入力された前記特徴
   量データに基づいて前記特徴量データベース手段を検索
   して前記フレーム特定データを得る特徴量データベース
   検索手段と、 前記特徴量データベース検索手段によって得られた前記
   フレーム特定データによって特定されるフレームを前記
   動画像データ保持手段から読み出して前記表示手段に表
   示させる制御手段とを備えたことを特徴とする動画像検
   索システム。
2. 【請求項２】前記動画像データはＭＰＥＧデータであ
   り、前記動体領域抽出手段は、ＭＰＥＧデータ中の動ベ
   クトルの長さが所定の閾値以上であるマクロブロックが
   連接した領域を前記動体領域として抽出することを特徴
   とする請求項１記載の動画像検索システム。
3. 【請求項３】前記動画像データはＭＰＥＧデータであ
   り、前記動体領域抽出手段は、ＭＰＥＧデータ中の動ベ
   クトルの長さが所定の閾値以上であるマクロブロックが
   連接した領域と、ＭＰＥＧデータ中のＰフレーム及びＢ
   フレーム内のＩｎｔｒａ−ｃｏｄｅｄマクロブロックが
   連接した領域とを、前記動体領域として抽出することを
   特徴とする請求項１記載の動画像検索システム。
4. 【請求項４】動画像データを保持する動画像データ保持
   手段と、 前記動画像データに基づく動画像を表示する表示手段
   と、 前記動画像データ中のある時点における画像データを背
   景データとして保持する背景データ保持手段と、 前記時点以降のフレーム中の領域であって前記背景デー
   タとの色彩の差が所定の閾値以上である領域を動体領域
   として抽出する動体領域抽出手段と、 前記動体領域抽出手段によって抽出された動体領域を特
   徴づける特徴量データを抽出する特徴量データ抽出手段
   と、 前記特徴量データに対応させて前記動体領域を含むフレ
   ームを特定するフレーム特定データを保持する特徴量デ
   ータベース手段と、 検索対象の動画像データの前記特徴量データを入力する
   ための特徴量データ入力手段と、 前記特徴量データ入力手段によって入力された前記特徴
   量データに基づいて前記特徴量データベース手段を検索
   して前記フレーム特定データを得る特徴量データベース
   検索手段と、 前記特徴量データベース検索手段によって得られた前記
   フレーム特定データによって特定されるフレームを前記
   動画像データ保持手段から読み出して前記表示手段に表
   示させる制御手段とを備えたことを特徴とする動画像検
   索システム。
5. 【請求項５】前記動画像データはＭＰＥＧデータであ
   り、前記背景データ保持手段は、ＭＰＥＧデータ中の各
   ショット内における最初のＩフレーム中のマクロブロッ
   クのＤＣ成分のデータを前記背景データとして保持する
   ものであり、前記動体領域抽出手段は、前記背景データ
   保持手段に保持された前記Ｉフレーム以降の各Ｉフレー
   ム中のマクロブロックのＤＣ成分と前記背景データ中の
   データであって前記マクロブロックの位置に対応する位
   置のデータとの差を算出しその差が所定の閾値以上であ
   る前記マクロブロックが連接する領域を前記動体領域と
   して抽出するものであることを特徴とする請求項４記載
   の動画像検索システム。
6. 【請求項６】ＭＰＥＧデータを保持する動画像データ保
   持手段と、 ＭＰＥＧデータに基づく動画像を表示する表示手段と、 ＭＰＥＧデータ中の各ショット内における最初のＩフレ
   ーム中のマクロブロックのＤＣ成分のデータを背景デー
   タとして保持する背景データ保持手段と、 前記背景データ保持手段に保持された前記Ｉフレーム以
   降の各Ｉフレーム中のマクロブロックのＤＣ成分と前記
   背景データ中のデータであって前記マクロブロックの位
   置に対応する位置のデータとの差を算出しその差が所定
   の閾値以上である前記マクロブロックが連接する領域を
   前記動体領域として抽出するとともに、前記背景データ
   保持手段に保持された前記Ｉフレーム以降の各Ｐフレー
   ム及びＢフレーム中の動ベクトルの長さが所定の閾値以
   上であるマクロブロック及びＩｎｔｒａ−ｃｏｄｅｄマ
   クロブロックが連接した領域を前記動体領域として抽出
   する動体領域抽出手段と、 前記動体領域抽出手段によって抽出された動体領域を特
   徴づける特徴量データを抽出する特徴量データ抽出手段
   と、 前記特徴量データに対応させて前記動体領域を含むフレ
   ームを特定するフレーム特定データを保持する特徴量デ
   ータベース手段と、 検索対象の動画像データの前記特徴量データを入力する
   ための特徴量データ入力手段と、 前記特徴量データ入力手段によって入力された前記特徴
   量データに基づいて前記特徴量データベース手段を検索
   して前記フレーム特定データを得る特徴量データベース
   検索手段と、 前記特徴量データベース検索手段によって得られた前記
   フレーム特定データによって特定されるフレームを前記
   動画像データ保持手段から読み出して前記表示手段に表
   示させる制御手段とを備えたことを特徴とする動画像検
   索システム。
7. 【請求項７】前記特徴量データ抽出手段は、所定数の色
   彩を基準に前記動体領域を分割して１つ以上の色領域と
   し、前記色領域の大きさ及び色彩を前記特徴量データと
   するものであり、前記特徴量データ入力手段は、検索対
   象の大きさ及び色彩を入力するものであり、前記特徴量
   データベース検索手段は、前記特徴量データ入力手段に
   よって入力された検索対象の大きさ及び色彩によって前
   記特徴量データベース手段を検索するものであることを
   特徴とする請求項１乃至６の何れかに記載の動画像検索
   システム。
8. 【請求項８】前記特徴量データ抽出手段は、前記色領域
   の大きさ及び色彩に加えて、前記動体領域の移動方向ベ
   クトルを前記特徴量データとするものであり、前記特徴
   量データ入力手段は、検索対象の大きさ，色彩及び移動
   方向ベクトルを入力するものであり、前記特徴量データ
   ベース検索手段は、前記特徴量データ入力手段によって
   入力された検索対象の大きさ，色彩及び移動方向ベクト
   ルによって前記特徴量データベース手段を検索するもの
   であることを特徴とする請求項７記載の動画像検索シス
   テム。