JP3363039B2 - 動画像内の移動物体検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像内の移動物体
検出装置に関し、特に符号化された動画像情報からの移
動物体の検出を高速かつ高精度に検出できる動画像の移
動物体検出装置に関する。

【０００２】

【従来の技術】従来の移動物体検出方式として、背景画
像をあらかじめ保存しておき、その背景画像と対象の画
像との差分を取ることにより、該対象の画像が移動物体
であると検出する方式や、各画素のフレーム間での動き
の方向および大きさを算出し、この動きの算出された部
分を動き領域として検出する方式等が提案されている。
これらの方式は、動画像データそのものに対して、各々
のアルゴリズムを適用し、移動物体領域を求める方式で
ある。

【０００３】従来の移動物体検出の他の方式として、移
動物体の検出処理に動画像データそのものを利用せず、
圧縮符号化された動画像情報から直接に移動物体を検出
処理する方式がある。この方式は、圧縮符号化された動
画像データを完全に動画像再生する復号再生処理を行わ
ず、該圧縮符号化された動画像情報から動物体領域を検
出することに必要な情報のみを抽出し、これを基に検出
処理を行うものである。これまで馬渕、稲垣らによる
“ＭＰＥＧデータを用いた動領域の抽出”、電子情報通
信学会、信学技法(IE-96-25)が提案されている。

【０００４】この方式は、画像内の各ブロックに対し、
動き補償に用いる動きベクトル情報が存在するか否かを
検出し、動きベクトルが存在した場合にそのブロックに
移動物体が存在すると判断するものである。この動きベ
クトルの検出はブロック単位で行われる。

【０００５】

【発明が解決しようとする課題】上述の前者の方法で
は、全て動画像データそのものを対象として移動物体検
出処理を施している。すなわち、圧縮符号化されて蓄積
された動画像データから移動物体を検出する場合、復号
処理を行って画像を復元してから移動物体検出処理を行
っているため、該移動物体検出の処理時間および処理量
が大きくなるという問題がある。また、移動物体を検出
しながら圧縮符号化して蓄積する場合、移動物体検出処
理を行う装置と圧縮符号化を施す装置とを必要とし、結
果として装置全体が大規模になってしまうという問題が
ある。

【０００６】一方、上述の後者の方式では、シュミレー
ションにコンピュータグラフィックにて作り出したシン
プルな動画像を用いているため、背景画素も均一な塗り
つぶしで表現されている。よって、符号化時に背景部分
に動きベクトルが発生する可能性がなく、結果として移
動物体の検出を容易かつ正確に行うことが可能になる。

【０００７】しかし、実際の自然界の映像では、空気の
揺らぎ、風などの気象状況、その他様々な外的要因によ
って、完全に静止していて時間的変化の全くない状態は
ほとんど存在せず、絶えず変化しているものである。そ
してその状態変化が圧縮符号化時にも変化として捉えら
れる事になり、動き補償の為の動きベクトル情報として
そのブロックに付加されることになる。また、ほぼ均一
な画素データの並ぶブロックの場合には、圧縮符号化の
処理上、動きベクトルが角度、大きさ共にランダムな変
化をすることがよく見られる。そのような場合には、た
とえその部分が背景部分であったとしても、そのブロッ
クを移動物体部分であると誤検出することになる。つま
り実世界の映像では、単純に動きベクトルが存在するか
否かのみで高精度の移動物体検出をすることは不可能で
ある。

【０００８】さらに、このシュミレーションにおける動
画像の符号化データでは、各ブロックの動き補償には順
方向予測を用いている場合のみ言及されている。しか
し、符号化方式では、逆方向や双方向予測も存在し、そ
の場合の検出方法については何ら言及されていない。

【０００９】また、ブロックによっては動きベクトルを
持たず、フレーム内の情報のみで圧縮符号化を行うも
の、すなわちイントラ符号化を行うものも多く存在す
る。このような場合には、該ブロックに関して、移動物
体の検出処理を行うことができないという問題があっ
た。

【００１０】本発明の目的は、前述した従来技術の問題
点を除去し、圧縮符号化された動画像データを復号化す
ることなく、直接に、高精度、かつ簡易な処理でブロッ
ク単位での移動物体の検出を行うことのできる動画像内
の移動物体検出装置を提供することにある。

【００１１】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、入力された動画像の圧縮符号化データを
復号処理し、該復号された画像データに移動物体情報を
付加する動画像内の移動物体検出装置において、ブロッ
ク毎に入力された動画像の圧縮符号化データを復号処理
し、該復号処理されたデータから、少なくとも各フレー
ムの予測符号化方式情報、各ブロックの予測符号化方式
および各ブロックの動きベクトル情報を抽出する圧縮画
像情報抽出手段と、当該圧縮画像情報抽出手段から得ら
れた抽出情報により、当該ブロックの動きベクトルの有
無の分類、および該動きベクトルを有する場合には、双
方向予測ブロック、順または逆方向予測ブロックかの分
類をする適用検出方式選択手段と、当該ブロックが動き
ベクトルを持たない分類に属する場合には、空間的に隣
接するブロックの動きベクトルまたは時間的に隣接する
フレームの動きベクトルを利用して該ブロックに移動物
体が存在するかを推測する移動物体検出予測手段と、当
該ブロックが動きベクトルを持つ場合でかつ前記双方向
予測ブロックの分類に属する場合には、前記圧縮画像情
報抽出手段から得られた順、逆方向の動きベクトルの大
きさが共に第１の閾値を上回る場合に該ブロックを移動
物体領域とし、前記順または逆方向予測ブロックの分類
に属する場合には、前記圧縮画像情報抽出手段から得ら
れた順または逆方向の動きベクトルの大きさが第２の閾
値を上回る場合に該ブロックを移動物体領域とし、これ
ら以外の場合には当該ブロックを移動物体領域として検
出しない基本移動物体検出手段とを具備した点に特徴が
ある。

【００１２】この発明によれば、従来のように情報量が
非常に大きな動画像そのままを対象とすることなくブロ
ック毎に移動物体検出を行うことができ、また任意の予
測方式を用いて圧縮符号化された一般の動画像データか
ら高速かつ高精度での移動物体検出を行うことができる
ようになる。

【００１３】

【発明の実施の形態】以下に図面を参照して、本発明を
詳細に説明する。図１は、本発明の一実施形態の構成を
示すブロック図である。なお、この実施形態は、動画像
符号化の国際標準方式であるＭＰＥＧ１（ＩＳＯ／ＩＥ
Ｃ１１１７２）により圧縮された動画像符号化データか
ら移動物体を検出するものであるが、本発明はこれに限
定されるものではない。図中の実線はデータを示し、点
線は制御信号を示す。

【００１４】図１に示されているように、圧縮符号化さ
れた動画像の符号化データａは、可変長復号部１に入力
され、フレームやブロックの符号化モード、動き補償モ
ード、動きベクトル量、２次元ＤＣＴ係数等が復号され
る。該復号された情報のうち、符号化モード、動き補償
モード、動きベクトル情報等（以下、まとめて情報ｂと
呼ぶ）が、動き補償処理部２に入力される。一方、２次
元ＤＣＴ係数ｃは画像作成部３に入力され、ここで逆変
換を施されて１フレームの画像が復元される。

【００１５】ここに、前記符号化モードは、フレーム
が、フレーム内符号化フレーム（イントラ符号化フレー
ム）、双方向予測フレーム（Ｂピクチャ）および順方向
予測フレーム（Ｐピクチャ）のいずれであるかを示し、
動き補償モードは、ブロックが、フレーム内符号化ブロ
ック（イントラ符号化ブロック）、順方向予測ブロッ
ク、逆方向予測ブロックおよび双方向予測ブロックのい
ずれであるかを示す。

【００１６】次に、動き補償を用いて符号化されたフレ
ーム（すなわち、インター符号化フレーム）の場合に
は、画像メモリ４に蓄積されていたフレーム画像から動
き補償処理部２にて抽出された小区間の画像と、前記画
像作成部３における逆変換により求められた画像とを加
算して復元され、画像加工部５へと転送される。なお、
該復元画像情報のうちフレーム間予測に利用されるフレ
ームは、画像メモリ４にも蓄積される。

【００１７】前記情報ｂのうち、動き補償モードは動き
補償モード抽出部６にて抽出され、前記２次元ＤＣＴ係
数ｃと共に模様情報検出部７に転送される。該模様情報
検出部７は、該入力情報を用いて各ブロックの模様情報
ｄの検出を行う。さらに、前記情報ｂは、前記模様情報
検出部７で得られた各ブロックの模様情報ｄと共に、移
動物体検出処理を行う移動物体検出処理部８に転送され
る。

【００１８】前記移動物体検出処理部８では、入力され
た符号化モード、動き補償モード、動きベクトル（前記
情報ｂ）および模様情報ｄから、ブロック毎の移動物体
検出処理を施し、その結果である移動物体検出情報ｅを
画像加工部５へ転送する。また、移動物体検出に必要と
なるブロック毎の情報をブロック情報蓄積部９に蓄積す
る。

【００１９】前記画像加工部５は、前記画像作成部３等
から転送された復元画像情報ｆに、前記移動物体検出処
理部８から転送された移動物体検出情報ｅを付加して、
その結果の画像情報ｇを画像表示部１０へと転送する。
該画像表示部１０では、入力された該加工画像をディス
プレイに表示する。制御部１１は、点線で示されている
ように、前記した各処理部１〜１０の動作を制御する信
号を出力し、これらの各処理部の動作を制御する。

【００２０】次に、前記模様情報検出部７の動作を、図
２のフローチャートを参照して詳細に説明する。まずは
じめに、ステップＳ１では、入力されたブロックの動き
補償モードがブロック内符号化を用いているか否かの判
断、すなわちイントラ符号化を用いているか否かの判断
がなされる。この判断が否定の場合、すなわち入力され
たブロックの動き補償モードがフレーム間予測符号化
（インター符号化）を利用している場合には、該ブロッ
クの情報はフレーム間差分情報であるため、この情報の
みからの画像の再生はできないため、ステップＳ６に進
んで過去フレームの対応するブロックの模様フラグを保
持する。すなわち、時間的過去で最近の空間的同位置の
ブロックの模様情報をそのまま保持する。

【００２１】一方、前記ステップＳ１の判断が肯定の場
合、すなわち該ブロックがブロック内符号化を用いてい
る場合には、ステップＳ２に進んで、まずはじめに、Ｄ
Ｃ成分を除く２次元ＤＣＴ係数を低周波数成分と高周波
数成分の２種類に分類する。この分類は、例えば図３に
示すように、ＤＣＴ係数マトリックスの左上方の係数
（ただし、ＤＣ成分は除く）と、これら以外の右下方の
係数とに分けて行う。そして、低周波数成分係数に対し
ては、該成分の絶対値の総和を求め、該総和と予め定め
られた閾値とを比較する。該ステップＳ２の判断が肯定
になると、すなわち該低周波数成分係数の総和が前記閾
値以下になると、ステップＳ３に進み、高周波数成分の
チェックへと移る。

【００２２】次に、ステップＳ３では、高周波数成分が
存在するか否かの判断をする。この判断が肯定の場合に
は、該ブロックの画像はほぼ均一で模様がないと判定
し、ステップＳ４に進む。ステップＳ４では模様ありの
フラグを立てないという処理をする。一方、前記ステッ
プＳ２の判断が否定の時、またはステップＳ３の判断が
否定の時には、ブロック内の画素に濃淡があることは明
らかであるから、ステップＳ５に進んで模様ありのフラ
グを立てる。

【００２３】該模様情報検出部７は、前記ステップＳ４
〜Ｓ６で求めた全ブロックの模様情報検出結果を移動物
体検出処理部８へと転送する。なお、符号化の種類によ
っては、例えば２次元ＤＣＴ成分の表わすブロックの大
きさが８×８画素で、動き補償を行うための単位ブロッ
クが１６×１６画素と異なることがあるが、その場合に
は動き補償のブロック単位を基準とするため、２次元Ｄ
ＣＴ成分の表わす２×２ブロックで論理和や論理積をと
り、対象ブロックサイズの統一をとることが可能であ
る。

【００２４】次に、図１の移動物体検出処理部８の構成
の一実施形態を、図４を参照して説明する。該移動物体
検出処理部８は、適用検出方式選択部８１、移動物体検
出予測部８２、基本移動物体検出部８３および双方向予
測ブロック移動物体検出部８４から構成されている。

【００２５】以下に、前記各構成の機能あるいは動作を
詳細に説明する。まず、適用検出方式選択部８１は、前
記ブロックを含むフレームの符号化モード、および該ブ
ロックの動き補償モードにより、図５に示すように、５
種類の処理項目に分類する。

【００２６】ステップＳ１１では、該当ブロックがフレ
ーム内符号化ブロック（イントラ符号化ブロック）であ
るか否かの判断がされる。この判断が肯定の場合にはス
テップＳ１２に進んで、該当フレームがフレーム内符号
化フレームであるか否かの判断がなされる。すなわち、
フレーム内の全部のブロックがフレーム内符号化ブロッ
クであるか、あるいはフレーム内にフレーム内符号化ブ
ロック以外のブロックすなわちフレーム間予測符号化ブ
ロック（インター符号化ブロック）が存在するか否かの
判断がなされ、この判断が肯定の場合には処理１に進
む。一方、前記ステップＳ１２の判断が否定の時には、
処理２に進む。

【００２７】次に、ステップＳ１１の判断が否定の時、
すなわち該当ブロックがフレーム間予測符号化ブロック
の時には動きベクトルが必ず存在するから、ステップＳ
１３に進んで双方向予測ブロックであるか否かの判断が
なされる。この判断が肯定の時には、処理３に進む。一
方、この判断が否定の時には、ステップＳ１４に進み、
順方向予測ブロックであるか否かの判断がなされる。こ
の判断が肯定の時には処理４に進む。一方、否定の時、
すなわち逆方向予測ブロックの時には処理５に進む。

【００２８】まず、前記処理１〜５の概要を説明する。
前記処理１にて対象とするのは、フレーム内符号化され
たフレームに含まれる全てのブロックである。該ブロッ
クは動きベクトル情報を持たないため、該ブロックが移
動物体であるか否かを、移動物体検出予測部８２にて、
時間的および空間的に隣接するブロックの移動物体検出
情報から推測し、これを該ブロックの移動物体検出情報
とする。

【００２９】処理２にて対象とするのは、Ｐピクチャ
（すなわち順方向予測フレームであり、かつ他のフレー
ムの予測に参照されるフレーム）、またはＢピクチャ
（すなわち他のフレームの予測に参照されることのない
フレーム間予測符号化されたフレーム）の内に存在し、
フレーム内符号化をされているブロックである。該ブロ
ックも動きベクトル情報を持たない。したがって、移動
物体検出予測部８２において、同一フレーム内の周囲の
ブロックの移動物体検出情報を参照しながら、該当ブロ
ックが移動物体であるか否かの推測を行う。

【００３０】処理３にて対象となるのは、双方向フレー
ム間予測を用いて符号化されているブロックであり、各
ブロックとも順方向動きベクトルおよび逆方向動きベク
トル情報を持つ。当該ブロックは基本移動物体検出部８
３にて処理された後に、双方向予測ブロック移動物体検
出部８４にて処理を施される。

【００３１】処理４にて対象となるのは、順方向フレー
ム間予測を用いて符号化されているブロックであり、順
方向動きベクトル情報を持つ。このブロックはＰピクチ
ャまたはＢピクチャに存在する。当該ブロックは基本移
動物体検出部８３にて処理を施される。

【００３２】処理５にて対象となるのは、逆方向フレー
ム間予測を用いて符号化されているブロックであり、逆
方向動きベクトル情報を持つ。当該ブロックは基本移動
物体検出部８３にて処理を施される。

【００３３】次に、前記移動物体検出予測部８２の動作
を、図６および図７を参照して説明する。前記処理１
は、まず図６に示されているように、当該ブロックの時
間的隣接ブロックから、当該ブロックが移動物体である
か否かを判別する。すなわち、ステップＳ２１では、過
去参照ピクチャ内で、当該ブロックと同位置のブロッ
ク、または未来参照ピクチャ内で、当該ブロックと同位
置のブロックに移動物体検出情報があるかどうかを判別
する。そして、移動物体検出情報があると判定された時
にはステップＳ２２の判断は肯定となり、ステップＳ２
３に進む。ステップＳ２３では、ブロックの移動物体検
出フラグを立てる。一方、前記ステップＳ２２の判断が
否定であると判断された時には、ステップＳ２４に進ん
で、ブロックの移動物体検出フラグを立てない処理を行
う。

【００３４】なお、この変形例として、図７(a) に示す
ように、未来参照ピクチャ内の同位置のブロックとその
隣接ブロックの動きベクトルを参照し、各ベクトルを該
ブロックに配した時にそのベクトルの先が中央のブロッ
ク内に存在する場合、現在のピクチャの当該ブロックに
移動物体を検出したと判定することも可能である。同図
(b) の場合は、前記ベクトルの先が中央のブロック内に
存在しないので、現在のピクチャの該ブロックに移動物
体を検出したとは判定しない。

【００３５】さらに、過去参照ピクチャに対しても同様
の処理を施すことができる。ただし、この場合には、対
象となるベクトルは全て−１倍してから処理する必要が
ある。そして未来参照ピクチャおよび過去参照ピクチャ
双方にて本処理を施した場合には、該ベクトルの論理和
や論理積をとり当該ブロックの移動物体検出情報とす
る。

【００３６】次に、該移動物体検出予測部８２が行う前
記処理２の動作を説明する。前記処理２は、まず図８に
示されているように、当該ブロックの空間的隣接ブロッ
ク、すなわち同一ピクチャ内の隣接ブロックから、当該
ブロックが移動物体であるか否かを判別する。すなわ
ち、ステップＳ３１では、同一ピクチャ内の隣接ブロッ
クに移動物体検出情報があるか否かを判別する。ステッ
プＳ３２では、移動物体を検出したブロックの個数が、
閾値以上存在するか否かを判断し、存在する場合に該ブ
ロックは移動物体検出したものと判定する。該ステップ
Ｓ３２の判断が肯定になるとステップＳ３３に進んで、
時間的隣接ブロックから、当該ブロックが移動物体であ
るか否かを判別する。この判別は図６のステップＳ２１
と同一または同等であるので、説明を省略する。ステッ
プＳ３４の判断が肯定になった時には、ステップＳ３５
に進んで、当該ブロックに、ブロックの移動物体検出フ
ラグを立てる。一方、ステップＳ３２またはＳ３４の判
断が否定の時には、ステップＳ３６に進んで、ブロック
の移動物体検出フラグを立てない処理を行う。なお、処
理の簡略化のために、前記ステップＳ３３およびＳ３４
は省略してもよい。

【００３７】次に、図４の基本移動物体検出部８３の処
理を説明する。該基本移動物体検出部８３で行われる、
前記処理３は図９に示されているように、当該ブロック
の双方向動きベクトルから当該ブロックが移動物体であ
るか否かを判別する。

【００３８】すなわち、ステップＳ４１では、該双方向
動きベクトルの中の順方向動きベクトルの大きさが閾値
以上であるか否かを判別する。この条件が満たされた場
合には、ステップＳ４２に進んで、逆方向動きベクトル
の大きさが、閾値以上であるか否かの判断がなされる。
この判断が肯定の場合にはステップＳ４３に進んで、図
１０(a) (b) に示されているように、双方向動きベクト
ルの角度差を判別する。ステップＳ４４では、該角度差
が閾値以上である場合には該ブロックについては移動物
体であると判定し、該角度差が前記閾値未満である場合
には移動物体を検出していないと判定する。このように
判定する理由は、移動物体は通常ほぼ直線的に移動する
ので、通常は双方向動きベクトルの角度差は大きくなる
からである。なお、該角度差が同図(b) のように小さい
のは圧縮符号化の効率上生じることであるが、実際の移
動物体領域以外に現れることが多い。

【００３９】ステップＳ４４の判断が肯定の場合には、
ステップＳ４５に進んで、当該ブロックに、ブロックの
移動物体検出フラグを立てる。一方、ステップＳ４１、
Ｓ４２またはＳ４４の判断が否定の時には、ステップＳ
４７に進んで、ブロックの移動物体検出フラグを立てな
い処理を行う。

【００４０】次に、前記基本移動物体検出部８３で行わ
れる、前記処理４、処理５について、図１１、図１２を
参照して説明する。処理４では、まずステップＳ５１に
て、順方向動きベクトルの大きさが閾値以上であるか否
かの判断を行う。この判断が肯定の時には、ステップＳ
５２に進んで、当該ブロックに、ブロックの移動物体検
出フラグを立てる。一方、ステップＳ５１の判断が否定
の時には、ステップＳ５３に進んで、ブロックの移動物
体検出フラグを立てない処理を行う。

【００４１】前記処理５では、まずステップＳ６１に
て、逆方向動きベクトルの大きさが閾値以上であるか否
かの判断を行う。この判断が肯定の時には、ステップＳ
６２に進んで、当該ブロックに、ブロックの移動物体検
出フラグを立てる。一方、ステップＳ６１の判断が否定
の時には、ステップＳ６３に進んで、ブロックの移動物
体検出フラグを立てない処理を行う。

【００４２】上記のようにして、図１の移動物体検出処
理部８で求められた移動物体検出情報ｅ、すなわちブロ
ックの移動物体検出フラグは前記画像加工部５に送られ
る。画像加工部５においては、画像作成部３および動き
補償処理部２より再生された復元画像情報ｆを、移動物
体検出処理部８から入力される移動物体検出情報ｅを用
いて加工する。例えば、移動物体非検出ブロックは画像
の輝度を下げて表示し、移動物体検出ブロックについて
は再生画像をそのままの輝度で表示するように加工す
る。または移動物体非検出ブロックについては特定の色
で表示するなどの加工を施す。そして、その結果を画像
表示部１０へ出力する。

【００４３】画像表示部１０では、画像加工部５から転
送されてくる画像情報ｇをディスプレイ等に表示する。
この結果、該画像表示部１０には、図１３に示されてい
るように、移動物体非検出部は輝度を下げて、あるいは
特定の色で表示され、一方移動物体検出部は本来の輝度
あるいは色で表示されることになり、移動物体を顕在化
することができるようになる。

【００４４】次に、この実施形態の変形例を説明する。
前記の説明では、前記模様情報検出部７で検出された模
様ありフラグを移動物体検出に反映させなかったが、こ
れを反映させることができる。具体的には、前記した図
６、図８、図９、図１１および図１２の処理の中に、模
様ありフラグがあるか否かの判断処理を追加し、該判断
が肯定の時には、ブロックの移動物体検出処理を続行
し、該判断が否定の時には直ぐにブロックの移動物体検
出フラグを立てない処理に移行するようにしてもよい。

【００４５】次に、本発明の第２の実施形態を、図１４
を参照して説明する。図において、８５は空間的類似性
判別部、８６は時間的類似性判別部であり、他の符号は
図４と同一または同等物を示す。

【００４６】次に、本実施形態の動作を説明する。な
お、前記移動物体検出部予測部８３が行う前記処理１お
よび処理２は、第１の実施形態と同じであるので、説明
を省略し、前記空間的類似性判別部８５および時間的類
似性判別部８６が関与する前記処理３、処理４および処
理５の動作について説明する。なお、該処理３、処理４
および処理５において、それぞれ図９、図１１および図
１２と同一または同等の処理には、同一のステップ番号
が付されている。

【００４７】処理３では、図１５に示されているよう
に、まず図９で説明したステップＳ４１〜Ｓ４４の処理
が行われる。ステップＳ４１の判断が否定の時には、ス
テップＳ７１に進んで、逆方向動きベクトルの大きさが
閾値以上か否かの判断がなされ、この判断が肯定の場合
には、ステップＳ７２に進む。一方否定の場合にはステ
ップＳ７７に進み、ブロックの移動物体検出フラグを立
てない処理を行う。また、前記ステップＳ４２の判断が
否定の時には、ステップＳ７２に進む。

【００４８】ステップＳ７２では、前記空間的類似性判
別部８５の処理、すなわち空間的類似性判別の処理が行
われる。該空間的類似性判別処理では、当該ブロックに
空間的に隣接するブロックのうち同じ予測方向の動きベ
クトルを持ち、かつ該動きベクトルの大きさが閾値以上
であるブロックの動きベクトル情報と、当該ブロックの
動きベクトルとの角度差を各々求め、その角度差が閾値
以下になるブロックが存在するか否かを判別する。存在
する場合には、ステップＳ７３の判断は肯定となり、次
の処理に進む。もし存在しない場合には前記判断は否定
となり、ステップＳ７７に進んで、該ブロックについて
は移動物体を検出していないと判定する。

【００４９】なお、この変形例として、動きベクトルの
角度差が閾値を超えるブロック数と閾値以下のブロック
数の比率が一定値以上である場合、あるいは隣接するブ
ロックにフレーム内符号化ブロックが存在する場合に、
ステップＳ７３の判断を肯定にして、次ステップに進む
ようにしてもよい。

【００５０】次に、ステップＳ７４では、前記時間的類
似性判別部８６の処理、すなわち時間的類似性判別処理
が行われる。該時間的類似性判別処理では、フレーム間
符号化で参照するフレーム内の空間的同位置のブロック
に動きベクトルが存在するかを判別する。ステップＳ７
５では、該ブロックに動きベクトルが存在し、かつ該動
きベクトルの大きさが閾値以上の場合には、該動きベク
トルと当該ブロックの動きベクトルの角度差を求め、該
角度差が閾値以下となった場合に、判定条件クリアと判
定し、次のステップ７６に進む。ここで、参照する動き
ベクトルの種類（順方向または逆方向）が同種のものが
存在しない場合には、一方の動きベクトルを−１倍して
から判別を行う。また、参照するフレーム内の空間的同
位置のブロックがフレーム内符号化ブロックの場合に
も，ステップＳ７５の判断を肯定として、次のステップ
に進むものとする。

【００５１】また、上記参照フレームと現フレームに関
して対称な位置のフレームでも同様に判別することが可
能である。時間的過去、未来の両フレームとの判別を行
った場合には、論理和または論理積を用い、これを移動
物体検出情報とすることが可能である。なお、この変形
例として、参照するブロックの位置を空間的同位置では
なく、図１８に示すように、該動きベクトルをブロック
の中心に配してそのベクトルの先が含まれるブロックを
対象とすることも可能である。

【００５２】前記の処理において、ステップＳ４１、Ｓ
４２およびＳ７１は前記基本移動物体検出部８２で処理
され、ステップＳ４３およびＳ４４は前記双方向予測ブ
ロック移動物体検出部８４で処理される。

【００５３】次に、本実施形態における、処理４および
処理５の動作を、図１６および図１７に示す。処理５
は、前記基本移動物体検出部８２でステップＳ５１の処
理をした後、この判断が肯定の時には、前記したステッ
プＳ７２〜Ｓ７７の処理が行われる。また、処理６は、
前記基本移動物体検出部８２でステップＳ６１の処理を
した後、この判断が肯定の時には、前記したステップＳ
７２〜Ｓ７７の処理が行われる。これらの処理は、既に
説明したので、説明を省略する。

【００５４】この実施形態によれば、前記第１の実施形
態に、ステップＳ７２〜Ｓ７５の処理を追加したので、
該第１の実施形態に比べて、より高精度の移動物体検出
をすることができる。なお、該第２の実施形態に、前記
模様情報検出部７で検出した模様ありフラグを反映させ
てもよいことは、第１の実施形態と同様である。

【００５５】前記した実施形態においては、復号処理部
にて移動物体検出処理を施しているが、この変形例とし
て、復号処理側ではなく、動画像の圧縮符号化処理時
に、移動物体検出処理を行うことも可能である。また、
本発明は、ＭＰＥＧ１のみならず、ＭＰＥＧ２、Ｈ２６
１などの国際標準化された符号化法を用いた動画像の符
号化データへの適用が可能であり、ＤＣＴ変換のみなら
ず、ウェーブレット変換、ベクトル量子化等により圧縮
し、動き補償を行った符号化データへの適用も可能であ
る。

【００５６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、圧縮符号化された動画像情報から完全な動画
像情報を再生することなく効果的に動物体領域の検出を
行うことができるので、従来のようにデータ量の大きい
動画像データから処理を行い、それを更に圧縮符号化す
るといった処理量の大きくなる手順を踏む必要がなく、
また、あらかじめ動画像が圧縮符号化されている場合に
は、該圧縮符号化された情報から移動物体領域の検出を
行う為に、圧縮動画像を完全に復号するといった処理を
施すという必要がない。

【００５７】また、圧縮符号化された動画像データであ
ればどのような予測方式を用いていても、高精度に移動
物体を検出することができるようになる。さらに、圧縮
符号化時に移動物体検出のための情報を埋め込むという
ような処理は一切施していないので、いかなる圧縮符号
化器により符号化された動画像データであっても移動物
体の検出処理を行うことが可能である。

【図面の簡単な説明】

【図１】 本発明の概略の構成を示すブロック図であ
る。

【図２】 図１の模様情報検出部の動作を示すフローチ
ャートである。

【図３】 図２の一部の処理の説明図である。

【図４】 本発明の第１の実施形態の要部の構成を示す
ブロック図である。

【図５】 該第１の実施形態の適用検出方式選択部の動
作を示すフローチャートである。

【図６】 処理１の動作を示すフローチャートである。

【図７】 処理１の変形例の説明図である。

【図８】 処理２の動作を示すフローチャートである。

【図９】 処理３の動作を示すフローチャートである。

【図１０】 処理３の一部の処理の説明図である。

【図１１】 処理４の動作を示すフローチャートであ
る。

【図１２】 処理５の動作を示すフローチャートであ
る。

【図１３】 図１の画像表示部に表示される画像の一例
を示す図である。

【図１４】 本発明の第２の実施形態の要部の構成を示
すブロック図である。

【図１５】 処理３の動作を示すフローチャートであ
る。

【図１６】 処理４の動作を示すフローチャートであ
る。

【図１７】 処理５の動作を示すフローチャートであ
る。

【図１８】 処理３の変形例の説明図である。

【符号の説明】

１…可変長復号部、２…動き補償処理部、３…画像作成
部、４…画像メモリ、５…画像加工部、６…動き補償モ
ード抽出部、７…模様情報検出部、８…移動物体検出処
理部、９…ブロック情報蓄積部、１０…画像表示部、１
１…制御部、８１…適用検出方式選択部、８２…移動物
体検出部予測部、８３…基本移動物体検出部、８４…双
方向予測ブロック移動物体検出部、８５…空間的類似性
判別部、８６…時間的類似性判別部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 米山暁夫、中島康之、氏原清乃，「Ｍ ＰＥＧ動画像データからの移動物体の検 出」，電子情報通信学会技術研究報告 （ＰＲＭＵ96 93−103），日本，電子 情報通信学会，1996年11月，ＶＯｌ. 96，Ｎｏ．385，63−70頁 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】入力された動画像の圧縮符号化データを復
   号処理し、該復号された画像データに移動物体情報を付
   加する動画像内の移動物体検出装置において、 ブロック毎に入力された動画像の圧縮符号化データを復
   号処理し、該復号処理されたデータから、少なくとも各
   フレームの予測符号化方式情報、各ブロックの予測符号
   化方式および各ブロックの動きベクトル情報を抽出する
   圧縮画像情報抽出手段と、当該 圧縮画像情報抽出手段から得られた抽出情報によ
   り、当該ブロックの動きベクトルの有無の分類、および
   該動きベクトルを有する場合には、双方向予測ブロッ
   ク、順または逆方向予測ブロックかの分類をする適用検
   出方式選択手段と、当該ブロックが動きベクトルを持た
   ない分類に属する場合には、空間的に隣接するブロック
   の動きベクトルまたは時間的に隣接するフレームの動き
   ベクトルを利用して該ブロックに移動物体が存在するか
   を推測する移動物体検出予測手段と、当該ブロックが動きベクトルを持つ場合でかつ前記双方
   向予測ブロックの分類に属する場合には、前記圧縮画像
   情報抽出手段から得られた順、逆方向の動きベクトルの
   大きさが共に第１の閾値を上回る場合に該ブロックを移
   動物体領域とし、前記順または逆方向予測ブロックの分
   類に属する場合には、前記圧縮画像情報抽出手段から得
   られた順または逆方向の動きベクトルの大きさが第２の
   閾値を上回る場合に該ブロックを移動物体領域とし、こ
   れら以外の場合には当 該ブロックを移動物体領域として
   検出しない基本移動物体検出手段と、を具備したことを
   特徴とする動画像内の移動物体検出装置。
2. 【請求項２】請求項１の動画像内の移動物体検出装置に
   おいて、 当該ブロックが前記双方向予測ブロックの場合には、前
   記順、逆方向の動きベクトルの角度差がある閾値を上回
   るか否かを判定する手段をさらに具備し、該閾値を上回
   る場合に当該ブロックを移動物体領域とすることを特徴
   とする動画像内の移動物体検出装置。
3. 【請求項３】請求項１の動画像内の移動物体検出装置に
   おいて、 当該ブロックに空間的に隣接するブロックが、同じ予測
   方向でかつある閾値以上の動きベクトルを持ち、該動き
   ベクトルと当該ブロックの動きベクトルとの角度がある
   他の閾値以下の場合に当該ブロックを移動物体領域と判
   定する空間類似性判別手段をさらに具備したことを特徴
   とする動画像内の移動物体検出装置。
4. 【請求項４】請求項１の動画像内の移動物体検出装置に
   おいて、 当該ブロックに時間的に隣接する参照フレーム内の当該
   ブロックと同位置のブロックが、ある閾値以上の動きベ
   クトルを有し、該動きベクトルと当該ブロックの動きベ
   クトルとの角度がある他の閾値以下の場合に当該ブロッ
   クを移動物体領域と判定する時間類似性判別手段をさら
   に具備したことを特徴とする動画像内の移動物体検出装
   置。
5. 【請求項５】請求項１〜４のいずれかの動画像内の移動
   物体検出装置において、 該圧縮画像情報抽出手段から得られた画素周波数変換デ
   ータの低周波数成分および高周波数成分により、そのブ
   ロックの画像に模様が存在するか否かを判定する模様情
   報検出手段をさらに具備し、 該模様情報検出手段により模様が存在しないと判断され
   たブロックは、移動物体領域と判定しないようにする こ
   とを特徴とする動画像内の移動物体検出装置。
6. 【請求項６】請求項１の動画像内の移動物体検出装置に
   おいて、 移動物体非検出領域を移動物体検出領域と区別して表示
   する画像表示部をさらに具備したことを特徴とする動画
   像内の移動物体検出装置。