JP3272466B2 - 動画像解析装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、動画像の中に現われ
る動きを検出して解析する動画像解析装置に関するもの
である。

【０００２】

【従来の技術】図１５は例えば、１９９１年電子情報通
信学会春季全国大会にて発表された論文「ビデオ編集の
ためのシーン自動記述の一考察」（論文集第７−２１１
頁 Ｄ−４９９）に示された、従来の動画像解析装置に
おける動画像の解析のアルゴリズムを示すフローチャー
トである。図において、ＳＴ１はフレームｔの画像を格
子状に分割するステップであり、ＳＴ２は特徴点を設定
するステップである。ＳＴ３はテンプレートパターンの
マッチングを行うステップであり、ＳＴ４はオプティカ
ルフローの解析を行うステップである。ＳＴ５は次のフ
レームを処理するための準備ステップであり、ＳＴ６は
終了判定のステップである。

【０００３】次に動作について説明する。ここで、動画
像中の動きを前記オプティカルフローと呼んでいる。ま
ず、ステップＳＴ１において、フレームｔの動画像Ｆ
（ｔ）をｍ×ｎ個の格子状に分割し、次いで、ステップ
ＳＴ２で各格子の中心位置を特徴点とするとともに、格
子内の画像を次フレームｔ＋１における特徴点の対応点
を求める際に使用するテンプレートとする。次に、ステ
ップＳＴ３にて、そのフレームｔ＋１の画像Ｆ（ｔ＋
１）上で前記テンプレートと最もよく一致する格子位置
を求め、フレームｔ上の特徴点からそのフレームｔ＋１
上で見つかった格子の中心位置へのベクトル、すなわち
動きベクトルをオプティカルフローとする。そして、ス
テップＳＴ４においてそのオプティカルフローの解析を
行った後、ステップＳＴ５でｔをインクリメントし、ス
テップＳＴ６にて終了の判定を行う。判定の結果、終了
していなければ、処理をステップＳＴ１に戻して、以上
の処理を繰り返す。

【０００４】なお、動画像解析は一般に、動画像に対し
てエッジ検出などに代表されるフィルタリング処理をは
じめとして、様々な処理を施した結果の解析に基づいて
動画像中に含まれる情報の抽出、解析を行うものであ
り、上述のような動画像中に現われる動きを検出してそ
れを解析する技術は古くから開発されており、動画像の
編集や侵入者の監視などの分野で実用化されつつある。

【０００５】

【発明が解決しようとする課題】従来の動画像解析装置
は以上のような解析方法を用いて動画像の解析を行って
いるので、テンプレートとフレームｔ＋１の画像の画素
ブロックとのパターンマッチングを行い、当該フレーム
上で最もよく一致する画素ブロックを見つけることが必
要で、それには多大な計算量を要するものであり、高速
化のためには特殊な画像処理ハードウェアが必要であっ
たり、あるいはソフトウェア処理では計算時間がかかり
すぎるため、画素を間引くことにより画像サイズを小さ
くして処理を行い、処理時間の短縮を図ることになり、
その結果、前者では高速ハードウェアの使用による装置
価格の上昇はさけられず、また後者では画素の間引きに
よる動きの検出精度が低下するなどの問題点があった。

【０００６】この発明は上記のような問題点を解消する
ためになされたものであり、動き補償予測を用いた動画
像符号化装置で計測される動きベクトルや、フレーム間
符号化とフレーム内符号化という符号化モードを適応的
に切り換える動画像符号化装置の符号化モードを抽出す
ることにより、極めて少ない計算負荷で動画像の動きを
検出し、動画像解析を行う動画像解析装置を得ることを
目的とする。

【０００７】

【課題を解決するための手段】請求項１に記載の発明に
係る動画像解析装置は、動画像符号化で利用される動き
ベクトルを抽出する動きベクトル抽出手段と、動きベク
トルの分布を計測する計測手段と、該計測結果を解析す
る動きベクトル解析手段とを設けたものである。

【０００８】また、請求項２に記載の発明に係る動画像
解析装置は、動きベクトル抽出手段が動画像符号化デー
タから動きベクトルを抽出する機能を有するものであ
る。

【０００９】また、請求項３に記載の発明に係る動画像
解析装置は、動きベクトルが存在しない場合に、動きベ
クトルを推定する動きベクトル推定手段を設けたもので
ある。

【００１０】また、請求項４に記載の発明に係る動画像
解析装置は、動画像上に特定の領域を設定する領域設定
手段を設けたものである。

【００１１】また、請求項５に記載の発明に係る動画像
解析装置は、動きベクトル抽出手段により抽出された動
きベクトルを複数フレームに渡って積分する積分手段を
設けたものである。

【００１２】また、請求項６に記載の発明に係る動画像
解析装置は、フレーム間符号化方式とフレーム内符号化
方式とを適応的に切り換えて動画像を符号化する動画像
符号化装置で、どちらの符号化方式が適用されて符号化
されたかを識別するための符号化モードを抽出する符号
化モード抽出手段と、その符号化モードの空間分布を解
析する符号化モード解析手段とを設けたものである。

【００１３】また、請求項７に記載の発明に係る動画像
解析装置は、符号化モード抽出手段が、動画像符号化デ
ータから符号化モードを抽出する機能を有するものであ
る。

【００１４】

【作用】請求項１に記載の発明における動きベクトル解
析手段は、動きベクトル抽出手段が抽出した、動画像符
号化装置の動き補償部の計測した動きベクトルの分布
を、計測手段にて計測した計測結果を解析することによ
り、極めて少ない計算負荷で動画像の動きを検出して、
動画像解析を行うことを可能とする。

【００１５】また、請求項２に記載の発明における動き
ベクトル解析手段は、動きベクトル抽出手段が動画像符
号化データから抽出した動きベクトルの分布を、計測手
段にて計測した計測結果を解析することにより、極めて
少ない計算負荷で動画像の動きを検出して、動画像解析
を行うことを可能とする。

【００１６】また、請求項３に記載の発明における動き
ベクトル推定手段は、フレーム内符号化が適用されたた
めに動きベクトルが存在しなくなった場合に、現フレー
ムまたは過去のフレームまたは未来のフレームの動きベ
クトルから現動きベクトルを推定する。

【００１７】また、請求項４に記載の発明における領域
設定手段は、動画像上に、動きベクトル抽出手段がその
領域についてのみ動きベクトルの抽出を行う特定の領域
を設定する。

【００１８】また、請求項５に記載の発明における積分
手段は、動きベクトル抽出手段が抽出した動きベクトル
を複数のフレームに渡って積分を行うことにより、動き
ベクトルを計算し、計測手段は該積分手段により算出さ
れた動きベクトルの分布を計測する。

【００１９】また、請求項６に記載の発明における符号
化モード解析手段は、符号化モード抽出手段が動画像符
号化装置より抽出した、当該動画像符号化装置がフレー
ム間符号化方式とフレーム内符号化方式のいずれを適用
して符号化したかを示す符号化モードの空間分布を解析
することにより、極めて少ない計算負荷で動画像の動き
を検出して、動画像解析を行うことを可能とする。

【００２０】また、請求項７に記載の発明における符号
化モード解析手段は、符号化モード抽出手段が動画像符
号化データより抽出した符号化モードの空間分布を解析
することにより、極めて少ない計算負荷で動画像の動き
を検出して、動画像解析を行うことを可能とする。

【００２１】

【実施例】実施例１．以下、この発明の実施例１を図に
ついて説明する。図１は請求項１に記載した発明の一実
施例を示す構成図である。図において、１は動画像を撮
像するカメラであり、２はこのカメラ１からの映像信号
をアナログ・ディジタル変換（以下、Ａ／Ｄ変換とい
う）するＡ／Ｄ変換器である。３はフレーム間予測に動
き補償予測を用いて、このＡ／Ｄ変換器２にてディジタ
ル化された画像データの符号化を行う動画像符号化装置
である。

【００２２】この動画像符号化装置３内において、１１
は直前の１フレーム分の画像データが格納されているフ
レームメモリであり、１２はこのフレームメモリ１１よ
り読み出された画像データの動き補償を行う動き補償部
である。１３はＡ／Ｄ変換器２より入力された画像デー
タと動き補償部１２で動き補償された直前のフレームの
画像データとの差分を算出する減算器であり、１４はこ
の減算器１３の出力を符号化してそれを動き補償部１２
の出力と多重化し、動画像符号化データとして出力する
符号化部である。１５はこの符号化部１４にて符号化さ
れたデータを復号化する局所復号部であり、１６はこの
局所復号部１５の出力するデータと前記動き補償部１２
からのデータとを加算してフレームメモリ１１に格納す
る加算器である。

【００２３】また、４は前記動画像符号化装置３の動き
補償部１２で計測される動きベクトルの抽出を行う動き
ベクトル抽出手段であり、５はこの動きベクトル抽出手
段４によって抽出された動きベクトルの分布を計測する
計測手段、６はこの計測手段５による計測結果を解析す
る動きベクトル解析手段である。

【００２４】次に動作について説明する。この実施例１
では、カメラ１によってある点が監視されている場合に
ついて示している。カメラ１で撮像されたアナログの映
像信号はＡ／Ｄ変換器２でディジタル化された後、動画
像符号化装置３によって符号化される。ここで、動画像
符号化装置３は前述のようにフレーム間予測として動き
補償予測を用いている。この動き補償予測はフレーム間
で同一位置にある画素どうしを減算するという単純なフ
レーム間差分ではなく、図２のように被写体の動きを検
出し、この動きに応じてフレーム間差分をとる画素を可
変にできる方式である。

【００２５】図１、図２を用いて、この動き補償予測を
用いた動画像符号化装置３の動作原理を次に説明する。
まず、動き補償部１２は、図２に符号２１を付して示し
た現フレームにおける適当な大きさのブロック２２が、
フレームメモリ１１に記憶されている図２に符号２３を
付して示した前フレームのどの位置のブロック２４に対
応するか、すなわちパターンマッチングを行った結果、
最もよく一致するブロック２４を求め、動きベクトル２
５を検出する。さらに、動き補償部１２は前記動きベク
トル２５を用いて予測に用いる前フレーム２３の画素の
ブロック２４を、フレームメモリ１１から読み出して、
減算器１３に与える。減算器１３では、現フレーム２１
のブロック２２と前フレーム２３のブロック２４との差
分がとられる。例えば、動きの全くないフレームが連続
する場合には動きベクトルは０となり、単純なフレーム
間差分と一致する。

【００２６】次に、符号化部１４は減算器１３の出力信
号の画像空間方向の冗長と統計的冗長とを抑圧し、圧縮
されたデータを出力する。この符号化部１４では、一般
的に入力信号に対して直交変換の１つである離散コサイ
ン変換を施し、変換係数を有限な代表信号レベルに量子
化した後、エントロピ符号化を行う。そして、符号化部
１４の出力は動き補償部１２で算出される動きベクトル
と多重化されて動画像符号化データとして出力される。
一方、符号化部１４内で量子化されたデータは局所復号
部１５で復号化され、加算器１６にて動き補償部１２か
らの予測信号と加算される。この加算器１６の出力は現
フレームの符号化ブロック２２の復号結果であり、これ
はフレームメモリ１１に格納され、次フレームの予測に
際して利用される。

【００２７】次に、図１に基づいてこの実施例１の主要
部分の説明を行う。動きベクトル抽出手段４は動き補償
部１２で計測される動きベクトルを、一般的に、２次元
のベクトル情報である水平方向の変位および垂直方向の
変位と、動きベクトルの発生位置との組として抽出す
る。計測手段５は動きベクトル抽出手段４からその動き
ベクトルを受けて、動きベクトル解析手段６の解析内容
に応じて１フレームごとの動きベクトルの分布を計測す
る。すなわち、その計測方法としては以下のような方法
がある。

【００２８】２次元の動きベクトル（ｘ，ｙ）の生起
頻度を２次元のヒストグラムとして計測する。なお、こ
の計測では、動きベクトルの発生位置情報は欠落する。 動きベクトルの発生位置ごとに２次元の動きベクトル
を計測する。 （ｘ，ｙ）を次の式（１）により（ｒ，θ）、すなわ
ちベクトルの（大きさ、方向）に座標変換して、上記
，の計測を行う。

【００２９】 ｒ＝（ｘ² ＋ｙ² ）^1/2 θ＝ｔａｎ^-1（ｙ／ｘ） ・・・・・（１）

【００３０】この計測結果を受けた動きベクトル解析手
段６は、動物体検出のような動き解析を行う。すなわ
ち、動物体は動きベクトルのヒストグラムから検出可能
である。動きベクトルのヒストグラムが水平方向への変
位ｘおよび垂直方向への変位ｙの発生頻度分布として計
測されている場合、ｘまたはｙがあるしきい値よりも大
である動きベクトルが発生していれば、動物体が存在す
ると判定する。また同様に、動きベクトルが大きさｒお
よび方向θの発生頻度分布として計測されている場合に
は、ｒがあるしきい値よりも大である動きベクトルが発
生していれば、動物体が存在すると判定する。

【００３１】なお、この動きベクトル解析手段６は以下
の実施例２から実施例６で説明するような解析も可能で
ある。

【００３２】実施例２．まず、動きベクトル解析手段６
は以下のようにして動物体の移動速度を計測する。すな
わち、動きベクトルから移動速度を求めるには、カメラ
１から動きベクトル発生地点までの距離、および３次元
空間内でのカメラ１の向きと動きベクトルの向きとの関
係が既知である必要がある。従って、一般の撮影条件で
は動きベクトルから移動速度を求めることは難しい。し
かしカメラ１が固定され、定点を観測するという場合、
例えば固定されたカメラ１による定点の監視（特に道路
やトンネルでの自動車の通行監視）などでは、あらかじ
め上記の条件を知ることが可能であり、動きベクトルの
大きさから移動速度を求めることができる。

【００３３】また、後に実施例５で述べる動物体の形状
および大きさ計測で検出される動物体については、１つ
の動物体から計測される複数の動きベクトルを平均する
ことにより、動物体自身の移動速度が求められる。

【００３４】実施例３．また、動きベクトル解析手段６
は動物体の移動方向の計測を行う。すなわち、移動方向
を動きベクトルから前記式（１）を用いて求める。従っ
て、後に実施例５で述べる動物体の形状および大きさ計
測で検出される動物体については、１つの動物体から計
測される複数の動きベクトルを平均することにより、動
物体自身の移動方向を求めることができる。

【００３５】なお、移動方向計測の応用としては、正常
時にはある一定方向の移動しか発生しない事象、例えば
交通流を観測中に、全く異なる方向の移動を観測するこ
とによる異常（交通事故）の検出などがある。

【００３６】実施例４．また、動きベクトル解析手段６
は動物体の個数の計測を行う。図３はある形の物体が動
いたときに発生する動きベクトルの分布を説明するため
の概念図である。図３（ａ）は一様な輝度または色を持
つ物体が３０から３１に動いたときに現われる動きベク
トル３２の分布であり、動きベクトル３２が物体の境界
（エッジ）部分にだけ現われている。一方、図３（ｂ）
は一様ではない輝度または色を持つ物体が３３から３４
に動いたときに現われる動きベクトル３５の分布であ
り、物体の境界部分および内部で動きベクトル３５が現
われている。従って、両者とも同一方向の動きベクトル
によって囲まれる閉領域の数を数えることにより、画面
中の動物体の個数を計測できることは明らかである。

【００３７】実施例５．また、動きベクトル解析手段６
は動物体の形状および大きさの計測を行う。図３に示し
たように、動きベクトルは動物体の境界部分に沿って分
布するため、閉領域を形成する動きベクトルの分布形が
物体の形状に、閉領域の面積が大きさになる。ただし、
正確な形状、大きさを求めるには、カメラ１と動物体の
位置関係、すなわち距離と角度が既知である必要があ
る。これは一般的な撮像では難しいが、実施例２で説明
したように、カメラ１が固定され、ある定点を監視して
いるような条件では、あらかじめ調べておくことは可能
である。

【００３８】実施例６．さらに、動きベクトル解析手段
６ではカメラ１の動きやカメラ１の操作の検出も可能で
ある。すなわち、画面全体のブロックから同一方向、同
じ大きさの動きベクトルが検出される場合はカメラ１の
回転（パン）であり、全動きベクトルの方向が同じで、
大きさが異なる場合はカメラ１がある方向に並行移動し
たことがわかる。また、動きベクトルの大きさの時間変
化を検出することにより、上記並行移動や回転のスピー
ドも判明する。また、その他のカメラ１の操作、例えば
ズームは動きベクトルが放射状になること、カメラ１の
操作と動物体とが複合した場合は、カメラ１の操作に特
徴的な動きベクトル分布の中に異なった分布をする動き
ベクトルが存在することで検出可能である。

【００３９】実施例７．次にこの発明の実施例７を図に
ついて説明する。図４は請求項２に記載した発明の一実
施例による動画像解析装置を示す構成図であり、図にお
いて、１はカメラ、２はＡ／Ｄ変換器、３は動画像符号
化装置、４は動きベクトル抽出手段、５は計測手段、６
は動きベクトル解析手段であり、図１に同一符号を付し
た部分に相当するものである。

【００４０】また、４０は送信側の通信インタフェー
ス、４１は受信側の通信インタフェースであり、４２は
それらの間を接続している通信回線である。４３は通信
インタフェース４１を介して受け取った動画像符号化デ
ータを復号化する動画像復号化装置であり、４４は復号
化された画像データを表示する表示装置である。４５は
通信インタフェース４１からの動画像符号化データを処
理する中央処理装置（以下、ＣＰＵという）、４６はこ
のＣＰＵ４５が処理に際して使用する制御プログラムを
格納しているメモリ、４７は動画像符号化データが一旦
格納される記憶装置としてのディスクであり、４８はこ
れら通信インタフェース４１、ＣＰＵ４５、メモリ４
６、ディスク４７の間を接続しているＣＰＵバスであ
る。なお、動きベクトル抽出手段４、計測手段５、およ
び動きベクトル解析手段６はＣＰＵ４５にてソフトウェ
ア的に実現されるものである。

【００４１】次に動作について説明する。カメラ１の出
力がＡ／Ｄ変換器２にてディジタル化されて動画像符号
化装置３に送られ、動画像符号化装置３で符号化されて
動画像符号化データとして通信インタフェース４０より
通信回線４２に送出される。受信側では、その動画像符
号化データを通信インタフェース４１で受け取り、通信
インタフェース４１はそれを動画像復号化装置４３およ
びＣＰＵバス４８に出力する。通信インタフェース４１
よりその動画像符号化データを受け取った動画像復号化
装置４３は、それを復号化して表示装置４４に表示す
る。

【００４２】一方、ＣＰＵ４５はメモリ４６に格納され
ている制御プログラムに従って動作し、通信インタフェ
ース４１を介してＣＰＵバス４８側に取り込まれた動画
像符号化データの処理を行う。この処理に関しては、Ｃ
ＰＵ４５が直接通信インタフェース４１から取り込まれ
た動画像符号化データを実時間で処理する場合と、一
旦、動画像符号化データをディスク４７に取り込んでか
ら処理を行う場合とが考えられる。ＣＰＵ４５で行われ
る処理は、動画像符号化データから動きベクトルを抽出
する動きベクトル抽出手段４、動きベクトルの分布を計
測する計測手段５、および動きベクトルの解析を行う動
きベクトル解析手段６をソフトウェア的に実現するもの
であり、その内容は実施例１から実施例６で説明したも
のと同じである。

【００４３】実施例８．次にこの発明の実施例８を図に
ついて説明する。図５は請求項３に記載した発明の一実
施例による動画像解析装置を示す構成図である。この実
施例は、動きベクトル推定手段７を持つことが実施例１
と異なる点である。この動きベクトル推定手段７は、あ
るブロックで動き補償予測を用いないフレーム内符号化
が適用されたため、当該ブロックが動きベクトルを持た
ない場合に、その動きベクトルを推定するものである。
ブロックに対してフレーム内符号化が適用されるのは、
フレーム間での動きが激しいため、動き補償予測が適用
できない場合と、プロトコルの制限として、ある一定間
隔以内ごとにフレーム内符号化を挿入するよう決められ
ている場合とがある。ここで、動きベクトル推定手段７
では、動きベクトルを持たないブロックの周辺ブロック
の動きベクトルの荷重平均値を当該ブロックの動きベク
トルとする。

【００４４】次にこの実施例８の動作について説明す
る。動きベクトル抽出手段４は動画像符号化装置３の動
き補償部１２で計測される動きベクトルを、一般的に２
次元のベクトル情報である水平方向の変位および垂直方
向の変位と、動きベクトルの発生位置との組として抽出
する。また、動きベクトル推定手段７は、動きベクトル
が存在しない場合に、上述した方法によって動きベクト
ルを推定する。計測手段５は動きベクトル抽出手段４お
よび動きベクトル推定手段７から動きベクトルを受け
て、動きベクトル解析手段６の解析内容に応じて１フレ
ームごとの動きベクトルの分布を計測する。この部分の
計測方法は実施例１で説明したものと同様である。ま
た、動きベクトル解析手段６の解析内容も実施例１から
実施例６で説明したものと同様である。

【００４５】また、動きベクトル推定手段７の他の動作
方法を以下の実施例９から実施例１３によって説明す
る。

【００４６】実施例９．動きベクトル推定手段７は前フ
レームの動きベクトルを記憶しておき、前フレームの同
一位置およびその周辺のブロックの動きベクトルと現フ
レームの周辺ブロックの動きベクトルとの荷重平均を当
該ブロックの動きベクトルとする。

【００４７】実施例１０．動きベクトル推定手段７は動
きベクトルの推定を１フレーム分遅延させ、後フレーム
の同一位置、およびその周辺のブロックの動きベクトル
と現フレームの周辺ブロックの動きベクトルとの荷重平
均を当該ブロックの動きベクトルとする。

【００４８】実施例１１．動きベクトル推定手段７は前
フレームと後フレームの同一位置、およびその周辺の動
きベクトルと現フレームの周辺ブロックの動きベクトル
との荷重平均を当該ブロックの動きベクトルとする。

【００４９】実施例１２．動きベクトル推定手段７は図
６に示すように、１フレーム前の復号画像を動画像符号
化装置３のフレームメモリ１１から受けて記憶してお
き、この復号画像上のブロックと動きベクトルを持たな
い現フレームのブロックとのブロックマッチング（誤差
が最小となるブロックの探索）を行うことにより動きベ
クトルを求める。このとき、動きベクトルを持たないブ
ロックの周辺ブロックの動きベクトルを参照して、ある
程度ブロックマッチングを行う範囲を限定することによ
り、計算負荷を低減できる。

【００５０】実施例１３． さらに、この動きベクトル推定手段７の動作は、実施例
８から実施例１２の方法を組み合わせることも可能であ
る。まず、第一段階の動きベクトル推定として、上記実
施例８ないし実施例１１で説明したいずれかの方式を用
いる。このとき、動きベクトルの推定に用いた動きベク
トルの分散が大きい場合には、第二段階の動きベクトル
推定として、実施例１２の方法を用いて動きベクトルを
求める。

【００５１】実施例１４． 次にこの発明の実施例１４を図について説明する。図７
は請求項４に記載した発明の一実施例による動画像解析
装置を示す構成図である。同図において、８は画面上に
特定の領域を設定する領域設定手段であり、この領域設
定手段８以外は図１と全く同一の構成であるので、ここ
では、領域設定手段８の動作を中心に説明する。領域設
定手段８は固定的あるいは半固定的なスイッチのような
入力手段や、対話的な入力手段、すなわち人間が介在
し、キーボードから画面上の座標値を入力するか、ある
いはマウスにより範囲指定をすることにより、画面に表
示された動画像上の特定領域を指定する。動きベクトル
抽出手段４はこの領域設定手段８で指定された特定領域
内のブロックの動きベクトルだけを抽出し、計測手段５
はその特定領域についてのみ計測するようにしたもので
ある。

【００５２】この領域を設定するという考え方は、画面
上で注目したい領域があらかじめ決まっている場合、例
えば道路における交通流監視のように道路上の情報だけ
が必要な場合などに適用可能である。これにより画面上
の必要な部分についてだけ動画像解析が行え、不要部分
の解析による影響や不要な情報の排除を行うことができ
る。

【００５３】実施例１５．なお、上記実施例では領域設
定手段８は手動的に特定領域を設定するものである場合
について述べたが、自動的に特定領域を指定するように
することもできる。すなわち、初期状態では画面全面の
動きベクトルを解析するように設定しておき、図８に示
すように計測手段５の計測結果を取り込んで解析を続け
るうちにその計測結果から動きベクトルの発生分布に大
きな偏りが生じていることが判明すると、動きベクトル
が発生する領域についてだけ領域設定を行うようにする
ことも可能である。

【００５４】実施例１６．また、上記実施例１４および
実施例１５では、図１に示した実施例（実施例１から実
施例６）に領域設定手段８を付加する場合について説明
を行ったが、図４から図６に示した実施例（実施例７か
ら実施例１３）にこの領域設定手段８を付加できること
は言うまでもない。

【００５５】実施例１７．次にこの発明の実施例１７を
図について説明する。図９は請求項５に記載した発明の
一実施例による動画像解析装置を示す構成図である。同
図において、９は動きベクトル抽出手段４で抽出された
動きベクトルを複数フレームに渡って積分する積分手段
であり、この積分手段９以外は図１と全く同一の構成で
あるので、ここでは積分手段９の動作を中心に説明す
る。積分手段９は動きベクトル抽出手段４から各ブロッ
クごとの動きベクトルを受け、各ブロックごとに動きベ
クトルのベクトル値を積分して動きベクトルを算出す
る。

【００５６】ここで、図１０は各ブロック（ブロック
ｉ）ごとの動きベクトルの積分処理の流れを示すフロー
チャートである。まず、ステップＳＴ１０において積分
回数Ｎ_i をＮ_i ＝０に、動きベクトルを累算するレジス
タＶ_i をＶ_i ＝（０，０）にそれぞれ初期設定する。そ
してステップＳＴ１１で動きベクトル抽出手段４から現
フレームのブロックｉの動きベクトルｖ_i を受け取り、
ステップＳＴ１２で積分回数のカウントＮ_i ＝Ｎ_i ＋１
と積分Ｖ_i ＝Ｖ_i ＋ｖ_i を行い、さらにステップＳＴ１
３で当該ブロックの動きベクトルをＶ_i ／Ｎとして算出
する。次に、ステップＳＴ１４において終了の判定を行
い、終了でないと判定された場合にはステップＳＴ１５
で動きベクトルｖ_i の大きさを判定し、それがしきい値
ｔｈよりも小さく、十分０に近いと判定されると、ステ
ップＳＴ１０の初期化に戻り、それ以外はステップＳＴ
１１へ戻る。以上の積分は各ブロックごとに独立に行わ
れる。これにより画面中にランダムに動く不必要な物体
が写っている場合に、ランダムな動きベクトルは積分作
用により相殺され、必要な情報だけが抽出可能になる。

【００５７】以上のように算出された動きベクトルは、
計測手段５および動きベクトル解析手段６で図１に示し
た実施例（実施例１から実施例６）の場合と同様の処理
が施される。

【００５８】なお、この実施例１７では、図１に示した
実施例に積分手段９を付加する場合について説明を行っ
たが、図４から図８に示した実施例（実施例７から実施
例１６）に積分手段９を付加してもよく、それぞれ同様
の効果を奏することは言うまでもない。

【００５９】実施例１８．以上に説明した実施例１から
実施例１７では、フレーム間予測の方式として前方予
測、すなわち、時間的に過去に位置するフレームから現
フレームを予測する場合について説明したが、本発明は
後方予測、すなわち、時間的に未来に位置するフレーム
から現フレームを予測する場合にも適用可能である。こ
の後方予測では、例えば国際標準化機構（ＩＳＯ）で標
準化が進められている、蓄積メディア用動画像符号化方
式であるモーション・ピクチャー・エキスパーツ・グル
ープ（Motion Picture Experts Group，以下、ＭＰＥＧ
という）方式で用いられている。

【００６０】そこで、まず図１１を用いてＭＰＥＧ方式
の概念を説明する。図１１において、Ｉ，Ｐ，Ｂと記さ
れているのは各フレームに適用される予測方式を示して
おり、Ｉフレームはフレーム内符号化が適用されるフレ
ーム、Ｐフレームは時間的に過去に位置するＩまたはＰ
フレームを用いてフレーム間予測されるフレーム、Ｂフ
レームは時間的に過去および未来に位置するＩまたはＰ
フレームを用いてフレーム間予測されるフレームであ
る。例えば、Ｐフレーム５３はＩフレーム５０を用いて
予測され、Ｐフレーム５６はＰフレーム５３を用いて予
測される。また、Ｂフレーム５１，５２はＩフレーム５
０とＰフレーム５３を用いて予測され、Ｂフレーム５
４，５５はＰフレーム５３とＰフレーム５６を用いて予
測され、Ｂフレーム５７，５８はＰフレーム５６とＩフ
レーム５９を用いて予測される。

【００６１】このうち、Ｐフレームの解析は実施例１か
ら実施例１７で説明したものと全く同様の方法が適用で
きる。一方、Ｂフレームは前方予測されるブロックの動
きベクトルだけを解析し、ＩフレームはＢフレームで後
方予測が適用されるブロックの動きベクトルを解析する
ことにより、以上の実施例で説明したものと同様の解析
が可能となる。尚、動画像符号化では符号化レートの制
限により、フレーム間隔が変わる可能性がある。例え
ば、符号化レート６４ｋｂｐｓと３８６ｋｂｐｓとを比
較すると、前者の方がフレーム間隔が長くなる。即ち、
１秒間に伝送されるフレーム数が減る傾向にある。ま
た、あるフレームの符号化データ量が大きくなった場
合、伝送するフレーム数を減らすことにより符号化レー
トが調整される。このようにフレーム間隔が変化する
と、同じ動きベクトルの大きさであっても、フレーム間
隔が狭い程、大きな動きに相当することになり、動きベ
クトルの解析にも影響を与えることになる。これに対し
て、実施例１から１８において、例えば動きベクトル解
析手段６は動きベクトルの大きさにフレーム間隔の逆数
を掛け、動きベクトルを正規化することにより対処でき
る。

【００６２】実施例１９． 図１２は請求項６に記載の発明の一実施例による動画像
解析装置を示す構成図である。図において、１および２
は図１のそれらと同様のカメラおよびＡ／Ｄ変換器であ
る。また、６０は符号化モードを決定する符号化制御部
であり、６１，６２はこの符号化制御部６０によって切
り換えられるスイッチである。６３はＡ／Ｄ変換器２か
らの動画像データに対してフレーム内符号化を行うフレ
ーム内符号化部であり、６４は前記動画像データに対し
てフレーム間符号化を行うフレーム間符号化部である。
６５はこれら符号化制御部６０、スイッチ６１，６２、
フレーム内符号化部６３およびフレーム間符号化部６４
を含んで形成される動画像符号化装置である。６６はこ
の動画像符号化装置６５の符号化制御部６０より、当該
動画像符号化装置６５がフレーム間符号化方式とフレー
ム内符号化方式のいずれを適用して動画像データを符号
化したかを示す符号化モードの抽出を行う符号化モード
抽出手段である。６７はこの符号化モード抽出手段６６
にて抽出された符号化モードの空間分布を解析する符号
化モード解析手段である。

【００６３】次に動作について説明する。符号化制御部
６０はＡ／Ｄ変換器２からの動画像データの符号化モー
ドを決定し、それに従ってスイッチ６１および６２の切
り換えを制御する。このスイッチ６１および６２の切り
換えによって、フレーム内符号化方式とフレーム間符号
化方式とが適応的に適用される。すなわち、符号化制御
部６０はフレーム間予測が適用できないと判断すると、
スイッチ６１の接点ａを接点ｂに、スイッチ６２の接点
ａを接点ｂにそれぞれ接続し、Ａ／Ｄ変換器２からの動
画像データに対してフレーム内符号化部６３によるフレ
ーム内符号化を適用するように制御する。逆に、フレー
ム間予測が適用できると判定すると、符号化制御部６０
は各スイッチ６１，６２の接点ａを接点ｃに接続し、そ
の動画像データに対してフレーム間符号化部６４による
フレーム間符号化を適用するように制御する。そして、
この符号化制御部６０が判定した符号化モードはフレー
ム内符号化部６３またはフレーム間符号化部６４で符号
化された符号化データと多重化され、当該動画像符号化
装置６５より出力される動画像符号化データとなる。

【００６４】一方、符号化モード抽出手段６６は、符号
化制御部６０によってフレーム内符号化方式とフレーム
間符号化方式のいづれが適用されたかを示す符号化モー
ドを抽出し、それを符号化モード解析手段６７に送る。
符号化モード解析手段６７は受け取った符号化モードの
空間的な分布を解析し、移動物体の検出などを行う。例
えば、図１３に示すように、物体７０が７１で示す位置
に移動する場合を考える。このとき、物体７０の移動に
伴って、物体７０の背景として隠れていた斜線部分７２
が現われ、この部分ではフレーム間予測が行えないた
め、フレーム内符号化が適用されることになる。従っ
て、この図１３の７２に示したようなフレーム内符号化
が適用される領域を符号化モード解析手段６７で検出す
ることにより、移動物体の検出が可能になる。さらに、
このような領域の位置を時々刻々検出することにより、
物体の移動方向やスピードを求めることもできる。

【００６５】実施例２０． 次にこの発明の実施例２０を図について説明する。図１
４は請求項７に記載した発明の一実施例による動画像解
析装置を示す構成図であり、相当部分には図４および図
１２と同一符号を付してその説明を省略する。また、７
０は通信インタフェース４１を介して受け取った、フレ
ーム間符号化方式とフレーム内符号化方式とを適応的に
切り換えて動画像を符号化した符号化データに符号化モ
ードを多重化した動画像符号化データの復号化を行う動
画像復号化装置である。なお、この場合も、符号化モー
ド抽出手段６６および符号化モード解析手段６７はＣＰ
Ｕ４５によってソフトウェア的に実現される。

【００６６】次に動作について説明する。カメラ１の出
力がＡ／Ｄ変換器２にてディジタル化されて動画像符号
化装置６５に送られ、動画像符号化装置６５でフレーム
間符号化方式とフレーム内符号化方式を適応的に切り換
えて符号化される。その符号化データはいずれの符号化
方式を適用したかを示す符号化モードと多重化され、動
画像符号化データとして通信インタフェース４０より通
信回線４２に送出される。受信側では、その動画像符号
化データを通信インタフェース４１で受け取り、通信イ
ンタフェース４１はそれを動画像復号化装置７０および
ＣＰＵバス４８に出力する。通信インタフェース４１よ
りその動画像符号化データを受け取った動画像復号化装
置７０は、それを復号化して表示装置４４に表示する。

【００６７】一方、ＣＰＵ４５はメモリ４６に格納され
ている制御プログラムに従って動作し、通信インタフェ
ース４１を介してＣＰＵバス４８側に取り込まれた動画
像符号化データの処理を行う。この処理に関しては、実
施例７の場合と同様に、ＣＰＵ４５が取り込まれた動画
像符号化データを直接実時間で処理する場合と、ディス
ク４７に一旦格納してから処理する場合とが考えられ
る。なお、ＣＰＵ４５で行われる処理は、動画像符号化
データ中に多重化されている符号化モードの抽出を行う
符号化モード抽出手段６６、およびこの符号化モード抽
出手段６６にて抽出された符号化モードの空間的な分布
を解析する符号化モード解析手段６７をソフトウェア的
に実現するものであり、その内容は実施例１９で説明し
たものと同一である。

【００６８】実施例２１． なお、実施例１９および実施例２０におけるフレーム内
符号化とフレーム間符号化の方法としては、特にある特
定の方式に限定されるというものではなく、例えば図１
１で説明したＭＰＥＧ方式の場合にも符号化モードの空
間的な分布の解析を行うことにより、移動物体の検出、
移動方向や移動のスピードを求めることができる。

【００６９】実施例２２． また、これまでに説明した各実施例では、動きベクトル
解析と符号化モードの解析を同時に行う場合について説
明をしなかったが、これらを組み合わせることも可能で
ある。例えば、ＭＰＥＧ方式の後方予測が適用され、そ
の部分の動きベクトルが０、すなわち動き無しであれば
物体の移動により背景が出現したと考えることができ
る。

【００７０】実施例２３． さらに、以上の実施例１から実施例２２で説明した各手
段はハードウェア的にもソフトウェア的にも実現可能で
あることは言うまでもない。

【００７１】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、動画像符号化装置の動き補償部より動きベクト
ルを抽出し、その分布を解析するように構成したので、
高速ハードウェアを必要とすることなく、極めて少ない
計算負荷にて動画像の動きを検出し、動画像解析を行う
ことができる動画像解析装置が得られる効果がある。

【００７２】また、請求項２に記載の発明によれば、動
画像符号化データより動きベクトルを抽出し、その分布
を解析するように構成したので、高速ハードウェアを必
要とすることなく、極めて少ない計算負荷にて動画像の
動きを検出し、動画像解析を行うことができる動画像解
析装置が得られる効果がある。

【００７３】また、請求項３に記載の発明によれば、動
きベクトル推定手段で動きベクトルの推定を行うように
構成したので、フレーム内符号化が適用されて、動きベ
クトルを持たないブロックについても動画像解析が可能
となる効果がある。

【００７４】また、請求項４に記載の発明によれば、領
域設定手段で動きベクトルを抽出すべき領域を設定する
ように構成したので、設定された特定の領域内だけを解
析することができる効果がある。

【００７５】また、請求項５に記載の発明によれば、抽
出された動きベクトルを積分手段で積分するように構成
したので、真に必要な動きベクトルのみを抽出できる効
果がある。

【００７６】また、請求項６に記載の発明によれば、動
画像符号化装置より当該動画像符号化装置がいずれの符
号化方式を適用したかを示す符号化モードを抽出し、そ
の符号化モードの空間分布を解析するように構成したの
で、高速ハードウェアを必要とすることなく、極めて少
ない計算負荷にて動画像の動きを検出し、動画像解析を
行うことができる動画像解析装置が得られる効果があ
る。

【００７７】また、請求項７に記載の発明によれば、動
画像符号化データより符号化モードを抽出してその空間
分布を解析するように構成したので、高速ハードウェア
を必要とすることなく、極めて少ない計算負荷にて動画
像の動きを検出し、動画像解析を行うことができる動画
像解析装置が得られる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１による動画像解析装置を示
す構成図である。

【図２】上記実施例における動き補償予測方式を説明す
るための概念図である。

【図３】上記実施例における移動物体に生じる動きベク
トルの分布を説明するための概念図である。

【図４】この発明の実施例７による動画像解析装置を示
す構成図である。

【図５】この発明の実施例８による動画像解析装置を示
す構成図である。

【図６】この発明の実施例１２による動画像解析装置を
示す構成図である。

【図７】この発明の実施例１４による動画像解析装置を
示す構成図である。

【図８】この発明の実施例１５による動画像解析装置を
示す構成図である。

【図９】この発明の実施例１７による動画像解析装置を
示す構成図である。

【図１０】上記実施例における積分手段の処理の流れを
示すフローチャートである。

【図１１】この発明の実施例１８に適用されるＭＰＥＧ
方式を説明するための概念図である。

【図１２】この発明の実施例１９による動画像解析装置
を示す構成図である。

【図１３】上記実施例における符号化モードの空間分布
を説明するための概念図である。

【図１４】この発明の実施例２０による動画像解析装置
を示す構成図である。

【図１５】従来の動画像解析装置で用いられているアル
ゴリズムを示すフローチャートである。

【符号の説明】

３ 動画像符号化装置 ４ 動きベクトル抽出手段 ５ 計測手段 ６ 動きベクトル解析手段 ７ 動きベクトル推定手段 ８ 領域設定手段 ９ 積分手段 １２ 動き補償部 ６５ 動画像符号化装置 ６６ 符号化モード抽出手段 ６７ 符号化モード解析手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−254229（ＪＰ，Ａ) 特開 平５−37915（ＪＰ，Ａ) 特開 平５−183872（ＪＰ，Ａ) 特開 平４−281679（ＪＰ，Ａ) 実開 平３−111080（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 動画像を動き補償予測を用いて符号化す
   る動画像符号化装置の動き補償部で算出され、動画像の
   符号化に使用される動きベクトルを該動き補償部から抽
   出する動きベクトル抽出手段と、前記動きベクトル抽出
   手段にて抽出された動きベクトルの分布を計測する計測
   手段と、前記計測手段の計測結果を解析する動きベクト
   ル解析手段とを備えた動画像解析装置。
2. 【請求項２】 動き補償予測を用いて符号化された動画
   像符号化データから動きベクトルを抽出する動きベクト
   ル抽出手段と、前記動きベクトル抽出手段にて抽出され
   た動きベクトルの分布を計測する計測手段と、前記計測
   手段の計測結果を解析する動きベクトル解析手段とを備
   えた動画像解析装置。
3. 【請求項３】 前記動きベクトル抽出手段にて抽出する
   動きベクトルが、フレーム内符号化が適用されたために
   存在しない場合に、前記動きベクトルの推定を行う動き
   ベクトル推定手段を設けたことを特徴とする請求項１も
   しくは２に記載の動画像解析装置。
4. 【請求項４】 前記計測手段がその領域についてのみ計
   測を行う特定の領域を、前記動画像上に設定する領域設
   定手段を設けたことを特徴とする請求項１ないし３のい
   ずれか１項に記載の動画像解析装置。
5. 【請求項５】 前記動きベクトル抽出手段で抽出された
   動きベクトルを、複数のフレームに渡って積分する積分
   手段を設けたことを特徴とする請求項１ないし４のいず
   れか１項に記載の動画像解析装置。
6. 【請求項６】 フレーム間符号化方式とフレーム内符号
   化方式を適応的に切り換えて動画像を符号化する動画像
   符号化装置より、当該動画像符号化装置がどちらの符号
   化方式を適用して符号化したかを示す符号化モードの抽
   出を行う符号化モード抽出手段と、前記符号化モード抽
   出手段にて抽出された符号化モードの空間分布を解析す
   る符号化モード解析手段とを備えた動画像解析装置。
7. 【請求項７】 フレーム間符号化方式とフレーム内符号
   化方式を適応的に切り換えて動画像を符号化した動画像
   符号化データから、どちらの符号化方式が適用されたか
   を示す符号化モードを抽出する符号化モード抽出手段
   と、前記符号化モード抽出手段にて抽出された符号化モ
   ードの空間分布を解析する符号化モード解析手段とを備
   えた動画像解析装置。