JPH04328689A - 動画像からの移動物体抽出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像中の移動物体を
切り出す技術に関するものであり、動画像の検索や編集
など、広く一般に動画像を扱う分野に関するものである
。

【０００２】

【従来の技術】この分野の従来技術として、大きく分け
て静止画像中からの物体抽出技術と、動画像のフレーム
間差分を用いて抽出する技術の２つがあった。

【０００３】静止画像中からの物体抽出技術では、まず
、動画像を構成するフレームの１つのフレーム（静止画
）から物体抽出を行う。これは、二値化処理，エッジ抽
出処理などの基本的な画像処理技術を用いてプリミティ
ブな要素群を得、その後、予め用意されている解釈の辞
書を用いて要素群から物体を抽出しようとする処理が用
いられていた。

【０００４】

【発明が解決しようとする課題】しかし、この技術では
、要素群を得るまでの処理で、原画像中の雑音に弱く、
これが辞書との照合時に悪影響を与えるという欠点があ
った。また、背景画像中の物体などを誤抽出しないよう
にするために、解釈の辞書を予めチューンアップしてお
かなければならないという問題点があった。

【０００５】一方、直接動画像を対象にして抽出した物
体についてフレーム間で差分処理を行い、得られた差分
情報をもとに移動物体を抽出する方法では、その動画像
の撮影時のカメラ操作による差分情報まで算出してしま
い、実際には、移動物体でないものまで移動物体として
抽出されてしまうという問題点があった。したがって、
カメラ操作のないフィクストな状態での撮影によるもの
でのみ有効であった。また、カメラ操作が行われていな
い場合でも画素単位で差分を取るので、フレーム毎のノ
イズに弱く、ノイズ領域が移動物体の領域として抽出さ
れてしまうという欠点があった。

【０００６】本発明では、上記ノイズに弱い移動物体以
外のものが抽出されてしまうという、従来技術の問題点
を解決した動画像からの移動物体抽出方法を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】本発明にかかる動画像か
らの移動物体抽出方法は、フレーム画像の各小領域につ
いて速度ベクトルを求めて分布図を得、この中からカメ
ラ操作による速度ベクトルの分布成分を除去することに
よって、残った速度ベクトルの成分に相当する原フレー
ム画像中の小領域を移動物体領域として抽出する。

【０００８】

【作用】この手法を用いることによって、ある程度大き
さを持ったフレーム画像中の各小領域ごとの速度分布を
使用することから、各フレーム画像中の細かい雑音成分
に対してはロバスト（ｒｏｂｕｓｔ）になり、また、カ
メラ操作によって生じる速度ベクトルの成分を除去する
ことによって、フレーム画像中の画像全体が変化してい
る場合などに、従来技術では移動領域として抽出されて
いた移動物体以外の画像領域を抽出することがなくなる
。

【０００９】

【実施例】図１〜図５に本発明の実施例で行われる処理
の概要を示す。

【００１０】図１は原フレーム画像である。画像は、横
方向から１から５、縦方向にａからｄまでのラベルをつ
けて小領域に分割してある。ここでは、説明の便宜上、
比較的大きな小領域が設定されている。

【００１１】図２は原フレーム画像の各小領域で、速度
ベクトル成分を求めることで得られた分布図である。速
度ベクトルは既存の画像の濃淡値の時空間的な濃度勾配
に基づく方法（明度勾配法、『Ｂ．Ｐ．Ｈｏｒｎ　＆　
Ｂ．Ｇ．Ｓｃｈｕｎｋ：Ｄｅｔｅｒｍｉｎｉｎｇ　Ｏｐ
ｔｉｃａｌ　Ｆｌｏｗ，Ａｒｔｉｆｉ．Ｉｎｔｅｌｌ．
，Ｖｏｌ．１７，ｐｐ．１８５−２０３（１９８１）　
』）や時空間の周波数領域で動きを解析する方法（『Ｄ
．Ｊ．Ｈｅｅｒ：Ｏｐｔｉｃａｌ　Ｆｌｏｗ　Ｕｓｉｎ
ｇ　ａ　Ｓｐａｔｉｏｔｅｍｐｏｌａｌ　Ｆｉｌｔｅｒ
ｓ，Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，Ｖｏｌ
．１，ｐｐ．２７９−３０２（１９８８）　』）などの
手法を用いることによって得られる。

【００１２】図３は原フレーム画像中で行われているカ
メラ操作に起因する速度ベクトル分布図のパターンであ
る。ここで、対象とするカメラ操作には以下に述べるよ
うな操作が考えられる。

【００１３】・フィックス（図７参照）：カメラが静止
している状態。速度ベクトル分布図は、各速度ベクトル
の大きさは零、それ故に向きはない。

【００１４】・パン（パンニング）（図８参照）：カメ
ラヘッドを左右（水平）方向のどちらか一方向に回動す
る操作。各速度ベクトルの大きさは等しい。向きは一定
方向（右もしくは左）を向く。

【００１５】・チルト（図９参照）：カメラヘッドを上
下（垂直）方向のどちらか一方向に動かす操作。各速度
ベクトルの大きさは等しい。向きは一定方向（上もしく
は下）を向く。

【００１６】ドリー（図１０参照）：カメラを被写体方
向（前後方向）に移動させる操作。各速度ベクトルの大
きさは互いに異なり、近くの被写体の小領域では速度ベ
クトルが大きく、遠くの被写体の小領域では速度ベクト
ルが小さい。向きは画面の中心方向もしくは中心から画
面外側の方向を向く。

【００１７】・トラック（図１１参照）：カメラを被写
体に対して左右（横）方向のどちらか一方向に移動させ
る操作。各速度ベクトルの大きさは互いに異なり、近く
の被写体の小領域では速度ベクトルが大きく、遠くの被
写体の小領域では速度ベクトルが小さい。向きは一定方
向（右もしくは左）を向く。

【００１８】・ブーミング（図１２参照）：カメラペデ
スタルによりカメラ高を上下（縦）方向のどちらか一方
に移動させる操作。各速度ベクトルの大きさは互いに異
なり、近くの被写体の小領域では速度ベクトルが大きく
、遠くの被写体の小領域では速度ベクトルが小さい。 向きは一定方向（上もしくは下）を向く。

【００１９】・ズーム（図１３参照）：カメラと被写体
の相互位置を変えずにズームレンズの画角を変化させて
被写体サイズを連続的に変える操作。各速度ベクトルの
大きさは等しい。向きは画面の中心方向もしくは中心か
ら画面外側方向を向く。

【００２０】図３にこれらのカメラ操作の際の速度ベク
トルの分布パターンを示す。図３では右から左方向への
パン操作を想定している。図４は、図２で得られた速度
ベクトル分布図から図３で得られた速度ベクトルの分布
パターンの成分を除去した図である。残った速度ベクト
ルに相当する小領域を原フレーム画像から切り出す。 （ｂ，３），（ｂ，４），（ｃ，２），（ｃ，３）およ
び（ｃ，４）を移動物体の領域として切り出す。これに
よって、移動物体に相当する小領域の速度ベクトル成分
が残る。図５は、図４で残った小領域の相当する原フレ
ーム画像の小領域である。すなわち、原フレーム画像中
の移動物体に相当する領域である。この領域を原フレー
ム画像から切り出すことによって動画像からの移動物体
の切り出しが可能となる。

【００２１】図６に本発明の実施例で行われる処理の流
れを示す図である。なお、（１）〜（８）は各ステップ
を示す。まず、ステップ（２）で原フレーム画像を入力
した後、ステップ（３）で各小領域の速度ベクトルＡを
算出する一方、ステップ（４）でカメラ操作Ｂを判別す
る。カメラ操作Ｂを判別する既存の手法としては、同様
に原フレーム画像中の各小領域で速度ベクトルをとり、
各速度ベクトルの方向の頻度表（ヒストグラム）と、大
多数の速度ベクトル群で定まる消失点とから定める手法
などがある。ステップ（５）ではカメラ操作Ｂの判別後
に、そのカメラ操作Ｂに起因する速度ベクトルの分布パ
ターン（速度ベクトル成分の特徴）Ｃを、予め登録して
ある対応表から選択する。例えば、得られたカメラ操作
Ｂが［パン］であった場合、このカメラ操作Ｂに起因す
る速度ベクトルの分布パターン（速度ベクトル成分の特
徴）は、「右もしくは左方向に向いた、ほぼ同一の大き
さを持つ速度ベクトル成分である」と登録しておくこと
が可能である。その次に、ステップ（６）の処理におい
て、ステップ（３）で得られた速度ベクトル分布図から
ステップ（５）に相当する速度ベクトルの成分を除去し
、成分Ｄを得る。最後に、ステップ（７）で残った速度
ベクトル成分の位置情報から、成分Ｄに相当する小領域
Ｅを原フレーム画像中から切り出し、移動物体領域とす
る。

【００２２】

【発明の効果】以上説明したように、本発明は、フレー
ム画像を小領域に分割し、それぞれの小領域において速
度ベクトルを算出し、得られるフレーム画像全体の速度
ベクトル分布図から、カメラ操作による速度ベクトルの
分布パターンの成分を除去し、残った速度ベクトル分布
図中の成分に相当する原フレーム画像中の小領域を移動
物体領域として抽出するようにしたので、動画像中の移
動物体の領域をカメラの操作などによって見かけ上移動
しているように見える背景画像などを誤抽出することな
しに抽出することができる。

【図面の簡単な説明】

【図１】本発明の実施例での処理を説明するための原フ
レーム画像を示す図である。

【図２】本発明の実施例での処理を説明するための速度
ベクトル分布図である。

【図３】本発明の実施例での処理を説明するためのカメ
ラ操作による速度ベクトル分布図である。

【図４】本発明の実施例での処理を説明するためのもの
で、図２の速度ベクトルから図３の速度ベクトルを減じ
た図である。

【図５】本発明の実施例での処理を説明するための原フ
レーム画像中の相当領域を示す図である。

【図６】本発明の実施例中で行われる処理の流れを示す
図である。

【図７】フィックスのカメラ操作の場合の速度ベクトル
分布図である。

【図８】パンニングのカメラ操作の場合の速度ベクトル
分布図である。

【図９】チルトのカメラ操作の場合の速度ベクトル分布
図である。

【図１０】ドリーのカメラ操作の場合の速度ベクトル分
布図である。

【図１１】トラックのカメラ操作の場合の速度ベクトル
分布図である。

【図１２】ブーミングのカメラ操作の場合の速度ベクト
ル分布図である。

【図１３】ズームのカメラ操作の場合の速度ベクトル分
布図である。

【符号の説明】

Claims (1)

【特許請求の範囲】
1. 【請求項１】フレーム画像の時間的連鎖によって構成さ
   れる動画像中から移動物体を抽出する方法において、フ
   レーム画像を小領域に分割し、それぞれの小領域におい
   て速度ベクトルを算出し、得られるフレーム画像全体の
   速度ベクトル分布図から、カメラ操作による速度ベクト
   ルの分布パターンの成分を除去し、残った速度ベクトル
   分布図中の成分に相当する原フレーム画像中の小領域を
   移動物体領域として抽出することを特徴とする動画像か
   らの移動物体抽出方法。