JPH06259560A

JPH06259560A - 移動物体抽出装置

Info

Publication number: JPH06259560A
Application number: JP5075114A
Authority: JP
Inventors: Takashi Hirai; 隆史平位; Koichi Sasagawa; 耕一笹川; Shinichi Kuroda; 伸一黒田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1993-03-10
Filing date: 1993-03-10
Publication date: 1994-09-16

Abstract

(57)【要約】【目的】動画像から移動物体のみを正確、かつ、安定
して抽出することができる移動物体抽出装置を得ること
を目的とする。【構成】移動ベクトル検出回路１３は時間的に変化す
る連続画像から物体の移動ベクトルを差分法により検出
し、双方向スポーク発生回路１４は検出された移動ベク
トルの方向およびその逆方向にそれぞれスポークを発生
し、スポーク交差判定回路１５は発生したスポークの交
差領域を移動物体の領域として抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば時間的に変化
する連続画像（以下「動画像」という）から移動物体を
抽出する移動物体抽出装置に関するものである。

【０００２】

【従来の技術】従来、この種の移動物体抽出装置におい
ては、差分法、オプティカルフロー手法、スポークフィ
ルタ法などの移動物体抽出法が使用されている。そこで
各種移動物体抽出法について詳述する。

【０００３】まず、動画像から移動物体を簡単に抽出す
る手法として、差分を利用する差分法がある。図１９は
従来の差分法を用いた移動物体抽出法の一例を表す図で
あり、図において、例えば、１１１−１は時刻ｔ＋１の
ときの画像、１３１−１は画像１１１−１中の物体であ
る。１１２−１は時刻ｔのときの画像、１３２−１は画
像１１２−１中の物体である。１２２−１は差分画像、
１５１は正の領域、１５２は負の領域である。この差分
法については、例えば参考文献の画像処理ハンドブック
（１９８７、昭晃堂）、Ｐ．３７５、図１６．２に開示
されている。

【０００４】次に動作について説明する。図１９に表さ
れた移動物体抽出法では、時刻ｔ＋１の画像１１１−１
から時刻ｔの画像１１２−１を差し引いて、差分画像１
２２−１が得られる。この差分画像１２２−１には正の
領域１５１と負の領域１５２が現れる。また背景部分に
ついては濃度が“０”になる。そこで物体１３１−１，
１３２−１の濃度が背景より高い場合には、正の領域１
５１が時刻ｔ＋１における物体１３１−１の位置とな
り、負の領域１５２は時刻ｔにおける物体１３２−１の
位置となる。以上の差分画像１２２−１をある閾値で２
値化することにより、移動物体が抽出される。

【０００５】図２０は従来の差分法を用いた移動物体抽
出法の他の一例を表す図であり、図において、例えば、
１１１−２は時刻ｔ＋１のときの画像、１３１−２は画
像１１１−２中の物体である。１１２−２は時刻ｔのと
きの画像、１３２−２は画像１１２−２中の物体であ
る。１２２−２は差分画像、１６１は差分画像１２２−
２中に物体１３１−２から得られた正の領域、１６２は
差分画像１２２−２中に物体１３２−２から得られた負
の領域である。

【０００６】次に動作について説明する。図２０に表さ
れた移動物体抽出法では、時刻ｔ＋１の画像１１１−２
から時刻ｔの画像１１２−２を差し引いて、差分画像１
２２−２が得られる。この場合、物体の移動量が小さい
ため、差分画像１２２−２中の正の領域１６１と負の領
域１６２は、それぞれ物体１３１−２，１３２−２の周
辺領域である。物体の濃度が一様であれば、差分画像１
２２−２において、物体１３１−２，１３２−２が重な
る内部領域の濃度はほぼ“０”であり、周辺領域にわず
かの正の領域１６１と負の領域１６２が抽出されるだけ
である。

【０００７】また他の移動物体抽出法として、オプティ
カルフロー法がある。このオプティカルフロー法は、画
像の空間方向の輝度勾配と時間方向の輝度勾配から物体
の移動ベクトルを検出する手法である。このオプティカ
ルフロー法については、例えば参考文献のバーソールド
・ケー・ピー・ホーンアンドブライアン・ジー・シ
ュンク「ディターミングオプティカルフロー」ア
ーティフィシャルインテリジェンス第１７巻ナン
バー１−３１８５〜２０３頁（１９８１）（BERTHOLD
K.P.HORN and BRIAN G.SCHUNCK, " Determing Optical
Flow ", Arti-ficial Intelligence, Vol.17, No. 1-
3, pp.185-203(1981)）に開示されている。図２１は従
来のオプティカルフロー法を用いた移動物体抽出法の一
例を表す図であり、図において、例えば、１９１は時刻
ｔのときの物体、１９２は時刻ｔ＋１のときの物体、１
９３はオプティカルフローである。

【０００８】次に動作について説明する。図２１に示さ
れた移動物体抽出法では、時刻ｔにおける物体１９１が
時刻ｔ＋１に物体１９２の位置まで移動したときに、各
物体１９１，１９２のエッジ付近では矢印で示されたオ
プティカルフロー１９３が発生して、移動ベクトルが検
出される。

【０００９】さらに他の移動物体抽出法として、スポー
クフィルタ法がある。このスポークフィルタ法は、１枚
の画像から物体を抽出し、その物体の位置や面積ならび
に背景等を含む幾何学的特徴を記憶しておき、次の時刻
に得られた画像からも同様に幾何学的特徴を抽出して、
これら時間的に異なる２つの幾何学的特徴を対応付ける
ことにより移動物体を追跡する手法である。具体的に
は、１枚の画像中の濃淡情報をもとに円や長方形などの
特定の形状を持つ物体を検出する手法である。このスポ
ークフィルタ法については、参考文献のルイス・ジー・
マイナーアンドジャック・スクランスキー「ザデ
ィテクションアンドセグメンテイションオブブ
ロッブスインインフレアドイメイジズ」アイイー
イーイートランザクションズオンシステムズ，マン
アンドサイバネティクス，第エスエムシー−１１
巻，ナンバー３１９８１年３月１９４〜２０１頁
（LEWIS G.MINOR and JACK Sklansky, " The Detectio
n and Segmentation ofBlobs in Infrared Images ", I
EEE Transactions on Systems, Man and Cyberne-tics,
VOL. SMC-11, No. 3, MARCH(1981),pp.194-201）に開
示されている。図２２は従来のスポークフィルタ法を用
いた移動物体抽出法の一例を表す図であり、図におい
て、１８１は物体のエッジ強度、１８２−１はエッジ強
度１８１がかかるエッジの方向である。

【００１０】次に動作について説明する。図２３はスポ
ークの発生原理を表す図であり、図において、１９４−
１はエッジの方向１８２−１に沿って距離（Ｓ）だけ離
れた場所に長さ（Ｌ）を持つ線要素すなわちスポークで
ある。図２４はスポークの交差状況を表す図であり、図
において、１９４−２は複数の交差したスポークであ
る。

【００１１】図２２に示された移動物体抽出法では、例
えば円の形状を抽出する例を挙げている。まず全画面に
エッジ抽出フイルタをかけて、物体のエッジ強度１８１
とそのエッジの方向１８２−１を求める。このエッジの
方向１８２−１は、濃度の暗い部分から明るい部分へ向
かうものとして、８方向に量子化が行われる。円形の物
体の場合、エッジの方向は図２２に示される様にすべて
が中心に向かうものとする。このとき、図２３に示す様
に、エッジの方向１８２−１に沿って距離（Ｓ）だけ離
れた場所に、長さ（Ｌ）のスポーク１９４−１を発生さ
せる。具体例として、完全な円形の物体の場合、図２４
に示す様に、中心付近で８方向からのスポーク１９４−
２が交差する。この交差状況を見ることにより、円形の
物体が抽出できる。

【００１２】以上のスポークフィルタ法を用いた移動物
体抽出法では、円形の物体を抽出の対象としていたが、
円形以外に長方形や平行線を抽出の対象とした手法に、
例えば、特開平１−１７１０７２号公報がある。

【００１３】次に動作について説明する。図２５は従来
のスポークフィルタによる長方形の抽出法を表す図であ
り、図において、２１１は長方形、１８２−２はエッジ
の方向、１９４−３は交差する複数のスポークである。
図２６は従来のスポークフィルタによる平行線の抽出法
を表す図であり、図において、２２１は平行線、１８２
−３はエッジの方向、１９４−４はスポークである。長
方形を抽出する場合には、図２５に示す様に、長方形２
１１において４つのエッジの方向１８２−２からのスポ
ーク１９４−３が交差し、平行線を抽出する場合には、
図２６に示す様に、平行線２２１において相対する２つ
のエッジの方向１８２−３からのスポーク１９４−４が
交差することを利用して、長方形や平行線などの特定の
形状を抽出するものである。

【００１４】

【発明が解決しようとする課題】従来の移動物体抽出装
置は以上のように構成されているので、差分法の場合に
は、物体の移動量が小さいほど物体の重なる領域が増え
て、物体の周辺領域しか抽出することができなかった。
従って、移動物体の抽出を確実にするため、物体の内部
領域に何らかの穴埋め処理が必要であった。またオプテ
ィカルフロー法の場合にも、物体内部の濃度が一様であ
ると、内部領域の抽出が困難となって、上述の差分法と
同様に何らかの穴埋め処理が必要であった。さらにスポ
ークフィルタ法の場合には、１枚の画像から特定の形状
を抽出する際に、移動物体、静止物体（背景）の両方を
幾何学的特徴として抽出してしまうため、次の時刻に抽
出された幾何学的特徴との対応付けが困難であった。

【００１５】従って、単一の移動物体抽出法では、複雑
な穴埋め処理が必要になったり、動画像から移動物体の
みを正確、かつ、安定して抽出することができないとい
う問題点があった。

【００１６】請求項１の発明は上記のような問題点を解
消するためになされたもので、動画像から移動物体のみ
を正確、かつ、安定して抽出することができる移動物体
抽出装置を得ることを目的とする。

【００１７】請求項２の発明は、移動物体の抽出精度を
向上させることができる移動物体抽出装置を得ることを
目的とする。

【００１８】請求項３の発明は、物体の遠去、接近、平
行移動などのように移動物体の移動状況を正確に把握す
ることができる移動物体抽出装置を得ることを目的とす
る。

【００１９】

【課題を解決するための手段】請求項１の発明に係る移
動物体抽出装置は、差分法の後処理に抽出手段を用いて
移動物体を抽出する構成を備えたものである。

【００２０】請求項２の発明に係る移動物体抽出装置
は、オプティカルフローの後処理に抽出手段を用いて移
動物体を抽出する構成を備えたものである。

【００２１】請求項３の発明に係る移動物体抽出装置
は、オプティカルフローの後、スポークに付した正、負
の符号の交わりから物体の移動状況を判定して移動物体
を抽出する構成を備えたものである。

【００２２】

【作用】請求項１の発明における移動物体抽出装置は、
差分法の後処理に抽出手段を用いて移動物体を抽出する
構成を備えたことにより、差分法に対する穴埋め処理を
容易にして、移動物体の全領域を抽出することが可能で
ある。

【００２３】請求項２の発明における移動物体抽出装置
は、オプティカルフローの後処理に抽出手段を用いて移
動物体を抽出する構成を備えたことにより、オプティカ
ルフロー法に対する穴埋め処理を容易にし、また物体の
エッジ部分の密な移動ベクトルを検出し、スポークの発
生数を増加させることが可能である。

【００２４】請求項３の発明における移動物体抽出装置
は、オプティカルフローの後、スポークに付した正、負
の符号の交わりから物体の移動状況を判定して移動物体
を抽出する構成を備えたことにより、交差領域でのスポ
ークの符号から物体の移動状況を判定することが可能で
ある。

【００２５】

【実施例】

実施例１．以下、この発明の一実施例を図について説明
する。図１は請求項１の発明の一実施例による移動物体
抽出装置の構成を示すブロック図であり、図において、
１１は時刻ｔのときの第１画像、１２は時刻ｔ＋１のと
きの第２画像、１３は物体の移動方向を検出するために
第１画像１１および第２画像１２に基づき移動ベクトル
を検出する移動ベクトル検出回路（検出手段）、１４は
物体の移動方向に沿った方向とその逆方向にそれぞれス
ポークを発生する双方向スポーク発生回路（発生手
段）、１５は移動物体を抽出するために双方向スポーク
から交差状況を判定するスポーク交差判定回路（抽出手
段）、１６はスポーク交差判定回路１５により抽出され
た移動物体、１７−１は移動物体抽出装置全体を制御す
るＣＰＵ、１８−１はＣＰＵ１７−１が動作するための
各種プログラムを格納したＲＯＭ、１９−１はＲＯＭ１
８−１中の各種プログラムのワークエリアとして用いる
ＲＡＭである。

【００２６】図２は実施例１による移動ベクトル検出回
路１３の要部の構成を示すブロック図であり、図におい
て、２１は移動ベクトル検出回路１３に組み込まれた差
分法に従って２つの画像から差分画像を算出する減算
器、２２は減算器２１により得られた差分画像である。

【００２７】次に動作について説明する。図３は実施例
１の移動ベクトル検出回路１３による差分法の原理を表
す図であり、図において、３１は時刻ｔのときの画像１
１中の物体、３２は時刻ｔ＋１のときの画像１２中の物
体、３３は差分画像２２中の負の領域、３４は差分画像
２２中の正の領域である。図４は実施例１の差分法によ
り得られた差分結果の一例を表す図であり、図におい
て、４１は負の領域３３の位置や面積などの幾何学的特
徴の重心（以下「幾何学的重心」という）、４３は物体
３３の移動ベクトル、４２は正の領域３４の幾何学的重
心、４４は物体３４の移動ベクトルである。

【００２８】図５は実施例１による双方向スポーク発生
の一例を表す図であり、図において、５１−１は負の領
域３３について移動ベクトル４３の方向に沿って発生し
たスポーク、５２−１は負の領域３３について移動ベク
トル４３の方向とは逆の方向に沿って発生したスポーク
である。図６は実施例１による双方向スポークの交差状
況の一例を表す図であり、図において、５１−２は正の
領域３４について移動ベクトル４４の方向に沿って発生
したスポーク、５２−１は負の領域３３について移動ベ
クトル４４の方向とは逆の方向に沿って発生したスポー
ク、６１−１はスポークの重なる交差領域である。

【００２９】図７は実施例１による移動物体の抽出処理
を説明するフローチヤートである。なお、図７に示され
た処理においては、全体をＣＰＵ１７−１により制御さ
れるが、個々の処理は図１に示された各回路によって実
施される。図１に示された移動物体抽出装置では、まず
時刻ｔにおける第１画像１１と時刻ｔ＋１における第２
画像１２を移動ベクトル検出回路１３に入力する（ステ
ップＳＴ１）。移動ベクトル検出回路１３においては、
減算器２１により第１画像１１から第２画像１２を差し
引いて、差分画像２２を算出する（ステップＳＴ２）。
ここで図３に示した原理に従い、時刻ｔにおける画像１
１中の物体３１が時刻ｔ＋１には画像１２中の物体３２
に位置まで移動したものとする。このときステップＳＴ
２で算出された差分画像２２には、負の領域３３と正の
領域３４が現れる。なお、背景については、濃度が
“０”になる。移動ベクトル検出回路１３では、幾何学
的重心を軸にした移動ベクトルは負の領域から正の領域
に向かう性質を持つことから、図４に示される様に、負
の領域３３から正の領域３４に沿う方向を持つ移動ベク
トル４３と４４を検出する（ステップＳＴ３）。なお、
移動ベクトル４３は幾何学的重心４１を軸にして延び、
移動ベクトル４４は幾何学的重心４２を軸にして延びて
いる。

【００３０】このように差分法によって移動ベクトル４
３，４４が検出されると、双方向スポーク発生回路１４
では、負の領域３３において幾何学的重心４１から移動
ベクトル４３の方向に沿ってスポーク５１−１を発生さ
せると共に、移動ベクトル４３の方向とは逆の方向にも
幾何学的重心４１からスポーク５２−１を発生させる。
また正の領域３４においても同様に幾何学的重心４２か
ら双方向にスポーク５１−２，５２−２を発生させる
（ステップＳＴ４）。このとき幾何学的重心４１と４２
を結ぶ線上にスポーク５１−１，５２−１，５１−２，
５２−２を発生させるため、負の領域３３より正の領域
３４に向かうスポーク５１−１と正の領域３４より負の
領域３３に向かうスポーク５２−２の長さを適当に設定
することにより、図６に示される様に、抽出対象の物体
の内部領域に相当する部分で、スポーク５１−１とスポ
ーク５２−２とで交差領域６１−１を得ることができ
る。

【００３１】スポーク交差判定回路１５では、以上の交
差領域６１−１がスポークの交差であるという判定を下
し（ステップＳＴ５）、交差領域６１−１を移動物体の
領域として抽出し、出力する（ステップＳＴ６）。

【００３２】このように、差分処理の後にスポークフィ
ルタを使用することにより、動画像から移動物体のみを
正確、かつ、安定して抽出することができる。

【００３３】実施例２．図８は請求項２の発明の一実施
例による移動物体抽出装置の構成を示すブロック図であ
り、図において、９１は時刻ｔのときの物体、９２は時
刻ｔ＋１のときの物体、２３は物体の移動方向を検出す
るために物体９１および物体９２に基づきオプティカル
フロー、すなわち、移動ベクトルを検出する移動ベクト
ル検出回路（検出回路）、２３ａは移動ベクトルを検出
するための移動物体抽出法としてオプティカルフロー法
を使用したオプティカルフロー演算回路、１７−２は移
動物体抽出装置全体を制御するＣＰＵ、１８−２はＣＰ
Ｕ１７−２が動作するための各種プログラムを格納した
ＲＯＭ、１９−２はＲＯＭ１８−２中の各種プログラム
のワークエリアとして用いるＲＡＭである。なお、図１
と同一または相当部分には同一符号を付して説明を省略
する。

【００３４】次に動作について説明する。この実施例２
では、実施例１で採用した差分法に代わりオプティカル
フロー法を採用して、移動物体のエッジ（輪郭）部分
に、より密な移動ベクトルを検出させ、実施例１に比べ
てスポークの発生数を増加させるものである。そこで実
施例１と異なる処理について一例を挙げる。図９は実施
例２において物体の水平方向のみの移動がある場合の双
方向スポークの交差状況の一例を表す図であり、図にお
いて、７１−１は移動物体、７２−１は移動ベクトル、
５１−３は時刻ｔ₁ ＋１における物体の移動ベクトル７
２−１の方向に沿って発生させたスポーク、５２−３は
上記移動ベクトル７２−１の方向の逆方向に沿って発生
させたスポーク、５１−４は時刻ｔ₁ における物体の移
動ベクトル７２−２の方向に沿って発生させたスポー
ク、５２−４は上記移動ベクトル７２−２の方向の逆方
向に沿って発生させたスポーク、６１−１はスポーク５
２−３と５１−４との重なる交差領域である。

【００３５】さらに水平方向の移動だけでなく垂直方向
にも移動があった場合についての一例を挙げる。図１０
は実施例２において物体の水平、垂直方向の移動がある
場合の双方向スポークの交差状況の一例を表す図であ
り、図において、７１−２は移動物体、７２−３はオプ
ティカルフロー、すなわち、移動ベクトル、５１−５は
時刻ｔ₂ ＋１（ｔ₁ ＝ｔ₂ またはｔ₁ ≠ｔ₂ ）における
物体の移動ベクトル７２−３の方向に沿って発生させた
スポーク、５２−５は上記移動ベクトル７２−３の方向
の逆方向に沿って発生させたスポーク、５１−６は時刻
ｔ₂ における物体の移動ベクトル７２−４の方向に沿っ
て発生させたスポーク、５２−６は上記移動ベクトル７
２−４の方向の逆方向に沿って発生させたスポーク、６
１−２はスポーク５２−５と５１−６との重なる交差領
域である。この場合、図１０に示される様に、垂直方向
のオプティカルフローに沿ってスポークを発生させ、垂
直方向のスポーク５２−５，５１−６の交差領域６１−
２と水平方向のスポーク５２−３，５１−４の交差領域
６１−１の論理和をとることにより、移動物体の領域を
抽出することができる。

【００３６】このように、オプティカルフローの処理の
後にスポークフィルタを使用することにより、物体のエ
ッジ部分のより密な移動ベクトルを検出することがで
き、移動物体の抽出精度を向上させることができる。

【００３７】実施例３．図１１は請求項３の発明の一実
施例による移動物体抽出装置の構成を示すブロック図で
あり、図において、２４は物体の移動方向を検出するた
めにオプティカルフロー、すなわち、移動ベクトルを検
出する移動ベクトル検出回路（検出手段）、２４ａは移
動ベクトルを検出するための移動物体抽出法としてオプ
ティカルフロー法を使用してオプティカルフローを発生
して移動ベクトルを得るオプティカルフロー演算回路、
２５は物体の移動方向に応じた符号をスポークに付加す
る符号付きスポーク発生回路（発生手段）、２６は移動
物体の領域の抽出および物体の移動状況を判定する移動
物体抽出回路、２６ａは符号付きスポークに基づきスポ
ーク間の交差を判定するスポーク交差判定回路（第１の
判定手段）、２６ｂは物体の移動方向として遠去、接
近、平行移動を判定する物体移動方向判定回路（第２の
判定手段）、２７は遠去、接近、平行移動などの物体の
移動状況を情報として持つ移動物体、１７−３は移動物
体抽出装置全体を制御するＣＰＵ、１８−３はＣＰＵ１
７−３が動作するための各種プログラムを格納したＲＯ
Ｍ、１９−３はＲＯＭ１８−３中の各種プログラムのワ
ークエリアとして用いるＲＡＭである。

【００３８】次に動作について説明する。この実施例３
では、物体の遠去、接近、平行移動などの移動方向を判
定して、移動物体の抽出と共に移動物体の移動状況も正
確に把握するものである。図１８は実施例３による移動
物体の抽出処理を説明するフローチヤートである。な
お、図１８に示された処理においては、全体をＣＰＵ１
７−３により制御されるが、個々の処理は図１１に示さ
れた各回路によって実施される。図１１に示された移動
物体抽出装置では、まず時刻ｔにおける物体９１と時刻
ｔ＋１における物体９２を移動ベクトル検出回路２４に
入力する（ステップＳＴ１１）。移動ベクトル検出回路
２４においては、オプティカルフロー演算回路２４ａに
よりオプティカルフローを発生して移動ベクトルの検出
を行う（ステップＳＴ１２）。

【００３９】続いてオプティカルフロー発生回路２４ａ
により得られたオプティカルフロー（移動ベクトル）の
方向に従って、スポークに正負の符号を付加する（ステ
ップＳＴ１３）。このようにして符号を付加したスポー
ク間で交差領域を判定し（ステップＳＴ１４）、その交
差領域において交差するスポークの符号の対応から、物
体の移動状況を判定する（ステップＳＴ１５）。その結
果得られた移動状況を持つ移動物体の領域を抽出して、
出力する（ステップＳＴ１６）。そこでまず符号付きス
ポーク発生回路２５の処理を具体的に説明する。

【００４０】図１２は実施例３において物体が遠去する
場合のオプティカルフローを表す図であり、図におい
て、９１−１は時刻ｔのときの物体、９２−１は時刻ｔ
＋２のときの物体、９３−１はオプティカルフローであ
る。例えば、物体がカメラの光軸に沿って遠ざかる場
合、すなわち、物体が画像上で縮小する方向に移動する
場合、物体のオプティカルフロー９３−１は、図１２に
示す様に、物体の中心方向を示すことになる。図１３は
実施例３において物体が接近する場合のオプティカルフ
ローを表す図であり、図において、９１−２は時刻ｔの
ときの物体、９２−２は時刻ｔ＋１のときの物体、９３
−２はオプティカルフローである。例えば、物体がカメ
ラの光軸に沿って近づいてくる場合、すなわち、物体が
画像上で拡大する方向に移動する場合、物体のオプティ
カルフロー９３−２は、図１３に示す様に、物体の中心
から外向きの方向を指すことになる。なお、平行移動や
垂直移動については、すでに実施例２に説明があり、図
９および図１０から理解できる。

【００４１】この実施例３では、以上の様に、物体の移
動状況を判定するものである。この判断を行うための材
料として実施例３ではスポークに正、負の符号を付加す
る。図１４は実施例３において物体の移動ベクトルによ
る符号付きスポーク発生の一例を示す図であり、図にお
いて、９３−３はオプティカルフロー、１１１は正の符
号を付加した順方向スポーク、１１２は負の符号を付加
した逆方向スポークである。前述の実施例１及び実施例
２の双方向スポーク発生回路１４では移動ベクトルの双
方向にスポークを発生させていたが、実施例３において
は、図１４に示す様に、オプティカルフロー９３−３の
方向、すなわち、移動ベクトルの方向に発生させるスポ
ークには正の符号を付した順方向スポーク１１１を発生
し、またオプティカルフロー９３−３の逆方向、すなわ
ち、移動ベクトルの逆方向に発生させるスポークには負
の符号を付した逆方向スポーク１１２を発生する。

【００４２】次に物体移動方向判定回路２６ｂの処理を
具体的に説明する。図１５は実施例３において物体の遠
去による順方向スポークの交差の一例を表す図であり、
図において、７１−３は移動物体、９３−４はオプティ
カルフロー、１１１−１は順方向スポーク、１１２−１
は逆方向スポーク、９３−５はオプティカルフロー、１
１１−２は順方向スポーク、１１２−２は逆方向スポー
クである。図１５に示される様に、スポーク交差判定回
路２６ａが物体の内部領域で順方向スポーク１１１−
１，１１１−２同士の交差を判定した場合には、物体が
画面上で縮小、すなわち、３次元空間ではカメラに対し
て遠去している移動状況を判定する。このように物体の
遠去情報を持つ移動物体２７を出力することができる。

【００４３】図１６は実施例３において物体の接近によ
る逆方向スポークの交差の一例を表す図であり、図にお
いて、７１−４は移動物体、９３−６はオプティカルフ
ロー、１１１−３は順方向スポーク、１１２−３は逆方
向スポーク、９３−７はオプティカルフロー、１１１−
４は順方向スポーク、１１２−４は逆方向スポークであ
る。スポーク交差判定回路２６ａが、図１６に示される
様に、物体の内部領域で逆方向スポーク１１２−３，１
１２−４同士の交差を判定した場合には、物体が画面上
で拡大、すなわち、３次元空間ではカメラに対して接近
している移動状況を判定する。このように物体の接近情
報を持つ移動物体２７を出力することができる。

【００４４】図１７は実施例３において物体の平行移動
による異符号のスポークの交差の一例を表す図であり、
図において、７１−５は移動物体、９３−８はオプティ
カルフロー、１１１−５は順方向スポーク、１１２−５
は逆方向スポーク、９３−９はオプティカルフロー、１
１１−６は順方向スポーク、１１２−６は逆方向スポー
クである。物体が画面上で平行移動している移動状況の
場合には、図１７に示される様に、物体の内部領域では
順方向スポーク１１１−５と逆方向スポーク１１２−６
の交差を判定する。このように物体の平行移動情報を持
つ移動物体２７を出力することができる。

【００４５】このように、オプティカルフローの処理の
後にスポークフィルタを使用し、スポークに対してオプ
ティカルフローを基準にした正負の方向性を持たせるこ
とで、遠去、接近、平行移動などのように具体的に物体
の移動状況を得ることができる。

【００４６】

【発明の効果】以上のように、請求項１の発明によれ
ば、差分法の後処理に抽出手段を用いて移動物体を抽出
する構成にしたので、差分法に対する穴埋め処理を容易
にして、移動物体の全領域を抽出することが可能であ
る。従って、動画像から移動物体のみを正確、かつ、安
定して抽出することができる移動物体抽出装置を得られ
る効果がある。

【００４７】請求項２の発明によれば、オプティカルフ
ローの後処理に抽出手段を用いて移動物体を抽出する構
成にしたので、オプティカルフロー法に対する穴埋め処
理を容易にし、また物体のエッジ部分の密な移動ベクト
ルを検出し、スポークの発生数を増加させることが可能
である。従って、移動物体の抽出精度を向上させること
ができる移動物体抽出装置を得られる効果がある。

【００４８】請求項３の発明によれば、オプティカルフ
ローの後、スポークに付した正、負の符号の交わりから
物体の移動状況を判定して移動物体を抽出する構成にし
たので、交差領域でのスポークの符号から物体の移動状
況を判定することが可能である。従って、物体の遠去、
接近、平行移動などのように移動物体の移動状況を正確
に把握することができる移動物体抽出装置を得られる効
果がある。

【図面の簡単な説明】

【図１】請求項１の発明の一実施例による移動物体抽出
装置の構成を示すブロック図である。

【図２】実施例１による移動ベクトル検出回路１３の要
部の構成を示すブロック図である。

【図３】実施例１の移動ベクトル検出回路１３による差
分法の原理を表す図である。

【図４】実施例１の差分法により得られた差分結果の一
例を表す図である。

【図５】実施例１による双方向スポーク発生の一例を表
す図である。

【図６】実施例１による双方向スポークの交差状況の一
例を表す図である。

【図７】実施例１による移動物体の抽出処理を説明する
フローチヤートである。

【図８】請求項２の発明の一実施例による移動物体抽出
装置の構成を示すブロック図である。

【図９】実施例２において物体の水平方向のみの移動が
ある場合の双方向スポークの交差状況の一例を表す図で
ある。

【図１０】実施例２において物体の水平、垂直方向の移
動がある場合の双方向スポークの交差状況の一例を表す
図である。

【図１１】請求項３の発明の一実施例による移動物体抽
出装置の構成を示すブロック図である。

【図１２】実施例３において物体が遠去する場合のオプ
ティカルフローを表す図である。

【図１３】実施例３において物体が接近する場合のオプ
ティカルフローを表す図である。

【図１４】実施例３において物体の移動ベクトルによる
符号付きスポーク発生の一例を示す図である。

【図１５】実施例３において物体の遠去による順方向ス
ポークの交差の一例を表す図である。

【図１６】実施例３において物体の接近による逆方向ス
ポークの交差の一例を表す図である。

【図１７】実施例３において物体の平行移動による異符
号のスポークの交差の一例を表す図である。

【図１８】実施例３による移動物体の抽出処理を説明す
るフローチヤートである。

【図１９】従来の差分法を用いた移動物体抽出法の一例
を表す図である。

【図２０】従来の差分法を用いた移動物体抽出法の他の
一例を表す図である。

【図２１】従来のオプティカルフロー法を用いた移動物
体抽出法の一例を表す図である。

【図２２】従来のスポークフィルタ法を用いた移動物体
抽出法の一例を表す図である。

【図２３】スポークの発生原理を表す図である。

【図２４】スポークの交差状況を表す図である。

【図２５】従来のスポークフィルタによる長方形の抽出
法を表す図である。

【図２６】従来のスポークフィルタによる平行線の抽出
法を表す図である。

【符号の説明】

１３，２３，２４移動ベクトル検出回路（検出手段）１４双方向スポーク発生回路（発生手段）１５スポーク交差判定回路（抽出手段）２５符号付きスポーク発生回路（発生手段）２６ａスポーク交差判定回路（第１の判定手段）２６ｂ物体移動方向判定回路（第２の判定手段）

【手続補正書】

【提出日】平成５年７月１６日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正内容】

【０００９】さらに他の移動物体抽出法として、スポー
クフィルタ法がある。このスポークフィルタ法は、１枚
の画像から物体を抽出し、その物体の位置や面積ならび
に背景等を含む幾何学的特徴を記憶しておき、次の時刻
に得られた画像からも同様に幾何学的特徴を抽出して、
これら時間的に異なる２つの幾何学的特徴を対応付ける
ことにより移動物体を追跡する手法である。具体的に
は、１枚の画像中の濃淡情報をもとに円や長方形などの
特定の形状を持つ物体を検出する手法である。このスポ
ークフィルタ法については、参考文献のルイス・ジー・
マイナーアンドジャック・スクランスキー「ザデ
ィテクションアンドセグメンテイションオブブ
ロッブスインインフラレッドイメイジズ」アイイ
ーイーイートランザクションズオンシステムズ，
マンアンドサイバネティクス，第エスエムシー−１
１巻，ナンバー３１９８１年３月１９４〜２０１
頁（LEWIS G.MINOR and JACK Sklansky, " The Detect
ion and Segmentation ofBlobs in Infrared Images ",
IEEE Transactions on Systems, Man and Cyberne-tic
s, VOL. SMC-11, No. 3, MARCH(1981),pp.194-201）に
開示されている。図２２は従来のスポークフィルタ法を
用いた移動物体抽出法の一例を表す図であり、図におい
て、１８１は物体のエッジ強度、１８２−１はエッジ強
度１８１がかかるエッジの方向である。

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

Claims

【特許請求の範囲】

【請求項１】差分法により、時間的に変化する連続画
像から物体の移動ベクトルを差分法により検出する検出
手段と、前記検出された移動ベクトルの方向および逆方
向にそれぞれスポークを発生する発生手段と、前記発生
したスポークの交差領域を移動物体の領域として抽出す
る抽出手段とを備えた移動物体抽出装置。
【請求項２】オプティカルフロー法により、時間的に
変化する連続画像から物体の移動ベクトルをオプティカ
ルフロー法により検出する検出手段と、前記検出された
移動ベクトルの方向および逆方向にそれぞれスポークを
発生する発生手段と、前記発生したスポークの交差領域
を移動物体の領域として抽出する抽出手段とを備えた移
動物体抽出装置。
【請求項３】オプティカルフロー法により、時間的に
変化する連続画像から物体の移動ベクトルをオプティカ
ルフロー法により検出する検出手段と、前記検出された
移動ベクトルの方向に正の符号を持つスポークを発生
し、かつ、前記検出された移動ベクトルの方向の逆方向
に負の符号を持つスポークを発生する発生手段と、前記
発生したスポークの交差領域を判定する第１の判定手段
と、前記判定された交差領域での符号の正、負の組み合
わせに応じて物体の移動状況を判定する第２の判定手段
とを備えた移動物体抽出装置。