JPH0312788A - 移動体検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は情景画像処理装置における移動体検出装置に
関するものである。

［従来の技術］ 従来、この種の装置は、時間的に連続したフレームの中
で隣接フレーム間の・差分を取って移動体の一部を抽出
し、その各差分画像を２値化し、それらの論理和を取る
ことで移動体領域の全部を求めるというものであった（
浅田はか「運動物体の検出と追跡（複数の固体の場合）
」信学技報、ＮｏＰＲＬ７８−１０　（昭５３−５））
。

この従来の移動体検出装置のブロック図を第２図に示す
。

２１は撮像装置で、例えばＣＣＤカメラ等で構成され、
移動体を含む情景画像を撮像しながら明暗コントラスト
を量子化し、ディジタル画像データに変換する。

この撮像装置２１で得られた画像データは１フレームメ
モリ回路２２に格納される。２３は背景を除去するため
に設けられた差分素子で、現画面の画像データと基準画
面の画像データの差分の絶対値を求める素子である。こ
こで移動体を抽出するフレームＦ（１）を基準画面とし
て１フレームメモリ回路２２に格納する。その他の連続
するフレームＦ（Ｎ）（Ｎ２２）は、現画面の画像デー
タとして差分素子２３に導かれ、これによってフレーム
Ｆ（１）との差分画像データが得られる。例えば、移動
体が背景より暗い場合には差分のうち負値のみを抽出す
る。

２値化回路２４はＦ（１）内の移動体の一部を抽出する
なめに設けられ、差分素子２３によって得られた差分画
像データをある閾値によって２値化し、移動体領域の一
部を得る。２５の論理和演算素子は２値化回路２４の出
力と過去の移動体領域との論理和をとる。２６の移動体
領域メモリ回路は移動体の領域データを格納する。ここ
で、２値化して得た上記移動体領域の一部のデータと前
回までの移動体領域を格納しである移動体領域メモリ回
路２６のデータとを論理和演算素子２５によって重ね合
せ、再び移動体領域メモリ回路２６に格納して、移動体
領域を更新する。

このようにして何枚かのフレームを重ねることで移動体
領域メモリ回路２６に得られた移動体領域を表示器２７
によって表示する。なお、２８のタイミング回路は、各
ブロックの同期を収るための回路である。

［発明が解決しようとする課題］ しかしながら、差分画像を２値化して移動体の一部を求
め、それらの論理和を収ることにより移動体の全部を抽
出するようにした従来の装置では、次のような欠点があ
った。

（１）移動体領域を検出するのに差分を用いているため
、背景と移動体との明暗コントラストが少ない場合、移
動体領域を検出できない。

（２）２値化するための閾値の決定が難しく、しかも何
枚もの移動体領域を重ね合せているため、閾値の値によ
って背景のノイズを拾ってしまう。

この発明の目的は、特徴点から移動体の輪郭を求め、特
徴点の移動ベクトルを基に移動体の輪郭を埋めて移動体
の全領域を抽出することによって、背景の影響で移動体
の抽出が正しくできないという従来技術の問題点を解消
して、背景の影響を受けない移動体検出装置を提供する
ことにある。

し課題を解決するための手段］ この発明の移動体検出装置は、フレーム画像データから
あるフレーム内の特徴を抽出する特徴点抽出手段と、特
徴点抽出手段で得られた特徴点の移動ベクトルを算出す
る移動ベクトル算出手段と、移動ベクトル算出手段から
得られた同一方向上の複数の特徴点についての移動ベク
トルの一致・不一致に基づいて移動体の領域を抽出する
移動体抽出手段とを設けて構成したものである。

そして、上記移動体抽出手段は、移動ベクトル算出手段
の出力をＸ軸方向成分とｙ軸方向成分とに分けて、それ
ぞれの成分に関して移動体領域を検出することにより、
検出した移動体領域の共通部分を求めて移動体領域を算
出するように構成することが好ましい。

また、特に、上記移動ベクトル算出手段の出力である移
動ベクトルのＸ軸方向成分、ｙ軸方向成分から移動体領
域をそれぞれ検出する手段を、Ｘ軸方向にスキャンする
時は移動ベクトルのｙ軸方向成分を比較して移動体領域
を検出し、ｙ軸方向にスキャンする時は移動ベクトルの
Ｘ軸方向成分を比較して移動体領域を検出するように構
成してもよい。

さらに、上記特徴点抽出手段に、画像のエツジ検出手段
を用いてもよい。

［作用コ フレーム画像データが特徴点抽出手段に入力されると、
そのフレーム内の特徴点が微分によって抽出される。

着目しているフレーム画像データと、それ以前のフレー
ム画像データとが移動ベクトル算出手段に入力されると
、特徴点抽出手段の出力である着目フレーム内の特徴点
の移動ベクトルが算出される。

移動ベクトル算出手段から得られた移動ベクトルが移動
体抽出手段に入力されると、同一方向上の複数の特徴点
について、その移動ベクトルの一致・不一致が判定され
る。すなわち、同一の移動体であれば、同一方向上の複
数の特徴点の移動ベクトルは等しく、逆に異なる移動体
であれば移動ベクトルは等しくならないことを利用して
いる。

上記判定結果に基づいて移動体の領域が抽出される。

［実施例］ 以下、この発明の実施例を第１図、第３図〜第８図を用
いて説明する。

第１図はこの発明の移動体検出装置の一実施例を示すブ
ロック図である。

１１は撮像装置であり、例えばＣＣＤカメラ等で構成さ
れ、移動体を含む情景画像を取り込み、その明暗コント
ラストを量子化し、ディジタル画像データとして出力す
る。

特徴点抽出回路１２は現フレーム内の特徴点を抽出する
回路である。例えば、白井良明「コンピュータビジョン
［人工知能シリーズ４］」昭５５゜４．３０．昭晃堂、
Ｐ１９〜２１）に記載されているようなエツジ検出オペ
レータく輪郭検出オペレータ）を用いてデータ値の大き
いところを特徴点とする手段を採用することができる。

ここで特徴点とは、画像の中で濃度値の顕著な変化の状
態のある点をいう。エツジ検出オペレータによれば、エ
ツジ検出をするために明るさを微分するので、明るさが
強調され、従って背景と移動体との明暗のコントラスト
が少なくても移動体の検出が可能となる。

移動ベクトル算出回路１３は、現フレームとそれ以前の
フレームの画像データとから、特徴点抽出回路１２の出
力である現フレーム内の特徴点の移動ベクトルを算出す
る。移動ベクトルを算出する方法には、運動する物体の
速度を連続する画像から計測する方法がそのまま適用で
き、その方法には、例えば、吹抜敏速「画像のディジタ
ル信号処理」　（昭５７．４．２８．日刊工業、Ｐ２２
１〜２２７）に記載されているように、大別して次の４
つがある。

（Ｉ＞連続する画像間の差を最小にする偏位を求める方
法（テンプレートマツチング法）（ｎ）相互相関関数を
最大にする偏位を求める方法 （ＩＩＩ）フーリエ変換の画像間の比により求める方法 （ＩＶ）画像の空間的勾配と、画像間差の関係から求め
る方法。

本実施例では、移動ベクトルを算出する一例として（Ｉ
）の方法、即ち、近傍の画素を１プロ・ツクとして、対
応するフレーム内の着目画素の近傍からそのブロックと
の類似度が高いブロックを検出して移動ベクトルを求め
るテンプレートマツチング法を採用している。

移動体領域検出回路１４は移動ベクトル算出回路１３で
算出した特徴点での移動ベクトルを基に移動領域を検出
する。この詳細については後述する。　表示器１５は移
動体領域検出回路１４で得た移動体領域を表示する装置
である。また。タイミング回路１６は各ブロックの同期
を収るための同期信号を発生する回路である。

次に、上記移動体領域検出回路１４において特徴点での
移動ベクトルを基に移動体領域を検出する手法を詳細に
説明する。

第３図に移動ベクトルを基に領域を検出する一例として
、まず移動ベクトルの垂直方向成分（ｙ軸方向成分）を
用いた移動体領域検出手法のフローチャートを示す。

ここでは、移動ベクトルのｙ軸方向成分を格納した列数
（横幅）　ｃｏｔｓ、行数（縦幅）　ｒｏｗｓのフレ−
ムメモリを用いて説明する。

まず、フレームメモリの縦幅のアドレスを示すｙ値を０
にクリアし、フレームメモリの横幅のアドレスを示すＸ
値を０にクリアする（ステップ３０１．３０２＞。

次に、前記特徴点抽出回路１２で得な情報からＸ値、ｙ
値が示すアドレスが、特徴点の情報を格納しているアド
レスかどうかを判別する（ステップ３０３）。ＹＥＳで
あればＸ値、ｙ値が示すアドレスの移動ベクトルのｙ軸
方向成分を読み出し、アドレスＸ値が同一である前特徴
点（同一フレーム内）の移動ベクトルのｙ軸方向成分と
等しいか否かを判別し、ＹＥＳであれば前特徴点と現特
徴点との間を移動体領域とする（ステップ３０４３０５
〉。

その後、ステップ３０３または３０４においてＮＯであ
る場°合と合流して、Ｘ値をインクリメントした後、Ｘ
値がフレームメモリの横幅ｃｏｌｓをオーバーしていな
いかを判別する（ステップ３０６．３０７）。もしＮｏ
であればステップ３０３に戻り、オーバーするまで上記
ステップ（ステップ３０３〜３０７）を繰り返す。また
ＹＥＳ、即ちオーバーしたらｙ値をインクリメントした
後、今度はｙ値が示す値がフレームメモリの縦幅ｒｏｗ
ｓをオーバーしていないかを判別する（ステップ３０８
．３０９）。ＮＯであればステップ３０２に戻り、オー
バーするまで上記ステップ（ステップ３０２〜３０９）
を繰り返す。またＹＥＳ、即ちオーバーしたら処理を終
了する。

この処理は、第５図に示すようにＸ軸方向にラスクスキ
ャンを行ない、同一の移動体の特徴点を示すある２点が
同−ｙ値アドレスを示す場合、それらのアドレスが示す
移動ベクトルのｙ軸方向成分が等しいことを利用して、
それら２点間を移動体領域とするものである。

例えば、第８図（ａ）に示すようにフレーム画像８０に
２個の移動体８１．８２が同一速度、同一方向に移動し
ている場合、すなわち同一の移動ベクトルＶ、■を持っ
ている場合について具体的に説明する。ハツチングを施
した部分８３がＸ軸方向についてラスクスキャンを行っ
て得た移動体領域である。アドレスｙｍ値において、特
徴点すの移動ベクトルのｙ軸方向成分は前特徴点ａのｙ
軸方向成分と等しい。特徴点Ｃの移動ベクトルのｙ軸方
向成分は前特徴点すのｙ軸方向成分と等しい。

そして、特徴点ｄの移動ベクトルのｙ軸方向成分は前特
徴点Ｃのｙ軸方向成分と等しい。したがって、アドレス
ｙｍ値における移動体領域は、２個の移動体の区別なく
ａ点からｄ点までの間となる。

このようにして移動体領域を１フレームについて検出す
ると、前述したように２個の移動体８１゜８２を一体的
に把握したハツチング部分８３得られる。

なお、Ｘ軸方向のスキャンを行うとき移動ベクトルのＸ
軸方向成分ではなく、ｙＮ方向成分で判別するのは次の
理由による。例えば第７図に示すように、Ｘ軸方向と平
行な輪郭線７１を持つ移動体７３が点線で示す輪郭線７
２の位置に移動した場合において、前述した移動ベクト
ル算出回路１３にて移動ベクトルを算出する場合、局所
領域において輪郭線７１の法線方向の移動量はわかるが
、接線方向の移動量に関してはわからない。ａ点がａｌ
に移動したのか、ａ２に移動したのか、あるいはａ３に
移動したのか不明だからである。このため、算出したＸ
軸方向成分の移動量は正確ではない。したがって、移動
ベクトル成分のわかるｙ軸方向成分を見ているのである
。

同様な手法で移動ベクトルの水平方向成分（Ｘ軸方向成
分）を用いた移動体領域検出手法のフローチャートを第
４図に示す。この手法は第６図に示すようにｙ軸方向ス
キャンを行ない、アドレスＸ値が同一である特徴点同士
を移動ベクトルのＸ軸方向成分で判別して移動体領域を
検出するものである。なお、ここでｙ軸方向スキャンを
行うときにＸ軸方向成分で判別するのは、上記したのと
同じ理由である。

まず、フレームメモリの横幅のアドレスを示すＸ値をＯ
にクリアし、フレームメモリの縦幅のアドレスを示すｙ
値を０にクリアする（ステップ４０１．４０２）。

次に、前記特徴点抽出回路１２で得た情報からＸ値、ｙ
値が示すアドレスが特徴点の情報を格納しているアドレ
スかどうかを判別する（ステップ４０３）。ＹＥＳであ
ればＸ値、ｙ値が示すアドレスの移動ベクトルのＸ軸方
向成分を読み出し、アドレスＸ値が同一である前特徴点
（同一フレーム内）の移動ベクトルのＸ軸方向成分と等
しいが否かを判別し、ＹＥＳであれば前特徴点と現特徴
点との間を移動体領域とする【ステップ４０４゜４０５
）。

その後、ステップ４０３または４０４においてＮｏであ
る場合と合流して、ｙ値をインクリメントした後、ｙ値
がフレームメモリの縦幅ｒｏｗｓをオーバーしていない
かを判別する（ステップ４０６．４０７）。もしＮＯで
あればステップ４０３に戻り、オーバーするまで上記ス
テップ（ステップ４０３〜４０７）を繰り返す。またＹ
ＥＳ、即ちオーバーしたらＸ値をインクリメントした後
、今度はＸ値が示す値がフレームメモリの横幅ｃｏｌｓ
をオーバーしていないかを判別する（ステップ４０８．
４０９）。ＮＯであればステップ４０２に戻り、オーバ
ーするまで上記ステップ（ステップ４０２〜４０９）を
繰り返す。またＹＥＳ、即ちオーバーしたら処理を終了
する。

ここで、再び第８図を用いて上記フローの内容を具体的
に説明する。第８図（ｂ）に示すように、ハツチングを
施した部分８４．８５がｙ軸方向についてラスクスキャ
ンを行って得た移動体領域である。アドレスｘｍ値にお
いて、特徴点ｆの移動ベクトルのＸ軸方向成分は前特徴
点ｅのＸ軸方向成分と等しい。また、アドレスｘｎ値に
おいて、特徴点りの移動ベクトルのＸ軸方向成分は前特
徴点ｇのＸ軸方向成分と等しい。したがって、アドレス
ｘｍ値における移動体領域は、ｅ点からｆ点までの間と
なる。また、アドレスｘｎ値における移動体領域は、ｇ
点からｈ点までの間となる。このようにして移動体領域
を１フレームについて検出すると、前述したように２個
の移動体８１．８２を別体に把握したハツチング部分８
４．８５が得られる。

このようにして移動ベクトルのＸ軸方向成分、ｙ軸方向
成分のそれぞれで検出した移動体領域同士８３と８４．
８５との論理積をとることで、誤った領域やノイズが排
除され、第８図（Ｃ）に示すように正しい移動体領域８
６．８７を検出することができる。

以上述べたように本実施例によれば、微分を用いた特徴
点の抽出によって移動体の輪郭を求めるようにしたので
、背景と移動体の明暗コントラストが少ない場合であっ
ても、微分により移動体の輪郭が強調されることになり
、移動体領域を容易に検出できる。

また、特徴点の移動ベクトル成分からｘ、ｙ軸方向の移
動体領域をそれぞれ求めた上で、これらの論理積を収る
ことにより移動体の全領域を抽出するようにしたので、
背景にノイズがあっても、論理積を取る過程でノイズは
除去され、したがって、移動体を求めるために閾値を必
要としたり、フレームを何枚も重ね合わせ移動体領域を
求めたりすることもなく、これらにより背景のノイズを
拾ってしまうこともない。

なお、上記実施例では移動ベクトルをＸ軸方向成分とｙ
軸方向成分とに分けたが、これに限定されず、斜め方向
成分に分けてもよい。

また、移動体の全領域を求める手段として論理積を用い
たが、これと同等な手段を用いることもできる。

［発明の効果］ 以上、詳細に説明したようにこの発明によれば次の効果
を特徴する 請求項１の移動体検出装置においては、移動体を検出す
る手法に移動ベクトルを使用したので、背景に影響を受
けずに移動体を有効に検出することができる。

請求項２の移動体検出装置においては、移動ベクトルを
Ｘ軸方向成分とｙ軸方向成分とに分けて、各成分の共通
部分から移動体領域を算出するようにしたので、移動体
が複数あっても、これらを区別できる。

請求項３の移動体検出装置においては、特に、スキャン
方向と直交するベクトル成分について比較するようにし
たので、移動ベクトル成分同士の比較が不確定とならず
に正確に行え、移動体の検出精度をより高めることがで
きる。

請求項４の移動体検出装置においては、エツジ検出手段
を用いるので移動体の輪郭を容易に検出できる。

【図面の簡単な説明】

第１図は本発明の移動体検出装置に係る実施例を示すブ
ロック図、第２図は従来の移動体検出装置のブロック図
、第３図は移動体ベクトルのＸ軸方向成分を用いた移動
体領域検出手法のフローチャート、第４図は移動体ベク
トルのＸ軸方向成分を用いた移動体領域検出手法のフロ
ーチャート、第５図はＸ軸方向スキャンの説明図、第６
図はｙ軸方向スキャンの説明図、第７図は局所領域での
移動ベクトル観測の場合の不確定性を示す説明図、第８
図は本実施例による移動体検出の具体例を示す説明図で
ある。 １２は特徴点抽出回路、１３は移動ベクトル算出回路、
１４は移動体領域検出回路（移動体抽出手段）、８０は
フレーム画像、８６．８７は移動体領域、ａ〜ｈは特徴
点、■は移動ベクトルである。 −−一一一”ｉ Ｘ 第 ６図 移動へ゛クトルの不確定性 第７図 （ａ）　ｘ軸方向の領域 （ｂ）　ｙ軸方向の領域 （Ｃ）論理積をとった領域 第８図

Claims (4)

【特許請求の範囲】
1. （１）フレーム画像データから１フレーム内の特徴を抽
   出する特徴点抽出手段と、 前記特徴点抽出手段で得られた特徴点の移動ベクトルを
   算出する移動ベクトル算出手段と、前記移動ベクトル算
   出手段から得られた同一方向上の複数の特徴点について
   の移動ベクトルの一致・不一致に基づいて移動体の領域
   を抽出する移動体抽出手段と を設けたことを特徴とする移動体検出装置。
2. （２）上記移動体抽出手段が、上記移動ベクトル算出手
   段の出力をｘ軸方向成分とｙ軸方向成分とに分けて、そ
   れぞれの成分に関して移動体領域を検出することにより
   、検出した移動体領域の共通部分を求めて移動体領域を
   算出するように構成されていることを特徴とする請求項
   １記載の移動体検出装置。
3. （３）上記移動ベクトル算出手段の出力である移動ベク
   トルのｘ軸方向成分、ｙ軸方向成分から移動体領域をそ
   れぞれ検出する手段が、ｘ軸方向にスキャンする時は移
   動ベクトルのｙ軸方向成分を比較して移動体領域を検出
   し、ｙ軸方向にスキャンする時は移動ベクトルのｘ軸方
   向成分を比較して移動体領域を検出するように構成され
   ていることを特徴とする請求項２記載の移動体検出装置
   。
4. （４）上記特徴点抽出手段として、画像のエッジ検出手
   段を用いたことを特徴とする請求項１ないし３のいずれ
   かに記載の移動体検出装置。