JPH0296681A - 移動物体追跡装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 この発明は、追跡すべき物体１例えば人間の手足等のよ
うに１部分的または全体が移動する物体の１部分的また
は全体の移動量を計測する装置に関する。

〔従来技術〕

従来の移動物体追跡装置としては、ビデオカメラで撮像
した画面を２値化処理し１重心点を求めるものが一般的
であった。

〔発明が解決しようとする課題〕

しかしながら、このような従来の移動物体追跡装置にあ
っては９画面全体を２値化した後、全体画面の重心点を
算出する構成となっていたため、■背景に模様が有ると
移動物体の検出が困難になるので、背景を黒または白等
で統一する必要があり、応用範囲が狭い。

■例えば１手の先のみのごとき部分的な対象の位置計測
をすることが出来ない。

■重心点を物体の位置として求めているため、物体の形
状が変化すると位置算出の誤差が大きくなる。　等の問
題点があった。

本発明は上記のごとき従来技術の問題を解決するために
なされたものであり、背景を考慮する必要が無く１部分
的な対象も計測可能であり、かつ物体が多少変形しても
正確に位置を計測することの出来る移動物体追跡装置を
提供することを目的とする。

〔課題を解決するための手段〕

上記の目的を達成するため１本発明においては、特許請
求の範囲に記載するように構成している。

以下図面に基づいて構成、作用を説明する。

第１図は本発明の構成を示すブロック図である。

第１図において、１は追跡すべき物体を含んだ画像を電
気信号に変換して入力する撮像手段であり、例えば後記
第２図のビデオカメラ１１に相当する。なお、上記の撮
像手段の信号をディジタル信号に変換するアナログ・デ
ィジタル変換手段やそれを記憶するメモリ等は表示およ
び説明を省略している。また、２は追跡すべき物体の部
分または全体を指示するためのウィンドウを初期設定す
るウィンドウ設定手段、３は撮像手段で入力する画像を
所定の時間間隔毎に演算処理し、或る時刻ｔにおける画
像から一回前に入力された画像を減算して２値化するこ
とによってフレーム差分画像Ｃ（ｔ　）を算出するフレ
ーム差分算出手段、４は上記のウィンドウ設定手段で設
定したウィンドウ内の画像について今回の演算で求めた
フレーム差分画像Ｃ（ｔ）と一回前の演算で求めたフレ
ーム差分画像Ｃ（ｔ−１）との一致度をいずれか一方の
ウィンドウを移動させながら計算し、最も一致した時の
ウィンドウの移動量、すなわちウィンドウの中心位置座
標の変位とウィンドウの角度変化量とを追跡すべき物体
の移動量として算出し、かつウィンドウを上記移動量に
対応して設定し直す移動量算出手段である。上記のウィ
ンドウ設定手段２、フレーム差分算出手段３および移動
量算出手段４は１例えば、後記第２図の高速画像処理装
置１２．ホストコンピュータ１３．入力隼段１４に相当
する。また、５は撮像手段１で入力した画像、上記ウィ
ンドウ、上記の算出した移動量およびその他の必要事項
を表示する表示手段であり、例えば後記第２図の表示装
置１５に相当する。

以下、作用を説明する。

本発明は、追跡すべき物体を含んだ画像に対して、当該
物体を指示するウィンドウ、すなわち画面の一部を指示
する枠を設定する。そして、前回の画像から今回の画像
を減算したのち２値化して求めたフレーム差分画像に対
し、前回（すなわち所定時間前）のフレーム差分画像の
ウィンドウ部分を移動させながら今回のフレーム差分画
像との部分的なマツチングを求め、最も良くマツチング
のとれた位置を今回のウィンドウ位置、すなわち移動後
の物体の位置と認定し、前回のウィンドウの中心位置と
今回のウィンドウの中心位置との移動量を物体の移動量
とするように構成したものである。

以下、図面に基づいて説明する。

第３図は、本発明の詳細な説明するための画像例を示す
図である。

第３図において、（ａ）は撮像手段１で入力した画像で
あり５人間の左半身と背景とが映し出されている。

次に、（ｂ）はウィンドウ設定手段２で設定したウィン
ドウを示す図であり、追跡すべき物体として人間の左手
を設定した場合を示す。図において、ＷＴが時点Ｔにお
けるウィンドウを示し、ＷＴＰは上記ウィンドウの中心
位置の座標を示す。

なお、ウィンドウを例えば正方形に設定すれば。

その中心位置の算出は容易である。

次に、（ｃ）は、時点Ｔから一回の演算時間Ｔ′経過後
のウィンドウＷＴ’　を示す。またＷＴ’　ＰはＷＴ’
の中心位置の座標を示す。

なお、フレーム差分画像（実際には２値化された値）に
おいては、上記（ｂ）、ＣＱ）に示すごとく、移動して
いない部分（前回と今回とで変化の無い部分）は減算時
にキャンセルされ、移動した部分のみが現われる。した
がって、背景を黒や白に統一する必要が無くなる。

次に、（ｄ）は、移動量算出手段４における演算を説明
するための図であり、上記（ｂ）のＷＴと（ｃ）のＷＴ
’　とを同じ画面に示したものである。

移動量算出手段４では、上記（ｄ）において。

ＷＴを移動させて最も一致度が高い部分、すなわち、こ
の場合にはＷＴ’　が時間Ｔ′後にＷＴが移動した位置
である。と、判定し、ＷＴの中心位置座標の変位（ＷＴ
ＰとＷＴ’　Ｐとの差）と角度変化量θとを追跡すべき
物体の移動量として算出する。

そして、次のウィンドウとしてＷＴ’　Ｐの位置を設定
する。

上記のように、本発明においては、背景を黒や白に統一
する必要が無く、また、ウィンドウの設定によって物体
の一部分でも追跡することが出来。

さらに、ウィンドウ内の値の一致度が最も高い部分を物
体の移動後の位置と判定するので、物体の形状が多少変
化しても、その位置を確実に検出することが出来る。

〔実施例ゴ 第２図は、本発明の一実施例のブロック図である。

第２図において、１１は画像入力用のビデオカメラであ
る。なお、このビデオカメラは１台でも複数台でもよい
。複数台の場合は、各カメラの画像に対して独立に処理
した後、各カメラによる移動量結果をホストコンピュー
タ１３で３次元座標変換すれば３次元の移動量を求める
ことが出来る。

次に、高速画像処理装ｆｉ１２は、フレーム差分やマツ
チング等の演算を行う、なお、本発明の演算処理はディ
ジタル演算なので、ビデオカメラ１１で入力した画像信
号は、アナログ・ディジタル変換器によってディジタル
信号に変換してから演算に用いる。ただし１画像をその
まま表示する部分はアナログ信号のままでよい、また、
演算の途中で画像信号等を記憶しておくメモリ等も含ま
れている。

次に、ホストコンピュータ１３は、物体のどの部分を追
跡するかを決めるウィンドウの初期設定や、位置や移動
量の演算を行うものである。

また、入力装置１４は、使用者の操作によって。

上記初期設定等の必要な指示を行う信号をホストコンピ
ュータ１３に与えるものであり１例えば、キーボードや
マウス等である。

また１表示装置１５は、ビデオカメラ１１で入力した画
像、ホストコンピュータ１３で設定したウィンドウ、高
速画像処理装置１２の演算結果１等の必要な表示を行う
装置であり１例えば、ＣＲＴ表示装置やハードコピーの
プリンタ等である。

次に作用を説明する。

第４図は、第２図の装置における演算処理を示すフロー
チャートである・ 第４図に示すごとく４本実施例においては、まず、ビデ
オカメラ１１からの初期画面を入力し、それを表示装置
１５に表示し、使用者がその表示画面を見ながら、入力
装置１４を操作してどの部分を追跡するか（ウィンドウ
の位！２）、どれ位の大きさのものを追跡するか（ウィ
ンドウの大きさ）を入力する。すなわち、追跡部分の中
心を（１，Ｊ）とし、大きさを２ｘｗ、２ｙｗとするウ
ィンドウを設定する。

次に、以下の処理は、画像を入力する毎にループで繰り
返す。

まず、或る時刻ｔにおいて画像を入力し、それをＡ（ｔ
＋　Ｘ、ｙ）とする。

次に、今回入力した画像１ｔｔ　ｘｔ　ｙ）から前回入
力した画像を減算して絶対値を求めることにより、フレ
ーム差分Ｂ（ｔ、Ｘ、ｙ）を求める。

すなわち Ｂ（ｔ＋　ｘｔ　ｙ）　＝　１Ａ（ｔ、　Ｘ、　ｙ）　
　Ａ（ｔ　　Ｌ　Ｘ、　ｙ）　１である。

次に、上記のフレーム差分Ｂ（ｊ＋Ｘｙｙ）を所定の閾
値でスライスして２値化することにより。

２値化されたフレーム差分画像Ｃ（ｔ、ｘ、ｙ）を求め
る。

次に、今回のフレーム差分画像Ｃ（ｔ、Ｘ、ｙ）と前回
のフレーム差分画像ｃ（ｔ−ｉｔ　Ｘ、ｙ）との部分的
なマツチングをとる。

すなわち、前記の指定したウィンドウ（ＬＪ）を、Ｘ方
向、Ｘ方向に移動させ、そして回転させながら、最適な
マツチングをとる。Ｘ方向、Ｘ方向の移動量をそれぞれ
ｉ、ｊとし、移動の最大量をそれぞれＩＮ、ＪＮとする
。同様に回転に関しては、回転量をθとし、最大回転角
を±ｅｓとする。

Ｉ、Ｊ、（９は前回求めたウィンドウの座標と回転角で
ある。

今、今回の画像Ｃ（Ｌ＋　Ｘ　＋　ｙ　）を０だけ回転
し、ｉ、ｊだけ平行移動した画像をＤ（ｔ、ｘ。

ｙ）とする、この画像と、前回の画像Ｃ（ｔ　−１。

Ｘ、ｙ）とのマツチングを行う。

マツチングはウィンドウサイズ内で両者の一致しない画
素数をカウントする。これは１例えば排他的論理和を求
めることによって行うことが出来る。

この量をマツチング距ａＭ（ｉｔｊｔ　　θ）とし。

ｉ、、ｊ、　　θを変化させながらマツチング距離を求
める。

こうして、取り得る移動に関してすべてのマツチング距
離を求めた後、その最小値を探索し、最小値を与えるｉ
、ｊ、θをｉ、３、ｊ、、Ｏｏとおく。

こうすることにより、前回のウィンドウ内の部分は、今
回はＯ３だけ回転し−（ｌｏｗ　Ｊａ）だけ平行移動し
たものと考えられる。よって、新たなウィンドウの中心
をＩ　＝　Ｉ　　Ｉｌ＋、　Ｊ　＝Ｊ　　、１ｏとし。

また、次回のマツチングのための回転角θ＝θ−θ。を
算出する。

上記の演算結果において、（Ｉ、Ｊ）は、部分物体の位
置を表わし、−ｊ。、−５０は物体の移動量を、−〇。

は物体の回転変化量を表わす。

以上の処理を所定の時間（例えば３３ｍ５）毎に繰り返
せば、移動物体の位置を追従することが出来る。

なお、大きなウィンドウを設定すると、ウィンドウ内の
全ての画素を回転移動させマツチングをとるための処理
時間が大きくなる。したがって。

その場合には、ウィンドウ内でさらに小さなウィンドウ
をいくつか設定し、その内部のデータのみについて回転
・移動とマツチングの計算を行うようにすれば、演算画
素が少なくなるので高速処理が可能となる。

例えば、第５図（ｂ）に示すごとく、中心位置が（Ｉ、
Ｊ）で大きさが２ｘｗ、２ｙｗの全体のウィンドウの中
に、中心位置が（工□、Ｊ□）で大きさが２ｘｗい２ｙ
ｗｚの小さなウィンドウ１と、中心位置が（Ｉ、、　Ｊ
、）で大きさが２ｘｗ２．２ｙｗｚの小さなウィンドウ
２とを設定し、第５図（ａ）のフローチャートに示す演
算を行う。

すなわち、Ｐ２．に示すごとく、初期値としてＭ（ｉ、
ｊ、　　θ）＝０とおき、各ウィンドウ１゜２内の走査
毎にＣ（ｔ、ｘｐ　ｙ）とＣ（ｔ−１，ｘ。

ｙ）の−敢、不一致を計算し、一致しなかった場合にＭ
（ｉ、ｊ、　θ）を＋１するような処理にすればよい。

なお、第５図において、Ｐ、以前とＰｌ、以後は前記第
４図と同一であり、また、Ｐ工。、の内容はＰ工。の内
容と同様である。また、第４図のＰ　１１および第５図
のＰｕｓにおける記号Φは排他的論理和を示す。

〔効果〕

以上説明してきたように、この発明によれば、注目する
部分を含むウィンドウを設定し、フレーム差分画像に対
して、前回の画像と今回の画像とを、ウィンドウを移動
・回転させながら、マツチングをとり、最もよく一致し
た移動・回転量を移動量として出力すると共に新たなウ
ィンドウとして用いるように構成しているので１部分的
に動いたり、形状に時間変化があっても、注目すべき部
分の移動のみを精度よく追従することが可能になり、か
つ、背景を黒や白に統一する必要も無くなる、等の優れ
た効果が得られる。

【図面の簡単な説明】

第１図は本発明の機能を示すブロック図、第２図は本発
明の一実施例のブロック図、第３図は本発明の作用説明
図、第４図は本発明の演算内容を示すフローチャートの
一実施例図、第５図は本発明の演算内容を示すフローチ
ャートの他の実施例図である。 〈符号の説明〉 １・・・撮像手段 ２・・・ウィンドウ設定手段 ３・・・フレーム差分算出手段 ４・・・移動量算出手段 ５・・・表示手段 １１・・・ビデオカメラ Ｉ２・・高速画像処理装置 １３・・・ホストコンピュータ １４・・・入力装置 １５・・・表示装置

Claims (1)

【特許請求の範囲】
1. 追跡すべき物体を含んだ画像を電気信号に変換して入力
   する撮像手段と、追跡すべき物体の部分または全体を指
   示するためのウィンドウを初期設定するウィンドウ設定
   手段と、上記撮像手段で入力する画像を所定の時間間隔
   毎に演算処理し、或る時刻をにおける画像から一回前に
   入力された画像を減算して２値化することによってフレ
   ーム差分画像Ｃ（ｔ）を算出するフレーム差分算出手段
   と、上記のウィンドウ設定手段で設定したウィンドウ内
   の画像について今回の演算で求めたフレーム差分画像Ｃ
   （ｔ）と一回前の演算で求めたフレーム差分画像Ｃ（ｔ
   −１）との一致度をいずれか一方のウィンドウを移動さ
   せながら計算し、最も一致した時のウィンドウの移動量
   、すなわちウィンドウの中心位置座標の変位とウィンド
   ウの角度変化量とを追跡すべき物体の移動量として算出
   し、かつウィンドウを上記移動量に対応して設定し直す
   移動量算出手段と、上記撮像手段で入力した画像、上記
   ウィンドウ、上記移動量算出手段で算出した移動量およ
   びその他の必要事項を表示する表示手段とを備えたこと
   を特徴とする移動物体追跡装置。