JPH05153459A - 動体追尾装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像により背景修正を行ないながら動いてい
る物を自動的に追いかけるとともに状況を表示し、動い
ているものの移動方向にカメラを向ける。 【構成】 画像入力手段１から得られた複数の画像から
背景を修正する背景修正手段２と、背景修正手段２で修
正された背景から動体を認識する動体認識手段７と、画
像入力手段１からの画像と動体認識手段７により認識さ
れた情報を表示する表示手段８とが設けられ、また動体
認識手段７の信号により画像入力手段１を回転させる駆
動部が設けられている。これにより画像を表示手段に表
示するとともに、動体を常に中央の位置に捕らえ画像入
力手段１動かし動体を追尾できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像中から動体を検出
し、画像の特徴から動体を認識してその動体を表示する
とともに追尾するビデオカメラ用の動体認識装置に関す
るものである。

【０００２】

【従来の技術】従来のこの種の動体認識装置は、ビデオ
カメラのオートフォーカスのために画像をいくつかの領
域に分割して各々の領域でのエッジ検出によりエッジが
出ているところが動いているところとして検出し、これ
によりカメラのオートフォーカスを行なっていた。一方
画像により動体を検出する手段として、図３のように、
背景画面Ａと現画面Ｂの差分画面Ｃを取り、動いた部分
のみ抽出するという手段や、図４に示すように、前画面
Ｄと現画面Ｅのフレーム間差分画面Ｆをとるいわゆる画
像の微分値を求める手段があった。

【０００３】

【発明が解決しようとする課題】しかしながら上記従来
の構成において、カメラのオートフォーカスに使用する
場合は被写体の方向に自らビデオカメラを持ち、被写体
を自らの目で見て考えて追いかけるというものであり、
動体を自動追尾するものではなかった。

【０００４】一方、カメラから入力された画像から背景
画像と現在の画像との差分画面を取り、動いた部分のみ
を抽出する手段は、背景を取り除くため、動体の形状を
取り出すことができ、正確な動体形状から各部の位置を
検出できるという長所がある反面、カメラが移動して背
景が次々と変化している場合には単純に背景を取り除い
ても動いている物体の抽出はできないという課題があっ
た。また、画像の微分値を求める手段は、前画面との差
分を取る画像の微分値であるために、（１）動体のエッ
ジの部分が抽出されるが、動体全体でないため、位置検
出等の時にはエッジの線が切れていたりするので検出が
難しく、誤った位置を検出してしまう。（２）動体の動
きが少なくなるとエッジの線が細くなりついに消えてし
まう。そのため動体が消えたり現われたりして誤動作の
原因になるという課題があった。

【０００５】従って、この２つの手段による動体の抽出
方法ではカメラを動かして画像中から動体を抽出するこ
とはできなかった。

【０００６】本発明は上記課題を解決し、画像により背
景修正を行ないながら人体等の動いている物を自動的に
追いかけてその画像及び認識結果を表示しながら人体等
の移動方向にカメラを向けるようにすることを目的とし
ている。

【０００７】また、複数の動いている物体があったと
き、その中の指定した動体について追尾することを目的
としている。

【０００８】

【課題を解決するための手段】そして、第１の目的を達
成するために、本発明は画像入力手段と、前記画像入力
手段を動かす駆動部と、前記駆動部を支持する支持台
と、前記画像入力手段より得られた複数の画像から画像
間の背景を修正する背景修正手段と、前記背景修正手段
で修正された画像から動体を認識する動体認識手段と、
前記画像入力手段からの画像と前記動体認識手段により
認識された情報を表示する表示手段と、前記動体認識の
出力に基づいて前記駆動部を制御する制御手段とを設け
たものである。

【０００９】また、第２の目的を達成するために、さら
に動体認識手段の信号により認識された動体の中で特定
の動体を指示する指示手段を設けたものである。

【００１０】

【作用】本発明のビデオカメラ用の動体認識装置は上記
構成によって、人体等の移動領域を撮像する画像入力手
段により得られた信号から背景修正手段により背景画像
の修正を行い、修正された画像から動体認識手段により
動体を認識して、画像入力手段で入力された画像と動体
認識手段で認識された結果を表示しながらその動体を追
尾するために動体の位置検出を行ない、検出された位置
信号により駆動部を動かし動体を追尾する。

【００１１】また、複数の動いている動体があったと
き、指示手段により指定した動体について駆動部を動か
し動体を追尾する。

【００１２】

【実施例】以下、本発明の一実施例を添付図面を参照し
て説明する。

【００１３】図１において、１は画像入力手段であるビ
デオカメラ、２はビデオカメラから信号ケーブル３を介
して得られた複数の画像から画像間の動きベクトルを検
出する動きベクトル検出手段４と、動きベクトル検出手
段４により検出された動きベクトルの中から画面全体の
動きを検出する代表動きベクトル検出手段５と、代表動
きベクトル検出手段５の出力により画面の拡大縮小及び
移動を行なう画面修正手段６により構成してある背景修
正手段、７は背景修正手段２で修正された背景から動体
を認識する動体認識手段、８は画像入力手段で入力され
た画像と動体認識手段で認識された情報を表示する表示
手段、９は動体認識手段７の信号によりＸＹ方向駆動部
１０とＺ方向駆動部１１で構成される駆動部、１２は駆
動部９の制御を行う制御手段である。また、画像入力手
段１は駆動部９の上に固定されＸＹ方向駆動部１０とＺ
方向駆動部１１により上下左右に回転できるようになっ
ている。さらに、駆動部９は三脚である支持台１３に固
定され一定の高さに調整できるようになっている。な
お、１４は動いている人体を示す。

【００１４】次に、この一実施例の構成に於ける動作を
説明する。図２はこの動作を示すフローチャートであ
る。今、人体１３が走っている時に、人体１３を追尾し
て人体の運動状態を解析する場合について説明する。画
像入力手段１は人体１３が通過する近傍の一点に三脚１
２により設置されている。最初は、人体が存在しない背
景をステップ１０１において画像入力手段１により画像
入力を行い背景修正手段２に背景画像を記憶させる。次
にステップ１０２にて次の現画像を入力して、ステップ
１０３にて入力した画像を表示手段８により表示する。
次に、ステップ１０４において背景修正手段２にて現画
像と背景画像の比較を行うために前処理として形状検出
を行なう。即ち現画像と背景画像の各々の空間微分等に
よりエッジ検出を行ない、その後、検出されたエッジ線
を平滑化等によりエッジ線をつなぎ合わせて入力した画
像の修正を行ない形状検出する。次に図３を用いて動き
ベクトルの検出について説明する。画面Ａは修正前の背
景画像、画面Ｂは現画像の背景、画面Ｃはベクトル検出
を示す図面で、家の各点ａ，ｂ，ｃ（画面Ａ）とａ′，
ｂ′，ｃ′（画面Ｂ）の対応を示している。画面Ｄは背
景補正した画像である。ここでステップ１０５で背景画
像のエッジ線と現画像のエッジ線の対応点を求め、（例
えば画面Ａのａ，ｂ，ｃと画面Ｂのａ′，ｂ′，ｃ′の
ように求める。画面Ｂの人体に対応する画面Ａの部分は
ないので対応点は存在しない）ステップ１０６で動きベ
クトル検出手段４により各対応点を結ぶベクトルの検出
を行い、図３の画面Ｃに示すように複数のベクトルのな
かでステップ１０７にて多数の一定方向に検出される
（例えば、ＸＹ方向駆動部１０により水平右方向の回転
をカメラに与えると通常画像の中の各動体が水平左方向
に移動する。この移動の方向を検出する。また、三脚１
３が設置されている近くを人体が通過するときに振動に
より画像入力手段１に上下の振動があった場合には上下
方向のベクトルが検出される）一連のベクトル（以下代
表動きベクトルとする）の方向を代表動きベクトル検出
手段５により検出する。ステップ１０８では画面修正手
段６により現画像の拡大縮小、あるいは移動を行ない、
（図３の画面Ｃ）その後、前に処理された画像を背景画
像と重ねて現時点での背景を検出する（最初は人体１４
が検出されず背景のみであり三脚１３に設置してある駆
動部９駆動せず画像は変化しない。従って背景修正を行
なっても同一背景となる。図３において画面Ｃの状態で
ある）。ステップ１０９では現画像から背景修正手段２
で求めた背景画像を差分演算して動体認識手段７にて動
体の抽出を行ない、ステップ１１０で動体が存在するか
しないかを動体認識手段７で認識して、人体１４が検出
されれば動体認識手段７によりステップ１１１で人体１
４の位置、速度を検出して、ステップ１１２にて検出し
た位置、速度等の情報を表示手段８に表示されている現
画像に重ね合わせ表示する。これとともに、ステップ１
１３でステップ１１１の動体認識手段７により得られた
位置情報を制御手段１２に信号を送り、人体１４の画像
が画面のほぼ中央になるように人体１４と画像の中心と
の距離だけ移動するように駆動部９を動かす。その後、
ステップ１０２へ行き、現画像を画像入力手段２にて入
力してステップ１０２からステップ１１３までの操作を
繰り返す。もし、ステップ１１０で人体の存在がなけれ
ばそのまま次のサイクルに移行し、ステップ１０２から
ステップ１１１までの操作を行なう。

【００１５】尚、動体抽出手段として、動きベクトル検
出手段４の中から代表動きベクトル検出手段５により検
出された動きベクトル以外のベクトルの中から違った動
きをするベクトル、即ち、特定動きベクトル検出を行な
うことにより動体の抽出を行なうようにしても良い。

【００１６】次に、本発明の他の実施例を添付図面を参
照して説明する。図４において、図１の構成に動体認識
手段７で認識された動体の中からどの動体を追尾するか
どうかを入力する指示手段１５が設けられている。ここ
では表示手段８の画面上をタッチすることにより指示で
きるように構成されている。

【００１７】次に、この一実施例の構成に於ける動作を
説明する。図５はこの動作を示すフローチャートであ
る。前述した一実施例と同様に、人体１４が走っている
時に、人体１４を追尾する場合について説明する。ステ
ップ１０１からステップ１１２までは同じ動作を行な
い、ステップ１１３で追尾すべき動体が指示されている
かを判断して追尾すべき動体が指示されていなければ、
ステップ１１４へ行き表示手段８に表示してある認識さ
れた人体１４の所を指さすことにより表示手段８に設け
たタッチパネル式の支持手段１５により追尾すべき人外
１４が指定される。これにより追尾すべき人体１４が決
定される。その後、追尾すべき人体１４の方向にカメラ
を向けるべく制御手段１２に信号を送り、ステップ１１
５で人体１４が画像のほぼ中央になるように人体１４と
画像の中心との距離だけ移動するように駆動部９を動か
す。ステップ１１３で既に追尾すべき人体１４が指示さ
れていれば支持手段１５にあらためて指示することなく
ステップ１１５へ行き同様の操作を行なう。その後、ス
テップ１０２へ行き、現画像を画像入力手段１にて入力
してステップ１０２からステップ１１５までの操作を繰
り返す。

【００１８】

【発明の効果】以上説明したように本発明のビデオカメ
ラ用の動体認識装置は、画像入力手段より得られた信号
から動きベクトルを検出して背景修正を行ない特定の動
きから人や動いている動体の認識を行ない、入力した画
像と認識した動体の情報を表示するとともに人体が常に
画面の中央になるように駆動部を動かしビデオカメラを
回転させることにより次の効果が得られる。

【００１９】（１）入力された画像の中から背景を修正
して特定の動きと区別するため、人体等の動いているも
のをカメラが自動的に追尾することができる。

【００２０】（２）現在認識している画像とその認識結
果を表示手段で見ることができるため追尾状況を見るこ
とができる。

【００２１】（３）また、追尾している動体の動き速度
等の解析に利用できる。 （４）カメラの支持台の振動により入力された画像が上
下動しても背景が修正されて動いている動体の認識がで
きる。

【００２２】また、表示手段のモニター上に位置指示を
するための指示手段を設けた構成の場合は、複数の動い
ている動体がある場合、特定の動体を追いかけることが
できる。従って、例えば学校の運動会などで子供が走っ
てくる様子を他の子供と区別して追いかけることがで
き、子供の記念すべき様子が確実にとらえることができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例における動体追尾装置の構成
を示すブロック図

【図２】同装置のフローチャート

【図３】同じく背景修正に使用する画面を説明する模式
図

【図４】本発明の他の実施例における動体追尾装置の構
成を示すブロック図

【図５】同装置のフローチャート

【図６】従来の動体識別装置の差分画面を説明する動作
模式図

【図７】同装置のフレーム間差分画面を説明する動作模
式図

【符号の説明】

１ 画像入力手段 ２ 背景修正手段 ７ 動体認識手段 ８ 表示手段 ９ 駆動部 １２ 制御手段 １３ 支持台 １５ 支持手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像入力手段と、前記画像入力手段を動か
   す駆動部と、前記駆動部を支持する支持台と、前記画像
   入力手段より得られた複数の画像から画像間の背景を修
   正する背景修正手段と、前記背景修正手段で修正された
   画像から動体を認識する動体認識手段と、前記画像入力
   手段からの画像と前記動体認識手段により認識された情
   報を表示する表示手段と、前記動体認識手段の出力に基
   づいて前記駆動部を制御する制御手段とを具備した動体
   追尾装置。
2. 【請求項２】動体認識手段で認識された動体の中から特
   定の動体を指示する指示手段を具備した請求項１記載の
   物体追尾装置。