JP3615970B2 - 移動体の検知方法 - Google Patents
移動体の検知方法 Download PDFInfo
- Publication number
- JP3615970B2 JP3615970B2 JP27143399A JP27143399A JP3615970B2 JP 3615970 B2 JP3615970 B2 JP 3615970B2 JP 27143399 A JP27143399 A JP 27143399A JP 27143399 A JP27143399 A JP 27143399A JP 3615970 B2 JP3615970 B2 JP 3615970B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- moving
- image
- tracking
- detecting means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はＣＣＤカメラ等の撮像手段により移動体を撮像して得られた画像データに基づき前記移動体を識別、検知し該移動体の動きを追尾する移動体の検知方法に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像手段によって撮像した画像データに基づき、該画像中から移動体を識別、検知し、その動きを追尾する方法として、背景差分法及び移動ベクトル法が知られている。
かかる背景差分法により移動体の識別、及びその動きを追尾する手段の１つとして特開平４−１１１０７９号の発明が提供されている。
【０００３】
かかる発明においては、撮像手段から得られた複数個の画像を記憶する画像メモリ部と、前記画像メモリ部の複数個の画像間の同一アドレス画素の輝度レベルを比較する輝度レベル比較部と、前記輝度レベル比較部の出力により決められた画素の輝度レベル変化の履歴を表す画素変化履歴部と、前記画素変化履歴部の連続性を判定する連続性判断部と、前記連続性判定部により前記画像メモリ部の輝度レベルを変換する輝度レベル変換部と、前記輝度レベル変換部により変換された後の画像から得られた動き画素群の繰り返し性を判別する特定動き検出部とを備えて、背景が動いても補正を加え、動いた背景は変化度の検出により背景を自動的に変更するとともに入口等の常に同じ様な部分の動きに対しては人体でなくかつ背景の変化でもないようにしてノイズの発生を抑え、常に動いている物のみを識別できるように構成されている。
【０００４】
また、前記移動ベクトル法により移動体の識別及びその動きを追尾する手段の１つとして特開平５−２２７４６３号の発明が提供されている。
かかる発明においては、順次入力される画像データを、水平及び垂直方向に所定画素単位のブロックに分割する画像データブロック化回路と、水平及び垂直方向に上記ブロックを所定個数含んでなる追跡ベクトル検出領域を設定する検出領域設定回路と、上記追跡ベクトル検出領域内の上記各ブロックについて、動きベクトルを検出する動きベクトル検出回路と、上記動きベクトル検出回路の検出結果に基づいて、上記追跡ベクトル検出領域内の上記動きベクトルの分布を検出し、該分布検出結果に基づいて上記追跡ベクトル検出領域内の画像の移動方向及び移動量を検出する追跡ベクトル検出回路と、上記追跡ベクトル検出回路の検出結果に基づいて、上記追跡ベクトル検出領域内の画像の移動に追従して上記追跡ベクトル検出領域を移動する検出領域補正回路とを備え、追跡ベクトル検出領域内の動きベクトルの分布を検出し、最も支配的な動きベクトルを検出することにより、簡易な構成で画像の移動方向及び移動量を検出し得る画像処理装置を得るように構成されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、かかる従来技術により移動体の識別及びその動きを追尾するにあたっては、次のような解決すべき課題を有している。
即ち特開平４−１１１０７９号に開示されている背景差分法による場合は、画像データから直接に移動前後の差分画面を検出しているので、継続して存在する移動体の有無あるいは新しく入った移動体の有無の何れの場合においても高い検知精度を有し、また移動体の移動速度が大きくても精度を維持して追従可能である。
【０００６】
しかしながら、かかる背景差分法にあっては、移動前後画面の差分のみを抽出しているため、該移動体の近接物体との動きの区別がつき難い傾向にあり、従って移動体の動きを追尾するにあたっては、目標の物体以外の他の近接物体を追尾するという追尾ミスを発生し易い。
【０００７】
また特開平５−２２７４６３号に開示されているような移動ベクトル法による場合は、画像データから移動体単位でその移動ベクトルを座標上に検出してその大きさ及び方向を算出するため、画面内の個々の移動体について精度良く移動ベクトルを検出でき近接物体があっても高精度で追尾可能である。
【０００８】
しかしながら、かかる移動ベクトル法にあっては、画面から移動体の移動ベクトルを検出するため、小さい領域や僅かな動きは検知できない場合があり、移動体の識別、検知精度が低く、また画面から移動体の移動ベクトルを算出するというプロセスを経るため、移動体の速度が大きい場合にはこれに追従するのが困難となる。
【０００９】
本発明はかかる従来技術の課題に鑑み、撮像手段により移動体を撮像して得られる画像に基づき該移動体の識別、検知およびその動きを追尾するにあたり、移動体の識別、検知を小さい領域や僅かな動きに対しても高精度で以って行ないかつ移動体の動きに対する追尾を近接物体と混同することなく、かつ移動体の速度に影響されることなく高精度で行ない得る移動体の検知方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明はかかる課題を解決するため、撮像装置により移動体を撮像して得られる画像データに基づき前記移動体を識別し、あるいはその動きを追尾する移動体の検知方法において、
前記撮像装置で撮像される画像を用い、前画面と現画面の複数の画面間の差分画像によって移動体を検知する第１の移動体検知手段と、
前記複数の画面間における注目画像の移動ベクトル量に基づいて移動体を検知する第２の移動体検知手段とを具え、移動体の有無によって前記２つの検知手段を選択的に切り替えることを特徴とする移動体の検知方法を要旨とする。
【００１１】
そして、前記第１の移動体検知手段により移動体の有無の識別を行ない、次いで前記第２の移動体検知手段により移動体の動きを追尾することを特徴とする。
【００１２】
また本発明は、前記第１の移動体検知手段あるいは第２の移動体検知手段により算出された前記移動体の位置に対応した方向に前記撮像手段を旋回制御する。
【００１３】
かかる発明によれば、撮像手段により撮像された画像における、継続して存在する移動体の有無及び新しく入った移動体の有無を背景差分法に基づく第１の移動体検知手段で識別すれば、該背景差分法においては画像データから直接に前後の差分画像を検出しているので、高い検知精度で以って移動体の識別を行なうことができ、また移動体の移動速度が大きくても高精度を維持して該移動体の識別を行なうことができる。
【００１４】
そして前記背景差分法に基づく第１の移動体検知手段によって移動体を検知後は移動ベクトル法に基づく第２の移動体検知手段に切り替えて追尾モードに移ることとすれば、移動体の移動ベクトルを移動体単位で座標上に検出してその大きさ及び方向を算出することにより、画面内の個々の移動体について高精度で追尾が可能となり、近接物体があっても、これを混同することなく移動体個々での追尾が可能となる。
【００１５】
従って、かかる発明によれば、撮像画像中における移動体の識別を背景差分法に基づく第１の移動体検知手段にて行なうことにより、正確な識別をなすことができるとともに、移動体の速度が大きくても高精度を維持して移動体の識別をなすことができる。
【００１６】
そして、移動体の追尾モードに移ってからは移動ベクトル法に基づく第２の移動体検知手段により追尾することによって、移動体に近接物体があってもこれを混同することなく、移動体の個々について正確に追尾をなすことができる。
【００１７】
請求項１記載の発明は、前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
該追尾動作モードで、前記撮像装置の移動の有無を判定し、該撮像装置が静止しているときは前記第１の移動体検知手段に切り換え、該撮像装置が移動しているときは前記第２の移動体検知手段の追尾動作を行うステップを有することを特徴とする。
【００１８】
かかる発明によれば、撮像装置の静止、移動を検知することにより、背景差分法に基づく第１の移動体検知手段と移動ベクトル法に基づく第２の移動体検知手段とを適切に使い分けることができ、さらに高精度で以って移動体の識別、検知あるいは追尾を行なうことができる。
【００１９】
また請求項２記載の発明は、前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
前記追尾動作モードで、前記画像から移動体の速度を測定し、該速度が一定値を超えるときは前記第１の移動体検知手段による移動体の動きの追尾に切り換え、該速度が一定値以下のときは、前記第２の移動体検知手段による移動体の動きの追尾を継続するステップを有することを特徴とする。
【００２０】
かかる発明によれば、撮像画面における移動体の識別を背景差分法に基づく第１の検知手段により高精度で以って行なった後、追尾モードに入ってからは、移動体の速度が小さいときは、移動ベクトル法に基づく第２の移動体検知手段で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また、移動体の速度が一定値よりも大きくなると速度増大の影響を受けない背景差分法に基づく第１の移動体検知手段で移動体の追尾を行なうことにより高精度での追尾をなすことができる。
【００２１】
請求項３記載の発明は、請求項１若しくは２において、前記追尾動作モードで前記第２の移動体検知手段による移動体の動きの追尾を行う際に、前記画像から移動体の速度を測定し、
前記画像から所定の縮小率で縮小された縮小画像を縮小率毎に作成し、
前記速度の測定値に対応した縮小画像を選択して該縮小画像に基づき前記第２の移動体検知手段で前記移動体を追尾することを特徴とする移動体の検知方法にある。
【００２２】
かかる発明によれば、移動ベクトル法に基づく第２の移動体検知手段により移動体の追尾を行なう際において、撮像画像から所定の縮小率で縮小画像を縮小率毎に作成し、また前記撮像画像から移動体の速度を測定し、該速度に対応した縮小率の縮小画像を選択することにより、該速度が大きくなるに従い前記縮小率を大きくし、画像上での移動体の動きを小さくして前記速度の増大によって前記第２の移動体検知手段での追尾精度が低下するのを防止する。
【００２３】
従って、かかる発明によれば、撮像画像を縮小し、移動体の速度に対応した縮小画像を選出することにより、本来移動体の速度が大きくなると追尾の精度が低下し易い移動ベクトル法に基づく第２の移動体検知手段による追尾を、移動体速度が増大しても常時前記第２の移動体検知手段によって高精度で行なうことができる。
【００２４】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載が無い限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００２５】
図１は本発明の実施形態に係る移動体の識別、追尾装置の全体構成図、図２は上記実施形態における第１実施例のフローチャート図、図３は上記実施形態における第２実施例のフローチャート図、図４は上記実施形態の第３実施例のフローチャート図、図５は上記実施形態における背景差分法の制御ブロック図、図６は上記実施形態における移動ベクトル法の制御ブロック図である。
【００２６】
図１において、１は移動体（不図示）を撮像するＣＣＤカメラ（ＣＣＤカメラに限らず、撮像画像を連続的に電送できるカメラであればよい）、２０は前記ＣＣＤカメラ１からの撮像画像から背景差分法で移動体の識別及び追尾を行なう背景差分法演算部、２１は前記撮像画像から所定の縮小率の縮小画面縮小画像を作成する縮小画像作成部、２２は前記縮小画像作成部２１で作成された縮小画像から所要の縮小率の縮小画像を選択する画像縮小率切換スイッチ、２３は前記撮像画像から移動体の速度を測定する速度測定部である。
【００２７】
２４は前記撮像画像から移動ベクトル法で移動体の追尾を行なう移動ベクトル法演算部、２５は前記背景差分法演算部２０からの出力あるいは移動ベクトル法演算部２４からの出力を選択して後述する旋回制御部１２に出力するモード切替スイッチ、１２は該モード切換スイッチ２５で選択された演算モードにより前記ＣＣＤカメラ１の旋回等の動作を制御する旋回制御部である。
【００２８】
次に前記背景差分法演算部２０による演算動作を図５に示す制御ブロック図によって説明する。
ＣＣＤカメラ１からの撮像画像はＡ／Ｄ変換器２でディジタル信号に変換され、ぶれ補正部３にて画像のぶれを除去され、あるいはそのままの状態でスイッチ４を経て前処理部５に送られてノイズを除去等の前処理が施される。
該前処理部５から出力された画像信号は背景差分抽出部６に送られる。
【００２９】
該背景差分抽出部６には背景更新部１０にて更新され背景画像記憶部１１に記憶されている前画面（移動前の画面）の画像信号が入力されている。そして該背景差分抽出部６においては、前記前処理部５から入力される現画面（移動後の画面）と前記背景画像記憶部１１から入力される前画面（移動前の画面）との差分画像を取り、この差分画像から動いた部分のみを抽出し、移動体の識別を行なう。
ここで抽出される移動体は、前から存在していて動きが識別されたものと新しく現れたものの双方を含む。
【００３０】
該背景差分抽出部６からの画像信号は判別部７に送られる。該判別部７は、前記画像中において移動体と混同し易いものを除去するもので、該差分画像中、移動体として識別するのに必要な画像かどうかを判別し、微風による揺れ等の移動体として検知不要な画像を除去する。そして該判別部７からの画像信号は移動体領域設定部８に入力される。
【００３１】
移動体領域設定部８においては、入力された前記差分画像（全体画像）から移動体を中心とした部分（領域）を抽出した移動体領域画面を設定する。
該移動体領域画像信号は識別処理部９及び前記背景更新部１０に入力される。
該識別処理部９においては、前からの移動体が引き続き移動したか、あるいは新しい移動体が現れたか等についての識別を行なって、抽出すべき移動体を識別する。これにより、撮像画像中の移動体は正確に検知される。
【００３２】
また該識別処理部９においては、前記移動体の識別により前記ＣＣＤカメラ１の旋回の要否あるいは旋回角度等の旋回信号を算出して旋回制御部１２に送る。
該旋回制御部１２は、前記旋回信号により前記ＣＣＤカメラ１を所要量旋回させる。
また、前記ＣＣＤカメラ１からの撮像画像信号は遅延回路１３を通してＶＴＲ１４に入力される。
該ＶＴＲ１４は前記識別処理部９からの移動体の抽出画像信号によってＣＣＤカメラ１の画像の記録が開始されるが、遅延回路１３があるため、移動体を検出した時差より少し前の画像から記録することができる。
【００３３】
次に前記移動ベクトル法演算部２４の動作を図６に示す制御ブロック図によって説明する。
前記画像縮小部切換スイッチ２２を経たＣＣＤカメラ１からの撮像信号Ｓｖは移動ベクトル法演算部２４の追跡ベクトル検出部２４０に入力される。
追跡ベクトル検出部２４０は、順次入力されるビデオ信号Ｓｖをディジタル信号に変換すると共に、座標入力回路２４５から入力される座標データ（ｘ１、ｙ１）、（ｘ２、ｙ２）に基づいて追跡ベクトル検出領域ＡＲを設定する。さらに追跡ベクトル検出部２４０は、座標入力回路２４５からトリガ信号ＳＴが入力されると、当該ビデオ信号Ｓｖの追跡ベクトル検出領域ＡＲ内の画像について、当該画像の移動方向及び移動量を表してなる追跡ベクトルＶＴを検出し、当該検出結果を枠データ生成部２４４に出力する。
【００３４】
即ち、前記追跡ベクトル検出部２４０に入力された画像信号Ｓｖは、動きベクトル検出部２４１のブロック化回路でディジタル信号に変換された後、８×８画素単位のブロックに分割される。当該ブロックは、各ブロック毎に該マッチング回路で動きベクトルＭｖが検出される。
【００３５】
当該動きベクトルＭｖは、分布検出部２４２に出力され、ここで追跡ベクトル検出領域ＡＲの範囲の動きベクトルＭｖについて分布が検出され、最も分布度数の大きい動きベクトルＭｖが追跡ベクトルＶＴとして検出される。そして判定回路２４３にて動きベクトルＭｖの分布を検出し、最も分布度数の大きい動きベクトルＭｖを追跡ベクトルＶＴに設定する。これにより、簡易な構成で物体の動きを追跡することができる。
【００３６】
そして、前記追跡ベクトル検出部２４０での該追跡ベクトル検出結果は、枠データ生成部２４４に出力され、ここで当該追跡ベクトルＶＴに基づいて枠データＤｗが更新され、後述するように、画像合成部２４７に入力される。
【００３７】
即ち、前記枠データ生成部２４４においては、追跡ベクトルＶＴ（ＤＸ、ＤＹ）が得られると枠データＤｗの座標データ（ｘ１、ｙ１）、（ｘ２、ｙ２）にそれぞれ追跡ベクトルの２次元座標ＤＸ、ＤＹを加算して出力する。それにより枠データ生成部２４４は、追跡ベクトルＶＴに基づいて、枠データＤｗを更新し、追跡ベクトル検出領域内の画像の移動に追従して枠画像ＷＫを移動させる。
【００３８】
一方、前記撮像信号Ｓｖは、遅延回路２４６を介して画像合成部２４７に与えられ、ここで枠データ生成部２４４から出力される枠データＤｗに基づいて枠状の画像（以下枠画像と呼ぶ）ＷＫを生成する。さらに該画像合成部２４７で当該枠画像ＷＫをビデオ信号Ｓｖに合成し、その結果得られる合成画像Ｍを表示装置に表示する。
【００３９】
前記枠データ生成部２４４の出力信号は旋回制御部１２に出力され、該旋回制御部１２でＣＣＤカメラ１の向きを制御する制御信号を該ＣＣＤカメラ１に出力する。
【００４０】
次に図１に示す移動体の識別、追尾装置の動作を図２〜図３に示すフローチャート図に基づき説明する。
図２に示す第１実施例において、ＣＣＤカメラ１から撮像信号が背景差分法演算部２０に入力されると、該背景差分法演算部２０において図５の制御ブロック図で示される前記背景差分法による手順により前記画面から移動体の識別を行なう（ステップ（１））。
【００４１】
そして移動体が識別されると（ステップ（２））、追尾モードに移り、モード切換スイッチ２５により移動ベクトル演算部２４に切り替えられる。移動体の検知がなされない場合は、背景差分法による識別を繰り返す。
該移動ベクトル法演算部２４においては、図６の制御ブロック図で示される前記移動ベクトル法による手順により前期移動体の追尾動作に入る（ステップ（３））。
【００４２】
そして、前記ＣＣＤカメラ１が移動しているか否かを検出し、該カメラ１が静止している場合は背景差分法により移動体の識別を繰り返し、該カメラ１が移動している場合は、移動ベクトル法による移動体の追尾を行なう（ステップ（４））。
【００４３】
従ってかかる実施例によれば、ＣＣＤカメラ１により撮像された画像における、継続して存在する移動体の有無及び新しく入った移動体の有無を背景差分法で識別すれば、該背景差分法においては画像データから直接に前後の差分画像を検出しているので、高い検知精度で以って移動体の識別を行なうことが可能となる。
【００４４】
また、前記移動体の移動速度が大きくても、該背景差分法は前記のように画像データから直接に前後の差分画像を検出しているので、高精度を維持して該移動体の識別を行なうことができる。
【００４５】
そして前記背景差分法によって移動体を検知後はモード切換スイッチ２５によって移動ベクトル法に切り替えて追尾モードに移るので、前記手順のように、移動体の移動ベクトルを移動体単位で座標上に検出し、その大きさ及び方向を算出することにより、画面内の個々の移動体について高精度で追尾が可能となり、近接物体があっても、これを混同することなく移動体個々での追尾が可能となる。
【００４６】
次に図３に示す第２実施例においては、ステップ（１）ないし（４）の動作は前記第１実施例と同様に行ない、ＣＣＤカメラ１が旋回している場合には、前記画像から移動体の移動速度を測定する（ステップ（５））。
そして測定された速度Ｓｔが基準速度Ｓｏよりも大きい場合（Ｓｔ＞Ｓｏ）はカメラを静止させた後、背景差分法により移動体の追尾に入り、前記速度Ｓｔが基準速度Ｓｏよりも小さい場合（Ｓｔ≦Ｓｏ）は移動ベクトル法による追尾を続ける（ステップ（６））。
【００４７】
従って、かかる第２実施例によれば、ＣＣＤカメラで撮像された画面で移動体の識別を背景差分法により高精度で以って行なった後、追尾モードに入ってからは、測定された移動体の速度Ｓｔが基準値Ｓｏよりも小さいときは、移動ベクトル法で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また前記移動体の速度の測定値Ｓｔが前記一定値Ｓｏよりも大きくなると速度増大の影響を受けない背景差分法で移動体の追尾を行なうことにより、高精度での追尾をなすことが可能となる。
【００４８】
図４に示す第３実施例においては、ステップ（１）ないし（４）の動作は前記第１実施例と同様に行ない、ＣＣＤカメラ１の旋回が検知された場合には前記画面から移動体の移動速度を測定する（ステップ（５））。
【００４９】
一方、縮小画像作成部２１においては、ＣＣＤカメラ１からの画面例えば８Ｍ×８Ｎを、４Ｍ×４Ｎ、２Ｍ×２Ｎ、Ｍ×Ｎのように数段階の縮小率で以って縮小画像を作成する。
ここで、移動体速度Ｓｔ１、Ｓｔ２、Ｓｔ３…と前記縮小画像の縮小率８Ｍ×８Ｎ、４Ｍ×４Ｎ、２Ｍ×２Ｎ…との関係は、移動体の実施速度Ｓｔが大きくなると縮小率を大きくして、画面上の移動体の動きが小さくなるように予め設定されている（ステップ（７））。
【００５０】
そして、前記のようにして測定された移動体の速度Ｓｔが得られると、画像縮小率切換スイッチ２２は該速度Ｓｔに対応する画像縮小率を選択してその縮小率による縮小画像を選択する（ステップ（８））。
この縮小画像によって移動ベクトル法による移動体の追尾が行なわれる。
【００５１】
前記のように、この実施例においては、移動ベクトル法により移動体の追尾を行なう際において、撮像画像から所定の縮小率で縮小画像を縮小率毎に作成し、また前記ＣＣＤカメラ１の撮像画像から移動体の速度を測定し、該速度に対応した縮小率の縮小画像を選択することにより該速度が大きくなるに従い、前記縮小率を大きくし、画像上での移動体の動きを小さくして前記速度の増大によって移動ベクトル法での追尾精度が低下せず、安定した追尾がなされる。
【００５２】
【発明の効果】
以上記載のごとく本発明によれば、撮像画面中における移動体の識別を背景差分法に基づく第１の移動体検知手段にて行なえば、移動体の正確な識別をなすことができるとともに、移動体の速度が大きくても高精度を維持して識別をなすことができる。
【００５３】
そして移動体の追尾モードに移ってからは移動ベクトル法による第２の移動体検知手段により追尾すれば、移動体に近接物体があってもこれを混同することなく、移動体の個々について正確に追尾をなすことができる。
【００５４】
また、特に請求項１のように構成すれば、上記に加えて撮像装置の旋回の有無を検知することにより、背景差分法に基づく第１の移動体検知手段と移動ベクトル法に基づく第２の移動体検知手段とを適切に使い分けることができ、請求項１、２記載の発明の場合に加えて、さらに高精度で以って移動体の識別あるいは追尾を行なうことができるという効果を奏する。
【００５５】
請求項２記載の発明によれば、移動体の速度が小さいときは、移動ベクトル法に基づく第２の移動体検知手段で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また、移動体の速度が一定値よりも大きくなると速度増大の影響を受けない背景差分法に基づく第１の移動体検知手段で移動体の追尾を行なうことにより高精度での追尾をなすことができる。
【００５６】
さらに請求項３記載の発明によれば、前記追尾動作モードで前記第２の移動体検知手段による移動体の動きの追尾を行う際に、撮像画像を縮小し、移動体の測定速度に対応した縮小画像を選出して移動体の動きを小さくすることにより、本来移動体の速度が大きくなると追尾の精度が低下し易い移動ベクトル法に基づく第２の移動体検知手段による追尾を、移動体速度が増大しても常時移動ベクトル法によって高精度で行なうことができる。
【００５７】
以上要するに本発明によれば移動体の識別モードにおいては高精度の識別、検知能力を保持し、追尾モードに移ってからは他の移動体との混同を回避して追尾ミスの発生を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る移動体の識別、追尾装置の全体構成図である。
【図２】上記実施形態における第１実施例のフローチャート図である。
【図３】上記実施形態における第２実施例のフローチャート図である。
【図４】上記実施形態における第３実施例のフローチャート図である。
【図５】上記実施形態における背景差分法の制御ブロック図である。
【図６】上記実施形態における移動ベクトル法の制御ブロック図である。
【符号の説明】
１ ＣＣＤカメラ
１２ 旋回制御部
２０ 背景差分法演算部
２１ 縮小画像作成部
２２ 画像縮小率切換スイッチ
２３ 速度測定部
２４ 移動ベクトル法演算部
２５ モード切換スイッチ
【発明の属する技術分野】
本発明はＣＣＤカメラ等の撮像手段により移動体を撮像して得られた画像データに基づき前記移動体を識別、検知し該移動体の動きを追尾する移動体の検知方法に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像手段によって撮像した画像データに基づき、該画像中から移動体を識別、検知し、その動きを追尾する方法として、背景差分法及び移動ベクトル法が知られている。
かかる背景差分法により移動体の識別、及びその動きを追尾する手段の１つとして特開平４−１１１０７９号の発明が提供されている。
【０００３】
かかる発明においては、撮像手段から得られた複数個の画像を記憶する画像メモリ部と、前記画像メモリ部の複数個の画像間の同一アドレス画素の輝度レベルを比較する輝度レベル比較部と、前記輝度レベル比較部の出力により決められた画素の輝度レベル変化の履歴を表す画素変化履歴部と、前記画素変化履歴部の連続性を判定する連続性判断部と、前記連続性判定部により前記画像メモリ部の輝度レベルを変換する輝度レベル変換部と、前記輝度レベル変換部により変換された後の画像から得られた動き画素群の繰り返し性を判別する特定動き検出部とを備えて、背景が動いても補正を加え、動いた背景は変化度の検出により背景を自動的に変更するとともに入口等の常に同じ様な部分の動きに対しては人体でなくかつ背景の変化でもないようにしてノイズの発生を抑え、常に動いている物のみを識別できるように構成されている。
【０００４】
また、前記移動ベクトル法により移動体の識別及びその動きを追尾する手段の１つとして特開平５−２２７４６３号の発明が提供されている。
かかる発明においては、順次入力される画像データを、水平及び垂直方向に所定画素単位のブロックに分割する画像データブロック化回路と、水平及び垂直方向に上記ブロックを所定個数含んでなる追跡ベクトル検出領域を設定する検出領域設定回路と、上記追跡ベクトル検出領域内の上記各ブロックについて、動きベクトルを検出する動きベクトル検出回路と、上記動きベクトル検出回路の検出結果に基づいて、上記追跡ベクトル検出領域内の上記動きベクトルの分布を検出し、該分布検出結果に基づいて上記追跡ベクトル検出領域内の画像の移動方向及び移動量を検出する追跡ベクトル検出回路と、上記追跡ベクトル検出回路の検出結果に基づいて、上記追跡ベクトル検出領域内の画像の移動に追従して上記追跡ベクトル検出領域を移動する検出領域補正回路とを備え、追跡ベクトル検出領域内の動きベクトルの分布を検出し、最も支配的な動きベクトルを検出することにより、簡易な構成で画像の移動方向及び移動量を検出し得る画像処理装置を得るように構成されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、かかる従来技術により移動体の識別及びその動きを追尾するにあたっては、次のような解決すべき課題を有している。
即ち特開平４−１１１０７９号に開示されている背景差分法による場合は、画像データから直接に移動前後の差分画面を検出しているので、継続して存在する移動体の有無あるいは新しく入った移動体の有無の何れの場合においても高い検知精度を有し、また移動体の移動速度が大きくても精度を維持して追従可能である。
【０００６】
しかしながら、かかる背景差分法にあっては、移動前後画面の差分のみを抽出しているため、該移動体の近接物体との動きの区別がつき難い傾向にあり、従って移動体の動きを追尾するにあたっては、目標の物体以外の他の近接物体を追尾するという追尾ミスを発生し易い。
【０００７】
また特開平５−２２７４６３号に開示されているような移動ベクトル法による場合は、画像データから移動体単位でその移動ベクトルを座標上に検出してその大きさ及び方向を算出するため、画面内の個々の移動体について精度良く移動ベクトルを検出でき近接物体があっても高精度で追尾可能である。
【０００８】
しかしながら、かかる移動ベクトル法にあっては、画面から移動体の移動ベクトルを検出するため、小さい領域や僅かな動きは検知できない場合があり、移動体の識別、検知精度が低く、また画面から移動体の移動ベクトルを算出するというプロセスを経るため、移動体の速度が大きい場合にはこれに追従するのが困難となる。
【０００９】
本発明はかかる従来技術の課題に鑑み、撮像手段により移動体を撮像して得られる画像に基づき該移動体の識別、検知およびその動きを追尾するにあたり、移動体の識別、検知を小さい領域や僅かな動きに対しても高精度で以って行ないかつ移動体の動きに対する追尾を近接物体と混同することなく、かつ移動体の速度に影響されることなく高精度で行ない得る移動体の検知方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明はかかる課題を解決するため、撮像装置により移動体を撮像して得られる画像データに基づき前記移動体を識別し、あるいはその動きを追尾する移動体の検知方法において、
前記撮像装置で撮像される画像を用い、前画面と現画面の複数の画面間の差分画像によって移動体を検知する第１の移動体検知手段と、
前記複数の画面間における注目画像の移動ベクトル量に基づいて移動体を検知する第２の移動体検知手段とを具え、移動体の有無によって前記２つの検知手段を選択的に切り替えることを特徴とする移動体の検知方法を要旨とする。
【００１１】
そして、前記第１の移動体検知手段により移動体の有無の識別を行ない、次いで前記第２の移動体検知手段により移動体の動きを追尾することを特徴とする。
【００１２】
また本発明は、前記第１の移動体検知手段あるいは第２の移動体検知手段により算出された前記移動体の位置に対応した方向に前記撮像手段を旋回制御する。
【００１３】
かかる発明によれば、撮像手段により撮像された画像における、継続して存在する移動体の有無及び新しく入った移動体の有無を背景差分法に基づく第１の移動体検知手段で識別すれば、該背景差分法においては画像データから直接に前後の差分画像を検出しているので、高い検知精度で以って移動体の識別を行なうことができ、また移動体の移動速度が大きくても高精度を維持して該移動体の識別を行なうことができる。
【００１４】
そして前記背景差分法に基づく第１の移動体検知手段によって移動体を検知後は移動ベクトル法に基づく第２の移動体検知手段に切り替えて追尾モードに移ることとすれば、移動体の移動ベクトルを移動体単位で座標上に検出してその大きさ及び方向を算出することにより、画面内の個々の移動体について高精度で追尾が可能となり、近接物体があっても、これを混同することなく移動体個々での追尾が可能となる。
【００１５】
従って、かかる発明によれば、撮像画像中における移動体の識別を背景差分法に基づく第１の移動体検知手段にて行なうことにより、正確な識別をなすことができるとともに、移動体の速度が大きくても高精度を維持して移動体の識別をなすことができる。
【００１６】
そして、移動体の追尾モードに移ってからは移動ベクトル法に基づく第２の移動体検知手段により追尾することによって、移動体に近接物体があってもこれを混同することなく、移動体の個々について正確に追尾をなすことができる。
【００１７】
請求項１記載の発明は、前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
該追尾動作モードで、前記撮像装置の移動の有無を判定し、該撮像装置が静止しているときは前記第１の移動体検知手段に切り換え、該撮像装置が移動しているときは前記第２の移動体検知手段の追尾動作を行うステップを有することを特徴とする。
【００１８】
かかる発明によれば、撮像装置の静止、移動を検知することにより、背景差分法に基づく第１の移動体検知手段と移動ベクトル法に基づく第２の移動体検知手段とを適切に使い分けることができ、さらに高精度で以って移動体の識別、検知あるいは追尾を行なうことができる。
【００１９】
また請求項２記載の発明は、前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
前記追尾動作モードで、前記画像から移動体の速度を測定し、該速度が一定値を超えるときは前記第１の移動体検知手段による移動体の動きの追尾に切り換え、該速度が一定値以下のときは、前記第２の移動体検知手段による移動体の動きの追尾を継続するステップを有することを特徴とする。
【００２０】
かかる発明によれば、撮像画面における移動体の識別を背景差分法に基づく第１の検知手段により高精度で以って行なった後、追尾モードに入ってからは、移動体の速度が小さいときは、移動ベクトル法に基づく第２の移動体検知手段で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また、移動体の速度が一定値よりも大きくなると速度増大の影響を受けない背景差分法に基づく第１の移動体検知手段で移動体の追尾を行なうことにより高精度での追尾をなすことができる。
【００２１】
請求項３記載の発明は、請求項１若しくは２において、前記追尾動作モードで前記第２の移動体検知手段による移動体の動きの追尾を行う際に、前記画像から移動体の速度を測定し、
前記画像から所定の縮小率で縮小された縮小画像を縮小率毎に作成し、
前記速度の測定値に対応した縮小画像を選択して該縮小画像に基づき前記第２の移動体検知手段で前記移動体を追尾することを特徴とする移動体の検知方法にある。
【００２２】
かかる発明によれば、移動ベクトル法に基づく第２の移動体検知手段により移動体の追尾を行なう際において、撮像画像から所定の縮小率で縮小画像を縮小率毎に作成し、また前記撮像画像から移動体の速度を測定し、該速度に対応した縮小率の縮小画像を選択することにより、該速度が大きくなるに従い前記縮小率を大きくし、画像上での移動体の動きを小さくして前記速度の増大によって前記第２の移動体検知手段での追尾精度が低下するのを防止する。
【００２３】
従って、かかる発明によれば、撮像画像を縮小し、移動体の速度に対応した縮小画像を選出することにより、本来移動体の速度が大きくなると追尾の精度が低下し易い移動ベクトル法に基づく第２の移動体検知手段による追尾を、移動体速度が増大しても常時前記第２の移動体検知手段によって高精度で行なうことができる。
【００２４】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載が無い限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００２５】
図１は本発明の実施形態に係る移動体の識別、追尾装置の全体構成図、図２は上記実施形態における第１実施例のフローチャート図、図３は上記実施形態における第２実施例のフローチャート図、図４は上記実施形態の第３実施例のフローチャート図、図５は上記実施形態における背景差分法の制御ブロック図、図６は上記実施形態における移動ベクトル法の制御ブロック図である。
【００２６】
図１において、１は移動体（不図示）を撮像するＣＣＤカメラ（ＣＣＤカメラに限らず、撮像画像を連続的に電送できるカメラであればよい）、２０は前記ＣＣＤカメラ１からの撮像画像から背景差分法で移動体の識別及び追尾を行なう背景差分法演算部、２１は前記撮像画像から所定の縮小率の縮小画面縮小画像を作成する縮小画像作成部、２２は前記縮小画像作成部２１で作成された縮小画像から所要の縮小率の縮小画像を選択する画像縮小率切換スイッチ、２３は前記撮像画像から移動体の速度を測定する速度測定部である。
【００２７】
２４は前記撮像画像から移動ベクトル法で移動体の追尾を行なう移動ベクトル法演算部、２５は前記背景差分法演算部２０からの出力あるいは移動ベクトル法演算部２４からの出力を選択して後述する旋回制御部１２に出力するモード切替スイッチ、１２は該モード切換スイッチ２５で選択された演算モードにより前記ＣＣＤカメラ１の旋回等の動作を制御する旋回制御部である。
【００２８】
次に前記背景差分法演算部２０による演算動作を図５に示す制御ブロック図によって説明する。
ＣＣＤカメラ１からの撮像画像はＡ／Ｄ変換器２でディジタル信号に変換され、ぶれ補正部３にて画像のぶれを除去され、あるいはそのままの状態でスイッチ４を経て前処理部５に送られてノイズを除去等の前処理が施される。
該前処理部５から出力された画像信号は背景差分抽出部６に送られる。
【００２９】
該背景差分抽出部６には背景更新部１０にて更新され背景画像記憶部１１に記憶されている前画面（移動前の画面）の画像信号が入力されている。そして該背景差分抽出部６においては、前記前処理部５から入力される現画面（移動後の画面）と前記背景画像記憶部１１から入力される前画面（移動前の画面）との差分画像を取り、この差分画像から動いた部分のみを抽出し、移動体の識別を行なう。
ここで抽出される移動体は、前から存在していて動きが識別されたものと新しく現れたものの双方を含む。
【００３０】
該背景差分抽出部６からの画像信号は判別部７に送られる。該判別部７は、前記画像中において移動体と混同し易いものを除去するもので、該差分画像中、移動体として識別するのに必要な画像かどうかを判別し、微風による揺れ等の移動体として検知不要な画像を除去する。そして該判別部７からの画像信号は移動体領域設定部８に入力される。
【００３１】
移動体領域設定部８においては、入力された前記差分画像（全体画像）から移動体を中心とした部分（領域）を抽出した移動体領域画面を設定する。
該移動体領域画像信号は識別処理部９及び前記背景更新部１０に入力される。
該識別処理部９においては、前からの移動体が引き続き移動したか、あるいは新しい移動体が現れたか等についての識別を行なって、抽出すべき移動体を識別する。これにより、撮像画像中の移動体は正確に検知される。
【００３２】
また該識別処理部９においては、前記移動体の識別により前記ＣＣＤカメラ１の旋回の要否あるいは旋回角度等の旋回信号を算出して旋回制御部１２に送る。
該旋回制御部１２は、前記旋回信号により前記ＣＣＤカメラ１を所要量旋回させる。
また、前記ＣＣＤカメラ１からの撮像画像信号は遅延回路１３を通してＶＴＲ１４に入力される。
該ＶＴＲ１４は前記識別処理部９からの移動体の抽出画像信号によってＣＣＤカメラ１の画像の記録が開始されるが、遅延回路１３があるため、移動体を検出した時差より少し前の画像から記録することができる。
【００３３】
次に前記移動ベクトル法演算部２４の動作を図６に示す制御ブロック図によって説明する。
前記画像縮小部切換スイッチ２２を経たＣＣＤカメラ１からの撮像信号Ｓｖは移動ベクトル法演算部２４の追跡ベクトル検出部２４０に入力される。
追跡ベクトル検出部２４０は、順次入力されるビデオ信号Ｓｖをディジタル信号に変換すると共に、座標入力回路２４５から入力される座標データ（ｘ１、ｙ１）、（ｘ２、ｙ２）に基づいて追跡ベクトル検出領域ＡＲを設定する。さらに追跡ベクトル検出部２４０は、座標入力回路２４５からトリガ信号ＳＴが入力されると、当該ビデオ信号Ｓｖの追跡ベクトル検出領域ＡＲ内の画像について、当該画像の移動方向及び移動量を表してなる追跡ベクトルＶＴを検出し、当該検出結果を枠データ生成部２４４に出力する。
【００３４】
即ち、前記追跡ベクトル検出部２４０に入力された画像信号Ｓｖは、動きベクトル検出部２４１のブロック化回路でディジタル信号に変換された後、８×８画素単位のブロックに分割される。当該ブロックは、各ブロック毎に該マッチング回路で動きベクトルＭｖが検出される。
【００３５】
当該動きベクトルＭｖは、分布検出部２４２に出力され、ここで追跡ベクトル検出領域ＡＲの範囲の動きベクトルＭｖについて分布が検出され、最も分布度数の大きい動きベクトルＭｖが追跡ベクトルＶＴとして検出される。そして判定回路２４３にて動きベクトルＭｖの分布を検出し、最も分布度数の大きい動きベクトルＭｖを追跡ベクトルＶＴに設定する。これにより、簡易な構成で物体の動きを追跡することができる。
【００３６】
そして、前記追跡ベクトル検出部２４０での該追跡ベクトル検出結果は、枠データ生成部２４４に出力され、ここで当該追跡ベクトルＶＴに基づいて枠データＤｗが更新され、後述するように、画像合成部２４７に入力される。
【００３７】
即ち、前記枠データ生成部２４４においては、追跡ベクトルＶＴ（ＤＸ、ＤＹ）が得られると枠データＤｗの座標データ（ｘ１、ｙ１）、（ｘ２、ｙ２）にそれぞれ追跡ベクトルの２次元座標ＤＸ、ＤＹを加算して出力する。それにより枠データ生成部２４４は、追跡ベクトルＶＴに基づいて、枠データＤｗを更新し、追跡ベクトル検出領域内の画像の移動に追従して枠画像ＷＫを移動させる。
【００３８】
一方、前記撮像信号Ｓｖは、遅延回路２４６を介して画像合成部２４７に与えられ、ここで枠データ生成部２４４から出力される枠データＤｗに基づいて枠状の画像（以下枠画像と呼ぶ）ＷＫを生成する。さらに該画像合成部２４７で当該枠画像ＷＫをビデオ信号Ｓｖに合成し、その結果得られる合成画像Ｍを表示装置に表示する。
【００３９】
前記枠データ生成部２４４の出力信号は旋回制御部１２に出力され、該旋回制御部１２でＣＣＤカメラ１の向きを制御する制御信号を該ＣＣＤカメラ１に出力する。
【００４０】
次に図１に示す移動体の識別、追尾装置の動作を図２〜図３に示すフローチャート図に基づき説明する。
図２に示す第１実施例において、ＣＣＤカメラ１から撮像信号が背景差分法演算部２０に入力されると、該背景差分法演算部２０において図５の制御ブロック図で示される前記背景差分法による手順により前記画面から移動体の識別を行なう（ステップ（１））。
【００４１】
そして移動体が識別されると（ステップ（２））、追尾モードに移り、モード切換スイッチ２５により移動ベクトル演算部２４に切り替えられる。移動体の検知がなされない場合は、背景差分法による識別を繰り返す。
該移動ベクトル法演算部２４においては、図６の制御ブロック図で示される前記移動ベクトル法による手順により前期移動体の追尾動作に入る（ステップ（３））。
【００４２】
そして、前記ＣＣＤカメラ１が移動しているか否かを検出し、該カメラ１が静止している場合は背景差分法により移動体の識別を繰り返し、該カメラ１が移動している場合は、移動ベクトル法による移動体の追尾を行なう（ステップ（４））。
【００４３】
従ってかかる実施例によれば、ＣＣＤカメラ１により撮像された画像における、継続して存在する移動体の有無及び新しく入った移動体の有無を背景差分法で識別すれば、該背景差分法においては画像データから直接に前後の差分画像を検出しているので、高い検知精度で以って移動体の識別を行なうことが可能となる。
【００４４】
また、前記移動体の移動速度が大きくても、該背景差分法は前記のように画像データから直接に前後の差分画像を検出しているので、高精度を維持して該移動体の識別を行なうことができる。
【００４５】
そして前記背景差分法によって移動体を検知後はモード切換スイッチ２５によって移動ベクトル法に切り替えて追尾モードに移るので、前記手順のように、移動体の移動ベクトルを移動体単位で座標上に検出し、その大きさ及び方向を算出することにより、画面内の個々の移動体について高精度で追尾が可能となり、近接物体があっても、これを混同することなく移動体個々での追尾が可能となる。
【００４６】
次に図３に示す第２実施例においては、ステップ（１）ないし（４）の動作は前記第１実施例と同様に行ない、ＣＣＤカメラ１が旋回している場合には、前記画像から移動体の移動速度を測定する（ステップ（５））。
そして測定された速度Ｓｔが基準速度Ｓｏよりも大きい場合（Ｓｔ＞Ｓｏ）はカメラを静止させた後、背景差分法により移動体の追尾に入り、前記速度Ｓｔが基準速度Ｓｏよりも小さい場合（Ｓｔ≦Ｓｏ）は移動ベクトル法による追尾を続ける（ステップ（６））。
【００４７】
従って、かかる第２実施例によれば、ＣＣＤカメラで撮像された画面で移動体の識別を背景差分法により高精度で以って行なった後、追尾モードに入ってからは、測定された移動体の速度Ｓｔが基準値Ｓｏよりも小さいときは、移動ベクトル法で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また前記移動体の速度の測定値Ｓｔが前記一定値Ｓｏよりも大きくなると速度増大の影響を受けない背景差分法で移動体の追尾を行なうことにより、高精度での追尾をなすことが可能となる。
【００４８】
図４に示す第３実施例においては、ステップ（１）ないし（４）の動作は前記第１実施例と同様に行ない、ＣＣＤカメラ１の旋回が検知された場合には前記画面から移動体の移動速度を測定する（ステップ（５））。
【００４９】
一方、縮小画像作成部２１においては、ＣＣＤカメラ１からの画面例えば８Ｍ×８Ｎを、４Ｍ×４Ｎ、２Ｍ×２Ｎ、Ｍ×Ｎのように数段階の縮小率で以って縮小画像を作成する。
ここで、移動体速度Ｓｔ１、Ｓｔ２、Ｓｔ３…と前記縮小画像の縮小率８Ｍ×８Ｎ、４Ｍ×４Ｎ、２Ｍ×２Ｎ…との関係は、移動体の実施速度Ｓｔが大きくなると縮小率を大きくして、画面上の移動体の動きが小さくなるように予め設定されている（ステップ（７））。
【００５０】
そして、前記のようにして測定された移動体の速度Ｓｔが得られると、画像縮小率切換スイッチ２２は該速度Ｓｔに対応する画像縮小率を選択してその縮小率による縮小画像を選択する（ステップ（８））。
この縮小画像によって移動ベクトル法による移動体の追尾が行なわれる。
【００５１】
前記のように、この実施例においては、移動ベクトル法により移動体の追尾を行なう際において、撮像画像から所定の縮小率で縮小画像を縮小率毎に作成し、また前記ＣＣＤカメラ１の撮像画像から移動体の速度を測定し、該速度に対応した縮小率の縮小画像を選択することにより該速度が大きくなるに従い、前記縮小率を大きくし、画像上での移動体の動きを小さくして前記速度の増大によって移動ベクトル法での追尾精度が低下せず、安定した追尾がなされる。
【００５２】
【発明の効果】
以上記載のごとく本発明によれば、撮像画面中における移動体の識別を背景差分法に基づく第１の移動体検知手段にて行なえば、移動体の正確な識別をなすことができるとともに、移動体の速度が大きくても高精度を維持して識別をなすことができる。
【００５３】
そして移動体の追尾モードに移ってからは移動ベクトル法による第２の移動体検知手段により追尾すれば、移動体に近接物体があってもこれを混同することなく、移動体の個々について正確に追尾をなすことができる。
【００５４】
また、特に請求項１のように構成すれば、上記に加えて撮像装置の旋回の有無を検知することにより、背景差分法に基づく第１の移動体検知手段と移動ベクトル法に基づく第２の移動体検知手段とを適切に使い分けることができ、請求項１、２記載の発明の場合に加えて、さらに高精度で以って移動体の識別あるいは追尾を行なうことができるという効果を奏する。
【００５５】
請求項２記載の発明によれば、移動体の速度が小さいときは、移動ベクトル法に基づく第２の移動体検知手段で追尾を行なうことにより、移動体の速度に影響されることなくかつ近接物体と混同することなく移動体の追尾を正確に行なうことができる。また、移動体の速度が一定値よりも大きくなると速度増大の影響を受けない背景差分法に基づく第１の移動体検知手段で移動体の追尾を行なうことにより高精度での追尾をなすことができる。
【００５６】
さらに請求項３記載の発明によれば、前記追尾動作モードで前記第２の移動体検知手段による移動体の動きの追尾を行う際に、撮像画像を縮小し、移動体の測定速度に対応した縮小画像を選出して移動体の動きを小さくすることにより、本来移動体の速度が大きくなると追尾の精度が低下し易い移動ベクトル法に基づく第２の移動体検知手段による追尾を、移動体速度が増大しても常時移動ベクトル法によって高精度で行なうことができる。
【００５７】
以上要するに本発明によれば移動体の識別モードにおいては高精度の識別、検知能力を保持し、追尾モードに移ってからは他の移動体との混同を回避して追尾ミスの発生を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る移動体の識別、追尾装置の全体構成図である。
【図２】上記実施形態における第１実施例のフローチャート図である。
【図３】上記実施形態における第２実施例のフローチャート図である。
【図４】上記実施形態における第３実施例のフローチャート図である。
【図５】上記実施形態における背景差分法の制御ブロック図である。
【図６】上記実施形態における移動ベクトル法の制御ブロック図である。
【符号の説明】
１ ＣＣＤカメラ
１２ 旋回制御部
２０ 背景差分法演算部
２１ 縮小画像作成部
２２ 画像縮小率切換スイッチ
２３ 速度測定部
２４ 移動ベクトル法演算部
２５ モード切換スイッチ
Claims (4)
- 撮像装置により移動体を撮像して得られる画像データに基づき前記移動体を識別し、あるいはその動きを追尾する移動体の検知方法において、
前記撮像装置で撮像される画像を用い、前画面と現画面の複数の画面間の差分画像によって移動体を検知する第１の移動体検知手段と、
前記複数の画面間における注目画像の移動ベクトル量に基づいて移動体を検知する第２の移動体検知手段とを具え、
前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
該追尾動作モードで、前記撮像装置の移動の有無を判定し、該撮像装置が静止しているときは前記第１の移動体検知手段に切り換え、該撮像装置が移動しているときは前記第２の移動体検知手段の追尾動作を行うステップを有することを特徴とする移動体の検知方法。 - 撮像装置により移動体を撮像して得られる画像データに基づき前記移動体を識別し、あるいはその動きを追尾する移動体の検知方法において、
前記撮像装置で撮像される画像を用い、前画面と現画面の複数の画面間の差分画像によって移動体を検知する第１の移動体検知手段と、
前記複数の画面間における注目画像の移動ベクトル量に基づいて移動体を検知する第２の移動体検知手段とを具え、
前記第１の移動体検知手段により移動体の有無の識別を行ない、移動体の有の場合に第１の検知手段から第２の検知手段へ切り換えて前記第２の移動体検知手段により移動体の動きを追尾する追尾動作モードに入り、
前記追尾動作モードで、前記画像から移動体の速度を測定し、該速度が一定値を超えるときは前記第１の移動体検知手段による移動体の動きの追尾に切り換え、該速度が一定値以下のときは、前記第２の移動体検知手段による移動体の動きの追尾を継続するステップを有することを特徴とする移動体の検知方法。 - 前記追尾動作モードで前記第２の移動体検知手段による移動体の動きの追尾を行う際に、
前記画像から移動体の速度を測定し、前記画像から所定の縮小率で縮小された縮小画像を縮小率毎に作成し、
前記速度の測定値に対応した縮小画像を選択して該縮小画像に基づき前記第２の移動体検知手段により前記移動体を追尾することを特徴とする請求項１若しくは２記載の移動体の検知方法。 - 前記第１の移動体検知手段あるいは第２の移動体検知手段により算出された前記移動体の位置に対応した方向に前記撮像手段を旋回制御することを特徴とする請求項１若しくは２記載の移動体の検知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27143399A JP3615970B2 (ja) | 1999-09-24 | 1999-09-24 | 移動体の検知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27143399A JP3615970B2 (ja) | 1999-09-24 | 1999-09-24 | 移動体の検知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001092976A JP2001092976A (ja) | 2001-04-06 |
| JP3615970B2 true JP3615970B2 (ja) | 2005-02-02 |
Family
ID=17499970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27143399A Expired - Fee Related JP3615970B2 (ja) | 1999-09-24 | 1999-09-24 | 移動体の検知方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3615970B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4498296B2 (ja) * | 2006-03-23 | 2010-07-07 | 三洋電機株式会社 | 物体検出装置 |
| JP5102475B2 (ja) * | 2006-10-26 | 2012-12-19 | 日立アロカメディカル株式会社 | 超音波診断装置 |
| JP5157692B2 (ja) * | 2008-07-08 | 2013-03-06 | 日産自動車株式会社 | 移動体検出装置及び移動体検出方法 |
| CN103733607B (zh) * | 2011-08-10 | 2015-08-26 | 富士胶片株式会社 | 用于检测运动物体的装置和方法 |
-
1999
- 1999-09-24 JP JP27143399A patent/JP3615970B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001092976A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100360893B1 (ko) | 영상 움직임 보상 장치 및 방법 | |
| EP1855474A1 (en) | Method for generating an interpolated image between two images of an input image sequence | |
| JPH07118784B2 (ja) | テレビジヨン信号の動き検出方法 | |
| JP2003533800A (ja) | Ｍｃアップコンバージョンにおけるハローを低減する動き推定器 | |
| JP4848097B2 (ja) | 移動体の監視方法および装置 | |
| JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
| KR20010043423A (ko) | 카메라 신호 처리 장치 및 카메라 신호 처리 방법 | |
| JP6579727B1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム | |
| JP4161477B2 (ja) | 動き検出方法および動き検出装置 | |
| JPH08223578A (ja) | 動きベクトル探索方法および装置 | |
| JP3615970B2 (ja) | 移動体の検知方法 | |
| JPH04213973A (ja) | 画像ゆれ補正装置 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JPH0686272A (ja) | 動きベクトル検出装置 | |
| JP2001025021A (ja) | 動き検出方法および動き検出装置 | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| JPH06133298A (ja) | 動きベクトル検出装置 | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 | |
| JPH02131690A (ja) | 動き補償回路 | |
| JP2005286643A (ja) | 運動物体自動追尾方法及びその装置 | |
| KR100261806B1 (ko) | 영상재생장치의줌윈도우위치제어방법및회로 | |
| JP2553757B2 (ja) | 撮像装置 | |
| JP3271387B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| JPH0530406A (ja) | 被写体追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041102 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |