JP4302801B2 - 物体追跡方法及び物体追跡装置 - Google Patents
物体追跡方法及び物体追跡装置 Download PDFInfo
- Publication number
- JP4302801B2 JP4302801B2 JP28986498A JP28986498A JP4302801B2 JP 4302801 B2 JP4302801 B2 JP 4302801B2 JP 28986498 A JP28986498 A JP 28986498A JP 28986498 A JP28986498 A JP 28986498A JP 4302801 B2 JP4302801 B2 JP 4302801B2
- Authority
- JP
- Japan
- Prior art keywords
- wave
- detected
- detection
- image
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，撮像視野内に侵入した複数物体を映像信号の中から自動的に検出し，検出した複数物体の動きを自動的に追尾する物体追跡監視装置に係り，特に撮像視野内に波が存在する場合に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視システムは，従来から広く用いられている。しかし，近年，このような映像監視システムにおいて，その監視視野領域内に入り込んでくる侵入物体（例えば，人間や自動車（車両），または，洋上監視においては，船などの移動物体）の検出及び追跡を，モニタに表示される画像を見ながら行う有人監視によるものではなく，カメラ等の撮像装置から入力する画像信号によって侵入物体を自動的に検出し，所定の報知や警報処置が得られるようにした物体追跡システムが要求されるようになってきている。
【０００３】
このような物体追跡システムを実現するためには，先ず，カメラ等の撮像装置から得られた入力画像と基準背景画像（即ち，検出すべき物体の写っていない画像）とを比較し，画素毎に入力画像と基準背景画像との輝度値の差分を求め，その差分値の大きい領域を物体として検出する。この方法は，差分法と呼ばれ，従来から広く用いられている。
【０００４】
この差分法の処理を図１２によって説明する。図１２は差分法における物体検出の原理を説明するための図で，1201は入力画像，1202は基準背景画像，1203は差分画像，1204は二値化画像，1205は画像，1206は監視視野領域内に写った人型の物体，1207は差分画像1203において輝度がしきい値以上の領域，1221は減算器である。図１２において，減算器1221は入力画像1201と予め用意してある基準背景画像1202とについて各画素毎に輝度値の差分を計算し，差分画像1203を出力する。次に差分画像1203における画素毎の輝度値が所定のしきい値未満の画素の輝度値を“ 0 ”，所定のしきい値以上の画素の輝度値を“ 255 ”（１画素の輝度値を8ビットで計算）として二値化画像1204を得る。これによって，入力画像1201に写った人型の物体1206は，二値化画像1204中の画像1205として検出される。
ここで二値化に使用するしきい値は，画像1205等の追跡対象が存在している画素が“ 255 ”，追跡対象が存在していない画素は“ 0 ”となるように分離できる値を経験的に設定する。例えば，以降で説明する本実施例においては，しきい値を“ 20 ”に設定している。
【０００５】
次に従来の物体の自動追跡の方法を図１３によって説明する。物体の自動追跡は，上述したような差分法による物体の検出を逐次的に行ない，各時刻毎の検出物体の画像上の検出位置（例えば，重心位置変化）に基き対象物体の動きを求めることにより行なう。
図１３は，差分法による検出物体の追跡方法の基本的な処理の一例を示すフローチャートである。
先ず，画像入力ステップ101ではカメラ等の撮像装置から入力画像1201を得てステップ102に進む。次に差分処理ステップ102では，入力画像1201の輝度値と予め用意した物体の存在しない基準背景画像1202の輝度値とを画素毎に差分処理することによって，差分画像1203を得てステップ103に進む。二値化処理ステップ103では，差分画像1203の画素値が予め決められた所定のしきい値未満の画素を“ 0 ”，しきい値以上を“ 255 ”とし，二値化画像1204を得てステップ1304に進む。物体検出ステップ1304では，二値化画像1204の輝度値“ 1 ”となる画像1205の領域を例えばラベリング処理によって抽出を行い，抽出された領域の面積が予め決められた所定の面積範囲内にあれば撮像視野内に侵入した物体として検出しステップ1305に進む。検出物体分岐ステップ1305では，検出物体が存在した場合にはステップ1306に進み，検出物体が存在しなかった場合にはステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。位置変化検出ステップ1306では，検出物体と１フレーム前の物体検出ステップでの検出物体との検出位置の変化を求めた後，ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。ここで“１フレーム前”とは、以下の図１４の説明するについて，時刻t0現在の時刻とすると、時刻t0-1の時刻をいう。
【０００６】
図１３の各ステップの流れを図１４を用いて説明する。図１３は差分法を用いた検出物体の追跡原理を説明する図で、1401，1402，1403，1404は画像、1405，1406，1407は検出物体、1408，1409，1410は重心位置、1411は画像、1412，1413は変位である。先ず、図１３で説明した処理により、画像入力ステップ101と差分処理ステップ102と二値化処理ステップ103と物体検出ステップ1304によって視野内の物体が検出される。図１４において、画像1401は時刻t0-1における二値化画像、画像1402は時刻t0における二値化画像、画像1403は時刻t0+1における二値化画像を表す。また、画像1404は前記二値化画像1401，1402，1403のすべての検出物体1405，1406，1407と各検出物体のそれぞれの重心位置1408，1409，1410を、説明のため同時に表したものである。
尚この例では、検出物体の代表位置を重心としているが、検出領域の例えば、上端、下端、外接多角形の中心等、対象物体の位置を表すものであれば他の値でもよい。
ここで、重心Cは、f(x,y)を差分の二値化画像（しきい値未満を“ 0 ”、しきい値以上を“ 255 ”）として、式(1)で表すことができる。
【０００７】
【数１】
【０００８】
ただし[B]は、B となる画素数である。画像1411は、各時刻での重心位置1408，1409，1410を、説明のため同時に表したものである。位置変化算出ステップ1306では、時刻t0-1、t0、およびt0+1のそれぞれの時刻で得られた検出物体の動きを画像1411におけるそれぞれの時刻の重心位置1408，1409，1410について連続する時刻での変位、すなわち、時刻t0-1、t0の間の動きは重心1408，1409の変位1412、t0、t0+1の間の動きは重心1409，1410の変位1413を算出する。したがって、画像1404のように検出された物体1405，1406，1407は、時刻t0-1、t0、およびt0+1で重心1408，1409，1410と移動したと判定できる。
上述の差分法を用いた追跡法の応用例としては、例えば、特願平１０−１３０５４０号に記載されている発明がある。
【０００９】
しかし，差分法は，カメラ等の撮像装置からの入力画像と予め用意した背景画像との画素毎の差分を基に物体を検出するため，洋上の波のような追跡対象以外の動きを持った物体も同様に検出する。そして上述のように，従来の追跡法では，検出された物体の大きさや面積が所定の範囲内の物体を追跡の対象物体とする判定をしているため，波と対象物体とが重なって検出される時には，予め設定した面積よりも大きく検出されてしまい対象物体外と判定され，対象物体の見逃しが生じ，確実に対象物体のみを追跡することができない。また，二値化のしきい値を波が穏かな時に設定した場合には波を除外できたとしても，波が荒くなると除外できない。即ち，波が穏かな場合と荒い場合のように，波の状態全てを満足するしきい値を決定することが困難である。
【００１０】
【発明が解決しようとする課題】
前述の従来技術には，以下の欠点があった。即ち，
洋上施設に侵入する物体を監視追跡する自動物体追跡装置では，波を追跡対象物体と誤認して検出する。また，波と追跡対象物体とが重なって検出された場合，波か追跡対象物体かの認識が困難であった。更に，波を追跡対象から除外しようとすればするほど，波以外の追跡対象物体までも除外してしまい追跡対象物体の見逃しが増大する。しかし，逆に波を追跡対象から除外する条件を緩めると，誤認が多くなると同時に追跡処理量が多くなり，即応的な追跡が困難であった。また，波の状態の変化や周囲の環境の変化によって設定条件が変化するため，恒常的に適する条件設定が困難であった。
【００１１】
本発明の目的は，上記のような欠点を除去し，信頼性の高い物体追跡監視装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために，本発明は，検出された物体の検出領域の形状または面積の少なくともいずれかに基いて，検出物体を複数の種類に分類したものである。
【００１３】
即ち，撮像視野内に波が存在しうる場所を含む領域を監視する上で，追跡対象以外の物体である波と追跡対象とを分類して認識し，誤検出を低減させたものである。そのため，波が検出された場合の検出領域形状の特徴を利用したものである。即ち，洋上監視を行う場合には，通常対象までの距離がカメラを設置する高さに比べ十分長くなり，対象から見たカメラの仰角は小さくなる。そのため，明るさ変動の激しい海面のうねり部分として観測される波は，波の振幅に対して波長の方が見かけ上大きく観測される。即ち，波は横長に検出されることが多いという特徴がある。そこで，本発明は物体検出で検出される領域の形状・面積情報を基に，追跡対象から波の検出領域を除外するようにしたものである。
【００１４】
このため，本発明はカメラ等の撮像装置によって得られた画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算するステップと，その差分値の大きな画素を物体の存在する画素とし，その画素の領域を検出するステップと，検出された領域の形状情報を基に，検出領域が波による誤検出か否かを判定して，検出領域が波による誤検出と判定された場合にその検出領域を追跡対象から除外するステップを設け，波の誤検出を低減させるようにしたものである。
【００１５】
さらに，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類するステップと，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体が存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外するステップを設け，波と判定された検出領域を追跡対象から除外して波の誤検出を低減させるようにしたものである。
【００１６】
更にまた，前記検出領域の形状情報から，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外するステップを設け，所定値以下の波の高さで検出される波の誤検出を低減するようにしたものである。
【００１７】
更にまた，前記検出領域の縦方向の大きさが所定の波と判定する最大の大きさより大きかった検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外するステップを設け，波と判定された検出領域を追跡対象から除外して，波の誤検出を低減するようにしたものである。
【００１８】
更にまた，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類するステップと，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外するステップと，外接矩形領域に占める割合が所定値以下と判定された検出領域に対して，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外するステップと，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外するステップを設け，波と判定される検出領域を追跡対象から除外し，波の誤検出を低減させるようにしたものである。
【００１９】
また，本発明の目的を達成するもう一つのアプローチとして，前記波と判定された検出領域を波候補とし，追跡処理の過程で記憶した検出物体の波候補判定結果の系列を，過去に溯って解析することで対象物体と波とを分類して波を除外するようにしたものである。
【００２０】
本発明は，カメラ等の撮像装置によって得られた画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算するステップと，その差分値の大きな画素の領域を物体が存在する画素とし，その画素の領域を逐次検出するステップと，該検出物体の検出位置・時間と過去に検出された物体の検出位置・時間の位置変化をもとに該検出物体を追跡するステップと，検出された領域の形状情報を基に検出領域が波による誤検出か否かを判定して，検出領域が波による誤検出と判定された場合にその検出物体を波候補とするステップと，検出物体の波候補判定結果の系列を逐次記憶するステップと，過去に溯って波候補と判定された検出物体の数の割合を計算するステップと，波候補と判定された検出物体が所定の割合以上であった場合に，その検出物体を波と判定して追跡対象から除外するステップを設け，波の誤認識を低減させるようにしたものである。
【００２１】
さらに，検出物体の外接矩形領域の縦横比を求め，外接矩形の形状を横長，縦長のいずれかに分類するステップと，検出物体の外接矩形領域の形状が横長と分類された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出物体を波候補と判定するステップと，検出物体の波候補判定結果の系列を記憶するステップと，過去に溯って波候補と判定された検出物体の数の割合を計算するステップと，波候補と判定された検出物体が所定の割合以上であった場合に，その検出物体を波と判定して追跡対象から除外するステップを設け，波と判定される検出領域を追跡対象から除外して波の誤認識を低減させながら対象物体を追跡するようにしたものである。
【００２２】
更にまた，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出物体を波候補とするステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２３】
更にまた，前記検出物体の縦方向の大きさが所定の波と判定する最大の大きさより大きかった場合，検出物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，該投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する最大の大きさよりも小さい検出物体を波候補と判定するステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２４】
更にまた，検出物体の外接矩形の縦横比を求め，外接矩形の形状を横長，縦長のいずれかに分類するステップと，検出物体の外接矩形領域の形状が横長と判定された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を計算するステップと，外接矩形領域に占める割合が所定値以上と判定された検出物体を波候補として判定するステップと，外接矩形領域に占める割合が所定値以下と判定された検出物体に対して，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出物体を波候補として判定するステップと，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出物体に対して，検出物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，該投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する該投影画素の数が予め設定した対象物体の横方向の見かけの大きさよりも小さい検出物体を波候補として判定するステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２５】
即ち本発明は，洋上を監視対象とする監視範囲を撮像するカメラ等の撮像装置と，該カメラ等の撮像装置からの信号を画像信号に変換する画像入力インターフェース手段と，少なくともＣＰＵと画像メモリとワークメモリとプログラムメモリとによって前記の画像信号を処理する処理手段を有する物体追跡監視装置において，該テレビジョンカメラより得られた入力画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算する手段と，その差分値の大きな画素を物体の存在する画素とし，物体の存在する画素の領域を検出する手段と，更にまた，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類する手段と，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を計算する手段と，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外する手段と，外接矩形領域に占める割合が所定値以下と判定された検出領域に対して，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外する手段と，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算する手段と，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求める手段と，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外する手段を設け，波の誤検出・誤認識を低減させ，対象物体の追跡監視を行うものである。
【００２６】
【発明の実施の形態】
本発明は，検出された波の検出領域形状の特徴を利用したものである。通常，波が発生する場所（例えば，洋上）の監視を行う場合には，対象までの距離がカメラ等の撮像装置を設置する高さに比べ十分長くなり，対象から見たカメラ等の撮像装置の仰角は小さくなる。そのため，明るさ変動が激しい海面のうねり部分として観測される波は，見かけ上，波の高さに対して波の横幅の方が大きく観測される。即ち，波は横長に検出されることが多いという特徴がある。
【００２７】
図１７はカメラの仰角を変えて波を観測した場合に写った波の模式図である。701は波，702はカメラA，703はカメラB，704はカメラA702で観測した波，705はカメラB703で観測した波である。図１７に示すように，仰角の大きいカメラA702で撮影した波704の見かけの高さのほうが，仰角の小さいカメラB703で撮影した波705の見掛けの高さよりも高くなる傾向がある。一方，波の見かけの幅は，カメラの仰角によらずほぼ一定の長さで観測される。即ち，観測される波の横幅はカメラの仰角には関係なく一定であり，観測される見かけの波の高さはカメラの仰角が小さいほど低く，波は横長に観測される。
このように，波が横長に検出されるという特徴は，カメラの設置される高さに比べて観測場所が遠く離れている場合に限られるが，通常の洋上監視環境では一般的な条件と考えられる。
本発明は上記のような波の特性を利用し，物体検出で検出される領域の形状情報を基に，追跡対象から波の検出領域を除外するようにしたものである。
【００２８】
以下で説明する実施例は，洋上に建設された施設に侵入する人を検出する映像監視装置に本発明を適用したもので，施設及び施設の周囲の海面を監視できる位置にテレビジョンカメラ（以下，TVカメラと称する）を設置し，TVカメラによって得られた画像信号を処理して検出される波を除外しながら対象物体（侵入者）を追跡するようにしたものである。
【００２９】
図１１は物体追跡監視装置の構成の一実施例を示すブロック図である。図１１において，1101はテレビジョンカメラ（以下TVカメラと呼ぶ），1102は画像入力I/F，1103はデータバス，1104は画像メモリ，1105はワークメモリ，1106はCPU，1107はプログラムメモリ，1108は出力I/F，1109は画像出力I/F，1110は警告灯，1111は監視モニタである。TVカメラ1101は画像入力I/F1102に接続され，警告灯1110は出力I/F1108に接続され，監視モニタ1111は画像出力I/F1109に接続されている。画像入力I/F1102，画像メモリ1104，ワークメモリ1105，CPU1105，プログラムメモリ1107，出力I/F1108及び画像出力I/F1109は，データバス1103に接続されている。図１１において，TVカメラ1101は監視対象（視野範囲）を撮像する。TVカメラ1101は撮像した画像を映像信号に変換し，映像信号は画像入力I/F1102に入力する。画像入力I/F1102は入力した映像信号を物体追跡装置で扱うフォーマットに変換し，データバス1103を介して画像メモリ1104に送る。画像メモリ1104は送られてきた画像データを蓄積する。CPU1106はプログラムメモリ1107に保存されているプログラムに従って，ワークメモリ1105内で画像メモリ1104に蓄積された画像の解析を行い，その解析した結果をワークメモリ1105に保存する。以上の解析の結果，TVカメラ1101の撮像視野内において対象物体の侵入等の情報を得る。ここでCPU1106は，処理結果に応じてデータバス1103から，出力I/F1108を介して警告灯1110を点灯し，また画像出力I/F1109を介して監視モニタ1111に処理結果画像等の情報を表示する。また出力I/F1108は，CPU1105からの信号を前記警告灯1110が使用できるフォーマットに変換して，警告灯1110に送る。画像出力1/F1109は，CPU1106からの信号を監視モニタ1111が使用できるフォーマットに変換して，警告灯1110に送る。監視モニタ1111は侵入物体検出結果画像を表示する。以下の実施例では，洋上に建設された施設に侵入する人（検出対象が人）の監視を想定して，この図１１の物体追跡監視装置を用いて説明する。
【００３０】
本発明の一実施例を，図１と従来技術において差分法を説明するために用いた図１２によって説明する。
図１は本発明の物体追跡方法を実行する処理の一実施例を示すフローチャートである。画像入力ステップ101では、監視を行うTVカメラ101より例えば画素数（画像サイズ） 320 × 240 pixに対応する入力画像1201を得て，次のステップ102に進む。次に差分処理ステップ102では，入力画像1201と，予め画像メモリ1104に記憶しておいた基準背景画像1202と，画素毎に輝度値の差分を計算し，差分画像1203を取得して次のステップ103に進む。二値化処理ステップ103では，差分画像1203のしきい値処理を行う。即ち，各画素毎に，予め設定した所定のしきい値以上の輝度値をもった画素か否かを判定する。そして所定のしきい値以上の輝度値をもった画素は検出領域として“ 255 ”に変換し，所定のしきい値未満の輝度値をもった画素は非検出領域として“ 0 ”に変換し，二値化画像1204を得て，次のステップ104に進む。領域検出ステップ104では，二値化画像1204の輝度値“ 1 ”となる画像1205の領域を例えばラベリング処理によって抽出を行い，抽出された領域を物体として検出し，次のステップ105に進む。続く検出領域分岐ステップ105では，領域検出ステップ104で検出物体があった場合には波判定ステップ106に進む。また検出物体がなかった場合には画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。次に波判定ステップ106では，検出物体の形状その他の情報を分析して検出物体が波を含んでいるか否かを判定し（例えば検出領域の外接矩形情報を基に波と判定する），検出物体が波であると判定された時はステップ108に進み，波ではないと判定された時はステップ107に進む。除外ステップ108では検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，視野内に検出される波を除外することによって，精度の高い対象物体の追跡を行うことができる。
【００３１】
図１８は，図１３のフローチャート処理によって抽出した後に，抽出した波の領域の縦横比を評価した図である。横軸は波の検出番号（図１８では縦横比の大きい順に並べている），縦軸は波の縦横比を表し，斜線部が検出された波である。目盛は縦軸横軸とも対数で表している。縦横比が1では縦の長さと横幅が同じであり，1より大きい時には検出領域が横長であり，1より小さい時には検出領域が縦長である。図１８は処理フレーム数170について検出される領域を横／縦の値が大きいものから順に表した分布である。図１８によると，波の検出領域の数473個に対して，横長に見える割合は約94．0 ％であった。
また，図１９は図１８と同様にして抽出した人についての縦横比を評価した図である。横軸は人の検出番号（図１９では縦横比の大きい順に並べている），縦軸は人の縦横比を表し，斜線部が検出された人である。目盛は縦軸横軸とも対数で表している。図１９は処理フレーム数260について検出される領域を横／縦の値が大きいものから順に表した分布である。図１９によると，人の検出領域の数340個に対して，横長に見える割合は約99．5 ％であった。人の検出領域のうち約99．5 ％が縦長の形状で検出される理由は，追跡対象物体としての人が洋上施設の上を立って歩いており，撮影するカメラの仰角が小さいと人の横幅よりも身長の方が大きく観測されるためである。
この結果から，外接矩形の形状を縦長か横長かに分類することによって，追跡対象物体か否かを判定する実施例について，図１５と図２のフローチャートを用いて説明する。
【００３２】
図１５は洋上監視を行う場合の一実施例を説明する図である。図２は，検出領域の外接矩形情報に基き，外接矩形領域を縦長，横長のいずれかに分類し，横長と判定された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を基に検出領域が波であるか否かを判定して，波と判定された検出領域を追跡対象から除外して，物体追跡する処理の一実施例を示すフローチャートである。図２のフローチャートは，図１のフローチャートの波判定ステップ106の代りに，横長判定ステップ201と，外接矩形判定ステップ202とを挿入したものである。図１５において，14と15は波， 21は防波堤，31，32は人， 41は灯台，1501は入力画像，1502は差分処理後の画像，1503は侵入した人32のみが検出される検出領域，1504は波14のみが検出される検出領域，1505は波15と人31とが重なって検出される検出領域，1508は検出領域1503の外接矩形，1509は検出領域1504の外接矩形，1510は検出領域1505の検出領域の外接矩形である。図２のフローチャートの処理を，図１５に示す防波堤21に侵入してくる人31，32の監視の例を用いて説明する。
【００３３】
ステップ101からステップ105までの処理は図１で述べた通りなので省略する。横長判定ステップ201では，領域検出ステップ104において検出物体と認識された検出領域の外接矩形について，縦の長さと横の長さをそれぞれ算出し，それらの比を求め，検出領域の形状が縦長か横長かを判定して分岐処理を行う。即ち，横長と判定される検出領域（例えば，検出領域1504や検出領域1505はその外接矩形1509，1510の横幅が縦の長さより大きい）を波の候補として判定してステップ108に進む。また，縦長と判定される検出領域（例えば，検出領域1503はその外接矩形1508の縦の長さが横幅より大きい）を波ではないものと判定してステップ107に進む。次に，外接矩形判定ステップ202では，横長判定ステップ201において横長であると判定された検出領域1504，1505に対して，検出領域とその検出領域の外接矩形との関係を基に検出領域が波であるかを判定する。例えば，物体検出領域の外接矩形それ自体の面積と検出領域の面積の比を計算して，検出領域の外接矩形面積に占める割合を求め，この値と予め決められた所定値（S1）と比較する。ここで検出領域の外接矩形面積に占める割合は，波のみが検出されるような検出領域1505の場合は大きく，一方波と人が重なって検出される検出領域1504の場合は小さくなり，所定値（S1）は，これら２つの検出領域1504，1505が分離できる値（例えば“0．6”）に経験的に設定する。
次に，検出領域1504のように波と追跡対象とが重なっており，かつ外接矩形面積に占める検出領域の割合がS1未満と判定された場合，追跡ステップ107に進む。また，検出領域1505のように，外接矩形面積に占める検出領域の割合がS1以上と判定された検出領域を波として，波除外ステップ108に進む。追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，波除外ステップ108では，検出領域を波と判定して監視対象外の物体として処理した後，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この図２の実施例によれば，監視視野内で横長に検出された波を監視対象外の検出物体として除外することが可能となり精度の高い対象物体の追跡を行うことができる。
【００３４】
本発明の他の実施例について図１６(a)と図３とを用いて説明する。図１６は図１５のように波と人とが重なって検出される検出領域1504が，監視対象物体か否かを判定する方法を説明するための図である。図１６(a)は検出領域1504である。
図３は，検出領域の縦方向の大きさを算出し，その縦方向の大きさに基づいて検出領域が波であるか否を判定して物体追跡する処理の一実施例を示すフローチャートである。図３のフローチャートは，図１の実施例の波判定ステップ106の代りに縦方向大きさ算出ステップ301と縦方向大きさ判定ステップ302を挿入したものである。
ステップ101からステップ105までの処理は図１で述べた通りなので省略する。縦方向大きさ算出ステップ301では，検出領域の縦方向の大きさを算出する。例えば，検出領域の外接矩形1507の情報から外接矩形の縦の大きさを計算して検出領域の縦の大きさとし，次のステップ302に進む。次に縦方向大きさ判定ステップ302では，検出領域の縦の大きさにより検出領域が波であるかを判定する。即ち，検出領域の縦の大きさと波と判定する最大の大きさ（S2）とを比較し，検出領域の縦の大きさが波と判定する最大の大きさ（S2）未満の時に，その検出物体が波であると判定する。ここで波と判定する最大の大きさ（S2）は，検出領域が波である場合には縦の大きさが小さいことを利用して設定した値である。この波と判定する最大の大きさ（S2）が大きければ大きいほど波の誤検出を低減することができる。しかしその反面，対象物体の見逃しの発生も多くなる。したがって，追跡すべき物体が波と判定されて監視対象から除外されないような経験的な値を設定する必要がある。
【００３５】
波と判定する最大の大きさ（S2）を設定する方法の一例として，予め設定した監視視野内での対象物体の縦方向の見かけの大きさの最小値の80％程度に設定する方法がある。例えば，以下に述べる方法がある。
監視する対象物体の縦方向の見かけの大きさ（B）は，
垂直方向のCCDサイズ：T mm，レンズの焦点距離：f mm，対象物体までの距離：Lｍ，対象物体の最低の高さ：Hｍ，垂直方向の画像サイズ：X pixとした場合，
【００３６】
【数２】
【００３７】
となる。また，波と判定する最大の大きさ（S2）は，
【００３８】
【数３】
【００３９】
で表される。
【００４０】
本実施例では1/2型CCD（素子の大きさ横6．5 mm×縦4．8 mm），レンズの焦点距離112 mmを用い，200 m先の対象物体（大きさ横0．5 m×縦0．5 m）を256 × 192 pixの画像で監視している。その時の対象物体の縦方向の見かけの大きさ(B)は，
【００４１】
【数４】
【００４２】
したがって，
【００４３】
【数５】
【００４４】
となることから，波と判定する最大の大きさ（S2）を9 pixに設定している。
このように縦方向大きさ判定ステップ302では，検出物体の縦方向の大きさがS2未満である時にその検出物体を波として判定する。検出物体が，縦方向大きさ判定ステップ302において波と判定された時には波除外ステップ108に進み，検出物体が波ではないと判定された時はステップ107に進む。波除外ステップ108ではその検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，視野内に写る波の高さが，予め設定した波と判定する最大の大きさ（S2）未満で検出される波を，監視対象から除外することによって精度の高い対象物体の追跡を行うことができる。
【００４５】
図３の別の実施例として，図１６(a)，(b)を用いて説明する。図１６(b)は検出領域1504を水平（X）方向に投影した時の，投影画素数のヒストグラムである。1601は投影ヒストグラム，1602は最大の投影画素数である。前述の図３のフローチャートにおいて，図１６(a)の縦方向大きさ算出ステップ301ではまた，図１６(a)で示された検出領域1504をX軸（水平軸）方向に投影して，その投影画素を求め，図１６(b)のように投影ヒストグラム1601を作成し，最大の投影画素数1602を検出領域の縦の大きさとすることによって，検出領域の縦の大きさとすることでもよい。
【００４６】
本発明の他の実施例について図１６(a)，(b)，(c)とを用いて説明する。図１６(c)は図１６(b)のヒストグラムについて，しきい値処理を行った後の投影ヒストグラムである。ここで1603はしきい値処理されたヒストグラム，1604は“ 1 ”の値が連続する幅である。例えば，図１６(b)のヒストグラムについて所定の波と判定する最大の大きさ（S2）を決め，投影画素数がその波と判定する最大の大きさ（S2）以上の時には“ 1 ”とし，投影画素数がその波と判定する最大の大きさ（S2）未満の時には“ 0 ”とする処理を行う。これによって，“ 0 ”と“ 1 ”とで構成されたしきい値処理されたヒストグラム1603が作成される。図４は検出領域を水平軸方向に投影したヒストグラム情報を基に，検出領域が波であるかを判定して，波と判定された検出領域を追跡対象外として除外して，物体追跡する処理の一実施例を表すフローチャートである。図４のフローチャートは，図３のフローチャートの縦方向大きさ判定ステップ302と波除外ステップ108の間に，ステップ401，ステップ402，ステップ403を挿入したものである。
ステップ101からステップ302までの処理は図３で述べた通りなので省略する。投影ヒストグラム算出ステップ401では，検出領域の水平軸方向への投影画素数を算出して投影ヒストグラムを求め，次のステップ402に進む。例えば，この投影ヒストグラムを求める投影ヒストグラム算出ステップ401では，検出領域1504のような検出領域をX軸（水平軸）方向に投影して，その投影画素数から投影ヒストグラム1601を作成する。次に連続投影画素数算出ステップ402では，投影ヒストグラム1601から波と判定する所定の波と判定する最大の大きさ（S2）よりも大きいX方向に連続する投影画素数を算出し，次のステップ403に進む。例えば，連続投影画素数算出ステップ402では，波と判定する最大の大きさ(S2)によって二値化し，しきい値処理されたヒストグラム1603で示すように所定値以上であったものを“ 1 ”，所定値未満であったものを“ 0 ”として，連続する“ 1 ”1604の最大個数を求める。例えば，しきい値処理されたヒストグラム1603の場合には“ 1 ”が６個連続する部分が１つあるので，最大個数は“ 6 ”となる。そして連続投影画素数判定ステップ403では，連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，検出領域が波であるか否かを判定する。例えば，連続投影画素数判定ステップ403では，投影画素数算出ステップ402で求めたX方向に連続する“ 1 ”の数を，波と判定する最大連続数(S3)とを比較し，検出領域が波であるか否かを判定する。図２４は２つの波が縦に重なっている場合の入力画像とその差分処理後の画像の一例を説明する図である。11と12は波，1521は入力画像，1522は差分処理後の画像，1506は重なった二つの波の検出領域，1511は検出領域の外接矩形，1523は検出領域1506の一部で波と波とが繋がっている領域である。ここで，波と判定する最大連続数(S3)は，検出領域1523が複数の波11，12と縦につながって検出される場合に，波11と波12とがつながっている領域1523（斜線部）の横幅(W)が小さく検出されることを利用して設定した値である。この波と判定する最大連続数(S3)もまた，波と判定する最大の大きさ(S2)と同様に，大きければ大きいほど波の誤検出を低減できるが，大きければ大きいほど追跡対象物体の見逃しの発生が多くなる。したがって，追跡対象が波として除外されないように経験的に設定する。この値S3はS2と同様に，例えば，追跡対象物体として設定した対象物体について，標準的な横方向の最小の見かけの大きさの80％に設定する（例えば，9 pix）。したがって，連続する大小の比較を行い，最大連続数(S3)未満であった場合は波として判定し，波と判定された場合は波除外ステップ108に進む。また，最大連続数(S3)以上であった場合はステップ107に進む。除外ステップ108では，波と判定された検出領域を追跡対象から除外しステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。先の実施例の図３によれば，縦の大きさに基づいて波の判定を行っており，複数の波が縦につながっている場合には波として判定されない場合があった。しかしこの図４の実施例によれば，複数の波が縦につながって検出される波に対しても除外しながら，より高い精度で追跡を行うことができる。
【００４７】
更に，本発明の他の実施例について，図５を用いて説明する。図５は，図２，図３，図４で示される実施例を組合せて検出領域が波であるかを判定し，波と判定された検出領域を追跡対象外として除外する処理一実施例を示すフローチャートである。ステップ101からステップ105までの処理は図１で述べた通りなので省略する。まず，横長判定ステップ201では，図２と同様に，領域検出ステップ104において検出物体と認識された検出領域の外接矩形について，検出領域の外接矩形情報から外接矩形領域を横長，縦長のいずれかに分類する。そして，検出領域の形状が横長と判定された場合には，検出領域を波の可能性のあるものと判定して，ステップ202に進む。また，検出領域の形状が縦長と判定された場合には，ステップ107に進む。次に外接矩形判定ステップ202では，横長であると判定された検出領域に対してその外接矩形に占める割合を計算し，この値が所定値(S1)以上であれば波として判定し，ステップ108に進む。また，外接矩形判定ステップ202で波と判定されなかった場合はステップ301に進む。そして縦方向大きさ算出ステップ301では検出領域の縦方向の大きさを算出しステップ302に進む。縦方向大きさ判定ステップ302では，検出領域の縦方向の大きさと所定の波として判定する最大の大きさ(S2)を比較して波であるか否か判定し，縦方向の大きさが小さいものを波であると判定し，ステップ108に進む。また，検出領域の縦方向の大きさが所定の波と判定する最大の大きさ(S2)以上である場合はステップ401に進む。投影ヒストグラム算出ステップ401ではその検出領域の水平方向への投影ヒストグラムを作成し，ステップ402に進む。更に，連続投影画素数算出ステップ402では，投影ヒストグラムから波と判定する所定の最大の大きさ(S2)よりも大きい連続する投影画素数を算出し，次のステップ403に進む。連続投影画素数判定ステップ403では，連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，S3未満の場合に検出領域を波と判定してステップ108に進む。また，S3以上の場合はステップ107に進む。除外ステップ108では，波と判定された検出領域を監視対象から除外しステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。
【００４８】
尚，図５の実施例においては，S1，S2，S3の条件を組合せて波であるか否かを判定できるため，S1，S2，S3の条件を更に広げて設定できる。
例えば，検出領域の外接矩形面積に占める割合は，波のみが検出されるような検出領域1504の場合は大きく，一方波と人が重なって検出される検出領域1505の場合は小さいため，波と人が重なって検出される領域を波として除外しないよう経験的にS1を小さな値に設定していたが，他のステップでも波であるか否かの判定が可能なためもっと大きなS1の値に設定して追跡対象物体の見逃しを低減することができる。
また同様な理由で，検出領域の縦の大きさと波と判定する最大の大きさ(S2)の値を小さくすることができ，更にまた，波と判定する最大連続数(S3)の値を小さくとることができるため，波の判定条件をそれぞれ単独で設定する場合よりも広い範囲で設定することができるため，この実施例によれば，波の誤検出と対象物体の見逃しを低減し，より高い精度で追跡を行うことができる。
【００４９】
これまで述べた実施例においては，以下のアルゴリズムの確認を行っている。
検出される波と人の形状を想定したモデルを作成し，それぞれに対してどの指標を用いて波と人とを分離抽出するかを検討する。（ケース1からケース5）
ケース1：縦長モデル
ケース2：横長モデル（厚み；0．5 m未満）
ケース3：人と波が結合したモデル（厚み；0．5 m未満）
ケース4：波と波とが結合したモデル（厚み；0．5 m未満）
ケース5：ケース3，4以外（厚み；0．5 m未満）
ここで厚みとは，検出された領域の画素を水平方向に投影した時の縦方向の画素数で表し，追跡対象物体とみなす大きさは厚み0．5 m以上としている。また，追跡対象物体とみなす最小の横幅は0．5 m，最大の横幅は2．0 mとしている。また，図２３はこのケースに相当する二値化画像領域の組合せの一例である。この図は図１５の入力画像1501に他の例を加えて入力画像1501′とし，差分処理後の画像1502もまた入力画像1501′に応じて変更されたことによって差分処理後の画像1502′とし，ケース1からケース5を示した図である。図２３の符号は図１５と同じものには同じ番号を付しており，その他，1506は波11と波12とが重なって検出される検出領域（図２４の例を再掲），1507は大きな波13が検出される検出領域，1511は検出領域1506の検出領域の外接矩形，1512は検出領域1507の検出領域の外接矩形である。そしてケース1が領域1503と1508，ケース2が領域1504と1509の組合せ，ケース3が領域1505と1510の組合せ，ケース4が領域1506と1511の組合せ，ケース5が領域1507と1512の組合せである。
【００５０】
これらのケースのうち，少なくともケース1とケース3は波と判定されてはならない。そこで，以下のような5種類の指標を用いて，明らかに波と判定できる検出領域を分類するアルゴリズムを検討した。
指標1：検出物体が縦長
指標2：検出物体の外接矩形面積に占める検出物体の割合が一定値以上
指標3：外接矩形の横の長さが2．0 m以下
指標4：検出物体の縦方向の厚みが0．5 m以上
指標5：検出物体領域中に追跡対象と考えられる大きさが含まれる
図２０にこれらの指標を使って各ケースを分類した結果をまとめる。図２０は検出ケースと指標との関係を表した図である。この図において，○印はその指標の条件を満足するもの，×印はその指標の条件を満足しないもの，△印は検出領域の形状によってその指標の条件を満足するものがある場合を表している。
【００５１】
図２０が示すように，人が含まれるケース1，3のみを検出分類する指標はない。しかし，これらの指標を組合せてケース1，3を少なくとも人として，追跡対象から見逃さないように分類する。
図２１は，上述の条件を満足させるための波の誤検出抑制アルゴリズムである。先ず，指標1により，縦長に検出されるケース1を人として分類する。以降は，指標2，5を組合せてケース3，4を分類する。尚，ケース5については，例えば，厚みが0．5m以上でかつ横長に観測される検出領域であるが，人と波が重なっているのか，大きな波が検出されたのかを判定することができない。尚，図２０と図２１において，物体領域の大きさの単位“m”は，前述の図３によって説明した実施例における見かけの大きさ(B)と画素の関係と同様に処理される。
【００５２】
図２２は，従来技術と上述のアルゴリズム処理即ち図５の実施例を用いた時との波の誤検出数を示す。この図は，処理フレーム数120の間に除去できなかった波の検出数を示している。図２２に示すように，従来技術による面積に対するしきい値処理からでは987個の波が検出されたことになるが，本発明によって359個にまで制限でき，61％の誤検出領域を明らかに波と判定して除去できた。
【００５３】
本発明の別の実施例について，図６を用いて説明する。図６の実施例は１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域の形状から検出領域が波か否かを判定し，波と判定された検出領域を追跡対象から除外する処理の一実施例を示すフローチャートである。図６のフローチャートは，図１のステップ106の代りにステップ601からステップ606を挿入したものである。601は追跡処理ステップ，602は波候補判定ステップ，603は波候補設定ステップ，604は波候補記憶ステップ，605は波候補割合算出ステップ，606は波候補判定ステップである。図６において，ステップ101からステップ105までの処理は図１で述べた通りなので省略する。追跡処理ステップ601では，ステップ105で検出された検出物体の追跡を行いステップ602に進む。波候補判定ステップ602では，検出物体の形状を評価し検出物体を波と判定した場合はステップ603に進み，波ではないと判定した場合はステップ604に進む。波候補設定ステップ603は，波と判定した検出物体を波候補として，ステップ604に進む。波候補記憶ステップ604では，追跡された検出物体毎に波候補判定結果の系列を記憶し，ステップ605に進む。波候補割合算出ステップ605では，追跡された検出物体毎に検出物体の記憶されている過去の波候補判定結果のうち波候補と判定された検出物体の個数を求め，追跡された検出物体に対して波候補と判定された検出物体の割合を求めステップ606に進む。波候補判定ステップ606では，波候補と判定された検出物体の個数の割合を基に検出物体が波であるかを判定する。ここで波と判定された場合は108に進み，波ではないと判定された場合はステップ107に進む。追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，波除外ステップ108では，検出領域を波と判定して追跡対象外の物体として処理した後，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。
【００５４】
追跡処理ステップ601では，例えば，従来技術において図１４を用いて説明した物体追跡方法を用いて検出物体を追跡して，ステップ602に進む。波候補判定ステップ602では，検出物体の形状から検出物体が波と判定できるか否かに応じて分岐する。先ず，検出物体の形状によって，検出物体を波と判定した場合にはステップ603に進み，波と判定できない場合にはステップ604に進む。波候補設定ステップ603では，波と判定した検出物体を波候補として，ステップ604に進む。波候補記憶ステップ604では，検出物体の波候補判定結果の系列を記憶し，ステップ605に進む。波候補割合算出ステップ605では，波候補判定結果の系列を基に検出物体の過去の波候補判定結果のうち波候補と判定された個数を求め，追跡された検出物体に対して波候補と判定された検出物体の割合を求め，ステップ606に進む。波候補判定ステップ606では，波候補と判定された検出物体の個数の割合と所定値(S4)と比較する。波候補と判定された検出物体の個数の割合がS4以上の場合にはステップ108に進み，S4未満の場合にはステップ107に進む。ここで，S4は，追跡した検出物体のうち波候補と判定された割合によって，検出物体を波と判定する際のしきい値で経験的に決めるものである（例えば，“0．5”）。即ち，検出物体の過去の波候補判定結果の波候補の割合がS4以上であるの場合は，その検出物体を波と判定し，また，検出物体の過去の波候補判定結果の波候補の割合がS4未満である場合は，その検出物体を波ではないと判定する。除外ステップ108では検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，過去の検出物体の形状変化から，波の誤認識を低減させながら対象物体をより精度の高い認識を行うことができる。
【００５５】
本発明の他の実施例について，図７を用いて説明する。この実施例は１フレームで検出される領域の形状によって波と判断するだけではなく，過去に検出された領域の外接矩形領域を縦長，横長のいずれかに分類し，横長と判定された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を基に検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外するものである。この一実施例を表したフローチャートが図７である。図７のフローチャートは，図６の実施例の波候補判定ステップ602の代りに検出物体の形状が横長か縦長かを判定する横長判定ステップ201と，横長であると判定された検出物体に対して，検出領域の物体の存在する画素の外接矩形に占める割合を基に検出物体が波であるかを判定する外接矩形判定ステップ202とを加えたものである。横長判定ステップ201では，検出物体の形状が縦長か横長かを判定する。例えば，検出領域の外接矩形の縦の長さと横の長さをそれぞれ算出し，それらの比を求め縦長か横長かを判定し，縦長と判定した場合はステップ604に進み，横長と判定した場合はステップ202に進む。外接矩形判定ステップ202では，検出物体の外接矩形に占める割合により検出物体が波であるかを判定する。例えば，検出物体の外接矩形の面積と検出物体の面積の比を計算して，検出物体の外接矩形に占める割合を求め，この値と所定値(S1)と比較する。そして，外接矩形に占める検出領域の割合がS1未満と判定された場合にはステップ603に進み，外接矩形に占める検出領域の割合がS1以上と判定された場合にはステップ604に進む。ステップ603から以降のステップは図６の実施例と同様なので，説明は省略する。
【００５６】
尚，先述の図１の実施例では所定値(S1)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより所定値(S1)を，追跡対象物体の見逃しを更に少なくするように設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，視野内に横長に検出される波の誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５７】
本発明の他の実施例について図８を用いて説明する。この実施例は，１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域の縦方向の大きさを算出し，その縦方向の大きさに基づいて検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象物体から除外するものである。この一実施例を表したフローチャートが図８である。図８のフローチャートは図６の実施例の波候補判定ステップ602の代りに検出物体の縦方向の大きさを算出する縦方向大きさ算出ステップ301と検出物体の縦方向の大きさを基に検出物体が波候補であるかを判定する縦方向大きさ判定ステップ302を加えたものである。縦方向大きさ算出ステップ301では，例えば検出物体の外接矩形情報から外接矩形の縦の大きさを計算して検出物体の縦の大きさとする。そして，投影ヒストグラムの最大の投影画素数1602を検出領域の縦の大きさとしてステップ302に進む。縦方向大きさ判定ステップ302では，検出物体の縦の大きさと所定の波と判定する最大の大きさ(S2)を比較する。検出物体の縦方向の大きさがS2以上と判定された場合はステップ603に進み，検出物体の縦方向の大きさがS2未満と判定された場合，ステップ604に進む。尚，ステップ603から以降のステップは図６の実施例と同様なので，説明は省略する。先の実施例では波と判定する最大の大きさ(S2)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより波と判定する最大の大きさ(S2)の設定値を，追跡対象物体の見逃しを更に少なくするよう，更に小さく設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，視野内に写る波の高さが予め設定した波と判定する最大の大きさ以下に検出される波の誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５８】
本発明の他の実施例について図９を用いて説明する。この実施例は，１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域を水平軸方向に投影したヒストグラム情報を基に，検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外するものである。この一実施例を表したフローチャートが図９である。図９のフローチャートは，図８の実施例において，縦方向大きさ判定ステップ302と波候補設定ステップ603の間に，検出物体の水平軸方向への投影画素数を算出してヒストグラムを求める投影ヒストグラム算出ステップ401と，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素数を算出する連続投影画素数算出ステップ402と，連続する投影画素の数と所定の波と判定する大きさと比較し，検出領域が波であるかを判定する連続投影画素数判定ステップ403とを挿入したものである。図９において，ステップ101からステップ302及びステップ603から以降のステップについては図８と同様であるので説明は省略する。投影ヒストグラム算出ステップ401では，検出領域1504のように検出領域をX軸（水平軸）方向に投影して，その投影画素を求め投影ヒストグラム1601を作成し，ステップ402に進む。更に連続投影画素数算出ステップ402では，波と判定する最大の大きさ(S2)を用いて二値化を行い，二値化投影ヒストグラム1603のように所定値以上であったものを“ 1 ”，所定値未満であったものを“ 0 ”として，連続する“ 1 ”の最大個数を求め，ステップ403に進む。図１６(c)の二値化投影ヒストグラム1603の例では“ 6 ”である。更に，連続投影画素数判定ステップ403では，連続する“ 1 ”の数と波と判定する最大連続数(S3)とを比較し，検出領域が波であるかを判定し，S3未満と判定された場合，検出物体を波候補とするステップ603に進み，検出物体の縦方向の大きさがS3以上と判定された場合，ステップ604に進む。尚，先の実施例では波と判定する最大連続数(S3)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより波と判定する最大連続数(S3)を，対象物体の見逃しを更に少なくするように，更に小さく設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，複数の波が縦につながって検出される波に対しても誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５９】
更に，本発明の他の実施例について，図１０を用いて説明する。図１０のフローチャートは，図７，図８，図９で示される実施例を組合せ，過去に検出された物体の形状変化から検出物体が波候補であるかを判定し，その結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外する処理によって物体追跡処理を行う一実施例を示す。ステップ101からステップ601及びステップ603以降の処理は図７，図８，図９と同様なので説明を省略する。先ず，横長判定ステップ201では，検出物体の外接矩形情報から外接矩形領域を横長，縦長のいずれかに分類し，横長と判定された検出物体を波の可能性のあるものかを判定しステップ202に進む。また縦長と判定された場合はステップ604に進む。次に，外接矩形判定ステップ202では，横長であると判定された検出領域に対してその外接矩形に占める割合を計算し，この値が所定値(S1)以上であれば波候補として判定し，ステップ604に進み，所定値(S1)未満であればステップ301に進む。次に外接矩形判定ステップ301では，検出物体の形状が波候補と判定されなかったものに対して，縦方向大きさ算出を行い，検出物体の縦方向の大きさを算出する。次に縦方向大きさ判定ステップ302では，検出物体の縦方向の大きさと所定の波と判定する最大の大きさ（S2）を比較して波候補であるか判定し，縦方向の大きさが小さいものを波候補であるとして判定する。先ず，検出物体の縦方向の大きさが波と判定する最大の大きさ（S2）以上である場合は，ステップ401に進み，波と判定する最大の大きさ（S2）未満であればステップ604に進む。投影ヒストグラム算出ステップ401では，その検出物体の水平方向への投影ヒストグラムを作成し，ステップ402に進む。更に，連続投影画素数算出ステップ402では，投影ヒストグラムから対象物体の縦の大きさよりも大きい投影画素を算出しステップ403に進む。次に，連続投影画素数判定ステップ403では，対象物体の縦の大きさよりも大きい連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，検出物体が波候補であるかを判定する。例えば，検出物体が波候補と判定された場合，検出物体を波候補とするステップ603に進み，波候補と判定されなかった場合，ステップ604に進む。尚，前述の図５の実施例ではS1，S2，S3を用いて，１フレームの検出結果のみから検出物体が波であるかを判定する様に構成していたが，この実施例では，過去の判定結果を用いることによりS1，S2，S3を，対象物体の見逃しを更に少なくするよう，更にS1を大きく，更にS2を小さく，更にS3を小さく設定することができる。したがって図１０の実施例によれば，過去の検出物体の形状変化から，波の誤認識と対象物体の見逃しを低減しつつ，更により高い精度で追跡を行うことができる。
【００６０】
【発明の効果】
以上のように本発明によれば，追跡対象物体と非追跡対象物体（例えば，波）とを正確に分離でき，追跡対象物体を見逃すことなく正確かつ迅速で即応的に物体追跡を行うことができる。更に，物体（例えば，波）の動きの状態変化や周囲の環境の変化にも追随して，恒常的に適する条件設定を行うことができることによって，正確かつ迅速で即応的に物体追跡を行うことができる。
【図面の簡単な説明】
【図１】 本発明の動作の一実施例を示すフローチャート。
【図２】 本発明の動作の一実施例を示すフローチャート。
【図３】 本発明の動作の一実施例を示すフローチャート。
【図４】 本発明の動作の一実施例を示すフローチャート。
【図５】 本発明の動作の一実施例を示すフローチャート。
【図６】 本発明の動作の一実施例を示すフローチャート。
【図７】 本発明の動作の一実施例を示すフローチャート。
【図８】 本発明の動作の一実施例を示すフローチャート。
【図９】 本発明の動作の一実施例を示すフローチャート。
【図１０】 本発明の動作の一実施例を示すフローチャート。
【図１１】 物体追跡監視装置の構成の一例を示すブロック図。
【図１２】 差分法の物体検出原理を説明するブロック図。
【図１３】 従来の物体追跡方法を示すフローチャート。
【図１４】 従来の物体追跡方法を説明する図。
【図１５】 差分法により洋上監視を行う実施例を説明する図。
【図１６】 本発明の一実施例を説明する図。
【図１７】 カメラの仰角を変えて波を観測した場合に写った波の模式図。
【図１８】 二値化処理によって抽出した波の領域の縦横比を評価した図。
【図１９】 二値化処理によって抽出した人の領域の縦横比を評価した図。
【図２０】 検出ケースと指標との関係を表した図。
【図２１】 波の誤検出抑制アルゴリズム。
【図２２】 従来技術と本発明による波の誤検出数の違いを示す図。
【図２３】 検出ケースを説明する図。
【図２４】 ２つの波が縦に重なっている場合の入力画像とその差分処理後の画像の一例を説明する図。
【符号の説明】
11，12，13，14，15：波、 21：防波堤、 31，32：人、 41：灯台、 101：画像入力ステップ、 102：差分処理ステップ、 103：二値化処理ステップ、 104：領域検出ステップ、 105：検出領域分岐ステップ、 106：波判定ステップ、 107：追跡ステップ、 108：除外ステップ、 201：横長判定ステップ、 202：外接矩形判定ステップ、 301：縦方向大きさ算出ステップ、 302：縦方向大きさ判定ステップ、 401：投影ヒストグラム算出ステップ、 402：連続投影画素数算出ステップ、 403：連続投影画素数判定ステップ、 601：追跡処理ステップ、 602：波候補判定ステップ、 603：波候補設定ステップ、 604：波候補記憶ステップ、 605：波候補割合算出ステップ、 606：波候補判定ステップ、 1101：TVカメラ、 1102：画像入力I/F、 1103：データバス、 1104：画像メモリ、 1105：ワークメモリ、 1106：CPU、 1107：プログラムメモリ、 1108：出力I/F、 1109：画像出力I/F、 1110：警告灯、 1111：監視モニタ、 1201：入力画像、 1202：基準背景画像、 1203：差分画像、 1204：二値化画像、 1205：画像、1206：監視視野領域内に写った人型の物体、 1207：差分画像における輝度がしきい値以上の領域、 1221：減算器、 1304：物体検出ステップ、 1305：検出物体分岐ステップ、 1306：位置変化検出ステップ、 1401，1402，1403，1404：画像、 1405，1406，1407：検出物体、 1408，1409，1410：重心位置、 1411：画像、 1412，1413：変位、 1501，1501′，1521：入力画像、 1502，1502′，1522：差分処理後の画像、 1503，1504，1505，1506，1507：検出領域、 1508，1509，1510，1511，1512：検出領域の外接矩形、 1523：波と波とが繋がっている領域、 1601：投影ヒストグラム、 1602：最大の投影画素数、 1603：しきい値処理されたヒストグラム、 1604：“ 1 ”の値が連続する幅、
【発明の属する技術分野】
本発明は，撮像視野内に侵入した複数物体を映像信号の中から自動的に検出し，検出した複数物体の動きを自動的に追尾する物体追跡監視装置に係り，特に撮像視野内に波が存在する場合に関する。
【０００２】
【従来の技術】
カメラ等の撮像装置を用いた映像監視システムは，従来から広く用いられている。しかし，近年，このような映像監視システムにおいて，その監視視野領域内に入り込んでくる侵入物体（例えば，人間や自動車（車両），または，洋上監視においては，船などの移動物体）の検出及び追跡を，モニタに表示される画像を見ながら行う有人監視によるものではなく，カメラ等の撮像装置から入力する画像信号によって侵入物体を自動的に検出し，所定の報知や警報処置が得られるようにした物体追跡システムが要求されるようになってきている。
【０００３】
このような物体追跡システムを実現するためには，先ず，カメラ等の撮像装置から得られた入力画像と基準背景画像（即ち，検出すべき物体の写っていない画像）とを比較し，画素毎に入力画像と基準背景画像との輝度値の差分を求め，その差分値の大きい領域を物体として検出する。この方法は，差分法と呼ばれ，従来から広く用いられている。
【０００４】
この差分法の処理を図１２によって説明する。図１２は差分法における物体検出の原理を説明するための図で，1201は入力画像，1202は基準背景画像，1203は差分画像，1204は二値化画像，1205は画像，1206は監視視野領域内に写った人型の物体，1207は差分画像1203において輝度がしきい値以上の領域，1221は減算器である。図１２において，減算器1221は入力画像1201と予め用意してある基準背景画像1202とについて各画素毎に輝度値の差分を計算し，差分画像1203を出力する。次に差分画像1203における画素毎の輝度値が所定のしきい値未満の画素の輝度値を“ 0 ”，所定のしきい値以上の画素の輝度値を“ 255 ”（１画素の輝度値を8ビットで計算）として二値化画像1204を得る。これによって，入力画像1201に写った人型の物体1206は，二値化画像1204中の画像1205として検出される。
ここで二値化に使用するしきい値は，画像1205等の追跡対象が存在している画素が“ 255 ”，追跡対象が存在していない画素は“ 0 ”となるように分離できる値を経験的に設定する。例えば，以降で説明する本実施例においては，しきい値を“ 20 ”に設定している。
【０００５】
次に従来の物体の自動追跡の方法を図１３によって説明する。物体の自動追跡は，上述したような差分法による物体の検出を逐次的に行ない，各時刻毎の検出物体の画像上の検出位置（例えば，重心位置変化）に基き対象物体の動きを求めることにより行なう。
図１３は，差分法による検出物体の追跡方法の基本的な処理の一例を示すフローチャートである。
先ず，画像入力ステップ101ではカメラ等の撮像装置から入力画像1201を得てステップ102に進む。次に差分処理ステップ102では，入力画像1201の輝度値と予め用意した物体の存在しない基準背景画像1202の輝度値とを画素毎に差分処理することによって，差分画像1203を得てステップ103に進む。二値化処理ステップ103では，差分画像1203の画素値が予め決められた所定のしきい値未満の画素を“ 0 ”，しきい値以上を“ 255 ”とし，二値化画像1204を得てステップ1304に進む。物体検出ステップ1304では，二値化画像1204の輝度値“ 1 ”となる画像1205の領域を例えばラベリング処理によって抽出を行い，抽出された領域の面積が予め決められた所定の面積範囲内にあれば撮像視野内に侵入した物体として検出しステップ1305に進む。検出物体分岐ステップ1305では，検出物体が存在した場合にはステップ1306に進み，検出物体が存在しなかった場合にはステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。位置変化検出ステップ1306では，検出物体と１フレーム前の物体検出ステップでの検出物体との検出位置の変化を求めた後，ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。ここで“１フレーム前”とは、以下の図１４の説明するについて，時刻t0現在の時刻とすると、時刻t0-1の時刻をいう。
【０００６】
図１３の各ステップの流れを図１４を用いて説明する。図１３は差分法を用いた検出物体の追跡原理を説明する図で、1401，1402，1403，1404は画像、1405，1406，1407は検出物体、1408，1409，1410は重心位置、1411は画像、1412，1413は変位である。先ず、図１３で説明した処理により、画像入力ステップ101と差分処理ステップ102と二値化処理ステップ103と物体検出ステップ1304によって視野内の物体が検出される。図１４において、画像1401は時刻t0-1における二値化画像、画像1402は時刻t0における二値化画像、画像1403は時刻t0+1における二値化画像を表す。また、画像1404は前記二値化画像1401，1402，1403のすべての検出物体1405，1406，1407と各検出物体のそれぞれの重心位置1408，1409，1410を、説明のため同時に表したものである。
尚この例では、検出物体の代表位置を重心としているが、検出領域の例えば、上端、下端、外接多角形の中心等、対象物体の位置を表すものであれば他の値でもよい。
ここで、重心Cは、f(x,y)を差分の二値化画像（しきい値未満を“ 0 ”、しきい値以上を“ 255 ”）として、式(1)で表すことができる。
【０００７】
【数１】
ただし[B]は、B となる画素数である。画像1411は、各時刻での重心位置1408，1409，1410を、説明のため同時に表したものである。位置変化算出ステップ1306では、時刻t0-1、t0、およびt0+1のそれぞれの時刻で得られた検出物体の動きを画像1411におけるそれぞれの時刻の重心位置1408，1409，1410について連続する時刻での変位、すなわち、時刻t0-1、t0の間の動きは重心1408，1409の変位1412、t0、t0+1の間の動きは重心1409，1410の変位1413を算出する。したがって、画像1404のように検出された物体1405，1406，1407は、時刻t0-1、t0、およびt0+1で重心1408，1409，1410と移動したと判定できる。
上述の差分法を用いた追跡法の応用例としては、例えば、特願平１０−１３０５４０号に記載されている発明がある。
【０００９】
しかし，差分法は，カメラ等の撮像装置からの入力画像と予め用意した背景画像との画素毎の差分を基に物体を検出するため，洋上の波のような追跡対象以外の動きを持った物体も同様に検出する。そして上述のように，従来の追跡法では，検出された物体の大きさや面積が所定の範囲内の物体を追跡の対象物体とする判定をしているため，波と対象物体とが重なって検出される時には，予め設定した面積よりも大きく検出されてしまい対象物体外と判定され，対象物体の見逃しが生じ，確実に対象物体のみを追跡することができない。また，二値化のしきい値を波が穏かな時に設定した場合には波を除外できたとしても，波が荒くなると除外できない。即ち，波が穏かな場合と荒い場合のように，波の状態全てを満足するしきい値を決定することが困難である。
【００１０】
【発明が解決しようとする課題】
前述の従来技術には，以下の欠点があった。即ち，
洋上施設に侵入する物体を監視追跡する自動物体追跡装置では，波を追跡対象物体と誤認して検出する。また，波と追跡対象物体とが重なって検出された場合，波か追跡対象物体かの認識が困難であった。更に，波を追跡対象から除外しようとすればするほど，波以外の追跡対象物体までも除外してしまい追跡対象物体の見逃しが増大する。しかし，逆に波を追跡対象から除外する条件を緩めると，誤認が多くなると同時に追跡処理量が多くなり，即応的な追跡が困難であった。また，波の状態の変化や周囲の環境の変化によって設定条件が変化するため，恒常的に適する条件設定が困難であった。
【００１１】
本発明の目的は，上記のような欠点を除去し，信頼性の高い物体追跡監視装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために，本発明は，検出された物体の検出領域の形状または面積の少なくともいずれかに基いて，検出物体を複数の種類に分類したものである。
【００１３】
即ち，撮像視野内に波が存在しうる場所を含む領域を監視する上で，追跡対象以外の物体である波と追跡対象とを分類して認識し，誤検出を低減させたものである。そのため，波が検出された場合の検出領域形状の特徴を利用したものである。即ち，洋上監視を行う場合には，通常対象までの距離がカメラを設置する高さに比べ十分長くなり，対象から見たカメラの仰角は小さくなる。そのため，明るさ変動の激しい海面のうねり部分として観測される波は，波の振幅に対して波長の方が見かけ上大きく観測される。即ち，波は横長に検出されることが多いという特徴がある。そこで，本発明は物体検出で検出される領域の形状・面積情報を基に，追跡対象から波の検出領域を除外するようにしたものである。
【００１４】
このため，本発明はカメラ等の撮像装置によって得られた画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算するステップと，その差分値の大きな画素を物体の存在する画素とし，その画素の領域を検出するステップと，検出された領域の形状情報を基に，検出領域が波による誤検出か否かを判定して，検出領域が波による誤検出と判定された場合にその検出領域を追跡対象から除外するステップを設け，波の誤検出を低減させるようにしたものである。
【００１５】
さらに，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類するステップと，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体が存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外するステップを設け，波と判定された検出領域を追跡対象から除外して波の誤検出を低減させるようにしたものである。
【００１６】
更にまた，前記検出領域の形状情報から，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外するステップを設け，所定値以下の波の高さで検出される波の誤検出を低減するようにしたものである。
【００１７】
更にまた，前記検出領域の縦方向の大きさが所定の波と判定する最大の大きさより大きかった検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外するステップを設け，波と判定された検出領域を追跡対象から除外して，波の誤検出を低減するようにしたものである。
【００１８】
更にまた，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類するステップと，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外するステップと，外接矩形領域に占める割合が所定値以下と判定された検出領域に対して，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外するステップと，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外するステップを設け，波と判定される検出領域を追跡対象から除外し，波の誤検出を低減させるようにしたものである。
【００１９】
また，本発明の目的を達成するもう一つのアプローチとして，前記波と判定された検出領域を波候補とし，追跡処理の過程で記憶した検出物体の波候補判定結果の系列を，過去に溯って解析することで対象物体と波とを分類して波を除外するようにしたものである。
【００２０】
本発明は，カメラ等の撮像装置によって得られた画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算するステップと，その差分値の大きな画素の領域を物体が存在する画素とし，その画素の領域を逐次検出するステップと，該検出物体の検出位置・時間と過去に検出された物体の検出位置・時間の位置変化をもとに該検出物体を追跡するステップと，検出された領域の形状情報を基に検出領域が波による誤検出か否かを判定して，検出領域が波による誤検出と判定された場合にその検出物体を波候補とするステップと，検出物体の波候補判定結果の系列を逐次記憶するステップと，過去に溯って波候補と判定された検出物体の数の割合を計算するステップと，波候補と判定された検出物体が所定の割合以上であった場合に，その検出物体を波と判定して追跡対象から除外するステップを設け，波の誤認識を低減させるようにしたものである。
【００２１】
さらに，検出物体の外接矩形領域の縦横比を求め，外接矩形の形状を横長，縦長のいずれかに分類するステップと，検出物体の外接矩形領域の形状が横長と分類された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を計算するステップと，該外接矩形領域に占める割合が所定値以上と判定された検出物体を波候補と判定するステップと，検出物体の波候補判定結果の系列を記憶するステップと，過去に溯って波候補と判定された検出物体の数の割合を計算するステップと，波候補と判定された検出物体が所定の割合以上であった場合に，その検出物体を波と判定して追跡対象から除外するステップを設け，波と判定される検出領域を追跡対象から除外して波の誤認識を低減させながら対象物体を追跡するようにしたものである。
【００２２】
更にまた，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出物体を波候補とするステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２３】
更にまた，前記検出物体の縦方向の大きさが所定の波と判定する最大の大きさより大きかった場合，検出物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，該投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する投影画素の数が所定の波と判定する最大の大きさよりも小さい検出物体を波候補と判定するステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２４】
更にまた，検出物体の外接矩形の縦横比を求め，外接矩形の形状を横長，縦長のいずれかに分類するステップと，検出物体の外接矩形領域の形状が横長と判定された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を計算するステップと，外接矩形領域に占める割合が所定値以上と判定された検出物体を波候補として判定するステップと，外接矩形領域に占める割合が所定値以下と判定された検出物体に対して，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出物体を波候補として判定するステップと，検出物体の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出物体に対して，検出物体の存在する画素を水平方向に投影したヒストグラムを計算するステップと，該投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求めるステップと，連続する該投影画素の数が予め設定した対象物体の横方向の見かけの大きさよりも小さい検出物体を波候補として判定するステップを設け，過去に溯って波候補と判定された検出物体の数の割合が所定値以上であった場合に，その検出物体を波と判定して追跡対象から除外して，波の誤認識を低減させながら波の誤認識を低減するようにしたものである。
【００２５】
即ち本発明は，洋上を監視対象とする監視範囲を撮像するカメラ等の撮像装置と，該カメラ等の撮像装置からの信号を画像信号に変換する画像入力インターフェース手段と，少なくともＣＰＵと画像メモリとワークメモリとプログラムメモリとによって前記の画像信号を処理する処理手段を有する物体追跡監視装置において，該テレビジョンカメラより得られた入力画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算する手段と，その差分値の大きな画素を物体の存在する画素とし，物体の存在する画素の領域を検出する手段と，更にまた，前記検出領域の形状情報から，検出領域の外接矩形の縦横比を求め，領域の形状を横長，縦長のいずれかに分類する手段と，検出領域の外接矩形領域の形状が横長と分類された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を計算する手段と，該外接矩形領域に占める割合が所定値以上と判定された検出領域を追跡対象から除外する手段と，外接矩形領域に占める割合が所定値以下と判定された検出領域に対して，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも小さい検出領域を追跡対象から除外する手段と，検出領域の縦方向の大きさが所定の波と判定する最大の大きさよりも大きいと判定された検出領域に対して，検出領域の物体の存在する画素を水平方向に投影したヒストグラムを計算する手段と，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素を求める手段と，連続する投影画素の数が所定の波と判定する大きさよりも小さい検出領域を追跡対象から除外する手段を設け，波の誤検出・誤認識を低減させ，対象物体の追跡監視を行うものである。
【００２６】
【発明の実施の形態】
本発明は，検出された波の検出領域形状の特徴を利用したものである。通常，波が発生する場所（例えば，洋上）の監視を行う場合には，対象までの距離がカメラ等の撮像装置を設置する高さに比べ十分長くなり，対象から見たカメラ等の撮像装置の仰角は小さくなる。そのため，明るさ変動が激しい海面のうねり部分として観測される波は，見かけ上，波の高さに対して波の横幅の方が大きく観測される。即ち，波は横長に検出されることが多いという特徴がある。
【００２７】
図１７はカメラの仰角を変えて波を観測した場合に写った波の模式図である。701は波，702はカメラA，703はカメラB，704はカメラA702で観測した波，705はカメラB703で観測した波である。図１７に示すように，仰角の大きいカメラA702で撮影した波704の見かけの高さのほうが，仰角の小さいカメラB703で撮影した波705の見掛けの高さよりも高くなる傾向がある。一方，波の見かけの幅は，カメラの仰角によらずほぼ一定の長さで観測される。即ち，観測される波の横幅はカメラの仰角には関係なく一定であり，観測される見かけの波の高さはカメラの仰角が小さいほど低く，波は横長に観測される。
このように，波が横長に検出されるという特徴は，カメラの設置される高さに比べて観測場所が遠く離れている場合に限られるが，通常の洋上監視環境では一般的な条件と考えられる。
本発明は上記のような波の特性を利用し，物体検出で検出される領域の形状情報を基に，追跡対象から波の検出領域を除外するようにしたものである。
【００２８】
以下で説明する実施例は，洋上に建設された施設に侵入する人を検出する映像監視装置に本発明を適用したもので，施設及び施設の周囲の海面を監視できる位置にテレビジョンカメラ（以下，TVカメラと称する）を設置し，TVカメラによって得られた画像信号を処理して検出される波を除外しながら対象物体（侵入者）を追跡するようにしたものである。
【００２９】
図１１は物体追跡監視装置の構成の一実施例を示すブロック図である。図１１において，1101はテレビジョンカメラ（以下TVカメラと呼ぶ），1102は画像入力I/F，1103はデータバス，1104は画像メモリ，1105はワークメモリ，1106はCPU，1107はプログラムメモリ，1108は出力I/F，1109は画像出力I/F，1110は警告灯，1111は監視モニタである。TVカメラ1101は画像入力I/F1102に接続され，警告灯1110は出力I/F1108に接続され，監視モニタ1111は画像出力I/F1109に接続されている。画像入力I/F1102，画像メモリ1104，ワークメモリ1105，CPU1105，プログラムメモリ1107，出力I/F1108及び画像出力I/F1109は，データバス1103に接続されている。図１１において，TVカメラ1101は監視対象（視野範囲）を撮像する。TVカメラ1101は撮像した画像を映像信号に変換し，映像信号は画像入力I/F1102に入力する。画像入力I/F1102は入力した映像信号を物体追跡装置で扱うフォーマットに変換し，データバス1103を介して画像メモリ1104に送る。画像メモリ1104は送られてきた画像データを蓄積する。CPU1106はプログラムメモリ1107に保存されているプログラムに従って，ワークメモリ1105内で画像メモリ1104に蓄積された画像の解析を行い，その解析した結果をワークメモリ1105に保存する。以上の解析の結果，TVカメラ1101の撮像視野内において対象物体の侵入等の情報を得る。ここでCPU1106は，処理結果に応じてデータバス1103から，出力I/F1108を介して警告灯1110を点灯し，また画像出力I/F1109を介して監視モニタ1111に処理結果画像等の情報を表示する。また出力I/F1108は，CPU1105からの信号を前記警告灯1110が使用できるフォーマットに変換して，警告灯1110に送る。画像出力1/F1109は，CPU1106からの信号を監視モニタ1111が使用できるフォーマットに変換して，警告灯1110に送る。監視モニタ1111は侵入物体検出結果画像を表示する。以下の実施例では，洋上に建設された施設に侵入する人（検出対象が人）の監視を想定して，この図１１の物体追跡監視装置を用いて説明する。
【００３０】
本発明の一実施例を，図１と従来技術において差分法を説明するために用いた図１２によって説明する。
図１は本発明の物体追跡方法を実行する処理の一実施例を示すフローチャートである。画像入力ステップ101では、監視を行うTVカメラ101より例えば画素数（画像サイズ） 320 × 240 pixに対応する入力画像1201を得て，次のステップ102に進む。次に差分処理ステップ102では，入力画像1201と，予め画像メモリ1104に記憶しておいた基準背景画像1202と，画素毎に輝度値の差分を計算し，差分画像1203を取得して次のステップ103に進む。二値化処理ステップ103では，差分画像1203のしきい値処理を行う。即ち，各画素毎に，予め設定した所定のしきい値以上の輝度値をもった画素か否かを判定する。そして所定のしきい値以上の輝度値をもった画素は検出領域として“ 255 ”に変換し，所定のしきい値未満の輝度値をもった画素は非検出領域として“ 0 ”に変換し，二値化画像1204を得て，次のステップ104に進む。領域検出ステップ104では，二値化画像1204の輝度値“ 1 ”となる画像1205の領域を例えばラベリング処理によって抽出を行い，抽出された領域を物体として検出し，次のステップ105に進む。続く検出領域分岐ステップ105では，領域検出ステップ104で検出物体があった場合には波判定ステップ106に進む。また検出物体がなかった場合には画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。次に波判定ステップ106では，検出物体の形状その他の情報を分析して検出物体が波を含んでいるか否かを判定し（例えば検出領域の外接矩形情報を基に波と判定する），検出物体が波であると判定された時はステップ108に進み，波ではないと判定された時はステップ107に進む。除外ステップ108では検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，視野内に検出される波を除外することによって，精度の高い対象物体の追跡を行うことができる。
【００３１】
図１８は，図１３のフローチャート処理によって抽出した後に，抽出した波の領域の縦横比を評価した図である。横軸は波の検出番号（図１８では縦横比の大きい順に並べている），縦軸は波の縦横比を表し，斜線部が検出された波である。目盛は縦軸横軸とも対数で表している。縦横比が1では縦の長さと横幅が同じであり，1より大きい時には検出領域が横長であり，1より小さい時には検出領域が縦長である。図１８は処理フレーム数170について検出される領域を横／縦の値が大きいものから順に表した分布である。図１８によると，波の検出領域の数473個に対して，横長に見える割合は約94．0 ％であった。
また，図１９は図１８と同様にして抽出した人についての縦横比を評価した図である。横軸は人の検出番号（図１９では縦横比の大きい順に並べている），縦軸は人の縦横比を表し，斜線部が検出された人である。目盛は縦軸横軸とも対数で表している。図１９は処理フレーム数260について検出される領域を横／縦の値が大きいものから順に表した分布である。図１９によると，人の検出領域の数340個に対して，横長に見える割合は約99．5 ％であった。人の検出領域のうち約99．5 ％が縦長の形状で検出される理由は，追跡対象物体としての人が洋上施設の上を立って歩いており，撮影するカメラの仰角が小さいと人の横幅よりも身長の方が大きく観測されるためである。
この結果から，外接矩形の形状を縦長か横長かに分類することによって，追跡対象物体か否かを判定する実施例について，図１５と図２のフローチャートを用いて説明する。
【００３２】
図１５は洋上監視を行う場合の一実施例を説明する図である。図２は，検出領域の外接矩形情報に基き，外接矩形領域を縦長，横長のいずれかに分類し，横長と判定された検出領域に対して，検出領域の物体の存在する画素の外接矩形領域に占める割合を基に検出領域が波であるか否かを判定して，波と判定された検出領域を追跡対象から除外して，物体追跡する処理の一実施例を示すフローチャートである。図２のフローチャートは，図１のフローチャートの波判定ステップ106の代りに，横長判定ステップ201と，外接矩形判定ステップ202とを挿入したものである。図１５において，14と15は波， 21は防波堤，31，32は人， 41は灯台，1501は入力画像，1502は差分処理後の画像，1503は侵入した人32のみが検出される検出領域，1504は波14のみが検出される検出領域，1505は波15と人31とが重なって検出される検出領域，1508は検出領域1503の外接矩形，1509は検出領域1504の外接矩形，1510は検出領域1505の検出領域の外接矩形である。図２のフローチャートの処理を，図１５に示す防波堤21に侵入してくる人31，32の監視の例を用いて説明する。
【００３３】
ステップ101からステップ105までの処理は図１で述べた通りなので省略する。横長判定ステップ201では，領域検出ステップ104において検出物体と認識された検出領域の外接矩形について，縦の長さと横の長さをそれぞれ算出し，それらの比を求め，検出領域の形状が縦長か横長かを判定して分岐処理を行う。即ち，横長と判定される検出領域（例えば，検出領域1504や検出領域1505はその外接矩形1509，1510の横幅が縦の長さより大きい）を波の候補として判定してステップ108に進む。また，縦長と判定される検出領域（例えば，検出領域1503はその外接矩形1508の縦の長さが横幅より大きい）を波ではないものと判定してステップ107に進む。次に，外接矩形判定ステップ202では，横長判定ステップ201において横長であると判定された検出領域1504，1505に対して，検出領域とその検出領域の外接矩形との関係を基に検出領域が波であるかを判定する。例えば，物体検出領域の外接矩形それ自体の面積と検出領域の面積の比を計算して，検出領域の外接矩形面積に占める割合を求め，この値と予め決められた所定値（S1）と比較する。ここで検出領域の外接矩形面積に占める割合は，波のみが検出されるような検出領域1505の場合は大きく，一方波と人が重なって検出される検出領域1504の場合は小さくなり，所定値（S1）は，これら２つの検出領域1504，1505が分離できる値（例えば“0．6”）に経験的に設定する。
次に，検出領域1504のように波と追跡対象とが重なっており，かつ外接矩形面積に占める検出領域の割合がS1未満と判定された場合，追跡ステップ107に進む。また，検出領域1505のように，外接矩形面積に占める検出領域の割合がS1以上と判定された検出領域を波として，波除外ステップ108に進む。追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，波除外ステップ108では，検出領域を波と判定して監視対象外の物体として処理した後，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この図２の実施例によれば，監視視野内で横長に検出された波を監視対象外の検出物体として除外することが可能となり精度の高い対象物体の追跡を行うことができる。
【００３４】
本発明の他の実施例について図１６(a)と図３とを用いて説明する。図１６は図１５のように波と人とが重なって検出される検出領域1504が，監視対象物体か否かを判定する方法を説明するための図である。図１６(a)は検出領域1504である。
図３は，検出領域の縦方向の大きさを算出し，その縦方向の大きさに基づいて検出領域が波であるか否を判定して物体追跡する処理の一実施例を示すフローチャートである。図３のフローチャートは，図１の実施例の波判定ステップ106の代りに縦方向大きさ算出ステップ301と縦方向大きさ判定ステップ302を挿入したものである。
ステップ101からステップ105までの処理は図１で述べた通りなので省略する。縦方向大きさ算出ステップ301では，検出領域の縦方向の大きさを算出する。例えば，検出領域の外接矩形1507の情報から外接矩形の縦の大きさを計算して検出領域の縦の大きさとし，次のステップ302に進む。次に縦方向大きさ判定ステップ302では，検出領域の縦の大きさにより検出領域が波であるかを判定する。即ち，検出領域の縦の大きさと波と判定する最大の大きさ（S2）とを比較し，検出領域の縦の大きさが波と判定する最大の大きさ（S2）未満の時に，その検出物体が波であると判定する。ここで波と判定する最大の大きさ（S2）は，検出領域が波である場合には縦の大きさが小さいことを利用して設定した値である。この波と判定する最大の大きさ（S2）が大きければ大きいほど波の誤検出を低減することができる。しかしその反面，対象物体の見逃しの発生も多くなる。したがって，追跡すべき物体が波と判定されて監視対象から除外されないような経験的な値を設定する必要がある。
【００３５】
波と判定する最大の大きさ（S2）を設定する方法の一例として，予め設定した監視視野内での対象物体の縦方向の見かけの大きさの最小値の80％程度に設定する方法がある。例えば，以下に述べる方法がある。
監視する対象物体の縦方向の見かけの大きさ（B）は，
垂直方向のCCDサイズ：T mm，レンズの焦点距離：f mm，対象物体までの距離：Lｍ，対象物体の最低の高さ：Hｍ，垂直方向の画像サイズ：X pixとした場合，
【００３６】
【数２】
となる。また，波と判定する最大の大きさ（S2）は，
【００３８】
【数３】
で表される。
【００４０】
本実施例では1/2型CCD（素子の大きさ横6．5 mm×縦4．8 mm），レンズの焦点距離112 mmを用い，200 m先の対象物体（大きさ横0．5 m×縦0．5 m）を256 × 192 pixの画像で監視している。その時の対象物体の縦方向の見かけの大きさ(B)は，
【００４１】
【数４】
したがって，
【００４３】
【数５】
となることから，波と判定する最大の大きさ（S2）を9 pixに設定している。
このように縦方向大きさ判定ステップ302では，検出物体の縦方向の大きさがS2未満である時にその検出物体を波として判定する。検出物体が，縦方向大きさ判定ステップ302において波と判定された時には波除外ステップ108に進み，検出物体が波ではないと判定された時はステップ107に進む。波除外ステップ108ではその検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，視野内に写る波の高さが，予め設定した波と判定する最大の大きさ（S2）未満で検出される波を，監視対象から除外することによって精度の高い対象物体の追跡を行うことができる。
【００４５】
図３の別の実施例として，図１６(a)，(b)を用いて説明する。図１６(b)は検出領域1504を水平（X）方向に投影した時の，投影画素数のヒストグラムである。1601は投影ヒストグラム，1602は最大の投影画素数である。前述の図３のフローチャートにおいて，図１６(a)の縦方向大きさ算出ステップ301ではまた，図１６(a)で示された検出領域1504をX軸（水平軸）方向に投影して，その投影画素を求め，図１６(b)のように投影ヒストグラム1601を作成し，最大の投影画素数1602を検出領域の縦の大きさとすることによって，検出領域の縦の大きさとすることでもよい。
【００４６】
本発明の他の実施例について図１６(a)，(b)，(c)とを用いて説明する。図１６(c)は図１６(b)のヒストグラムについて，しきい値処理を行った後の投影ヒストグラムである。ここで1603はしきい値処理されたヒストグラム，1604は“ 1 ”の値が連続する幅である。例えば，図１６(b)のヒストグラムについて所定の波と判定する最大の大きさ（S2）を決め，投影画素数がその波と判定する最大の大きさ（S2）以上の時には“ 1 ”とし，投影画素数がその波と判定する最大の大きさ（S2）未満の時には“ 0 ”とする処理を行う。これによって，“ 0 ”と“ 1 ”とで構成されたしきい値処理されたヒストグラム1603が作成される。図４は検出領域を水平軸方向に投影したヒストグラム情報を基に，検出領域が波であるかを判定して，波と判定された検出領域を追跡対象外として除外して，物体追跡する処理の一実施例を表すフローチャートである。図４のフローチャートは，図３のフローチャートの縦方向大きさ判定ステップ302と波除外ステップ108の間に，ステップ401，ステップ402，ステップ403を挿入したものである。
ステップ101からステップ302までの処理は図３で述べた通りなので省略する。投影ヒストグラム算出ステップ401では，検出領域の水平軸方向への投影画素数を算出して投影ヒストグラムを求め，次のステップ402に進む。例えば，この投影ヒストグラムを求める投影ヒストグラム算出ステップ401では，検出領域1504のような検出領域をX軸（水平軸）方向に投影して，その投影画素数から投影ヒストグラム1601を作成する。次に連続投影画素数算出ステップ402では，投影ヒストグラム1601から波と判定する所定の波と判定する最大の大きさ（S2）よりも大きいX方向に連続する投影画素数を算出し，次のステップ403に進む。例えば，連続投影画素数算出ステップ402では，波と判定する最大の大きさ(S2)によって二値化し，しきい値処理されたヒストグラム1603で示すように所定値以上であったものを“ 1 ”，所定値未満であったものを“ 0 ”として，連続する“ 1 ”1604の最大個数を求める。例えば，しきい値処理されたヒストグラム1603の場合には“ 1 ”が６個連続する部分が１つあるので，最大個数は“ 6 ”となる。そして連続投影画素数判定ステップ403では，連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，検出領域が波であるか否かを判定する。例えば，連続投影画素数判定ステップ403では，投影画素数算出ステップ402で求めたX方向に連続する“ 1 ”の数を，波と判定する最大連続数(S3)とを比較し，検出領域が波であるか否かを判定する。図２４は２つの波が縦に重なっている場合の入力画像とその差分処理後の画像の一例を説明する図である。11と12は波，1521は入力画像，1522は差分処理後の画像，1506は重なった二つの波の検出領域，1511は検出領域の外接矩形，1523は検出領域1506の一部で波と波とが繋がっている領域である。ここで，波と判定する最大連続数(S3)は，検出領域1523が複数の波11，12と縦につながって検出される場合に，波11と波12とがつながっている領域1523（斜線部）の横幅(W)が小さく検出されることを利用して設定した値である。この波と判定する最大連続数(S3)もまた，波と判定する最大の大きさ(S2)と同様に，大きければ大きいほど波の誤検出を低減できるが，大きければ大きいほど追跡対象物体の見逃しの発生が多くなる。したがって，追跡対象が波として除外されないように経験的に設定する。この値S3はS2と同様に，例えば，追跡対象物体として設定した対象物体について，標準的な横方向の最小の見かけの大きさの80％に設定する（例えば，9 pix）。したがって，連続する大小の比較を行い，最大連続数(S3)未満であった場合は波として判定し，波と判定された場合は波除外ステップ108に進む。また，最大連続数(S3)以上であった場合はステップ107に進む。除外ステップ108では，波と判定された検出領域を追跡対象から除外しステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。先の実施例の図３によれば，縦の大きさに基づいて波の判定を行っており，複数の波が縦につながっている場合には波として判定されない場合があった。しかしこの図４の実施例によれば，複数の波が縦につながって検出される波に対しても除外しながら，より高い精度で追跡を行うことができる。
【００４７】
更に，本発明の他の実施例について，図５を用いて説明する。図５は，図２，図３，図４で示される実施例を組合せて検出領域が波であるかを判定し，波と判定された検出領域を追跡対象外として除外する処理一実施例を示すフローチャートである。ステップ101からステップ105までの処理は図１で述べた通りなので省略する。まず，横長判定ステップ201では，図２と同様に，領域検出ステップ104において検出物体と認識された検出領域の外接矩形について，検出領域の外接矩形情報から外接矩形領域を横長，縦長のいずれかに分類する。そして，検出領域の形状が横長と判定された場合には，検出領域を波の可能性のあるものと判定して，ステップ202に進む。また，検出領域の形状が縦長と判定された場合には，ステップ107に進む。次に外接矩形判定ステップ202では，横長であると判定された検出領域に対してその外接矩形に占める割合を計算し，この値が所定値(S1)以上であれば波として判定し，ステップ108に進む。また，外接矩形判定ステップ202で波と判定されなかった場合はステップ301に進む。そして縦方向大きさ算出ステップ301では検出領域の縦方向の大きさを算出しステップ302に進む。縦方向大きさ判定ステップ302では，検出領域の縦方向の大きさと所定の波として判定する最大の大きさ(S2)を比較して波であるか否か判定し，縦方向の大きさが小さいものを波であると判定し，ステップ108に進む。また，検出領域の縦方向の大きさが所定の波と判定する最大の大きさ(S2)以上である場合はステップ401に進む。投影ヒストグラム算出ステップ401ではその検出領域の水平方向への投影ヒストグラムを作成し，ステップ402に進む。更に，連続投影画素数算出ステップ402では，投影ヒストグラムから波と判定する所定の最大の大きさ(S2)よりも大きい連続する投影画素数を算出し，次のステップ403に進む。連続投影画素数判定ステップ403では，連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，S3未満の場合に検出領域を波と判定してステップ108に進む。また，S3以上の場合はステップ107に進む。除外ステップ108では，波と判定された検出領域を監視対象から除外しステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。
【００４８】
尚，図５の実施例においては，S1，S2，S3の条件を組合せて波であるか否かを判定できるため，S1，S2，S3の条件を更に広げて設定できる。
例えば，検出領域の外接矩形面積に占める割合は，波のみが検出されるような検出領域1504の場合は大きく，一方波と人が重なって検出される検出領域1505の場合は小さいため，波と人が重なって検出される領域を波として除外しないよう経験的にS1を小さな値に設定していたが，他のステップでも波であるか否かの判定が可能なためもっと大きなS1の値に設定して追跡対象物体の見逃しを低減することができる。
また同様な理由で，検出領域の縦の大きさと波と判定する最大の大きさ(S2)の値を小さくすることができ，更にまた，波と判定する最大連続数(S3)の値を小さくとることができるため，波の判定条件をそれぞれ単独で設定する場合よりも広い範囲で設定することができるため，この実施例によれば，波の誤検出と対象物体の見逃しを低減し，より高い精度で追跡を行うことができる。
【００４９】
これまで述べた実施例においては，以下のアルゴリズムの確認を行っている。
検出される波と人の形状を想定したモデルを作成し，それぞれに対してどの指標を用いて波と人とを分離抽出するかを検討する。（ケース1からケース5）
ケース1：縦長モデル
ケース2：横長モデル（厚み；0．5 m未満）
ケース3：人と波が結合したモデル（厚み；0．5 m未満）
ケース4：波と波とが結合したモデル（厚み；0．5 m未満）
ケース5：ケース3，4以外（厚み；0．5 m未満）
ここで厚みとは，検出された領域の画素を水平方向に投影した時の縦方向の画素数で表し，追跡対象物体とみなす大きさは厚み0．5 m以上としている。また，追跡対象物体とみなす最小の横幅は0．5 m，最大の横幅は2．0 mとしている。また，図２３はこのケースに相当する二値化画像領域の組合せの一例である。この図は図１５の入力画像1501に他の例を加えて入力画像1501′とし，差分処理後の画像1502もまた入力画像1501′に応じて変更されたことによって差分処理後の画像1502′とし，ケース1からケース5を示した図である。図２３の符号は図１５と同じものには同じ番号を付しており，その他，1506は波11と波12とが重なって検出される検出領域（図２４の例を再掲），1507は大きな波13が検出される検出領域，1511は検出領域1506の検出領域の外接矩形，1512は検出領域1507の検出領域の外接矩形である。そしてケース1が領域1503と1508，ケース2が領域1504と1509の組合せ，ケース3が領域1505と1510の組合せ，ケース4が領域1506と1511の組合せ，ケース5が領域1507と1512の組合せである。
【００５０】
これらのケースのうち，少なくともケース1とケース3は波と判定されてはならない。そこで，以下のような5種類の指標を用いて，明らかに波と判定できる検出領域を分類するアルゴリズムを検討した。
指標1：検出物体が縦長
指標2：検出物体の外接矩形面積に占める検出物体の割合が一定値以上
指標3：外接矩形の横の長さが2．0 m以下
指標4：検出物体の縦方向の厚みが0．5 m以上
指標5：検出物体領域中に追跡対象と考えられる大きさが含まれる
図２０にこれらの指標を使って各ケースを分類した結果をまとめる。図２０は検出ケースと指標との関係を表した図である。この図において，○印はその指標の条件を満足するもの，×印はその指標の条件を満足しないもの，△印は検出領域の形状によってその指標の条件を満足するものがある場合を表している。
【００５１】
図２０が示すように，人が含まれるケース1，3のみを検出分類する指標はない。しかし，これらの指標を組合せてケース1，3を少なくとも人として，追跡対象から見逃さないように分類する。
図２１は，上述の条件を満足させるための波の誤検出抑制アルゴリズムである。先ず，指標1により，縦長に検出されるケース1を人として分類する。以降は，指標2，5を組合せてケース3，4を分類する。尚，ケース5については，例えば，厚みが0．5m以上でかつ横長に観測される検出領域であるが，人と波が重なっているのか，大きな波が検出されたのかを判定することができない。尚，図２０と図２１において，物体領域の大きさの単位“m”は，前述の図３によって説明した実施例における見かけの大きさ(B)と画素の関係と同様に処理される。
【００５２】
図２２は，従来技術と上述のアルゴリズム処理即ち図５の実施例を用いた時との波の誤検出数を示す。この図は，処理フレーム数120の間に除去できなかった波の検出数を示している。図２２に示すように，従来技術による面積に対するしきい値処理からでは987個の波が検出されたことになるが，本発明によって359個にまで制限でき，61％の誤検出領域を明らかに波と判定して除去できた。
【００５３】
本発明の別の実施例について，図６を用いて説明する。図６の実施例は１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域の形状から検出領域が波か否かを判定し，波と判定された検出領域を追跡対象から除外する処理の一実施例を示すフローチャートである。図６のフローチャートは，図１のステップ106の代りにステップ601からステップ606を挿入したものである。601は追跡処理ステップ，602は波候補判定ステップ，603は波候補設定ステップ，604は波候補記憶ステップ，605は波候補割合算出ステップ，606は波候補判定ステップである。図６において，ステップ101からステップ105までの処理は図１で述べた通りなので省略する。追跡処理ステップ601では，ステップ105で検出された検出物体の追跡を行いステップ602に進む。波候補判定ステップ602では，検出物体の形状を評価し検出物体を波と判定した場合はステップ603に進み，波ではないと判定した場合はステップ604に進む。波候補設定ステップ603は，波と判定した検出物体を波候補として，ステップ604に進む。波候補記憶ステップ604では，追跡された検出物体毎に波候補判定結果の系列を記憶し，ステップ605に進む。波候補割合算出ステップ605では，追跡された検出物体毎に検出物体の記憶されている過去の波候補判定結果のうち波候補と判定された検出物体の個数を求め，追跡された検出物体に対して波候補と判定された検出物体の割合を求めステップ606に進む。波候補判定ステップ606では，波候補と判定された検出物体の個数の割合を基に検出物体が波であるかを判定する。ここで波と判定された場合は108に進み，波ではないと判定された場合はステップ107に進む。追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，波除外ステップ108では，検出領域を波と判定して追跡対象外の物体として処理した後，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。
【００５４】
追跡処理ステップ601では，例えば，従来技術において図１４を用いて説明した物体追跡方法を用いて検出物体を追跡して，ステップ602に進む。波候補判定ステップ602では，検出物体の形状から検出物体が波と判定できるか否かに応じて分岐する。先ず，検出物体の形状によって，検出物体を波と判定した場合にはステップ603に進み，波と判定できない場合にはステップ604に進む。波候補設定ステップ603では，波と判定した検出物体を波候補として，ステップ604に進む。波候補記憶ステップ604では，検出物体の波候補判定結果の系列を記憶し，ステップ605に進む。波候補割合算出ステップ605では，波候補判定結果の系列を基に検出物体の過去の波候補判定結果のうち波候補と判定された個数を求め，追跡された検出物体に対して波候補と判定された検出物体の割合を求め，ステップ606に進む。波候補判定ステップ606では，波候補と判定された検出物体の個数の割合と所定値(S4)と比較する。波候補と判定された検出物体の個数の割合がS4以上の場合にはステップ108に進み，S4未満の場合にはステップ107に進む。ここで，S4は，追跡した検出物体のうち波候補と判定された割合によって，検出物体を波と判定する際のしきい値で経験的に決めるものである（例えば，“0．5”）。即ち，検出物体の過去の波候補判定結果の波候補の割合がS4以上であるの場合は，その検出物体を波と判定し，また，検出物体の過去の波候補判定結果の波候補の割合がS4未満である場合は，その検出物体を波ではないと判定する。除外ステップ108では検出物体の検出領域を追跡対象外として除外処理してから画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。また，追跡ステップ107では，例えば警告灯1110を点灯したり，例えば監視モニタ1111に検出結果等の検出情報を表示し，画像入力ステップ101に戻り，所定のタイミングで次のフレームの入力画像についてステップ101から処理を始める。この実施例によれば，過去の検出物体の形状変化から，波の誤認識を低減させながら対象物体をより精度の高い認識を行うことができる。
【００５５】
本発明の他の実施例について，図７を用いて説明する。この実施例は１フレームで検出される領域の形状によって波と判断するだけではなく，過去に検出された領域の外接矩形領域を縦長，横長のいずれかに分類し，横長と判定された検出物体に対して，検出物体の存在する画素の外接矩形領域に占める割合を基に検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外するものである。この一実施例を表したフローチャートが図７である。図７のフローチャートは，図６の実施例の波候補判定ステップ602の代りに検出物体の形状が横長か縦長かを判定する横長判定ステップ201と，横長であると判定された検出物体に対して，検出領域の物体の存在する画素の外接矩形に占める割合を基に検出物体が波であるかを判定する外接矩形判定ステップ202とを加えたものである。横長判定ステップ201では，検出物体の形状が縦長か横長かを判定する。例えば，検出領域の外接矩形の縦の長さと横の長さをそれぞれ算出し，それらの比を求め縦長か横長かを判定し，縦長と判定した場合はステップ604に進み，横長と判定した場合はステップ202に進む。外接矩形判定ステップ202では，検出物体の外接矩形に占める割合により検出物体が波であるかを判定する。例えば，検出物体の外接矩形の面積と検出物体の面積の比を計算して，検出物体の外接矩形に占める割合を求め，この値と所定値(S1)と比較する。そして，外接矩形に占める検出領域の割合がS1未満と判定された場合にはステップ603に進み，外接矩形に占める検出領域の割合がS1以上と判定された場合にはステップ604に進む。ステップ603から以降のステップは図６の実施例と同様なので，説明は省略する。
【００５６】
尚，先述の図１の実施例では所定値(S1)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより所定値(S1)を，追跡対象物体の見逃しを更に少なくするように設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，視野内に横長に検出される波の誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５７】
本発明の他の実施例について図８を用いて説明する。この実施例は，１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域の縦方向の大きさを算出し，その縦方向の大きさに基づいて検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象物体から除外するものである。この一実施例を表したフローチャートが図８である。図８のフローチャートは図６の実施例の波候補判定ステップ602の代りに検出物体の縦方向の大きさを算出する縦方向大きさ算出ステップ301と検出物体の縦方向の大きさを基に検出物体が波候補であるかを判定する縦方向大きさ判定ステップ302を加えたものである。縦方向大きさ算出ステップ301では，例えば検出物体の外接矩形情報から外接矩形の縦の大きさを計算して検出物体の縦の大きさとする。そして，投影ヒストグラムの最大の投影画素数1602を検出領域の縦の大きさとしてステップ302に進む。縦方向大きさ判定ステップ302では，検出物体の縦の大きさと所定の波と判定する最大の大きさ(S2)を比較する。検出物体の縦方向の大きさがS2以上と判定された場合はステップ603に進み，検出物体の縦方向の大きさがS2未満と判定された場合，ステップ604に進む。尚，ステップ603から以降のステップは図６の実施例と同様なので，説明は省略する。先の実施例では波と判定する最大の大きさ(S2)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより波と判定する最大の大きさ(S2)の設定値を，追跡対象物体の見逃しを更に少なくするよう，更に小さく設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，視野内に写る波の高さが予め設定した波と判定する最大の大きさ以下に検出される波の誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５８】
本発明の他の実施例について図９を用いて説明する。この実施例は，１フレームで検出される領域の形状のみで波と判断するのではなく，過去に検出された領域を水平軸方向に投影したヒストグラム情報を基に，検出物体が波候補であるかを判定し，その波候補判定結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外するものである。この一実施例を表したフローチャートが図９である。図９のフローチャートは，図８の実施例において，縦方向大きさ判定ステップ302と波候補設定ステップ603の間に，検出物体の水平軸方向への投影画素数を算出してヒストグラムを求める投影ヒストグラム算出ステップ401と，投影ヒストグラムから所定の波と判定する最大の大きさよりも大きい連続する投影画素数を算出する連続投影画素数算出ステップ402と，連続する投影画素の数と所定の波と判定する大きさと比較し，検出領域が波であるかを判定する連続投影画素数判定ステップ403とを挿入したものである。図９において，ステップ101からステップ302及びステップ603から以降のステップについては図８と同様であるので説明は省略する。投影ヒストグラム算出ステップ401では，検出領域1504のように検出領域をX軸（水平軸）方向に投影して，その投影画素を求め投影ヒストグラム1601を作成し，ステップ402に進む。更に連続投影画素数算出ステップ402では，波と判定する最大の大きさ(S2)を用いて二値化を行い，二値化投影ヒストグラム1603のように所定値以上であったものを“ 1 ”，所定値未満であったものを“ 0 ”として，連続する“ 1 ”の最大個数を求め，ステップ403に進む。図１６(c)の二値化投影ヒストグラム1603の例では“ 6 ”である。更に，連続投影画素数判定ステップ403では，連続する“ 1 ”の数と波と判定する最大連続数(S3)とを比較し，検出領域が波であるかを判定し，S3未満と判定された場合，検出物体を波候補とするステップ603に進み，検出物体の縦方向の大きさがS3以上と判定された場合，ステップ604に進む。尚，先の実施例では波と判定する最大連続数(S3)を用いて１フレームの検出結果のみから検出物体が波であるかを判定するように構成していたが，この実施例では，過去の判定結果を用いることにより波と判定する最大連続数(S3)を，対象物体の見逃しを更に少なくするように，更に小さく設定できる。したがってこの実施例によれば，過去の検出物体の形状変化から，複数の波が縦につながって検出される波に対しても誤認識を低減させながら，より高い精度で対象物体の追跡を行うことができる。
【００５９】
更に，本発明の他の実施例について，図１０を用いて説明する。図１０のフローチャートは，図７，図８，図９で示される実施例を組合せ，過去に検出された物体の形状変化から検出物体が波候補であるかを判定し，その結果を用いて検出物体が波か否かを判定し，波と判定された検出物体を追跡対象から除外する処理によって物体追跡処理を行う一実施例を示す。ステップ101からステップ601及びステップ603以降の処理は図７，図８，図９と同様なので説明を省略する。先ず，横長判定ステップ201では，検出物体の外接矩形情報から外接矩形領域を横長，縦長のいずれかに分類し，横長と判定された検出物体を波の可能性のあるものかを判定しステップ202に進む。また縦長と判定された場合はステップ604に進む。次に，外接矩形判定ステップ202では，横長であると判定された検出領域に対してその外接矩形に占める割合を計算し，この値が所定値(S1)以上であれば波候補として判定し，ステップ604に進み，所定値(S1)未満であればステップ301に進む。次に外接矩形判定ステップ301では，検出物体の形状が波候補と判定されなかったものに対して，縦方向大きさ算出を行い，検出物体の縦方向の大きさを算出する。次に縦方向大きさ判定ステップ302では，検出物体の縦方向の大きさと所定の波と判定する最大の大きさ（S2）を比較して波候補であるか判定し，縦方向の大きさが小さいものを波候補であるとして判定する。先ず，検出物体の縦方向の大きさが波と判定する最大の大きさ（S2）以上である場合は，ステップ401に進み，波と判定する最大の大きさ（S2）未満であればステップ604に進む。投影ヒストグラム算出ステップ401では，その検出物体の水平方向への投影ヒストグラムを作成し，ステップ402に進む。更に，連続投影画素数算出ステップ402では，投影ヒストグラムから対象物体の縦の大きさよりも大きい投影画素を算出しステップ403に進む。次に，連続投影画素数判定ステップ403では，対象物体の縦の大きさよりも大きい連続する投影画素の数と所定の波と判定する最大連続数(S3)と比較し，検出物体が波候補であるかを判定する。例えば，検出物体が波候補と判定された場合，検出物体を波候補とするステップ603に進み，波候補と判定されなかった場合，ステップ604に進む。尚，前述の図５の実施例ではS1，S2，S3を用いて，１フレームの検出結果のみから検出物体が波であるかを判定する様に構成していたが，この実施例では，過去の判定結果を用いることによりS1，S2，S3を，対象物体の見逃しを更に少なくするよう，更にS1を大きく，更にS2を小さく，更にS3を小さく設定することができる。したがって図１０の実施例によれば，過去の検出物体の形状変化から，波の誤認識と対象物体の見逃しを低減しつつ，更により高い精度で追跡を行うことができる。
【００６０】
【発明の効果】
以上のように本発明によれば，追跡対象物体と非追跡対象物体（例えば，波）とを正確に分離でき，追跡対象物体を見逃すことなく正確かつ迅速で即応的に物体追跡を行うことができる。更に，物体（例えば，波）の動きの状態変化や周囲の環境の変化にも追随して，恒常的に適する条件設定を行うことができることによって，正確かつ迅速で即応的に物体追跡を行うことができる。
【図面の簡単な説明】
【図１】 本発明の動作の一実施例を示すフローチャート。
【図２】 本発明の動作の一実施例を示すフローチャート。
【図３】 本発明の動作の一実施例を示すフローチャート。
【図４】 本発明の動作の一実施例を示すフローチャート。
【図５】 本発明の動作の一実施例を示すフローチャート。
【図６】 本発明の動作の一実施例を示すフローチャート。
【図７】 本発明の動作の一実施例を示すフローチャート。
【図８】 本発明の動作の一実施例を示すフローチャート。
【図９】 本発明の動作の一実施例を示すフローチャート。
【図１０】 本発明の動作の一実施例を示すフローチャート。
【図１１】 物体追跡監視装置の構成の一例を示すブロック図。
【図１２】 差分法の物体検出原理を説明するブロック図。
【図１３】 従来の物体追跡方法を示すフローチャート。
【図１４】 従来の物体追跡方法を説明する図。
【図１５】 差分法により洋上監視を行う実施例を説明する図。
【図１６】 本発明の一実施例を説明する図。
【図１７】 カメラの仰角を変えて波を観測した場合に写った波の模式図。
【図１８】 二値化処理によって抽出した波の領域の縦横比を評価した図。
【図１９】 二値化処理によって抽出した人の領域の縦横比を評価した図。
【図２０】 検出ケースと指標との関係を表した図。
【図２１】 波の誤検出抑制アルゴリズム。
【図２２】 従来技術と本発明による波の誤検出数の違いを示す図。
【図２３】 検出ケースを説明する図。
【図２４】 ２つの波が縦に重なっている場合の入力画像とその差分処理後の画像の一例を説明する図。
【符号の説明】
11，12，13，14，15：波、 21：防波堤、 31，32：人、 41：灯台、 101：画像入力ステップ、 102：差分処理ステップ、 103：二値化処理ステップ、 104：領域検出ステップ、 105：検出領域分岐ステップ、 106：波判定ステップ、 107：追跡ステップ、 108：除外ステップ、 201：横長判定ステップ、 202：外接矩形判定ステップ、 301：縦方向大きさ算出ステップ、 302：縦方向大きさ判定ステップ、 401：投影ヒストグラム算出ステップ、 402：連続投影画素数算出ステップ、 403：連続投影画素数判定ステップ、 601：追跡処理ステップ、 602：波候補判定ステップ、 603：波候補設定ステップ、 604：波候補記憶ステップ、 605：波候補割合算出ステップ、 606：波候補判定ステップ、 1101：TVカメラ、 1102：画像入力I/F、 1103：データバス、 1104：画像メモリ、 1105：ワークメモリ、 1106：CPU、 1107：プログラムメモリ、 1108：出力I/F、 1109：画像出力I/F、 1110：警告灯、 1111：監視モニタ、 1201：入力画像、 1202：基準背景画像、 1203：差分画像、 1204：二値化画像、 1205：画像、1206：監視視野領域内に写った人型の物体、 1207：差分画像における輝度がしきい値以上の領域、 1221：減算器、 1304：物体検出ステップ、 1305：検出物体分岐ステップ、 1306：位置変化検出ステップ、 1401，1402，1403，1404：画像、 1405，1406，1407：検出物体、 1408，1409，1410：重心位置、 1411：画像、 1412，1413：変位、 1501，1501′，1521：入力画像、 1502，1502′，1522：差分処理後の画像、 1503，1504，1505，1506，1507：検出領域、 1508，1509，1510，1511，1512：検出領域の外接矩形、 1523：波と波とが繋がっている領域、 1601：投影ヒストグラム、 1602：最大の投影画素数、 1603：しきい値処理されたヒストグラム、 1604：“ 1 ”の値が連続する幅、
Claims (8)
- 少なくとも２ 以上の画像の比較を行うことにより画像中の物体を検出し、検出された物体を追跡する物体追跡方法において、
前記検出された物体の検出領域の形状に基いて、検出物体を複数の種類に分類し、
該複数の種類に分類された検出物体から、追跡すべき物体を選択し、
該選択された物体を追跡対象物体として追跡する物体追跡方法であって、
前記検出領域の形状に基づいて検出物体の種類を分類する場合には、前記検出物体の領域を水平方向に投影して縦方向の投影画素数の投影ヒストグラムを作成し、
該作成した投影ヒストグラムの値が所定のしきい値以上の大きさの連続する投影画素数によって分類し、
該分類された検出物体を追跡すべき物体とすることを特徴とする物体追跡方法。 - 少なくとも２ 以上の画像の比較を行うことにより画像中の物体を検出し、検出された物体を追跡する物体追跡方法において、
前記検出された物体の検出領域の形状に基いて、検出物体を複数の種類に分類し、
該複数の種類に分類された検出物体から、追跡すべき物体を選択し、
該選択された物体を追跡対象物体として追跡する物体追跡方法であって、
前記検出物体の領域の形状に基いて検出物体の種類を分類する場合には、検出物体の領域の縦の大きさによって分類し、
該分類により検出物体の領域の縦の大きさが所定のしきい値未満の場合には、検出物体の領域の投影ヒストグラムを計算する投影ヒストグラム計算ステップに移行し、
該投影ヒストグラム計算ステップは、前記検出物体の領域を水平方向に縦方向に投影した投影画素数を算出し、
該算出した投影ヒストグラムの最大値を前記検出物体の領域の縦の大きさとして分類し、
該分類された検出物体を追跡すべき物体とすることを特徴とする物体追跡方法。 - 請求項１若しくは請求項２の何れかに記載の物体追跡方法において、
前記複数の種類に分類された検出物体の少なくとも１つの種類の検出物体を特定の物体として検出し、
前記検出した特定の物体を除外した検出物体を追跡対象物体として追跡することを特徴とする物体追跡方法。 - 請求項１乃至請求項３の何れかに記載の物体追跡方法において、
前記複数の種類に分類された検出物体の情報を複数フレームにわたって記憶し、
それぞれの検出物体毎に前記複数フレームの情報に基いて、前記それぞれの検出物体の種類を再度分類することを特徴とする物体追跡方法。 - 請求項１乃至請求項４の何れかに記載の物体追跡方法において、
前記複数の種類に分類する検出物体の１つの種類が波であることを特徴とする物体追跡方法。 - カメラと、該カメラが撮像した画像を入力する画像入力I / Fと、
該画像入力I / Fから入力された画像を蓄積する画像メモリと、
物体追跡監視装置の動作のプログラムを記憶しているプログラムメモリと、
該プログラムメモリに保持されている前記プログラムに従って前記物体追跡装置を動作させるCPUと、
前記画像メモリに蓄積された画像の解析を行うワークメモリと、
監視モニタと、
前記ワークメモリの解析結果に対応して前記CPUの指示によって前記監視モニタに表示させる画像を送る画像出力I / Fと、
前述の構成要素同士を接続するデータバスを有する物体追跡装置において、
前記カメラより得られた入力画像と対象物体の写っていない基準背景画像との画素毎の輝度値の差分を計算する差分処理手段と、
該差分処理手段によって計算された輝度値の差分が所定のしきい値以上の画素を物体の存在する画素とし、
該物体の存在する画素の領域を検出する物体検出手段と、
該物体検出手段によって検出された検出物体の領域の外接矩形の形状が横長で、かつ、検出物体の領域の面積が外接矩形領域の面積に占める割合に基いて検出物体を分類する第１の分類手段と、
前記検出物体の領域の縦方向の大きさに基いて検出物体を分類する第２の分類手段と、
該検出領域内の物体の存在する画素に対して、当該検出領域を水平方向に投影して縦方向の投影画素数を求めて投影ヒストグラムを作成する縦方向投影ヒストグラム計算手段と、
該縦方向投影ヒストグラム計算手段によって計算された投影ヒストグラムから所定の最大の大きさよりも大きい投影画素数を求める連続投影画素算出手段と、
該連続投影画素算出手段によって算出された連続する投影画素数に基いて検出物体を分類する第３の分類手段とを設け、
前記第１の分類手段及び第２の分類手段及び第３の分類手段によって、追跡対象以外の検出物体を除外することによって誤検出を低減することを特徴とする物体追跡装置。 - 請求項６記載の物体追跡装置において、
少なくとも音、可視光、振動のいずれかを表示し、人体または補助動物が感知可能な信号を発生する警告表示手段と、
前記ワークメモリの解析結果に対応して前記CPUの指示によって前記警告表示手段に警告を表示させる信号を伝達する出力I / Fとを備えたことを特徴とする物体追跡装置。 - 請求項６若しくは請求項７の何れかに記載の物体追跡装置において、
前記複数の種類に分類する検出物体の１つの種類が波であることを特徴とする物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28986498A JP4302801B2 (ja) | 1998-10-12 | 1998-10-12 | 物体追跡方法及び物体追跡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28986498A JP4302801B2 (ja) | 1998-10-12 | 1998-10-12 | 物体追跡方法及び物体追跡装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000125288A JP2000125288A (ja) | 2000-04-28 |
| JP2000125288A5 JP2000125288A5 (ja) | 2005-11-24 |
| JP4302801B2 true JP4302801B2 (ja) | 2009-07-29 |
Family
ID=17748757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28986498A Expired - Fee Related JP4302801B2 (ja) | 1998-10-12 | 1998-10-12 | 物体追跡方法及び物体追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4302801B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3997062B2 (ja) * | 2001-05-30 | 2007-10-24 | 株式会社日立製作所 | 画像監視装置 |
| GB2404247B (en) * | 2003-07-22 | 2005-07-20 | Hitachi Int Electric Inc | Object tracing method and object tracking apparatus |
| JP2006311099A (ja) * | 2005-04-27 | 2006-11-09 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| JP4691570B2 (ja) * | 2008-02-29 | 2011-06-01 | 東芝テリー株式会社 | 画像処理装置およびオブジェクト推定プログラム |
| JP5759170B2 (ja) * | 2010-12-27 | 2015-08-05 | キヤノン株式会社 | 追尾装置およびその制御方法 |
| CN111382627B (zh) * | 2018-12-28 | 2024-03-26 | 成都云天励飞技术有限公司 | 同行判定方法及相关产品 |
| JP6896307B1 (ja) * | 2020-07-28 | 2021-06-30 | 株式会社サイバーウェア | 画像判定方法および画像判定装置 |
-
1998
- 1998-10-12 JP JP28986498A patent/JP4302801B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000125288A (ja) | 2000-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101808587B1 (ko) | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| JP3880759B2 (ja) | 移動物体検出方法 | |
| KR100476019B1 (ko) | 침입물체검출용 감시방법 및 침입물체검출용 감시장치 | |
| KR101735365B1 (ko) | 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법 | |
| US5554983A (en) | Object recognition system and abnormality detection system using image processing | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| JP3987057B2 (ja) | 車両周辺監視装置 | |
| JP2003162798A (ja) | 障害物監視装置及びプログラム | |
| JP4302801B2 (ja) | 物体追跡方法及び物体追跡装置 | |
| JP2008035301A (ja) | 移動体追跡装置 | |
| JP7125843B2 (ja) | 障害検知システム | |
| JP2007219603A (ja) | 人物追跡装置、人物追跡方法および人物追跡プログラム | |
| JP2001160146A (ja) | 画像認識方法および画像認識装置 | |
| JP4887540B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
| JP4864953B2 (ja) | 車両周辺監視装置 | |
| KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
| CN109726750B (zh) | 一种乘客摔倒检测装置及其检测方法及乘客输送装置 | |
| CN111325073B (zh) | 基于运动信息聚类的监控视频异常行为检测方法 | |
| JP6831396B2 (ja) | 映像監視装置 | |
| JP3625442B2 (ja) | 物体検出方法及び物体検出装置並びに物体検出プログラム | |
| JPH0514891A (ja) | 画像監視装置 | |
| JP2001091246A (ja) | 障害物検出装置 | |
| TWI476735B (zh) | 攝影機異常種類辨識方法及可偵測攝影異常的監視主機 | |
| JP2009193130A (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090423 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |