JP3678273B2 - 画像認識による移動体数量測定システム及び移動体数量測定方法 - Google Patents
画像認識による移動体数量測定システム及び移動体数量測定方法 Download PDFInfo
- Publication number
- JP3678273B2 JP3678273B2 JP2000388702A JP2000388702A JP3678273B2 JP 3678273 B2 JP3678273 B2 JP 3678273B2 JP 2000388702 A JP2000388702 A JP 2000388702A JP 2000388702 A JP2000388702 A JP 2000388702A JP 3678273 B2 JP3678273 B2 JP 3678273B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- image data
- measurement object
- quantity measurement
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像認識による移動体数量測定システム及び移動体数量測定方法に関する。
【０００２】
【従来の技術】
移動体の数量測定の判定には様々な方法が用いられている。例えば道路の歩行者の測定は人間が行う方法が主流である一方、特定の入り口を通行する歩行者や通行車両数の測定は電波や光を利用した専用の測定装置が用いられている。
【０００３】
【発明が解決しようとする課題】
人間による手法では観測時間の問題から非常に多くの労働力が必要であることや、またセンサーなどは専用装置が必要であるということからそれだけの効果が期待できる、または必要とされる分野に利用が特定されてくる。
【０００４】
本発明の目的は、１点から連続して撮影される映像を利用して移動体の数量を画像認識し、連続する画像に写る移動体が同一の物体か否かの判断を画像認識の条件値により判断を行い、数量の算定を行う機能を実現する、画像認識による移動体数量測定システム及び移動体数量測定方法を提供することにある。
【０００５】
【課題を解決するための手段】
人間は映像に写る移動体の数量を判断することができる。判断には多くの要素があり、対象によっても異なるが、まず画面に写る移動体を認識し、数量を数え、次に写った画面に同じものがあれば数量は増やさず、異なるものであれば数量を増やしていくことで数量を確定する。本発明は、移動体を連続撮影しているカメラ映像を切り出し、静止画として扱い、連続する静止画中の移動体を認識し、物体の特徴的な要素や移動特性から同じ物体であるかを判断することにより、数量の測定を行う機能を構成するものである。
【０００６】
初期背景データ取得手段は、記憶装置中の背景イメージデータから数量測定対象領域を読み込む。(なお、本手段は初期稼動時の検出精度向上を目的としたものであり、次の映像取得手段により獲得された最初の画像を元に初期背景データとすることでも対応可能である。)
映像取得手段は、映像撮影装置で撮影された映像の１フレームを映像入力装置を経由して静止画イメージデータとして取得し、記憶する。記憶された１フレームの静止画イメージデータと初期背景データ取得手段で記憶された初期背景データに基づき、背景推定手段において各ピクセル上でカルマンフィルタを用いて背景データを推定し、前景データのみの切り出しを行う。
【０００７】
ラベリング手段では、前景データ中で同じグレイ値を持つビット同士を連結分類、ラベル付けし、特徴量抽出手段において記憶装置の個別環境データに記録された特徴量条件に合致する数量測定対象物を認識する。
【０００８】
背景更新手段では、映像取得手段で取得した映像を次の背景画像とする。
【０００９】
特徴量抽出手段で数量測定対象物を認識した場合には、検知記録手段にて検知したことを記録し、さらにその物体の重心位置を測定、数量を勘定する。
【００１０】
再び、映像取得手段から背景更新手段の手順を繰り返す。
【００１１】
追跡手段では、数量測定対象物の特徴量及び移動特性から前の映像と同一の物体と判断される物体が撮影された場合、特徴量抽出手段で確認された数量から同一と判断された物体の数量を減じることにより数量の確定を行う。
【００１２】
従って、本発明の構成により既存のカメラ映像を元に数量測定が可能である。
【００１３】
また、本発明の構成により測定対象種類にあわせた数量測定が可能である。
【００１４】
また、本発明の構成により他の画像認識機能との共存が可能である。
【００１５】
また、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易である。
【００１６】
また、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易である。
【００１７】
また、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できる。
【００１８】
【発明の実施の形態】
（発明の第1の実施の形態）
図１を参照すると、本実施の形態は、カメラ等の映像撮影装置１と、画像入力ボード、ネットワークインタフェースボード等の映像入力装置２と、電子計算機等のデータ処理装置３、記憶装置４を含む。
【００１９】
映像撮影装置１は映像入力装置２へ向け、常時撮影結果を送信している。
【００２０】
データ処理装置３は、初期背景データ取得手段３１、映像取得手段３２、背景推定手段３３、ラベリング手段３４、特徴量抽出手段３５、背景更新手段３６、検知記録手段３７、追跡手段３８からなり、背景イメージデータと取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行う。切り出したイメージ部分を更に数量測定対象領域に絞り、数量測定対象物を認識する。また数量測定対象物については、その特徴量、重心位置を記録し、数量を加算する。これらの処理を繰り返し行い、連続する静止画に同一の数量測定対象物が撮影されている場合、特徴量および、移動方向、移動速度からなる移動特性を検証し、同一物であるか否かの判断を行う。同一物である場合は、その数だけを数量から減じ、数量を確定する。
【００２１】
初期背景データ取得手段３１は、記憶装置４に格納され、数量測定対象物が撮影されていない背景イメージデータ４１の取得を行い、背景推定の初期値とする。
【００２２】
映像取得手段３２は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行う。
【００２３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、初期背景データ取得手段３１により取得した背景イメージデータ４１を適応させ、背景を推定し、背景以外の前景部分のみを切り出す。
【００２４】
ラベリング手段３４は、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行う。
【００２５】
特徴量抽出手段３５は、ラベル付けされた領域それぞれについて、あらかじめ個別環境データ４２に定めた数量測定対象物の形状として特徴的な要素条件(面積、真円度、楕円の長軸短軸比、長さ、幅等)を組み合わせた抽出条件を満足する物体を数量測定対象物として認識する。
【００２６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータを次の処理の背景データとする更新を行う。
【００２７】
特徴量抽出手段３５の結果、数量測定対象物となる図形を認識した場合、検知記録手段３７にてその特徴量と重心位置とを求め、特徴量と重心位置とを記録し、数量を加算する。
【００２８】
再び映像取得手段３２から検知記録手段までを繰り返し、追跡手段３８では連続した静止画に数量測定対象物の特徴量および移動特性から同一の物体かどうかの判断を行う。同一の物体であると判断された場合には、その数量を特徴量抽出手段３５で算出した数量から減じ、数量を特定する。
【００２９】
次に、図１及び図２を参照して本実施の形態の動作について詳細に説明する。
【００３０】
映像撮影装置１で撮影された映像がリアルタイムに映像入力装置３に常時送信される。
【００３１】
データ処理装置３では、初期稼動時に初期背景データ取得手段３１にて、記憶装置４に格納された背景イメージデータ４１および個別環境データ４２を読み込む（ステップＡ１）。読み込まれた背景イメージデータは、各ビットごとのグレイ値を対象とした初期映像状態のデータセットとして"Background"に格納される。個別環境データ４２には、あらかじめ定められた数量測定対象物の特徴量条件や、以下の手段で使用する設定値が格納されている。
【００３２】
映像取得手段３２は、映像入力装置２に映像の１フレームデータを取得する命令を発行し、"Image[n](n = 1)"に格納する（ステップＡ２）。カメラ映像がNTSCで撮影されている白黒8bit映像の場合、本データは640×480の大きさ、グレイ値0〜255の範囲でグレイ値の濃淡が分布する映像となる。
【００３３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータ"Image[1]"に対し、各ビット毎のグレイ値を推移映像状態のデータセットとし、初期背景データ取得手段３１によってセットされた各ビット毎のグレイ値を対象とする初期映像状態のデータセット"Background"との間でカルマンフィルタを用いた背景の推定算出を行う。一般に予測値は、予測各要素のｒ階の常微分方程式により算出が可能であるが、カルマンフィルタは観測に基づいた予測、平滑化のために用いられるアルゴリズムであり、ｒ階の常微分方程式により求められる推定値、期待値をｒ個の一階の常微分方程式によりおきかえることで算出を行うものである。背景として推定されなかった部分は、背景を下位のレイヤーとし、その上のレイヤーに測定対象となる物体が撮影されているものと概念的に考え、その部分についてを背景以外＝前景"Foreground"として認識する（ステップＡ３）。
【００３４】
切り出された前景"Foreground"を対象に、ラベリング手段３４は、同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として"labeled[n]"に格納する。本手段により、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形を同一の物体であると認識、物体ごとにＩＤ番号を振る（ステップＡ４）。
【００３５】
特徴量抽出手段３５は、ラベリングされた画像"labeled[1]"に対して数量測定対象物の形状として特徴的な要素である面積、真円度、長さ、幅、楕円の長軸短軸比をしきい値として設定し、それらの条件を組み合わせ、満足する図形がある場合、数量測定対象物を認識したと判断し（ステップＡ５）、"selected[1]"に格納する。
【００３６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータ"Image1"を次の処理の背景データとする為、"Background"に格納する。
特徴量抽出手段３５の結果、測定対象物となる図形を認識した場合、検知記録手段３７にてその数量を初期値0の変数"Count"に加算し、物体ごとの特徴量、重心位置座標を記録する（ステップＡ６）。
【００３７】
再び映像取得手段３２から検知記録手段３７までを繰り返し、連続したフレーム"Image[2]"に数量測定対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、追跡手段３８ではその重心位置、特徴量を比較し、座標位置から求めた移動速度や移動方向をあらかじめ定めた数量測定対象物の特性を元に同一の物体であるかを判断する（ステップＡ７）。同一物体と判断された場合、"Count"から同一物体と判断された数量だけを減じ、数量の確定を行う(ステップＡ８）。
【００３８】
（発明の第２の実施の形態）
次に、本発明の第２の実施の形態について図３を参照して詳細に説明する。
【００３９】
図３を参照すると、本実施の形態はデータ処理装置３に初期背景データ取得手段３１、背景推定手段３３、背景更新手段３６がなく、初期背景データ取得手段３１の替わりに背景イメージデータ取得手段３９が、背景推定手段３３の替わりに画像差検出手段３１０を備える。
【００４０】
事前に背景のみ写っているフレームデータをあらかじめ用意し、背景イメージデータ４２として、"Basic Image"に記憶しておく。
【００４１】
発明の第１の実施の形態においては、必ずしも背景イメージデータは背景のみである必要がない、代替手段として映像取得手段３２において取得した映像も使用可能であったが、本代替案についてはそれらの特徴を適用することができず、必ず背景のみのデータが必要となる。
映像取得手段３２で、映像撮影装置１で取得した１フレーム分を映像入力装置２を経由してイメージデータとして取得し、"Image[n](n = 1)"に記憶する。
【００４２】
画像差検出手段３９が、映像取得手段３２で取得した１フレーム分の静止画イメージデータ("Image[1]")と背景イメーシ゛データ取得手段３１０により取得した背景イメージデータ"Basic Image"とを比較し、差異のある部分を"Difference[1]"に格納する。例えば、背景が道路のみ撮影されている映像であり、取得した１フレームの映像に車両が写っている場合、背景と１フレームの同じ部分である道路は背景として認識され、本来道路があるべきところに写っている異物(車両)を背景以外(道路以外)のものとして捕らえ、車両のみを前景として切り出す。
【００４３】
ラベリング手段３４は、"Difference[1]"から、互いに連結するグレイ値画素の塊に対して同じラベルをつけ図形を分類、"Labeled[1]"に格納する。赤い車両と白い車両の２台が写っている場合は、赤い色に近いグレイ値の塊が１つの図形となり、白い色に近いグレイ値の塊が１つの図形となり、それぞれ認識された物体の１番目、２番目という管理が行われる。
【００４４】
特徴量抽出手段３５は、"Labeled[1]"に含まれるそれぞれの図形に対して、面積や楕円の長軸短軸比、真円度等、あらかじめ個別環境データ４２に定めた数量測定対象となる物体に特徴的な条件に合致するか否かで、数量測定対象物が映像中に存在するか否かの判断を行う。例えば、撮影される車両が１つイメージの大きさの中では一定の面積の中に収まることになり、同程度の面積を含む場合は、面積ごとの縦横比などにより車両であるか、それ以外のものであるかを認識するということである。
【００４５】
認識した結果を元に検知記録手段３７、速度算出手段３８を起動する処理は、本発明の第１の実施の形態と同様である。
【００４６】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００４７】
第一の効果は、本発明の構成により既存のカメラ映像を元に数量測定が可能であるということである。
【００４８】
第二の効果は、本発明の構成により測定対象種類にあわせた数量測定が可能であるということである。
【００４９】
第三の効果は、本発明の構成により他の画像認識機能との共存が可能であるということである。
【００５０】
第四の効果は、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易であるという点である。
【００５１】
第五の効果は、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易であるという点である。
【００５２】
第六の効果は、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できる点である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す図である。
【図２】本発明の第１の実施の形態の動作を示すフローチャート図である。
【図３】本発明の第２の実施の形態の構成を示す図である。
【符号の説明】
１ 映像撮影装置
２ 映像入力装置
３ データ処理装置
４ 記憶装置
３１ 初期背景データ取得手段
３２ 映像取得手段
３３ 背景推定手段
３４ ラベリング手段
３５ 特徴量抽出手段
３６ 背景更新手段
３７ 検知記録手段
３８ 追跡手段
３９ 背景イメージデータ取得手段
４１ 背景イメージデータ
４２ 個別環境データ
３１０ 画像差検出手段
【発明の属する技術分野】
本発明は、画像認識による移動体数量測定システム及び移動体数量測定方法に関する。
【０００２】
【従来の技術】
移動体の数量測定の判定には様々な方法が用いられている。例えば道路の歩行者の測定は人間が行う方法が主流である一方、特定の入り口を通行する歩行者や通行車両数の測定は電波や光を利用した専用の測定装置が用いられている。
【０００３】
【発明が解決しようとする課題】
人間による手法では観測時間の問題から非常に多くの労働力が必要であることや、またセンサーなどは専用装置が必要であるということからそれだけの効果が期待できる、または必要とされる分野に利用が特定されてくる。
【０００４】
本発明の目的は、１点から連続して撮影される映像を利用して移動体の数量を画像認識し、連続する画像に写る移動体が同一の物体か否かの判断を画像認識の条件値により判断を行い、数量の算定を行う機能を実現する、画像認識による移動体数量測定システム及び移動体数量測定方法を提供することにある。
【０００５】
【課題を解決するための手段】
人間は映像に写る移動体の数量を判断することができる。判断には多くの要素があり、対象によっても異なるが、まず画面に写る移動体を認識し、数量を数え、次に写った画面に同じものがあれば数量は増やさず、異なるものであれば数量を増やしていくことで数量を確定する。本発明は、移動体を連続撮影しているカメラ映像を切り出し、静止画として扱い、連続する静止画中の移動体を認識し、物体の特徴的な要素や移動特性から同じ物体であるかを判断することにより、数量の測定を行う機能を構成するものである。
【０００６】
初期背景データ取得手段は、記憶装置中の背景イメージデータから数量測定対象領域を読み込む。(なお、本手段は初期稼動時の検出精度向上を目的としたものであり、次の映像取得手段により獲得された最初の画像を元に初期背景データとすることでも対応可能である。)
映像取得手段は、映像撮影装置で撮影された映像の１フレームを映像入力装置を経由して静止画イメージデータとして取得し、記憶する。記憶された１フレームの静止画イメージデータと初期背景データ取得手段で記憶された初期背景データに基づき、背景推定手段において各ピクセル上でカルマンフィルタを用いて背景データを推定し、前景データのみの切り出しを行う。
【０００７】
ラベリング手段では、前景データ中で同じグレイ値を持つビット同士を連結分類、ラベル付けし、特徴量抽出手段において記憶装置の個別環境データに記録された特徴量条件に合致する数量測定対象物を認識する。
【０００８】
背景更新手段では、映像取得手段で取得した映像を次の背景画像とする。
【０００９】
特徴量抽出手段で数量測定対象物を認識した場合には、検知記録手段にて検知したことを記録し、さらにその物体の重心位置を測定、数量を勘定する。
【００１０】
再び、映像取得手段から背景更新手段の手順を繰り返す。
【００１１】
追跡手段では、数量測定対象物の特徴量及び移動特性から前の映像と同一の物体と判断される物体が撮影された場合、特徴量抽出手段で確認された数量から同一と判断された物体の数量を減じることにより数量の確定を行う。
【００１２】
従って、本発明の構成により既存のカメラ映像を元に数量測定が可能である。
【００１３】
また、本発明の構成により測定対象種類にあわせた数量測定が可能である。
【００１４】
また、本発明の構成により他の画像認識機能との共存が可能である。
【００１５】
また、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易である。
【００１６】
また、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易である。
【００１７】
また、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できる。
【００１８】
【発明の実施の形態】
（発明の第1の実施の形態）
図１を参照すると、本実施の形態は、カメラ等の映像撮影装置１と、画像入力ボード、ネットワークインタフェースボード等の映像入力装置２と、電子計算機等のデータ処理装置３、記憶装置４を含む。
【００１９】
映像撮影装置１は映像入力装置２へ向け、常時撮影結果を送信している。
【００２０】
データ処理装置３は、初期背景データ取得手段３１、映像取得手段３２、背景推定手段３３、ラベリング手段３４、特徴量抽出手段３５、背景更新手段３６、検知記録手段３７、追跡手段３８からなり、背景イメージデータと取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行う。切り出したイメージ部分を更に数量測定対象領域に絞り、数量測定対象物を認識する。また数量測定対象物については、その特徴量、重心位置を記録し、数量を加算する。これらの処理を繰り返し行い、連続する静止画に同一の数量測定対象物が撮影されている場合、特徴量および、移動方向、移動速度からなる移動特性を検証し、同一物であるか否かの判断を行う。同一物である場合は、その数だけを数量から減じ、数量を確定する。
【００２１】
初期背景データ取得手段３１は、記憶装置４に格納され、数量測定対象物が撮影されていない背景イメージデータ４１の取得を行い、背景推定の初期値とする。
【００２２】
映像取得手段３２は、映像入力装置２に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行う。
【００２３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、初期背景データ取得手段３１により取得した背景イメージデータ４１を適応させ、背景を推定し、背景以外の前景部分のみを切り出す。
【００２４】
ラベリング手段３４は、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行う。
【００２５】
特徴量抽出手段３５は、ラベル付けされた領域それぞれについて、あらかじめ個別環境データ４２に定めた数量測定対象物の形状として特徴的な要素条件(面積、真円度、楕円の長軸短軸比、長さ、幅等)を組み合わせた抽出条件を満足する物体を数量測定対象物として認識する。
【００２６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータを次の処理の背景データとする更新を行う。
【００２７】
特徴量抽出手段３５の結果、数量測定対象物となる図形を認識した場合、検知記録手段３７にてその特徴量と重心位置とを求め、特徴量と重心位置とを記録し、数量を加算する。
【００２８】
再び映像取得手段３２から検知記録手段までを繰り返し、追跡手段３８では連続した静止画に数量測定対象物の特徴量および移動特性から同一の物体かどうかの判断を行う。同一の物体であると判断された場合には、その数量を特徴量抽出手段３５で算出した数量から減じ、数量を特定する。
【００２９】
次に、図１及び図２を参照して本実施の形態の動作について詳細に説明する。
【００３０】
映像撮影装置１で撮影された映像がリアルタイムに映像入力装置３に常時送信される。
【００３１】
データ処理装置３では、初期稼動時に初期背景データ取得手段３１にて、記憶装置４に格納された背景イメージデータ４１および個別環境データ４２を読み込む（ステップＡ１）。読み込まれた背景イメージデータは、各ビットごとのグレイ値を対象とした初期映像状態のデータセットとして"Background"に格納される。個別環境データ４２には、あらかじめ定められた数量測定対象物の特徴量条件や、以下の手段で使用する設定値が格納されている。
【００３２】
映像取得手段３２は、映像入力装置２に映像の１フレームデータを取得する命令を発行し、"Image[n](n = 1)"に格納する（ステップＡ２）。カメラ映像がNTSCで撮影されている白黒8bit映像の場合、本データは640×480の大きさ、グレイ値0〜255の範囲でグレイ値の濃淡が分布する映像となる。
【００３３】
背景推定手段３３は、映像取得手段３２により取得された静止画イメージデータ"Image[1]"に対し、各ビット毎のグレイ値を推移映像状態のデータセットとし、初期背景データ取得手段３１によってセットされた各ビット毎のグレイ値を対象とする初期映像状態のデータセット"Background"との間でカルマンフィルタを用いた背景の推定算出を行う。一般に予測値は、予測各要素のｒ階の常微分方程式により算出が可能であるが、カルマンフィルタは観測に基づいた予測、平滑化のために用いられるアルゴリズムであり、ｒ階の常微分方程式により求められる推定値、期待値をｒ個の一階の常微分方程式によりおきかえることで算出を行うものである。背景として推定されなかった部分は、背景を下位のレイヤーとし、その上のレイヤーに測定対象となる物体が撮影されているものと概念的に考え、その部分についてを背景以外＝前景"Foreground"として認識する（ステップＡ３）。
【００３４】
切り出された前景"Foreground"を対象に、ラベリング手段３４は、同じグレイ値を持つビットを検知し、連結させることにより、画像中に存在するオブジェクトを判断、分類し、それぞれにラベルをつけ、配列として"labeled[n]"に格納する。本手段により、同じグレイ値が連結しているものを連結成分とみなし、その連結成分で囲まれた図形を同一の物体であると認識、物体ごとにＩＤ番号を振る（ステップＡ４）。
【００３５】
特徴量抽出手段３５は、ラベリングされた画像"labeled[1]"に対して数量測定対象物の形状として特徴的な要素である面積、真円度、長さ、幅、楕円の長軸短軸比をしきい値として設定し、それらの条件を組み合わせ、満足する図形がある場合、数量測定対象物を認識したと判断し（ステップＡ５）、"selected[1]"に格納する。
【００３６】
背景更新手段３６は、映像取得手段３２で取得した静止画イメージデータ"Image1"を次の処理の背景データとする為、"Background"に格納する。
特徴量抽出手段３５の結果、測定対象物となる図形を認識した場合、検知記録手段３７にてその数量を初期値0の変数"Count"に加算し、物体ごとの特徴量、重心位置座標を記録する（ステップＡ６）。
【００３７】
再び映像取得手段３２から検知記録手段３７までを繰り返し、連続したフレーム"Image[2]"に数量測定対象物の特性や特徴量から同一の物体と判断される物体が撮影された場合、追跡手段３８ではその重心位置、特徴量を比較し、座標位置から求めた移動速度や移動方向をあらかじめ定めた数量測定対象物の特性を元に同一の物体であるかを判断する（ステップＡ７）。同一物体と判断された場合、"Count"から同一物体と判断された数量だけを減じ、数量の確定を行う(ステップＡ８）。
【００３８】
（発明の第２の実施の形態）
次に、本発明の第２の実施の形態について図３を参照して詳細に説明する。
【００３９】
図３を参照すると、本実施の形態はデータ処理装置３に初期背景データ取得手段３１、背景推定手段３３、背景更新手段３６がなく、初期背景データ取得手段３１の替わりに背景イメージデータ取得手段３９が、背景推定手段３３の替わりに画像差検出手段３１０を備える。
【００４０】
事前に背景のみ写っているフレームデータをあらかじめ用意し、背景イメージデータ４２として、"Basic Image"に記憶しておく。
【００４１】
発明の第１の実施の形態においては、必ずしも背景イメージデータは背景のみである必要がない、代替手段として映像取得手段３２において取得した映像も使用可能であったが、本代替案についてはそれらの特徴を適用することができず、必ず背景のみのデータが必要となる。
映像取得手段３２で、映像撮影装置１で取得した１フレーム分を映像入力装置２を経由してイメージデータとして取得し、"Image[n](n = 1)"に記憶する。
【００４２】
画像差検出手段３９が、映像取得手段３２で取得した１フレーム分の静止画イメージデータ("Image[1]")と背景イメーシ゛データ取得手段３１０により取得した背景イメージデータ"Basic Image"とを比較し、差異のある部分を"Difference[1]"に格納する。例えば、背景が道路のみ撮影されている映像であり、取得した１フレームの映像に車両が写っている場合、背景と１フレームの同じ部分である道路は背景として認識され、本来道路があるべきところに写っている異物(車両)を背景以外(道路以外)のものとして捕らえ、車両のみを前景として切り出す。
【００４３】
ラベリング手段３４は、"Difference[1]"から、互いに連結するグレイ値画素の塊に対して同じラベルをつけ図形を分類、"Labeled[1]"に格納する。赤い車両と白い車両の２台が写っている場合は、赤い色に近いグレイ値の塊が１つの図形となり、白い色に近いグレイ値の塊が１つの図形となり、それぞれ認識された物体の１番目、２番目という管理が行われる。
【００４４】
特徴量抽出手段３５は、"Labeled[1]"に含まれるそれぞれの図形に対して、面積や楕円の長軸短軸比、真円度等、あらかじめ個別環境データ４２に定めた数量測定対象となる物体に特徴的な条件に合致するか否かで、数量測定対象物が映像中に存在するか否かの判断を行う。例えば、撮影される車両が１つイメージの大きさの中では一定の面積の中に収まることになり、同程度の面積を含む場合は、面積ごとの縦横比などにより車両であるか、それ以外のものであるかを認識するということである。
【００４５】
認識した結果を元に検知記録手段３７、速度算出手段３８を起動する処理は、本発明の第１の実施の形態と同様である。
【００４６】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００４７】
第一の効果は、本発明の構成により既存のカメラ映像を元に数量測定が可能であるということである。
【００４８】
第二の効果は、本発明の構成により測定対象種類にあわせた数量測定が可能であるということである。
【００４９】
第三の効果は、本発明の構成により他の画像認識機能との共存が可能であるということである。
【００５０】
第四の効果は、ソフトウェアで画像認識を実現することにより、環境に応じたカスタマイズが容易になり、個別環境データでしきい値を設定可能な為、環境の変更に伴う機能の修正が容易であるという点である。
【００５１】
第五の効果は、ソフトウェアで画像認識を実現することにより、多様な測定結果通知手段が実現可能であり、様々な支援機能への対応、追加が容易であるという点である。
【００５２】
第六の効果は、カルマンフィルタによる背景推定を行うことで、雑音の消去、計算量の減少が達成できる点である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す図である。
【図２】本発明の第１の実施の形態の動作を示すフローチャート図である。
【図３】本発明の第２の実施の形態の構成を示す図である。
【符号の説明】
１ 映像撮影装置
２ 映像入力装置
３ データ処理装置
４ 記憶装置
３１ 初期背景データ取得手段
３２ 映像取得手段
３３ 背景推定手段
３４ ラベリング手段
３５ 特徴量抽出手段
３６ 背景更新手段
３７ 検知記録手段
３８ 追跡手段
３９ 背景イメージデータ取得手段
４１ 背景イメージデータ
４２ 個別環境データ
３１０ 画像差検出手段
Claims (5)
- 映像入力装置と、データ処理装置と、記憶装置とから構成され、
前記記憶装置は、背景イメージデータと数量測定対象物の特徴量及び移動特性が記録された個別環境データとを記憶し、
前記データ処理装置は、前記背景イメージデータと前記映像入力装置から取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行い、切り出したイメージ部分を更に数量測定対象領域に絞り、数量測定対象物を認識し、該数量測定対象物の特徴量と重心位置とを記録し数量を加算し、前記取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、これらの処理を繰り返し行い、連続する静止画に同一の数量測定対象物が撮影されている場合、特徴量および、移動方向、移動速度からなる移動特性を検証し、同一物であるか否かの判断を行い、同一物である場合は、その数だけを数量から減じ、数量を確定する、画像認識による移動体数量測定システム。 - 前記データ処理装置は、初期背景データ取得手段と、映像取得手段と、背景推定手段と、ラベリング手段と、特徴量抽出手段と、背景更新手段と、検知記録手段と、追跡手段とから構成され、
前記初期背景データ取得手段は、前記記憶装置に格納され、数量測定対象物が撮影されていない背景イメージデータの取得を行い、背景推定の初期値とし、
前記映像取得手段は、前記映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行い、
前記背景推定手段は、前記映像取得手段により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、前記初期背景データ取得手段により取得した背景イメージデータを適応させ、背景を推定し、背景以外の前景部分のみを切り出し、
前記ラベリング手段は、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行い、
前記特徴量抽出手段は、ラベル付けされた領域それぞれについて、あらかじめ個別環境データに定めた数量測定対象物の形状として特徴的な要素条件である面積、真円度、楕円の長軸短軸比、長さ、幅を組み合わせた抽出条件を満足する物体を数量測定対象物として認識し、
前記背景更新手段は、前記映像取得手段で取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、
前記特徴量抽出手段により、数量測定対象物となる図形を認識した場合、前記検知記録手段にて前記数量測定対象物の特徴量と重心位置とを記録し数量を加算し、
再び前記映像取得手段から前記検知記録手段までの処理を繰り返し、前記追跡手段では連続した静止画に数量測定対象物の特徴量および移動特性から同一の物体かどうかの判断を行い、同一の物体であると判断された場合には、その数量を前記特徴量抽出手段で算出した数量から減じ、数量を特定する、請求項１に記載の画像認識による移動体数量測定システム。 - 記憶装置により、背景イメージデータと数量測定対象物の特徴量及び移動特性が記録された個別環境データとを記憶するステップと、
データ処理装置により、前記背景イメージデータと映像入力装置から取得した静止画イメージデータからカルマンフィルタを用いて、背景データを推定し、前景部分の切り出しを行い、切り出したイメージ部分を更に数量測定対象領域に絞り、数量測定対象物を認識し、該数量測定対象物の特徴量と重心位置とを記録し数量を加算し、前記取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行い、これらの処理を繰り返し行い、連続する静止画に同一の数量測定対象物が撮影されている場合、特徴量および、移動方向、移動速度からなる移動特性を検証し、同一物であるか否かの判断を行い、同一物である場合は、その数だけを数量から減じ、数量を確定するステップとを有する、画像認識による移動体数量測定方法。 - 記憶装置により、背景イメージデータと数量測定対象物の特徴量及び移動特性が記録された個別環境データとを記憶するステップと、
初期背景データ取得手段により、前記記憶装置に格納され、数量測定対象物が撮影されていない背景イメージデータの取得を行い、背景推定の初期値とするステップと、
映像取得手段により映像入力装置に対して最新の１フレーム分の静止画イメージデータを取得する命令を発行、入手を行うステップと、
背景推定手段により、前記映像取得手段により取得された静止画イメージデータをすべてのピクセルについてカルマンフィルタを用いて、前記初期背景データ取得手段により取得した背景イメージデータを適応させ、背景を推定し、背景以外の前景部分のみを切り出すステップと、
ラベリング手段により、前景部分について互いに連結するグレイ値画素の塊に対して同じラベルをつけ輪郭を取り、図形として認識、区別後、ラベル付けを行うステップと、
特徴量抽出手段により、ラベル付けされた領域それぞれについて、あらかじめ個別環境データに定めた数量測定対象物の形状として特徴的な要素条件である面積、真円度、楕円の長軸短軸比、長さ、幅を組み合わせた抽出条件を満足する物体を数量測定対象物として認識するステップと、
背景更新手段により、前記映像取得手段で取得した静止画イメージデータを次の処理の背景イメージデータとする更新を行うステップと、
前記特徴量抽出手段により、数量測定対象物となる図形を認識した場合、検知記録手段にて前記数量測定対象物の特徴量と重心位置とを記録し数量を加算するステップと、
再び前記映像取得手段から前記検知記録手段までの処理を繰り返し、追跡手段では連続した静止画に数量測定対象物の特徴量および移動特性から同一の物体かどうかの判断を行い、同一の物体であると判断された場合には、その数量を前記特徴量抽出手段で算出した数量から減じ、数量を特定するステップとを有する、画像認識による移動体数量測定方法。 - コンピュータ又はマイクロプロセッサを請求項１または請求項２に記載の画像認識による移動体数量測定システムとして機能させるためのプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000388702A JP3678273B2 (ja) | 2000-12-21 | 2000-12-21 | 画像認識による移動体数量測定システム及び移動体数量測定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000388702A JP3678273B2 (ja) | 2000-12-21 | 2000-12-21 | 画像認識による移動体数量測定システム及び移動体数量測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002190030A JP2002190030A (ja) | 2002-07-05 |
| JP3678273B2 true JP3678273B2 (ja) | 2005-08-03 |
Family
ID=18855397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000388702A Expired - Fee Related JP3678273B2 (ja) | 2000-12-21 | 2000-12-21 | 画像認識による移動体数量測定システム及び移動体数量測定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3678273B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643488A (zh) * | 2016-10-14 | 2019-04-16 | 富士通株式会社 | 交通异常事件检测装置及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08185521A (ja) * | 1994-12-28 | 1996-07-16 | Clarion Co Ltd | 移動体カウント装置 |
| FR2736182A1 (fr) * | 1995-06-30 | 1997-01-03 | Philips Electronique Lab | Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede |
| JP2000105835A (ja) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | 物体認識方法及び物体追跡監視装置 |
-
2000
- 2000-12-21 JP JP2000388702A patent/JP3678273B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109643488A (zh) * | 2016-10-14 | 2019-04-16 | 富士通株式会社 | 交通异常事件检测装置及方法 |
| CN109643488B (zh) * | 2016-10-14 | 2021-04-20 | 富士通株式会社 | 交通异常事件检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002190030A (ja) | 2002-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11538232B2 (en) | Tracker assisted image capture | |
| EP1574992B1 (en) | Method and device for tracking moving objects in images | |
| US7418134B2 (en) | Method and apparatus for foreground segmentation of video sequences | |
| Faro et al. | Adaptive background modeling integrated with luminosity sensors and occlusion processing for reliable vehicle detection | |
| AU2009243442B2 (en) | Detection of abnormal behaviour in video objects | |
| JP5115556B2 (ja) | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム | |
| KR101687530B1 (ko) | 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체 | |
| EP1039757A2 (en) | Feature based hierarchical video segmentation | |
| JP6390671B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2009508450A (ja) | 物体のトラッキングおよび活動分析のためのシステムおよび方法 | |
| JP2006031678A (ja) | 画像処理 | |
| CN105631418A (zh) | 一种人数统计的方法和装置 | |
| US10373015B2 (en) | System and method of detecting moving objects | |
| Xu et al. | Segmentation and tracking of multiple moving objects for intelligent video analysis | |
| JP3649277B2 (ja) | 画像認識による速度測定システム及び速度測定方法 | |
| JP2002190013A (ja) | 画像認識による渋滞検知システム及び渋滞検知方法 | |
| CN113838097A (zh) | 摄像机镜头角度偏离检测方法、装置及存储介质 | |
| JP3678273B2 (ja) | 画像認識による移動体数量測定システム及び移動体数量測定方法 | |
| CN113673362A (zh) | 对象的运动状态确定方法、装置、计算机设备和存储介质 | |
| JP3502468B2 (ja) | 分散型監視装置 | |
| CN116152691A (zh) | 图像检测方法、装置、设备和存储介质 | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| JP2003047004A (ja) | 映像特徴検出方法、映像特徴検出装置およびデータ記録媒体 | |
| CN112070113B (zh) | 摄像场景变换判断方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041227 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050503 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |