JP5921329B2 - 映像処理装置、追尾物体の管理方法、および、プログラム - Google Patents

Description

本発明は、例えば、監視カメラの映像を処理する映像処理装置、追尾物体の管理方法、および、プログラムに関する。

従来、監視カメラの映像を使用して画面内の特定箇所を通過した物体や人数をカウントする場合、映像から検出した物体や人体を画面内追尾し、特定箇所の通過を検出することで行っていた。たとえば、特許文献１では、顔の検出を行い、現在フレームと過去フレームの相関から検出した動き情報から顔追尾を行う。この追尾結果を基に特定箇所の通過を判定することで物体のカウントが可能となる。

特開２０１０−５０９３４号公報

しかしながら、映像の見た目上、人同士が重なり合う場合、検出に必要とされる特徴が十分に得られない。このため、顔や人体を検出し続けることは難しく、顔追尾や人体追尾を行った場合、適切な追尾結果が得られるとは限らない。
本発明は上述した問題を解決するためになされたものであり、検出した物体の属性を正確に管理することを可能とする映像処理装置および方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を備える。
映像中を移動する追尾対象の物体の軌跡の属性情報を管理する管理手段と、
映像中を移動する追尾対象の物体が複数の物体に分離したことを検出する検出手段と、
前記追尾対象の物体が複数の物体に分離したことが前記検出手段によって検出された場合、分離後の前記複数の物体の数に基づいて、分離する前の前記追尾対象に含まれる物体の数を決定する決定手段と、
前記決定手段によって決定された物体の数に基づいて、前記管理手段によって管理される過去の追尾対象の物体の軌跡の属性情報を修正する修正手段と
を有することを特徴とする映像処理装置。

以上の構成からなる本発明によれば、検出した物体の属性を正確に管理することができる。

映像処理装置のブロック図である。 物体と人体の対応付けの例を示す図である。 物体の移動情報管理の例を示すである。 位置情報更新の例を示すである。 統合時のフローチャートを示すである。 分離時のフローチャートを示すである。 判定パラメータの例を示すである。 線分通過判定の例を示すである。 処理フローチャートを示すである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は映像処理装置のシステム構成を示す。本形態の映像処理装置は、画像取得部１０１と、物体検出部１０２と、追尾部１０３と、人体検出部１０４と、対応付部１０５と、軌跡管理部１０６と、判定パラメータ設定部１０８と、判定部１０９と、外部出力部１１０とからなる。

画像取得部１０１は、処理対象の画像を時系列順に外部から取得する。画像を取得する外部の装置はカメラに限定されるものではなく、サーバや外部メモリなどに保存されたものでもよい。

物体検出部１０２は、画像取得部１０１で取得した画像から背景差分法により物体（動体）を検出する。検出した物体の情報は、画面上位置と外接矩形と物体のサイズとからなる。物体検出部１０２では、画像から物体を検出する処理であり、背景差分法に限定されるものではない。

追尾部１０３は、物体検出部１０２が検出した物体を画面内で追尾する。すなわち、追尾部１０３は、物体検出部１０２が検出した物体と前画像で検出された物体とを対応付ける。新規に出現した物体には、新規にオブジェクトＩＤ（識別情報）を付与し、前画像と対応付けることができた物体には、前画像で付与したオブジェクトＩＤを付与する。物体同士が統合した場合は、統合した物体のうち物体のサイズが大きい方のオブジェクトＩＤを付与する。また物体同士が分離した場合は、分離した物体のうち物体のサイズが大きい方に前画像で付与したオブジェクトＩＤを付与し、小さい方には新規にオブジェクトＩＤを付与する。

人体検出部１０４は、物体検出部１０２が検出した領域からパターンマッチング処理により人体を検出する。人体検出部１０４では、画像から人体を検出する処理であり、パターンマッチング処理に限定されるものではない。また、必ずしも物体検出部１０２が検出した領域から人体検出を行う必要はなく、画像全体に対して人体検出の処理を行ってもよい。本形態では、人体を検出する形態で説明するが、人体以外の、顔、自動車や動物などの特定の物体を検出してもよい。

対応付部１０５は、物体検出部１０２が検出した物体と人体検出部１０４が検出した人体を対応付ける。図２に検出した物体と検出した人体の対応付けの例を示す。図２（ａ）は検出した物体の外接矩形２０１に検出した人体の外接矩形２０２が内包されない場合である。このとき、物体の外接矩形２０１に対する人体の外接矩形２０２の重畳率が予め設定した閾値を超えた場合に、物体と人体が対応したとする。重畳率とは、物体の外接矩形２０１と人体の外接矩形２０２とが重畳する部分の面積と人体の外接矩形２０２の面積との割合である。

図２（ｂ）は検出した物体の外接矩形２０３から複数の人体を検出した場合である。このとき、人体の外接矩形２０４および人体の外接矩形２０５それぞれと物体の外接矩形２０３との重畳率が予め設定した閾値を超えた場合に、それぞれの人体が物体に対応したとする。

軌跡管理部１０６は、追尾部１０３で追尾され、対応付部１０５で人体に対応付けられた物体の移動情報を管理する。また、追尾部１０３で追尾された追尾物体に、対応付部１０５で対応付けられた人体の情報を、物体の属性として付与し管理する。

図３に物体の移動情報管理の例を示す。軌跡管理部１０６は追尾物体の移動情報３０１をオブジェクトＩＤごとにオブジェクト情報３０２として管理する。オブジェクト情報３０２は、物体を最初に検出した時間および、物体を検出したときの時間と画面上の位置と外接矩形とサイズと物体の属性と属性数とイベントとから成る位置情報３０３の組からなる。ここで物体の属性は、「なし」もしくは「人体」であり、属性数は、対応付部１０５にて物体に対応付けられた人体の数である。

物体の属性と属性数は、人体検出部１０４にて人体を検出し、対応付部１０５の結果に従い対応する位置情報の属性と属性数を更新する。更に、過去の位置情報の属性と属性数も同結果に従い更新する。また、その後の位置情報の属性と属性数も同結果を設定する。

図４に位置情報更新の例を示す。例えば、地点４０３にて追尾物体に人体が対応付けられた場合、以降の位置情報に地点４０３で対応付けられた属性と属性数を設定することで軌跡４０４は人体属性をもつ物体として扱う。また、過去の位置情報に地点４０３で対応付けられた属性と属性数を設定することで軌跡４０２は人体属性をもつ物体として扱うことができる。

物体の属性は、本実施例においては人体検出部１０４により属性を決定しているが、前述のものに限定されるものではない。属性としては、顔、自動車、動物等、物体に対する属性として、対象物を認識し属性として判定する手段であれば何でもよい。更に、複数種類の特定物体検出部があり、同時に複数の属性を持てば、物体に複数の種類かつその属性数を持たせてもよい。

イベントは、追尾部１０３の出力に従い、追尾物体が統合もしくは分離したことを示し、分離もしくは統合が発生していない場合は何も記載されない。統合した場合は、統合したことを示す統合フラグと統合した物体のオブジェクトＩＤすべてを記載し、分離した場合は、分離したことを示す分離フラグと分離した他の物体のオブジェクトＩＤを記載する。

属性修正部１０７は、軌跡管理部１０６が管理する追尾物体の移動情報のうち最新の位置情報と過去の位置情報のうちイベント（統合、分離）に記載の内容に従って、過去の位置情報の属性および属性数を修正する。

最新の位置情報のイベントに統合フラグの設定がある場合、属性修正部１０７は、図５のフローチャートに従い属性および属性数の修正を行う。属性修正部１０７をコンピュータで構成する場合には、図５のフローチャートは、このコンピュータがメモリから読み出して実行するプログラムの一部を示す。

ｆｍ１において、最新の位置情報（位置情報Ａとする）のイベントを確認する。統合フラグが設定されていた場合、統合した複数の物体を同箇所記載のオブジェクトＩＤに従い検索し、それぞれ統合前の最も新しい位置情報に記載の属性と属性数を取得する（ｆｍ２）。それぞれの物体の位置情報から取得した属性と属性数を、属性ごとに積算し（ｆｍ３）、位置情報Ａに設定する（ｆｍ４）。すなわち、属性修正部１０７は、２つ以上の前記物体の軌跡が統合した場合、軌跡管理部１０６が管理する統合後の物体の属性数を属性ごとに合算した結果に修正する。

また、軌跡管理部１０６において、対応付部１０５の結果に従い対応する位置情報の属性と属性数を更新したとき、過去に遡り分離イベントがある場合、属性修正部１０７は、図６のフローチャートに従い属性および属性数の修正を行う。属性修正部１０７をコンピュータで構成する場合には、図６のフローチャートは、このコンピュータがメモリから読み出して実行するプログラムの一部を示す。

ｆｓ１において、属性および属性数（属性情報Ａとする）を記憶する。そして、ｆｓ２において処理を継続するかを決定する。あらかじめ決められた回数以上位置情報を更新した場合処理を終了とする。処理を継続する場合、このオブジェクトの前フレームでの位置情報（位置情報Ｂとする）を取得する（ｆｓ３）。そして、取得した位置情報のイベントが分離の場合（ｆｓ４）、取得した位置情報に記載の他の物体のオブジェクトＩＤに従って、このオブジェクトから分離した他の物体の分離後の位置情報を取得する。そして、記憶した属性と属性数（属性情報Ａ）と、分離した他位置情報の属性および属性数を属性ごとに合算し、合算した値が、位置情報Ｂの属性数と異なる場合、属性情報Ａを合算した値に更新する（ｆｓ５）。

位置情報のイベントが統合の場合（ｆｓ６）、処理を終了し、統合でない場合、位置情報Ｂの属性および属性数を属性情報Ａの属性および属性数に修正する（ｆｓ７）。以上により、分離前の物体の属性および属性数が、分離したそれぞれの物体の属性数を属性ごとに合算した結果に修正される。

判定パラメータ設定部１０８は、物体の軌跡情報を判定するための判定パラメータを外部から判定部１０９に設定する。判定パラメータは、判定を行う場所を示す座標の組と、座標の組の扱いを「領域」もしくは「線」から決定する領域タイプと、物体サイズの範囲と、物体属性および属性数と、画面内での存在時間の範囲と検出イベントからなる。

図７に判定パラメータの例を示す。これは、座標（１０，１０）と座標（２０，３０）とを結ぶ線分をサイズが１００から２５０であり、属性が人体であり、属性数が１であり、存在時間が１秒以上である物体が通過したことを検出する例である。

図８に線分通過判定の例を示す。通過の判定は、判定線分６０１を前画像での物体の外接矩形６０２と現画像での物体の外接矩形６０３の中心点を結ぶ線分６０４が交差したか否かで判定する。

判定部１０９は、軌跡管理部１０６で管理される追尾物体の軌跡情報を判定パラメータ設定部１０８で設定された判定パラメータに従って判定することで、所望の物体を検出する。軌跡情報の判定処理は、設定された判定パラメータすべてに対して、軌跡管理部１０６において軌跡情報が更新されるたび、もしくは、属性修正部１０７で属性情報が修正されるたびに実施する。すなわち、判定部１０９は、管理する物体の軌跡が画面内の特定の場所を通過したことを判定し、属性修正部１０７により属性が修正された場合、修正された属性に従い通過の判定結果を修正する。

これにより、図７に示す判定パラメータにより判定をする場合、物体が判定線分６０１を超えた時点では、人体検出部１０４および対応付部１０５により人体の属性が対応付けられておらず、その後対応付けられた物体に関しても検出可能となる。なお、この通過の判定は、軌跡管理部１０６が行うようにしてもよい。

外部出力部１１０は、軌跡管理部１０６で管理される追尾物体の軌跡情報と判定部１０９の判定結果を外部に出力する。

属性修正部１０７は、軌跡管理部１０６が管理する属性および属性数を修正する方法について記載したが、この方法に限定されるものではない。最新の位置情報のイベントが分離の場合、軌跡管理部１０６が管理する軌跡のうち、分離した物体の軌跡を複製し分離した物体それぞれの軌跡として管理する方法でもよい。すなわち、この形態では、物体の軌跡が分離し、分離したそれぞれの物体の属性数を属性ごとに合算した結果が、分離前の物体の属性数と異なる場合、軌跡管理部１０６が管理する分離前の物体の軌跡を複製して、分離した物体の軌跡とする。さらに、分離したそれぞれの属性を、分離したそれぞれの属性に修正する。

また、最新の位置情報のイベントが統合の場合、統合以降追尾部１０３で得られた統合した物体の追尾結果を複製し、複数物体の軌跡として管理する方法でもよい。すなわち、この形態では、属性修正部１０７は、２つ以上の物体の軌跡が統合した場合、軌跡管理部１０６が管理する統合後の軌跡を複製し、統合前の軌跡に続く軌跡とし、複製したそれぞれの軌跡の属性を統合前の属性に修正する。

図９は処理の手順を示すフローチャートである。図１の映像処理装置をコンピュータで構成する場合には、図９のフローチャートは、このコンピュータがメモリから読み出して実行するプログラムの一部を示す。

ｆ１において、処理を継続するか終了するかを決定する。処理を継続する場合、画像取得部１０１において外部から画像を取得する（ｆ２）。次に、取得した画像を物体検出部１０２において物体検出処理を行う（ｆ３）。ｆ４において、物体検出処理結果の判定を行い、物体を検出した場合ｆ５に進み、物体を検出していない場合ｆ１に戻る。物体を検出した場合、追尾部１０３において物体の追尾処理を行い（ｆ５）、追尾処理結果を軌跡管理部１０６において追尾情報を更新する（ｆ６）。

次に、人体検出処理を人体検出部１０４にて行い（ｆ７）、その結果をｆ８において判定する。人体を検出した場合はｆ９に進み、人体を検出していない場合はｆ１２に進む。人体を検出した場合、対応付部１０５において物体と人体の対応付け処理を行い（ｆ９）、結果に基づき軌跡管理部１０６において追尾情報を更新し（ｆ１０）、属性修正部１０７において属性の修正を行う。そして、判定部１０９において軌跡情報の判定処理を行い（ｆ１２）、その結果を外部に出力する（ｆ１３）。

このように、本発明の実施形態によれば、被写体の顔や人体としての特徴が検出しにくい映像においても人体追尾を行い、更に追尾情報を更新することで精度の高い人体のカウントができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像取得部
１０２ 物体検出部
１０３ 追尾部
１０４ 人体検出部
１０５ 対応付部
１０６ 軌跡管理部
１０７ 属性修正部
１０８ 判定パラメータ設定部
１０９ 判定部
１１０ 外部出力部

Claims (13)

1. 映像中を移動する追尾対象の物体の軌跡の属性情報を管理する管理手段と、
   映像中を移動する追尾対象の物体が複数の物体に分離したことを検出する検出手段と、
   前記追尾対象の物体が複数の物体に分離したことが前記検出手段によって検出された場合、分離後の前記複数の物体の数に基づいて、分離する前の前記追尾対象に含まれる物体の数を決定する決定手段と、
   前記決定手段によって決定された物体の数に基づいて、前記管理手段によって管理される過去の追尾対象の物体の軌跡の属性情報を修正する修正手段と
   を有することを特徴とする映像処理装置。
2. さらに、物体の軌跡が画面内の特定の場所を通過した数を判定する判定手段を有し、
   前記修正手段により修正された属性に従って、前記判定手段による通過の判定結果を修正することを特徴とする請求項１に記載の映像処理装置。
3. 映像中を移動する追尾対象の物体の軌跡の属性情報を管理する管理手段と、
   映像中を移動する複数の追尾対象の物体が統合したことを検出する検出手段と、
   前記複数の追尾対象の物体の統合が前記検出手段によって検出された場合、統合前の前記複数の追尾対象の物体の数に基づいて、統合後に前記追尾対象に含まれる物体の数を決定する決定手段と、
   前記決定手段によって決定された物体の数に基づいて、前記管理手段によって管理される統合後の物体の軌跡の属性情報を修正する修正手段と
   を有することを特徴とする映像処理装置。
4. 前記修正手段は、２つ以上の前記物体の軌跡が統合した場合、前記管理手段が管理する統合後の物体の数を統合前の物体を合算した数に修正することを特徴とする請求項３に記載の映像処理装置。
5. 前記修正手段は、２つ以上の前記物体の軌跡が統合した場合、前記管理手段が管理する軌跡を複製し、それぞれに統合前の属性に修正することを特徴とする請求項３に記載の映像処理装置。
6. 前記管理手段によって管理される属性情報は、前記軌跡に含まれる物体の種類、および前記軌跡に含まれる物体の数を含むことを特徴とする請求項１ないし５のいずれか１項に記載の映像処理装置。
7. 映像中を移動する追尾対象の物体の軌跡の属性を管理する管理工程と、
   映像中を移動する追尾対象の物体が複数の物体に分離したことを検出する検出工程と、
   前記追尾対象の物体が複数の物体に分離したことが前記検出工程において検出された場合、分離後の前記複数の物体の数に基づいて、分離する前の前記追尾対象に含まれる物体の数を決定する決定工程と、
   前記決定工程において決定された物体の数に基づいて、前記管理工程によって管理される過去の追尾対象の物体の軌跡の属性情報を修正する修正工程と
   を有することを特徴とする映像処理方法。
8. さらに、物体の軌跡が画面内の特定の場所を通過した数を判定する判定工程を有し、
   前記修正工程において修正された属性に従って、前記判定工程における通過の判定結果を修正することを特徴とする請求項７に記載の映像処理方法。
9. 映像中を移動する追尾対象の物体の軌跡の属性を管理する管理工程と、
   映像中を移動する複数の追尾対象の物体が統合したことを検出する検出工程と、
   前記複数の追尾対象の物体の統合が前記検出工程において検出された場合、統合前の前記複数の追尾対象の物体の数に基づいて、統合後に前記追尾対象に含まれる物体の数を決定する決定工程と、
   前記決定工程によって決定された物体の数に基づいて、前記管理工程によって管理される統合後の物体の軌跡の属性情報を修正する修正工程と
   を有することを特徴とする映像処理方法。
10. 前記修正工程において、２つ以上の前記物体の軌跡が統合した場合、前記管理工程によって管理される統合後の物体の数は、統合前の物体を合算した数に修正されることを特徴とする請求項９に記載の映像処理方法。
11. 前記修正工程において、２つ以上の前記物体の軌跡が統合した場合、前記管理工程によって管理される軌跡を複製し、それぞれに統合前の属性に修正することを特徴とする請求項９に記載の映像処理方法。
12. 前記管理工程によって管理される属性情報は、前記軌跡に含まれる物体の種類、および前記軌跡に含まれる物体の数を含むことを特徴とする請求項７ないし１１のいずれか１項に記載の映像処理方法。
13. 請求項７ないし請求項１２に記載の映像処理方法をコンピュータに実行させるプログラム。

Images