JP6929751B2 - 画定された領域内で物体を追跡するための方法及びシステム - Google Patents

Description

本発明は、監視の分野に関する。特に、本発明は、カメラによって監視された画定された領域内で物体を追跡するための方法及びシステムに関する。

物体追跡のためのシステムは、カメラ監視の分野において興味深い用途を有する。多くの監視システムでは、犯罪科学映像検索のためのライブ映像資料及び記録映像資料の両方において、物体又は特に人間を追跡できることが望ましい。

物体追跡システムは、人間の活動が、例えば、犯罪活動に関して調査される必要がある様々な安全に関する状況において助けとなる。しかし、物体追跡システムは、調査のために統計データを収集するなどの、安全とは関係ない用途に対しても有用であり得る。多くの物体追跡システムは、人間たちがアクセス認証情報を得るために事前に登録する、オフィスビル、工場、ホテル、ゲーテッドコミュニティー（ｇａｔｅｄ ｃｏｍｍｕｎｉｔｙ）、キャンパス、又は施設などの、画定された領域を監視するカメラシステムに適用されている。

（重なる視野を有し得るか又は有し得ない）監視カメラのシステム内で物体を追跡するために、異なる複数の監視カメラからの画像データ内で、物体、又はその物体の少なくとも特徴を認識できることが重要である。異なる複数の監視カメラは、異なるレンズ、開口部、画像センサなどを備えた異なる光学配置、及び異なる画像処理設定を有し得るので、これは、システム内の異なる複数のカメラからの画像データ内の物体の外見に影響を与え得る。更に、複数のカメラは、異なる物理的位置に取り付けられ、例えば、これもまた、カメラによって取得され処理される画像データ内の物体の外見に影響を与える、異なる照明スキームを有する。これらの問題は、ＵＳ７，５２９，４１１Ｂ２で説明されている。

ＵＳ７，５２９，４１１Ｂ２は、映像監視システムによって取得された画像から引き出された識別情報が、１以上の記憶されたプロファイルと比較される、映像の複数のストリームの認識解析のためのシステムを教示している。ＵＳ７，５２９，４１１Ｂ２で開示されたシステムの好適な実施形態では、各記憶されたプロファイルとの比較がなされるが、その比較は記憶されたプロファイルの選択されたサブセットに対してのみ行われることが可能である。

しかし、ＵＳ７，５２９，４１１Ｂ２で説明されるシステムの問題は、認識解析が多くの処理能力と処理時間を必要とするということである。

上述の観点から、それ故、本発明の目的は、画定された領域内で物体を追跡するための改良された方法及びシステムを提供することである。特に、画定された領域内で物体を追跡するために必要な処理時間及び処理性能を低減させる方法及びシステムを提供することが目的である。

本発明の第１の態様によれば、上述の目的は、人間を追跡するための方法によって達成される。人間を追跡するための方法は、事前に登録された人間たちの認証情報を含むデータベース内の認証情報に、人間によって提示された認証情報をマッチングさせることによって、画定された領域に入るその人間を特定するステップ、特定された人間の識別プロファイルであって、画像データから人間を特定するための情報を含む、識別プロファイルを領域内で追跡される人間たちのリスト内に登録するステップ、領域内の情景から画像データを受信するステップ、受信した画像データ内で検出された物体の一組の識別特性を生成するステップ、検出された物体の生成された一組の識別特性を、領域内で追跡される人間たちのリスト内に登録された識別プロファイルと比較するステップ、検出された物体の一組の識別特性に最も良くマッチングする、領域内で追跡される人間たちのリスト内の識別プロファイルを判定するステップ、及び検出された物体を、検出された物体の識別プロファイルに最も良くマッチングすると判定された識別プロファイルに紐づけるステップを含む。人間を追跡するための本方法の利点は、画像データ内で検出された物体の識別特性が、領域内で現在追跡されている人間たちの識別プロファイルと比較されるので、画定された領域内で物体を追跡するために必要とされる処理時間が低減され、画像データから人間を正確に特定する信頼性が高められるということである。処理時間が低減される１つの理由は、より少ない識別プロファイルが、検出された物体の識別特性と比較される必要があるということである。信頼性が高まるのは、識別特性が複数の識別プロファイルと類似してマッチングする可能性が低減される結果である。この効果は、更に、より少ない識別プロファイルが比較されるのに伴って、類似する特徴を有する候補を有する可能性が低減されるので、マッチングの信頼性が高まるということである。すなわち、プロセスが画像内の人間を正確に特定することは、より少ないエントリを含むリストの結果として、比較する人間の低減されたリスト内の識別プロファイルの間のより大きな差異のために、より容易になるであろうと言うことができる。このやり方で、マッチングは、及び、それ故、追跡方法の最も処理が大変なステップのうちの１つは、最も可能性が高い候補に集中し、必ずしも全ての理論的に可能性がある候補に集中しないだろう。画定された領域に入ると特定された人間たちの識別プロファイルが、領域内で追跡される人間たちのリストに登録されること、及び、識別プロファイルが、領域に入るときに特定のために使用される認証情報に紐づけられることは、更なる利点である。このやり方で、物理的アクセスシステムの信頼性は、領域内で追跡される人間たちのリストの識別プロファイルの登録における高い信頼性を実現する可能性を高めている。識別プロファイルの登録は、画定された領域に入る人間に紐づけられて実行され、それは、領域に入る人間に対応し得る物体が受信した画像内で検出される前に、追跡される人間たちのリストを作成するという利点を与える。これは、受信した画像内で各検出される物体に対して必要とされる処理時間及び処理性能を低減させる。

本発明の更なる実施形態では、生成された一組の識別特性を登録された識別プロファイルと比較するステップが、生成された識別特性と登録された識別プロファイルとの間の相関に基づいて信頼性スコアを計算することによって実行され、生成された一組の識別特性に最も良くマッチングする識別プロファイルを判定するステップが、生成された一組の識別特性との最も高い相関を表す信頼性スコアに対応する識別プロファイルを選択することによって実行される。最も高い相関を判定するために信頼性スコアを使用することの利点は、それが、相関を処理効率に優れたやり方で定量化するということである。

本発明のまた更なる実施形態では、検出された物体の一組の識別特性に対して最も高い相関を有する識別プロファイルに対応する計算された信頼性スコアが、第１の所定の閾値よりも小さいならば、紐づけの動作は実行されない。これは、乏しい相関が最も良い相関である場合を取捨選択し、乏しい相関が追跡に影響を与えることを妨げることを可能にする。

他の実施形態では、検出された物体の一組の識別特性に対して最も高い相関を有する識別プロファイルに対応する計算された信頼性スコアが、第１の所定の閾値よりも小さいならば、警報を発令するように更に開発される。乏しいマッチングは、検出された侵入者によるものであり得る。侵入者は、有効な認証情報を使用する適正な特定なしに画定された領域に入っており、したがって、領域内で追跡される人間たちのリストの部分ではなく、警報を発令することは、画定された領域の安全性を高める。

更なる実施形態では、人間によって提示された認証情報を、事前に登録された人間たちの認証情報を含むデータベース内の認証情報とマッチングさせることによって、画定された領域を離れる人間を特定する更なるステップ、及び領域内で追跡される人間たちのリストから画定された領域を離れる特定された人間の識別プロファイルを除去する更なるステップが導入される。これらの実施形態は、領域内で追跡される人間たちのリストを更新し続けることを追加し、画定された領域を離れる人間を除去することは、候補のリストを低減させ、したがって、処理時間を低減させ、同時に、追跡の信頼性を高める。

また更なる実施形態では、検出された物体が識別プロファイルに紐づけられた時間内の最後のポイント以来、所定の活動期間が経過したならば、領域内で追跡される人間たちのリストから、人間の識別プロファイルが除去される。これらの実施形態は、代替的に又は前述した事と組み合わされて、領域内で追跡される人間たちのリストを更新し続けることを追加する。これらの実施形態は、候補のリストを低減させ、したがって、処理時間を低減させる。

更なる実施形態では、領域に入った人間たちのリスト内に特定された人間の識別プロファイルを登録するステップが、該方法に追加される。領域に入った人間たちを含む別のリストの追加は、追跡方法が使用されたときに大多数の場合、処理時間及び処理リソースが低減され得るという点で有利である。それは、最も可能性が高い候補のみが領域内で追跡される人間たちのリストに載っているからである。しかし、最も可能性が高い候補の１人が優れた十分な相関を有するマッチングを生成しない稀な場合、領域に入った人間たちのリストは、識別特性を、領域に入ったが最近の時間において検出された物体に紐づけられなかった人間たちの識別プロファイルと比較する可能性も提供する。

以下の事が、本発明のまた更なる実施形態でも更に開発される。すなわち、受信した画像データ内の検出された物体の一組の識別特性に対して最も高い相関を有する識別プロファイルに対応する計算された信頼性スコアが第２の所定の閾値よりも小さいならば、紐づけの動作は実行されない。該方法は、更に、受信した画像データ内の検出された物体の生成された一組の識別特性を、領域に入った人間たちのリスト内に登録された識別プロファイルと比較すること、受信した画像データ内の検出された物体の一組の識別特性に最も良くマッチングする領域に入った人間たちのリスト内の識別プロファイルを判定すること、及び受信した画像データ内の検出された物体を、受信した画像データ内の検出された物体の一組の識別特性に最も良くマッチングすると判定された識別プロファイルに紐づけることを含んでいる。

これは、領域内で追跡される人間たちのリストからの候補との最も高い相関を有するマッチングの信頼性スコアが、十分でなければ、領域に入った人間たちのリスト内の候補とマッチングする可能性を提供する。これは、更に、システムの信頼性を高める。

更なる実施形態では、受信した画像データ内の検出された物体の生成された一組の識別特性と、領域に入った人間たちのリスト内に登録された識別プロファイルとの比較が、受信した画像データ内の検出された物体の生成された一組の識別特性と、領域に入った人間たちのリスト内の人間たちの識別プロファイルとの間の相関に基づいて、信頼性スコアを計算することによって実行され、及び、生成された一組の識別特性に最も良くマッチングする領域内に入った人間たちのリスト内の識別プロファイルの判定が、受信した画像データ内の検出された物体の生成された一組の識別特性との最も高い相関を表す信頼性スコアに対応する識別プロファイルを選択することによって実行される。最も高い相関を判定するために信頼性スコアを使用することの利点は、それが、処理効率に優れたやり方で相関を定量化するということである。

本発明の更に他の実施形態では、識別プロファイルが、人間の外見を表す１以上の組の識別特性を含む。それらの識別特性は、人間の身体又は顔の特性の幾何学的形状のパラメータ、人間の顔の特徴又は身体の特徴を表す数学的な表現、人間の衣服、肌、又は顔のテクスチャパラメータ、人間又は人間の部分の画像からの色のスペクトル、人間の歩き方、人間の動きのパターンから成る群から選択される。人間の外見を表すための識別特性は、追跡するための方法の処理の効率性と信頼性を更に高める。何故ならば、それは、外見の特徴を計算及び処理するやり方を提供するからである。

別の一実施形態では、検出された物体の一組の識別特性に最も良くマッチングする識別プロファイル内の情報が、生成された一組の識別特性からの情報によって更新される。これは識別特性を連続的に更新するという利点を提供し、人間の視覚的外見は短期間で容易に修正され得るので、それは追跡の信頼性のために重要である。例えば、人間がコートを脱いだならば衣服は変更され、メガネを掛ける又は掛けない、髭を剃ったなどである。

更に他の実施形態では、識別プロファイル内の情報を更新する動作は、識別プロファイル内の現在の情報と生成された一組の識別特性からの情報とに基づいて、統計的測定値を計算することによって実行される。これは、識別プロファイルを更新する処理効率が高いやり方を更に追加する。

本発明のまた更なる実施形態では、検出された物体を、検出された物体の一組の識別特性に最も良くマッチングすると判定された識別プロファイルに紐づけるステップが、更に、画像データを取得した画像取得装置の識別子、画像データが画像取得装置によって取得された時間内のポイント、及び画像データを取得した画像取得装置の位置、の群から選択された画像データに関連する情報を登録することを含む。これは、物体検出の、位置、画像取得装置、及び／又は時間内のポイントに関する更なる情報を有するという利点を追加する。それは、正確な特定を行う信頼性、したがって、画定された領域内の物体追跡能力を高める。

第２の態様よれば、本発明は、プロセッサによって実行されたときに、本発明の第１の態様との関連で説明された方法を実行するように適合された指示命令を有する、コンピュータ可読記憶媒体を備えたコンピュータプログラム製品に関する。本発明の第１の態様に対応する利点が、本発明の第２の態様に対しても適用可能である。

第３の態様によれば、本発明は、以下のものを備えた、人間を追跡するためのシステムに関する。すなわち、事前に登録された人間たちの認証情報を含むデータベース内の認証情報に、その人間によって提示された認証情報をマッチングさせることによって、画定された領域に入る人間を特定するように構成された識別モジュールであって、人間の識別プロファイルであって、その人間を特定するための情報を含む、識別プロファイルを領域内で追跡される人間たちのリスト内に登録するように構成された登録モジュール、領域内の情景から画像データを取得するように構成された画像取得装置、画像取得装置によって取得された画像データ内で検出された物体の一組の識別特性を生成するように構成された識別特性生成モジュール、検出された物体の生成された一組の識別特性を、領域内で追跡される人間たちのリスト内に登録された識別プロファイルと比較し、検出された物体の一組の識別特性に最も良くマッチングする、領域内で追跡される人間たちのリスト内の識別プロファイルを判定するように構成されたマッチングモジュール、及び、検出された物体を、検出された物体の識別プロファイルに最も良くマッチングすると判定された識別プロファイルに紐づけるように構成された追跡モジュールである。本発明の第１の態様に対応する利点が、本発明の第３の態様に対しても適用可能である。

第３の態様の更なる実施形態によれば、該システムは、更に、人間の識別プロファイルであって、画像データからその人間を特定するための情報を含む、識別プロファイルを領域に入った人間たちのリスト内に登録するように構成されたエントランス登録モジュールと、検出された物体が識別プロファイルに紐づけられた時間内の最後のポイント以来、所定の活動期間が経過したならば、領域内で追跡される人間たちのリストからその人間の識別プロファイルを登録解除するように構成された登録解除モジュールと、画像データ内の検出された物体の生成された一組の識別特性を、領域内の追跡される人間たちのリスト内に登録された識別プロファイルと比較し、画像データ内の検出された物体の一組の識別特性に最も良くマッチングする、領域内の追跡される人間たちのリスト内の識別プロファイルを判定するように構成されたマッチングモジュールとを備える。

本発明の適用性の更なる範囲は、以下の詳細な説明から明らかになるだろう。しかし、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定のコンポーネント部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、一又は複数の要素があることを意味していると意図されることに留意されたい。したがって、例えば、「センサ」（ａ ｓｅｎｓｏｒ）又は「前記センサ」（ｔｈｅ ｓｅｎｓｏｒ）に言及した場合、これは幾つかのセンサなどを含んでもよい。更に、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、他の要素又はステップを除外しない。

本発明の他の特徴及び利点は、添付の特許請求の範囲を参照して、現在の好適な実施形態の以下の詳細な説明から明らかになるであろう。

画定された領域１０１の一例を示す。 本発明による、物体を追跡するための方法のブロックスキームである。 本発明による、物体を追跡するための代替的な方法のブロックスキームである。 本発明による、物体を追跡するためのシステムのブロック図である。 本発明による、物体を追跡するための代替的なシステムのブロック図である。

更に、図面では、同様の参照文字が、幾つかの図面を通して同様の部分又は対応する部分を指定する。

本発明の一実施形態による追跡方法及びシステムは、人間たちがアクセス認証情報を得るために事前に登録する、オフィスビル、工場、ホテル、ゲーテッドコミュニティー、キャンパス、又は施設などの、画定された領域を監視するカメラシステムに適用され得る。この詳細な説明では、画定された領域が、それに対してエントランスが物理的アクセス制御システムによって制御されるところの領域である。

当該技術分野で知られている物体を追跡するための種々のアプローチが存在し、それらのうちの１つは、対象物体を検出すること、及び、対象物体の特徴を記憶された候補物体の特徴とマッチングさせてベストマッチを見つけることに基づき、それらは、追跡方法の重要なステップである。画定された領域に対する候補物体の数は、多くてもよい。画定された領域が工場である実施例では、無論、人々が工場内で働いており、例えば、幾つかのチームがシフトで働いているかもしれない。人々は、工場へ物品を搬送し、工場から製品を搬送するための輸送員であり、一時的な訪問者であり、様々なサービス員であり、警備員などである。そのような上述の実施例では、画定された領域内の候補物体の数が多いという事実に加えて、特定の期間内において、特に、領域内で同時に存在する対象物体の数が多いかもしれない。何処で何時、工場内で同時に存在する物体の数がより多いかという一例は、１つのチームの作業者たちがシフトを終了し、別の１つのチームの作業者たちが彼らのシフトを開始している工場内である。したがって、画定された領域を監視するカメラに接続された追跡システムは、多くの数の候補物体と多くの数の同時に存在する対象物体の両方を取り扱えることが必要である。多くの数の候補物体は、各検出された対象物体に対して沢山の処理が必要とされることを意味し、多くの数の検出された対象物体は、この処理が頻繁に実行されることを必要とすることを意味する。

本発明の一実施形態によるシステムの一実施例は、図１に描かれている。画定された領域１０１は、物理的アクセスコントローラ１０３ａ、１０３ｂによって制御される、エントランス１０２ａ、１０２ｂを通してアクセスされる。物理的アクセスコントローラ１０３ａ、１０３ｂは、画定された領域１０１へのアクセスを要求する人間によって提示された認証情報を、事前に登録された人間たちの認証情報を含むデータベース内の認証情報にマッチングさせることによって、画定された領域への物理的アクセスを制御するように適合された、物理的アクセス制御システムの部分である。そのような物理的アクセス制御システムは、工場、オフィス、学校、研究所、ホテルなどで使用され得る。そこでは、特定の領域へのアクセスが、事前に登録された人間たちの特定の群に制限されている。認証情報データベースの記憶と更に認証情報のマッチングとは、アクセスコントローラ１０３ａ、１０３ｂで、又はアクセスコントローラ１０３ａ、１０３ｂに接続されたサーバ１０９ａにおいて、局所的に取り扱われ得る。図１では、サーバ１０９ａが、画定された領域１０１の外側であるが画定された領域１０１に連結された破線を有する筐体内に配置されている。サーバ１０９ａのこの表現の目的は、サーバが、画定された領域１０１内に又は画定された領域の外側に物理的に配置され得ることを示すことである。サーバ１０９ａが、画定された領域１０１の外側に配置されている場合には、それが、ネットワークを通じてアクセスコントローラ１０３ａ、１０３ｂに接続され得る。アクセスコントローラ１０３ａ、１０３ｂは、画定された領域へのアクセスを要求する人間が認証情報を提示するための、認証情報入力装置１０４ａ、１０４ｂ、例えば、キーパッド、生体測定スキャナ、又は光学的、磁気的、若しくは無線周波数プロトコルのリーダ装置、又は類似の装置に接続されている。例えば、生体測定スキャナは、指紋、虹彩、網膜、又は顔をスキャンし得る。物理的アクセスコントローラ１０３ａ、１０３ｂは、例えば、人々が彼らの認証情報を提示することなしに画定された領域１０１へ入ることを妨げるために通路内に配置され得る、ドア、エレベーター、門、回転ドア、スライドドア、又は別の移動可能なブロッキング装置を介する、画定された領域１０１への入場を支配するロッキング機構に接続されている。提示された認証情報が認証情報データベース内の認証情報とのマッチングに成功したことに応じて、及び様々なアクセスの規則に応じて、人間は画定された領域へのアクセスが与えられ得る。例えば、アクセス規則は、事前に登録された人間たちにアクセスが許される期間を規制し得る。

エントランス１０２ｂは、登録領域１０５と繋がるように配置され得る。そこでは、画定された領域１０１へのアクセスを要求しようとしている人間が、画定された領域１０１へのアクセスのための認証情報を得るために事前に登録し得る。

カメラ１０６は、事前登録のための人間の画像を取得するために使用され得る。取得された画像は、画像データから人間を特定するための情報を含む識別プロファイルを編集するために使用され得る。識別プロファイルは、人間の外見を表現するための１以上の組の識別特性を含む。識別特性の例は、人間の身体又は顔の特性の幾何学的形状のパラメータ、人間の顔の特徴又は身体の特徴を表す数学的な表現、人間の衣服、肌、又は顔のテクスチャパラメータ、人間又は人間の部分の画像からの色のスペクトル、人間の歩き方、人間の動きのパターンである。人間の外見を表現するための識別特性に加えて、識別プロファイルは、人間の他の記述子、例えば、画定された領域内での人間の事前に決定された位置、又は人間によって運ばれる様々な携帯装置から送信される識別子も含み得る。識別プロファイルの編集は、事前登録プロセスの部分であっても又はなくてもよい。代替的に、識別プロファイルは、人間が画定された領域１０１に入った後で、画定された領域１０１を監視するカメラ１０７ａ〜ｆからの画像データを使用して編集され得る。識別プロファイル内で使用される画像データは、部分的に事前登録の間に、部分的に画定された領域１０１内でも収集され得る。更に別の代替例は、別の監視システムなどの別のソースからの識別プロファイルを編集するために使用され得る、識別プロファイル又はデータをインポートする。

識別プロファイルは、更に、画定された領域１０１を監視するカメラ１０７ａ〜ｆからの画像データを用いて連続的に更新され得る。識別プロファイルを連続的に更新することは、有益であり得る。何故ならば、人間の外見に関するデータの少なくとも一部は、例えば、衣服、メガネ、髪型などのように、経時的に変化し得るからである。

事前登録は、上述の登録領域１０５とは異なる他の場所で実行され得る。例えば、事前登録は、画定された領域１０１から遠隔に配置された他の登録領域で実行され得る。指定された登録領域は、画定された領域へのアクセスを要求することが、画定された領域１０１へのアクセスを制御する物理的アクセス制御システムの認証情報データベースの中へ送信され、及び、挿入され得るときに、その認証情報が使用される限りにおいて、必要でさえないかもしれない。

第２の画定された領域１０８も、画定された領域１０１の内側に配置され得る。それによって、人間は、先ず、第２の画定された領域１０８に入る前に、画定された領域１０１へのアクセスを要求することが必要である。アクセス規則は、物理的アクセス制御システム内で規定され得る。それによって、画定された領域１０１の第１の部分へのアクセスを有する全ての人間たちは、第２の画定された領域１０８へもアクセスすることができる。アクセス規則は、代替的に、画定された領域１０１の第１の部分へ入ることができる人間のサブグループが、第２の画定された領域１０８に入ることができるようにも構成され得る。第２の画定された領域１０８は、物理的アクセスコントローラ１０３ｃによって制御される、エントランス１０２ｃを通してアクセスされる。物理的アクセスコントローラ１０３ｃは、画定された領域へのアクセスを要求する人間によって提示された認証情報を、事前に登録された人間の認証情報を含むデータベース内の認証情報にマッチングさせることによって、画定された領域への物理的アクセスを制御するように適合された、物理的アクセス制御システムの部分である。認証情報データベースの記憶と更に認証情報のマッチングとは、アクセスコントローラ１０３ｃで、又はアクセスコントローラ１０３ａ、１０３ｂに関しては、アクセスコントローラに接続されたサーバにおいて、局所的に取り扱われ得る。アクセスコントローラ１０３ｃは、以前に認証情報入力装置１０４ａ〜ｂに対して説明されたものと同様に、認証情報入力装置１０４ｃにも接続されている。

複数の監視カメラ１０７ａ〜ｆは、画定された領域１０１を監視している。監視カメラ１０７ａ〜ｆは、画定された領域１０１の第１の部分へのエントランス１０２ａ〜ｂと、更に、画定された領域１０１の内側に配置された第２の画定された領域１０８へのエントランス、更に、画定された領域内の他の領域へのエントランスも監視し得る。監視カメラ１０７ａ〜ｆは、画像データを記憶し、処理し、及び管理するためのサーバ１０９ｂも含み得る、監視システムに接続されている。監視システムは、監視カメラ１０７ａ〜ｆの近くで働く局所的計算装置も含み得る。監視システムに接続された装置は、ネットワークを介して通信し、ネットワークは、有線又は無線データ通信ネットワーク、例えば、ローカルエリアネットワーク（ＬＡＮ）又は無線ローカルエリアネットワーク（Ｗ‐ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）などの、任意の種類の通信ネットワークであり得る。監視カメラ１０７ａ〜ｆは、画像シーケンスを生成することができる任意のデジタルビデオカメラ及び／又は画像シーケンスを生成することができる任意のアナログビデオカメラであり得る。監視カメラがアナログビデオカメラである場合、アナログビデオカメラは、アナログ画像情報をデジタル画像データに変換し、デジタル画像データをネットワーク２０に提供する、コンバータに接続されている。そのようなコンバータは、ビデオエンコーダ又はビデオサーバであり得る。図１では、サーバ１０９ｂが、画定された領域１０１の外側であるが画定された領域１０１に連結された破線を有する筐体内に配置されている。サーバ１０９ｂのこの表現の目的は、上述したように、サーバが、画定された領域１０１内に又は画定された領域の外側に物理的に配置され得ることを示すことである。サーバ１０９ｂが、画定された領域１０１の外側に配置されている場合には、それが、ネットワークを通じて監視カメラ１０７ａ〜ｆに接続され得る。代替的に、監視カメラ１０７ａ〜ｆは、局所的に又は監視カメラ１０７ａ〜ｆの近くで働く局所的な計算装置によって、画像データの記憶、処理、及び管理を取り扱うように装備され得る。監視システムは、記憶された識別プロファイルを取り扱い、監視カメラによって取得された画像データ内の物体の物体追跡を管理する。監視システムは、物理的アクセス制御システムに接続されている。サーバ１０９ａと１０９ｂは、図１では、分離したユニットとして描かれているが、サーバ１０９ａと１０９ｂの機能は、無論、１つの物理的サーバユニットで組み合わされ得る。

次に、図２を参照すると、図１で描かれたものなどの、画定された領域１０１内の人間を追跡するための方法が描かれている。方法は、画定された領域に入る人間を特定することによって開始する（ステップ２０２）。特定は、人間によってシステムに提示された認証情報を、事前に登録された人間の認証情報を含むデータベース内の認証情報とマッチングさせることによって実行される。ステップ２０２は、図１との関連で説明された、例えば、人間によって提示された認証情報を読むための認証情報入力装置１０４と、提示された認証情報を事前に登録された人間の認証情報を含むデータベース内の認証情報にマッチングさせるアクセスコントローラ１０３とを備えた、物理的アクセス制御システムによって実行され得る。しかし、アクセスコントローラ１０３は、代替例として、提示された認証情報を中央サーバ１０９ａに送信し、提示された認証情報の事前に登録された人間の認証情報とのマッチングを実行することができる。

画定された領域１０１に入る人間を特定するステップ２０２の後で、特定された人間の識別プロファイルが、領域４０５内で追跡される人間たちのリスト内に登録される（ステップ２０４）。ステップ２０４を実行するための様々な代替例が存在する。特定された人間の識別プロファイルが、監視システムのために利用可能であるならば、その識別プロファイルは、「追跡される」又はそれと類似のものとしてラベルを付けられ得る。問題の識別プロファイルに対するポインターは、代替的に、領域４０５内で追跡される人間のリストから生成され得る。無論、識別プロファイルも、領域４０５内で追跡される人間たちのリストのための指定されたメモリに対して複製され得る。特定された人間の識別プロファイルが、監視システムのために利用可能でないならば、新しい識別プロファイルが、画定された領域１０１を監視する監視カメラ１０７によって取得された画像データから生成され得る。一実施例として、画定された領域１０１に対するエントランス１０２ａを監視する監視カメラ１０７ｃは、そこから特定された人間の外見を表すための識別特性が引き出され、識別プロファイル内に登録され得るところの、画像データを取得するために使用され得る。画定された領域１０１へのエントランス１０２ａを監視する監視カメラ１０７ｃによって取得された画像データは、特定された人間の現在の外見を表す識別特性を用いて利用可能な識別プロファイルを更新するためにも有用であり得る。識別プロファイルを更新するために画定された領域１０１へのエントランス１０２ａを監視する監視カメラ１０７ｃによって取得された画像データを使用することの利点は、それが、認証情報を提示しマッチングさせることによって人間が特定されたときに、又はその直後に、実行されることであり、それは、十分な信頼性を伴ってその人間を画定された領域へ入れるために、その人間の確実な特定が行われたことを意味する。例えば、人間が、人間の外見を変える、新しい髪型、新しいメガネ、又は単に新しい衣服を有しているならば、識別プロファイルは、人間の特定が提示された認証情報から知られる、システム内のポイントにおいて、この外見に対して適合され得る。

その後、追跡方法は、領域内の情景から、画像データを受信する（ステップ２０６）ことによって続けられる。受信された画像データは、画定された領域１０１を監視する監視カメラ１０７の何れかによって取得される。物体は、当該技術分野で知られている任意の物体検出アルゴリズムによって、受信された画像データ内で検出され得る。例えば、動いている物体は、運動検出アルゴリズムによって検出され得る。運動検出アルゴリズムのある実施例は、ビデオフレームを比較して、ビデオフレームの間の変化を検出する変化検出アルゴリズム、動いている最前面の物体を引き出す監視された情景の背景モデルを使用するアルゴリズム、ＡｌｍｂｌａｄｈによるＵＳ８，１２１，４２４内で説明されるものなどの時空間的アルゴリズム、又はそれらの任意の組み合わせである。それらの運動によって物体を検出するための代替例は、形状検出を使用して、それらの視覚的特徴によって物体を検出する。様々な種類のそのような物体検出方法が当該技術分野で知られている。例えば、Ｖｉｏｌａ，Ｐａｕｌ，ａｎｄ Ｍｉｃｈａｅｌ Ｊｏｎｅｓ、「Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ．」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１．ＣＶＰＲ２００１．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００１． ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．Ｖｏｌ．１． ＩＥＥＥ，２００１で説明されるように、物体を検出するために識別子のカスケードが使用される。これらのアルゴリズムにとって重要なのは、視覚的特徴なので、類似する視覚的特徴を共有する物体の群が検出され得る。そのような群の例は、顔、輸送体、人間などである。これらの方法の何れかが、分離して又は組み合わされて使用され、画像データ内の物体を検出し得る。幾つかの物体は、同じ組の画像データ内でも検出され得る。物体検出は、画像データを取得した監視カメラ、又は画像データを取得した監視カメラからの画像データを受信した別の監視カメラの何れかによって、監視カメラ１０７において実行され得る。代替的に、物体検出は、監視システム内の監視カメラ１０７に接続されたサーバ１０９ｂにおいて、又は監視カメラ１０７の近くで働く局所的計算装置において実行され得る。

物体が画像データ内で検出されたときに、検出された物体の視覚的外見を表す、一組の識別特性が生成される（ステップ２０８）。画定された領域１０１を監視する１以上の監視カメラ１０７によって取得された単一の画像フレーム又はビデオシーケンスからの画像データが使用されて、検出された物体の識別特性を生成し得る。様々な画像及び／又はビデオ解析アルゴリズムが使用されて、画像データから識別特性を引き出し生成し得る。そのような画像又はビデオ解析アルゴリズムの実施例は、例えば、Ｔｕｒｋ，Ｍａｔｔｈｅｗ Ａ．，ａｎｄ Ａｌｅｘ Ｐ．Ｐｅｎｔｌａｎｄ、「Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｆａｃｅｓ．」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９１．Ｐｒｏｃｅｅｄｉｎｇｓ ＣＶＰＲ’９１．，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，１９９１．，ｇａｉｔ ｆｅａｔｕｒｅｓ ｓｕｃｈ ｉｎ Ｌｅｅ，Ｌｉｌｙ，ａｎｄ Ｗ．Ｅｒｉｃ Ｌ．Ｇｒｉｍｓｏｎ．「Ｇａｉｔ ａｎａｌｙｓｉｓ ｆｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌａｓｓｆｉｃａｔｉｏｎ．」Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏ，２００２．Ｐｒｏｃｅｅｄｉｎｇｓ．Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，２００２．，ｏｒ ｃｏｌｏｒｓ ｓｕｃｈ ｉｎ ＵＳ８，４７２，７１４ ｂｙ Ｂｒｏｇｒｅｎ ｅｔ ａｌ．などの、顔の特徴を引き出すための様々なアルゴリズムである。

識別特性は、画像データを取得した監視カメラ、監視システム内の別の監視カメラ、カメラの近くで働く局所的な計算ユニット、又は監視カメラに接続されたサーバ１０９ｂにおいて生成され得る。識別特性の生成は、受信した画像データ内で物体が検出されたことに応じて行われる。物体がシステムの一部分内で検出され、識別特性の生成がシステムの別の部分で実行されるならば、画像データ内の検出された物体を表すデータは、物体を検出した部分から識別特性を生成する部分へ送信され得る。画像データ内の検出された構成要素を表すそのようなデータの例は、画像座標、タイムスタンプ、物体ラベル、色識別子、物体の画像などであり得る。これは、受信した部分が、検出された物体の識別特性を生成することによって物体を追跡する、方法を継続することを可能にする。

その後、生成された識別特性が、検出された物体に対して記憶され、領域４０５内で追跡される人間たちのリスト内に登録された識別プロファイル内の識別特性と比較される（ステップ２１０）。領域４０５内で追跡される人間たちのリストを維持することによって、検出された物体の生成された識別特性を、画定された領域内にいる可能性を有する人間たちの完全なリストと比較する必要がない。それは、例えば、製造施設における全ての従業員たち、オフィスで働いている全ての人間たち、ゲーテッドコミュニティーで暮らしている全ての人間たちなどである。これは、特定の精度が高まること、大量の処理能力と処理時間が節約されること、及び実際の処理が限られた処理能力と処理時間を用いてシステムの構成要素において実行され得ることをもたらす。領域４０５内で追跡される人間たちのリストに載っている人間たちは、画定された領域に入ったことに応じてリストに登録されて、それによって、リストに載っているという事実のために、比較が行われるステップ２１０の一部分としてリストを作成するために、何らの時間又は処理能力も必要とされない。比較ステップ２１０は、特定と登録のステップ２０２と２０４よりも頻繁にシステムによって行われると推定されるようである。何故ならば、画定された領域１０１に入った人間たちは、画定された領域１０１を動き回る傾向があり、画定された領域内の多くの場所において監視カメラ１０７によって取得された画像データ内で検出され得るからである。したがって、リストを作成することに関連付けられる処理は、特定に応じて、画定された領域１０１に入る特定された人間たちを登録することによっても低減され得る（ステップ２０２）。

ステップ２１２では、検出された物体の一組の識別特性に最も良くマッチングする、領域４０５内で追跡される人間たちのリスト内の識別プロファイルが判定される。これは、如何に優れて識別プロファイル内の識別特性が、検出された物体の生成された識別特性にマッチングするかを表す、信頼性スコアを計算することによって実行され得る。例えば、信頼性スコアは、パーセンテージとして規定され得る。１００％又は１は、識別特性の同一のマッチングを示し、０％又は０は、２つの完全に異なる識別特性を示す。識別特性のマッチングは、実行することが困難であり得る。何故ならば、マッチングのための原理として使用されている画像データは、照明状態、画像処理アーチファクト、監視カメラの性能などによって影響を受け易いからである。マッチングの信頼性を高めるために、幾つかの異なる識別特性が並行して使用され、組み合わされた結果が使用され得る。ニューラルネットワークアプローチが使用され、検出された物体の生成された識別特性に最も良くマッチングする識別プロファイルを判定し得る。その後、ニューラルネットワークは、識別プロファイルと検出された物体の識別特性との間の最も高い相関を有する最も優れたマッチングを見つけるように訓練され、サーバ１０９ａ〜ｂに実装され、又は監視カメラ１０７若しくは監視カメラに接続された局所的計算ユニットにわたり分散され得る。訓練の経験に基づいて、その後、ニューラルネットワークは、最も優れたマッチングに到達することにおいて最も効率が良い、（１以上の）識別特性の組み合わせを使用し得る。したがって、ある識別特性は、それらが最も優れたマッチングを見つけることにおいて効率的でないならば、そのようなシナリオにおいて使用されないだろう。例えば、マッチングを見つけることにおける効率は、最も優れたマッチングを実際に見つけることの成功率、最も優れたマッチングを見つけるために必要とされるリソース、最も優れたマッチングを見つけるためにかかる時間、又は最も優れたマッチングを見つけるために必要とされる処理能力を指し得る。ニューラルネットワークは、マッチングを実行するための可能なアプローチのうちの１つ又は組み合わせを使用するように実装され得る。当該技術分野で知られている種々のマッチングアプローチが存在し、例えば、検出された物体の識別特性と識別プロファイルの識別特性との間のユークリッド距離が、Ｓｃｈｒｏｆｆ ｅｔ ａｌの「Ｆａｃｅｎｅｔ：Ａ ｕｎｉｆｉｅｄ ｅｍｂｅｄｄｉｎｇ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ．」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１５によって、マッチングにおいて使用され得る。代替例は、Ｖｉｏｌａ ａｎｄ Ｊｏｎｅｓ ｉｎ 「Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｅｄ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ．」Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００１．ＣＶＰＲ２００１．Ｐｒｏｄｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．Ｖｏｌ．１．ＩＥＥＥＥ，２００１によって開示されたものなどの、特徴カスケードに基づくアルゴリズムを適用する。ユークリッド距離のアプローチを使用する場合、短いユークリッド距離が、識別特性の間の高い相関を表し、一方で、大きなユークリッド距離が、低い相関を表し得る。

ステップ２１４では、検出された物体が、検出された物体の識別プロファイルに最も良くマッチングすると判定された識別プロファイルに紐づけられる。紐づけは、物体が検出された画像フレームに紐づけられるメタデータとして保存される、参照、タグ、又はポインターとして実施され得る。代替的に、又は組み合わされて、ビデオフレーム若しくはビデオフレームのシーケンスに対する参照、タグ、若しくはポインター、又は代替的に時間内のポイント、及び情景若しくは検出された物体の画像を取得したカメラの位置が、検出された物体の識別特性に最も良くマッチングすると判定された識別プロファイル内に記憶され得る。

識別特性の最も優れたマッチングを見つけるために信頼性スコアを使用することに加えて、それらは、最も優れたマッチングが実は乏しいマッチングであることの表示としても使用され得る。検出された物体の一組の識別特性に対して最も高い相関を有する識別プロファイルに対応する計算された信頼性スコアが、第１の閾値よりも小さいならば、検出された物体を最も優れたマッチングを生み出す識別プロファイルに紐づける動作は、実行されないだろう。これは、システムが、間違いをもたらし得る結果を記憶することを妨げ得る。警報も、生成され、そのような場合にシステムのオペレータに送信され得る。乏しい相関を有するマッチングのこれらの場合が、乏しいマッチングとして強調されることは重要であり得る。何故ならば、それは、画定された領域１０１へのアクセスを許容されていない人間が、何らかのやり方で画定された領域１０１へのアクセスを獲得したことの表示であり得るからである。

領域４０５内で追跡される人間たちのリストを最新の且つ正確なものとして維持するために、画定された領域１０１を離れるとして特定された人間たちが、このリストから除去され得る。例えば、人間たちが画定された領域１０１から離れることを可能にするドアを開くために、彼らは、認証情報を提示することによって、画定された領域１０１を離れるものとして特定され得る。その後、提示された認証情報は、彼らのアイデンティティーを見つけるために事前に登録された人間たちの認証情報を含むデータベース内の認証情報にマッチングされ得る。そして、領域４０５内で追跡される人間たちのリストから、彼らの識別プロファイルを除去することができる。

所定の活動期間の間に検出された物体に紐づけられなかった識別プロファイルも、領域４０５内で追跡される人間たちのリストから除去され得る。したがって、画定された領域１０１に入った人間が、画定された領域１０１内の監視しない場所に滞在するならば、又は画定された領域１０１を離れるものとして特定されることなしに、画定された領域１０１を離れるならば、その人間は、その人間の識別プロファイルが最後に検出された物体に紐づけられて以来、所定の活動期間が経過した後で、領域４０５内で追跡される人間たちのリストから除去され得る。この特徴は、領域４０５内で追跡される人間たちのリストを正確に維持するように実装され得る。それは、追跡の処理時間を低減させ特定の精度を高めるために、必要とされるよりも多くの人間たちを含まないだろう。所定の活動期間の範囲は、システム毎に変動し得る。画定された領域１０１では、沢山の人間が頻繁に動き回り、領域を離れる人間たちを特定することが難しく、この期間を非常に短く設定することが賢明であろう。例えば、ホテルなどにおけるように、２、３名の人間たちだけが動き回り、画定された領域１０１内の監視されない場所により長く滞在するかもしれないシステムでは、この所定の活動期間は、通常、より長い期間に設定され得る。

図３では、人間を追跡するための代替的な方法が表示されている。この方法は、図２を参照して説明された方法に基づき、その方法と共通な幾つかのステップを有し、その共通のステップは、簡略のために同じ参照番号が付されている。

図３の追跡方法は、認証情報をマッチングさせることによって人間を特定すること（ステップ２０２）、及び領域４０５内で追跡される人間たちのリスト内で特定された人間の識別プロファイルを登録すること（ステップ２０４）によって開始する。ステップ２０２とステップ２０４の両方は、図２を参照して以前に説明されている。しかし、識別プロファイルは、領域５０５に入った人間たちのリスト内にも登録される（ステップ３０４）。領域５０５に入った人間たちのリストは、領域に入ったと特定された全ての人間たちの識別プロファイルを含む。リストを正確に維持するために、領域を離れるものと特定された人間たちは、リストから除去され得る。図２で表示された追跡方法と類似して、画像データがステップ２０６で受信され、受信した画像データ内で検出された物体の識別特性が、ステップ２０８で生成される。ステップ３１０では、その後、生成された識別特性と識別プロファイルの対応する識別特性との間の相関の信頼性スコアを計算することによって、生成された識別特性が、領域４０５内で追跡される人間たちのリスト内の識別プロファイルと比較される。信頼性スコアは、以前に説明されており、その説明は、ステップ３１０で計算される信頼性スコアにも適用される。検出された物体の生成された識別特性との最も高い相関を有し、それによって、最も高い信頼性スコアを生成する識別プロファイルは、ステップ２１３で選択される。生成された識別特性と最も高い相関を有する識別プロファイルとの間のマッチングの質を検査するために、最も高い相関に関連付けられた信頼性スコアが、ステップ３１６で、閾値と比較される。信頼性スコアが、この閾値よりも大きいならば、生成された識別特性と識別プロファイルとの間のマッチングは、検出された物体が識別プロファイルに紐づけられるステップ２１４へと続くのに十分優れた質を有している。

しかし、信頼性スコアが閾値よりも大きくなければ、これは、生成された識別特性と識別プロファイルとの間のマッチングが、乏しい相関を有することを示す。これは、通常、領域４０５内で追跡される人間たちのリストから除去された人間が、再び領域の監視部分内で動き始めた場合であり得る。乏しい相関は、人間が、認証情報を提示することなしに領域に入ったことも示し得る。

その後、生成された識別特性と識別プロファイルの対応する識別特性との間の相関の信頼性スコアを計算することによって、生成された識別特性が、領域５０５内に入った人間たちのリスト内の識別プロファイルと比較される（ステップ３１８参照）。ステップ３１２と類似して、その後、最も高い相関に対応する識別プロファイルは、ステップ３２０で選択され、ステップ２１４で検出された物体に紐づけられる。検出された物体の一組の識別特性に対して最も高い相関を有する識別プロファイルに対応する計算された信頼性スコアが、第２の閾値よりも小さいならば、検出された物体を最も優れたマッチングを生み出す識別プロファイルに紐づける動作は、実行されないだろう。これは、システムが、間違いをもたらし得る結果を記憶することを妨げ得る。警報も、生成され、そのような場合にシステムのオペレータに送信され得る。乏しい相関を有するマッチングのこれらの場合が、乏しいマッチングとして強調されることは重要であり得る。何故ならば、それは、画定された領域１０１へのアクセスを許容されていない人間が、何らかのやり方で画定された領域１０１へのアクセスを獲得したことの表示だからである。

領域４０５内で追跡される人間たちのリストは、領域５０５に入った人間たちのリストのサブセットを含む。したがって、領域４０５内で追跡される人間たちのリストは、領域に入った人間たちのリストであり、現在追跡されている人間たちリストでもあり、又は少なくとも最近検出された物体に紐づけられた人間たちのリストである。これは、上述した所定の活動期間を使用して実現され、特定の期間中に検出された物体に紐づけられなかった識別プロファイルを、領域内で追跡される人間のリストから除去し得る。したがって、領域４０５内で追跡される人間たちのリストは、画像データ内で物体が検出されたときに高い相関を有するマッチングの最も可能性が高い候補を含み得る。したがって、追跡する方法が使用されたときに大多数の場合、処理時間及び処理リソースが低減され得る。それは、最も可能性が高い候補のみが比較ステップ３１０内で使用されるからである。最も可能性が高い候補のうちの１つが優れた十分な相関を有するマッチングを生成しない稀な場合、第２の比較ステップ３１８が、識別特性を、領域に入ったが最近の時間において検出された物体に紐づけられていなかった人間たちの識別プロファイルと比較することの可能性も提供する。したがって、その後、人間が画定された領域１０１に入るならば、しかし、例えば、所定の活動期間よりも長い期間において監視カメラ１０７の何れかによって監視されていない室内に滞在するならば、その人間の識別プロファイルは、領域４０５内で追跡される人間たちのリストから除去され得る。しかし、人間は領域５０５に入った人間たちのリストに未だ載り得るので、その人間の識別プロファイルは、その人間が監視されていない部屋を離れ、監視カメラによって検出されたときに選択され得る。

識別プロファイルが領域４０５内で追跡される人間たちのリストから除去されたときのような場合、識別プロファイルは、検出された物体を問題の識別プロファイルに紐づけるステップ２１４に応じて、再び領域４０５内で追跡される人間たちのリストにも登録され得る。

領域４０５内で追跡される人間たちのリストが、領域５０５に入った人間たちのリストのサブセットを含むという事実によって、ステップ３１８で、信頼性スコアは、領域４０５内で追跡される人間たちのリスト内の識別プロファイルに対して再計算される必要はないかもしれない。ステップ３１０でこれらの識別プロファイルに対して計算される信頼性スコアは、ステップ３１８で再使用され得るか、又は、これらの識別プロファイルがステップ３１８で実行される比較に含まれないことが判定され得る。

人間が領域に入ったと特定されたときの時間内のポイント以来、所定の存在期間が経過したならば、そのときも、領域に入った人間たちの識別プロファイルは、そのリストから除去され得る。
これは、領域５０５に入った人間たちのリストを最新の且つ正確なものに維持することにおいて有用である。何故ならば、人間たちが、その領域を離れるものと特定されることなしに、画定された領域を離れる可能性が存在し得るからである。所定の存在期間は、通常、画定された領域内の予期される存在期間よりも長い期間に設定され得る。例えば、画定された領域がオフィスビルならば、この期間は、幾らかの安全マージンを伴う予期される就業時間に設定され得る。

検出された物体を選択された識別プロファイルに紐づけるステップ２１４に応じて、選択された識別プロファイルは、検出された物体の生成された識別特性からのデータを用いて更新され得る。代替例として、識別プロファイルの更新は、例えば、信頼性スコアを更新のために所定の閾値と比較することによって、マッチングの相関が十分に高いときにだけ行われ得る。更新を実行する１つのやり方は、識別プロファイル内の現在の情報と生成された一組の識別特性からの情報とに基づいて、統計的測定値を計算することであり得る。

図４との関連で、人間を追跡するためのシステム４００が説明される。人間を追跡するためのシステム４００は、事前に登録された人間たちの認証情報を含むデータベース内の認証情報に、その人間によって提示された認証情報をマッチングさせることによって、画定された領域に入る人間を特定するように構成された識別モジュール４０２、人間の識別プロファイルであって、その人間を特定するための情報を含む、識別プロファイルを領域４０５内で追跡される人間たちのリスト内に登録するように構成された登録モジュール４０４、領域内の情景から画像データを取得するように構成された画像取得装置４０６、画像取得装置によって取得された画像データ内で検出された物体の一組の識別特性を生成するように構成された識別特性生成モジュール４０８、検出された物体の生成された一組の識別特性を、領域４０５内で追跡される人間たちのリスト内に登録された識別プロファイルと比較し、検出された物体の一組の識別特性に最も良くマッチングする、領域４０５内で追跡される人間たちのリスト内の識別プロファイルを判定するように構成されたマッチングモジュール４１０、及び検出された物体を、検出された物体の識別プロファイルに最も良くマッチングすると判定された識別プロファイルに紐づけるように構成された追跡モジュール４１２を備える。

図４の識別モジュール４０２は、物理的アクセスコントローラ１０３ａ、１０３ｂ、又はサーバ１０９ａなどの、物理的アクセス制御システムに接続されたサーバに実装され得る。１０９ａ又は１０９ｂなどの中央サーバは、通常、登録モジュール４０４の機能を含むが、登録モジュールの機能は、代替的には、当該技術分野で知られているピアツーピアプロトコルを使用して、監視カメラ１０７又は物理的アクセスコントローラ１０３に分散され得る。登録モジュール４０４は、更に、別の代替例として、１以上の近くの監視カメラ１０７を担う（１以上の）局所的計算ユニットに実装され得る。識別モジュール４０２は、登録モジュール４０４に接続され、特定された人間の識別子を登録モジュール４０４に送信し、それによって、特定された人間の識別プロファイルが、領域４０５内で追跡される人間たちのリスト内に登録され得る。登録モジュール４０４は、システム４００及び５００の他のモジュールとの関連で、領域４０５内で追跡される人間たちのリストのエントリに関する通信を記憶し取り扱う。登録モジュール４０４は、サブモジュール、例えば、システム４００及び５００の他のモジュールとの通信を取り扱う１つのサブモジュール、及び領域４０５内で追跡される人間たちの実際のリストを記憶する１つのサブモジュールを備え得る。

監視カメラ１０７は、画定された領域１０１内の情景から画像データを取得する画像取得装置４０６の実施例である。監視カメラ１０７は、識別特性生成モジュールも含み、又は代替的に、このモジュールは、監視カメラ１０７に接続された中央サーバ１０９ｂに配置され得る。後者の場合、監視カメラは、監視された情景の画像データを中央サーバ１０９ｂに送信し、又は特に、物体の検出がカメラで実行されたならば、検出された物体の画像データを中央サーバ１０９ｂに送信する。

マッチングモジュール４１０は、最も優れたマッチングを見つけるための比較を行うために、登録モジュール４０４から登録された識別プロファイルについての情報を受信し、識別特性生成モジュール４０８から生成された識別特性を受信する。以前に説明されたもののように、この比較は、信頼性スコアを計算し比較することによって行われ得る。その後、最も優れたマッチングをもたらす識別プロファイルを特定するデータが、検出された物体をこの識別プロファイルに紐づける追跡モジュール４１２に送信され得る。マッチングモジュール４１０と追跡モジュール４１２は、中央サーバ１０９、近くのカメラを担う（１以上の）局所的計算ユニット、分散された機能で、複数の監視カメラ１０７、又は物理的アクセス制御サーバ１０３に実装され得る。

図５は、人間を追跡するためのシステム５００の別の一実施例を示している。システム４００との関連で、以前に説明されたモジュールのうちの幾つかは、システム５００内に存在する。これらのモジュールの説明は、システム５００にも適用される。

システム５００の領域５０５に入った人間たちのリストの識別プロファイルを登録するエントランス登録モジュール５１４は、物理的アクセス制御システムの部分として実装され、例えば、物理的アクセスコントローラ１０３内に含まれ、又は物理的アクセスコントローラ１０３に接続された中央サーバに含まれ得る。エントランス登録モジュール５１４は、システム５００の他のモジュールとの関連で、領域５０５に入った人間たちのリストのエントリに関して、情報を記憶し、通信を取り扱う。エントランス登録モジュール５１４は、サブモジュール、例えば、システム５００の他のモジュールとの通信を取り扱う１つのサブモジュール、及び領域５０５に入った人間たちの実際のリストを記憶する１つのサブモジュールを備え得る。領域４０５内で追跡される人間たちのリストを用いて働くマッチングモジュール４１０に加えて、第２のマッチングモジュール５１２が、システム５００内に含まれ、領域５０５に入った人間たちのリストの識別プロファイルをマッチングする。したがって、マッチングモジュール５１２は、最も優れたマッチングを見つけるための比較を行うために、エントランス登録モジュール５１４から登録された識別プロファイルについての情報を受信し、識別特性生成モジュール４０８から生成された識別特性を受信する。

登録解除モジュール５１６は、システム５００内で登録モジュール４０４に接続されている。検出された物体が識別プロファイルに紐づけられた、したがって、登録モジュール４０４に紐づけられた時間内の最後のポイント以来、所定の活動期間が経過したならば、登録解除モジュール５１６は、領域４０５内で追跡される人間たちのリストから人間の識別プロファイルを登録解除するように構成されている。登録モジュール４０４と同様に、登録解除モジュール５１６は、１０９ａ又は１０９ｂなどの中央サーバに実装され得る。しかし、登録解除モジュール５１６の機能は、代替的に、当該技術分野で知られているピアツーピアプロトコルを使用して、監視カメラ１０７又は物理的アクセスコントローラ１０３に分散され得る。別の代替例は、登録解除モジュール５１６を、１以上の近くの監視カメラ１０７を担う（１以上の）局所的計算ユニットに実装することである。

更に、本発明は、その中で具現化されたコンピュータ可読プログラムコードを有する１以上コンピュータ可読媒体内で具現化された非一時的コンピュータプログラム製品の形態を採り得る。

本発明による物理的アクセス制御システムと監視システムは、ビデオ管理システム、いわゆるＶＭＳと更に接続され得る。一般的に、ビデオ管理システムは、監視カメラと監視カメラによって生成されたビデオとを管理するが、更に、物理的アクセス制御システムを管理するようにも拡張され得る。したがって、ＶＭＳと相互作用するオペレータは、本発明による物体を追跡するためのシステムも構成し得る。例えば、信頼性スコアのための上述された閾値は、ＶＭＳインターフェースを使用して、オペレータによって構成され得る。存在期間と活動期間とは、ＶＭＳを使用して同様に構成され得る。

検出された物体と識別プロファイルとの間で行われる紐づけは、ＶＭＳによっても使用されて、例えば、オペレータによって特定された物体の画像データと物理的座標を集め得る。集められた画像データと物理的座標から、統計データのみならず視覚的図解が、オペレータの使用のために引き出され得る。この種類の物体追跡検索は、ライブデータを使用することと、いわゆる犯罪科学映像検索において記録された資料を使用することとの両方によって実行され得る。

Claims (17)

1. 人間を追跡するための方法であって、
   画定された領域へのアクセスを要求するときに人間によって提示される認証情報を読むこと、及び、事前に登録された人間たちの認証情報を含むデータベース内の認証情報に、前記人間によって提示された前記認証情報をマッチングさせることによって、前記画定された領域に入る前記人間を特定すること、
   特定された前記人間の識別プロファイルであって、前記人間の外見を表す一組の識別特性を含む識別プロファイルを、前記画定された領域内で追跡される人間たちのリスト内に登録すること、
   前記画定された領域内の情景から画像データを受信すること、
   受信した前記画像データ内で検出された物体の一組の識別特性を生成すること、
   検出された前記物体の生成された前記一組の識別特性と、前記画定された領域内で追跡される人間たちの前記リスト内に登録された識別プロファイルの複数組の識別特性との間の相関に基づいて、信頼性スコアを計算すること、
   検出された前記物体の生成された前記一組の識別特性との最も高い相関を表す前記信頼性スコアに対応する一組の識別特性を含む、前記画定された領域内で追跡される人間たちの前記リスト内の識別プロファイルを特定すること、及び
   検出された前記物体の生成された前記一組の識別特性との前記最も高い相関を有する前記一組の識別特性を含む特定された前記識別プロファイルに対応する計算された前記信頼性スコアが、第１の所定の閾値よりも大きいならば、検出された前記物体を、特定された前記識別プロファイルに紐づけることを含む、方法。
2. 検出された前記物体の生成された前記一組の識別特性との前記最も高い相関を有する前記一組の識別特性を含む特定された前記識別プロファイルに対応する計算された前記信頼性スコアが、前記第１の所定の閾値よりも小さいならば、警報が発令される、請求項１に記載の方法。
3. 事前に登録された人間たちの認証情報を含むデータベース内の認証情報に、前記画定された領域を離れる人間によって提示された認証情報をマッチングさせることによって、前記画定された領域を離れる前記人間を特定すること、及び
   前記画定された領域内で追跡される人間たちの前記リストから、前記画定された領域を離れる前記人間の識別プロファイルを除去することを更に含む、請求項１または２に記載の方法。
4. 検出された物体が、前記画定された領域内で追跡される人間たちの前記リストからのある人間の識別プロファイルに紐づけられた最後の時間ポイント以来、所定の活動期間が経過したならば、前記画定された領域内で追跡される人間たちの前記リストから、前記人間の前記識別プロファイルを除去することを更に含む、請求項１から３のいずれか一項に記載の方法。
5. 人間を事前に登録して、
   前記人間が前記画定された領域にアクセスすることを許可する認証情報であって、事前に登録された人間たちの認証情報を含む前記データベースに保存される認証情報、および
   前記人間の外見を表す識別特性を含む識別プロファイルであって、前記画定された領域内で取得される画像データから前記人間が特定されることを可能にする識別プロファイル
   を生成することをさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 受信した前記画像データ内の検出された前記物体の生成された前記一組の識別特性との前記最も高い相関を有する前記一組の識別特性を含む特定された前記識別プロファイルに対応する計算された信頼性スコアが、第２の所定の閾値よりも小さいならば、前記紐づけの動作は実行されず、前記方法が、
   検出された前記物体の生成された前記一組の識別特性を、前記画定された領域に入った人間たちのリスト内に登録された識別プロファイルの複数組の識別特性と比較すること、
   検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする一組の識別特性を含む、前記画定された領域に入った人間たちの前記リスト内の識別プロファイルを特定すること、及び
   受信した前記画像データ内の検出された前記物体を、検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする前記一組の識別特性を含む特定された前記識別プロファイルに紐づけることを更に含む、請求項１から５のいずれか一項に記載の方法。
7. 検出された前記物体の生成された前記一組の識別特性と、前記画定された領域に入った人間たちの前記リスト内に登録された前記識別プロファイルの前記複数組の識別特性との前記比較が、検出された前記物体の生成された前記一組の識別特性と、前記画定された領域に入った人間たちの前記リスト内の前記人間たちの登録された前記識別プロファイルの前記複数組の識別特性との間の相関に基づいて、信頼性スコアを計算することによって実行され、
   検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする前記一組の識別特性を含む、前記画定された領域内に入った人間たちの前記リスト内の前記識別プロファイルの前記特定が、検出された前記物体の生成された前記一組の識別特性との最も高い相関を有する一組の識別特性を含む識別プロファイルを選択することによって実行される、請求項６に記載の方法。
8. 人間の外見を表す前記一組の識別特性の中の情報が、人間の身体又は顔の特性の幾何学的形状のパラメータ、人間の顔の特徴又は身体の特徴を表す数学的な表現、人間の衣服、肌、又は顔のテクスチャパラメータ、人間又は人間の部分の画像からの色のスペクトル、人間の歩き方、人間の動きのパターンから成る群から選択される、請求項１から７のいずれか一項に記載の方法。
9. 検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする前記一組の識別特性を含む前記識別プロファイル内の情報を、検出された前記物体の生成された前記一組の識別特性からの情報によって更新することを更に含む、請求項８に記載の方法。
10. 検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする前記一組の識別特性を含む前記識別プロファイル内の前記情報を更新する動作が、検出された前記物体の生成された前記一組の識別特性に最も良くマッチングする前記一組の識別特性を含む前記識別プロファイル内の現在の情報と、検出された前記物体の生成された前記一組の識別特性からの情報とに基づいて、統計的測定値を計算することによって実行される、請求項９に記載の方法。
11. 検出された前記物体を、検出された前記物体の前記一組の識別特性に最も良くマッチングする特定された前記識別プロファイルに紐づけるステップが、前記画像データを取得した画像取得装置の識別子、前記画像データが前記画像取得装置によって取得された時間内のポイント、及び前記画像データを取得した前記画像取得装置の位置の群から選択された、受信した前記画像データに関連する情報を登録することを更に含む、請求項１から１０のいずれか一項に記載の方法。
12. プロセッサによって実行されたときに、請求項１から１１のいずれか一項に記載の方法を実行するように適合された指示命令を有するコンピュータ可読記憶媒体。
13. 人間を追跡するためのシステムであって、
    事前に登録された人間たちの認証情報を保存するデータベースと、
    画定された領域内で追跡される人間たちのリストを保存するメモリと、
    前記画定された領域内の情景から画像データを取得する少なくとも１つのカメラと、
    前記データベース、前記メモリ、及び前記少なくとも１つのカメラに通信可能に連結されたプロセッサと、
    を備え、前記プロセッサは、
    前記画定された領域へのアクセスを要求するときに特定の人間によって提示される認証情報を読むこと、及び、前記特定の人間によって提示された前記認証情報を前記データベース内の認証情報にマッチングすることによって、前記画定された領域に入る前記特定の人間を特定し、
    前記特定の人間の外見を表す識別特性を含む前記特定の人間の識別プロファイルを、追跡される人間たちのリスト内に登録し、
    前記少なくとも１つのカメラによって取得された画像データ内で検出された物体の一組の識別特性を生成し、
    検出された前記物体の生成された前記一組の識別特性と、前記画定された領域内で追跡される人間たちの前記リスト内に登録された識別プロファイルの複数組の識別特性との間の相関に基づいて、信頼性スコアを計算し、
    検出された前記物体の生成された前記一組の識別特性との最も高い相関を表す前記信頼性スコアに対応する一組の識別特性を含む、前記画定された領域内で追跡される人間たちの前記リスト内の識別プロファイルを特定し、及び
    検出された前記物体の生成された前記一組の識別特性との前記最も高い相関を有する前記一組の識別特性を含む特定された前記識別プロファイルに対応する計算された前記信頼性スコアが、第１の所定の閾値よりも大きいならば、検出された前記物体を、特定された前記識別プロファイルに紐づける、ように構成されている、システム。
14. 前記プロセッサが更に、前記特定の人間の識別プロファイルを、前記画定された領域に入った人間たちのリスト内に登録するように構成されており、前記画定された領域に入った人間たちの前記リスト内の前記特定の人間の前記識別プロファイルは、画像データから前記特定の人間を特定するための情報を含むものである、請求項１３に記載のシステム。
15. 前記プロセッサが更に、検出された物体が、前記画定された領域に入った人間たちの前記リスト内の前記特定の人間の前記識別プロファイルに紐づけられた最後の時間ポイント以来、所定の活動期間が経過したならば、前記画定された領域内で追跡される人間たちの前記リストから前記特定の人間の識別プロファイルを登録解除するように構成されている、請求項１４に記載のシステム。
16. 前記データベースに前記人間の前記外見を表す前記識別特性を含む前記識別プロファイルを事前に登録するために、前記人間の画像を取得するように構成されたカメラを備える事前登録モジュールを更に備える、請求項１３から１５のいずれか一項に記載のシステム。
17. 前記認証情報を読むことが更に、認証情報入力装置を用いて前記認証情報を読むことを含み、前記認証情報入力装置は、前記認証情報を提示することによって前記画定された領域へのアクセスを要求するために前記画定された領域に入る前記人間によって用いられる、請求項１３から１６のいずれか一項に記載のシステム。

Images