JP6691406B2 - キャプチャ画像に関連するメタデータとして識別子を含めるための方法、コンピュータ・システム、およびコンピュータ・プログラム - Google Patents

Description

本発明は、一般に、コンピュータの分野に関し、より詳細には、ビデオ分析に関する。

ビデオ内容分析（ＶＡ）は、ビデオを自動的に分析して、時間的および空間的なイベントを検出し、決定する機能である。そのようなビデオ分析は、自動化されたセキュリティ・スクリーニングを、企業、政府、学校、または人々、車両、もしくは他の移動可能物が存在する任意の場所に提供する。かかるビデオ分析は、１つの対象物を別の対象物から分離および識別するだけでなく、対象物の軌跡の追跡も行う、強力な画像解析アルゴリズムをも含んでいる。

本発明は、キャプチャ画像に関連するメタデータとして識別子を含めるための方法、コンピュータ・システム、およびコンピュータ・プログラムを提供する。

一実施形態によれば、キャプチャ画像に関連するメタデータとして識別子を含めるための方法が提供される。方法は、画像と、画像に関連する一意識別子とを、デバイスによって受信するステップを含み得る。受信画像は、ビデオ・ストリームに関連するフレームである。方法は、一意識別子を、受信画像に関連するメタデータとして記憶するステップも含み得る。メタデータは、複数のパラメータに従って、ビデオ・ストリーム内の特定のフレームに結び付けられる。一意識別子は、画像内に含まれる対象物に取り付けられたタグを読み取る一意ＩＤリーダから受信される。

別の実施形態によれば、キャプチャ画像に関連するメタデータとして識別子を含めるためのコンピュータ・システムが提供される。コンピュータ・システムは、１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読メモリと、１つまたは複数のコンピュータ可読有形記憶デバイスと、１つまたは複数のプロセッサのうちの少なくとも１つによって、１つまたは複数のメモリのうちの少なくとも１つを介して実行するための、１つまたは複数の記憶デバイスのうちの少なくとも１つに記憶されたプログラム命令とを含むことができ、コンピュータ・システムは、上で説明された方法を実行することが可能である。

また別の実施形態によれば、キャプチャ画像に関連するメタデータとして識別子を含めるためのコンピュータ・プログラムが提供される。コンピュータ・プログラムは、１つまたは複数のコンピュータ可読有形記憶デバイスと、１つまたは複数の記憶デバイスのうちの少なくとも１つに記憶されたプログラム命令であって、プロセッサによって実行可能なプログラム命令とを含むことができる。コンピュータ・プログラムは、少なくとも１つの画像と、少なくとも１つの画像に関連する少なくとも１つの一意識別子とを、デバイスによって受信するためのプログラム命令を含むことができる。コンピュータ・プログラムは、先に説明された方法を実行するためのプログラム命令も含むことができる。

本発明の上記および他の目的、特徴、および利点は、添付の図面と関連付けて読まれるべき、本発明の例示的な実施形態についての以下の詳細な説明から明らかになろう。図は、当業者が詳細な説明と併せて本発明を理解する助けとなるように明確にするためのものなので、図面の様々な特徴は、実寸に比例していない。

少なくとも１つの実施形態による、ネットワーク接続されたコンピュータ環境を示す図である。 少なくとも１つの実施形態による、単一の物品の追跡についての例示的な図である。 少なくとも１つの実施形態による、多数の物品のうちの１つを区別することについての例示的な図である。 少なくとも１つの実施形態による、視覚的に同一な対象物を区別するためにプログラムによって実施されるステップを示す動作フローチャートである。 少なくとも１つの実施形態による、図１に示されたコンピュータおよびサーバの内部コンポーネントおよび外部コンポーネントについてのブロック図である。

特許請求される構造および方法の詳細な実施形態が、本明細書で開示される。しかし、開示される実施形態は、様々な形態で具体化することができる特許請求される構造および方法を単に例示するにすぎないことが理解されよう。本発明は、多くの異なる形態で具体化することができ、本明細書で説明される例示的な実施形態に限定されると解釈すべきではない。これらの例示的な実施形態は、本開示が綿密で完全であり、本発明の範囲を当業者に十分に伝えるように提供されている。説明においては、よく知られた特徴および技法の詳細は、提示される実施形態を不必要に曖昧にしないように省略されることがある。

本発明の実施形態は、一般に、コンピュータの分野に関し、より詳細には、ビデオ分析に関する。以下で説明される例示的な実施形態は、とりわけ、視覚的分析システムが視覚的に同一な対象物を区別することを可能にするためのシステム、方法、およびプログラムを提供する。したがって、本実施形態は、一意的なタグ付け（すなわち、一意識別子）を、ビデオ・ストリームに関連するキャプチャ画像（すなわち、ビデオ・ストリームなどの動画像に関連するキャプチャ・フレームまたは一連の静止フレーム）と結び付けることによって、視覚的分析の技術分野を改善するための機能を有する。より具体的には、本実施形態は、タグ付けされた物品が、ビデオ・カメラによって一意的に識別されることを可能にし、カメラが、その情報をビデオ・メタデータの一部としてキャプチャすることを可能にすることができる。

先に説明されたように、ビデオ分析は、セキュリティ・スクリーニングを支援することができる。本実施形態の様々な実施は、１つの対象物を別の対象物から分離および識別するばかりでなく、対象物の軌跡の追跡も行う、画像解析アルゴリズムを含むことができる。そのため、ビデオ分析は、視覚的な特性および特徴の照合を通して人および物を認識することによってビデオ・ストリームから有益な情報を生成するために使用することができる。個人または特定の物品がひとたび識別されると、１日のうちの時刻、場所、移動（すなわち、タグの移動）、および境界横断（すなわち、建物に入る、部屋を出る、セキュリティを通過するなど、監視されているエリアに固有の出入口の横断）などのメタデータ情報とともに、ビデオ・ストリーム内で提供される他の視覚的情報に基づいて、知的な推論を引き出すことができる。例えば、ビデオ分析は、毛髪、胴、脚、肌の色などの視覚的情報に集中され、顔認識も、現在可能であるが、正面向きで、照明が明るく、解像度が高いなど、理想的または理想的に近い画像に限られる。そのため、誤差の範囲は、色照合の場合、７０〜８０％であるが、顔認識の場合、完璧な画像がキャプチャされない限り、より低い。したがって、視野内のあるものに信頼できるアイデンティティを実際に関連付けることは、情報的に著しい改善である。そのような実施に基づくと、アイデンティティ・リンクが存在する限り、複数の情報を一緒に結び合わせることができる。例えば、人物Ｘが、ドアのところでバッジを読み取らせ、次に、その後、人物Ｘは、タグ付けされた物品のうちの１つの傍でキャプチャされたとし、それが、そのタグ付けされた物品がそれまでに見えていた最後であるとする。その場合、追加の裏付け内容を用いて、人物Ｘが犯罪の現場にいたとすることができる。他方、人物Ｘが同じ時刻に別の場所で見られていた場合、疑いを晴らすことができる。

しかし、ビデオ分析の１つの困難は、ビデオ内の物品または人物が区別可能ではなく、したがって、一意的に追跡可能ではないことがあることである。これは、ビデオ品質、または人物もしくは物品のカメラに対する相対位置のせいで、あるいは人物または物品が他の類似の撮影物から視覚的に区別可能ではないために起こり得る。このことは、人よりも物についてよくあることである。

現在のところ、２つの標準的な輸送用コンテナ、２つのラップトップ、サングラスまたはマスクをかけた２人の人など、２つの視覚的に同一な対象物を区別することが可能な画像処理アルゴリズムは、存在しない。これは、複数の物品が存在し得るが、その一部だけが監視者の関心の対象である場合に特に重要である。したがって、（例えば、会社所有のラップトップ対来客所有のラップトップなど）「重要な」ものを「重要でない」ものから区別することは、困難である。そのため、とりわけ、ビデオ内の物品を一意的に識別することによって、ビデオ・ストリームの分析処理を向上させることが、有利なことがある。

少なくとも１つの実装によれば、本実施形態は、一意のＩＤによってビデオ内の物品を一意的に識別することによって、ビデオ・ストリームの分析処理を向上させることができる。したがって、ＩＤをビデオ・メタデータとともにキャプチャし、単一および複数のビデオ・ストリームを処理するために使用することで、ビデオ内の物品が確実かつ一意的に識別されることを保証することができる。そのため、本実施形態は、ビデオ・リコンシリエーション（reconciliation）および追跡をサポートする目的で外部的な識別情報を導入することによって、ビデオ分析システムが、以下のような様々なシナリオにおいて、そのような視覚的に同一な物品を区別することができるようにするメカニズムを提供する。
・物品の窃盗−監視されているドアまたは他の出入口を通って持ち去られた物品の確認
・物品の追跡−複数の地理的に分散されたビデオ・カメラ間のタグの移動（すなわち、境界横断）の追跡
・隠された物品の追跡−視覚的に一意な対象物との関連付けによる隠された物品の追跡
・関係者／状況解析−関係者の解析、および一意的に識別された物品を識別リンケージとして追跡することができる環境の解析

本発明は、システム、方法、またはコンピュータ・プログラム、あるいはそれらの任意の組み合わせとすることができる。コンピュータ・プログラムは、本発明の態様をプロセッサに実施させるためのコンピュータ可読プログラム命令を有する（１つまたは複数の）コンピュータ可読記憶媒体を含むことができる。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形なデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記のものの任意の適切な組み合わせとすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、以下のものを、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラム可能リード・オンリ・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピ・ディスク、パンチ・カードまたはそこに記録された命令を有する溝内の隆起構造などの機械的に符号化されたデバイス、および上記のものの任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用される場合、無線波もしくは他の自由に伝搬する電磁波、導波路もしくは他の送信媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または電線を通して送信される電気信号などの、一時的信号それ自体であると解釈されるべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードすることができ、あるいはネットワークを介して、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくは無線ネットワーク、またはそれらの任意の組み合わせを介して、外部コンピュータまたは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅送信ケーブル、光送信ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの任意の組み合わせを含むことができる。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するために、コンピュータ可読プログラム命令を転送する。

本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（Ｒ）もしくはＣ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続型プログラミング言語を含む、１つもしくは複数のプログラミング言語の任意の組み合わせで書かれた、ソース・コードもしくはオブジェクト・コードのいずれかとすることができる。コンピュータ可読プログラム命令は、すべてをユーザのコンピュータ上で、一部をユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、一部をユーザのコンピュータ上および一部をリモート・コンピュータ上で、またはすべてをリモート・コンピュータもしくはサーバ上で実行することができる。後半のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続することができ、または接続は、（例えば、インターネット・サービス・プロバイダを使用して、インターネットを通して）外部コンピュータに対して行うことができる。いくつかの実施形態では、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して、本発明の態様を実行するように電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行することができる。

本明細書では、本発明の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラムのフローチャート図またはブロック図、あるいはその両方を参照して説明される。フローチャート図またはブロック図、あるいはその両方における各ブロック、およびフローチャート図またはブロック図、あるいはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施することができることが理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して動作する命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供され、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含む製造品を含むように、コンピュータ可読記憶媒体内に記憶され、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはそれらの任意の組み合わせに、特定の方法で機能するように指示するものであってもよい。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能装置、または他のデバイス上で動作する命令が、フローチャートまたはブロック図、あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータ実施プロセスを生成させるために、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

図のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施のアーキテクチャ、機能、および動作を図説している。この点で、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実行するための１つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の部分を表すことができる。いくつかの代替的な実施では、ブロックに記された機能は、図に記された順序とは異なる順序で生じることがある。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されることがあり、またはそれらのブロックは、含まれる機能に応じて、時には、逆順で実行されることもある。ブロック図またはフローチャート図、あるいはその両方の各ブロック、およびブロック図またはフローチャート図、あるいはその両方のブロックの組み合わせは、指定された機能もしくは動作を実行する、または専用ハードウェアおよびコンピュータ命令の組み合わせを実施する、専用ハードウェア・ベースのシステムによって実施することができることにも留意されたい。

以下で説明される例示的な実施形態は、視覚的分析システムが視覚的に同一な対象物を区別することを可能にするシステム、方法、およびプログラムを提供する。少なくとも１つの実装によれば、本実施形態は、タグ付けされた物品がビデオ・カメラによって一意的に識別され、カメラがその情報をビデオ・メタデータの一部としてキャプチャすることを可能にすることができるように、一意的タグ付けをビデオ・ストリームと結び付ける。キャプチャされた一意識別子と現在のビデオ画像スナップショット（すなわち、ビデオ・ストリームなどの動画像に関連するキャプチャ・フレームまたは一連の静止フレーム）との組み合わせを用いて、本実施形態は、資産ベースの分析において著しい改善を可能にすることができる。より具体的には、本実施形態は、関連付けを使用して、ビデオ・ストリーム内のこれまでは区別不可能であった対象物に、信頼できる、一意的な、追跡可能なアイデンティティを提供することができ、したがって、ビデオ解析の新しい形態を可能にする。加えて、本実施形態は、ビデオ・メタデータ・ストリーム内への直接的な符号化を提供し、タイムスタンプ、タイムコード、フレーム番号、オフセットなどの識別子（すなわち、（ビデオに時間参照が埋め込まれていると仮定して）時間参照もしくはフレーム参照によって、または明確に定められた時点からのオフセット（例えば、「ビデオ再生が開始から３分１０秒後」）などによってビデオの特定の部分を識別するなど、ビデオ・ストリーム内の特定のロケーションを識別するためのメカニズム）を通してフレームが参照されることによるビデオ・ストリームへのリンクをデータ・ストアまたはファイル内に別に保持することによって、関連付けを達成する。本実施形態によれば、メタデータは、特定の時間に別々の読み取りでもたらされる。データ・ストリーム内に記憶される場合、メタデータは、メタデータが受信された時点において（最も近いキーフレームにおいて）アタッチされる。

図１を参照すると、一実施形態による、例示的なネットワーク接続されたコンピュータ環境１００が、示されている。ネットワーク接続されたコンピュータ環境１００は、ソフトウェア・プログラム１０８および視覚的分析プログラム１１６Ａを実行することを可能にされた、プロセッサ１０４およびデータ記憶デバイス１０６を備えるクライアント・コンピュータ１０２を含むことができる。ネットワーク接続されたコンピュータ環境１００は、データベース１１２および通信ネットワーク１１０と対話することができる、視覚的分析プログラム１１６Ｂを実行することを可能にされたサーバ・コンピュータ１１４も含むことができる。ネットワーク接続されたコンピュータ環境１００は、複数のクライアント・コンピュータ１０２およびサーバ・コンピュータ１１４を含むことができるが、１つずつしか示されていない。通信ネットワークは、ワイド・エリア・ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、電気通信ネットワーク、無線ネットワーク、公衆交換回線ネットワーク、または衛星ネットワーク、あるいはそれらの任意の組み合わせなど、様々なタイプの通信ネットワークを含むことができる。図１は、一実施の例を提供しているにすぎず、異なる実施形態を実施することができる環境に関して、いかなる限定も暗示していないことを理解されたい。設計および実施の要件に基づいて、示された環境に対して、多くの変更を行うことができる。

クライアント・コンピュータ１０２は、通信ネットワーク１１０を介して、サーバ・コンピュータ１１４上で動作する視覚的分析プログラム１１６Ｂと通信することができる。通信ネットワーク１１０は、電線、無線通信リンク、または光ファイバ・ケーブルなどの接続を含むことができる。図５を参照して説明されるように、サーバ・コンピュータ１１４は、内部コンポーネント８００ａおよび外部コンポーネント９００ａをそれぞれ含むことができ、クライアント・コンピュータ１０２は、内部コンポーネント８００ｂおよび外部コンポーネント９００ｂをそれぞれ含むことができる。クライアント・コンピュータ１０２は、例えば、モバイル・デバイス、電話、携帯情報端末、ネットブック、ラップトップ・コンピュータ、タブレット・コンピュータ、デスクトップ・コンピュータ、またはプログラムを実行し、ネットワークにアクセスし、データベース１１２にアクセスすることが可能な任意のタイプのコンピューティング・デバイスとすることができる。本実施形態の様々な実施によれば、視覚的分析プログラム１１６Ａ、１１６Ｂは、クライアント・コンピュータ／モバイル・デバイス１０２、ネットワーク接続されたサーバ・コンピュータ１１４、またはクラウド・ストレージ・サービスなどの、しかし、それらに限定されない、様々な記憶デバイス内に組み込むことができる、データベース１１２と対話することができる。

先に説明されたように、クライアント・コンピュータ１０２は、通信ネットワーク１１０を介して、サーバ・コンピュータ１１４上で動作する視覚的分析プログラム１１６Ｂにアクセスすることができる。例えば、クライアント・コンピュータ１０２を使用するユーザは、視覚的分析システムが視覚的に同一な対象物を区別することを可能にする視覚的分析プログラム１１６Ａ、１１６Ｂを使用することができる。そのため、本実施形態は、一意的なタグ付けのビデオ・ストリームとの結び付けを提供する。より具体的には、本実施形態は、タグ付けされた物品が、ビデオ・カメラによって一意的に識別されることを可能にし、カメラが、その情報をビデオ・メタデータの一部としてキャプチャすることを可能にする。視覚的分析方法は、図２〜図４に関して、以下でより詳細に説明される。

今から図２を参照すると、一実施形態による、単一の物品の追跡についての例示的な図２００が、示されている。少なくとも、実施形態は、監視されているエリア内に、関心の対象外の物品に混じって、関心の対象である１つまたは複数の価値のある対象物が配置されている場合に適用される。そのため、視覚的分析プログラム１１６Ａ（図１）を実行するクライアント・コンピュータ１０２（図１）（すなわち、ビデオ分析システム）は、カメラ２０２を用いて、関心の対象であるこのエリアを監視することができる。少なくとも１つの実装によれば、一意識別子タグ２０４（ＲＦＩＤ、無線、音響、視覚、またはそれ以外）を、関心の対象である物品２０６に取り付けることができる。加えて、タグ・リーダ２１０を、それらがタグ２０４の移動を、または少なくともタグ２０４の存在を検出することができるように（すなわち、存在しない＝エリアから持ち去られた、ということである）、（識別子技術によって必要とされることがあり得るように）タグ付けされた物品２０６の受信範囲内に配置することができる。本実施形態によれば、ラップトップ２０６などの物品が、例えば、ＲＦＩＤを使用して、タグ付けされた場合、タグ２０４の一意のシリアル番号が、一般に、在庫システムにおけるラップトップのシリアル番号と関連付けられる。追加データが、それらの在庫システムに存在することができ、またはタグ２０４自体に保持されることができ（あるタグ２０４は、一意識別子に加えて、最大１Ｋのユーザ定義データを有することができる）、あるいはその両方であることができる。何をタグ付けするかに関して、本実施形態は、物品価値（例えば、ラップトップ２０６）、または秘密度（機密文書）、または安全性（医薬品）によって、これを決定する。そのため、ラップトップ２０６の場合、そのような情報は、型式、モデル、シリアル番号、ＲＡＭ、ＣＰＵ、ドライブ容量、画面サイズ、および無線オプションを含むことができる。医薬品の場合、それは、バッチ／ロット、製造日付、および出荷工場とすることができる。どのタグ２０４がどの物品２０６と関連付けられたかの決定は、タグ付け技術に依存する。ＲＦＩＤでは、チョークポイント・リーダが必要とされ、タグ密度をあまり高くすることができないので、チョークポイントにおいて別々のタグ読み取りを得るのに十分な分離がない。音響タグでは、三角測量が望まれる場合、受信機（マイクロフォン）のグリッドが使用される。

本実施形態の少なくとも１つの実装によれば、タグ・リーダ２１０がタグ２０４のアイデンティティを読み取ることを可能にし、タグ２０４と関連付けられた一意識別子をビデオ・メタデータ内に導入することによって、人２０８が関心の対象である物品２０６をエリアから持ち去った場合に単一の物品２０６は追跡される。したがって、このメタデータは、即座の処理のために利用可能とされ、および／または後の法機関による検査のためにデータベース１１２（図１）などのリポジトリ内に記憶される。その後、物品２０６が権限のない人２０８によって運び去られたことが後になって分かった場合、物品の一意識別子を探してビデオ・システムを検索し、犯人２０８が物品を持ってエリアから出て行くところが写ったビデオ・フレームを取り出すことができる。したがって、本実施形態によれば、タグ２０４がひとたび読み取られ、ビデオ・ストリームと関連付けられると、そのタグ２０４と関連付けられたビデオ・フレーム内に犯人２０８がいるので、タグ２０４は、犯人２０８と効果的に関連付けられる。少なくとも１つの実装によれば、タグは、購入時または受領時に物理的な物品２０６に添付される。現在では、物品２０６によっては、製品にあらかじめタグを組み込んで製造されるものもある。

今から図３を参照すると、一実施形態による、多くの物品のうちの１つを区別することについての例示的な図３００が示されている。少なくとも１つの実装によれば、周囲に多くの人々３０２〜３１０がいるなかで、人３１２が、関心の対象である物品２０６をエリアから持ち去った場合、タグ２０４のアイデンティティを、タグ・リーダ２１０Ａ、２１０Ｂによって読み取ることができ、一意識別子を、ビデオ・メタデータと関連付けることができる。そのため、その後、このメタデータは、即座の処理のために利用可能とされ、および／または後の法機関による検査のためにデータベース１１２（図１）などのリポジトリ内に記憶することができる。

少なくとも１つの実装によれば、この人３１２が駐車ガレージ３１４に行った場合、タグ２０４を、タグ・リーダ２１０Ｂによって再び読み取り、ガレージのカメラ２０２Ｂからのビデオと関連付けることができる。したがって、後になって、物品が権限のない人３１２によって運び去られたことが分かった場合、物品の一意識別子を探してビデオ・システムを検索し、タグ２０４を検出したすべてのエリア３１４、３１６およびカメラ２０２Ａ、２０２Ｂからのビデオ・フレームを取り出すことができる。そのため、今では、人３１２が関与していることが分かり、同じ人３１２を探してビデオ・システムを検索することができる。複数の角度が利用可能であれば、最も写りの良い顔画像を法執行（もしくは自動顔認識）のために選択すること、または車種およびナンバ・プレートをキャプチャすることなどを行うことができる。

ここで図４を参照すると、一実施形態による、視覚的に同一な対象物を区別するためにプログラムによって実施されるステップを示す動作フローチャート４００が、示されている。

図４に関して、４０２において、デバイスは、画像（すなわち、ビデオ・ストリーム内の一時点）と、画像についての一意識別子とを受信する。先に説明されたように、視覚的分析プログラム１１６Ａ（図１）を実行するクライアント・コンピュータ１０２（図１）（すなわち、ビデオ分析システム）は、カメラ２０２（図２）を用いて、関心の対象であるエリアを監視することができる。少なくとも１つの実装によれば、一意識別子タグ２０４（ＲＦＩＤ、無線、超音波音響、視覚（例えば、ＱＲ）、またはそれ以外）を、関心の対象である１つまたは複数の対象物に取り付けることができる。加えて、タグ・リーダ２１０（図２）を、それらが識別子タグ２０４（図２）の移動を、または少なくとも識別子タグ２０４（図２）の存在を検出することができるように、タグ付けされた物品の受信範囲内に配置することができる。

次に、４０４において、視覚的分析プログラム１１６Ａ、１１６Ｂ（図１）は、受信した一意識別子を、受信画像（すなわち、動画像に関するキャプチャ・フレームまたは一連の静止フレーム）と関連付けられたメタデータとして記憶する。例えば、一実施形態によれば、メタデータは、後の法機関による検査のためにデータベース１１２（図１）などのリポジトリ内に記憶される。そのため、関連付けを使用して、ビデオ・ストリーム内のこれまでは区別不可能であった対象物に、信頼できる、一意的な、追跡可能なアイデンティティが与えられ、ビデオ解析の新しい形態を可能にする。より具体的には、本実施形態は、ビデオ・メタデータ・ストリーム内への直接的な符号化を提供し、タイムスタンプ、タイムコード、フレーム番号、オフセットなどの識別子を通してフレームが参照されることによるビデオ・ストリームへのリンクをデータ・ストアまたはファイル内に別に保持することによって、関連付けを達成する。

例えば、一実施によれば、本実施形態は、タグ２０４（図２）の識別子（すなわち、一意ＩＤ）のセンサを特定のカメラ２０２（図２）に結び付ける関連付け（すなわち、ＳｅｎｓｏｒＡ＜−ｂｅｌｏｎｇｓＴｏ−＞ＣａｍｅｒａＢ）、およびメタデータの各々を特定のタイムスタンプ（ビデオ・タイムコード）に結び付ける関連付け（すなわち、ＲＦＩＤ−ＴａｇＩｄ１が１：２３：４５ＵＴＣにおいてカメラ２の視野内に見られた）を有する、別々のストア（すなわち、リポジトリ）を使用する。識別子の実装に関して、追加のメタデータは、受動ＲＦＩＤ、能動ＲＦＩＤ、または音響タグ（別名、超音波タグ）を含むが、それらに限定されない、任意の数の技術に由来することができる。少なくとも１つの実装によれば、タグは、別個のＲＦＩＤリーダによって受信される。リーダは、カメラと同じボックス内に収容することができるが、別個のセンサである。ＲＦＩＤリーダは、別個のユニット内に存在することもできる。

本実施形態の様々な実装によれば、ハードウェアは、以下のようないくつかの異なる方法で物理的に配置することができる。すなわち、一意ＩＤリーダ（ＲＦＩＤなど）は、カメラの一部とすることができる。一意ＩＤリーダ（ＲＦＩＤなど）は、独立しており、カメラにＩＤを送信するようにすることもできる。一意ＩＤリーダ（ＲＦＩＤなど）は、独立しており、カメラのビデオ・ストリームへの関連付けを行うことができるバックエンド・ビデオ・システムにＩＤを送信するようにすることもできる。

例えば、視覚的分析プログラム１１６Ａ、１１６Ｂ（図１）は、４０６において、第２のデバイスによって、一意識別子の存在の標識を受信することができる。そのため、一意識別子タグを、別の受信機などの第２のデバイスによって、再び読み取ることができる。次に、４０８において、第２のデバイスが、識別子の標識をデバイスに送信する。そのため、タグ・リーダ２１０（図２）によってタグ２０４（図２）のアイデンティティを読み取ることを可能にし、一意識別子をビデオ・メタデータ内に導入することによって、人が関心の対象である物品をエリアから持ち去った場合、物品を追跡することができる。その後、物品が権限のない人によって運び去られたことが後になって分かった場合、物品の一意識別子を探してビデオ・システムを検索し、犯人が物品を持ってエリアから出て行くところが写ったビデオ・フレームを取り出すことができる。

図４は、一実施の例を提供しているにすぎず、異なる実施形態をいかにして実施することができるに関して、いかなる限定も暗示していないことを理解することができよう。設計および実施の要件に基づいて、示された環境に対して、多くの変更を行うことができる。例えば、先に説明されたように、視覚的分析プログラム１１６Ａ、１１６Ｂ（図１）は、ビデオ画像（すなわち、動画像）内の対象物の電子シグニチャ（すなわち、一意識別子）をキャプチャすることができ、したがって、可能にされる多くの潜在的な追加の使用シナリオおよびアプリケーションを有することができる。例えば、一実施によれば、本実施形態は、機器（例えば、すべてが同じに見えるラップトップ）の持ち去りを見張っている出口ドアにおけるビデオ・キャプチャなど、ビデオ・キャプチャ内のあるものを、視覚的区別から独立して、一意的に識別することができることを実証することができる。同一の物品のうちの１つが紛失したと決定された場合、本実施形態は、紛失した物品を電子的に識別することができ、ビデオは、持ち去られる物品と、物品が持ち去られる状況（すなわち、誰が持ち運んでいるか、隠されているかなど）とを示すことができる。したがって、物品は、ビデオ・キャプチャを用いて、場所間で追跡することができる。複数の物品が区別不可能であるように見える場合であっても、本実施形態は、紛失物品の移動をつなぎ合わせるのに役立てることができるシグニチャ（すなわち、一意識別子）を生成する。したがって、ビデオ内の関連付けられた状況情報を用いて、本実施形態は、共通する糸をつなぎ合わせ、または運搬経路を決定する。そのため、本実施形態は、物品を識別し、物品を監視し、それを追跡することができる。

さらに、本実施形態が生成する物品の電子シグニチャ（すなわち、一意識別子）は、電子シグニチャが特定の物品と関連付けられるので、ナンバ・プレートに類似したものになり得る。例えば、シグニチャは、一意ＩＤであるが、シグニチャと関連付けられる状況は、相対的であり、ピクチャ内に誰がいるか、そのナンバ・プレート（すなわち、電子シグニチャ）が通知されたすべてのピクチャ内に誰がいるか、またはピクチャ内に他に何があるかなどの情報を含むことができる。そのため、本実施形態は、問題の物品を取り巻くキャプチャされた状況、および電子的に記録された全体的な状況のつながりに重点を置く。さらに、本実施形態は、一意識別子情報をビデオ・ストリームに関連付け（すなわち、一意識別子情報をビデオ・データと関連付け）、そのことが、視覚的に同一な対象物を追跡することを可能にするばかりでなく、追加の一意識別子情報を関連付けることによって、（視覚的な類似、遮蔽／隠蔽、暗い照明などの下であろうとなかろうと）対象物をより良く追跡することなど、他の使用も可能にする。物理的なハードウェアの可能な実施は、ＭＰＥＧ−７、ＥＸＩＦ、または他の類似の符号化を使用してメタデータ構造を直接的にビデオ・ストリーム自体に導入する追加の受信機を備えるカメラを含むことができるが、それに限定されない。加えて、物理的に別個のセンサが存在することができ、それは、カメラのすぐ傍に配置してもよく、または配置しなくてもよい。例えば、先に説明されたように、本実施形態は、センサを特定のカメラに結び付ける関連付け（すなわち、ＳｅｎｓｏｒＡ＜−ｂｅｌｏｎｇｓＴｏ−＞ＣａｍｅｒａＢ）、およびメタデータの各々を特定のタイムスタンプ（ビデオ・タイムコード）に結び付ける関連付け（すなわち、ＲＦＩＤ−ＴａｇＩｄ１が１：２３：４５ＵＴＣにおいてカメラ２の視野内に見られた）を有する、別々のストア（すなわち、リポジトリ）を使用することができる。識別子実施に関して、追加のメタデータは、受動ＲＦＩＤ、能動ＲＦＩＤ、または音響タグ（別名、超音波タグ）を含むが、それらに限定されない、任意の数の技術に由来することができる。本実施形態によれば、タグは、タグの製造時に作成され（、その中に一意識別子が埋め込まれ）る。その後、このタグは、関心の対象である物品（すなわち、コンピュータ）に添付される。（注：場合によっては、一意ＩＤは、ＲＦＩＤタグが物理的対象物に添付されるときに、それに書き込まれる）。そのため、物品の経路に沿って（すなわち、それが盗まれ、部屋から部屋へ移動される場合）、物品とタグは、一定であり続ける。物品を取り巻く状況は、変化し、対象物の履歴および場所に関する情報（すなわち、紛失したコンピュータ上のそのタグをキャプチャしたのは、どのカメラ、どのＲＦＩＤリーダであり、またどの場所においてか、さらにコンピュータを運んでいるのは誰か）を提供する。

図５は、本発明の例示的な実施形態による、図１に示されたコンピュータの内部コンポーネントおよび外部コンポーネントについてのブロック図５００である。図５は、一実施の例を提供しているにすぎず、異なる実施形態を実施することができる環境に関して、いかなる限定も暗示していないことを理解されたい。設計および実施の要件に基づいて、示された環境に対して、多くの変更を行うことができる。

データ処理システム８００、９００は、機械可読プログラム命令を実行することが可能な任意の電子デバイスを表している。データ処理システム８００、９００は、スマートフォン、コンピュータ・システム、ＰＤＡ、または他の電子デバイスを表すことができる。データ処理システム８００、９００によって表すことができるコンピュータ・システム、環境、または構成、あるいはそれらの任意の組み合わせの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルド・デバイスまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、ネットワークＰＣ、ミニコンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散クラウド・コンピューティング環境を含むが、それらに限定されない。

ユーザ・クライアント・コンピュータ１０２（図１）およびネットワーク・サーバ・コンピュータ１１４（図１）は、図５に示される内部コンポーネント８００ａ、ｂおよび外部コンポーネント９００ａ、ｂのそれぞれのセットを含むことができる。内部コンポーネント８００のセットの各々は、１つまたは複数のバス８２６上の１つまたは複数のプロセッサ８２０、１つまたは複数のコンピュータ可読ＲＡＭ８２２、および１つまたは複数のコンピュータ可読ＲＯＭ８２４、ならびに１つまたは複数のオペレーティング・システム８２８、および１つまたは複数のコンピュータ可読有形記憶デバイス８３０を含む。１つまたは複数のオペレーティング・システム８２８、クライアント・コンピュータ１０２（図１）内のソフトウェア・プログラム１０８（図１）および視覚的分析プログラム１１６Ａ（図１）、ならびにネットワーク・サーバ・コンピュータ１１４（図１）内の視覚的分析プログラム１１６Ｂ（図１）は、それぞれのプロセッサ８２０の１つまたは複数による、（一般にキャッシュ・メモリを含む）それぞれのＲＡＭ８２２の１つまたは複数を介した実行のために、それぞれのコンピュータ可読有形記憶デバイス８３０の１つまたは複数上に記憶される。図５に示される実施形態では、コンピュータ可読有形記憶デバイス８３０の各々は、内蔵ハード・ドライブの磁気ディスク記憶デバイスである。代替として、コンピュータ可読有形記憶デバイス８３０の各々は、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュ・メモリ、またはコンピュータ・プログラムおよびデジタル情報を記憶することができる他の任意のコンピュータ可読有形記憶デバイスなどの、半導体記憶デバイスである。

内部コンポーネント８００ａ、ｂの各セットは、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ・スティック、磁気テープ、磁気ディスク、光ディスク、または半導体記憶デバイスなど、１つまたは複数のポータブル・コンピュータ可読有形記憶デバイス９３６から読み取るための、およびそれらに書き込むためのＲ／Ｗドライブまたはインターフェース８３２も含む。ソフトウェア・プログラム１０８（図１）および視覚的分析プログラム１１６Ａ、１１６Ｂ（図１）などのソフトウェア・プログラムは、それぞれのポータブル・コンピュータ可読有形記憶デバイス９３６の１つまたは複数上に記憶し、それぞれのＲ／Ｗドライブまたはインターフェース８３２を介して読み取り、それぞれのコンピュータ可読有形記憶デバイス８３０内にロードすることができる。

内部コンポーネント８００ａ、ｂの各セットは、ＴＣＰ／ＩＰアダプタ・カード、無線Ｗｉ−Ｆｉインターフェース・カード、または３Ｇもしくは４Ｇの無線インターフェース・カード、あるいは他の有線または無線の通信リンクなど、ネットワーク・アダプタまたはインターフェース８３６も含む。クライアント・コンピュータ１０２（図１）内のソフトウェア・プログラム１０８（図１）および視覚的分析プログラム１１６Ａ（図１）、ならびにネットワーク・サーバ・コンピュータ１１４（図１）内の視覚的分析プログラム１１６Ｂ（図１）は、外部コンピュータから、ネットワーク（例えば、インターネット、ローカル・エリア・ネットワークまたは他、ワイド・エリア・ネットワーク）およびそれぞれのネットワーク・アダプタまたはインターフェース８３６を介して、クライアント・コンピュータ１０２（図１）およびネットワーク・サーバ・コンピュータ１１４（図１）にダウンロードすることができる。ネットワーク・アダプタまたはインターフェース８３６から、クライアント・コンピュータ１０２（図１）内のソフトウェア・プログラム１０８（図１）および視覚的分析プログラム１１６Ａ（図１）、ならびにネットワーク・サーバ・コンピュータ１１４（図１）内の視覚的分析プログラム１１６Ｂ（図１）は、それぞれのコンピュータ可読有形記憶デバイス８３０内にロードされる。ネットワークは、銅線、光ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの任意の組み合わせを含むことができる。

外部コンポーネント９００ａ、ｂのセットの各々は、コンピュータ・ディスプレイ・モニタ９２０、キーボード９３０、およびコンピュータ・マウス９３４を含むことができる。外部コンポーネント９００ａ、ｂは、タッチ・スクリーン、仮想キーボード、タッチ・パッド、ポインティング・デバイス、および他のヒューマン・インターフェース・デバイスも含むことができる。内部コンポーネント８００ａ、ｂのセットの各々は、コンピュータ・ディスプレイ・モニタ９２０、キーボード９３０、およびコンピュータ・マウス９３４にインターフェース接続するためのデバイス・ドライバ８４０も含む。デバイス・ドライバ８４０、Ｒ／Ｗドライブまたはインターフェース８３２、およびネットワーク・アダプタまたはインターフェース８３６は、ハードウェアおよび（コンピュータ可読有形記憶デバイス８３０またはＲＯＭ８２４、あるいはその両方内に記憶された）ソフトウェアを含む。

本発明の様々な実施形態についての説明が、例示を目的として提示されたが、網羅的であること、または開示された実施形態に限定されることは意図されていない。説明された実施形態の範囲から逸脱しない多くの変更および変形が、当業者には明らかになる。本明細書で使用された用語は、実施形態の原理、実際の応用、もしくは市場に見いだされる技術に対する技術的改善を最も良く説明するために、または本明細書で開示された実施形態を他の当業者が理解することを可能にするために選択された。

１００ ネットワーク接続されたコンピュータ環境
１０２ クライアント・コンピュータ
１０４ プロセッサ
１０６ データ記憶デバイス
１０８ ソフトウェア・プログラム
１１０ 通信ネットワーク
１１２ データベース
１１４ サーバ・コンピュータ
１１６Ａ 視覚的分析プログラム
１１６Ｂ 視覚的分析プログラム
２０２ カメラ
２０２Ａ カメラ
２０２Ｂ カメラ
２０４ タグ
２０６ 物品、ラップトップ
２０８ 人、犯人
２１０ タグ・リーダ
２１０Ａ タグ・リーダ
２１０Ｂ タグ・リーダ
３０２ 人々
３０４ 人々
３０６ 人々
３０８ 人々
３１０ 人々
３１２ 人
３１４ 駐車ガレージ、エリア
３１６ エリア
８００ 内部コンポーネント、データ処理システム
８００ａ 内部コンポーネント、データ処理システム
８００ｂ 内部コンポーネント、データ処理システム
８２０ プロセッサ
８２２ ＲＡＭ
８２４ ＲＯＭ
８２６ バス
８２８ オペレーティング・システム
８３０ コンピュータ可読有形記憶デバイス
８３２ Ｒ／Ｗドライブまたはインターフェース
８３６ ネットワーク・アダプタまたはインターフェース
８４０ デバイス・ドライバ
９００、９００ａ、ｂ 外部コンポーネント、データ処理システム
９２０ コンピュータ・ディスプレイ・モニタ
９３０ キーボード
９３４ コンピュータ・マウス
９３６ ポータブル・コンピュータ可読有形記憶デバイス

Claims (13)

1. キャプチャ画像に関連するメタデータとして識別子を含めるための方法であって、
   画像と、前記画像に関連する一意識別子とを、デバイスによって受信するステップであって、受信画像が、対象エリアを監視するビデオ・カメラによってキャプチャされ、ビデオ・ストリームに関連するフレームであり、前記一意識別子が、前記対象エリア内に配置されている複数の視覚的に同一の対象物を一意に識別する、前記受信するステップと、
   前記一意識別子を、前記受信画像に関連するメタデータとして記憶するステップであって、前記メタデータが、複数のパラメータに従って、前記ビデオ・ストリーム内の特定のフレームに結び付けられ、前記一意識別子が、前記対象エリア内に配置されている複数の視覚的に同一の対象物のそれぞれに取り付けられたタグを特定の時間間隔で読み取る一意ＩＤリーダから受信される、前記記憶するステップと、
   を含む、方法。
2. 前記メタデータが、１日のうちの時刻、場所、移動、および境界横断のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記一意ＩＤリーダが、前記ビデオ・カメラの一部として組み込まれるか、または前記ビデオ・カメラから分離している、請求項１に記載の方法。
4. 前記一意ＩＤリーダが、前記一意識別子を、前記ビデオ・カメラまたはバックエンド・ビデオ・システムに送信することができ、前記バックエンド・ビデオ・システムが、前記ビデオ・カメラと関連付けられた前記ビデオ・ストリームへの関連付けを行うことができる、請求項１に記載の方法。
5. 前記メタデータが、受動ＲＦＩＤおよび能動ＲＦＩＤと、超音波タグと、音響タグとから成る群から選択されるタグから取得される、請求項１に記載の方法。
6. 前記複数のパラメータが、特定のタイムスタンプ、タイムコード、フレーム番号、およびオフセットのうちの少なくとも１つを含む、請求項１に記載の方法。
7. キャプチャ画像に関連するメタデータとして識別子を含めるためのコンピュータ・システムであって、
   １つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読メモリと、１つまたは複数のコンピュータ可読有形記憶デバイスと、前記１つまたは複数のプロセッサのうちの少なくとも１つによって、前記１つまたは複数のメモリのうちの少なくとも１つを介して実行するための、前記１つまたは複数の記憶デバイスのうちの少なくとも１つに記憶されたプログラム命令とを含み、前記コンピュータ・システムが、
   画像と、前記画像に関連する一意識別子とを受信するステップであって、受信画像が、対象エリアを監視するビデオ・カメラによってキャプチャされ、
   ビデオ・ストリームに関連するフレームであり、前記一意識別子が、前記対象エリア内に配置されている複数の視覚的に同一の対象物を一意に識別する、前記受信するステップと、
   前記一意識別子を、前記受信画像に関連するメタデータとして記憶するステップであって、前記メタデータが、複数のパラメータに従って、前記ビデオ・ストリーム内の特定のフレームに結び付けられ、前記一意識別子が、前記対象エリア内に配置されている複数の視覚的に同一の対象物のそれぞれに取り付けられたタグを特定の時間間隔で読み取る一意ＩＤリーダから受信される、前記記憶するステップと、
   を含む方法を実行することが可能である、
   コンピュータ・システム。
8. 前記メタデータが、１日のうちの時刻、場所、移動、および境界横断のうちの少なくとも１つを含む、請求項７に記載のコンピュータ・システム。
9. 前記一意ＩＤリーダが、前記ビデオ・カメラの一部として組み込まれるか、または前記ビデオ・カメラから分離している、請求項７に記載のコンピュータ・システム。
10. 前記一意ＩＤリーダが、前記一意識別子を、前記ビデオ・カメラまたはバックエンド・ビデオ・システムに送信することができ、前記バックエンド・ビデオ・システムが、前記ビデオ・カメラと関連付けられた前記ビデオ・ストリームへの関連付けを行うことができる、請求項７に記載のコンピュータ・システム。
11. 前記メタデータが、受動ＲＦＩＤおよび能動ＲＦＩＤと、超音波タグと、音響タグとから成る群から選択されるタグから取得される、請求項７に記載のコンピュータ・システム。
12. 前記複数のパラメータが、特定のタイムスタンプ、タイムコード、フレーム番号、およびオフセットのうちの少なくとも１つを含む、請求項７に記載のコンピュータ・システム。
13. 請求項１乃至６のいずれかに記載の方法の各ステップをコンピュータに実行させる、プログラム。

Images