JP4786322B2 - 能動装置を用いた、画像において追跡された物体の識別 - Google Patents

Description

本発明は、能動装置を用いて、一連の画像において追跡された物体を識別するための方法及び装置に関する。

文脈コンピューティングの１つの目的は、ソフトウェアのアプリケーションを文脈認識化することである。文脈認識化アプリケーションは、例えば、その現行のユーザ（例えば、男性又は女性）、その位置（例えば、内側対外側）、その環境（例えば、他の装置付近で動作している）、及びこれが実行されている現行の動作（例えば、電話）についての情報を用いることにより、その挙動をユーザに適応させるものである。具体的には、カメラを用いて、ユーザの活動及び反応に関する情報を与えて、装置をより文脈認識化させるのを助けることができる。

しかし、カメラにより記録された画像において、人のような受動的な物体を識別することは、困難であり続けている。この困難さは、首尾よい識別は、カメラに対する物体の位置、照明条件、及び記録された物体の解像度といった多数の要因に依存するという理由のために生じる。一般に、これらの要因の異なる組み合わせは、利用可能な、可能性のあるアプリケーションの数を制限する。したがって、カメラを、物体を識別するための付加的な情報と共に用いて、記録された一連の画像を増強又は補足することにより、このような要因の効果を制限することが有利である。

ここに述べられる種々の実施形態によれば、カメラを、能動装置から受信した伝送と共に用いて、記録された一連の画像において追跡された物体の識別を増強するためのシステム、方法、及び製品が述べられる。

幾つかの実施形態によれば、能動装置は、その位置及びアイデンティティを示す情報を伝送し、これによって、この能動装置付近の又はこれを運ぶ人のような物体の追跡及び識別を可能にする。ここに述べられる１つの特定の実施形態によれば、能動装置からのＩＲ（赤外線）伝送が、一連の画像における識別情報を符号化するのに用いられる。

ここに述べられる他の実施形態によれば、能動装置は、一連の画像において追跡された物体を識別するのに用いられるべき検出された運動を伝送する。運動は、運動センサ、加速度計により検出することができ、又は、能動装置に埋め込むことができる一般的な位置システムにより検出することができる。

有利なことに、これらの実施形態は、能動装置の各ユーザが一連の画像における識別に用いられる能動装置を制御するため、この装置のユーザのプライバシーを維持する。さらに、特定のこれらの実施形態を無線ネットワーク上で同期させて、制御又は識別情報を能動装置に与えることができる。

これらの実施形態及びここに述べられる他の実施形態によれば、一連の画像において物体を識別するための方法、装置、及び製品が提供される。この方法は、視野を有するカメラを用いて記録された一連の画像を受信し、少なくとも幾つかの物体を含む一連の画像において関心のある領域を検出し、カメラの視野に配置された能動装置からの符号化された伝送を検出された関心のある領域に配置し、又は、カメラの視野における能動装置から運動情報を受信し、能動装置からの運動情報を、一連の画像における画像間で検出された関心のある領域の運動と関連させ、一連の画像を出力しながら、そこで識別された符号化された伝送を用いて、又は、運動情報を用いて、関心のある領域の少なくとも幾つかを識別する、ことを含む。

本開示のこれら及び他の態様は、同じ参照番号が同様の部品に適用された添付の図面と併せて以下の説明を読むことにより明らかになるであろう。

以下の表は、詳細な説明のセクションを概説する。
詳細な説明の概説

以下の表は、特許請求の範囲及び図を含み、明細書全体にわたり用いられる術語の定義を示す。

Ａ．動作環境
図１は、能動装置１０８からのメッセージ・データをもつ一連の画像において追跡された物体１０６の識別を増強するためのシステム１００を示す。図１に示す実施形態においては、カメラ１０２がそのカメラの視野における物体１０６の一連の画像を記録する。物体１０６の各々は、携帯型とすることができ、カメラ１０２により検出することができる（すなわち、例えば、可視又はＩＲ（赤外線）周波数スペクトルのような、カメラのセンサにより検出することができる周波数スペクトル上で）信号１１０を射出するようにされたエミッタが埋め込まれた能動装置１０８（例えば、ＰＤＡ、携帯電話など）と関連されている。さらに、能動装置１０８は、ネットワーク・アクセス・ポイント１１２近傍における又はこれにより通信する、ネットワークによりイネーブルにされる装置との通信チャネルを確立する（例えば、無線又はＩＲ上で）信号を受信及び／又は伝送するようにされた１つ又はそれ以上のトランシーバを含むことができる。

図８は、能動装置１０８からの運動データをもつ一連の画像において追跡されたオブジェクト１０６の識別を増強するためのシステムを示す。図８に示す実施形態においては、（図１に示す実施形態と同様に）カメラ１０２がそのカメラの視野における物体１０６の一連の画像を記録する。さらに、（図１に示す実施形態と同様に）各々の物体１０６は、能動装置１０８と関連されている。図１に示す実施形態におけるようなトランシーバに加えて、能動装置１０８は、位置／運動センサ１０７（例えば、運動センサ、加速度計、又はＧＰＳ（全地球測位システム））を含む。さらに、能動装置１０８は、そのトランシーバを用いて、検出された位置／運動センサ情報を計算ユニット１１４に伝送するようにされている。

図１及び図８に示す種々の動作の実施形態においては、プロセッサ及び一連の画像において記録された物体を追跡し、増強するための命令を格納するメモリをもつ計算ユニット１１４が、物理的な又は無線媒体により、カメラ１０２及び／又はネットワーク・アクセス・ポイント１１２に結合されている。種々の動作の実施形態においては、計算ユニット１１４は、ネットワーク・アクセス・ポイント１１２を用いて確立された通信チャネル１１５及び１１６により、無線ローカル・エリア・ネットワーク上で能動装置１０８と通信するようにされている。一実施形態においては、ネットワーク・アクセス・ポイント１１２は、ＩＥＥＥ８０２．１１標準に基づく無線ローカル・エリア・ネットワーク（ＷＬＡＮ）の一部を形成する。さらに、計算ユニット１１４は、経路１１８上で、カメラ１０２により記録された一連の画像を受信する。カメラ１０２は、一連の画像を生成するように構成することができる（おそらく他のソフトウェア及び／又はハードウェと併せて）デジタル及び／又はアナログのカメラのあらゆる形態とすることができる。代替的な実施形態においては、経路１１８上で受け取られた一連の画像は、前にカメラ１０２により記録された画像配列を記録する格納媒体からストリームされることができる。

図１及び図８に示す種々の動作の実施形態によれば、及び以下に詳細に述べられるように、無線ネットワークは、定められた地理的領域内で、例えば、Ｂｌｕｅｔｏｏｔｈプロトコルを用いて動作している能動装置１０８を見出すように適応させることができる。このような装置を見出すことは、能動装置が見出されたときに、動的に識別子を発行することを可能にする。このことは、計算ユニット１１４により管理されることが要求される能動装置を識別するコードの数を減少させることが有利である。さらに、無線ネットワークを用いて集中制御を強化して、能動装置が、要求時においてのみ（例えば、時間における特定の時点又は周期的な時間間隔で）情報を通信又は伝送するようにすることができる。さらに、このような集中制御を用いて、幾つかの基準に基づいて（例えば、同期信号の受け取りに基づいて、又は、識別子と適合する値に基づいて）通信事象を同期させることができる。このような同期を用いて、能動装置により要求される伝送を減少させて、携帯型の能動装置のバッテリ・パワーを節約できるようにすることが有利である。

Ｂ．ビデオ・メッセージ・データにより識別を増強する
図１に示すシステム１００の種々の実施形態においては、能動装置１０８は、物体１０６（人又は人の顔のような）と関連する識別情報（例えば、ユーザ名又は装置の識別子）を符号化する信号１１０を射出する。一実施形態においては、システム１００の計算ユニット１１４は、図２に示すフロー図において概説されるように動作する。

最初に、図２の２０２において、一連の画像が経路１１８上でカメラ１０２から受信される。一連の画像には、カメラ１０２の視野における能動装置１０８から射出された信号１１０を符号化したものが記録される。当業者であれば、カメラ１０２のサンプリング速度の周波数は、符号化された信号１１０を十分に再構成するために、この符号化された信号１１０が伝送される周波数の少なくとも２倍（すなわち、ナイキスト周波数）でなければならないことを理解するであろう。図２に２０４においては、関心のある領域が一連の画像において追跡される。図１の１９９に示すように、各々の識別された関心のある領域１２０は、一連の画像からの画像において定められた形状及び位置を有する。関心のある領域は、自動的な方法であるか又はユーザ選択により人為的に検出することができる。

図２の２０６においては、各々の関心のある領域１２０がフィルタ処理されて、カメラ１０２の視野にある能動装置１０８から射出された信号１１０の存在を検出する。２０６において、各々の関心のある領域において検出されたメッセージ・データは、２０８でデコードされる。デコードされたメッセージ・データは、能動装置又はそのユーザの名前のような、一連の画像において追跡された関心のある領域内の物体の知識を増強する情報を識別する。図１の１２１に示すように、関心のある領域１２０は、能動装置１０６から検出された伝送１２２及びそのデコードされたメッセージ・データ１２４と関連される。

図２の２１０においては、デコードされたメッセージ・データ１２４は、対応するフィルタ処理された関心のある領域におけるその位置の位置情報と関連される。すなわち、関心のある領域における能動装置から検出された伝送の位置がデコードされ、識別情報１２４と関連される。最後に、図２の２１２において、一連の画像が出力されて、例えば、図１の１２６に示されるデコードされたメッセージ・データを用いて、関心のある領域において追跡された物体を識別する。

Ｂ．１ メッセージの符号化
このセクションでは、独立型のメッセージの符号化及び／又は指向された（例えば、集中制御された）メッセージの符号化のための能動装置により用いられる実施形態について述べられる。これらの実施形態の各々は、カメラ１０２により、記録された一連の画像において検出される関心のある領域においてメッセージ・データを符号化するために、単独で又は組み合わせて用いることができる。独立型のメッセージの符号化は、計算ユニット１１４からの入力なしで（すなわち、独立型で）、能動装置１０８からメッセージを伝送するための方法を含む。指向されたメッセージの符号化は、例えば、計算ユニット１１４のような集中制御要素を用いて、能動装置１０８からメッセージを伝送するための方法を含む。

Ｂ．１（ａ） 時間を識別子として用いる
第１の実施形態の組においては、能動装置１０８から伝送されたメッセージ・データは、時間を識別子として用いて符号化される。すなわち、能動装置１０８は、メッセージが伝送された時間により認識される。より具体的には、メッセージ・データは、各々の能動装置１０８に対して、信号を伝送するための異なる時間の期間を割り当てることにより、「時間符号化」することができる。これらの実施形態においては、計算ユニット１１４により関心のある領域において検出されデコードされた信号は、信号が伝送された時間に応じて、対応する能動装置と関連される。能動装置は、例えば、データが伝送されるべき、予め割り振られた時間枠とすることができる。

図３は、能動装置１０８が異なる時間間隔で信号を射出する１つの方法を示す。能動装置により信号が射出される周波数は、これらが、予め割り振られた時間間隔において検出できる限りは、同じであってもよいし、又は異なっていてもよい。この方法においては、ＰＣ（例えば、ネットワーク・アクセス・ポイント１１２を通る計算ユニット１１４又はカメラ１０２）は、例えば、Ｂｌｕｅｔｏｏｔｈ発見機構を用いて、カメラ１０２付近のＰＤＡ（すなわち、能動装置１０８）を検出する。ＰＣ１１４は、次いで、各々のＰＤＡ１０８に対して、カメラ１０２において異なる時間間隔で１つずつＩＲ信号を射出するように要求する。ＰＣ１１４は、１２２及び１２４で信号をデコードした場合には、伝送時間とＰＤＡ１０８とを相関させる。

より具体的には、図３に示すプロトコルは、以下のように動作する。第１に、ＰＣがＰＤＡ１に対してＩＲ伝送による識別を要求する。次いで、ＰＤＡ１は、所定の時間期間において射出する。この手順は、ＰＤＡ２のような付加的なＰＤＡに対して繰り返される。ＰＤＡが射出している間、ＰＣは、カメラにより記録された一連の画像を処理して、その中に記録されたＰＤＡからのＩＲ伝送を検出する。一連の画像において信号の位置が検出された後、照会されたＰＤＡのリスト及び照会された時間間隔（例えば、ＰＣのメモリ内に格納することができる）を用いて、ＰＤＡを識別するために時間期間と適合される。図３に示すプロトコルは、例えば、関心のあるすべての領域が識別されるまで繰り返されて、その後、所定の時間間隔にしたがって更新される。

図４は、能動装置１０８が、異なる時間間隔で射出する別の方法を示す。この方法においては、図３に示す方法と同様に、すべてのＰＤＡは同じ又は異なる周波数で射出することができる。この方法においては、図３に示す方法とは異なり、各ＰＤＡが射出する時間間隔が同期される。例えば、時間間隔は、リード・ユニットによってであるか、或いは、ＰＤＡ間で実行された交渉によって、異なるＰＤＡに割り当てることができる。リード・ユニットは、例えば、ＰＤＡであってもよいし、又は、計算ユニット１１４であってもよい。

代替的な方法は、図３に示す実施形態と図４に示す実施形態とを組み合わせたものである。この代替的な方法によれば、図３に示す方法は、周期的にＰＤＡを同期させて、ＰＤＡが、例えば、予め設定された地理的区域により定められたカメラの視野に入る又はここから離れることになることを通知したときに、ブロードキャスト時間間隔を割り当てるように用いられる。第２の方法は、次いで、ＰＤＡが、これらが割り振られた及び／又は交渉されたブロードキャスト時間間隔において識別情報を射出することにより用いられる。

さらに別の方法においては、能動装置１０８は、オンデマンドで又は列挙による時間共有策によって、カメラ１０２により検出可能な伝送を射出することができる。列挙は、各ＰＤＡにバイナリ識別子を割り振られる二分法検索と同様である。異なる時間間隔にわたり、各ＰＤＡは、その期間に対するバイナリ・コードが真である場合にのみ応答する。ＰＤＡのバイナリ識別子のすべてのビットが反復される時間間隔のシーケンス後、すべてのＰＤＡを識別することができる。

例えば、１つのプロトコルは、ＰＤＡの一群に対して、（ａ）ＰＣがすべてのＰＤＡに対して、そのバイナリ・コードの最初の桁が１に等しい場合には伝送するように要求する、（ｂ）その識別コードの第１の桁が１に等しいすべてのＰＤＡが特定の時間において伝送する、（ｃ）ＰＣが、ＰＤＡから信号が伝送されたかどうかを検出する、（ｄ）信号が検出された場合には、ＰＣは、バイナリ・コードの第１及び第２の桁が１に等しいすべてのＰＤＡを伝送するように要求する、（ｅ）信号が検出されなかった場合には、ＰＣは、第１の桁がゼロであり、第２の桁が１であるすべてのＰＤＡに伝送するように要求する、（ｆ）適切な第１及び第２の桁をもつＰＤＡを特定の時間において射出する、というように動作することができる。

Ｂ．１（ｂ） 周波数を識別子として用いる
実施形態の第２の組においては、メッセージ・データは、周波数符号化を用いて能動装置１０８により符号化される。メッセージ・データは、各々の能動装置１０８に対して異なる周波数を割り当てることにより「周波数符号化」されて、信号を伝送する。本実施形態においては、計算ユニット１１４により関心のある領域において検出され、デコードされた信号は、信号が伝送された周波数に応じて、対応する能動装置と関連される。

図５は、各ＰＤＡ１０８が、異なる周波数で射出し、これらが次いでカメラ１０２により記録される１つの実施形態を示す。表１は、例示的なコード・ワードの組及びこれに対応する周波数を示す。したがって、表１を用いて異なる周波数で伝送するためには、各ＰＤＡ１０８は、異なる伝送速度で射出する（これは、ＰＤＡから射出された光の周波数から区別される）。この方法を用いると、ＰＤＡは、意のままに射出することができ（すなわち、同時に又は異なるときに）、その伝送速度に基づいて（例えば、ブリンキング速度）、互いに見分けられる。ＰＤＡの伝送速度（例えば、表１に示す）は、ＰＣ１１４のような中央権限により発行されることができ、又は、能動装置がカメラの視野に接近するとき又はこれに入るときに見出された場合には、ＰＤＡ１０８により交渉される。ＰＤＡにより射出された各信号の周波数は、ナイキストのサンプリング周波数を満たす一組のサンプルを用いて再構成することができる。（例えば、２Ｈｚと１２Ｈｚとの間に射出する１０のＰＤＡから元の信号を再構成するためには、最小の観察時間は、１秒当たり２４の画像を記録するカメラにおいては、１秒にほぼ等しくなるべきである。）
表１

Ｂ．１（ｃ） デジタル・コードを識別子として用いる
第３の実施形態においては、メッセージ・データが、ＰＤＡ１０８により符号化され、デジタル・コードを用いて、ＰＣ１１４により検出される。すなわち、各ＰＤＡ１０８から検出された射出が、一連のバイナリ情報として扱われる（すなわち、光の有無）。本実施形態においては、各ＰＤＡは、雑音のあるチャンネルを管理するために、おそらくエラー修正及び検出をもつバイナリのコード・ワードである独自のパターンを射出する。バイナリのコード・ワードの伝送の開始を検出するために、各バイナリ・コード・ワードは周期的とすることができる。すなわち、計算ユニット１１４によりデコードされるバイナリのコード・ワードのシフトのすべてが、例えば、表２に示すように、４ビットのコード・ワード及びそれらと同等のクラス（すなわち、シフトされた同等物）に対して、単一のアイデンティティとしてデコードされる。或いは、コード・ワードをヘッダとトレーラとの間で伝送して、計算ユニット１１４によりその開始及び終了を検出することができ、ここでは、該ヘッダと該トレーラとの間の各パターンは、各々の能動装置１０８又はそのユーザを独自に識別する。
表２

有利なことに、バイナリの周期的なコード・ワードを用いると、計算ユニット１１４はコード・ワードの第１のビットと同期することが不要になる。さらに、どのような長さのバイナリの周期的なコード・ワードの後にも、伝送側の能動装置のアイデンティティに関して判断をすることができる。一実施形態においては、１５ビットのＢＣＨ（ＢｏｓｅＣｈａｕｄｈｕｒｉ−Ｈｏｃｑｕｎｇｈｅｍ）コードは、１つのワードに対して４までのエラーの検出、及び２つのエラーの修正をもつ１２７のコード・ワードを許可する（すなわち、ＢＣＨ（１５、７、５）は、７ビットの情報、８ビットの制御、及びコード・ワード間で５の最小距離をもつ１５ビットのコード長さを定める）。１秒当たり２５フレームの伝送速度（例えば、カメラ１０２の例示的な捕捉速度）においては、このようなコード・ワードは、１５／２５秒で伝送することができる。

より具体的には、コード・ワードは、各能動装置１０８から継続して伝送することができ、各コード・ワードが周期的なものであるために、コード・ワードは、それらの長さに対するビット数の受け取り後に検出及びデコードすることができる。例えば、１５ビットのＢＣＨ（１５、７、５）コード・ワードは、能動装置１０８と関連させることができる、表３に示す、１２の同等なクラスを有し、各同等なクラスは、そのコード・ワードの１つに対してシフト演算を実行することにより引き出すことができる。本実施形態においては、すべてゼロ及びすべて１をもつコード・ワードは廃棄され、これによって、１０までのＰＤＡを識別する。すべてゼロのコード・ワード（すなわち、表３におけるクラス１）は、射出しない能動装置が射出するとは予測されないので、省かれる。すべて１のコード・ワード（すなわち、表３におけるクラス１２）は、このような信号をデコードすることは、日光又は他の明るい光からの反射の結果とすることができるので、省かれる。
表３

図１を参照すると、本実施形態におけるＰＤＡ１０８は、最初に、図３に示す１０の利用可能なクラスのうちの１つを用いて、システム識別子又はユーザ識別子のような情報を符号化し、ここでは、各コード・ワードは１５ビット長であり、その中の７ビットが情報を記録し、８ビットが制御を記録する。（例えば、ＩＲを用いて）ＰＤＡ１０８により射出されるコード・ワードは、カメラ１０２により記録され、計算ユニット１１４により受信される。関心のある領域の追跡後、コード・ワードが１２２で検出され（エラーが検出された場合には修正され）、次いで、デコードされて、一連の記録された画像において各ＰＤＡを識別する。

一般に、ｓ個のエラーを検出するのにｄ＝ｓ＋１のコード距離が必要であり、ｒビットを修正するのにｄ＝２^*ｒ＋１のコード距離が必要である。コード・ワードは、情報ワードとジェネレータ・マトリックスとの生成物である。エラー検出は、検出されたコード・ワードを、ジェネレータの多項式で除算する（ユークリッド除算を用いて）ことにより実行される。除算の結果がゼロであるのは、検出されたワードがコード・ワードであり、商が対応する情報ワードであることを意味する。除算の結果がゼロでないのは、エラーを意味する。或いは、検出されたワードを制御マトリックスで乗算することによりエラーを検出することができ、ここでは、結果がゼロであるのはエラーがないことを意味し、ゼロであるのはエラーを意味する。計算が、エラーの存在を明らかにした場合には、これらの修正は、用いられた周期コードに依存する（例えば、ＣＤＣ、ＢＣＨ）。（ＢＣＨについてのさらなる情報は、以下の刊行物、Ｒ．Ｃ．Ｂｏｓｅ及びＤ．Ｋ．−Ｃｈａｕｄｈｕｒｉによる「Ｏｎ ａ Ｃｌａｓｓ ｏｆ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｂｉｎａｒｙ Ｇｒｏｕｐ Ｃｏｄｅｓ」Ｉｎｆ．Ｃｏｎｔｒｏｌ、第３巻、６８−７９ページ、１９６０年３月、及びＷ．Ｗ．Ｐｅｔｅｒｓｏｎによる「Ｅｎｃｏｄｉｎｇ ａｎｄ Ｅｒｒｏｒ−Ｃｏｒｒｅｃｔｉｏｎ Ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｔｈｅ Ｂｏｓｅ−Ｃｈａｕｄｕｒｉ Ｃｏｄｅｓ」ＩＲＥ Ｔｒａｎｓ．Ｉｎｆ．Ｔｈｅｏｒｙ、第ＩＴ−６巻、４５９−４７０ページ、１９６０年９月）を参照されたい。）

このセクションで述べられたいずれの方法においても、コード・ワード（例えば、表２又は表３に示されたような）は、能動装置がカメラの視野に接近するとき又は入るときに見出された場合に、ＰＣ１１４のような中央権限によって発行することができ、又は、ＰＤＡ１０８により交渉することができる。

Ｂ．２ メッセージの検出
一連の画像において符号化された信号を検出することは、検出された関心のある領域に対する連続的な１つ又はそれ以上のフィルタ処理動作により実行される。当業者であれば、ＰＤＡから記録された信号は、その色、形状、サイズ、及び強度に応じて異なることになる。さらに、信号観察時間（すなわち、ＰＤＡが観察されている時間）においては、ＰＤＡが、カメラに対して良好に向けられていないことがあり、又は、ＰＤＡが、他のオブジェクトの後に隠れていることがある。検出時間（すなわち、符号化された信号を認識するのに必要な時間）が減少した場合には、このような信号干渉を受信する機会が減る。

図６は、関心のある領域を検出及び追跡するための構造を示す。この構造の一例によれば、ＰＤＡ１０８は、ＰＤＡのＩＲポートから、一連のオン／オフ伝送（すなわち、ブリンキング）形態の識別情報を伝送する。一連のオン／オフ伝送は、カメラ１０２により記録され、計算ユニット１１４により処理される。上で概説されるように、記録された一連の画像における人のような物体を追跡することは、第１に、関心のある領域（例えば、ＰＤＡ又はＰＤＡを支持する物体が見出される可能性がある領域）を識別することを含む。関心のある領域が一連の画像において識別されると、一連のフィルタが関心のある領域に適用されて、ＰＤＡの伝送が検出される。一般に、図６に示す構造は、（関心のある領域を識別するための）トラッカ６０２、（ＰＤＡ信号を検出するための）単一の検出器モジュール６０４、（コード・ワードから追跡された物体を識別するための）デコーダ・モジュール６０６、及び追跡された物体１１６のデータベース（一連の画像において追跡された物体を記録するためのトラックされた物体のデータベース１１６、という４つの主要な部品を有する。

Ｂ．２（ａ） 領域の追跡
図６に示すように、カメラ１０２により記録された一連の画像における各々の画像は（すなわち、時間ｔにおける）、トラッカ６０２及び検出器６０４に入力される。さらに、前の画像情報（すなわち、時間ｔ−１における）がトラッカ６０２に入力される。トラッカは、例えば、ＩＮＲＩＡ Ｒｈｏｎｅ−ＡｌｐｅｓによりホストされるＧＲＡＶＩＲ ＬａｂｓのＰＲＩＭＡ（Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｉｎｔｅｇｒａｔｉｏｎ ｆｏｒ Ｓｍａｒｔ Ｓｐａｃｅｓ）プロジェクトの一部として生成されたＩｍａＬａｂソフトウェア開発環境を用いて開発することができる。或いは、トラッカは、２００４年５月、チェコ共和国、プラハ所在のＩｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｐｅｒｆｏｒｍａｎｃｅ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｔｒａｃｋｉｎｇ ａｎｄ Ｓｕｒｖｅｉｌｌａｎｃｅ、「Ｒｏｂｕｓｔ Ｖｕｓｕａｌ Ｔｒａｃｋｉｎｇ ｆｒｏｍ Ｄｙｎａｍｉｃ Ｃｏｎｔｒｏｌ ｏｆ Ｐｒｏｃｅｓｓｉｎｇ」において、Ｃａｐｏｒｏｓｓｉ他により開示される追跡システムの原理を用いて開発することができる。

一実施形態においては、トラッカ６０２は、例えば、人を検出し、追跡するための複数の基準を用いてリアルタイムで物体を追跡する、繰り返して用いられる推定器である。トラッカ６０２における領域検出モジュール６１０は、ヒストグラムの比率を用いて、一連の画像にわたる明確な色（皮膚のような）を追跡するヒストグラム・モジュール６１０の比率と、画像の差異を計算する移動追跡モジュール６１１と、フレーム間で移動する物体を識別する場合に、背景の差異を考慮する背景差異モジュール６１２とからの出力を組み合わせる。

実施形態の１つの例においては、関心のある領域モジュール６１４の流れは、Ｋａｌｍｅｎフィルタのような、繰り返して用いられる推定器を用いて動作する（１９６５年、Ｊｏｕｒｎａｌ ｏｆ Ｂａｓｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ、第８２巻、第Ｄシリーズ、３４−４５ページ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ｔｈｅ ＡＳＭＥにおける「Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ ｔｏ Ｌｉｎｅａｒ Ｆｉｌｔｅｒｉｎｇ ａｎｄ Ｐｒｅｄｉｃｔｉｏｎ Ｐｒｏｂｌｅｍｓ」という表題のＫａｌｍａｎを参照されたい）。このような、繰り返して用いられる推定器は、（ａ）予測、（ｂ）観察、（ｃ）観察の予測、（ｄ）観察の検証、（ｅ）推定の更新、という５つの段階を含むことができる。

Ｂ．２（ｂ） 信号の検出
再び図６を参照すると、識別された位置と、関心のある領域モジュール６１４から出力された、それと関連する関心のある領域とが、メモリ内に格納されて、追跡された物体６１６のデータベースを記録する。検出器モジュール６０４は、カメラ１０２により記録された一連の画像から画像に関するデータベース６１６内に格納された、あらゆる識別された位置及び領域を入力画像として受信する。入力６０１及び６１６から、検出器モジュール６０４は、各々の関心のある領域において伝送されたコード・ワードを識別する。

一実施形態においては、各々の関心のある領域は、検出器６０４によりフィルタ処理されて、能動装置からの伝送を示すＩＲスポットの存在を識別する。以下には、一般に、円形の形状であると仮定される（他の形状も可能であるが）、画像におけるＩＲスポットの存在を検出するための３つの方法が示される。一般に、ＩＲスポット検出方法は、或る画像の領域が、正しい光度（例えば、画像をフィルタ処理して、ＩＲの伝送を識別することにより）、サイズ（例えば、１ピクセルと１４４ピクセルとの間の領域を考慮することにより）、形状（例えば、円形の形状を考慮することにより）、及び距離（例えば、連続的なフレーム間の距離を用いて、２つのフレームにおいて識別された領域が同じであることを考慮することにより）を有することを示す以下の割り振られたパラメータのあらゆる組み合わせに依存する。

さらに、カメラ１０２が一連の画像を記録している環境に応じて、４つのパラメータのうちの１つ又はそれ以上が、ＩＲスポットの検出における３つの方法により、多かれ少なかれ厳密に定義される。さらに、カメラ１０２が記録している環境に応じて、カメラは、識別された、関心のある領域にズーム・インし、より解像度の高い画像を捕捉して、ＩＲスポット検出に対する３つの方法を改善するようにすることができる。

第１の方法においては、検出器モジュール６０４は、ＩＲスポットの存在を識別するためにカラー・フィルタを用い、このカラー・フィルタは、記録された一連の画像６０１において、カメラ１０２により捕捉されたＩＲ信号をフィルタ処理する。当業者であれば、的確なフィルタは、カメラ１０２により記録されるＩＲ伝送を検出するのに用いられるセンサの記録特性によって決まることを理解するであろう。すなわち、フィルタは、ＩＲ伝送を、所定の値の範囲を満たす赤色、緑色、及び青色光の何らかの組み合わせとして知覚するものとして定義される。

第２の方法においては、（Ｓｏｂｅｌフィルタのような）フィルタは、縁を見出すのに用いられ、（Ｈｏｕｇｈ変換）のような変換は、所定の半径をもつ円を見出すのに用いられ、次いで、カラー・フィルタが、検出された円の内側の色を評価するのに用いられる。ＩＲスポットのサイズが優先的に知られていないため、幾つかの半径サイズを用いて、変換を評価し、次いで、最良の候補が選択される。本実施形態の可能性のある計算上の複雑さに対処するために、１フレーム当たり１ビットではなく、ｍフレーム当たり１ビットを射出することにより、ＰＤＡの伝送速度を遅くすることができる。

第３の方法においては、すべての可能性のあるＩＲスポットは、各々の関心のある領域において計算され、リストに記録される。この方法は、（日光の反射のような）情報を伝送している能動装置をもたない関心のある領域は、デコードすることができる時間にわたり、一連のスポットを生成することはほとんどないことを仮定する。図７は、能動装置から伝送された画像におけるＩＲスポットの有無を識別するための第３の方法を概説するフロー図である。

最初に、７０２において、「カラー・フィルタ処理」動作が、或る画像の各々の関心のある領域（ＲＯＩ）を一組の黒色及び白色のピクセルに分割する。具体的には、ＲＯＩにおけるピクセルの光度が所定のしきい値より低い場合には、これは黒色に割り振られ、或いは別の場合には、白色に割り振られる。すなわち、７０２において、ＩＲ伝送がＲＧＢ（赤色、緑色、及び青色）測定された信号から単色（例えば、白であるが、他の色を用いてもよい）にマップされる。７０４において、画像がセグメント化されて、すべての領域のリストが取得される。７０６において、すべての領域のリストが、サイズ及び形状（又は形態）によりしきい値化されて、一組の可能性のあるＩＲ点を定義する。７０８において、種々の基準が、リスト内の可能性のあるＩＲ点に適用されて、リスト内の点の間を区別する。最後に、７１０において、ＩＲ点のリストにおいては、これらの対応するコード・ワードが一連のすべて１又はゼロである場合には、排除される。

一実施形態においては、７０６において、領域が具体的なサイズ（例えば、２ピクセルと１４４ピクセルとの間）を有し、特定の形態（例えば、丸い）を有する場合には、可能性のあるＩＲ点として識別される。例えば、一実施形態においては、領域の第１及び第２のモーメントが計算される。領域の第２のモーメントは、分散行列を定義し、これは次いで、固有値の率を定義するのに用いることができる。或る領域に対する固有値の率が１にほぼ等しい場合には、この領域は、およそ円の形状であると仮定される。

一実施形態においては、７０８において、可能性のあるＩＲ点のリストにおける点が、（ａ）画像配列に現れる新しい領域に属するもの、（ｂ）画像配列に現れる既存の（すなわち、前に検出された）領域に属するもの、及び（ｃ）前に識別された領域であるが、どのようなＩＲスポットも以前に検出されなかった領域に属するもの、という３つの基準により区別される。基準の割り振りは、連続するフレームにおける領域が同じであるという判断に基づく。この判断は、例えば、Ｋａｌｍａｎフィルタを用いて、又は、２つの領域間のピクセル距離を計算することにより行うことができる（例えば、ピクセル距離が、２０のように所定のしきい値より小さい場合いは、領域は同じであると仮定される）。

Ｂ．２（ｃ） 信号のデコード
再び図６を参照すると、検出器モジュール６０４が、一連の画像において追跡された物体の識別されたコード・ワードをデータベース６１６内に記録すると、デコーダ・モジュール６０６は、データベース６１６（例えば、ルックアップ表の形態における）内に格納された名前／アイデンティティの参照にコード・ワードを用いて、コード・ワードをデコードする。デコードされたコード・ワードの名前／アイデンティティは、次いで、追跡された物体と併せて記録され、これによって、追跡された物体を識別する（又は、追跡された物体を増強するための情報を与える）。例えば、図１に示すように、一連の画像における関心のある領域の追跡された物体１０６と共に記録された、ＰＤＡ１０８から射出されたコード・ワードの名前／アイデンティティのデコード後、名前／アイデンティティを用いて、追跡された物体に表示を付すことができる（１２６で「Ｊａｎ」及び「Ｍａｔ」と表示が付された物体に示されるように）。

Ｃ．伝送された運動データにより識別を増強する
図８に示すシステム８００の種々の実施形態においては、アクティブ装置１０８は、通信チャネル１１６上で、（人のような）物体１０６に関連する運動情報を特定する（例えば、座標情報を変更する）検出された運動を伝送する。一実施形態においては、システム８００の計算ユニット１１４は、図９に示すフロー図に概説されるように動作する。

９０２において、計算ユニット１１４が、カメラ１０２から、通信経路１１８上で、一連の画像を受信する。計算ユニット１１４により受信された一連の画像は、カメラ１０２の視野における物体１０６を記録する。さらに、９０４において、計算ユニット１１４が、通信経路１１５で、及び能動装置１０８から、検出された位置／運動センサ情報（例えば、位置／運動情報又は絶対位置／運動情報における変化）を、対応する能動装置からの識別情報と併せて受信する。

９０６においては、計算ユニット１１４が、一連の画像における関心のある領域を識別する。関心のある領域は、既知の形状検出／分類技術によって自動的に、又は、上述のようにユーザ選択によって人為的に識別することができる。関心のある領域が識別されると、これらは、連続する画像において追跡されて、一連の画像を構成することができるようになる（例えば、画像の差異を計算することにより）。

９０８においては、計算ユニット１１４は、能動装置１０８により伝送された運動情報（すなわち、運動報告情報）を用いて、追跡された物体の識別を増強する。一実施形態においては、各々の能動装置１０８は、そのアイデンティティを計算ユニット１１４により登録し、これによって、計算ユニットが、或る物体の伝送された運動を或るアイデンティティと関連させることを可能にする。９１０においては、一連の画像が出力される一方で、能動装置と関連される位置／運動情報を用いて追跡された関心のある領域を識別する。

例えば、図８に示すように、能動装置１０８を含む関心のある領域は、最初に、８０２において、一連の画像における画像において識別される（９０６で）。次いで、関心のある領域の移動が、８０６において、画像フレーム間で検出される。最後に、８０８において、一連の画像において識別された関心のある領域に表示を付すために（例えば、Ｊａｎ及びＭａｔ）、８０４における（アクティブ装置の識別情報を含む）能動装置の移動報告情報が、８０６における画像フレーム間で追跡された、検出された関心のある領域と関連される。

Ｄ．例示的な実施形態
ここに述べられるシステムの１つの動作の実施形態においては、人が記録された一連の画像において識別される。記録された各々の人がＩＲ信号を伝送する能動装置（ＰＤＡのような）を支持する又は着用する。ＩＲ信号は、ここに述べられるあらゆる１つの符号化方法又はその組み合わせを用いて、メッセージ・データを符号化する。ＩＲ符号化信号は、カメラ１０２により、一連の画像において記録される。計算ユニット１１４は、一連の画像における関心のある領域において符号化された信号を検出し、デコードする。デコードされると、メッセージ・データを用いて、対応する関心のある領域における物体を識別する。

メッセージ・データは、例えば、或る時間にわたり、一連の画像に現れる名前、場所、物体、装置、ユーザなど（すなわち、識別情報）を識別することができる。一実施形態においては、識別情報が、関心のある領域における物体付近に配置される。代替的な実施形態においては、音声又はオンデマンド・ラベリングのようなものが用いられる。オンデマンド・ラベリングは、音声又は一連の画像における関心のある領域上のポインタ装置のホバーリングのような何らかのユーザ入力に基づくハイライト表示を含むことができる。

さらに、方法を互いに組み合わせて用いることができ、例えば、一連の画像における能動装置からのデコードされた伝送を、能動装置から伝送された位置／運動情報と組み合わせて、一連の画像において追跡された、関心のある領域の識別を増強することができる。有利なことに、このような組み合わせは、信号干渉を最小にする（例えば、移動する能動装置が、固定の能動装置を隠したことを識別する）。

Ｅ．その他
汎用コンピュータを用いて、カメラ１０２、ネットワーク・アクセス・ポイント１１２、及び計算ユニット１１４を含む、ここに述べられるシステムの要素を実施することができる。このような汎用コンピュータは、ハードウェア及びソフトウェアを含む。

能動装置からのメッセージ・データにより、一連の画像において追跡された物体の識別を増強するためのシステムを示す。 能動装置からのメッセージ・データにより、一連の画像において追跡された物体の識別を増強するための図１に示すシステムの計算ユニットにより実行される動作を示すフロー図である。 能動装置が信号を伝送し、この信号が、次いで、カメラにより記録され、デコードされる方法を示す。 能動装置が信号を伝送し、この信号が、次いで、カメラにより記録され、デコードされる方法を示す。 能動装置が信号を伝送し、この信号が、次いで、カメラにより記録され、デコードされる方法を示す。 関心のある領域を検出し、追跡するための構成を示す。 カメラにより記録された画像において、能動装置から伝送されたＩＲ（赤外線）スポットの存在を識別するための１つの方法を概説するフロー図である。 能動装置からの運動データにより、一連の画像において追跡された物体の識別を増強するためのシステムを示す。 能動装置からの運動データにより、画像における物体の識別を増強するための、図８に示すシステムにおける計算ユニットの動作を示すフロー図である。

符号の説明

１００：システム
１０２：カメラ
１０６：物体
１０８：能動装置
１１０：信号
１１２：ネットワーク・アクセス・ポイント
１１４：計算ユニット
１１５：通信チャネル

Claims (3)

1. 一連の画像内における物体を識別するための方法であって、
   視野を有するカメラを用いて記録された一連の画像を受信する段階と、
   少なくとも幾つかの物体を含む前記一連の画像における関心のある領域を検出する段階と、
   前記カメラの前記視野内に位置させられた能動装置からの符号化された伝送を、前記検出された関心のある領域内に配置する段階と、
   符号化された伝送を用いて、その中で識別された、前記関心のある領域の少なくとも幾つかを識別しながら、前記一連の画像を出力する段階と、
   前記一連の画像における関心のある領域に対するフィルタ処理を１又はそれ以上のフィルタリング基準に基づいて実行して、能動装置からの符号化された伝送を検出する段階と、
   前記符号化された伝送をデコードして該伝送に対応する識別情報を取得し、前記関心のある領域を該取得した識別情報に関連付ける段階と、
   を含むことを特徴とする方法。
2. 一連の画像において物体を識別するための方法であって、
   視野を有するカメラを用いて記録された一連の画像を受信する段階と、
   前記カメラの前記視野における能動装置から運動情報を受信する段階と、
   少なくとも幾つかの物体を含む前記一連の画像における関心のある領域を検出する段階と、
   前記能動装置からの前記運動情報を、前記一連の画像における画像間の前記検出された関心のある領域の運動に関連付ける段階と、
   前記運動情報を用いて、前記関心のある領域の少なくとも幾つかを識別しながら、前記一連の画像を出力する段階と、
   前記カメラの前記視野内に位置させられた能動装置からの符号化された伝送を、前記検出された関心のある領域内に配置する段階と、
   符号化された伝送を用いて、その中で識別された、前記関心のある領域の少なくとも幾つかを識別しながら、前記一連の画像を出力する段階と、
   前記一連の画像における関心のある領域に対するフィルタ処理を１又はそれ以上のフィルタリング基準に基づいて実行して、能動装置からの符号化された伝送を検出する段階と、
   前記符号化された伝送をデコードして該伝送に対応する識別情報を取得し、前記関心のある領域を該取得した識別情報に関連付ける段階と、
   を含むことを特徴とする方法。
3. 一連の画像において物体を識別するための方法であって、
   視野を有するカメラを用いて記録された一連の画像を受信する段階と、
   前記カメラの前記視野における能動装置から運動情報を受信する段階と、
   少なくとも幾つかの物体を含む前記一連の画像における関心のある領域を検出する段階と、
   前記カメラの前記視野に配置された能動装置からの符号化された伝送を、前記検出された関心のある領域内に配置する段階と、
   前記能動装置からの前記運動情報を、前記一連の画像における画像間の前記検出された関心のある領域の運動に関連付ける段階と、
   符号化された伝送を用いて、その中で識別された、前記関心のある領域の少なくとも幾つかを識別し、そして、前記運動情報を用いて、該関心のある領域の少なくとも他の幾つかを識別しながら、前記一連の画像を出力する段階と、
   前記一連の画像における関心のある領域に対するフィルタ処理を１又はそれ以上のフィルタリング基準に基づいて実行して、能動装置からの符号化された伝送を検出する段階と、
   前記符号化された伝送をデコードして該伝送に対応する識別情報を取得し、前記関心のある領域を該取得した識別情報に関連付ける段階と、
   を含むことを特徴とする方法。

Images