JP5832116B2 - ３次元場面の分析 - Google Patents

Description

本発明は、３次元マッピング、特に３次元マップデータの処理に対する方法及びシステムに関するものである。

深さマップを生成する多くの方法及びシステムが従来技術で周知である。本願発明の特許申請及び請求項では、「深さマップ」とはピクセルの２次元行列としての場面の表現を意味し、各ピクセルはその場面におけるそれぞれの位置に対応し、それぞれある参照位置からの距離を示すピクセル値を有する。（言い換えれば、深さマップは、ピクセル値が場面内の物体の明るさ及び／又は色よりはむしろ地形情報を示す、画像の形式を有する。）深さマップは、例えば、レーザスペックルのパターンがその上に投影される物体の画像の検知と処理により生成される。これは特許文献１に記載され、この開示内容はここに参照され採り入れられる。

深さマップはその場面の物体を区分し識別するために処理可能である。深さマップのヒト類似形状（ヒトの形状に似た３次元形状を意味する）の識別、及びこれら形状の場面から場面への変化は、コンピュータアプリケーションの制御手段として使用可能である。例えば特許文献２では、ヒト類似体の輪郭を発見するため深さマップが区分される、コンピュータにより実行される方法が記載されている。この開示内容はここに参照され採り入れられる。輪郭は体の胴と１つ以上の肢を識別するために処理される。深さマップにおける少なくとも１つの識別された肢の変位を分析することにより、コンピュータ上で走るアプリケーションプログラムを制御するための入力が生成される。

ＷＯ２００７／０４３０３６ ＷＯ２００７／１３２４５１ ＷＯ２００７／１０５２０５ ＷＯ２００８／１２０２１７ ＷＯ２０１０／００４５４２

本発明の実施形態は、深さマップから情報を抽出する方法、装置及びソフトウェアを提供する。
従って本発明の実施形態によれば、１つの場面の深さマップの一時的順列を受け取るステップと、
場面は、１つの静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体を有し、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、デジタルプロセッサを使用して、順列の中の第１の深さマップを処理するステップと、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理するステップと、
第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築するステップと、
を有することを特徴とする、データを処理する方法、が提供される。

ある実施形態では、方法は、背景モデルに基づき、１つ以上の背景物体を深さマップから取り除くことにより、１つ以上の近景マップを生成するステップを有する。少なくとも１つの動く近景物体がヒト類似形状であり、方法は、ヒト類似形状を、第１の深さマップ内のヒト類似形状に関する情報と共に第２の深さマップに由来する１つの近景マップから抽出するステップを有する。
開示された実施形態では、方法は深さマップ内で平滑な表面を識別するステップを有する。方法は深さマップ内で１つの物体の影を識別するステップを有する。

典型的に、方法は、背景モデルを構築するステップは、深さマップの順列に亘って背景に現れる変化に対応して、背景モデルを更新するステップを有する。開示された実施形態では、深さマップは１つの画像化組立体により獲得され、方法は、順列内の深さマップの間における背景モデル内の変化の程度を評価するステップと、変化の程度が事前に設定された閾値を超えた場合に、画像化組立体が移動したことを検知するステップと、を有する。

本発明によればさらに、表面に対して位置決めされた１つ以上の物体を有する１つの場面の１つの深さマップを受け取るステップと、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
表面のパラメトリックなモデルを識別し生成するため、デジタルプロセッサを使用して深さマップを処理するステップと、
パラメトリックなモデルにより示される表面を、深さマップから取り除くことにより、場面内の１つ以上の物体を区分するステップと、
を有することを特徴とする、データを処理する方法が提供される。

開示された実施形態では、表面が、その上に少なくとも１つの物体が位置する、床に対応する平滑な表面である。深さマップを処理するステップは、深さマップ内のピクセルにおける局地的な法線を計算するステップと、平滑な表面を識別するため、局地的な法線に従ってピクセルをクラスタに纏めるステップと、を有する。典型的に深さマップは画像化組立体により獲得され、局地的な法線に従ってピクセルをクラスタに纏めるステップは、それぞれのピクセルに対する画像化組立体の高さを推定するため、少なくとも幾つかのピクセルのそれぞれの深さ値を処理するステップと、画像化組立体の同一の高さを有するピクセルをクラスタに纏めるステップと、を有する。

本発明の実施形態によれば、さらに、１つのヒト類似形状を含む１つの場面の深さマップを受け取るステップと、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して深さマップを処理するステップと、
それぞれの結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
別々の第１と第２の結合構成要素を共にヒト類似形状に属すると識別するステップと、
第１と第２の結合構成要素を共に有するヒト類似形状の１つの画像を生成するステップと、
を有することを特徴とする、データを処理する方法が提供される。

開示された実施形態では、深さマップを処理するステップは、深さマップに縁辺を配置し、ピクセルのブロックを縁辺の間に配置するステップと、３次元（３Ｄ）結合構成要素を識別するため、３次元で隣接するピクセルのブロックをクラスタに纏めるステップと、を有する。

ある実施形態では、深さマップを受け取るステップは、深さマップの一時的な順列を受け取るステップを有し、第１と第２の結合構成要素を識別するステップは、結合構成要素を順列内の多重の連続する深さマップに亘って追跡するステップを有する。結合構成要素を追跡するステップは、共通の識別子を順列内の第１の深さマップ内の第１と第２の結合構成要素に付与するステップと、共通の識別子を使用して、第１と第２の結合構成要素が第２の後続の深さマップ内のヒト類似形状に属することを判定するステップと、を有し、ここにおいて第２の深さマップ内では、第１と第２の結合構成要素が分離されている。典型的に共通の識別子を付与するステップは、深さマップ内の第１と第２の結合構成要素のピクセルを、共通の識別子で標識付けするステップを有する。
第２の深さマップ内のヒト類似形状が他の１つの物体と接触し、それにより、第２の結合構成要素を他の１つの物体と合体するようにさせ、共通の識別子を使用するステップは、第２の深さマップに現れるヒト類似形状の画像を生成するため、ヒト類似形状に属する第２の結合構成要素の標識付けされたピクセルを、他の物体に属するピクセルから分離するステップを有する。

さらにあるいは、結合構成要素を追跡するステップは、結合構成要素の動きの速度を推計するステップを有し、
画像を生成するステップは、推計された速度を使用して、ヒト類似形状に覆い隠された部分の識別を維持するステップを有する。

ある実施形態では、深さマップ内のヒト類似形状は、部分的に他の１つの物体により妨害されており、
第１と第２の結合構成要素は妨害する物体によって分離されるヒト類似形状の部分に対応し、
画像を生成するステップは、第１と第２の結合構成要素の両方をヒト類似形状の画像内に組み入れるステップを有する。

本発明の実施形態によれば、さらにまた、画像化組立体と、
画像化組立体は、静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体とを含む、１つの場面の深さマップの一時的な順列を生成するように構成され、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
プロセッサと、
を有し、
プロセッサは、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、順列の中の第１の深さマップを処理し、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理し、
ここにおいて第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築する、
ように構成される、
ことを特徴とするデータ処理装置が提供される。

本発明の実施形態によれば、またさらに、画像化組立体と、
画像化組立体は、１つのヒト類似形状を含む１つの場面の深さマップを受け取るように構成され、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
プロセッサと、
を有し、
プロセッサは、
場面内の３次元（３Ｄ）結合構成要素を識別するため、デジタルプロセッサを使用して深さマップを処理し、
ここにそれぞれの結合構成要素は、相互に隣接し、かつ隣接する深さ値を有する１組のピクセルからなり、
別々の結合構成要素をヒト類似形状に属すると識別し、
幾つかの結合構成要素を有するヒト類似形状の１つの画像を生成する、
ように構成される、
ことを特徴とするデータ処理装置が提供される。

本発明の実施形態によれば、さらにまた、プログラム命令が保管される接触可能なコンピュータ読み取り可能媒体を有し、
命令はコンピュータにより読み込まれた時コンピュータに対し、
１つの場面の深さマップの一時的順列を受け取るステップと、
場面は、１つの静止した背景と背景の一部を覆い隠す１つ以上の動く近景物体を有し、
深さマップは、ピクセルの１つの行列からなり、ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、場面内のそれぞれの位置に対応し、
動く近景物体により覆い隠されていない、静止した背景の第１の部分を第１の深さマップ内で識別するため、デジタルプロセッサを使用して、順列の中の第１の深さマップを処理するステップと、
静止した背景の少なくとも第２の部分を識別するため、順列の中の少なくとも第２の深さマップを処理するステップと、
第２の部分は、少なくとも１つの近景物体の順列に亘る動きに起因して第１の部分とは異なり、
少なくとも静止した背景の第１の部分と第２の部分を組合せることにより、場面の１つの背景モデルを構築するステップと、
を実行させる、ことを特徴とするコンピュータソフトウェア製品、が提供される。

本発明の実施形態による、３Ｄマッピング及び場面分析用システムの概略図である。 本発明の実施形態による、３Ｄマッピングの構成要素と随伴するコンピュータのブロック図である。 本発明の実施形態による、３Ｄ場面分析の方法を示す流れ図である。 本発明の実施形態による、３Ｄ場面の床を識別する方法を示す流れ図である。 本発明の実施形態による、深さマップで識別された物体に対応するブロックを示す深さマップの正面図である。 本発明の実施形態による、深さマップで識別されたブロックのクラスタを示す深さマップの平面図である。 本発明の実施形態による、深さマップ内の物体の区分を示す深さマップの正面図である。

深さマップは、特に連続した時間の流れで表示された場合、豊かな情報を提供する。しかし、深さマップに基づくゲームや他のアプリケーションは、このマップから高水準の情報を取り込み、処理し、そして抽出することの難しさから、開発の速度が遅かった。

以下に記述する本発明の実施形態では、この困難さを、深さマップを処理する頑丈で、効率的な方法、詳細には、連続する深さマップの中でヒト類似形状を位置決めし、追跡する方法により取り扱う。このようなマップは典型的には、静止した背景と１つ以上の動く近景の物体（それは背景の一部を隠す）からなる１つの場面を表わす。
開示された実施形態においては、デジタルプロセッサが、室内の背景で典型的に表れる床や壁を含む背景を識別しモデル化する。プロセッサはこのモデルを、背景モデルを妨げている近景内のヒト類似形状の部分（従ってこれ以降近景に属すると考えられる）を検出するために使用し、そしてヒト類似形状の部分を近景に存在しない他の形状部分と関連付ける。プロセッサは対象形状、特にヒト類似形状を識別し追跡するため、動く近景物体を分析する。

ある実施形態では、プロセッサは、それぞれの深さマップにおいて近景物体によって隠されていない静止した背景部分を識別することにより、背景モデルを構築する。近景物体はマップからマップへ動くため、背景の異なる部分が典型的に、異なるマップにおいて明示される。プロセッサは連続する異なるマップからの異なる静止した背景部分を組み合わせて背景モデルを生成する。

さらに、プロセッサは、特別にパラメトリックにモデル化可能なある幾何学的形状の表面、特に背景の一部をなす床や壁のような平坦な表面を識別可能である。この目的のため、ある実施形態では、プロセッサは、隣接するピクセルの深さ値を考慮することにより、深さマップ内のピクセルの局地的な法線を計算する。プロセッサは、床及び場合により他の平坦な表面を識別するため、法線がほぼ同じ方向を向くピクセルをクラスタに集団化する。

プロセッサは、３次元に結合した深さマップ内の構成要素を識別することにより、ヒト類似形状を（場合により他の対象物体も）その場面から抽出する。それぞれの結合した構成要素は、互いに隣接しかつ互いに隣接する深さ値を有する１組のピクセルからなる。このことは隣接するピクセルの深さ値は小さな事前に設定された閾値以上に乖離しないことを意味する。プロセッサは、これら結合構成要素を識別し、追跡してヒト類似形状の幾何学的モデルを計算し、そのモデルは更に処理されて姿勢、動き、しぐさ等の高水準な特徴を識別する。

理想的には、それぞれのヒト類似形状は単一の繋がった構成要素として表示されるのが好ましいが、場面そのものの様相に起因して、ヒト類似形状が２つ以上の繋がった構成要素として表示されることがしばしばある。この分離により、高水準な特徴のモデル化を別としても、ヒト類似形状を全体として識別するのが難しくなる。例えばある深さマップでは、ヒト類似形状は部分的に他の物体により部分的に妨害され、その形状が２つ以上の結合構成要素に分離される。他の場合には、ヒト類似形状の１部分が深さマップ内の他の部分を妨害することがある。
以下に記述する実施形態では、プロセッサは、共通の識別子をヒト類似形状を構成する全ての結合構成要素に割り当て、そして、結合構成要素が分離され又は互いに妨害しても、この識別子を結合構成要素の追跡に使用する。これら実施形態の方法は、プロセッサが変則的状況を解決し、そして妨害があっても、ヒト類似形状の一貫した表示を生成することを可能にする。

（システムの記述）
図１は本発明の実施形態による、３Ｄユーザインタフェースシステムの概略図である。ユーザインタフェースは、使用者２８，３０の体の少なくとも一部を含む３Ｄ場面情報を獲得する３次元画像化組立体２２に基づく。組立体２２は場面のカラービデオ画像をも獲得する。組立体２２は３Ｄマップデータ（場合によりカラー画像データも）を含むフレームの連続をコンピュータ２４に出力し、コンピュータは高水準情報をそのマップデータから抽出する。この高水準情報はＡＰＩ経由でコンピュータ２４上で走るアプリケーションに提供され、アプリケーションはそれに従って表示スクリーン２６を駆動させる。例えば図示の例では、使用者２８，３０は、彼らの肢を動かし、そして姿勢を変えることによりコンピュータ２４上で走るゲームソフトと相互作用する。

コンピュータ２４は組立体２２に生成されたデータを処理し、使用者２８，３０を含む、場面の深さマップ（「３Ｄマップ」とも呼ばれる）を再構築する。ある実施形態では、組立体２２は点のパターンを場面に投影し、投影されたパターンの画像を獲得する。組立体２２またはコンピュータ２４はその後、場面内の点（使用者の体の表面の点を含む）の３次元座標を、パターン内の点の水平方向偏移に基づいて三角法により計算する。
この手法は使用者がどんな種類のビーコン、センサ、又は他のマーカーを持つ又は着る必要が無い、という点で有利である。それは場面内の点の、組立体２２からある距離離れた場所における、既定の標準面に対する深さ座標を提供する。投影パターンを使用する、この種の三角法に基づく３次元マッピングの方法と装置は、例えば特許文献１、特許文献３、特許文献４、に記載されており、それらの開示はここに参照され採り入れられる。あるいはシステム２０は、既知の他の３次元マッピング法を使用してもよい。

この実施形態では、システム２０が使用者２８，３０を含む３次元マップの連続を獲得し処理し、一方使用者はその体を動かす。組立体２２上で走るソフトウェア及び／又はコンピュータは、３Ｄマップデータを処理し、その場面内の使用者に対応するヒト類似形状を抽出する。この目的のため、（以下に詳述する通り）ソフトウェアは、床３２や壁３４のような平坦な表面を含む静止した背景、及びこの例では窓３６のような、他の背景物体を識別しモデル化する。ソフトウェアは、使用者２８，３０のヒト類似形状を識別し追跡するため、画像の近景部分をヒト類似形状の検知された部分及び他の近景物体（椅子３８のような）と組合せる。

組立体２２又はコンピュータ２４は典型的に、それぞれの体の骨格を抽出するため、使用者の手と関節の３Ｄ位置及び向きを含むヒト類似形状の幾何学的特徴を分析する。それらは又、手で描写された仕草を識別するため、手の軌跡を多重のフレームに亘って分析する。しかし、システム２０の動作のこのような側面は本願の特許請求の範囲外である。骨格及び仕草情報はＡＰＩ経由でコンピュータ２４上で走るアプリケーションプログラムに提供される。このプログラムは、例えば、ディスプレイ２６に表示された画像を、骨格及び仕草情報に反応して移動させまた変化させる。

コンピュータ２４は典型的に、以下に記載する機能を遂行するため、ソフトウェアでプログラムされた汎用コンピュータプロセッサからなる。ソフトウェアはプロセッサに電子形態で、例えばネットワーク経由でダウンロードされ、或いは光学、磁気、電子媒体のような接触可能な非一過性媒体で提供される。或いはさらに、コンピュータの幾つか又は全ての機能は、専用又は準専用ＩＣ又はプログラム可能ＤＳＰなどの専用のハードウェア内で実行される。図１に例示されるコンピュータ２４は画像化組立体２２とは別個のユニットとして示されるが、幾つか又は全てのコンピュータの機能は画像化組立体の装置内の又はそれに付随した適切なマイクロプロセッサとソフトウェア、或いは専用の回路によって実行可能である。

あるいは、これら処理機能の少なくとも幾つかは、表示スクリーン２６（例えばテレビ内の）又は、ゲームコンソール、メディアプレーヤなどの他の適切なコンピュータ装置と統合された適切な１つのプロセッサにより実行されてもよい。組立体２２の検知機能は同様に、コンピュータ又はセンサ出力により制御される他のコンピュータ装置と統合されてもよい。

図２は本発明の実施形態による、画像化組立体２２の構成要素とシステム２０内のコンピュータ２４のブロック図である。画像化組立体２２は対象場面上にパターンを投影する照明組立体４２を有する。適合するように構成されたビデオカメラのような深さ画像サブ組立体４４は、場面上のパターンの画像を獲得する。典型的に、照明組立体４２と画像サブ組立体４４は赤外領域で動作するが、他の領域も使用可能である。或いは、カラービデオカメラ４６が場面の２次元カラー画像を獲得し、マイクロフォン４８が音声を獲得してもよい。

プロセッサ５０はその画像を画像サブ組立体４４より受け取り、それぞれの画像内のパターンをメモリ５２に記憶された参照パターンと比較する。参照パターンは典型的に、事前にそのパターンを、画像化組立体２２からある既知の距離にある参照平面上に投影することにより獲得される。通常はこの平面は画像サブ組立体４４の光軸に対して垂直である。プロセッサ５０は画像サブ組立体４４により獲得された画像内のパターンの部分の、参照パターンに対する位置的偏移を計算し、これら偏移を深さ座標に変換する。これらの処理の詳細は、例えば、特許文献５に記載されており、その開示はここに参照され、採り入れられる。
あるいは、前述のように画像化組立体２２は、ステレオ画像化又は飛行時間測定法のような他の公知の方法で深さマップを生成するように構成されてもよい。

プロセッサ５０は、深さマップをＵＳＢ接続のような通信リンク５４経由で、コンピュータ２４の適合するインタフェース５６に出力する。コンピュータはメモリ６０とユーザインタフェース６２を有するＣＰＵ５８を含み、ＣＰＵは表示スクリーン２６を駆動し、また他の構成要素を有してもよい。
上記のように画像化組立体２２は、或いは画像サブ組立体４４からの生の画像のみを出力してもよく、上記の深さマップ計算はＣＰＵ５８によりソフトウェアで実行されるか、或いはＣＰＵ５８に帰属する機能の少なくとも幾つかはプロセッサ５０により実行されてもよい。
深さマップから高水準情報を抽出するソフトウェアは、プロセッサ５０、ＣＰＵ５８又はその両方の上で走ってもよい。本明細書及び請求項におけるＣＰＵ又はプロセッサの表記はこれらの内の１つ又は両方を示すものと理解される。
ＣＰＵ５８は、以下に記載するように、典型的に１つ以上のアプリケーションプログラムを走らせ、ミドルウェアによりＡＰＩ経由で提供された情報に基づき、ユーザインタフェース６２を駆動する。

（場面分析の方法）
図３は本発明の実施形態による、３Ｄ場面分析の方法を示す流れ図である。方法は明確化のため、上記のシステム２０の構成要素と図１と２で示された構成要素に関して記載されている。
しかしこの方法の原理は、他のいかなる深さマッピングと分析の適合するシステムによっても実現可能である。
また利便性と記述の明確化のため、方法の各ステップはＣＰＵ５８によりソフトウェアで実行されると仮定しているが、これらステップの幾つか又は全ては、プロセッサ５０又は他の適合するデジタルプロセッサにより実行可能である。

深さマップ入力ステップ７０において、コンピュータ２４は深さマップの一時的順列を画像化組立体２２より受け取る。深さマップは典型的に、固定フレーム率でピクセル値を有するビデオ画像の汎用フォーマットで、画像化組立体からラスター順に出力される。（従って上記順列内のマップは「マップフレーム」又は単に「フレーム」と呼ばれる。）
深さマップのピクセル値は、実際の深さ座標値又は、実際の深さ値に既知の一定な関係を有する、ピクセル内のパターン差異値でありうる。方法は順列内の各マップフレームについて繰り返し実行される。

床モデル化ステップ７２において、ＣＰＵ５８は各深さマップを分析し床３２を位置決めし、モデル化する。このステップは以下で図４を参照して詳述される。床位置（又は他の静止した背景部分）内の明白な変更は、例えば使用者の１人の偶発的又は意図的な接触によりカメラが移動したことをＣＰＵに示唆する。ＣＰＵは、床平面に属すると識別されたピクセルを、それらに深さ値ゼロを割り当てることにより、深さマップから除外する。

背景構築ステップ７４において、ＣＰＵ５８はマップフレームの順列に亘って、場面背景のモデルを徐々に構築する。それぞれのピクセルに対しＣＰＵは、順列に亘ってその最大深さ値（又は等価であるが、参照画像に対する最大差異）を記憶する。背景内のピクセルの深さ値は、このピクセルの時間に亘る最大差異値である。ピクセルがある一定の連続するフレームにおいて深さ値を有しない場合（影によらずに）、背景モデルはこのピクセルでの値を失う。ピクセルが影により深さ値を有しない場合、そして影を投影する物体が現存する背景深さ値より離れている場合、ピクセルは現存する背景深さ値を失う。ピクセルが深さ値を有せず、かつ現存するフレーム内に値を有し、かつこのピクセルを含む近景に接続した構成要素が背景に隣接している場合、このピクセル内の背景値が現存する値になる。

ある所与のマップ内の動く物体に属するピクセルに関しては、ＣＰＵ５８は、これらのピクセルが近景の物体により妨害される前に、又は近景の物体が去った後に、これらのピクセルの背景値を既に記憶していてもよい。
例えば、図１で示される場面において、窓３６の１つの領域は使用者３０の頭により覆い隠されるが、しかしその同じ領域は後続のマップフレームにおいて使用者が姿勢を変えることにより画像化組立体２２に見せられる。従ってＣＰＵ５８は、背景モデルを、各フレームで暴露された背景の異なる部分の合体として、多重のフレームに亘って累積的に構築する。

上述のように使用者２８，３０のような近景物体は、その後ろにある物体に影を投影する可能性があり、その結果、画像化組立体２２が影の部分の深さ値を抽出できなくなる。影による深さマップの乱れを防止するため、ＣＰＵ５８はある物体に隣接する、深さ値を有しない領域を、その物体に属する領域として識別する。影は、深さマップの近景部分と背景部分との間のパターン偏移の差異により決定される、ある一定の最大影幅までピクセルを含むことを許容される。
（ピクセル内の）最大影幅は、近景物体と背景物体との間のパターン偏移の最大差異の１／８であることが、幾何学的に証明できる。
ＣＰＵ５８は、背景モデルの更新の制御においてマスクとして使用するため、マップの影の部分を示す影画像を計算してもよい。

ＣＰＵ５８は後続の処理において雑音を追加しかねない乱れを根絶するため、背景モデルを破棄してもよい。例えば、ＣＰＵがある所与の領域において、その領域の背景モデルの深さに近い深さで、結合した構成要素を検知した場合、ＣＰＵはその背景モデルの深さをこの構成要素の深さに従って較正してもよい。
逆に、ＣＰＵが結合した構成要素を従前のフレームで追跡していて、かつそれがヒト類似形状の一部（又は少なくともヒト類似形状の一部の可能性がある）であると識別された場合、たとえ結合した構成要素が背景に接触しても、ＣＰＵはそれらの分離を維持する。ある一定の数のフレームの間、移動物体として識別されない近景深さ値を持つピクセルは、同様に背景に所属させられる。

ＣＰＵ５８は床を除去し、そしてその後、構成要素検知ステップ７６において、近景ピクセルとマップに残存する事前に検知されたピクセルの中から、ヒト類似形状の一部と一致する可能性のある３Ｄ結合構成要素を検知する。
ＣＰＵは、従前にヒト類似形状の一部と識別されず、かつ近景でないピクセルを、近景深さ値領域外の人工的深さ値を割り当てることにより「除去」してもよい。それにより、それらは近景ピクセルの一部としては考えられず、下記の他の用途の場面構成要素として考えられる。

ＣＰＵは発見した３Ｄ結合構成要素のそれぞれに１つの識別子を割り当て、そしてその要素の下記の特性値を計算する：
１．ピクセル数
２．構成要素を有する境界ボックス
３．重心
４．面積
５．近景ピクセル数（構成要素の一部が背景深さ値を持つ場合）
６．近隣の構成要素の識別子
あるいはさらに、他の特性値が計算され記憶されてもよい。
ＣＰＵは、この識別子と構成要素の特性値を、ヒト類似形状のフレームからフレームへの移動の追跡に使用する。このように、ある所与のフレームにおける結合構成要素は典型的に、近景ピクセルと従前のフレームでヒト類似形状に属することが発見されたピクセルとから構成される。

クラスタ検知ステップ７８において、ＣＰＵ５８は深さマップを処理し、新しい３Ｄクラスタを識別する。これらのクラスタは、従前のフレームで識別されなかったヒト類似体に一致する可能性があり、とりわけ、システムが開始された時の最初のヒト類似形状の識別において使用される。ステップ７８は図５，６を参照して以下で詳述される。

ステップ７８で識別されたクラスタは、ほぼ同じ深さ値を持つ隣接するピクセルのブロックから構成され、それらは、互いに深さ値が隣接する３Ｄクラスタのグループに分けられる。連続するフレームに現れる、既定の閾値（例えば１０ｃｍ）以下の相対的動きを有するクラスタは追跡される。ＣＰＵはそれぞれのクラスタ候補の周りに境界ボックスを構築し、その動きを連続する多重のマップフレームに亘って追跡する。ＣＰＵは累積として最小閾値（２０ｃｍのような）より多く動く候補を移動物体として識別する。この目的のため、動きはクラスタの両端の動きとして定義される。即ち、右側と左側の両方は、通常は同じ方向に偏移するはずである。

ＣＰＵ５８は、区分ステップ８０において、ヒト類似体部分と一致する可能性のある構成要素を区分し識別するため、ステップ７６と７８で発見された結合構成要素およびクラスタを処理する。ＣＰＵはその後、構成要素グループ化ステップ８２において、近隣の構成要素を同じグループにまとめ、ヒト類似体形状を再構築する。このステップは幾つかのサブ操作を含む。
単純な場合は、ヒト類似体形状は１つの３Ｄ結合構成要素として表示され、そのように標識付けされる。このような形状は、例えば、使用者が画像化組立体２２に面して定められた姿勢で立つ、較正手続の実行によって、すぐに識別可能である。この手続きは、コンピュータ２４上でゲーム又は他のアプリケーションを走らせる場合、その後使用者が動く時にＣＰＵが使用者の体の部分を追跡する手助けとなる。

他の場合には、接着サブステップ８４において、ＣＰＵは１つのヒト類似体形状を構築するため２つ以上の結合構成要素をグループ化する必要があるかもしれない。前述のように形状全体が従前のマップフレームで識別された場合、共通の識別子とメタデータが構成要素間の関係性を維持するのに使用可能である。
さらにあるいは、互いに近接した標識付けされない、動く結合構成要素は、従前にラベルを付与されなかったとしても、一緒にグループ化され共通の識別子を付与される。

逆に、使用者が近景の物体（他の使用者を含む）に接触した場合、その使用者と物体は、１つ以上のマップフレームにおいて、一時的に単一の３Ｄ結合構成要素として表示される。この場合、ＣＰＵ５８は誤ってそれらに共通の識別子を付与する。その後使用者がその物体から離れると、深さマップにおいて同じ識別子を持つ２つの別個の結合構成要素が存在する。この場合ＣＰＵは識別子をリセットし、そして実際に使用者の体と一致する３Ｄ結合構成要素を再構築する。

あるいは、この種の状況では、ＣＰＵ５８は、使用者の体に属する合体結合構成要素の標識付けされたピクセルを、その使用者の体と接触している他の物体に属するピクセルから分離させるために、従前のフレームにおいて付与された識別子を使用してもよい。
ＣＰＵはこのように、接触に関係なく体に対して正しく区分することができる。特に、他の物体が他の使用者である場合は、ＣＰＵは、場面内の２つの（或いはそれ以上の）ヒト類似形状のそれぞれに属するピクセルに対し、異なる特定の識別子を付与する。１つのフレームにおいて付与された異なる識別子は、後続のフレームにおいて、合体結合構成要素のそれぞれのピクセルを、適切な体に割り当てるのに使用可能である。

１つ以上の深さマップにおいてヒト類似形状の部分が他の物体によって妨害された場合、特定の困難さが起こる可能性がある。
妨害検知ステップ８６において、ＣＰＵ５８はこのような異常を検知し解決する。このステップは図７を参照して以下に詳述される。

ステップ８２の最後において、殆どの場合、全てのヒト類似形状は識別されている。このようなヒト類似形状のそれぞれに対し、形状を構築する全ての３Ｄ結合構成要素を標識付けするため、ＣＰＵ５８は１つの共通識別子を付与する。ＣＰＵは全てのこれらの結合構成要素に属するピクセルを適切な識別子で標識付けする。（どのヒト類似形状にも属さないピクセルにはゼロの識別子が付与される。）
結果として得られるのは、１つの区分された深さマップであり、それは、さらにヒト類似形状の骨格を抽出するため処理される。
同時に、標識付けされたピクセルの行列が、図３の方法の次の繰り返しのステップ７０においてＣＰＵが受け取る、次の深さマップを処理する出発点として使用される。

（床の検知）
図４は本発明の実施形態による、ステップ７２で使用される、３Ｄ場面の床を識別する方法の詳細を示す流れ図である。床は場面内で平坦な表面として定義され、深さマップの下方部分に位置するものと想定されている。場面内の全ての平面は、等式ＡＸ＋ＢＹ＋ＣＺ＋Ｄ＝０を満足し、ここに（Ｘ，Ｙ，Ｚ）は空間座標であり、Ａ，Ｂ，Ｃ，Ｄは定数である。各ピクセル（ｘ，ｙ）において計算された、投影パターンの差異値ｓに基づく深さマップに対しては、平面等式は、ピクセル座標と偏移値（ｘ，ｙ，ｓ）について、調整された定数で再構成可能である。
このように図４の方法は、図２に示された方法の構成要素と共に、実際の深さ値を計算する前の段階でも、生のマップデータ上で実行可能である。
（ｘ，ｙ，ｓ）ドメインにおける計算の詳細は前述の暫定特許出願に記載されている。

床発見ステップ９０においてＣＰＵ５８は、それぞれの連続する深さマップに対して、ある１つの床モデルが従前のマップフレームで既に発見されたかをチェックすることにより、床の発見工程を始める。発見されていれば、新モデル計算ステップ９２において、ＣＰＵは現存する床に対して１つの新しいモデルを計算する。この目的のためＣＰＵは、既定の公差の範囲内で現存する床の平面内にある、或いは平面の下にある、深さマップ内の全てのピクセルを含む１つの床画像を形成する。（この床画像はその後ステップ７４で深さマップから除去される。）

ＣＰＵはモデル標識化ステップ９４において、その新モデルに対し信頼度スコアを計算し、モデル評価ステップ９６において、そのスコアを現在のマップフレームに対する床平面として容認するか拒否するかの決定に使用する。信頼度スコアは例えば、この床平面より下の（従って誤った）ピクセル数に対する床平面内のピクセル数に基づいてもよい。もし現存する床平面が容認できるならば、ＣＰＵは床取り換えステップ９８において、平面パラメータを床画像に基づいて調整する。例えばＣＰＵは、平面パラメータを調整するため床画像内のピクセルに対し平面の最小２乗適合を実施してもよい。

床画像内のピクセルが現存する床平面より下にあまりにも多く存する（例えば、ピクセルの１／６）場合は、ＣＰＵは新床モデルをステップ９６において拒否する。床モデルの失敗の原因は、例えば、使用者２８と３０の内の１人との意図的または偶然の接触により画像化組立体２２が移動したことによる。ＣＰＵはこの可能性を、カメラ移動チェックステップ１００において評価する。ＣＰＵは例えば、背景モデルにおいて深さ値の変化率を計算する。大きな突然の変化率増加が発見されると、ＣＰＵはカメラが移動したと結論付ける。そうでない場合は、床モデルは次のフレームまで維持される。

ＣＰＵがステップ１００においてカメラが移動したと発見し、かつ新床モデルが無効な場合、床無効ステップ１０２において、ＣＰＵは現在の床モデルが誤りと設定し、そして新しい床を探し始める。ＣＰＵは同様に、マップフレームの順列の初めにおいて、新しい床探しを開始する。

ステップ１０２に続いてＣＰＵは、手間のかかる床探索ステップ１０４において、最初は手間のかかる床探索を試みる。このステップに置いて、ＣＰＵは深さマップ（又は場合によって、計算の効率化のため、深さマップの１０進法バージョン）内の全ての水平ピクセル、即ちその局地的法線が上を向いたピクセルを識別する。局地的法線は、近隣のピクセルの深さ値を比較することにより計算される。ポイントが床にあると仮定して、遠近法により、それぞれの水平ピクセルの空間座標は、ある１つの床からのカメラ高さを推定する。ＣＰＵは、その水平ピクセルをそれぞれのカメラ高さ推定値に従ってグループ分けする。その後ＣＰＵは、既定の最低面積以上を有するクラスタの中で、空間内で最も低い平面に位置するクラスタを床の基準として選択する。

ＣＰＵは探索チェックステップ１０６において、適合するクラスタが発見されたかをチェックする。見つけられた場合、ＣＰＵは床平面をクラスタ内のピクセルの線形回帰により計算し、以下の標識付けステップ１１２に進む。
適合するクラスタが発見されない場合、ＣＰＵは、モデル推定ステップ１０８において、他の概略推定法を選択する。このステップでは、ＣＰＵはランダムに３つのピクセルを深さマップの下方部分１／３から選択し、空間内３つの点を含む平面を計算する。ＣＰＵはモデルチェックステップ１１０において、この平面が水平（法線が上を指す）か否かをチェックする。水平であれば、ＣＰＵはこの平面を床として採用する。そうでなければ、床探索は次のフレームまで停止する。

ＣＰＵ５８は、ステップ１０４又は１０８で発見された床モデルを、モデル標識化ステップ１１２で評価する。このステップは、上記のステップ９４と実質的に同様に進行する。その後ＣＰＵは、比較のため新しいモデルを新モデル計算ステップ１１４において、計算する。このステップは上記ステップ９２と同様に実行される。ＣＰＵはこの新モデルを新モデル標識付けステップ１１６で評価し、その結果を、モデル比較ステップ１１８において、ステップ１１２からの従前のモデルスコアと比較し、そして新モデルのスコアが優れている場合は、従前のモデルを新モデルと交換する。ＣＰＵは、モデル内でさらなる改善が得られなくなるまでステップ１１４ −１１８を繰り返し、得られなくなった時点で、工程は次のフレームまで停止する。

上記の方法は、特に深さマップ内で床を識別する（そして、後続の分析から床を除外する）ことに関しているが、同一の方法は、必要な改良を加えれば、壁、天井及びテーブル表面などの他の平坦な表面を発見する（そして所望の場合削除する）ことに使用可能である。
さらに上記の方法は他のタイプの、パラメータによって表現可能な、深さマップ内に現れる球面、パラボラ面のような非平面の表面を識別するのに適応可能である。このような表面のパラメータは、例えば深さマップ内の点に対する３Ｄ関数の線形最小２乗適合により、深さマップから得られる。このための適合技術は、例えば、Ｆｌａｎｎｅｒｙ他著「Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ：Ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ，第２版（ケンブリッジ大学出版、１９９２）第６７１ −６８１頁に記載されており、それはここに参照され、採り入れられる。

（ヒト類似形状の抽出）
図５と図６は、本発明の実施形態による、深さマップ１２０のそれぞれ正面図及び平面図である。図５は深さマップ内の物体に対応するブロック１２２，１２４、１２６を示す。図６は、ブロックのＸＺ面への投影に基づくブロックのクラスタへのグループ化をしめす。これらの図は構成要素検知ステップ７４（図３）の実行を示す。

図５に示されるブロックを発見するため、ＣＰＵ５８は、深さマップをＸ（水平）方向に沿って微分する。この目的のため、深さ値が見つけられないピクセルは任意の非常に大きい深さ値が付与される。微分値がある閾値より大きいピクセルは辺縁と分類される。辺縁の乱れを避けるため、深さマップを微分する前に、近景物体の影は（前に説明したように）、それらに投影する物体と同じ深さ値を付与される。その後ＣＰＵは、微分された深さマップの行を検索し、間に辺縁を持たない左の正の辺縁と右の負の辺縁とにより境界を定められた、ピクセルの一続き（ラン）を発見する。

ＣＰＵは、多重の隣接する行において起り、以下の条件を満たすこの種の一続きを有するブロック１２２，１２４，１２６を生成する：
・ランは最小数（例えば５）以上の連続する行において起る
・行の間の深さ値の差異は既定の閾値より大きくない
・ランはＸ方向に最小重複パーセント（例えば少なくともブロック内の最短ランの８０％）以上重複する
ＣＰＵは、各ブロックの境界座標、深さ値中央値、重心及び面積などの幾何学的特徴を計算する。

ＣＰＵ５８は、図６に示すように、その後ブロックを３Ｄクラスタにグループ分けする。この図では３Ｄ深さマップをＸ−Ｚ平面で示し、深さ（Ｚ）は図の上から下に増加する。３角の領域１２８は画像化組立体２２の視野を示す。ここではブロック１２２，１２４，１２６は異なるそれぞれの深さの範囲にあるクラスタとして表示される。ブロック１２２は中間深さにあるヒト類似形状の部分に対応し、図５の右側に示される。ブロック１２４は近景の椅子に対応し、一方、ブロック１２６は背景の一部である。

ＣＰＵはブロックがある幾何学的基準に合致すれば、それらブロックを１つのクラスタにグループ分けする。例えば、ＣＰＵは、ブロックのそれぞれのＸ−Ｚ面の境界ボックスが最小量以上重複し、各ブロックのそれぞれの重心がそのクラスタの他のブロックの境界ボックスに含まれることを、要求してもよい。１つのクラスタは、ブロックの面積の合計が小さなヒトの面積以上である場合、ヒト類似形状に属する候補として標識付けされる。

前述の通り、クラスタは上記の幾何学的条件を満たすことに加えて、多重のマップフレームに亘って、典型的に移動を伴って存続する場合、ヒト類似形状の候補と考えられる。このように、ある所与のクラスタが、従前のフレームにおいて識別されたヒト類似形状と同じ概略位置に現れる場合、ＣＰＵはこの識別を維持し、そしてそのクラスタを従前のフレームと同じ識別子で標識付けする。

あるいは、１つのクラスタ（幾つかの連続するフレームに亘って存続した）がヒト類似形状か否かを判定するため、コンピュータはそのクラスタ内のブロックを床平面（ステップ７２で発見された）に投影し、そして投影の面積、重心及び境界ボックスのような幾何学的特性を計算する。この境界ボックス内に投影される深さマップ内の全ての結合構成要素は、同一のヒト類似形状候補に属すると見做される。全てのこれら結合構成要素の合計面積が所与の閾値より大きい場合、ＣＰＵはそのクラスタ及び随伴する結合構成要素をグループに纏め、そしてそれらにヒト類似形状として共通の１つの識別子を付与する。ＣＰＵはこのヒト類似形状の特性を計算し記憶し、そして上記のように後続のマップフレームに亘ってこのヒト類似形状を追跡する。

図５及び６を再び参照して、このようにＣＰＵは幾何学的基準に合致するブロック１２２のクラスタを発見し、このクラスタをコンピュータの使用者のヒト類似形状に属すると識別する。ブロック１２４のクラスタは、小さすぎ、そして無視される。ブロック１２６のクラスタは十分に大きいが、静止しているので最終的に無視される。

図７は本発明の実施形態による、深さマップ１３０内の物体の区分を示す深さマップの正面図である。この図は、例えば能動的コンピュータゲームにおいて起り得る、空手の蹴りのため右足を急に上げたある人物の実際の深さマップに基づいている。その人物の体は３Ｄ結合構成要素１３２として表示され、それは従前のマップフレームに現れ、従って１つの識別子を有し、又、計算された幾何学的特性値で標識付けされている。足に対応する新しい結合構成要素１３４は、体の残りの部分より手前に、このマップで体の突然現れた。結合構成要素１３４は、部分的に体要素１３２を妨害し、その人物の腕に相当する他の１つの結合構成要素１３６から体要素１３２を切り離す。

このような状況を取り扱うため、要素１３４のような１つの結合構成要素がマップフレームに突然出現した（そしてこのように、従前に付与された識別子を持たない）場合は、ＣＰＵ５８は、従前に識別されヒト類似形状と標識付けされた他の近隣の結合構成要素を探索する。
新しい結合構成要素がＸ軸とＹ軸方向（図７で水平及び垂直方向）で従前に識別された結合構成要素（この事例では結合構成要素１３２）に隣接し、深さが近似し、その間に（深さの無い領域と妨害物体を除いて）異なる深さの領域が無い場合、ＣＰＵはそれら結合構成要素を結びつけ、両方に同一の識別子を付与する。
このように図７で示される事例の場合ＣＰＵは、構成要素１３４と１３６を構成要素１３２にくっつける。ＣＰＵは構成要素１３２の識別子を構成要素１３４と１３６の両方に付与し、そしてこれら結合構成要素を１つのヒト類似形状に属するものとして認識し追跡する。

この種の状況に置いて結合構成要素を１つの体に結び付ける他の考察には、それぞれの境界ボックスの横断と重心間の距離が含まれる。

ステップ８６においてシステム２０により例外的に扱われる他の１つのタイプは、１つのヒト類似形状による他の１つのヒト類似形状の妨害である。このような状況は図１に示され、そこでは使用者２８の左足が使用者３０の体を横断している。このような状況の結果は、ＣＰＵ５８が図示の場面の深さマップ内の３Ｄ結合構成要素を分析すると、使用者３０の右足の下部は体の残りの部分から離れていることとなる。

ＣＰＵ５８はこのような状況を上記のデータ構造を使用して取り扱う。
使用者３０の体が、従前のマップフレームで妨害なく全体として識別されたと仮定して、ＣＰＵは、使用者３０の右足の領域内の結合構成要素に伴う同じ共通の識別子を、使用者の残りの部分と共有する。さらに、ＣＰＵは、使用者３０の右足と体に対応する結合構成要素が同一の深さ範囲に位置すると認識し、一方、使用者３０の体の一部を分離する左足を含む、使用者２８の体に対応する結合構成要素は、深さがそれより浅いと認識する。これらの状況では、ＣＰＵは、使用者３０の足と体に対応する分離した結合構成要素は、実際は同一のヒト類似形状の一部であると結論付け、そして共通の識別子でそれらを「接着」する。

一度このような妨害が検知され解決されると、ＣＰＵ５８はそれぞれのヒト類似形状に対し、妨害された他のヒト類似形状（他の近景物体も）の記録と、こちらが妨害した他のヒト類似形状の記録を記憶する。このような記録は、後続のフレームで起こり得る妨害を解決するのに有用である。同様な技術は、１つのヒト形状が他のヒト形状に接触する状況を検知し解決するのに使用可能である。

或いは、ＣＰＵ５８はヒト類似形状の一部の動きをフレームからフレームへ追跡し、それによりこれら体の部分の動きの速度を推計してもよい。ＣＰＵはその速度を、たとえ他の物体により妨害された場合でも、使用者の体の位置を外挿するのに使用可能であり、従って深さマップ内のヒト類似形状の妨害された部分を適切に識別することを維持可能である。

前述の通り、上記の実施形態は説明の明確化を利便性のためであり、特定の種類の深さマップシステムとあるタイプのコンピュータアプリケーションを参照しているが、本発明の原理は、実質的にいかなる適合するシステムにおけるいかなる種類の深さマップにも、いかに獲得されたかに拘わらず、同様に適用可能である。
特に、上記の３Ｄ結合構成要素の分析と区分の方法は、ヒト類似形状だけでなく、他の種類の物体を深さマップから抽出するのにも使用可能である。結果として得られたマップは、使用者の閲覧用に直接表示可能であり、また、区分マップを許容する実質的にいかなる種類のアプリケーションプログラムに対しても、入力として使用可能であり、他の画像に対する入力として使用可能である。

上記の実施形態は例として引用され、本発明は上記に特に示されまた記載されたものに限定されない。むしろ本発明の範囲は、従前の記載を読んだ当業者が想起する従来技術に開示されていない、上記に記載された種々の特性の組合せやサブ組合せ、変化形や変更形を含む。

２０：システム ２２：３Ｄ画像組立体 ２４：コンピュータ
２６：表示スクリーン ２８、３０：使用者
３２：床 ３４：壁 ３６：窓
４２：照明組立体 ４４：深さ画像サブ組立体
４６：カラービデオカメラ ４８：マイクロフォン ５０：プロセッサ
５２：メモリ ５４：通信リンク
５６：インタフェース ５８：ＣＰＵ ６０：メモリ
６２：ユーザインタフェース

Claims (9)

1. １つの静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体を有する１つの場面の深さマップの一時的順列を受け取るステップであって、少なくとも１つの前記動く近景物体がヒト類似形状であり、前記深さマップはピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかは、それぞれのピクセル深さ値を有し、そして前記場面内のそれぞれの位置に対応する、ステップと、
   デジタルプロセッサを使用して、前記深さマップの前記順列に亘って前記ピクセルにおいて発見された１つの最大深さ値を各ピクセルにおいて記憶することにより、前記場面の前記静止した背景を表わす１つの背景モデルを構築するステップであって、前記順列内の第１の深さマップ内で前記動く近景物体により覆い隠された前記静止した背景の少なくとも１つの部分が、前記順列内の少なくとも第２の深さマップ内の対応するピクセルにおいてより大きな深さ値を発見することにより前記背景モデルに追加され、ここにおいて前記第２の深さマップ内では少なくとも１つの前記近景物体の前記順列に亘る動きに起因して前記１つの部分がもはや覆い隠されていない、ステップと、
   前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するステップと、
   前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に前記第２の深さマップから導出された近景マップから前記ヒト類似形状を抽出するステップと、
   を有し、
   前記ヒト類似形状を抽出するステップは、
   前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知するステップと、そして、
   前記領域を前記ヒト類似形状の一部として識別するステップと、
   を有することを特徴とする、データを処理する方法。
2. 前記深さマップ内で１つの平滑な表面を識別するステップを有する、ことを特徴とする請求項１に記載の方法。
3. 前記深さマップ内で１つの物体の影を識別するステップを有する、ことを特徴とする請求項１に記載の方法。
4. 前記背景モデルを構築するステップは、前記深さマップの前記順列に亘って前記背景に現れる変化に対応して、前記背景モデルを更新するステップを有する、ことを特徴とする請求項１に記載の方法。
5. 画像化組立体であって、静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体とを含む、１つの場面の深さマップの一時的な順列を生成するように構成され、ここにおいて、少なくとも１つの前記動く近景物体がヒト類似形状であり、前記深さマップはピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかはそれぞれのピクセル深さ値を有し、そして前記場面内のそれぞれの位置に対応する画像化組立体と、
   プロセッサと、を有し、
   前記プロセッサは、前記深さマップの前記順列に亘って前記ピクセルにおいて発見された１つの最大深さ値を各ピクセルにおいて記憶することにより、前記場面の前記静止した背景を表わす１つの背景モデルを構築するステップであって、前記順列内の第１の深さマップ内で前記動く近景物体により覆い隠された前記静止した背景の少なくとも１つの部分が、前記順列内の少なくとも第２の深さマップ内の対応するピクセルにおいてより大きな深さ値を発見することにより前記背景モデルに追加され、ここにおいて前記第２の深さマップ内では少なくとも１つの前記近景物体の前記順列に亘る動きに起因して前記１つの部分がもはや覆い隠されていない、ステップと、を実行するため、前記順列の中の前記深さマップを処理するように構成され、
   前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するように構成され、
   前記プロセッサは、前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に、前記第２の深さマップから導出された１つの近景マップから前記ヒト類似形状を抽出するように構成される、
   前記プロセッサは、前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知し、そして前記領域を前記ヒト類似形状の一部として識別するように構成される、
   ことを特徴とするデータ処理装置。
6. 前記プロセッサは、前記深さマップ内で１つの平滑な表面を識別するように構成される、ことを特徴とする請求項５に記載の装置。
7. 前記プロセッサは、前記深さマップ内で１つの物体の影を識別するように構成される、ことを特徴とする請求項５に記載の装置。
8. 前記プロセッサは、前記深さマップの前記順列に亘って前記背景に現れる変化に対応して、前記背景モデルを更新するように構成される、ことを特徴とする請求項５に記載の装置。
9. プログラム命令が保管される接触可能な非一過性のコンピュータ読み取り可能媒体を有し、
   前記命令はコンピュータにより読み込まれた時コンピュータに対し、
   １つの場面の深さマップの一時的順列を受け取るようにさせ、
   前記場面は、１つの静止した背景と前記背景の一部を覆い隠す１つ以上の動く近景物体を有し、
   少なくとも１つの前記動く近景物体がヒト類似形状であり、前記深さマップはピクセルの１つの行列からなり、前記ピクセルの少なくとも幾つかは、それぞれのピクセル深さ値を有し、そして前記場面内のそれぞれの位置に対応し、
   ここにおいて前記命令はコンピュータに対し、
   前記深さマップの前記順列に亘って前記ピクセルにおいて発見された１つの最大深さ値を各ピクセルにおいて記憶することにより、前記場面の前記静止した背景を示す１つの背景モデルを構築するステップであって、少なくとも前記順列内の覆い隠された前記静止した背景が、少なくとも１つの前記近景物体の前記順列に亘る動きに起因してもはや覆い隠されていない、第２の深さマップ内の対応するピクセルにおいてより大きな深さ値を発見することにより、少なくとも前記順列内の第１の深さマップ内の前記動く近景物体により覆い隠された前記静止した背景の一部が前記背景モデルに追加されるステップ、を実行するため前記順列の中の前記深さマップを処理するようにさせ、
   前記命令はコンピュータに対し、
   前記背景モデルに基づき、１つ以上の背景物体を前記深さマップから取り除くことにより、１つ以上の近景マップを生成するステップを実行させ、
   前記命令はコンピュータに対し、
   前記第１の深さマップ内の前記ヒト類似形状に関する情報と共に、前記第２の深さマップから導出された１つの近景マップから前記ヒト類似形状を抽出するステップを実行させ、
   前記命令はコンピュータに対し、
   前記背景物体の１つに接触する、前記ヒト類似形状に属する１つの領域を検知するステップと、そして
   前記領域を前記ヒト類似形状の一部として識別するステップと、
   を実行させる
   ことを特徴とするコンピュータで使用されるソフトウェア。

Images