JP6053758B2 - 空間ジェスチャからの空間オブジェクト説明の推測 - Google Patents

空間ジェスチャからの空間オブジェクト説明の推測 Download PDF

Info

Publication number
JP6053758B2
JP6053758B2 JP2014508167A JP2014508167A JP6053758B2 JP 6053758 B2 JP6053758 B2 JP 6053758B2 JP 2014508167 A JP2014508167 A JP 2014508167A JP 2014508167 A JP2014508167 A JP 2014508167A JP 6053758 B2 JP6053758 B2 JP 6053758B2
Authority
JP
Japan
Prior art keywords
model
hand
predetermined
integrated
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014508167A
Other languages
English (en)
Other versions
JP2014517957A (ja
JP2014517957A5 (ja
Inventor
デイヴィッド ウィルソン，アンドリュー
デイヴィッド ウィルソン，アンドリュー
ホルツ，クリスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014517957A publication Critical patent/JP2014517957A/ja
Publication of JP2014517957A5 publication Critical patent/JP2014517957A5/ja
Application granted granted Critical
Publication of JP6053758B2 publication Critical patent/JP6053758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、空間ジェスチャからの空間オブジェクト説明の推測に関する。
オブジェクトの形状及び寸法の伝達は、多くの人々にとって困難である。例えば、従来、多くの人々は、形状を説明するのを助けるのに、特に言葉のみで説明することが煩わしい場合に、手振りを用いることがある。例えば、新車の屋根の形は、広げた手を急降下させることにより伝達され得る。または、特定の椅子の様式は、その特定の椅子のデザインに特有の表面の配置を説明する一連のジェスチャにより店主に示され得る。このような場合、情報を伝達する人は、説明するオブジェクトの３次元（３Ｄ）形状をなぞるように見える場合が多い。聞き手は、ジェスチャを注意深く見て、彼／彼女自身の頭に３Ｄ形状を再生成しようとする。
店及び倉庫は、在庫検索と共に助けを申し出る看板及び／又は顧客サービス担当者で買い物客を歓迎する。例えば、椅子を探している客はブランド名又はスタイルを要求し、顧客サービス担当者は、それらを倉庫在庫システムに付随するキーボードに入力し、要求された商品の店舗の場所に関する情報又は要求された商品が入手できないことの指示を受信し得る。買い物客が正確なブランド名又はスタイル名／番号を知らない／覚えていない場合、顧客は、所望の商品を顧客サービス担当者に説明して、担当者がその商品を倉庫内で思い出せるかどうか確かめようとする。
多くのゲーム環境は、プレイヤに特定のオブジェクトをゲームに招致するオプションを提供する。例えば、戦闘ゲームのプレイヤは、弓と矢、ヌンチャク、ブラスナックル又は種々の銃及び大砲のような特定の武器を要求し得る。これらのアイテムは、顧客に配信される前に、ゲームにプログラミングされても良い。別の例として、仮想コミュニティゲームは、プレイヤに、彼らが彼らの特定の所望の仮想環境に組み込むことができるアイテムの選択肢を提供し得る。例えば、ユーザは、全てが配信前にゲームに予め設定され得る、種々の恐竜及び檻の配列並びに餌及び清掃用品から選択することにより、恐竜動物園を設定できる。例えば、ユーザは、ゲーム在庫アイテムのリストを見直し、入力装置を介して所望のアイテムをクリックし、タッチし又は指し示すことにより、所望のアイテムを選択しても良い。
＜要約＞
１つの汎用的態様によると、空間オブジェクト管理エンジンは、データベースへのアクセスを開始するよう構成されるデータベースアクセスエンジンを有しても良い。該データベースは、複数のデータベースオブジェクトを有し、各データベースオブジェクトが所定の３Ｄアイテムの外観をシミュレートする所定の３次元（３Ｄ）モデルと関連する。空間オブジェクト管理エンジンは、自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づく動作主の少なくとも片腕の動きに関連する３Ｄ空間的画像データを受信するよう構成される画像データ受信エンジンを有しても良い。空間オブジェクト管理エンジンは、受信した３Ｄ空間画像データに従って少なくとも片手の３Ｄ位置の時間的連続３Ｄ表現を統合することに基づき、統合３Ｄモデルを生成するよう構成される統合モデル生成器を有しても良い。空間オブジェクト管理エンジンは、空間オブジェクトプロセッサを介して、データベースアクセスエンジン１７６にアクセスすること及び統合３Ｄモデルと一致する少なくとも１つの所定の３Ｄモデルと関連する少なくとも１つのデータベースオブジェクトを決定することに基づき、少なくとも１つの所定の３Ｄアイテムを選択するよう構成される照合エンジンを有しても良い。
別の態様によると、コンピュータプログラムは、コンピュータ可読媒体に有形に具現化され、実行されると、少なくとも１つのデータ処理装置に、少なくとも片腕の自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づく動作主の少なくとも片腕と関連する３次元（３Ｄ）空間画像データを受信させるよう構成される実行可能コードを有しても良い。さらに、データ処理装置は、受信した３Ｄ空間画像データに基づき、それぞれ自由な動き中の連続する時点において少なくとも片手の３Ｄ姿勢及び位置に対応する３Ｄ空間マップデータを有する複数の連続３Ｄ空間表現を決定しても良い。さらに、データ処理装置は、空間オブジェクトプロセッサを介して、決定した連続３Ｄ空間表現に含まれる３Ｄ空間マップデータを追加的に統合し、及び閾時間値を、自由な動き中に複数の３Ｄ空間領域を占有する少なくとも片手により使用される時点の数を示すモデル時間値と比較することに基づき、統合３Ｄモデルを生成しても良い。
別の態様によると、コンピュータプログラムは、コンピュータ可読媒体に有形に具現化され、実行されると、少なくとも１つのデータ処理装置に、所定の３次元（３Ｄ）アイテムの外観をエミュレートする少なくとも１つの自然なジェスチャ動作に基づき、動作主の自由な動きに基づく動作主の少なくとも１つの自然なジェスチャと関連する３次元（３Ｄ）センサデータを受信させるよう構成される実行可能コードを有しても良い。さらに、データ処理装置は、自由な動きに従って動作主と関連する少なくとも１つの３Ｄ移動オブジェクトの３Ｄ位置を表す受信した３Ｄセンサデータを統合することに基づき、統合３Ｄモデルを生成しても良い。さらに、データ処理装置は、空間オブジェクトプロセッサを介して、統合３Ｄモデルに一致するデータベースオブジェクトと関連する所定の３Ｄモデルを決定しても良い。
この要約は、詳細な説明で後述する概念の選択を簡単な形式で紹介する。この要約は、請求の範囲の主要な特徴又は基本的特徴を特定するものではなく、請求の範囲の範囲を限定するものでもない。１又は複数の実施形態の詳細は、添付の図面及び以下の説明で説明される。他の特徴は、説明及び図面、並びに請求の範囲から明らかである。
空間オブジェクト管理のための例示的なシステムのブロック図である。 図１Ａの例示的なシステムの部分のブロック図である。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャートである。 例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。 例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。 例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。 例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。 例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。 ビデオカメラの近傍でジェスチャを行う例示的な動作主を示す。 例示的な３次元（３Ｄ）アイテムを示す。 例示的な動作主の例示的なジェスチャを示す。 例示的な動作主の例示的なジェスチャを示す。 例示的な動作主の例示的なジェスチャを示す。 動作主の例示的な手姿勢を示す。 動作主の例示的な手姿勢を示す。 動作主の例示的な手姿勢を示す。 図１の例示的なシステムによる例示的な画像データ処理のグラフィカルな図を示す。 図１の例示的なシステムによる例示的な画像データ処理のグラフィカルな図を示す。 図１の例示的なシステムによる例示的な画像データ処理のグラフィカルな図を示す。 図１の例示的なシステムによる例示的な画像データ処理のグラフィカルな図を示す。 生成した３Ｄモデルを所定の３Ｄモデルと照合した、例示的な重ね合わせの結果を示す。
話し手は、物理的オブジェクトについて話すとき又は説明するとき、手振りを用いる場合が多い。例えば、このようなジェスチャは、口頭で説明することが難しい形状の特徴を伝える際に、話し手を支援し得る。本願明細書に記載される技術は、例えば、ジェスチャを行う人により想像された３Ｄアイテムの外観をエミュレートし得る３次元（３Ｄ）モデルを生成するジェスチャに基づく記述機能を提供するために用いることができる。例えば、小売店にいる顧客は、その店が特定のアイテムをその店の現在の在庫に有するか否かを決定したいと望み得る。本願明細書に記載の技術を用いて、顧客は、検知装置（例えば、深度カメラ）の範囲内で彼／彼女の手（又は他のオブジェクト）を用いて３Ｄアイテムをジェスチャ又はパントマイムで説明しても良い（例えば空間に３Ｄアイテムを説明する）。そして、例示的なシステムは、顧客のジェスチャに基づき３Ｄモデルを生成しても良い。必要なら、次に、生成したモデルは、生成された３Ｄモデルと最も一致する１又は複数の所定のアイテムを決定するために、例えば在庫データベース内の所定の３Ｄモデルと照合されても良い。例えば、次に、システムは、顧客又は店の従業員に、最も近い一致をその場所と共に提示しても良い。
店の従業員又は管理者が（例えば後に選択するために）別の在庫オブジェクトを在庫データベースに追加したい場合、彼／彼女は、予め構築された３Ｄモデルをデータベースに提供し、３Ｄオブジェクトを検知装置（例えば深度カメラ）に提示し、３Ｄモデルが生成され及び後の検索のために在庫データベースに追加されるようにしても良い。
別の例として、電子的に支援されたゲーム活動に従事している人は、特定のゲームオブジェクトをゲーム経験に招致させたいと望み得る。彼／彼女は、ゲームオブジェクトのうちの１つを（例えば後に詳述するようにジェスチャ又はデータマイムにより）空間的に説明し、例示的なシステムが人のジェスチャに基づき３Ｄモデルを生成できるようにしても良い。例えば、次に、システムは、生成された３Ｄモデルと最も一致する１又は複数の所定のアイテムを決定するために、所定のゲームオブジェクトと関連付けられた所定の３Ｄモデルのデータベースを検索しても良い。例えば、ゲームは、プレイヤのジェスチャにより示された寸法にオブジェクトを仕立てても良い。
人が（例えば後に選択するために）別のゲームオブジェクトをゲームデータベースに追加したい場合、その人は、予め構築された３Ｄモデルをデータベースに提供し、又は物理的３Ｄオブジェクトを検知装置（例えば深度カメラ）に提示し、３Ｄモデルが生成され及び後の検索のためにゲームオブジェクトデータベースに追加されるようにしても良い。
別の例として、仮想環境活動に従事する人は、仮想環境で使用するために３Ｄ仮想オブジェクトを招致したいと望み得る。前述の例と同様に、彼／彼女は、所望の３Ｄオブジェクトの説明をジェスチャ又はパントマイムし、例示的なシステムは彼／彼女のジェスチャに基づき３Ｄモデルを生成しても良い。次に、生成した３Ｄモデルは、１又は複数の一致を決定するために、所定の仮想環境オブジェクトのデータベースを検索するために用いられても良い。例えば、子供は、所定の家の構造及び家具のような所定の家庭用オブジェクトを招致することにより、仮想ドールハウスを設定したいと望み得る。例えば、子供は、（例えばジェスチャ又はマイムを介して）テーブルを空間的に説明し、システムは、仮想環境データベース内の所定の３Ｄオブジェクトを照合するために検索しても良い。
例えば、ユーザは、予め構築された３Ｄモデルをデータベースに提供することにより、又は物理的３Ｄオブジェクトを検知装置（例えば深度カメラ）に提示することにより、３Ｄモデルが生成され及び後の検索のために仮想環境データベースに追加されるようにして、新しい仮想環境オブジェクトを仮想環境データベースに追加しても良い。
ここで更に詳述すると、図１Ａは、空間オブジェクト管理のための例示的なシステム１００のブロック図である。図１Ｂは、図１Ａの例示的なシステムの部分の更に詳細なブロック図である。
図１Ａ―１Ｂに示すように、空間オブジェクト管理エンジン１０２は、センサデータ１０６を受信するよう構成され得るセンサデータ受信エンジン１０４を有しても良い。例えば、センサデータ受信エンジン１０４は、１又は複数の検知装置からセンサデータ１０６を受信しても良い。メモリ１０８は、センサデータ１０６を有する情報を格納するよう構成されても良い。例えば、センサデータ１０６は、画像データ入力装置１１２から受信した画像データ１１０、音声データ入力装置１１６から受信した音声データ１１４、及び／又は触覚（tactile）データ入力装置１２０から受信した触覚データ１１８を有しても良い。例えば、画像データ入力装置１１２は、３Ｄ空間画像データを得るよう構成される３次元（３Ｄ）画像データ装置を有しても良い。例えば、画像データ入力装置１１２は、深度値を有する画像データ１１０を得るよう構成される深度カメラを有しても良い。別の例として、画像データ入力装置１１２は、３Ｄ形状に対応する立体画像を表す画像データ１１０を得るよう構成される１又は複数のカメラを有しても良い。この文脈では、「メモリ」は、データ及び／又は命令を格納するよう構成される単一のメモリ装置又は複数のメモリ装置を有しても良い。さらに、メモリ１０８は、複数の分散型記憶装置に渡っても良い。
ユーザインタフェースエンジン１２２は、ユーザ１２４と空間オブジェクト管理エンジン１０２との間の通信を管理するよう構成されても良い。例えば、店の従業員又はシステム管理者（例えば、ユーザ１２４）は、ユーザインタフェースエンジン１２２を介して空間オブジェクト管理エンジン１０２と通信しても良い。ネットワーク通信エンジン１２６は、空間オブジェクト管理エンジン１０２と、１又は複数のネットワークを介して空間オブジェクト管理エンジン１０２と通信し得る他のエンティティとの間のネットワーク通信を管理するよう構成されても良い。
例えば、ディスプレイ１２８は、ユーザ１２４（例えば、店の従業員又はシステム管理者）の入力を監視するために、彼／彼女に視覚的、聴覚的及び／又は触覚的媒体を提供し、空間オブジェクト管理エンジン１０２からの応答を提供しても良い。例えば、ユーザ１２４は、タッチパッド、タッチスクリーン、キーボード又はキーパッド、マウス装置、トラックボール装置、又は音声入力装置又は他の入力検知装置を介して入力を提供しても良い。例えば、ユーザ１２４は、音声文字変換処理のために情報を話しても良い。
例示的な実施形態によると、センサデータ受信エンジン１０４は、自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づく動作主の少なくとも１つの腕の動きに関連する３Ｄ空間画像データを受信するよう構成され得る画像データ受信エンジン１３０を有しても良い。例えば、画像データ受信エンジン１３０は、３Ｄ空間画像データを画像データ入力装置１１２から受信しても良い。画像データ入力装置１１２は、動作主１３２により部分的に占有される３Ｄ空間に焦点を当てる深度カメラを有しても良い。
この文脈では、「自然なジェスチャ」は、ジェスチャがどのように行われるべきかの事前の指示を実質的に有しないで、及び特定のジェスチャの所定の順序を実質的に有しないで、動作主により行われたジェスチャを有し得る。したがって、「自然なジェスチャ」は、動作主が選択する如何なるタイミング又は順序の、動作主１人により決定されるジェスチャを有し得る。さらに、「自然なジェスチャ」は、オブジェクトの種々のコンポーネント（例えば、テーブルの天板、脚、椅子の背もたれ、椅子の座部、椅子の脚）の高さ、幅及び深さ並びに形状及び位置のような要素を有しても良い。
空間オブジェクト管理エンジン１０２は、（図１Ｂに示すように）空間表現エンジン１３６を有し得るセンサデータ分析エンジン１３４を有しても良い。空間表現エンジン１３６は、各々が自由な動き中の連続する時点における少なくとも片手の３Ｄ姿勢及び位置に対応する３Ｄ空間マップデータを有する複数の連続３Ｄ空間表現１３８を、受信した３Ｄ空間画像データに基づき決定するよう構成されても良い。
空間オブジェクト管理エンジン１０２は、統合モデル生成器１４０を有しても良い。統合モデル生成器１４０は、空間オブジェクトプロセッサを介して、決定した連続３Ｄ空間表現１３８に含まれる３Ｄ空間マップデータを追加的に統合し、及び閾時間値１４６を、自由な動き中に複数の３Ｄ空間領域を占有する少なくとも片手により使用される時点の数を示すモデル時間値と比較することに基づき、統合３Ｄモデル１４４を生成するよう構成されても良い。例示的な実施形態によると、統合モデル生成器１４０は、受信した３Ｄ空間画像データ１１０に従って少なくとも片手の３Ｄ位置の時間的な連続３Ｄ表現を統合することに基づき、統合３Ｄモデル１４４を生成するよう構成されても良い。
この文脈では、「プロセッサ」は、処理システムと関連する命令を処理するよう構成される１又は複数のプロセッサを有しても良い。したがって、プロセッサは、並列及び／又は分散方式で命令を処理する複数のプロセッサを有しても良い。
この文脈では、「統合」は、位置の特定の順序又はタイミングを有しない及び所定の３Ｄモデルの特定の要素と関連する特定の所定の動きを有しない手又は他のオブジェクトの位置の実質的に純粋な統合又は集約を含み得る。例えば、位置の統合に関連する特定の意味の事前の入力又は訓練が実質的に存在しない。
例示的な実施形態によると、空間オブジェクト管理エンジン１０２は、初期化エンジン１４８を有しても良い。初期化エンジン１４８は、それぞれ初期値に初期化された重み値を有する容積要素として表される不連続３Ｄ仮想マップ要素に基づき、仮想３Ｄマップ空間を初期化するよう構成される。ここで、仮想３Ｄマップ空間は、動作主１３２の近傍の３Ｄ空間を表す。例えば、統合モデル１４４は、仮想３Ｄマップ空間を有しても良い。
例示的な実施形態によると、統合モデル生成器１４０は、（図１Ｂに示すように）要素活性化エンジン１５０を有しても良い。要素活性化エンジン１５０は、少なくとも片手の一部が自由な動き中の時間期間に渡り３Ｄ領域を占有していたと示す決定に基づき、３Ｄ空間の３Ｄ領域と関連する選択された容積要素の重み値を比例的に増大するよう構成される。例示的な実施形態によると、統合モデル生成器１４０は、閾比較エンジン１５２を有しても良い。閾比較エンジン１５２は、閾値１４６を容積要素の各々の重み値と比較するよう構成される。
例示的な実施形態によると、統合モデル生成器１４０は、少なくとも片手の深度、位置及び方向を決定するよう構成される位置属性エンジン１５４と、少なくとも片手の深度、位置及び方向に対応する仮想３Ｄマップ空間に関連する容積要素の位置を決定するよう構成される仮想要素探知器１５６と、を有しても良い。例示的な実施形態によると、要素活性化エンジン１５０は、仮想要素探知器１５６により決定された位置に基づき、少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄマップ空間の領域に関連する複数の容積要素を活性化するよう構成されても良い。
例示的な実施形態によると、容積要素は、容積画像素子（voxel）を有しても良い。例示的な実施形態によると、初期化エンジン１４８は、初期化重み値でｖｏｘｅｌを非活性状態に初期化するよう構成されても良い。例示的な実施形態によると、要素活性化エンジン１５０は、自由な動き中の時間期間に渡り少なくとも片手の一部が３Ｄ領域を占有していたと示す決定に基づき、ｖｏｘｅｌグループの各活性化でｖｏｘｅｌグループに関連する重み値を増大することに基づき、ｖｏｘｅｌグループを活性化するよう構成されても良い。この文脈で、「ｖｏｘｅｌ」は、３Ｄ画像の、最小の区別可能なボックス形状部分を表し得る。
例示的な実施形態によると、統合モデル生成器１４０は、囲い地検出エンジン１５８を有しても良い。囲い地検出エンジン１５８は、少なくとも片手の姿勢により示される閉空間を決定するよう構成される。例えば、囲い地検出エンジン１５８は、動作主１３２の握り拳の範囲内の閉領域を決定しても良い。
例示的な実施形態によると、統合モデル生成器１４０は、深度決定エンジン１６０を有しても良い。深度決定エンジン１６０は、閉空間の周囲領域の深度の決定に基づき、閉空間の深度を決定するよう構成される。例示的な実施形態によると、要素活性化エンジン１５０は、閉空間を示す姿勢と関連する時間期間中の少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域に関連する複数の容積要素を活性化する代わりに、閉空間に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域と関連する複数の容積要素を活性化するよう構成されても良い。例えば、要素活性化エンジン１５０は、閉じた拳の方向にある手により占有される容積に対応する領域の代わりに、動作主１３２の握り拳に関連する閉空間に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域に関連する複数の容積要素を活性化しても良い。
例示的な実施形態によると、センサデータ分析エンジン１３４は、容積決定エンジン１６２を有しても良い。容積決定エンジン１６２は、受信した３Ｄ空間画像データ１１０に基づき、動作主の片手と関連する容積を決定するよう構成されても良い。例示的な実施形態によると、空間表現エンジン１３６は、決定した容積に基づき、３Ｄ仮想マップ空間内の片手の３Ｄ表現を決定するよう構成されても良い。
例示的な実施形態によると、センサデータ分析エンジン１３４は、姿勢決定エンジン１６４を有しても良い。姿勢決定エンジン１６４は、片手の３Ｄ表現に基づき、少なくとも１つの手姿勢を決定するよう構成されても良い。
例示的な実施形態によると、囲い地検出エンジン１５８は、少なくとも片手の少なくとも１つの手姿勢が３Ｄ閉空間を示すか否かを決定するよう構成されても良い。例示的な実施形態によると、要素活性化エンジン１４０は、閉空間が示されると決定された場合、閉空間を示す姿勢と関連する連続する時点について、閉空間に対応する深度、位置及び方向を表す統合３Ｄモデルの部分に関連する複数の容積要素を活性化し、その他の場合、少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す統合３Ｄモデルの部分と関連する複数の容積要素を活性化するよう構成されても良い。例えば、要素活性化エンジン１５０は、上述のように、握り拳の範囲内の領域に対応する容積要素を活性化するよう構成されても良い。
例示的な実施形態によると、姿勢決定エンジン１６４は、少なくとも１つの手姿勢が平坦な手姿勢、湾曲した手姿勢、拳のように握られた手、又は指を縮めた手姿勢のうちの１又は複数を有すると決定するよう構成されても良い。例えば、後述するように、片手が拳のように握りしめられ又は両手が並べられて閉空間を形成しても良い。
例示的な実施形態によると、囲い地検出エンジン１５８は、少なくとも片手の少なくとも１つの姿勢により示される閉空間を決定するよう構成されても良い。また、深度決定エンジン１６０は、閉空間を取り囲む領域の深度の決定に基づき、閉空間の深度を決定するよう構成されても良い。例示的な実施形態によると、空間表現エンジン１３６は、閉空間を示す少なくとも１つの手姿勢に関連する連続する時点の間に、少なくとも片手の姿勢及び位置に対応する３Ｄ空間データの代わりに、それぞれが閉空間に対応する深度、位置及び方向に対応する３Ｄ空間マップデータを有する複数の連続３Ｄ空間表現を決定するよう構成されても良い。
例示的な実施形態によると、空間オブジェクト管理エンジン１０２は、照合エンジン１６６を有しても良い。照合エンジン１６６は、空間オブジェクトプロセッサ１４２を介して、統合３Ｄモデル１４４に一致するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃに関連する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃを決定するよう構成されても良い。ここで、自然なジェスチャの動きは、所定の３次元（３Ｄ）アイテムの外観をエミュレートしても良い。例えば、データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃはデータベース１７２と関連付けられて格納されても良い。例えば、所定のモデル１６８ａ、１６８ｂ、１６８ｃは物理的３Ｄオブジェクトを表しても良い。
例示的な実施形態によると、容積決定エンジン１６２は、受信した３Ｄ空間画像データ１１０に基づき、時間に渡り片手の可視部分を追跡することに基づき、動作主１３２の片手と関連する容積を決定するよう構成されても良い。例えば、追跡エンジン１７４は、受信した画像データ１１０を時間的に追跡するよう構成されても良い。追跡エンジン１７４は、追跡データ１７５を受信しメモリ１０８に格納しても良い。例えば、追跡データ１７５は、受信した３Ｄ空間画像データのインスタンスと関連付けられたタイミングデータを有しても良い。
例示的な実施形態によると、位置属性エンジン１５４は、受信した３Ｄ空間画像データに基づき、上から下へ追跡した片手の可視部分の回転に基づき、片手の方位角を決定するよう構成されても良い。
例示的な実施形態によると、位置属性エンジン１５４は、追跡した可視部分と関連する深度値の変動に基づき、片手の回転角及びピッチ角を決定するよう構成されても良い。
例示的な実施形態によると、空間オブジェクト管理エンジン１０２は、データベースアクセスエンジン１７６を有しても良い。データベースアクセスエンジン１７６は、データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃを有するデータベース１７２へのアクセスを開始するよう構成される。ここで、各データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃは、所定の３Ｄアイテムの外観をシミュレートする所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと関連付けられる。
例示的な実施形態によると、照合エンジン１６６は、空間オブジェクトプロセッサ１４２を介して、データベースアクセスエンジン１７６にアクセスし及び統合３Ｄモデル１４４と一致する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの少なくとも１つと関連するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃのうちの少なくとも１つを決定することに基づき、少なくとも１つの所定の３Ｄアイテムを選択するよう構成されても良い。例えば、照合エンジン１６６は、生成した統合モデル１４４に最も密接に一致する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの少なくとも１つを選択しても良い。
例示的な実施形態によると、空間オブジェクト管理エンジン１０２は、更新アイテム入力エンジン１７８を有しても良い。更新アイテム入力エンジン１７８は、所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデル１８０を得て、データベースアクセスエンジン１７６を介してデータベース１７２において、更新３Ｄモデル１８０と関連する更新データベースオブジェクトの記憶を開始するよう構成される。
例示的な実施形態によると、所定の更新３Ｄアイテムは、３Ｄ在庫アイテム、３Ｄゲームオブジェクト、３Ｄ現実世界アイテム又は３Ｄ仮想現実環境オブジェクトのうちの１又は複数を有しても良い。
例示的な実施形態によると、更新アイテム入力エンジン１７８は、所定の更新３Ｄアイテムの画像と関連する画像データ１１０の受信、又は入力装置を介した更新３Ｄモデル１８０の受信のうちの１又は複数に基づき、更新３Ｄモデル１８０を得るよう構成されても良い。例えば、ユーザ１２４は、モデルを生成するために、物理的オブジェクトを検知装置（例えば、画像データ入力装置１１２）に提示しても良い。或いは、ユーザ１２４は、データベース１７２内の所定の３Ｄモデル１６８として含むために、物理的オブジェクトの外観をシミュレートする既成モデルを提供しても良い。
例示的な実施形態によると、空間オブジェクト管理エンジン１０２は、発話を表す少なくとも１つの音声指標と関連する音声データ１１４を受信するよう構成される音声データ受信エンジン１８２を有しても良い。例示的な実施形態によると、照合エンジン１６６は、音声指標に基づき、空間オブジェクトプロセッサ１４２を介して、データベースアクセスエンジン１７６にアクセスし及び統合３Ｄモデル１４４と一致する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの少なくとも１つと関連するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃのうちの少なくとも１つを決定することに基づき、少なくとも１つの所定の３Ｄアイテムを選択するよう構成されても良い。例えば、動作主１３２は「椅子」と発言しても良い。すると、照合エンジン１６６は、照合動作で「椅子」と関連しないアイテムを検討から除外しても良い。
例示的な実施形態によると、照合エンジン１６６は、予備整合エンジン１８４を有しても良い。予備整合エンジン１８４は、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４とのスケーリング、平行移動及び回転に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つに含まれる少なくとも１つのコンポーネントと統合３Ｄモデル１４４との照合に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第１の整合１８６を生成するよう構成される。例示的な実施形態によると、照合エンジン１６６は、反復整合エンジン１８８を有しても良い。反復整合エンジン１８８は、第１の整合１８６に基づき、反復最近点（iterative closest point）アルゴリズムに基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第２の整合を生成するよう構成される。
例示的な実施形態によると、照合エンジン１６６は、強力整合エンジン１９２を有しても良い。強力整合エンジン１９２は、第１の整合１８６に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４のスケーリング、回転及び平行移動のうちの複数を有する強力な整合に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第２の整合１９０を生成するよう構成される。
少なくとも１つの選択されたモデル１９４は、照合エンジン１６６により、整合１８６、１９０に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃから選択されても良い。
データ処理分野の当業者は、３Ｄモデルとデータベースに格納された３Ｄモデルとの一致を決定する多くの技術が存在することを理解する。例えば、例によるモデリング技術は、比較されるオブジェクトの単一部分に基づき、３Ｄオブジェクトの部分的一致を提供し得る。
空間オブジェクト管理エンジン１０２は、触覚データ入力装置１２０から触覚データ１１８を受信するよう構成される触覚データ受信エンジン１９６を有しても良い。例えば、センサが動作主１３２に取り付けられ、動作主１３２の動きが３Ｄ空間センサデータとして検知されても良い。例えば、センサが動作主の手に取り付けられる場合、手の３Ｄ位置は、触覚入力装置１２０により検知され、触覚データ受信エンジン１９６により受信され、上述の３Ｄ空間画像データと同様に統合モデル生成器１４０により処理されても良い。
図２Ａ−Ｄは、例示的な実施形態による、図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャート２００である。図２Ａの例では、所定の３Ｄアイテムの外観をシミュレートするそれぞれ所定の３次元（３Ｄ）モデルと関連するデータベースオブジェクトである複数のデータベースオブジェクトを有するデータベースへのアクセスが開始されても良い（２０２）。例えば、データベースアクセスエンジン１７６は、データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃを有するデータベース１７２へのアクセスを開始しても良い。ここで、各データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃは、上述のように所定の３Ｄアイテムの外観をシミュレートする所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと関連付けられる。
自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づき動作主の少なくとも片腕の動きと関連する３次元空間画像データが受信されても良い（２０４）。例えば、画像データ受信エンジン１３０は、上述のように、自然なジェスチャ動作に基づき、動作主１３２の少なくとも片手の自由な動きに基づき動作主１３２の少なくとも片腕に関連付けられた３Ｄ空間画像データを受信しても良い。
統合３Ｄモデルは、受信した３Ｄ空間画像データに従って少なくとも片手の３Ｄ位置の連続３Ｄ表現を時間的に統合することに基づき、生成されても良い（２０６）。例えば、統合モデル生成器１４０は、上述のように、受信した３Ｄ空間画像データ１１０に従って少なくとも片手の３Ｄ位置の連続３Ｄ表現を時間的に統合することに基づき、統合３Ｄモデル１４４を生成しても良い。
所定の３Ｄアイテムの少なくとも１つは、データベースにアクセスし、及び統合３Ｄモデルと一致する少なくとも１つの所定の３Ｄモデルに関連する少なくとも１つのデータベースオブジェクトを決定することに基づき、選択されても良い。例えば、照合エンジン１６６は、上述のように、データベースアクセスエンジン１７６にアクセスし及び統合３Ｄモデル１４４と一致する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの少なくとも１つと関連するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃのうちの少なくとも１つを決定することに基づき、少なくとも１つの所定の３Ｄアイテムを選択しても良い。
例示的な実施形態によると、所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデルが得られ、データベース内に、更新３Ｄモデルと関連する更新データベースオブジェクトの記憶が開始されても良い（２１０）。例えば、更新アイテム入力エンジン１７８は、上述のように、所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデル１８０を得て、データベースアクセスエンジン１７６を介してデータベース１７２に、更新３Ｄモデル１８０と関連する更新データベースオブジェクトの記憶を開始しても良い。
例示的な実施形態によると、所定の更新３Ｄアイテムは、３Ｄ在庫アイテム、３Ｄゲームオブジェクト、３Ｄ現実世界アイテム又は３Ｄ仮想現実環境オブジェクトのうちの１又は複数を有しても良い。例示的な実施形態によると、更新３Ｄモデルは、所定の更新３Ｄアイテムの画像と関連する画像データ１１０の受信、又は入力装置を介した更新３Ｄモデルの受信のうちの１又は複数に基づき、得られても良い。例えば、更新アイテム入力エンジン１７８は、上述のように、所定の更新３Ｄアイテムの画像と関連する画像データ１１０の受信、又は入力装置を介した更新３Ｄモデル１８０の受信のうちの１又は複数に基づき、更新３Ｄモデル１８０を得ても良い。
例示的な実施形態によると、発話を表す少なくとも１つの音声指標と関連する音声データが受信される。また、空間オブジェクトプロセッサを介した、少なくとも１つの所定の３Ｄアイテムの選択は、音声指標に基づき、統合３Ｄモデルに一致する少なくとも１つの所定の３Ｄモデルに関連する少なくとも１つのデータベースオブジェクトを決定することに基づいても良い（２１２）。例えば、音声データ受信エンジン１８２は、発話を表す少なくとも１つの音声指標と関連する音声データ１１４を受信するよう構成されても良い。例示的な実施形態によると、照合エンジン１６６は、上述のように、データベースアクセスエンジン１７６にアクセスし、及び音声指標に基づき統合３Ｄモデル１４４と一致する少なくとも１つの所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと関連する少なくとも１つのデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃを決定することに基づき、少なくとも１つの所定の３Ｄアイテムを選択しても良い。
例示的な実施形態によると、所定の３Ｄモデルのうちの１つと統合３Ｄモデルとの第１の整合は、所定の３Ｄモデルのうちの１つ及び統合３Ｄモデルのスケーリング、平行移動及び回転に基づき、所定の３Ｄモデルのうちの１つに含まれる少なくとも１つのコンポーネントと統合３Ｄモデルとの照合に基づき、生成されても良い（２１４）。例えば、予備整合エンジン１８４は、上述のように、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つ及び統合３Ｄモデル１４４のスケーリング、平行移動及び回転に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つに含まれる少なくとも１つのコンポーネントと統合３Ｄモデル１４４との照合に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第１の整合１８６を生成しても良い。
例示的な実施形態によると、所定の３Ｄモデルのうちの１つと統合３Ｄモデルとの第２の整合は、第１の整合に基づき、反復最近点アルゴリズムに基づき、生成されても良い（２１６）。例えば、反復整合エンジン１８８は、上述のように、第１の整合１８６に基づき、反復最近点アルゴリズムに基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４と第２の整合１９０を生成しても良い。
例示的な実施形態によると、所定の３Ｄモデルのうちの１つと統合３Ｄモデルとの第１の整合は、所定の３Ｄモデルのうちの１つ及び統合３Ｄモデルのスケーリング、平行移動及び回転に基づき、所定の３Ｄモデルのうちの１つに含まれる少なくとも１つのコンポーネントと統合３Ｄモデルとの照合に基づき、生成されても良い（２１８）。例示的な実施形態によると、所定の３Ｄモデルのうちの１つと統合３Ｄモデルとの第２の整合は、第１の整合に基づき、所定の３Ｄモデルのうちの１つ及び統合３Ｄモデルのスケーリング、回転及び平行移動のうちの複数を有する強力な整合に基づき、生成されても良い（２２０）。例えば、以下に詳述するように、強力整合エンジン１９２は、第１の整合１８６に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つ及び統合３Ｄモデル１４４のスケーリング、回転及び平行移動のうちの複数を有する強力な整合に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第２の整合１９０を生成しても良い。
例示的な実施形態によると、仮想３Ｄマップ空間は、それぞれ初期値に初期化された重み値を有する容積要素として表される不連続３Ｄ仮想マップ要素に基づき、初期化されても良い。ここで、仮想３Ｄマップ空間は、動作主の近傍の３Ｄ空間を表す（２２２）。例えば、初期化エンジン１４８は、上述のように、それぞれ初期値に初期化された重み値を有する容積要素として表される不連続３Ｄ仮想マップ要素に基づき、仮想３Ｄマップ空間を初期化しても良い。ここで、仮想３Ｄマップ空間は、動作主１３２の近傍の３Ｄ空間を表す。
例示的な実施形態によると、時間的連続３Ｄ表現の統合は、少なくとも片手の一部が自由な動き中の時間期間に渡り３Ｄ領域を占有しているという決定に基づき、３Ｄ空間の３Ｄ領域と関連する選択された容積要素の重み値を比例的に増大すること（２２４）、及び閾値を各容積要素の重み値と比較すること（２２６）を含み得る。例えば、要素活性化エンジン１５０は、上述のように、少なくとも片手の一部が自由な動き中の時間期間に渡り３Ｄ領域を占有していたと示す決定に基づき、３Ｄ空間の３Ｄ領域と関連する選択された容積要素の重み値を比例的に増大しても良い。例えば、閾比較エンジン１５２は、詳述するように、閾値１４６を各容積要素の重み値と比較しても良い。
例示的な実施形態によると、少なくとも片手の深度、位置及び方向が決定され（２２８）、少なくとも片手の深度、位置及び方向に対応する仮想３Ｄマップ空間に関連する容積要素の位置が決定されても良い（２３０）。例えば、上述のように、位置属性エンジン１５４は、少なくとも片手の深度、位置及び方向を決定し、仮想要素探知器１５６は、少なくとも片手の深度、位置及び方向に対応する仮想３Ｄマップ空間に関連する容積要素の位置を決定しても良い。
例示的な実施形態によると、時間的連続３Ｄ表現の統合は、決定した位置に基づき、少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄマップ空間の領域に関連する複数の容積要素を活性化することを有しても良い（２３２）。例えば、要素活性化エンジン１５０は、上述のように、仮想要素探知器１５６により決定された位置に基づき、少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄマップ空間の領域に関連する複数の容積要素を活性化しても良い。
例示的な実施形態によると、容積要素は、初期化重み値で非活性状態に初期化され得る容積画像素子（ｖｏｘｅｌ）を有しても良い（２３４）。例えば、初期化エンジン１４８は、上述のように、初期化重み値でｖｏｘｅｌを非活性状態に初期化しても良い。
例示的な実施形態によると、複数の容積要素の活性化は、自由な動き中の時間期間に渡り少なくとも片手の一部が３Ｄ領域を占有していたと示す決定に基づき、ｖｏｘｅｌグループの各活性化でｖｏｘｅｌグループに関連する重み値を増大することに基づき、ｖｏｘｅｌグループを活性化することを有しても良い（２３６）。例えば、要素活性化エンジン１５０は、上述のように、自由な動き中の時間期間に渡り少なくとも片手の位置が３Ｄ領域を占有していたと示す決定に基づき、ｖｏｘｅｌグループの各活性化でｖｏｘｅｌグループに関連する重み値を増大することに基づき、ｖｏｘｅｌグループを活性化しても良い。
例示的な実施形態によると、少なくとも片手の姿勢により示される閉空間が決定されても良い（２３８）。例えば、囲い地検出エンジン１５８は、上述のように、少なくとも片手の姿勢により示される閉空間を決定しても良い。例示的な実施形態によると、閉空間の深度は、閉空間を取り囲む領域の深度の決定に基づき決定されても良い（２４０）。例えば、深度決定エンジン１６０は、上述のように、閉空間を取り囲む領域の深度の決定に基づき閉空間の深度を決定しても良い。
例示的な実施形態によると、閉空間に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域に関連する複数の容積要素は、閉空間を示す姿勢に関連する時間期間中の少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域と関連する複数の容積要素を活性化する代わりに、活性化されても良い。例えば、要素活性化エンジン１５０は、上述のように、閉空間を示す姿勢と関連する時間期間中の少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域に関連する複数の容積要素を活性化する代わりに、閉空間に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域と関連する複数の容積要素を活性化しても良い。
図３Ａ−Ｃは、例示的な実施形態による、図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャート３００である。図３の例では、少なくとも片手の自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づく、動作主の少なくとも片腕の動きと関連する３次元空間画像データが受信されても良い（３０２）。例えば、センサデータ受信エンジン１０４は、上述のように、自然なジェスチャ動作に基づき、動作主の少なくとも片手の自由な動きに基づく動作主１３２の少なくとも片腕の動きに関連する３Ｄ空間的画像データを受信するよう構成され得る画像データ受信エンジン１３０を有しても良い。
それぞれ自由な動き中の連続する時点において少なくとも片手の３Ｄ姿勢及び位置に対応する３Ｄ空間マップデータを有する複数の連続３Ｄ空間表現は、受信した３Ｄ空間画像データに基づき決定されても良い（３０４）。例えば、空間表現エンジン１３６は、受信した３Ｄ空間画像データに基づき、複数の連続３Ｄ空間表現を決定しても良い。複数の連続３Ｄ空間表現のそれぞれは、自由な動き中の連続する時点において少なくとも片手の３Ｄ姿勢及び位置に対応する３Ｄ空間マップデータを有する。
統合３Ｄモデルは、空間オブジェクトプロセッサを介して、決定した連続３Ｄ空間表現に含まれる３Ｄ空間マップデータを追加的に統合し、及び閾時間値を、自由な動き中に複数の３Ｄ空間領域を占有する少なくとも片手により使用される時点の数を示すモデル時間値と比較することに基づき、生成されても良い（３０６）。例えば、統合モデル生成器１４０は、上述のように、空間オブジェクトプロセッサ１４２を介して、決定した連続３Ｄ空間表現１３８に含まれる３Ｄ空間マップデータを追加的に統合し、及び閾時間値１４６を、自由な動き中に複数の３Ｄ空間領域を占有する少なくとも片手により使用される時点の数を示すモデル時間値と比較することに基づき、統合３Ｄモデル１４４を生成しても良い。
例示的な実施形態によると、動作主１３２の片手と関連する容積は、受信した３Ｄ空間画像データに基づき、時間に渡り片手の可視部分を追跡することに基づき、決定されても良い（３０８）。例えば、容積決定エンジン１６２は、上述のように、受信した３Ｄ空間画像データ１１０に基づき、時間に渡り片手の可視部分を追跡することに基づき、動作主１３２の片手と関連する容積を決定しても良い。
例示的な実施形態によると、片手の方位角は、受信した３Ｄ空間画像データに基づき、上から下へ追跡した片手の可視部分の回転に基づき、決定されても良い（３１０）。例えば、位置属性エンジン１５４は、上述のように、受信した３Ｄ空間画像データに基づき、上から下へ追跡した片手の可視部分の回転に基づき、片手の方位角を決定しても良い。
例示的な実施形態によると、片手の回転角及びピッチ角は、追跡した可視部分と関連する深度値の変動に基づき、決定されても良い（３１２）。例えば、位置属性エンジン１５４は、上述のように、追跡した可視部分と関連する深度値の変動に基づき、片手の回転角及びピッチ角を決定しても良い。
例示的な実施形態によると、動作主の片手と関連する容積は、受信した３Ｄ空間画像データに基づき、決定されても良い（３１４）。例えば、容積決定エンジン１６２は、上述のように、受信した３Ｄ空間画像データ１１０に基づき、動作主１３２の片手と関連する容積を決定しても良い。
３Ｄ仮想マップ空間における片手の３Ｄ表現は、決定された容積に基づき決定されても良い（３１６）。また、少なくとも１つの手姿勢は、片手の３Ｄ表現に基づき決定されても良い（３１８）。例えば、空間表現エンジン１３６は、上述のように、決定した容積に基づき、３Ｄ仮想マップ空間内の片手の３Ｄ表現を決定しても良い。例えば、姿勢決定エンジン１６４は、上述のように、片手の３Ｄ表現に基づき、少なくとも１つの手姿勢を決定しても良い。
例示的な実施形態によると、少なくとも片手の少なくとも１つの手姿勢が３Ｄ閉空間を示すか否かが決定されても良い（３２０）。閉３Ｄ空間が示されると決定された場合、統合３Ｄモデルの生成は、閉空間を示す姿勢と関連する連続する時点について、閉空間に対応する深度、位置及び方向を表す統合３Ｄモデルの部分に関連する複数の容積要素を活性化することを有しても良い（３２２）。その他の場合、統合３Ｄモデルの生成は、少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す統合３Ｄモデルの部分に関連する複数の容積要素を活性化することを有しても良い（３２４）。例えば、要素活性化エンジン１４０は、上述のように、閉空間に対応する深度、位置及び方向を表す統合３Ｄモデルの部分と関連する複数の容積要素を活性化し、又は少なくとも片手の深度、位置及び方向に対応する深度、位置及び方向を表す統合３Ｄモデルの部分に関連する複数の容積要素を活性化しても良い。
例示的な実施形態によると、少なくとも１つの手姿勢が平坦な手姿勢、湾曲した手姿勢、拳のように握られた手、又は指を縮めた手姿勢のうちの１又は複数を有すると決定されても良い（３２６）。例えば、姿勢決定エンジン１６４は、上述のように、少なくとも１つの手姿勢が平坦な手姿勢、湾曲した手姿勢、拳のように握られた手、又は指を縮めた手姿勢のうちの１又は複数を有すると決定しても良い。
例示的な実施形態によると、複数のデータベースオブジェクトを有するデータベースであって、各データベースオブジェクトが所定の３Ｄアイテムの外観をシミュレートする所定の３次元（３Ｄ）モデルと関連する、データベースへのアクセスが開始されても良い（３２８）。例えば、データベースアクセスエンジン１７６は、データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃを有するデータベース１７２へのアクセスを開始しても良い。ここで、各データベースオブジェクト１７０ａ、１７０ｂ、１７０ｃは、上述のように所定の３Ｄアイテムの外観をシミュレートする所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと関連付けられる。
統合３Ｄモデルと一致する少なくとも１つのデータベースオブジェクトと関連する少なくとも１つの所定の３Ｄモデルは、空間オブジェクトプロセッサを介して決定されても良い。ここで、自然なジェスチャ動作は、所定の３次元（３Ｄ）アイテムの外観をエミュレートする（３３０）。例えば、照合エンジン１６６は、上述のように、空間オブジェクトプロセッサ１４２を介して、統合３Ｄモデル１４４に一致するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃに関連する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃを決定しても良い。ここで、自然なジェスチャ動作は、所定の３次元（３Ｄ）アイテムの外観をエミュレートしても良い。
例示的な実施形態によると、所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデルが得られても良い（３３２）。また、データベース内に、更新３Ｄモデルと関連する更新データベースオブジェクトの記憶が開始されても良い（３３４）。例えば、更新アイテム入力エンジン１７８は、上述のように、所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデル１８０を得て、データベースアクセスエンジン１７６を介してデータベース１７２に、更新３Ｄモデル１８０と関連する更新データベースオブジェクトの記憶を開始しても良い。
図４は、例示的な実施形態による、図１Ａ−１Ｂのシステムの例示的な動作を説明するフローチャート４００である。図４の例では、所定の３次元（３Ｄ）アイテムの外観をエミュレートする自然なジェスチャ動作に基づき、動作主の自由な動きに基づく動作主の少なくとも１つの自然なジェスチャと関連する３次元（３Ｄ）センサデータが受信されても良い（４０２）。例えば、センサデータ受信エンジン１０４は、上述のように、所定の３次元（３Ｄ）アイテムの外観をエミュレートする自然なジェスチャ動作に基づき、動作主の自由な動きに基づく動作主の少なくとも１つの自然なジェスチャと関連する３Ｄセンサデータ１０６を受信するよう構成されても良い。例えば、センサデータ１０６は、上述のように、画像データ１１０、音声データ１１４又は触覚データ１１８のうちの１又は複数を有しても良い。
統合３Ｄモデルは、自由な動きに従って動作主と関連する少なくとも１つの３Ｄ移動オブジェクトの３Ｄ位置を表す受信した３Ｄセンサデータを統合することに基づき、生成されても良い（４０４）。例えば、統合モデル生成器１４０は、上述のように、空間オブジェクトプロセッサ１４２を介して、自由な動きに従って動作主と関連する少なくとも１つの３Ｄ移動オブジェクトの３Ｄ位置を表す受信した３Ｄセンサデータを統合することに基づき、統合３Ｄモデル１４４を生成するよう構成されても良い。
例えば、動作主は、３Ｄオブジェクト（例えば、本、ラップトップ、携帯電話機）を掴み、該３Ｄオブジェクトを自然なジェスチャ動作で移動させて所望の３Ｄアイテムの形状を示しても良い。別の例として、動作主は、検知装置（例えば、グローブ、ゲームギア）を着用し又は取り付け、検知装置を介して所望の３Ｄアイテムの形状を示すジェスチャを行っても良い。例えば、動作主は、３Ｄアイテムの知覚された形状を想定して動いても良い。
統合３Ｄモデルに一致するデータベースオブジェクトと関連する所定の３Ｄモデルは、空間オブジェクトプロセッサを介して決定されても良い（４０６）。例えば、照合エンジン１６６は、上述のように、空間オブジェクトプロセッサ１４２を介して、統合３Ｄモデル１４４に一致するデータベースオブジェクト１７０ａ、１７０ｂ、１７０ｃに関連する所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃを決定しても良い。
例示的な実施形態によると、受信した３Ｄセンサデータの部分は、閾時間値を自由な動き中の複数の３Ｄ領域内の少なくとも１つの３Ｄ移動オブジェクトにより使用される時間長を示す値と比較することに基づき、統合のために選択されても良い（４０８）。例えば、統合モデル生成器１４０は、上述のように、閾時間値１４６を自由な動き中の複数の３Ｄ領域内の少なくとも１つの３Ｄ移動オブジェクトにより使用される時間長を示す値と比較することに基づき、統合のために受信した３Ｄセンサデータの部分を選択するよう構成されても良い。
図５Ａ−Ｅは、例示的な実施形態による、例示的なジェスチャの動き及びジェスチャの動きに関連する例示的なモデルを示す。図５Ａに示すように、動作主５０２は、３Ｄオブジェクト５０４を心の中で想像しても良い。例えば、３Ｄオブジェクトは、座部５０６と傾斜した脚５０８を有する３本脚の丸椅子を有しても良い。動作主５０２は、例えば、３Ｄオブジェクト５０４に関連する高さ、幅及び／又は奥行きを示すために、彼／彼女の手を平坦にして位置５１０に移動して両手の間隔を空けて示すことにより、３Ｄオブジェクト５０４の寸法を示しても良い。図５Ａに示すように、動作主５０２は、検知装置５１２（例えば、オーバヘッド深度カメラ）の範囲内で３Ｄオブジェクト５０４の説明を空間的に説明し又はパントマイムするために自然なジェスチャを用いても良い。
図５Ｂに示すように、動作主５０２は、丸椅子（例えば３Ｄオブジェクト５０４）の座部５０６の動作主の心像を視覚化するために、彼／彼女の手を平坦にし、回転動作５１４で動かしても良い。図５Ｃに示すように、動作主５０２は、丸椅子（例えば３Ｄオブジェクト５０４）の傾斜した脚５０８の動作主の心像を視覚化するために、拳を作り、彼／彼女の手を傾斜した縦方向の動き５１６で動かしても良い。
例示的な実施形態によると、図１の例示的なシステムは、動作主の動作を追跡するときに、検知装置５１２により得られた画像データを受信しても良い。次に、システム１００は、動作主５０２の手の位置５１０、回転動作５１４及び傾斜した縦方向の動き５１６を追跡した結果生じた画像データに少なくとも基づき、図５Ｄに示すように３Ｄモデル５１８を生成しても良い。
例示的な実施形態によると、システム１００は、上述のように、生成された３Ｄモデル５１８に最も密接に一致する所定の３Ｄオブジェクトを決定しても良い。例えば、生成された３Ｄモデル５１８は、図５Ｅに示すように生成された３Ｄモデル５２０に重ねられた３Ｄモデル５２２により示すように、３本脚の丸椅子と関連する所定の３Ｄモデルと照合されても良い。
例示的な実施形態によると、「データマイム」技術は、図５Ａ−５Ｅに示すように、説明されるオブジェクトを推測するために、オブジェクトを説明するときの人間のジェスチャの観察及び理解、空間的基準の人間の感覚の活用、並びに手の形状と動きの豊かさの使用に基づいても良い。人間の観察者に話すときにジェスチャを用いるのと同様に、データマイム又はジェスチャの使用は素直に観察されるので、ジェスチャ中に僅かな若しくは如何なるフィードバックも提供しない。したがって、例示的な動作主は、説明するオブジェクトの心像（例えば、３Ｄオブジェクト５０４）から単に作業でき、彼／彼女のジェスチャは、心像の仮想表現（例えば、３Ｄモデル５１８）を自動的に生成するために用いることができる。
仮想表現は、説明するオブジェクト（例えば「丸椅子」）を分類するために、及びそのオブジェクトをその分類中の他のインスタンスから区別するために、オブジェクトの細目を抽出するために用いられても良い。例えば、動作主１３２は、椅子を説明し、３本脚を有し中心から傾斜した２フィートの高さの特定の既存の椅子（例えば、図５Ａ−Ｅに関して上述したような説明された丸椅子）を更に説明しても良い。更なる詳細がなければ、特定の椅子の参照は不明確になり得る。
したがって、データマイム又はジェスチャの使用は、動作主１３２がどのように動作するかを素直に観察し、動作主１３２がジェスチャしているときにフィードバックを提供しない。したがって、動作主１３２は、彼／彼女のジェスチャ動作を決定するために、３Ｄオブジェクトの彼／彼女の概念モデルから単に作業できる。ジェスチャ中に僅かな又は如何なるフィードバックも提供しないので、データマイム又はジェスチャは、動作主１３２がジェスチャを実行しているときに基準枠を維持していると想定できる。例示的な実施形態によると、動作主の体は、空間的基準となっても良い。例えば、動作主１３２は、両手を一緒に使うとき、視覚的フィードバックに頼らない。例えば、人間は、両手の空間内での関係を知る能力を更に有し、短時間に渡り彼らの体外に空間的アンカーを維持し得る（例えば、空間的関係を維持する短期間視覚的記憶）。
話し手は、歴史を通して会話中にジェスチャを用いてきた。例えば、話し手は、強調のために用いられる拍子のジェスチャ、オブジェクトを示す（指し示す）ための直示ジェスチャ、抽象的な意味を伝えるための比喩的ジェスチャ、象徴的ジェスチャを用い得る。象徴的ジェスチャは、具体的なオブジェクト又はイベントを表現し、会話内容に対する密接な形式的関係を生み出し、オブジェクトの形状又は形態を説明する目的で用いられ得る。他の例として、象徴は、慣習によってのみ意味を伝達するサインを含み得る（例えば、「ＯＫ」サイン）。
パントマイムジェスチャは、オブジェクト又は動作を示す点で象徴的ジェスチャと似ているが、会話を含まない（また、演劇のマイムで用いられるジェスチャとは区別される）。さらに、手話は、話し言葉を置き換えるために用いられるので、会話を最小限に補完し得る。
例示的な実施形態によると、データマイム又はジェスチャは、オブジェクトの格納された所定の３Ｄモデルに対する照合を実行するときに用いられても良い。これらのモデルは慣習に基づかず、むしろ現実世界の物理的オブジェクトの実際の形状に基づくので、データマイムジェスチャは、象徴的ジェスチャ又はパントマイムジェスチャを含み、通常は象徴を有しないことが理解される。例えば、会話により分類を指定するとき（例えば、「椅子」）、ジェスチャ及び会話は、それら相互の依存性が自然な象徴的ジェスチャの典型的な複雑さを有しないので、補足的技術で用いられる。例示的な実施形態によると、ここで議論される幾つかの例示的なジェスチャは、「パントマイム」又は「マイム」ジェスチャと称される。
例示的な研究では、人間は、オブジェクトを説明する可能性のあるジェスチャ技術を決定するために観察されてきた。例えば、動作主１３２は、オブジェクトを見つめ、次に記憶からオブジェクトの説明をジェスチャしても良い。例えば、動作主１３２は、彼らの手のみを用いてオブジェクトを説明し、彼らがオブジェクトの説明を補強するために会話又は体位を使用しなくても良い。例えば、動作主１３２は、彼らがオブジェクトを説明する間にフィードバックを受けなくても良い。例えば、動作主１３２は、彼らの腕を下げることにより、オブジェクトの説明を完成しても良い。例えば、動作主１３２は、オブジェクトを説明するためにどのジェスチャを用いるかに関する指示を受けなくても良い。例えば、動作主１３２は、ボックス形状、円錐形状及び角錐形状のような原始的形状、並びにより複雑な形状を空間的に説明するよう頼まれても良い。例えば、このような研究の結果は、複雑なオブジェクトを空間的に説明するときに動作主１３２が有する特徴を決定することを含み得る。
図６は、ビデオカメラの近傍でジェスチャを行う例示的な動作主を示す。図６の例示的なシナリオに示すように、オーバヘッドビデオカメラ６０２は、床から８フィートの天井に取り付けられても良い。したがって、例示的なビデオカメラ６０２は、５フィート幅、３フィート高、５フィート奥行のトップダウン容積をキャプチャできる。図６に示すように、動作主６０４（例えば動作主１３２）は、ビデオカメラ６０２（例えば、画像データ入力装置１１２）の範囲内でオブジェクトを空間的に説明しても良い。図６に示すように、動作主６０４は、上述のように、動作主の手６０６を介してジェスチャを提供しても良い。
図７は、例示的な３次元（３Ｄ）アイテムを示す。例えば、３Ｄアイテムは、低い３本脚の丸椅子７０２及び高い３本脚の丸椅子７０４を有しても良い。３Ｄアイテムは、Ｓ形の椅子７０６、１本脚の椅子７０８、４本脚の椅子７１０を更に有しても良い。３Ｄアイテムは、車付き事務椅子７１２、モニタ７１４、パーソナルコンピュータ（ＰＣ）７１６、コーン７１８、踏み台７２０、テーブル７２２を更に有しても良い。このような３Ｄアイテムは、人間の動作主（例えば、動作主１３２）により空間的に説明されても良い。
図８Ａ−Ｃは、例示的な動作主の例示的なジェスチャを示す。例示的に研究された人間のグループの観察によると、ジェスチャ又はマイムしている動作主５０２は、オブジェクトの部分の相対的比率を自然に維持するとともに、オブジェクト間の相対的スケールを維持し得る。例えば、動作主５０２は、大きなテーブルを説明するために彼らの腕の長さの大きな部分を自然に用い、一方で必要に応じて椅子を小さく説明し得る。例えば、動作主５０２は、各方向に腕の長さによりカバーされる領域に対して大きさを適応させるために、自然とオブジェクトを不均一にスケーリングし得る。したがって、人間の身体の特性により、オブジェクトは、高さ８０４よりも幅広く８０２、奥行き８０６よりも高く説明され得る。
例えば、動作主５０２は、オブジェクトを説明するために自然にトップダウンアプローチを用い、より大きく、より明らかな面の後に、彼らはオブジェクトのより小さな部分を説明し得る。例えば、動作主５０２は、面（例えば、ＰＣ７１６の平面、モニタ７１４、テーブル７２２、及び踏み台７２０のフレーム、椅子の座部及び背もたれのような湾曲した表面）と、支柱及び連結部のようなより小さい部品とを区別し得る。
例えば、動作主５０２は、オブジェクト（例えば、ＰＣ７１６、モニタ７１４）の対照的要素を定めるために、自然に両手を並行な姿勢に互いに向かい合わせて用い得る。これらの対照的部分は、オブジェクト全体の寸法を表現しないが、特定の部分を指定し得る。例えば、動作主５０２は、椅子７１０の脚又は踏み台７２０のフレームのような小さな部分を説明するために、自然に、同時に対照的な手の動きを用い得る。
例えば、オブジェクトの形状がボックスの形状と類似しているとき、動作主５０２は、オブジェクト（例えば、ＰＣ７１６、モニタ７１４）の部分の寸法を定めても良い。例えば、動作主５０２は、自然に同時に両手を平坦な姿勢で、オブジェクトの境界寸法に沿って前後に動かし得る。例えば、動作主５０２は、これらの境界を定めるために、自然に両手を平坦な位置に保持し得る。例えば、動作主５０２は、自然に、オブジェクト（例えば、ＰＣ７１６）のワイヤフレームをボックス形状に描き得る。
図９は、動作主の例示的な手姿勢を示す。例えば、動作主５０２は、自然に、彼らの手を用いて大きな表面を「辿り」、つまり、彼らの手でそれら（例えば、テーブル７２２、天板、椅子の座部、コーン７１８）を拭くように、彼らの平坦な手をそれらの表面に沿って動かし得る。例えば、動作主５０２は、自然に、平手姿勢９０２により示すように、表面境界内の領域をそれを「満たす」ように拭いても良い。図９に示すように、湾曲した手姿勢９０４は、自然に、湾曲した表面を説明するために用いられても良い。一方で、握った手姿勢９０６及び９０８は、自然に、支柱及び脚を説明するために用いられても良い。弛緩した手姿勢９１０及び９１２は、自然に、表面を辿らないときに用いられても良い。
例えば、動作主５０２は、自然に、彼らの平手（例えば、手姿勢９０２）で中程度の表面の外形を指定し、それ（例えば、モニタ、事務椅子の背もたれ）を「満たす」ために彼らの手で閉領域を拭き得る。例えば、動作主５０２は、それら中程度の表面を彼らの平手（例えば、手姿勢９０２）の単なるストロークに自然に抽象化し得る。彼らはこれを繰り返し示しても良い（例えば、椅子のために）。例えば、動作主５０２は、彼らの手を表面の位置（例えば、モニタ、座部）で繰り返し粗くうねらせることだけで、表面を自然に説明しても良い。例えば、動作主５０２は、自然に彼らの手を用いて、オブジェクトのより小さな部品（例えば、踏み台のステップ、踏み台の外枠）を「辿って」も良い。
例えば、形状を変えるために、動作主５０２は、湾曲した表面に合うように彼らの手の形状を自然と適合させ、その表面を繰り返し上下に「拭いて」も良い。動作主５０２は、両手の親指と人差し指で閉じた円を形成し（例えば、上述のように閉空間を形成し）、彼らの手を下に動かし、それによりそれらを離して進め、指を元の形状に維持させても良い（例えば、手姿勢９０４）。
例えば、動作主５０２は、小さな部品に関する対称性を説明するために、両手を対照的に同時に自然に動かしても良い。棒、支柱及び脚に関して、動作主５０２は、自然に拳を形成し（例えば、手姿勢９０６）、拳を棒に沿って動かして、真っ直ぐな棒（例えば、テーブルの脚、三脚、椅子、事務椅子のポール）を表現しても良い。例えば、動作主５０２は、自然に彼らの親指と人差し指を摘み、それらを棒に沿って動かしても良い（例えば、手姿勢９０８）。
より大きな支柱では、例示的な動作主５０２は、彼らの手を近い距離に持って行き、それらを並行に保ち、又は指と両手の平を繋げて両手の間の空間を閉じ、部品（例えば、椅子のポール及び脚、モニタスタンド）の形状を辿るよう両手を動かしても良い。例えば、動作主５０２は、自然に、椅子の複雑な足のような複雑な形状を無視し、又はそれらを単一の原始的形状に抽象化しても良い。
通常、例示的な動作主５０２は、オブジェクトを空間的に上から下へ説明し始め得る。彼らは、オブジェクトの形態を抽象化し、先ず大きな部品及び面を指定し、最後に幾つかの特徴を説明するが、小さな部品は説明しない。例えば、動作主５０２は、自然に事務椅子の肘掛け、ポール及び足を示すが、肘掛けの支持材又は背もたれを座部に接続する棒の説明を無視し得る。同様に、例示的な動作主５０２は、踏み台の全てのステップを示し、次にその外枠を強調すことにより踏み台を説明し得る。
例えば、動作主５０２は、自然に、オブジェクトの機能を最も明確に表す部分（例えば、椅子の背もたれ及び座部、踏み台のステップ、天板）を先ず説明し得る。次に、彼らは、自然に、オブジェクトを一緒に保つ部分を説明し得る。例えば、動作主５０２は、可能なときは対照的外観を用い得る。彼らは、形状を説明するために、同じ内容のジェスチャで両手を用い得る。同様に、彼らは、平面の制約を定め又は境界ボックスを「描く」ことにより、寸法を指定するために両手を用い得る。中程度及び小さな大きさの表面の実際の寸法は、彼らの空間的説明において動作主５０２にとって重要とは考えられず、したがって彼らの自然なジェスチャにおいては無視され得る。
例えば、動作主５０２は、望ましいと思われる場合には、自然に、彼らの手の形状を説明するオブジェクト又は部品の形状に適合させ、伸ばし（例えば、平面を説明するために、手姿勢９０２）又は丸めて指を一緒にし得る（例えば、丸い表面に対して手姿勢９０４）。これに対し、動作主５０２は、彼らの手を弛緩させ、彼らの手をオブジェクトの次の部分に動かすとき、手を自然な姿勢にする（例えば、手姿勢９１０、９１２）。
棒及びスタンドのようなオブジェクトのより小さな部品については、例示的な動作主５０２は、丸棒及び角棒を示すために、拳を作り（例えば、手姿勢９０６）又は彼らの親指と人差し指を摘み（例えば、手姿勢９０８）、その形状に沿って手を動かしても良い。それにより、彼らは、そのような棒の形状を示すために手の動きを用いて、それらの棒の実際の直径を無視しても良い。
例示的な動作主５０２は、手の向き及び回転を変化する間、垂直姿勢により並行部分を示すときのみ（例えば、図８Ｃに示すように）、手のピッチの角度範囲が限られているので、手のピッチを変化させても良い。しかしながら、手が垂直のとき、肘の移動はこの範囲を広げ得る。これに対し、手の回転及び向きはより大きな範囲をカバーでき、肘の動きは手の向きの範囲を支援できる。
上述の活動を示すために手を延ばすのに加えて、例示的な動作主５０２は、意図的にオブジェクトの部分をもっとゆっくりと説明し、別の部分に移るときに手をもっと速く動かしても良い。より小さな表面では、彼らは短時間の間、１つの位置に留まっても良い。より大きな表面では、例示的な動作主５０２は、表面を繰り返し説明し、別の部分に彼らの手を動かすときよりもっと注意深く表面を説明しても良い。
２つの部品が近くに配置されるとき、例示的な動作主５０２は、部品間に留まらず、代わりに手を動かす間、手を複合部分として扱い手の方向を変化させても良い（例えば、椅子の背もたれ及び座部）。複合部分は、ジェスチャを通して繰り返し示されても良い。
上述の観察は、例えば観察されたジェスチャを、それらのジェスチャが生じるとき、動作主の心像を再現使用とする仮想表現の特徴に変換するための基礎を提供し得る。特に、ここで議論されるような例示的な技術は、認識すると自身をオブジェクトの特定部分として表す所定のジェスチャに依存しない。例示的な実施形態によると、動作主の手は、ジェスチャを表現するとき、基本焦点を提供しても良い。例示的な実施形態によると、動作主の腕及び体の位置及び姿勢は無視され、関心は動作主の手に完全に向けられても良い。
例えば、動作主５０２は、オブジェクトの表面及び構造的要素を自然に辿り、それにより彼らの空間的記憶に基づきオブジェクトを再生成し、動作主の説明の仮称表現が時間の経過と共に構築される得ることを示唆しても良い。例示的な実施形態によると、動作主５０２が説明により多くの時間をかけた部分は、彼／彼女が簡単にのみ取り上げた部分よりもより強く重み付けされても良い。
例示的な動作主５０２は彼らの手を個々の領域内でうねらせることにより、異なる大きさの表面を説明し得るので、動作主の手は、仮想表現の中でトレースを生成し得る。ジェスチャの実際の経路はオブジェクトに関して少ない情報しか提供しないので、動作主の手の位置及び方向は、動作を正確に変換するための焦点として用いられても良い。ジェスチャの時間的検知と連携して、動作主５０２は繰り返し又はよりゆっくりとオブジェクトの特定部分を取り上げるので、このようなトレースは仮想表現により多くの意味を追加し得る。
例示的な実施形態によると、焦点は、動作主の手以外の他のエンティティに向けられても良い。例えば、動作主は、３Ｄアイテムの知覚された形状を想定しても良い。例示的な実施形態によると、３Ｄアイテムの説明は、例えば３Ｄアイテムの知覚された形状を想定している動作主により費やされた時間長に基づき、推定されても良い。
例示的な実施形態によると、動作主は、動作主に関連する３Ｄ移動オブジェクトを介して３Ｄアイテムを空間的に説明しても良い。例えば、動作主は、３Ｄオブジェクト（例えば、本、ラップトップ、携帯電話機）を掴み、該３Ｄオブジェクトを自然なジェスチャ動作で移動させて所望の３Ｄアイテムの形状を示しても良い。別の例として、動作主は、検知装置（例えば、グローブ、ゲームギア）を着用し又は取り付け、所望の３Ｄアイテムの形状を示すジェスチャを行っても良い。
図１０Ａ−１０Ｂは、動作主の例示的な手姿勢を示す。図１０Ａに示すように、伸びた手姿勢１００２は、形状（例えば、平面）を示し得る。伸びた手及び指の姿勢１００４は、形状を示す意図を示し得る。湾曲した手及び指の姿勢１００４は、この動きが意味があることを示唆し得る。弛緩した姿勢１００８は、変わり目であることを示し得る（例えば、手姿勢９１０、９１２に関して議論したのと同様に）。
例示的な実施形態によると、例示的な技術は、動作主のジェスチャの重要な部分のみを認識し変換し、一方でオブジェクトの次の部分に手を遷移するためにのみ供される動作を無視しても良い。例えば、例示的な動作主５０２は、彼／彼女の筋肉を一時的に弛緩させ、同時に手をオブジェクトの別の部分へ移動させても良い。一方で、彼／彼女は、彼／彼女の指を揃え又は伸ばし、又は手の筋肉を弛緩させて、重要な手姿勢を示しても良い。この差異を捕らえることが望ましい。しかしながら、指の姿勢及び湾曲の変化は、図１０Ａ―１０Ｂに示すように、かなり微妙である。カメラで筋肉弛緩を検知するという潜在的関心を検討すると、例示的なデータマイム又はジェスチャ技術は、指の湾曲の解釈をしなくても良い。各時点について、動作主の手は、位置及び方向が現実世界の動作主の手の位置及び方向に対応する足跡を仮想表現（例えば、空間表現１３８及び／又は統合モデル１４４）に残しても良い。言い換えると、各時点における手の方向及び姿勢は、仮想表現に加えられる部品の容積を決定し得る（つまり、平坦な傾斜した手は、仮想表現に平坦な傾斜した小さな影響を与える）。例示的な実施形態によると、これらの概念は、ここに議論するように、動作主の手以外の３Ｄオブジェクトに拡張できる。
例示的な実施形態によると、動作主の手の容積を複製し、それらを仮想空間で表現することにより、ここで議論する例示的な技術は、平坦な手姿勢及び湾曲した手姿勢を検知し（例えば、平坦な表面、球面）、動作主５０２が拳を形成し又は彼らの指を摘むときより小さな要素を説明し得る（例えば、椅子の脚）。さらに、両手は別々に考慮され得る。
例示的な実施形態によると、データマイム技術又はここで議論するジェスチャ技術は、ｌｘｍｘｎ ｖｏｘｅｌを具現化する不連続な３Ｄ容積内で動作主の説明の仮想表現を生成しても良い（例えば、生成された統合モデル１４４）。したがって、このｖｏｘｅｌ空間は、オブジェクト説明子システムの仮想表現「記憶」を表し得る。各ｖｏｘｅｌは、活性又は非活性状態であっても良い。例示的な実施形態によると、シーンは、非活性ｖｏｘｅｌのみで開始され、動作主のジェスチャを観察する過程に渡り、ｖｏｘｅｌは必要に応じて活性化されても良い。例示的な実施形態によると、各ｖｏｘｅｌは、上述のように動作主がｖｏｘｅｌを繰り返し活性化すると増大され得る特定の重みと関連付けられても良い。したがって、特定の重みより上のｖｏｘｅｌセットは動作主の説明の重要な部分を表すと解釈され、残りは無視されるので、オブジェクトの最重要部分を動作主がどれだけゆっくり又は繰り返しトレースするかを捕らえることが可能である。
例示的な実施形態によると、ここで議論する例示的な３Ｄシーン技術は、ワールドアンカー（world-anchored）であっても良い。したがって、シーンの場所及び方向は、動作主の位置又は方向に適合されなくても良い。したがって、シーンの中心は動作主５０２の前にあっても良く（つまり、ワ―ルドアンカー）、３Ｄオブジェクトの説明はほんの数秒で完了するので、動作主５０１はこの空間アンカーを維持できても良い。
例示的な実施形態によると、動作主の説明するオブジェクトの同一性は、ｖｏｘｅｌ表現中の候補オブジェクトを照合する例示的なデータベースに基づき決定されても良い（例えば、データベース１７２）。例示的な実施形態によると、ここで議論するデータマイム技術又はジェスチャ技術は、データベースから最も密接に一致するオブジェクトを選択しても良い。ここで議論するように、各候補オブジェクトについて、生成した３Ｄモデル（例えば、統合モデル１４４）は、比較及び類似性の測定のために所定のデータベースモデル（例えば、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃ）に揃えられても良い。さらに、動作主の生成からのスケーリング及び回転の差分が得られても良い。
オブジェクトは、実質的に特徴的な部品に基づき組み立てられるので、動作主５０２は、このような特徴的部品を別個に説明しても良い。人間は、通常、彼らの聴衆について潜在的な推測を行うので、彼らは、構造にとって暗黙的に基本的に見えない重要性の低い部分（例えば、椅子の背もたれ及び座部のような表面間の連結部品）、又はオブジェクトを識別するのに更なる支援を提供しない特徴を説明しない。
例示的な実施形態によると、このような動作主の部分についての断片的モデル化は、動作主にオブジェクトの任意の部分を省略させ、検討中のオブジェクトの分類をある程度熟知しその分類内の形状のばらつきを与えた場合、動作主が自然に十分な詳細事項を指定すると信頼することにより、照合処理で反映されても良い。
さらに、例示的な実施形態によると、例示的なデータマイム又はジェスチャ技術は、検討中のオブジェクトの分類を絞り込むために、会話認識を組み込んでも良い。例えば、動作主５０２は、「椅子」と言い、次に椅子の形状の識別可能な特徴（又は特徴セット）を示すためにジェスチャすることにより特定の椅子を指定しても良い。
例示的な実施形態によると、ここで議論する例示的なシステム１００は、エンドユーザシステムに実装され、動作主１３２に取り付けられ得る単一深度検知カメラ（例えば、画像データ入力装置１１２）を有しても良い。
例えば、MICROSOFT KINECTカメラは、３０Ｈｚ及び解像度６４０ｘ４８０で深度画像を提供できる。例えば、カメラは７０°の対角視野を有してもよい。
例示的な実施形態によると、例示的なシステム１００は、１５ｍｓより短い各カメラフレームを処理し、したがって動作主のジェスチャの実時間処理及びｖｏｘｅｌ表現への変換を提供しても良い。
図１１Ａ−Ｄは、図１の例示的なシステムによる例示的な画像データ処理のグラフィカルな図を示す。例示的な実施形態によると、ここで議論する例示的な技術は、後述のように生画像１１００ａを処理しても良い。図１１Ａに示すように、カメラ１１０２、椅子１１０４及びテーブル１１０６は、動作主（例えば動作主１３２）の腕１１０８、１１１０及び手１１１２、１１１４に沿って生画像１１００ａ内に現れても良い。
例示的な実施形態によると、入力画像１１００ａ内の各画像素子（ピクセル）は、ワールド座標に変換されても良い。図１１Ｂに示すように、次に、３フィート幅ｘ２フィート高ｘ２．５フィート奥行きの容積の外側の座標（つまりピクセル）は切り落とされ、したがって、床、壁及び可能な他のオブジェクトを深度画像１１００ｂから除去する（例えば、図１１Ａの椅子１１０４及びテーブル１１０６）。
例示的な実施形態によると、画像１１００ｂ内の腕１１０８、１１１０が識別され、重なり合っている腕を説明するために、徐々に変化する深度値のみにより隣接する領域間を区別しても良い。また、図１１Ｃに示すように、動作主の手１１１２、１１１４は、腕１１０８、１１１０を除去することにより抽出できる。
動作主の腕１１０８、１１１０が外側から入ってきて容積内に到達するという仮定に基づき、例示的な技術は、曲げた肘及び手首を説明するために、各手１１１２、１１１４の最遠点を決定し、腕１１０８、１１１０の形状範囲内の経路長として距離を測定する（つまり、この例ではユークリッド距離ではない）。例示的な実施形態によると、動作主の手１１１２、１１１４を抽出するために、（カメラまでの距離に依存して）一定の手の長さが用いられても良い。例示的な実施形態によると、動作主の特定の手のサイズに対して較正が適用されても良い。
例示的な実施形態によると、両手１１１２、１１１４の方向及び容積は、時間に渡り、各手１１１２、１１１４の可視領域を追跡することにより計算されても良い。例示的な実施形態によると、各手１１１２、１１１４の回転及びピッチ角は、可視領域に渡る深度値の変化から計算されても良い。例示的な実施形態によると、垂直的な手の回転のように（例えば、親指と人差し指のみが包括的に見える）、可視領域が小さすぎる場合、例示的な技術は、手１１１２、１１１４のどれ位が閉塞されるかを事前観察に基づき推定し、相応して手の方向を決定しても良い。
例示的な実施形態によると、各手１１１２、１１１４の方位角の計算は、カメラが動作主の頭上に取り付けられることを直接考慮しても良い。例示的な実施形態によると、時間に渡る観察から、３Ｄ空間内の各手姿勢は、ｚ軸（つまり、カメラ１１０２の視線軸）上の正確な範囲と共に再構成されても良い。
例示的な実施形態によると、手１１１２、１１１４の方向を計算した後、次に、例示的な技術は、各手１１１２、１１１４の位置及び方向をｖｏｘｅｌ空間内のｖｏｘｅｌの位置に直接変換しても良い。例示的な実施形態によると、これは、上述のように、動作主の手１１１２、１１１４と同じ深度、位置及び方向を有する領域内の全てのｖｏｘｅｌを活性化することを含み得る。
例示的な実施形態によると、例示的な技術は、彼／彼女の指及び親指を一緒に摘み又は両手を一緒に動かすことによりより精細な部品を生成しようとする動作主の意図を検出しても良い。図１１Ｄに示すように、（例えば、囲い地検出エンジン１５８を介して）閉領域１１１６等が検出されると直ぐに、（手１１１４とは対照的に）この領域は処理されても良い。例示的な実施形態によると、領域１１１６の深度値は、周囲領域（つまり、手１１１４）からサンプリングされても良い。したがって、ｖｏｘｅｌは、それらが閉領域１１１６と位置を共有する場合、活性化されても良い。例示的な実施形態によると、手１１１４の実際の形状は、それが領域（例えば、領域１１１６）を囲む場合、棄却されても良い。したがって、動作主１３２は、テーブルの足又は三脚の支柱のような、より薄い要素を示すことができる。動作主１３２が両手の親指と人差し指を繋げることにより、より大きな領域を囲む場合、同様の技術が適用できる。
例示的な実施形態によると、ｖｏｘｅｌ空間は、正数の３次元配列として実施されても良く、したがって３Ｄヒストグラムを表す。例示的な実施形態によると、各ｖｏｘｅｌは、一定の幅、高さ、及び奥行きを有しても良い（例えば、１０ｍｍ）。例示的な実施形態によると、ｖｏｘｅｌ空間の中心は、動作主１３２の前に、だいたい胴の高さに直接置かれても良い（例えば、図１１Ａに示すように）。
例示的な実施形態によると、ｖｏｘｅｌの活性化はヒストグラム中の度数を増大するので、動作主１３２が繰り返しよりゆっくりと通過するｖｏｘｅｌ（つまり、オブジェクト説明の重要な部分）は、動作主１３２が次の重要な場所に腕１１０８、１１１０を動かすときに通過するｖｏｘｅｌよりも多い数を累積し得る。例示的な実施形態によると、空間内の全てのｖｏｘｅｌに渡る単純な閾は、オブジェクト説明の重要な及び関連する部分を残し得る。例えば、統合モデル生成器１４０は、上述のように、決定した連続３Ｄ空間表現１３８に含まれる３Ｄ空間マップデータを追加的に統合し、及び閾時間値１４６を、自由な動き中に複数の３Ｄ空間領域を占有する少なくとも片手により使用される時点の数を示すモデル時間値と比較することに基づき、統合３Ｄモデル１４４を生成しても良い。
例示的な実施形態によると、例示的な反復整合技術は、例示的な反復最近点（iterative closest point：ＩＣＰ）アルゴリズムを用いて、２つのモデル（例えば、生成された統合モデル１４４と、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つ）を登録しても良い。例えば、ＩＣＰアルゴリズムは、（例えば、少なくとも選択された部品に一致するようスケーリング、平行移動及び回転することにより）両方のモデルが予め揃えられた後に、開始されても良い。例示的な実施形態によると、予備アルゴリズムは、両モデルのスケーリングを均一に更に適応しても良い。例えば、反復整合エンジン１８８は、上述のように、反復最近点アルゴリズムに基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４と第２の整合１９０を生成しても良い。
例示的な実施形態によると、ＩＣＰアルゴリズムは、一方のモデル内の点を他方のモデル内の最近点に繰り返し一致させることに基づいても良い。例えば、距離分布に基づく統計的技術は、外れ値、閉塞、出現及び消滅を処理するために用いられても良く、サブセット間照合に関連する例示的な技術を提供する。例示的な最小二乗技術は、点対応から３Ｄの動きを推定するために用いられても良い。これは、２つのモデルの点間の平均距離を短縮し得る。
代替で、例示的な強力な技術は、４レベルの、ｚ軸（垂直方向）周りの４分の１回転、及び１６ｃｍｘ１６ｃｍｘ１６ｃｍの範囲内の平行移動の組合せをテストしても良い。例示的な実施形態によると、動作主１３２は、オブジェクトの方向をｘ及びｙ軸（水平方向）周りに維持し、彼らはオブジェクトを空間的に説明する間にオブジェクトを彼らに向けて「方向転換」し得るので（つまり、彼らはｚ軸周りに回転し得る）、ｘ及びｙ軸周りの回転は無視されても良い。この例示的な技術では、ｚ回転の数は、オブジェクトの垂直方向の面の数（例えば、４面）に対応しても良い。この例示的な技術は、両方のモデルを予め揃え、それらのスケーリングを均一に適応しても良い。例えば、上述のように、強力整合エンジン１９２は、第１の整合１８６に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つ及び統合３Ｄモデル１４４のスケーリング、回転及び平行移動のうちの複数を有する強力な整合に基づき、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃのうちの１つと統合３Ｄモデル１４４との第２の整合１９０を生成しても良い。
例示的な実施形態によると、例示的なＩＣＰ技術は、コンピュータ的に高価であり、２つのモデルを比較するのに約８秒の時間がかかり得る。例示的な強力な技術は、離散ｖｏｘｅｌ空間内で動作する（つまり、ｖｏｘｅｌの検索は比較的速い動作を有する）ので、比較のために１秒未満しかかからない。しかしながら、例示的なＩＣＰ技術は、１又は複数の密接な一致を決定するためにオブジェクトを３軸全ての周りに回転し得る点で、より多くの柔軟性を提供し得る。
ｖｏｘｅｌ空間で表現されたオブジェクトを照合する少なくとも２つの異なる技術がここで議論されたが、データ処理の当業者は、本願明細書の議論の精神から逸脱することなく、生成された統合モデル１４４を１又は複数の所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと照合するために用いられ得る利用可能な多くの他の照合技術が存在することを理解する。
図１２は、生成された３Ｄモデルを所定の３Ｄモデルと照合した、例示的な重ね合わせの結果を示す。図１２に示すように、生成された３Ｄモデル１２０２は、ここで議論された例示的な照合技術に基づき、所定のモデル１２０４と照合される。例えば、動作主１３２は、（椅子７０８と類似する）円盤形の足を有する椅子を描き、例示的な画像データ入力装置１１２（例えば、深度カメラ）の範囲内で（例えばデータマイムジェスチャを介して）その椅子の特徴を空間的に説明しても良い。例示的な空間オブジェクト管理エンジン１０２は、画像データ入力装置１１２から空間画像データ１１０を受信しても良い。そして、統合モデル生成器１４０は、統合モデル１４４（例えば、生成されたモデル１２０２）を生成しても良い。次に、照合エンジン１６６は、上述のように、統合モデル１４４を所定の３Ｄモデル１６８のうちの１つと照合し、選択されたモデル１９４（例えば、所定のモデル１２０４）を選択しても良い。
例示的な実施形態によると、例示的なシステム１００は、MICROSOFT KINECTカメラのような深度カメラを介して動作主１３２との相互作用を捕らえることにより実装されても良い。 例示的な実施形態によると、動作主１３２のジェスチャのビデオは、３０Ｈｚの深度情報を有する６４０ｘ４８０の解像度で記録されても良い。例えば、空間オブジェクト管理エンジン１０２は、INTEL CORE２ Duo ２.１３GHzプロセッサ及び６ＧＨランダムアクセスメモリ（ＲＡＭ）を備えたWINDOWS（登録商標） ７ Ultimateを実行するコンピューティング装置を介して実装されても良い。
例示的な実施形態によると、例示的な照合技術は、近接３点（closest-three）技術を用いても良い。システム１００が３つの最も密接に一致するオブジェクト１７０ａ、１７０ｂ、１７０ｃをデータベース１７２から提供すると直ぐに、動作主１３２は、ジェスチャを介してオブジェクトを空間的に説明しても良い。次に、動作主１３２又はユーザ１２４は、３つの選択肢のうちの１つを選択し、オブジェクトが一意に定まらないことが明らかなとき、もう一度やり直し又はジェスチャを介してより詳細を提供し続けることを選択しても良い。例示的な実施形態によると、最も密接な３つの結果は、相互作用（例えば、会話）の状況をモデル化できるより大きなシステムにより使用されても良い。この付加情報は、動作主の入力の曖昧性の除去を提供し得る（逆に言えば、ジェスチャは、会話のような相互作用の他の特徴の曖昧性を除去し得る）。
ここで議論する例示的な技術は、データベースに格納された具体的な３Ｄモデル（例えば、データベース１７２に格納された所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃ）を有し得る。これらのモデルは、人間のジェスチャの特性により情報提供されない直接的な形状照合アプローチを用いて、同様に表現された入力（例えば、生成された統合モデル１４４）に対して照合されても良い。したがって、データベース１７２へのオブジェクト（例えば、更新モデル１８０）の追加は、オブジェクトの３Ｄモデルのみを得ることを含む。
例示的な実施形態によると、動作主１３２の手以外のアイテムは、生成された統合モデル１４４を得るために、オブジェクトを空間的に説明するために用いられても良い。例えば、ロボット工学の用途では、エンドエフェクタは、環境と相互作用するよう設計された、ロボットの腕の端にある装置を有しても良い。したがって、例えば、（例えば、ロボットの腕の代わりに、人間の手の環境の文脈では）エンドエフェクタ等は、空間的説明のために人間の手の代わりに用いられても良い。さらに、動作主の手が塞がっている場合（例えば、本を持っている、モバイル装置を持っている）、手に持たれているオブジェクトは、動作主１３２の手の代わりに、例示的なシステム１００により追跡されても良い。例えば、動作主１３２がジェスチャを行うために使える手を有しない場合、本願明細書の議論の精神から逸脱することなく、他のオブジェクトが用いられても良い。
さらに、画像データ入力装置１１２以外の検知装置は、上述のように、センサデータ１０６を得るために用いられても良い。例えば、検知グローブは、動作主１３２が検知グローブを装着している間にジェスチャを行うとき、手姿勢を捕らえるために用いられても良い。
ここで議論される例示的な技術は、例えば具体的な物理的オブジェクトを説明するために用いられるとき、ジェスチャの意味を理解する例示的なアプローチを提供し得る。例示的な実施形態によると、ここで議論されるように、例示的なデータマイム又はジェスチャ技術は、ジェスチャ期間に渡り動作主１３２の手によりトレースされる空間の容積ピクセル又は画像素子（ｖｏｘｅｌ）表現に基づいても良い。例示的な実施形態によると、３Ｄモデル照合技術は、既知の物理的オブジェクト（例えば、所定の３Ｄモデル１６８ａ、１６８ｂ、１６８ｃと関連付けられ得る物理的オブジェクト）のデータベース１７２から選択するために入力ｖｏｘｅｌ表現を照合するために用いられても良い。
ここに記載される種々の技術の実装は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、又はそれらの組合せで実装されても良い。実装は、データ処理装置、例えばプログラマブルプロセッサ、コンピュータ又は複数のコンピュータにより実行され又はその動作を制御するためのコンピュータプログラム、つまり情報担体、例えば機械により使用可能な若しくは機械可読記憶装置（例えば、ＵＳＢ（Universal Serial Bus）記憶装置、テープ、ハードディスクドライブ、コンパクトディスク、ＤＶＤ（digital video disk）等のような磁気若しくはデジタル媒体）又は伝搬する信号に実現可能に具現化されたコンピュータプログラムとして実装されても良い。上述のコンピュータプログラムのようなコンピュータプログラムは、コンパイル済みの又はインタープリット済みの言語を含む任意の形式のプログラミング言語で記述できる。また、コンピュータプログラムは、スタンドアロン型プログラムとして、又はモジュール、サブルーチン若しくはコンピューティング環境での使用に適した他のユニットを含む任意の形式で展開できる。上述の技術を実施し得るコンピュータプログラムは、１つのコンピュータで又は１箇所若しくは複数箇所に分散して置かれ通信ネットワークにより相互接続される複数のコンピュータに配置できる。
方法のステップは、入力データに対して作用し出力を生成することにより機能を実行するためにコンピュータプログラムを実行する１又は複数のプログラマブルプロセッサにより実行されても良い。１又は複数のプログラマブルプロセッサは、命令を並列に実行しても良く、及び／又は分散型処理のために分散型構成で配置されても良い。方法のステップは、特定目的論理回路、例えばＦＰＧＡ（field programmable gate array）又はＡＳＩＣ（application-specific integrated circuit）により実行でき、また装置は特定目的論理回路、例えばＦＰＧＡ又はＡＳＩＣとしても実装できる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び特定目的プロセッサの両方、及び任意の種類のデジタルコンピュータの１又は複数のプロセッサを含む。概して、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又はそれらの両方から受信する。コンピュータの要素は、命令を実行する少なくとも１つのプロセッサと、命令及びデータを格納する１又は複数のメモリ装置を有しても良い。概して、コンピュータは、データを格納する１又は複数の大容量記憶装置、例えば磁気、光磁気ディスク若しくは光ディスクを含み、又はこれらからデータを受信し若しくはこれらにデータを転送するために動作可能に結合される。コンピュータプログラム命令及びデータを具現化するのに適する情報担体は、あらゆる形式の不揮発性メモリを含み、例えば、半導体メモリ素子、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ素子、磁気ディスク、例えば内蔵ハードディスク若しくは取り外し可能ディスク、光磁気ディスク、及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む。プロセッサ及びメモリは、特定目的論理回路により補強され、又はそれに組み込まれ得る。
ユーザとの相互作用を提供するために、実装は、情報をユーザに表示するディスプレイ装置、例えば陰極管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）モニタ、及びユーザがコンピュータに入力を提供できるキーボード及びポインティング装置、例えばマウス又はトラックボールを有するコンピュータで実装されても良い。他の種類の装置も、ユーザとの相互作用を提供するために用いることができる。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚的フィードバック、例えば視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバックであり得る。また、ユーザからの入力は、音響、会話又は触知性入力を含む任意の形式で受信され得る。
実装は、バックエンドコンポーネント、例えばデータサーバを含む、又はミドルウェアコンポーネント、例えばアプリケーションサーバを含む、又はフロントエンドコンポーネント、例えばユーザが実装と相互作用できるグラフィカルユーザインタフェース若しくはウェブブラウザを備えるクライアントコンピュータを含むコンピューティングシステム、又はこのようなバックエンド、ミドルウェアもしくはフロントエンドコンポーネントの組合せで実装されても良い。コンポーネントは、任意の形式又は媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続されても良い。通信ネットワークの例は、ＬＡＮ（local area network）及びＷＡＮ（wide area network）、例えばインターネットを有する。
本発明の主題は構造的特徴及び／又は方法論的動作に特有の言葉で記載されたが、本発明の主題は、特許請求の範囲に定められる上述の特定の特徴又は動作に限定されないことが理解されるべきである。むしろ、上述の特定の特徴及び動作は、特許請求の範囲の実施の例示的携帯として開示されたものである。記載されたように説明した実装の特定の特徴が説明されたが、多くの修正、代替、変更及び等価物が当業者に明らかである。したがって、添付の特許請求の範囲は実施形態の範囲内に包含される全てのこのような修正及び変更を包含することが理解される。

Claims (15)

  1. 少なくとも１つのデバイスプロセッサと、実行可能命令を格納する機械可読記憶装置と、を有し、前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    複数のデータベースオブジェクトを有するデータベースへのアクセスを開始し、各データベースオブジェクトは、複数の所定の３次元（３Ｄ）モデルのうちの個々の１つに関連付けられ、前記３Ｄモデルの各々は、複数の所定の３Ｄアイテムのうちの対応する１つの外観をシミュレートし、
    自然なジェスチャ動作に基づく動作主の少なくとも片手の自由な動きに基づき前記動作主の少なくとも片腕の動きに関連付けられた３Ｄ空間画像データを受信し、
    前記の受信した３Ｄ空間画像データに従って、前記少なくとも片手の３Ｄ位置の時間的連続３Ｄ表現を追加的に統合し、閾時間値と前記自由な動きの間に複数の３Ｄ領域内の前記少なくとも片手により費やされた時点の数との比較に基づき統合のために前記受信した３Ｄ空間画像データの一部を選択することに基づき、統合３Ｄモデルを生成し、
    前記データベースにアクセスすること、及び前記統合３Ｄモデルに一致する少なくとも１つの前記所定の３Ｄモデルと関連する少なくとも１つの前記データベースオブジェクトを決定することに基づき、少なくとも１つの前記所定の３Ｄアイテムを選択する、
    ようにさせるよう構成される、システム。
  2. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデルを得て、前記データベースに、前記更新３Ｄモデルと関連する更新データベースオブジェクトの記憶を開始する、
    ようにさせるよう構成される、請求項１に記載のシステム。
  3. 前記所定の更新３Ｄアイテムは、
    ３Ｄインベントリアイテム、３Ｄゲームオブジェクト、３Ｄ現実世界アイテム、又は３Ｄ仮想現実環境オブジェクト、
    のうちの１又は複数を有する、請求項２に記載のシステム。
  4. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記所定の更新３Ｄアイテムの画像と関連する画像データの受信、又は
    入力装置を介した前記更新３Ｄモデルの受信、
    のうちの１又は複数に基づき、前記更新３Ｄモデルを得る、
    ようにさせるよう構成される、請求項２に記載のシステム。
  5. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    発話を表す少なくとも１つの音声指標と関連する音声データを受信し、
    前記データベースへのアクセス、及び前記音声指標に基づき前記統合３Ｄモデルと一致する少なくとも１つの前記所定の３Ｄモデルに関連する少なくとも１つの前記データベースオブジェクトの決定に基づき、少なくとも１つの前記所定の３Ｄアイテムを選択する、
    ようにさせるよう構成される、請求項１に記載のシステム。
  6. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    それぞれ初期値に初期化された重み値を有する容積要素として表される離散３Ｄ仮想マップ要素に基づき、仮想３Ｄマップ空間を初期化するよう構成され、
    前記仮想３Ｄマップ空間は、前記動作主の近傍の３Ｄ空間を表し、
    前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記少なくとも片手の一部が前記自由な動き中の時間期間に渡り３Ｄ領域を占有していると示す決定に基づき、前記３Ｄ空間の前記３Ｄ領域と関連する選択された容積要素の前記重み値を比例的に増大し、
    閾値を各前記容積要素の各々の前記重み値と比較する、
    ようにさせるよう構成される、請求項１に記載のシステム。
  7. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記少なくとも片手の深度、位置及び方向を決定し、
    前記少なくとも片手の前記深度、位置及び方向に対応する前記仮想３Ｄマップ空間と関連する容積要素の位置を決定し、
    前記決定された前記位置に基づき、前記少なくとも片手の前記深度、位置及び方向に対応する深度、位置及び方向を表す前記仮想３Ｄマップ空間の領域と関連する複数の前記容積要素を活性化する、
    ようにさせるよう構成される、請求項６に記載のシステム。
  8. 前記容積要素は、容積画像素子（ｖｏｘｅｌ）を有し,
    前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、初期化された重み値により前記ｖｏｘｅｌを非活性状態に初期化する、ようにさせるよう構成され、
    前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、前記少なくとも片手の一部が前記自由な動き中の時間期間に渡り前記３Ｄ領域を占有していたと示す決定に基づき、ｖｏｘｅｌグループの各活性化で前記ｖｏｘｅｌグループに関連する重み値を増大することに基づき、前記ｖｏｘｅｌグループを活性化する、ようにさせるよう構成される、
    請求項７に記載のシステム。
  9. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記少なくとも片手の姿勢により示される閉空間を決定し、
    前記閉空間を囲む領域の深度の決定に基づき、前記閉空間の深度を決定し、
    前記閉空間を示す前記姿勢に関連する時間期間中、前記少なくとも片手の前記深度、位置及び方向に対応する深度、位置及び方向を表す仮想３Ｄ空間の領域と関連する複数の前記容積要素を活性化する代わりに、前記閉空間に対応する深度、位置及び方向を表す前記仮想３Ｄ空間の領域と関連する複数の前記容積要素を活性化する、
    ようにさせるよう構成される、請求項６に記載のシステム。
  10. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記所定の３Ｄモデルのうちの１つ及び前記統合３Ｄモデルのスケーリング、平行移動及び回転に基づき、前記所定の３Ｄモデルのうちの１つに含まれる少なくとも１つのコンポーネントと前記統合３Ｄモデルとを照合することに基づき、前記所定の３Ｄモデルのうちの１つと前記統合３Ｄモデルとの第１の整合を生成し、
    前記第１の整合に基づき、反復最近点アルゴリズムに基づき、前記所定の３Ｄモデルのうちの１つと前記統合３Ｄモデルとの第２の整合を生成する、
    ようにさせるよう構成される、請求項１に記載のシステム。
  11. 前記実行可能命令は、実行されると、前記少なくとも１つのデバイスプロセッサに、
    前記所定の３Ｄモデルのうちの１つ及び前記統合３Ｄモデルのスケーリング、平行移動及び回転に基づき、前記所定の３Ｄモデルのうちの１つに含まれる少なくとも１つのコンポーネントと前記統合３Ｄモデルとを照合することに基づき、前記所定の３Ｄモデルのうちの１つと前記統合３Ｄモデルとの第１の整合を生成し、
    前記第１の整合に基づき、前記所定の３Ｄモデルのうちの１つ及び前記統合３Ｄモデルのスケーリング、平行移動及び回転のうちの複数を含む強力な整合に基づき、前記所定の３Ｄモデルのうちの１つと前記統合３Ｄモデルとの第２の整合を生成する、
    ようにさせるよう構成される、請求項１に記載のシステム。
  12. 機械可読記憶装置に実現可能に具現化されたコンピュータプログラムであって、実行可能コードを有し、該実行可能コードは、実行されると、少なくとも１つのデータ処理装置に、
    複数のデータベースオブジェクトを有するデータベースへのアクセスを開始し、各データベースオブジェクトは複数の所定の３次元（３Ｄ）モデルのうちの個々の１つに関連し、前記３Ｄモデルの各々は複数の所定の３Ｄアイテムのうちの対応する１つの外観をシミュレートし、
    自然なジェスチャ動作に基づく動作主の少なくとも片手の自由な動きに基づく前記動作主の少なくとも片腕の動きに関連する３Ｄ空間画像データを受信し、
    前記の受信した３Ｄ空間画像データに従って前記少なくとも片手の３Ｄ位置の時間的連続的３Ｄ表現を追加的に統合すること、閾時間値と、前記自由な動き中の複数の３Ｄ領域の中の前記少なくとも片手により費やされる時点の数との比較に基づき、統合のために前記受信した３Ｄ空間画像データの部分を選択することに基づき、統合３Ｄモデルを生成し、
    デバイスプロセッサにより、データベースへのアクセス、及び前記統合３Ｄモデルと一致する少なくとも１つの前記所定の３Ｄモデルに関連する少なくとも１つの前記データベースオブジェクトの決定に基づき、少なくとも１つの前記所定の３Ｄアイテムを選択する、
    ようにさせるよう構成される、コンピュータプログラム。
  13. 前記実行可能コードは、実行されると、前記少なくとも１つのデータ処理装置に、
    所定の更新３Ｄアイテムの外観をシミュレートする更新３Ｄモデルを得て、データベース内に、前記更新３Ｄモデルに関連する更新データベースオブジェクトの記憶を開始する、
    ようにさせるよう構成される、請求項１２に記載のコンピュータプログラム。
  14. 前記実行可能コードは、実行されると、前記少なくとも１つのデータ処理装置に、
    それぞれ初期値に初期化された重み値を有する容積要素として表される離散３Ｄ仮想マップ要素に基づき、仮想３Ｄマップ空間を初期化するよう構成され、
    前記仮想３Ｄマップ空間は、前記動作主の近傍の３Ｄ空間を表し、
    前記少なくとも片手の一部が前記自由な動き中の時間期間に渡り３Ｄ領域を占有していると示す決定に基づき、前記３Ｄ空間の前記３Ｄ領域と関連する選択された容積要素の前記重み値を比例的に増大し、
    閾値を各前記容積要素の前記重み値と比較する、
    ようにさせるよう構成される、請求項１２に記載のコンピュータプログラム。
  15. 前記実行可能コードは、実行されると、前記少なくとも１つのデータ処理装置に、
    前記少なくとも片手の深度、位置及び方向を決定し、
    前記少なくとも片手の前記深度、位置及び方向に対応する前記仮想３Ｄマップ空間と関連する容積要素の位置を決定し、
    前記少なくとも片手の前記深度、位置及び方向に対応する前記仮想３Ｄマップ空間に関連する前記容積要素の前記決定された前記位置に基づき、前記少なくとも片手の前記深度、位置及び方向に対応する深度、位置及び方向を表す前記仮想３Ｄマップ空間の領域と関連する複数の前記容積要素を活性化する、
    ようにさせるよう構成される、請求項１４に記載のコンピュータプログラム。
JP2014508167A 2011-04-29 2012-04-28 空間ジェスチャからの空間オブジェクト説明の推測 Active JP6053758B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/098,387 US8811719B2 (en) 2011-04-29 2011-04-29 Inferring spatial object descriptions from spatial gestures
US13/098,387 2011-04-29
PCT/US2012/035702 WO2012149501A2 (en) 2011-04-29 2012-04-28 Inferring spatial object descriptions from spatial gestures

Publications (3)

Publication Number Publication Date
JP2014517957A JP2014517957A (ja) 2014-07-24
JP2014517957A5 JP2014517957A5 (ja) 2015-05-28
JP6053758B2 true JP6053758B2 (ja) 2016-12-27

Family

ID=47067934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014508167A Active JP6053758B2 (ja) 2011-04-29 2012-04-28 空間ジェスチャからの空間オブジェクト説明の推測

Country Status (7)

Country Link
US (2) US8811719B2 (ja)
EP (1) EP2702566B1 (ja)
JP (1) JP6053758B2 (ja)
KR (1) KR101923243B1 (ja)
CN (1) CN103493104B (ja)
HK (1) HK1192790A1 (ja)
WO (1) WO2012149501A2 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8811719B2 (en) 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
JP2013137760A (ja) * 2011-12-16 2013-07-11 Cognex Corp 複数のカメラに対する複数部品コレスポンダ
US9704027B1 (en) * 2012-02-27 2017-07-11 Amazon Technologies, Inc. Gesture recognition
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
KR20140109020A (ko) * 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US10493298B2 (en) * 2013-08-02 2019-12-03 Varian Medical Systems, Inc. Camera systems and methods for use in one or more areas in a medical facility
CN103607556B (zh) * 2013-11-25 2017-06-13 广东威创视讯科技股份有限公司 视频会议系统及其实现方法
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US20150301606A1 (en) * 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
US9575508B2 (en) 2014-04-21 2017-02-21 Apple Inc. Impact and contactless gesture inputs for docking stations
WO2015168406A1 (en) * 2014-04-30 2015-11-05 Cubic Corporation Adaptive gate walkway floor display
US20160004300A1 (en) * 2014-07-07 2016-01-07 PinchVR Inc. System, Method, Device and Computer Readable Medium for Use with Virtual Environments
US9440351B2 (en) 2014-10-30 2016-09-13 International Business Machines Corporation Controlling the operations of a robotic device
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US9857881B2 (en) * 2015-12-31 2018-01-02 Microsoft Technology Licensing, Llc Electrical device for hand gestures detection
US10459597B2 (en) * 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
WO2018074420A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10099372B2 (en) * 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11250376B2 (en) * 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10691931B2 (en) 2017-10-04 2020-06-23 Toshiba Global Commerce Solutions Sensor-based environment for providing image analysis to determine behavior
WO2019102473A1 (en) * 2017-11-22 2019-05-31 Mazor Robotics Ltd. A method for verifying hard tissue location using implant imaging
KR102524586B1 (ko) * 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
JP2020095519A (ja) * 2018-12-13 2020-06-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 形状推定装置、形状推定方法、プログラム、及び記録媒体
US10825259B2 (en) * 2019-01-02 2020-11-03 The Boeing Company Three-dimensional point data alignment with pre-alignment
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
CN110377824B (zh) * 2019-07-15 2020-06-05 贝壳找房(北京)科技有限公司 信息推送方法、装置、计算机可读存储介质及电子设备
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN110837326B (zh) * 2019-10-24 2021-08-10 浙江大学 一种基于物体属性递进式表达的三维目标选择方法
US11341569B2 (en) * 2019-10-25 2022-05-24 7-Eleven, Inc. System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
KR102256329B1 (ko) 2020-02-20 2021-05-27 주식회사 비전브이알 인터랙티브 가상현실 컨텐츠의 제공방법 및 장치
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
KR102515405B1 (ko) * 2021-11-09 2023-03-30 한국전자기술연구원 Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1235702A (en) 1917-03-30 1917-08-07 Edward Larson Spring-counterbalance device for window-sashes.
JPH1063461A (ja) * 1996-08-23 1998-03-06 Atr Tsushin Syst Kenkyusho:Kk メンタルイメージ表示支援装置
US5875257A (en) 1997-03-07 1999-02-23 Massachusetts Institute Of Technology Apparatus for controlling continuous behavior through hand and arm gestures
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
WO2001084640A1 (de) 2000-04-26 2001-11-08 Osram Opto Semiconductors Gmbh LUMINESZENZDIODENCHIP AUF DER BASIS VON GaN UND VERFAHREN ZUM HERSTELLEN EINES LUMINESZENZDIODENBAUELEMENTS
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7552008B2 (en) 2001-07-18 2009-06-23 Regents Of The University Of Minnesota Populating geospatial database for onboard intelligent vehicle applications
US20030023641A1 (en) 2001-07-27 2003-01-30 Gorman William Phillip Web page authoring tool
US8429174B2 (en) * 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP4221330B2 (ja) * 2004-05-07 2009-02-12 日本電信電話株式会社 インタフェース方法、装置、およびプログラム
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
WO2006058292A2 (en) 2004-11-29 2006-06-01 Purdue Research Foundation Methods for retrieving shapes and drawings
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN1753030A (zh) * 2005-10-20 2006-03-29 北京航空航天大学 一种面向三维建模的人机交互框架
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
CN101842813A (zh) 2007-05-22 2010-09-22 天宝导航有限公司 处理栅格图像3d对象
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8269764B2 (en) 2007-10-03 2012-09-18 Oracle International Corporation Three dimensional spatial engine in a relational database management system
WO2010006087A1 (en) 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
US20100049629A1 (en) * 2008-08-22 2010-02-25 Nainesh B Rathod Method of enabling a user to draw a component part as input for searching component parts in a database
US20120114658A1 (en) 2009-09-15 2012-05-10 John Ryan Treatment of cancer
US8811719B2 (en) 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures

Also Published As

Publication number Publication date
HK1192790A1 (zh) 2014-08-29
EP2702566B1 (en) 2018-12-05
WO2012149501A3 (en) 2013-01-03
CN103493104A (zh) 2014-01-01
WO2012149501A2 (en) 2012-11-01
KR20140023329A (ko) 2014-02-26
US20150030236A1 (en) 2015-01-29
US20120275686A1 (en) 2012-11-01
EP2702566A2 (en) 2014-03-05
EP2702566A4 (en) 2015-06-10
KR101923243B1 (ko) 2018-11-28
US9613261B2 (en) 2017-04-04
CN103493104B (zh) 2016-10-05
JP2014517957A (ja) 2014-07-24
US8811719B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
JP6053758B2 (ja) 空間ジェスチャからの空間オブジェクト説明の推測
US8542252B2 (en) Target digitization, extraction, and tracking
US9344707B2 (en) Probabilistic and constraint based articulated model fitting
Kaur et al. A review: Study of various techniques of Hand gesture recognition
US9098873B2 (en) Motion-based interactive shopping environment
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
US8659658B2 (en) Physical interaction zone for gesture-based user interfaces
Holz et al. Data miming: inferring spatial object descriptions from human gesture
US20110025689A1 (en) Auto-Generating A Visual Representation
US20110306468A1 (en) Caloric burn determination from body movement
CN102222431A (zh) 基于机器的手语翻译器
Bigdelou et al. Simultaneous categorical and spatio-temporal 3d gestures using kinect
bin Mohd Sidik et al. A study on natural interaction for human body motion using depth image data
CN115244495A (zh) 针对虚拟环境运动的实时式样
KR102546945B1 (ko) 전신 아바타를 이용한 이종공간의 혼합현실 텔레프레즌스 시스템
KR101915780B1 (ko) 로봇을 이용하여 사용자에게 피드백을 제공하는 vr-로봇 연동 시스템 및 방법
Liu et al. Skeleton tracking based on Kinect camera and the application in virtual reality system
Lun Human activity tracking and recognition using Kinect sensor
Huang et al. Designing an exergaming system for exercise bikes using kinect sensors and Google Earth
De Silva et al. An Evaluation of DTW Approaches for Whole-of-Body Gesture Recognition
Alwani et al. 3D-posture recognition using joint angle representation
Černeková et al. Single camera pointing gesture recognition for interaction in edutainment applications
Freeman et al. A dataset of naturally occurring, whole-body background activity to reduce gesture conflicts
Malerczyk Dynamic Gestural Interaction with Immersive Environments
Xu et al. Perceiving Motion Cues Inspired by Microsoft Kinect Sensor on Game Experiencing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R150 Certificate of patent or registration of utility model

Ref document number: 6053758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250