JP2023548932A - 仮想環境内のマルチユーザ群意図処理のためのトランスモード入力融合 - Google Patents

Abstract

本書は、共有空間内のユーザの群の意図が決定され、それに応じて作用される、結像および可視化システムを説明する。一側面では、方法は、共有仮想空間内のユーザの群に関して、ユーザの群内のユーザのうちの２人またはそれを上回るユーザの各々に関して個別の目的を識別することを含む。２人またはそれを上回るユーザの各々に関して、異なる入力モダリティを有する複数のセンサからの入力に基づいて、ユーザの個別の意図の決定が、行われる。複数のセンサの少なくとも一部は、ユーザが、共有仮想空間内に参加することを可能にする、ユーザのデバイスのセンサである。個別の意図に基づいて、ユーザが、ユーザに関する個別の目的を実施しているかどうかの決定が、行われる。出力データが、個別の目的および個別の意図に基づいて、生成および提供される。

Description

本開示は、仮想現実、拡張現実、および複合現実の結像および可視化システムに関し、より具体的には、共有仮想空間内のユーザの群の意図を決定し、それに応じて作用するために、トランスモード入力融合を使用することに関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生産するための実世界と仮想世界の融合に関連する。

本明細書は、概して、共有空間内のユーザの群の意図が、決定され、それに応じて作用される、結像および可視化システムを説明する。共有空間は、例えば、拡張現実を使用する、実空間または環境、またはアバタ、ゲームプレーヤ、または実人物を表す他のアイコンまたは図形を使用する、仮想空間を含むことができる。

本システムは、ユーザの視線、ユーザの手の運動、および／またはユーザが移動している方向を含む、複数の入力に基づいて、ユーザの意図を決定することができる。例えば、本入力の組み合わせは、ユーザが、オブジェクトに手を伸ばす、別のユーザに向かってジェスチャを行う、特定のユーザまたはオブジェクト上に合焦する、または別のユーザまたはオブジェクトと相互作用する寸前であることを決定するために使用されることができる。本システムは、次いで、例えば、ユーザの意図を１人またはそれを上回る他のユーザに表示する、複数のユーザの意図に基づいて、群計測値または他の集約的群情報を生成する、ユーザまたは別のユーザに警告する、または推奨を提供する、またはユーザを異なるタスクに再割当することによって、ユーザの意図に応じて作用することができる。

一般に、本明細書に説明される主題の１つの革新的な側面は、共有仮想空間内のユーザの群に関して、ユーザの群内のユーザのうちの２人またはそれを上回るユーザの各々に関して個別の目的を識別するアクションを含む方法において、具現化されることができる。２人またはそれを上回るユーザの各々に関して、異なる入力モダリティを有する複数のセンサからの入力に基づいて、ユーザの個別の意図の決定が、行われる。複数のセンサの少なくとも一部は、ユーザが、共有仮想空間内に参加することを可能にする、ユーザのデバイスのセンサである。個別の意図に基づいて、ユーザが、ユーザに関する個別の目的を実施しているかどうかの決定が、行われる。出力データが、ユーザの群に関して、２人またはそれを上回るユーザの各々に関する個別の目的、および２人またはそれを上回るユーザの各々に関する個別の意図に基づいて、生成される。出力データが、１人またはそれを上回るユーザの各々の個別のデバイスにおける提示のために、ユーザの群内の１人またはそれを上回るユーザの各々の個別のデバイスに提供される。

本側面の他の実施形態は、対応するコンピュータシステムと、装置と、１つまたはそれを上回るコンピュータ記憶デバイス上に記録され、各々が、本方法のアクションを実施するように構成される、コンピュータプログラムとを含む。１つまたはそれを上回るコンピュータのシステムは、動作時、アクションを実施させるシステム上にインストールされる、またはシステムにアクションを実施させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されるとき、装置にアクションを実施させる命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。

前述および他の実施形態は、各々が、随意に、単独で、または組み合わせて、以下の特徴のうちの１つまたはそれを上回るものを含むことができる。いくつかの側面では、２人またはそれを上回るユーザのうちの少なくとも１人のユーザに関する個別の目的は、（ｉ）少なくとも１人のユーザによって実施されることになるタスク、または（ｉｉ）それに対して少なくとも１人のユーザが見ているべきである対象オブジェクトのうちの少なくとも１つを含む。２人またはそれを上回るユーザの各々に関して個別の目的を識別することは、対象オブジェクトとして、それに対してユーザの群内のユーザの少なくとも閾値量が見ている標的を決定することを含む。

いくつかの側面では、各ユーザの個別のデバイスは、ウェアラブルデバイスを含む。ユーザの個別の意図を決定することは、ユーザのウェアラブルデバイスから、ユーザの視線を規定する、視線データ、ユーザの手ジェスチャを規定する、ジェスチャデータ、およびユーザが移動している方向を規定する、方向データを受信することと、ユーザの個別の意図として、視線データ、ジェスチャデータ、および方向データに基づいて、標的オブジェクトに関して、ユーザの意図を決定することとを含むことができる。

いくつかの側面では、２人またはそれを上回るユーザの各々に関する個別の目的、および２人またはそれを上回るユーザの各々に関する個別の意図に基づいて、出力データを生成することは、特定のユーザが、特定のユーザに関する個別の目的を実施していないことを決定することを含み、ユーザの群内の１人またはそれを上回るユーザの各々のデバイスに、１人またはそれを上回るユーザの各々のデバイスにおける提示に関する出力データを提供することは、リーダユーザのデバイスに、特定のユーザを示すデータ、および特定のユーザが、特定のユーザに関する個別の目的を実施していないことを示す、データを提供することを含む。

いくつかの側面では、出力データは、ユーザの個別の目的を実施している、ユーザの群内のユーザの量を示す、ヒートマップを含む。いくつかの側面は、出力データに基づいて、アクションを実施することを含むことができる。アクションは、出力データに基づいて、１人またはそれを上回るユーザを異なる目的に再割当することを含むことができる。

本明細書に説明される主題は、特定の実施形態において実装されることができ、以下の利点のうちの１つまたはそれを上回るものをもたらし得る。マルチモード入力融合を使用して、共有空間内のユーザの群または群内の１人またはそれを上回るユーザの意図を決定することは、可視化システムが、ユーザにフィードバックを提供し、ユーザに関連する計測値を決定および改良し、ユーザのアクションを調節し、（例えば、負荷のリアルタイム再平衡の一部として）ユーザを異なる役割に再割当し、隠蔽された群動態を示すことを可能にする。ユーザの意図を決定することによって、本システムは、ユーザの将来のアクションを予測し、アクションが生じる前に、それらを調節することができる。これは、タスクが完了される効率を増加させ、ユーザが、安全ではないアクションを実施することを防止することによって、安全性を改良することができる。視線方向およびジェスチャを行うこと等の複数の入力の使用は、可視化システムが、ユーザまたはユーザを表すアバタのオーバーヘッドモニタリング等の他の技法に対して、オブジェクトおよび／または他のユーザに対するユーザの意図をより正確に決定することを可能にする。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および下記の説明に記述される。本主題の他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。

図１Ａは、可視化システムが、共有空間内のユーザの群の意図を決定し、それに応じて作用する、環境の実施例である。

図１Ｂは、ウェアラブルシステムの実施例である。

図２Ａ－２Ｃは、単一のオブジェクトへのユーザの群の注意を図示する、例示的注意モデルである。

図３Ａおよび３Ｂは、コンテンツおよび人物へのユーザの群の注意、またはコンテンツとの相互作用を図示する、例示的注意モデルである。

図４Ａ－４Ｃは、ユーザの群の注意を描写する、ベクトル図である。

図５Ａ－５Ｃは、それぞれ、図４Ａ－４Ｃのベクトル図に対応する、ユーザ注意のヒートマップ図である。

図６は、相互および共通オブジェクトに対する、２人のユーザの注意を図示する、例示的注意モデルである。

図７は、相互および共通オブジェクトに対する、２人のユーザの注意を図示する、別の例示的注意モデルである。

図８は、相互ユーザ対ユーザ注意を図示する、例示的注意モデルである。

図９は、ユーザの群内の１人またはそれを上回るユーザの意図を決定し、それに応じて作用するための例示的プロセスのフローチャートである。

図１０は、本書に説明される、コンピュータ実装方法と関連して使用され得る、コンピューティングシステムのブロック図である。

種々の図面内の同様の参照番号および指定は、同様の要素を示す。

詳細な説明
本明細書は、概して、共有空間内のユーザの群の意図が決定され、それに応じて作用される、結像および可視化システムを説明する。

図１Ａは、可視化システム１２０が、共有空間内のユーザの群の意図を決定し、それに応じて作用する、環境１００の実施例である。共有空間は、例えば、拡張現実を使用する、実空間または環境、またはアバタ、ゲームプレーヤ、または実人物を表す他のアイコンまたは図形を使用する、仮想空間を含むことができる。拡張現実、仮想現実、または複合現実空間はまた、本書では、共有仮想空間とも呼ばれる。

可視化システム１２０は、ユーザシステム１１０および／または他のソースからの入力を受信するように構成されることができる。例えば、可視化システム１２０は、ユーザシステム１１０からの視覚的入力１３１、静止デバイスからの静止入力１３２、例えば、室内カメラからの画像および／または映像、および／または種々のセンサからの感覚入力１３３、例えば、ジェスチャ、トーテム、眼追跡、またはユーザ入力を受信するように構成されることができる。

いくつかの実装では、ユーザシステム１１０は、ユーザ１０５によって装着される、ウェアラブルデバイス１０７等の装着可能デバイスを含む、装着可能システムである。ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するように構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲコンテンツを環境内に提示し得る、ウェアラブルデバイスを含むことができる。ウェアラブルデバイスは、頭部搭載型ディスプレイを含み得る、頭部搭載型デバイス（ＨＭＤ）であることができる。

ＶＲ、ＡＲ、およびＭＲ体験は、複数のレンダリング平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。レンダリング平面は、深度平面または複数の深度平面に対応することができる。画像は、各レンダリング平面に関して異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なるレンダリング平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なるレンダリング平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。

ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されることができる。

図１Ｂは、例示的ウェアラブルシステム１１０をより詳細に示す。図１Ｂを参照すると、ウェアラブルシステム１１０は、ディスプレイ１４５と、ディスプレイ１４５の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ１４５は、ユーザ、装着者、または視認者１０５によって装着可能である、フレーム１５０に結合されることができる。ディスプレイ１４５は、ユーザ１０５の眼の正面に位置付けられることができる。ディスプレイ１４５は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ１４５は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を含むことができる。いくつかの実施形態では、スピーカ１６０が、フレーム１５０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ディスプレイ１４５は、音声認識を実施するための環境からオーディオストリームを検出するために、オーディオセンサ１５２（例えば、マイクロホン）を含むことができる。

ウェアラブルシステム１１０は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システムを含むことができる。ウェアラブルシステム１１０はまた、ユーザの眼移動を追跡することができる、内向きに面した結像システムを含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡し得る。内向きに面した結像システムは、フレーム１５０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ１０５の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール１７０または１８０と電気通信してもよい。

実施例として、ウェアラブルシステム１１０は、外向きに面した結像システムまたは内向きに面した結像システムを使用して、ユーザの姿勢（例えば、ジェスチャ）の画像を入手することができる。画像は、静止画像、ビデオのフレーム、ビデオ、それらの組み合わせ、または同等物であってもよい。ウェアラブルシステム１１０は、筋肉群のアクションを示す信号を感知する、筋電図（ＥＭＧ）センサ等の他のセンサを含むことができる。

ディスプレイ１４５は、有線導線または無線接続等によって、フレーム１５０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ１０５に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール１７０に動作可能に結合されることができる。

ローカル処理およびデータモジュール１７０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを含むことができ、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）環境センサ（例えば、フレーム１５０に動作可能に結合される、または別様にユーザ１０５に取り付けられ得る）、オーディオセンサ１５２（例えば、マイクロホン）から捕捉されるデータ、または、（ｂ）可能性として、処理または読出後にディスプレイ１４５への通過のために、遠隔処理モジュール１８０または遠隔データリポジトリ１９０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール１７０は、これらの遠隔モジュールがローカル処理およびデータモジュール１７０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンクによって、遠隔処理モジュール１８０または遠隔データリポジトリ１９０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２７０および遠隔データリポジトリ１９０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール１８０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを含むことができる。いくつかの実施形態では、遠隔データリポジトリ１９０は、デジタルデータ記憶設備を含むことができ、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。

いくつかの実施形態では、遠隔処理モジュール１８０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを含むことができる。いくつかの実施形態では、遠隔データリポジトリ１９０は、デジタルデータ記憶設備を含むことができ、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。

環境センサはまた、様々な生理学的センサを含んでもよい。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚応答、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。環境センサはまた、レーザ、可視光、不可視波長の光、または音（例えば、可聴音、超音波、または他の周波数）等の信号を受信するように構成される、放出デバイスを含むことができる。いくつかの実施形態では、１つまたはそれを上回る環境センサ（例えば、カメラまたは光センサ）は、（例えば、環境の照明条件を捕捉するために）環境の周囲光（例えば、輝度）を測定するように構成されることができる。歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。

図１Ａに戻って参照すると、可視化システム１２０は、オブジェクトを認識し、点を認識またはマッピングし、画像をタグ付けし、マップデータベース１２２を用いて、意味論情報をオブジェクトに結び付けることができる、１つまたはそれを上回るオブジェクト認識装置１２１を含む。マップデータベース１２２は、経時的に収集された種々の点およびその対応するオブジェクトを含むことができる。種々のデバイスおよびマップデータベース１２２は、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。いくつかの実装では、可視化システム１２０の一部または全ては、ユーザシステム１１０のうちの１つ上に実装され、ユーザシステム１１０は、ネットワーク、例えば、ＬＡＮ、ＷＡＮ、またはインターネットを経由して、相互とデータ通信することができる。

本情報およびマップデータベース１２２内の点の集合に基づいて、オブジェクト認識装置１２１は、環境、例えば、ユーザの群に関する共有仮想空間内のオブジェクトを認識することができる。例えば、オブジェクト認識装置１２１は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つまたはそれを上回るオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置は、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい一方、別のオブジェクト認識装置は、手、指、腕、または身体ジェスチャを認識するために使用されてもよい。

オブジェクト認識は、様々なコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、ＶｉｏｌａＪｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

オブジェクト認識は、加えて、または代替として、様々な機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置１２１は、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えることができる。例えば、オブジェクト認識装置１２１が、点のセットがドアであることを認識する場合、可視化システム１２０は、いくつかの意味論情報（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度の移動を有する）を結び付けてもよい。オブジェクト認識装置１２１が、点のセットが鏡であることを認識する場合、可視化システム１２０は、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベース１２２は、（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）可視化システム１２０が、より多くのデータを世界から蓄積するにつれて、成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステム、例えば、ユーザシステム１１０に伝送されてもよい。

例えば、ＭＲ環境は、Ｃａｌｉｆｏｒｎｉａで発生している場面についての情報を含んでもよい。本環境は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置１２１および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。本環境はまた、位置特定目的のために、トポロジマップを使用してもよい。

可視化システム１２０は、共有仮想空間内の1人またはそれを上回るユーザの各々に関して、仮想場面を生成することができる。例えば、ウェアラブルシステムは、共有仮想空間内で、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、情報を可視化システム１２０に伝達する。可視化システム１２０は、本情報に基づいて、疎点を決定することができる。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置１２１は、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識することができる。本情報は、次いで、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。

別の実施例では、共有仮想空間は、例えば、教室、講堂、または研修室等の指導室であることができる。可視化システム１２０は、同様に、指導室内の各ユーザに関して仮想場面を生成することができる。また別の実施例では、共有仮想空間は、各ユーザが、ゲームに参加している、ゲーム環境であることができる。本実施例では、可視化システム１２０は、ゲーム内の各プレーヤに関する仮想場面を生成することができる。別の実施例では、共有仮想空間は、作業環境であることができ、可視化システム１２０は、環境内の各作業者に関する仮想場面を生成することができる。

可視化システム１２０はまた、ユーザ意図検出器１２４と、群意図分析器１２５と、群意図フィードバック生成器１２６とを含む。ユーザ意図検出器１２４は、共有仮想空間内の１人またはそれを上回るユーザの意図を決定する、または少なくとも予測することができる。ユーザ意図検出器１２４は、ユーザ入力、例えば、視覚的入力、ジェスチャ、トーテム、オーディオ入力等に基づいて、ユーザの意図を決定することができる。

ウェアラブルシステムは、種々の入力モードを受信するようにプログラムされることができる。例えば、ウェアラブルシステムは、以下のタイプの入力モード、すなわち、音声コマンド、頭部姿勢、（例えば、ベルトパック内のＩＭＵまたはＨＭＤの外部のセンサによって測定され得る）身体姿勢、眼視線（本明細書では、眼姿勢とも称される）、手のジェスチャ（または他の身体部分によるジェスチャ）、ユーザ入力デバイス（例えば、トーテム）からの信号、環境センサ等のうちの２つまたはそれを上回るものを受け取ることができる。

ユーザ意図検出器１２４は、入力のうちの１つまたはそれを上回るものを使用して、ユーザの意図を決定することができる。例えば、ユーザ意図検出器１２４は、入力のうちの１つまたはそれを上回るものを使用して、それに対してユーザが、それらの焦点を指向している、および／またはそれと相互作用しようとしている、標的オブジェクトを決定することができる。加えて、ユーザ意図検出器１２４は、ユーザが、オブジェクトを視認している、またはオブジェクトとの相互作用のプロセス中であるかどうか、かつそのような場合、生じる寸前である相互作用のタイプを決定することができる。

ユーザ意図検出器１２４は、トランスモード入力融合技法を使用して、ユーザの意図を決定することができる。例えば、ユーザ意図検出器は、複数のセンサからの直接的な入力および間接的なユーザ入力を集約して、ある用途のためのマルチモード相互作用を生産することができる。直接的な入力の実施例は、ジェスチャ、頭部姿勢、音声入力、トーテム、眼視線の方向（例えば、眼視線追跡）、他のタイプの直接的な入力等を含んでもよい。間接的な入力の実施例は、環境情報（例えば、環境追跡）と、他のユーザが行っている内容と、ジオロケーションとを含んでもよい。

ウェアラブルシステムは、外向きに面した結像システムを使用して、ジェスチャを追跡し、可視化システム１２０に報告することができる。例えば、外向きに面した結像システムは、ユーザの手の画像を入手し、画像を対応する手のジェスチャにマッピングすることができる。可視化システム１２０はまた、オブジェクト認識装置１２１を使用して、ユーザの頭部ジェスチャを検出することができる。別の実施例では、ＨＭＤは、ＩＭＵを使用して、頭部姿勢を認識することができる。

ウェアラブルシステムは、内向きに面したカメラを使用して、眼視線追跡を実施することができる。例えば、内向きに面した結像システムは、ユーザの眼の領域の画像を取得するように構成される、眼カメラを含むことができる。ウェアラブルシステムはまた、入力をトーテムから受信することができる。

ユーザ意図検出器１２４は、種々の入力および様々な技法を使用して、ユーザに関する標的オブジェクトを決定することができる。標的オブジェクトは、例えば、それに対してユーザが注意を払っている（例えば、少なくとも閾値持続時間にわたって視認している）、それに向かって移動している、またはそれとユーザが相互作用する寸前である、オブジェクトであることができる。ユーザ意図検出器１２４は、所与の値を入力ソースから導出し、ユーザが潜在的に相互作用し得る、候補仮想オブジェクトに関する可能性として考えられる値の格子を生産することができる。いくつかの実施形態では、値は、信頼度スコアであることができる。信頼度スコアは、ランク付け、格付け、評価、定量的または定質的値（例えば、１～１０の範囲内の数値、パーセンテージまたはパーセンタイル、または「Ａ」、「Ｂ」、「Ｃ」の定質的値等）等を含むことができる。

各候補オブジェクトは、信頼度スコアと関連付けられてもよく、ある場合には、最高信頼度スコア（例えば、他のオブジェクトの信頼度スコアより高いまたは閾値スコアより高い）を伴う候補オブジェクトが、ユーザ意図検出器１２４によって、標的オブジェクトとして選択される。他の場合では、閾値信頼度スコアを下回る信頼度スコアを伴うオブジェクトは、システムによって、標的オブジェクトとしての検討から排除され、これは、算出効率を改良することができる。

実施例として、ユーザ意図検出器１２４は、眼追跡および／または頭部姿勢を使用して、ユーザが候補オブジェクトを見ていることを決定することができる。ユーザ意図検出器１２４はまた、ユーザのウェアラブルデバイスのＧＰＳセンサからのデータを使用して、ユーザが候補オブジェクトに近づいている、または異なる方向に移動しているかどうかを決定することもできる。ユーザ意図検出器１２４はまた、ジェスチャ検出を使用して、ユーザが候補オブジェクトに手を伸ばしているかどうかを決定することもできる。本データに基づいて、ユーザ意図検出器１２４は、例えば、候補オブジェクトと相互作用するため、またはオブジェクトと相互作用しない（例えば、単にオブジェクトを見ている）ためのユーザの意図を決定することができる。

群意図分析器１２５は、群内の複数のユーザ、例えば、共有実空間または仮想空間内のユーザの群の意図を分析することができる。例えば、群意図分析器１２５は、聴衆、例えば、生徒のクラス、提示または実演を視認している人々、またはゲームをプレーしている人々の意図を分析することができる。群意図分析器１２５は、下記に説明されるように、例えば、分析に基づいて群計測値を生成する、分析に基づいてユーザのタスクを再割当する、特定のユーザに関するアクションを推奨する、および／または他のアクションを実施することができる。

指導または提示のために、ユーザ群意図分析器１２５は、指導に注意を払っているユーザを決定することができる。本実施例では、群意図分析器１２５は、指導の焦点、例えば、指導者ユーザ、ホワイトボード、表示画面、または指導対象である車または他のオブジェクトを規定する、データを受信するか、またはそれに対してユーザが見ている標的オブジェクトに基づいて、指導の焦点を決定するかのいずれかが可能である。例えば、群内のユーザの全てまたは少なくとも閾値数または比率が、同一オブジェクトを見ている場合、群意図分析器１２５は、オブジェクトが指導の対象であることを決定することができる。

指導全体を通して、ユーザの群分析器１２５は、ユーザを監視して、指導に注意を払うユーザを決定し、平均群注意、ユーザが指導対象を視認することに費やした平均時間量等の指導についての計測値を算出することができる。例えば、ユーザ群分析器１２５は、各特定のオブジェクトに注意を払っているユーザの比率、および各ユーザが所与の期間にわたって、オブジェクトに注意を払っていた平均時間量を決定することができる。ユーザが、タスクが与えられる場合、ユーザ群分析器１２５は、各ユーザに関して、ユーザがタスクを実施しているかどうか、ユーザがタスクを実施することに費やした時間の比率、および群に関する集約的測定値、例えば、それらのタスクを実施しているユーザの比率、群内のユーザがそれらのタスクを実施することに費やした平均時間量等を決定することができる。

ユーザ群分析器１２５はまた、表示または視覚的検査に追従しているユーザ、リーダ（例えば、ゲーム内の提示者またはリーダ）を見ているユーザ、環境を見ているユーザ、指導または質問に対する群応答性、または（例えば、指導対象に追従していない、またはリーダに注意を払っていないユーザの数に基づいた）タスク失敗に関する潜在性を決定することができる。

群内の各ユーザに関する標的オブジェクトは、共有仮想空間内の注意散漫物を識別するために使用されることができる。例えば、殆どのユーザが、指導の焦点に注意を払っているが、複数の他のユーザが、別のオブジェクトを見ている場合、群意図分析器１２５は、他のオブジェクトが注意散漫物であることを決定することができる。

群意図分析器１２５は、平均群移動および群移動の方向を算出することができる。ユーザ群分析器１２５は、本移動データを、例えば、リアルタイムに、標的経路と比較し、（下記に説明される）群意図フィードバック生成器１２６を使用して、指導者にフィードバックを与えることができる。例えば、指導者が、フィットネスまたはダンスのクラスを教えている場合、ユーザ群分析器１２５は、ユーザの移動を標的移動と比較し、ユーザの移動が標的移動と合致する程度のスコアを決定することができる。

いくつかの実施形態では、各ユーザは、例えば、群プロジェクトまたはチームゲームの一部として、タスクを割り当てられてもよい。群意図分析器１２５は、各ユーザの意図を監視し、その意図をそれらのタスクと比較し、ユーザがそれらのタスクを実施しているかどうかを決定することができる。群意図分析器１２５は、本データを使用して、タスク効率および／またはタスク失敗に関する潜在性を算出することができる。

群意図分析器１２５は、ユーザの意図に基づいて、隠蔽された群動態を決定することができる。例えば、群意図分析器１２５は、ユーザの群内の局所的な視覚的注意を見出すことができる。特定の実施例では、群意図分析器１２５は、１つのサブ群が、指導者を見ている一方、別のサブ群が、指導者によって議論されているオブジェクトを見ていることを決定することができる。

群意図分析器１２５は、本データを使用して、群不均衡を決定することができる。例えば、群意図分析器１２５は、ユーザの非効率的なクラスタ化、複数の競合するリーダからの干渉、および／または生産ライン協調タスクの間のタスク引継の減速またはエラーを識別することができる。

いくつかの実装では、群意図分析器１２５は、群内で、マルチユーザトランスモード収束を使用して、群に関する種々の特性または計測値を決定することができる。トランスモード収束は、視線注意（例えば、注意散漫物またはユーザの没頭のレベル）、眼－手意図（例えば、ユーザが手を伸ばす、指向する、握持する、遮断する、押動する、または投げる）、経路を追従するための眼－足意図（例えば、歩く、走る、跳躍する、横歩きする、寄り掛かる、または方向転換する）、身体活動のレベル（例えば、対地速度、手動労力、または疲労）、および／またはメンバおよび群認知（例えば、不快音、混乱、または上昇された認知負荷）を含むことができる。

群意図分析器１２５は、群およびサブ群の統計値および／または計測値を決定することができる。例えば、群意図分析器１２５は、群運動（例えば、経路に沿った停止および開始計数）、群の物理的分裂および再結合率、群半径、サブ群計数（例えば、特定のタスクを実施している、または特定のオブジェクトに合焦しているユーザの数）、サブ群のサイズ、主要群のサイズ、サブ群の分裂および再結合率、平均サブ群メンバ構成率、および／またはサブ群の特性（例えば、性別、年齢、役割、会話率、通信率、質問率等）を決定することができる。

いくつかの実装では、（ユーザが許可を提供する場合）世界カメラ等の二次センサが、ユーザの群に対向することができる。本実施例では、群意図分析器１２５は、群の感情状態の推定値、群の緊張または緩和のレベル、（例えば、情報の流れ、群メンバからの貢献、または言語表現の非言語的資質に基づいた）群議論意図の推定値、様式的群動態（例えば、リーダシップ式、提示式、教示式、または動作式）、および／またはボディランゲージの視覚的翻訳（例えば、身体姿勢または動揺のレベルから非言語的に通信される意図のインジケーション）等の付加的な群特性を決定することができる。

群意図分析器１２５によって収集および／または生成されたデータは、ローカルネットワークを介して共有され、またはクラウド内に記憶され、上記の計測値および特性、または二次特性に関してクエリされることができる。二次特性は、例えば、ウェアラブルデバイスを装着していない群の隠蔽されたメンバの識別、位置特定、または追跡を含むことができる。二次特性はまた、部屋内のゴースト群メンバ（例えば、ウェアラブルデバイスを装着していない人々）および／または拡張仮想化空間内の拡張チーム上で動作するゴースト群メンバを含むことができる。二次特性は、群の一部ではない群動態に影響を及ぼす人物およびオブジェクトの識別、位置特定、または追跡、および／または群の運動パターンの識別も含むことができる。

群意図フィードバック生成器１２６は、群意図分析器１２５によって生産される結果に基づいて、ユーザまたは特定のユーザにフィードバックを提供することができる。例えば、群意図フィードバック生成器１２６は、特定のユーザのディスプレイ上に、ユーザの群に関して、種々の群計測値、例えば、指導に注意を払っているユーザの数、リーダを見ているユーザの数等を生成および提示することができる。本可視化は、ユーザの意図または焦点を示す、ベクトル図またはヒートマップの形態であることができる。例えば、ヒートマップは、各ユーザに関して、リーダまたは指導者に対するそのユーザに関する注意のレベルを示す、ユーザに関する特定のカラーを示すことができる。別の実施例では、ユーザに関するカラーは、ユーザが割り当てられたタスクを実施している効率を表すことができる。このように、可視化を視認するリーダは、注意散漫であるユーザの注意を再獲得する、および／またはユーザをそれらの個別のタスク上に戻すことができる。別の実施例では、図５Ａ－５Ｃに示されるように、ヒートマップは、ユーザの注意面積およびそれらの面積に注意を払っているユーザの相対的な数を示すことができる。

いくつかの実装では、群意図フィードバック生成器１２６は、群意図フィードバック生成器１２６によって生産される結果に基づいて、アクションを実施することができる。例えば、サブ群が、タスクを非効率的に実施している、または注意散漫である場合、群意図フィードバック生成器１２６は、ユーザを異なるタスクまたはサブ群に再割当することができる。特定の実施例では、群意図フィードバック生成器１２６は、順調に実施しているサブ群のリーダを非効率的なサブ群に再割当し、非効率的なサブ群の性能を改良することができる。別の実施例では、タスクが、リソース不足である、例えば、タスクを実施するために十分なメンバを有しない場合、群意図フィードバック生成器１２６は、例えば、そのタスクを実施する際に人間の干渉を引き起こす、過多メンバを有するサブ群から、ユーザをそのサブ群に再割当することができる。

個々のユーザに関して、群意図フィードバック生成器１２６は、警告を生成する、またはリーダまたは他のユーザに、個々のユーザに関するアクションを推奨することができる。例えば、ユーザの意図が、ユーザに割り当てられたタスクから逸脱する場合、群意図フィードバック生成器１２６は、リーダに通知するための警告を生成する、および／または個々のユーザに関するアクション、例えば、新しいタスク、またはユーザが現在のタスクを実施している方法に対する補正を推奨することができる。

群意図フィードバック生成器１２６はまた、群内のそれらのアクティビティに基づいて、ユーザのプロファイルまたはモデルを構築および更新することもできる。例えば、プロファイルまたはモデルは、平均注意レベル、タスク効率、注意散漫物のレベル、ユーザを注意散漫にする傾向があるオブジェクト等の情報を用いて、群内のユーザの挙動を表すことができる。本情報は、将来のセッションの間、群意図フィードバック生成器１２６によって使用され、ユーザが種々のタスクまたは潜在的注意散漫物に反応するであろう方法を予測する、リーダへの警告を先を見越して生成する、適切なタスクをユーザに割り当てる、および／またはユーザを異なるタスクに再割当する時間を決定することができる。

図２Ａ－２Ｃは、それぞれ、単一のオブジェクトへのユーザの群の注意を図示する、例示的注意モデル２００、２２０、および２４０である。図２Ａを参照すると、モデル２００は、全員が同一オブジェクト２１０を見ている、ユーザ２０１－２０４の群を含む。ユーザ２０１に関して示されるように、図２Ａでは、各ユーザ２０１－２０４は、ユーザの頭部姿勢方向を示す、実線矢印２０６と、ユーザの視線方向を示す、破線矢印２０７と、ユーザの腕のジェスチャの方向を示す、いずれかの端部上に円を伴う線２０８とを有する。同一のタイプの矢印／線が、図２Ａ－８に関する同一の情報を示すために使用される。

可視化システムは、頭部姿勢方向が、ＩＭＵを使用して、頭部姿勢を認識し得ることを認識することができる。可視化システムは、眼追跡を使用して、各ユーザの視線方向を認識することもできる。可視化システムはまた、ユーザがそれらの腕を移動している方向を決定するためのユーザジェスチャ検出技法であることもできる。本情報を使用して、可視化システムは、モデル２００に関して、ユーザ２０１－２０４の全員が、オブジェクト２１０を見ていること、およびユーザ２０１－２０４の全員が、同一オブジェクトに手を伸ばしていることを決定することができる。

可視化システムは、本情報を使用して、アクションを実施する、警告を生成する、またはデータを生成し、それを１人またはそれを上回るユーザに提示することができる。例えば、可視化システムは、ユーザ２０１－２０４にタスクを割り当てることができる。特定の実施例では、可視化システムは、ユーザ２０１－２０４に、オブジェクトを拾い上げるタスクを割り当てている場合もある。オブジェクト２１０に対するそれらの相対的な位置と組み合わせた、各ユーザの視線方向および腕方向に基づいて、可視化システムは、ユーザ２０１－０２４が、オブジェクト２１０に手を伸ばしているが、ユーザ２０２が、他のユーザよりもオブジェクトから遠いところに存在することを決定することができる。それに応答して、可視化システムは、他のユーザに、特定の期間にわたって待機する、または各ユーザ２０１－２０４に提供されるカウントダウンが、完了するまで待機するように命令することができる。このように、可視化システムは、ユーザの集合的意図に基づいて、ユーザのタスクを同期することができる。

図２Ｂを参照すると、モデル２２０は、全員が同一オブジェクト２３０を見ている、ユーザ２２１－２２５の群を含む。本実施例では、１人のユーザ２２３が、オブジェクト２３０に向かってジェスチャを行っている。本ユーザ２２３は、群のリーダ、またはオブジェクト２３０について話している提示者または指導者であり得る。別の実施例では、オブジェクト２３０は、ユーザ２２３が他のユーザに説明している、別のオブジェクトを保持するテーブルであることができる。本モデルは、他のユーザの焦点についての情報をユーザ２２３に示すために使用されることができる。本実施例では、他のユーザの全員が、オブジェクト２３０を見ているが、他の実施例では、何人かのユーザは、ユーザ２２３または他の場所を見ている場合もある。そのような場合、ユーザの注意についての情報を有することは、ユーザ２２３が、そのようなユーザの焦点をオブジェクト２３０に、または適切な場合、ユーザ２２３に戻すことに役立つことができる。

図２Ｃを参照すると、モデル２４０は、全員が同一オブジェクト２５０を見ている、ユーザ２４１－２４４の群を含む。本実施例では、１人のユーザ２４２が、オブジェクト２５０に向かってジェスチャを行っている。例えば、ユーザ２４２は、群のリーダまたは指導者であることができ、オブジェクト２５０は、他のユーザが、注視していると仮定されるホワイトボードまたはディスプレイであることができる。モデル２２０と同様に、他のユーザが見ている内容に関する情報は、ユーザ２４２が、他のユーザを適切に集中させることに役立つことができる。

図３Ａおよび３Ｂは、コンテンツおよび人物へのユーザの群の注意、またはコンテンツとの相互作用を図示する、例示的注意モデル３００および３５０である。図３Ａを参照すると、リーダユーザ３１０が、オブジェクト３０５、例えば、ホワイトボード、ディスプレイ、または他のオブジェクトを参照して、ユーザ３２０の群に話している。本実施例では、群は、ユーザの視線を表す破線矢印によって示されるように、オブジェクト３０５への唯一の注意を呈している。

対照的に、図３Ｂでは、モデル３５０は、聴衆の注意の分裂または発散を表す。本実施例では、リーダユーザ３６０が、議論の対象である、オブジェクト３５５の傍に立っている。ユーザ３７０の群の何人かのユーザは、リーダユーザ３６０を見ている一方、他のユーザは、オブジェクト３５５を見ている。ユーザが、リーダユーザ３６０またはオブジェクト３５５に注意を払うべきである場合、可視化システムは、誤ったオブジェクトに注意を払っているユーザに警告する、またはリーダユーザ３６０が、他のユーザを補正することができるように、リーダユーザ３６０に警告することができる。

図４Ａ－４Ｃは、それぞれ、ユーザの群の注意を描写する、ベクトル図４００、４２０、および４４０である。図５Ａ－５Ｃは、それぞれ、図４Ａ－４Ｃのベクトル図に対応する、ユーザ注意のヒートマップ図５００、５２０、および５４０である。ベクトル図４００およびヒートマップ図５００は、図３Ａのモデル３００における、ユーザの群の注意に基づく。同様に、ベクトル図４２０およびヒートマップ図５２０は、図３Ｂのモデル３２０における、ユーザの群の注意に基づく。ベクトル図４４０およびヒートマップ図５４０は、１つまたは２つの特定のオブジェクトへの専念ではなく、多くの異なる面積に集中している、ユーザを含む、発散聴衆の注意に基づく。

ヒートマップ図５００、５２０、および５４０は、２次元で示されるが、３次元ヒートマップを表す。ヒートマップ図は、楕円として示され、ユーザの群内のユーザの注意面積を表す、楕円体を含む。より大きい楕円にわたって提示される、より小さい楕円は、３次元が示される場合、より高いまたはより縦長の楕円体を表す。楕円体の高さは、群内のユーザが、楕円体によって表される面積に払っている注意のレベルを表すことができ、例えば、より縦長の楕円体は、より多くの注意またはより低い注意を有する。図５Ａ－５Ｂに示される楕円体の面積は、ユーザの注意面積を表し、例えば、より広い面積は、ユーザがそれらの注意を集中させたより大きい面積を表す。楕円が、楕円体を表すため、以下の説明は、楕円を楕円体と称する。

図４Ａおよび５Ａを参照すると、ベクトル図４００およびヒートマップ図４２０は、図３Ａのユーザ３２０の群の注意を表す。ベクトル図４００は、群内のユーザの注意を表す、ベクトル４１０のセットを含む。本実施例では、ベクトル図４００は、同一オブジェクト３０５へのユーザの群の唯一の注意を表す。図３Ａを参照して上記に説明されるように、群内の各ユーザは、同一オブジェクトを見ている。

図５Ａのヒートマップ図５００は、各々が、ユーザの正面の面積を表す、複数の楕円体を含む。例えば、オブジェクト３０５は、ユーザの正面のステージまたはテーブル上に存在してもよい。ヒートマップ図５００は、その面積を表し、少なくとも１人のユーザがある期間にわたって視認した、面積の各部分に関する楕円体を含むことができる。各楕円体によって被覆される面積は、ユーザの正面の面積に対応することができる。

ヒートマップ図５００は、所与の期間、例えば、先の５分、１０分、３０分、または別の適切な期間にわたって、ユーザの起伏平均注意を表すことができる。このように、ヒートマップ図５００の楕円体は、ユーザの注意が、変化するにつれて、移動し、サイズを変化させることができる。

本実施例では、ユーザ、例えば、ユーザ３２０が、ヒートマップ図５００を視認し、ユーザ全員が、ユーザ３２０またはオブジェクト３０５に向かって集中していることを決定することができる。したがって、ユーザは、ユーザの焦点をユーザ３２０またはオブジェクト３０５に戻すために、任意のアクションを実施する必要がない場合もある。

図４Ｂおよび５Ｂを参照すると、ベクトル図４２０およびヒートマップ図５２０は、図３Ｂのユーザ３７０の群間の分裂注意を表す。ベクトル図４２０は、群内のユーザの注意を表す、ベクトル４３０のセットを含む。ユーザ４３０のうちの何人かは、オブジェクト３２５を見ている一方、他のユーザは、例えば、オブジェクト３２５について議論している、ユーザ３６０を見ている。ヒートマップ図は、ユーザ３６０が位置する面積を表す、楕円体５３１の第１のセットと、オブジェクト３２５が位置する面積を表す、楕円体５３２の第２のセットとを含む。楕円体５３１の上部における、より小さい面積の楕円体は、それが、他の楕円体よりも高く、楕円体によって表される場所へのより多くの注意を表すため、ユーザ３６０が最も多くの時間を費やした場所を表すことができる。より大きい面積を有する楕円体は、それらの楕円体に関する注意の集約的レベルが、より低いため、ユーザ３０６が移動した可能性がある、またはユーザ３６０がそこに存在しなかったが、群内のユーザが見た可能性がある、より大きい面積を表すことができる。オブジェクト３２５が、全く移動しなかった可能性があるため、最大楕円体５３２の面積は、楕円体５３１のセット内のものよりも小さい。

図４Ｃおよび５Ｃを参照すると、ベクトル図４２０およびヒートマップ図５２０は、ユーザの群間の発散注意を表す。ベクトル図４２０は、群内のユーザの注意を表す、ベクトル４３０のセットを含む。本実施例では、ユーザのうちの何人かは、オブジェクト４４５を見ている一方、他のユーザは、オブジェクト４４５について議論している、ユーザ４８０を見ている。

ヒートマップ図５５０は、ユーザが、所与の期間にわたって、それらの注意を集中していた面積の全てを表す、大きい面積を有する、楕円体５５０を含む。加えて、ヒートマップ図５４０は、ユーザが、より多くの注意を集中させた、例えば、より多くのユーザが、それらの面積内にそれらの注意を集中させた、またはユーザが、より長い期間にわたって、それらの面積への注意を集中させた、より小さい面積を表す、楕円体５５１－５５３を含む。本ヒートマップ図を視認するユーザは、ユーザが、ユーザ４８０またはオブジェクト４４５のいずれかへ十分に集中していないことを学習することができ、ユーザの注意を再獲得するために、提示または指導を中断し得る。別の実施例では、可視化システムは、集約的注意および楕円体間の視差に基づいて、ユーザが、同一オブジェクトに集中していないことを決定し、ユーザ４８０またはユーザの群に対する警告を生成することができる。

図６は、２人のユーザの注意が、共通オブジェクト上にある、例示的注意モデル６００および６５０である。モデル６００は、オブジェクト６１０を見ている、かつそれに向かってジェスチャを行っている、２人のユーザ６２１および６２２を表す。モデル６５０は、オブジェクト６１０ではなく、相互を見ている、かつそれに向かってジェスチャを行っている、２人のユーザ６７１および６７２を表す。

図７は、２人のユーザ７２１および７２２の注意が、共通オブジェクト７１０上にある、例示的注意モデル７００である。本実施例では、ユーザ７２２の注意は、オブジェクト７１０の片側にあり、ユーザ７２２が、オブジェクト７１０を見ているという信頼度レベルは、視線または眼追跡のみを使用すると、ユーザ７２１のものよりも低くあり得る。しかしながら、ユーザ７２２が、オブジェクト７１０に向かってジェスチャを行う場合、これは、信頼度を増加させ得る。

図８は、相互ユーザ対ユーザ注意が存在する、例示的注意モデル８００である。特に、ユーザ８１１は、別のユーザ８２２を見ており、ユーザ８２２は、ユーザ８１１を見ている。

図９は、ユーザの群内の１人またはそれを上回るユーザの意図を決定し、それに応じて作用するための例示的プロセス９００のフローチャートである。本プロセスは、例えば、図１Ａの可視化システム１２０によって実施されることができる。

本システムは、共有仮想空間内のユーザの群に関して、ユーザの群内のユーザのうちの２人またはそれを上回るユーザの各々に関して、個別の目的を識別する（９０２）。共有仮想空間は、例えば、拡張現実を使用する、実空間または環境、またはアバタ、ゲームプレーヤ、または実人物を表す他のアイコンまたは図形を使用する、仮想空間を含むことができる。

ユーザに関する目的は、ユーザによって実施されるタスクであることができる。例えば、リーダは、群内の個々のユーザに、またはユーザのサブ群に、タスクを割り当てることができる。別の実施例では、本システムは、タスクを、ランダムに、疑似ランダムに、またはユーザに関するプロファイルに基づいて（例えば、先のタスクを実施する際のタスク効率または注意散漫物のレベル等の先の性能に基づいて）、ユーザに割り当てることができる。

ユーザの目的は、対象オブジェクト、例えば、物理的オブジェクトまたは仮想オブジェクトに注意を払うことであることができる。対象オブジェクトは、人物、例えば、指導者または提示者、ディスプレイまたはホワイトボード、手術が実施されている人物、実演または修復されているオブジェクト、または別のタイプのオブジェクトであることができる。本実施例では、対象オブジェクトは、リーダによって、またはシステムによって、規定されることができる。例えば、本システムは、対象オブジェクトを見ているユーザの量、例えば、５０％、７５％等の少なくとも閾値比率に基づいて、対象オブジェクトを決定することができる。

本システムは、複数の入力に基づいて、群内の２人またはそれを上回るユーザの各々に関して、個別の意図を決定する（９０４）。複数の入力は、異なる入力モダリティを有する複数のセンサからであることができる。例えば、センサは、１つまたはそれを上回る結像システム、例えば、外向きに面した結像システムおよび内向きに面した結像システム、環境センサ、および／または他の適切なセンサを含むことができる。センサのうちの少なくともいくつかは、ユーザが、共有仮想空間内に参加することを可能にする、ユーザのデバイス、例えば、上記に説明されるようなウェアラブルシステムの一部であることができる。他のセンサは、いくつかの実施例を挙げると、仮想空間のマップおよび／またはオブジェクト認識装置を含むことができる。

意図は、それとユーザが相互作用する可能性が高い標的オブジェクト、および標的オブジェクトとのユーザの相互作用を定義することができる。例えば、ユーザが、標的オブジェクトに向かって歩いている、かつオブジェクトを見ている場合、本システムは、ユーザが、標的オブジェクトと相互作用する可能性が高いことを決定することができる。

複数の入力は、ユーザの視線を規定する、視線データと、ユーザの手ジェスチャを規定する、ジェスチャデータと、ユーザが移動している方向を規定する、方向データとを含むことができる。例えば、本データは、上記に説明されるように、ユーザのウェアラブルデバイスから受信されることができる。そのようなデータを使用することは、システムが、ユーザの意図をより正確に決定することを可能にする。

２人またはそれを上回るユーザの各々に関して、本システムは、ユーザが、ユーザの目的を実施しているかどうかを決定する（９０６）。本システムは、ユーザに関して決定された意図とユーザの目的との間の比較に基づいて、本決定を行うことができる。例えば、決定された意図（例えば、特定のオブジェクトを拾い上げる）が、ユーザの目的（また、標的オブジェクトを拾い上げる）と合致する場合、本システムは、ユーザがユーザの目的を実施している、例えば、遂行または達成していることを決定することができる。ユーザが、例えば、異なるオブジェクトと相互作用するための意図を伴って、標的オブジェクトから離れて移動している場合、本システムは、ユーザが、ユーザの目的を実施していないことを決定することができる。

別の実施例では、ユーザの目的は、実演または指導者を注視することであってもよい。本システムは、各ユーザが見ている標的オブジェクトを決定し、実際に、実演を注視しているユーザの数、指導者または提示者を注視しているユーザの数、および／または指導または提示の対象である、オブジェクトを注視しているユーザの数を決定することができる。本実施例では、ユーザに関する目的は、指導者または提示者ではなく、対象オブジェクトにより多くの注意を払うことであってもよい。本システムは、例えば、各々を見ているユーザの数および／または各ユーザが各々を見ている時間の比率に基づいて、対象オブジェクトおよび／または指導者または提示者に対するユーザの群の注意のレベルを決定することができる。本システムは、次いで、ユーザまたはユーザの群に関する注意レベルに基づいて、ユーザが、個別に、または群として、本目的を実施しているかどうかを決定することができる。

本システムは、ユーザの群に関する出力データを生成する（９０８）。出力データは、特性、統計値、計測値、および／または個々のユーザまたはユーザの群のステータスを含むことができる。例えば、特定のユーザが、ユーザの目的を実施していない場合、出力データは、特定のユーザが誰であるかと、ユーザが目的を実施していないことと、その目的とを示すことができる。出力データは、それらの目的を実施しているユーザの数、例えば、ユーザがそれらの目的を実施している（例えば、提示者または対象オブジェクトを見ている）ユーザの数または比率、平均群移動、タスク失敗に関する潜在性等を示すことができる。

いくつかの実装では、出力データは、グラフまたはチャートを含むことができる。例えば、本システムは、群に関して、それらの目的を実施しているユーザの量を示す、ヒートマップを生成することができる。例えば、ヒートマップは、ユーザが目的を実施しているレベルを示す、カラーまたは色合いの範囲を含むことができる。ヒートマップは、各ユーザに関して、ユーザを表す要素を含むことができ、その要素は、ユーザがユーザの目的を実施しているレベルに合致する、カラーにおいて提示されることができる。

本システムは、１人またはそれを上回るユーザの各々に関して、デバイスにおける提示に関する出力データを提供する（９１０）。例えば、本システムは、出力データを群のリーダに提供することができる。本実施例では、ユーザは、データに基づいて、例えば、１人またはそれを上回るユーザの意図を補正するために、アクションを講じることができる。

いくつかの実装では、本システムは、出力データに基づいて、アクションを講じることができる。例えば、本システムは、それらの目的を実施していないユーザから、それらの目的をすでに実施した他のユーザに、タスクを再割当する等、補正または改良アクションを実施することができる。別の実施例では、本システムは、いくつかの群タスクが、リソースが不足であることを決定し、他のユーザをそのサブ群に再割当することができる。

提示または指導環境では、本システムは、ユーザの少なくとも閾値量（例えば、数または比率）が、注意散漫である、または別様に対象オブジェクトに注意を払っていないことを決定し得る。本実施例では、本システムは、例えば、対象オブジェクトに注意を払うように、それらのディスプレイ上に、通知を提示することによって、ユーザに注意を払わせるためのアクションを実施することができる。

本明細書に説明される、主題および機能的動作の実施形態は、本明細書に開示される構造およびそれらの構造的均等物を含む、デジタル電子回路網内で、有形に具現化されるコンピュータソフトウェアまたはファームウェア内で、コンピュータハードウェア内で、またはそれらのうちの１つまたはそれを上回るものの組み合わせにおいて実装されることができる。本明細書に説明される主題の実施形態は、１つまたはそれを上回るコンピュータプログラム、すなわち、データ処理装置による実行のため、またはその動作を制御するために、有形非一過性プログラム搬送装置上にエンコードされる、コンピュータプログラム命令のうちの１つまたはそれを上回るモジュールとして、実装されることができる。代替として、または加えて、プログラム命令は、データ処理装置による実施にとって好適な受信機装置への伝送のための情報をエンコードするために生成される、人工的に生成される伝搬信号、例えば、機械生成される電気的、光学、または電磁信号上にエンコードされることができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはそれらのうちの１つまたはそれを上回るものの組み合わせであることができる。

用語「データ処理装置」は、データ処理ハードウェアを指し、一例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するための全ての種類の装置、デバイス、および機械を含有する。装置はまた、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）である、またはさらにそれを含むことができる。装置は、随意に、ハードウェアに加えて、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つまたはそれを上回るものの組み合わせを構成する、コードを含むことができる。

プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとも称される、またはそれとして説明され得る、コンピュータプログラムは、コンパイラ型またはインタプリタ型言語、または宣言型または手続型言語を含む、任意の形態のプログラミング言語で記述されることができ、これは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境内の使用にとって好適な他のユニットとしてを含む、任意の形態で展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、そうである必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語ドキュメント内に記憶される、１つまたはそれを上回るスクリプト内に、当該プログラム専用の単一のファイル内に、または複数の協調ファイル、例えば、１つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの施設に位置する、または複数の施設を横断して分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開されることができる。

本明細書に説明されるプロセスおよび論理フローは、１つまたはそれを上回るコンピュータプログラムを実行する、１つまたはそれを上回るプログラマブルコンピュータによって実施され、入力データ上で動作させ、出力を生成することによって、機能を実施することができる。本プロセスおよび論理フローはまた、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）等の特殊目的論理回路網によって実施されることもでき、装置はまた、それとして実装されることもできる。

コンピュータプログラムの実行にとって好適なコンピュータは、一例として、汎用または特殊目的マイクロプロセッサ、またはその両方、または任意の他の種類の中央処理ユニットを含む。概して、中央処理ユニットは、読取専用メモリまたはランダムアクセスメモリ、またはその両方から、命令およびデータを受信するであろう。コンピュータの不可欠な要素は、命令を実施または実行するための中央処理ユニットと、命令およびデータを記憶するための１つまたはそれを上回るメモリデバイスである。概して、コンピュータはまた、データを記憶するための１つまたはそれを上回る大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含む、またはそれらからデータを受信する、またはそれらにデータを転送する、またはその両方のために動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、いくつか例を挙げると、別のデバイス、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、可搬型オーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯用記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ内に埋設されることができる。

コンピュータプログラム命令およびデータを記憶するために好適なコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、一例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスと、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスクと、光磁気ディスクと、ＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクとを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完される、またはその中に組み込まれ得る。

ユーザとの相互作用を提供するために、本明細書に説明される主題の実施形態は、ユーザに情報を表示するための表示デバイス、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、それによってユーザが、コンピュータに入力を提供し得る、キーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有する、コンピュータ上に実装されることができる。他の種類のデバイスが、ユーザとの相互作用を提供するために、同様に使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックであることができ、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形態で受信されることができる。加えて、コンピュータは、例えば、ウェブブラウザから受信される要求に応答して、ユーザのデバイス上のウェブブラウザにウェブページを送信することによって、ユーザによって使用されるデバイスにドキュメントを送信し、それからドキュメントを受信することによって、ユーザと相互作用することができる。

本明細書に説明される主題の実施形態は、バックエンドコンポーネント、例えば、データサーバを含む、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含む、またはフロントエンドコンポーネント、例えば、それを通してユーザが、本明細書に説明される主題の実装と相互作用し得る、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ、または１つまたはそれを上回るそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。システムのコンポーネントは、デジタルデータ通信、例えば、通信ネットワークの任意の形態または媒体によって相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）、例えば、インターネットを含む。

コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互から遠隔にあり、典型的には、通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、個別のコンピュータ上で起動され、相互にクライアント－サーバ関係を有する、コンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、例えば、クライアントとして作用する、ユーザデバイスと相互作用するユーザにデータを表示し、それからユーザ入力を受信する目的のために、データ、例えば、ＨＴＭＬページをユーザデバイスに伝送する。ユーザデバイスにおいて生成されたデータ、例えば、ユーザ相互作用の結果は、サーバにおいて、ユーザデバイスから受信されることができる。

１つのそのようなタイプのコンピュータの実施例が、図１０に示され、これは、汎用コンピュータシステム１０００の概略図を示す。システム１０００は、１つの実装に従って、先に説明されるコンピュータ実装方法のうちのいずれかと関連付けて説明される、動作のために使用されることができる。システム１０００は、プロセッサ１０１０と、メモリ１０２０と、記憶デバイス１０３０と、入／出力デバイス１０４０とを含む。コンポーネント１０１０、１０２０、１０３０、および１０４０の各々は、システムバス１０５０を使用して、相互接続される。プロセッサ１０１０は、システム１０００内での実行のための命令を処理することが可能である。一実装では、プロセッサ１０１０は、シングルスレッドプロセッサである。別の実装では、プロセッサ１０１０は、マルチスレッドプロセッサである。プロセッサ１０１０は、メモリ１０２０内または記憶デバイス１０３０上に記憶される、命令を処理し、入／出力デバイス１０４０上のユーザインターフェースのためのグラフィック情報を表示することが可能である。

メモリ１０２０は、システム１０００内に情報を記憶する。一実装では、メモリ１０２０は、コンピュータ可読媒体である。一実装では、メモリ１０２０は、揮発性メモリユニットである。別の実装では、メモリ１０２０は、不揮発性メモリユニットである。

記憶デバイス１０３０は、システム１０００のための大容量記憶を提供することが可能である。一実装では、記憶デバイス１０３０は、コンピュータ可読媒体である。種々の異なる実装では、記憶デバイス１０３０は、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイスであってもよい。

入／出力デバイス１０４０は、システム１０００のための入／出力動作を提供する。一実装では、入／出力デバイス１０４０は、キーボードおよび／またはポインティングデバイスを含む。別の実装では、入／出力デバイス１０４０は、グラフィカルユーザインターフェースを表示するための表示ユニットを含む。

本明細書は、多くの具体的な実装の詳細を含有するが、これらは、請求され得る内容の範囲への限定として解釈されるべきではなく、むしろ、特定の実施形態に特有であり得る、特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明される、ある特徴はまた、単一の実施形態における組み合わせにおいて実装されることができる。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムモジュールおよびコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品の中にパッケージ化され得ることを理解されたい。

本主題の特定の実施形態が、説明されている。他の実施形態は、以下の請求項の範囲内にある。例えば、請求項内に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。一実施例として、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも示される特定の順序または連続的順序を要求しない。ある場合には、マルチタスクおよび並列処理が、有利であり得る。

請求される内容は、以下の通りである。

Claims (20)

1. １つまたはそれを上回るデータ処理装置によって実施される方法であって、前記方法は、
   共有仮想空間内のユーザの群に関して、前記ユーザの群内の前記ユーザのうちの２人またはそれを上回るユーザの各々に関して個別の目的を識別することと、
   前記２人またはそれを上回るユーザの各々に関して、
   異なる入力モダリティを有する複数のセンサからの入力に基づいて、前記ユーザの個別の意図を決定することであって、前記複数のセンサの少なくとも一部は、前記ユーザが、前記共有仮想空間内に参加することを可能にする前記ユーザのデバイスのセンサである、ことと、
   前記個別の意図に基づいて、前記ユーザが、前記ユーザに関する前記個別の目的を実施しているかどうかを決定することと、
   前記ユーザの群に関して、前記２人またはそれを上回るユーザの各々に関する前記個別の目的、および前記２人またはそれを上回るユーザの各々に関する前記個別の意図に基づいて、出力データを生成することと、
   前記ユーザの群内の１人またはそれを上回るユーザの各々の個別のデバイスに、前記１人またはそれを上回るユーザの各々の前記個別のデバイスにおける提示に関する前記出力データを提供することと
   を含む、方法。
2. 前記２人またはそれを上回るユーザのうちの少なくとも１人のユーザに関する前記個別の目的は、（ｉ）前記少なくとも１人のユーザによって実施されることになるタスク、または（ｉｉ）それに対して前記少なくとも１人のユーザが見ているべきである対象オブジェクトのうちの少なくとも１つを備える、請求項１に記載の方法。
3. 前記２人またはそれを上回るユーザの各々に関して前記個別の目的を識別することは、前記対象オブジェクトとして、それに対して前記ユーザの群内の前記ユーザの少なくとも閾値量が見ている標的を決定することを含む、請求項２に記載の方法。
4. 各ユーザの前記個別のデバイスは、ウェアラブルデバイスを備え、
   前記ユーザの前記個別の意図を決定することは、
   前記ユーザの前記ウェアラブルデバイスから、前記ユーザの視線を規定する視線データ、前記ユーザの手ジェスチャを規定するジェスチャデータ、および前記ユーザが移動している方向を規定する方向データを受信することと、
   前記ユーザの前記個別の意図として、前記視線データ、前記ジェスチャデータ、および前記方向データに基づいて、標的オブジェクトに関して、前記ユーザの意図を決定することと
   を含む、請求項１に記載の方法。
5. 前記２人またはそれを上回るユーザの各々に関する前記個別の目的、および２人またはそれを上回るユーザの各々に関する前記個別の意図に基づいて、前記出力データを生成することは、特定のユーザが、前記特定のユーザに関する前記個別の目的を実施していないことを決定することを含み、
   前記ユーザの群内の１人またはそれを上回るユーザの各々の前記デバイスに、前記１人またはそれを上回るユーザの各々の前記デバイスにおける提示に関する前記出力データを提供することは、リーダユーザのデバイスに、前記特定のユーザを示すデータおよび前記特定のユーザが、前記特定のユーザに関する前記個別の目的を実施していないことを示すデータを提供することを含む、
   請求項１に記載の方法。
6. 前記出力データは、前記ユーザの前記個別の目的を実施している前記ユーザの群内のユーザの量を示すヒートマップを備える、請求項１に記載の方法。
7. 前記出力データに基づいて、アクションを実施することをさらに含む、請求項１に記載の方法。
8. 前記アクションは、前記出力データに基づいて、１人またはそれを上回るユーザを異なる目的に再割当することを含む、請求項７に記載の方法。
9. コンピュータ実装システムであって、
   １つまたはそれを上回るコンピュータと、
   １つまたはそれを上回るコンピュータメモリデバイスであって、前記１つまたはそれを上回るコンピュータメモリデバイスは、前記１つまたはそれを上回るコンピュータと相互動作可能に結合され、１つまたはそれを上回る命令を記憶する有形非一過性機械可読媒体を有し、前記１つまたはそれを上回る命令は、前記１つまたはそれを上回るコンピュータによって実行されるとき、
   共有仮想空間内のユーザの群に関して、前記ユーザの群内の前記ユーザのうちの２人またはそれを上回るユーザの各々に関して個別の目的を識別することと、
   前記２人またはそれを上回るユーザの各々に関して、
   異なる入力モダリティを有する複数のセンサからの入力に基づいて、前記ユーザの個別の意図を決定することであって、前記複数のセンサの少なくとも一部は、前記ユーザが、前記共有仮想空間内に参加することを可能にする前記ユーザのデバイスのセンサである、ことと、
   前記個別の意図に基づいて、前記ユーザが、ユーザに関する前記個別の目的を実施しているかどうかを決定することと、
   前記ユーザの群に関して、前記２人またはそれを上回るユーザの各々に関する前記個別の目的および前記２人またはそれを上回るユーザの各々に関する前記個別の意図に基づいて、出力データを生成することと、
   前記ユーザの群内の１人またはそれを上回るユーザの各々の個別のデバイスに、前記１人またはそれを上回るユーザの各々の前記個別のデバイスにおける提示に関する前記出力データを提供することと
   を含む動作を実施する、１つまたはそれを上回るコンピュータメモリデバイスと
   を備える、コンピュータ実装システム。
10. 前記２人またはそれを上回るユーザのうちの少なくとも１人のユーザに関する前記個別の目的は、（ｉ）前記少なくとも１人のユーザによって実施されることになるタスク、または（ｉｉ）前記少なくとも１人のユーザが見ているべきである対象オブジェクトのうちの少なくとも１つを備える、請求項９に記載のコンピュータ実装システム。
11. 前記２人またはそれを上回るユーザの各々に関して前記個別の目的を識別することは、前記対象オブジェクトとして、それに対して前記ユーザの群内の前記ユーザの少なくとも閾値量が見ている標的を決定することを含む、請求項１０に記載のコンピュータ実装システム。
12. 各ユーザの前記個別のデバイスは、ウェアラブルデバイスを備え、
    前記ユーザの前記個別の意図を決定することは、
    前記ユーザの前記ウェアラブルデバイスから、前記ユーザの視線を規定する視線データ、前記ユーザの手ジェスチャを規定するジェスチャデータ、および前記ユーザが移動している方向を規定する方向データを受信することと、
    前記ユーザの前記個別の意図として、前記視線データ、前記ジェスチャデータおよび前記方向データに基づいて、標的オブジェクトに関して、前記ユーザの意図を決定することと
    を含む、請求項９に記載のコンピュータ実装システム。
13. 前記２人またはそれを上回るユーザの各々に関する前記個別の目的および２人またはそれを上回るユーザの各々に関する前記個別の意図に基づいて、前記出力データを生成することは、特定のユーザが、前記特定のユーザに関する前記個別の目的を実施していないことを決定することを含み、
    前記ユーザの群内の１人またはそれを上回るユーザの各々の前記デバイスに、前記１人またはそれを上回るユーザの各々の前記デバイスにおける提示に関する前記出力データを提供することは、リーダユーザのデバイスに、前記特定のユーザを示すデータおよび前記特定のユーザが、前記特定のユーザに関する前記個別の目的を実施していないことを示すデータを提供することを含む、
    請求項９に記載のコンピュータ実装システム。
14. 前記出力データは、前記ユーザの前記個別の目的を実施している前記ユーザの群内のユーザの量を示すヒートマップを備える、請求項９に記載のコンピュータ実装システム。
15. 前記動作は、前記出力データに基づいて、アクションを実施することを含む、請求項９に記載のコンピュータ実装システム。
16. 前記アクションは、前記出力データに基づいて、１人またはそれを上回るユーザを異なる目的に再割当することを含む、請求項１５に記載のコンピュータ実装システム。
17. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、１つまたはそれを上回る命令を記憶しており、前記１つまたはそれを上回る命令は、
    共有仮想空間内のユーザの群に関して、前記ユーザの群内のユーザのうちの２人またはそれを上回るユーザの各々に関して個別の目的を識別することと、
    ２人またはそれを上回るユーザの各々に関して、
    異なる入力モダリティを有する複数のセンサからの入力に基づいて、前記ユーザの個別の意図を決定することであって、前記複数のセンサの少なくとも一部は、前記ユーザが、前記共有仮想空間内に参加することを可能にする前記ユーザのデバイスのセンサである、ことと、
    前記個別の意図に基づいて、前記ユーザが、ユーザに関する前記個別の目的を実施しているかどうかを決定することと、
    前記ユーザの群に関して、前記２人またはそれを上回るユーザの各々に関する前記個別の目的および前記２人またはそれを上回るユーザの各々に関する前記個別の意図に基づいて、出力データを生成することと、
    前記ユーザの群内の１人またはそれを上回るユーザの各々の個別のデバイスに、前記１人またはそれを上回るユーザの各々の前記個別のデバイスにおける提示に関する前記出力データを提供することと
    を含む動作を実施するように、コンピュータシステムによって実行可能である、非一過性コンピュータ可読媒体。
18. 前記２人またはそれを上回るユーザのうちの少なくとも１人のユーザに関する前記個別の目的は、（ｉ）少なくとも１人のユーザによって実施されることになるタスク、または（ｉｉ）前記少なくとも１人のユーザが見ているべきである対象オブジェクトのうちの少なくとも１つを備える、請求項１７に記載の非一過性コンピュータ可読媒体。
19. 前記２人またはそれを上回るユーザの各々に関して前記個別の目的を識別することは、前記対象オブジェクトとして、それに対して前記ユーザの群内の前記ユーザの少なくとも閾値量が見ている標的を決定することを含む、請求項１８に記載の非一過性コンピュータ可読媒体。
20. 各ユーザの前記個別のデバイスは、ウェアラブルデバイスを備え、
    前記ユーザの前記個別の意図を決定することは、
    前記ユーザの前記ウェアラブルデバイスから、前記ユーザの視線を規定する視線データ、前記ユーザの手ジェスチャを規定するジェスチャデータ、および前記ユーザが移動している方向を規定する方向データを受信することと、
    前記ユーザの前記個別の意図として、前記視線データ、前記ジェスチャデータ、および前記方向データに基づいて、標的オブジェクトに関して、前記ユーザの意図を決定することと
    を含む、請求項１７に記載の非一過性コンピュータ可読媒体。

Images