JP5980432B2 - 拡張現実見本の生成 - Google Patents

Description

拡張現実（ＡＲ）は、エンドユーザに対して表示するための、リアルタイムに現実のビデオおよびイメージに混ぜ合わされたコンピュータグラフィックスオブジェクトを含む、現実世界とコンピュータが生成したデータとを組み合わせることに焦点を当てる。スマートフォン、データネットワークへのアクセス可能性、インターネットおよびその他のネットワークを介するサービスなどのパーソナル電子装置の普及により、ますます多くのＡＲアプリケーションのアクセスおよび使用が可能となった。

ＡＲアプリケーションおよびサービスがますます一般的になるにつれて、所与のいかなるコンテキストでも利用可能な拡張の数が急増することになる。これらの拡張は、視覚的、聴覚的、および触覚的なものでよく、いくつかの拡張は、相異なる様式にわたることができる。拡張が特定の場所および時間に関するものであれ、特定のオブジェクトまたはオブジェクトの集合に関するものであれ、あるいは人物または人物の集合に関するものであれ、拡張の数は、ユーザがそれらを処理する能力を圧倒する可能性がある。

多数の拡張が拡張現実装置上に表示されるとき、ユーザが圧倒され、所望の拡張を有意義かつ容易に検討するユーザの能力が妨げられる能性がある。例えば、ニューヨークのタイムズスクエアを通って歩くユーザには、企業、政府機関、ソーシャルグループ、およびエンドユーザからの数百万の拡張（例えば、仮想掲示板、レストランレビュー、企業広告、アートワーク、交通指示、メッセージ、グラフィティなど）が殺到する可能性がある。同様に、シティパークを通って歩くユーザは、グラス上のスペースを求めてひしめく数万の拡張現実アバタを見る可能性がある。別の例では、白鯨の本をぱらぱらとめくっているユーザは、本を読んだ他の数千人からの注釈が書き込まれたページを読むことができないことがある。

様々な実施形態では、拡張の集合を表す１つまたは複数の操作可能な「見本」またはクラスタへの拡張のクラスタ化およびレンダリングのためのシステム、方法、およびコンピュータ可読媒体が開示される。

一実施形態では、拡張現実システムは、ユーザまたはユーザの装置に関連するコンテキストを受信することができる。コンテキストは、ユーザの位置、時刻、ユーザの個人的選好、ユーザが加入する拡張現実サービス、ユーザがポインティングまたは選択しているイメージまたはオブジェクトなどの、ユーザの環境についての物理情報および仮想情報を含むことができる。システムをユーザの装置、またはユーザが加入しているサービスに関連付けることができる。

様々な実施形態では、拡張システムは、コンテキストに基づいて拡張を決定し、取り出すことができる。さらに、拡張システムは、取り出した拡張をクラスタに自動的にグループ化し、各クラスタについてレンダリングフォーマットを決定し、グループ化した拡張を以前にレンダリングした拡張から除去し、クラスタをユーザに対する見本としてレンダリングすることができる。

一実施形態では、拡張をクラスタにグループ化し、レンダリングフォーマットを決定することは、拡張およびコンテキストに基づくことができる。例えば、システムは、拡張およびコンテキストを解析し、概念クラスタ化アルゴリズムを求めることができる。概念クラスタ化アルゴリズムは、拡張をクラスタにグループ化し、グループ化した拡張のプロパティを記述する概念にクラスタを関連付けることができる。クラスタのレンダリングフォーマットは、関連する概念から導出することができる。別の実施形態では、レンダリングフォーマットは、グループ化した拡張の外観、挙動、および対話性などのクラスタのいくつかの側面を示すことができる。したがって、クラスタがユーザに対して見本としてレンダリングされるとき、見本は、グループ化した拡張の説明的で、リッチな、情報を与える、意味深い概念的概要を提供することができる。

例えば、シティパーク内に群がる、世界中の国々のユーザを表す１万の拡張現実アバタを表示するのではなく、アバタをちょうど１０個の見本アバタにグループ化することができる。各見本アバタを、異なる国の国旗で飾ることができ、それが、示される国からのずっと多くのアバタのセットの「代理を務める」ことができる。したがって、１万のアバタに圧倒されるのではなく、ユーザは、１０個の見本アバタを見て、見本アバタのうちの１つと通信することを判断することができる。

多数の拡張をより少ない見本のセットにクラスタ化することは、ユーザに対する感覚的および認知的負荷を軽減しながら、コンテキストで決定され、またはユーザが決定した軸に沿った拡張現実環境の豊かさおよび意味を維持する。

前述の概要は、例示的なものに過ぎず、いかなる形でも限定を意図しない。前述の例示的態様、実施形態、および特徴に加えて、図面および以下の詳細な説明を参照することによって別の態様、実施形態、および特徴が明らかとなるであろう。

添付の図面と共に行われる以下の説明および添付の特許請求の範囲から、本開示の前述の特徴およびその他の特徴がより完全に明らかとなるであろう。これらの図面は本開示によるいくつかの実施形態だけを示し、したがって本開示の範囲の限定と見なすべきではないことを理解して、添付の図面を使用することにより、さらに具体的かつ詳細に本開示を説明する。

本開示の様々な実施形態を実装することのできる例示的コンピューティングデバイスを示すブロック図である。 本開示の様々な実施形態を実装することのできる例示的ネットワーク環境を示す図である。 拡張現実システムの例示的実施形態を示す図である。 例示的拡張現実ディスプレイを示す図である。 コンピューティングデバイス上で表示される例示的拡張を示す図である。 拡張のクラスタへの例示的グループ化を示す図である。 見本の例示的レンダリングフォーマットを示す図である。 拡張がクラスタ化され、得られる見本がレンダリングされる前および後の拡張現実ビューの一例を示す図である。 拡張をグループ化し、得られる見本をレンダリングする例示的動作手順を示す図である。

以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。図面では、類似のシンボルは通常、文脈が別段に規定しない限り類似の構成要素を特定する。詳細な説明、図面、および特許請求の範囲で説明される例示的実施形態は、限定を意味しない。本明細書で提示される主題の趣旨または範囲から逸脱することなく、その他の実施形態を利用することができ、その他の変更を行うことができる。本明細書で一般的に説明され、図で示される本開示の態様は、多種多様な異なる構成で構成、置換、結合、分離、および設計することができ、そのすべてが本明細書で明示的に企図されることが容易に理解されよう。

本開示は一般に、とりわけ、拡張現実に関する方法、装置、システム、装置、およびコンピュータプログラム製品に引きつけられる。簡潔に述べると、いくつかの拡張を見本と呼ばれるクラスタに自動的にグループ化し、見本を記述フォーマットでレンダリングすることを含む、拡張現実データを処理するシステムに関する技術が一般に説明される。

図１に、本開示の様々な実施形態を実装することのできる例示的コンピューティングデバイス１００を示すブロック図を示す。非常に基本的な構成１０２では、コンピューティングデバイス１００は通常、１つまたは複数のプロセッサ１０４およびシステムメモリ１０６を含む。メモリバス１０８を使用して、プロセッサ１０４とシステムメモリ１０６との間で通信することができる。

所望の構成に応じて、プロセッサ１０４は、限定はしないが、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せを含む任意のタイプでよい。プロセッサ１０４は、レベル１キャッシュ１１０やレベル２キャッシュ１１２などのもう１つのレベルのキャッシング、プロセッサコア１１４、およびレジスタ１１６を含むことができる。例示的プロセッサコア１１４は、演算論理装置（ＡＬＵ）、浮動小数点装置（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはそれらの任意の組合せを含むことができる。プロセッサ１０４と共に例示的メモリコントローラ１１８も使用することができ、または、いくつかの実装では、メモリコントローラ１１８はプロセッサ１０４の内部でよい。

所望の構成に応じて、システムメモリ１０６は、限定はしないが、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組合せを含む任意のタイプでよい。システムメモリ１０６は、オペレーティングシステム１２０、１つまたは複数のアプリケーション１２２、プログラムデータ１２４を含むことができる。アプリケーション１２２は、図３〜図９に記載の動作に関して説明されるものを含む本明細書に記載の機能を実施するように構成される拡張現実プロセス１２６を含むことができる。プログラムデータ１２４は、本明細書に記載されたような拡張現実グループ化およびレンダリング技法を用いた動作にとって有用であることがある拡張データ１２８を含むことができる。いくつかの実施形態では、拡張をクラスタにグループ化することができ、次いでクラスタが概念的フォーマットを使用して見本としてレンダリングされるように、オペレーティングシステム１２０上のプログラムデータ１２４と共に動作するようにアプリケーション１２２を構成することができる。この記載の基本構成１０２が、図１で内部の破線内の構成要素によって示されている。

コンピューティングデバイス１００は、追加の特徴または機能と、基本構成１０２と任意の必要な装置およびインターフェースとの間の通信を容易にする追加のインターフェースとを有することができる。例えば、バス／インターフェースコントローラ１３０を使用して、ストレージインターフェースバス１３４を介して基本構成１０２と１つまたは複数のデータ記憶装置１３２との間の通信を容易にすることができる。データ記憶装置１３２は、取外し式記憶装置１３６、非取外し式記憶装置１３８、またはそれらの組合せでよい。取外し式記憶装置および非取外し式記憶装置の例は、いくつかの例を挙げれば、フレキシブルディスクドライブやハードディスクドライブ（ＨＤＤ）などの磁気ディスク装置、コンパクトディスク（ＣＤ）ドライブやデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、固体ドライブ（ＳＳＤ）、およびテープドライブを含む。例示的コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報の記憶のための任意の方法または技術で実装された、揮発性および不揮発性の、取外し式および非取外し式媒体を含むことができる。

システムメモリ１０６、取外し式記憶装置１３６、および非取外し式記憶装置１３８は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、限定はしないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、またはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）、またはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、またはその他の磁気記憶装置、あるいは所望の情報を格納するのに使用することができ、コンピューティングデバイス１００でアクセスすることできる任意のその他の媒体を含む。そのような任意のコンピュータ記憶媒体はコンピューティングデバイス１００の部分でよい。

コンピューティングデバイス１００はまた、バス／インターフェースコントローラ１３０を介する様々なインターフェース装置（例えば、出力装置１４２、周辺インターフェース１４４、および通信装置１４６）から基本構成１０２への通信を容易にするインターフェースバス１４０をも含むことができる。例示的出力装置１４２は、グラフィック処理ユニット１４８およびオーディオ処理ユニット１５０を含み、１つまたは複数のＡ／Ｖポート１５２を介してディスプレイやスピーカなどの様々な外部装置に通信するようにグラフィック処理ユニット１４８およびオーディオ処理ユニット１５０を構成することができる。例示的周辺インターフェース１４４は、シリアルインターフェースコントローラ１５４またはパラレルインターフェースコントローラ１５６を含み、１つまたは複数のＩ／Ｏポート１５８を介して入力装置（例えば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など）やその他の周辺装置（例えば、プリンタ、スキャナなど）などの外部装置と通信するようにシリアルインターフェースコントローラ１５４またはパラレルインターフェースコントローラ１５６を構成することができる。例示的通信装置１４６はネットワークコントローラ１６０を含み、１つまたは複数の通信ポート１６４を経由して、ネットワーク通信リンクを介して１つまたは複数のその他のコンピューティングデバイス１６２との通信を容易にするようにネットワークコントローラ１６０を構成することができる。

ネットワーク通信リンクは通信媒体の一例でよい。通信媒体は通常、搬送波やその他の移送機構などの被変調データ信号中のコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータによって実施することができ、任意の情報配信媒体を含むことができる。「被変調データ信号」は、信号中に情報を符号化するような方式でその特徴のうちの１つまたは複数を設定または変化させる信号でよい。限定ではなく例として、通信媒体は、ワイヤードネットワークやダイレクトワイヤード接続などのワイヤード媒体と、音響媒体、無線周波数（ＲＦ）媒体、マイクロ波媒体、赤外線（ＩＲ）媒体、およびその他のワイヤレス媒体などのワイヤレス媒体とを含むことができる。本明細書で使用されるコンピュータ可読媒体という用語は、記憶媒体と通信媒体のどちらも含むことができる。

コンピューティングデバイス１００は、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤ装置、ワイヤレスウェブ視聴装置、パーソナルヘッドセット装置、特定用途向け装置、または上記の機能のいずれかを含むハイブリッド装置などの小型形状因子ポータブル（またはモバイル）電子装置の一部として実装することができる。コンピューティングデバイス１００はまた、ラップトップコンピュータ構成と非ラップトップコンピュータ構成のどちらも含むパーソナルコンピュータとして実装することもできる。

図２に、本開示の様々な実施形態を実装することのできる例示的ネットワーク環境を示す。具体的には、図２は、本明細書に記載の拡張現実アプリケーションを提供するようにそれぞれ適合することのできるコンピューティングデバイス２１０から構成される例示的コンピューティング構成２００を示す。コンピューティングデバイス２１０は、例えば、デスクトップコンピュータ２１０ａ、ラップトップコンピュータ２１０ｂ、電話２１０ｃ、タブレットコンピューティングデバイス２１０ｄ、携帯情報端末（ＰＤＡ）２１０ｅ、および携帯電話２１０ｆのいずれかを備えることができ、それぞれは、拡張現実データを処理し、ユーザに拡張現実データを表示するように適合することができる。

各装置２１０は、通信ネットワーク２５０を使用して通信するように適合することができる。通信ネットワーク２５０は、コンピューティングデバイス２１０と、コンピューティングデバイス２１０によってアクセスされる任意のサーバ２２０との間の通信を提供するのに適している任意のタイプのネットワークでよい。通信ネットワーク２５０は、異なる技術を使用することができる個別のネットワークの組合せを含むことができる。例えば、通信ネットワーク２５０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラネットワーク、またはそれらの組合せを含むことができる。通信ネットワーク２５０は、ワイヤレス、ワイヤーライン、またはそれらの組合せを含むことができる。例示的実施形態では、通信ネットワーク２５０はインターネットを含むことができ、インターネットと通信するように適合された任意のネットワークをさらに含むことができる。通信ネットワーク２５０は、コンピューティングデバイス２１０とサーバ２２０との間でビデオ、音声、およびその他のデータを通信するように適合されるワイヤレス電話網を含むことができる。

一実施形態では、コンピューティングデバイス２１０のいずれかなどの拡張現実装置によって拡張データを処理することができる。サーバ２２０などのコンピューティングデバイス上でホストされる解析エンジンまたは拡張サービスに、拡張現実装置を結合することができる。

例示的シナリオでは、例えばユーザが、拡張現実アプリケーションを活動化するように拡張現実装置２１０に指示することができる。拡張現実装置２１０がユーザのコンテキストを求め、または拡張現実装置２１０をユーザのコンテキストに関連付けることができ、ユーザのコンテキストは、ユーザの位置、時刻、ユーザの個人的選好、ユーザが加入する拡張現実サービス、ユーザがポインティングまたは選択しているイメージまたはオブジェクトなどの、ユーザの物理環境および仮想環境に関連する情報を含むことができる。

拡張現実装置２１０は、通信ネットワーク２５０を介してサーバ２２０と通信することができる。サーバ２２０は、拡張データのリポジトリを備えることができ、拡張サービスを提供するように適合することができる。例えば、サーバ２２０は、クラスタ化モデルおよびレンダリングモデルのライブラリと、拡張のリアルタイムクラスタ化およびレンダリングを実施するように適合されたアルゴリズムとを含むことができる。拡張現実装置２１０は、サーバ２２０に照会して、ユーザのコンテキストに基づいて拡張を決定および受信することができる。一シナリオでは、サーバ２２０は、拡張現実装置２１０に拡張および対応するレンダリングフォーマットを送信することができ、拡張現実装置２１０は、受信した拡張をユーザに対してレンダリングすることができる。代替シナリオでは、サーバ２２０は、拡張をレンダリングし、レンダリングした拡張を拡張現実装置２１０に送信することができる。

さらに別のシナリオでは、拡張現実装置２１０上に拡張データを格納することができる。したがって、拡張現実装置２１０上で拡張データをグループ化およびレンダリングすることをローカルに処理することができ、拡張現実装置がサーバ２２０に照会する必要がなくなる。別のシナリオでは、拡張現実装置２１０は、別のコンピューティングデバイス２１０と通信して、拡張データおよびサービスを交換することができる。例えば、タブレット２１０ｄは、ユーザにインターフェースを提供し、デスクトップ２１０ａにユーザのコンテキストを提供するように適合することができる。次いで、デスクトップ２１０ａは、インターフェースタブレット２１０ｄを介してユーザに拡張サービスを提供するように適合することができる。

図３に、拡張現実システム３００の例示的実施形態を示す。拡張現実装置２１０によってシーン３１０を閲覧およびキャプチャすることができる。例えば、拡張現実装置２１０は、イメージまたはビデオキャプチャ装置を統合することができる。代替または追加として、拡張現実装置２１０は、ユーザのコンテキストに基づいてシーン３１０のイメージを取り出すように適合することができる。拡張現実装置２１０上にローカルに格納され、または図２に示すように拡張現実装置２１０と通信する外部の別の装置２１０またはサーバ２２０上に格納されたデータからイメージを取り出すことができる。シーン３１０を１組のシーン座標（Ｘ，Ｙ，Ｚ）に関連付けることができる。シーン３１０のイメージおよび／またはユーザのコンテキストに基づいて、拡張３２０を決定し、取り出すことができる（３１５）。拡張３２０は、シーン３１０の仮想表現と、シーン３１０に関連するオブジェクトまたは人物の仮想表現とを含むことができる。例えば、拡張３２０は、シーン３１０に関するその他のイメージ、メタデータ、情報、または説明を含むことができる。拡張３２０も１組の座標（Ｘ，Ｙ，Ｚ）に関連付けることができる。シーン３１０のイメージを拡張３２０とマージし（３２５）、シーン３１０の仮想イメージを生成することができる。仮想イメージをレンダリングし（３３０）、ユーザに表示することができる。仮想イメージの生成は、拡張現実装置２１０の内部または外部の標準コンピュータグラフィックスシステムと共に実施することができる。グラフィックスシステムは、関連付けられた座標（Ｘ，Ｙ，Ｚ）に基づいて、シーン３１０と拡張３２０のイメージを位置合せすることができる。さらに、グラフィックスシステムは、仮想イメージを正しくレンダリングすることができるように、シーン３１０の撮像についての現実世界情報を使用することができる。拡張３２０の決定３１５、仮想イメージを生成するためのイメージと拡張３２０のマージ３２５および位置合せ、ならびに仮想イメージのレンダリング３３０は、拡張現実装置２１０上でローカルに達成することができ、拡張現実装置２１０と通信する外部の別の装置２１０またはサーバ２２０上で達成することができ、あるいは拡張現実装置２１０、その他の装置２１０、およびサーバ２２０の間で分散させることができる。

図４に、例示的拡張現実ディスプレイを示す。図３のシーン３１０の拡張を図２の拡張現実装置２１０上に表示することができる。拡張は、例えば、シーン内に含まれるオブジェクトのタイトル４１０、およびオブジェクトについてのテキスト説明４２０を含むことができる。拡張をイメージに重ね合わせ、またはイメージとマージすることができ、したがって、実イメージと拡張とを単一の仮想イメージへと組み合わせ、ユーザに提示することができる。

図５に、コンピューティングデバイス上に表示される例示的拡張を示す。具体的には、図５は、図２の拡張現実装置２１０上に表示される仮想イメージ５１０を示す。仮想イメージ５１０は、シーン内のオブジェクトまたはモニュメントを説明する拡張５２０ａ〜ｄとマージされた、パリの全景またはその一部などのシーンのイメージを含むことができる。拡張５２０ａ〜ｄは、オブジェクトについての旅行者によって作成される説明的タイトルおよびコメントを含むことができる。コメントは、１〜５つ星の尺度の形の格付け、およびフィードバックテキストフィールドを含むことができる。ユーザ５３０は、任意の数の拡張５２０ａ〜ｄを選択および拡張することができる。例えば、ユーザ５３０は、拡張現実装置２１０を振ることができ、拡張５２０ａ〜５２０ｄをマウスオーバ、シングルクリック、ダブルタップ、またはモーションオーバして、拡張５２０ａ〜ｄに含まれるオブジェクトについての追加の情報を取り出すことができる。拡張現実装置２１０にローカルに格納され、または拡張現実装置２１０の外部に格納されたデータから追加の情報を取り出すことができる。例えば、追加の情報は、旅行者が撮影したイメージ、近くのアトラクションのリスト、メニュー、価格、広告などを伴うレストランのリストを含むことができる。

拡張現実が一般的になっている世界では、この増加する感覚的および認知的データを編成する方法を有することが有用となる。拡張現実アプリケーションおよびサービスは、ますます人気となっており、所与のコンテキストで利用可能な拡張数が急増することになる。これらの拡張は、視覚的、聴覚的、触覚的なものでよく、いくつかの拡張は、各様式にわたることができる。拡張が、特定の場所および時刻、特定のオブジェクトまたはオブジェクトの集合、あるいは人物または人々の集合に関するものであるかにかかわらず、拡張数が拡張を処理するユーザの能力を圧倒する可能性がある。

「拡張が多過ぎる」という問題に対する一解決策は、エンドユーザが拡張を選択的に隠し、または示すことを可能にすることである。そのような技法は通常、「フィルタリング」と呼ばれる。例えば、エンドユーザは、シーン上に重ね合わされるすべての広告を視界から除去し、白鯨の本に関する教授の注記だけを示し、または白鳥の湖の上演中にすべての音声解説をオフにするようにフィルタをセットアップすることができる。しかし、フィルタリング技法は、エンドユーザが望む特定の拡張がいつ利用可能となるか、およびエンドユーザが望むどんな特定の拡張が利用可能となるかをエンドユーザがあらかじめ知っていることを必要とすることがある。図６〜図９は、ユーザに対する感覚的および認知的負荷を軽減しながら、コンテキストで決定され、またはユーザが決定した軸に沿った拡張現実環境の豊かさおよび意味を維持することのできるフィルタリングに対する代替技法または追加の技法の実施形態を示す。これらの技法は、クラスタへの拡張の自動グループ化、およびその中にグループ化された拡張を表す概念的フォーマットに基づくクラスタのレンダリングを含むことができる。

図６に、クラスタへの拡張の例示的グループ化を示す。クラスタへのグループ化拡張の例示的例は、ユーザ６１０が拡張現実装置２１０を使用しながらニューヨーク市のセントラルパークなどの公園を通って歩くことを含む。拡張現実装置２１０は、拡張が重ね合わされ、または拡張とマージされた公園の地図などの仮想イメージ６５０をレンダリングまたは表示することができる。ユーザ６１０は、拡張現実装置２１０を使用して仮想イメージ６５０の周りをナビゲートすることができ、この例では、仮想イメージ６５０は拡張現実公園を表す。現実の人々に関連する、仮想イメージ６５０内のいくつかの実訪問者拡張６２０ａ〜ｍが存在することができる。例えば、現実の人々も公園を通って歩いていることができ、アバタの形の拡張を有することができる。さらに、仮想の人々に関連する、仮想イメージ６５０内の多数の仮想訪問者拡張６３０ａ〜ｍが存在することができる。例えば、アバタの形の拡張を有する世界中の人々も、ユーザ６１０と同時に仮想的に公園を訪問していることができる。さらに、仮想イメージ６５０は、図が見やすいように図６では表されていない、その他の多くの拡張およびそのタイプを含むことができる。

多数の拡張６２０〜６３０でユーザ６１０を圧倒するのを回避するために、拡張６２０〜６３０の一部またはすべてをクラスタにグループ化することができ、クラスタを見本６２２、６３２、６４０としてレンダリングすることができる。

一例では、拡張６２０〜６３０を初めに拡張現実装置２１０上に表示することができる。拡張現実装置２１０は、ローカルに、または別のコンピューティングデバイスを通じて、実訪問者拡張６２０を実訪問者クラスタにグループ化し、仮想訪問者拡張６３０を仮想訪問者クラスタにグループ化することができる。次いで、２つの生成したクラスタを上位レイヤ訪問者クラスタにグループ化することができる。拡張現実装置２１０は、生成したクラスタを実訪問者見本６２２、仮想訪問者見本６３２、および仮想見本６４０として表示することができる。さらに、拡張現実装置２１０は、初めに表示した拡張現実出力、すなわち以前に表示したすべての実訪問者拡張６２０および仮想訪問者拡張６３０を含む出力から、グループ化した拡張を除去し、見本６２２、６３２、６４０の横にグループ化解除した拡張を表示することができる。

したがって、拡張６２０〜６３０を自動的にグループ化し、仮想イメージ６５０にマージされた簡略化した拡張現実プレゼンテーションでユーザ６１０に提示することができる。ユーザ６１０は、見本６２２、６３２、６４０にアクセスし、それらと通信し、それらを拡張することができる。クラスタ化はマルチレイヤ化することができ、階層構造を有するクラスタのクラスを含むことができる。この例では、訪問者クラスタは、実訪問者クラスタおよび仮想訪問者クラスタを含むことができる。実訪問者クラスタは、実訪問者拡張６２０ａ〜ｍをグループ化することができ、仮想訪問者クラスタは仮想訪問者拡張６３０ａ〜ｎをグループ化することができる。図が見やすいように、図６は、２つのクラスタ化レイヤ（すなわち、第１のレイヤとして訪問者クラスタ、および第２のレイヤとして実仮想訪問者クラスタおよび仮想訪問者クラスタ）だけを示す。しかし、実施形態は例示されるレイヤに限定されない。拡張、ユーザのコンテキスト、およびその他の要素に基づいて、追加または異なるクラスタ化レイヤおよびサブレイヤを定義することができる。

拡張をクラスタにグループ化することは、所与のユーザのコンテキストで利用可能な拡張のプロパティを解析すること、解析したプロパティに基づいて、可能な階層カテゴリ構造と共にクラスタの１つまたは複数のクラスを生成すること、各クラスを概念説明と関連付けること、および概念説明を使用して、拡張を適切なクラス内のクラスタにグループ化することを含むことができる。

一実施形態では、クラスタ化アルゴリズムを使用して、クラスタを生成し、その中に拡張をグループ化することができる。例示的クラスタ化アルゴリズムは、ＣＯＢＷＥＢやＩＴＥＲＡＴＥなどの概念クラスタ化アルゴリズムを含むことができる。概念クラスタ化アルゴリズムは、クラスに関連する概念説明および階層カテゴリ構造を生成するように適合させることのできるデータの監視されない分類に関する機械学習パラダイムを含むことができる。例えば、概念クラスタ化アルゴリズムは、拡張によって示される、または拡張に固有のプロパティ、およびユーザのコンテキストなどのアルゴリズムにとって利用可能なその他の情報を考慮して、概念、クラス、およびクラスタを生成することができる。その他のクラスタ化アルゴリズムは、ＳＱＬ ＳＥＲＶＥＲ ２００８で利用可能なＭＩＣＲＯＳＯＦＴ ＣＬＵＳＴＥＲＩＮＧ ＡＬＧＯＲＩＴＨＭと、Ｂａｌａｎｃｅｄ Ｉｔｅｒａｔｉｖｅ Ｒｅｄｕｃｉｎｇ ａｎｄ Ｃｌｕｓｔｅｒｉｎｇ（ＢＩＲＣＨ）アルゴリズムとを含むことができる。

一実施形態では、ライブラリにクラスタ化アルゴリズムを格納することができる。ユーザのコンテキストおよび拡張に基づいて、ライブラリから１つまたは複数のクラスタ化アルゴリズムを取り出し、拡張に適用することができる。例えば、ライブラリは、社会的地位（例えば、独身、既婚、離婚、親族など）、性別、年齢、活動（例えば、休暇、会議に向かって走っているなど）、職業、趣味、位置、話し言葉、個人的メッセージ、友人などの拡張プロパティに基づいてアバタのような拡張をグループ化するように適合されたアバタクラスタ化アルゴリズムを含むことができる。ライブラリはまた、アバタに関連する人々のイメージ内で発見される共通の顔の特徴を解析することによってアバタをグループ化することのできる顔認識クラスタ化アルゴリズムをも含むことができる。顔認識クラスタ化アルゴリズムはさらに、解析した共通の顔の特徴の説明を生成することができる。さらに、ライブラリは、その位置、位置までのユーザの距離、時刻、近くのアトラクション、格付け、推薦、他のユーザからのフィードバック、事実、メニュー、価格、活動、料理、必要な服装などを解析することによって現場を表す拡張をグループ化する第３の概念クラスタ化アルゴリズムを含むことができる。格納されたアルゴリズムを分類することができる。例えば、アバタおよび顔認識アルゴリズムを、アバタをグループ化するように適用可能なものとして分類することができるのに対して、現地クラスタ化アルゴリズムを、活動をグループ化するように適用可能なものとして分類することができる。実施形態は、例示される概念クラスタ化アルゴリズムに限定されない。追加のアルゴリズムおよびカテゴリを定義し、ライブラリに格納することができる。

拡張およびユーザのコンテキストを使用して、拡張に適用することのできるクラスタ化アルゴリズムの適切なカテゴリを決定することができる。ライブラリを探索することができ、適切なクラスタ化アルゴリズムを取り出すことができる。例えば、拡張がアバタを表し、ユーザのコンテキストが、フランス語を話すことができ、口ひげを有する人々とコミュニケーションすることへの関心を示すとき、決定したカテゴリは、アバタグループ化アルゴリズムを含むことができる。したがって、カテゴリ内のアルゴリズムを求めてライブラリを探索することができ、アバタおよび顔認識クラスタ化アルゴリズムを取り出すことができる。その他のクラスタ化アルゴリズムを取り出す必要はない。

取り出したクラスタ化アルゴリズムを適用して、拡張のプロパティを解析することができる。解析は、プロパティをユーザのコンテキストからの基準と比較することを含むことができる。プロパティ、ユーザのコンテキスト、および比較に基づいて、クラスタ化アルゴリズムは、クラスタのクラスを、生成するクラスに関連する階層構造および概念説明と共に生成することができる。概念説明を使用して、適切なクラス内のクラスタに拡張をグループ化することができる。グループ化は、拡張のプロパティと、生成したクラスタに関連するクラスの概念説明との比較に基づいて、生成したクラスタに拡張を追加することを含むことができる。アバタの例を続けると、アバタクラスタ化アルゴリズムを適用して、２つのクラスのクラスタを作成することができる。対応する概念説明は、フランス語を話すことのできるアバタと、その他の言語だけを話すことができるアバタでよい。顔認識クラスタ化アルゴリズムを適用して、フランス語を話すアバタのクラス内の２つの他のクラスのクラスタを作成することができる。追加の概念説明は、フランス語を話すことができ、口ひげを有するアバタと、フランス語を話すことができ、口ひげを持たないアバタでよい。したがって、概念説明に関連するクラスタクラスの階層構造を作成することができる。この例では、第１の階層は、言語能力に基づいてアバタをグループ化するクラスを含むことができ、第２の階層は、顔ひげの特徴に基づいてアバタをグループ化するクラスを含むことができる。したがって、フランス語を話すことができないアバタについてのクラスタ、フランス語を話すことができるが、口ひげを持たないアバタについてのクラスタ、およびフランス語を話すことができ、口ひげを有するアバタについてのクラスタという合計３つのクラスタを作成することができる。拡張プロパティと概念説明との間の言語能力や顔ひげの特徴などの合致に基づいて、拡張をクラスタにグループ化することができる。

概念説明をさらに使用して、本明細書の以下で説明するレンダリングフォーマットを生成することができる。例えば、言語能力概念説明を使用して、フランス国旗を保持するアバタとしてクラスタをレンダリングすることができ、一方、顔ひげ概念説明を使用して、レンダリングしたアバタに口ひげを追加することができる。

図７に、見本の例示的レンダリングフォーマットを示す。拡張データは、拡張および拡張のクラスタを含むことができる。拡張データを見本としてレンダリングすることができる。図２の装置２１０のいずれかなどの拡張現実装置を使用して、拡張データをレンダリングすることができる。一実施形態では、拡張現実装置は、グラフィックスデータを処理およびレンダリングするように適合されたグラフィックス処理ユニットまたはコンピューティングシステムを含むことができる。別の実施形態では、図２のサーバ２２０などの外部コンピューティングデバイスが、拡張データを受信、処理、およびレンダリングし、レンダリングしたデータを、ユーザ７３０に表示するために拡張現実装置に送信することができる。さらに別の実施形態では、外部装置は、レンダリング命令、フォーマット、または情報を拡張現実装置に送ることができ、拡張現実装置は、受信した情報に基づいて拡張データをレンダリングすることができる。

見本は、クラスタをレンダリングするのに使用される概念的表現でよい。概念的表現は、クラスタに関連する概念説明の視覚的、聴覚的、触覚的表現などの感覚的表現を含むことができる。概念説明は、クラスタにグループ化された拡張のプロパティを反映することができる。さらに、拡張データのプロパティに応答して、見本をその場で作成することができ、見本は、そのようなデータのセマンティクスおよびプレゼンテーション規則を含むことができる。さらに、各見本をその他の見本に関して表現することができる。したがって、見本は、クラスタのプロパティおよび内容の知覚的概要を提供することができる。言い換えれば、見本は、インテリジェントな回り道によって拡張の過剰に対処する手段を提供することができ、ユーザの感覚的および認知的過負荷を低減すると共に、元の拡張の豊かさおよび意味を維持する。

例えば、掲示板、レストラン、およびアバタを含む拡張現実街路シーンでは、仮想掲示板に関するクラス、レストランレビューに関するクラス、およびアバタに関するクラスという３つの異なるクラスの見本を作成することができる。各クラスは、プレゼンテーションに関するそれ自体の規則を提供することができる。仮想掲示板のクラスを考慮すると、掲示板をビジネス関連クラスタ（例えば、近くのスポーツ用品店でのセールに関する広告）および公共サービスクラスタ（例えば、犯罪多発エリアの警告）にグループ化することができる。各見本は、クラスタの別個の特徴（例えば、外観、挙動、および対話性）だけではなく、同一のクラス内のその他のクラスタと共有される共通の特徴も表現することができる。したがって、仮想掲示板のクラス内のクラスタの共通の特徴でよい、掲示板の３Ｄモデルを含む見本として、ビジネス関連クラスタをレンダリングすることができる。さらに、見本は、ビジネス関連クラスタの別個の特徴でよい、３Ｄモデルにわたる「売出し中」サインを含むことができる。

クラスタをレンダリングすることは、クラスタに関するレンダラまたはレンダリングフォーマットを求めること、求めたフォーマットに基づいてクラスタを見本としてレンダリングすることを含むことができる。拡張を見本としてレンダリングするのに類似のレンダリング技法も使用することができる。本明細書の上記で説明したように、見本は、その内容の概念的表現をユーザに提供する２Ｄまたは３Ｄオブジェクトを含むことができる。例えば、拡張がアバタに関連付けられるとき、見本は、拡張のプロパティを示すようにカスタマイズされた３Ｄアバタを含むことができる。したがって、拡張が中年のビジネスマンを表す場合、オブジェクトは、白髪を有し、スーツを着用し、ブリーフケースを持ち運ぶ男性のアバタを含むことができる。同様に、公園を訪問するアバタの形の拡張がアバタ国籍に基づいてクラスタにグループ化されるとき、対応する見本は、様々な国の国旗を保持するアバタでよい。さらに、様々なクラスタ階層レイヤで拡張のプロパティを反映することができる。例えば、公園訪問者のトップレベルクラスタは、国籍によってグループ化された公園訪問者の下位レベルクラスタを含むことができる。地球儀の隣の公園のベンチに座るアバタとしてトップレベルクラスタをレンダリングすることができるのに対して、様々な国の国旗を持つアバタとして下位レベルクラスタをレンダリングすることができる。

エンドユーザからの入力なしに、クラスタに関するレンダラまたはレンダリングフォーマットを求めることを達成することができる。フォーマットは、拡張データ、クラスタ、その他のクラスタ、およびユーザのコンテキストに基づいて自動的に決定することができる。

一実施形態では、クラスタのクラスの概念説明からフォーマットを導出することができる。例えば、公園の訪問者の拡張をアバタとして表現することができる。拡張は、アバタの活動に基づいて、マルチティアクラスタ階層でグループ化することができる。第１のティアクラスタをアバタ間の国際野球試合の概念に関連付けることができる。第２のティアクラスタを様々な国の野球チームの概念に関連付けることができる。第３のティアクラスタをアクティブな野球選手および補欠野球選手の概念に関連付けることができる。フォーマットを決定する際に、概念説明の各側面を使用することができる。したがって、野球帽を着用し、トロフィを保持するアバタとして第１のティアクラスタをレンダリングすることができる。ナショナルジャージを着用するアバタによって第２のティアクラスタを表現することができる。バットを持ち、またはベンチに座るアバタとして第３のティアクラスタを表示することができる。

別の実施形態では、グループ化された拡張に類似の概念的解析を適用して、グループ化された拡張の共通のプロパティに基づいてクラスタ概念を導出することができる。共通のプロパティは、一定の範囲の共有特徴を含むことができる。フォーマットをクラスタ概念から導出することができ、クラスタまたはグループ化される拡張の挙動、外観、および対話性などのいくつかの側面を示すように適合することができる。例えば、クラスタが様々な国からの公園の訪問者を表す拡張をグループ化するとき、クラスタ概念は国際的なアバタでよい。したがって、ドイツ連邦共和国からの訪問者をグループ化するクラスタを、ドイツ国旗を保持するアバタとしてフォーマットすることができる。さらに、グループ化された拡張（例えば、ドイツ人訪問者）の解析は、大部分の拡張が、公園内の物体の写真を撮るために公園を訪問していることを明らかにすることがある。この解析に基づいて、クラスタのフォーマット（例えば、ドイツ国旗を保持するアバタ）を、カメラを取り込むようにさらに更新することができる。

同様に、その他のクラスタのフォーマットに対して相対的にクラスタのフォーマットを求めることができる。複数のクラスタを比較して解析することができる。例えば、クラスタ特徴の比（例えば、拡張数、バイト単位のデータサイズなど）を計算して、相対的クラスタサイズを導出することができる。相対的クラスタサイズを使用して、比較されるクラスタのフォーマットを更新することができる。前の例では、米国訪問者のクラスタが米国国旗を保持するアバタでレンダリングされる場合、米国クラスタとドイツクラスタを比較することができる。比較は、米国クラスタがドイツクラスタよりも２倍の訪問者を有することを明らかにすることがある。したがって、米国国旗を保持するアバタを、ドイツ国旗を保持するアバタの２倍のサイズでグラフィカルユーザインターフェース上に表示することができる。

別の実施形態では、ユーザのコンテキストをさらに考慮することによってフォーマットを改善することができる。ユーザのコンテキストを取り出して解析し、フォーマットに適用することのできるプロパティを求めることができる。例えば、国旗を保持するアバタは、様々な国からの公園訪問者のクラスタを表すことができる。ユーザのコンテキストの一部またはすべての側面を反映するようにアバタをさらに更新することができる。ユーザのコンテキストを解析するとき、友人のリストを取り出すことができる。したがって、リストからの友人に関連する拡張を含むクラスタを更新することができる。更新は、「友人はここにいます」という語をアバタに追加することを含むことができる。

図７を参照すると、広範な要素および目標に基づいて、見本としてのクラスタのレンダリングフォーマットを調節することができる。一実施形態では、見本の外観は、属性の崩壊したクラスのアグリゲーションを実現するように調節することができる。外観は、クラスタまたはその中にグループ化された拡張データによって示されるルック、サウンド、およびフィール属性を含むことができる。例えば、拡張がアバタとして表される一実施形態では、フォーマットは、見本の高さを使用して、クラスタにグループ化されたアバタ数を示すことができる。さらに、フォーマットは、見本の衣服およびアクセサリを使用して国籍を表すことができる。公園の訪問者の例を考慮すると、少数のフランス人旅行者を表すフランス人クラスタ７１０を、背の低い、ベレー帽を着用し、バゲットを持つように見えるようにフォーマットすることができ、多数のアメリカ人ビジネスマンを表すアメリカ人クラスタ７２０を、背の高い、スリムな、スーツを着たように見えるようにフォーマットすることができる。

拡張データはまた、属性のアグリゲートしたクラスに応答して挙動を示すことができる。フォーマットを導出するように挙動を解析することができる。例えば、クラスタ内のアメリカ人アバタの大部分が非常にアクティブである（例えば、公園をあちこち移動している）場合、ジョギングアバタを表すようにアメリカ人クラスタ７２２を更新またはフォーマットすることができる。同様に、フランス人アバタの大部分が公園内でリラックスしていた（例えば、会話している）場合、公園のベンチに座っているような、あまり動かないアバタを表すようにフランス人クラスタ７１２を更新またはフォーマットすることができる。

属性のアグリゲートしたクラスに応答して、拡張データはさらに、拡張、クラスタ、および／またはユーザ７３０の間の対話性または対話を示すことができる。対話を解析して、フォーマットを導出または改善することができる。例えば、ユーザ７３０は英語が流暢であり、フランス語を学習することに熱心であることがある。ユーザ７３０とアメリカ人クラスタ７２２との間の対話は、アメリカ人クラスタ７２２内に含まれるすべてのアメリカ人アバタとの間の英語のテキストメッセージの交換を含むことができる。ユーザ７３０とフランス人クラスタ７１２内に含まれるフランス人アバタとの間の対話は、翻訳アプリケーションまたはプログラムを立ち上げ、ユーザ７３０とフランス人アバタとの間で交換されるテキストメッセージを翻訳することを含むことができる。

一実施形態では、ユーザは、クラスタにアクセスし、クラスタを拡張し、その中にグループ化された１つまたは複数の拡張と対話することができる。例えば、チェスのゲームをプレイすることに関心のあるユーザは、同一の関心を有するアバタを表すクラスタにアクセスし、アバタのうちの１つを選択し、選択したアバタとチェスゲームを開始することができる。別の実施形態では、ユーザは、クラスタまたはクラスタのクラスと対話することができる。そのような実施形態では、クラスタ内に含まれるグループ化された拡張から受信した対話をｒａｗフォーマットでユーザに提示することができ、または本明細書に記載のクラスタ化およびレンダリング技法に従ってレンダリングすることができる。例えば、ユーザは、自分の料理の腕前を改善することに関心があることがあり、世界中の料理人を表すクラスタと対話することがある。ユーザは、レシピについてクラスタに尋ねることがあり、一部の料理人は要求に応答することがある。受信した順序でユーザに応答を提示することができる。追加または代替として、ユーザに知られている料理人、特別なダイエットレシピ、およびレストランが提供するレシピのクラスタを表す見本として、応答をグループ化およびレンダリングすることができる。

レンダリングフォーマットの決定は、ユーザからの入力に依存することができ、その代わりに拡張データに依存することができる。フォーマットはまた、ユーザのコンテキストから導出されたプロパティを利用することができる。言い換えれば、見本を自動的に導出することができるので、ユーザは、拡張またはクラスタのフォーマットを指定する必要はない。

図８に、拡張がクラスタ化され、得られる見本がレンダリングされる前および後の拡張現実ビューの一例を示す。一実施形態では、インターネットに接続された、ＧＯＯＧＬＥ ＡＮＤＲＯＩＤ（登録商標）フォン、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ（登録商標）フォン、ＡＰＰＬＥ ＩＰＨＯＮＥなどのスマートフォン８２０が、本明細書に記載の拡張現実見本に関するアプリケーションを実行することができる。例えば、ユーザ８５０は、昼食時間ごろにワシントンＤ．Ｃ．のにぎやかな街角に立ち、何か食べるものを探していることがあり、レストランに囲まれているが、どれを選ぶべきかがわからない。ユーザ８５０は、スマートフォン８２０上でレストランファインダアプリケーションを立ち上げ、スマートフォン８２０を使用して街路を上下にパンすることがある。スマートフォン８２０の画面上で、ユーザ８５０は、街路の拡張現実バージョン８００を受信および閲覧することができる。最初に、ユーザ８５０は、画面全体にわたって多数、恐らくは数千のレストランレビュー注釈８０２Ａ〜Ｎを見ることがある。注釈８０２は、各レストランについての他の人々の格付けおよびコメントを含むことができる。多数の注釈８０２Ａ〜Ｎおよび重複するプレゼンテーションにより、ユーザ８５０は、レストランを見て、多くの格付けおよびコメントを読むことさえ妨げられる可能性がある。

幸いなことに、ユーザ８５０は、スマートフォン８２０上で拡張現実見本アプリケーションを実行することができ、数秒で、すべての注釈８０２Ａ〜Ｎが、共に見本８１２Ａ〜Ｍにクラスタ化し始めることができる。総数「Ｍ」個の見本８１２Ａ〜Ｍは、総数「Ｎ」個の注釈８０２Ａ〜Ｎよりもかなり小さくすることができる。さらに、見本８１２の表現は、注釈８０２の表現よりもずっと単純なものにすることができる。レストランレビューに関する見本８１２は、色分けされた単純な１〜５つ星フラグのように見えることができる。したがって、街路シーンを直ちに理解することをより容易にすることができる。このタイプの見本を使用して、レストランは、それらの上に浮かぶ黒色の格付けを有することができる。拡張現実見本アプリケーションは、最も近いレストランの上の最大格付け５つ星を有する見本８１２Ａをユーザ８５０に表示することができる。しかし、黒色の星は、他の近くのレストランのいくつかの上にレンダリングされた黒色の星ほど暗くはないことがある。実際には、見本８１２Ａの星を完全に淡い色で表示することができる。

色合いは、見本８１２Ａを生成するように共にクラスタ化された拡張数を反映することができる。言い換えれば、表示される星が暗いほど、レストランを格付けする人が多いことを示すことができる。したがって、淡色の見本８１２Ａは、５つ星の最も近いレストランが、それに格付けする人々が多くなかったことがあることを示すことができる。ユーザ８５０は、レビューが非常に少ない立証から、５つ星の格付けであっても格付けを信頼すべきであると考えないことがある。

さらに、色は、ユーザ８５０に追加の認知情報を提供することができる。例えば、黒色の星は、ユーザ８５０が知らない人々による格付けでよく、それに対して明るい色の星は、ユーザ８５０の友人による格付けでよい。レストランの例を続けると、拡張現実見本アプリケーションは、最も近いレストランに関するすべての黒色の星と、近くのその他のレストランのいくつかの上の明るい色の星とを表示することができる。これらのよりカラフルな星は、ユーザ８５０の友人からの格付けを示すことができる。したがって、ユーザ８５０は、スマートフォン８２０を黒色の５つ星レストランから遠ざかる方に向け、最もカラフルな星を有する場所を見つけることができる。拡張現実見本アプリケーションは、街路の向こう側に位置する明るい緑色の５つ星レストランをユーザ８５０に表示することができる。ユーザ８５０は、位置を特定したレストランをユーザの多くの友人が肯定的に楽しんでいることを知覚することができ、スマートフォンをポケットに入れて、昼食のために急いで街路を横切ることを判断することができる。

図９に、動作９００、９０２、９０４、９０６、９０８、９１０、９１２、９１４、および９１８を含む、拡張をグループ化し、得られる見本をレンダリングする例示的動作手順を示す。動作９００は、動作手順を開始し、図２の装置２１０のいずれかなどの拡張現実装置上で拡張現実アプリケーションまたはサービスを活動化することができる。動作９００の後に動作９０２が続くことができる。動作９０２（ユーザのコンテキストを受信する）は、ユーザのコンテキストを受信することを示す。ユーザのコンテキストは、ユーザの物理的環境および仮想環境についての情報を含むことができる。動作９０２の後に動作９０４が続くことができる。動作９０４（拡張を取り出す）は、受信したユーザのコンテキストに基づいて拡張を決定することを示す。拡張現実装置は、拡張のリポジトリにアクセスし、またはそれに接続し、ユーザのコンテキストを使用して適切な拡張を取り出すことができる。拡張現実装置は、これらの拡張をユーザに対してレンダリングすることがあり、またはレンダリングしないことがあり、取り出した拡張の一部またはすべてを含むクラスタおよび見本を生成することに進むことができる。動作９０４の後に動作９０６が続くことができる。

動作９０６（取り出した拡張を解析する）は、取り出した拡張を解析することを示す。ユーザのコンテキスト、取り出した拡張、および他の要素に基づいて、ライブラリから１つまたは複数の概念クラスタ化アルゴリズムを取り出し、取り出した拡張の一部またはすべてに適用することができる。動作９０６の後に動作９０８が続くことができる。動作９０８（クラスタの１つまたは複数のクラスを生成する）は、クラスタの１つまたは複数のクラスを生成することを含む。クラスタのクラスは、拡張の解析したプロパティに基づく階層カテゴリ構造を含むことができる。動作９０８の後に動作９１０が続くことができる。動作９１０（クラスタを概念説明に関連付ける）は、各クラスを概念説明に関連付けることを示す。解析したプロパティから概念説明を導出することができる。動作９１０の後に動作９１２が続くことができる。動作９１２（解析した拡張をクラスタにグループ化する）は、解析した拡張を適切なクラス内のクラスタにグループ化することを示す。グループ化は概念説明に基づくことができる。動作９１２の後に動作９１４が続くことができる。

動作９１４（グループ化した拡張を以前にレンダリングした拡張から除去する）は、グループ化した拡張を以前にレンダリングした拡張から除去することを示す。動作９１４は任意選択でよく、動作９０４の下で利用可能な拡張が最初にユーザに対してレンダリングされるかどうかに依存することができる。動作９１４の後に動作９１６が続くことができる。動作９１６（クラスタに関するレンダリングフォーマットを求める）は、生成したクラスタについてレンダリングフォーマットを求めることを示す。各クラスタについて、動作９１６は、関連する概念説明、グループ化した拡張のプロパティ、ユーザのコンテキスト、またはその他のクラスタのフォーマットに基づいてレンダラまたはフォーマットを求めることができる。動作９１６は、ユーザからの入力とは無関係でよい。動作９１６の後に動作９１８が続くことができる。動作９１８（クラスタを見本としてレンダリングする）は、クラスタを見本としてレンダリングすることを示す。レンダリングは、求めたフォーマットに基づくことができ、クラスタの概念的表現を含むことができる。

本明細書で開示されるこのプロセスおよびその他のプロセスについて、プロセスおよび方法で実施される機能を異なる順序で実装できることを当業者は理解されよう。さらに、略述したステップおよび動作は例として与えたものに過ぎず、開示される実施形態の本質から逸脱することなく、ステップおよび動作の一部は任意選択でよく、より少ないステップおよび動作として組み合わせることができ、または追加のステップおよび動作に拡張することができる。

本開示は、様々な態様の例示として意図される、本願で説明した特定の実施形態によって限定されるべきではない。当業者には明らかであろうが、その趣旨および範囲から逸脱することなく、多くの修正および変形を行うことができる。本開示の範囲内の機能的に等価な方法および装置が、本明細書で列挙したものに加えて、上記の説明から当業者には明らかであろう。そのような修正および変形は、添付の特許請求の範囲内に包含されるものとする。本開示は、添付の特許請求の範囲、およびそのような特許請求の範囲が権利を有する均等物の全範囲のみによって限定されるべきである。本開示が特定の方法、試薬、化合物、組成、または生物学的システムに限定されず、それらはもちろん変化する可能性があることを理解されたい。本明細書で使用した用語は特定の実施形態を説明するためのものに過ぎず、限定を意図するものではないことも理解されたい。

例示的実施形態では、本明細書に記載の動作、プロセスなどのいずれかをコンピュータ可読媒体上に格納されたコンピュータ可読命令として実装することができる。コンピュータ可読命令は、モバイルユニット、ネットワーク要素、および／またはその他の任意のコンピューティングデバイスのプロセッサで実行することができる。

システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのなんらかの組合せを選択することができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組合せにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。

本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例に過ぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

さらに、本開示の特徴または態様がマーカッシュグループによって記述される場合、それによって、本開示はマーカッシュグループの任意の個々メンバまたはメンバのサブグループによっても記述されることを当業者は理解されよう。

当業者は理解するであろうが、明細書を与えることに関してなど、あらゆる目的について、本明細書で開示するすべての範囲は、本明細書のあらゆる可能な部分範囲および部分範囲の組合せをも包含する。任意の列挙される範囲は、少なくとも等しい半分、１／３、１／４、１／５、１／１０などに分割される同じ範囲を十分に記述し、可能にするものとして容易に理解することができる。非限定的な例として、本明細書で論じた各範囲を、下側の１／３、中央の１／３、および上側の１／３などに容易に分割することができる。やはり当業者は理解するであろうが、「最大」、「少なくとも」などのすべての言い回しは記載の数を含み、上記で論じた部分範囲にその後で分割することのできる範囲を指す。最後に、当業者は理解するであろうが、範囲はそれぞれの個々のメンバを含む。したがって、例えば、１〜３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１〜５個のセルを有するグループは、１、２、３、４、または５個のセルを有するグループを指し、以下同様である。

上記から、本開示の様々な実施形態を例示のために本明細書で説明したこと、および本開示の範囲および趣旨から逸脱することなく様々な修正を行えることを理解されよう。したがって、本明細書で開示した様々な実施形態は限定を意図するものでなく、真の範囲および趣旨は以下の特許請求の範囲によって示される。

Claims (19)

1. 拡張データを表示するシステムであって、
   プロセッサと、
   前記プロセッサに通信可能に結合されたメモリであって、前記プロセッサによって実行されたときに、
   ユーザ装置に関連するコンテキストに基づいて拡張データを求めること、
   クラスタを生成し、前記生成したクラスタに前記拡張データをグループ化すること、および
   前記生成したクラスタに関するレンダリング結果の表示形式であるレンダリングフォーマットを求めることであって、前記レンダリングフォーマットが、前記生成したクラスタのプロパティを反映する感覚表現である概念的表現を示すこと
   を少なくとも前記システムに行わせるプロセッサ命令を担持するメモリと
   を備えるシステム。
2. 実行されたときに、前記システムに以前に送信された拡張データの部分を除去して、前記以前に送信された拡張データのサブセットを定義させ、前記サブセット、前記サブセットに関するレンダリングフォーマット、前記生成したクラスタ、および前記生成したクラスタに関する前記レンダリングフォーマットを送信させる命令をさらに含む、請求項１に記載のシステム。
3. 拡張データを前記求めることが、リポジトリから拡張データを取り出すことを含み、前記コンテキストが、前記ユーザ装置に関連する物理環境および仮想環境についての情報を含む、請求項１に記載のシステム。
4. 前記クラスタを生成することが、
   前記拡張データのプロパティを解析すること、
   前記解析したプロパティに基づいてクラスタのクラスを生成すること、
   前記生成したクラスを説明に関連付けること、および
   前記説明に基づいて、前記拡張データを前記クラス内の前記クラスタにグループ化すること
   を含む、請求項１に記載のシステム。
5. 前記拡張データのプロパティを解析することが、アルゴリズムのライブラリから１つまたは複数のクラスタ化アルゴリズムを求めること、および前記１つまたは複数のクラスタ化アルゴリズムを前記拡張データに適用して、前記拡張データのプロパティを導出し、前記クラスに関連付けるべき前記説明を生成することを含み、前記１つまたは複数のクラスタ化アルゴリズムを求めることが、前記コンテキストおよび前記拡張データに基づく、請求項４に記載のシステム。
6. 前記生成したクラスタに関するレンダリングフォーマットを前記求めることが、前記グループ化した拡張データに基づいて、前記クラスタについて求めたプロパティを導出すること、および前記導出したプロパティを使用して、前記生成したクラスタの前記概念的表現を作成することを含む、請求項１に記載のシステム。
7. 前記生成したクラスタの前記概念的表現が、前記クラスタによって示される前記プロパティの視覚的、聴覚的、触覚的表現を含む、請求項６に記載のシステム。
8. 前記プロパティを前記導出することが、前記グループ化した拡張データを解析して、前記グループ化した拡張データの外観、挙動、および対話性プロパティを求める、請求項６に記載のシステム。
9. 前記外観プロパティが、前記拡張データに共通のルック、サウンド、およびフィール特徴を含む、請求項８に記載のシステム。
10. 前記挙動プロパティが、前記拡張データに共通の挙動を含む、請求項８に記載のシステム。
11. 前記対話性プロパティが、前記拡張データに共通の活動を含む、請求項８に記載のシステム。
12. コンピューティングデバイス上で拡張現実データをレンダリングする方法であって、
    前記コンピューティングデバイスにより、拡張現実サービスを提供するサーバに前記コンピューティングデバイスのコンテキストを送信すること、
    前記サーバから、拡張現実データの１つまたは複数のグループ化を含むクラスタを表すデータを受信することであって、前記データは、前記コンテキストに基づいて生成され、前記クラスタのプロパティを反映する感覚表現を示すフォーマットを含み、前記フォーマットは、前記クラスタに関するレンダリング結果の表示形式であること、および
    前記受信したデータに基づいて前記クラスタをレンダリングすること
    を含む方法。
13. 前記コンピューティングデバイスにより、前記受信したクラスタに含まれていない追加の拡張現実データを受信すること、および
    前記受信したクラスタおよび前記追加の拡張現実データをレンダリングすること
    をさらに含む、請求項１２に記載の方法。
14. 前記クラスタが、前記送信したコンテキストおよび前記拡張現実データに基づいて複数のクラスタ化アルゴリズムを求めること、および前記複数のクラスタ化アルゴリズムを前記拡張現実データに適用することによって生成される、請求項１２に記載の方法。
15. 前記感覚表現が、前記生成したクラスタによって示される前記プロパティの視覚的、聴覚的、触覚的表現を含む、請求項１２に記載の方法。
16. 前記生成したクラスタによって示される前記プロパティが、前記生成したクラスタにグループ化した前記一つ又は複数の拡張現実データの外観、挙動、および対話性から導出される、請求項１２に記載の方法。
17. １つまたは複数のプロセッサによって実行されたときに、
    ユーザ装置のコンテキストを識別したことに応答して拡張を求めること、
    前記拡張をクラスタにグループ化すること、
    前記クラスタに関する情報を導出することであって、前記クラスタに関する情報が、前記クラスタでグループ化された拡張に基いた情報を示すこと、および
    前記クラスタに関する情報を反映する感覚表現である概念的表現を示すフォーマットで、前記クラスタをレンダリングすること
    を前記１つまたは複数のプロセッサに実施させる命令が格納されたコンピュータ可読記憶媒体。
18. 前記拡張をクラスタにグループ化することが、
    少なくとも前記拡張に基づいてクラスタ化アルゴリズムを求めること、
    前記クラスタ化アルゴリズムを前記拡張に適用して、前記拡張のプロパティを解析すること、
    前記解析したプロパティに基づいて、階層カテゴリ構造を有するクラスタのクラスを生成すること、
    生成されたクラスタのそれぞれのクラスを、前記解析したプロパティを反映する説明である概念説明でタグ付けすること、および
    前記概念説明を使用して、拡張を前記クラス内の前記クラスタに分類すること
    を含む、請求項１７に記載のコンピュータ可読記憶媒体。
19. 前記クラスタに関する情報を前記導出することが、前記クラスタのプロパティを導出することを含み、前記導出したプロパティが、前記クラスタにグループ化した前記拡張の少なくとも挙動、外観、および対話を反映し、前記概念的表現が、前記導出したプロパティに従って前記クラスタをレンダリングするための視覚的、聴覚的、触覚的情報を含む、請求項１７に記載のコンピュータ可読記憶媒体。