JP7304639B2 - デジタル現実内の強化されたユーザ間通信を可能にするための方法及びシステム - Google Patents

Description

関連出願への相互参照
本出願は、参照により本明細書に組み込まれる２０１９年１２月３０日に出願された米国特許仮出願第６２／９５５２３２号の利益を主張するものである。

本開示は一般に、コンピュータシステム及び方法に関し、より詳細には、デジタル現実内のユーザ間通信を可能にする方法及びシステムに関する。

ユーザにデジタル現実コンテンツを提供する技術開発は、これまで不可能であった体験を可能にした。特に、拡張現実（ＡＲ）、仮想現実（ＶＲ）、及び複合現実（ＭＲ）などのデジタル現実は、ユーザが見ている、聞いている、及び感じているものについてのユーザの知覚と、これらの体験に実世界がどの程度入り込むかを変化させ、ユーザに実世界又は想像の世界の場所での物理的存在感を提供する。

それにもかかわらず、電気通信方法などの特定の技術的態様は、デジタル現実の実装に関連した技術トレンドに追いついていない。したがって、人々の遠隔通信方法は、従来の電話での通話からインターネットなどのネットワークを通じたテキストメッセージング及びビデオ通話に拡張され、種々の通信プロトコルを通じて様々なアプリケーションが採用されてはいるが、現在の電気通信は、通常は、直接のコミュニケーションと比べて対話の質を低下させる。例えば、人々は、時間又は他の制約のために、必ずしも互いに近づくことなく離れた場所から話し合いたい場合がある。さらにこの例では、複合ビルのオフィスビルの従業員が、複合ビル内の別のビルにいる同僚と話したい場合がある。この状況では、従業員は、電話又はビデオ通話をする場合があり、個人的に会うことと比べて対話の質が低下する場合がある。

他の例では、道を歩いている人々は、相手に気づいてもらうために、お互いに大声をあげたり手で合図したりしなくてはならない。場合によっては、特に混雑したエリア又は未知のエリアでは、人々はそれぞれテキストメッセージを送信する又は電話をかける必要がある場合もある。一部のアプリケーションは、ＧＰＳ又は他の全地球航法衛星システムを通じてユーザデバイスのジオロケーション追跡をリアルタイムマップに実装するが、混雑したエリア又は未知のエリアで相手を見つけるのは依然として困難な場合がある。したがって、実際に個人的に会う前の対話は、現在の電話での通話、テキストメッセージ、又はビデオ通話方法に限定され、結局はお互いを見つけるのが困難な場合がある。

この概要は、発明の詳細な説明でさらに後述する概念の１つの選択を簡略化された形態で紹介するために提供される。この概要は、特許請求される主題の重要な特徴を特定することを意図しておらず、特許請求される主題の範囲を決定する助けとして用いられることも意図していない。

背景技術での１つ以上の欠点は、デジタル現実内の強化されたユーザ間通信を可能にする本開示の方法、システム、及び非一時的コンピュータ可読媒体によって解決される。

メモリと少なくとも１つのプロセッサとを備えるサーバによって実施される、デジタル現実内の強化されたユーザ間通信を可能にするための方法は、ターゲットユーザに関連付けられ（例えば、永続的に付けられ）、仮想世界システムで提示される、ターゲットユーザのマーカを生成することと、無線ネットワークを介してサーバに接続されているターゲットユーザデバイス及びカウンターパートユーザデバイスの仮想世界システムでの存在を検出することと、ルールセットに基づいて仮想世界システム内のターゲットユーザデバイスの存在を知らせる通知をカウンターパートユーザデバイスに送信することと、仮想世界システム内のターゲットユーザのマーカ上でのカウンターパートユーザデバイスからの１つ以上の形式の対話を受信することと、受信した１つ以上の形式の対話に応答してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネル（例えば、デジタル音声チャネル、デジタルビデオチャネル、テキストチャットアプリケーション、又はこれらの組み合わせ）を開くことと、通信チャネルを介してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の対応する通信を受信及び割り振ることとを含む。

ユーザデバイスは、移動電話、ラップトップ、ウェアラブルコンピュータ、モバイルゲームコンソール、ヘッドマウントディスプレイ、シースルーデバイス、デジタル現実メガネ（例えば、拡張現実メガネ、仮想現実メガネ、又は複合現実メガネ）、デジタル現実対応のスマートコンタクトレンズなどのうちの１つ以上であり得る。ユーザデバイスは、インターネットなどの無線ネットワークを通じてサーバに接続し、ユーザデバイスから得られたセンサデータから標準の無線位置測定方法又は無線位置測定方法と慣性追跡方法との組み合わせを通じて追跡される。

いくつかの実施形態では、サーバのメモリは、対応する実世界要素の仮想レプリカを含む永続的仮想世界システムを格納する。さらなる実施形態では、マーカは、永続的仮想世界システムからそれぞれのユーザの仮想レプリカを取得し、対応するカウンターパートユーザ及び／又はターゲットユーザ上に仮想レプリカバージョンを重ね合わせることによって生成される、インタラクティブな仮想形状である。このようなバージョンは、いくつかの実施形態では、別のユーザが見たときのユーザのサイズにほぼ等しいという意味で、特定のユーザの「等身大」であり得る。したがって、永続的仮想世界システムは、各ユーザの仮想レプリカを格納することができ、これは、例えば、サーバによる拡張後にカウンターパートユーザに可視であり得る。いくつかの実施形態では、各ユーザデバイスは、一意識別子を備え、ユーザの対応する仮想レプリカは、この一意識別子と関連付けられる。

いくつかの実施形態では、マーカはさらに、ポインタ、ターゲットユーザの上に配置されたアイコン、又はアウトラインなどの、任意の他のタイプのインタラクティブな仮想形状であり得る。マーカのタイプの選択は、システムの管理者によって、又はネットワークを通じて接続されたユーザデバイスを通じてシステムにアクセスすることによりターゲットユーザによって構成され得る。

いくつかの実施形態では、カウンターパートユーザデバイスに送信される通知は、カウンターパートユーザデバイスを通じて知覚可能な１つ以上の独特の色、照明効果、音、形状、又は触覚感覚を含む少なくとも１つの独特の特徴でターゲットユーザのマーカを仮想的に拡張することによって行われる。このように、ターゲットユーザは、雑踏の中又は未知のエリアであってもカウンターパートユーザによって容易に見つけられる。

いくつかの実施形態では、カウンターパートユーザデバイスへの通知の基礎となるルールセットは、ユーザ間の社会的つながりに基づく特定の権限、１つ以上の所定の地理的ゾーンに割り当てられた１つ以上の関心を含む関心ゾーン、個々のユーザの関心、距離ファクタ、可用性構成設定、又はこれらの組み合わせを含み、ユーザが特定のルールセットのうちの１つ以上を満たしたときにユーザ通知がトリガされる。さらなる実施形態では、サーバはさらに、ルールセットに関連付けられた１つ以上のデータを取得するために、対応するソーシャルネットワークから、１つ以上のユーザソーシャルメディアプロフィールにアクセスするように構成され得る。他の実施形態では、サーバのメモリはさらに、好み、社会的つながり、社会活動などを含む、ユーザプロフィール情報を格納する。他の実施形態では、サーバは、ソーシャルネットワークからアクセスした情報とサーバのメモリで利用可能な情報を組み合わせることができる。関心ゾーンに基づくルールセットの一実施形態では、関心ゾーンは、特定の共通の関心を持つ人々だけが通信を可能にされるゾーンを指す場合がある。個々のユーザの関心に基づくルールセットの一実施形態では、共通の関心（例えば、趣味、キャリアなど）を持つユーザだけが、本開示の方法を通じて通信を可能にされる。距離ファクタに基づくルールセットの一実施形態では、互いに所定の距離があるユーザが、本開示の方法を通じて通信を可能にされる。可用性及びプライバシー構成に基づくルールセットの一実施形態では、本開示の方法を通じて通信するために自身を可用としてマークするユーザのみ通知される。いくつかの実施形態では、可用性は、無関係な人が対応する個人情報を見ることができないように、例えば、密接な社会的つながりを持つユーザなどの特定のユーザに対してのみ構成され得る。上記の通知ルールセットは、決められた距離にいる特定の社会的つながりのあるユーザのみを示す、又は特定の関心ゾーン内の特定の個々のユーザの関心のみを表示するなど、個々に又は組み合わせて構成できることに注目することが重要である。さらに、決められたタイプの通知を決められたタイプのルールに割り当てるなど、ルールセットに基づく対応する通知のカスタマイズを可能にするために、通知ルールセットと通知データベースは接続され、ユーザによって一緒に構成され得ることに注目することが重要である。

いくつかの実施形態では、カウンターパートユーザが通知を通じてターゲットユーザの存在を判断すると、ターゲットユーザのマーカ上でのカウンターパートユーザによって適用される１つ以上の形式の対話は、（例えば、ヘッドマウントディスプレイ、デジタル現実メガネ、又はスマートコンタクトレンズを装着した状態で）見ること、（例えば、タッチ対応デバイス又はマウスで）タップ又はクリックすること、（例えば、手のジェスチャ、タッチスクリーン、又はマウスで）ポインティング、グラビング、ピンチング、又はスワイプすること、声による対話、テキストによる対話、他の手又は顔のジェスチャ又は動き、又はこれらの組み合わせのうちの少なくとも１つを含む。

いくつかの実施形態では、受信した１つ以上の形式の対話に応答してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネルを開くことは、招待を生成してターゲットユーザデバイスに送信することと、招待されたターゲットユーザが招待を受け入れる場合、招待されたターゲットユーザから招待確認を受信することを含む。サーバがターゲットユーザのマーカ上でのカウンターパートユーザデバイスからの或る形式の対話を受信すると、サーバは、招待状を生成してターゲットユーザデバイスに送信する。さらなる実施形態では、サーバは、１つ以上の仮想オブジェクト、テキスト、ビデオ、音、触覚感覚、ミニゲームなどのメディアコンテンツを招待状にさらに埋め込むことができる。招待状は、メディアコンテンツを含む外部コンテンツへのリンクをさらに含み得る。招待されたターゲットユーザが招待を受け入れる場合、サーバは、招待されたターゲットユーザから、カウンターパートユーザデバイスを通じてターゲットユーザによって入力された招待確認を受信し、カウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネルを開く。ターゲットユーザは、招待を拒否するという選択肢も有することができ、この選択肢は、このような拒否についてカウンターパートユーザに知らせるようにサーバをトリガする。

いくつかの実施形態では、固体物体が３Ｄ構造データで再現されるデジタル現実システムにおいて、永続的仮想世界システムに格納されたそれぞれの固体物体の３Ｄ構造データに仮想的に透明性を追加することによって、カウンターパートユーザデバイスとターゲットユーザとの間に固体物体が存在するにもかかわらず、カウンターパートユーザデバイスに送信される通知、及び、カウンターパートユーザとターゲットユーザとの間の通信を知覚することができる。例えば、通知は、通常の状況ではカウンターパートユーザとターゲットユーザとの間の視界を遮る可能性のある他のユーザ、壁、又は自然形成物の仮想レプリカを透過してカウンターパートユーザが仮想的に見ることを可能にすることによって、エリア内の他のユーザを通じてカウンターパートユーザによって知覚され得る。したがって、ターゲットユーザデバイスがサーバによって追跡される際に、カウンターパートユーザの所定の距離内のどこででもマーカ上に拡張を配置することができる。同様に、ユーザ間の通信中に、通信は、２人のユーザの表現が仮想世界システムで壁の両側にあるが、それでも互いに見たり聞いたりすることができるような場合に、物体を透過して知覚することができる。

いくつかの実施形態では、ユーザ間の通信は、拡張現実、仮想現実、又はこれらの組み合わせで可能とされる。仮想現実の一実施形態では、サーバは、実世界に対応する仮想世界を生成するために、それぞれの実世界要素の上に永続的仮想世界システムの仮想レプリカを（例えば、仮想レプリカが実世界要素の対応する位置及び向きと一致する状態で）重ね合わせる。

いくつかの実施形態では、カウンターパートユーザとターゲットユーザとの間の通信中に、サーバはさらに、カウンターパートユーザデバイス及び／又はターゲットユーザデバイス、外部センサデバイス、又はこれらの組み合わせ上のセンサから、ユーザの顔の表情、ボディランゲージ、又は他の身体的特徴、及び実世界要素からの身体的特徴に関連するセンサデータを取得し、対応するユーザの及び／又は実世界の仮想レプリカを更新するように構成される。さらなる実施形態では、この方法はさらに、（例えば、互いに向き合っている、隣り合っている、同じ部屋にいるなどの）近距離通信をシミュレートするために対応するユーザの仮想レプリカを仮想的に空間的に近接して配置することを含む。同様に、仮想現実では、ユーザは、近距離通信をシミュレートするために互いにもっと近づくという選択肢も有することができる。いくつかの例では、カウンターパートユーザが、拡張現実で他のターゲットユーザを見ている場合があり、一方、ターゲットユーザは、仮想現実でカウンターパートユーザの場所に仮想的に存在する場合がある。対応するユーザ表現をスキャンし、仮想レプリカ上で出力するのに十分なセンサデバイスが利用できない可能性がある状況に関連した代替的な実施形態では、サーバはさらに、ユーザの声のトーン及びユーザが発した言葉に基づく表現をシミュレートするように構成することができる。

いくつかの実施形態では、通信は、音声、ビデオ、テキスト、及び手又は顔のジェスチャ又は動きの共有による通信を可能にする通信チャネルを通じて、人間ユーザ、人工現実ユーザ、又はこれらの組み合わせの間で可能とされる。したがって、例えば、永続的仮想世界システムは、人間ユーザが拡張現実又は仮想現実で通信できる仮想アバターによって表され得る複数の人工知能仮想アシスタントを備えることができる。

代替的実施形態では、ユーザの仮想レプリカ又は対応するマーカが永続的仮想世界システムに格納されていないとき、ターゲットユーザがカウンターパートユーザの視野内にいるときにカウンターパートユーザデバイス上の視覚センサを通じてターゲットユーザの３Ｄ形状をスキャンし、スキャンした３Ｄ形状から、ターゲットユーザ上に重ね合わされカウンターパートユーザの位置及び向きに調整される３Ｄ形状の３Ｄ仮想近似を作成することによって、仮想レプリカの形態のマーカが「オンザフライ」で生成される。したがって、仮想レプリカを、サーバ内の永続的仮想世界システムに格納することができ、後の対話に利用することができる。さらなる実施形態では、前記スキャンはさらに、仮想世界要素のデータを更新する又はさらなるデータを永続的仮想世界システムに提供するのに用いられ得る、前記実世界の少なくとも一部の仮想レプリカを生成するために、カウンターパートユーザの視野内の実世界の少なくとも一部に対して行われる。したがって、ユーザの、実世界の場所の、又はこれらの組み合わせの仮想レプリカを生成するために、システムは、サーバに既に格納されている要素を用いて、リアルタイムで得られたセンサデータと組み合わせることができる。

一実施形態では、デジタル現実内の強化されたユーザ間通信を可能にするためのシステム（例えば、仮想世界システム）は、メモリと少なくとも１つのプロセッサとを備えるサーバを備え、サーバは、ターゲットユーザ上に重ね合わされるターゲットユーザのマーカを生成し、無線ネットワークを通じて、無線ネットワークを介してサーバに接続されているターゲットユーザデバイス及びカウンターパートユーザデバイスの存在を検出し、ルールセットに基づいてターゲットユーザデバイスの存在を知らせる通知をカウンターパートユーザデバイスに送信し、ターゲットユーザのマーカ上でのカウンターパートユーザデバイスからの１つ以上の形式の対話を受信し、受信した１つ以上の形式の対話に応答してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネルを開き、通信チャネルを介してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の対応する通信を受信し、処理し、適宜割り振るように構成される。

一実施形態では、第１のユーザデバイス及びターゲットユーザデバイスから得られた複数の位置及び向きデータポイントからそれぞれのユーザのマーカを生成するステップと、無線ネットワークを介してサーバに接続されている第１のユーザデバイス及びターゲットユーザデバイスの存在を検出するステップと、ルールセットに基づいてターゲットユーザデバイスの存在を知らせる通知を第１のユーザデバイスに送信するステップと、ターゲットユーザのマーカ上での第１のユーザデバイスからの或る形式の対話を受信するステップと、受信した形式の対話に応答してユーザデバイスとターゲットユーザデバイスとの間の通信チャネルを開くステップと、通信チャネルを介してユーザデバイスとターゲットユーザデバイスとの間の対応する通信を受信し、処理し、適宜割り振るステップとを含む（例えば、仮想世界システム内の）通信を可能にするための方法をメモリと少なくとも１つのプロセッサとを備えるサーバコンピュータシステムに行わせるように構成された命令をその上に格納している１つ以上の非一時的コンピュータ可読媒体が提供される。

上記の概要は、本開示のすべての態様の網羅的なリストを含んでいるわけではない。本開示は、上記に要約した種々の態様のすべての適切な組み合わせから実施できるすべてのシステム及び方法、並びに、以下の詳細な説明で開示され、特に本出願と共に提出される請求項で指摘されたシステム及び方法を含むと考えられる。このような組み合わせは、上記の概要に具体的に列挙していない特定の利点を有する。本開示の他の特徴及び利点は、添付の図面から及び以下に続く詳細な説明から明らかとなるであろう。

本発明の上記の態様及び付随する利点の多くは、添付の図面と併せて解釈すれば、以下の詳細な説明を参照して同じことがよりよく理解されるようになるので、より容易に理解されるであろう。

本開示の特定の特徴、態様、及び利点は、以下の説明と添付の図面からよりよく理解されるであろう。

一実施形態に係る、デジタル現実内のユーザ間通信を可能にする方法を示す図である。 一実施形態に係る、デジタル現実内のユーザ間通信を可能にするシステムを示す図である。 ターゲットユーザの存在についてカウンターパートユーザデバイスに送信される通知を決定するのに用いられ得るルールセットを示す図である。 カウンターパートユーザがターゲットユーザの通知を、固体物体を透過して受信する実施形態の例を示す図である。 カウンターパートユーザがターゲットユーザの通知を、固体物体を透過して受信する実施形態の例を示す図である。 近距離通信をシミュレートするべくターゲットユーザの等身大の仮想レプリカがカウンターパートユーザの前に配置される実施形態の例を示す図である。 本開示の実施形態に従って用いられ得るサンプルユーザデバイスを示す図である。

以下の説明では、種々の実施形態を例証として示す図面を参照する。また、いくつかの例を参照することによって種々の実施形態を以下に説明する。実施形態は、特許請求される主題の範囲から逸脱することなく設計及び構造の変更を含み得ることを理解されたい。

図１は、一実施形態に係る、デジタル現実内のユーザ間通信を可能にする方法１００を示す。

デジタル現実内の強化されたユーザ間通信を可能にするための方法１００は、この例では、メモリと少なくとも１つのプロセッサとを備えるサーバによって実施される。代替的に、本明細書で説明される方法１００又は他の方法は、複数のサーバコンピュータを含むサーバコンピュータシステムなどの、様々なタイプの１つ以上のコンピューティングデバイスによって実装することができる。方法１００は、ステップ１０２で、ターゲットユーザに関連付けられる（例えば、永続的に付けられる）ターゲットユーザのマーカを生成することで始まる。いくつかの実施形態では、サーバのメモリは、対応する実世界要素の仮想レプリカを含む永続的仮想世界システムを格納する。さらなる実施形態では、マーカは、永続的仮想世界システムからそれぞれのユーザの仮想レプリカを取得し、仮想世界システムでのレプリカの動き及び／又は向きが実世界でのユーザの動き及び／又は向きと一致するように等身大バージョンの仮想レプリカを対応するカウンターパートユーザ及び／又はターゲットユーザ上に重ね合わせることによって生成される、インタラクティブな仮想形状である。したがって、永続的仮想世界システムは、各ユーザの仮想レプリカを格納することができ、これは、サーバによる拡張後にカウンターパートユーザに可視又は知覚可能であり得る。いくつかの実施形態では、各ユーザデバイスは、一意識別子を備え、ユーザの対応する仮想レプリカは、この一意識別子と関連付けられる。

簡略化のために、本開示では、ユーザは、カウンターパートユーザとターゲットユーザに分類される。カウンターパートユーザは、サーバから通知を受信するとターゲットユーザとの接触を最初に試みるユーザを指し得る。しかしながら、例えば両方のユーザが同時に他のユーザに接触を試みる可能性があるので、いずれか一方又は両方のユーザがカウンターパートユーザ又はターゲットユーザとみなされ得ることが理解される。したがって、カウンターパートユーザデバイスとターゲットユーザデバイスは、同じタイプのユーザデバイスを指し得る。この意味では、サーバは、両方のユーザデバイスに通知を送信することができ、ユーザのいずれか又は両方は、他のユーザのマーカ上での或る形式の対話を通じて通知に応答することができる。さらに、簡略化のために、カウンターパートユーザとターゲットユーザは単数形で言及されるが、グループ通信を可能にし得るそれぞれ複数のユーザデバイスを有する複数のカウンターパートユーザと複数のターゲットユーザが存在する場合があることが理解される。

本開示において、「永続的な」という用語は、プロセス又はネットワーク接続を継続的に行わなくても存在し続けることができるシステムの状態を特徴付けるのに用いられる。例えば、「永続的な」という用語は、仮想世界システムと、その中に含まれる仮想レプリカのすべてが、仮想レプリカ、純粋な仮想オブジェクト、及びデジタル現実アプリケーションを作成するために用いられるプロセスが停止した後に存在し続け、仮想世界システムに接続しているユーザから独立している、仮想世界システムを特徴付けるのに用いられる場合がある。したがって、仮想世界システムは、不揮発性ストレージの場所に、例えば、サーバに保存される。このようにして、仮想レプリカは、ユーザがサーバに接続していなくても特定の目標を達成するように構成されているときに、相互に対話及び協働することができる。

本開示で用いられる場合の「実世界要素」は、感知機構によって感知され得る実世界で見つかる要素を指す。例えば、実世界要素は、とりわけ、人間、車両、建物、物体、レクリエーションエリア、自然形成物、及び道を含む、実世界で見つかる移動する又は静的なエンティティであり得る。本開示では、「仮想レプリカ」という用語は、（例えば、仮想世界システムでの）実世界要素の仮想表現を指す。

方法は、ステップ１０４で、ネットワークを通じて、様々な標準追跡方法のうちの１つ以上を用いて、ネットワークを介してサーバに接続されているターゲットユーザデバイス及びカウンターパートユーザデバイスの存在を検出することに進む。その後、方法１００は、ステップ１０６で、ルールセットに基づいてターゲットユーザデバイスの存在を知らせる通知をカウンターパートユーザデバイスに送信することに進む。いくつかの実施形態では、通知ルールセットに基づいてカウンターパートユーザデバイスに送信される通知は、カウンターパートユーザデバイスを通じて知覚可能な１つ以上の独特の色、照明効果、音、形状、又は触覚感覚を含む少なくとも１つの独特の特徴でターゲットユーザのマーカを仮想的に拡張することによって行われる。

独特の特徴は、サーバのメモリに格納することができ、前記ルールセットからの１つ以上のルールと関連付けることができる。例えば、マーカが永続的仮想世界システムから取得される重ね合わされた仮想レプリカである実施形態では、仮想レプリカは、前記少なくとも１つの独特の特徴を通じてサーバによって後で拡張され得るカウンターパートユーザのトランスペアレントバージョンであり得る。別の例では、通知は、カウンターパートユーザデバイスから発せられる音を含む呼び出し音の形態であり得る。他の例では、通知は、音（例えば、呼び出し音、ビープ音、音楽、又は声）、振動、及びビデオの組み合わせとすることができる。したがって、通知は、例えば、少なくとも１つの独特の特徴でカウンターパートユーザのためにターゲットユーザを強調表示することによって、近くのターゲットユーザの存在についてカウンターパートユーザに警告する。このように、ターゲットユーザは、雑踏の中又は未知のエリアであってもカウンターパートユーザによって容易に見つけられる。例えば、ターゲットユーザのマーカは、独特の音及び／又は触覚感覚（例えば、振動する警告）を同時に生成しながら、カウンターパートユーザのヘッドマウントディスプレイを通じて、ターゲットユーザの周りで輝く黄色のオーラとして見ることができる。

いくつかの実施形態では、カウンターパートユーザデバイスへの通知の基礎となるルールセットは、ユーザ間の社会的つながりに基づく特定の権限、１つ以上の所定の地理的ゾーンに割り当てられた１つ以上の関心を含む関心ゾーン、個々のユーザの関心、距離ファクタ、可用性構成設定、又はこれらの組み合わせを含み、ユーザが特定のルールセットのうちの１つ以上を満たしたときにユーザ通知がトリガされる。さらなる実施形態では、サーバはさらに、ルールセットに関連付けられた１つ以上のデータを取得するために、対応するソーシャルネットワークから、１つ以上のユーザソーシャルメディアプロフィールにアクセスするように構成され得る。他の実施形態では、サーバのメモリはさらに、好み、社会的つながり、社会活動などを含むユーザプロフィール情報を格納する。他の実施形態では、サーバは、ソーシャルネットワークからアクセスした情報とサーバのメモリで利用可能な情報を組み合わせることができる。

ステップ１０８で、方法１００は、ターゲットユーザのマーカ上でのカウンターパートユーザデバイスからの１つ以上の形式の対話を受信することに進む。いくつかの実施形態では、ターゲットユーザのマーカ上でのカウンターパートユーザによって適用される１つ以上の形式の対話は、（例えば、ヘッドマウントディスプレイ、デジタル現実メガネ、又はスマートコンタクトレンズを装着した状態で）見ること、（例えば、タッチ対応デバイス又はマウスで）タップ又はクリックすること、（例えば、手のジェスチャ、タッチスクリーン、又はマウスで）ポインティング、グラビング、ピンチング、又はスワイプする、声による対話、テキストによる対話、他の手又は顔のジェスチャ又は動き、又はこれらの組み合わせのうちの少なくとも１つを含む。

いくつかの実施形態では、サーバがターゲットユーザのマーカ上でのカウンターパートユーザデバイスからの或る形式の対話を受信すると、方法１００はさらに、ターゲットユーザが拒否する又は受け入れることができる招待を生成してターゲットユーザデバイスに送信することを含む。さらなる実施形態では、サーバは、１つ以上の仮想オブジェクト、テキスト、ビデオ、音、触覚感覚、ミニゲームなどのメディアコンテンツを招待状にさらに埋め込むことができる。招待状は、メディアコンテンツを含む外部コンテンツへのリンクをさらに含み得る。招待されたターゲットユーザが招待を受け入れる場合、サーバは、招待されたターゲットユーザから、カウンターパートユーザデバイスを通じてターゲットユーザによって入力された招待確認を受信し、カウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネルを開く。ターゲットユーザは、招待を拒否するという選択肢も有することができ、この選択肢は、このような拒否についてカウンターパートユーザに知らせるようにサーバをトリガし、通信チャネルが開かれることを防ぐ。

次いで、ステップ１１０で、方法は、カウンターパートユーザデバイスとターゲットユーザデバイスとの間の通信チャネル（例えば、デジタル音声チャネル、デジタルビデオチャネル、テキストチャットアプリケーション、又はこれらの組み合わせ）を開くことに進む。いくつかの実施形態では、通信チャネルは、音声、ビデオ、テキスト、及び手又は顔のジェスチャ又は動きの共有による通信を可能にする。

いくつかの実施形態では、通信は、人間ユーザ、人工現実ユーザ、又はこれらの組み合わせの間で可能とされる。したがって、例えば、永続的仮想世界システムは、人間ユーザが拡張現実又は仮想現実で通信できる仮想アバターによって表され得る複数の人工知能仮想アシスタントを備えることができる。

いくつかの実施形態では、カウンターパートユーザとターゲットユーザとの間の通信中に、サーバはさらに、カウンターパートユーザデバイス、ターゲットユーザデバイス、外部センサデバイス、又はこれらの組み合わせ上のセンサからのセンサデータ、ユーザの顔の表情及びボディランゲージ又は身体的特徴に関連する及び／又は実世界要素からのセンサデータを取得し、対応するユーザの及び／又は実世界の対応する部分の実物大の仮想レプリカを更新するように構成される。例えば、センサデータは、人間の表情をスキャンして認識するための人工知能ベースのマシンビジョンを用いて、ユーザの近くに設置された深度カメラ、ＳＬＡＭスキャナ、又はモノのインターネット（ＩｏＴ）デバイスに含まれる視覚センサから取得され得る。例えば、カウンターパートユーザは、拡張現実で、互いに５０メートル離れた場所にいるターゲットユーザと通信することができる。ユーザ間の距離が大きすぎるため、ユーザは、対応するユーザの等身大の仮想レプリカをお互いの前に配置することによって近距離通信をシミュレートするという選択肢を有することができる。等身大の仮想レプリカは、センサデータを通じてリアルタイムで更新されるので、それぞれのユーザの顔の表情及びボディランゲージをカウンターパートユーザのすぐ前で知覚及びシミュレートし、相互のコミュニケーションを強化することができる。対応するユーザ表現をスキャンし、等身大の仮想レプリカ上で出力するのにセンサデバイスを利用できない可能性がある状況に関連した代替的な実施形態では、サーバはさらに、ユーザの声のトーン及びユーザが発した言葉に基づく表現をシミュレートするように構成することができ、これは、声のトーンのサンプル及び関連する対応する表現を含む複数のラベル付き及び／又はラベルなしデータセットで人工知能アルゴリズムをトレーニングすることによって達成され得る。

最後に、ステップ１１２で、方法は、通信チャネルを介してカウンターパートユーザデバイスとターゲットユーザデバイスとの間の対応する通信を受信し、処理し、適宜割り振ることで終了する。

図２は、一実施形態に係る、デジタル現実内のユーザ間通信を可能にするシステム２００を示す。

システム２００は、メモリ２０４と少なくとも１つのプロセッサ２０６とを含むサーバ２０２を備え得る。メモリは、１つ以上のターゲットユーザの仮想レプリカ２１０、カウンターパートユーザの仮想レプリカ２１２、及び他の仮想レプリカ２１４を備える永続的仮想世界システム２０８を格納する。メモリ２０４はさらに、通知データベース２１８に関連付けられた１つ以上の通知ルールセット２１６を格納する。本開示では、例えば、図３～図６の説明で「サーバ」及び「システム」に言及するときにはいつでも、例示を容易にするために図２に記載された現在のサーバ２０２及びシステム２００を参照するが、本明細書で説明される機能又は技術を実装するために他のサーバ、以上のサーバコンピュータを含むサーバシステムが用いられてもよい。

それぞれのユーザデバイス２２４を装着又は使用しているターゲットユーザ２２２及びカウンターパートユーザ２２０を含むユーザは、デジタル現実内のユーザ間通信を可能にするために、メモリ２０４に格納された様々なコンピュータプログラムにアクセスするべくネットワーク２２６（例えば、無線ネットワーク）を介してサーバ２０２に接続することができる。

いくつかの実施形態では、システム２００は、すべてネットワーク２２６を通じて接続することができる、パブリック又はプライベートのクラウドサーバ、フォグサーバ、及び企業システム、モバイルプラットフォーム、及びユーザデバイスなどのエッジデバイス及びシステムを使用する分散型コンピューティング機能を呈し得るクラウド・ツー・エッジインフラストラクチャで実装される。クラウド・ツー・エッジコンピューティングネットワークを用いると、計算能力、コンピュータ・インフラストラクチャ（例えば、所謂サービスとしてのインフラストラクチャ、すなわちＩａａＳを通じて）、アプリケーション、及びビジネスプロセスへのアクセスを、オンデマンドでクライアントデバイスを介してユーザにサービスとして送達することができる。このように、物理サーバ及びネットワーク機器を含むリソースは、ユーザとリソース及びネットワークとの距離などの因子並びにユーザからの計算要求に応じて動的に割り当てられる共有のストレージ及びコンピューティングを可能にする。

いくつかの実施形態では、仮想レプリカ（例えば、ターゲットユーザの仮想レプリカ２１０、カウンターパートユーザの仮想レプリカ２１２、及び他の仮想レプリカ２１４）は、メモリ２０４に格納されたレプリカエディタ（図示せず）を介して開発される。レプリカエディタは、永続的仮想世界システム２０８に仮想レプリカのデータ及び命令を入力するように構成される。レプリカエディタは、例えば、仮想レプリカの入力、編集、及びテストに必要なデータ及び命令を格納することができるコンピュータ支援製図（ＣＡＤ）又はコンピュータ支援エンジニアリング（ＣＡＥ）ソフトウェアであり得る。レプリカエディタは、各デジタルレプリカに関連するデータ及び命令の入力を可能にし、各レプリカの形状、場所、位置及び向き、並びに物理的特性を記述する。レプリカエディタは、ユーザが仮想レプリカを構築することを可能にするように構成された、３Ｄゲームエンジンソフトウェア開発キットを含み得るモデリングツールを備えることができる。モデリングツールは、実世界要素の容易に入手可能なＣＡＤ又はＣＡＥモデルに基づいて明示的なデータ及び命令を用いて仮想レプリカを生成することを可能にする。例えば、マシンの所有者は、永続的仮想世界システムの管理者を提供することができ、又は所有者のマシンの既存のデジタルＣＡＤ又はＣＡＥモデルを自分で入力することができる。同様に、建物の所有者は、見ることができない又は感知機構で容易に取得できない情報を含み得る、永続的仮想世界システムに格納される建物の詳細を有する建物情報モデル（ＢＩＭ）を提供することができる。他の実施形態では、モデリングツールは、仮想レプリカをモデリングするために、様々な写真、ビデオ、深度ＳＬＡＭ（同時ローカライゼーション・マッピング）スキャンを通じて、車又はドローンに基づく画像スキャンパイプラインの入力を可能にする。他の実施形態では、合成開口レーダ、実開口レーダ、光検出・測距（ＬＩＤＡＲ）、逆開口レーダ、モノパルスレーダなどのレーダイメージング、及び他のタイプのイメージング技術が、実世界要素を永続的仮想世界システムに統合する前にマッピング及びモデル化するのに用いられ得る。いくつかの実施形態では、ユーザの仮想レプリカは、ユーザデバイス２２４を通じて選択を入力することによりアバターの特徴を選択することによってユーザ自身によって作成される。アバターは、それぞれのユーザによって、ユーザに似るように又はユーザに関係のない他の特徴を含むように構成されてよい。

ユーザデバイス２２４は、移動電話、ラップトップ、ウェアラブルコンピュータ、モバイルゲームコンソール、ヘッドマウントディスプレイ、シースルーデバイス、デジタル現実メガネ（例えば、拡張現実メガネ、仮想現実メガネ、又は複合現実メガネ）、デジタル現実対応のスマートコンタクトレンズなどのうちの１つ以上であり得る。ユーザデバイス２２４は、インターネットなどのネットワーク２２６を通じてサーバに接続し、ユーザデバイスから得られるセンサデータから標準の無線位置測定方法又は無線位置測定方法と慣性追跡方法との組み合わせを通じて追跡される。

いくつかの実施形態では、仮想レプリカ１０８は、ＳＬＡＭ又は導写像に基づくデータなどの３Ｄ世界及び建物データ、３Ｄジオメトリデータ、３Ｄ点群データ、又はデジタル現実アプリケーションの３Ｄ構造をモデル化するのに役立つ可能性のある実世界の構造的特性を表す地理情報システムデータのうちの１つ以上を含む。

いくつかの実施形態では、他の仮想レプリカ２１２は、建物、自然形成物、道、デバイスなどの他の実世界要素の仮想レプリカを指す。例えば、永続的仮想世界システム２０８は、複数の他の仮想レプリカ２１２並びにユーザの仮想レプリカを含む、都市などの実世界の少なくとも一部である複数の実世界要素の仮想コピーを指す場合がある。

いくつかの実施形態では、ネットワーク２２６は、セルラーネットワークを指し、全地球進化型高速データレート（ＥＤＧＥ）、汎用パケット無線サービス（ＧＰＲＳ）、モバイル通信用全地球システム（ＧＳＭ）、インターネットプロトコルマルチメディアサブシステム（ＩＭＳ）、汎用モバイル遠距離通信システム（ＵＭＴＳ）など、並びに任意の他の適切な無線媒体、例えば、マイクロ波アクセス（ＷｉＭＡＸ）、ロングタームエボリューション（ＬＴＥ）ネットワーク、符号分割多重アクセス（ＣＤＭＡ）、広帯域符号分割多重アクセス（ＷＣＤＭＡ）、及びワイヤレスフィデリティー（ＷｉＦｉ）、衛星、モバイルアドホックネットワーク（ＭＡＮＥＴ）などを含む様々な技術を採用することができる。

いくつかの実施形態では、ハードウェア及びネットワークの需要を低減し、ネットワーク待ち時間の減少に寄与し、一般的なデジタル現実体験を改善するために、システムは、ミリ波（ｍｍＷ）、又はミリ波と第５世代無線システム通信（５Ｇ）などのサブ６ＧＨｚ通信システムの組み合わせを含むネットワークを通じて接続することができる。他の実施形態では、システムは、ワイヤレスローカルエリアネットワーキング（Ｗｉ－Ｆｉ）を通じて接続することができる。提供される通信システムは、低い（例えば、約１～約５ミリ秒の）エンドツーエンド（Ｅ２Ｅ）待ち時間と、フィールド内のエンドポイントへの高い（例えば、約１～１０Ｇｂｐｓの）ダウンリンク速度を可能にし、通常は高度にインタラクティブなデジタル現実アプリケーションを実行するのに必要なパラメータと適合し、ラグのない又はラグが非常に少ない、リアルタイム通信を可能にする。これにより、デジタル現実での高品質の、低い待ち時間の、リアルタイムの通信が得られる。他の実施形態では、システムは、４Ｇ通信システムによってサポートされ得る第４世代無線システム通信（４Ｇ）を通じて通信可能に接続することができ、或いは、他の有線又は無線通信システムを含み得る。

いくつかの実施形態では、ユーザデバイス２２４の追跡測位を可能にするために、ＧＰＳ、ＢＤＳ、Ｇｌｏｎａｓｓ、ＱＺＳＳ、Ｇａｌｉｌｅｏ、及びＩＲＮＳＳなどの衛星ベースのナビゲーションシステムを指す、全地球航法衛星システム（ＧＮＳＳ）が用いられ得る。十分な数の衛星からの信号と、三角測量及び三辺測量などの技術を使用して、ＧＮＳＳは、ユーザデバイス２２４の位置、速度、高度、及び時間を計算することができる。一実施形態では、外部測位システムは、既存の移動体通信ネットワークのアーキテクチャを通じて補助ＧＮＳＳ（ＡＧＮＳＳ）によって拡張され、既存のアーキテクチャは５Ｇを含む。他の実施形態では、ＡＧＮＳＳ追跡システムはさらに、４Ｇ移動体通信ネットワークによってサポートされる。屋内の実施形態では、ＧＮＳＳはさらに、６０ＧＨｚでのデータの提供を含むがこれに限定されないＷｉ－Ｆｉなどの無線ワイヤレスローカルエリアネットワークによって拡張される。代替的な実施形態では、ＧＮＳＳは、ディファレンシャルＧＰＳ（ＤＧＰＳ）、静止衛星型衛星航法補強システム（ＳＢＡＳ）、リアルタイムキネマティック（ＲＴＫ）システムなどの当該技術分野では公知の他の技術によって拡張される。いくつかの実施形態では、デバイスの追跡は、ＡＧＮＳＳとデバイス内の慣性センサとの組み合わせによって実施される。

いくつかの実施形態では、仮想レプリカのそれぞれは、現在のジオロケーション技術で用いるのに適した基準座標系を用いてジオロケートされ得る。例えば、仮想レプリカは、ＧＰＳによって用いられる現在の基準座標系であるＷＧＳ８４などの世界測地系標準を用いることができる。

図３は、ターゲットユーザの存在についてカウンターパートユーザデバイスに送信される通知を決定するのに用いられ得る通知ルールセット２１６を示す。図３のいくつかの要素は、図２の同様の要素を含む場合があり、したがって、同じ又は同様の参照番号が用いられる場合がある。

通知ルールセット２１６には、とりわけ、社会的つながり３０２、関心ゾーン３０４、個々のユーザの関心３０６、距離ファクタ３０８、及び可用性・プライバシー設定３１０が含まれ得る。

社会的つながり３０２は、例えば、ユーザに関係し、且つ、友人、家族、又は知人などの、ユーザが交流を持たざるを得ないと感じる連絡先のネットワークを含み得る。いくつかの実施形態では、社会的つながりは、ユーザとそれぞれの連絡先との関係がどれだけ近いかによって分類され得る。したがって、例えば、サーバは、カウンターパートユーザと密接な社会的つながりをもつターゲットユーザ（例えば、親しい友人又は家族）のマーカを特定の色で強調表示し、カウンターパートユーザとより疎遠な社会的つながりをもつターゲットユーザ（例えば、遠方の知人）のマーカを別の色で強調表示することを決定することができる。

関心ゾーン３０４は、特定の共通の関心を持つ人々にのみ通知及び通信が可能にされ得る１つ以上のゾーンを指す。関心ゾーン３０４を作成するために、場所の選択の基礎として、永続的仮想世界システムを用いて１つ以上の関心が１つ以上の所定の地理的ゾーンに割り当てられる。永続的仮想世界システムでの各場所は、実世界でのそれぞれの場所に従ってマッピングされるので、各関心ゾーン３０４は、それらの実世界の地理的位置内に物理的に含まれ得る。例えば、デートゾーンは、デートに関心のあるユーザだけが本開示の方法を通じて通信するように構成された物理的エリアを指す場合があり、読書ゾーンは、読書に関心のあるユーザに向けて構成され、スポーツゾーンは、スポーツに関心のあるユーザに向けて構成され得る。さらなる実施形態では、各関心ゾーンは、ターゲットユーザの存在をカウンターパートユーザに知らせるためのさらなるレベルのデータフィルタリングを可能にし得る、さらなる関心サブ分類を含み得る。例えば、読書ゾーンにいるユーザは、読書の好みが似ているユーザについての特定の通知を受け取ることができ、そのため、これらのユーザのマーカは、好みが異なるユーザと比べて特定の色で又は他の独特の特徴を通じて強調表示され得る。さらに、この例では、ターゲットユーザを知らせるときに独特の特徴を提供することは、カウンターパートユーザが関心を持ち得る１つ以上の好ましい本カテゴリを含む仮想ラベルを付けるなどの、共通の関心に関係したターゲットユーザについての追加データを提供することをさらに含み得る。この追加情報の提供により、ユーザ間の通信を促進する又は容易にすることができる共通のバックグラウンド情報をユーザに与えることができる。別の例では、デートゾーンにおいて、好み、性格、又は趣味が似ているユーザは、他のユーザと比べて異なる独特の特徴で強調表示されてよく、対話を容易にするためにそれらの一致する特徴をもつ仮想ラベルをさらに備えることができる。

個々のユーザの関心３０６は、趣味、キャリア、好ましい言語などの、本開示の方法を通じて通信するユーザの個人的関心を指す。いくつかの実施形態では、個々のユーザの関心３０６は、カウンターパートユーザが関心を持ち得るターゲットユーザをさらにフィルタするために関心ゾーン３０４によって用いられ得る。他の実施形態では、個々のユーザの関心３０６は、共通の関心を持つ他のユーザを容易に見つけるために世界の通常のエリアで用いられ得る。

距離ファクタ３０８は、本開示の方法の通知及び通信を可能にするために決定された距離を指す。例えば、システムは、互いに所定の距離内にいるユーザだけが別のユーザの存在を知らされるように構成され得る。

可用性及びプライバシー設定３１０では、自身を可用としてマークするユーザが、本開示の方法を通じて通信するために通知される。いくつかの実施形態では、可用性は、無関係な人がユーザについての対応する個人情報を見ることができないように、例えば、密接な社会的つながりを持つユーザなどの特定のユーザだけが、ユーザの通知及び／又は情報にアクセス可能であるように構成され得る。

上記の通知ルールセットは、決められた距離にいる特定の社会的つながりのあるユーザのみを示す、又は特定の関心ゾーン内の特定の個々のユーザの関心のみを表示するなど、個々に又は組み合わせて構成できることに注目することが重要である。さらに、図２を参照すると、ルールセット２１６に基づく対応する通知のカスタマイズを可能にするために、通知ルールセット２１６と通知データベース２１８は接続され、ユーザによって一緒に構成され得ることに注目することが重要である。例えば、ユーザは、より密接な社会的つながり３０２をもつユーザに特定の色を割り当て、より疎遠な社会的つながり３０２をもつユーザに別の色を割り当てることを決定することができ、又は特定の個々のユーザの関心３０６を持つユーザに特定の音、触覚、又はテキスト警告を割り当てることができる。

さらなる実施形態では、サーバはさらに、通知ルールセット２１６に関連付けられた１つ以上のデータを取得するために、対応するソーシャルネットワークから、１つ以上のユーザソーシャルメディアプロフィールにアクセスするように構成され得る。他の実施形態では、サーバのメモリはさらに、ユーザによって個人的に入力され得る、好み、社会的つながり、社会活動などを含むユーザプロフィール情報を格納する。他の実施形態では、サーバは、ソーシャルネットワークからアクセスした情報とサーバのメモリで利用可能な情報とを組み合わせることができる。

図４Ａ及び図４Ｂは、カウンターパートユーザ２２０が１人以上のターゲットユーザ２２２の存在の通知を受信し、実世界ではカウンターパートユーザ２２０とターゲットユーザ２２２が離れている、又は建物又は他のユーザなどの固体物体によって遮られて互いに見えていないシナリオ４００ａ及び４００ｂの略図を示す。図４Ａ及び図４Ｂのいくつかの要素は、図２及び図３の同様の要素を含む場合があり、したがって、同じ又は同様の参照番号が用いられる場合がある。

図４Ａのシナリオ４００ａでは、ユーザデバイス２２４を装着しているターゲットユーザ２２２が建物４０２の後ろに位置し、強調表示されたマーカ４０４の形態の通知が、サーバによって、建物４０２の前に位置するカウンターパートユーザ２２０に送信され、前記カウンターパートユーザ２２０の視野４０６内で建物４０２の壁を透過して知覚される。この例では、サーバは、永続的仮想世界システムに格納された固体物体の建物４０２のそれぞれの３Ｄ構造データに仮想的に透明性を追加することができ、ゆえに、カウンターパートユーザ２２０には、建物４０２又は少なくともターゲットユーザ２２２がいる建物４０２の関連する部分が透明に見える。カウンターパートユーザ２２０は、このような強調表示されたマーカ４０４の形態の通知を見ると、例えば、マーカ４０４上で手又は指を動かして仮想的にクリックすることによって、ターゲットユーザ２２２のマーカ４０４上で或る形式の対話を適用することに進むことができる。いくつかの実施形態では、ターゲットユーザ２２２は、その後、通信チャネルを開くべく招待の形式で接触を試みる通知を受信することができ、ターゲットユーザ２２２は、それを受け入れる又は拒否する権限を有することができる。同様に、ユーザ間の通信中に、通信は、建物４０２を透過して知覚する（例えば、聞く又は見る）ことができる。

図４Ｂのシナリオ４００ｂでは、複数のターゲットユーザ２２２ａ～２２２ｄは、カウンターパートユーザ２２０の視野４０６内に存在する群衆４０８の一部である。さらにシナリオ４００ｂでは、システムは、図３の通知ルールセット２１６などの通知ルールセットからの１つ以上のルールに基づいてターゲットユーザ２２２ｃ及び２２２ｄのみの存在の通知をカウンターパートユーザ２２０に提供することができる。通知は、例えば、ターゲットユーザ２２２ｃ～２２２ｄに付けられる強調表示されたマーカ４０４を通じて送信され得る。さらに、通知は、永続的仮想世界システムに格納され得るターゲットユーザａ～ｂ及びｅ～ｆの仮想レプリカなどを通じてカウンターパートユーザ２２０によって知覚され得る。

いくつかの実施形態では、マーカ４０４は、永続的仮想世界システムからそれぞれのユーザの仮想レプリカを取得することによって生成される、インタラクティブな仮想形状であり得る。他の実施形態では、マーカ４０４はさらに、ポインタ、ターゲットユーザの上に配置されたアイコン、アウトラインなどのうちの１つなどの、任意の他のタイプのインタラクティブな仮想形状であり得る。マーカ４０４のタイプの選択は、システムの管理者によって、又はネットワークを通じて接続されたユーザデバイスを通じてシステムにアクセスすることによってターゲットユーザ自身によって構成され得る。

図５は、近距離通信をシミュレートするべくカウンターパートユーザ２２０の前に配置されたターゲットユーザ２２２の等身大の仮想レプリカ５０２の実施形態を示すサンプルシナリオ５００の略図である。図５のいくつかの要素は図２～図４Ｂの同様の要素を含む場合があり、したがって、同じ又は同様の参照番号が用いられる場合がある。

図５のシナリオ５００では、ターゲットユーザ２２２は、カウンターパートユーザ２２０のオフィス５０８の近傍の建物５０６内のオフィス５０４にいる。隣接するオフィス５０４内のターゲットユーザ２２２を表示するズームインビュー５１０がさらに提示されている。サーバは、オフィス５０４の窓の近くにいるターゲットユーザ２２２の現在の存在の通知をカウンターパートユーザ２２０に送信することができる。通知は、例えば、ターゲットユーザ２２２のマーカの拡張又は強調表示の形態で送信されてよく、カウンターパートユーザ２２０は、手又は指の動き、クリック、スワイプによって又は他のタイプの相互作用を通じて対話することができる。さらに、通知は、図３の通知ルールセット２１６などの通知ルールセットからの或るルールに基づいて送信され得る。いくつかの実施形態では、ターゲットユーザ２２２のマーカとの対話は、ターゲットユーザ２２２に招待を送信し、ターゲットユーザ２２２が招待を受け入れる場合、カウンターパートユーザ２２０との通信チャネルを開くようにサーバをトリガすることができる。シナリオ５００では、ユーザはさらに、近距離通信をシミュレートするべくカウンターパートユーザ２２０の近くにターゲットユーザ２２２の等身大の仮想レプリカ５０２を配置するオプションを受信することができる。

さらなる実施形態では、カウンターパートユーザ２２０とターゲットユーザ２２２との間の通信中に、サーバはさらに、ユーザデバイス２２４上のセンサ（例えば、カウンターパートユーザデバイス、又はターゲットユーザデバイス、又はこれらの組み合わせから）、外部センサデバイスから（例えば、カメラ５１２から）、又はこれらの組み合わせからセンサデータを取得するように構成される。センサデータは、ユーザの顔の表情及びボディランゲージと関連付けられる。センサデータはさらに、ユーザが位置する実世界の場所と関連付けられた視覚的又は他のタイプのセンサデータを含み得る。サーバはさらに、ターゲットユーザ２２２の等身大の仮想レプリカ５０２などの、対応するユーザの等身大の仮想レプリカ、並びにユーザが位置する場所を更新するように構成され得る。他の例では、センサデータは、人間の表情をスキャンして認識するための人工知能ベースのマシンビジョンを用いて、ユーザの近くに設置されたＲＧＢＤカメラ、深度カメラ、ＬＩＤＡＲカメラ、ＣＣＴＶカメラ、深度カメラなどのカメラ、ＳＬＡＭスキャナ、又はＩｏＴデバイスに含まれる視覚センサから取得され得る。等身大の仮想レプリカ５０２は、センサデータを通じてリアルタイムで更新されるので、ターゲットユーザ２２２の顔の表情及びボディランゲージをカウンターパートユーザ２２０のすぐ前でシミュレートし、相互のコミュニケーションを強化することができる。同様に、仮想現実では、ユーザは、近距離通信をシミュレートするために互いにもっと近づくという選択肢も有することができる。例えば、ターゲットユーザ２２２の観点から、通信は仮想現実内で行うことができ、したがって、ターゲットユーザ２２２は、カウンターパートユーザ２２０のオフィス５０８の仮想レプリカ、並びに、カウンターパートユーザ２２０の等身大の仮想レプリカを見ることができる。

対応するユーザ表現をスキャンし、等身大の仮想レプリカ上で出力するのに（例えば適切な場所で又は十分なセンサ機能で）センサデバイスを利用できない可能性がある状況に関連した代替的な実施形態では、サーバはさらに、ターゲットユーザ２２２の声のトーン及びターゲットユーザ２２２が発した言葉に基づく表現をシミュレートするように構成することができ、これは、声のトーンのサンプル及び関連する対応する表現を含む複数のラベル付き及び／又はラベルなしデータセットで人工知能アルゴリズムをトレーニングすることによって達成され得る。

図６は、本開示の実施形態に従って用いられ得るサンプルユーザデバイスを示す。

本開示のユーザデバイス６００は、入力／出力（Ｉ／Ｏ）モジュール６０２、電源６０４、メモリ６０６、追跡モジュール６１２を形成するセンサ６０８及びトランシーバ６１０、及びネットワークインターフェース６１４などの、すべてプロセッサ６１６に作動的に接続される、動作コンポーネントを含み得る。

Ｉ／Ｏモジュール６０２は、ユーザと対話し、ユーザ入力データを１つ以上の他のシステムコンポーネントに提供するように構成されたコンピューティングハードウェア及びソフトウェアとして実装される。例えば、Ｉ／Ｏモジュール６０２は、ユーザと対話し、対話に基づいてユーザ入力データを生成し、ユーザ入力データを、ネットワークを介してサーバなどの他の処理システムに転送される前にプロセッサ６１６に提供するように構成され得る。別の例では、Ｉ／Ｏモジュール６０２は、デバイス６０２と対話するように構成された外部コンピューティング・ポインティングデバイス（例えば、タッチスクリーン、マウス、３Ｄ制御、ジョイスティック、ゲームパッドなど）、及び／又はテキスト入力デバイス（例えば、キーボード、ディクテーションツールなど）として実装される。さらに他の実施形態では、Ｉ／Ｏモジュール６０２は、追加の、より少ない、又は異なる機能を上記のものに提供することができる。

電源６０４は、デバイス６０２に電力を提供するように構成されたコンピューティングハードウェア及びソフトウェアとして実装される。一実施形態では、電源６０４はバッテリであり得る。電源６０４は、デバイス６０２に組み込まれていてよく、又はデバイス６０２から取り外し可能であってよく、充電式又は非充電式であってよい。一実施形態では、デバイス６０２は、１つの電源６０４を別の電源６０４と交換することによって再び電力を供給され得る。別の実施形態では、電源６０４は、ユニバーサルシリアルバス（「ＵＳＢ」）ファイアワイヤ、イーサネット、サンダーボルト、又はパーソナルコンピュータに取り付けられたヘッドホンケーブルなどの、充電源に取り付けられたケーブルによって再充電され得る。さらに別の実施形態では、電源６０４は、誘導充電によって再充電されてよく、この場合、誘導充電器と電源６０４とが近づけられたときに誘導充電器から電源にエネルギーを伝達するのに電磁場が用いられるが、ケーブルで互いに接続する必要はない。別の実施形態では、充電を容易にするためにドッキングステーションが用いられ得る。

メモリ６０６は、アプリケーションプログラム命令を格納し、複数の感知機構によって取り込まれたセンサデータを格納するように適合されたコンピューティングハードウェア及びソフトウェアとして実装され得る。メモリ６０６は、コンピュータ可読媒体、又はハードドライブ、メモリカード、フラッシュドライブ、ＲＯＭ、ＲＡＭ、ＤＶＤ、又は他の光ディスクなどの電子デバイス、並びに他の書き込み可能メモリ及び読出し専用メモリの助けにより読み出され得るデータを格納する他の媒体を含む、プロセッサ６１６によってアクセス可能な情報を格納することができる任意の適切なタイプのものであり得る。メモリ６０６は、永続的なストレージに加えて一時的なストレージを含み得る。

センサ６０８は、実世界から種々のセンサデータを取得し、ユーザデバイス６００の位置及び向きを測位／追跡するように適合されたコンピューティングハードウェア及びソフトウェアとして実装され得る。センサは、限定はされないが、１つ以上の温度センサ、近接センサ、慣性センサ、赤外線センサ、汚染センサ（例えば、ガスセンサ）、圧力センサ、光センサ、超音波センサ、煙センサ、タッチセンサ、色彩センサ、湿度センサ、水センサ、電気センサ、又はこれらの組み合わせを含み得る。特に、センサは、１つ以上のカメラ内に構成された１つ以上の視覚センサを含み、慣性計測装置（ＩＭＵ）、加速度計、及びジャイロスコープをさらに備える。ＩＭＵは、加速度計とジャイロスコープの組み合わせを用いることによって、デバイス６０２の速度、加速度、角運動量、並進速度、回転速度、及び他の遠隔測定メタデータを測定及び報告するように構成される。ＩＭＵ内の及び／又はＩＭＵとは別個に構成された加速度計は、地球の重力場に起因する加速度を含む、相互作用デバイスの加速度を測定するように構成され得る。一実施形態では、加速度計は、３つの直交する方向の加速度を測定することができる三軸加速度計を含む。

トランシーバ６１０は、デバイス６０２がアンテナから無線電波を受信し、データをアンテナに送り返すことを可能にするように構成されたコンピューティングハードウェア及びソフトウェアとして実装され得る。いくつかの実施形態では、アンテナからミリ波信号を受信し、没入型コンテンツと対話するときにデータをアンテナに送り返すように構成され得るミリ波トランシーバが採用され得る。トランシーバ６１０は、双方向通信トランシーバ６１０であり得る。

一実施形態では、追跡モジュール６１２は、ＩＭＵ、加速度計、及びジャイロスコープの機能を、トランシーバ６１０によって提供される位置追跡と、ミリ波ベースのアンテナによって提供される正確な追跡、低い待ち時間、及び高いＱＯＳ機能と組み合わせることによって実装されてよく、サブセンチメートル又はサブミリメートルの位置及び向き追跡を可能にし、これにより、デバイス６０２のリアルタイムの位置及び向きの追跡時の精度を向上させることができる。代替的な実施形態では、感知機構とトランシーバ６１０は、単一の追跡モジュールデバイス内で一緒に結合され得る。

ネットワークインターフェース６１４は、ネットワークに通信可能に接続し、ネットワークからサーバによって又はデバイス６０２によって送信されたコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令をプロセッサ６１６による実行のためにメモリ６０６に格納するべく転送するためのコンピューティングソフトウェア及びハードウェアとして実装され得る。

プロセッサ６１６は、センサデータを受信及び処理するように構成されたコンピューティングハードウェア及びソフトウェアとして実装され得る。例えば、プロセッサ６１６は、イメージング要求を提供する、イメージングデータを受信する、イメージングデータを環境又は他のデータに処理する、ユーザ入力データ及び／又はイメージングデータを処理してユーザ対話データを生成する、エッジベースの（デバイス上の）機械学習トレーニング及び推論を行う、サーバ要求を提供する、サーバ応答を受信する、及び／又はユーザ対話データ、環境データ、及びコンテンツオブジェクトデータを１つ以上の他のシステムコンポーネントに提供するように構成され得る。例えば、プロセッサ６１６は、Ｉ／Ｏモジュール６０２からユーザ入力データを受信することができ、メモリ６０６に格納されたアプリケーションプログラムをそれぞれ実施することができる。他の例では、プロセッサ６１６は、実世界から取り込まれた感知機構からのセンサデータを受信することができ、又は追跡モジュール６１２を通じてデバイス６０２の正確な位置及び向きを受信することができ、さらなる処理のためにサーバにデータを送信する前にデータの一部を準備することができる。例として、プロセッサ６１６は、サーバにデータを送信する前に、生データ削減又はセンサデータのフィルタリングなどのアナログ又はデジタル信号処理アルゴリズムを含む、データ準備中に必要とされるステップの一部を実現することができる。

特定の実施形態が添付の図面に説明及び示されているが、このような実施形態は、広範な開示の単なる例証であって限定するものではないことと、当該技術分野の当業者は他の様々な修正に想到することができるため、本開示は、示され説明された特定の構成及び配置に限定されないことが理解される。したがって、説明は、限定ではなく例証とみなされるべきである。

排他的財産又は特権が主張される本発明の実施形態は、以下のように定義される。

Claims (20)

1. メモリと少なくとも１つのプロセッサとを備えるサーバによって実施される、仮想世界システムでの通信を可能にするための方法であって、前記方法が、
   ターゲットユーザに関連付けられ、仮想世界システムで提示される、前記ターゲットユーザのマーカを生成することと、
   無線ネットワークを介して前記サーバに接続されているターゲットユーザデバイス及びカウンターパートユーザデバイスの前記仮想世界システムでの存在を検出することと、
   ルールセットに基づいて前記仮想世界システム内のターゲットユーザデバイスの存在を知らせる通知を前記カウンターパートユーザデバイスに送信することであって、前記通知は、透明性が追加されている３Ｄ構造データに対応するオブジェクトを通じて前記カウンターパートユーザデバイスのユーザの視野内で可視である強調表示されたマーカの形態にあることと、
   前記仮想世界システム内のターゲットユーザのマーカ上での前記カウンターパートユーザデバイスからの１つ以上の形式の対話を受信することと、
   受信された１つ以上の形式の対話に応答して前記カウンターパートユーザデバイスと前記ターゲットユーザデバイスとの間の通信チャネルを開くことと、
   前記通信チャネルを介して前記カウンターパートユーザデバイスと前記ターゲットユーザデバイスとの間の通信を受信及び割り振ることと、
   前記メモリに格納されたレプリカエディタを介して仮想レプリカを作成することであって、前記レプリカエディタは、各仮想レプリカに関連するデータ及び命令の入力を可能にし、各仮想レプリカの形状、場所、位置及び向き、並びに物理的特性を記述するように構成されることと、
   を含む、方法。
2. 前記マーカが、前記仮想世界システムからそれぞれのユーザの仮想レプリカを取得することによって生成されるインタラクティブな仮想形状であり、前記方法がさらに、前記カウンターパートユーザ及び前記ターゲットユーザ上に前記ユーザの等身大の仮想レプリカを重ね合わせることを含む、請求項１に記載の方法。
3. 前記カウンターパートユーザデバイスに送信される通知が、前記仮想世界システムの３Ｄ構造データに仮想的に透明性を追加することによって知覚可能とされる、請求項２に記載の方法。
4. 前記カウンターパートユーザとターゲットユーザとの間の通信中に、
   前記サーバによって、前記ユーザの顔の表情又はボディランゲージに関連するセンサデータを取得することと、
   前記センサデータに基づいて対応するユーザの等身大の仮想レプリカを更新すること、
   をさらに含む、請求項２に記載の方法。
5. 前記ユーザの等身大の仮想レプリカを仮想的に空間的に近接して配置することをさらに含む、請求項２に記載の方法。
6. 前記マーカが、ポインタ、前記ターゲットユーザの上に配置されたアイコン、又はアウトラインのうちの１つである、請求項１に記載の方法。
7. 前記カウンターパートユーザデバイスへの通知が、前記カウンターパートユーザデバイスを通じて知覚可能な１つ以上の独特の色、照明効果、音、形状、触覚感覚、又はこれらの組み合わせを含む少なくとも１つの独特の特徴で前記ターゲットユーザのマーカを仮想的に拡張することによって行われる、請求項１に記載の方法。
8. 前記ルールセットが、ユーザ間の社会的つながり、１つ以上の所定の地理的ゾーンに割り当てられた１つ以上の関心を含む関心ゾーン、個々のユーザの関心、距離ファクタ、又はこれらの組み合わせを含む、請求項１に記載の方法。
9. 前記受信した１つ以上の形式の対話に応答して前記カウンターパートユーザデバイスと前記ターゲットユーザデバイスとの間の通信チャネルを開くことが、
   招待を生成して前記ターゲットユーザデバイスに送信することと、
   前記招待されたターゲットユーザが前記招待を受け入れる場合、前記招待されたターゲットユーザから招待確認を受信することと、
   を含む、請求項１に記載の方法。
10. 前記通信が、音声、ビデオ、テキスト、手又は顔のジェスチャ又は動きの共有による通信を可能にする通信チャネルを通じて、人間ユーザ、人工現実ユーザ、又はこれらの組み合わせの間で可能とされる、請求項１に記載の方法。
11. 仮想世界システムでの通信を可能にするためのシステムであって、前記システムが、
    メモリと少なくとも１つのプロセッサとを備えるサーバであって、前記メモリが、前記少なくとも１つのプロセッサによって実行されるときに、
    ターゲットユーザに関連付けられ、前記仮想世界システムで提示される、ターゲットユーザのマーカを生成することと、
    無線ネットワークを介して前記サーバに接続されているターゲットユーザデバイス及びカウンターパートユーザデバイスの前記仮想世界システムでの存在を検出することと、
    ルールセットに基づいて前記仮想世界システム内のターゲットユーザデバイスの存在を知らせる通知を前記カウンターパートユーザデバイスに送信することであって、前記通知は、透明性が追加されている３Ｄ構造データに対応するオブジェクトを通じて前記カウンターパートユーザデバイスのユーザの視野内で可視である強調表示されたマーカの形態にあることと、
    前記仮想世界システム内のターゲットユーザのマーカ上での前記カウンターパートユーザデバイスからの１つ以上の形式の対話を受信することと、
    受信された１つ以上の形式の対話に応答して前記カウンターパートユーザデバイスと前記ターゲットユーザデバイスとの間の通信チャネルを開くことと、
    前記通信チャネルを介して前記カウンターパートユーザデバイスと前記ターゲットユーザデバイスとの間の通信を受信及び割り振ることと、
    前記メモリに格納されたレプリカエディタを介して仮想レプリカを作成することであって、前記レプリカエディタは、各仮想レプリカに関連するデータ及び命令の入力を可能にし、各仮想レプリカの形状、場所、位置及び向き、並びに物理的特性を記述するように構成されることと、
    を行うように前記少なくとも１つのプロセッサをトリガする命令を備える、サーバ
    を備える、システム。
12. 前記マーカが、前記仮想世界システムから前記それぞれのユーザの仮想レプリカを取得し、前記カウンターパートユーザ及び前記ターゲットユーザ上に前記ユーザの等身大の仮想レプリカを重ね合わせることによって生成されるインタラクティブな仮想形状である、請求項１１に記載のシステム。
13. 前記カウンターパートユーザデバイスへの通知が、前記仮想世界システムに格納された３Ｄ構造データを使用することによって前記カウンターパートユーザに知覚可能とされる、請求項１２に記載のシステム。
14. 前記サーバがさらに、
    ユーザの顔の表情又はボディランゲージに関連するセンサデータを取得し、
    前記センサデータに基づいて対応するユーザの等身大の仮想レプリカを更新し、
    前記ユーザの等身大の仮想レプリカを配置する、
    ように構成される、請求項１２に記載のシステム。
15. 前記ルールセットが、ユーザ間の社会的つながり、１つ以上の所定の地理的ゾーンに割り当てられた１つ以上の関心を含む関心ゾーン、個々のユーザの関心、距離ファクタ、又はこれらの組み合わせを含む、請求項１１に記載のシステム。
16. 前記１つ以上の形式の対話が、見ること、ポインティング、クリックすること、グラビング、ピンチング、スワイプすること、声による対話、テキストによる対話、手又は顔のジェスチャ又は動き、又はこれらの組み合わせのうちの少なくとも１つを含む、請求項１１に記載のシステム。
17. 前記通信が、２人よりも多いユーザのグループ対話を可能にする、請求項１１に記載のシステム。
18. メモリと少なくとも１つのプロセッサとを備えるサーバコンピュータシステムに、仮想世界システムでの通信を可能にするための方法を行わせるように構成された命令をその上に格納している１つ以上の非一時的コンピュータ可読媒体であって、前記方法が、
    第１のユーザデバイス及びターゲットユーザデバイスから得られる複数の位置及び向きデータポイントからそれぞれのユーザのマーカを生成するステップと、
    無線ネットワークを介して前記サーバに接続されている第１のユーザデバイス及びターゲットユーザデバイスの仮想世界システムでの存在を検出するステップと、
    ルールセットに基づいて前記仮想世界システム内のターゲットユーザデバイスの存在を知らせる通知を前記第１のユーザデバイスに送信するステップであって、前記通知は、透明性が追加されている３Ｄ構造データに対応するオブジェクトを通じて前記第１のユーザデバイスのユーザの視野内で可視である強調表示されたマーカの形態にあるステップと、
    前記仮想世界システム内のターゲットユーザのマーカ上での前記第１のユーザデバイスからの或る形式の対話を受信するステップと、
    前記受信した形式の対話に応答して前記第１のユーザデバイスと前記ターゲットユーザデバイスとの間の通信チャネルを開くステップと、
    前記通信チャネルを介して前記第１のユーザデバイスと前記ターゲットユーザデバイスとの間の通信を受信し、ダイレクトするステップと、
    前記メモリに格納されたレプリカエディタを介して仮想レプリカを作成するステップであって、前記レプリカエディタは、各仮想レプリカに関連するデータ及び命令の入力を可能にし、各仮想レプリカの形状、場所、位置及び向き、並びに物理的特性を記述するように構成されるステップと、
    を含む、非一時的コンピュータ可読媒体。
19. 前記マーカが、前記仮想世界システムからそれぞれのユーザの仮想レプリカを取得することによって生成されるインタラクティブな仮想形状であり、前記方法がさらに、前記第１のユーザ及び前記ターゲットユーザ上に前記ユーザの等身大の仮想レプリカを重ね合わせることを含む、請求項１８に記載の非一時的コンピュータ可読媒体。
20. 前記命令がさらに、前記サーバコンピュータシステムに、前記ユーザの顔の表情又はボディランゲージに関連するセンサデータを取得させ、前記センサデータに基づいて対応するユーザの等身大の仮想レプリカを更新させるように構成される、請求項１８に記載の非一時的コンピュータ可読媒体。

Images