JP7133470B2 - ネットワークの拡張現実表現のためのシステムおよび方法 - Google Patents

Description

本発明は、概して、電気通信ネットワークの表現、ならびにいくつかの実施形態においては、拡張現実のための方法および装置に関する。

特許文献１には、消費者がユーザ周辺における自分のモバイル機器のための無線信号の強度またはサービス範囲の情報を視覚化することができる拡張現実インタフェースが記載されている。当該技術は、サービス範囲に対するユーザの周りの円形の空間を調査して、当該円形の空間を、異なるサービス範囲強度により特徴付けられた円弧に分割する。ユーザのモバイル機器に表示されたユーザの周囲の画像の上に色のブロックが重ねられ、この場合、異なる色のブロックは、ユーザに対して、より良好なサービス範囲が存在する方向およびより不十分なサービス範囲が存在する方向を示す。

特許文献２には、変動する仰角、色、または三次元部位に特異的なコンピュータモデルに重ねられた他の美的特徴の三次元領域を介して、無線通信システムの性能の映像を与える方法が記載されている。着色された領域とコンピュータモデルとの両方は、仮想であり、無線ネットワークの計画段階における、無線ネットワークが配備され得る特定の場所から離れた現場で働く設計エンジニアを対象としている。

特許文献３には、複合現実環境を介した情報源の接続支援が記載されている。接続オプションの記号表現は、現実環境の画像の上に位置される。例えば、ＷｉＦｉ記号は、無料ＷｉＦｉを提供するカフェの上に位置され得る。

米国特許出願第２０１４／００５５４９０（Ａ１）号明細書 米国特許第７，２４６，０４５（Ｂ１）号明細書 米国特許出願公開第２０１３／０３３９８６４（Ａ１）号明細書

本発明の態様によれば、ネットワークパフォーマンスデータおよびアセット構成の視覚的、聴覚的、触感的、または視聴覚的表現を含む、ネットワークまたはネットワークの特徴を知覚可能に表現する手段が提供される。

拡張現実のための例示的コンピュータ実施方法は、地理的空間に位置されたユーザにより視認される地理的空間の現実世界のビューを可能にするように配置された視覚装置の位置および向きに関する第１データを収集するために複数のセンサを使用する工程と、１つまたは複数の処理装置を使用して、第１データに基づいて現実世界の視錐台（ｆｒｕｓｔｕｍ）を決定する工程と、拡張のための仮想オブジェクト候補を識別するために、１つまたは複数の処理装置を用いて、現実世界の視錐台を仮想世界に適用する工程であって、仮想世界は、現実世界のビューにおいて知覚できない、１つまたは複数のネットワークパフォーマンスおよびアセット構成のうちの１つまたは複数の品質を説明する、１つまたは複数の仮想オブジェクトを備える、工程と、１つまたは複数の処理装置を用いて、現実世界のビューにおいて知覚できない、１つまたは複数のネットワークパフォーマンスおよびアセット構成のうちの１つまたは複数の品質を説明する、少なくとも１つの仮想オブジェクトを備える１つまたは複数の仮想オブジェクト候補に対応する１つまたは複数の拡張を選択する工程と、出力装置を用いて、現実世界のビューと同時に、少なくとも１つの選択された拡張を提供する工程であって、少なくとも１つの選択された拡張は、現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスおよびアセット構成のうちの１つまたは複数の品質を知覚可能にする、工程と、を含む。

先行の段落の実例として、例示的実施形態は、現実世界に立ってまたは歩き回る人や、ヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）またはスマートフォンなどの装置を用いて見回す人に関係する。装置は、センサとできるかぎりカメラとを有し、それらは、その人がどこに位置されているか、およびどの方向を見ているかに関するデータを収集する。センサおよびカメラにより収集されたこのデータは、その人の注視する先に何があるか、何が知覚されるかまたは知覚されないか、何が見えるかまたは見えないか、を特定するために処理される。前記システムは、ユーザの視界（視錐台）および姿勢（位置および向き）を特定することにより、ＨＭＤまたはスマートフォン上でユーザに対して表示される形状またはカートゥーンなどの仮想オブジェクトおよび対応する仮想拡張を選択するために、物理的環境の仮想表現を使用する。これらの拡張は、ユーザの周囲の電気通信技術およびネットワークにおける知覚できない品質、例えば、異なる場所における無線信号強度、送信側と受信側との間の無線伝送の経路、同一の外装を有する多くのルータのうち、特定のルータの位置などをユーザが見たり、聞いたり、または感じることを可能にする。

いくつかの実施形態は、特に、現場（例えば、会社が有線および／または無線ネットワークに対して責任を負う場所の外側または内側）で作業する場合の、電気通信会社の技術者および他の人員のニーズを対象とする。技術者のニーズは、例えば、一般消費者のニーズとは著しく異なる。例えば、電気通信ネットワークにおける一般消費者の関心は、消費者の個人的な装置に限定される。消費者は、ＷｉＦｉ接続への接続を試みる場合、公共のＷｉＦｉ接続または消費者がセキュリティキーを有するＷｉＦｉ接続の存在および信号強度にのみ関心がある。消費者は、モバイルネットワーク（例えば、Ｖｅｒｉｚｏｎ（登録商標） ４Ｇ ＬＴＥネットワークなど）への接続を試みる場合、モバイルネットワークに接続される自分の個人的な携帯電話機またはタブレットが受ける信号強度にのみ関心がある。さらに、ハードウェア事情は、消費者にとって実質的に重要ではない。例えば、自分の装置をＷｉＦｉ接続に接続したい消費者は、コーヒーショップのルータの物理的な位置には関心がなく、ルータにより発生するホットスポット、例えば、コーヒーショップ内全体またはコーヒーショップ内の特定の場所などにしか関心がない。その一方で、技術者は、おそらく、ルータを配置する要件、および、ルータとその環境との間の関係性を理解するための要件に関心を持つに違いない。この関係性は、物理的ハードウェアの環境におけるネットワークパフォーマンスを含む。

本発明の態様によれば、地理的空間の現実世界のビューの拡張を提供するために、１つまたは複数の出力機器が使用される。例えば、いくつかの実施形態によれば、出力装置は、地理的空間の現実世界のビューの画像と、地理的空間に対する１つまたは複数のネットワークパフォーマンスおよびアセット構成の目に見えない品質の１つまたは複数の拡張と、の組み合わせである拡張画像を示す表示機器を備える。視覚拡張の代わりに、または視覚拡張に加えて、いくつかの実施形態では、地理的空間に対する１つまたは複数のネットワークパフォーマンスおよびアセット構成における他の知覚できない品質を示すために、視覚的または触覚的拡張が使用される。いくつかの実施形態では、現実世界のビューは、ストリートビューであり、空間内に位置される（例えば、立つ、運転する、座るなどの動作中の）人間のユーザにより見られる空間のビューと一致することを意味する。

視覚装置またはユーザの環境を特徴付けるネットワーク関連データは、人間の感覚がネットワークに関する情報を知覚することができるように、拡張により伝えられる。視覚拡張は、例えば、１つまたは複数の色、形状、ポリゴン、視認可能なテクスチャ、パターン、線、および視認可能なオブジェクトのうちの１つまたはいくつかの組み合わせでもよい。視覚拡張は、静的であるかまたは動的であってもよい。聴覚拡張は、音の任意の１つまたはいくつかの組み合わせでもよい。視聴覚拡張は、名前が示すように、拡張目的のための視覚出力および聴覚出力の両方を含む。ユーザの視野が変わるか、またはユーザが、環境との、または環境内のいくつかの要素、例えば、別の人または電気通信アセットなどとのインタラクションを有する場合、拡張は、調節、更新、または除去されてもよい。新規の拡張または変更された拡張は、ユーザまたは現実世界の画像をキャプチャするカメラ（または映像のような画像フィード）と、別の個人、装置、またはシステムと、の間のライブインタラクションの結果として、出力装置により提供されてもよい。聴覚的、視覚的、または視聴覚的拡張イベントなどを含むがこれらに限定されない感覚的拡張は、リアルタイムにおいて誘発または相互作用されてもよい。拡張は、過去の、現在の、または（例えば、配備されることが予定されているがまだ配備されていない新規のアセットに基づいて）未来に予想される、アセットまたはネットワークパフォーマンスを表してもよい。

本発明の実施形態の実施例および使用例として、オフィスビル内の技術者は、いくつかのルータを備えるオフィスフロア空間のビューを有する。技術者は、１つの特定のルータの位置を探すことに関心がある。技術者の肉眼には、全てのルータが同一に見えている（例えば、それら全てのルータが同じメーカおよびモデルである理由から）。画像は、オフィス空間の技術者のビューに対応して、キャプチャされる。この画像は、ある１つの特定の部分が目的のルータを含み、他のいずれのルータも含まないように、いくつかの部分に分割される。目的のルータを表す部分は緑色のフィルタが重畳されるように適用された視覚インジケータ（ｖｉｓｕａｌ ｉｎｄｉｃａｔｏｒ）を有するが、対して、画像の他の部分は変わらない。この方法において、目的のルータを含む画像の部分は、今はオフィス空間内の他の全てのルータの外観とは視覚的に異なる。あるいは、赤色フィルタが目的のルータではないルータを含むビューの部分を覆うように適用されてもよい。この方法において、目的のルータを含むビューの部分の外観はその上に直接適用される変化を有さないが、他のルータを含むビューの部分の外観における変化により、目的のルータは視覚的に示される。技術者は、赤色フィルタの適用されていないルータを含むビューの部分が、目的のルータであることを理解する。さらに別の代替手段として、先ほど説明した緑色フィルタと赤色フィルタとの両方が適用されてもよい。この方法において、技術者は、緑色フィルタを用いて示されるビューの部分が目的のルータを有し、赤色フィルタで示されるビューの部分は目的のルータを有さないことを知る。これは、本発明の実施形態の実例適用の１つにすぎない。

１つまたは複数の処理装置は、どの仮想オブジェクトが拡張を用いて示されるべきかを決定するように構成される。仮想オブジェクトのいくつかは、それぞれの位置および現実世界の画像の現在の視界を前提として、他の仮想オブジェクトを覆い隠す場合があり、したがって、１つまたは複数の処理装置は、それらの覆い隠された仮想オブジェクトが、仮想画像における拡張として表示されるべきではないことを決定することができる。すなわち、１つまたは複数の処理装置は、対応する現実世界のオブジェクトが現実世界の表示において視認できないことを示すために、覆い隠されるべき仮想オブジェクトを異なる拡張を用いて表示するように構成されてもよい。一実施形態において、１つまたは複数の処理装置は、そのような仮想オブジェクトの１つが天井タイルであり、別の仮想オブジェクトがイーサネット（登録商標）ジャックであるような仮想オブジェクトを備え、この場合、天井タイルは、現実世界の画像の現在の視界を前提として、イーサネット（登録商標）ジャックの前面にあり、この状況において、１つまたは複数の処理装置は、イーサネット（登録商標）ジャックがタイルの背後に隠されていることを示すために、天井タイルの上に重ねられた特殊な拡張を表示することができる。異なる仮想オブジェクトにより表される別のイーサネット（登録商標）ジャックは、覆い隠されないこともあり、異なる拡張を用いてマークされることもある。別の実施形態において、全てのイーサネット（登録商標）ジャックは同じ拡張を用いて示されることもでき、したがって、ユーザが期待するように設定することができる。

いくつかの実施形態において、クラウドシステムの処理装置は、画像を（１つまたは複数の区分を用いて）いくつかの部分に分割する画像解析を実施する。ネットワーク関連データは、データベースから取得され、処理装置により使用される。クラウドシステムの処理装置は、カメラによりキャプチャされた元のビューの拡張ビューである画像を生成するために、元の現実世界の画像データを、データベースから取得されたネットワーク関連データと組み合わせる。拡張画像データは、ディスプレイを使用して拡張画像をユーザに示すため、電子装置へと送られる。

図１Ａは、拡張画像を表示するモバイル電子装置の図である。 図１Ｂは、図１Ａのモバイル電子装置の背面図である。 図２は、拡張現実を提供する一例としてのプロセスの図である。 図３Ａは、オフィス空間の現実世界のビューの画像である。 図３Ｂは、図３Ａの現実世界のビューの拡張画像である。 図３Ｃは、図３Ａの現実世界のビューの別の拡張画像である。 図４は、電気通信タワーの現実世界のビューの拡張画像である。 図５は、ネットワーク接続経路を示す拡張画像である。 図６は、上空からのビューの画像である。 図７は、上空からのビューの別画像である。 図８は、ネットワークの特徴を視覚的に表す方法の一例である。 図９は、一例としての屋外システムの概略図である。 図１０は、一例としての屋内システムの概略図である。

「拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）」または「ＡＲ」は、本明細書において使用される場合、環境内の１つまたは複数の要素が、コンピュータにより生成された、感覚的出力、例えば、これらに限定されるわけではないが、音、映像、グラフィックス、または触覚フィードバックなどにより拡張される、物理的な現実世界の環境の直接的または間接的体験である。拡張現実は、必ずではないが、多くの場合、ライブ／実質的にリアルタイムである。拡張現実は、現実のビューがコンピュータにより修正される（例えば、減少（ｄｉｍｉｎｉｓｈｅｄ）または拡張（ａｕｇｍｅｎｔｅｄ）される）「媒介現実（ｍｅｄｉａｔｅｄ ｒｅａｌｉｔｙ）」と呼ばれる、より一般的な概念に関連している。総合的な目的は、（例えば、外部装置を用いずに自分の感覚により知覚されるような）現実に対する自然な知覚を強化することである。媒介現実とは対照的に、「仮想現実」は、現実世界をシミュレートされた世界に取り換える。拡張は、慣習的にリアルタイムであり、環境要素と意味的関係にある。例えば、多くのアメリカ人は、テレビでアメリカンフットボールを観るとき、拡張現実に慣れている。ビデオカメラによりキャプチャされるフットボールゲームは、現実世界のビューである。しかしながら、放送会社は、しばしば、記録された現実世界のビューの画像を、フィールド上のスクリメージラインおよびファーストダウンのマーカを用いて拡張する。ラインとマーカとは、現実には存在せず、現実世界のビューに追加された仮想拡張である。別の例として、テレビで放送されるオリンピックのレースでは、移動する仮想ラインは、イベントでの世界記録と同じペースを保つため、ランナーまたはスイマーの位置を表すため、トラックおよび水泳プールに重ねられる。リアルタイムではない拡張現実は、例えば、フットボールの試合が既に行われた後に表示されている試合の画像の上に、スクリメージラインを重ねることができる。拡張現実は、環境およびそのオブジェクトについての知覚できない情報が現実世界のビューまたは画像を補う（例えば、その上に重ねられる）ことを可能にする。

拡張現実は、ヘッドアップディスプレイ（Ｈｅａｄｓ－Ｕｐ Ｄｉｓｐｌａｙ）、すなわちＨＵＤ、とは異なる。ＨＵＤは現実世界のビューの上に重ねられた仮想オブジェクトを表示するが、仮想オブジェクトはその現実世界のビューの要素とは視覚的に関連付けられない。その代わり、ＨＵＤオブジェクトは、ＨＵＤを表示するために使用される物理的装置、例えば、反射窓またはスマートフォンなどに関連付けられる。ＨＵＤは、ディスプレイと共に移動するのであって、現実世界のビューと共に移動するわけではない。結果として、ＨＵＤの仮想オブジェクトは、純粋に重ねられているだけであって、現実世界のビューに統合されているようには知覚されない。例えば、ディスプレイが左を向いた場合、ＨＵＤもディスプレイと一緒に左に移動する。対照的に、（拡張現実の）拡張は、現実世界のビューと共に右に移動する。本発明の実施形態は主に、ＨＵＤとは対照的な拡張現実に関するが、ＨＵＤは拡張現実と併せて使用されてもよい。

拡張現実とＨＵＤとを区別する具体的な例について、再び、テレビで放送されるアメリカンフットボールについて考察する。スクリメージラインは、拡張（拡張現実）として示される。ラインは、現実世界のビューのうちのフィールドと選手との関連において表示される。カメラがサイドラインのコーチを映すために左を向いた場合、フィールドの中心と選手と仮想スクリメージラインとの全ては、ビューの右手側に向かって移動し、カメラが十分に左を向いた場合、最終的に視界から消えるであろう。スクリメージラインとは対照的に、対戦しているチームのスコアは、たいてい、テレビに表示される。スコアは、通常、テレビ画面の上隅または下隅において、試合のビューに重ねられる。スコアは、常に、テレビの隅の位置に維持される。カメラがフィールドの中央の選手からサイドラインのコーチへと左を向いた場合、基本的に、スコアは、視界と共に左に移動し、それにより、ディスプレイ上で全く同じ位置に維持される。スコアの位置は、現実世界のビューにおけるオブジェクトの位置に対して連想関係を有さない。この方法では、スコアは、概して本明細書において使用される「拡張」とは対照的に、ＨＵＤの仮想オブジェクトのように振る舞う。

「ユーザ」は、本明細書において使用される場合、典型的には、本発明の実施形態と相互に作用するか、または本発明の実施形態を使用する人間を意味する。概して、ユーザは、エンジニア、技術者、あるいは電気通信ネットワークの設計、配備、またはサポートを任されている電気通信会社に雇用、契約、または別の形態において関わり合いのある人である。地理的空間内に位置されたユーザの視野について言及する場合、ユーザは、例えば、人間であるユーザ、ロボットであるユーザ、またはカメラでもよい。

「アセット」は、本明細書において使用される場合、通常、物理特性として特徴付け可能な電気通信アセットを意味する。例えば、電気通信アセットは、電気通信ネットワークに１つまたは複数の機能を与える電気的ハードウェアおよび／または関連するインフラストラクチャを含み得る。アセットの例は、基地局、スイッチ、ルータ、ハブ、コンピュータ、試験設備、アンテナ、コネクタ、スプリッタ、プローブ、中継器（ｒｅｐｅａｔｅｒ）、延長器（ｅｘｔｅｎｄｅｒ）、送受信機、アクセスポイント、仮想コンピュータ環境を実行するハードウェア、およびタワーであり、さらに、アセットの集合、組み合わせ、または群も含み得る。アセット構成は、アセットの配置、位置、向き、状況、状態などを含む。

位置情報は、絶対的（ａｂｓｏｌｕｔｅ）（例えば、緯度、経度、高度、経緯度原点は、一緒に、位置を特定するため、追加情報を必要としないジオコーディングされた絶対位置を提供してもよい）、相対的（ｒｅｌａｔｉｖｅ）（例えば、「緯度３０．３９、経度－９７．７１の２ブロック北」は、別々に知られる絶対位置に対して相対的な位置情報を提供する）、または連想的（ａｓｓｏｃｉａｔｉｖｅ）（例えば、「複写機のすぐ隣」は、複写機の位置、すなわち、指定された基準の位置が既に知られている場合、位置情報を提供する。この場合、複写機それ自体は、絶対的、相対的、または連想的であり得る）でもよい。緯度および経度を伴う絶対位置は、標準的経緯度原点、例えば、ＷＧＳ８４、Ｗｏｒｌｄ Ｇｅｏｄｅｔｉｃ Ｓｙｓｔｅｍ １９８４などを含むことが想定されてもよい。米国などにおいて、緯度および経度について議論する場合、グローバルポジショニングシステム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：ＧＰＳ）がＷＧＳ８４を使用しており、緯度および経度の表現は本質的にこの特定の経緯度原点を伴うことが想定され得るため、経緯度原点はしばしば無視される。本開示の場合、絶対位置の情報は、任意の好適な経緯度原点のＷＧＳ８４、またはそれらの代替策を使用し得る。

「ジオコーディングされた（Ｇｅｏ－ｃｏｄｅｄ）」は、それが修飾する名詞、通常、特定のタイプのデータ（例えば、アセットデータまたは測定データ）が、名詞（例えば、データ）が関連付けられた地理的位置（例えば、緯度、経度、高度、物理的な所在地など）を特定する地理的位置情報と対になっていることを示すため、本明細書において使用される形容詞である。ＧＩＳデータは、他のデータをジオコーディングし得るジオコードである。一例として、信号強度の測定値は、測定が行われた特定の地理的位置を特定するため、ジオコーディングされる。別の例としては、基地局のスペックなどのアセット情報は、基地局が物理的に配置されている位置を正確に示すことを可能にするようにジオコーディングされる。

「ネットワーク」は、異なる地点にわたって、または異なる地点の間で通信を可能にするように接続された１つまたは複数のアセット、設備、および装置の集合として定義される。「ネットワーク」は、本明細書において使用される場合、概して、１つまたは複数の電気通信ネットワークを意味する。「グローバル」は、地球全体または地球表面全体に関連することを意味することができるが、必ずしも意味するわけではない形容詞である。一般的に、「グローバル」は、文脈により明確に述べられない限り、本明細書において使用される場合、電気通信ネットワークの全体に関連することを意味することが意図される。例えば、「ＡＴ＆Ｔ Ｉｎｃ．」、「Ｔ－Ｍｏｂｉｌｅ」、および「Ｖｅｒｉｚｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｉｎｃ．」は、すべて、北アメリカに限定されるネットワークを個別に有し得る電気通信会社である。しかしながら、単一のネットワークは、地球表面全体または地球の居住可能な表面全体に及び得る。

「ネットワークパフォーマンス」は、測定されることができると共に、いくつかの異なる基準に従って説明されることができる。ネットワークパフォーマンスデータは、過去、現在、または未来のある時点に従って、例えば、１つまたは複数の特定の位置などに対するネットワークパフォーマンスを説明し得る。ネットワークパフォーマンスが、ネットワークパフォーマンスを予測またはシミュレートするモデルにより説明される場合（例えば、将来のある日付において、またはタイムラプス動画（ｔｉｍｅ ｌａｐｓｅ ｍｏｖｉｅ）として）、そのようなモデルまたはシミュレーションにより生じる結果は、「予測データ」ならびに「ネットワークパフォーマンスデータ」として説明される。ネットワークパフォーマンスは、例えば、受信された信号強度、最適サーバ、スループット、誤り率、パケットレイテンシ、パケットジッタ、シンボルジッタ、サービスの質、セキュリティ、有効範囲エリア、帯域幅、ビット誤り率、パケット誤り率、フレーム誤り率、パケットドロップ率、呼出ドロップ率、キューイング遅延、キャパシティ、信号レベル、干渉レベル、ラウンドトリップタイム、帯域幅遅延積、ハンドオフ遅延時間、ハンドオフ頻度、信号対干渉比、信号対雑音比、呼出品質、リンクバジェット、Ｅｂ／Ｎｏ（ビット平均エネルギー（ａｖｅｒａｇｅ ｂｉｔ ｅｎｅｒｇｙ）／雑音（ｎｏｉｓｅ））、Ｅｃ／Ｉｏ（チップ平均エネルギー（ａｖｅｒａｇｅ ｃｈｉｐ ｅｎｅｒｇｙ）／干渉プラス雑音（ｉｎｔｅｒｆｅｒｅｎｃｅ ｐｌｕｓ ｎｏｉｓｅ））、物理的設備の価格、およびコスト情報の観点から特徴付けられることができる。

「ネットワーク関連データ」は、ネットワークパフォーマンスの特定または合理化において関連性および潜在的用途を有するような当業者にとって認識可能なデータ／情報である。ネットワーク関連データとしては、これらに限定されるわけではないが、地理情報システム（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ：ＧＩＳ）データ、測定データ、プロジェクトデータ、アセットデータ、予想データ、および予測データが挙げられる。ＧＩＳデータの例としては、これらに限定されるわけではないが、高度、土地利用、クラッタ、建物ベクトル、間取り、交通、人口密度および人口統計、ネットワーク加入者の位置および密度が挙げられる。測定データの例としては、ネットワークパフォーマンスを説明するデータ、例えば、１つまたは複数の受信された信号強度を説明するデータ、最適サーバ、スループット、誤り率、パケットレイテンシ、パケットジッタ、シンボルジッタ、サービスの質、セキュリティ、有効範囲エリア、帯域幅、ビット誤り率、パケット誤り率、フレーム誤り率、パケットドロップ率、呼出ドロップ率（ ｄｒｏｐｐｅｄ ｃａｌｌ ｒａｔｅ）、キューイング遅延、キャパシティ、信号レベル、干渉レベル、ラウンドトリップタイム、帯域幅遅延積、ハンドオフ遅延時間、ハンドオフ頻度、信号対干渉比、信号対雑音比、呼出品質、リンクバジェット、Ｅｂ／Ｎｏ（ビット平均エネルギー／雑音）、Ｅｃ／Ｉｏ（チップ平均エネルギー／干渉プラス雑音）が挙げられる。プロジェクトデータの例としては、プロジェクトのタイプまたはカテゴリ（例えば、測定キャンペーン、新しいタワーサイト、メンテナンス、構成変更など）、プロジェクトの状態および／または状況、プロジェクトの日付（例えば、開始日、完了日、委任日、プロジェクトのためのイベントが発生する他の日付または締切日など）、チームのメンバ、プロジェクトの所有権、プロジェクトのための地理的領域、プロジェクトに割り当てられたリソース（例えば、設備、バジェットなど）、他のプロジェクトに対する依存性、プロジェクトの優先順位が挙げられる。アセットデータの例としては、設備のタイプ、位置、論理的ネットワークアドレス、構成設定、所有者またはアセットに対して責任を負う人、サービスの日付、メンテナンス履歴、向き（例えば、指向性アンテナの向きなど）、他のアセットへの物理的もしくは論理的リンクまたは接続、および他のアセットに対する依存性が挙げられる。予想データの例としては、加入者当たりのデータ使用量の予想、呼出率、呼出時間、ＧＩＳデータにおける予想される変化、特定の地理的領域内の加入者総数における変化が挙げられる。予測データは、シミュレートされた測定データと同等である。すなわち、予測データは、ネットワークパフォーマンスモデリング（例えば、予測モジュールのネットワークパフォーマンスモデリング）により生成された１日または複数日（通常、将来における１日または複数日）におけるネットワークパフォーマンスを表すデータである。いくつかの例示的実施形態に関して以下においてより詳細に説明されるように、いくつかの実施形態において１つまたは複数の仮想世界が提供され、仮想世界において作り出された仮想オブジェクトの少なくともいくつかは、（例えば、説明、もしくは表す）ネットワーク関連データ（例えば、本段落内で説明されるネットワーク関連データのいずれか１つ、いくつか、または全て）に基づいている。

「肉眼」は、本明細書において使用される場合、媒介された現実の装置またはシステムの使用または存在を排除するために使用される形容詞である。支援のない街路の人のビューは、拡張現実または仮想現実システムの使用がなく、人により見られるままの街路のビューである。「支援のない」は、生理学的欠陥（例えば、近視または遠視など）を補正するために人により使用されるコンタクトレンズまたは眼鏡などの視力補正器具を排除しない。換言すれば、支援のないビューは、単に普通の人間の視力（多くの場合、「２０－２０視力」を意味する）を得るために使用される普通の眼鏡またはコンタクトレンズを通して見られたままのビューである。「支援のない」は、視力ならびに任意の聴覚または触覚などの人間の他の感覚を説明することができる。

「知覚できない品質」は、支援のない人（例えば、通常の視力、聴覚、触感を変更するための器具を有さない人）には知覚できない何かの品質（例えば、存在または特性）である。「知覚できない」の反対は、知覚可能であり、または支援のない人により知覚されることである。説明の簡素化のために、本明細書における多くの実施形態は、「目に見えない品質」に対する視覚拡張に焦点を合わせる。しかしながら、そのような実施形態は、説明に役立ち、ならびに、概して、選択的または追加的に、人間の他の感覚（例えば、聴覚または触覚）で知覚可能ではない品質に対する、そのようなそれぞれの感覚に関する拡張を提供または支援し得ることは理解されるべきである。ネットワークパフォーマンスおよび／またはアセット構成の「目に見えない品質」は、支援のない人間の目で知覚できないネットワーク関連データを含む。換言すれば、現実世界のビューにおいて視認されないネットワークパフォーマンスとアセット構成との品質は、本開示において「目に見えない」として特徴付けられるが、現実世界のビューを含む拡張ビューにおいて視認可能であってもよい。ネットワークパフォーマンスの多くの特徴は、視認可能なスペクトル（支援のない人間の目で視認可能な電磁放射線の周波数）を伴わない電磁信号または電気信号を伴うため、目に見えない。アセット構成の特徴は、目に見えるものと見えないものとの両方を含む。例えば、アセットそれ自体は、一般的に、物理装置である。しかしながら、アセットは、それが良く見える状態にある場合（例えば、人間ビューアの方を向いているタワー上のパラボラアンテナ）、支援のない人間の目で視認可能であり、あるいは、それが良く見える状態にない場合（例えば、人間のビューアに対して反対側にあるタワーのパラボラアンテナ、壁の中または天井のタイルの上に延在する配線）、支援のない人間の目で見ることができない。その上、アセット構成は、目視検査では分からない物理的ハードウェアの多くの品質、例えば、タワー上の特定のパラボラアンテナの所有権、パラボラアンテナが接続される特定のネットワークなどを伴う。これらの品質と他の品質とは、本発明の実施形態による拡張の対象である。

「リアルタイム」または「ライブ」は、本明細書において使用される場合、最大１０秒、好ましくは１．０秒以下、より好ましくは０．５秒以下、さらにより好ましくは０．１秒以下、最も好ましくは０．０５秒以下の遅延を除いて、２つ以上のイベントが同時に起こることを意味する。例えば、ある形態の拡張現実を提供する本明細書において開示される例示的実施形態において、入力データがキャプチャまたは収集される時間（例えば、カメラが元の現実世界の画像をキャプチャする時間、磁気センサがコンパス示度を収集する時間、ジャイロスコープセンサが回転データを収集する時間、線形加速度センサが加速度データを収集する時間など）と、表示装置により拡張画像が示される時間と、の間において、処理遅延（たとえ、非常に小さな処理遅延であっても）が必然的に存在するであろう。この遅延は、センサ時間またはセンサ処理時間と、拡張（例えば、視覚インジケータ）と、を決定およびレンダリングするときの１つまたは複数の処理装置の処理時間と、実際にピクセル値などを設定する表示装置の処理時間と、信号がこれらの装置の間を（例えば、無線／有線接続により）通過する時間と、を含む。これらの時間間隔は、好ましくは、小さく、例示的実施形態では、プロセスを観察する人間により知覚されない。

ここで、図を参照すると、図１Ａは、本発明の例示的実施形態にかかる出力を示すディスプレイ１０１（例えば、画面）を備える電子装置１００（例えば、携帯電話機）を示す。電子装置１００は、ディスプレイ１０１に加えて、さらなる出力装置としてスピーカ１０２を備える。ディスプレイ１０１とスピーカ１０２との両方は、一体に形成されたディスプレイとスピーカとにより、電子装置１００全体として、明確に「出力装置」と見なされる。電子装置１００は、追加のセンサ、例えば、加速度計１０６、ジャイロスコープ１０７、磁界センサまたは磁力計１０８、近接センサ１０９、気圧計１１０、温度計１１１、マイクロホン１１２を備えるかまたは、それらと接続される。センサは、それらのそれぞれのタイプのそれぞれのデータを収集する（例えば、磁力計は、磁場データまたはコンパスデータを収集する）。

地理的空間の現実世界のビューの画像は、１つまたは複数のカメラによりキャプチャされる。図１Ｂは、電子装置１００の後側のカメラ１０４を示している。「カメラ」は、本明細書において使用される場合、視覚画像を写真としてまたは、フィルムもしくは映像を形成する一連の画像として再現するように、入射する電磁放射線（すなわち、「光」）をキャプチャし、特徴付けることができる装置である。いくつかの実施形態のカメラは、可視スペクトル（すなわち、人間がありのままに見るもの）のみをキャプチャする。一般消費者用カメラは、肉眼の人の目により検出可能な可視スペクトルのみを対象とするが、対して、本発明の他の実施形態は、支援のない人間の目には見えない光の波長、例えば、赤外線または紫外線、をキャプチャすることができる１つまたは複数のカメラを使用してもよい。図１Ａと図１Ｂとの実施例の場合、画像化されている地理的空間は、街路それ自体と、車道と、芝生の部分と、茂みと、木と、街灯柱と、を含む近所の街路の一部である。画像は、可視スペクトルにおける入射光に基づく。カメラによりキャプチャされた画像は、画像のコンテンツ（例えば、色、ピクセルなど）と画像のキャプチャのアスペクトとの両方を説明するデータにより特徴付けられる。画像のキャプチャは、姿勢（位置と向きとの両方を含む）および視界により特徴付けられる。

現実世界の画像は、（例えば、都市の街路の交差点のカメラからの場合）、日時のＨＵＤ表示を含んでもよく、または本開示に基づくシステムに映像を提供している別の拡張現実システムからの画像に拡張を有してもよい。現実世界のビューの画像として描写される本明細書における１つまたは複数の処理装置への入力は、さらに、または代わりに、現実世界のビューのものではない１つまたは複数の画像を含んでもよい。概して、拡張現実システムは、現実であるその入力の一部を有すれば十分である。いくつかの実施形態において、現実であるその入力の一部は、比較的小さい部分であってもよい。拡張現実システムは、より複雑な用途において、他の拡張現実システムの拡張を変更するために使用されることができ、例えば、あるシステムは、それぞれの他のシステムの出力を利用する分散型の非依存性拡張エンジンを備える。

カメラ１０４からのデータおよび他のセンサ（例えば、１０６、１０７、１０８、１０９、１１０、および／または１１１）により収集されるデータは、１つまたは複数の処理装置１０５により受け取られる。カメラデータは、カメラの付近の、および全てではないがいくつかの実施形態では、カメラのオペレータの付近の、地理的空間の現実世界のビューの画像を描写する。この実施例において、カメラ１０４とディスプレイ１０１とは、同じ単一電子装置１００の一部であり、地理的空間も、出力装置であるディスプレイ１０１の付近である。カメラ１０４と、カメラ１０４を備える電子装置１００とは、視覚装置と見なされてもよい。視覚装置としては、様々なタイプ（しかし、必ずしも全てのタイプではない）のカメラ、モバイル電子装置、携帯電話機、タブレット、ポータブルコンピュータ、ウェアラブル技術などが挙げられ得る。電子装置１００がヘッドマウントディスプレイ（ＨＭＤ）である場合、ＨＭＤは、視覚装置としても特徴付け可能であろう。カメラを有さないＨＭＤ、例えば、いくつかのシースルー型ＨＭＤなどは、依然として視覚装置としての資格を有し得る。シースルー型ヘッドマウントディスプレイのレンズまたは対のレンズも、ビューイングデバイスとしての資格を有する。

ユーザは、出力装置であるディスプレイ１０１により示されるものをリアルタイムで見ることができ、それらから恩恵を受けることができる。カメラによりキャプチャされる現実世界のビューは、あたかもユーザが空間内に位置されたかのような（例えば、座る、立つ、歩く、運転する、バイクに乗るなどの動作中の）、人間のユーザの視点からのものである。全てではないが多くの実施形態において、ユーザは、空間内に位置される。ディスプレイは、拡張を提供するために使用することができる出力装置の１つのタイプにすぎない。ディスプレイと、スピーカと、振動装置とは、ユーザの感覚により検出可能なユーザに対する拡張出力を提供する本発明の実施形態において使用可能な出力装置の異なる実施例である。いくつかの実施形態において、視覚装置と出力装置とは、同じ装置であるかまたは同じ装置の一部である。例えば、ＨＭＤは、カメラとディスプレイ画面との両方を有する携帯電話機またはタブレットのように、視覚装置と出力装置との両方として明確に特徴付けることができる。あるいは、視覚装置と出力装置とは、完全に別々の場所に配置された別々の装置であってもよい。現実世界のビューに関するデータを収集する視覚装置の一部であるカメラとセンサとは第１場所にあり、現実世界のビューの再現と共に拡張を提供するディスプレイおよび／またはスピーカのような出力装置は、第１場所からいくらか距離が離れた別々の第２場所にあってもよい。

１つまたは複数の処理装置１０５は、ユーザに対して拡張現実を提示する出力装置により使用可能な出力を生成するために、１つまたは複数のカメラ１０４からのデータ、ならびにセンサ１０６，１０７，１０８，１０９，１１０，および／または１１１からのデータのような他のデータを処理するように構成される。いくつかの実施形態において、カメラ／センサからの画像データおよび／またはセンサデータは、ユーザに対して出力するための出力装置に拡張が提供される前に、ネットワーク（例えば、インターネット）を介して、データの処理を実行する１つまたは複数の処理装置のいくつかを備える１つまたは複数のリモートサーバへ送信される。

図２は、現実世界のビューについての情報を収集する時点から、ユーザのために拡張現実を生成する時点までの、例示的プロセス２００を示す。概して、処理装置（例えば、コンピュータ）は、データ処理を伴うブロック２０２，２０３，２０４の主要な作業を実施するために使用される。例えば、ＧＰＳセンサと、デジタルコンパスと、ジャイロスコープセンサと、を使用する例示的システムにより、これらのセンサと同じ場所に位置されたカメラの３Ｄ位置と３Ｄ定位とは、特定される（ブロック２０１）。カメラの３Ｄ位置および３Ｄ定位と、近視野および遠視野限界に関する前提と、に基づいて、現実世界の３Ｄ視錐台は、決定される（ブロック２０２）。３Ｄ視錐台は仮想世界に適用され、その結果、どのような仮想オブジェクトが元のカメラ画像への拡張の候補であるかが決定される（ブロック２０３）。仮想オブジェクトの候補に基づく拡張の選択（ブロック２０４）は、例えば、ユーザオプション選択と、異なる仮想オブジェクト間の関係性などを含む１つまたは複数の評価基準と、を伴い得る。例えば、処理装置は、どちらの仮想オブジェクトが、仮想世界内の視錐台に基づいてお互いの部分を覆い隠すかを決定し得る。出力は、（例えば、元の画像の中に書き込まれた）拡張として仮想オブジェクト表現を投影させた、結果として得られる２Ｄを示すことである（ブロック２０５）。いくつかの実施形態にかかるプロセス２００は、画像処理をほとんどまたは全く伴い得ないことに留意されたい。しかしながら、下記のさらなる実施例において説明されるように、画像処理が使用される場合もある。

ブロック２０３において使用される３Ｄ仮想表現または仮想世界は、１つまたは複数のデータベースにデータとして保存される。データベースは、例えば、仮想表現の幾何学的側面と、その仮想表現内においてインスタンスの作成されたオブジェクトの特徴と、を含む。

いくつかの実施形態において、１つまたは複数の処理装置は、どの仮想オブジェクトが拡張として提供される（例えば、表示されるか、または出力される）べきかを決定するために、磁気センサからのデジタルコンパス入力、ジャイロスコープセンサからの回転データ、線形加速度センサからの加速度データ、ＧＰＳセンサからのＧＰＳデータ（緯度、経度、高度、経緯度原点）、（それ自体が、他のＡＲシステムからの拡張を含み得る）ビデオストリームからの画像データ、のうちのいくつかまたは全てによるいくつかの組み合わせを使用するように構成される。この情報の処理は、現実世界の視覚装置（例えば、カメラ）の位置，向き，視界（視錐台として表現される）を特定するため、およびその特定の正確さを推定するために使用される。例えば、１つまたは複数の処理装置は、視覚装置（例えば、カメラ）の６次元位置を特定し得る。位置は、緯度と、経度と、高度と、経緯度原点と、向きと、によるセットであり、またはこれらのいくつかの組み合わせを含み得る。向きは、例えば、水平角および垂直角などの角度の組み合わせとして特定され得る。あるいは、向きは、例えば、ピッチ、ロール、ヨーなどの回転により特定されることもできる。現実世界の視覚装置（例えば、カメラ）の視錐台と、画像内の任意の関連画像データにおける検出された配置と、に基づいて、拡張は、３Ｄ仮想表現（仮想世界）から供給されるように、およびその表現に関連付けられた特性により変更されるように、および検出された画像データにより潜在的に調節されるように、表示され得る。

例えば、ＧＰＳデータは、デジタルコンパスセンサおよびジャイロスコープセンサデータと共に、所定の瞬間に、関連センサと同じ場所に配置されたカメラの３Ｄ位置と３Ｄ定位を特定するために使用され得る。そうすると、結果として得られる現実世界の視錐台は、現在の画像内での、現実世界の基地局の予想される現実世界での位置に対応する位置において、基地局の３Ｄ拡張のカートゥーンが現在の画像内へと拡張されるべきであることを決定するために、３Ｄ仮想表現（仮想世界）に適用され得る。処理におけるこの時点において、様々なセンサにおけるいくらかの不正確さにより、想定される拡張は、実際にはセルタワーの先端に取り付けられているが、正確には現実世界の基地局の上に配置されていないかもしれない。しかしながら、処理の最終段階またはほぼ最終段階として、拡張は、画像処理による画像内でのタワーの検出に基づいて、画像内において調節され、それにより、最も近いタワーが画像内で検出された場合、関心対象の３Ｄ仮想オブジェクトが任意のそのようなタワーの上へと「スナップ」されなければならないという規則に基づいて、セルタワーの先端に示されるように移動される。結果として、基地局の３Ｄカートゥーンの拡張は、現在の画像サンプルにおけるセルタワーの先端上に正確に重ねられる。

１つまたは複数の処理装置は、どの拡張を特定の現実世界のビューに加えるべきか、結果としてどの拡張をそのビューに加えるべきではないか、を決定する処理を実行する。現実世界のビューの複数の特徴が、そのような決定に影響を及ぼす。第１特徴は、視聴装置（例えば、カメラ）と関心対象の「オブジェクト」との間の関係性である。本発明の文脈において、関心対象のオブジェクトは、多くの場合、例えば、ネットワークアセットである。拡張を決定する別の特徴は、現実世界の関心対象のオブジェクトに対応する仮想オブジェクトに関連付けられた任意の特性、例えば、基地局オブジェクトの送信電力特性などである（それらは、拡張を色で塗り分けるために使用され得る）。

ブロック２０３および２０４は、視界と姿勢とを使用して、どの仮想オブジェクトが表示されるべきかを決定する工程を伴う。これらの仮想オブジェクトの特性（仮想表現の幾何学的側面と共にデータベースに保存される）はどのようなベースライン拡張を提供するか決定し、マーカ／インジケータ（ｉｎｄｉｃａｔｏｒｓ）／トゥイーク（ｔｗｅａｋs）はベースライン拡張に対して実施される。概して、出力である（例えば、表示される）拡張は、現在の画像の現在の知覚を前提として、知覚できるように作成された仮想オブジェクトの全ての仮想特性に依存する。この点を示す比較例として、操縦者が運転中にウィンカを使用せずに道路のセンターラインを越えた場合、自動車は、ハンドルに触覚フィードバック（振動）を与え得る。視覚拡張は全くないが、それにもかかわらず、この拡張は、触覚フィードバックを提示する決定を扱う現実世界の感覚入力の視覚部分である。操縦者がウィンカアームを叩くことにより、レーンを変更する自分の意図を示す場合、システムの特性フラッグが設定され、ユーザに対して触覚拡張は提示されず、その場合、ユーザは拡張システムから何も知覚しない。

以下は、それ自体は拡張を生成しないが、他の仮想オブジェクトにより生成された拡張に影響を及ぼす仮想オブジェクトの特殊な例である。特定の建物の仮想表現は、明確に視認できるその対応する現実の建物の上に仮想の建物を重ねて示すことが紛らわしい場合があるため、ユーザに対して示されない場合がある。しかしながら、その特定の建物の仮想表現は、現在の現実世界の視錐台を前提として、特定の基地局の仮想表現が建物の背後にあることを特定するため、そして、その基地局に対する拡張が覆い隠される場合、その拡張を出力画像に加えるべきではないことを決定するために使用され得る。結果として得られる出力画像において、ユーザは、現実世界の建物を、元の入力画像中に存在していたとおりに出力画像中に見るであろうし、建物のいかなる拡張表現も見ないであろうし、関心対象の特定の基地局の拡張表現も見ないであろう。

本発明の実施形態において、図２のブロック２０２から２０４までの処理工程は、より多い数またはより少ない数の工程として構成されることができ、階層的に（例えば、サブステップにより）組織化されてもよい。

１つまたは複数の処理装置は、画像処理を実施するように構成されてもよい。処理は、例えば、建物やタワーの形状などの検出可能な視覚要素のカメラストリームにおける各画像内での存在または不在と、位置と、を特定する工程を含んでもよい。オブジェクトの３Ｄ形状は、通常は、一連の現実世界の画像に基づいて検出されるものである。元の現実世界の画像内での３Ｄオブジェクトの検出、または拡張に影響を及ぼすかもしれない元の画像の任意の他の特徴の検出は、視覚装置（例えば、現実世界のカメラ）の位置および向きに関係ない拡張の生成、または出力画像中へより正確に配置されるための位置／向き拡張に基づく位置／向きの改善、またはそれらの提示の改善を可能にする。例えば、画像全体での平均光レベルは現実世界のシーンにおける周囲光レベルを推定するために使用されてもよく、結果として得られる周囲光レベルの推定は加えられた拡張がより現実的となるように、それらの明るさを増加または減少させるために使用されてもよい。

画像処理は、いくつかの例示的実施形態において、畳み込みニューラルネットワークを使用して実行される。畳み込みニューラルネットワークは、学習可能なウェイトおよびバイアスを有するコンピュータ実装ニューロンを含む。畳み込みニューラルネットワークは、複数の層を用い、画像内のオブジェクトを検出するために、画像全体からの情報を組み合わせる。

様々な画像認識技術が用いられてもよく、それらのいくつかは、畳み込みニューラルネットワークを用いる。その例は、ターゲティング、ウィンドウ生成、および分類子（ｃｌａｓｓｉｆｉｅｒ）の決定木による分類である。以下は、どのようにウィンドウ生成が作動し得るかを示す実例である。ウィンドウ（画像のフレーム内の）は、研究の焦点である。ウィンドウは、フレーム全体を通して累進的に移動される。ウィンドウは、畳み込みニューラルネットワークを通る単一パスに対応する。ウィンドウ内において、関心対象の一般的オブジェクトが探査される。例えば、第１ウィンドウは、人間の顔の任意の特定の品質に関して無差別に、人間の顔を認識する働きをし得る。関心対象の一般的オブジェクトが見つかった後にのみ、第２ネットワークまたは当該ネットワークを通る第２パスが、関心対象の特定のオブジェクト、例えば、特定の人の顔などを識別することを試みる。各パスによってウィンドウを変え、探査のパラメータを変えることは、関心対象の特定のオブジェクトを標的化する、ターゲッティングの連続または反復プロセスである。

いくつかの例示的実施形態における１つまたは複数の処理装置による処理は、トラッキングを含む。映像のような一連の画像の場合、決定は、ターゲットが移動しているか否か、カメラが移動しているか否か、またはその両方についてなされる。１つまたは複数の処理装置は、あるフレーム内のオブジェクトを別のフレーム内の同じオブジェクトに関連付けるように構成される。

いくつかの場合において、現実世界のビューの処理は、画像をいくつかの部分に分割する工程または画像を各エリアが異なる属性により特徴付けられるいくつかのエリアに分割する工程として説明され得る。ある画像におけるあるエリアの属性は、例えば、方向と位置とを含み得る。いくつかの場合において、現実世界の画像は、メタデータを使用して分割される。例えば、観察者の見える範囲内のオブジェクトは、ジオコーディングされ得る。複数の部分への現実世界のビューの画像の分割は、これらに限定されるわけではないが、境界検出および物体認識を含み得るデジタル画像処理を伴う。デジタル画像処理に関する手順は、実施形態によって変わり得る。

画像処理の一例として、画像は、最初に、平坦面／水平面を表すものとして認識される部分（例えば、地面、街路、歩道、車道、野原、芝生、駐車場、屋上、床、天井など）と、平坦面／水平面を表さない部分（例えば、茂み、木、電柱、街灯柱、乗り物、人、動物、消火栓、建物の側面、壁、小個室、机、イスなど）とに分割される。「水平」または「平坦」は、本明細書において使用される場合、実質的にそのようなものを意味する。使用され得る比較の強固な標準は、人間が「地面」要素として受け入れるもの、および／または自身がその上を歩くことに適しているものである。丘と著しく傾斜した街路とは、完全に水平または平坦ではないが、一般的に「地面」と呼ばれるものの一部であると見なされる。これらの要素は、本明細書において、説明される文脈でのこれらの用語の使用により、水平または平坦であるとしての資格を有するであろう。図１Ａにおいて、示される拡張現実は、代替手順の中でも特に、分割手順により入手可能である。第１分割は、画像を、破線１０３によって分割されて示される２つの部分にのみ分割した。図の向きに関して、「下側」部分は、平坦面／水平面を表し、「上側」部分はそれ以外の全てを表す。直線および曲線は、この実施例のような部分の間の境界を示すために、任意選択により、表示されてもよい。あるいは、部分の間の境界は、直接は表示されない場合もある。

いくつかの部分への第１分割の後、平坦面／水平面を表す部分は、さらに分割される。実施例の手順によれば、第２分割は、あたかもグリッドが地面の上に重ねられグリッドの各正方形が複数の副部分（ｓｕｂｐａｒｔｓ）の一部分であるかのような、等しい大きさの副部分（例えば、地理的空間との関連内における等しい表面積を有するエリア）への分割である。各正方形のサイズは、所望の解像度に応じて、大きく（例えば、数平方フィートまたはメートル）または小さく（例えば、平方センチメートル）することができる。

図２および特に図２中のブロック２０５を参照すると、拡張は、知覚できないネットワーク関連データ（例えば、ネットワークパフォーマンスまたはアセット構成の品質）を示すために使用される、１つまたは複数の（すなわち、少なくとも１つの）感覚モダリティ（ｓｅｎｓｏｒｙ ｍｏｄａｌｉｔｙ）を用いて、提供される。感覚モダリティは、視覚、聴覚、触覚もしくは触覚（例えば、振動）、臭覚、あるいはそれらの任意の組み合わせ、例えば、視聴覚などであってもよい。拡張は、現実のオブジェクトの３Ｄ表現（例えば、セルタワーの詳細な３Ｄ表現）、または現実のオブジェクトを抽象化したもの（例えば、上部が球形の単純な円柱形として表されたセルタワー）、またはマーカ、インジケータ、またはキュー（例えば、画像内の位置を指し示す矢印、または矢印の横の注釈）の形態を取ってもよい。仮想表現においてモデル化されるいくつかの情報は、対応する現実世界の形状を有さない。例えば、２つの無線ネットワークアンテナの間の無線ネットワークリンクは現実世界での視認可能な表現を有さず、そのため、その接続の全ての拡張表示は必ず、ある種の抽象化（例えば、幾何学的形状）である。その一方で、仮想表現におけるいくつかの情報は、最小限の抽象化である少なくとも１つの直接的な拡張、例えば、対応する現実の建物に非常に似せて、配置され、形状化され、着色された建物の３Ｄグラフィックなどを有してもよい。

仮想オブジェクトは、１つまたは複数のデータベース内のデータとして保存され、操作される。仮想オブジェクトは、それらがどのように表示されるか、視覚化されるか、触覚的に鳴動されるか、または別の方法により出力装置により出力されるかといったことから分離された、それら自らの存在を有する。そのため、一般的に言えば、仮想オブジェクトは、それ自身の特性を有し、したがって、その特性と、現実環境および仮想環境と、に基づいて、例示的拡張現実システムは何をユーザに提示するかを決定する。所定の仮想オブジェクトが覆い隠される場合、それらは拡張としてユーザには提示されないが、その一方で、現実世界の視覚装置の位置および向きと、その結果としての仮想世界でのその位置および向きと、を前提として、システムが所定の仮想オブジェクトをユーザに対して可視化するべきであると決定する場合、拡張は表示され得る（または提供され得る）。

感覚インジケータ（Ｓｅｎｓｏｒｙ ｉｎｄｉｃａｔｏｒｓ）／キューは、いくつかの実施形態において、例えば、表示されるべき（ｓｈｏｕｌｄ－ｂｅ－ｖｉｓｉｂｌｅ）仮想オブジェクトに関連付けられた基本的な表示への追加である、特定の種類の拡張である。例えば、基地局である仮想オブジェクトが存在する場合、システムは、適切なときに拡張として表示される基地局の３Ｄカートゥーンバージョンを有し得る。しかしながら、例えば、現在、その基地局が技術的欠陥を抱えている場合、システムは、その３Ｄ基地局のカートゥーンに関連する特殊な状態が存在することを示すために、その３Ｄ基地局のカートゥーンを、赤色ハローを用いてさらに精巧に作成してもよい。当然のことながら、３Ｄ基地局のカートゥーンの拡張それ自体は、感覚インジケータ（特に、視覚インジケータ）であるが、本開示において、ベースライン拡張と、追加の特徴／インジケータを伴う拡張とは、区別される。いくつかのインジケータ／キューは、追加のグラフィック要素を含まないが、ベースライン要素のいくつかの変更を含む。例えば、３Ｄ基地局のカートゥーンの視覚拡張に対しては、赤色ハローのグラフィックへの追加に代わり、問題が存在することを示すために、代替として、それをギザギザの割れ目を用いて視覚的に半分に「破壊」することもでき、または、それに注意を向けるために、そのサイズを脈動させることもできる。基地局はデータベースに保存された３Ｄ表現（頂点の幾何学的リストなど）を有するが、対して、表示器／キューの表示を扱う情報は、典型的には（しかし排他的ではない）、スカラ数値特性値またはブールフラグ（Ｂｏｏｌｅａｎ ｆｌａｇｓ）（例えば、警告状態のフラッグ、送信電力レベルなど）のいくつかの組み合わせであろう。

拡張は、仮想世界における特定の位置を有する仮想オブジェクトに対応し得る。仮想世界は、現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられる。本質的に、仮想世界（例えば、現実世界の仮想モデル）には、目に見える現実世界のオブジェクトおよびネットワークパフォーマンスと、アセットにおける目に見えない品質との、どちらかまたは両方に対応する仮想オブジェクトが存在する。仮想世界のビューは、視錐台を用いて特徴付け可能である。視錐台は、位置と、向きと、視界と、視界の近視野限界および遠視野限界と、を含む。現実世界のビューは、現実世界のビューには視界の近視野限界および遠視野限界に関して技術的強い制限が存在しないことを除いて、同様に特徴付け可能である。

具体例として、現実世界のビューの画像（すなわち、現実世界の画像）は、その視界内に、典型的な長方形の建物を含み得る。建物は、特定のＧＰＳ位置を有する。より詳細には、地面に接している建物の四隅のそれぞれは、それ自らのＧＰＳ座標を有する。対応する仮想世界において、四角柱形状の仮想オブジェクトは、現実世界のＧＰＳ座標に対応する座標に存在する。仮想オブジェクト（この場合、四角柱）は、拡張現実内に表示される場合、２つのオブジェクト、すなわち、現実世界のオブジェクトと仮想オブジェクトとがお互いに揃えられて一方が他方に重ねられるように、いずれかの拡張ビュー内の現実の建物に揃えられる。現実世界に、第１建物から街路を挟んで第２建物が存在し、無線信号が建物の間で交わされている場合、仮想オブジェクトは、各建物および建物の間の無線信号経路の仮想現実表現において提供され得る。これらの仮想オブジェクトは、それらが、任意の所定の仮想ビュー内のインジケータまたは拡張として作成されるか否かに関係なく、存在し得る。本発明の実施形態は、ユーザ設定または優先順位を受け入れるように構成され、それらを変更することにより、仮想オブジェクトが、表示されるかまたは出力装置により出力される拡張ビュー内に、拡張を介して表示されるか否かを切り替えることができる。

いくつかの拡張は、現実世界の画像との関連においてレンダリングされた立体３Ｄモデルであるか、またはそれらを含む。上記において示唆されるように、いくつかの拡張は、時間経過と共に、変更されるか、交換されるか、または完全に置換される。いくつかの拡張は、現実世界の画像に重ねられたアニメーションである。例えば、拡張は、あたかもリアルタイムに生じるかのように、例えば、ネットワークの故障などのいくつかのイベントに基づいて動かされる、スケーリングされた３Ｄモデルまたはアニメーションであってもよい。アニメーションは、そのようなイベントに基づいて誘起され得る（例えば、マクロ化され得る）。

いくつかの実施形態において、１つまたは複数の拡張の選択および生成（例えば、図２中のブロック２０４，２０５）は、ユーザに基づいており（例えば、依存しており）、ユーザ、または個人毎に異なる。異なるビューアまたはユーザは、一意の拡張を提供され得て、結果として、一意のまたは少なくとも異なる拡張現実の経験を提供され得る。一例として、相違点は、第２ユーザに提示される詳細と比較して、第１ユーザに提示される詳細レベルを変更（より多い詳細、またはより少ない詳細）してもよい。

図１Ａは、平坦面／水平面（例えば、地面）の上方の開放空間の無線性能の特性を特徴付けるために、平坦面／水平面を色分けする拡張を示している。開放空間は、通常、空気によって占められているが、例えば、携帯電話機などのネットワーク接続された装置をユーザが移動しながら持ち運ぶ際、ネットワーク接続された装置により占められ得る。平坦面／水平面を示す画像の部分（この実施例では、街路、脇道、車道、草で覆われた空間）は、より小さい副部分へと分割され、それぞれの副部分は特定の色を有し、各福部分に対する色はその副部分に適用された視覚インジケータである。例えば、緑色は強い無線信号を示してもよく、赤色は不十分な無線信号強度または無線信号の存在しないことを示し得てもよく、黄色は強い信号から信号の不在まで間の無線信号強度を示し得る。副部分のサイズは、非常に高い解像度を与えるように、非常に小さくすることができる。これは、図１Ａの場合であり、この場合、副部分は非常に小さいため、個別にはユーザによって知覚されず、結果として、画像の街路と、歩道と、車道と、草で覆われた空間と、に対応する副部分全体にわたって連続する、カラーグラデーションの外観を生じる。所定の色に対応する信号強度の正確な数値を示す凡例は、提供されてもよい。

図３Ａと図３Ｂとは、拡張を使用して、現実世界のビューのいくつかの部分を差別化する別の実施例を示す。この実施例において、技術者は、オフィス空間内の特定のハードウェア構成要素を見つけ出そうと試みる。当該技術者は、特定のアドレスを有するルータの場所を見つけたいのだが、複数のルータ３０１が見える。図３Ａは技術者のオフィス空間における支援のないビューを示し、それは、図１Ａと図１Ｂとに表されたものと同様の電子デバイス１００のディスプレイ上の画像フィードとしてキャプチャおよび再現され得る。いくつかのルータ３０１は支柱上に視認可能であるが、技術者が支援のないオフィス空間の目視検査から見つけ出す必要のあるルータ（「目的の」ルータまたはデバイス）がどれであるかを決定することは、不可能ではないにしても、実行困難である。位置と向きとを含む視野情報は、技術者の装置のセンサを使用して収集される。現実世界の視錐台は、特定され、オフィス空間に関連する仮想オブジェクトを含む仮想世界へと適用される。目的のルータに対応する仮想オブジェクトが選択され、この場合においては、円である拡張３０３が、表示装置上に表示されるように、ルータのビューの周りに提供される。追加的または選択的に、技術者のビューの画像がキャプチャされ、最小限に処理され、２つの部分、すなわち目的のルータを含むが他のルータは含まない第１部分と、他の全てのルータを含む第２部分と、へ分割される。次いで、目的のルータが第１部分内に存在することを示すために、拡張３０３が使用される。この場合、拡張３０３は、目的のルータのみを含む円である。

図３Ｃは、オフィス空間内の技術者の実施例を維持する。しかしながら、ここでは、追加の視覚拡張が提供される。例えば、第１目的ルータに接続された他のルータも、画像内の残りのオフィス空間オブジェクトから視覚的に区別される。これは、図３Ｃにおいて、室内の各ルータを囲む実線の円３０５を使用して達成される。さらに、各ルータをお互いに接続する天井内の配線を示す線３０７が示される。オフィスのフロアは、さらに、装置がオフィスのどこに位置されているかによって、オフィスの様々な部分の無線信号強度を示すために、フロアにわたって適用されたカラーコードインジケータ（ｃｏｌｏｒ ｃｏｄｅ ｉｎｄｉｃａｔｏｒ）（この場合、グラデーションとして）を用いて拡張することもできる。

ジオロケーティングは、本発明の様々な実施形態において使用可能なロケーティングの一形態である。ＧＰＳの使用などのジオロケーション技術は、屋内のようなある特定の空間にあまり適さない。屋内などに対しては、所望される場合、例えば、ランドマーク、建物の北西角などのいくつかの他の基準点、または特定の部屋の特定の隅などに対するオブジェクトの位置を表す非ジオロケーティング座標系が採用され得る。

いくつかの実施形態の特徴によれば、仮想オブジェクトは、現在現実世界の視野における他の仮想オブジェクトを覆い隠してもよい。覆い隠すオブジェクトは、仮に、覆い隠すオブジェクトそれ自体が拡張を用いて示されない場合であっても、覆い隠すオブジェクトが原因で、拡張を介して表示されなくなる場合もある。例えば、２つの仮想オブジェクトが視界内に幾何学的に含まれるという事実にもかかわらず、ユーザは、全く拡張の示されていない現実世界の画像を見る場合がある。第１仮想オブジェクト（説明目的のために、仮想オブジェクトＡと呼ばれる）は、覆い隠されない場合、拡張を用いて示されるであろう。第２仮想オブジェクト（仮想オブジェクトＢと呼ばれる）は、視界を前提とすると、Ａを完全に覆い隠すが、仮想オブジェクトＢそれ自体は、現在のところ、拡張として示され得ない。この方法では、現実世界のビューを拡張するために好適な、仮想世界を表す仮想オブジェクトは、オブジェクトの２つの基本的クラスを含む。第１クラスは、拡張に関連付けられる。第２クラスは、拡張には関連付けられないが、依然として、他の仮想オブジェクトを視覚的に覆い隠すことにより、または他の可能性のある相互作用により、他の仮想オブジェクトと相互作用する（例えば、第１クラスの仮想オブジェクトの拡張が、第２クラスの仮想オブジェクトの近くにある場合、第１クラスのオブジェクトの拡張は異なる色となり得る）。

先行の段落に関する具体的実施例として、オフィスまたは家庭でのイーサネット（登録商標）ジャックは、多くの場合、床近くにある。それらは、しばしば、天井内または天井近くにもある。床近くのジャックは、しばしば、家具によりビューから隠される。天井内または天井近くのジャックは、例えば、天井のタイルにより隠され得る。しかしながら、家具または天井タイルの不在下において、イーサネット（登録商標）ジャックは、観察者の視野範囲にあるであろう。ある実施形態において、１つまたは複数の処理装置は、画像内でのイーサネット（登録商標）ジャックの位置と、オブジェクトの位置と、を受け取る。１つまたは複数の処理装置は、目に見えないオブジェクトの位置を特定するために、現実世界のイーサネット（登録商標）ジャックに対応する仮想オブジェクトの相対位置と特性とを使用することができる。カメラの位置とカメラの向きとは、視野範囲におけるオブジェクトの位置を特定するために使用される。イーサネット（登録商標）ジャックに対応する１つまたは複数の正しい仮想オブジェクトが選択された後、１つまたは複数の拡張は、仮想オブジェクトに基づいて表示装置上に提供される。イーサネット（登録商標）ジャックそれ自体は、肉眼には見えないにもかかわらず、拡張は、目的のイーサネット（登録商標）ジャックが、家具の特定の物品の背後または特定の天井タイルの背後にあることを視覚的に伝える。

図４は、拡張現実の別の実施例を示す。この実施例において、技術者は、複数のパラボラアンテナを有するタワーに取り付けられた特定の無線アンテナまたはパラボラアンテナの位置を特定するタスクを課されている。タワーはそれに取り付けられたいくつかのパラボラアンテナを有しているにもかかわらず、それらパラボラアンテナのうち１つだけが、技術者の探している無線パラボラアンテナ（「目的」のパラボラアンテナ）である。追加的または選択的に、画像処理を使用する場合、その周囲から各パラボラアンテナを認識し区別するために、技術者のビューの画像フィードは、ニューラルネットワークを用いて処理される。無線パラボラアンテナは、特定の部分が、他の全ての部分（例えば、ビューの残りの部分または少なくとも他のパラボラアンテナ）から視覚的に区別されるように、矢印または独特の色彩または不透明化などの視覚インジケータによりマークされる。視覚インジケータの欠如が、それ自体、視覚的指示の形態であることは理解されるべきである。例えば、あるパラボラアンテナがマークされていない場合、技術者は、目的のパラボラアンテナが視覚インジケータを有すると期待しているため、このパラボラアンテナが目的のパラボラアンテナではないことを理解する。図４において、視覚拡張は、スタイリングの形態において異なるインジケータを備えるラインであり、この場合、ラインは、各パラボラアンテナのビーム方向を追跡しており、各ラインは、例えば、特定のネットワークまたは企業に属するなどの特殊な存在としてパラボラアンテナを示すために、カラーコードでの色分けおよび／または異なるラインスタイル（例えば、破線、実線、鎖線、ジグザグ線など）を使用する。図４Ｃにおいて、４つのパラボラアンテナが別々に視覚的に示されており、この場合、中央の２つのパラボラアンテナ４０３，４０４は、両方がパラボラアンテナから延びる実線を有することにより示されるように、同じネットワークに属している。一番上のパラボラアンテナ４０２と一番下のパラボラアンテナ４０５とは、それぞれ他のネットワークに属している。

視覚拡張は、画像内に現れる現実世界のオブジェクトの間に描かれた経路（例えば、直線または曲線）であり得る。そのような経路は、例えば、同じネットワーク（例えば、メッシュネットワーク）により接続される、または同じネットワークに寄与する装置を伝達するために使用することができる。経路は、アンテナ間の電磁波の接続経路を（例えば、鳥が飛ぶように）表すために、示される。例えば、図５は、アンテナはあまり近くないために見えないがそのアンテナ間の接続経路を視覚的に示すために、ネットワーク接続ライン５０１，５０２，５０３が重ねられた、丘の中腹の道路からのストリートビュー（ｓｔｒｅｅｔ ｖｉｅｗ）の画像を示す。別の実施例として、図１Ａは、ラインが街灯柱間の街路の画像上に重ねられた実施形態を示す。経路は、街灯柱に取り付けられたリレー間の接続を示している。

図６と図７とは、目に見えないネットワークパフォーマンスおよび／またはアセット構成の品質を示す可視的表示器を用いて拡張された、地理的空間の空中像を示す。図６において、カラーグラデーションは、信号強度を表すために、現実世界の画像の一部の上に重ねられている。図７は、アセット構成における目に見えない品質を示す、上空からのビュー（ａｅｒｉａｌ ｖｉｅｗ）の画像を示す。星印は、図４のタワーの位置を表す視覚拡張である。図４内の４つのパラボラアンテナの信号接続経路は、パラボラアンテナ自体がこの特定の上空からのビューからは見えないにもかかわらず、図７にも示さる。

図６と図７とに表されるような上空からのビューの画像は、例えば、図１Ａ、図３Ｂ、図３Ｃ、図４、または図５に示されるようなユーザのストリートビューである画像を示す本発明の実施形態を補うかまたはそれらにより補われ得る。しかしながら、上空からのビューとストリートビューとが、異なる用途および有用性を有することは理解されるべきである。一般的に航空機または衛星上のカメラによりキャプチャされる上空からのビューは、特に、（例えば、ネットワークの計画、改良、または実用化について）検討中の地理的空間から遠く離れた企業のオフィス空間において開発および調整される場合、ネットワークの計画および配備のための例示的ツールである。ネットワークパフォーマンスとアセット構成とのどちらかまたは両方のうちの１つまたは複数の目に見えない品質を示すストリートビューは、当技術分野における技術者にとって著しく素晴らしい有用なものであり得る。それにより、ユーザは、自分たちの周囲の知覚できないネットワーク関連の機能を、自分たちの目または他の感知器官が自然に認識するものまたは支援なく知覚するものとの意味的関係において、理解することができる。この利点は、上空からのビューと地図とだけでは完全には理解されない。

図８は、ネットワークとネットワーク関連データとを拡張現実により視覚的および／または聴覚的に表すための、コンピュータにより実行される実施例の方法８００を示し、方法は、画像処理工程を用いる。１つまたは複数のカメラは、現実世界のビュー（例えば、ストリートビュー）の画像データをキャプチャするために使用される（ブロック８０１）。現実世界のビューの画像データは、一般的に処理装置を有する１つまたは複数のサーバを備えるクラウドシステムにアップロードされる。処理装置は、カメラからの画像データと、ネットワークパフォーマンスとアセット構成との知覚できない（例えば、目に見えない）品質を説明するデータと、の両方を受け取る（ブロック８０２）。ネットワーク関連データのカテゴリに含まれる後者は、概して、１つまたは複数のデータベースから取得されるかまたは供給される。画像データはカメラからリアルタイムに取得されることができるが、その一方で、カメラから得られた画像データはある程度の期間、データベースなどの記憶媒体に保存され、その場合、処理装置はカメラからのライブフィードの代替として、またはそれらに追加して、データベースから画像データを取得するかまたは受け取るように構成される。

処理装置は、画像内のオブジェクトを認識するために、現実世界のビューの画像フィードに対して畳み込みニューラルネットワークを実行する（ブロック８０３）。より一般的には、画像データは、画像内に表されたオブジェクト、表面、または特徴部を識別するために処理される。次いで、画像の特定の部分は、１つまたは複数の拡張に関連付けられる（ブロック８０４）。ブロック８０４は、現実世界の画像内の識別されたオブジェクトに関連付けられた仮想オブジェクトの選択を伴ってもよい。使用される拡張は、カメラを備えるモバイル機器上にユーザにより入力されたユーザ入力、例えば、タスク、目的、または選択などに基づいてもよい。ユーザ入力は、クラウドプロセッサにアップロードされるとき、画像データを伴っていてもよい。

元の現実世界のビューとそれに関連付けられた拡張との両方を描写するデータは、拡張画像データと呼ばれてもよい。拡張画像データは、クラウドプロセッサから出力装置、多くの場合、元の画像データをキャプチャするために使用されるオリジナルのカメラを有する電子装置、へと送られる。電子装置、より詳細には電子装置の処理装置、により、最終的に、表示装置に拡張画像フィードが示される（ブロック８０５）。表示装置は、ネットワークパフォーマンスとアセット構成との１つまたは複数の知覚できない品質に基づいて、画像の複数の部分の少なくとも１つの部分を複数の部分の他の部分から区別する少なくとも１つの拡張を有する現実世界のビューの画像を示す。

多くの場合、キャプチャ工程と表示工程との両方は、地理的空間に位置されるユーザの視野に対応する位置において生じる。例えば、これは、視覚装置（例えば、カメラ）および出力装置（例えば、ディスプレイ）が同じ一体の装置（例えば、タブレットまたはスマートフォン）の一部である場合である。あるいは、キャプチャ工程またはデータ収集工程は地理的空間に位置されるユーザの視野に対応する第１場所において生じ、表示工程または拡張現実を提供する工程は第１場所とは異なる第２場所において生じる。これらの状況下において、「ユーザ」（地理的空間に位置されたユーザなど）は、ビデオカメラなどの画像取込装置あってもよく、その一方、人間のユーザは、すぐ近くにいるかまたは全く別々の場所、例えば、オフィス、研究室、家、または他の構造物などにいる。地理的空間に位置された「ユーザ」として機能するビデオカメラは、既知のまたは決定可能なパラメータまたは設定、例えば、中でも特に、位置（例えば、ＧＰＳ座標）、視野の向き／方向、焦点、ズーム、レンズ仕様、などを有する。カメラ位置は、フィールドにおける人間の位置に置き換わる。カメラの向きは、フィールドにおける人間の視野の向きに置き換わる。カメラの姿勢（位置および向き）と視界とは、人間の姿勢と視界とに置き換わる。カメラのパラメータおよび設定のいくつかまたは全ては、キャプチャされた画像データと共に含められるデータであってもよい。カメラからのフィード（または、フィールドに配備された複数のそのようなカメラからのフィード）は、近くのまたは別の（例えば、遠隔の）位置の人間のユーザにより操作されるコンピュータにネットワーク接続された１つまたは複数のサーバに（例えば、無線ネットワークを介して）送られる。人間ユーザへの提供（例えば、表示）工程は、本明細書において説明される他の実施形態と実質的に同じである。すなわち、拡張された画像（拡張現実）を表示することは、フィールドにおける、またはフィールドから遠く離れた場所における人間ユーザに対して等しく可能である。前述の同じ使用事例の全ては、依然として適用可能である。拡張された画像の表示は、実質的にリアルタイムでもよく、あるいは、代わりに、カメラフィードおよび／または過去に作成されコンピュータ可読メモリに保存される拡張された画像に基づき、ある程度の遅延時間の後に生じてもよい。

フィールドにおけるユーザは、人間またはカメラである場合人間であろうとカメラであろうと、静止していても、位置が調節可能であっても、または、例えば、カメラが、ドローンまたはロボットに取り付けられる場合、もしくは、陸上車または航空機（例えば、ヘリコプタ）により輸送される場合のような移動中であってもよい。フィールドのユーザがカメラの場合、人間が通常は達成できないフィールドの視野をキャプチャすることができるという利点を有する。例えば、ドローンに取り付けられるカメラは、通常の成人が到達できる最も高い到達点よりもはるか上方の高さを含む、地平線より上方の任意の高さから地理的空間の現実世界のビュー／画像をキャプチャすることができる。いくつかの場合において、フィールドにおける１つまたは複数のユーザは、交通監視カメラであってもよい。ロボットまたはロボットメカニズムは、人間が大きさ、安全性、または実用性に関する制約のため行くことができない多くの空間を含む様々な空間にアクセスすることができる。例えば、ロボット装置は、パイプ、ダクト、または天井タイルの上の空間などの狭い空間にアクセスするために有用である。現実世界のビューは、ロボット装置により搬送されるカメラによりキャプチャすることができ、カメラと同じ場所に位置されたセンサまたはロボット装置のセンサから収集されたセンサデータは、１つまたは複数の処理装置により拡張されると共に、ロボット装置から離れて位置された出力装置（例えば、表示装置）において人間のユーザへと提供される。

図８において、ブロック８０２は、様々な方法において達成されることができる。いくつかの実施形態において、サービスの無線品質（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ：ＱｏＳ）測定装置は、実際に、ブロック８０５において、拡張された画像を示すために使用される表示装置に（有線または無線により）接続可能である。次いで、ＱｏＳ測定装置と表示装置とは、環境全体を一緒に移動することができる。あるいは、表示装置は、単純に、ＱｏＳ測定装置により生成された、供給データとなることができる。さらなる別の代替手段として、表示装置はいずれの処理工程も伴わず、受け取りブロック８０２において伴われず、１つまたは複数の他の処理装置により画像処理（例えば、ブロック８０３および８０４）が実施された後に、拡張された画像データを単に受け取るのみである。

拡張現実表示（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｄｉｓｐｌａｙ）装置（簡潔に「ＡＲディスプレイ」と呼ばれる）が無線ＱｏＳ測定装置に接続される場合の特定の具体的実施例として、ＡＲディスプレイは、ネットワークパフォーマンスに関する品質が収集されたときにそれらを生成し、表示する。ＱｏＳ測定装置は、ネットワークに関する情報（例えば、バーの数、「ハンドオフ」など）を収集する。次いで、ＡＲディスプレイは、受け取った測定値からの関連情報を物理的現実世界のビューに重ねる。例えば、ＡＲディスプレイは、現在のサービスを提供しているセルタワー、または装置とサービスを提供しているタワーとの間の接続ラインを強調表示する。ＡＲディスプレイは、ハンドオフの際に、表示される（例えば、強調表示される）タワーを切り替える。複数の装置が位置と、パフォーマンスと、サービスを提供するタワーの情報と、を報告する場合、ＡＲディスプレイは、次いで、視界にある装置をそれらのそれぞれのサービスを提供するタワーに接続するラインと共に表す印のビュー（例えば、輝く点）を与え、この場合、そのようなラインの色などのインジケータは、各デバイスとタワーとの接続のいくつかの特徴（例えば、有効な電話呼出、測定されたスループットなど）を表す。ハンドオフなどのイベントまたは変化が生じた場合、印も変化する（例えば、ポイントが光る）。これらまたは他の特徴のいずれも、本明細書において開示される他の実施形態に関与し、本発明に従って実践される。

図９は、屋外使用の特定の用途での方法（例えば、方法２００または方法８００）を実践するためのハードウェアを図式的に表す。電子装置９０１は、データを収集するセンサと、地理的空間の初期の現実世界のビューをキャプチャするための１つまたは複数のカメラと、を備える。キャプチャされた／収集されたデータは、データ処理（視錐台決定、仮想世界への現実世界の視錐台の適用、仮想オブジェクト候補の識別、拡張選択、拡張変更など）のために、クラウド９０３（地理的に遠く離れた１つまたは複数のサーバの処理装置）へ送られる。データベース９０４とデータベース９０５（１つまたは多数のデータベースであってもよい）とは、ネットワーク関連データと、仮想世界の幾何学的データと、他の仮想世界のデータと、仮想オブジェクトのデータと、フィールドに配備されたセンサおよびカメラから新たに収集されていない本明細書において説明される実質的に全ての他のデータと、の永久的または半永久的保存および検索を提供する。当然のことながら、一般的にデータベースに保存される本明細書において説明される様々なデータタイプ、特にネットワーク関連データは、新しいデータ（例えば、新しい測定データ）が利用可能になった場合、または既存のデータが古くなったまたは期限が切れた場合、時間経過と共に更新され得る。ネットワーク関連データに基づく仮想オブジェクトと、それらの仮想オブジェクトに基づく拡張とは、それに応じて更新され得る。処理装置は、拡張された画像を描写するデータを生成するために、初期画像および／またはセンサデータ、およびネットワーク関連データを使用する。拡張された画像のデータは、表示装置上に拡張された画像９０６を生成する装置９０１（または適切な場合には他の出力装置）に送り返される。

「出力装置」は、本明細書において使用される場合、ユーザが自身の感覚を使用して（例えば、自分の目および／または耳を使用して）出力を知覚することができるように、ユーザに対して少なくとも視覚出力、聴覚出力、視聴覚出力、または触覚出力を提供することができる装置である。多くの実施形態において、出力装置は、少なくとも１つのディスプレイ、少なくとも１つのスピーカ、またはディスプレイとスピーカとのいくつかの組み合わせを備えるであろう。好適なディスプレイ（すなわち、表示装置）は、モバイル電子装置（例えば、電話、スマートフォン、ＧＰＳ装置、ラップトップ、タブレット、スマートタッチなど）の画面である。別の好適な出力装置は、ヘッドマウントディスプレイ（ＨＭＤ）である。いくつかの実施形態において、表示装置は、シースルー型ＨＭＤである。そのような場合、表示装置は、キャプチャされた現実世界の画像フィードを画面上に詳細に再生することなく、現実世界を見ることを受動的に可能にする。一般的に、シースルー型ＨＭＤにおいて、拡張のみが装置により能動的に示されるかまたは出力される。視覚拡張は、常に、現実世界の環境の直接的ビューの上に重ねられるが、システムへの元の映像入力のいずれかの表示を必ずしも伴うわけではない。実際に、画像データを検出するために映像入力を使用しないシステムの場合、システムは、カメラを全く持たず、関連拡張を決定するために他のセンサ（例えば、前述のような、ＧＰＳ、ジャイロ、コンパスなど）に完全に依存し、透明なガラスまたはバイザー上に関連拡張を表示する、１つまたは複数のＨＭＤを備えても良い。出力装置と視覚装置とは、ユーザ入力を取得するために、入力装置（例えば、ボタン、タッチスクリーン、メニュー、キーボード、データポートなど）を備えてもよく、または伴ってもよい。

図１０は、方法（例えば、方法２００または方法８００）を実践するためのハードウェアを図式的に示すが、屋内での機能性を向上させる追加のハードウェアを識別する。屋外アセットデータは、一般的に、例えば、ＧＰＳ座標を用いてジオコーディングされる。屋内において、通常、タワーまたは衛星を用いて交わされる信号が建物の壁と、屋根と、床と、内容物と、により妨げられるため、ＧＰＳは、場合により不十分であり、提供する空間解像度が低すぎるか、または使用不可能になることがある。したがって、一実施例の屋内の解決策は、ネットワーク関連の装置と位置とに取り付けられたタグ１００２（例えば、ＲＦタグ）を使用することである。データベース１００４とデータベース１００５とは、図９におけるデータベース９０４とデータベース９０５と同一でなくても同様のデータを含む（事実上、同じ物理的データベースであってもよい）。しかしながら、データベース１００４とデータベース１００５とは、さらに、タグデータも含む。クラウド１００３は、このタグデータを、カメラ／センサからの元の画像／センサデータと一緒に取得または受信し、それらを組み合わせて、表示されるかまたはユーザの出力装置に出力される拡張された画像１００６を提供する。ＲＦタグに対する他の代替手段も、代替実施形態において使用可能である。例えば、いくつかの実施形態は、３Ｄ環境の映像ベースの感知、またはタグを使用しないＲＦベースの位置特定システム（ｌｏｃａｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）を使用し得る。非ＧＰＳシステムの場合、基準点のセットは、仮想世界と現実世界とにおける他の位置を登録するために使用される。基準点のセットは、ＧＰＳ世界において経緯度原点により果たされる役割を果たす。

データベース（例えば、図９と図１０との９０４、９０５、１００４、１００５）は、命令実行装置により使用のための命令を維持および保存することができる有形の装置であるコンピュータ可読記憶媒体であってもよく、またはそれを備えてもよい。コンピュータ可読記憶媒体は、例えば、これらに限定されるわけではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの好適な組み合わせであってもよい。コンピュータ可読記憶媒体のより詳細な例の非包括的リストは、ポータブルコンピュータディスケット（ｐｏｒｔａｂｌｅ ｃｏｍｐｕｔｅｒ ｄｉｓｋｅｔｔｅ）、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、リードオンリメモリ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（Ｐｏｒｔａｂｌｅ Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ：ＤＶＤ）、メモリスティックと、フロッピーディスクと、パンチカードまたは、その上に記録された命令を有する溝における隆起した構造などの機械的にエンコードされた装置、および、それらの好適な組み合わせ、を含む。コンピュータ可読記憶媒体は、本明細書において使用される場合、一過性の信号それ自体、例えば、ラジオ波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を介して伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、または電線を介して伝送される電気信号などとして解釈されるべきではない。

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティングデバイス／プロセッシングデバイス（ｃｏｍｐｕｔｉｎｇ／ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）へ、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）、広域ネットワークおよび／または無線ネットワークなどを介して外部コンピュータまたは外部記憶装置へとダウンロードされてもよい。ネットワークは、銅製の伝送ケーブルと、光伝送ファイバと、無線伝送と、ルータと、ファイアウォールと、スイッチと、ゲートウェイコンピュータ（ｇａｔｅｗａｙ ｃｏｍｐｕｔｅｒｓ）および／またはエッジサーバと、を備えてもよい。各コンピューティングデバイス／プロセッシングデバイスにおけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を、それぞれのコンピューティングデバイス／プロセッシングデバイス内のコンピュータ可読記憶媒体のストレージへと送る。

本発明の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクションセットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、機械語命令、機械依存命令（ｍａｃｈｉｎｅ ｄｅｐｅｎｄｅｎｔ ｉｎｓｔｒｕｃｔｉｏｎｓ）、マイクロコード、ファームウェア命令、状態設定データ（ｓｔａｔｅ-ｓｅｔｔｉｎｇ ｄａｔａ）、あるいはＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語と、の１つまたは複数の組み合わせにおいて書かれたソースコードまたはオブジェクトコードのいずれか、であってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、完全にリモートコンピュータまたはサーバにおいて実行されてもよい。後者のシナリオの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む、任意のタイプのネットワークを介して、ユーザのコンピュータに接続されてもよく、あるいは接続は外部コンピュータ（例えば、インターネットサービスプロバイダを使用してインターネットを介して）に対してなされてもよい。いくつかの実施形態において、例えば、プログラマブル論理回路（Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｉｒｃｕｉｔｒｙ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ：ＦＰＧＡ）、またはプログラマブル論理アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙｓ：ＰＬＡ）などを含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本発明の実施形態にかかる方法と、装置（システム）と、コンピュータプログラムの成果物と、のフローチャート図および／または概略図を参照しながら説明される。フローチャート図および／またはブロック図の各ブロックと、フローチャート図および／またはブロック図のブロックの様々な組み合わせとが、コンピュータ可読プログラム命令によりまたはその使用により実践されてもよいことは理解されるであろう。

これらのコンピュータ可読プログラム命令は、機械を製造するために、汎用コンピュータ、専用コンピュータ、またはプログラマブルデータ処理装置（Ｐｒｏｇｒａｍｍａｂｌｅ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ａｐｐａｒａｔｕｓ）の処理装置へと提供されてもよく、それにより、命令は、コンピュータまたは他のプログラマブルデータ処理装置の処理装置を介して実行され、フローチャート図および／またはブロック図のブロックにおいて指定された機能／役割を実践する手段を創出する。本開示において頻繁に使用される「１つまたは複数の処理装置」は、様々な実施形態において、汎用コンピュータ、専用コンピュータ、またはそれらの組み合わせを意味し得る。さらに、コンピュータ可読プログラム命令は、コンピュータと、プログラマブルデータ処理装置と、および／または他の装置と、に対して特定の方法において機能するよう命令することができるコンピュータ可読記憶媒体に保存されることもでき、それにより、中に保存された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図のブロックにおいて指定された機能／役割の態様を実践する命令を含む製品を備える。

コンピュータ可読プログラム命令は、コンピュータ上、他のプログラマブルデータ処理装置上、または他の装置上にロードされることにより、コンピュータ実施プロセスを生成するように、一連の操作工程をコンピュータ上、他のプログラマブルデータ処理装置上、または他の装置に上で実施させてもよく、それにより、コンピュータ上、他のプログラマブル装置上、または他の装置上で実行される命令は、フローチャートおよび／またはブロック図のブロックにおいて指定される機能／役割を実施する。

本発明は、例示的実施形態と特徴と共に本明細書において説明されているが、当業者であれば、本発明は本開示によって制限されず、添付の特許請求の範囲により定義される本発明の範囲を逸脱することなく、様々な変更と修正とを加えてもよいことを理解するであろう。

１００ 電子装置
１０１ ディスプレイ
１０２ スピーカ
１０３ 破線
１０４ カメラ
１０５ 処理装置
１０６ 加速度計
１０７ ジャイロスコープ
１０８ 磁力計
１０９ 近接センサ
１１０ 気圧計
１１１ 温度計
１１２ マイクロホン
３０１ ルータ
３０３ 拡張
３０５ 円
３０７ 線
４０２ パラボラアンテナ
４０３ パラボラアンテナ
４０４ パラボラアンテナ
４０５ パラボラアンテナ
５０１ 接続ライン
５０２ 接続ライン
５０３ 接続ライン
８００ 方法
９０１ 電子装置
９０３ クラウド
９０４ データベース
９０５ データベース
９０６ 拡張された画像
１００２ タグ
１００３ クラウド
１００４ データベース
１００５ データベース
１００６ 拡張された画像

Claims (45)

1. 拡張現実のためのコンピュータ実施方法であって、
   地理的空間に位置されたユーザにより視認される前記地理的空間の現実世界のビューを可能にするように配置された視覚装置の位置と向きとに関する第１データを収集するために複数のセンサを使用する工程と、
   １つまたは複数の処理装置を使用して、前記第１データに基づいて現実世界の視錐台（ｆｒｕｓｔｕｍ）を決定する工程であって、現実世界の画像またはフレームを提供する、工程と、
   前記現実世界のビューの拡張のための仮想オブジェクト候補を識別するために、前記１つまたは複数の処理装置を用いて、前記現実世界の視錐台を仮想世界に適用する工程であって、前記仮想世界は、前記現実世界のビューにおいて知覚できない、１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトを備え、前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられる、工程と、
   前記１つまたは複数の処理装置を用いて、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを備える、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択する工程であって、前記１つまたは複数の拡張は、前記ネットワーク関連データの表現である、工程と、
   出力装置を用いて、前記現実世界のビューと同時に、少なくとも１つの選択された拡張を提供する工程であって、前記少なくとも１つの選択された拡張は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にする工程と、
   を含み、
   前記視覚装置は、１つまたは複数のカメラを備え、
   前記１つまたは複数のカメラを用いて、前記現実世界のビューの画像を描写する第２データをキャプチャする工程と、
   前記第２データを画像処理する工程と、
   前記出力装置を用いて前記少なくとも１つの選択された拡張を提供する前に、前記画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更する工程と、
   を含み、
   前記画像処理する工程は、畳み込みニューラルネットワークを用いた画像処理を含む、
   ことを特徴とするコンピュータ実施方法。
2. 前記複数のセンサを使用する工程は、回転データを収集するジャイロスコープと、加速度データを収集する線形加速度センサと、コンパスデータを収集する磁気センサと、ＧＰＳデータを収集するＧＰＳモジュールと、のうち少なくとも１つまたは複数を使用する工程を含む、
   請求項１記載のコンピュータ実施方法。
3. 前記出力装置は、ディスプレイを備え、
   前記コンピュータ実施方法は、前記少なくとも１つの選択された拡張を提供する工程と同時に前記現実世界のビューの前記画像を前記ディスプレイを用いて表示する工程、
   を含む、
   請求項１記載のコンピュータ実施方法。
4. 前記視覚装置と前記出力装置とは、同じ装置であるかまたは同じ装置の一部である、
   請求項３記載のコンピュータ実施方法。
5. ヘッドマウントディスプレイは、前記視覚装置と前記出力装置とを備える、
   請求項４記載のコンピュータ実施方法。
6. シースルー型ヘッドマウントディスプレイは、前記視覚装置と前記出力装置とを備える、
   請求項１記載のコンピュータ実施方法。
7. 前記視覚装置は、前記シースルー型ヘッドマウントディスプレイのレンズまたは１対のレンズである、
   請求項６記載のコンピュータ実施方法。
8. 仮想オブジェクト候補が、他の仮想オブジェクト候補を覆い隠すか否かと、どの仮想オブジェクト候補が覆い隠すかと、を前記適用された視錐台に基づいて、決定する工程を、
   含み、
   前記選択する工程は、前記１つまたは複数の拡張を選択するときに、覆い隠される仮想オブジェクト候補を識別する、
   請求項１記載のコンピュータ実施方法。
9. 前記提供する工程により提供される拡張は、視覚的、聴覚的、視聴覚的、触覚的、またはそれらのいくつかの組み合わせである、
   請求項１記載のコンピュータ実施方法。
10. 前記提供する工程により提供される拡張は、現実オブジェクトの３Ｄ表現と、現実オブジェクトを抽象化したものと、マーカと、インジケータと、キューと、のうちの１つまたは複数を含む、
    請求項９記載のコンピュータ実施方法。
11. 前記出力装置は、ディスプレイを備え、
    前記提供する工程により提供される拡張は、前記現実世界のビューの上に重ねられた視覚拡張を含む、
    請求項９記載のコンピュータ実施方法。
12. 前記提供する工程は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの前記１つまたは複数の品質に基づいて、前記現実世界のビューの少なくとも１つの部分を差別化する視覚拡張として、少なくとも１つのインジケータを提供する、
    請求項１１記載のコンピュータ実施方法。
13. 電気通信ネットワークに１つまたは複数の機能を与える電気的ハードウェアまたは関連するインフラストラクチャを備える電気通信アセットに基づいて、前記仮想世界に仮想オブジェクトを提供する工程、
    を含む、
    請求項１記載のコンピュータ実施方法。
14. 前記仮想世界において提供される前記仮想オブジェクトの少なくともいくつかは、基地局と、スイッチと、ルータと、ハブと、コンピュータと、試験設備と、アンテナと、コネクタと、スプリッタと、プローブと、中継器と、延長器と、送受信機と、アクセスポイントと、仮想コンピューティング環境を実行するハードウェアと、タワーと、これらの集合と、これらの組み合わせと、またはこれらの群と、のうちの１つまたは複数に基づいている、
    請求項１３記載のコンピュータ実施方法。
15. 前記複数のセンサを使用する工程において収集された前記第１データのうちの位置情報は、絶対位置情報と、相対位置情報と、関連位置情報と、のうちの１つまたは複数を含む、
    請求項１記載のコンピュータ実施方法。
16. 前記仮想世界において提供される前記仮想オブジェクトの少なくともいくつかは、地理情報システム（ＧＩＳ）データと、測定データと、プロジェクトデータと、アセットデータと、予想データと、予測データと、のうちの１つまたは複数を含むネットワーク関連データに基づいている、
    請求項１記載のコンピュータ実施方法。
17. ネットワークパフォーマンスデータを含む前記仮想オブジェクトを前記仮想世界に提供する工程、
    を含む、
    請求項１記載のコンピュータ実施方法。
18. 前記少なくとも１つの選択された拡張は、予測ネットワークパフォーマンスデータの表現である、
    請求項１７記載のコンピュータ実施方法。
19. 前記仮想世界において提供される前記仮想オブジェクトの少なくともいくつかは、受信される信号強度と、最適サーバと、スループットと、誤り率と、パケットレイテンシと、パケットジッタと、シンボルジッタと、サービスの質と、セキュリティと、有効範囲エリアと、帯域幅と、ビット誤り率と、パケット誤り率と、フレーム誤り率と、パケットドロップ率と、呼出ドロップ率と、キューイング遅延と、キャパシティと、信号レベルと、干渉レベルと、ラウンドトリップタイムと、帯域幅遅延積と、ハンドオフ遅延時間と、ハンドオフ頻度と、信号対干渉比と、信号対雑音比と、呼出品質と、リンクバジェットと、Ｅｂ／Ｎｏ（ビット平均エネルギー／雑音）と、Ｅｃ／Ｉｏ（チップ平均エネルギー／干渉プラス雑音）と、物理的設備の価格と、コスト情報と、のうちの１つまたは複数に基づいている、
    請求項１７記載のコンピュータ実施方法。
20. 前記地理的空間に位置された前記ユーザは、人間ユーザまたはロボットユーザである、
    請求項１記載のコンピュータ実施方法。
21. 地理的空間に位置されたユーザにより視認される前記地理的空間の現実世界のビューを可能にするように配置された視覚装置の位置と向きとに関する第１データを収集するように構成される複数のセンサと、
    コンピュータ可読プログラム命令を実行するように構成される１つまたは複数の処理装置であって、
    前記コンピュータ可読プログラム命令が実行される場合、
    前記第１データに基づいて現実世界の視錐台を決定して、現実世界の画像またはフレームを提供し、
    前記現実世界のビューの拡張のための仮想オブジェクト候補を識別するために、前記現実世界の視錐台を仮想世界に適用し、
    前記仮想世界は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトを含み、
    前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、
    前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられ、
    前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを備え、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択し、
    前記１つまたは複数の拡張は、前記ネットワーク関連データの表現である、
    １つまたは複数の処理装置と、
    前記現実世界のビューと同時に、少なくとも１つの選択された拡張を提供するように構成される出力装置と、
    前記現実世界のビューの画像を描写する第２データをキャプチャするように構成される１つまたは複数のカメラと、
    を有してなり、
    前記少なくとも１つの選択された拡張は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にし、
    前記１つまたは複数の処理装置は、
    前記第２データを画像処理し、
    前記出力装置が前記少なくとも１つの選択された拡張を提供する前に、前記画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更し、
    前記画像処理は、畳み込みニューラルネットワークを用いた画像処理を含む、
    ことを特徴とする拡張現実システム。
22. 前記複数のセンサは、回転データを収集するジャイロスコープと、加速度データを収集する線形加速度センサと、コンパスデータを収集する磁気センサと、ＧＰＳデータを収集するＧＰＳモジュールと、のうちの少なくとも１つまたは複数を含む、
    請求項２１記載の拡張現実システム。
23. 前記出力装置は、少なくとも１つの選択された拡張を提供すると同時に、前記現実世界のビューの前記画像を表示するように構成されるディスプレイを備える、
    請求項２１記載の拡張現実システム。
24. 前記視覚装置と前記出力装置とは、同じ装置であるかまたは同じ装置の一部である、
    請求項２３記載の拡張現実システム。
25. 拡張現実を提供するためにコンピュータで実行されるコンピュータプログラムであって、
    前記コンピュータに、
    地理的空間に位置されたユーザにより視認される前記地理的空間の現実世界のビューを可能にするように配置された視覚装置の位置と向きとに関する第１データを複数のセンサから収集する工程と、
    前記第１データに基づいて、現実世界の視錐台を決定する工程であって、現実世界の画像またはフレームを提供する、工程と、
    前記現実世界のビューの拡張のための仮想オブジェクト候補を識別するために、前記現実世界の視錐台を仮想世界に適用する工程であって、前記仮想世界は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトを含み、前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられる、工程と、
    前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを含む、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択する工程であって、前記１つまたは複数の拡張は、前記ネットワーク関連データの表現である、工程と、
    前記現実世界のビューと同時に少なくとも１つの選択された拡張を出力するために拡張画像データを出力装置に提供する工程であって、前記少なくとも１つの選択された拡張は、前記現実世界のビューにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にする、工程と、
    を含む方法を実行させ、
    前記視覚装置は、１つまたは複数のカメラを備え、
    前記１つまたは複数のカメラは、前記現実世界のビューの画像を描写する第２データをキャプチャし、
    前記コンピュータに、
    前記第２データを画像処理する工程と、
    前記出力装置に前記少なくとも１つの選択された拡張を提供する前に、前記画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更する工程と、
    を実行させ、
    前記画像処理する工程は、畳み込みニューラルネットワークを用いた画像処理を含む、
    ことを特徴とするコンピュータプログラム。
26. 現実世界の画像またはフレームの拡張現実のためのコンピュータ実施方法であって、
    前記現実世界において拡張のための仮想オブジェクト候補を識別するために、１つまたは複数の処理装置を用いて、前記現実世界の画像またはフレームの視錐台を仮想世界に適用する工程であって、前記仮想世界では、前記現実世界のオブジェクトに対応する仮想オブジェクトと、前記現実世界の画像またはフレームにおいて知覚できない、１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトと、が存在し、前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられる、工程と、
    前記１つまたは複数の処理装置を用いて、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを備える、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択する工程であって、前記１つまたは複数の拡張は、前記ネットワーク関連データの表現である、工程と、
    出力装置上の前記現実世界の画像またはフレーム内に出力するための、少なくとも１つの選択された拡張を提供する工程であって、前記少なくとも１つの選択された拡張は、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にする工程と、
    を含み、
    前記出力装置を用いて前記少なくとも１つの選択された拡張を提供する前に、前記現実世界の画像またはフレームを描写するデータの画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更する工程、
    を含み、
    前記画像処理は、畳み込みニューラルネットワークを用いた画像処理を含む、
    ことを特徴とするコンピュータ実施方法。
27. １つまたは複数のカメラから、実質的にリアルタイムの前記現実世界の画像またはフレームを受け取る工程、
    を含む、
    請求項２６記載のコンピュータ実施方法。
28. 前記現実世界の画像またはフレームを記憶する記憶部から、前記現実世界の画像またはフレームを受け取る工程、
    を含む、
    請求項２６記載のコンピュータ実施方法。
29. 前記提供する工程により提供される拡張は、視覚出力、聴覚出力、視聴覚出力、触覚出力、またはそれらのいくつかの組み合わせの出力用である、
    請求項２６記載のコンピュータ実施方法。
30. 前記提供する工程は、前記少なくとも１つの選択された拡張を表示するディスプレイを備える出力装置に前記少なくとも１つの選択された拡張を提供する、
    請求項２９記載のコンピュータ実施方法。
31. 前記選択する工程は、
    基地局と、スイッチと、ルータと、ハブと、コンピュータと、試験設備と、アンテナと、コネクタと、スプリッタと、プローブと、中継器と、延長器と、送受信機と、アクセスポイントと、仮想コンピューティング環境を実行するハードウェアと、タワーと、これらの集合と、これらの組み合わせと、またはこれらの群と、のうちの１つまたは複数に基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張を選択する工程、
    を含む、
    請求項２６記載のコンピュータ実施方法。
32. 前記選択する工程は、
    地理情報システム（ＧＩＳ）データと、測定データと、プロジェクトデータと、アセットデータと、予想データと、予測データと、のうちの１つまたは複数を含むネットワーク関連データに基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張を選択する工程、
    を含む、
    請求項２６記載のコンピュータ実施方法。
33. コンピュータ可読プログラム命令を実行するように構成される１つまたは複数の処理装置であって、
    前記コンピュータ可読プログラム命令が実行される場合、
    現実世界の画像またはフレームの拡張のための現実世界における仮想オブジェクト候補を識別するために、前記現実世界の画像またはフレームの現実世界の視錐台を仮想世界に適用し、
    前記仮想世界では、前記現実世界のオブジェクトに対応する仮想オブジェクトと、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトと、が存在し、
    前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、
    前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられ、
    前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを備え、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択し、
    前記１つまたは複数の拡張は、前記ネットワーク関連データの表現であり、
    出力装置上の前記現実世界の画像またはフレーム内に出力するための、少なくとも１つの選択された拡張を提供し、
    前記少なくとも１つの選択された拡張は、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にする、
    １つまたは複数の処理装置を備え、
    前記出力装置が前記少なくとも１つの選択された拡張を提供する前に、前記現実世界の画像またはフレームを描写するデータの画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更し、
    前記画像処理は、畳み込みニューラルネットワークを用いた画像処理を含む、
    ことを特徴とする拡張現実システム。
34. 前記１つまたは複数の処理装置は、前記コンピュータ可読プログラム命令が実行される場合、１つまたは複数のカメラから、実質的にリアルタイムの前記現実世界の画像またはフレームを受け取る、
    請求項３３記載の拡張現実システム。
35. 前記１つまたは複数の処理装置は、前記コンピュータ可読プログラム命令が実行される場合、前記現実世界の画像またはフレームを記憶する記憶部から、前記現実世界の画像またはフレームを受け取る、
    請求項３３記載の拡張現実システム。
36. 前記提供される拡張は、視覚出力、聴覚出力、視聴覚出力、触覚出力、またはそれらのいくつかの組み合わせの出力用である、
    請求項３３記載の拡張現実システム。
37. 前記少なくとも１つの選択された拡張を表示するディスプレイを備える出力装置に前記少なくとも１つの選択された拡張を提供する、
    請求項３６記載の拡張現実システム。
38. 前記１つまたは複数の拡張の選択は、
    基地局と、スイッチと、ルータと、ハブと、コンピュータと、試験設備と、アンテナと、コネクタと、スプリッタと、プローブと、中継器と、延長器と、送受信機と、アクセスポイントと、仮想コンピューティング環境を実行するハードウェアと、タワーと、これらの集合と、これらの組み合わせと、またはこれらの群と、のうちの１つまたは複数に基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張の選択、
    を含む、
    請求項３３記載の拡張現実システム。
39. 前記１つまたは複数の拡張の選択は、
    地理情報システム（ＧＩＳ）データと、測定データと、プロジェクトデータと、アセットデータと、予想データと、予測データと、のうちの１つまたは複数を含むネットワーク関連データに基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張の選択、
    を含む、
    請求項３３記載の拡張現実システム。
40. 拡張現実を提供するためにコンピュータで実行されるコンピュータプログラムであって、
    前記コンピュータに、
    現実世界の画像またはフレームの拡張のための現実世界における仮想オブジェクト候補を識別するために、現実世界の視錐台を仮想世界に適用する工程であって、前記仮想世界では、前記現実世界のオブジェクトに対応する仮想オブジェクトと、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する１つまたは複数の仮想オブジェクトと、が存在し、前記１つまたは複数の仮想オブジェクトは、ネットワーク関連データを含み、前記仮想世界は、前記現実世界の画像またはフレームに現れる現実の位置に対応するいくつかの位置により特徴付けられる、工程と、
    前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を説明する少なくとも１つの仮想オブジェクトを含む、１つまたは複数の前記仮想オブジェクト候補に対応する１つまたは複数の拡張を選択する工程であって、前記１つまたは複数の拡張は、前記ネットワーク関連データの表現である、工程と、
    出力装置上の前記現実世界の画像またはフレーム内に出力するための、少なくとも１つの選択された拡張を提供する工程であって、前記少なくとも１つの選択された拡張は、前記現実世界の画像またはフレームにおいて知覚できない１つまたは複数のネットワークパフォーマンスとアセット構成とのうちの１つまたは複数の品質を知覚可能にする、工程と、
    を含む方法を実行させ、
    前記出力装置が前記少なくとも１つの選択された拡張を提供する前に、前記現実世界の画像またはフレームを描写するデータの画像処理の結果に基づいて、前記少なくとも１つの選択された拡張を変更する工程、
    を実行させ、
    前記画像処理は、畳み込みニューラルネットワークを用いた画像処理を含む、
    ことを特徴とするコンピュータプログラム。
41. 前記コンピュータに、１つまたは複数のカメラから、前記現実世界の画像またはフレームを受け取る工程を実行させる、
    請求項４０記載のコンピュータプログラム。
42. 前記コンピュータに、前記現実世界の画像またはフレームを記憶する記憶部から、前記現実世界の画像またはフレームを受け取る工程を実行させる、
    請求項４０記載のコンピュータプログラム。
43. 前記提供する工程により提供される拡張は、視覚出力、聴覚出力、視聴覚出力、触覚出力、またはそれらのいくつかの組み合わせの出力用である、
    請求項４０記載のコンピュータプログラム。
44. 前記選択する工程は、
    基地局と、スイッチと、ルータと、ハブと、コンピュータと、試験設備と、アンテナと、コネクタと、スプリッタと、プローブと、中継器と、延長器と、送受信機と、アクセスポイントと、仮想コンピューティング環境を実行するハードウェアと、タワーと、これらの集合と、これらの組み合わせと、またはこれらの群と、のうちの１つまたは複数に基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張を選択する工程、
    を含む、
    請求項４０記載のコンピュータプログラム。
45. 前記選択する工程は、
    地理情報システム（ＧＩＳ）データと、測定データと、プロジェクトデータと、アセットデータと、予想データと、予測データと、のうちの１つまたは複数を含むネットワーク関連データに基づいている、前記１つまたは複数の仮想オブジェクト候補に対応する前記１つまたは複数の拡張を選択する工程、
    を含む、
    請求項４０記載のコンピュータプログラム。

Images