JP6301962B2 - 複合現実フィルタリング - Google Patents

複合現実フィルタリング Download PDF

Info

Publication number
JP6301962B2
JP6301962B2 JP2015553785A JP2015553785A JP6301962B2 JP 6301962 B2 JP6301962 B2 JP 6301962B2 JP 2015553785 A JP2015553785 A JP 2015553785A JP 2015553785 A JP2015553785 A JP 2015553785A JP 6301962 B2 JP6301962 B2 JP 6301962B2
Authority
JP
Japan
Prior art keywords
data items
geolocated
mixed reality
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015553785A
Other languages
English (en)
Other versions
JP2016507833A5 (ja
JP2016507833A (ja
Inventor
トビアス キネブリュー,ペーター
トビアス キネブリュー,ペーター
クムダ,ニコラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2016507833A publication Critical patent/JP2016507833A/ja
Publication of JP2016507833A5 publication Critical patent/JP2016507833A5/ja
Application granted granted Critical
Publication of JP6301962B2 publication Critical patent/JP6301962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Description

背景技術
[0001] 拡張現実装置または複合現実装置は、多種多様な現実世界環境および状況において使用され得る。このような装置は、ユーザの周囲の物理的世界のリアルタイムの視野をユーザに提供することができ、その視野をホログラフィック物体および他の仮想現実情報を用いて拡張することができる。
[0002] 大量の仮想現実情報が、ユーザへの提示のために利用可能となり得る。この情報のうちの一部は、ユーザの視野内に存在し得る特定の位置に関連付けることができる。あまりにも多くの仮想現実情報が利用可能であるため、この情報のユーザへの提示を管理すること、および、このような情報とのユーザのインタラクションは挑戦的なものであることが分かる。あまりにも多くの仮想現実情報を提示すると、ユーザによる複合現実環境の体験が混乱し、ユーザが圧倒されてしまうことがあり、情報を処理することが困難となってしまう。また、場合によっては、ユーザは、利用可能な仮想現実情報の総量のうちのほんの一部だけを見ることに興味を持ち得る。さらに、利用可能な仮想現実情報のうちの、より少ない部分が提示される場合であっても、情報の量および提示の仕方によって依然として生み出されるユーザ体験は望ましいものに及ばない可能性がある。
[0003] フィルタ済みのジオロケートされる(geo-located)データ項目の集まりを表示装置を介して複合現実環境において提示することに関連する様々な実施形態が本明細書において開示される。例えば、開示される一実施形態は、複合現実環境における、ジオロケートされるホログラム項目および他のジオロケートされるデータ項目を含む複数のジオロケートされるデータ項目を選択的にフィルタするための方法を提供する。本方法は、複数のジオロケートされるデータ項目を受信することと、1つまたは複数のモードに基づいて、データ項目を選択的にフィルタすることとを含む。このモードは、社交モード、人気モード、最新モード、仕事モード、遊びモード、およびユーザ興味モードのうちの1つまたは複数を含む。このようなフィルタリングにより、フィルタ済みのジオロケートされるデータ項目の集まりが得られる。次いで、フィルタ済みのデータ項目の集まりは、表示装置による表示のために複合現実表示プログラムへ提供される。
[0004] 本概要は、詳細な説明において以下にさらに説明される概念の抜粋を簡略化された形式で紹介するために提供される。本概要は、特許請求の範囲に記載される主題の重要な特徴または本質的な特徴を識別することを意図するものではなく、特許請求の範囲に記載される主題の範囲を限定するために使用されることを意図されるものでもない。さらに、特許請求の範囲に記載される主題は、本開示の任意の部分において述べられる不都合の一部または全部を解決する実装例に限定されない。
[0005]本開示の一実施形態に係る複合現実フィルタリングシステムの概略図である。 [0006]本開示の一実施形態に係る例示的なヘッドマウントディスプレイ装置を示す図である。 [0007]図2のヘッドマウントディスプレイ装置を装着し、本開示の一実施形態に係る例示的な複合現実環境を見ている2人のユーザの概略図である。 [0008]ヘッドマウントディスプレイ装置を通じて見られるデータ項目密度を示すスターフィールドの概略図である。 [0009]ユーザによってヘッドマウントディスプレイ装置を通じて見られる、図3の複合現実環境内に表示されるデータ項目のスターフィールドの概略図である。 [0010]本開示の一実施形態に係る、複数のジオロケートされるデータ項目を選択的にフィルタするための方法のフローチャートである。 [0010]本開示の一実施形態に係る、複数のジオロケートされるデータ項目を選択的にフィルタするための方法のフローチャートである。 [0011]コンピューティング装置の一実施形態の簡略化された概略図である。
[0012] 図1は、複合現実フィルタリングシステム10の一実施形態の概略図を示す。複合現実フィルタリングシステム10は、コンピューティング装置22の大容量ストレージ18に記憶され得る複合現実フィルタリングプログラム14を含む。複合現実フィルタリングプログラム14は、以下により詳細に説明される方法およびプロセスのうちの1つまたは複数を実行するために、コンピューティング装置22のメモリ26にロードされ、コンピューティング装置22のプロセッサ30によって実行され得る。
[0013] 複合現実フィルタリングシステム10は、複合現実環境38を生成するために、ヘッドマウントディスプレイ(HMD:head-mounted display)装置36などの表示装置上での表示のための仮想環境34を生成し得る複合現実表示プログラム32を含む。仮想環境34は、複数のジオロケートされるデータ項目40を含む。このようなデータ項目40は、ジオロケートされる3次元のホログラム項目42、およびジオロケートされる2次元の仮想物体などの他のジオロケートされるデータ項目44などの、1つまたは複数の仮想画像を含み得る。
[0014] 一例において、また、以下により詳細に説明されるように、1つまたは複数のジオロケートされるデータ項目40’は、ジオロケートされるコンテンツチャネル48からネットワーク46を介してコンピューティング装置22によって受信され得る。別の例において、1つまたは複数のジオロケートされるデータ項目40'’は、権限サーバ52に位置するオーサリングアプリケーション50によって生成され得る。このようなジオロケートされるデータ項目40’’は、ネットワーク46を介してコンピューティング装置22によっても受信され得る。
[0015] コンピューティング装置22は、デスクトップコンピューティング装置、スマートフォン、ラップトップ型、ノート型もしくはタブレット型コンピュータなどのモバイルコンピューティング装置、ネットワークコンピュータ、ホームエンターテインメントコンピュータ、対話型テレビ、ゲーム機、または他の適切なタイプのコンピューティング装置の形を取り得る。コンピューティング装置22の構成要素および演算態様に関するさらなる詳細は、図7を参照しつつ、以下により詳細に説明される。
[0016] コンピューティング装置22は、有線接続を使用してHMD装置36に動作可能に接続されることができ、または、WiFi、ブルートゥース、もしくは任意の他の適切な無線通信プロトコルを介した無線接続を採用することができる。また、図1に示される例は、コンピューティング装置22をHMD装置36とは別個の構成要素として示す。他の例においては、コンピューティング装置22がHMD装置36と一体化され得ることが認識されるであろう。
[0017] ここで図2も参照すると、透明なディスプレイ54を有する装着可能な眼鏡の形をしたHMD装置200の一例が提供される。他の例において、HMD装置200は、透明なディスプレイ、半透明なディスプレイまたは不透明なディスプレイが観察者の片方または両方の眼の前で支えられる他の適切な形を取り得ることが認識されるであろう。図1に示されるHMD装置36は、以下により詳細に説明されるように、HMD装置200または任意の他の適切なHMD装置の形を取り得ることも認識されるであろう。さらに様々なフォームファクタを有する、多くの他のタイプおよび構成の表示装置も、本開示の範囲内で使用され得る。そのような表示装置は、携帯型スマートフォン、タブレット型コンピュータ、および他の適切な表示装置を含み得るが、これらに限定されない。
[0018] 図1および図2を参照すると、この例において、HMD装置36は、表示システム56と、ホログラフィック物体などの画像がユーザ62の両眼に届けられることを可能にする透明ディスプレイ54とを含む。透明ディスプレイ54は、物理的環境の概観を、この物理的環境を見ているユーザ62に対して、透明ディスプレイを通じて仮想的に拡張するように構成され得る。例えば、物理的環境の概観は、複合現実環境38を生成するために、透明ディスプレイ54を介して提示される画像コンテンツ(例えば、各々がそれぞれの色および輝度を有する1つまたは複数の画素)によって拡張され得る。
[0019] 透明ディスプレイ54は、ユーザが、物理的環境における物理的な、現実世界の物体を、仮想物体表現を表示している1つまたは複数の部分的に透明な画素を通じて見ることができるようにも構成され得る。一例において、透明ディスプレイ54は、(例えば、シースルー型有機発光ダイオード(OLED: Organic Light-Emitting Diode)ディスプレイなどの)レンズ204内に位置する画像生成要素を含み得る。別の例として、透明ディスプレイ54は、レンズ204の縁部に光変調器を含み得る。この例において、レンズ204は、光変調器からユーザの両眼へ光を届けるための光導体としての機能を果たす。このような光導体は、ユーザが物理的環境における物理的な物体を見ることも可能にしつつ、ユーザが見ている物理的環境内に位置する3Dホログラフィック画像をユーザが知覚することを可能にし得る。
[0020] HMD装置36は、様々なセンサおよび関連するシステムも含み得る。例えば、HMD装置36は、少なくとも1つの内向きのセンサ216を利用する視線追跡センサシステム58を含み得る。内向きのセンサ216は、ユーザの両眼から視線追跡情報の形式で画像データを取得するように構成される画像センサであり得る。この情報の取得および使用にユーザが同意したならば、視線追跡センサシステム58は、この情報を使用して、ユーザの両眼の位置および/または動きを追跡することができる。
[0021] HMD装置36は、物理的環境から物理的環境データを受け取るセンサシステムも含み得る。例えば、HMD装置36は、光学センサなどの少なくとも1つの外向きのセンサ212を利用する光学センサシステム60を含み得る。外向きのセンサ212は、ユーザ62によって、または外向きのセンサ212の視野内の人物もしくは物理的物体によって実行されるジェスチャベースの入力または他の動きなどの、その視野内の動きを検出し得る。外向きのセンサ212は、物理的環境およびこの環境内の物理的物体からの2次元画像情報および奥行き情報もキャプチャし得る。例えば、外向きのセンサ212は、奥行きカメラ、可視光カメラ、赤外線カメラ、および/または位置追跡カメラを含み得る。
[0022] HMD装置36は、1つまたは複数の奥行きカメラによる奥行き検知を含み得る。一例において、各奥行きカメラは、1つの立体視システムの左側カメラおよび右側カメラを含み得る。これらの奥行きカメラのうちの1つまたは複数からの時間分解画像は、互いに、および/または可視スペクトルカメラなどの別の光学センサからの画像に登録されることができ、奥行き分解されたビデオを得るために結合され得る。
[0023] 他の例において、構造化光奥行きカメラは、構造化赤外線照明を投影し、この照明が投影されるシーンから反射される照明を撮像するように構成され得る。シーンの奥行きマップは、1つの撮像されたシーンの様々な領域における隣接する特徴間の間隔に基づいて構築され得る。また他の例において、奥行きカメラは、パルス状の赤外線照明をシーン上に投影し、そのシーンから反射される照明を検出するように構成される飛行時間型の奥行きカメラの形を取り得る。任意の他の適切な奥行きカメラが本開示の範囲内で使用され得ることが認識されるであろう。
[0024] 外向きのセンサ212は、ユーザ62が位置付けられる物理的環境の画像をキャプチャし得る。一例において、複合現実表示プログラム32は、そのような入力を使用して、ユーザの周囲の物理的環境をモデリングする仮想環境34を生成する3Dモデリングシステムを含み得る。
[0025] HMD装置36は、HMD装置の位置追跡および/または向き検知を可能にするための1つまたは複数のモーションセンサ224を利用する位置センサシステム64も含み得る。例えば、位置センサシステム64は、ユーザの頭部の姿勢の向きを判定するために利用され得る。一例において、位置センサシステム64は、6軸または6自由度の位置センサシステムとして構成された慣性測定ユニットを含み得る。この例示的な位置センサシステムは、例えば、3つの直交する軸(例えば、x、y、z)に沿った3次元空間内におけるHMD装置36の位置の変化と、当該3つの直交する軸の回りのHMD装置の向きにおける変化(例えば、ロール、ピッチ、ヨー)とを示し、または測定するための3つの加速度計および3つのジャイロスコープを含み得る。
[0026] 位置センサシステム64は、GPSまたは他のグローバルナビゲーションシステムなどの、他の適切な測位技法もサポートし得る。さらに、位置センサシステムの特定の例が説明されてきたが、他の適切な位置センサシステムが使用されてもよいことが認識されるであろう。
[0027] いくつかの例において、モーションセンサ224は、ユーザがHMD装置36と首および頭部のジェスチャ、または身体のジェスチャすらも介してインタラクションし得るように、ユーザ入力装置としても採用され得る。HMD装置36は、1つまたは複数のマイクロフォン220を含むマイクロフォンシステム66も含み得る。他の例において、音声は、HMD装置36の1つまたは複数のスピーカ228を介してユーザに提示され得る。
[0028] HMD装置36は、図7を参照しつつ以下により詳細に議論されるように、HMD装置の様々なセンサおよびシステムと通信する論理サブシステムおよびストレージサブシステムを有するプロセッサ230も含み得る。一例において、ストレージサブシステムは、センサから信号入力を受け取り、当該入力を(未処理または処理済みの形で)コンピューティング装置22へ転送し、透明ディスプレイ54を介してユーザに画像を提示するために、論理サブシステムによって実行可能な命令を含み得る。
[0029] 上述された、図1および図2に示されるHMD装置36ならびに関連するセンサおよび他の構成要素は例として提供されることが認識されるであろう。これらの例は、任意の他の適切なセンサ、構成要素、および/またはセンサと構成要素との組み合わせが利用され得るため、いかなる形でも限定的であることを意図しない。そのため、HMD装置36は、本開示の範囲から逸脱することなく、付加的および/または代替的なセンサ、カメラ、マイクロフォン、入力装置、出力装置等を含んでもよいことが理解されるべきである。さらに、HMD装置36ならびにその様々なセンサおよびサブ構成要素の物理的構成は、本開示の範囲から逸脱することなく、多種多様な異なる形を取ることができる。
[0030] 図3、図4および図5を参照しつつ、複合現実フィルタリングシステム10の例示的な使用例および実施形態の説明が、ここで提供される。図3は、HMD装置36を装着し、当該装置を通じて物理的環境302を都市の交差点の形で見ているユーザ62の概略図である。この例において、HMD装置36は、HMD装置200の形を取る。
[0031] ユーザ62によって見られるように、また、図1も参照すると、仮想環境34は、物理的環境302と結合して、複合現実環境38を生成する。複合現実環境38は、物理的環境302内の特定の位置に関連付けられるジオロケートされるデータ項目40を含む。この例において、また、図3を参照すると、そのようなジオロケートされるデータ項目40は、ホログラフィックの魔術師306、推薦アイコン310および314、ソーシャルネットワークポスト318、顧客レビュー322、写真326、人気度アイコン330、ならびに警告アイコン334を含む。
[0032] 以下により詳細に説明されるように、多くの付加的なジオロケートされるデータ項目40も、物理的環境302内の位置に関連付けられる。様々な例において、そのような付加的なジオロケートされるデータ項目40は、数十、数百、数千またはそれ以上になり得る。多数の付加的なジオロケートされるデータ項目40が存在する場合、そのようなデータ項目全てを表示することは、ユーザ62を圧倒し、情報を処理することを困難にし、および/またはユーザによる物理的環境302の知覚を低下させる望ましくない視覚的混乱を生成し得ることが認識されるであろう。有利なことには、また、以下により詳細に説明されるように、本開示の複合現実フィルタリングシステム10は、ユーザに関連するデータ項目をユーザが容易に見つけ、ナビゲートすることを可能にする、フィルタ済みのジオロケートされるデータ項目の集まりを生成することによって、改良されたユーザ体験を提供する。
[0033] 一例において、複合現実フィルタリングプログラム14は、フィルタ済みのジオロケートされるデータ項目の集まり68を得るために、1つまたは複数のモード72に基づいて、複数のジオロケートされるデータ項目40を選択的にフィルタするように構成される。次いで、フィルタ済みの集まり68は、HMD装置36による表示のために複合現実表示プログラム32へ提供され得る。一例において、複合現実フィルタリングプログラム14は、ユーザ62の友人、家族の一員、または他の知人に関連付けられるデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタする社交モードを利用し得る。
[0034] 図3を参照すると、一例において、ユーザ62の第1の友人370は、ラウンジ350を以前に訪れ、友人によるラウンジの承認を示すために、ラウンジに関連付けられる推薦アイコン314を残していることがある。ユーザ62の第2の友人374は、フードカート354において昼食を取り、この友人によるフードカートの推奨を示すために、推薦アイコン310を残していることがある。社交モードにある場合、この例において、複合現実フィルタリングプログラム14は、HMD装置36を介してユーザ62に表示されるフィルタ済みのデータ項目の集まり68に推薦アイコン310および314のみを含め得る。
[0035] また、図3に示されるように、各推薦アイコン310および314は、アイコンを第1の友人370および第2の友人374にそれぞれ関連付ける異なる形も取り得る。ユーザの友人、家族の一員、または他の知人に関連付けられる多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まり68に含まれ得ることが認識されるであろう。
[0036] 別の例において、複合現実フィルタリングプログラム14は、少なくとも1つの閾値人気レベルに関連付けられるデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタする人気モードを使用し得る。図3を再び参照すると、劇場358は、地元メディアの批評家、鑑賞者のブログ、ソーシャルメディアおよび他のオンラインソースを通じたコメントから絶賛を受けており、4個の星のうちで平均3.9個の星のレビューを得ているミュージカルを上演中であり得る。一例において、閾値人気レベルは、4個の星のうちで3個の星の平均レビューに対応し得る。ミュージカルについてのレビューが平均で3.9個の星になると、人気モードにある間、複合現実フィルタリングプログラム14は、フィルタ済みのデータ項目の集まり68に人気アイコン330を含め得る。複合現実フィルタリングプログラム14は、人気のあるイベントが劇場に関連付けられることを示すために、人気アイコン330を劇場358の上に表示し得る。少なくとも1つの閾値人気レベルに関連付けられる多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まり68に含まれ得ることが認識されるであろう。
[0037] 別の例において、複合現実フィルタリングプログラム14は、閾値時間フレーム内に生成または更新されたデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタする最新モードを利用し得る。図3を再び参照すると、ラウンジ350の顧客レビュー322は、ほんの1時間前に投稿されている。一例において、閾値時間フレームは、先週の間であり得る。ラウンジ350の顧客レビュー322は1時間前に投稿されたため、最新モードにある間、複合現実フィルタリングプログラム14は、フィルタ済みのデータ項目の集まり68に顧客レビュー322を含めることができ、ラウンジ350の隣にこのレビューを表示し得る。閾値時間フレーム内に生成または更新された多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まり68に含まれ得ることが認識されるであろう。
[0038] 別の例において、複合現実フィルタリングプログラム14は、ユーザの仕事生活に関連するデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタする仕事モードを利用し得る。図3を再び参照すると、ユーザ62は、商業不動産業界に勤めており、ユーザの同僚は、この特定の都市の交差点における潜在的なリースの機会に関するソーシャルネットワークポスト318を投稿していることがある。仕事モードにある間、複合現実フィルタリングプログラム14は、フィルタ済みのデータ項目の集まり68にソーシャルネットワークポスト318を含めることができ、潜在的なリースの機会に対応する所在地住所を表示し得る。ユーザの仕事生活に関連する多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まり68に含まれ得ることが認識されるであろう。
[0039] 別の例において、複合現実フィルタリングプログラム14は、レジャー、エンターテインメントおよび/または他のレクリエーション活動に関連するデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタする遊びモードを利用し得る。図3を再び参照すると、ラウンジ350は、定期的なスイングダンスイベントを主催し得る。ラウンジ350におけるスイングダンスイベントの参加者は、このイベントで踊る人々の写真326を投稿していることがある。遊びモードの間、複合現実フィルタリングプログラム14は、フィルタ済みのデータ項目の集まり68に写真326を含めることができ、ラウンジ350の隣に写真を表示し得る。レジャー、エンターテインメントおよび/または他のレクリエーション活動に関連する多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まり68に含まれ得ることが認識されるであろう。
[0040] 別の例において、複合現実フィルタリングプログラム14は、ユーザの1つまたは複数の興味に関連するデータ項目を得るために複数のジオロケートされるデータ項目40をフィルタするユーザ興味モードを利用し得る。図3を再び参照すると、ユーザ62は、ホログラフィックアートを認識し、楽しみ得る。一例において、複合現実フィルタリングプログラム14は、ユーザによるホログラフィック物体生成プログラムの使用、およびユーザによるホログラフィックアートに関する頻繁なオンラインコメントから、この興味を判別し得る。ユーザ興味モードの間、複合現実フィルタリングプログラム14は、フィルタ済みのデータ項目の集まり68にホログラフィックの魔術師306を含めることができ、その作成者によって指定される位置にホログラフィックの魔術師306を表示し得る。ユーザの1つまたは複数の興味に関連する多くの他のタイプのデータ項目も、このフィルタ済みのデータ項目の集まりに含まれ得ることが認識されるであろう。
[0041] 上述されたような複合現実フィルタリングプログラム14による使用のために、ユーザ62は上述されたモードのうちの1つまたは複数を選択し得ることが認識されるであろう。複数のジオロケートされるデータ項目を選択的にフィルタするために、上述されたモードに加えて他のモードが複合現実フィルタリングプログラム14によって使用され得ることも認識されるであろう。
[0042] 複合現実フィルタリングプログラム14は、1つまたは複数の優先要因74に基づいて、フィルタ済みのデータ項目の集まり68を優先順位付けすることもできる。いったん優先順位付けされると、複合現実フィルタリングプログラム14は、所定の数の優先順位付けされたジオロケートされるデータ項目を、HMD装置36を介した表示のために複合現実表示プログラム32へ提供し得る。
[0043] 一例において、アイテムの期間の優先要因は、直近のデータ項目に従ってデータ項目を優先順位付けするために使用され得る。例えば、ラウンジ350の複数のレビューが利用可能である場合、ラウンジ350の直近のレビュー322のみが、HMD装置36を介して表示され得る。他の例において、所定の数の優先順位付けされたジオロケートされるレビューは、2つ、3つ、4つ、5つまたはこれ以上であってもよく、当該所定の数のレビューが表示され得る。
[0044] 別の例において、項目の格付けの優先要因は、商業的レビュー、ソーシャルグラフによる推薦等からの最も好意的な格付けを得ている項目に従ってデータ項目を優先順位付けするために使用され得る。例えば、ホログラフィックの魔術師306は、ホログラフィックアートの批評家およびユーザ62の友人達から、10個の星のうちで平均7.5個の星の格付けを得ていることがある。ユーザ62の近くの他のホログラフィックアート作品は、7.5個の星を下回る平均格付けを有し得る。したがって、最も高い格付けのホログラフィックアート作品のみが表示されるべき場合、ホログラフィックの魔術師306のみがHMD装置36を介して表示され得る。他の例において、所定の数の優先順位付けされたジオロケートされるホログラフィックアート作品は、2つ、3つ、4つ、5つまたはそれ以上であってもよく、当該数のホログラフィックアート作品が表示され得る。
[0045] 別の例において、ユーザ嗜好データが、データ項目を優先順位付けするために使用され得る。例えば、ホログラフィックな空想上のキャラクタを生成するユーザの履歴を調べ、他のホログラフィックな空想上のキャラクタへのユーザの承認(「いいね!(liking)」)を示すことによって、複合現実フィルタリングプログラム14は、ユーザがホログラフィックな空想上のキャラクタを好むと判定し得る。したがって、複合現実フィルタリングプログラムは、ユーザ62の近くに同様にジオロケートされるホログラフィックな抽象アート作品よりもホログラフィックの魔術師306の表示を優先し得る。
[0046] 別の例において、項目の人気度が、データ項目を優先順位付けするために使用され得る。例えば、あるデータ項目の人気度は、そのデータ項目によって受け取られた異なるコメント、レビュー、承認の標識等の数に対応し得る。図3に関して、ホログラフィックの魔術師306は、550個のコメント、レビューおよび承認の標識を受け取っていることがある。ホログラフィックな抽象アート作品は、50個のコメント、レビューおよび承認の標識を受け取っていることがある。したがって、複合現実フィルタリングプログラムは、抽象アート作品と比較した魔術師のより高い人気に基づいて、ホログラフィックな抽象アート作品よりもホログラフィックの魔術師306の表示を優先し得る。
[0047] 別の例において、項目のソースの権限が、データ項目を優先順位付けするために使用され得る。図1を参照すると、一例において、地方自治体機関は、ジオロケートされるデータ項目40’’を生成し、複合現実フィルタリングプログラム14に提供し得るオーサリングアプリケーション50を含む権限サーバ52を動作させ得る。ここで図3を参照すると、道路建設により、交差点から2ブロックの街路362の1つの車線が閉鎖され得る。警告アイコン334は、その車線の運転者および歩行者に街路の閉鎖を警告するために生成され、交差点にジオロケートされ得る。地方自治体機関は、ジオロケートされるデータ項目をHMD装置36を介して表示する権限を有することができ、複合現実フィルタリングプログラム14は、そのような項目に他のデータ項目よりも優先度を認め得る。したがって、複合現実フィルタリングプログラムは、地方自治体機関の権限に基づいて、警告アイコン334の表示を優先し得る。
[0048] 別の例において、商業上優先順位が、データ項目を優先順位付けするために使用され得る。一例において、ラウンジ350は、ラウンジにおけるダンスコンテストを宣伝するホログラフィック広告366を購入するために1000ドルを支払い得る。フードカート354は、フードカートを宣伝するホログラフィック広告(図示せず)を購入するために25ドルを支払い得る。ラウンジ350は、自身の広告のためにフードカート354よりも多く支払っているので、ダンスコンテストの広告366がHMD装置36を介して表示され得る一方で、フードカートの広告は表示されないことがあり得る。
[0049] 別の例において、ユーザ62への物理的近接度が、データ項目を優先順位付けするために使用され得る。一例において、ユーザ62は、優先距離を越えて位置するジオロケートされるデータ項目よりもジオロケートされるデータ項目が優先される、ユーザからの優先距離を特定し得る。例えば、ユーザ62が10フィートの優先距離を特定する場合、ユーザから20フィート離れて街路の向こう側に立っている第1の友人370によってプレイされている双方向型ゲームからのホログラフィックなキャラクタは、HMD装置36を介して表示されないことがあり得る。ユーザ62が街路を歩いて渡って第1の友人370から10フィート以内になると、双方向型ゲームからのホログラフィックなキャラクタは、今度は優先され、表示されるであろう。
[0050] 別の例において、ユーザ62への社会的近接度が、データ項目を優先順位付けするために使用され得る。一例において、ユーザ62は、ユーザ62が平均で1日に少なくとも1度はソーシャルネットワーキングを通じて交流する第1の友人370を含むソーシャルグラフを有し得る。ユーザ62のソーシャルグラフは、ユーザ62が平均で1か月に1度はソーシャルネットワーキングを通じて交流する第2の友人374も含み得る。したがって、複合現実フィルタリングプログラム14は、ユーザによる第1の友人とのより頻繁な交流に基づいて、第2の友人374によって生成されるジオロケートされるデータ項目よりも、第1の友人370によって生成されるジオロケートされるデータ項目を優先し得る。
[0051] 複合現実フィルタリングプログラム14は、1つまたは複数のジオロケートされるデータ項目をHMD装置36による表示のために複合現実表示プログラム32へ提供するように構成される1つまたは複数のオーサリングアプリケーションを有効化および無効化するようにも構成され得る。1つまたは複数のオーサリングアプリケーション76は、コンピューティング装置22の大容量ストレージ18に常駐してもよく、または、図1に例示される権限サーバ52に位置するオーサリングアプリケーション50などのように、コンピューティング装置の外部に存在してもよい。
[0052] 一例において、また、考え得る障害を最小限にするために、ユーザ62が当該ユーザを通り過ぎる多くの自動車で混雑した街路に近付く場合、複合現実フィルタリングプログラム14は、オーサリングアプリケーション76を無効化し得る。別の例において、オーサリングアプリケーション50を提供する権限サーバ52は、空港警備局によって動作させられ得る。ユーザ62が空港に入り、空港の建物の屋内によって定義されるジオフェンスされた(geo-fenced)境界を渡ると、複合現実表示プログラム32は、ジオロケートされるデータ項目を、HMD装置36を介した表示のために複合現実表示プログラム32に提供すべく、オーサリングアプリケーション50を有効化し得る。
[0053] 複合現実フィルタリングプログラム14は、フィルタ済みのジオロケートされるデータ項目の集まり68を得るために、1つまたは複数のデータタイプ78に基づいて、ジオロケートされるデータ項目を選択的にフィルタするようにも構成され得る。データタイプ78は、ソーシャルネットワーキングポスト、レビューおよび推薦、写真、広告、ならびにアートワークを含み得るが、これらに限定されない。例えば、ユーザ62は、ソーシャルネットワーキングポストに対応するジオロケートされるデータ項目のみを見たいと望むことがある。したがって、ユーザは、ソーシャルネットワーキングポストのデータタイプを選択することができ、それに応じて複合現実フィルタリングプログラム14は、HMD装置36に提供されるフィルタ済みのデータ項目の集まり68におけるソーシャルネットワーキングポストのみを得るために、全てのジオロケートされるデータ項目40をフィルタし得る。多くの他のデータタイプのジオロケートされるデータ項目も、ジオロケートされるデータ項目をフィルタするために使用されることができ、また、本開示の範囲内であることが認識されるであろう。
[0054] 別の例において、複合現実フィルタリングプログラム14は、サードパーティフィルタリング基準に当てはまる1つまたは複数のサードパーティレンズ80に基づいて、ジオロケートされるデータ項目を選択的にフィルタするようにさらに構成され得る。例えば、ユーザ62は、ユーザの第1の友人370のアートおよびスタイルの感性を称賛し得る。ユーザの第1の友人370は、第1の友人のアートおよびスタイルの感性を反映するデータ項目の集まりを得るために、ジオロケートされるデータ項目にフィルタリング基準を適用する、第1の友人のアートおよびスタイルレンズを有し得る。
[0055] ユーザ62は、第1の友人370から第1の友人のアートおよびスタイルレンズを受信することができ、このレンズは、コンピューティング装置22の大容量ストレージ18に記憶され得る。次いで、複合現実フィルタリングプログラム14は、第1の友人のアートおよびスタイルの感性を反映する項目の集まりを得るために、ジオロケートされるデータ項目を選択的にフィルタすべく、第1の友人のアートおよびスタイルレンズを採用し得る。他の例においては、他のサードパーティレンズ80がユーザ62によって受信および/または購入され得ることが認識されるであろう。
[0056] 別の例において、ジオロケートされるコンテンツチャネル48によってサービスを提供される境界付けられた環境内にHMD装置36が位置する場合、複合現実フィルタリングプログラム14は、当該ジオロケートされるコンテンツチャネルから複数のジオロケートされるデータ項目を受信するようにさらに構成され得る。例えば、ユーザ62および第1の友人370は、ラウンジ350内に座っていることがある。ラウンジ350は、ディスプレイ装置がラウンジの室内に位置する場合にアクセス可能である、ジオロケートされるコンテンツチャネル48をブロードキャストし得る。有利なことに、ユーザ62および第1の友人370は双方共に、ラウンジのジオロケートされるコンテンツチャネル48によってブロードキャストされる、ジオロケートされるデータ項目のみを受信および表示するように、自分達のHMD装置36を設定し得る。有利なことに、このようにして、ユーザ62および第1の友人370は、ユーザ62および第1の友人370が双方共に同様の複合現実環境を体験していることを確保することができ、これは、ユーザ62および第1の友人370のインタラクションを向上させることができる。
[0057] 別の例において、ユーザ62および第1の友人370は、ユーザおよび第1の友人がジオロケートされるデータ項目を共通の複合現実体験において共有することを可能にする、アドホックなジオロケートされるコンテンツチャネルを生成し得る。このようにして、ユーザ62および第1の友人370は、ユーザ62および第1の友人370が双方共に同様の複合現実環境を体験していることも確保することができ、これは、ユーザ62および第1の友人370のインタラクションを向上させることができる。
[0058] 別の例において、また、ここで図4および図5を参照すると、複合現実フィルタリングプログラム14は、複合現実環境38におけるデータ項目密度を示すスターフィールド400において、フィルタ済みのジオロケートされるデータ項目の集まり68を提示するようにさらに構成され得る。スターフィールド400は、各々がフィルタ済みのデータ項目の集まり68におけるジオロケートされるデータ項目のうちの異なる1つを表す、複数の標識を含む。有利なことには、また、図4に概略的に例示されるように、スターフィールド400は、ユーザの現在の視界内のジオロケートされるデータ項目の密度および位置の好都合に抽象化された表現を、HMD装置36を介してユーザに提供する。
[0059] 一例において、スターフィールド400内の標識の各々は、複数のデータタイプ78のうちの1つに対応し得る。複合現実フィルタリングプログラム14は、複数の標識の各々に、複数のデータタイプから対応するデータタイプを識別するデータタイプ特性を提供するようにさらに構成され得る。例えば、データタイプ特性は、対応する標識の特定の形状を含み得る。ここで図4を参照すると、三角形またはピラミッド状の形状を有する標識404は、ソーシャルネットワーキングポストのデータタイプに対応し得る。六角形または六面体の形状を有する標識408は、レビューまたは推薦のデータタイプに対応し得る。円形または球体の形状を有する標識412は、写真のデータタイプに対応し得る。
[0060] 図5は、図3のユーザ62によってHMD装置36を通じて見られるデータ項目スターフィールドを概略的に例示する。この例において、データ項目スターフィールドは、都市の交差点の物理的環境302を含む複合現実環境38内に表示される。ユーザ62は、ユーザ62の友人、家族の一員、または他の知人に関連付けられる項目を得るために複数のジオロケートされるデータ項目40を選択的にフィルタする社交モードを選択していることがある。したがって、ユーザ62の知人に関連付けられるソーシャルネットワーキングポスト、レビューまたは推薦、および写真を表す様々な標識が、スターフィールド内に含まれる。
[0061] 例えば、スターフィールドは、フードカート354の隣の第2の友人374によって残された推薦アイコン310を含み得る。一例において、ユーザ62は、HMD装置36とのインタラクションを通じて推薦アイコン310を選択し得る。選択されると、アイコン310は、当該アイコンに関連付けられる、第2の友人374の書き込み済みの推薦文全体を表示するように拡大し得る。
[0062] 図6Aおよび図6Bは、本開示の一実施形態に係る、複数のジオロケートされるデータ項目を選択的にフィルタする方法600のフローチャートを例示する。方法600の下記の説明が上述され、図1〜図5に示された複合現実フィルタリングシステム10のソフトウェア構成要素およびハードウェア構成要素を参照しつつ提供される。方法600は他の適切なハードウェア構成要素およびソフトウェア構成要素を使用する他の状況においても実行され得ることが認識されるであろう。
[0063] 図6Aを参照すると、604において、方法600は、複数のジオロケートされるデータ項目を受信することを含む。608において、ジオロケートされるコンテンツチャネルによってサービスを提供される境界付けられた環境内にHMD装置36が位置する場合、ジオロケートされるデータ項目は、当該ジオロケートされるコンテンツチャネルから受信され得る。612において、方法600は、フィルタ済みのジオロケートされるデータ項目の集まりを得るために、1つまたは複数のモードに基づいて、複数のジオロケートされるデータ項目を選択的にフィルタすることを含む。1つまたは複数のモードは、社交モード、人気モード、最新モード、仕事モード、遊びモード、およびユーザ興味モードのうちの1つまたは複数を含み得る。
[0064] 616において、方法600は、1つまたは複数の優先要因に基づいて、フィルタ済みのジオロケートされるデータ項目の集まりを優先順位付けすることを含む。620において、優先要因は、項目の期間、項目の格付け、ユーザ嗜好、項目の人気度、項目のソースの権限、商業的優先順位、物理的近接度、および社会的近接度を含み得る。624において、方法600は、データ項目の優先度に基づいて、フィルタ済みのジオロケートされるデータ項目の集まりを所定の数のデータ項目に制限することを含む。
[0065] 628において、方法600は、フィルタ済みのジオロケートされるデータ項目の集まりを得るために、1つまたは複数のデータタイプに基づいて、複数のジオロケートされるデータ項目を選択的にフィルタすることを含む。632において、方法600は、サードパーティフィルタリング基準が当てはまる1つまたは複数のサードパーティレンズに基づいて、複数のジオロケートされるデータ項目を選択的にフィルタすることを含む。636において、方法600は、フィルタ済みのジオロケートされるデータ項目の集まり68を、HMD装置36による表示のために複合現実表示プログラム32へ提供することを含む。
[0066] 640において、方法600は、ジオロケートされるデータ項目のうちの1つまたは複数を表示装置による表示のために複合現実表示プログラムへ提供するように構成される1つまたは複数のオーサリングアプリケーションを有効化することを含む。ここで図6Bを参照すると、644において、方法600は、複合現実環境におけるデータ項目密度を示すスターフィールド内に、フィルタ済みのジオロケートされるデータ項目の集まりを提示することを含み、スターフィールドは、各々がフィルタ済みの集まり内のジオロケートされるデータ項目のうちの異なる1つを表す、複数の標識を含む。648において、ジオロケートされるデータ項目の各々は、複数のデータタイプのうちの1つに対応し、方法600は、複数の標識の各々に、複数のデータタイプから対応するデータタイプを識別するデータタイプ特性を提供することをさらに含む。
[0067] 方法600は例として提供され、限定することは意図されないことが認識されるであろう。そのため、方法600は、図6Aおよび図6Bに例示される工程の付加的な工程および/または代替的な工程を含み得ることが理解されるべきである。さらに、方法600は任意の適切な順序で実行され得ることが理解されるべきである。またさらに、本開示の範囲を逸脱することなく、1つまたは複数の工程が方法600から省略されてもよいことが理解されるべきである。
[0068] 図7は、上述された方法およびプロセスのうちの1つまたは複数を実行し得るコンピューティングシステム700の非限定的な実施形態を概略的に示す。コンピューティング装置22は、コンピューティングシステム700の形を取り得る。コンピューティングシステム700は、簡略化された形で示される。実質的には、本開示の範囲を逸脱することなく、任意のコンピュータアーキテクチャが使用され得ることが理解されるべきである。異なる実施形態において、コンピューティングシステム700は、メインフレームコンピュータ、サーバコンピュータ、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、ホームエンターテインメントコンピュータ、ネットワークコンピューティング装置、モバイルコンピューティング装置、モバイル通信装置、ゲーム機等の形を取り得る。上記のように、いくつかの例において、コンピューティングシステム700は、HMD装置と一体化されてもよい。
[0069] 図7に示されるように、コンピューティングシステム700は、論理サブシステム704およびストレージサブシステム708を含む。コンピューティングシステム700は、任意選択により、表示サブシステム712、通信サブシステム716、センササブシステム720、入力サブシステム722、ならびに/または、図7に示されない他のサブシステムおよび構成要素を含み得る。コンピューティングシステム700は、コンピュータ読取可能な媒体も含むことができ、コンピュータ読取可能な媒体は、コンピュータ読取可能な記憶媒体およびコンピュータ読取可能な通信媒体を含む。コンピューティングシステム700は、任意選択により、例えば、キーボード、マウス、ゲームコントローラ、および/またはタッチスクリーンなどの他のユーザ入力装置も含み得る。さらに、いくつかの実施形態において、本明細書において説明される方法およびプロセスは、1つまたは複数のコンピュータを含むコンピューティングシステムにおけるコンピュータアプリケーション、コンピュータサービス、コンピュータAPI、コンピュータライブラリ、および/または他のコンピュータプログラム製品として実装され得る。
[0070] 論理サブシステム704は、1つまたは複数の命令を実行するように構成された1つまたは複数の物理的装置を含み得る。例えば、論理サブシステム704は、1つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理的構成の一部である、1つまたは複数の命令を実行するように構成され得る。そのような命令は、タスクを実行し、データタイプを実装し、1つもしくは複数の装置の状態を変換し、または他の方法で所望の結果に到達するために実装され得る。
[0071] 論理サブシステム704は、ソフトウェア命令を実行するように構成される1つまたは複数のプロセッサを含み得る。付加的に、または代替的に、論理サブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された、1つまたは複数のハードウェア論理マシンまたはファームウェア論理マシンを含み得る。論理サブシステムのプロセッサは、シングルコアまたはマルチコアであってもよく、論理サブシステムのプロセッサ上で実行されるプログラムは、並列処理または分散処理のために構成され得る。論理サブシステムは、任意選択により、離れた場所に設置され、および/または協調処理のために構成され得る2つ以上の装置間で分散される個別の構成要素を含み得る。論理サブシステムの1つまたは複数の態様は、クラウドコンピューティング構成において構成されるリモートでアクセス可能なネットワーク化されたコンピューティング装置によって仮想化および実行され得る。
[0072] ストレージサブシステム708は、本明細書において説明される方法およびプロセスを実装するために、論理サブシステム704によって実行可能なデータおよび/または命令を保持するように構成された、1つまたは複数の物理的で永続的な装置を含み得る。そのような方法およびプロセスが実装される場合、ストレージサブシステム708の状態は、(例えば、異なるデータを保持するように)変換され得る。
[0073] ストレージサブシステム708は、取り外し可能な媒体および/または内蔵型の装置を含み得る。ストレージサブシステム708は、特に、光メモリ装置(例えば、CD、DVD、HD-DVD、ブルーレイディスク等)、半導体メモリ装置(例えば、RAM、EPROM、EEPROM等)および/または磁気メモリ装置(例えば、ハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等)を含み得る。ストレージサブシステム708は、下記の特性のうちの1つまたは複数を有する装置を含み得る:揮発性、不揮発性、動的、静的、読出し/書込み、読出し専用、ランダムアクセス、順次アクセス、ロケーションアドレス可能、ファイルアドレス可能、およびコンテンツアドレス可能。
[0074] いくつかの実施形態において、論理サブシステム704およびストレージサブシステム708の態様は、少なくとも部分的には、本明細書において説明される機能性が成立させられ得る、1つまたは複数の共通の装置に一体化され得る。そのようなハードウェア論理コンポーネントは、例えば、フィールドプログラマブルゲートアレイ(FPGA:field-programmable gate arrays)、特定プログラム用途向け集積回路および特定用途向け集積回路(PASIC:program-application-specific integrated circuits/ASIC:application-specific integrated circuits)、特定プログラム用途標準品および特定用途標準品(PSSP:program-specific standard products/ASSP:application-specific standard products)、システムオンチップ(SOC:system-on-a-chip)システム、ならびに結合プログラム可能論理装置(CPLD:complex programmable logic devices)を含み得る。
[0075] 図7は、ストレージサブシステム708の態様も、取り外し可能なコンピュータ読取可能な記憶媒体724の形で示す。取り外し可能なコンピュータ読取可能な記憶媒体724は、本明細書において説明される方法およびプロセスを実装するために実行可能なデータおよび/または命令を記憶するために使用され得る。取り外し可能なコンピュータ読取可能な記憶媒体724は、特に、CD、DVD、HD−DVD、ブルーレイディスク、EEPROM、および/またはフロッピーディスクの形を取り得る。
[0076] ストレージサブシステム708は、1つまたは複数の物理的で永続的な装置を含むことが認識されるべきである。対照的に、いくつかの実施形態において、本明細書において説明される命令の態様は、少なくとも有限の期間、物理的装置によって保持されない純粋な信号(例えば、磁気信号、光信号等)によって一時的な手法で伝搬され得る。さらに、本開示に関連するデータおよび/または他の形式の情報は、コンピュータ読取可能な通信媒体を介して純粋な信号によって伝搬され得る。
[0077] 表示サブシステム712が含まれる場合、表示サブシステム712は、ストレージサブシステム708によって保持されるデータの視覚的表現を提示するために使用され得る。上述された方法およびプロセスは、ストレージサブシステム708によって保持されるデータを変化させ、したがって、ストレージサブシステムの状態を変換するので、表示サブシステム712の状態は、基礎となるデータにおける変化を視覚的に表すために同様に変換され得る。表示サブシステム712は、実質的には、任意のタイプの技術を利用する1つまたは複数の表示装置を含み得る。そのような表示装置は、共有される筐体において論理サブシステム704および/またはストレージサブシステム708と結合されてもよく、または、そのような表示装置は、周辺表示装置であってもよい。表示サブシステム712は、例えば、HMD装置36の表示システム56および透明ディスプレイ54を含み得る。
[0078] 通信サブシステム716が含まれる場合、通信サブシステム716は、コンピューティングシステム700を1つもしくは複数のネットワークおよび/または1つもしくは複数の他のコンピューティング装置に通信可能に結合するように構成され得る。通信サブシステム716は、1つまたは複数の異なる通信プロトコルとの互換性がある有線通信装置および/または無線通信装置を含み得る。非限定的な例として、通信サブシステム716は、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線広域ネットワーク、有線広域ネットワーク等を介した通信のために構成され得る。いくつかの実施形態において、通信サブシステムは、コンピューティングシステム700がインターネットなどのネットワークを介してメッセージを他の装置へ送信すること、および/またはメッセージを他の装置から受信することを可能にし得る。
[0079] センササブシステム720は、上述されたような種々の物理的現象(例えば、可視光、赤外線、音、加速度、向き、位置等)を検知するように構成された1つまたは複数のセンサを含み得る。センササブシステム720は、例えば、センサデータを論理サブシステム704へ提供するように構成され得る。上述されたように、そのようなデータは、視線追跡情報、画像情報、音声情報、環境光情報、奥行き情報、位置情報、動き情報、ユーザ位置情報、ならびに/または、上述された方法およびプロセスを実行するために使用され得る任意の他の適切なセンサデータを含み得る。
[0080] 入力サブシステム722が含まれる場合、入力サブシステム722は、ゲームコントローラ、ジェスチャ入力検出装置、音声認識器、慣性測定ユニット、キーボード、マウス、もしくはタッチスクリーンなどの、1つもしくは複数のセンサもしくはユーザ入力装置を含み、または、これらとインタフェースを取り得る。いくつかの実施形態において、入力サブシステム722は、選択された自然なユーザ入力(NUI:natural user input)構成部品を含み、または、これとインタフェースを取り得る。そのような構成部品は、一体化されていても、または周辺機器であってもよく、入力動作の変換および/または処理は、当該構成部品内または当該構成部品外で扱われ得る。例示的なNUI構成部品は、会話および/または音声認識のためのマイクロフォン、機械視覚および/またはジェスチャ認識のための赤外線カメラ、カラーカメラ、立体カメラ、および/または奥行きカメラ、動き検出および/または意図認識のための頭部追跡器、視線追跡器、加速度計、および/またはジャイロスコープ、ならびに脳活動にアクセスするための電界検知構成部品を含み得る。
[0081] 「プログラム」という用語は、1つまたは複数の特定の機能を実行するために実装される、複合現実フィルタリングシステム10の一態様を説明するために使用され得る。いくつかの場合において、そのようなプログラムは、ストレージサブシステム708によって保持される命令を実行する論理サブシステム704を介してインスタンス生成される。種々のプログラムは、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数等からインスタンス生成され得ることが理解されるべきである。同様に、同じプログラムは、種々のアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数等によってインスタンス生成され得る。「プログラム」という用語は、個々の実行可能なファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等を包含、またはこれらのグループを包含することが意図される。
[0082] 本明細書において説明される構成および/またはアプローチは本質的に例示であること、および、これらの特定の実施形態または例は、多数のバリエーションが可能であるため、限定的な意味で考慮されるべきではないことが理解されるべきである。本明細書において説明される特定のルーチンまたは方法は、任意の数の処理戦略のうちの1つまたは複数を表し得る。このため、例示された様々な動作は、例示された順序で、他の順序で、もしくは並行して実行されてもよく、または、場合によっては省略されてもよい。同様に、上述された方法およびプロセスの順序は、変更されてもよい。
[0083] 本開示の主題は、様々なプロセス、システムおよび構成の全ての新規かつ非自明的な結合および小結合、本明細書において開示される他の特徴、機能、動作および/または特性、ならびに、これらのありとあらゆる均等物を含む。

Claims (8)

  1. 複合現実環境においてフィルタ済みのジオロケートされるデータ項目の集まりを提示するための複合現実フィルタリングシステムであって、
    コンピューティング装置に動作可能に接続された表示装置であって、ホログラフィック物体を提示するための表示システムを含む表示装置と、
    前記コンピューティング装置のプロセッサによって実行される複合現実フィルタリングプログラムと、
    を備え、
    前記複合現実フィルタリングプログラムが、
    ジオロケートされるホログラム項目および他のジオロケートされるデータ項目を含む複数のジオロケートされるデータ項目を受信し、
    前記フィルタ済みのジオロケートされるデータ項目の集まりを得るために、社交モード、人気モード、最新モード、仕事モード、遊びモード、およびユーザ興味モードのうちの1つまたは複数を含む1つまたは複数のモードに基づいて、前記複数のジオロケートされるデータ項目を選択的にフィルタし、
    1つまたは複数の前記ジオロケートされるデータ項目を前記表示装置による表示のために複合現実表示プログラムへ提供するように構成される1つまたは複数のオーサリングアプリケーションを有効化および無効化し、
    前記フィルタ済みのジオロケートされるデータ項目の集まりを、前記表示装置による表示のために前記複合現実表示プログラムへ提供し、
    前記複合現実環境におけるデータ項目密度を示すスターフィールドにおいて前記ジオロケートされるデータ項目の前記フィルタ済みの集まりを提示する
    ように構成され、
    前記スターフィールドは、前記フィルタ済みの集まりにおける前記ジオロケートされるデータ項目のうちの異なる1つを各々が表す複数の標識を含む、
    ように構成される、複合現実フィルタリングシステム。
  2. 前記複合現実フィルタリングプログラムが、
    1つまたは複数の優先要因に基づいて、前記フィルタ済みのジオロケートされるデータ項目を優先順位付けし、
    所定の数の前記優先順位付けされたジオロケートされるデータ項目を、前記表示装置による表示のために前記複合現実表示プログラムへ提供する
    ようにさらに構成される、請求項1に記載の複合現実フィルタリングシステム。
  3. 前記1つまたは複数の優先要因が、項目の期間、項目の格付け、ユーザ嗜好データ、項目の人気度、項目のソースの権限、商業的優先順位、物理的近接度、および社会的近接度から成る群から選択される、請求項2に記載の複合現実フィルタリングシステム。
  4. 前記表示装置が、前記コンピューティング装置に動作可能に接続されたヘッドマウントディスプレイ装置を備える、請求項1に記載の複合現実フィルタリングシステム。
  5. 複合現実環境における、ジオロケートされるホログラム項目および他のジオロケートされるデータ項目を含む複数のジオロケートされるデータ項目を選択的にフィルタするための方法であって、
    前記複数のジオロケートされるデータ項目を受信することと、
    フィルタ済みのジオロケートされるデータ項目の集まりを得るために、社交モード、人気モード、最新モード、仕事モード、遊びモード、およびユーザ興味モードのうちの1つまたは複数を含む1つまたは複数のモードに基づいて、前記複数のジオロケートされるデータ項目を選択的にフィルタすることと、
    1つまたは複数の前記ジオロケートされるデータ項目を表示装置による表示のために複合現実表示プログラムへ提供するように構成される1つまたは複数のオーサリングアプリケーションを有効化および無効化することと、
    前記フィルタ済みのジオロケートされるデータ項目の集まりを、前記表示装置による表示のために前記複合現実表示プログラムへ提供することと、
    前記複合現実環境におけるデータ項目密度を示すスターフィールドにおいて前記ジオロケートされるデータ項目の前記フィルタ済みの集まりを提示することと
    を含み、
    前記スターフィールドは、前記フィルタ済みの集まりにおける前記ジオロケートされるデータ項目のうちの異なる1つを各々が表す複数の標識を含む、方法。
  6. 前記フィルタ済みのジオロケートされるデータ項目の集まりを得るために、1つまたは複数のデータタイプに基づいて、前記複数のジオロケートされるデータ項目を選択的にフィルタすることをさらに含む、請求項5に記載の方法。
  7. サードパーティフィルタリング基準に当てはまる1つまたは複数のサードパーティレンズに基づいて、前記複数のジオロケートされるデータ項目を選択的にフィルタすることをさらに含む、請求項5に記載の方法。
  8. 前記ジオロケートされるデータ項目の各々が、複数のデータタイプのうちの1つに対応し、前記複数の標識の各々に、前記複数のデータタイプから前記対応するデータタイプを識別するデータタイプ特性を提供することをさらに含む、請求項に記載の方法。
JP2015553785A 2013-01-22 2014-01-15 複合現実フィルタリング Active JP6301962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/747,297 2013-01-22
US13/747,297 US9412201B2 (en) 2013-01-22 2013-01-22 Mixed reality filtering
PCT/US2014/011560 WO2014116466A2 (en) 2013-01-22 2014-01-15 Mixed reality filtering

Publications (3)

Publication Number Publication Date
JP2016507833A JP2016507833A (ja) 2016-03-10
JP2016507833A5 JP2016507833A5 (ja) 2017-02-02
JP6301962B2 true JP6301962B2 (ja) 2018-03-28

Family

ID=50097830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553785A Active JP6301962B2 (ja) 2013-01-22 2014-01-15 複合現実フィルタリング

Country Status (6)

Country Link
US (1) US9412201B2 (ja)
EP (1) EP2948826A4 (ja)
JP (1) JP6301962B2 (ja)
KR (1) KR102185804B1 (ja)
CN (1) CN105051648B (ja)
WO (1) WO2014116466A2 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
US9378590B2 (en) * 2013-04-23 2016-06-28 Microsoft Technology Licensing, Llc Augmented reality auction platform
KR101509169B1 (ko) * 2013-05-07 2015-04-07 배영식 헤드 마운트 디스플레이
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
GB201414609D0 (en) * 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
US11546428B2 (en) * 2014-08-19 2023-01-03 Hand Held Products, Inc. Mobile computing device with data cognition software
EP3256932A4 (en) 2014-10-15 2018-06-20 DIRTT Environmental Solutions, Ltd. Virtual reality immersion with an architectural design software application
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US10775878B2 (en) * 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
CN105554576B (zh) * 2015-12-08 2019-02-22 广州华多网络科技有限公司 一种数据筛选方法及用户终端
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
EP3365874B1 (en) 2016-06-10 2022-03-16 DIRTT Environmental Solutions, Ltd. Mixed-reality and cad architectural design environment
EP3329466A4 (en) * 2016-06-10 2019-03-13 DIRTT Environmental Solutions, Ltd. ARCHITECTURAL DESIGN ENVIRONMENT WITH MIXED REALITY
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11044393B1 (en) * 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US20180089935A1 (en) 2016-09-23 2018-03-29 Igt Electronic gaming machines and electronic games using mixed reality headsets
CN106411889A (zh) * 2016-09-29 2017-02-15 宇龙计算机通信科技(深圳)有限公司 一种分组运动的方法、终端和系统
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10602133B2 (en) * 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
CN106843460B (zh) * 2016-12-13 2019-08-02 西北大学 基于多摄像头的多目标位置捕获定位系统及方法
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
KR102358543B1 (ko) * 2017-04-27 2022-02-03 지멘스 악티엔게젤샤프트 증강 현실 및 가상 현실을 사용한 증강 현실 경험들의 저작
US20190051103A1 (en) 2017-08-09 2019-02-14 Igt Augmented reality systems and methods for providing a wagering game having real-world and virtual elements
US11430291B2 (en) 2017-08-09 2022-08-30 Igt Augmented reality systems and methods for gaming
US11288913B2 (en) 2017-08-09 2022-03-29 Igt Augmented reality systems methods for displaying remote and virtual players and spectators
US10741006B2 (en) 2017-08-09 2020-08-11 Igt Augmented reality systems and methods for providing player action recommendations in real time
DE112018005160T5 (de) 2017-09-15 2020-07-02 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
US10521685B2 (en) 2018-05-29 2019-12-31 International Business Machines Corporation Augmented reality marker de-duplication and instantiation using marker creation information
US10713849B2 (en) 2018-05-29 2020-07-14 International Business Machines Corporation Augmented reality masking
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11195334B2 (en) 2018-08-03 2021-12-07 Igt Providing interactive virtual elements within a mixed reality scene
US11282331B2 (en) 2018-08-07 2022-03-22 Igt Mixed reality systems and methods for enhancing gaming device experiences
US10726680B2 (en) 2018-08-20 2020-07-28 Igt Augmented reality coin pusher
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
US20200090453A1 (en) 2018-09-19 2020-03-19 Igt Pairing augmented reality devices with electronic gaming machines
US10810825B2 (en) 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
US10720006B2 (en) 2018-10-11 2020-07-21 Igt Mixed reality systems and methods for displaying and recording authorized real-world and virtual elements
US10825302B2 (en) 2018-11-08 2020-11-03 Igt Augmented reality ticket experience
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 2d 데이터를 기반으로 3d 증강현실을 구현하는 방법 및 시스템
US11087595B2 (en) * 2019-01-24 2021-08-10 Igt System and method for wagering on virtual elements overlaying a sports betting field
US11410487B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality brand-based virtual scavenger hunt
US11410488B2 (en) 2019-05-03 2022-08-09 Igt Augmented reality virtual object collection based on symbol combinations
US10743124B1 (en) 2019-05-10 2020-08-11 Igt Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods
US11586764B2 (en) 2020-09-29 2023-02-21 International Business Machines Corporation Privacy negotiations in a mixed reality environment
US20220138994A1 (en) * 2020-11-04 2022-05-05 Micron Technology, Inc. Displaying augmented reality responsive to an augmented reality image
US20220398302A1 (en) * 2021-06-10 2022-12-15 Trivver, Inc. Secure wearable lens apparatus

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972734B1 (en) 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
KR101019569B1 (ko) 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
US7933897B2 (en) * 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
JP5069689B2 (ja) * 2005-10-21 2012-11-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロファイルフラグを用いた医療画像のインタラクティブプロービング及び注釈方法及びシステム
JP5398970B2 (ja) * 2007-09-28 2014-01-29 京セラ株式会社 移動通信装置、制御方法
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
NL1035303C2 (nl) 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8121867B2 (en) * 2009-04-28 2012-02-21 International Business Machines Corporation Software application generation and implementation method and system
US8577405B2 (en) * 2009-06-12 2013-11-05 Qualcomm Incorporated Systems, methods, and machine-readable media providing location-enabled group management
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
JP5494153B2 (ja) * 2010-04-08 2014-05-14 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
US8788197B2 (en) 2010-04-30 2014-07-22 Ryan Fink Visual training devices, systems, and methods
KR101122149B1 (ko) * 2010-06-04 2012-03-16 진용옥 온라인 문화행사 참여 서비스 제공 시스템 및 제공방법
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
JP5014494B2 (ja) * 2011-01-21 2012-08-29 パナソニック株式会社 情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
KR101330808B1 (ko) 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms

Also Published As

Publication number Publication date
EP2948826A4 (en) 2015-12-09
WO2014116466A3 (en) 2015-04-16
US20140204117A1 (en) 2014-07-24
KR20150108842A (ko) 2015-09-30
US9412201B2 (en) 2016-08-09
KR102185804B1 (ko) 2020-12-02
WO2014116466A2 (en) 2014-07-31
JP2016507833A (ja) 2016-03-10
CN105051648B (zh) 2018-02-06
EP2948826A2 (en) 2015-12-02
CN105051648A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
JP6301962B2 (ja) 複合現実フィルタリング
US9734636B2 (en) Mixed reality graduated information delivery
US9836889B2 (en) Executable virtual objects associated with real objects
JP6317765B2 (ja) 複合現実感表示調整
US9429912B2 (en) Mixed reality holographic object development
KR102115634B1 (ko) 혼합 현실 경험 공유
US20140071163A1 (en) Augmented reality information detail
EP2887322B1 (en) Mixed reality holographic object development
EP2887639A1 (en) Augmented reality information detail

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180301

R150 Certificate of patent or registration of utility model

Ref document number: 6301962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250