JP5766795B2 - 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング - Google Patents

拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング Download PDF

Info

Publication number
JP5766795B2
JP5766795B2 JP2013515565A JP2013515565A JP5766795B2 JP 5766795 B2 JP5766795 B2 JP 5766795B2 JP 2013515565 A JP2013515565 A JP 2013515565A JP 2013515565 A JP2013515565 A JP 2013515565A JP 5766795 B2 JP5766795 B2 JP 5766795B2
Authority
JP
Japan
Prior art keywords
mobile device
presentation
media content
dimensional feature
camera view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013515565A
Other languages
English (en)
Other versions
JP2013538377A (ja
Inventor
アンネ・カトリン・コネルツ
ヴァージニア・ウォーカー・キーティング
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2013538377A publication Critical patent/JP2013538377A/ja
Application granted granted Critical
Publication of JP5766795B2 publication Critical patent/JP5766795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本明細書で開示する主題は、電子デバイスに関し、より具体的には、モバイル電子デバイスに関して拡張現実環境の中で、かつ/または拡張現実環境とともに使用するための方法、装置、およびシステムに関する。
モバイルコンピューティングデバイス(モバイルデバイス)はユーザに対し、ワイヤレス通信システムを介した様々な情報へのアクセスを提供する。一例として、衛星測位システムおよび/または地上ベース測位システムのような測位システム、たとえば、全地球測位システム(GPS)または他の同様のグローバルナビゲーション衛星システム(GNSS)、ワイヤレスセルラーネットワークおよび/またはWi-FiもしくはWiMAXのようなワイヤレスローカルエリアネットワークをモバイルデバイスが使用して、地理的測位情報を取得することができる。別の例として、ワイヤレスセルラーネットワークおよび/またはWi-FiもしくはWiMAXのようなワイヤレスローカルエリアネットワークでの使用に対応したモバイルデバイスはユーザに対し、インターネットの膨大な情報リソースへのアクセスを提供する。モバイルデバイスにより、ユーザは、コンピュータ生成グラフィカルコンテンツに統合されるか、コンピュータ生成グラフィカルコンテンツによって拡張される物理的な現実世界環境のリアルタイムビューを提供する拡張現実環境を探索することもできる。たとえば、モバイルデバイスに搭載されたカメラをグラフィカルディスプレイとともに使用して、モバイルデバイスのカメラビューにキャプチャされた関心ポイントに関係する補足情報をユーザに提示することができる。そのような補足情報は、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物をオーバーレイする情報層を形成することができる。
拡張現実環境内におけるメディアコンテンツの配置に関係する実装形態が、モバイルコンピューティングの文脈において開示される。少なくとも1つの実装形態では、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するステップと、モバイルデバイスで受信されたユーザ入力に応答して、3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するステップとを含む方法が提供される。
非限定的かつ非網羅的な態様が、以下の図面を参照して説明され、別段規定されない限り、様々な図面を通じて、同様の参照番号は同様の部分を指す。
一実装形態による例示的なネットワーク環境の概略ブロック図である。 一実装形態による例示的なモバイルデバイスの概略ブロック図である。 一実装形態による拡張現実環境を定義して当該拡張現実環境内にメディアコンテンツを配置するための例示的なプロセスを示す流れ図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。 様々な実装形態による例示的な拡張現実環境のグラフィカルユーザインターフェースを示す図である。
拡張現実環境に関係する実装形態が、モバイルコンピューティングの文脈において開示される。モバイルデバイスを介してアクセス可能な拡張現実オーサリングツールにより、モバイルデバイスユーザは、拡張現実環境を定義し、当該拡張現実環境内に写真または他のグラフィカル要素を含む画像、ビデオ、アニメーション、テキストおよびオーディオなどのメディアコンテンツを配置することができる。特定のモバイルデバイスユーザによって配置されたメディアコンテンツは、それぞれのモバイルデバイスを介して拡張現実環境を探索する他のモバイルデバイスユーザによってアクセスされ得る。
モバイルデバイスのカメラビューにキャプチャされた建造物または他の適切な関心対象物のような現実世界の対象物の3次元特徴を、たとえば、対象認識技法の適用によって抽出して、3次元特徴の電子表示を取得することができる。そのような電子表示は、3次元特徴のカメラビューから取得された関連記述子を伴う複数の(キー)ポイントを含むことができる。さらに、電子表示は、たとえば、そのような現実世界の対象物のコンピュータ支援設計(CAD)モデルおよび/またはオプティカルスキャンを含む既存の特徴ライブラリから取得されることもある。拡張現実環境をサポートする情報層がモバイルデバイスユーザによって、抽出された3次元特徴のそのような電子表示に添付され得る1つまたは複数の提示領域および/またはアクティブ化領域の適用を通じて、定義され得る。
拡張現実環境内のメディアコンテンツアイテムが提示される場所(たとえば、位置および/または方位)を定義する目的で、メディアコンテンツアイテムの提示領域がユーザによって当該拡張現実環境に配置され得る。ユーザ入力ならびに/またはモバイルデバイスの推定位置および/もしくは方位に応答して、関連提示領域におけるメディアコンテンツアイテムの提示をどのようにして、かつ/またはいつ有効化および/または開始することができるかに関する条件を定義する目的で、メディアコンテンツアイテムのアクティブ化領域がユーザによって拡張現実環境内に配置され得る。これらおよび他の態様について、以下の記述および関連する図に関してより詳細に説明する。
図1は、一実装形態による例示的なネットワーク環境100の概略ブロック図である。ネットワーク環境100は、たとえば、モバイルデバイス120および130など、任意の数のモバイルデバイスを含むことができる。モバイルデバイス120および130は、ネットワーク140を介してサーバシステム110とワイヤレス通信することができる。モバイルデバイス120および130は、いくつかの例を挙げれば、セルラー電話、スマートフォン、携帯情報端末、低衝撃係数通信デバイス、ラップトップコンピュータ、ポータブルメディアプレーヤデバイス、パーソナルナビゲーションデバイス、およびデジタルカメラを含むポータブル電子デバイスを含む任意の適切なモバイルコンピューティングプラットフォームを含むことができる。さらに、いくつかの実装形態では、モバイルデバイス120および130は、1つまたは複数のレンズを通じて閲覧可能な現実世界の対象物上に拡張現実情報層のようなグラフィカルコンテンツを表示するためのそのようなレンズを含む装着型拡張現実アイウェア(たとえば、メガネ)を含むことができる。ネットワーク環境100は、同じくネットワーク140を介してサーバシステム110と通信することができるコンピューティングプラットフォーム122のような非モバイル型コンピューティングプラットフォームをさらに含むことができる。少なくともいくつかの実装形態では、モバイルデバイスは、たとえば、ネットワーク140を利用することなく、有線通信またはワイヤレス通信によってコンピューティングプラットフォーム122とドッキングすることによって通信するように適合し得る。
ネットワーク140は、広域ネットワーク(たとえば、インターネット)、ローカルエリアネットワーク(たとえば、イントラネット)および/またはパーソナルエリアネットワークのうちの1つまたは複数を含むことができる。たとえば、モバイルデバイス120および130は、CDMA、GSM(登録商標)もしくはWCDMAのようなセルラー通信プロトコルおよび/またはWifiもしくはWiMAXのようなワイヤレスローカルエリアネットワーク(WLAN)プロトコルを含む任意の適切な通信プロトコルを介して、サーバシステム110とワイヤレス通信することができる。したがって、そのような実装形態では、ネットワーク140は1つまたは複数のワイヤレストランシーバを含むことができる。また、ネットワーク140のワイヤレストランシーバをモバイルデバイス120および130が利用して、モバイルデバイス位置を推定するための測位情報を取得することができる。
いくつかの実装形態では、三辺測量ベースの手法をモバイルデバイスが利用して、地理的位置を推定することができる。たとえば、CDMAにおけるアドバンストフォワードリンク三辺測量(AFLT)またはGSM(登録商標)における強化観測時間差(EOTD)またはWCDMAにおける観測到達時間差(OTDOA)を含む技法を使用することができ、これらは、送信機を装備したいくつかの基地局の各々から送信されたワイヤレス信号の相対到達時間をモバイルデバイスにおいて測定する。別の例として、モバイルデバイスは、ワイヤレストランシーバに関連する媒体アクセス制御(MAC)アドレスまたは他の適切な識別子を取得し、MACアドレスまたは識別子を当該ワイヤレストランシーバの既知の地理的場所と相関させることによって、自らの位置を推定することができる。
モバイルデバイス120および130は、測位システム150からワイヤレス測位信号をさらに取得して、モバイルデバイス位置を推定することができる。たとえば、測位システム150は、衛星測位システム(SPS)および/または地上ベース測位システムを含むことができる。衛星測位システムには、たとえば、全地球測位システム(GPS)、ガリレオ、GLONASS、NAVSTAR、GNSS、これらのシステムの組合せによる衛星を使用するシステム、または将来開発される任意のSPSが含まれ得る。本明細書で使用するSPSは疑似衛星システムを含むことも理解されよう。ただし、本明細書で提供する特定の測位技法は例示的な測位技法にすぎず、特許請求する主題はこの点について限定されないことを理解されたい。
サーバシステム110は、1つまたは複数のサーバおよび/または他の適切なコンピューティングプラットフォームを含むことができる。したがって、サーバシステム110は、データベース114および命令116が記憶された記憶媒体112を含むことができる。サーバシステム110は、命令116を実行するための、ならびに/またはデータベース114におけるデータの記憶および取出しを容易にするための例示的なプロセッサ118のような1つまたは複数のプロセッサを含むことができる。サーバシステム110は、モバイルデバイス120および130ならびにコンピューティングプラットフォーム122を含むネットワーク140のクライアントとの通信を容易にするための通信インターフェース160をさらに含むことができる。
開示する実装形態の理解を容易にするために、命令116について時々、特定の動作を実行するための1つまたは複数のモジュールに関して説明することがある。一例として、命令116は、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の特徴を抽出する特徴抽出モジュール162を含むことができる。別の例として、命令116は、拡張現実環境内におけるメディアコンテンツの配置を管理するコンテンツ管理モジュール164を含むことができる。コンテンツ管理モジュール164は、ユーザ(たとえば、人間であるユーザ)がモバイルデバイス(たとえば、モバイルデバイス120)または他の適切なコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)を介してコンテンツ管理モジュールと対話できるようにするいくつかのツールを含むことができる。少なくともいくつかの実装形態では、コンテンツ管理モジュール164は、ユーザが拡張現実環境内にメディアコンテンツを配置できるようにするコンテンツ配置ツール166、拡張現実環境内の1つまたは複数の場所に配置された1つまたは複数のメディアコンテンツアイテムを含むツアーをユーザが作成できるようにするツアー作成ツール168、およびユーザが当該ユーザによって配置されているメディアコンテンツに対する他のユーザのアクセス権を管理できるようにする権利管理ツール170を含むことができる。そのようなツールは、ユーザがモバイルデバイスまたは他の適切なコンピューティングプラットフォームの入力デバイスまたは出力デバイスを介してアクセス可能であり得る。たとえば、モバイルデバイスのグラフィカルディスプレイに提示されるグラフィカルユーザインターフェース(GUI)により、ユーザはツール166、168および170のうちの1つまたは複数を使用することによって、1つまたは複数のメディアコンテンツアイテムを含む拡張現実環境を定義することが可能になり得る。
データベース114は、例示的な関連アイテム176のような1つまたは複数の関連アイテムを含む様々なデータを含むことができる。関連アイテム176は、たとえば、少なくとも1つのメディアコンテンツアイテム178および他の関連データ要素、たとえば、提示領域定義180、アクティブ化領域定義182、ツアー定義184、メタデータ186および抽出特徴定義174を含むことができる。データベース114は、例示的な既存の電子表示194のような、現実世界の3次元特徴の1つまたは複数の既存の電子表示を有する特徴ライブラリ192をさらに含むことができる。そのような既存の電子表示は、たとえば、現実世界の特徴に対するオプティカルおよび/もしくは音波スキャニング技法の適用によって、または現実世界の特徴のコンピュータ支援設計(CAD)モデルの開発(development)を通じて作成され得る。
提示領域定義180は、(たとえば、抽出特徴定義174によって表される)現実世界の対象物の抽出された特徴に関連して、拡張現実環境内のメディアコンテンツ(たとえば、メディアコンテンツアイテム178)が提示され得る場所を定義することができる。提示領域定義180は、ユーザがコンテンツ配置ツール166を介して定義できる。
アクティブ化領域定義182は、ユーザ入力ならびに/またはモバイルデバイスの推定位置および/もしくは方位に応答して、(たとえば、提示領域定義180によって定義される)提示領域におけるメディアコンテンツの提示が、どのようにして、かつ/またはいつ有効化または開始され得るかを定義することができる。アクティブ化領域定義182は、ユーザがコンテンツ配置ツール166を介して定義できる。たとえば、ユーザはコンテンツ配置ツール166を利用して、関連メディアコンテンツアイテム(たとえば、メディアコンテンツアイテム178)に関するアクティブ化領域を定義するアクティブ化領域定義182を作成することができる。
ツアー定義184は、1つまたは複数の関連メディアコンテンツアイテムを含む拡張現実環境内のガイド付きツアーを定義することができる。ユーザはツアー作成ツール168を利用して、ツアー定義184を作成することができる。ツアー定義184は、拡張現実環境内に配置されている任意の適切な数のメディアコンテンツアイテムからなるグループを定義することができる。他のユーザは、モバイルデバイスのカメラビューを介して拡張現実環境内で探索することによって、関連メディアコンテンツアイテムのガイド付きツアーにアクセスすることができる。したがって、データベース114は任意の適切な数の関連メディアコンテンツアイテムを含み得ること、およびメディアコンテンツアイテム178はツアー定義184によって定義された所与のツアーに関連する複数のメディアコンテンツアイテムのうちの1つを含み得ることが諒解されよう。
メタデータ186は、関連メディアコンテンツアイテム178のような配置されたメディアコンテンツアイテムにアクセスするユーザの権利を定義する権利定義188を含むことができる。いくつかの実装形態では、ユーザは権利管理ツール170を使用して、関連メディアコンテンツアイテム178に関する権利定義188を作成することができる。非限定的な例として、ユーザは、精選されたユーザが特定のメディアコンテンツアイテムにアクセスしないようにすること、または拡張現実環境内の特定のメディアコンテンツアイテムにアクセスする権利を精選されたユーザに付与することができる。
メタデータ186は、メディアコンテンツアイテム178に関連するデバイス状態データ190をさらに含むことができる。デバイス状態データ190は、たとえば、モバイルデバイスが関連メディアコンテンツアイテムをキャプチャしている間の、モバイルデバイスの位置および/または方位を含むことができる。いくつかの実装形態では、モバイルデバイスの位置は、参照データに関連して測定された1つまたは複数の緯度、経度および/または高度の値として表され得る。同様に、モバイルデバイスの方位は、参照データに関連して測定された1つまたは複数のロール、ピッチおよび/またはヨーの値によって表され得る。そのような方位値に関する参照データは、たとえば、モバイルデバイスのカメラの照準線の軸として定義され得る。そのようなデバイス状態データは、図2に関してより詳細に後述するように、モバイルデバイスにおいて取得される1つまたは複数の測位信号および/または慣性センサ測定値に基づき得る。
図2は、一実装形態による例示的なモバイルデバイス200の概略ブロック図である。モバイルデバイス200は、少なくともいくつかの実装形態における図1のモバイルデバイス120および130の非限定的な例であり得る。したがって、モバイルデバイス200は、たとえば、図1のサーバシステム110、モバイルデバイス120、130および/またはコンピューティングプラットフォーム122のような他のコンピューティングプラットフォームとの通信を容易にする通信インターフェース228を含むことができる。よって、通信インターフェース228は、例示的なネットワーク140を含む通信ネットワークとのワイヤレス通信を可能にし得る。モバイルデバイス200は、たとえば、例示的な測位システム150のような測位システムから測位信号を受信する受信機230をさらに含むことができる。
モバイルデバイス200は、ユーザ入力を受信する入力デバイス218を含むことができる。入力デバイス218は、たとえば、1つまたは複数の物理的なボタン、キーボード、コントローラ、マイクロフォン、ポインティングデバイス、および/またはタッチセンシティブ面を含むことができる。モバイルデバイス200は、ユーザに情報を提示する出力デバイス221を含むことができる。一例として、出力デバイス221は、グラフィカルユーザインターフェース224を提示するグラフィカルディスプレイ222を含むことができる。グラフィカルディスプレイ222は、液晶ディスプレイ(LCD)、陰極線管(CRT)ディスプレイ、透過投影ディスプレイなどを含む任意の適切な表示デバイスを含むことができる。少なくともいくつかの実装形態では、グラフィカルディスプレイ222は、たとえば、1つまたは複数のタッチジェスチャーを介したユーザ入力を受信することが可能なタッチセンシティブグラフィカルディスプレイ(たとえば、タッチスクリーン)を含むことができる。タッチセンシティブグラフィカルディスプレイは、たとえば、容量性感知、抵抗性感知および/または光学感知の技法を含む、ディスプレイ面またはその近くにおけるユーザ入力を検出するための任意の適切な感知技法を利用することができる。そのようなタッチセンシティブ実装形態において、グラフィカルディスプレイ222は、ユーザ入力を受信するための入力デバイスとグラフィカルコンテンツを提示するための出力デバイスの両方の役割を果たすことができる。いくつかの実装形態では、出力デバイス221は、オーディオコンテンツを提示するためのオーディオスピーカー226をさらに含むことができる。
少なくともいくつかの実装形態では、グラフィカルユーザインターフェース(GUI)224がグラフィカルディスプレイ222に提示され得る。GUI224は、カメラ220を介して取得されたカメラビュー234および情報層236のうちの1つまたは複数を含むことができる。情報層236は、レンダリングされたメディアコンテンツアイテム238のような1つまたは複数のレンダリングされたメディアコンテンツアイテム、およびグラフィカル制御要素240のような1つまたは複数のグラフィカル制御要素を含むことができる。非限定的な例として、レンダリングされたメディアコンテンツアイテム238は、他の適切なグラフィカルコンテンツまたはその一部のうちでも、画像、ビデオ、アニメーションなどのメディアコンテンツアイテム178のレンダリングされた状態に対応し得る。グラフィカル制御要素240は、ユーザがモバイルデバイスの機能を制御するためのユーザ入力を提供できるようにするための1つまたは複数のグラフィカル要素を含むことができる。
モバイルデバイス200は、モバイルデバイス上で慣性センサ測定値を取得する1つまたは複数の慣性センサ232を含むことができる。少なくともいくつかの実装形態では、慣性センサ232は、1つまたは複数の加速度計、ジャイロスコープまたはモバイルデバイスの慣性状態を測定するための他の適切なデバイスを含むことができる。いくつかの実装形態では、モバイルデバイスの位置および/または方位の指示を提供するために、デカルト座標系および/または極座標系における複数の軸に沿って慣性センサ232によって、モバイルデバイスの慣性状態が測定され得る。
慣性センサ232から取得された慣性センサ測定値を処理して(たとえば、経時的に統合して)、モバイルデバイスの位置および/または方位のそのような推定値を取得することができることが諒解されよう。前述したように、モバイルデバイスの位置は、1つまたは複数の緯度、経度および/または高度の値として表すことができ、モバイルデバイスの方位は、参照データに関連して測定された1つまたは複数のロール、ピッチおよび/またはヨーによって表すことができる。モバイルデバイス200は、グラフィカルディスプレイ222に提示され得るカメラビュー234を取得するカメラ220を含むことができる。カメラ220は、いくつかの実装形態では、光に焦点を合わせるための1つもしくは複数のレンズを含むいくつかの光学素子、ならびに/または画像および/もしくはビデオデータを表すデジタル信号に光を変換するための1つもしくは複数の光感知素子を有するデジタルカメラを含むことができる。非限定的な例として、光感知素子は、デジタル信号に光を変換するための光ピックアップ、電荷結合デバイスおよび/または光電デバイスを含むことができる。カメラの1つまたは複数の光感知素子から取得されたデジタル信号は、カメラビュー234としてグラフィカルディスプレイ222において処理および/またはレンダリングされ得る。さらに、いくつかの実装形態では、カメラ220を介して取得されたカメラビューは、画像および/またはビデオコンテンツとして記憶媒体に保存され得る。たとえば、カメラ220から取得されたデジタル信号を符号化して、.jpeg、.mpegまたは他の適切なフォーマットとして記憶媒体210に記憶することができる。カメラビューを表すそのようなデジタル信号は、記憶および/または処理のために他のコンピューティングプラットフォームに送信され得る。たとえば、モバイルデバイスで取得されたカメラビューは、サーバシステムまたは他の適切なコンピューティングプラットフォームに、通信ネットワークを介して、または別のコンピューティングプラットフォームとドッキングすることによって送信され得る。
モバイルデバイス200は、データベース212および命令214が記憶された記憶媒体210をさらに含むことができる。モバイルデバイス200は、命令214を実行し、かつ/またはデータベース212におけるデータの記憶および取出しを容易にするための例示的なプロセッサ216のような1つまたは複数のプロセッサを含むことができる。データベース212は、図1のデータベース114に関して前述したデータ要素の一部または全部を含む様々なデータを含むことができる。たとえば、データベース212は、関連コンテンツアイテム176および特徴ライブラリ192などのデータのうちの1つまたは複数を、ローカルにモバイルデバイス200に保持することができる。そのようなデータをリモートに、たとえば、モバイルデバイスによってワイヤレスネットワークを介してアクセスされ得る図1のサーバシステム110のようなサーバシステムに保持してもよいことが諒解されよう。
命令214は同様に、前述した図1の命令116のモジュールおよび/またはツールのうちの1つまたは複数を含むことができる。たとえば、命令214は、ローカルにモバイルデバイス200に保持された前述の特徴抽出モジュール162およびコンテンツ管理モジュール164を含むことができる。命令214は、グラフィカルディスプレイ222におけるGUI224のレンダリングおよび/または提示を容易にするレンダリングモジュール254をさらに含むことができる。命令は、受信機230を介して取得された測位信号および/または慣性センサ232を介して取得された慣性センサ測定値を処理するためのデバイス状態モジュール256をさらに含むことができる。たとえば、デバイス状態モジュール256は、モバイルデバイス200の位置および/または方位を、そのような測位信号および/または慣性センサ測定値に少なくとも部分的に基づいて推定するように適合し得る。たとえば、デバイス状態データ190に関して前述したように、データベース212にモバイルデバイス200の推定位置および/または方位が記憶され得る。少なくともいくつかの実装形態では、デバイス状態モジュール256は、モバイルデバイスにおけるメディアコンテンツアイテムのキャプチャに応答してモバイルデバイスに関するデバイス状態データを取得するように適合し得る。たとえば、モバイルデバイス200においてカメラ220を介してキャプチャされた画像は、デバイス状態モジュール256に、画像がキャプチャされた時点またはその時点近くにおけるモバイルデバイスの位置および/または方位の推定を行わせることができる。デバイス状態モジュール256は、たとえば、データベース212またはデータベース114において、(たとえば、メタデータとして)当該メディアコンテンツアイテムにデバイス状態データを関連付けるようにさらに適合し得る。
さらに、少なくともいくつかの実装形態では、カメラ220を介して取得されるカメラビューを表すデジタル信号が、静止画像または動的なビデオとしてキャプチャされ得る。そのようなデジタル信号を特徴抽出モジュール162が処理して、カメラビュー内にキャプチャされた現実世界の特徴の電子表示(たとえば、モデル)を取得することができる。現実世界の特徴のそのような電子表示は、抽出特徴定義174としてデータベース212および/またはデータベース114に記憶され、そこではたとえばメディアコンテンツアイテム178のような1つまたは複数のメディアコンテンツアイテムに関連付けられ得る。
図2の例示的なモバイルデバイス200の少なくともいくつかの要素は、図1のコンピューティングプラットフォーム122のような他のモバイル型または非モバイル型のコンピューティングプラットフォームに存在して、そのようなコンピューティングプラットフォームが、本明細書で説明する動作、処理および方法のうちの1つまたは複数を実行できるようにしてよいことが諒解されよう。たとえば、図1のコンピューティングプラットフォーム122は、命令214および/またはデータベース212を含む記憶媒体210のような記憶媒体、プロセッサ216のような1つまたは複数のプロセッサ、1つまたは複数の入力デバイスおよび出力デバイス、ならびに通信インターフェース228のような通信インターフェースを含むことができる。したがって、たとえば、図3に関して本明細書で説明する動作、処理および方法のうちの1つまたは複数は、必ずしもモバイルデバイスに限定されない。
図3は、一実装形態による拡張現実環境を定義して拡張現実環境内にメディアコンテンツを配置するための例示的なプロセス300を示す流れ図である。一例として、プロセス300は、ローカルにモバイルデバイスにおいて、かつ/またはリモートにサーバシステムもしくは他の適切なコンピューティングプラットフォームにおいて命令を実行する1つまたは複数のプロセッサによって実行され得る。したがって、プロセス300の様々な動作は、たとえば、サーバシステム110の記憶媒体112および/またはモバイルデバイス200の記憶媒体210のような1つまたは複数のコンピューティングプラットフォームの記憶媒体に保持されている実行可能命令によって表され得る。
手短に言えば、拡張現実環境内にメディアコンテンツを配置するためのプロセス300は、以下の動作のうちの1つまたは複数を含むことができる。動作310においてモバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出する動作、動作320においてたとえば、モバイルデバイスでメディアコンテンツアイテムをキャプチャすることによって、かつ/または記憶媒体から既存のメディアコンテンツアイテムを取り出すことによって、メディアコンテンツアイテムを取得する動作、動作330において3次元特徴に関連してメディアコンテンツアイテムの提示領域を定義する動作、動作340において3次元特徴に関連してメディアコンテンツアイテムのアクティブ化領域を定義する動作、動作350においてアクティブ化領域に関するユーザ入力および/またはモバイルデバイス推定位置に応答して、提示領域におけるメディアコンテンツアイテムの提示を有効化および/または開始する動作。
動作310を参照すると、モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴が抽出され得る。現実世界の対象物は、たとえば、人工対象物(たとえば、建造物、橋、道路など)および/または自然対象物(たとえば、山、木、川など)を含む任意の適切な関心対象物を含むことができる。たとえば、図4も参照すると、一実装形態により、例示的な拡張現実環境のカメラビュー400を含むGUIが示されている。図4では、現実世界の対象物(たとえば、建造物)の例示的な3次元特徴410がカメラビュー400にキャプチャされている。
少なくともいくつかの実装形態では、動作310で実行される特徴抽出プロセスは、モバイルデバイスのカメラビューにキャプチャされた現実世界の3次元特徴に対象認識技法を適用することを含み得る。たとえば、そのような対象認識技法を、モバイルデバイスにおいて、またはリモートにサーバシステムもしくは他の適切なコンピューティングプラットフォームにおいて、特徴抽出モジュール162によって、モバイルデバイスで取得された代表的なカメラビューに対して適用して、現実世界の3次元特徴の電子表示(たとえば、キーポイントおよび記述子、線など)を生成することができる。少なくともいくつかの実装形態では、そのような対象認識技法は標準的かつ/または周知の対象認識技法を含むことができる。キーポイントおよび記述子を生成するためのそのような対象認識技法の非限定的な例には、Scale-Invariant Feature Transform(SIFT)、Ferns、およびSpeeded Up Robust Features(SURF)などがある。特許請求する主題は本明細書で説明する例示的な対象認識技法に限定されないことが諒解されよう。
代表的なカメラビューから生成されたものと比較される現実世界の3次元特徴の参照電子表示は、当該3次元特徴の既存の電子表示(たとえば、モデル、キーポイントおよび記述子)を含むことができ、または電子表示は当該3次元特徴のアドホック電子表示としてカメラビューから作成され得る。さらに、現実世界の特徴は、2次元面および/または3次元面を含むことができる。一例として、2次元の現実世界の特徴に関するモデルが、少なくとも部分的に、モバイルデバイスの単一カメラビューにキャプチャされた現実世界の特徴のキーポイントおよび記述子、線、形または他の視覚的要素から作成され得る。別の例として、3次元の現実世界の特徴に関するモデルが、少なくとも部分的に、現実世界の特徴に関連する様々な位置および/または方位で取得された2つ以上のカメラビューから作成され得る。たとえば、複数の異なる角度、方位などにおいて特定の特徴をキャプチャしている複数のカメラビューを表す複数の2次元画像を使用して、当該特徴の3次元電子表示を(たとえば、三角測量法により)構築することができる。さらに別の例として、現実世界の特徴の既存の3次元電子表示が、たとえば、そのような特徴にスキャニング技法を適用することによって作成され得る。非限定的な例として、オプティカル(たとえば、レーザー)または音波スキャニング技法を、現実世界の対象物、たとえば、建物、都市または景観に適用して、それらの現実世界の対象物の既存の3次元電子表示を作成することができる。さらに別の例として、現実世界の対象物の既存の3次元電子表示が、コンピュータ支援設計(CAD)モデルから生成され得る。現実世界の対象物の既存の電子表示は、モバイルデバイスおよび/またはサーバシステムの記憶媒体に(たとえば、特徴ライブラリ192の一部として)保持され、当該記憶媒体において特徴抽出デバイス162によってアクセスされ得る。
非限定的な例として、既存の電子表示(たとえば、既存の電子表示194)は、現実世界の対象物の3次元特徴を表す任意の適切な数のデータ要素(たとえば、2次元または3次元空間の空間的座標、多次元記述子ベクトル)を含むデータセットを含むことができる。また、測位信号および/または慣性センサ測定値から取得されたモバイルデバイス状態情報(たとえば、デバイス状態データ190)を特徴抽出モジュールが使用して、たとえば、モバイルデバイスの推定位置および/または方位に基づいて、潜在的に関連する既存の電子表示の場所を突き止めて、特徴ライブラリから当該電子表示を取り出すことができる。特徴抽出モジュールは、関連する既存の電子表示の領域を探索して、当該3次元特徴と合致するか当該3次元特徴を含む特定の既存の電子表示を見つけることができる。したがって、モバイルデバイスのカメラビューにキャプチャされた3次元特徴と合致する、当該特徴を表す、または当該特徴を含む特定の既存の電子表示が、対象認識手法を通じて、かつ/またはモバイルデバイスのデバイス位置および/もしくは方位を参照することによって、識別され得る。データベースから取得された既存の電子表示を抽出特徴定義174として利用して、たとえば、メディアコンテンツアイテム178に関連付けることができる。
一方、3次元特徴の既存の電子表示がまだ存在しない、または特徴抽出モジュールによってまだアクセス可能にはなっていない他の例では、3次元特徴をキャプチャしている1つまたは複数のカメラビューの電子表示(たとえば、画像ファイルまたはビデオファイル)を特徴抽出モジュールが利用して、当該3次元特徴のアドホック電子表示を作成することができる。この場合も、このアドホック電子表示は、そのような現実世界の特徴の2次元モデルまたは3次元モデルを含むことができる。一例として、現実世界の特徴の2次元モデルが、少なくとも部分的に、拡張現実環境をオーサリングするために使用されるモバイルデバイスのカメラビューにキャプチャされた現実世界の特徴の角、線、形または他の視覚的要素から作成され得る。別の例として、現実世界の特徴の3次元モデルが、少なくとも部分的に、拡張現実環境をオーサリングするために使用されるモバイルデバイスによって、そのような現実世界の特徴に関連する様々な位置で取得された2つ以上のカメラビューから作成され得る。
アドホック電子表示は、特徴抽出モジュールによって特徴ライブラリに追加され、3次元表示のキャプチャ元であるカメラビューに関連するデバイス状態データ(たとえば、モバイルデバイスの位置および/または方位)をさらに示すことができる。このシナリオの下で、当該3次元特徴の既存の電子表示を使用する代わりに、またはかかる電子表示を使用することに加えて、アドホック電子表示が特徴抽出モジュールによって抽出特徴定義174として利用され得る。
動作320に関して後述するように、抽出特徴定義は、既存の電子表示から取得されたか、アドホック電子表示から取得されたかを問わず、拡張現実環境内に配置されるメディアコンテンツアイテムに関連付けられ得る。動作350に関して後述するように、メディアコンテンツアイテムを提示する目的で(たとえば、他のモバイルデバイスの)他のカメラビューに対象認識を適用する間に、特徴抽出モジュールによって抽出特徴定義が後に参照され得る。
320において、モバイルデバイスでメディアコンテンツアイテムをキャプチャすることによって、かつ/または記憶媒体からメディアコンテンツアイテムを取り出すことによって、メディアコンテンツアイテムが取得され得る。少なくともいくつかの実装形態では、動作320は、コンテンツ配置ツール166を介して受信されたユーザ入力(たとえば、ユーザ選択)に応答して、コンテンツ管理モジュール164によって実行され得る。前述したように、メディアコンテンツアイテムは、オーディオコンテンツ(たとえば、録音)および/または視覚コンテンツ(たとえば、画像、グラフィカル要素、ビデオ、アニメーション、テキストコンテンツ、3次元グラフィカルコンテンツなどのグラフィカルコンテンツなど)を含むことができる。一例として、画像またはビデオコンテンツは、モバイルデバイスのカメラ(たとえば、カメラ220)を介してキャプチャされ得る。別の例として、テキストコンテンツは、テキストコンテンツをキャプチャするのに適したモバイルデバイスの入力デバイス(たとえば、キーボード)を介してキャプチャされ得る。さらに別の例として、オーディオコンテンツは、オーディオコンテンツをキャプチャするのに適したモバイルデバイスの入力デバイス(たとえば、マイクロフォン)を介してキャプチャされ得る。
代替または追加として、モバイルデバイスに搭載された記憶媒体から(たとえば、データベース212において)、またはサーバシステムのような別のコンピューティングプラットフォームに存在する記憶媒体から(たとえば、データベース114において)、メディアコンテンツアイテムは取得され得る。少なくともいくつかの実装形態では、グラフィカルディスプレイを介してモバイルデバイスで提示されるGUIは、ユーザがメディアコンテンツアイテムを、(たとえば、カメラ、マイクロフォン、または他の入力デバイスを介して)当該メディアコンテンツアイテムをキャプチャすることによって、かつ/または当該メディアコンテンツアイテムが保持されている記憶媒体から当該メディアコンテンツアイテムを取り出すことによって取得できるようにするための1つまたは複数のグラフィカル制御要素を含むことができる。たとえば、図4も参照すると、ユーザがモバイルデバイスのカメラを、3次元特徴410のような現実世界の対象物に向けているときに、リアルタイムでモバイルデバイスのグラフィカルディスプレイを介してカメラビュー400が提示され得る例示的なGUIが示されている。一方、少なくともいくつかの実装形態では、カメラビュー400を、後にユーザが別の適切なコンピューティングデバイスを介して参照するか取り出すことができる画像または他の適切なデータフォーマットとして記憶することができる。したがって、モバイルデバイスで以前にキャプチャされたカメラビュー(たとえば、カメラビュー400)は後に、当該カメラビューにキャプチャされた現実世界の対象物のリアルタイムビューを当該カメラビューが表していなくても、拡張現実環境のオーサリングを可能にする目的で、非モバイル型コンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)に提示され得る。少なくともいくつかの実装形態では、ユーザが所望のメディアコンテンツアイテムを取得できるようにするために、グラフィカル制御要素420(たとえば、選択可能なグラフィカルボタンまたはアイコン)がGUIに提示され得る。
330において、動作320で取得されたメディアコンテンツアイテムの提示領域が、動作310で抽出された3次元特徴に関連して定義され得る。メディアコンテンツアイテムの提示領域は、拡張現実環境内のメディアコンテンツアイテムが提示される場所を定義する目的で、ユーザによって当該拡張現実環境に配置され得る。たとえば、図5も参照すると、3次元特徴410に関連してユーザによって提示領域510が定義されている例示的なGUIが示されている。少なくともいくつかの実装形態では、動作330は、コンテンツ配置ツール166を介して受信されたユーザ入力(たとえば、ユーザ選択)に応答して、コンテンツ管理モジュール164によって実行され得る。コンテンツ配置ツール166をモバイルデバイスユーザまたは別のコンピューティングプラットフォームのユーザが使用して、(たとえば、抽出特徴定義174として電子的に表される)抽出された3次元特徴に関連して提示領域を定義する提示領域定義180を作成することができる。
少なくともいくつかの実装形態では、メディアコンテンツアイテムの提示領域が、3次元特徴の少なくとも一部分に提示領域を添付することによって、かつ/または3次元特徴に関連して添付された提示領域の位置および/もしくは方位を変えることによって、3次元特徴に関連して定義され得る。少なくともいくつかの実装形態では、メディアコンテンツアイテムの提示領域が、モバイルデバイス(たとえば、モバイルデバイス120)または他の適切なコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)で受信されたユーザ入力に応答して、3次元特徴の少なくとも一部分に添付され得る。そのようなユーザ入力は、モバイルデバイスにおいてユーザ入力デバイスを介して、たとえば、ユーザが物理的ボタンを押すことによって、またはモバイルデバイスのタッチセンシティブグラフィカルディスプレイに提示されたグラフィカルボタンもしくはアイコンを押すことによって受信され得る。非限定的な例として、ユーザはモバイルデバイスのタッチセンシティブグラフィカルディスプレイを介して提示されたGUIでタッチジェスチャーを利用して、提示領域を操作、移動および/またはサイズ変更することによって、3次元特徴に関連して当該提示領域の配置を定義することができる。別の例として、再び図5を参照すると、たとえば、3次元特徴410への提示領域510の添付を開始するために、グラフィカル制御要素420がユーザによって選択され得る。
少なくともいくつかの実装形態において、提示領域は、拡張現実環境内のメディアコンテンツアイテムが提示され得る提示面を含むことができる。たとえば、図5の提示領域510は、3次元特徴の建造物の戸口をほぼカバーするように定義されている提示面を含む。そのような実装形態では、たとえば、動作310で取得された3次元特徴の電子表示の少なくとも一部分に提示領域の提示面を関連付けることによって、3次元特徴の少なくとも一部分に提示領域が添付され得る。
たとえば、ユーザは、タッチスクリーンインターフェースまたは他の適切な入力デバイスで受信された1つまたは複数のユーザ入力を通じて、3次元特徴に関連して提示領域を操作することによって、たとえば、520で示されるように、3次元特徴のポイントまたは端に提示領域のポイントまたは端を関連付けることができる。ここでは、上述の特定の実装形態において、そのような3次元特徴は、そのようなタッチスクリーンインターフェースを介して提示されたカメラビューに示された現実世界の対象物を記述し得る。非限定的な例として、ユーザは、提示領域のポイント(たとえば、隅ポイント、中心ポイントなど)または端を選択し、(たとえば、対象認識技法の適用を通じて認識される)3次元特徴のポイントまたは端を選択して、3次元特徴のポイントまたは端に提示領域のポイントまたは端を関連付けることができる。別の例として、ユーザは提示領域のポイントまたは端を選択し、提示領域の選択されたポイントまたは端を3次元特徴のポイントまたは端にドラッグして、3次元特徴のポイントまたは端に提示領域の選択されたポイントまたは端を関連付けることができる。
いくつかの実装形態では、ユーザは、提示領域を選択し(たとえば、タッチスクリーンインターフェース上で押し)、しきい値時間期間にわたりその状態を維持して、3次元特徴に関連し得る提示領域のポイント、端または他の目立つ特徴を示すか強調する1つまたは複数のアイコンを呼び出すことができる。同様に、いくつかの実装形態では、ユーザは、3次元特徴を押し、しきい値時間期間にわたりその状態を維持して、提示領域に関連し得る3次元特徴のポイント、端または他の目立つ特徴を示すか強調する1つまたは複数のアイコンを呼び出すことができる。たとえば、コンテンツ管理モジュールは、ユーザのために提示領域および/または3次元特徴のそのようなポイント、端または他の目立つ特徴を強調して、ユーザがそのような強調された特徴から選択することを可能にするように適合し得る。ユーザが提示領域を3次元特徴に添付したことに応答して、コンテンツ管理モジュールは、当該提示領域の提示領域定義を更新して、3次元特徴の電子表示に関連して提示領域がどのように定義されるかを反映するように適合し得る。そのような例は非限定的であり、他の適切な手法を利用して、カメラビューから抽出された3次元特徴に提示領域を添付できることが諒解されよう。
いくつかの実装形態では、添付される提示領域はユーザによって、1つまたは複数の追加のユーザ入力に応答して、3次元特徴に関連して提示領域を平行移動、再配向またはサイズ変更することによって編集され得る。そのような追加のユーザ入力は、たとえば、モバイルデバイスのタッチセンシティブグラフィカルディスプレイを介して受信される1つまたは複数のタッチジェスチャーを含むことができる。たとえば、図6も参照すると、ベクトル620によって示されるタッチジェスチャーに応答して提示領域430が3次元特徴410に関連して異なる位置610に平行移動し得る例示的なGUIが示されている。そのようなタッチジェスチャーは、たとえば、ドラッグアンドドロップ動作として提示領域で受信され得る。他の例では、提示領域の回転を示す追加のユーザ入力に応答して、提示領域が3次元特徴に関連して回転し得る。
少なくともいくつかの実装形態では、3次元特徴に関連した提示領域の平行移動、回転および/またはサイズ変更によってユーザが提示領域を編集できるようにする情報層630において、タッチジェスチャーまたは他の適切なユーザ入力が受信され得る。情報層630は、任意の適切な数のグラフィカル制御要素を含むメニューを含むことができる。一例として、グラフィカル制御要素632および634をユーザが選択して、提示領域を現在位置の方へ、または現在位置から平行移動することができる。別の例として、グラフィカル制御要素636を選択して、第1の回転軸を中心に提示領域を回転させることができ、かつ/またはグラフィカル制御要素638を選択して、第1の軸とは異なる第2の回転軸を中心に提示領域を回転させることができる。このようにして、ユーザは、3次元空間における提示領域の位置および/または方位を変えることができる。
少なくともいくつかの実装形態では、ユーザがタッチジェスチャーまたは他の適切なユーザ入力を介して提示領域を選択したか押したことに応答して、情報層630のような情報層がユーザに提示され得る。一例として、ユーザは提示領域の編集モードに入ることができ、当該編集モードによって、ユーザが提示領域でタッチ入力を押し、しきい値時間期間(たとえば、1.0秒または他の適切な時間期間)にわたってその状態を維持したことに応答して、情報層630のような情報層が表示され得る。
図7も参照すると、ベクトル710によって示されるように、追加のユーザ入力に応答して、3次元特徴410に関連して提示領域430がサイズ変更され得る例示的なGUIが示されている。添付された提示面を編集するためのそのような追加のユーザ入力は、モバイルデバイスのユーザ入力デバイスを介して、たとえば、タッチセンシティブグラフィカルディスプレイまたは他の適切なユーザ入力デバイスを介して受信され得る。たとえば、ユーザは、モバイルデバイスのタッチセンシティブグラフィカルディスプレイに対して提示領域がレンダリングされる場所で提示領域をタッチし、提示領域の少なくとも一部分を異なる位置にドラッグしてその位置および/または方位を変えることによって、提示領域を編集することができる。
ユーザが提示領域を平行移動、回転またはサイズ変更によって編集したことに応答して、コンテンツ管理モジュールは、当該提示領域の提示領域定義を更新して、3次元特徴の電子表示に関連して提示領域が定義される方法の変化を反映するように適合し得る。非限定的な例として、3次元特徴の座標系に関連して測定される1つまたは複数のポイントによって提示領域が定義される場合、ユーザによるそのような編集は、1つまたは複数のユーザ入力によって示される量だけ、3次元特徴の座標系に関連して1つまたは複数のポイントをずらす(offset)ことができる。ユーザが望む位置および/または方位で提示領域をレンダリングできるように、そのような編集に応答してコンテンツ管理モジュール164によって提示領域定義の更新が実行され得る。
いくつかの実装形態では、コンテンツ配置ツール166は、3次元特徴に提示領域を添付するための部分的に自動化されたプロセスを採用することができる。たとえば、コンテンツ配置ツールは、現実世界の対象物における水平および垂直の特徴、端、隅などのいくつかの特徴を認識し、そのような現実世界の対象物との関係で提示面を配置する方法を示唆することができる。次いでユーザは、(たとえば、空間的観点を加えるために)3次元特徴に関連して提示面の位置および/または方位を編集することによって、提示面の最初の配置を調整することができる。次いでユーザは、たとえば、GUIのグラフィカル制御要素を選択することによって、タッチセンシティブグラフィカルディスプレイで特定のタッチジェスチャー(たとえば、ダブルタップ)を利用することによって、またはユーザ入力デバイスを介して追加入力を行うことによって、追加のユーザ入力に応答して3次元特徴に関連して提示面を所定位置に固定することができる。このようにして、拡張現実環境内に配置されるメディアコンテンツを調整して、当該拡張現実環境に存在する現実世界の対象物の特定の3次元特徴を適合させることができる。
いくつかの実装形態では、提示領域は複数の提示面を定義する3次元ボリュームを含むことができる。そのような3次元ボリュームを利用して、たとえば、グラフィカル要素、アニメーションなどを、拡張現実環境におけるそのような要素またはアニメーションの3次元表示として提示することができる。たとえば、提示領域は、メディアコンテンツが提示され得る規則的な3次元の形(たとえば、球、立方体など)または不規則な3次元の形(たとえば、人型ロボット、動物のキャラクター、家具、車両など)を含むことができる。提示面に関して前述したのと同様に、3次元ボリュームを含む提示領域の位置および方位が変わり得ることが諒解されよう。
340において、動作320で取得されたメディアコンテンツアイテムのアクティブ化領域が、動作310で抽出された3次元特徴に関連して定義され得る。ユーザ入力および/またはモバイルデバイスの推定位置に応答して、提示領域におけるメディアコンテンツアイテムの提示をどのようにして有効化および/または開始することができるかを定義する目的で、メディアコンテンツアイテムのアクティブ化領域がユーザによって拡張現実環境内に配置され得る。
たとえば、図8も参照すると、アクティブ化領域810が提示領域430に少なくとも部分的に重なるように、当該アクティブ化領域が3次元特徴410に関連して定義され得る例示的なGUIが示されている。この特定の例では、アクティブ化領域810は、選択可能なグラフィカルボタンまたはアイコンとして示されている。モバイルデバイスユーザは1つまたは複数のユーザ入力を利用して、たとえば、アクティブ化領域810を選択することによって、提示領域430におけるメディアコンテンツアイテムの提示を開始することができる。この特定の例では、アクティブ化領域810は、提示面に関して前述したように、3次元特徴410の電子表示に関連付けられ得るアクティブ化面を含むことができる。
別の例として、モバイルデバイスユーザがアクティブ化領域820内でモバイルデバイスを物理的に動かすことによって、提示面におけるメディアコンテンツアイテムの提示を有効化および/または開始できるように、アクティブ化領域820が3次元特徴410に関連して定義される。たとえば、アクティブ化領域820は、追加のユーザ入力を必要とすることなく、アクティブ化領域820内にモバイルデバイスが入ったときに、提示領域430におけるメディアコンテンツアイテムの提示を開始するように定義され得る。他の例では、アクティブ化領域820は、アクティブ化領域820内にモバイルデバイスが入ったときに、提示領域430におけるメディアコンテンツアイテムの提示を有効化するように定義され得る。メディアコンテンツの提示が有効化されると、ユーザはたとえば、アクティブ化領域810のような別のアクティブ化領域またはモバイルデバイスの任意の適切な入力デバイスでユーザ入力を提供することによってメディアコンテンツアイテムの提示を開始するように促され得る。
少なくともいくつかの実装形態では、提示領域を定義するための動作330で上述したプロセスと同様のプロセスを使用してアクティブ化領域が定義され得る。たとえば、メディアコンテンツアイテムのアクティブ化領域が、3次元特徴の少なくとも一部分にアクティブ化領域を添付することによって、かつ/または3次元特徴に関連して添付されたアクティブ化領域の位置および/もしくは方位を編集することによって、3次元特徴に関連して定義され得る。ユーザによるアクティブ化領域の添付および/または編集に応答して、コンテンツ管理モジュールは、当該アクティブ化領域のアクティブ化領域定義を更新して、3次元特徴の電子表示に関連して当該アクティブ化領域がどのように定義されるかを反映するように適合し得る。
少なくともいくつかの実装形態では、アクティブ化領域は、拡張現実環境内で提示され得るアクティブ化面を含むことができる。そのような実装形態では、たとえば、動作310で取得された3次元特徴の電子表示の少なくとも一部分にアクティブ化領域のアクティブ化面を関連付けることによって、3次元特徴の少なくとも一部分にアクティブ化領域が添付され得る。動作330で提示面の編集に関して前述したように、ユーザは添付されたアクティブ化領域の位置および/または方位を変えることもできる。
動作310、320、330および340について、モバイルデバイスの文脈において説明したが、そのような動作のうちの1つまたは複数は、モバイルデバイスとは別個のコンピューティングプラットフォーム(たとえば、コンピューティングプラットフォーム122)で実行できることが諒解されよう。そのような実装形態では、モバイルデバイスユーザは、モバイルデバイスで取得されたカメラビューを、動作310〜340のうちの1つまたは複数を実行するための異なるコンピューティングプラットフォームにアップロードできる。このようにして、拡張現実環境のオーサリングは、モバイルデバイスで実行される動作に必ずしも限定されず、他のコンピューティングプラットフォームにおいて少なくとも部分的に実行できる。
350において、動作330で定義された提示領域におけるメディアコンテンツアイテムの提示が、動作340で定義されたアクティブ化領域に関するユーザ入力および/またはモバイルデバイス推定位置に応答して有効化および/または開始され得る。所与のユーザに対するメディアコンテンツの提示が、当該メディアコンテンツアイテムに関連するアクセス権を条件とし得ることが諒解されよう。動作340に関して前述したように、モバイルデバイスがユーザによってアクティブ化領域内に運ばれたときに、メディアコンテンツの提示を有効化するようにアクティブ化領域は定義され得る。代替的に、モバイルデバイスがユーザによってアクティブ化領域内に運ばれたときに、さらなるユーザ入力を必要とすることなく、メディアコンテンツの提示を開始するようにアクティブ化領域は定義され得る。
さらに、動作350に関して、拡張現実環境内に配置される提示面および/またはアクティブ化面がモバイルデバイスのカメラビューに、当該カメラビューにキャプチャされた3次元特徴の認識に伴い提示され得る。たとえば、抽出特徴定義に関連する1つまたは複数のメディアコンテンツアイテム、提示領域および/またはアクティブ化領域をモバイルデバイスに提示する目的で、当該モバイルデバイスで取得された特定のカメラビューに対象認識技法を適用する間に、当該抽出特徴定義が特徴抽出モジュールによって参照され得る。
そのような対象認識技法は、どの抽出特徴定義が代表的なカメラビューに存在するか識別するために、代表的なカメラビューと1つまたは複数の抽出特徴定義との比較を再び伴い得る。そのような対象認識技法は通常、代表的なカメラビューにおける3次元特徴と抽出特徴定義との間の視点差異を修正するための基礎的な空間変換、たとえば、ホモグラフィー、アフィンなどの決定を含む。所与のカメラビューに関連する抽出特徴定義の識別に伴い、コンテンツ管理モジュールはデータベースから、そのようなデータベースがローカルにモバイルデバイスにあるか、リモートにサーバシステムまたは他のコンピューティングリソースにあるかを問わず、当該抽出特徴定義に関連する提示領域、アクティブ化領域、メディアコンテンツアイテムおよび他の情報を取り出すことができる。
少なくともいくつかの実装形態では、アクティブ化領域定義182はアクティブ化領域を定義することができ、モバイルデバイスが当該アクティブ化領域に入った場合に、関連メディアコンテンツアイテム178の提示が当該アクティブ化領域において開始または有効化され得る。たとえば、アクティブ化領域は物理的な現実世界環境における特定領域を定義することができ、モバイルデバイスの状態によって示されるように、ユーザが当該特定領域内にモバイルデバイスを運んだことに応答して、メディアコンテンツの提示が当該特定領域において開始される。たとえば、所与のアクティブ化領域に関連する所与のモバイルデバイスの位置および/または方位が、モバイルデバイス上で取得された測位信号および/または慣性センサ測定値から取得でき、それによって、モバイルデバイスの状態によって示される位置および/または方位に応答してメディアコンテンツの提示が開始され得ることが諒解されよう。
メディアコンテンツアイテムの提示が開始される場合、アクティブ化領域に関連するメディアコンテンツアイテムが、追加のユーザ入力を必要とすることなく、関連提示領域に提示され得る。対照的に、メディアコンテンツアイテムの提示が有効化される場合、アクティブ化領域に関連するメディアコンテンツアイテムが、たとえばGUIのグラフィカル制御要素で受信された追加のユーザ入力(タッチセンシティブグラフィカルディスプレイで受信されたタッチジェスチャー、または他の適切なユーザ入力デバイスを介して受信されたユーザ入力)に応答して提示され得る。
プロセス300のいくつかの実装形態では、アクティブ化領域が拡張現実環境から省略され得る。たとえば、図9は、カメラビュー400、および3次元特徴410によって定義される特定の戸口に入るように顧客を誘導するためのサインのグラフィカル表示(たとえば、画像)を提示している提示領域910を含む例示的なGUIを示している。したがって、この特定の実装形態では、提示領域910は、関連アクティブ化領域の参照なしにメディアコンテンツアイテムを提示することができる。このようにして、ユーザは、モバイルデバイスのカメラを現実世界の対象物に向け、GUIの情報層に提示されたグラフィカルコンテンツを観察することによって、拡張現実環境を探索することができる。たとえば、第2のモバイルデバイスにおけるメディアコンテンツアイテムの提示が、第2のモバイルデバイスのカメラビューが3次元特徴に添付された提示領域をキャプチャしているときに有効化または開始され得る。
いくつかの実装形態では、ローカルにモバイルデバイスに、またはリモートにサーバシステムに存在するコンテンツ管理モジュールは、モバイルデバイスの位置および/または方位の更新値を受信することができる。そのような実装形態では、ユーザによってモバイルデバイスを介して関連メディアコンテンツにアクセスされ得るアクティブ化領域内においてモバイルデバイスの位置が識別された場合、モバイルデバイスで通知が開始され得る。そのような通知は、モバイルデバイス上の触覚フィードバックデバイスを介したモバイルデバイスの振動、モバイルデバイスのオーディオ出力デバイスによって生成された音声、および/またはモバイルデバイスのグラフィカルディスプレイもしくは発光素子を介して提示される視覚インジケータを含むことができる。このようにして、ユーザは、モバイルデバイスを介してユーザによって探索することができる近くの拡張現実環境の存在について通知され得る。
上記の実装形態では、ユーザには、モバイルデバイスのカメラを介して取得されるカメラビュー(たとえば、リアルタイムカメラビュー)とともにグラフィカルディスプレイのGUIに情報層が提示され得る。所与のカメラビュー向けに提示される情報層は、カメラビューにキャプチャされた現実世界の対象物の電子表示に関連する提示領域および/またはアクティブ化領域によって定義され得る。そのような実装形態は同様に、関連ツアー定義によって定義される任意の適切な数の提示領域および/またはアクティブ化領域を含むガイド付きツアーに適用され得る。そのようなツアー定義は1人または複数のユーザによって、たとえば、同じモバイルデバイスもしくは他のコンピューティングプラットフォームを介して、または2つ以上の別個のモバイルデバイスおよび/もしくは他のコンピューティングプラットフォームを介してオーサリングされ得る。
たとえば、ユーザはガイド付きツアーをツアー作成ツール168を介して、拡張現実環境に配置される1つまたは複数のメディアコンテンツアイテム(たとえば、メディアコンテンツアイテム178)をツアー定義(たとえば、ツアー定義184)に関連付けることによってオーサリングできる。1人または複数の他のユーザも、ツアー作成ツール168を使用して1つまたは複数の他のメディアコンテンツアイテムをツアー定義(たとえば、ツアー定義184)に関連付けることによって、ガイド付きツアーのオーサリングに寄与することができる。したがって、いくつかの実装形態では、2人以上のユーザが共通のガイド付きツアーのオーサリングに寄与することができる。さらに、いくつかの実装形態では、ユーザは権利管理ツール170を利用して、所与のツアーに関する権利定義(たとえば、権利定義188)を、1人または複数の他のユーザが特定のガイド付きツアーのオーサリングに協力するように、または協力しないように定義することができる。たとえば、ユーザは、1人または複数の他のユーザが所与のガイド付きツアーの作成に協力しないようにし、一方で1人または複数の他のユーザに許可を与えることができる。
そのようなガイド付きツアーは、ツアーを作成したユーザによって、または当該ユーザよって関連権利定義(たとえば、権利定義188)を通じてアクセスを許可された他のユーザによって、モバイルデバイスのGUIを介して拡張現実環境内で探索され得る。たとえば、所与のツアーに関連する1つまたは複数のメディアコンテンツアイテムが、第2のユーザがモバイルデバイスのカメラビューを、第1のユーザによって当該ツアーの提示領域および/またはアクティブ化領域が添付されている現実世界の対象物に向けた場合に、第2のユーザに提示され得る。
少なくともいくつかの実装形態では、ツアー定義は、2つ以上の関連メディアコンテンツアイテムのユーザ定義順位リストを含むことができる。そのような実装形態では、メディアコンテンツアイテムは、順位リストによって定義された順位でガイド付きツアーに提示され得る。たとえば、ガイド付きツアーの使用により拡張現実環境を探索しているユーザは、モバイルデバイスのGUIを介して、ツアー定義の順位リストによって定義された順位でメディアコンテンツアイテムが提示される任意の適切な数の現実世界の場所を訪問するように促され得る。さらに、たとえば、図9の提示領域910に関して前述したように、視覚識別子としてそのようなメディアコンテンツアイテムの少なくともいくつかをユーザが配置できることが諒解されよう。そのような視覚識別子は、ツアー定義によって定義された特定のツアー経路に沿ってユーザを案内するためのサインまたは他の適切な識別子としての役割を果たし得る。このようにして、モバイルデバイスユーザは、それぞれのモバイルデバイスのカメラビューを補足する情報層を形成するグラフィカルコンテンツの支援を受けて、周囲の現実世界環境を探索することができる。
本明細書で説明される位置測定技術は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワークなどであり得る。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などのような、1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書で説明される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明される。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBluetooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。
本明細書で説明する方法は、特定の適用例に応じて様々な方法で、かつ様々な構成により実施できる。たとえば、そのような方法は、ソフトウェアとともに、ハードウェア、ファームウェア、および/またはこれらの組合せで実施され得る。ハードウェア実装では、たとえば、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するように設計された他のデバイスユニット、および/またはこれらの組合せの中で実装され得る。
本明細書で説明する記憶媒体は、一次、二次および/または三次記憶媒体を含むことができる。一次記憶媒体は、たとえばランダムアクセスメモリおよび/または読取り専用メモリなどのメモリを含むことができる。二次記憶媒体は、磁気またはソリッドステートハードドライブなどの大容量記憶装置を含むことができる。三次記憶媒体は、磁気または光ディスク、磁気テープ、ソリッドステート記憶デバイスなどのようなリムーバブル記憶媒体を含むことができる。いくつかの実装形態では、記憶媒体またはその部分は、プロセッサのようなコンピューティングプラットフォームの他の構成要素を動作可能に受容するか、または場合によってはそれに結合するように構成され得る。
少なくともいくつかの実装形態では、本明細書で説明する記憶媒体の1つまたは複数の部分は、記憶媒体の特定の状態によって表現されるようにデータおよび/または情報を表す信号を記憶することができる。たとえば、データおよび/または情報を表す電子信号は、バイナリ情報(たとえば、1および0)としてデータおよび/または情報を表すように記憶媒体(たとえばメモリ)の一部の状態に影響を与えることによって、またはかかる状態を変化させることによって、記憶媒体のそのような一部に「記憶」され得る。したがって、特定の実装形態では、データおよび/または情報を表す信号を記憶するために記憶媒体の一部の状態を変化させることは、記憶媒体を異なる状態または物に変換することを意味する。
上述の詳細な説明において、多くの具体的な詳細が、特許請求する主題の完全な理解をもたらすために説明されてきた。しかし、特許請求する主題は、これらの具体的な詳細がなくても実行され得ることが、当業者には理解されよう。他の例では、当業者には既知であろう方法および装置は、特許請求する主題を不明瞭にしないために、詳細には説明されていない。
上述の詳細な説明のいくつかの部分は、特定の装置または専用のコンピューティングデバイスまたはプラットフォームのメモリに記憶される、バイナリのデジタル電子信号上の、操作のアルゴリズムまたは記号による表現の形で提示されてきた。この特定の明細書の文脈において、「特定の装置」などの用語は、プログラムソフトウェアからの命令に従って特定の機能を実行するように汎用コンピュータがプログラムされた場合、そのような汎用コンピュータを含む。アルゴリズム記述または記号表現は、当業者が作業内容を他の当業者に伝えるために、信号処理または関連技術において使用する技法の例である。アルゴリズムは本明細書に存在し、一般に、操作または所望の結果に導く同様の信号処理の自己矛盾のない順番であると考えられる。この文脈において、操作または処理は、物理量の物理的な操作を含む。通常、必須ではないが、そのような物理量は、情報を表す電子信号として、記憶され、送信され、組み合わされ、比較され、または場合によっては操作され得る、電気信号または磁気信号の形態であり得る。場合によっては、主に一般に用いられているという理由で、そのような信号を、ビット、データ、値、要素、記号、文字、語、数字、番号、情報などとして言及することが便利であることがわかっている。しかし、これらの用語または同様の用語のすべてが、適切な物理量と関連付けられるべきであり、便宜的な呼び方にすぎないことを、理解されたい。
別段に明記されていない限り、以下の説明から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「識別する」、「判断する」、「確立する」、「取得する」などの用語を利用する説明は、専用コンピュータまたは同様の専用電子コンピューティングデバイスなど、特定の装置の動作またはプロセスを指すことを諒解されたい。したがって、本明細書の文脈において、専用のコンピュータまたは同様の専用の電子コンピューティングデバイスは、メモリ、レジスタ、または他の情報記憶デバイス、伝送デバイス、または、専用のコンピュータもしくは同様の専用の電子コンピューティングデバイスの表示デバイスの中に、通常は物理的で電子的な量または磁気的な量として表される信号を、操作または変換することができる。この特定の特許出願の文脈において、「特定の装置」という用語は、汎用コンピュータがプログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされた場合、そのような汎用コンピュータを含むことができる。
本明細書を通じて「一例」、「例」、「いくつかの例」または「例示的な実装形態」への言及は、特徴および/または例に関して説明する特定の特徴、構造物または特性が、特許請求する主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。したがって、本明細書の様々な場所における「一例では」、「例」、「いくつかの例では」もしくは「いくつかの実装形態では」という語句または他の同様の語句の出現は、同じ特徴、例および/または限定にすべて言及しているとは限らない。さらに、特定の特徴、構造物または特性は、1つまたは複数の例および/または特徴に合成されることがある。
例示的な特徴であると現在考えられるものを例示し説明したが、請求する主題から逸脱することなく、様々な他の修正を行うことができ、等価物で置換され得ることが、当業者には理解されよう。加えて、特許請求する主題の教示に具体的な状況を適合させるために、本明細書で説明される中心的な概念から逸脱することなく、多くの修正が行われ得る。したがって、特許請求する主題は、開示される特定の例に限定されず、また、そのような特許請求する主題は添付の特許請求の範囲内にあるすべての態様およびその同等物を含み得ることが意図されている。
100 ネットワーク環境
110 サーバシステム
112 記憶媒体
114 データベース
116 命令
118 プロセッサ
120 モバイルデバイス
122 コンピューティングプラットフォーム
130 モバイルデバイス
140 ネットワーク
150 測位システム
160 通信インターフェース
162 特徴抽出モジュール
164 コンテンツ管理モジュール
166 コンテンツ配置ツール
168 ツアー作成ツール
170 権利管理ツール
174 抽出特徴定義
176 関連アイテム、関連コンテンツアイテム
178 メディアコンテンツアイテム
180 提示領域定義
182 アクティブ化領域定義
184 ツアー定義
186 メタデータ
188 権利定義
190 デバイス状態データ
192 特徴ライブラリ
194 既存の電子表示
200 モバイルデバイス
210 記憶媒体
212 データベース
214 命令
216 プロセッサ
218 入力デバイス
220 カメラ
221 出力デバイス
222 グラフィカルディスプレイ
224 グラフィカルユーザインターフェース(GUI)
226 オーディオスピーカー
228 通信インターフェース
230 受信機
232 慣性センサ
234 カメラビュー
236 情報層
238 レンダリングされたメディアコンテンツアイテム
240 グラフィカル制御要素
254 レンダリングモジュール
256 デバイス状態モジュール
300 プロセス
400 カメラビュー
410 3次元特徴
420 グラフィカル制御要素
430 提示領域
510 提示領域
610 異なる位置
620 ベクトル
630 情報層
632 グラフィカル制御要素
634 グラフィカル制御要素
636 グラフィカル制御要素
638 グラフィカル制御要素
710 ベクトル
810 アクティブ化領域
820 アクティブ化領域
910 提示領域

Claims (18)

  1. モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するステップと、
    前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するステップと、
    目立つ特徴を前記3次元特徴と前記提示領域から抽出するステップと、
    前記モバイルデバイスのタッチセンシティブグラフィカルディスプレイに前記カメラビューを提示するステップと、
    前記3次元特徴と前記提示領域の前記目立つ特徴を使用することにより、前記3次元特徴に関連して前記添付された提示領域の位置を少なくとも部分的に定義するために、前記タッチセンシティブグラフィカルディスプレイに前記カメラビューが提示されている間に、前記タッチセンシティブグラフィカルディスプレイを介して1つまたは複数のタッチジェスチャーベースのユーザ入力を受信するステップと
    を含む方法。
  2. 前記3次元特徴を抽出するステップは、前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得するステップを含み、
    前記3次元特徴の少なくとも一部分に前記提示領域を添付するステップは、前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けるステップを含む、請求項1に記載の方法。
  3. 前記提示面における前記メディアコンテンツアイテムの提示を開始するステップ
    をさらに含む、請求項2に記載の方法。
  4. 前記添付された提示面を前記メディアコンテンツアイテムに関連付けるステップ
    をさらに含む、請求項1に記載の方法。
  5. 前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムのアクティブ化領域を添付するステップと、
    前記添付されたアクティブ化領域で受信されたユーザ選択に応答して、第2のモバイルデバイスを介した前記提示領域における前記メディアコンテンツアイテムの提示を有効化するステップと
    をさらに含む、請求項1に記載の方法。
  6. 前記抽出された3次元特徴に関連して前記メディアコンテンツアイテムのアクティブ化領域を定義するステップと、
    前記メディアコンテンツアイテムを前記アクティブ化領域に関連付けるステップと、
    モバイルデバイスにおける前記メディアコンテンツアイテムの提示を、前記モバイルデバイスが前記アクティブ化領域内に入ったことに応答して開始するステップと
    をさらに含む、請求項1に記載の方法。
  7. 前記現実世界の対象物の前記3次元特徴を前記抽出するステップは、通信ネットワークを介して前記モバイルデバイスから前記キャプチャされたカメラビューをサーバシステムにおいて受信するステップを含み、
    前記3次元特徴の少なくとも前記一部分に前記メディアコンテンツアイテムの前記提示領域を前記添付するステップは、前記通信ネットワークを介して前記モバイルデバイスから前記ユーザ入力を前記サーバシステムにおいて受信するステップと、前記サーバシステムにおいて前記ユーザ入力を受信したことに応答して前記添付するステップを開始するするステップとを含む、請求項1に記載の方法。
  8. 通信ネットワークを介して前記モバイルデバイスから前記モバイルデバイスの後続のカメラビューをサーバシステムにおいて受信するステップであって、前記後続のカメラビューは前記提示領域をキャプチャする、ステップと、
    前記モバイルデバイスの前記後続のカメラビューにキャプチャされた前記提示領域における前記メディアコンテンツアイテムの提示のために、前記通信ネットワークを介した前記サーバシステムから前記モバイルデバイスへの前記メディアコンテンツアイテムの送信を開始することによって、前記提示領域における前記メディアコンテンツアイテムの提示を有効化するステップと
    をさらに含む、請求項7に記載の方法。
  9. 第2のモバイルデバイスにおける前記メディアコンテンツアイテムの提示を、前記第2のモバイルデバイスのカメラビューが前記3次元特徴に添付された前記提示領域をキャプチャしているときに有効化するステップ
    をさらに含む、請求項1に記載の方法。
  10. 前記第2のモバイルデバイスにおける前記メディアコンテンツアイテムの提示を前記有効化するステップは、
    通信ネットワークを介して前記第2のモバイルデバイスから前記第2のモバイルデバイスの前記カメラビューをサーバシステムにおいて受信するステップと、
    前記第2のモバイルデバイスの前記カメラビューにキャプチャされた前記提示領域における前記メディアコンテンツアイテムの提示のために、前記通信ネットワークを介した前記サーバシステムから前記第2のモバイルデバイスへの、前記メディアコンテンツアイテム、および前記第2のモバイルデバイスの前記カメラビューにおける前記提示領域の場所を定義する提示領域定義の送信を開始するステップと
    をさらに含む、請求項9に記載の方法。
  11. モバイルデバイスであって、
    ユーザ入力を受信するためのユーザ入力デバイスと、
    カメラビューをキャプチャするためのカメラと、
    前記カメラによってキャプチャされた前記カメラビューを少なくとも提示するためのタッチセンシティブグラフィカルディスプレイと、
    プロセッサと
    を含み、前記プロセッサは、
    前記カメラのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出し、
    前記ユーザ入力デバイスを介して前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付し、
    目立つ特徴を前記3次元特徴と前記提示領域から抽出し、
    前記モバイルデバイスの前記タッチセンシティブグラフィカルディスプレイに前記カメラビューを提示し、
    前記3次元特徴と前記提示領域の前記目立つ特徴を使用することにより、前記3次元特徴に関連して前記添付された提示領域の位置を少なくとも部分的に定義するために、前記タッチセンシティブグラフィカルディスプレイに前記カメラビューが提示されている間に、前記タッチセンシティブグラフィカルディスプレイを介して1つまたは複数のタッチジェスチャーベースのユーザ入力を受信する
    命令を実行するように動作する、モバイルデバイス
    を含む装置。
  12. 前記プロセッサは、
    前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得することによって、前記3次元特徴を抽出し、
    前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けることによって、前記3次元特徴の少なくとも一部分に前記提示領域を添付する
    命令をさらに実行するように動作する、請求項11に記載の装置。
  13. 前記プロセッサは、
    前記タッチセンシティブグラフィカルディスプレイを介した前記提示領域における前記メディアコンテンツアイテムの提示を開始する
    命令をさらに実行するように動作する、請求項11に記載の装置。
  14. コンピューティングプラットフォームによって、
    ワイヤレス通信ネットワークを介してモバイルデバイスからカメラビューを取得し、
    前記カメラビューにキャプチャされた1つまたは複数の現実世界の対象物の3次元特徴を抽出し、
    前記ワイヤレス通信ネットワークを介して前記モバイルデバイスから受信されたユーザ入力に応答して、前記抽出された3次元特徴の少なくとも一部分にメディアコンテンツの提示領域を添付し、
    目立つ特徴を前記3次元特徴と前記提示領域から抽出し、
    前記モバイルデバイスのタッチセンシティブグラフィカルディスプレイに前記カメラビューを提示し、
    前記3次元特徴と前記提示領域の前記目立つ特徴を使用することにより、前記3次元特徴に関連して前記添付された提示領域の位置を少なくとも部分的に定義するために、前記タッチセンシティブグラフィカルディスプレイに前記カメラビューが提示されている間に、前記ワイヤレス通信ネットワークを介し前記モバイルデバイスの前記タッチセンシティブグラフィカルディスプレイを介して1つまたは複数のタッチジェスチャーベースのユーザ入力を受信し、
    前記添付された提示領域をメディアコンテンツアイテムに関連付け、
    前記ワイヤレス通信ネットワークを介して別のモバイルデバイスに前記メディアコンテンツを送信することによって、前記添付された提示領域における前記メディアコンテンツアイテムの提示を開始する
    ように実行可能な命令が記録されたコンピュータ可読記録媒体。
  15. 前記コンピュータ可読記録媒体は、前記コンピューティングプラットフォームによって、
    前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得することによって、前記3次元特徴を抽出し、
    前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けることによって、前記3次元特徴の少なくとも一部分に前記提示領域を添付する
    ように実行可能な命令がさらに記録されている、請求項14に記載のコンピュータ可読記録媒体。
  16. モバイルデバイスのカメラビューにキャプチャされた現実世界の対象物の3次元特徴を抽出するための手段と、
    前記モバイルデバイスで受信されたユーザ入力に応答して、前記3次元特徴の少なくとも一部分にメディアコンテンツアイテムの提示領域を添付するための手段と、
    目立つ特徴を前記3次元特徴と前記提示領域から抽出するための手段と、
    前記モバイルデバイスのタッチセンシティブグラフィカルディスプレイに前記カメラビューを提示する手段と、
    前記3次元特徴と前記提示領域の前記目立つ特徴を使用することにより、前記3次元特徴に関連して前記添付された提示領域の位置を少なくとも部分的に定義するために、前記タッチセンシティブグラフィカルディスプレイに前記カメラビューが提示されている間に、前記タッチセンシティブグラフィカルディスプレイを介して1つまたは複数のタッチジェスチャーベースのユーザ入力を受信する手段と
    を含む装置。
  17. 前記モバイルデバイスのグラフィカルディスプレイを介した前記提示領域における前記メディアコンテンツアイテムの提示を開始するための手段
    をさらに含む、請求項16に記載の装置。
  18. 前記3次元特徴を抽出するための前記手段は、前記3次元特徴に対象認識を適用して、前記3次元特徴の電子表示を取得するための手段を含み、
    前記3次元特徴の少なくとも一部分に前記提示領域を添付するための手段は、前記提示領域の提示面を前記3次元特徴の前記電子表示に関連付けるための手段を含む、
    請求項16に記載の装置。
JP2013515565A 2010-06-17 2011-06-17 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング Active JP5766795B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/818,014 2010-06-17
US12/818,014 US20110310227A1 (en) 2010-06-17 2010-06-17 Mobile device based content mapping for augmented reality environment
PCT/US2011/040969 WO2011160076A2 (en) 2010-06-17 2011-06-17 Mobile device based content mapping for augmented reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015046977A Division JP2015144007A (ja) 2010-06-17 2015-03-10 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング

Publications (2)

Publication Number Publication Date
JP2013538377A JP2013538377A (ja) 2013-10-10
JP5766795B2 true JP5766795B2 (ja) 2015-08-19

Family

ID=44627433

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013515565A Active JP5766795B2 (ja) 2010-06-17 2011-06-17 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング
JP2015046977A Pending JP2015144007A (ja) 2010-06-17 2015-03-10 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015046977A Pending JP2015144007A (ja) 2010-06-17 2015-03-10 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング

Country Status (13)

Country Link
US (1) US20110310227A1 (ja)
EP (1) EP2583254B1 (ja)
JP (2) JP5766795B2 (ja)
KR (1) KR101433305B1 (ja)
CN (1) CN103814397A (ja)
DK (1) DK2583254T3 (ja)
ES (1) ES2791823T3 (ja)
HU (1) HUE049025T2 (ja)
IN (1) IN2013CN00115A (ja)
PL (1) PL2583254T3 (ja)
PT (1) PT2583254T (ja)
SI (1) SI2583254T1 (ja)
WO (1) WO2011160076A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015144007A (ja) * 2010-06-17 2015-08-06 クアルコム，インコーポレイテッド 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング
US11087134B2 (en) 2017-05-30 2021-08-10 Artglass Usa, Llc Augmented reality smartglasses for use at cultural sites

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
KR101397712B1 (ko) * 2010-07-27 2014-06-27 주식회사 팬택 증강 현실 객체 인식 가이드 제공 장치 및 방법
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8793357B2 (en) * 2011-04-02 2014-07-29 Open Invention Network, Llc System and method for persisting mobile agents within a mobile region of interest
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
JP5765256B2 (ja) * 2012-02-01 2015-08-19 コニカミノルタ株式会社 文書管理装置、エアタグ情報管理システムおよびプログラム
WO2013116901A1 (en) * 2012-02-08 2013-08-15 Fairweather Corporation Pty Ltd. Computing device for facilitating discounting and promotions using augmented reality
JP6028351B2 (ja) 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
CN104508697A (zh) * 2012-05-31 2015-04-08 英特尔公司 用于提供增强现实服务的方法、服务器和计算机可读记录介质
US9135735B2 (en) * 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
US9087403B2 (en) 2012-07-26 2015-07-21 Qualcomm Incorporated Maintaining continuity of augmentations
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
WO2014100688A2 (en) * 2012-12-20 2014-06-26 Accenture Global Services Limited Context based augmented reality
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9361716B1 (en) * 2013-03-15 2016-06-07 Ca, Inc. System and method for increasing the system awareness of IT operations personnel with augmented reality
KR20140129513A (ko) * 2013-04-30 2014-11-07 삼성전자주식회사 전자 문서의 정보 제공 방법 및 이를 지원하는 전자 장치
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR102158843B1 (ko) 2013-08-05 2020-10-23 삼성전자주식회사 모바일 디바이스를 이용한 사용자 입력 방법 및 모바일 디바이스
US20150185825A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US9106887B1 (en) * 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
US9619940B1 (en) 2014-06-10 2017-04-11 Ripple Inc Spatial filtering trace location
US10930038B2 (en) * 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US9646418B1 (en) * 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10475239B1 (en) * 2015-04-14 2019-11-12 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) * 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
CA2996456A1 (en) * 2015-09-02 2017-03-09 Inventio Ag Maintenance of a transportation facility within a building using a mobile device
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10120437B2 (en) 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
JP6304305B2 (ja) * 2016-05-25 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US11468111B2 (en) 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
WO2018164532A1 (en) 2017-03-09 2018-09-13 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (ar) experience on user equipment (ue) based on in-device contents
KR102000960B1 (ko) * 2017-03-20 2019-07-18 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11175516B1 (en) 2018-02-27 2021-11-16 Snap Inc. Object recognition for improving interfaces on an eyewear device and other wearable and mobile devices
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10922895B2 (en) 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment
US10349059B1 (en) 2018-07-17 2019-07-09 Wowza Media Systems, LLC Adjusting encoding frame size based on available network bandwidth
KR102181499B1 (ko) * 2019-03-14 2020-11-23 주식회사 듀코젠 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
US10963140B2 (en) * 2019-04-12 2021-03-30 John William Marr Augmented reality experience creation via tapping virtual surfaces in augmented reality
US11430168B2 (en) * 2019-08-16 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for rigging 3D scanned human models
KR102659324B1 (ko) * 2019-09-25 2024-04-22 누들 테크놀로지 인코포레이티드 무선 라디오들을 이용하여 신호들을 캡처하는 것에 의한 현실 증강
US11195020B1 (en) * 2019-10-29 2021-12-07 Facebook Technologies, Llc Systems and methods for maintaining virtual spaces
EP4070150A4 (en) * 2019-12-06 2023-12-06 Magic Leap, Inc. DYNAMIC BROWSER STAGE
US11137976B1 (en) 2020-09-11 2021-10-05 Google Llc Immersive audio tours
WO2023034009A1 (en) * 2021-09-01 2023-03-09 Snap Inc. Handcrafted augmented reality experiences
US11880942B2 (en) * 2021-12-07 2024-01-23 Verizon Patent And Licensing Inc. Systems and methods for using a location-based field of view associated with a virtual location marker

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
JP4253567B2 (ja) * 2003-03-28 2009-04-15 オリンパス株式会社 データオーサリング処理装置
US7752259B2 (en) * 2004-02-13 2010-07-06 Envisionit Llc Public service message broadcasting system and method
FR2887057B1 (fr) * 2005-06-08 2007-12-21 Decopole Sa Procede et systeme d'elaboration de caracteristiques geometriques d'une image encodee numeriquement
US7577522B2 (en) * 2005-12-05 2009-08-18 Outland Research, Llc Spatially associated personal reminder system and method
KR100677502B1 (ko) * 2006-01-13 2007-02-02 엘지전자 주식회사 이동통신 단말기에서의 증강현실기반의 메시지 작성 방법및 그 이동통신 단말기
US20080221989A1 (en) * 2007-03-09 2008-09-11 Samsung Electronics Co., Ltd. Method and system for providing sponsored content on an electronic device
US7636574B2 (en) * 2006-05-19 2009-12-22 Alcatel-Lucent Auctioning of message delivery opportunities in a location-based services system
US7784461B2 (en) * 2006-09-26 2010-08-31 Nellcor Puritan Bennett Llc Three-dimensional waveform display for a breathing assistance system
US8130211B2 (en) * 2007-09-24 2012-03-06 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace
US20090161963A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
WO2009101623A2 (en) * 2008-02-13 2009-08-20 Innovid Inc. Inserting interactive objects into video content
US8314779B2 (en) * 2009-02-23 2012-11-20 Solomon Systech Limited Method and apparatus for operating a touch panel
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US9118428B2 (en) * 2009-11-04 2015-08-25 At&T Intellectual Property I, L.P. Geographic advertising using a scalable wireless geocast protocol
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015144007A (ja) * 2010-06-17 2015-08-06 クアルコム，インコーポレイテッド 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング
US11087134B2 (en) 2017-05-30 2021-08-10 Artglass Usa, Llc Augmented reality smartglasses for use at cultural sites
US12001974B2 (en) 2017-05-30 2024-06-04 Artglass Usa Llc Augmented reality smartglasses for use at cultural sites

Also Published As

Publication number Publication date
KR101433305B1 (ko) 2014-08-22
US20110310227A1 (en) 2011-12-22
IN2013CN00115A (ja) 2015-07-03
ES2791823T3 (es) 2020-11-06
CN103814397A (zh) 2014-05-21
JP2015144007A (ja) 2015-08-06
EP2583254B1 (en) 2020-02-12
WO2011160076A3 (en) 2013-06-27
SI2583254T1 (sl) 2020-07-31
KR20130029800A (ko) 2013-03-25
JP2013538377A (ja) 2013-10-10
EP2583254A2 (en) 2013-04-24
PL2583254T3 (pl) 2020-07-27
DK2583254T3 (da) 2020-04-14
HUE049025T2 (hu) 2020-08-28
PT2583254T (pt) 2020-05-15
WO2011160076A2 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
JP5766795B2 (ja) 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9424255B2 (en) Server-assisted object recognition and tracking for mobile devices
US11922588B2 (en) Cooperative augmented reality map interface
US20190096089A1 (en) Enabling use of three-dimensonal locations of features with two-dimensional images
US20160063671A1 (en) A method and apparatus for updating a field of view in a user interface
US20140126769A1 (en) Fast initialization for monocular visual slam
US10796207B2 (en) Automatic detection of noteworthy locations
US9135735B2 (en) Transitioning 3D space information to screen aligned information for video see through augmented reality
WO2014011346A1 (en) Sensor-aided wide-area localization on mobile devices
CN107329671B (zh) 模型显示方法和装置
WO2019127320A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
WO2021121061A1 (zh) 用于设置虚拟对象的空间位置的方法和电子设备
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
US20230326147A1 (en) Helper data for anchors in augmented reality
Lue et al. 3D whiteboard: collaborative sketching with 3D-tracked smart phones

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150310

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150617

R150 Certificate of patent or registration of utility model

Ref document number: 5766795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250