JP5735128B2 - 拡張現実システム - Google Patents

拡張現実システム Download PDF

Info

Publication number
JP5735128B2
JP5735128B2 JP2013541969A JP2013541969A JP5735128B2 JP 5735128 B2 JP5735128 B2 JP 5735128B2 JP 2013541969 A JP2013541969 A JP 2013541969A JP 2013541969 A JP2013541969 A JP 2013541969A JP 5735128 B2 JP5735128 B2 JP 5735128B2
Authority
JP
Japan
Prior art keywords
component
virtual object
augmented reality
sound
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013541969A
Other languages
English (en)
Other versions
JP2014507020A (ja
Inventor
修一 倉林
修一 倉林
吉田 尚史
尚史 吉田
孝典 鷹野
孝典 鷹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of JP2014507020A publication Critical patent/JP2014507020A/ja
Application granted granted Critical
Publication of JP5735128B2 publication Critical patent/JP5735128B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/161User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing

Description

拡張現実(AR:augmented reality)は、現実世界と、コンピュータにより生成されたデータ、特に、エンドユーザに表示するためのリアルタイムで現実シーンに溶け込ませたコンピュータグラフィックスオブジェクトとを組み合わせることに重点を置いている。ARの範囲は、ほんの数例をあげると広告、ナビゲーション、およびエンターテイメントなど、非視覚的な拡張およびさらに広範なアプリケーション領域を含むように拡大されてきた。イメージおよび非視覚的な拡張データを含むそのようなコンピュータ生成のデータの、現実世界シーンへのシームレスな統合をもたらすことに、ますます関心が高まっている。
1つの例において、拡張現実システムは、現実世界イメージと仮想オブジェクトを統合することによって拡張現実イメージを提供するように構成された拡張現実エンジンと、仮想オブジェクトに関連するメッセージを受信し、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換するように構成されたメッセージ処理ユニットとを含むことができる。
1つの例において、拡張現実システムの制御の下に実行される方法は、仮想オブジェクトに関連するメッセージを受信することと、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することとを含むことができる。
1つの例において、コンピュータ可読ストレージ媒体は、プロセッサに、仮想オブジェクトに関連するメッセージを受信させ、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換させるコンテンツを含むことができる。
前述の概要は、例示的なものに過ぎず、限定的であることは全く意図されていない。上記で説明される例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および後段の詳細な説明を参照することにより明らかとなろう。
本開示の前述および他の特徴は、付属の図面と併せて、以下の説明および添付の特許請求の範囲からさらに完全に明らかとなろう。それらの図面が本開示によるいくつかの実施形態を示すに過ぎず、したがってその範囲を限定するものと見なされるべきではないことを理解しながら、本開示は添付の図面を使用することでさらに具体的かつ詳細に説明されるであろう。
本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムの具体的な例を示す概略ブロック図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより処理されるべき現実世界イメージの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、アクティブメッセージを含む拡張現実イメージの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、モバイルデバイス上に表示されるパッシブメッセージを含む拡張現実イメージの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルに含まれる関数式のグラフの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、サウンドマッピングテーブルの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す図である。 本明細書において説明される少なくとも一部の実施形態に従って配される、仮想オブジェクトに関連するサウンドファイルを再生するための方法を示す流れ図である。
以下の詳細な説明において、本明細書の一部を形成する添付の図面が参照される。図面において、文脈に特に指示がない限り、類似する符号は、典型的には、類似するコンポーネントを識別する。詳細な説明、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的であることを意図されていない。本明細書において提示される主題の精神および範囲を逸脱することなく、その他の実施形態が使用されてもよく、その他の変更が行なわれてもよい。本明細書において概ね説明され、図面に示される本開示の態様が、多岐にわたるさまざまな構成において配置され、代替され、組み合わされ、分離され、設計されてもよく、それらのすべてが本明細書において明示的に検討されることは容易に理解されよう。
本開示は概して、とりわけ、拡張現実に関連する方法、装置、システム、デバイス、およびコンピュータプログラム製品を対象とする。
簡潔に述べると、概して拡張現実イメージを処理するためのシステムの技術について説明される。一部の例において、システムは、現実世界イメージを取り込むためのイメージ取込みユニットを含むことができる。一部の例において、システムは、1つまたは複数の仮想オブジェクトを格納するための仮想オブジェクトリポジトリを含むことができる。一部の例において、システムは、現実世界イメージと仮想オブジェクトのうちの1つまたは複数とを統合することによって拡張現実イメージを提供するための拡張現実エンジンを含むことができる。一部の例において、システムは、仮想オブジェクトのうちの1つまたは複数に関連するメッセージを受信し、そのような1つまたは複数の仮想オブジェクトの空間属性を変換するためのメッセージ処理ユニットを含むことができる。
図1は、本明細書において説明される少なくとも一部の実施形態による拡張現実システムの具体的な例の概略ブロック図を示す。拡張現実システムは、図2〜図5に示される具体的な例のイメージを参照して後段において説明される。図1を参照すると、拡張現実システムは、イメージ取込みユニット100、拡張現実モジュール200、表示ユニット300、およびサウンドプレイヤー400を含むことができる。
イメージ取込みユニット100は、1つまたは複数の現実世界イメージを取り込むことができる。一例として、イメージ取込みユニット100は、図2に示されるように現実世界イメージ510を取り込むことができ、取り込んだ現実世界イメージ510を拡張現実モジュール200に提供することができる。イメージ取込みユニット100は、デジタルカメラ、モバイルデバイスに組み込まれたカメラ、HMD(ヘッドマウントディスプレイ)、光学センサー、電子センサー、複数のそのようなデバイス、またはその任意の組合せを含むことができるが、これらに限定されることはない。
拡張現実モジュール200は、奥行き認識ユニット210、距離計算ユニット220、仮想オブジェクトリポジトリ230、拡張現実エンジン240、メッセージ処理ユニット250、ユーザ認識ユニット260、第1のサウンドファイルリポジトリ270、および第2のサウンドファイルリポジトリ280を含むことができる。
奥行き認識ユニット210は、イメージ取込みユニット100によって取り込まれる現実世界イメージの空間属性を取得することができる。奥行き認識ユニット210は、図2に示される現実世界イメージ510のx軸、y軸、およびz軸を計算することができ、現実世界イメージ510のさまざまな現実オブジェクトのイメージまたは描写のx座標、y座標、およびz座標を取得することができる。現実世界イメージ510のさまざまな現実オブジェクトのイメージまたは描写のx軸、y軸、およびz軸ならびにx座標、y座標、およびz座標を取得するために、奥行き認識ユニット210は、位置認識アルゴリズムを使用することができる。位置認識アルゴリズムは、(たとえば、「Parallel Tracking and Mapping for Small AR Workspaces」、Proc. International Symposium on Mixed and Augmented Reality, ISMAR’07、NaraにおいてGeorg KleinおよびDavid Murrayにより説明されている)Parallel Tracking and Mapping(PTAM)方式、および/またはSimultaneous Localization and Mapping(SLAM)方式の使用を含むことができるが、これらに限定されることはない。使用される位置認識アルゴリズムは、当技術分野においてよく知られるアルゴリズムであってもよく、本明細書においてさらなる説明を必要とすることなく実施されてもよい。
距離計算ユニット220は、ユーザと仮想オブジェクトとの距離(すなわち、ユーザに対する仮想オブジェクトの位置)を取得することができる。距離計算認識ユニット220は、現実世界イメージ510のx軸、y軸、およびz軸、ならびにその中の現実オブジェクトのイメージまたは描写のx座標、y座標、およびz座標を使用して、ユーザと仮想オブジェクトとの距離、および/またはユーザに対する仮想オブジェクトの位置を計算することができる。1つまたは複数の仮想オブジェクトは、仮想オブジェクトリポジトリ230に格納されてもよく、現実オブジェクトのイメージまたは描写のx座標、y座標、およびz座標に対応する現実世界イメージ510内の位置に配置されてもよい。
距離計算ユニット220は、ユーザと仮想オブジェクトの間のユークリッドメトリックを計算して、ユーザと仮想オブジェクトとの距離を取得することができる。ユークリッドメトリックは、2つの異なる点の間の距離であってもよく、以下の式1により表すことができる。
Figure 0005735128
ここで、pは2つの異なる点のうちの1つを示すことができ、p’は2つの異なる点のうちのもう一方を示すことができ、pは、x軸座標x、y軸座標y、およびz軸座標zを有することができ、p(x,y,z)と表すことができ、p’は、x軸座標x’、y軸座標y’、およびz軸座標z’を有することができ、p’(x’,y’,z’)と表すことができる。詳しく説明すると、式1は、以下の式2により表すことができる。
Figure 0005735128
距離計算ユニット220によって計算されるユーザと仮想オブジェクトとの距離は、拡張現実エンジン240が拡張現実イメージを生成するときに使用され得る。
拡張現実エンジン240は、現実世界イメージ510と仮想オブジェクトのうちの1つまたは複数とを統合することによって拡張現実イメージを提供することができる。一例として、図3に示されるように、拡張現実エンジン240は、現実世界イメージ510のx軸、y軸、およびz軸、ならびにその中の現実オブジェクトのイメージまたは描写のx座標、y座標、およびz座標を使用して、現実世界イメージ510と仮想オブジェクト530から541を統合することにより、拡張現実イメージ520を提供するように構成されてもよい。
さらに、拡張現実エンジン240は、ユーザと仮想オブジェクト530〜541との距離を使用することによって、現実世界イメージ510と仮想オブジェクト530〜541を統合することができる。たとえば、ユーザからより小さい(近い)距離にある仮想オブジェクト530〜541のうちの一部は、ユーザからより大きい(遠い)距離にあるその他の仮想オブジェクト530〜541よりも大きく拡張現実イメージ520上に表示され得る。
図3を参照すると、一例として、仮想オブジェクト531は、仮想オブジェクト534よりも大きく拡張現実イメージ520上に表示される。したがって、ユーザは、仮想オブジェクト531に対応する現実オブジェクトが、仮想オブジェクト534に対応する現実オブジェクトよりもユーザの近くに位置するという事実が通知される。
メッセージ処理ユニット250は、拡張現実イメージ520上に表示される仮想オブジェクト530〜541に関連する1つまたは複数のメッセージを拡張現実エンジン240から受信することができる。そのようなメッセージは、少なくとも2つの部分を含むことができる。2つの部分のうちの1つはサウンドファイルであってもよく、2つの部分のうちのもう一方は、テキストデータ、グラフィカルデータ、または数値データのようなエンティティであってもよい(ただしこれらに限定されることはない)。後段において説明されるように、メッセージ処理ユニット250は、メッセージを含むことができる仮想オブジェクトの空間属性を、メッセージに含まれ得るサウンドファイルのオーディオ属性に変換することができる。さらに、サウンドファイルは、後段において言及するサウンドプレイヤー400によって再生され得る。
テキストデータは、広告、交通情報、方向、およびニュース報道を含む(ただし、これらに限定されることはない)任意の情報を含むことができる。さらに、グラフィカルデータは、警告アイコン
Figure 0005735128

などの記号またはアイコンを含むことができる。さらに、数値データは、拡張現実イメージの仮想オブジェクトのx座標、y座標、およびz座標であってもよく、仮想オブジェクトのx座標、y座標、およびz座標は、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによる仮想オブジェクトのユーザ選択である、ユーザ入力の位置(x,y,z)に対応することができる。
メッセージは、アクティブメッセージおよびパッシブメッセージを含むことができる。アクティブメッセージは、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによるユーザの仮想オブジェクトの選択には関わりなく、拡張現実イメージの仮想オブジェクトからユーザに自動的に配信可能なメッセージであってもよい。パッシブメッセージは、仮想オブジェクトの描写をタッチ、クリック、またはドラッグアンドドロップすることによるユーザの仮想オブジェクトの選択への応答として、拡張現実イメージの仮想オブジェクトからユーザに配信可能なメッセージであってもよい。パッシブメッセージは、拡張現実システムがユーザ選択を認識していることをユーザに通知するために、ユーザが仮想オブジェクトを選択することにより生成されてもよい。
アクティブメッセージは、仮想オブジェクト530〜541から提供されてもよく、拡張現実イメージ520上でユーザに配信されてもよい。アクティブメッセージを含む仮想オブジェクト530〜541は、仮想オブジェクトリポジトリ230に格納されてもよい。さらに、パッシブメッセージは、ユーザ入力に基づいて生成されてもよく、拡張現実イメージ520上でユーザに配信されてもよい。一例として、パッシブメッセージは、仮想オブジェクト530〜541に関連するユーザ入力に応じた、仮想オブジェクト530〜541のうちの1つからの応答であってもよい。関連するパッシブメッセージを含む仮想オブジェクト530〜541は、仮想オブジェクトリポジトリ230に格納されてもよい。
1つの実施形態において、アクティブおよびパッシブメッセージは仮想オブジェクト530〜541によって提供され、仮想オブジェクトリポジトリ230にそのような仮想オブジェクトと共に格納されてもよいが、一部の実施形態において、アクティブおよびパッシブメッセージは、拡張現実エンジン240によって仮想オブジェクト530〜541に関連付けられてもよい。たとえば、アクティブおよびパッシブメッセージは、仮想オブジェクトリポジトリ230とは別のリポジトリに格納されてもよい。拡張現実エンジン240は、別個のリポジトリから仮想オブジェクト530〜541に関連するアクティブおよびパッシブメッセージを取り出すことができ、それらと仮想オブジェクト530〜541を結合することができる。
メッセージ処理ユニット250は、拡張現実イメージ520を拡張現実エンジン240から受信することができる。1つの実施形態において、拡張現実イメージ520上の仮想オブジェクト530〜541は、アクティブメッセージを含むことができる。メッセージ処理ユニット250は、仮想オブジェクト530〜541に含まれているアクティブメッセージを受信することができ、受信したアクティブメッセージを拡張現実イメージ520上に表示することができる。たとえば、図4に示されるように、メッセージ処理ユニット250は、たとえば「バス10番は2分で到着します」などのテキストデータのエンティティデータを有することができる、仮想オブジェクト532に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ520上に表示することができる。さらに、メッセージ処理ユニット250は、たとえば「午前11時まで10%割引」などのテキストデータのエンティティデータを有することができる、仮想オブジェクト540に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ520上に表示することができる。さらに、メッセージ処理ユニット250は、たとえば
Figure 0005735128

などのグラフィカルデータのエンティティデータを有することができる、仮想オブジェクト535に含まれ得るアクティブメッセージを受信することができ、このメッセージを拡張現実イメージ520上に表示することができる。
ユーザ認識ユニット260は、拡張現実イメージ520上の仮想オブジェクト530〜541に関連するユーザ入力を認識することができる。一例として、ユーザ認識ユニット260は、表示ユニット300に表示される拡張現実イメージ520上の仮想オブジェクト530〜541に関連するユーザ入力を認識することができる。たとえば、ユーザ認識ユニット260は、タッチ表示ユニット300により行なわれたユーザ入力を認識することができる。
さらに、ユーザ認識ユニット260は、カメラによって取り込まれたユーザの指先と仮想オブジェクト530〜541との間の対話を認識するためのHandy Augmented Reality方式(T.LeeおよびT.Hollerer、2009年、Multithreaded Hybrid Feature Tracking for Markerless Augmented Reality、IEEE Transactions on Visualization and Computer Graphics 15、3(2009年5月)、355〜368)などのアルゴリズムを使用することにより、イメージ取込みユニット100によって取り込まれたユーザ入力を認識することができるが、これに限定されることはない。ここで、ユーザ認識ユニット260が、ユーザと仮想オブジェクト530〜541との間の対話を認識するためにHandy Augmented Reality方式以外のアルゴリズムを使用することができることは、当業者には明らかとなろう。
拡張現実イメージ520上の仮想オブジェクト530〜541に関連するユーザ入力が、表示ユニット300に入力される場合、パッシブメッセージが仮想オブジェクト530〜541から生成されてもよい。さらに、イメージ取込みユニット100によって取り込まれたユーザ入力が拡張現実イメージ520で入力される場合、パッシブメッセージが仮想オブジェクト530〜541から生成されてもよい。
メッセージ処理ユニット250の説明に戻って参照すると、メッセージ処理ユニット250は、拡張現実イメージ520を拡張現実エンジン240から受信することができる。ここで、拡張現実イメージ520上の仮想オブジェクト530〜541は、パッシブイメージを含むことができる。メッセージ処理ユニット250は、仮想オブジェクト530〜541に含まれるパッシブメッセージを受信することができる。
一例として、図5に示されるように、ユーザ560は、モバイルデバイス550に表示される拡張現実イメージ520上の仮想オブジェクト538に関連するユーザ入力を行なうことができる。ユーザ入力は、モバイルデバイス550上の仮想オブジェクト538の描写をタッチ、クリック、またはドラッグアンドドロップすることによる仮想オブジェクト538のユーザ選択であってもよい。ユーザ認識ユニット260は、モバイルデバイス550の画面からのユーザ入力を認識することができる。図5に示されるモバイルデバイス550は、携帯情報端末(PDA)、スマートフォン、タブレットコンピュータ、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、任意のタイプの無線または有線通信デバイス、およびポータブルマルチメディアプレイヤー(PMP)、またはその任意の組合せを含むことができるが、これらに限定されることはない。ユーザ入力が行なわれる場合、拡張現実イメージ520の仮想オブジェクト538のx、y、およびz座標のような数値データを有するパッシブメッセージは、仮想オブジェクト538のユーザ選択の位置(x、y、z)に基づいて生成されてもよい。ついで、メッセージ処理ユニット250は、仮想オブジェクト538から生成されたパッシブメッセージを受信することができる。パッシブメッセージは、ユーザと仮想オブジェクトとの間の通信のための内部データ構造であってもよく、したがってパッシブメッセージはモバイルデバイス550の画面には表示されないこともある。
図3から図5において、12の仮想オブジェクト530〜541が拡張現実イメージ520上に表示されているが、拡張現実イメージ520上に表示することが可能な仮想オブジェクトの数はそれだけに限定されない。さらに、図3から図5において拡張現実イメージ520上にはx軸、y軸、およびz軸が示されているが、それらは表示ユニット300に表示されないこともある。さらに、拡張現実イメージ520はモバイルデバイス550により表示されるように図5で示されているが、拡張現実イメージ520を表示するためのデバイスはモバイルデバイス550に限定されることはない。
図1に戻って参照すると、メッセージ処理ユニット250は、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することができる。空間属性は、本明細書において説明されるように、奥行き認識ユニット210によって取得され得る。空間属性は、第1の空間成分、第2の空間成分、および第3の空間成分を含むことができる。たとえば、第1の空間成分は仮想オブジェクトのx座標であってもよく、第2の空間成分は仮想オブジェクトのy座標であってもよく、第3の空間成分は仮想オブジェクトのz座標であってもよい。サウンドファイルのオーディオ属性は、第1のオーディオ成分、第2のオーディオ成分、および第3のオーディオ成分を含むことができる。一例として、第1のオーディオ成分はサウンドファイルのトーン成分であってもよく、第2のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第3のオーディオ成分はサウンドファイルの音量成分であってもよい。1つの実施形態において、トーン成分は、さまざまな楽器に関連付けられているサウンドの使用を通じて実施可能である。たとえば、低いトーン成分はピアノサウンドによって指示され得、一方高いトーン成分はバイオリンサウンドによって指示され得る。トーン成分を指示する任意の他の手段、もしくはトーン成分に関連付けられ得るその他のサウンドまたはサウンドの組合せは、本開示の範囲内に含まれるものと見なされる。
第1、第2、および第3の空間成分は、それぞれ、x座標、y座標、およびz座標であると説明されているが、これらは例示に過ぎず、これらに限定されることはない。さらに、第1、第2、および第3のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であると説明されてもよいが、これらは例示に過ぎず、これらに限定されることはない。
メッセージ処理ユニット250は、第1の空間成分、第2の空間成分、および第3の空間成分を、それぞれ第1のオーディオ成分、第2のオーディオ成分、および第3のオーディオ成分に変換することができる。たとえば、メッセージ処理ユニット250は、仮想オブジェクトのx座標、y座標、およびz座標を、それぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に変換することができる。
しかし、本明細書において説明されるように、x座標、y座標、およびz座標が必ずしもそれぞれ第1、第2、および第3の空間成分であるとは限らず、トーン成分、ピッチ成分、および音量成分が必ずしもそれぞれ第1、第2、および第3のオーディオ成分であるとは限らないので、x座標、y座標、およびz座標とトーン成分、ピッチ成分、および音量成分との間の変換の関係は変わる場合もある。たとえば、メッセージ処理ユニット250は、仮想オブジェクトのx座標、y座標、およびz座標を、それぞれ、サウンドファイルのピッチ成分、音量成分、およびトーン成分に変換することができる。さらに、メッセージ処理ユニット250は、仮想オブジェクトのx座標、y座標、およびz座標を、それぞれ、サウンドファイルの音量成分、トーン成分、およびピッチ成分に変換することができる。
メッセージ処理ユニット250は、サウンドマッピングテーブルを使用して、仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換することができる。サウンドマッピングテーブルは、空間属性とオーディオ属性の関係を指示する関数式を含むことができる。
図6は、本明細書において説明される少なくとも一部の実施形態によるサウンドマッピングテーブル600の具体的な例を示す。図6に示されるように、サウンドマッピングテーブル600は、空間属性の各々の空間成分とオーディオ属性の各々のオーディオ成分との関係を定義する関数式を含むことができる。一例として、x座標とトーン成分の関係は、t=f(x)の関数式により定義され得る。したがって、t=f(x)の関数式を使用することにより、メッセージ処理ユニット250は、仮想オブジェクトのx座標を、サウンドファイルのトーン成分に変換することができる。
同様に、x座標とピッチ成分の関係は、p=f(x)の関数式により定義され得、x座標と音量成分の関係は、v=f(x)の関数式により定義され得る。さらに、y座標とトーン成分の関係は、t=f(y)の関数式により定義され得、y座標とピッチ成分の関係は、p=f(y)の関数式により定義され得、y座標と音量成分の関係は、v=f(y)の関数式により定義され得る。さらに、z座標とトーン成分の関係は、t=f(z)の関数式により定義され得、z座標とピッチ成分の関係は、p=f(z)の関数式により定義され得、z座標と音量成分の関係は、v=f(z)の関数式により定義され得る。
図6において、サウンドマッピングテーブル600は、x座標、y座標、およびz座標の各々とトーン成分、ピッチ成分、および音量成分の各々との関係を定義する9つの異なる関数式を含むが、関数式の数はこれに限定されることはない。一例として、x座標とトーン成分の関係、x座標とピッチ成分の関係、およびx座標と音量成分の関係はすべて、f(x)により定義され得る。
図7は、図6に示されるサウンドマッピングテーブル600に含まれる関数式のグラフの具体的な例を示す。図7に示されるように、グラフのx軸は仮想オブジェクトの空間属性を表し、グラフのy軸はサウンドファイルのオーディオ属性を指示する。図7のグラフ1は1+log10(x)のグラフであり、グラフ2は1+x/10のグラフであり、グラフ3は1−x/10のグラフであり、グラフ4は1−log10(x)のグラフである。一例として、サウンドマッピングテーブル600に含まれるfn(f(x)、f(x)、f(x)、f(y)、f(y)、f(y)、f(z)、f(z)、およびf(z))は、図7のグラフ1からグラフ4のうちの任意の1つとすることができる。fがグラフ1から4のうちの任意の1つであると図7を参照して説明されているが、fはこれに限定されることはない。
図8は、本明細書において説明される少なくとも一部の実施形態によるサウンドマッピングテーブル700を示す。サウンドマッピングテーブル700は、空間属性とオーディオ属性の関係を示すルックアップテーブルを含むことができる。仮想オブジェクトのx座標、y座標、およびz座標がそれぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に対応することがサウンドマッピングテーブル700で示されているが、x座標、y座標、およびz座標とトーン成分、ピッチ成分、および音量成分との間の対応はこれに限定されることはない。さらに、仮想オブジェクトのx軸、y軸、およびz軸は図8に示されるサウンドマッピングテーブル700においてセンチメートル(cm)単位で分割可能であるが、単位はこれに限定されることはない。すなわち、仮想オブジェクトの空間属性は、cmよりも小さい単位で分割されても、または大きい単位で分割されてもよい。
図1に戻って参照すると、第1のサウンドファイルリポジトリ270は、第1のサウンドマッピングテーブルを含むことができる。メッセージ処理ユニット250が、アクティブメッセージを有する仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット250は、第1のサウンドマッピングテーブルを使用することができる。一例として、図4に戻って参照すると、メッセージ処理ユニット250が、仮想オブジェクト532および540のうちの1つの空間属性を、対応するサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット250は、第1のサウンドマッピングテーブルを使用することができる。
第2のサウンドファイルリポジトリ280は、第2のサウンドマッピングテーブルを含むことができる。メッセージ処理ユニット250が、パッシブメッセージに関連する仮想オブジェクトの空間属性をサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット250は、第2のサウンドマッピングテーブルを使用することができる。たとえば、図5に戻って参照すると、メッセージ処理ユニット250が、仮想オブジェクト531および538のうちの1つの空間属性を、対応するサウンドファイルのオーディオ属性に変換する場合、メッセージ処理ユニット250は、第2のサウンドマッピングテーブルを使用することができる。
図1において、拡張現実モジュール200は、メッセージ処理ユニット250が、アクティブメッセージを含む仮想オブジェクトの空間属性をオーディオ属性に変換する場合に使用する第1のサウンドマッピングテーブルを有する第1のサウンドファイルリポジトリ270、およびメッセージ処理ユニット250が、パッシブメッセージに関連する仮想オブジェクトの空間属性をオーディオ属性に変換する場合に使用する第2のサウンドマッピングテーブルを有する第2のサウンドファイルリポジトリ280を含むことができる。しかし、拡張現実モジュール200が、アクティブメッセージに関連する仮想オブジェクトの空間属性、およびパッシブメッセージに関連する仮想オブジェクト530〜541の空間属性がオーディオ属性に変換される場合に共通に使用される単一のサウンドマッピングテーブルを有する単一のサウンドファイルリポジトリを含むことができることは、当業者には明らかとなろう。
表示ユニット300は、拡張現実イメージ520およびメッセージを表示することができる。一例として、表示ユニット300は、拡張現実イメージ520、および拡張現実イメージ520上の仮想オブジェクト530〜541に関連するメッセージを表示することができる。さらに、表示ユニット300は、携帯情報端末(PDA)、スマートフォン、携帯電話、またはポータブルマルチメディアプレイヤー(PMP)のようなモバイルデバイスの画面、デジタルカメラの画面、コンピュータモニタ、ノートブックまたはタブレットプコンピュータの画面などを含むことができる。表示ユニット300は、ユーザ入力を受信することができる。たとえば、ユーザは、表示ユニット300に表示される拡張現実イメージ520上の仮想オブジェクト530〜541の1つまたは複数をタッチ、クリック、またはドラッグアンドドロップすることにより、ユーザ入力または選択を入力することができる。
サウンドプレイヤー400は、サウンドファイルを再生することができる。本明細書において説明されるように、メッセージ処理ユニット250は、拡張現実イメージ520上の仮想オブジェクト530〜541の空間属性を1つまたは複数のサウンドファイルのオーディオ属性に変換することができる。サウンドプレイヤー400は、メッセージ処理ユニット250によって変換されたオーディオ属性を含むそのようなサウンドファイルを再生することができる。サウンドファイルは、仮想オブジェクト530〜541に含まれるメッセージに含まれてもよい。したがって、サウンドプレイヤー400は、メッセージを有する仮想オブジェクト530〜541の位置に従って異なるサウンドファイルを再生することができる。たとえば、サウンドプレイヤー400は、メッセージがユーザに配信されるとき、異なるサウンドファイルを再生することができる。
一部の実施形態において、サウンドプレイヤー400は、メッセージ処理ユニット250によって変換されたトーン成分、ピッチ成分、および音量成分を含むサウンドファイルを作成することができる。一例として、基本のトーン成分、ピッチ成分、および音量成分を有する少なくとも1つの基本サウンドファイルは、別個のリポジトリに格納されてもよい。さらに、サウンドプレイヤー400は、別個のリポジトリから基本サウンドファイルを取り出して、メッセージ処理ユニット250によって変換されたトーン成分、ピッチ成分、および音量成分に従って、取り出されたサウンドファイルの基本のトーン成分、ピッチ成分、および音量成分を調整し、調整されたトーン成分、ピッチ成分、および音量成分を有するサウンドファイルを再生することができる。
一部の実施形態において、サウンドファイルは、別個のデータベースに格納することもできる。たとえば、各々が異なるトーン成分、ピッチ成分、および音量成分を有する複数のサウンドファイルが、別個のデータベースに格納されてもよい。サウンドプレイヤー400は、メッセージ処理ユニット250によって変換されたトーン成分、ピッチ成分、および音量成分を有するサウンドファイルを別個のデータベースから取り出して、取り出したサウンドファイルを再生することができる。さらに、アクティブメッセージに関連するサウンドファイル、およびパッシブメッセージに関連するサウンドファイルは、異なるデータベースに格納されてもよい。
サウンドプレイヤー400によるサウンドファイルの再生について、図4および図5を参照してさらに詳細に説明される。一例として拡張現実イメージ520上の仮想オブジェクトの第1の空間成分、第2の空間成分、および第3の空間成分は、それぞれ、x座標、y座標、およびz座標であると仮定する。さらに、サウンドファイルの第1のオーディオ成分、第2のオーディオ成分、および第3のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であると仮定する。したがって、メッセージ処理ユニット250は、x座標、y座標、およびz座標を、それぞれ、トーン成分、ピッチ成分、および音量成分に変換する。
図4を参照すると、拡張現実イメージ520上の仮想オブジェクト532は、仮想オブジェクト540と比較すると、より小さいx座標、より小さいy座標、およびより大きいz座標を有することができる。したがって、仮想オブジェクト532に関連するサウンドファイルは、仮想オブジェクト540に関連するサウンドファイルと比較すると、より低いトーン成分、より低いピッチ成分、より大きい音量成分を有することができる。たとえば、表示ユニット300が仮想オブジェクト532のアクティブメッセージおよび仮想オブジェクト540のアクティブメッセージを表示する場合、サウンドプレイヤー400は、それぞれの仮想オブジェクト532および540の空間属性に対応するオーディオ属性を有するサウンドファイルを再生することができる。仮想オブジェクト532に関連するサウンドファイルは、仮想オブジェクト540に関連するサウンドファイルよりも、低いトーン成分、低いピッチ成分、大きい音量成分を有するので、ユーザは、再生されたサウンドファイルを聴く場合に(すなわち、2つのサウンドファイルの異なるトーン、ピッチ、および音量により)仮想オブジェクト532と540との相対的位置関係について通知され得る。
図5を参照すると、拡張現実イメージ520上の仮想オブジェクト531は、仮想オブジェクト538と比較すると、より小さいx座標、より小さいz座標、および同じy座標を有することができる。したがって、仮想オブジェクト531に関連するサウンドファイルは、仮想オブジェクト538に関連するサウンドファイルと比較すると、より低いトーン成分、より小さい音量成分、および同じピッチ成分を有することができる。たとえば、仮想オブジェクト531のパッシブメッセージおよび仮想オブジェクト538のパッシブメッセージがユーザに配信される場合、サウンドプレイヤー400は、それぞれの仮想オブジェクト531および538の空間属性に対応するオーディオ属性を有するサウンドファイルを再生することができる。仮想オブジェクト531に関連するサウンドファイルは、仮想オブジェクト538に関連するサウンドファイルよりも、低いトーン成分、小さい音量成分、および同じピッチ成分を有するので、ユーザは、再生されたサウンドファイルを聴く場合に仮想オブジェクト531と538との相対的位置関係について通知される。
本明細書において説明されるように、メッセージ処理ユニット250は、サウンドマッピングテーブル600に含まれる関数式を使用して、仮想オブジェクト530〜541の空間属性をオーディオ属性に変換することができる。一例として、メッセージ処理ユニット250は、x座標、y座標、およびz座標を、それぞれ、トーン成分、ピッチ成分、および音量成分に変換する場合に、図7に示されるグラフ1に対応する関数式を使用することができる。そのような場合、グラフ1は対数関数であるため、x軸、y軸、およびz軸の座標がたとえ若干変化しても、大きく異なることがある。したがって、それぞれの仮想オブジェクト530〜541に対応するサウンドファイルは、拡張現実イメージ520上の仮想オブジェクト530〜541の位置に応じて明瞭に区別され得る。そのため、ユーザは、サウンドファイルを聴いている間、拡張現実イメージ520上の仮想オブジェクト530〜541の間の相対的位置をより簡単に区別することができる。さらに、アクティブメッセージに関連するサウンドファイルが、パッシブメッセージに関連するサウンドファイルと区別される場合、ユーザは、サウンドファイルを聴くことによってアクティブメッセージが生成されるか、またはパッシブメッセージが生成されるかについて通知され得る。
これまで、拡張現実イメージ520上の仮想オブジェクト530〜541の空間属性が第1、第2、および第3の空間成分を含み、サウンドファイルのオーディオ属性が第1、第2、および第3のオーディオ成分を含むことが説明されてきた。しかし、拡張現実イメージ上の仮想オブジェクトの空間属性は、第3の空間成分を有することなく、第1および第2の空間成分のみを含むことができる。さらに、サウンドファイルのオーディオ属性は、第3のオーディオ成分を有することなく、第1および第2のオーディオ成分のみを含むことができる。一例として、第1の空間成分は仮想オブジェクトのx座標であってもよく、第2の空間成分は仮想オブジェクトのz座標であってもよい。さらに、第1のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第2のオーディオ成分はサウンドファイルの音量成分であってもよい。
ここで、第1の空間成分が仮想オブジェクトのy座標またはz座標であってもよく、第2の空間成分が仮想オブジェクトのx座標またはy座標であってもよく、第1のオーディオ成分がサウンドファイルのトーン成分または音量成分であってもよく、第2のオーディオ成分がサウンドファイルのピッチ成分またはトーン成分であってもよいことが、当業者には明らかとなろう。
メッセージ処理ユニット250は、第1の空間成分および第2の空間成分を、それぞれ第1のオーディオ成分および第2のオーディオ成分に変換することができる。たとえば、メッセージ処理ユニット250は、仮想オブジェクトのx座標をサウンドファイルのピッチ成分に変換することができ、仮想オブジェクトのz座標をサウンドファイルの音量成分に変換することができる。
サウンドプレイヤー400は、サウンドファイルを作成することができる。一例として、サウンドプレイヤー400は、メッセージ処理ユニット250によって変換されたピッチ成分および音量成分を有するサウンドファイル、メッセージ処理ユニット250によって変換された、トーン成分およびピッチ成分を有するサウンドファイル、および/またはトーン成分および音量成分を有するサウンドファイルを作成することができ、作成したサウンドファイルを再生することができる。
図9は、拡張現実システムにより生成される拡張現実イメージの具体的な例を示す。拡張現実イメージ820は、モバイルデバイス810に表示され得る。拡張現実イメージ820上に表示される仮想オブジェクト821〜829は、ピアノの鍵盤を示すことができる。仮想オブジェクト821〜829は各々、空間属性を含むことができる。各々の仮想オブジェクト821〜829の空間属性は、第1の空間成分および第2の空間成分を含むことができる。一例として、第1の空間成分は各々の仮想オブジェクト821〜829のx座標であってもよく、第2の空間成分は各々の仮想オブジェクト821〜829のz座標であってもよい。ここで、拡張現実イメージ820のz軸は、仮想オブジェクト821から829が押し下げられる深さ方向を示すことができる。
メッセージ処理ユニット250は、各々の仮想オブジェクト821〜829の第1の空間成分および第2の空間成分を、サウンドファイルの第1のオーディオ成分および第2のオーディオ成分に変換することができる。一例として、サウンドファイルの第1のオーディオ成分はサウンドファイルのピッチ成分であってもよく、第2のオーディオ成分はサウンドファイルの音量成分であってもよい。
ユーザが仮想オブジェクト821から829にユーザ入力を入力する場合、メッセージ処理ユニット250は、ユーザ入力が入力される各々の仮想オブジェクト821〜829の第1および第2の空間成分を、サウンドファイルの第1および第2のオーディオ成分に変換することができる。ついで、サウンドプレイヤー400は、メッセージ処理ユニット250によって変換された第1および第2のオーディオ成分を有するサウンドファイルを再生することができる。
仮想オブジェクト821〜829のx座標は、仮想オブジェクト821から仮想オブジェクト829へと増大することができ、仮想オブジェクト821〜829に関連するサウンドファイルは、仮想オブジェクト821から829の順により高いピッチ成分を有することができる。さらに、仮想オブジェクト821〜829のz座標が増大するのに応じて、それらのサウンドファイルはより大きい音量成分を有することができる。一例として、ユーザが、より強く、またはより長い時間、仮想オブジェクト821〜829を押し下げると、サウンドファイルはより大きい音量成分を有することができる。
図10は、本明細書において説明される少なくとも一部の実施形態による仮想オブジェクトに関連するサウンドファイルを再生するための方法の流れ図を示す。図10の方法は、たとえば、上記で説明される拡張現実システムを使用して実施され得る。例示の方法は、ブロックS910、S920、S930、S940および/またはS950のうちの1つまたは複数によって示される1つまたは複数の操作、アクション、または機能を含むことができる。別個のブロックとして示されているが、さまざまなブロックは、望ましい実装形態に応じて、追加のブロックに分割されても、より少ないブロックに結合されても、または除去されてもよい。
ブロックS910において、拡張現実システムは、1つまたは複数の現実世界イメージを取り込むように構成され得る。現実世界イメージは、建物、木、公園、地下鉄駅などのさまざまな現実オブジェクトを示す、または描写することができる。
ブロックS920において、拡張現実システムは、ブロックS910において取り込まれた現実世界イメージと1つまたは複数の仮想オブジェクトとを統合することによって拡張現実イメージを提供するように構成され得る。拡張現実イメージにおいて、ユーザにより接近して位置する仮想オブジェクトは、ユーザから離れて位置する仮想オブジェクトよりも大きくなるように示すことができる。
ブロックS930において、拡張現実システムは、仮想オブジェクトに関連するメッセージを受信するように構成され得る。本明細書において説明されるように、メッセージは、アクティブメッセージおよび/またはパッシブメッセージを含むことができる。
ブロックS940において、拡張現実システムは、仮想オブジェクトの空間属性を、サウンドファイルのオーディオ属性に変換するように構成され得る。仮想オブジェクトの空間属性は、第1の空間成分、第2の空間成分、および第3の空間成分を含むことができる。サウンドファイルのオーディオ属性は、第1のオーディオ成分、第2のオーディオ成分、および第3のオーディオ成分を含むことができる。
一例として、仮想オブジェクトの第1の空間成分、第2の空間成分、および第3の空間成分は、それぞれ、仮想オブジェクトのx座標、y座標、およびz座標であってもよい。さらに、サウンドファイルの第1のオーディオ成分、第2のオーディオ成分、および第3のオーディオ成分は、それぞれ、トーン成分、ピッチ成分、および音量成分であってもよい。しかし、第1、第2、および第3の空間成分と、x座標、y座標、およびz座標との間の対応が変更可能であることは、当業者には明らかとなろう。さらに、第1、第2、および第3のオーディオ成分と、トーン成分、ピッチ成分、および音量成分との間の対応が変更可能であることも、当業者には明らかとなろう。
ブロックS940において、拡張現実システムは、サウンドマッピングテーブルを使用することにより、第1、第2、および第3の空間成分を、それぞれ第1、第2、および第3のオーディオ成分に変換するように構成され得る。一例として、拡張現実システムは、仮想オブジェクトのx座標、y座標、およびz座標を、それぞれ、サウンドファイルのトーン成分、ピッチ成分、および音量成分に変換することができる。
ブロックS950において、拡張現実システムは、ブロックS940において変換されたオーディオ属性を有するサウンドファイルを再生するように構成され得る。一例として、ユーザが拡張現実イメージ上の仮想オブジェクトにタッチする場合、または仮想オブジェクトが自身にアクティブメッセージを関連付けている場合、仮想オブジェクトの空間属性はサウンドファイルのオーディオ属性に変換されてもよく、拡張現実システムは、変換されたオーディオ属性を有するサウンドファイルを再生することができる。
一部の実施形態において、ブロックS930からS950において、拡張現実システムは、アクティブメッセージを有する仮想オブジェクトを処理した後にパッシブメッセージを有する仮想オブジェクトを処理するように構成され得る。しかし、変換の順序は上記に限定されることはなく、拡張現実システムは、アクティブメッセージを有する仮想オブジェクトを処理する前にパッシブメッセージを有する仮想オブジェクトを処理するように構成され得る。さらに、拡張現実システムは、メッセージが生成される順序に従って仮想オブジェクトを処理するように構成され得る。
本開示は、本出願において説明される特定の実施形態に関して限定されるべきではなく、実施形態はさまざまな態様を例示することを目的としている。当業者には明らかであるように、その精神および範囲を逸脱することなく多くの変更および変形が行なわれてもよい。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に等価の方法および装置は、上記の説明から当業者には明らかとなるであろう。そのような変更形態および変形形態は、添付の特許請求の範囲内に含まれることが意図される。本開示は、添付の特許請求の範囲の条項、ならびにそのような特許請求の範囲が権利を有する等価物の全範囲によってのみ限定されるものとする。本開示が特定の方法またはシステムに限定されないことを理解されたい。さらに、本明細書において使用される用語は、特定の実施形態を説明することを目的としており、限定的であることを意図していないことも理解されたい。
例示的な実施形態において、本明細書において説明される操作、プロセスなどはいずれも、コンピュータ可読媒体に格納されたコンピュータ可読命令として実施されてもよい。コンピュータ可読命令は、モバイルユニット、ネットワーク要素、および/またはその他のコンピューティングデバイスのプロセッサによって実行可能である。
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に(いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で)コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび/またはシステムおよび/または他の技術をもたらすことができるさまざまな達成手段があってもよく(たとえば、ハードウェア、ソフトウェア、および/またはファームウェア)、好ましい達成手段は、プロセスおよび/またはシステムおよび/または他の技術が導入される状況によって異なってもよい。たとえば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび/またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。代替案として、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアのなんらかの組合せを選択することができる。
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組合せにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、および/または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(たとえば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(たとえば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー(登録商標)ディスク、ハードディスクドライブ、CD、DVD、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)の通信タイプの媒体が含まれるが、それらには限定されない。
本明細書で説明したやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドもしくはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/またはフィードバックループおよびコントロールモータを含むコントロールシステム(たとえば、位置検知用および/もしくは速度検知用フィードバック、コンポーネントの移動用および/もしくは数量の調整用コントロールモータ)を含むことができることを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング/通信システムおよび/またはネットワークコンピューティング/通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。
本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例に過ぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現され得るように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および/もしくは物理的に相互作用するコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
本明細書における実質的にすべての複数形および/または単数形の用語の使用に対して、当業者は、状況および/または用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
通常、本明細書において、特に添付の特許請求の範囲(たとえば、添付の特許請求の範囲の本体部)において使用される用語は、全体を通じて「オープンな(open)」用語として意図されていることが、当業者には理解されよう(たとえば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は、「含むがそれに限定されない(includes but is not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つまたは複数の」または「少なくとも1つの」および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない(たとえば、「a」および/または「an」は、「少なくとも1つの」または「1つまたは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(たとえば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、少なくとも2つの記載、または2つ以上の記載を意味する)。さらに、「A、BおよびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。「A、B、またはC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(たとえば、「A、B、またはCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されない)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「AまたはB」は、「A」または「B」あるいは「AおよびB」の可能性を含むことが理解されよう。
加えて、本開示の特徴または態様がマーカッシュ形式のグループに関して説明される場合、それにより本開示がまた、マーカッシュ形式のグループの任意の個々の構成要素または構成要素のサブグループに関しても説明されることを、当業者は理解するであろう。
たとえば本明細書を提供するという観点から、任意およびすべての目的のため、当業者によって理解されるであろうように、本明細書において開示されるあらゆる範囲はまた、任意およびすべての可能な下位範囲およびその下位範囲の組合せを網羅する。任意の一覧される範囲は、同範囲が少なくとも等価の2分の1、3分の1、4分の1、5分の1、10分の1などに分割されることを十分に説明および可能にするものと容易に理解される。非限定的な例として、本明細書において説明される各範囲は、下3分の1、中3分の1、および上3分の1などに容易に分割されてもよい。当業者によって理解されるであろうように、「最大(up to)」、「少なくとも(at least)」、「よりも大きい(greater than)」、「よりも少ない(less than)」などのようなすべての表現は、列挙される数を含み、引き続き上記で説明されている下位範囲に分割されてもよい範囲を示す。最後に、当業者に理解されるであろうように、範囲は個々の構成要素を含む。したがって、たとえば、1〜3個のセルを有するグループは、1個、2個、または3個のセルを有するグループを示す。同様に、1〜5個のセルを有するグループは、1個、2個、3個、4個、または5個のセルを有するグループを示し、以下同様である。
本明細書においてさまざまな態様および実施形態が開示されてきたが、その他の態様および実施形態は当業者には明らかとなろう。本明細書において開示されるさまざまな態様および実施形態は、説明のためのものであって、限定的であることを意図しておらず、真の範囲および精神は後段の特許請求の範囲により示される。

Claims (20)

  1. 命令を含むメモリと、
    前記メモリと接続し、プロセッサによって実行可能であって、現実世界イメージと仮想オブジェクトを統合することによって拡張現実イメージを提供するように構成された拡張現実エンジンと、
    前記メモリと接続し、前記プロセッサによって実行可能な処理ユニットを備え、
    記処理ユニットは、
    前記仮想オブジェクトの空間属性としてx軸成分、y軸成分、およびz軸成分を取得し、
    前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの1つを決定し、
    前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成する
    拡張現実システム。
  2. 記処理ユニットは、さらに、
    前記仮想オブジェクトに関連するメッセージを受信する、請求項1に記載の拡張現実システム。
  3. 前記サウンドファイルを再生するように構成されたサウンドプレイヤーをさらに備える、請求項1に記載の拡張現実システム。
  4. 前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項2に記載の拡張現実システム。
  5. 第1のサウンドマッピングテーブルを格納するように構成された第1のサウンドファイルリポジトリと、
    第2のサウンドマッピングテーブルを格納するように構成された第2のサウンドファイルリポジトリとをさらに備え、
    記処理ユニットは、前記第1のサウンドマッピングテーブルを使用して、前記アクティブメッセージに関連する前記仮想オブジェクトの前記空間属性から前記オーディオ属性を決定し、前記第2のサウンドマッピングテーブルを使用して、前記パッシブメッセージに関連する前記仮想オブジェクトの前記空間属性から前記オーディオ属性を決定するようにさらに構成されている、
    請求項4に記載の拡張現実システム。
  6. サウンドマッピングテーブルを格納するように構成されたサウンドファイルリポジトリをさらに備え、
    記処理ユニットは、前記サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定するようにさらに構成されている、
    請求項1に記載の拡張現実システム。
  7. 前記サウンドマッピングテーブルは、前記空間属性のうちの1つと前記オーディオ属性のうちの1つとの関係を示す関数式を備える、請求項6に記載の拡張現実システム。
  8. 取り込まれた現実世界イメージの空間属性を認識するように構成された奥行き認識ユニットと、
    ユーザと前記仮想オブジェクトとの距離を、取り込まれた現実世界イメージの前記空間属性に基づいて計算するように構成された距離計算ユニットと
    をさらに備える、請求項1に記載の拡張現実システム。
  9. 前記拡張現実イメージおよび前記メッセージを表示するように構成された表示ユニットをさらに備える、請求項に記載の拡張現実システム。
  10. イメージ取込みユニットによって取り込まれたユーザの振る舞いを認識するように構成されたユーザ認識ユニット
    をさらに備える、請求項1に記載の拡張現実システム。
  11. 拡張現実システムの制御の下に実行される方法であって、
    仮想オブジェクトの空間属性としてx軸成分、y軸成分、およびz軸成分を取得し、前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの1つを決定し、前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成する
    ことを含む、方法。
  12. 前記方法は、さらに、
    前記仮想オブジェクトに関連するメッセージを受信することを含む、請求項11に記載の方法。
  13. 前記サウンドファイルを再生することをさらに含む、請求項11に記載の方法。
  14. 前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項12に記載の方法。
  15. 前記決定することは、サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定することを含む、請求項11に記載の方法。
  16. プロセッサに実行させるプログラムが記録されたコンピュータ可読ストレージ媒体であって、前記プログラム前記プロセッサに、
    仮想オブジェクトの空間属性としてx軸成分、y軸成分、およびz軸成分を取得させ、前記空間属性の各成分から他の空間属性の成分とは重複しないようにオーディオ属性のトーン成分、ピッチ成分、および音量成分のうちの1つを決定させ、前記仮想オブジェクトに関するサウンドファイルであって、前記トーン成分、前記ピッチ成分、および前記音量成分を含む前記オーディオ属性から成るサウンドファイルを構成させる、
    コンピュータ可読ストレージ媒体。
  17. 前記プログラムは、前記プロセッサに、さらに、
    前記仮想オブジェクトに関連するメッセージを受信させる、請求項16に記載のコンピュータ可読ストレージ媒体。
  18. 前記プログラムが、前記プロセッサにさらに、前記サウンドファイルを再生させる、請求項16に記載のコンピュータ可読ストレージ媒体。
  19. 前記メッセージは、前記仮想オブジェクトから生成されたアクティブメッセージと、前記仮想オブジェクトのユーザ入力から生成されたパッシブメッセージとを備える、請求項17に記載のコンピュータ可読ストレージ媒体。
  20. 前記プログラムが、前記プロセッサにさらに、サウンドマッピングテーブルを使用して、前記空間属性から前記オーディオ属性を決定させる、請求項16に記載のコンピュータ可読ストレージ媒体。
JP2013541969A 2010-12-02 2010-12-02 拡張現実システム Expired - Fee Related JP5735128B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/058675 WO2012074528A1 (en) 2010-12-02 2010-12-02 Augmented reality system

Publications (2)

Publication Number Publication Date
JP2014507020A JP2014507020A (ja) 2014-03-20
JP5735128B2 true JP5735128B2 (ja) 2015-06-17

Family

ID=46162966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541969A Expired - Fee Related JP5735128B2 (ja) 2010-12-02 2010-12-02 拡張現実システム

Country Status (5)

Country Link
US (2) US8660679B2 (ja)
JP (1) JP5735128B2 (ja)
KR (1) KR101458939B1 (ja)
CN (1) CN103201731B (ja)
WO (1) WO2012074528A1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
AU2013308384A1 (en) * 2012-08-28 2015-03-26 University Of South Australia Spatial Augmented Reality (SAR) application development system
JP6007712B2 (ja) * 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9946963B2 (en) * 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
JP6245837B2 (ja) * 2013-04-30 2017-12-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10523454B2 (en) * 2013-06-13 2019-12-31 Evernote Corporation Initializing chat sessions by pointing to content
CN104281959A (zh) * 2013-07-09 2015-01-14 永庆房屋仲介股份有限公司 对象显示方法及其系统
US9361733B2 (en) 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
KR102161510B1 (ko) 2013-09-02 2020-10-05 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR102206060B1 (ko) 2013-11-19 2021-01-21 삼성전자주식회사 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
KR101459005B1 (ko) * 2014-05-29 2014-11-07 (주)이지스 3차원 지도의 관심지점 표시 제어 방법
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
US9724605B2 (en) 2014-08-12 2017-08-08 Utherverse Digital Inc. Method, system and apparatus of recording and playing back an experience in a virtual worlds system
CN104240096A (zh) * 2014-08-27 2014-12-24 小米科技有限责任公司 信息显示方法及装置、电子设备
KR102226817B1 (ko) * 2014-10-01 2021-03-11 삼성전자주식회사 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치
WO2016056680A1 (ko) * 2014-10-06 2016-04-14 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
WO2016079960A1 (en) * 2014-11-18 2016-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
KR101588409B1 (ko) 2015-01-08 2016-01-25 (주)천일전자 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
CN106445088B (zh) * 2015-08-04 2020-05-22 上海宜维计算机科技有限公司 现实增强的方法及系统
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN105472284A (zh) * 2015-11-27 2016-04-06 厦门正景智能工程有限公司 一种儿童动画虚实结合互动的系统及方法
CN105910614B (zh) * 2016-03-30 2019-10-22 宁波元鼎电子科技有限公司 一种健康型的虚拟现实的步行导航方法与系统
CN105910615B (zh) * 2016-03-30 2019-08-30 上海工业控制安全创新科技有限公司 一种基于虚拟现实的步行导航方法与系统
CN105910616B (zh) * 2016-03-30 2019-04-12 南京天枢星图信息技术有限公司 一种改进型的基于虚拟现实的步行导航方法与系统
CN105910613B (zh) * 2016-03-30 2019-10-22 宁波元鼎电子科技有限公司 一种自适应的基于虚拟现实的步行导航方法与系统
EP3443441A1 (en) * 2016-04-12 2019-02-20 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
CN106127858B (zh) * 2016-06-24 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
EP3481519A1 (en) * 2016-07-05 2019-05-15 Lego A/S Method for creating a virtual object
US20190258313A1 (en) * 2016-11-07 2019-08-22 Changchun Ruixinboguan Technology Development Co., Ltd. Systems and methods for interaction with an application
WO2018119701A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 导航界面显示方法和装置
US9841814B1 (en) * 2017-01-27 2017-12-12 Emergent AR Platforms Corp. Intentional user experience
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
WO2019082050A1 (ru) * 2017-10-23 2019-05-02 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационных системах с использованием сообщения-истории дополненной реальности
CN109839105A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于增强现实的位置导航方法及系统
CN108010133A (zh) * 2017-12-18 2018-05-08 快创科技(大连)有限公司 一种基于增强现实的地铁交通管理系统
CN108109211A (zh) * 2017-12-18 2018-06-01 快创科技(大连)有限公司 一种基于增强现实和色差分析技术的地铁交通管理系统
CA3090178A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
TWI690826B (zh) * 2018-05-23 2020-04-11 國立臺灣師範大學 擴增內容的產生方法
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US11080941B2 (en) * 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
US10990251B1 (en) * 2019-11-08 2021-04-27 Sap Se Smart augmented reality selector
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
US11361735B1 (en) * 2020-04-15 2022-06-14 Apple Inc. Head-mountable device with output for distinguishing virtual and physical objects
WO2021243098A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
GB2374501B (en) 2001-01-29 2005-04-13 Hewlett Packard Co Facilitation of clear presenentation in audio user interface
US6741883B2 (en) 2002-02-28 2004-05-25 Houston Stereotactic Concepts, Inc. Audible feedback from positional guidance systems
JP3813919B2 (ja) * 2002-11-07 2006-08-23 株式会社東芝 音情報生成システム及び音情報生成方法
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4389501B2 (ja) * 2003-07-29 2009-12-24 ヤマハ株式会社 画像処理装置
JP4277646B2 (ja) * 2003-10-23 2009-06-10 日産自動車株式会社 ナビゲーション装置
GB2414369B (en) * 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
US20110111849A1 (en) * 2005-12-06 2011-05-12 Microvision, Inc. Spatially Aware Mobile Projection
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
JP2008076765A (ja) * 2006-09-21 2008-04-03 Xing Inc 演奏システム
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
JP4729531B2 (ja) * 2007-05-18 2011-07-20 富士通株式会社 空間情報サービス用のサーバ装置
JP2011514986A (ja) * 2008-03-11 2011-05-12 ミーサ デジタル ピーティーワイ リミテッド デジタル楽器
US20090237492A1 (en) 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems

Also Published As

Publication number Publication date
KR101458939B1 (ko) 2014-11-07
US20140126724A1 (en) 2014-05-08
US8660679B2 (en) 2014-02-25
WO2012074528A8 (en) 2012-07-26
US20120143361A1 (en) 2012-06-07
WO2012074528A1 (en) 2012-06-07
CN103201731B (zh) 2016-01-20
CN103201731A (zh) 2013-07-10
US9215530B2 (en) 2015-12-15
KR20130052625A (ko) 2013-05-22
JP2014507020A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
JP5735128B2 (ja) 拡張現実システム
JP6734325B2 (ja) ダイナミックハプティック効果のコード化
Norouzi et al. A systematic review of the convergence of augmented reality, intelligent virtual agents, and the internet of things
Besançon et al. The state of the art of spatial interfaces for 3D visualization
US9007524B2 (en) Techniques and apparatus for audio isolation in video processing
KR20150067250A (ko) 사용자 인터페이스를 위한 터치리스 입력
WO2023066297A1 (zh) 消息处理方法、装置、设备及存储介质
KR102414717B1 (ko) 오디오의 공간적 관리
CN103988193A (zh) 管理同步内容的播放
CN113544634A (zh) 用于构成cgr文件的设备、方法和图形用户界面
CN113508361A (zh) 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
JP6670361B2 (ja) レンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェース、および/またはレンダリングする音響オブジェクトをユーザが選択するためのユーザインタフェースをレンダリングする方法
US20150288848A1 (en) Mark information recording apparatus, mark information presenting apparatus, mark information recording method, and mark information presenting method
WO2017193639A1 (zh) 一种展示应用程序图标的方法、装置及电子设备
EP4189528A1 (en) User interfaces for indicating distance
CN111833460A (zh) 增强现实的图像处理方法、装置、电子设备及存储介质
CN112817790A (zh) 模拟用户行为的方法
CN109726380A (zh) 表格编辑方法及装置
US20240037944A1 (en) Computer-generated reality recorder
Carroll et al. Designing accessible visualizations: The case of designing a weather map for blind users
US9734674B1 (en) Sonification of performance metrics
CN114238859A (zh) 数据处理系统、方法、电子设备以及存储介质
US8732620B2 (en) Method and system for a more realistic interaction experience using a stereoscopic cursor
Jain Use of spatial audio in immersive analytics
JP2022061771A (ja) 音像描画装置及び音像描画方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150415

R150 Certificate of patent or registration of utility model

Ref document number: 5735128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees