JP7322034B2 - 遊園地環境にテキストを重ね合わせるためのシステム及び方法 - Google Patents

遊園地環境にテキストを重ね合わせるためのシステム及び方法 Download PDF

Info

Publication number
JP7322034B2
JP7322034B2 JP2020536971A JP2020536971A JP7322034B2 JP 7322034 B2 JP7322034 B2 JP 7322034B2 JP 2020536971 A JP2020536971 A JP 2020536971A JP 2020536971 A JP2020536971 A JP 2020536971A JP 7322034 B2 JP7322034 B2 JP 7322034B2
Authority
JP
Japan
Prior art keywords
text
environment
image
user
visualization device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536971A
Other languages
English (en)
Other versions
JP2021509612A (ja
Inventor
アマンダ ケイト ジエルコフスキー
Original Assignee
ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー filed Critical ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Publication of JP2021509612A publication Critical patent/JP2021509612A/ja
Application granted granted Critical
Publication of JP7322034B2 publication Critical patent/JP7322034B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63GMERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00Amusement arrangements
    • A63G31/16Amusement arrangements creating illusions of travel
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Road Signs Or Road Markings (AREA)

Description

本開示は、一般に遊園地の分野に関する。より詳細には、本開示の実施形態は、遊園地アトラクションにおいて拡張及び仮想現実体験を提供するシステム及び方法に関する。
遊園地及び/又はテーマパークは、遊園地の来客(例えば、家族及び/又はあらゆる年齢の人々)に楽しみを与えるのに有用な様々な娯楽アトラクション、レストラン、及び乗物を含む。遊園地の各エリアは、特定の観客を特異的に標的にした異なるテーマを有することができる。例えば、特定のエリアは、伝統的に子供たちにとって興味深いテーマを含むことができるが、他のエリアは、伝統的により大人の観客にとって興味深いテーマを含むことができる。一般に、このような遊園地に関連するテーマを有する場所は、アトラクション又はテーマ・アトラクションと呼ぶことができる。
テーマ・アトラクション(themed attractions)は、その大部分が特定のテーマに関連する固定式の設備、建物レイアウト、支柱、装飾などを利用して構築することができる。同じ場所に異なるテーマが構築される状況において、より古いテーマに関連する特徴部は、より新しいテーマに関連する特徴部に置き換えられることになる。場所のテーマの複雑性により、このことは、非常に難しく、装飾、家具、設備、支柱などを取り除く又は置き換える際に時間がかかることが分かっている。実際には、特定のタイプのアトラクションに関して、比較的複雑なテーマは、来客により没入できる体験を提供するためにより普通になってきている。
現在、伝統的な手法に対して柔軟かつ効率的な方法で、アトラクションテーマを変更することができるアトラクションを含むこと、又はこのようなアトラクションに特定のテーマ特徴部を組み込むこと又は取り除くことが望ましいということが認識されている。また、現在、アトラクションの中での来客の没入体験を強化すること、及び来客のために個人化された又はカスタマイズされた体験を提供することが望ましいことが認識されている。
当初クレームに記載された主題に相当する特定の実施形態は以下に要約される。これらの実施形態は、本開示の範囲を限定することが意図されておらす、むしろこれらの実施形態は、特定の開示された実施形態の概要を提示することのみが意図されている。実際には、本開示は、以下に記載の実施形態に類似する又はそれとは異なる場合がある種々の形態を包含することができる。
一実施形態において、システムは、ユーザが見ることができるディスプレイを含む可視化装置(visualization device)を含む。また、システムは、可視化装置に通信可能に接続されたコンピュータグラフィックス生成システム(computer graphics generation system)を含む。コンピュータグラフィックス生成システムは、プロセッサ及び該プロセッサに通信可能に接続されたメモリデバイスを備え、メモリデバイスは、プロセッサに、現実世界画像(real-world images)、拡張現実画像(augmented-reality images)、又はこれらの組み合わせを含む環境を生成させる命令を格納するようになっている。また、メモリデバイスは、プロセッサに、環境に関連するデータを受け取って分析して、適切なテキスト位置(text location)を決定し、適切なテキスト位置に少なくとも部分的に基づいて、テキスト(text)のための適切なテキスト特性(textual characteristics)を決定し、適切なテキスト位置で環境上に適切なテキスト特性を有する前記テキストを重ね合わせさせる命令を格納するようになっている。
一実施形態おいて、方法は、1又は2以上のプロセッサによって、現実世界画像、拡張現実画像、仮想現実画像、又はこれらの組み合わせを含む環境を生成するステップを含む。また、方法は、1又は2以上のプロセッサによって、環境に関連するデータを分析して適切なテキスト位置を決定するステップを含む。さらに、方法は、1又は2以上のプロセッサによって、適切なテキスト位置に少なくとも部分的に基づいてテキストに関する適切なテキスト特性を決定するステップと、1又は2以上のプロセッサによって、適切なテキスト位置で、ディスプレイ上の環境上に適切なテキスト特性を有するテキストを重ね合わせるステップ(overlaying)を含む。
一実施形態おいて、有形の非一時的コンピュータ可読媒体は、ユーザが装着するように構成された可視化装置に通信可能に接続されたコンピュータグラフィックス生成システム内の1又は2以上のプロセッサによって実行可能な命令を格納する。命令は、1又は2以上のプロセッサに、現実世界画像、仮想現実画像、拡張現実画像、又はこれらの組み合わせを前記可視化装置のディスプレイ上に表示することで、可視化装置によってユーザに見える環境を生成させる。また、命令は、ユーザの注視方向を示す信号を受け取って分析し、環境に関連するデータを受け取って分析し、ユーザの注視方向を示す信号及び環境に関連するデータに少なくとも部分的に基づいて適切なテキスト位置を決定し、適切なテキスト位置で、環境上にテキストを重ね合わせるようにさせる。
本開示の上記及び他の特徴、態様、及び利点は、同様の符号が同様の要素を示す添付図面を参照して以下の詳細な説明を読むことによってより良く理解することができる。
一実施形態による、拡張現実(AR)又は仮想現実(VR)ゴーグルとして使用するための可視化装置及びコンピュータグラフィックス生成システムを示す。 一実施形態による、図1の可視化装置の分解斜視図である。 一実施形態による、他の可視化装置の分解斜視図である。 一実施形態による、図1の可視化装置によって提供された、様々なAR/VR画像並びにテキストを有する環境を含む絶叫マシンの斜視図である。 一実施形態による、ユーザが図4の絶叫マシンに参加した際に図1の可視化装置を装着するユーザによって可視化することができる環境を示す。 一実施形態による、図1の可視化装置を装着するユーザによって可視化することができる、ある時の環境を示す。 一実施形態による、図1の可視化装置を装着するユーザによって可視化することができる、他の時の環境を示す。 一実施形態による、図1の可視化装置で見ることができる図5の環境の上にテキストを重ね合わせることで、強化された体験を与えるために使用することができるプロセスのフローチャートを示す。
以下に本開示の1又は2以上の特定の実施形態を説明する。これらの実施形態の簡潔な説明を提示する目的で、実際の実施構成の全ての特徴部は、明細書に記載されない場合がある。何らかのエンジニアリング又は設計プロジェクトなどの何らかのこのような実際の実施構成の開発において、実施構成毎に様々であろうシステム関連及びビジネス関連の制約の順守などの、多数の実施構成特有の決定を行って開発者の特定の目的を実現する必要があることを理解されたい。さらに、このような開発努力は、複雑で時間がかかるかもしれないが、それでも本開示の利点を利用できる当業者にとって設計、製作、及び製造を行う定期作業であろうことを理解されたい。
本実施形態は、遊園地又はテーマパークに関連するアトラクションの一部として、拡張現実(AR)体験、仮想現実(VR)体験、複合現実(例えば、AR/VRの組み合わせ)体験、又はこれらの組み合わせを提供するシステム及び方法に関連する。一実施形態において、システム及び方法は、AR体験、VR体験、又は複合現実体験を強化するためにテキスト(例えば、サブタイトル)を提示することに関連する。特定の実施形態は、検討を容易にするために遊園地のアトラクシを参照して記載されるが、アトラクションは、必ずしも遊園地のエリアに限定されないことを理解されたい。実際には、本開示の態様は、例えば、遊園地に関連したホテル、語学教育設備、音楽コンサート会場、又は遊園地及び/又はホテルへ又はそこから来客を輸送する車両内などの遊園地の境界を越えた場所での実施にも関連する。
上記の点を考慮して、遊園地の中の特定のアトラクションは、1又は2以上の来客が周囲の環境を見るのを可能にできる乗物車両を含むことができる。1つの実施形態において、乗物車両は、乗物経路(例えば、トラック又はレール)に沿って進むことができる。1又は2以上の来客は、移動中に乗物車両を駆動するローラが発する音、ホーン作動音、他の来客の叫び声などの様々な音に晒されるので、何らかの1つの特定の音を聞き取るのは難しい場合がある。さらに、AR、VR、又は複合現実体験は、1又は2以上の来客が乗物経路に沿って進む間に、ナレーションを行う(例えば、スピーカーシステムによって物語を伝える又は話す)様々なキャラクター(例えば、仮想アニメキャラクター)を含むことができる。しかしながら、様々な騒音(例えば、ローラ、来客の叫び声)は、一部の来客がキャラクターの話すナレーションを聞き取るのを困難にする場合がある。従って、ナレーション又は何らかの他の情報は、例えば、このような騒音により音で伝えることができない内容を1又は2以上の来客に提示するテキストで来客に伝えることができる。実際には、AR、VR、又は複合現実体験に関連するテキスト又はサブタイトルを(例えば、眼鏡又は電子ゴーグル上に)表示すると、1又は2以上のユーザ(例えば、来客)は、ナレーションを解釈するか又は様々なメッセージの一部を受け取ることができ(例えば、テキストで)、これにより、音を聞くことに関連する何らかの困難性にもかかわらず1又は2以上のユーザに情報を伝えることができる。このような体験は、遊園地の来客(例えば、ユーザ)にカスタマイズ可能で個人用及び/又は相互作用的とすることができる、アトラクションで満たされた体験をもたらすことができる。
1つの実施形態において、特定のハードウェア構成、ソフトウェア構成(例えば、アルゴリズム構造)の組み合わせ、並びに特定のアトラクション特徴部(attraction features)は、AR、VR、及び複合現実体験にテキスト(例えば、サブタイトル)を与えるために利用することができる。例えば、一実施形態において、システムは、装着型機器(例えば、電子ゴーグル又は眼鏡などの可視化装置)などの視聴装置を含むことができ、これにより遊園地の来客及び従業員は、拡張、仮想、又は複合現実シーンを見ることができる。さらに、装着型機器は、テキストと、AR、VR、又は複合現実体験の他の特徴部(features)とを表示する表面を含むことができる。特定の実施構成は、例えば、遊園地に関連する環境内で仮想的に特徴部を取り除く又は付加して、同じ乗物内で異なる体験を得るために調節可能な仮想環境を提供して、来客が、体験に関する重要な特徴部の視界を妨げることなくAR、VR、又は複合現実体験に関連するテキストを受け取るのを可能にすることなどで来客(例えば、ユーザ)体験を強化するために利用することができる。1つの実施形態において、装着型機器は、ユーザに対してAR、VR、又は複合現実シーン上でテキストを提示することができる。例えば、ユーザが見るシーンは、動物などの様々な仮想又は現実物体を含むことができる。1つの実施形態において、装着型機器は、仮想又は現実物体(例えば、動物)に関するテキストを提示することができる。例えば、装着型機器は、動物種、動物の年齢、又は動物に関する情報に関するテキストを提示することができる。1つの実施形態において、装着型機器に通信可能に接続したコンピュータグラフィックス生成システム(例えば、制御システム)は、テキストを表示する適切な位置を決定することができるので、テキストは、読みやすく、制御システムが重要と決定した特徴部の視界を妨げないようになっている。
さらに、特定のデータを装着型機器から収集して、例えば、テキストを適切な場所に提示するためにもしくはショーの効果をもたらすために又はショーを調整するために、計算能力及び/又は他のリソースのより効率的な使用を可能にすることができる。1つの実施形態において、ユーザ可視化データを収集することができる。例えば、コンピュータグラフィックス生成システムは、仮想又は現実物体に関連するテキストの表示を開始する前に、乗物内のユーザが仮想又は現実物体(例えば、特定の方向の)を見ていたか否かを決定することができる。また、装着型機器は、乗物オペレータのヘッドアップディスプレイ(HUD)として機能するように用いることができる。追加的に又は代替的に、特定の遊園地アトラクションは、AR、VR、又は複合現実シーンを強化するためにテキストを提示することができ、ユーザが遊園地の様々なエリア又はその向こう側を見るために使用することができる固定式視聴装置(例えば、双眼鏡)を含むことができる。
香り放出装置、スピーカ、作動可能作用装置などの追加の遊園地装置は、視聴装置と協働して、強化されたユーザ体験を提供するように制御することができる。このように、ユーザが探索する環境は、ユーザの強化された又は仮想体験に反応するように見える。さらに、1つの実施形態において、特徴部は、ユーザに対して聴覚、嗅覚、及び/又は触覚入力を提供して視覚的なAR、VR、又は複合現実体験を完全にするために、装着物品(例えば、電子ゴーグル又は眼鏡)に組み込むことができる。
説明を助けるために、図1は、ユーザ12(例えば、来客、遊園地従業員)が制御されたAR、VR、又は複合現実シーン体験する(例えば、見る、相互作用する)のを可能にするように構成されたAR/VRシステム10の一実施形態を示す。一実施形態によれば、ユーザ12は、一実施形態において電子眼鏡16(例えば、AR/VR眼鏡、ゴーグル)とすることができる可視化装置14を購入すること又はそれが提供されることができる。以下に詳細に説明するように、可視化装置14は、ヘッドバンドとして例示され少なくとも電子眼鏡16の一部を収容するように構成された装着部18を含むことができる。
可視化装置14は、AR体験、VR体験、複合現実(例えば、AR/VRの組み合わせ)体験、コンピュータ利用現実体験、これらの組み合わせ、又はユーザのための他の類似の非現実的環境を含むことができる非現実的環境20をもたらすために単独で又は他の特徴部と組み合わせて使用することができる。詳細には、例えばゲームの間に、遊園地の特定の領域の入口で、遊園地に関連するホテルへの乗車の間に、ホテルで、などの乗車又は他の所定のアクティビティの期間を通じて、可視化装置14は、ユーザ12により装着することができる。
可視化装置14は、特定の仮想特徴部(virtual features)が透明表面(例えば、眼鏡)の上に重ね合わされた装置を含むことができ、若しくは、仮想特徴部が実質的に実時間ビデオの上の重ね合わされた装置を含むことができ、又はこれらを組み合わせたものを含むことができる(例えば、可視化装置14は、透明ユーザ可視化と不透明ユーザ可視化との間で切り替えることができる)。一実施形態において、可視化装置14は、仮想特徴部が現実の物体上に重ね合わされるように、ユーザ12の片目又は両目に向かって光を投影するように構成された光投影特徴部などの特徴部を含むことができる。このような可視化装置14は、網膜ディスプレイを含むと見なすことができる。
従って、一実施形態において、ユーザ12は、特定の仮想特徴部が電子眼鏡16(又はユーザ12の目)の表面上に重ね合わされた状態で、実質的に透明な電子眼鏡16のセットを通して現実世界環境を見ることができるので、ユーザ12は、仮想特徴部が現実世界環境に統合されたように認識することができる。代替的に又は追加的に、一実施形態において、ユーザ12は、仮想特徴部が重ね合わされた現実世界環境の実時間ビデオを見ることができる。
一実施形態において、可視化装置14を装着した状態で、ユーザ12は、環境20で完全に取り囲まれていると感じることができ、さらに環境20を特定の仮想特徴部を含む現実世界の物理的環境と認識することができる。詳細には、環境20が、1又は2以上のAR/VR画像24(例えば、仮想拡張部(virtual augmentations)又は仮想特徴部)と電子的に統合された現実世界画像22を含む実時間ビデオ(例えば、実時間又はほぼ実時間で取り込まれたビデオ)とすることができるように、可視化装置14は、ユーザ12の視界を(例えば、不透明画面を用いて)完全に制御することができる。一般に、現実世界画像22は、可視化装置14を装着しない場合であってもユーザ12が見ることになるものを示す(例えば、現実世界画像22は、現実世界環境内の特徴部の画像である)。用語「実時間(real-time)」は、画像が実際の観察時間に実質的に近いタイムフレームで取り込まれた及び/又は提供されたことを示す。実際には、環境20が、AR/VR画像24が透明表面上に又はユーザ12の目の上に重ね合わされた実環境であるように、可視化装置14は、ユーザ12の視界の一部分のみを制御することができる(例えば、透明画面を用いて)。本開示の一実施形態によれば、AR/VR画像24は、現実世界の物体を(もはや存在しないように又は消去されたように見えるよう)覆うように機能することができる(例えば、現実世界の物体が、仮想物体又は仮想環境表現(virtual environmental representation)で完全に又は部分的にふさがれる)。さらに、検討を容易にするために、本明細書に開示された特定の実施例は現実世界画像22に関連するが、本明細書に開示されたいずれの手法も可視化装置14の透明眼鏡を通して見ることができる現実世界環境上にAR/VR画像24を重ね合わせるために適合することができることを理解されたい。従って、本明細書の特定の実施例で参照される現実世界画像22は、現実世界環境の実在の特徴部(real features)で置換可能であると見なすべきである。AR/VR画像24が現実世界画像22の上に、又は透明眼鏡を通して見られる現実世界環境の実在する特徴部の上に重ね合わされる場合、AR/VR画像24は、AR画像と見なすことができ、さらにAR体験を引き起こすと見なすことができる。AR/VR画像24が環境20の全てを形成する場合(例えば、現実世界画像22を表示することなく又は現実世界環境の実在の特徴部の可視化を可能にすることなく)、AR/VR画像24は、VR画像と見なすことができ、さらにVR体験を引き起こすと見なすことができる。上述のように、可視化装置14は、異なるタイプの可視化の間で切り替えることができる。
さらに、1つの実施形態において、可視化装置14は、環境20を生成すると同時にユーザ12にテキスト25を提示することができる。詳細には、可視化装置14は、テキスト25を現実世界画像22及び/又はAR又はVR画像24に統合して、環境20を生成するか又は完成することができる。一実施形態において、以下に詳細に説明するように、テキスト25は、ユーザ12に対して現実世界画像22、AR又はVR画像24、又は環境20内の実在の特徴部に関連する情報を提示することができる。1つの実施形態において、テキスト25は、現実世界画像22、AR又はVR画像24、又は環境20内の実在の特徴部によって伝えられることが意図された吹き出しで描写されたテキストコンテンツとして提示することができる。1つの実施形態において、テキスト25を提示する吹き出しは、可視化装置14又は乗物システムによって提供された音に合わせることができる。
可視化装置14の切り取り部に示すように、環境20の光景の生成を助けるために、可視化装置14は、プロセッサ26及びメモリ28などの処理回路を含むことができる。プロセッサ26は、メモリ28に作動可能に接続し、例えば、現実世界画像22及び/又は1又は2以上のAR/VR画像24を表示すると同時にテキスト25を生成するといった本開示の手法を行うための命令を実行することができる。これらの命令は、プログラム中にエンコードすること、又はメモリ28及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたコードとすることができる。プロセッサ26は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又はいくつかの類似のプロセッサ構成とすることができる。メモリ28及びプロセッサ26は一緒になって、AR/VRコンピュータ制御可視化システム40(例えば、コンピュータグラフィックス生成システム)の全て又は一部を形成することができる。
1つの実施形態において、さらに詳細に示すように、可視化装置14は、それぞれユーザ12の左右の目に対応する一対のディスプレイ30及び32を含むこともできる(例えば、そうでない場合は眼鏡レンズが現れることになる場所の可視化装置14の前面のフレームに設けることができる)。もしくは、統合されたディスプレイを用いることができる。それぞれのディスプレイ30及び32の各々は、非限定的な例として、その上にAR/VR画像24及びテキスト25を重ね合わせることができる透明レンズを含むことができる(例えば、ユーザの現実世界環境の視界上に当該画像及びテキストを重ね合わせるために)。さらに、ディスプレイ30及び32は、表示面とすることができ、AR/VR画像24及びテキスト25を重ね合わせて環境20を生成するのを助けるように構成された、それぞれの周囲に隣接して配置された特徴部(例えば、回路、発光体)を含むことができる。
追加的に又は代替的に、ディスプレイ30及び32は、不透明液晶ディスプレイ(LCD)、不透明有機発光ダイオード(OLED)ディスプレイ、又はユーザ12に対して現実世界画像22、AR/VR画像24、及びテキスト25を表示するのに有用な他の類似のディスプレイを含むことができる。一実施形態において、それぞれのディスプレイ30及び32の各々は、例えば、ユーザ12が、実在の物理的現実世界環境(例えば、遊園地に関連するアトラクション)に重ね合わされたものとしてそれぞれのディスプレイ30及び32上に現れるAR/VR画像24及びテキスト25を見るのを可能にするのに有用な、透視LCD又は透視OLEDディスプレイを含むことができる。
可視化装置14のカメラ34及び36は、それぞれユーザ12の視点に対応することができ、現実世界の実時間ビデオデータ(例えば、ライブビデオ)又は周囲光信号を取り込むために用いることができる。1つの実施形態において、単一のカメラを用いることができる。また、可視化装置14は、ユーザの目の動きを追跡するための追加のカメラを含むことができ、このカメラは、コンピュータデバイス(例えば、コンピュータグラフィックス生成システム40)と併せて使用される場合、以下に詳細に説明するように、テキスト25を表示するための適切な場所、テキスト25の適切なサイズ、テキスト25の色、テキスト25のフォントなどのテキスト特性を決定するのを助けることができる。詳細には、1又は2以上のセンサ37は、注視方向、瞳孔の位置、焦点距離、及び/又は何らかの適切な目のパラメータを決定するためのデータを取り込むことができる視線追跡センサ(例えば、カメラ)とすることができる。一実施形態において、可視化装置14は、ユーザ12に音を提供する1又は2以上のスピーカ35を含む。スピーカ35は、ユーザ12の耳の近くに位置することができる。可視化装置14の通信特徴部38(communication features)(例えば、無線送受信機39を含む)は、処理のために実時間で又はほぼ実時間でプロセッサ26及び/又はコンピュータグラフィックス生成システム40にデータ(例えば、ビデオデータ、視線追跡データ、環境データ)を送ることができる。通信特徴部38によって送られたデータは、例えば、それぞれのカメラ34及び36、及び/又はセンサ37(例えば、視線追跡カメラ)によって取り込まれたデータを含むことができる。
図示のように、可視化装置14は、コンピュータグラフィックス生成システム40(例えば、遊園地内の)に無線ネットワーク42(例えば、無線ローカルエリアネットワーク(WLAN)、無線広域ネットワーク(WWAN)、近距離無線通信(NFC))経由で通信可能に接続することができる。代替的に又は追加的に、それぞれのカメラ34及び36を用いて取り込まれた実時間ビデオデータは、プロセッサ26によって可視化装置14上で処理することができることを理解されたい。さらに、プロセッサ26に接続した通信特徴部38(例えば、無線送受信機39、入力/出力コネクタ)は、プロセッサ26及びメモリ28上に含まれた、更新されることになる及び/又は特定の用途のために構成されたファームウェア及び/又はソフトウェアを有効にすることができる。
可視化装置14の通信特徴部38は、可視化装置14のセンサ37によって取得したデータに基づいて取得した及び/又は導き出した方位データ、位置データ、視点データ(例えば、焦点距離、方位、ポーズ)、動作追跡データなどを送ることができる。このようなセンサ37は、方位及び位置センサ(例えば、加速度計、磁気計、ジャイロスコープ、衛星利用測位システム(GPS)受信機)、動作追跡センサ(例えば、電磁気及び半導体動作追跡センサ)、慣性測定装置(IMU)、視線追跡センサなどを含むことができる。
一実施形態において、可視化装置14の特徴(例えば、幾何学的態様又は印)は、監視システム41(例えば、1又は2以上のカメラ)で監視して可視化装置14、ひいてはユーザ12の位置、場所、方位などを決定することができる。監視システム41は、コンピュータグラフィックス生成システム40に通信可能に接続し、ユーザ12(又は複数のユーザ)の位置、場所、方位などを特定するために使用することができる。
コンピュータグラフィックス生成システム40は、プロセッサ44(例えば、汎用プロセッサ又は他のプロセッサ)などの処理回路及びメモリ46を含み、可視化装置14又は監視システム41から受信した、実時間(又はほぼ実時間)ビデオデータ(例えば、ライブビデオ)、方位及び位置データ、視点データ、環境データ、又はこれらの何らかの組み合わせを処理することができる。詳細には、コンピュータグラフィックス生成システム40は、このデータを使用して、AR/VR画像24及びテキスト25を現実世界画像22に記録する基準枠を生成すること、又は実在する物理的環境の上にAR/VR画像24及びテキスト25を組み付ける(impose)ことができる。1つの実施形態において、コンピュータグラフィックス生成システム40は、さらにこのデータを使用して、テキスト25を環境20に組み付ける前にテキスト特性(例えば、可視化装置14を通して見える環境20に対するテキスト25の適切な位置、テキスト25のサイズ、テキスト25の色、テキスト25のフォント、テキスト25の輝度又は明度、及び/又はテキスト25を表示する期間)を決定することができる。詳細には、方位データ、位置データ、視点データ、動作追跡データなどに基づいて生成された基準枠を用いて、グラフィックス生成システム40は、その後、AR/VR画像24の視界(view)を描画してテキスト25を組み込む。一実施形態において、方位データ、位置データ、視点データ、動作追跡データなどに基づいて生成した基準枠を用いて、コンピュータグラフィックス生成システム40は、テキスト25を表示するのに適した場所を決定することができる。一実施形態において、グラフィックス生成システム40は、時間的及び空間的に現実世界環境に相応するやり方でAR/VR画像24、テキスト25、及び現実世界画像22の視界を描画することができる。コンピュータグラフィックス生成システム40は、ユーザ12のそれぞれの方位、位置、及び/又は動きの変化を反映するためにテキスト25の描画を周期的に更新(例えば、実時間で又はほぼ実時間で)することができる。例えば、コンピュータグラフィックス生成システム40は、注視方向(例えば、ユーザ12が目をやる方向)を特定することができ、さらに注視方向に実質的に直交する平面を決定するために計算(例えば、最小二乗近似及び特異値分解)を行うことができる。コンピュータグラフィックス生成システム40は、この平面上にテキスト25を表示することができる。一実施形態において、コンピュータグラフィックス生成システム40は、各ユーザ(又は、少なくとも一部のユーザ)が対応する可視化装置14を有する場合に、複数のユーザ(例えば、乗物の乗客、共用ゲームのプレーヤー)に対応する当該データを追跡することができる。
上記のように、1つの実施形態において、可視化装置14は、複数の構成要素を含み、一般に、ユーザ12の頭部に装着するように構成された電子眼鏡16を含むことができる。電子眼鏡16の様々な異なる構成及び実施構成を使用することができ、この場合、異なる構成は、異なるユーザの異なるサイズに上手く適合するように異なるサイズ及び形状を有することができ、並びに異なる実施構成に適合するように異なる内部構成要素(例えば、通信特徴部、変換器、ディスプレイ)を有することができる。
電子眼鏡16に対するさらなる適応性及び支持をもたらすために、可視化装置14の装着部18は、様々な形態をとることができ、その例示的な実施形態が図2及び3に示されている。図2において、可視化装置14は、装着部18としてのヘッドバンドを含む。装着部18のこのような実施形態は、ユーザ12に快適性を与えながらユーザ12の動きに適応するように構成された様々な材料(例えば、弾性材料、スエットウィッキング材料、詰め物)を含むことができる。現在、電子眼鏡16の電子的構成要素を危険にさらすことなく適宜装着部18を洗うことを可能にするために、別個の装着部18及び電子眼鏡16を有することが望ましいであろうことが認識されている。一実施形態において、装着部18は、1又は2以上の電子的構成要素を組み込むことができる。それに応じて、装着部18内の電子的構成要素は、損傷を防ぐために環境から離れて実質的に密封することができる。
一実施形態において、図2の装着部18は、電子眼鏡14を受け入れて、使用時にユーザ12の目に対する電子眼鏡14の位置を維持するための受け領域60を含む。この関連で、受け領域60は、電子眼鏡16のディスプレイ30、32の周辺の周りに固定可能な中央部62、並びに電子眼鏡16のアーム66を取り囲む(例えば、部分的に又は完全に)ように構成された側面部64を含むことができる。
受け領域60の中央部62は、ユーザ12の頭部に対して適度な圧縮力を与えながら(電子眼鏡16の位置をメンテナンスするために)、ユーザ12に快適性をもたらすことができる詰め物を含むことができる。一実施形態において、中央部62は、皮膚に対して適切な安定性及び快適性の組み合わせをもたらす摩擦係数を有する1又は2以上の材料を含むことができる。例えば、眼鏡の鼻領域に一般に使用されるゲル材が適切であろう。
図3の一実施形態に示すように、装着部18は、ヘッドバンドに加えて又はヘッドバンドの代わりに他の特徴部を含むことができる。図示のように、装着部18は、ユーザ12の頭部にかぶる帽子70、並びに図2で説明したヘッドバンドに類似する特徴部を含む。一実施形態において、図示のように、帽子70は、固定領域72を含むことができ、ここでは帽子70がヘッドバンド部74と重なり合う。固定領域72は、帽子70とヘッドバンド部74との間の固定を可能にするように構成された、面ファスナー、かぎホックファスナー、ボタン、マグネットストリップなどの閉鎖機構を含むことができる。このように、帽子70はヘッドバンド部74から分離可能であり、これにより、これらは別個に使用すること又は別個に洗うことができる。もしくは、一実施形態において、ヘッドバンド部74は、帽子70から容易に取り外しできないように帽子70と一体にすることができる(例えば、帽子70に縫い込まれる)。
一実施形態において、帽子70はひさし76を含み、これはユーザの目を保護するだけでなく、電子眼鏡16及びその関連のディスプレイ30、32を太陽、天井照明などの強い照明光源から保護する働きをする。例えば、ひさし76は、ディスプレイ30、32が光の反射に基づいて作動する、及び/又はこれが透明又は半透明である用途では特に有用であろう。実際には、ひさし76は、ディスプレイ30、32上に描画されるテキスト25の視認性を改善するために、現実世界背景に対するAR/VR画像24の感知される視覚コントラストを高めるのを助けることができる(例えば、照明光源からの望ましくない光を遮光することで)。
図3の実施形態に限定されないが、図3の例示的な可視化装置14は、電子眼鏡16のディスプレイ30、32の上に位置するように配置されたディスプレイカバー78を含む。ディスプレイカバー78は、ディスプレイ30、32を物理的誤用から保護し、テキスト25及びAR/VR画像24の強化されたコントラスト及び可視化のため、光学フィルタリングのためなどのある程度の不透明性をもたらす、ディスプレイ30、32用のシェードを備えることができる。ディスプレイカバー78は、ディスプレイカバー78を電子眼鏡16に取り外し可能に取り付けるように構成されたクリップ80などの何らかの適切な固定機構を含むことができる。仮着接着剤及び/又は面ファスナーなどの他の固定機構を使用することができる。
上記に鑑みて、図4に概略的に示すように、AR/VRシステム10が遊園地90で使用される状況の一実施形態を説明することを有用であろう。図4は、一実施形態による、図1の可視化装置14によって提供される様々なAR/VR画像24を有する環境20を含む絶叫マシン92の斜視図である。例示するように、遊園地90は、絶叫マシン92、遊園地モール施設94(例えば、ゲームエリア、ホテル、レストラン、土産物店など)、及び追加のアミューズメントアトラクション96(例えば、観覧車、ダークライド、マンガキャラクター、又は他のアトラクション)などの現実世界特徴部(real-world features)を含むことができる。一実施形態において、絶叫マシン92は、ローラーコースター又は他の類似の絶叫マシンを含むことができ、ひいては、閉ループトラック又は閉ループトラックシステム98(例えば、何マイルものトラック98)を含むことができる。トラック98は、例えば、乗物乗客102、104、106、108(1又は2人以上は図1のユーザ12とすることができる)が絶叫マシン92に乗車した場合に乗客乗物車両100がその上を往来することができるインフラとして設けることができる。従って、トラック98は、乗物車両100の動きを規定することができる。しかしながら、他の実施形態において、例えば、トラック98は、乗物車両100の動きをトラック98以外の電子システム、磁気システム、又は他の類似のシステムインフラで制御することができる、制御された経路に置き換えることができる。換言すると、乗物車両100の乗物経路は、厳密な経路に物理的に拘束されない場合があり、この結果、乗客102、104、106、108は、例えば、その移動経路上である程度の統制度で景色を眺めることができる。乗客乗物車両100は4-乗客車両として示すこことができるが、別の実施形態において、乗客乗物車両100は、一人又は複数の乗客に対応するために任意数の乗客スペース(例えば、1、2、4、8、10、20、又はそれ以上のスペース)を含むことができることを理解されたい。
乗物車両100がトラック98に沿って移動する際に、乗物乗客102、104、106、108は、絶叫マシン92の周り又はその近くのエリア内の景色(例えば、施設94、追加のアミューズメントアトラクション96など)の移動ツアーを行うことができる。例えば、これは、絶叫マシン92を取り囲む環境(例えば、絶叫マシン92を完全に又は部分的に囲む建物)を含むことができる。乗物乗客102、104、106、108は、絶叫マシン92が非常に楽しい体験であることを見出すことができるが、その乗物体験を強化することは有用であろう。詳細には、遊園地90の中の施設94(例えば、娯楽エリア、ホテル、レストラン、土産物店など)、追加のアミューズメントアトラクション96(例えば、観覧車又は他のアトラクション)、又は他の常連客又は歩行者だけの物理的視界を有する代わりに、乗物乗客102、104、106、108に拡張現実(AR)体験又は仮想現実(VR)体験を提供することは有用であろう。
追加的に又は代替的に、乗物乗客102、104、106、108に可視化装置14を用いて1又は2以上の画像(例えば、現実世界画像22及び/又はAR/VR画像24)又は現実世界特徴部に関連し得るテキスト25を提供することは有用であろう。これは、乗物車両100がトラック98に沿って移動する又は所定のエリアの中を移動する間に行うことができる。1つの実施形態において、これは、遊園地常連客がエリア(施設94又はアミューズメントアトラクション96など)を楽しむ際に行うことができる。例えば、AR/VR24及び/又は適切なテキスト25は、ユーザ12が、レストラン、各アトラクション間の経路などで追加の娯楽特徴(entertainment features)を体験できるよう、電子眼鏡16によって現実世界環境上に重ね合わせることができる。
さらに、一実施形態において、絶叫マシン92は、AR/VR画像24とのユーザ相互作用、例えば、乗物車両100が仮想物体109、110のそばを通る又は通過する際の第1の仮想物体109(例えば、星)及び第2の仮想物体110(例えば、アニメ動物)とのシミュレートされた相互作用を含むことができる。乗物車両100は、ユーザ制御とすることができ、ゲームの1つの態様は、乗物車両100を仮想物体109、110に向かって案内することで様々な仮想物体109、110と相互作用すること、又はこれらから離れて舵取りすることで、特定の仮想物体109、110との衝突を回避することである。シミュレートされた相互作用は、仮想物体109、110が、コンピュータグラフィックス生成システム40に格納された特定の予め設定された又はモデル化された応答に従って影響されるようにすることができる。一実施例として、予め設定された又はモデル化された応答は、コンピュータグラフィックス生成システム40によって実行された物理エンジン又は類似のモジュールによって実行することができる。
さらに、一実施形態において、仮想物体109、110は、コンピュータグラフィックス生成システム40で生成して可視化装置14のディスプレイ30、32上に表示することができる。詳細には、仮想物体109、110は、乗客102、104、106、108の現実世界知覚上に重ね合わせることができる。実際には、第1の仮想物体109は、星の静止描写とすることができ、第2の仮想物体は、鳥の移動(例えば、動的)描写とすることができる。すなわち、1つの実施形態において、第1の仮想物体109(例えば、星)は、環境の他の物体に対して静止したままであり、第2の仮想物体110(例えば、鳥)は、環境内の他の物体に対して動くことができる。例えば、現実世界画像22及び他のAR/VR画像24(図1)を組み合わせたものを含む環境20に関して、第1の仮想物体109は現実世界画像22に対して静止したままであり(例えば、トラック98の現実世界画像22に対して静止する)、一方で第2の仮想物体110は、現実世界画像22に対して移動する。
さらに、コンピュータグラフィックス生成システム40は、可視化装置14を装着する各乗客102、104、106、108に関する注視方向112(例えば、乗客が目をやる方向に整列して同一線上の軸線)を決定することができる。1つの実施形態において、センサ37(図1)は、注視方向112を決定するために瞳孔の位置、焦点距離、及び/又は可視化装置14の方位を表すデータを(例えば、実時間で又はほぼ実時間で)取り込むことができる。注視方向112は、何らかの様々な視線追跡装置及びアルゴリズムで決定することができることを理解されたい。注視方向112の決定後、コンピュータグラフィックス生成システム40は、テキスト25を含める平面114を決定する。具体的には、1つの実施形態において、平面114は、決定した注視方向112に実質的に直交して配向される。従って、テキスト25は、平面114上に位置することができるので、テキスト25は、注視方向112に沿って乗客に面して配向され、それによって判読可能なテキスト25がもたらされる。
1つの実施形態において、注視方向112は、テキスト25をカスタマイズするために利用することができるテキスト特性を決定するために用いることができる。例えば、コンピュータグラフィックス生成システム40は、乗客104の注視方向112が第2の仮想物体110に向いていることを決定することができる。乗客104の注視方向112が第2の仮想物体110に向いているとの決定に応答して、コンピュータグラフィックス生成システム40は、第2の仮想物体110に関連するテキスト25を表示することができる。具体的には、テキスト25は、吹き出し(例えば、第2の仮想物体110によって話されたナレーションに合う(match)言葉を含む)、第2の仮想物体110に関する情報を提供する図表(例えば、鳥の種類、鳥の最高速度、世界のどの地域が鳥の原産か)などを含むことができる。
図5は、図示の可視化装置14を装着するユーザ(例えば、図4の乗客102、106)に見える環境20の視界であり、テキスト25は、環境20の上に重ね合わされている。環境20は、絶叫マシン92、施設94、乗客104、108、及び追加のアミューズメントアトラクション96の画像などの現実世界画像22(図1、4)の上に重ね合わされた、第1の仮想物体109(例えば、星)及び第2の仮想物体110(例えば、アニメ動物)などのAR/VR画像24を含むことができる。上記のように、本明細書に開示された技術は、現実世界画像22(例えば、現実世界環境の画像)ではなく、可視化装置14の透明眼鏡を通して見える現実世界環境の上にAR/VR画像24及びテキスト25を重ね合わせるのに適用できることを理解されたい。従って、1つの実施形態において、可視化装置14を用いて乗客に複合現実環境を提供することができる。さらに、コンピュータグラフィックス生成システム40(図1)は、現実世界環境の上にテキスト25を表示する(例えば、重ね合わせる)のを助けることができる。従って、テキスト25を重ね合わせる技術は、VR環境、AR環境、現実世界環境、複合環境などに適用できることを理解されたい。
1つの実施形態において、コンピュータグラフィックス生成システム40は、実時間で又はほぼ実時間で環境データを受け取ることができる。環境データは、現実世界画像22に関連するデータ及び/又はAR/VR画像24に関連するデータを含むことができる。詳細には、環境データは、現実世界画像22の位置(例えば、絶叫マシン92、施設94、乗客104、108、及び追加のアミューズメントアトラクション96)、及びAR/VR画像24の位置(例えば、第1及び第2の仮想物体109、110)を含むことができる。詳細には、1つの実施形態において、環境データは、環境20上の現実世界画像22の位置及びAR/VR画像24の位置を含むことができるので、現実世界画像22の位置及びAR/VR画像24の位置が可視化装置14の上に位置付けられる。
さらに、1つの実施形態において、環境データは、各画像に関する識別子を含むことができるので、識別子は、各画像を現実世界画像22、AR/VR画像24、又は重要でない画像118としてラベル付けする。詳細には、1つの実施形態において、識別子は、一部の現実世界画像22を重要なものとして、及び一部の現実世界画像22を重要でない画像118としてラベル付けすることができる。コンピュータグラフィックス生成システム40は、計算を行って(例えば、1又は2以上のアルゴリズムを用いて)、画像がテーマを加えない、又はさもなければテキスト25で覆うことができる画像又は特徴部であると決定した場合、現実世界画像22を重要でないとラベル付けする(例えば、重要でない画像118)ことができる。
図示の実施形態において、コンピュータグラフィックス生成システム40は、可視化装置14上に表示されたエリアをスキャンして、可視化装置14で見ることができる各画像又は各々のコンテンツの識別子を決定することができる。例えば、図示の実施形態において、コンピュータグラフィックス生成システム40は、絶叫マシン92、施設94、及び追加の遊園地アトラクション96を第1の識別子と関連付けることができるので、第1の識別子は、これらの画像を現実世界画像22としてラベル付けする。コンピュータグラフィックス生成システム40は、第1の仮想物体109及び第2の仮想物体110を第2の識別子と関連付けることができるので、第2の識別子はこれらの画像をAR/VR画像24とラベル付けする。加えて、コンピュータグラフィックス生成システム40は、山119、草地21、及び乗客104、108を第3の識別子と関連付けることができるので、第3の識別子は、これらの画像を計算に基づいて(例えば、1又は2以上のアルゴリズムを用いて)重要でない画像118とラベル付けする。一実施形態において、重要でない画像118は、例えば、背景(例えば、太陽、雲、他の乗客、及び造園)としの役割を果たすだけの、又はコンピュータグラフィックス生成システム40によって決定されたような何らかの他の重要でない機能(又は、他の画像又は特徴部に比べて比較的重要度が低い機能)を果たすだけの、環境20にテーマを加えない画像を含む。
一実施形態において、コンピュータグラフィックス生成システム40は、可視化装置14を通して見ることができる、第1、第2、又は第3の識別子のいずれかを有する環境20の全てのエリアに関連することができる。しかしながら、一実施形態において、コンピュータグラフィックス生成システム40は、本明細書に記載した技術を実行するために、いずれの識別子も使用しない、識別子の一部を使用する(例えば、第1、第2、又は第3の識別子のみ)、又は何らかの追加の識別子を使用することができることを理解されたい。
環境データは、さらに各現実世界画像22及びAR/VR画像24のサイズを含むことができる。例えば、コンピュータグラフィックス生成システム40は、可視化装置14上の全表示エリアに対する各画像のサイズを決定することができる。換言すると、コンピュータグラフィックス生成システム40は、各画像が占める全環境20のどの断片(例えば、部分)が可視化装置14によって見ることができるかを決定することができる。
一実施形態において、コンピュータグラフィックス生成システム40は、適切なテキスト領域120の決定を容易にするために、各画像の位置、識別子、及び/又はサイズを分析することができる。詳細には、テキスト領域120は、テキスト25を表示するのに適した可視化装置14上の表示エリア上の領域を指し、テキスト25は、可視化装置14を装着するユーザが見ることができ、及び/又は特定の画像又は特徴部の視界を妨げないようになっている。
1つの実施形態において、コンピュータグラフィックス生成システム40は、環境データを使用してテキスト領域120を決定することができる。1つの実施形態において、コンピュータグラフィックス生成システム40は、少なくとも環境データに基づいてテキスト領域120の位置及びサイズを決定することができることを理解されたい。詳細には、コンピュータグラフィックス生成システム40は、各画像の位置、各画像のサイズ、各画像の識別子、及び何らかの他の適切な環境データを使用して、テキスト領域120を決定することができる。例えば、コンピュータグラフィックス生成システム40は、第3の識別子(例えば、重要でない画像118)に関連した画像の最大部分を含むエリアをテキスト領域120として決定することができ、その理由は、テキスト25を当該エリアに表示すると、ユーザは、例えば、重要な画像を妨げることなくテキスト25を見ることができるからである。
さらに、1つの実施形態において、コンピュータグラフィックス生成システム40は、優先方式に基づいてテキスト領域120を決定することができる。優先方式は、重要レベルに応じて、受け取った、識別した、又は可視化装置14上に表示した各々の画像をランク付けすることができる。例えば、テキスト25(例えば、テキスト25で記述される画像)に関連した画像は、最も高い優先順位にランク付けし、第3の識別子(例えば、重要でない画像118)に関連した何らかの大きな画像は、最も低い優先順位にランク付けすることができる。コンピュータグラフィックス生成システム40は、テキスト領域120を可視化装置14で見ることができる環境20のエリア上に位置するように決定することができ、このエリアは、テキスト25に適応する十分大きなエリアを含み、及び/又はコンピュータグラフィックス生成システム40の優先方式に基づいて最も低い優先順位にランク付けされる。
さらに、1つの実施形態において、コンピュータグラフィックス生成システム40は、可視化装置14上に表示するためのテキスト25のインジケーション(indication)を受け取ることができる。テキスト25のインジケーションは、テキスト25を表示する時間、テキスト25の内容、及びテキスト25に関連する画像を含むことができる。テキスト25を表示する時間は、テキスト25の表示を開始する時間、テキスト25の期間、及びテキスト25の表示を終了する時間を含むことができる。テキスト25の内容は、サブタイトル、又は音(例えば、可聴発話)と連携する画像(例えば、現実世界画像22又はAR/VR画像24)に関連した判読可能な発話、画像に関連した記述、画像に関連した統計値、又はテキスト25の何らかの他の適切な内容を含むことができる。テキスト25に関連した画像は、テキスト25で記述された画像、テキスト25によって伝えられるナレーションを生成する画像、又は注視方向112に関連した画像を含むことができる。
さらに、1つの実施形態において、テキスト25のインジケーションは、ユーザ12(例えば、乗物乗客)が行った動作に応答する可視化装置14上のテキスト確認とすることができる。例えば、ユーザ12がシートベルトをしっかり固定した後で、コンピュータグラフィックス生成システム40は、この動作(例えば、シートベルトの固定)のインジケーションを受け取ることができ、これにより、コンピュータグラフィックス生成システム40は、可視化装置14に「固定された(SECURED)」などの確認テキスト25を表示させる。また、確認テキストを示すデータは、品質管理目的で基地局の制御装置及び/又は遠隔オペレータに送ることもできる。例えば、乗物オペレータが装着したそれぞれの可視化装置14上にテキスト25を表示することにより、乗物オペレータは、ユーザのベルトが適所にロックされていることを確認するテキスト25を受け取ることでユーザのシートベルトの状態を監視することができる。
1つの実施形態において、テキスト25の提示(presentation)は、可視化装置14を装着するユーザ12の注視方向112に基づくことができる。例えば、コンピュータグラフィックス生成システム40は、注視方向112(例えば、視線追跡に基づく)が第2の仮想物体110を向いていると決定することができ、コンピュータグラフィックス生成システム40は、テキスト25が注視方向112(例えば、第2の仮想物体110)に最も近い画像に関連する必要がある決定することができる。1つの実施形態において、テキスト25は、決定(例えば、コンピュータグラフィックス生成システム40による)に応じて表示され、その注視方向112は、特定の画像(例えば、第2の仮想物体110)に向いている。しかしながら、テキスト25の提示は、注視方向112に基づく必要はなく、追加的に又は代替的に、特定のAR/VR画像24の提示(例えば、対応するテキスト25がAR/VR画像24と共に提示される)やユーザ12が行う動作などに応答して、乗物の動作の間のタイムスタンプ(例えば、乗物の特定の部分の間に提示された)に基づくことができることを理解されたい。
実際には、コンピュータグラフィックス生成システム40は、各画像の位置、各画像のサイズ、各画像の識別子、及び/又は何らかの適切な環境データといった環境データを使用して、テキスト領域120の位置及びサイズを決定することができる。追加的に又は代替的に、コンピュータグラフィックス生成システム40は、テキスト25を表示する時間、テキスト25の内容、及び/又はテキスト25に関連する画像などのテキスト25の特性を使用して、テキスト領域120の位置及びサイズを決定することができる。
例えば、図示の実施形態において、コンピュータグラフィックス生成システム40は、各画像(例えば、可視化装置14で見ることができる絶叫マシン92、遊園地施設94のモール、追加のアミューズメントアトラクション96、第1の仮想物体109、第2の仮想物体110、山119、草地121、乗客104、108、及び/又は何らかの他の画像)のサイズ、位置、及び/又は識別子を特定することができる。図示の実施形態において、上記の何れかの技術を利用して、コンピュータグラフィックス生成システム40は、テキスト領域120の位置が第2の仮想物体110の上方であること、及びテキスト領域120の寸法(例えば、サイズ)を決定することができる。例えば、テキスト領域120の寸法は、長さL1及び幅L2を含むことができる。コンピュータグラフィックス生成システム40は、これが重要でない画像118(例えば、第3の識別子に関連した画像)の最大領域になるように決定するので、コンピュータグラフィックス生成システム40は、これがテキスト領域120の位置及びサイズになるように決定することができる。図示の実施形態は実質的に矩形のテキスト領域120を含むが、テキスト領域は、何らかの適切な形状(例えば、円形、三角形、五角形)とすることができることに留意されたい。
1つの実施形態において、コンピュータグラフィックス生成システム40は、これがテキスト25に関連した画像(例えば、第2の仮想物体110)に最も近い領域なので、これがテキスト領域120の位置及びサイズになるように決定することができる。例示的な実施形態において、テキスト25は、第2の仮想物体110が注視方向112と交わるので又はこれに最も近いので提示することができる。
1つの実施形態において、コンピュータグラフィックス生成システム40は、可視化装置14を通して見える環境20上のどこかにテキスト25を配置することができ、テキスト25は、テキスト25に関連する画像(例えば、第2の仮想物体110)を遮らない(例えば、妨げない)ようになっている。例えば、第2の仮想物体110に関連したテキスト25は、第2の仮想物体110が話していること(例えば、「昔々…(Once upon a time…)」)のテキスト吹き出しを含むことができ、さらに第2の仮想物体110の近くに配置することができるが、第2の仮想物体110の視界を妨げない。
上述のように、テキスト25のような追加の情報を現実世界画像22及びAR/VR画像24を含む環境に重ね合わせることは多くの課題を提起する可能性がある。例えば、背景上に表示されたテキスト25がその背景に溶け込まないように、テキスト25の内容、テキスト25を表示するための環境20上の位置、テキスト25の色、テキスト25の輝度又は明度を決定することは有用な場合がある。従って、1つの実施形態において、コンピュータグラフィックス生成システム40は、表示するのに適切なテキスト25、環境20上でのテキスト25の位置、テキスト25の色などのテキスト特性を決定することができる。
詳細には、コンピュータグラフィックス生成システム40は、テキスト25に適切な色を決定することができるので、テキスト25は可視化装置14を装着するユーザ12には非常に読みやすくなる。1つの実施形態において、テキスト25は、その内部にテキスト25が表示されるテキストボックス124(例えば、テキスト吹き出し(text bubble))を含むことができる。テキストボックス124は単色とすること及びテキスト25は異なる色とすることができる。例えば、テキストボックス124は黒色でテキスト25は白色とすることができる。テキストボックス124は省略することができ、テキスト25は、環境20上に提示することができ、テキスト25は、テキスト25が表示される環境20の領域の色(例えば、背景色)とは実質的に異なる色とすることができることを理解されたい。例えば、テキスト25が明るい青空の上に表示される場合、テキスト25は、暗い色(例えば、黒色)とすることができる。しかしながら、テキスト25が暗い壁の上に表示される場合、テキスト25は、明るい色(例えば、白色)とすることができる。
追加的に又は代替的に、コンピュータグラフィックス生成システム40は、画像(例えば、現実世界画像22)とテキスト25との間の適切なコントラストをもたらすために、テキスト25の適切な輝度又は明度を決定することができる。例えば、現実世界画像22が極めて高い太陽露出を含む場合、テキスト25の輝度又は明度は、テキスト25の視認性を高めるために大きくすることができる。
図6に進むと、時間t0の瞬間での可視化装置14を装着するユーザによって視覚化される環境20の視界130が描かれている。図示のように、テキスト25は、環境20の上に重ね合わされる。時間t0において、コンピュータグラフィックス生成システム40は、環境データに基づいてテキスト25を第1のテキスト領域132の上に表示する必要があると決定する。上述のように、コンピュータグラフィックス生成システム40は、テキスト領域132の位置及びサイズに基づいてテキスト特性(例えば、テキスト25の内容、テキスト25の色、テキスト25のサイズ、テキスト25のフォント、テキスト継続時間)を決定することができる。集合的に「表示パラメータ」と呼ばれるテキスト特性、第1のテキスト領域132の位置及びサイズ、並びに画像(例えば、現実世界画像22、AR/VR画像24)の決定後、テキスト25は、第1のテキスト領域132を含む環境20の一部に重ね合わせることができる。さらに、テキスト25は、テキストボックス124の上に又は直接、環境20の上に表示することができ、テキスト25の色はテキストボックス124又は環境20の色とは異なっており、ユーザ12には非常に読みやすくなっている。
1つの実施形態において、コンピュータグラフィックス生成システム40によって、可視化装置14は、時間t0で環境20(又はテキストボックス124)上にテキスト25を表示することができる。実際には、コンピュータグラフィックス生成システム40は、実時間で又はほぼ実時間でテキスト領域132、テキスト特性、又は同様のもの(例えば、表示パラメータ)を決定することができる。1つの実施形態において、テキスト25は、注視方向112に基づくことができる。例えば、テキスト25は、コンピュータグラフィックス生成システム40が、第2の仮想物体110と交差する又は第2の仮想物体110に最も接近する方向に沿って配向された注視方向112を特定した場合に、第2の仮想物体110に関連する情報を含むことができる。具体的には、コンピュータグラフィックス生成システム40は、時間t0で注視方向112を決定し、その後すぐに適切なテキスト特性を含むテキスト25を適切な場所(例えば、テキスト領域132)に表示することができる。1つの実施形態において、コンピュータグラフィックス生成システム40は、テキスト25を終了時間t1まで表示することができる。持続時間(例えば、時間t0と時間t1との間の時間)は、予め設定されている。しかしながら、テキスト25を表示する持続時間は、瞳孔の動き(例えば、コンピュータグラフィックス生成システム40はユーザ12がテキスト25を読むのを止めたときを特定することができる)、ユーザ12の動き、テキストで覆われた画像又は特徴部の重要度(significance)などに基づくことができることを理解されたい。
1つの実施形態において、テキスト25が環境20上に重ね合わされた後、テキスト25は、表示持続時間の間に(例えば、時間t0から始まり終了時間t1で終了する)可視化装置14上のその位置にとどまることができる。例えば、図示の実施形態において、テキスト25は、可視化装置14の左側部分に配置されたテキストボックス124上の第1のテキスト領域132上に表示される、本実施例において、可視化装置14を装着するユーザ12が他の場所を見る場合、テキスト25は可視化装置14の左側部分にとどまることができる。しかしながら、1つの実施形態において、可視化装置14上のテキスト25の位置は、可視化装置14を装着するユーザ12の視点の変化に基づいて動的に調整することができることを理解されたい。
上述のように、テキスト25は、何らかの適切な技術に基づいて、可視化装置14によって見ることができる環境20上に表示することができる。例えば、テキストは、タイムスタンプに基づいて環境20上に表示することができ、仮想物体(例えば、第2の仮想物体110)が会話を始めると、テキスト25は会話している仮想物体のナレーションに合うようになっている。実際には、1つの実施形態において、テキスト25の重ね合わせは、現実世界画像22及び/又はAR/VR画像24のいずれかに関連した音声に連携することができる。図示の実施形態において、テキスト25は、第2の仮想物体110に関連する(例えば、注視方向112が第2の仮想物体に向いているので)。さらに、一実施形態において、注視方向が他の画像に向いている場合、テキスト25は、他の画像に関連することができる。
コンピュータグラフィックス生成システム40がテキスト25の表示を終了した後(例えば、コンピュータグラフィックス生成システム40が、テキスト25の表示持続時間が終了時間t1に到達したと決定した後)、コンピュータグラフィックス生成システム40は、テキスト25が環境20から除去されるようにすることができる。
図7に進むと、他の時間tnの瞬間での可視化装置14を装着するユーザによって視覚化される環境の視界140が描かれている。図示のように、テキスト25は、環境20の上に重ね合わされる。1つの実施形態において、図6の第1の視界に表示されたテキスト25の表示が終了した後(例えば、終了時間t1に到達したため、ユーザ12が視点方向を変えたためなど)、コンピュータグラフィックス生成システム40は、他の開始時間t0まで待つことができ、従って、コンピュータグラフィックス生成システム40は、テキスト領域及びテキスト特性などの表示パラメータを決定するために上述の技術を実行することができる。
詳細には、時間tnにおいて、コンピュータグラフィックス生成システム40は、環境データに基づいて第2のテキスト領域142にテキスト25を表示する必要があることを決定することができる。加えて、コンピュータグラフィックス生成システム40は、時間tnでの第2のテキスト領域142の位置及びサイズを決定することもできる。上述のように、コンピュータグラフィックス生成システム40は、時間tnでのテキスト特性(例えば、テキスト25の内容、テキスト25の色、テキスト25のサイズ、テキスト25のフォント)を決定することができる。一実施形態において、第2のテキスト領域142上に表示されたテキスト25のテキスト特性は、図6の第1のテキスト領域132上に表示されたテキスト25のものとは異なる場合がある。図示の実施形態において、テキスト25は、例えば、コンピュータグラフィックス生成システム40によって注視方向112が追加のアミューズメントアトラクション96に向いていることが特定されるので、追加のアミューズメントアトラクション96に関することができる。
第2のテキスト領域142のテキスト特性並びに位置及びサイズの決定後、テキスト25は、第2のテキスト領域142を含む環境20の一部に重ね合わせることができる。さらに、テキスト25は、テキストボックス124上に又は直接、環境20上に表示することができ、テキスト25の色はテキストボックス124又は環境20の色とは異なっており、ユーザ12には非常に読みやすくなっている。環境20上へのテキスト25の表示は、乗車期間中に継続的に更新することができるので、テキスト情報(textual information)、並びにテキスト領域の位置及びサイズは、新しいテキスト25が表示される場合に決定される(例えば、タイムスタンプ、注視方向112、絶叫マシン92の特徴などに連携して)。
図8は、一実施形態による、可視化装置14(図1-7)を通して見ることができる環境20(図4-7)上にテキスト25(図1、4-7)を重ね合わせることで、強化された体験をもたらすために使用することができるプロセス200のフローチャートである。具体的には、1つの実施形態において、コンピュータグラフィックス生成装置40(図1-4)は、実時間で又はほぼ実時間で取り込んだ環境データを受け取って分析する(プロセスブロック210)。上述のように、環境データは、現実世界画像22(図1、4)に関連するデータ、AR/VR画像24(図1-4)に関連するデータ、可視化装置14によって見ることができる環境20内の各画像に関する識別子、可視化装置14によって見ることができる環境20内の各画像に関するサイズ及び位置などを含むことができる。コンピュータグラフィックス生成システム40は、現実世界画像22及びAR/VR画像24を含むことができる環境20を生成することができる(プロセスブロック220)。一実施形態において、コンピュータグラフィックス生成システム40は、テキスト25の内容(例えば、テキスト25に含まれる言葉及び文字)などのテキスト情報にアクセスすることができる(プロセスブロック230)。次に、コンピュータグラフィックス生成システム40は、テキスト25に関する表示パラメータを決定することができ(プロセスブロック240)、コンピュータグラフィックス生成システム40は、適切なテキスト領域120で、環境20上にテキスト25(テキスト特性(例えば、内容、色、サイズ、フォント)を含むよう変更された)を提示する(プロセスブロック250)。実際には、可視化装置14は、可視化装置14を装着するユーザ12に環境20上に重ね合わされたテキスト25を提供することができる。
1つの実施形態において、コンピュータグラフィックス生成システム40は、可視化装置14に通信可能に接続される。コンピュータグラフィックス生成システム40は、可視化装置14から、例えばカメラ34、36(図1)及び/又はセンサ37(図1)から環境データを受け取ることができる。上述のように、コンピュータグラフィックス生成システム40が受け取った環境データは(プロセスブロック210)、現実世界画像22に関連するデータを含むことができ、このデータは全表示面(例えば、ディスプレイ30、32(図1))のサイズに対する可視化装置14上に表示された各現実世界画像22のサイズ及び位置を含むことができる。加えて、環境データは、AR/VR画像24に関連するデータを含むことができ、このデータは、全表示面のサイズに対する可視化装置14上に表示された各特定された現実世界画像22のサイズ及び位置を含むことができる。さらに、環境データは、各画像(例えば、現実世界画像22及びAR/VR画像24)に関する識別子を含むことができる。1つの実施形態において、コンピュータグラフィックス生成システム40は、各画像に識別子を割り当てることができる。例えば、第1の識別子は、コンピュータグラフィックス生成システム40によってある画像に割り当てることができ、この識別子はこの画像を現実世界画像22とラベル付けする。さらに、第2の識別子は、他の画像に割り当てることができ、この識別子はこの画像をAR/VR画像24とラベル付けする。追加的に又は代替的に、第3の識別子は、他の画像に割り当てることができ、この識別子はこの画像を重要でない画像118とラベル付けする。
コンピュータグラフィックス生成システム40は、環境データを分析して環境20を生成することができる(プロセスブロック220)。1つの実施形態において、環境20は、現実世界画像22及びAR/VR画像24を含むことができ、これらは組み合わされて環境20を生成する。上述のように、環境20は、ユーザ12の注視方向112(図4-6)に基づいて更新することができる。
環境20の生成後、コンピュータグラフィックス生成システム40は、テキスト25にアクセスする(access)(プロセスブロック230)。1つの実施形態において、テキスト25は、コンピュータグラフィックス生成システム40のメモリ46(図1)に格納された、予め設定された内容(例えば、記号及び文字)とすることができる。実際には、コンピュータグラフィックス生成システム40は、環境データに基づいてテキスト内容(例えば、テキストが含む言葉及び文字)にアクセスすることができる。例えば、環境データは、会話する仮想物体のAR/VR画像24とすることができ、アクセスされるテキスト25は、会話する仮想物体の口頭ナレーションに合うように連携するテキスト25を含む。
テキスト25にアクセスした後、コンピュータグラフィックス生成システム40は、上記に詳細に説明したように、表示パラメータを決定することができる(プロセスブロック240)。表示パラメータは、可視化装置14によって見ることができるテキスト25のテキスト特性、テキスト領域120(図5)の位置及びサイズ、及び画像を含むことができる。より詳細には、テキスト特性は、コンピュータグラフィックス生成システム40がアクセスするテキスト内容、テキスト25の色、テキスト25のサイズ、テキスト25のフォント、テキスト25の輝度又は明度、及びテキスト持続時間を含む。さらに表示パラメータは、テキスト25の適切な提示を決定するために使用することができ、テキスト25は、環境20上に重ね合わされた際に非常に読みやすくなり、テキスト25は、可視化装置14によって見ることができる重要な内容(例えば、画像)を妨げない。
適切な表示パラメータ(例えば、テキスト特性、テキスト領域のサイズ及び位置、及びテキスト内容)を決定した後、テキスト25は、環境20上に重ね合わされる。すなわち、一実施形態において、テキスト25は、環境20の最も重要でない画像118(図5)の領域上に配置することができる。実際には、可視化装置14は、遊園地体験をさらに強化するために、可視化装置14を装着するユーザ12に対して環境20上に重ね合わされたテキスト25を提示することができる
本明細書に示して特許請求する技術は、本技術分野を確実に改善する、従って抽象的なもの、無形のもの又は純粋に理論的なものではない実際的性質の有形物及び具体例を参照し、これらに適用される。さらに、本明細書の最後に添付するいずれかの請求項が、「...[機能]を[実行]する手段」又は「...[機能]を[実行]するステップ」として指定されている1又は2以上の要素を含む場合、このような要素は米国特許法112条(f)に従って解釈すべきである。一方で、他のいずれかの形で指定された要素を含むあらゆる請求項については、このような要素を米国特許法112条(f)に従って解釈すべきではない。
本発明の開示のある一定の特徴のみを本明細書に図示して説明したが、当業者には多くの修正及び変更が想起されるであろう。従って、添付の特許請求の範囲は、全てのそのような修正及び変更を本発明の開示の真の精神に該当するとして網羅するように意図していることを理解されたい。さらに、開示された実施形態の特定の各要素は、互いに組み合わせること又は交換することができることを理解されたい。

Claims (18)

  1. システムであって、
    ユーザが見ることができるディスプレイを備える可視化装置と、
    前記可視化装置に通信可能に結合されたコンピュータグラフィックス生成システムであって、前記コンピュータグラフィックス生成システムは、プロセッサおよび前記プロセッサに通信可能に結合されたメモリデバイスを備え、前記メモリデバイスは、前記プロセッサに、
    現実世界画像、拡張現実画像、またはこれらの組合せを含む環境を生成し、
    データ分析を提供するために前記環境に関連付けられたデータを受け取って分析し、前記データ分析は前記現実世界画像、前記拡張現実画像、またはこれらの組合せの重要度の表示を含み、
    前記重要度の表示に少なくとも基づいて、前記現実世界画像、前記拡張現実画像、またはこれらの組合せのランク付けを提供し、
    前記ランク付けに少なくとも基づいて、適切なテキスト位置を決定し、
    前記適切なテキスト位置に少なくとも部分的に基づいて、テキストの適切なテキスト特性を決定し、
    前記システムのスピーカによって提供される音声ナレーションに対応するように前記テキストの内容を決定し、
    前記適切なテキスト位置で前記環境上に、前記適切なテキスト特性を備え、前記音声ナレーションに対応する前記内容を含む前記テキストを重ね合わせる、
    ことをさせるように構成された命令を格納するように構成される、コンピュータグラフィックス生成システムと、
    を備える、システム。
  2. 前記適切なテキスト特性は、前記テキストのサイズ、前記テキストの色、前記テキストのフォント、前記テキストを表示する持続時間、またはこれらの組合せを含む、請求項1に記載のシステム。
  3. 前記命令は、前記プロセッサに、前記適切なテキスト位置でのそれぞれの背景色に基づいて前記テキストの色を決定させるように構成される、請求項2に記載のシステム。
  4. 前記環境に関連付けられた前記データは、前記環境内の前記現実世界画像または前記拡張現実画像の位置、サイズ、またはこれらの組合せを含む、請求項1に記載のシステム。
  5. 前記命令は、前記プロセッサに、前記適切なテキスト位置を決定させるように構成され、前記適切なテキスト位置は、比較的低い計算された重要度を有する前記現実世界画像または前記拡張現実画像のうちの一または二以上を覆い、かつ比較的高い計算された重要度を有する前記現実世界画像または前記拡張現実画像のうちの一または二以上を前記ユーザが見えるようにすることができる位置である、請求項1に記載のシステム。
  6. 前記命令は、前記プロセッサに、タイムスタンプに連携して前記テキストを更新させるように構成され、前記タイムスタンプは、前記プロセッサが前記テキストを重ね合わせための開始時間および終了時間を提供する、請求項1に記載のシステム。
  7. 前記命令は、前記プロセッサに、前記ユーザの注視方向を決定させ、かつ前記注視方向に少なくとも部分的に基づいて、前記適切なテキスト位置を決定させるように構成される、請求項1に記載のシステム。
  8. 前記可視化装置は、前記ユーザが装着するように構成される、請求項1に記載のシステム。
  9. 前記命令は、前記テキストの重ね合わせを前記音声ナレーションに同期するために、前記プロセッサに、前記現実世界画像、前記拡張現実画像、またはこれらの組合せの検出された画像に連携して前記テキストを更新させるように構成される、請求項1に記載のシステム。
  10. 可視化装置のディスプレイ上にテキストを重ね合わせる方法であって、
    一または二以上のプロセッサによって、前記ディスプレイ上に環境を生成することであって、前記環境は現実世界画像、拡張現実画像、仮想現実画像、またはこれらの組合せを含む、生成することと、
    前記一または二以上のプロセッサによって、前記環境内の前記現実世界画像、前記拡張現実画像、前記仮想現実画像、またはこれらの組合せの相対的な重要度に少なくとも基づいて、前記現実世界画像、前記拡張現実画像、前記仮想現実画像、またはこれらの組合せのランク付けを提供することと、
    前記一または二以上のプロセッサによって、前記ランク付けに少なくとも基づいて、適切なテキスト位置を決定することと、
    前記一または二以上のプロセッサによって、前記適切なテキスト位置に少なくとも部分的に基づいて、前記テキストの適切なテキスト特性を決定することと、
    前記一または二以上のプロセッサによって、スピーカ装置によって提供される音声ナレーションに対応するように前記テキストの内容を決定することと、
    前記一または二以上のプロセッサによって、前記適切なテキスト位置で前記ディスプレイ上の前記環境上に、前記適切なテキスト特性を備え、前記音声ナレーションに対応する前記内容を含む前記テキストを重ね合わせることと、
    を含む、方法。
  11. 前記適切なテキスト特性は、前記テキストのサイズ、前記テキストの色、前記テキストのフォント、前記テキストを表示する持続時間、またはこれらの組合せを含む、請求項10に記載の方法。
  12. 前記一または二以上のプロセッサによって、前記適切なテキスト位置を決定することは、前記環境内の前記現実世界画像、前記仮想現実画像、前記拡張現実画像、またはこれらの組合せの、位置、サイズ、またはこれらの組合せに基づく、請求項10に記載の方法。
  13. 前記一または二以上のプロセッサによって、タイムスタンプ、ユーザによる動作、前記ユーザの注視方向の変化、前記環境内の前記現実世界画像、前記拡張現実画像、前記仮想現実画像の変化、またはこれらの組合せに基づいて前記テキストを更新することを含む、請求項10に記載の方法。
  14. 前記一または二以上のプロセッサによって、ユーザの注視方向を決定することと、
    前記一または二以上のプロセッサによって、前記注視方向に少なくとも部分的に基づいて、前記適切なテキスト位置を決定することと
    を含む、請求項10に記載の方法。
  15. 前記一または二以上のプロセッサによって、前記注視方向に少なくとも部分的に基づいて前記適切なテキスト特性を決定することを含む、請求項14に記載の方法。
  16. ユーザが装着するように構成された可視化装置に通信可能に結合されたコンピュータグラフィックス生成システム内の一または二以上のプロセッサによって実行可能な命令を格納する有形の非一時的コンピュータ可読媒体であって、前記命令は、前記一または二以上のプロセッサに、
    現実世界画像、仮想現実画像、拡張現実画像、またはこれらの組み合わせを前記可視化装置のディスプレイ上に表示することにより、前記可視化装置によって前記ユーザに見える環境を生成し、
    前記ユーザの注視方向を示す信号を受け取って分析し、
    前記環境に関連するデータを受け取って分析し、
    前記ユーザの前記注視方向を示す前記信号および前記環境に関連する前記データに少なくとも部分的に基づいて、適切なテキスト位置を決定し、
    前記可視化装置のスピーカによって提供される音声ナレーションに対応するようにテキストの内容を決定し、
    前記音声ナレーションと同期して、前記適切なテキスト位置で前記環境上に前記テキストを重ね合わせるために、乗物車両の位置に連携して前記テキストを更新する、
    ことをさせるように構成される、有形の非一時的コンピュータ可読媒体。
  17. 前記命令は、前記一または二以上のプロセッサに、前記適切なテキスト位置に少なくとも部分的に基づいて前記テキストのテキスト特性を決定させるように構成される、請求項16に記載の有形の非一時的コンピュータ可読媒体。
  18. 前記命令は、前記一または二以上のプロセッサに、
    前記注視方向に少なくとも部分的に基づいて、前記テキストの適切なテキスト特性を決定させるように構成される、請求項16に記載の有形の非一時的コンピュータ可読媒体。
JP2020536971A 2018-01-04 2018-12-13 遊園地環境にテキストを重ね合わせるためのシステム及び方法 Active JP7322034B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/862,498 US10699485B2 (en) 2018-01-04 2018-01-04 Systems and methods for textual overlay in an amusement park environment
US15/862,498 2018-01-04
PCT/US2018/065516 WO2019135878A1 (en) 2018-01-04 2018-12-13 Systems and methods for textual overlay in an amusement park environment

Publications (2)

Publication Number Publication Date
JP2021509612A JP2021509612A (ja) 2021-04-01
JP7322034B2 true JP7322034B2 (ja) 2023-08-07

Family

ID=64902535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536971A Active JP7322034B2 (ja) 2018-01-04 2018-12-13 遊園地環境にテキストを重ね合わせるためのシステム及び方法

Country Status (10)

Country Link
US (1) US10699485B2 (ja)
EP (1) EP3735306B1 (ja)
JP (1) JP7322034B2 (ja)
KR (1) KR20200105888A (ja)
CN (1) CN111526929B (ja)
CA (1) CA3086761A1 (ja)
ES (1) ES2917977T3 (ja)
RU (1) RU2768131C2 (ja)
SG (1) SG11202005413YA (ja)
WO (1) WO2019135878A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP2019211595A (ja) * 2018-06-04 2019-12-12 富士ゼロックス株式会社 表示制御装置、プログラム及び表示システム
US10902461B2 (en) * 2018-08-03 2021-01-26 International Business Machines Corporation Environmental modification using tone model analysis
US11354862B2 (en) * 2019-06-06 2022-06-07 Universal City Studios Llc Contextually significant 3-dimensional model
US11217024B2 (en) * 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
US20210271881A1 (en) * 2020-02-27 2021-09-02 Universal City Studios Llc Augmented reality guest recognition systems and methods
US11196944B2 (en) * 2020-05-06 2021-12-07 At&T Intellectual Property I, L.P. System for infinite windows with optical disparity and depth resolution
WO2021247940A1 (en) * 2020-06-03 2021-12-09 Mr Fun, Llc Location based augmented reality gaming system
US11839829B2 (en) * 2020-06-11 2023-12-12 Universal City Studios Llc Wearable visualization device with a retractable cover
US11341697B2 (en) * 2020-06-30 2022-05-24 Rovi Guides, Inc. System and methods for resolving audio conflicts in extended reality environments
US11538225B2 (en) * 2020-09-30 2022-12-27 Snap Inc. Augmented reality content generator for suggesting activities at a destination geolocation
JP7011746B1 (ja) 2021-05-31 2022-01-27 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
WO2023018827A1 (en) * 2021-08-11 2023-02-16 Meta Platforms Technologies, Llc Dynamic widget placement within an artificial reality display
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
WO2023205092A1 (en) * 2022-04-21 2023-10-26 Universal City Studios Llc Artificial intelligence (ai)-assisted and dynamic ride profile head tracking systems and methods
USD1023209S1 (en) 2022-05-26 2024-04-16 Sally Industries, Inc. Indoor amusement ride

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120963A (ja) 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
WO2011112941A1 (en) 2010-03-12 2011-09-15 Tagwhat, Inc. Purchase and delivery of goods and services, and payment gateway in an augmented reality-enabled distribution network
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9966075B2 (en) * 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US20160125624A1 (en) * 2013-05-29 2016-05-05 Nokia Technologies Oy An apparatus and associated methods
US11250630B2 (en) * 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
GB2542434A (en) * 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
GB2542424B (en) * 2015-09-21 2021-10-13 Tridonic Gmbh & Co Kg Operating device for a light-emitting means and method of controlling an operating device
JP6496671B2 (ja) * 2016-01-13 2019-04-03 株式会社ぐるなび 情報処理装置、端末装置、情報処理方法及びプログラム
KR20180014498A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 텍스트의 시인성을 향상시키는 전자 장치와 이의 동작 방법
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
US10565795B2 (en) * 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
WO2018204419A1 (en) * 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
US10769438B2 (en) * 2017-05-23 2020-09-08 Samsung Electronics Company, Ltd. Augmented reality
WO2019055703A2 (en) * 2017-09-13 2019-03-21 Magical Technologies, Llc VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT
US10553031B2 (en) * 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120963A (ja) 2012-12-18 2014-06-30 Seiko Epson Corp 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法

Also Published As

Publication number Publication date
CN111526929B (zh) 2022-02-18
CN111526929A (zh) 2020-08-11
RU2020125730A (ru) 2022-02-04
WO2019135878A1 (en) 2019-07-11
CA3086761A1 (en) 2019-07-11
RU2020125730A3 (ja) 2022-02-04
EP3735306B1 (en) 2022-04-06
US10699485B2 (en) 2020-06-30
US20190206132A1 (en) 2019-07-04
ES2917977T3 (es) 2022-07-12
EP3735306A1 (en) 2020-11-11
RU2768131C2 (ru) 2022-03-23
JP2021509612A (ja) 2021-04-01
SG11202005413YA (en) 2020-07-29
KR20200105888A (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
JP7322034B2 (ja) 遊園地環境にテキストを重ね合わせるためのシステム及び方法
CN110352085B (zh) 用于游乐园环境中的分层虚拟特征的系统和方法
US11670054B2 (en) Systems and methods for generating stereoscopic, augmented, and virtual reality images
US10606348B2 (en) Systems and methods for generating augmented and virtual reality images
JP2022502699A (ja) 娯楽環境内のディスプレイシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7322034

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150