JP2023511733A - 相関効果拡張現実システム及び方法 - Google Patents

Abstract

拡張現実システムは、第１のシーン及び第２のシーンを含む。さらに、拡張現実システムは、第１のシーン、第２のシーン、及び観客に対して位置決めされた部分反射面を含み、部分反射面は、部分反射面を通して第１のシーン及び第２のシーンの一方を見ることを助長し、第１のシーン及び第２のシーンの他方を拡張現実イメージとして観客に向かって反射させることを助長する。拡張現実システムのセンサは、第１のシーンの特性を示すデータを検出して生成するようになっており、相関効果システムは、データを受け取り、それに基づいて第２のシーンを調整するように動作可能である。【選択図】図１

Description

本発明は、相関効果拡張現実システム及び方法に関する。

乗り物システムなどの遊園地のアトラクションは、来客が見ることができるように拡張現実（ＡＲ）イメージを表示することを含む、多数の方法で来客に娯楽を提供することができる。例えば、遊園地の乗り物は、来客に隣接して配置されたディスプレイを含み、単独で又は他の機能と連携して、来客が見るためのＡＲイメージを出力するように動作することができる。これは、ステージシーンに存在する半透明の幽霊の錯視など、特別な効果を生み出すために行うことができる。

このようなＡＲイメージを提供する手法の１つは、従来から、ペッパーズゴースト錯視と呼ばれている。このＡＲイメージを提供するための技術は、１９世紀に開発されたと考えられている。ペッパーズゴースト錯視は、半透明又は透明な材料（例えば、ガラス、プラスチック、又はポリエステル箔）の反射特性を利用して、観客が見るためのシーンにイメージを仮想的に投影する。例えば、角度のついたガラス板をステージの前に置き、イメジェリー（ｉｍａｇｅｒｙ）を観客の視線の外からガラス板に向かって投影し、ガラス板で部分的に観客に向かって反射させることができる。従って、観客は、ガラス板の後ろ側で観客の視線上に提示されたシーンを見ると同時に、反射イメジェリーを知覚する。照明によって、ガラス板の後ろ側の光が反射イメジェリーを通して見えるため、このことは、反射イメジェリーを幽霊の出現のように思わせることができる。しかしながら、照明技術により、背景との光の競合を抑えることで、反射イメジェリーをより立体的に見せることができる。このタイプのＡＲは長年にわたって利用されており、現在では多くの遊園地のアトラクションで利用されている。しかしながら、観客はより洗練されてきており、この錯視の本質を見抜くことができることが認識されている。従って、現在、錯視をより現実的かつ没入的にするための技術の改善が必要であることが認識されている。

このセクションは、読み手に、以下に記載する本開示の種々の態様に関連し得る種々の態様を紹介することを意図している。この考察は、読み手に対して本開示の種々の態様をより理解するのを容易にするための背景情報を提供するのを助けると考えられる。従って、本記載はこの観点から読まれものであり従来技術の自認ではないことを理解されたい。

開示された主題に相応する特定の実施形態が、以下に要約される。これらの実施形態は、本開示の範囲を限定することを意図しておらず、むしろこれらの実施形態は、特定の開示された実施形態の簡単な要約を提供することのみを意図している。実際、本開示は、以下に示す実施形態と類似するか又は異なることができる様々な形態を含むことができる。

一実施形態は、第１のシーンと第２のシーンとを備える拡張現実システムを含む。部分的反射面は、第１のシーン、第２のシーン、及び観客に対して位置決めされ、部分的反射面を通して第１のシーン又は第２のシーンの一方を見ることを助長し、第１のシーン又は第２のシーンの他方を拡張現実イメジェリーとして観客に向かって反射することを助長する。センサは、第１のシーンの特性を検出し、この特性を示すデータを生成するように構成される。相関効果システムは、データを受け取り、このデータに基づいて第２のシーンを調整するように構成される。

一実施形態は、背景シーン照明を含む背景シーンと拡張現実シーン照明を含む拡張現実シーンとを備える拡張現実システムを含む。部分的反射面は、背景シーン、拡張現実シーン、及び観客に対して位置決めされ、部分的反射面を通して背景シーンを見ることを助長し、仮想現実シーンを拡張現実イメジェリーとして観客に向かって反射することを助長する。センサは、背景シーンの照明特性を検出し、この照明特性を示すデータを生成するように構成される。相関効果システムは、データを受け取り、このデータに基づいて拡張現実シーン照明を調整するように構成される。

一実施形態は、３次元ステージ領域と、３次元ステージ領域を調整可能に照らすように構成された背景シーン照明とを含む背景シーンを備える拡張現実システムを含む。また、拡張現実システムは、拡張現実イメジェリーを提供するように構成された拡張現実シーン照明を含む拡張現実シーンを含む。部分的反射面は、背景シーン、拡張現実シーン、及び観客に対して位置決めされ、部分的反射面を通して背景シーンを見ることを助長し、拡張現実イメジェリーを観客に向かって反射することを助長する。センサは、背景シーン又は拡張現実シーンの一方の特性を検出するように構成されかつこの特性を示すデータを生成するように構成される。相関効果システムは、データを受け取り、このデータに基づいて背景シーン又は拡張現実シーンの他方の態様を調整するように構成される。

本開示のこれらの及び他の特徴、態様、及び利点は、以下の詳細な説明を、図面全体にわたって同種の文字が同種の部品を表す添付の図面を参照して読むと、よりよく理解されるであろう。

本開示の一態様による、観客が見るために配置された拡張現実（ＡＲ）システムの概略図である。 本開示の一実施形態による、投影ソースが、仮想発光オブジェクトに対するステージの照明を調整し、物理オブジェクトに対する仮想発光オブジェクトの提示の位置決めを調整するように動作する、ＡＲシステムの一実施形態の概略的な斜視図である。 本開示の一実施形態による、照明システムが、部分反射面の境界に近接して配置され、仮想発光オブジェクトに対するステージの照明を調整するように動作可能な、ＡＲシステムの一実施形態の概略透視図である 本開示の一実施形態による、イメージソースが、仮想オブジェクトの背景シーン内の物品上への反射を表示又は模倣するように動作する、ＡＲシステムの側面概略図である。 本開示の実施形態による、ステージ照明が、背景シーン内の物品上への仮想イメージの反射を模倣するために動作する、ＡＲシステムの側面概略図である。 本開示の実施形態による、照明アレイが、背景シーン内の物品上への仮想イメージの反射を模倣するように動作する、ＡＲシステムの側面概略図である。 本開示の実施形態による、拡張現実ディスプレイに関与する複数の３次元シーンの照明が、複数のシーンの１又は２以上の照明の調整を助長するために照明検出器によって監視される、ＡＲシステムの概略透視図である。

１又は２以上の特定の実施形態が以下に説明される。これらの実施形態の簡潔な説明を行うために、実際の実施例の全ての特徴が本明細書で説明されるわけではない。何らかの工業設計又は設計プロジェクトの場合と同様に、何らかの当該の実際の実施例の開発において、実施例間で変動する場合があるシステム関連及び事業関連の制約の遵守など、開発担当者らの特定の目標を達成するために数多くの実施固有の意思決定を行う必要があることを認識されたい。さらに、このような開発作業は、複雑かつ時間が掛かることがあり得るが、それでも、本開示の恩恵を有する当業者にとって設計、作製、及び製造の日常的な仕事になることを認識されたい。

本開示の様々な実施形態の要素を説明する場合に、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、要素の１又は２以上があることを意味することが意図されている。用語「～を備える」、「～を含む」、及び「～を有する」は、包括的であり、かつ、記載された要素以外のさらなる要素がある場合があることを意味することが意図されている。加えて、本開示の「１つの実施形態」又は「一実施形態」への言及は、言及された特徴を組み込んでいる追加の実施形態の存在を除外するとして解釈されることを意図していないことを理解されたい。

本実施形態によれば、拡張現実（ＡＲ）システムは、観客（例えば、視聴者）と、ステージ、電子ディスプレイ、スクリーン、又はセットなどの背景シーンとの間に配置された部分的反射面（例えば、ガラス、プラスチック、又はポリエステル箔）にＡＲイメジェリーを投影するように動作するＡＲイメジェリーソース（例えば、プロジェクタ又は照らされたシーン）を含むことができる。ＡＲイメジェリーソース及び背景は、参照された特徴の組み合わせを含むことができる。ＡＲイメジェリーは、背景シーンに対してＡＲイメジェリーが存在するように見せるために、観客に向かってそれを反射するスクリーンに投影される様々なイメージのいずれかを含むことができる。いくつかの実施形態において、ＡＲイメジェリーは、キャラクター（例えば、人）、幽霊、物体（例えば、机）、テキスト、仮想発光オブジェクト（例えば、炎）などを含むことができる。一実施形態では、部分的反射面は、ソースから観客に向かってＡＲイメジェリーを部分的に反射する半透明の鏡を含むことができる。換言すると、部分的反射面は、ＡＲイメジェリーとして観客に向かってＡＲシーンを反射する。観客は、半透明の鏡から反射されるＡＲイメジェリーを、物理的な小道具、電子ディスプレイ（例えば、プロジェクタスクリーン、又は液晶ディスプレイ）、又はその両方を含むことができる背景シーンに重なるように見ることができる。このように、ＡＲイメジェリーは、背景シーンの特徴に近接して配置されているかのように観客に見せることができる。この効果を強化するために、ＡＲイメジェリーは、３次元（３Ｄ）イメジェリーを含むことができ、これは、適切なレンズ（例えば、３Ｄメガネの偏光レンズ又は着色レンズ）を通して見たときに３次元に見える２次元イメジェリーとして説明することができる。

様々な他の部分的反射面（例えば、ガラス、メッシュ）の代表である半透明の鏡は、ペッパーズゴースト効果として説明されるものを作る出すことができるように、観客及びＡＲイメジェリーソースに対して所定の角度を成して配置することができる。ペッパーズゴースト効果は、観覧者が、部分的反射面のＡＲイメジェリーを部分的反射面の反対側に位置する特徴と組み合わせて同時に見ることができるように、ＡＲイメジェリーを反射させることを含む。具体的には、ペッパーズゴースト効果により、ＡＲイメジェリーは、部分的反射面の背後に配置されたオブジェクト又はイメージに重なって見えるようにすることができる。例えば、ＡＲイメジェリーとして提示され、部分的反射面によって反射される人間の姿は、観客の視点に関して、部分的反射面の背後にあるステージ上に置かれた実際の椅子に座っているように見える場合がある。

観客によって直接見られる部分的反射面の背後のシーンは、背景シーンと呼ぶことができる。部分的反射面からの反射の後で観客によって見られるＡＲイメジェリーを提供するシーンは、ＡＲシーンと呼ぶことができる。背景シーン及びＡＲシーンは、物理的な構成要素（例えば、ステージ小道具、役者、構造物）及び／又は電子ディスプレイ（例えば、プロジェクタ、液晶ディスプレイ、照明パネル）を含むことができる。例えば、背景スクリーンは、映像が投影されるスクリーン（例えば、映画スクリーン）を含むことができ、一方、ＡＲシーンは、光が部分的反射面に反射するように配置された照らされた小道具及び役者を含むことができる。この例では、ＡＲシーンは、観客によって直接見ることができないが、観客に向かって反射するために部分的反射面に向かって光を向けるように配置された、ステージの下の空間に設置することができる。

別の例では、背景シーン及びＡＲシーンの各々に関して反対の又は異なる特徴の組み合わせを使用することができる。背景シーン及びＡＲシーンによって提供されるイメジェリーは、ペッパーズゴースト効果を提供するために組み合わされるので、各シーンの相対的な照明は、これが観客によってどのように見られるかについての効果の性質に影響を与える。例えば、背景シーンがＡＲシーンよりも非常に明るい場合、観客は自分に向かって反射したＡＲイメジェリーをほとんど知覚することができない。しかしながら、背景のシーンがＡＲシーンよりも非常に暗い場合、ＡＲイメジェリーが支配的となり、観客には背景シーンが見えない可能性がある。さらに、ＡＲイメジェリーは、観客には反射によって見えるように提示されているので、表示されているＡＲイメジェリーの特徴（例えば、動き回るキャラクター）は、観客が実際の特徴が行うことを期待するような方法で背景シーンを照らすことはない。例えば、特定の特徴（例えば、人、ランプ、又は車）のＡＲイメジェリーは、背景シーンの実際の鏡にその特徴を適切に反射させることはないであろう。同様に、典型的には発光特徴（例えば、ランプ、懐中電灯、炎、又は他の発光オブジェクト）とずることができるＡＲイメジェリーは、背景シーンに光及び対応する影をもたらすことはないであろう。

本実施形態は、照明効果を協調させて、背景シーン及びＡＲシーンからの組み合わされたイメジェリーの所望の重なり合った知覚を達成するために、背景シーン及びＡＲシーンの一方又は両方における照明を追跡する監視システムを含む。加えて、本実施形態は、背景シーンが観客によって予想される方法で影響を受けるように、ＡＲイメジェリーが提供する特徴の予想される照明効果を模倣する照明特徴部を含み、これは表示の没入感を向上させる。また、本実施形態は、それに相関する所望のＡＲイメジェリーを提供するために背景シーン内の特徴を追跡するように動作する追跡システムを含む。例えば、物理的ランタンなどは、背景シーン内であちこち動き、ランタンの位置決め情報を提供するために追跡することができる。この位置決め情報は、部分的反射面上の位置にＡＲイメジェリーを提供し、背景シーンとＡＲイメジェリーの組み合わせにより、観客にはランタンが点灯して輝いているかのように見えるように、ランタンの位置に相関させるために使用することができる。具体的には、炎などの発光オブジェクトは、ランタンの物理的位置を追跡する際に観客に発光オブジェクトを見せる位置で、部分反射面又はスクリーン上に投影することができる。さらに、背景シーンの照明は、例えば、ランタンの偽のライトから生じるかのような影を落とすように調整することができる。

図１は、本開示の一実施形態によるＡＲシステム１０の概略図である。ＡＲシステム１０は、背景シーン１２と、ＡＲシーン１４と、その間に配置された部分的反射面１６（これは、部分的反射層又はスクリーン１６と呼ぶこともできる）とを含む。観客１８は、破線の仮想イメージ２１によって示されるように、ＡＲイメジェリー２０を背景シーン１２に配置されているかのように見せる方法で、ＡＲシーン１４から反射された光を含むＡＲイメジェリー（ｉｍａｇｅｒｙ）２０が部分的反射面１６から観客１８に向かって反射されるように位置決めされる。さらに、背景シーン１２は、部分的に透明でもある部分的反射面１６を通して観客１８が直接見ることができるように配置される。背景シーン１２及びＡＲシーン１４は、物理的な小道具、実在の役者、電子的に生成されたイメジェリーなどの何らかの組み合わせによって定義することができる。例えば、背景シーン１２は、物理的特徴（例えば、椅子、テーブル、及び実在の役者）を有するステージを含むことができるが、ＡＲシーン１４は、ＡＲイメジェリー２０を部分的反射面１６に向けるプロジェクタを含むことができる。他の実施形態では、背景シーン１２及びＡＲシーン１４の各々の両方を含めて、物理的特徴及び電子的に生成されたイメジェリーの異なる組み合わせを使用することができる。部分的反射面１６は、適切な照明条件において、観客１８がそれを通して見ること及びそこから反射するイメジェリーを観察することの両方を可能にするように動作可能な、特別な箔、ガラス、プラスチック、部分鏡、又は同様のものを含むことができる。また、ＡＲシステム１０は、一実施形態による所望の効果を提供するために様々なセンサ２４、２６及び照明システム２８、３０と共に動作するように設計された制御装置とすることができる相関効果システム２２を含む。さらに、本開示による一実施形態では、相関効果システム２２は、実際にセンサ２４、２６及び照明システム２８、３０を含むことができる。いくつかの実施形態では、唯一のセンサ２４、２６は、背景シーン１２及びＡＲシーン１４の一方又は両方を監視するために使用することができる。

具体的には、ＡＲシステム１０は、ＡＲシステム１０によって提供されているＡＲ錯視への観客１８の没入感を高める方法で、ＡＲシーン１４の態様を背景シーン１２の態様と相関させることができる特徴を有する相関効果システム２２を含む。ＡＲシステム１０は、特定の相関結果を達成するために部分的反射面１６の操作（例えば、再位置決め）を容易にするアクチュエータ１９などの特徴を含むこともできる。

ＡＲシステム１０及び／又は相関効果システム２２は、様々な機能（例えば、他のシステム機能の動作を指示する）を実行するための１又は２以上の制御装置３２、プロセッサ３４、及び／又はメモリ３６を含むことができる。１又は２以上のメモリ３６は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリなどの書き換え可能な不揮発性メモリ、ハードドライブ、光ディスク、及び／又は他のタイプのメモリを含むことができる。ＡＲシステム１０の１又は２以上のプロセッサ３４は、１又は２以上の汎用マイクロプロセッサ、１又は２以上の特定用途向け集積回路（ＡＳＩＣ）、及び／又は１又は２以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができる。１又は２以上の制御装置３６は、プログラマブルロジック制御装置（ＰＬＣ）又は他のコンピュータベースの制御装置を含むことができる。これらの特徴部（例えば、制御装置３６、プロセッサ３４、及びメモリ３２）は、相関効果システム２２の構成要素とすること又は別個の特徴部とすることができる。さらに、理解できるように、これらの特徴部は、実行されるとアクション（例えば、照明の調光又はアクチュエータの操作）を引き起こす、格納命令（例えば、コード）を使用して動作することができる。

１つの実施例では、ＡＲシステム１０は、ＡＲシーン１４と背景シーン１２との間の照明特性を相関させて、ＡＲイメージ２０と、背景シーン１２の直接見ることができる態様との間の協調を改善するように動作することができる。例えば、ＡＲイメジェリー２０が背景シーン１２と同様のカラーリングを有するように調整することが望ましい場合がある。これは、センサ２４、２６によってＡＲシーン１４又は背景シーン１２のどちらか一方における照明特性を観察し、照明システム２８、３０によってＡＲシーン１４又は背景シーン１２の他方における対応する照明変更を行うことによって達成することができる。センサ２４、２６の一方又は両方は、特定のシステムが含むことができる、及び／又は使用することができる。検出及び調整することができる照明特性の例としては、照度、位置／方向、輝度、色、温度、コントラスト、及び品質を挙げることができる。特定のシーンの特性は、他のシーンの異なる特性に基づいて変更することができる。例えば、相関効果システム２２は、ＡＲシーン１４のコントラストに基づいて、背景シーン１２の輝度を調整するように動作することができる。本実施形態では、物理シーン（例えば、劇場ステージ）又は仮想シーン（例えば、液晶ディスプレイ又はプロジェクタなどの電子ディスプレイによって提供されるシーン）のいずれか（又は両方）において照明を検出及び調整することができる。例えば、背景シーン１２及びＡＲシーン１４の一方又は両方が電子ディスプレイを含む実施形態では、センサ２４、２６は、ディスプレイ設定（例えば、色設定）を検出することができ、照明システム２８、３０は、センサ２４、２６からの出力に基づきディスプレイ設定を制御することができる。照明の変更に加えて、本実施形態では、部分的反射面１６の物理的な位置決めを調整することができる。例えば、背景シーン１２、ＡＲシーン１４、及び観客１８に対する部分的反射面１６の角度は、所望の観覧結果を達成するために相関効果システム２２からの指示に基づいてアクチュエータ１９で調整することができる。

図２は、本開示の一実施形態による、投影ソース６０が仮想発光オブジェクト６４に対するステージ６２の照明を調整し、物理オブジェクト６６に対する仮想発光オブジェクト６４の位置決めを調整するために動作する、ＡＲシステム１０の一実施形態の概略斜視図である。図２の例示の実施形態では、背景シーン１２は、ステージ６２と、移動する背景オブジェクトである物理オブジェクト６６とを含む。この物理オブジェクト６６は、幾つもの可動オブジェクトとすることができる。例えば、移動オブジェクトは、ロボットフィギュア、トーチ、剣、役者、又は他の何らかの追跡可能なオブジェクトとすることができる。しかしながら、例示の実施形態では、物理オブジェクトは、それ自体では実際に発光しない小道具ランタンである。

追跡システム７０は、背景シーン１２内の物理的移動の追跡を容易にするために含まれる。例えば、例示の追跡システム７０は、物理オブジェクト６６及び／又は役者８０を空間的に追跡するように協調するセンサ（例えば、カメラ）７２、プロセッサ７４、及びメモリ７６を含む。背景シーン１２内のこれらの物理的な態様（例えば、物理オブジェクト及び役者８０）を追跡することによって、ＡＲシステム１０の拡張現実提示をより没入的なものにするために、照明システム６０に対する適切な照明調整を行うことができる。例えば、ＡＲイメジェリー２０は、照明システム６０のプロジェクタ８２によって、ＡＲイメジェリー２０の位置決めが観客１８の視線８４に対する物理オブジェクト６６の位置決めに相関するように、部分的反射面１６上に提示することができる。例示のプロジェクタ８２は、所望の効果を達成するために利用することができる広範なイメージ生成装置を代表する。例えば、プロジェクタ８２は、炎のイメージを生成するフラットスクリーンテレビを代表することができ、次に、この炎のイメージは、部分的反射面１６によって反射されて、炎が実際に物理オブジェクト６６上に又はその中に位置するような錯視を生じさせる。他の実施形態では、プロジェクタ８２は、フロントプロジェクション又はリアプロジェクションによってイメージを受け取るスクリーンを含むことができる。フラットスクリーンテレビと同様に、スクリーン上に提示されたイメージは、部分的反射面１６によって反射され、所望の錯視を生じさせることができる。プロジェクタ８２は、所望のイメージを提供するために動作することになる何らかの装置を代表することができる。さらに、いくつかの実施形態では、プロジェクタ８２は、ステージ６２に対する錯視イメージの所望の位置決めに相関する反射光を提供するために、アクチュエータによって空間の周りで動かすことができる物理的特徴（例えば、点灯したろうそく）に置き換えることができる。

上記を考慮すると、追跡システム７７及び照明システム６０の複合作用により、ＡＲシステム１０は、ＡＲイメジェリー２０が炎を表しかつ適切に配置されているので、物理オブジェクト６６（例示の実施形態では機能しないランタン小道具）を、点火して炎を発しているかのように見せることができる。さらに、照明システム６０のステージ照明８６は、ＡＲイメジェリー２０の位置決めに相関する影８８を投影するように動作することができる。例示の実施形態では、例えば、ＡＲイメジェリー２０が影８８を引き起こしているかのように見せるために、影８８は、１又は２以上の特定のランプ９０を動作させることによって投影することができる。相関効果システム２２（例えば、自動化制御装置）は、追跡システム７０から入力を受け取り、出力を照明システム６０に提供することによって、この目的のために使用することができる。相関効果システム２２は、既知の位置決め情報（例えば、物理オブジェクト６６及び／又はＡＲイメジェリー２０の既定された経路）を使用して、照明システム６０を制御して相関効果及び没入感を提供することもできる。例えば、ランタン小道具は、自動制御を使用してステージ６２を横切って動かすことができ、横断パターンは、所望の効果を提供するためにプロジェクタ８２と協調させることができる。このような実施形態は、効率を改善し、物理的特徴（例えば、物理オブジェクト６６）を追跡することに関連する処理時間及び／又はコストを排除することになる。

物理オブジェクト６６及び／又は役者８０は、追跡システム７０による検出又は認識を可能にする１又は２以上の特徴（例えば、形状、色、顔の特徴、又はＲＦＩＤ）に起因して、追跡システム７０によって追跡することができる。例えば、１つの実施形態では、追跡システム７０は、物理オブジェクト６６の特定の形状を識別し、位置データ（例えば、現在の位置）を本質的にリアルタイムで容易に識別できるように物理オブジェクト６６の動きを追跡するようにプログラムされる。これを達成するために、メモリ７６及びプロセッサ７４は、プログラミング（例えば、物体認識又は顔認識プログラム）を実行して、データを解釈すること及び／又はセンサ７２から得られたデータから外挿することができる。追跡システムによって得られた位置データを使用して、照明システム６０を制御する際に使用するための適切な位置を特定することができる。

図３は、ＡＲシステム１０の一実施形態の概略的な斜視図であり、照明システム６０のステージ照明８６は、部分反射面１６の境界１０２に近接して配置され、例示の実施形態では仮想発光オブジェクト、特に仮想の炎として提示されるＡＲイメジェリー２０に対して背景シーン１２のステージ６２の照明を調整するように動作可能である。観客１８は、概して破線の仮想イメージ２１によって示されるように、仮想の炎をステージ６２の中央及び物理オブジェクト６６の前に存在するものとして知覚することができる。図３に例示される実施形態は、図２に関して説明したＡＲシステム１０の実施形態に関して上述したものと同様の方法で動作するように配置される。すなわち、仮想発光オブジェクトであるＡＲイメジェリー２０は、プロジェクタ８２によって部分反射面１６に投影され、背景シーン１２の３次元空間内に配置されているように見えるように及び背景オブジェクト６６と相互作用して影８８を発生させるようになっている。しかしながら、この実施形態では、ステージ照明８６は、部分的反射面１６上に又は近接する縁部に取り付けられている。この位置決めにより、ステージ照明８６の様々なランプ９０（例えば、ＬＥＤライト）をＡＲイメジェリー２０の位置決めに基づいて作動させて、背景シーン１２に現実的な影響を与えることができ、これは、例示の実施形態では、仮想イメージ２１として表される仮想の炎によって引き起こされるように見える影８８である。

理解できるように、ＡＲイメジェリー２０が、３次元シーンの周りを移動する明滅する炎を模倣するために部分反射面１６の周りを移動している炎を表す場合、ステージ照明８６は、模倣された位置関係に基づいて異なる影を投影するためにあちこち動き、また適切な影形成をもたらすために明滅することができる。いくつかの実施形態では、ランプ９０自体は動かないが、部分反射面１６の周囲に部分的又は完全に配置された様々なランプは、図３の実施形態と同じような効果を達成するために作動させることができる。このような技術及びシステムを使用すると、多数のペッパーズゴースト錯視を見たことのある観客１８の観察者であっても、その効果により没入することになる。様々なランプ９０の位置決めは、様々な位置での様々なランプ９０の作動と組み合わせて調整することもできることに留意されたい。例えば、様々なランプ９０が境界１０２に結合されている場合、ランプ９０は、所望の観覧結果を達成するために、アクチュエータ２７を使用して部分反射面１６全体を動かすことによって動かすことができる。他の実施形態では、別個のアクチュエータは、各ランプ９０に対して使用することができる。

図４は、ＡＲシステム１０の側面概略図であり、投影ソース１１２（例えば、映画プロジェクタ、テレビ画面、投影スクリーン）は、ＡＲイメジェリー２０によって提示された仮想オブジェクト１１８のイメージ１１６を背景シーン１２内の表面１２４に表示することによって、反射光を表示又は模倣するように動作し、背景シーン１２は、例示の実施形態では、ステージ６２上に配置された偽の鏡（ｆａｕｘ ｍｉｒｒｏｒ）を含む。他の実施形態では、表面１２４は、光沢のある家具、ガラス窓、食器セット、金属パネルなど、他の物品を代表するものであってもよい。具体的には、図４の例示の実施形態では、ＡＲシステム１０の背景シーン１２は、表面１２４として偽の鏡を含み、偽の鏡は、実際には、観客にイメージ１１６を提示するための投影面である。仮想オブジェクト１１８は、仮想イメージ２１として配置されているように見えるだけなので、実際には、背景シーン１２内の本物の鏡（又は他の光沢のある表面）に反射させることはないであろう。従って、本実施形態は、実際の反射を模倣することによって、そのような反射が現れるのを実現し、観客の没入感を高めることができる。

実際には、偽の鏡は、例示の実施形態においては表面１２４の前に配置される投影ソース１１２から受け取ったイメージを表示することによって、鏡の反射特性を模倣する小道具である。他の実施形態では、リアプロジェクションを利用することができる。さらに他の実施形態では、投影ソース１１２及び表面１２４は、フラットスクリーンテレビのような組み合わされた特徴部とすることができる。背景シーン１２が現実的に見え、観客１８の知覚対象への没入感を高めるために、相関効果システム２２は、投影ソース１１２及びプロジェクタ８２の動作を協調させる。例えば、プロジェクタ８２によって提示される仮想オブジェクト１１８の動きは、表面１２４が仮想オブジェクト１１８を反射しているような錯覚を与えるために、投影ソースによって提示されるイメージ１１６と協調される。いくつかの実施形態において、これは、イメージ１１６を提示するために仮想オブジェクト１１８からのデータを修正することを含むことができる。例えば、模倣される表面（例えば、家具上のわずかに光沢のある塗装）に応じて、イメージ１１６は、ぼやけて見える必要がある場合がある。投影ソース１１２及びプロジェクタ８２は、幾つものイメージ提示特徴を代表することができることに留意されたい。例えば、これらの特徴のいずれかは、ディスプレイスクリーン、照らされたステージ、従来のプロジェクタなどを代表することができる。

図５は、本開示の実施形態によるＡＲシステム１０の側面概略図であり、背景シーン１２内の物品への仮想イメージ２１の反射を模倣するためにステージ照明８６が動作する。例示の実施形態では、物理的な反射オブジェクト１５２（例えば、光沢のあるボール、アワーグラス、光沢のある絵画、光沢のある家具の一部）が背景シーン１２に配置される。ＡＲシーン１４では、物理的な点灯オブジェクト１５４（例えば、プロジェクタ、テレビ画面、ろうそく、照明下のオブジェクト）は、物理的な照明オブジェクト１５４が実際に背景シーン１２に存在し、仮想イメージ２１として配置されるという錯覚を引き起こすような方法で、物理的な点灯オブジェクト１５４のイメジェリーが部分的反射面１６から観客１８に向かって反射するように配置される。センサ２４（例えば、カメラ）は、物理的な点灯オブジェクト１５４が実際に仮想イメージ２１として背景シーン１２に配置された場合に、物理的な反射オブジェクト１５２の表面に存在することになる照明条件を検出するように動作する。一実施形態において、これは、仮想イメージ２１が背景シーン１２に実際に存在した場合に、物理的な反射オブジェクト１５２に対応することになる位置から物理的な点灯オブジェクト１５４を見るセンサ２４に基づくことができる。例えば、光沢のあるゴム球は、背景シーン１２内に仮想イメージ２１があるように見える場所に対して４５度の角度で配置されるので、センサは、ＡＲシーン内の物理的な点灯オブジェクト１５４に対して４５度の角度で配置することができる。さらに、このような情報は、モデリング技術を使用して計算することができ、近似は、所望の錯視を提供するには十分である場合がある。このような技術は、仮想イメージ２１がスクリーン（例えば、テレビ画面）により表示されるイメージに基づいている場合に適用することができる。従って、センサ２４から得られたデータは、次に、適切な方法で背景シーン１２に投影又は反射されることになるステージ照明８６からの光を生成するために使用することができる。例えば、図５の例示される実施形態では、ステージ照明８６の中央のセットは、データに基づいてアクティブになるように選択されており、所望の反射効果を作り出す。結果として生じる照明効果は、物理的な反射オブジェクト１５２が仮想イメージ２１に関して知覚されるように配置された場合に当たるであろう光の位置及び質の両方を一致させることになるので、物理的な反射オブジェクト１５２は、正確かつ信頼性のある方法で投影光に反応することになる。

図６は、本開示の実施形態によるＡＲシステム１０の側面概略図であり、照明アレイ１６２（例えば、平行光の平面アレイ、ライトフィールドディスプレイ、レーザーのパネル）は、背景シーン１２内の物品への仮想イメージ２１の反射を模倣するように動作する。図６のＡＲシステム１０は、図５に示された実施形態と類似の方法で設定される。しかしながら、図６の例示の実施形態におけるステージ照明８６は、照明アレイ１６２を含む。照明アレイ１６２は、関連する光円錐が実質的に拡大してぼやけなどを引き起こすことなく、光の点を特定の場所に向けることができる様々な集光照明システムのいずれかを含むことができる。センサ２４から得られたデータを使用して、図５に関して説明したのと同様の方法で、照明アレイ１６２は、光が背景シーン１２に適切に反射されるように、部分的反射面１６の背面に所望のパターンで光を向けることができる。例えば、照明アレイ１６２がライトフィールドディスプレイを含む実施形態では、特定の光線は、仮想イメージ２１の知覚された位置（知覚された位置を示すセンサ２４からのデータに基づいて）に収束し、その後、仮想イメージ２１が実際に存在する場合に生じるものと同様の方法でそこから発散するように向けることができる。これは、物理的な反射オブジェクト１５２上での仮想イメージ２１の鏡面反射の高精度な錯視を促進することができる。

図７は、本開示の実施形態によるＡＲシステム１０の概略的な斜視図であり、拡張現実ディスプレイに関連する複数の３次元シーンの照明は、照明検出器によって監視されて、複数のシーンのうちの１又は２以上の照明の調整を促進する。例示の実施形態では、背景シーン１２及びＡＲシーン１４の両方は、３次元ステージ領域である。背景シーン１２は、背景シーン照明２０２によって照らされ、この照明は、背景シーンセンサ２０４（例えば、カメラ）によって監視される。ＡＲシーンは、ＡＲシーン照明２１２によって照らされ、この照明は、ＡＲシーンセンサ２１４によって監視される。ＡＲシーン１４の小道具２１８は、ＡＲシーン照明２１２からの光を部分的反射面１６に向けて反射し、この光は観客１８に向けられる。背景シーン１２及びＡＲシーン１４の組み合わせられた照明は、相関効果システム２２によって制御することができ、例示の実施形態では、照明システム６０及び関連センサ２０４、２１４と無線で通信している。

一実施形態では、相関効果システム２２は、ＡＲイメジェリー２０が観客１８には半透明に見えるように照明システム６０を制御することができ、これによりＡＲイメジェリー２０に幽霊のような効果を提供することができる。このような相関効果システム２２の制御は、背景シーンセンサ２０４及び／又はＡＲシーンセンサ２１４からのセンサデータに基づくことができる。また、背景シーン照明２０２及びＡＲシーン照明２１２の照明調整は、背景シーンセンサ２０４及び／又はＡＲシーンセンサ２１４からのセンサデータに基づいて相関効果システム２２によって行うことができ、観覧体験に対して他の調整を行うことができる。例えば、ＡＲイメジェリー２０は、より立体的に見えるようにすることができ、又は、背景シーン１２及びＡＲシーン１４の相関（例えば、色付け、コントラストの調整）をより良くするために様々な調整を行うことができる。図７は、背景シーン１２及びＡＲシーン１４が３次元ステージ設定によって提供される特定の実施形態を示すが、複数の異なる特徴を組み合わせて背景シーン１２及びＡＲシーン１４を形成することができることに留意されたい。例えば、プロジェクタ８２は、照明システム６０の一部であり、追加のＡＲイメジェリー２０の提供を促進するように動作することができる。別の例として、ディスプレイ２２２（例えば、ＬＣＤスクリーン又は投影スクリーン）は、ステージ６２の物理オブジェクト６６と連携して背景シーン１２の提供を容易にすることができる。これらの特徴の各々（例えば、ディスプレイ２２２、プロジェクタ８２、照明２０２、２１２）は、本実施形態によって期待されるイメージ結果を提供するため、効果を協調させることによって拡張現実の没入型提示を観客に提供するために、相関効果システム２２によって協調させることができる。

本開示の様々な態様は、図１－５及びそれらの対応する説明によって例示される。例えば、図４は、背景シーン１２においてＡＲイメジェリー２０の偽の反射を提供するＡＲシステム１０の一例であるが、図５は、背景シーン１２及びＡＲシーン１２としての３次元ステージ領域の特定の配置と、ＡＲ提示における協調照明を提供するために用いられるこれらのシーンの例を提供する。これらは、本開示によってカバーされるより広範な特徴を伝えるために提供される実施形態の特定の態様であり、異なる組み合わされた結果を達成するために様々な方法で組み合わせることができる。例えば、図５に関して説明したような偽の反射は、例えば図３の照明配置と併せて、本開示の様々な実施形態と併せて提供することができる。実際、本開示は、ＡＲシステム１０の開示された特徴の全ての組み合わせをカバーする。

本明細書では、開示された実施形態の特定の特徴のみを図示及び説明してきたが、当業者であれば多くの修正及び変更を想起するであろう。従って、添付の特許請求の範囲は、本開示の真の精神の範囲に入るすべてのそのような修正及び変更をカバーすることが意図されていることを理解されたい。

本明細書に示して特許請求する技術は、本技術分野を確実に改善する、従って抽象的なもの、無形のもの又は純粋に理論的なものではない実際的性質の有形物及び具体例を参照し、これらに適用される。さらに、本明細書の最後に添付するいずれかの請求項が、「．．．［機能］を［実行］する手段」又は「．．．［機能］を［実行］するステップ」として指定されている１又は２以上の要素を含む場合、このような要素は米国特許法１１２条（ｆ）に従って解釈すべきである。一方で、他のいずれかの形で指定された要素を含むあらゆる請求項については、このような要素を米国特許法１１２条（ｆ）に従って解釈すべきではない。

１０ ＡＲシステム
１２ 背景シーン
１４ ＡＲシーン
１６ 部分的反射面
１８ 観客
１９ アクチュエータ
２０ ＡＲイメジェリー
２１ 仮想イメージ
２２ 相関効果システム
２４ センサ
２６ センサ
２８ 照明システム
３０ 照明システム

Claims (20)

1. 拡張現実システムであって、
   第１のシーンと、
   第２のシーンと、
   前記第１のシーン、前記第２のシーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記第１のシーン及び前記第２のシーンの一方を見ることを助長し、前記第１のシーン及び前記第２のシーンの他方を拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
   前記第１のシーンの特性を検出し、前記特性を示すデータを生成するように構成されたセンサと、
   前記データを受け取り、前記データに基づいて前記第２のシーンを調整するように構成された相関効果システムと、
   を備える、拡張現実システム。
2. 前記第１のシーンは第１の照明を備え、前記第２のシーンは第２の照明を備え、前記特性は照明特性であり、前記相関効果システムは、前記第１のシーンの照明特性に基づいて前記第２の照明を調整するように構成される、請求項１に記載の拡張現実システム。
3. 前記第１のシーンは背景シーンであり、前記第１の照明は背景シーン照明であり、前記第２のシーンは拡張現実シーンであり、前記第２の照明は拡張現実照明である、請求項２に記載の拡張現実システム。
4. 前記第１のシーンは拡張現実シーンであり、前記第１の照明は拡張現実照明であり、前記第２のシーンは背景シーンであり、前記第２の照明は背景シーン照明である、請求項２に記載の拡張現実システム。
5. 前記第２のシーンは、イメージ生成器を備え、前記相関効果システムは、前記データに基づいて前記イメージ生成器によって提供されるイメージの色、コントラスト又はそれらの組み合わせを調整するように構成され、前記データは前記第１のシーンの照明を示す、請求項１に記載の拡張現実システム。
6. 前記センサは、前記第１のシーンにおける物理オブジェクトの位置を検出し、前記位置を示すデータを生成するように構成され、
   前記相関効果システムは、前記拡張現実イメジェリーが前記物理オブジェクトの位置に対して位置決めされるように、前記第２のシーンを調整するように構成される、請求項１に記載の拡張現実システム。
7. 前記データに基づいて前記第１のシーンにおける前記拡張現実イメジェリーの反射を模倣するように構成されたイメージ生成器を備える、請求項１に記載の拡張現実システム。
8. 前記第１のシーンは、３次元ステージ装置を含み、前記センサは、前記３次元ステージ装置の照明特性を検出するように構成されたカメラで構成される、請求項１に記載の拡張現実システム。
9. 前記第１のシーンは、電子ディスプレイを備える、請求項１に記載の拡張現実システム。
10. 前記センサは、動き及び照明特性に関して前記第１のシーン及び前記第２のシーンの一方又は両方を監視するように構成された複数のセンサのうちの１つである、請求項１に記載の拡張現実システム。
11. 前記相関効果システムは、前記部分的反射面上の前記拡張現実イメジェリーの仮想発光オブジェクトの位置に基づいて、前記第１のシーンの照明を調整して前記第１のシーンに影を生じさせるように構成される、請求項１に記載の拡張現実システム。
12. 拡張現実システムであって、
    背景シーン照明を含む背景シーンと、
    拡張現実シーン照明を含む拡張現実シーンと、
    前記背景シーン、前記拡張現実シーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記背景シーンを見ることを助長し、前記仮想現実シーンを拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
    前記背景シーンの照明特性を検出し、前記照明特性を示すデータを生成するように構成されたセンサと、
    前記データを受け取り、前記データに基づいて前記拡張現実シーン照明を調整するように構成された相関効果システムと、
    を備える拡張現実システム。
13. 前記背景シーンにおける物理オブジェクトの位置決めを検出し、前記物理オブジェクトの検出された位置決めに対応する位置に仮想オブジェクトを提示するように前記拡張現実イメジェリーを調整するように構成された動き検出システムを備える、請求項１２に記載の拡張現実システム。
14. 前記背景シーンは劇場ステージを備え、前記部分的反射面は部分的鏡映箔で構成される、請求項１２に記載の拡張現実システム。
15. 前記拡張現実イメジェリーの反射を模倣するように構成された、前記背景シーン内のディスプレイを備える、請求項１２に記載の拡張現実システム。
16. 前記拡張現実シーンの追加の照明特性を検出し、前記追加の照明特性を示す追加のデータを生成するように構成された追加のセンサを備え、前記相関効果システムは、前記追加のデータを受け取り、前記追加のデータに基づいて前記背景シーンの照明を調整するように構成される、請求項１２に記載の拡張現実システム。
17. 前記拡張現実シーンは、３次元ステージ領域を備える、請求項１６に記載の拡張現実システム。
18. 拡張現実システムであって、
    ３次元ステージ領域と、前記３次元ステージ領域を調整可能に照らすように構成された背景シーン照明とを含む背景シーンと、
    拡張現実イメジェリーを提供するように構成された拡張現実シーン照明を含む拡張現実シーンと、
    前記背景シーン、前記拡張現実シーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記背景シーンを見ることを助長し、前記拡張現実イメジェリーを前記観客に向かって反射することを助長する、部分的反射面と、
    前記背景シーン及び前記拡張現実シーンの一方の特性を検出するように構成されたセンサであって、前記センサは、前記特性を示すデータを生成するようにも構成される、センサと、
    前記データを受け取り、前記データに基づいて前記背景シーン及び前記拡張現実シーンの他方の態様を調整するように構成された相関効果システムと、
    を備える、拡張現実システム。
19. 前記拡張現実シーンは、ディスプレイスクリーンを備え、前記拡張現実シーン照明は、前記ディスプレイスクリーンの照明を構成し、前記センサは、前記背景シーンの照明特性を示す前記データを生成するように構成され、前記相関効果システムは、前記データに相関する前記拡張現実イメジェリーの特性を提供するために前記ディスプレイスクリーンの前記照明を制御するように構成される、請求項１８に記載の拡張現実システム。
20. 前記背景シーンにおける物理オブジェクトの位置決めを検出し、前記物理オブジェクトの検出された前記位置決めに対応する位置に仮想オブジェクトを提示するために前記拡張現実イメジェリーを調整するように構成された動き検出システムを備える、請求項１８に記載の拡張現実システム。

Images