JPWO2021154581A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021154581A5
JPWO2021154581A5 JP2022546118A JP2022546118A JPWO2021154581A5 JP WO2021154581 A5 JPWO2021154581 A5 JP WO2021154581A5 JP 2022546118 A JP2022546118 A JP 2022546118A JP 2022546118 A JP2022546118 A JP 2022546118A JP WO2021154581 A5 JPWO2021154581 A5 JP WO2021154581A5
Authority
JP
Japan
Prior art keywords
scene
augmented reality
partially reflective
reflective surface
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022546118A
Other languages
English (en)
Other versions
JP2023511733A (ja
Publication date
Priority claimed from US16/779,148 external-priority patent/US11138801B2/en
Application filed filed Critical
Publication of JP2023511733A publication Critical patent/JP2023511733A/ja
Publication of JPWO2021154581A5 publication Critical patent/JPWO2021154581A5/ja
Pending legal-status Critical Current

Links

Claims (40)

  1. 拡張現実システムであって、
    第1のシーンと、
    第2のシーンと、
    前記第1のシーン、前記第2のシーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記第1のシーンを見ることを助長し、前記第2のシーンを拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
    前記第1のシーンにおける物理オブジェクトの位置決めを含む、前記第1のシーンの少なくとも1つの特性を検出し、前記少なくとも1つの特性を示すデータを生成するように構成されたセンサと、
    1又は2以上のプロセッサ及びメモリを含む、前記1又は2以上のプロセッサがアクセス可能な相関効果システムと、
    を備え、前記メモリは命令を記憶し、前記命令は、前記1又は2以上のプロセッサによって実行されたときに、
    前記データを受け取り、前記データに基づいて、前記拡張現実イメジェリーが前記物理オブジェクトの前記位置決めに対して位置決めされるように前記部分的反射面を再位置決めするように1又は2以上のアクチュエータに命令することによって前記第2のシーンを調整することを前記1又は2以上のプロセッサに行わせる、拡張現実システム。
  2. 前記第1のシーンは第1の照明を備え、前記第2のシーンは第2の照明を備え、前記少なくとも1つの特性は照明特性を含み、前記相関効果システムは、前記第1のシーンの照明特性に基づいて前記第2の照明を調整するように構成される、請求項1に記載の拡張現実システム。
  3. 前記第1のシーンは背景シーンであり、前記第1の照明は背景シーン照明であり、前記第2のシーンは拡張現実シーンであり、前記第2の照明は拡張現実照明である、請求項2に記載の拡張現実システム。
  4. 前記第1のシーンは拡張現実シーンであり、前記第1の照明は拡張現実照明であり、前記第2のシーンは背景シーンであり、前記第2の照明は背景シーン照明である、請求項2に記載の拡張現実システム。
  5. 前記第2のシーンは、イメージ生成器を備え、前記相関効果システムは、前記データに基づいて前記イメージ生成器によって提供されるイメージの色、コントラスト又はそれらの組み合わせを調整するように構成され、前記データは前記第1のシーンの照明を示す、請求項1に記載の拡張現実システム。
  6. 前記データに基づいて前記第1のシーンにおける前記拡張現実イメジェリーの反射を模倣するように構成されたイメージ生成器を備える、請求項1に記載の拡張現実システム。
  7. 前記第1のシーンは、3次元ステージ装置を含み、前記センサは、前記3次元ステージ装置の照明特性を検出するように構成されたカメラで構成される、請求項1に記載の拡張現実システム。
  8. 前記第1のシーンは、電子ディスプレイを備える、請求項1に記載の拡張現実システム。
  9. 前記センサは、動き及び照明特性に関して前記第1のシーン及び前記第2のシーンの一方又は両方を監視するように構成された複数のセンサのうちの1つである、請求項1に記載の拡張現実システム。
  10. 前記相関効果システムは、前記部分的反射面上の前記拡張現実イメジェリーの仮想発光オブジェクトの位置に基づいて、前記第1のシーンの照明を調整して前記第1のシーンに影を生じさせるように構成される、請求項1に記載の拡張現実システム。
  11. 前記第1のシーン、前記第2のシーン、又はこれらの両方は、1又は2以上のプロジェクタ、1又は2以上の液晶ディスプレイ、1又は2以上の照明パネル、又はこれらの何らかの組み合わせを含む、請求項1に記載の拡張現実システム。
  12. 拡張現実システムであって、
    背景シーン照明を含む背景シーンと、
    拡張現実シーン照明を含む拡張現実シーンと、
    前記背景シーン、前記拡張現実シーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記背景シーンを見ることを助長し、前記拡張現実シーンを拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
    前記背景シーンの照明特性、前記背景シーンにおける物理オブジェクトの位置決め、又はこれらの両方を検出し、前記照明特性、前記物理オブジェクトの位置決め、又はこれらの両方を示すデータを生成するように構成されたセンサと、
    1又は2以上のプロセッサ及びメモリを含む、前記1又は2以上のプロセッサがアクセス可能な相関効果システムと、
    を備え、前記メモリは命令を記憶し、前記命令は、前記1又は2以上のプロセッサによって実行されたときに、
    前記データを受け取り、前記データに基づいて、前記照明特性に従って前記物理オブジェクトの位置決めに対応する位置で点灯する仮想オブジェクトを提示するように前記部分的反射面を再位置決めするように1又は2以上のアクチュエータに命令することによって前記拡張現実シーンを調整することを前記1又は2以上のプロセッサに行わせる、拡張現実システム。
  13. 前記背景シーンは劇場ステージを備え、前記部分的反射面は部分的鏡映箔で構成される、請求項12に記載の拡張現実システム。
  14. 前記拡張現実イメジェリーの反射を模倣するように構成された、前記背景シーン内のディスプレイを備える、請求項12に記載の拡張現実システム。
  15. 前記拡張現実シーンの追加の照明特性を検出し、前記追加の照明特性を示す追加のデータを生成するように構成された追加のセンサを備え、前記相関効果システムは、前記追加のデータを受け取り、前記追加のデータに基づいて前記背景シーンの照明を調整するように構成される、請求項12に記載の拡張現実システム。
  16. 前記拡張現実シーンは、3次元ステージ領域を備える、請求項15に記載の拡張現実システム。
  17. 前記拡張現実シーン照明は、1又は2以上のプロジェクタ、1又は2以上の液晶ディスプレイ、1又は2以上の照明パネル、又はこれらの何らかの組み合わせを含む、請求項12に記載の拡張現実システム。
  18. 拡張現実システムであって、
    3次元ステージ領域と、前記3次元ステージ領域を調整可能に照らすように構成された背景シーン照明とを含む背景シーンと、
    拡張現実イメジェリーを提供するように構成された拡張現実シーン照明を含む拡張現実シーンと、
    前記背景シーン、前記拡張現実シーン、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記背景シーンを見ることを助長し、前記拡張現実イメジェリーを前記観客に向かって反射することを助長する、部分的反射面と、
    前記背景シーンの特性を検出するように構成されたセンサであって、前記センサは、前記特性を示すデータを生成するようにも構成される、センサと、
    1又は2以上のプロセッサ及びメモリを含む、前記1又は2以上のプロセッサがアクセス可能な相関効果システムと、
    を備え、前記メモリは命令を記憶し、前記命令は、前記1又は2以上のプロセッサによって実行されたときに、
    前記データを受け取り、前記データに基づいて、前記物理オブジェクトの位置決めに対応する位置に仮想オブジェクトを提示するように前記部分的反射面を再位置決めするように1又は2以上のアクチュエータに命令することによって前記仮想現実シーンを調整することを前記1又は2以上のプロセッサに行わせる、拡張現実システム。
  19. 前記拡張現実シーンは、ディスプレイスクリーンを備え、前記拡張現実シーン照明は、前記ディスプレイスクリーンの照明を構成し、前記センサは、前記背景シーンの照明特性を示す前記データを生成するように構成され、前記相関効果システムは、前記データに相関する前記拡張現実イメジェリーの特性を提供するために前記ディスプレイスクリーンの前記照明を制御するように構成される、請求項18に記載の拡張現実システム。
  20. 前記拡張現実シーン照明は、1又は2以上のプロジェクタ、1又は2以上の液晶ディスプレイ、1又は2以上の照明パネル、又はこれらの何らかの組み合わせを含む、請求項18に記載の拡張現実システム。
  21. 拡張現実システムであって、
    第1のシーンと、
    プロジェクタによって提示される第2のシーンと、
    前記第1のシーン、前記プロジェクタ、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記第1のシーンを見ることを助長し、前記第2のシーンを拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
    前記第1のシーンの特性を示すデータを受け取り、
    前記特性に基づいて、前記プロジェクタと前記部分的反射面との相対的位置決めを遷移させることによって前記第2のシーンの反射を調整する、
    ように構成された制御装置と、
    を備える、拡張現実システム。
  22. 前記特性は、前記第1のシーンの光特性を含む、請求項21に記載の拡張現実システム。
  23. 前記特性は、前記第1のシーンの光特性を含み、前記制御装置は、前記第1のシーンの前記光特性に基づいて前記第2のシーンの照明を調整するように構成される、請求項21に記載の拡張現実システム。
  24. 前記プロジェクタは発光ダイオード(LED)ディスプレイを含み、前記制御装置は、前記第1のシーンの光特性に基づいて、前記LEDディスプレイによって提示されるイメージの色、コントラスト、輝度、又はこれらの何らかの組み合わせを調整するように構成される、請求項21に記載の拡張現実システム。
  25. 前記制御装置は、前記第1のシーンにおけるオブジェクトの位置、前記第1のシーンの光特性、又はこれらの両方として前記特性を検出するように構成された1又は2以上のセンサから前記データを受け取るように構成される、請求項21に記載の拡張現実システム。
  26. 前記第1のシーンは、3次元ステージ設定を含む、請求項21に記載の拡張現実システム。
  27. 前記制御装置は、前記拡張現実イメジェリーの仮想発光オブジェクトの位置決めに基づいて、前記第1のシーンに影をもたらすように前記第1のシーンの照明を調整するように構成される、請求項21に記載の拡張現実システム。
  28. 前記拡張現実イメジェリーによって提示される仮想オブジェクトのイメージを前記第1のシーン内に位置決めされた表面上に表示することによって前記第1のシーンにおける前記拡張現実イメジェリーの反射を模倣するように構成されたイメージ生成器を備える、請求項21に記載の拡張現実システム。
  29. 前記第1のシーンにおける第1の照明を検出するように構成された第1のカメラ、及び前記第2のシーンにおける第2の照明を検出するように構成された第2のカメラを備え、前記制御装置は、前記第1の照明及び前記第2の照明に基づいて前記拡張現実イメジェリーを調整するように構成される、請求項21に記載の拡張現実システム。
  30. 前記第1のシーンは、1又は2以上のプロジェクタ、1又は2以上の液晶ディスプレイ、1又は2以上の照明パネル、又はこれらの何らかの組み合わせを含む、請求項21に記載の拡張現実システム。
  31. 前記制御装置は、前記第1のシーンにおけるオブジェクトの検出された位置に対して前記拡張現実イメジェリーが位置決めされるように前記部分的反射面を再位置決めするように1又は2以上のアクチュエータに命令するように構成される、請求項1に記載の拡張現実システム。
  32. システムであって、
    背景シーンと、
    プロジェクタを介して表示される拡張現実シーンと、
    前記背景シーン、前記プロジェクタ、及び観客に対して位置決めされる部分的反射面であって、前記部分的反射面を通して前記背景シーンを見ることを助長し、前記拡張現実シーンを拡張現実イメジェリーとして前記観客に向かって反射することを助長する、部分的反射面と、
    前記背景シーンの光特性を含むデータを受け取り、
    前記光特性に従って点灯する前記拡張現実イメジェリーの仮想オブジェクトを提示するように前記プロジェクタと前記部分的反射面との間の相対的位置決めを遷移させることによって前記拡張現実シーンを調整する、
    ように構成された1又は2以上のプロセッサと、
    を備える、システム。
  33. 前記データは、前記背景シーンにおける物理オブジェクトの位置決めを含む、請求項32に記載のシステム。
  34. 前記1又は2以上のプロセッサは、前記物理オブジェクトの位置決めに対応する位置にある前記拡張現実イメジェリーの前記仮想オブジェクトを提示するように前記プロジェクタと前記部分的反射面との間の前記相対的位置決めを遷移させることによって前記拡張現実シーンを調整する、請求項33に記載のシステム。
  35. 前記背景シーンは、1又は2以上の電子ディスプレイ、1又は2以上のプロジェクタ、1又は2以上の照明パネル、又はこれらの何らかの組み合わせを含む、請求項32に記載のシステム。
  36. 前記背景シーンの前記光特性を検出するように構成されたカメラを備える、請求項32に記載のシステム。
  37. 前記部分的反射面は部分的鏡映箔を含む、請求項32に記載のシステム。
  38. 1又は2以上のプロセッサを介して、背景シーン及び部分的反射面に対して位置決めされた拡張現実シーンの拡張現実照明を含む第1のデータセットを受け取ることであって、前記部分的反射面は、前記部分的反射面を通して前記背景シーンを見ることを助長するように構成される、ことと、
    前記1又は2以上のプロセッサを介して、前記背景シーンの背景照明及び前記背景シーンにおける物理オブジェクトの位置決めを含む第2のデータセットを受け取ることと、
    前記1又は2以上のプロセッサを介して、前記背景照明に従って前記物理オブジェクトの位置決めに対応する位置で点灯する仮想オブジェクトを提示するように前記拡張現実シーンのプロジェクタと前記部分的反射面との間の相対的位置決めを遷移させることによって前記仮想現実シーンを調整することと、
    を含む、方法。
  39. 前記仮想オブジェクトを提示するために、前記1又は2以上のプロセッサを介して、前記拡張現実照明及び前記背景照明に基づいて拡張現実イメジェリーを生成することを含む、請求項38に記載の方法。
  40. 前記1又は2以上のプロセッサを介して、前記部分的反射面に対する前記仮想オブジェクトの位置決めに基づいて、前記背景シーンに影を生じさせるように前記背景照明を調整することを含む、請求項38に記載の方法。
JP2022546118A 2020-01-31 2021-01-21 相関効果拡張現実システム及び方法 Pending JP2023511733A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/779,148 US11138801B2 (en) 2020-01-31 2020-01-31 Correlative effect augmented reality system and method
US16/779,148 2020-01-31
PCT/US2021/014425 WO2021154581A1 (en) 2020-01-31 2021-01-21 Correlative effect augmented reality system and method

Publications (2)

Publication Number Publication Date
JP2023511733A JP2023511733A (ja) 2023-03-22
JPWO2021154581A5 true JPWO2021154581A5 (ja) 2024-01-26

Family

ID=74626206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546118A Pending JP2023511733A (ja) 2020-01-31 2021-01-21 相関効果拡張現実システム及び方法

Country Status (7)

Country Link
US (2) US11138801B2 (ja)
EP (2) EP4096801B1 (ja)
JP (1) JP2023511733A (ja)
KR (1) KR20220137056A (ja)
CN (1) CN114980987A (ja)
CA (1) CA3164665A1 (ja)
WO (1) WO2021154581A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220094904A1 (en) * 2020-09-24 2022-03-24 Universal City Studios Llc Projection media three-dimensional simulation and extrusion
US11394549B1 (en) 2021-01-25 2022-07-19 8 Bit Development Inc. System and method for generating a pepper's ghost artifice in a virtual three-dimensional environment
US11675212B2 (en) 2021-10-19 2023-06-13 Universal City Studios Llc Systems and methods for projecting images from light field displays based on positional tracking data
US11675213B2 (en) 2021-10-19 2023-06-13 Universal City Studios Llc Systems and methods for projecting images from light field displays based on reflected light rays
US11899348B2 (en) * 2022-03-02 2024-02-13 Universal City Studios Llc Show effect system for attraction system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
KR100668958B1 (ko) 2005-09-05 2007-01-12 동부일렉트로닉스 주식회사 플래쉬 메모리 및 그 제조 방법
GB0522150D0 (en) * 2005-10-31 2005-12-07 Musion Systems Ltd Projection apparatus and method
US20110181837A1 (en) 2008-07-14 2011-07-28 Ian Christopher O'connell Method and system for producing a pepper's ghost
US9033522B2 (en) 2008-07-14 2015-05-19 Holicom Film Limited Method and system for filming
US20100253700A1 (en) * 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8692738B2 (en) 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US8525829B2 (en) 2011-09-19 2013-09-03 Disney Enterprises, Inc. Transparent multi-view mask for 3D display systems
JP2015007734A (ja) 2013-06-26 2015-01-15 ソニー株式会社 画像投影装置、画像投影システム、画像投影方法及び表示装置
US10417824B2 (en) * 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9819907B2 (en) 2014-09-25 2017-11-14 Steve H. McNelley Communication stage and related systems
US10298877B2 (en) * 2014-09-25 2019-05-21 Steve H. McNelley Communication stage and display systems
US9849399B2 (en) 2014-11-12 2017-12-26 Ventana 3D, Llc Background imagery for enhanced pepper's ghost illusion
EP3268096A4 (en) 2015-03-09 2018-10-10 Ventana 3D LLC Avatar control system
US9961301B1 (en) * 2016-10-14 2018-05-01 Telepresence Technologies, Llc Modular communications systems and methods therefore
US9989777B1 (en) * 2017-06-05 2018-06-05 Disney Enterprises, Inc. Accurate and balanced lighting in a pepper's ghost projection system for live cinematic performances
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US11054656B2 (en) * 2018-07-24 2021-07-06 Disney Enterprises, Inc. Auto-stereo imaging for viewing in a vehicle

Similar Documents

Publication Publication Date Title
WO2022213427A1 (zh) 一种光源及其设置方法、光学检测方法及系统
JP4606420B2 (ja) 補助ビジュアル表示システム
US20140022362A1 (en) Micro Mirror Array Screen
US11836868B2 (en) Correlative effect augmented reality system and method
WO2017073095A1 (ja) 映像投影装置、舞台装置および映像投影方法
US20160191868A1 (en) Projection device
US10621897B2 (en) Display device with projection function and display method thereof
EP1821283A3 (en) Display device and displaying method
US20100165000A1 (en) Visualizing objects of a video signal
US20160286186A1 (en) Projection apparatus
US10321107B2 (en) Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects
EP3192243A1 (en) Image projection and capture with simultaneous display of led light
JP5427549B2 (ja) 映像表示システム、照明装置
TW201352011A (zh) 顯示器
JPWO2021154581A5 (ja)
JP2017167180A (ja) プロジェクター
US20090279053A1 (en) Apparatus for Continuously Projecting Images and Method therefor
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
CN109900222B (zh) 基于投影光栅建模的模型获取方法及装置
CN111768737A (zh) 一种led点阵显示屏亮度调节系统及方法
WO2023106114A1 (ja) 情報処理方法、情報処理システム、およびプログラム
US20230237944A1 (en) Display apparatus and display method
JP2023003266A (ja) 表示システム
WO2022185078A1 (en) Video capture
JPWO2004046800A1 (ja) 画像表示装置用光源装置