JPWO2020247433A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020247433A5
JPWO2020247433A5 JP2021572014A JP2021572014A JPWO2020247433A5 JP WO2020247433 A5 JPWO2020247433 A5 JP WO2020247433A5 JP 2021572014 A JP2021572014 A JP 2021572014A JP 2021572014 A JP2021572014 A JP 2021572014A JP WO2020247433 A5 JPWO2020247433 A5 JP WO2020247433A5
Authority
JP
Japan
Prior art keywords
virtual
virtual model
real
camera
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021572014A
Other languages
Japanese (ja)
Other versions
JP2022535272A (en
Publication date
Priority claimed from US16/719,342 external-priority patent/US11354862B2/en
Application filed filed Critical
Publication of JP2022535272A publication Critical patent/JP2022535272A/en
Publication of JPWO2020247433A5 publication Critical patent/JPWO2020247433A5/ja
Pending legal-status Critical Current

Links

Claims (19)

所定エリア内に配置され、前記所定エリアにおける物理位置のリアルタイムビデオフィードを送るように構成された少なくとも1つのカメラを含むビデオアセンブリと、
前記少なくとも1つのカメラから前記リアルタイムビデオフィードを受け取るように構成された制御システムと、
を備え、
前記制御システムは、
メモリデバイスと、
前記メモリデバイス上に格納された命令に基づいて前記所定エリアの仮想モデルを生成するように構成されたプロセッサであって、前記所定エリアにおける前記物理位置に対応する前記仮想モデルにおける仮想位置にて前記リアルタイムビデオフィードを前記仮想モデルに組み込むように構成され、前記リアルタイムビデオフィードが前記仮想モデルにオーバーレイされ、実際の車両が前記仮想位置に対応する前記物理位置を通過する間、前記仮想モデルが仮想車両から前記実際の車両の前記リアルタイムビデオフィードへと遷移するように、前記仮想モデルが前記所定エリアにおける仮想車両の表現を含む、プロセッサと、
前記仮想モデルを表示するように構成されたディスプレイユニットと、
を含む、
モニタリングシステム、
a video assembly including at least one camera positioned within a predetermined area and configured to transmit a real-time video feed of physical location in the predetermined area;
a control system configured to receive the real-time video feed from the at least one camera;
with
The control system is
a memory device;
a processor configured to generate a virtual model of the predetermined area based on instructions stored on the memory device, the virtual model at a virtual location in the virtual model corresponding to the physical location in the predetermined area; configured to incorporate a real-time video feed into the virtual model, wherein the real-time video feed is overlaid on the virtual model such that the virtual model is projected onto a virtual vehicle while a real vehicle passes through the physical location corresponding to the virtual location; a processor, wherein the virtual model includes a representation of a virtual vehicle in the predetermined area to transition from to the real-time video feed of the real vehicle;
a display unit configured to display the virtual model;
including,
monitoring system,
前記仮想位置は、前記少なくとも1つのカメラの視野に対応し、前記仮想位置は、オペレータによる前記視野の調整時に前記仮想モデルを調整するかまたは前記仮想モデル内で移動するように構成される、
請求項1に記載のモニタリングシステム。
the virtual position corresponds to the field of view of the at least one camera, the virtual position configured to adjust the virtual model or move within the virtual model upon adjustment of the field of view by an operator;
A monitoring system according to claim 1 .
前記仮想モデルは、3次元仮想モデルを含み、前記リアルタイムビデオフィードのディスプレイは、前記仮想モデルの特定の配向において前記リアルタイムビデオフィードが見えないように前記3次元仮想モデルにおいて配置された2次元ディスプレイを含む、
請求項1に記載のモニタリングシステム。
The virtual model comprises a three-dimensional virtual model, and the display of the real-time video feed is a two-dimensional display positioned in the three-dimensional virtual model such that the real-time video feed is not visible in a particular orientation of the virtual model. include,
A monitoring system according to claim 1 .
前記少なくとも1つのカメラは、パノラマリアルタイムビデオフィードをキャプチャして出力するように構成され、前記仮想モデルにおける前記パノラマリアルタイムビデオフィードの表示された部分は、前記仮想モデルの配向に基づいて調整される、
請求項1に記載のモニタリングシステム。
said at least one camera configured to capture and output a panoramic real-time video feed, wherein a displayed portion of said panoramic real-time video feed in said virtual model is adjusted based on an orientation of said virtual model;
A monitoring system according to claim 1 .
前記仮想モデルは、仮想アトラクショントラックのレンダリングを含み、前記仮想位置は、前記仮想アトラクショントラックに隣接する、
請求項1に記載のモニタリングシステム。
the virtual model includes a rendering of a virtual attraction track , the virtual location adjacent to the virtual attraction track;
A monitoring system according to claim 1 .
前記所定エリア内の1以上の可動部の位置を示すデータを送るように構成された1以上のセンサを備え、前記制御システムは、前記1以上の可動部の位置に基づいて前記仮想モデルを更新するように構成される、
請求項1に記載のモニタリングシステム。
one or more sensors configured to send data indicative of positions of one or more movable parts within the predetermined area, wherein the control system updates the virtual model based on the positions of the one or more movable parts. configured to
A monitoring system according to claim 1 .
所定エリア内に配置された少なくとも1つのカメラを含むビデオアセンブリであって、前記少なくとも1つのカメラは、前記所定エリアにおける物理位置のリアルタイム画像をキャプチャして出力するように構成される、ビデオアセンブリと、
前記少なくとも1つのカメラから前記リアルタイム画像を受け取るように構成された制御システムと、
を備え、
前記制御システムは、
メモリデバイスと、
前記メモリデバイス上に格納された命令に基づいて仮想空間において前記所定エリアの仮想モデルをするように構成されたプロセッサであって、前記プロセッサが、前記リアルタイム画像に基づいて前記仮想空間上に少なくとも1つの仮想ビデオディスプレイをオーバーレイするように構成され、前記仮想空間における前記少なくとも1つの仮想ビデオディスプレイの位置が、前記所定エリア内の前記少なくとも1つのカメラの位置に少なくとも部分的に基づき、実際の車両が前記仮想モデルにおける仮想位置に対応する物理位置を通過する間、前記仮想モデルが仮想車両から前記実際の車両の前記少なくとも1つの仮想ビデオディスプレイへと遷移するように、前記仮想モデルが前記所定エリアにおける仮想車両の表現を含む、プロセッサと、
ユーザインターフェースと、
を含み、
前記ユーザインターフェースは、
ユーザに前記仮想空間を表示するように構成されたディスプレイユニットと、
前記少なくとも1つのカメラのカメラ配向を制御する少なくとも1つのユーザ開始コマンドを前記プロセッサに供給するように構成された入力デバイスと、
を含む、
モニタリングシステム。
A video assembly comprising at least one camera positioned within a predetermined area, wherein the at least one camera is configured to capture and output a real-time image of a physical location in the predetermined area ; and ,
a control system configured to receive the real-time images from the at least one camera;
with
The control system is
a memory device;
a processor configured to create a virtual model of the predetermined area in a virtual space based on instructions stored on the memory device, the processor creating at least one virtual model in the virtual space based on the real-time image; wherein the position of the at least one virtual video display in the virtual space is based at least in part on the position of the at least one camera within the predetermined area , and the actual The virtual model transitions from the virtual vehicle to the at least one virtual video display of the real vehicle while the vehicle passes through physical positions corresponding to virtual positions in the virtual model. a processor including a representation of a virtual vehicle in an area ;
a user interface;
including
The user interface is
a display unit configured to display said virtual space to a user;
an input device configured to provide to the processor at least one user-initiated command for controlling camera orientation of the at least one camera;
including,
monitoring system.
前記少なくとも1つのユーザ開始コマンドは、前記カメラ配向の前後移動、上下移動、横方向移動、ロール、ピッチ、およびヨーを制御するように構成される、
請求項7に記載のモニタリングシステム。
the at least one user-initiated command is configured to control forward/backward movement, up/down movement, lateral movement, roll, pitch, and yaw of the camera orientation;
A monitoring system according to claim 7 .
前記少なくとも1つの仮想ビデオディスプレイは、前記入力デバイスからの入力に少なくとも部分的に基づいて前記仮想空間において前記仮想モデルに対して回転するように構成される、
請求項7に記載のモニタリングシステム。
the at least one virtual video display is configured to rotate relative to the virtual model in the virtual space based at least in part on input from the input device;
A monitoring system according to claim 7 .
前記プロセッサは、前記ディスプレイユニットの別個の部分において少なくとも1つの選択された仮想ビデオディスプレイを表示するように構成された視認ウィンドウを生成するように構成される、
請求項7に記載のモニタリングシステム。
the processor configured to generate a viewing window configured to display at least one selected virtual video display on a separate portion of the display unit;
A monitoring system according to claim 7 .
前記仮想モデルに対する前記仮想ビデオディスプレイのサイズは、前記メモリデバイス上に格納された命令、前記入力デバイスからの入力、トリガーイベント、またはこれらの組み合わせに少なくとも部分的に基づく、
請求項7に記載のモニタリングシステム。
the size of the virtual video display relative to the virtual model is based at least in part on instructions stored on the memory device, input from the input device, trigger events, or combinations thereof;
A monitoring system according to claim 7 .
前記少なくとも1つの仮想ビデオディスプレイは、前記仮想ビデオディスプレイが複数のカメラ配向から前記ディスプレイユニット上で可視であるように、前記少なくとも1つの仮想ビデオディスプレイを前記カメラ配向と整合させるよう自動的に回転するように構成される、
請求項7に記載のモニタリングシステム。
The at least one virtual video display automatically rotates to align the at least one virtual video display with the camera orientation such that the virtual video display is visible on the display unit from multiple camera orientations. configured to
A monitoring system according to claim 7 .
前記少なくとも1つのカメラに近接して配置され、リアルタイムオーディオフィードを前記制御システムに送るように構成された少なくとも1つのオーディオ入力デバイスを含むオーディオアセンブリを備える、
請求項7に記載のモニタリングシステム。
an audio assembly including at least one audio input device positioned proximate to the at least one camera and configured to send a real-time audio feed to the control system;
A monitoring system according to claim 7 .
前記ユーザインターフェースは、前記少なくとも1つのカメラに対応する前記少なくとも1つの仮想ディスプレイが前記入力デバイスによって選択されたときに、リアルタイムオーディオ出力フィードを出力するように構成されたオーディオ出力デバイスを含む、
請求項13に記載のモニタリングシステム。
the user interface includes an audio output device configured to output a real-time audio output feed when the at least one virtual display corresponding to the at least one camera is selected by the input device;
14. The monitoring system of claim 13.
アミューズメントパークアトラクション内に配置されて前記アミューズメントパークアトラクションの物理位置リアルタイムビデオフィードを送るように構成された少なくとも1つのカメラを含むビデオアセンブリと、
前記アミューズメントパークアトラクションにおける乗り物車両の位置を検出するように構成されたセンサアセンブリと、
前記少なくとも1つのカメラからの前記リアルタイムビデオフィードおよび前記乗り物車両の前記検出された位置を受け取るように構成された制御システムと、
を備え、
前記制御システムは、
メモリデバイスと、
前記メモリデバイス上に格納された命令に基づいて、前記アミューズメントパークアトラクションの仮想モデルと前記仮想モデル内に配置された仮想乗り物車両とを生成するように構成されたプロセッサであって、前記プロセッサが、前記リアルタイムビデオフィードに基づいて前記仮想モデル上に少なくとも1つの仮想ビデオディスプレイをオーバーレイするように構成され、前記仮想モデル上にオーバーレイされた前記少なくとも1つの仮想ビデオディスプレイの位置が、前記アミューズメントパークアトラクション内の前記物理位置に少なくとも部分的に基づき、前記仮想モデルにおける前記仮想乗り物車両の位置が、前記アミューズメントパークアトラクション内の前記乗り物車両の前記検出された位置に少なくとも部分的に基づき、前記仮想モデルが、前記乗り物車両の前記検出された位置が前記物理位置に対応している間、前記仮想車両から前記乗り物車両の前記リアルタイムビデオフィードへと遷移する、プロセッサと、
前記仮想モデルを表示するように構成されたディスプレイユニットと、
を含む、
モニタリングシステム。
a video assembly including at least one camera positioned within an amusement park attraction and configured to transmit a real-time video feed of the physical location of said amusement park attraction;
a sensor assembly configured to detect the position of a ride vehicle at the amusement park attraction;
a control system configured to receive the real-time video feed from the at least one camera and the detected position of the ride vehicle;
with
The control system is
a memory device;
A processor configured to generate a virtual model of the amusement park attraction and a virtual ride vehicle disposed within the virtual model based on instructions stored on the memory device, the processor comprising: configured to overlay at least one virtual video display on the virtual model based on the real-time video feed, wherein the location of the at least one virtual video display overlaid on the virtual model is within the amusement park attraction; a position of the virtual ride vehicle in the virtual model based at least in part on the physical position of the virtual model based at least in part on the detected position of the ride vehicle within the amusement park attraction transitions from the virtual vehicle to the real-time video feed of the ride vehicle while the detected location of the ride vehicle corresponds to the physical location;
a display unit configured to display the virtual model;
including,
monitoring system.
前記センサアセンブリは、来園客に対応する来園客デバイスを検出するように構成され、
前記プロセッサは、
前記来園客デバイスの検出された位置を受け取り、
前記メモリデバイス上に格納された命令に基づいて、前記仮想モデルにおいてアバターを生成し、前記仮想モデルにおける前記アバターの位置は、前記アミューズメントパークアトラクションにおける前記来園客デバイスの検出された位置に少なくとも部分的に基づいており、
前記来園客デバイスの更新された位置に基づいて、前記仮想モデルにおける前記アバターを更新する、
ように構成される、
請求項15に記載のモニタリングシステム。
the sensor assembly configured to detect a guest device corresponding to the guest;
The processor
receiving the detected location of the guest device;
generating an avatar in the virtual model based on instructions stored on the memory device, the position of the avatar in the virtual model being at least partially aligned with the detected position of the guest device in the amusement park attraction; based on
updating the avatar in the virtual model based on the updated location of the guest device;
configured to
16. A monitoring system according to claim 15.
前記少なくとも1つのカメラは、前記アミューズメントパークアトラクションにおける乗り物車両上に配置されたカメラを含み、前記少なくとも1つのカメラは、前記乗り物車両の乗客部分のビデオフィードを送るように構成される、
請求項15に記載のモニタリングシステム。
said at least one camera comprises a camera positioned on a ride vehicle at said amusement park attraction, said at least one camera configured to transmit a video feed of a passenger portion of said ride vehicle;
16. A monitoring system according to claim 15.
前記仮想モデルは、前記少なくとも1つの仮想ビデオディスプレイ、前記仮想乗り物車両、来園客に対応するアバター、またはこれらの組み合わせのディスプレイを選択的に切り替えるように構成されたフィルタツールを含む、
請求項15に記載のモニタリングシステム。
the virtual model includes a filter tool configured to selectively switch displays of the at least one virtual video display, the virtual ride vehicle, an avatar corresponding to a guest, or a combination thereof;
16. A monitoring system according to claim 15.
コントローラは、前記乗り物車両が前記仮想ビデオディスプレイ内で見えるように、前記乗り物車両の位置が前記アミューズメントパークアトラクションの前記物理位置に対応するときに前記仮想車両が前記仮想モデル内で表示されないように、前記仮想モデルを更新するよう構成される、
請求項15に記載のモニタリングシステム。
A controller causes the ride vehicle to be visible in the virtual video display, such that the virtual vehicle is not displayed in the virtual model when the location of the ride vehicle corresponds to the physical location of the amusement park attraction; configured to update the virtual model;
16. A monitoring system according to claim 15.
JP2021572014A 2019-06-06 2020-06-03 Situationally important 3D models Pending JP2022535272A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962858206P 2019-06-06 2019-06-06
US62/858,206 2019-06-06
US16/719,342 US11354862B2 (en) 2019-06-06 2019-12-18 Contextually significant 3-dimensional model
US16/719,342 2019-12-18
PCT/US2020/035830 WO2020247433A1 (en) 2019-06-06 2020-06-03 Contextually significant 3-dimensional model

Publications (2)

Publication Number Publication Date
JP2022535272A JP2022535272A (en) 2022-08-05
JPWO2020247433A5 true JPWO2020247433A5 (en) 2023-06-09

Family

ID=73650676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572014A Pending JP2022535272A (en) 2019-06-06 2020-06-03 Situationally important 3D models

Country Status (8)

Country Link
US (1) US11354862B2 (en)
EP (1) EP3980147A1 (en)
JP (1) JP2022535272A (en)
KR (1) KR20220016978A (en)
CN (1) CN113924599A (en)
CA (1) CA3141141A1 (en)
SG (1) SG11202112375XA (en)
WO (1) WO2020247433A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
CN112711458B (en) * 2021-01-15 2022-08-30 腾讯科技(深圳)有限公司 Method and device for displaying prop resources in virtual scene

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081273A (en) 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
US6778171B1 (en) 2000-04-05 2004-08-17 Eagle New Media Investments, Llc Real world/virtual world correlation system using 3D graphics pipeline
US6633317B2 (en) 2001-01-02 2003-10-14 Microsoft Corporation Image-based walkthrough system and process employing spatial video streaming
US6831643B2 (en) 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
IL172995A (en) 2006-01-05 2011-07-31 Gadi Royz Method and apparatus for making a virtual movie for use in exploring a site
US8026929B2 (en) 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
US20110273451A1 (en) * 2010-05-10 2011-11-10 Salemann Leo J Computer simulation of visual images using 2d spherical images extracted from 3d data
US9424371B2 (en) 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US11487349B2 (en) * 2013-11-11 2022-11-01 Whitewater West Industries, Ltd. Interactive amusement attraction system and method
CN106029190B (en) * 2014-08-11 2020-03-10 Vr考斯特有限及两合公司 Method for operating a device, in particular an amusement ride, a vehicle, a fitness apparatus or the like
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
US10249088B2 (en) * 2014-11-20 2019-04-02 Honda Motor Co., Ltd. System and method for remote virtual reality control of movable vehicle partitions
US9358473B2 (en) * 2015-03-24 2016-06-07 Anthony Frolov Interactive amusement attraction
US20170267099A1 (en) * 2016-03-17 2017-09-21 Calay Venture S.à r.l. Vehicles for providing virtual environments
US10096158B2 (en) * 2016-03-24 2018-10-09 Ford Global Technologies, Llc Method and system for virtual sensor data generation with depth ground truth annotation
WO2017200760A1 (en) * 2016-05-19 2017-11-23 Yudofsky Stuart Methods and devices for behavior modification
US10127730B2 (en) * 2016-09-28 2018-11-13 Jason Kristopher Huddy Augmented reality and virtual reality location-based attraction simulation playback and creation system and processes for simulating past attractions and preserving present attractions as location-based augmented reality and virtual reality attractions
US20190321735A1 (en) * 2016-11-11 2019-10-24 Antonio Zamperla S.P.A. Trackless amusement ride
US10449462B2 (en) * 2016-11-21 2019-10-22 Universal City Studios Llc Amusement park attraction control management system and method
US20180240166A1 (en) * 2017-02-21 2018-08-23 Panasonic Intellectual Property Management Co., Ltd. Virtual reality souvenir and distribution system
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US10525364B2 (en) * 2017-11-07 2020-01-07 Universal City Studios Llc Speed simulation effect
US10699485B2 (en) * 2018-01-04 2020-06-30 Universal City Studios Llc Systems and methods for textual overlay in an amusement park environment

Similar Documents

Publication Publication Date Title
US20200302696A1 (en) System and method for presentation and control of augmented vehicle surround views
JP6037699B2 (en) Vehicle surround vision system
EP4015329B1 (en) Interaction method and apparatus for automatic parking of vehicle
CN105264436B (en) System and method for controlling equipment related with picture catching
CN106060456A (en) Vehicle exterior side-camera systems and methods
CN101404122A (en) Driving support device, driving support method, and computer program
JP2001269482A (en) Game system, computer-readable recording medium in which program for game is stored and image displaying method
JP2008507863A (en) Mobile device for supporting a moving site imaging instrument
JP2006025281A5 (en)
US20220078390A1 (en) Image processor/image processing method
SE1250488A1 (en) Feeding System
JP2019189139A5 (en)
WO2020017435A1 (en) Information processing device, information processing method, and program
JPH0976063A (en) Welding equipment
JP2020205549A (en) Video processing apparatus, video processing method, and program
JPWO2020247433A5 (en)
JP2007110177A (en) Image processing apparatus and program
JP6907308B2 (en) Image capture method and system using virtual sensors
NO336219B1 (en) Camera control device and method
JPH08257948A (en) Remote control device for robot
KR102335209B1 (en) Virtual Reality Display Mobile Device
JP2015157323A (en) Remote control device, remote control system, method and program of remote control
JPWO2022124398A5 (en)
KR101254855B1 (en) A virtual reality system for a theater and a method of inputting event signals for the same
WO2021200494A1 (en) Method for changing viewpoint in virtual space