WO2021106790A1 - 演出制御システム、および、演出制御プランを提示する方法 - Google Patents

演出制御システム、および、演出制御プランを提示する方法 Download PDF

Info

Publication number
WO2021106790A1
WO2021106790A1 PCT/JP2020/043426 JP2020043426W WO2021106790A1 WO 2021106790 A1 WO2021106790 A1 WO 2021106790A1 JP 2020043426 W JP2020043426 W JP 2020043426W WO 2021106790 A1 WO2021106790 A1 WO 2021106790A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
effect
control system
real space
space
Prior art date
Application number
PCT/JP2020/043426
Other languages
English (en)
French (fr)
Inventor
裕 横井
祐司 土井
信裕 平間
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2021106790A1 publication Critical patent/WO2021106790A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an effect control system and a method of presenting an effect control plan.
  • the real-world production system of Patent Document 1 is composed of a group of devices, and each device has one or more parameters such as audio / visual characteristics. At least one of the group of devices receives a description describing the real world in the form of a markup language instruction set, and the group of devices operates according to the description. Common words expressed in markup languages are interpreted by a local server or by a browser located on the device to operate the device to create a real-world experience.
  • the local server or device interprets how the lighting pattern or the like is perceived on the wall surface or the modeled object of the building from the description that describes the real world prepared in advance, and the local server. And the device generated control information. Then, it was necessary for the user including the decision-maker to go to the site where the building or the modeled object is arranged to check the effect of the lighting pattern or the like. Therefore, it is necessary for the user to judge the quality of the effect of the lighting pattern or the like at the site, and there is no need to verify in advance.
  • An object of the present invention is to pre-verify the control of lighting or the like in virtual reality, reflect the control in a real space at a remote place in real time, and compare the lighting effect or the like in the real space monitored by the user with the virtual reality.
  • the purpose is to further verify in advance and easily judge the quality of the production content.
  • the effect control system is a virtual space generation unit that generates a virtual space by using modeled component information of the real space, the real space.
  • the effect content information input unit which inputs the effect content information indicating the image and / or sound for producing the virtual space and the real space, by the effect control information that controls the output information of the effect device installed in the Controls an effect VR information output device that outputs effect VR (Virtual Reality) information that expresses the situation of the virtual space produced by content information, and the effect device used to generate the effect VR information.
  • VR Virtual Reality
  • a VR control system including an effect control information generation unit that generates the effect control information to generate the effect control information and outputs the effect control information, and controls the effect device based on the effect control information to produce the real space. It has a real space control system including a real space control unit and the effect device installed in the real space.
  • the method of presenting the effect control plan according to the second aspect of the present disclosure is a method of presenting the effect control plan for producing the city space by the effect control system to the user who directs the city space which is the real space. Therefore, the virtual space and the real space are produced by the step of generating the virtual space using the modeled component information of the real space and the output information of the effect device installed in the real space.
  • a step of inputting effect content information indicating an image and / or sound for the purpose a step of outputting effect VR information expressing the situation of the virtual space produced by the effect content information, and a positive input to the effect VR information.
  • a step of outputting the effect control information for controlling the effect device which is used to generate the effect VR information, and controlling the effect device based on the effect control information, the effect
  • FIG. 1 is a diagram schematically showing an example of an effect control system according to the present embodiment.
  • FIG. 2 is a block diagram showing an example of a VR control system according to the present embodiment.
  • FIG. 3 is a diagram showing an example of information stored in the VR storage unit according to the present embodiment.
  • FIG. 4 is a block diagram showing an example of a real space control system according to the present embodiment.
  • FIG. 5A is a flowchart showing an example of the operation of the effect control system according to the present embodiment.
  • FIG. 5B is a flowchart showing an example of the operation of the effect control system according to the present embodiment.
  • FIG. 6 is a diagram schematically showing another example of the effect control system according to the present embodiment.
  • FIG. 1 is a schematic diagram for explaining the concept of the effect control system 1000.
  • the production control system 1000 includes a VR control system 2000 and a real space control system 3000 for controlling lighting equipment, video equipment, audio equipment, etc. in a city space which is a real space and monitoring the real space.
  • VR Virtual Reality
  • the VR control system 2000 inputs production content showing an image and / or sound for directing the city space with lighting / video equipment, audio equipment, etc., and is produced by the production content in a virtual space that virtualizes the city space. Provide the situation to the user.
  • a VR produced by an effect content in a virtual space that virtualizes a city space may be referred to as an effect VR.
  • the production control information is output from the VR control system 2000 to the real space control system 3000 in real time.
  • the real space control system 3000 into which the effect control information is input controls the lighting device, the video device, and the sound device based on the effect control information, and monitors the effect status in the city space by the monitor device.
  • the real space control system 3000 outputs monitor information to the VR control system 2000.
  • the VR control system 2000 in which the monitor information is input allows the user to view the monitor information, and the user further verifies in advance whether or not the same effect as the effect VR verified in advance is exhibited in the real space.
  • the place for pre-verification is possible in a remote place away from the real space.
  • the effect of the effect is proposed to the user. If the user determines that the effect in the real space does not match the concept of urban development or an event, the effect VR should be corrected on the spot and the effect should be confirmed again by the monitor information. Is also possible.
  • the control of lighting etc. in virtual reality is verified in advance, the control is reflected in the real space at a remote place in real time, and the lighting effect etc. of the real space monitored by the user is compared with the virtual reality. Further preliminary verification can be performed to easily judge the quality of the production content.
  • FIG. 2 is a block diagram for explaining an example of the configuration of the VR control system 2000.
  • the VR control system 2000 includes a VR control device 2100, an effect VR information output device 2200, a real space information output device 2300, and a monitoring information output device 2400.
  • the real space information output device 2300 and the monitoring information output device 2400 may be configured by one hardware instead of separate hardware. Further, depending on the case, the effect VR information output device 2200, the real space information output device 2300, and the monitoring information output device 2400 may also be configured by one hardware instead of separate hardware.
  • the VR control device 2100 includes a VR input unit 2110, a VR storage unit 2120, a VR control unit 2130, and a VR output unit 2140.
  • the VR input unit 2110 includes a real space component information input unit 2111, an effect device information input unit 2112, an effect content information input unit 2113, a user operation information input unit 2114, a monitor information input unit 2115, and a device operation information input unit 2116. ..
  • the real space component information input unit 2111 inputs the real space component information constituting the city space which is the real space, and stores it in the VR storage unit 2120.
  • the real space component information 2121 includes artificially provided hotels, commercial facilities, buildings for living, office buildings, overpasses, buildings such as stations and stadiums, street lights, roads and other artificial objects 2121a. , And information on natural objects such as trees, ponds, and hills 2121b. As shown in FIG. 3, these artificial object information 2121a and natural object information 2121b are stored in the VR storage unit 2120.
  • the production equipment information input unit 2112 inputs the production equipment information 2122, which is information about the production equipment 3200 used to produce the city space by the production content, and stores it in the VR storage unit 2120.
  • Examples of the production device 3200 include the lighting device shown in FIG. 4, the lighting / video device 3210 showing the video device, and the audio device 3220.
  • the lighting / imaging device 3210 includes a device that emits various types of light. Examples of the lighting / video device 3210 include a projection device such as a projector that projects image information, text information, and the like, a display device such as a display, a light bulb, a light emitting diode, an optical cable, and the like.
  • the lighting / video equipment information 2122a regarding the lighting / video equipment 3210 and the audio equipment information 2122b regarding the audio equipment 3220 are included in the effect equipment information 2122 and stored in the VR storage unit 2120.
  • the production content information input unit 2113 inputs the production content indicating an image and / or sound for directing the city space by the production device 3200, and stores it in the VR storage unit 2120. As shown in FIG. 3, the effect content is stored in the VR storage unit 2120 as the effect content information 2123. Further, the effect content information 2123 can be used to produce the city space, which is a real space, in real time by the effect control information that controls the effect device 3200.
  • the user operation information input unit 2114 has an interface function for inputting various information by the user.
  • Examples of the user operation information input unit 2114 include a keyboard, a mouse, a touch panel, a trackball, a voice recognition device, and the like.
  • the user operation information input unit 2114 may function integrally with the VR device.
  • the user operation information input unit 2114 can also function as a device that senses the user's line of sight or action and inputs information, and the moved line of sight corresponds to the movement or action of the user's line of sight.
  • the effect VR information that can be seen from is output to the effect VR information output device 2200.
  • the user operation information input unit 2114 can also have an interface function for modifying the effect VR information displayed on the effect VR information output device 2200.
  • the user operation information input unit 2114 can be used to change the illuminance or the lighting pattern in the effect VR information. Further, for example, since the effect VR information includes acoustic information, the user operation information input unit 2114 can be used to change the volume or the acoustic pattern.
  • the user operation information input unit 2114 can also function as a user interface for moving the shooting direction and shooting location of the monitor device 3300 that monitors the city space, which is the real space produced by the effect content information 2123. is there.
  • the user operation information input unit 2114 can also function as a user interface for inputting the real space component information 2121, the effect device information 2122, and the effect content information 2123.
  • the monitor information input unit 2115 inputs monitor information output from the monitor device 3300 that monitors the city space, which is the real space produced by the effect control information, which is the information for controlling the lighting / video device 3210 and the sound device 3220. Has a function. Although the monitor information includes video information and acoustic information, the monitor information input unit 2115 may also have a function of executing format conversion and converting the information into information that can be used in the VR control system 2000.
  • the device operation information input unit 2116 inputs information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally. For example, if some of the lighting devices of the lighting / video device 3210 are out of order, the effect confirmed by the effect VR information output device 2200 may not be obtained in the city space which is the real space. In such a case, it may not be possible to determine whether the effect is different between VR and the real space, or whether the desired effect cannot be obtained due to a failure of the effect device 3200. Therefore, it is necessary to monitor and input the device operation information. There is.
  • the VR storage unit 2120 stores the real space component information 2121 including the artificial object information 2121a and the natural object information 2121b, the effect device information 2122 including the lighting / video device information 2122a and the audio device information 2122b, and the effect content information 2123.
  • the VR control unit 2130 includes a modeling unit 2131, a virtual space generation unit 2132, an effect VR information generation unit 2133, an effect control information generation unit 2134, a monitor control unit 2135, and a device operation monitoring unit 2136.
  • the modeling unit 2131 has a function of modeling the real space component information 2121 in order to generate a virtual space from the real space.
  • Real space component information 2121 has information such as dimensions, materials, and surface physical properties of real space components.
  • the physical characteristics of the surface can be used to express the lighting effect when the real space component is illuminated by the lighting device included in the lighting / video device 3210.
  • the physical characteristics of the surface can be used to determine the acoustic effect of the real space component by the acoustic device 3220.
  • the modeling unit 2131 can also read modeled information for generating a virtual space from an external information providing device or an information provider.
  • the virtual space generation unit 2132 has a function of generating a virtual space based on the virtual space component in which the real space component is modeled by the modeling unit 2131.
  • the virtual space can be represented by three-dimensional color computer graphics. In virtual space, it is possible to represent virtual space components from any position and angle.
  • the effect control information generation unit 2134 generates information for controlling the lighting / video device 3210 and the sound device 3220 so as to reproduce the effect content in the city space based on the effect content information 2123.
  • the effect control information includes input information to the lighting / video device 3210 and the audio device 3220 for controlling the output information output from the lighting / video device 3210 and the audio device 3220.
  • the input information to the lighting / video device 3210 and the audio device 3220 included in the effect control information is output to the effect control information output unit 2142.
  • the effect control information also includes output information output from the lighting / video device 3210 and the audio device 3220 for obtaining the effect of the effect device 3200 in the virtual space.
  • the output information of the lighting / video device 3210 and the audio device 3220 included in the effect control information is output to the effect VR information generation unit 2133.
  • user operation information may be input to the effect control information generation unit 2134 from the user operation information input unit 2114.
  • the user operation information may be input from the user operation information input unit 2114.
  • the contents of the output information of the lighting / video device 3210 and the audio device 3220 can be changed by the user operation information.
  • the effect VR information generation unit 2133 reflects the output information of the lighting / video device 3210 and the sound device 3220 generated by the effect control information generation unit 2134 in the virtual space generated by the virtual space generation unit 2132. Has the function of generating.
  • the effect VR information is information indicating an effect that the effect content produced by the effect content information 2123 includes a lighting effect and a sound effect expressed in a virtual space, and is visual information that can be visually and audibly confirmed by the user. Acoustic information.
  • the effect VR information generation unit 2133 outputs the generated effect VR information to the effect VR information output unit 2141.
  • the monitor control unit 2135 inputs monitor information including visual information and acoustic information of the city space which is the real space from the monitor information input unit 2115, and user operation information from the user operation information input unit 2114.
  • the user operation information input to the monitor control unit 2135 may include information for changing the monitor direction of the monitor device 3300. Further, when the monitor device 3300 is movable, it may be information for moving the monitor device 3300.
  • the monitor control unit 2135 outputs these user operation information as monitor control information to the monitor control information output unit 2143.
  • monitor information including the visual information and the acoustic information of the city space of the monitor device 3300 controlled by the monitor control information is output to the real space information output unit 2144 as the real space information.
  • the device operation monitoring unit 2136 inputs the device operation information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 input from the device operation information input unit 2116 are operating normally, and the device Has a function of determining whether or not is operating normally.
  • the device operation monitoring unit 2136 outputs monitoring information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally to the monitoring information output unit 2145. It is also possible for the real space control unit 3120, which will be described later, to execute the function of the device operation monitoring unit 2136, but the details will be described later.
  • the VR output unit 2140 includes an effect VR information output unit 2141, an effect control information output unit 2142, a monitor control information output unit 2143, a real space information output unit 2144, and a monitoring information output unit 2145.
  • the effect VR information output unit 2141 inputs the effect VR information including the visual information and the acoustic information of the virtual space produced by the effect control information generated from the effect content information 2123 from the effect VR information generation unit 2133, and outputs the effect VR information. It has a function of outputting to the device 2200.
  • the effect VR information output device 2200 may be a VR device such as an HMD in addition to a normal display device. Further, the effect VR information output device 2200 does not have to be one unit, and the same effect VR information can be output to a plurality of units. (HMD: Head Mounted Display)
  • the effect control information output unit 2142 transfers the effect control information including input information for controlling the output information of the lighting / video device 3210 and the sound device 3220 generated by the effect control information generation unit 2134 to the real space control system 3000. It has a function to output.
  • the effect control information is transmitted directly or indirectly by wire or wirelessly.
  • the effect control information can be transmitted via a network.
  • the effect control information can be transmitted via an electronic information device such as the Internet or the cloud.
  • the monitor control information output unit 2143 has a function of outputting monitor control information for controlling the monitor device 3300 generated by the monitor control unit 2135 to the real space control system 3000.
  • Monitor control information is also transmitted directly or indirectly by wire or wireless.
  • monitor control information can also be transmitted via a network.
  • monitor control information can also be transmitted via electronic information devices such as the Internet and the cloud.
  • the real space information output unit 2144 inputs real space information including visual information and acoustic information of the city space, which is the real space monitored by the monitor device 3300, from the monitor control unit 2135 and outputs the real space information output device 2300.
  • the real space information output device 2300 does not have to be one unit, and the same real space information can be output to a plurality of units.
  • the monitoring information output unit 2145 inputs monitoring information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally from the device operation monitoring unit 2136, and the monitoring information output device 2400 Output to.
  • the VR control system 2000 includes a production VR information output device 2200, a real space information output device 2300, and a monitoring information output device 2400.
  • the real space information output device 2300 and the monitoring information output device 2400 may be configured by one hardware instead of separate hardware.
  • the effect VR information output device 2200, the real space information output device 2300, and the monitoring information output device 2400 may also be configured by one hardware instead of separate hardware.
  • the effect VR information output device 2200 has a function of outputting effect VR information including visual information and acoustic information of a virtual space produced by the effect control information generated from the effect content information 2123.
  • the effect VR information output device 2200 may be a VR device such as an HMD in addition to the normal display device. Further, the effect VR information output device 2200 does not have to be one unit, and the same effect VR information can be viewed by a plurality of units. By viewing the effect VR information, the user can confirm the effect of the effect control information generated from the effect content information 2123 in the virtual space.
  • the VR control system 2000 outputs the effect control information to the real space control system 3000 in real time. Then, the user can confirm the effect of the effect in the city space which is the real space by the real space information output device 2300.
  • the effect VR information output by the effect VR information output device 2200 may include control information for controlling the output information of the lighting / video device 3210 and the audio device 3220, which will be described later.
  • the control information for controlling the output information of the lighting / video device 3210 and the audio device 3220 can be displayed on the effect VR information output device 2200.
  • the user can change the displayed control information by using the user operation information input unit 2114.
  • the effect VR information reflecting the changed control information is displayed on the effect VR information output device 2200. Can be done. In this way, the user can change the output information of the lighting / video device 3210 and the audio device 3220 while viewing the effect VR information.
  • the effect control information generation unit 2134 and the effect VR information generation unit 2133 recognize the correspondence between the area where the control information is displayed and the user operation information. Therefore, the user operation information corresponding to the displayed control information is input to the effect control information generation unit 2134, and new effect control information is generated.
  • the control information can be displayed on the effect VR information output device 2200 as character information or image information, and the user can interactively check the effect.
  • the real space information output device 2300 outputs real space information including visual information and acoustic information of the city space which is the real space produced by the information output by the lighting / visual equipment 3210 and the audio equipment 3220 based on the effect control information. It has a function to output. As described above, the user can confirm the effect of the effect in the city space which is the real space by the real space information output device 2300. If the production effect in the real space does not match the concept of the city planning or event intended by the user, the production control information generation unit 2134 can correct the production information or replace the production content information 2123. ..
  • the monitoring information output device 2400 has a function of outputting monitoring information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally. Monitoring information because it is important that the production device 3200 is operating normally in order to judge whether the production effect in the real space matches the concept of the city planning or event intended by the user. It is important to be able to monitor with the output device 2400.
  • the real space control system 3000 includes a real space control device 3100, a lighting / video device 3210, an audio device 3220, and a monitor device 3300.
  • the real space control device 3100 outputs the real space control input unit 3110 for inputting the effect control information and the monitor control information, the real space control unit 3120, the real space I / F unit 3130, and the monitor information and the device operation information. It is configured to include a spatial output unit 3140. (I / F: Interface)
  • the real space control input unit 3110 includes an effect control information input unit 3111 for inputting effect control information and a monitor control information input unit 3112 for inputting monitor control information.
  • the effect control information input unit 3111 inputs the effect control information for controlling the lighting / video device 3210 and the audio device 3220 whose effect has been confirmed by the effect VR information output device 2200, and outputs the effect control information to the real space control unit 3120. ..
  • the monitor control information input unit 3112 inputs monitor control information for remote control of the monitor device 3300 by the real space information output device 2300, and outputs the monitor control information to the real space control unit 3120.
  • the real space control unit 3120 extracts the lighting / video equipment control information for controlling the lighting / video equipment 3210 from the production control information and outputs the lighting / video equipment control information to the lighting / video equipment I / F unit 3131. Further, the real space control unit 3120 extracts the audio equipment control information for controlling the audio equipment 3220 from the effect control information and outputs it to the audio equipment I / F unit 3132. Further, the real space control unit 3120 extracts information for controlling the monitor device 3300 from the monitor control information and outputs the information to the monitor device I / F unit 3133.
  • the real space control unit 3120 inputs the lighting / video equipment operation information of the lighting / video equipment 3210 from the lighting / video equipment I / F unit 3131, and inputs the audio equipment operation information of the audio equipment 3220 to the audio equipment I / F unit. Enter from 3132.
  • the real space control unit 3120 outputs the lighting / video device operation information and the audio device operation information as device operation information to the device operation information output unit 3142.
  • the real space control unit 3120 can also input the monitor device operation information of the monitor device 3300 from the monitor device I / F unit 3133 and include the monitor device operation information in the device operation information.
  • the real space control unit 3120 inputs monitor information including visual information and acoustic information of the city space which is the real space from the monitor device 3300 via the monitor device I / F unit 3133, and outputs the monitor information to the monitor information. Output to unit 3141.
  • the real space control unit 3120 determines whether or not the lighting / video device 3210, the sound device 3220, and the monitor device 3300 are operating normally based on the lighting / video device operation information, the sound device operation information, and the monitor device operation information. It may have a function of determining.
  • the device operation information may include information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally.
  • the real space I / F unit 3130 includes the above-mentioned lighting / video equipment I / F unit 3131, audio equipment I / F unit 3132, and monitor equipment I / F unit 3133.
  • the lighting / video equipment I / F unit 3131 has a function of outputting lighting / video equipment control information to the lighting / video equipment 3210 and inputting lighting / video equipment operation information from the lighting / video equipment 3210.
  • the audio device I / F unit 3132 has a function of outputting the audio device control information to the audio device 3220 and inputting the audio device operation information from the audio device 3220.
  • the monitor device I / F unit 3133 has a function of outputting monitor device control information to the monitor device 3300 and inputting monitor device operation information from the monitor device 3300.
  • the real space output unit 3140 includes a monitor information output unit 3141 and a device operation information output unit 3142.
  • the monitor information output unit 3141 inputs the monitor information output by the monitor device 3300 from the real space control unit 3120 and outputs it to the monitor information input unit 2115 of the VR control system 2000.
  • the device operation information output unit 3142 inputs the device operation information output by the lighting / video device 3210, the sound device 3220, and the monitor device 3300 from the real space control unit 3120, and inputs the device operation information to the device operation information input unit 2116 of the VR control system 2000. Output.
  • the device operation information includes lighting / video device operation information, audio device operation information, and monitor device operation information.
  • Monitor information and device operation information are transmitted directly or indirectly by wire or wireless.
  • monitor information and device operation information can be transmitted via electronic information devices such as the Internet and the cloud.
  • Examples of the lighting / video device 3210 indicating the lighting device and the video device include a projection device such as a projector for projecting image information and text information, a display device such as a display, a light bulb, a light emitting diode, an optical cable, and the like. ..
  • the projection device may be a projection mapping device that projects image information, character information, or the like on a wall surface or screen of a building.
  • the display includes a display of any size from large to small. It is also possible to produce illumination with a light bulb, a light emitting diode, an optical cable, or the like.
  • the lighting / video device 3210 is not limited to these, and includes devices that emit light of all kinds.
  • the audio information output from the audio device 3220 may include audio information that assists the lighting / video effect of the lighting / video device 3210 and audio information that is independent of the output information of the lighting / video device 3210. Further, the audio device 3220 does not have to be one unit, and may be composed of a plurality of units.
  • the monitor device 3300 may be either a fixed type or a mobile type.
  • the monitor device 3300 When the monitor device 3300 is mobile, the user can view the effect of the effect according to the line of sight of the monitor device 3300 moving in the city space where the effect device 3200 is installed.
  • the monitor device 3300 can be mounted on the drone to move in the city space.
  • the monitor device 3300 there is no limitation on the movable object on which the monitor device 3300 is mounted, and any movable object can be adopted.
  • the monitor device 3300 does not have to be one, and may be composed of a plurality of monitors.
  • the monitor device 3300 may be a camera such as a webcam whose monitor angle can be changed.
  • the monitor device 3300 can be changed-controlled and moved-controlled by the user operation information input unit 2114 included in the VR control system 2000.
  • FIGS. 5A and 5B Flow chart showing an example of the operation of the effect control system 1000
  • a flowchart of an example of the operation of the effect control system 1000 will be described with reference to FIGS. 5A and 5B.
  • the processing procedure in FIGS. 5A and 5B is executed by a CPU (Central Processing Unit) included in the effect control system 1000.
  • Examples of the operation unit that executes a part of the functions of the CPU include a VR control unit 2130 and a real space control unit 3120.
  • the CPU executes the program according to the program stored in the ROM (Read Only Memory) (not shown).
  • step S501 the real space component information input unit 2111 inputs the real space component information constituting the city space which is the real space, and stores it in the VR storage unit 2120.
  • the real space component information 2121 includes artificially provided hotels, commercial facilities, buildings for living, office buildings, overpasses, buildings such as stations and stadiums, street lights, roads and other artificial objects 2121a. , And information on natural objects such as trees, ponds, and hills 2121b.
  • the VR control system 2000 proceeds to step S502.
  • the effect device information input unit 2112 inputs the effect device information 2122, which is information about the effect device 3200 used to produce the city space, and stores it in the VR storage unit 2120.
  • the production device 3200 include the lighting / video device 3210 and the audio device 3220 shown in FIG.
  • the lighting / video device 3210 and the audio device 3220 may be a plurality of devices. Further, a plurality of lighting / video devices 3210 may form a lighting / video system, and a plurality of audio devices 3220 may form a sound system.
  • the VR control system 2000 proceeds to step S503.
  • step S503 the effect content information input unit 2113 inputs the effect content information, which is information related to the effect content for producing the city space by the lighting / video device 3210 and the sound device 3220, and stores it in the VR storage unit 2120.
  • the VR control system 2000 proceeds to step S504.
  • step S504 the effect control information generation unit 2134 generates effect control information for controlling the lighting / video device 3210 and the sound device 3220 so as to reproduce the effect content in the city space based on the effect content information 2123. ..
  • the effect control information includes input information to the lighting / video device 3210 and the audio device 3220 for controlling the output information of the lighting / video device 3210 and the audio device 3220 used in step S507.
  • the effect control information also includes output information of the lighting / video device 3210 and the sound device 3220 used in step S505 to obtain the effect of the effect in the virtual space.
  • the VR control system 2000 proceeds to step S505.
  • step S505 the virtual space generation unit 2132 generates a virtual space based on the virtual space component in which the real space component is modeled by the modeling unit 2131.
  • the virtual space can be represented by three-dimensional color computer graphics. In virtual space, it is possible to represent virtual space components from any position and angle.
  • the effect VR information generation unit 2133 reflects the output information of the lighting / video device 3210 and the sound device 3220 generated by the effect control information generation unit 2134 in the virtual space generated by the virtual space generation unit 2132. Generate VR information.
  • the effect VR information is information indicating the effect including the lighting effect and the sound effect expressed in the virtual space by the effect content information 2123 by the effect control information, and is the visual information and the acoustic information that can be visually and audibly confirmed by the user. Is. The user can visually and audibly confirm the effect of the effect control information in the virtual space by the effect VR information output device 2200.
  • the VR control system 2000 proceeds to step S506.
  • step S506 the effect control information generation unit 2134 determines whether or not the input information input by the user operation information input unit 2114 is positive. If the input information input by the user operation information input unit 2114 is affirmative (step S506: YES), the VR control system 2000 proceeds to step S507. If the input information input by the user operation information input unit 2114 is negative (step S506: NO), the VR control system 2000 proceeds to step S515.
  • step S507 the effect control information generation unit 2134 outputs the effect control information for controlling the lighting / video device 3210 and the sound device 3220 to the real space control system 3000 so as to reproduce the effect content information 2123 in the city space. ..
  • step S508 the real space control unit 3120 controls the output information of the lighting / video device 3210 and the audio device 3220 based on the input effect control information.
  • step S509 the real space control system 3000 proceeds to step S509.
  • step S509 the device operation monitoring unit 2136 indicates device operation information indicating whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 input from the device operation information input unit 2116 are operating normally. Enter. Then, the device operation monitoring unit 2136 determines whether or not the device is operating normally. Alternatively, whether or not the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally from the lighting / video device operation information, the audio device operation information, and the monitor device operation information by the real space control unit 3120. To judge. When the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operating normally (step S509: YES), the effect control system 1000 proceeds to step S511. When the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are not operating normally (step S509: NO), the effect control system 1000 proceeds to step S510.
  • step S510 the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are modified, and the lighting / video device 3210, the audio device 3220, and the monitor device 3300 are operated normally.
  • step S511 the monitor device 3300 monitors the visual information and the acoustic information of the city space which is the real space produced by the lighting / video device 3210 and the sound device 3220, and outputs the monitor information to the VR control system 2000.
  • step S512 the real space information output device 2300 connected to the VR control system 2000 outputs the visual information and the acoustic information of the city space which is the real space produced by the lighting / visual equipment 3210 and the audio equipment 3220.
  • step S513 the effect control information generation unit 2134 determines whether or not the input information input by the user operation information input unit 2114 is positive. If the input information input by the user operation information input unit 2114 is affirmative (step S513: YES), the VR control system 2000 proceeds to step S514. If the input information input by the user operation information input unit 2114 is negative (step S513: NO), the VR control system 2000 proceeds to step S515.
  • step S514 the effect control system 1000 presents to the user information about the effect content information 2123 and the effect device 3200, which were positively evaluated in step S513, using the display device. Any device can be used as the display device.
  • step S515 the effect control information generation unit 2134 determines whether or not the input information input by the user operation information input unit 2114 indicates the replacement of the effect content.
  • step S515: YES the VR control system 2000 proceeds to step S517.
  • step S515: NO the VR control system 2000 proceeds to step S516.
  • step S5166 based on the input information input by the user operation information input unit 2114, a part of the output information of the lighting / video device 3210 and the sound device 3220 is changed to change the effect control information.
  • the effect of the changed effect control information is output to the effect VR information output device.
  • the effect control information generation unit 2134 generates new effect content information 2123 based on the changed effect control information, and stores it in the VR storage unit 2120.
  • step S517 the effect control information generation unit 2134 determines whether or not the input information input by the user operation information input unit 2114 requires a new effect device 3200.
  • step S517: YES the VR control system 2000 proceeds to step S502.
  • step S517: NO the VR control system 2000 proceeds to step S503.
  • the user views the virtual reality in which the production effect is reflected in the virtual space by the control information generated based on the production content information 2123, and whether or not the production content matches the town planning and the event. Can be confirmed. Then, in the case of the effect content assumed by the user, the lighting control or the like can be reflected in the real space in real time. Furthermore, when the production effect in the real space is compared with the production effect in the virtual reality and it is confirmed that the production content is expected by the user, the production content and equipment such as lighting / video equipment are immediately provided to the user. It becomes possible to propose to.
  • the control of lighting etc. in virtual reality is pre-verified, the control is reflected in the real space at a remote place in real time, and the lighting effect etc. of the real space monitored by the user is further pre-verified by comparing with the virtual reality.
  • the quality of the production content can be easily judged.
  • FIG. 6 shows an example of a modification of the effect control system 1000a.
  • the effect control system 1000a shown in FIG. 6 includes one VR control system 2000a, a real space control system 3000a, a real space control system 3000b, and a real space control system 3000c.
  • the number of the real space control system 3000 can be any number. For example, there may be one real space control system 3000 connected to the cloud 4000.
  • the real space control system 3000a controls the lighting / video equipment and audio equipment of the city space a
  • the real space control system 3000b controls the lighting / video equipment and audio equipment of the city space b.
  • the real space control system 3000c controls the lighting / video equipment and the audio equipment of the city space c.
  • the VR control system 2000a, the real space control system 3000a, the real space control system 3000b, and the real space control system 3000c are connected by the cloud 4000.
  • the VR control system 2000a can provide the cloud 4000 with all or a part of the functions of the VR storage unit 2120 of the VR control system 2000. Further, the VR control system 2000a can provide the cloud 4000 with all or a part of the functions of the VR control unit 2130 of the VR control system 2000.
  • the real space component information 2121 of all the city spaces it is assumed that a huge storage capacity is required. Therefore, in the VR control system 2000a, the real space component information 2121 is stored in the cloud 4000. Memorize all or part of the information.
  • the cloud 4000 can substitute all or a part of the functions of the virtual space generation unit 2132 and the effect VR information generation unit 2133.
  • the cloud 4000 can substitute all or a part of the functions of the effect control information generation unit 2134.
  • the present embodiment It becomes possible to introduce the production control system of.
  • the VR control system by having a cloud exist between the VR control system and the real space control system, it becomes possible to place the VR control system in a remote area different from the area where the real space control system is located. ..
  • the VR control system by arranging the VR control system in an office building that is remote from the city space produced by the real space control system, it is possible for humans to complete all work while being in a space different from the city space. Become.
  • the effect control system 1000 preferably has the following configuration.
  • the effect control system 1000 preferably includes a VR control system 2000 and a real space control system 3000.
  • the VR control system 2000 preferably has the following configuration.
  • (I) It is preferable to include a virtual space generation unit 2132 that generates a virtual space by using the modeled component information of the real space.
  • (Ii) Production content information for inputting production content information 2123 indicating an image and / or sound for producing a virtual space and a real space by production control information that controls output information of the production device 3200 installed in the real space.
  • the input unit 2113 is included.
  • the effect control information generation unit 2134 that generates the effect control information for controlling the effect device 3200, which is used to generate the effect VR information, and outputs the effect control information.
  • the real space control system 3000 preferably has the following configuration.
  • V It is preferable to include a real space control unit 3120 that controls the directing device 3200 based on the staging control information and directs the real space.
  • Vi It is preferable to include a production device 3200 installed in a real space.
  • the present disclosure it is possible to easily reflect the lighting control in the virtual reality in the real space in real time, and the user confirms the lighting effect in the real space in comparison with the virtual reality to confirm the quality of the simulation. Can be easily determined.
  • the production device 3200 includes the lighting / video device 3210, and the production is preferably realized by the light radiated from the lighting / video device 3210.
  • the production content information 2123 can be used as information that visually directs the city space.
  • the real space control unit 3120 controls the light emitted from the plurality of lighting / video devices 3210.
  • the production device 3200 includes the audio device 3220, and the production is preferably realized by the light emitted from the lighting / video device 3210 and the sound emitted from the audio device 3220.
  • the effect control information generation unit 2134 outputs the effect control information when positive input information for the effect VR information is input.
  • the effect control information is provided in real time. It becomes possible to output to control the real space.
  • the effect control system 1000 further has the following configuration.
  • the real space control system 3000 further includes a monitor device 3300 that outputs monitor information that monitors the produced real space.
  • the VR control system 2000 preferably further includes a real space information output device 2300 that outputs monitor information as real space information.
  • the effect control information generation unit 2134 generate new effect control information related to the difference between the real space information and the effect VR information.
  • the effect VR information output device 2200 outputs new effect VR information related to the new effect control information.
  • the real space control unit 3120 controls the effect device 3200 based on the new effect control information to produce the real space.
  • the production VR information matches the user's concept
  • the production effect in the real space is different from the production effect by the production VR information and does not match the user's concept, a new production is performed. It becomes possible to generate VR information. Further, according to the present disclosure, it is possible to confirm the effect of the effect in the real space in real time by the effect control information corresponding to the new effect VR information.
  • the effect control system 1000 further has the following configuration.
  • the VR control system 2000 further includes a user operation information input unit 2114 in which user operation information related to the difference between the real space information and the effect VR information is input.
  • the effect control information generation unit 2134 preferably generates new effect control information related to the user operation information.
  • the user when the effect in the real space is different from the effect by the effect VR information and does not match the user's concept, the user generates user operation information in the VR control system 2000 to generate a new effect. It becomes possible to generate control information.
  • the monitor device 3300 can change the monitor angle and can move in the city space where the production device 3200 is installed. It is preferable that the monitor device 3300 is changed control and movement controlled by the user operation information input unit 2114 included in the VR control system 2000.
  • the effect of the effect in the virtual space be confirmed from various directions and positions, but also the effect of the effect in the real space can be confirmed from various directions and positions in the real space.
  • the monitor device 3300 and the production device 3200 output operation information, and in the real space control system 3000 or the VR control system 2000, it is determined from the operation information whether or not the monitor device 3300 and the production device 3200 are operating normally. It is preferable to do so.
  • the effect effect in the real space when the effect effect in the real space is different from the effect effect confirmed by the user in the virtual space, it is confirmed whether or not the effect is caused by the monitor device 3300 or the effect device 3200 not operating normally. Will be possible. In addition, it becomes possible to confirm whether or not the production in the real space is normally continued.
  • the production control system 1000 includes a cloud 4000 between the VR control system 2000 and the real space control system 3000.
  • the cloud 4000 preferably performs at least some of the functions of the VR control system 2000 and the real space control system 3000.
  • the VR control system 2000 can be arranged in a remote place away from the real space control system 3000, and the user can perform a simulation without going to the city space where the production device 3200 is arranged. And the result can be confirmed and corrected.
  • the cloud 4000 by arranging the cloud 4000, it is possible to control a vast city space with the VR control system 2000, and it is possible to easily simulate the city building in a vast area in a remote place and realize the real space. It becomes possible to easily confirm the effect.
  • the VR control system 2000 is preferably installed in a remote real space physically separated from the city space in which the production device 3200 is installed.
  • the VR control system 2000 can be arranged in a remote place away from the real space control system 3000, and the user can perform a simulation without going to the city space where the production device 3200 is arranged. And the result can be confirmed and corrected.
  • the effect VR information output device 2200 is preferably either a display device or an HMD device.
  • the production VR information can be confirmed on the screen of a personal computer, and the production effect of the virtual space can be confirmed and corrected without preparing a special electronic device.
  • the effect VR information can be confirmed by the HMD device, and the user can confirm and correct the effect of the virtual space while feeling as if he / she is in the actual city space.
  • the effect VR information output device 2200 outputs control information for changing the output information of the effect device 3200.
  • control information changes due to the user operation information input from the user operation information input unit 2114
  • new effect VR information reflecting the changed output information of the effect device 3200 is output to the effect VR information output device 2200. Is preferable.
  • the control information for changing the output information of the effect device 3200 is displayed on the effect VR information output device 2200, the user can easily change the effect content information 2123, and the user can change the effect content information 2123. It becomes possible to improve the interface function.
  • a method of presenting a production control plan for producing a city space by the production control system 1000 is disclosed to a user who produces a city space which is a real space.
  • the method of presenting the production control plan includes the following steps.
  • the first step is a step of generating a virtual space by using the modeled component information of the real space.
  • the second step is the production content information 2123 showing an image and / or sound for directing the virtual space and the real space by the production control information that controls the output information of the production device 3200 installed in the real space. It is a step to input.
  • the third step is a step of outputting the effect VR information expressing the situation of the virtual space produced by the effect content information 2123.
  • the fourth step is to output the effect control information for controlling the effect device 3200, which is used to generate the effect VR information, in response to the positive input information for the effect VR information.
  • the fifth step is a step of controlling the effect device 3200 based on the effect control information to produce a real space.
  • the sixth step is a step of outputting monitor information that monitors the produced real space.
  • the seventh step is a step of presenting an effect control plan including the effect content information 2123 and the effect device 3200 in response to positive input information for the monitor information.
  • the present disclosure it is possible to easily reflect the lighting control in the virtual reality in the real space in real time, and the user confirms the lighting effect in the real space in comparison with the virtual reality to confirm the quality of the simulation. Can be easily determined.
  • the control of lighting etc. in virtual reality is verified in advance, the control is reflected in the real space at a remote place in real time, and the lighting effect etc. of the real space monitored by the user is compared with the virtual reality. Further preliminary verification can be performed to easily judge the quality of the production content.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

演出制御システム（１０００）は、ＶＲ制御システム（２０００）、および、現実空間制御システム（３０００）を含む。ＶＲ制御システム（２０００）は、現実空間の構成要素情報を使用して仮想空間を生成する仮想空間生成部（２１３２）、仮想空間および現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力する演出コンテンツ情報入力部（２１１３）、仮想空間の状況を表現する演出ＶＲ情報を出力する演出ＶＲ情報出力装置（２２００）、並びに、演出制御情報を生成し、演出制御情報を出力する演出制御情報生成部（２１３４）を含む。また、現実空間制御システム（３０００）は、演出機器を制御し、現実空間を演出する現実空間制御部（３１２０）、および現実空間に設置された演出機器（３２００）を含む。

Description

演出制御システム、および、演出制御プランを提示する方法
　本発明は、演出制御システム、および、演出制御プランを提示する方法に関する。
　従来から、さまざまな情報に基づいて、照明や音響によって空間を演出する手法が知られている。
　例えば、特許文献１のリアルワールド演出システムは、一群のデバイスで構成され、各デバイスは、オーディオ／ビジュアル特性などの１以上のパラメータを有する。当該一群のデバイスの少なくともひとつは、リアルワールドを描写する記述をマークアップ言語の命令セットの形式で受け取り、前記一群のデバイスは、前記記述にしたがって動作する。マークアップ言語で表現された一般的な言葉は、ローカルサーバによって、あるいはデバイスに配置されたブラウザによって解釈され、リアルワールドな体験を演出するようにデバイスを動作させる。
特表２００４－５２５７３５号公報
　上記の演出制御においては、あらかじめ用意されたリアルワールドを描写する記述から、建造物の壁面や造形物等において照明パターン等がどのように知覚されるかをローカルサーバやデバイスが解釈し、ローカルサーバやデバイスにおいて制御情報を生成していた。そして、決定権者を含むユーザが建造物や造形物が配置されている現場に赴いて、照明パターン等による演出効果を確認する必要があった。したがって、ユーザは現場において、照明パターン等による演出効果の良否を判断する必要があり、事前に検証することもなかった。
　本発明は、このような従来技術の有する課題に鑑みてなされたものである。本発明の目的は、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断することにある。
　上記課題を解決するために、本開示の第一の態様に係る演出制御システムは、モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部、前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力する演出コンテンツ情報入力部、前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）情報を出力する演出ＶＲ情報出力装置、および、前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための前記演出制御情報を生成し、前記演出制御情報を出力する演出制御情報生成部を含むＶＲ制御システム、並びに、前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する現実空間制御部、および、前記現実空間に設置された前記演出機器、を含む現実空間制御システムを有する。
　本開示の第二の態様に係る演出制御プランを提示する方法は、現実空間である街空間を演出するユーザに、演出制御システムによって前記街空間を演出するための演出制御プランを提示する方法であって、モデリングされた、前記現実空間の構成要素情報を使用して、仮想空間を生成するステップ、前記現実空間に設置された演出機器の出力情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力するステップ、前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ情報を出力するステップ、前記演出ＶＲ情報に対する肯定的な入力情報に対応して、前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための演出制御情報を出力するステップ、前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出するステップ、演出された前記現実空間をモニタしたモニタ情報を出力するステップ、前記モニタ情報に対する肯定的な入力情報に対応して、前記演出コンテンツ情報および前記演出機器を含む演出制御プランを提示するステップを含む。
図１は、本実施形態に係わる演出制御システムの一例を模式的に示す図である。 図２は、本実施形態に係わるＶＲ制御システムの一例を示すブロック図である。 図３は、本実施形態に係わるＶＲ記憶部に記憶される情報の一例を示す図である。 図４は、本実施形態に係わる現実空間制御システムの一例を示すブロック図である。 図５Ａは、本実施形態に係わる演出制御システムの動作の一例を示すフローチャートである。 図５Ｂは、本実施形態に係わる演出制御システムの動作の一例を示すフローチャートである。 図６は、本実施形態に係わる演出制御システムのその他の一例を模式的に示す図である。
　以下、本実施形態に係わる演出制御システム、および、演出制御プランを提示する方法について、図面を参照しながら詳細に説明する。なお、以下で説明する実施形態は、包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示に限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。さらに、図面の寸法比率は説明の都合上誇張されており、実際の比率と異なる場合がある。
（演出制御システム１０００の概要）
　図１は、演出制御システム１０００の概念を説明するための模式図である。
　演出制御システム１０００は、ＶＲ制御システム２０００、並びに、現実空間である街空間の照明機器、映像機器および音響機器等を制御し、現実空間をモニタ等するための現実空間制御システム３０００を含む。（ＶＲ：Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）
　ＶＲ制御システム２０００は、街空間を照明・映像機器および音響機器等によって演出するためのイメージおよび／またはサウンドを示す演出コンテンツを入力し、街空間を仮想化した仮想空間において演出コンテンツによって演出された状況をユーザに提供する。街空間を仮想化した仮想空間において演出コンテンツによって演出されたＶＲを、本明細書では、演出ＶＲと称する場合がある。
　演出ＶＲを視聴したユーザが、演出ＶＲが街づくりやイベント等のコンセプトに合致していると判断した場合に、ＶＲ制御システム２０００から現実空間制御システム３０００に演出制御情報がリアルタイムに出力される。演出制御情報が入力された現実空間制御システム３０００は、当該演出制御情報に基づいて照明機器、映像機器および音響機器を制御し、街空間における演出状況をモニタ機器によってモニタする。現実空間制御システム３０００は、モニタ情報をＶＲ制御システム２０００に出力する。
　モニタ情報が入力されたＶＲ制御システム２０００は、モニタ情報をユーザに視聴させ、現実空間において、事前に検証した演出ＶＲと同様の効果が発揮されているか否かをユーザがさらに事前に検証する。事前検証する場所は、現実空間から離れた遠隔地において可能である。現実空間における演出効果が、街づくりやイベント等のコンセプトに合致しているとユーザが判断した場合に、演出コンテンツがユーザに提案される。なお、現実空間における演出効果が、街づくりやイベント等のコンセプトに合致していないとユーザが判断した場合には、その場で演出ＶＲを修正し、モニタ情報によって再度、演出効果を確認することも可能である。
　上記構成によれば、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。
（ＶＲ制御システム２０００）
　図２は、ＶＲ制御システム２０００の構成の一例を説明するためのブロック図である。
　ＶＲ制御システム２０００は、ＶＲ制御装置２１００、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００、および、監視情報出力装置２４００を含んで構成される。なお、現実空間情報出力装置２３００および監視情報出力装置２４００は別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。また、場合によっては、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００および監視情報出力装置２４００も別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。
　ＶＲ制御装置２１００は、ＶＲ入力部２１１０、ＶＲ記憶部２１２０、ＶＲ制御部２１３０、ＶＲ出力部２１４０を含んで構成される。
　ＶＲ入力部２１１０は、現実空間構成要素情報入力部２１１１、演出機器情報入力部２１１２、演出コンテンツ情報入力部２１１３、ユーザ操作情報入力部２１１４、モニタ情報入力部２１１５、機器動作情報入力部２１１６を含む。
　現実空間構成要素情報入力部２１１１は、現実空間である街空間を構成する現実空間構成要素情報を入力し、ＶＲ記憶部２１２０に記憶する。現実空間構成要素情報２１２１には、人工的に設けられたホテル、商業施設、居住するためのビル、オフィスビル、陸橋、駅や競技場等の建造物、街路灯、道路等の人工物情報２１２１ａ、および、樹木、池、丘等の自然物情報２１２１ｂが含まれる。図３に示すように、これらの人工物情報２１２１ａおよび自然物情報２１２１ｂはＶＲ記憶部２１２０に記憶される。
　演出機器情報入力部２１１２は、演出コンテンツによって街空間を演出するために使用される演出機器３２００に関する情報である演出機器情報２１２２を入力し、ＶＲ記憶部２１２０に記憶する。演出機器３２００の一例として、図４に示す照明機器および映像機器を示す照明・映像機器３２１０、音響機器３２２０が挙げられる。照明・映像機器３２１０には、さまざまな光を放出する機器が含まれる。照明・映像機器３２１０の一例には、画像情報や文字情報等を投影するプロジェクタ等の投影装置、ディスプレイ等の表示装置、および、電球、発光ダイオード、光ケーブル等が挙げられる。図３に示すように、照明・映像機器３２１０に関する照明・映像機器情報２１２２ａ、および、音響機器３２２０に関する音響機器情報２１２２ｂは演出機器情報２１２２に含まれて、ＶＲ記憶部２１２０に記憶される。
　演出コンテンツ情報入力部２１１３は、演出機器３２００によって街空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツを入力し、ＶＲ記憶部２１２０に記憶する。図３に示すように、演出コンテンツは演出コンテンツ情報２１２３として、ＶＲ記憶部２１２０に記憶される。また、演出コンテンツ情報２１２３は、演出機器３２００を制御する演出制御情報によって現実空間である街空間をリアルタイムに演出するために使用されることが可能である。
　ユーザ操作情報入力部２１１４は、ユーザによるさまざまな情報を入力するためのインターフェース機能を有する。ユーザ操作情報入力部２１１４の一例として、キーボード、マウス、タッチパネル、トラックボール、および、音声認識デバイス等が挙げられる。
　例えば、演出ＶＲ情報出力装置２２００がＶＲ機器である場合には、ユーザ操作情報入力部２１１４はＶＲ機器と一体となって機能してもよい。この場合には、ユーザ操作情報入力部２１１４はユーザの視線や動作を感知して情報を入力するデバイスとして機能することも可能であり、ユーザの視線の移動や動作に対応して、移動した視線から見える演出ＶＲ情報が演出ＶＲ情報出力装置２２００に出力される。
　また、ユーザ操作情報入力部２１１４は、演出ＶＲ情報出力装置２２００に表示される演出ＶＲ情報を修正するためのインターフェース機能を有することもできる。
　例えば、演出ＶＲ情報における照度または照明パターンを変更するために、ユーザ操作情報入力部２１１４を使用することができる。また、例えば、演出ＶＲ情報には音響情報も含まれるため、音量または音響パターンを変更するために、ユーザ操作情報入力部２１１４を使用することができる。
　さらに、ユーザ操作情報入力部２１１４は、演出コンテンツ情報２１２３によって演出された現実空間である街空間をモニタするモニタ機器３３００の撮影方向や撮影場所を移動させるためのユーザインターフェースとして機能することも可能である。
　なお、ユーザ操作情報入力部２１１４は、現実空間構成要素情報２１２１、演出機器情報２１２２、演出コンテンツ情報２１２３を入力するためのユーザインターフェースとして機能することも可能である。
　モニタ情報入力部２１１５は、照明・映像機器３２１０や音響機器３２２０を制御する情報である演出制御情報によって演出された現実空間である街空間をモニタするモニタ機器３３００から出力されるモニタ情報を入力する機能を有する。モニタ情報には映像情報および音響情報が含まれるが、モニタ情報入力部２１１５は、フォーマット変換を実行し、ＶＲ制御システム２０００で使用できる情報に変換する機能を有することもできる。
　機器動作情報入力部２１１６は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す情報を入力する。例えば、照明・映像機器３２１０の一部の照明デバイスが故障していると、演出ＶＲ情報出力装置２２００によって確認された演出効果が現実空間である街空間で得られない場合がある。このような場合に、演出効果がＶＲと現実空間で異なるのか、演出機器３２００の故障によって所望の演出効果が得られないのかが判別できない場合があるので、機器動作情報を監視し、入力する必要がある。
　ＶＲ記憶部２１２０は、上述したように人工物情報２１２１ａおよび自然物情報２１２１ｂを含む現実空間構成要素情報２１２１、照明・映像機器情報２１２２ａおよび音響機器情報２１２２ｂを含む演出機器情報２１２２、演出コンテンツ情報２１２３を記憶する。
　ＶＲ制御部２１３０は、モデリング部２１３１、仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３、演出制御情報生成部２１３４、モニタ制御部２１３５、および、機器動作監視部２１３６を含んで構成される。
　モデリング部２１３１は、現実空間から仮想空間を生成するために、現実空間構成要素情報２１２１をモデリングする機能を有する。現実空間構成要素情報２１２１は現実空間構成要素の寸法、材料、表面の物性等の情報を有する。表面の物性は、照明・映像機器３２１０に含まれる照明機器によって、現実空間構成要素が照明された場合の照明効果を表現するために使用されることができる。また、表面の物性は、音響機器３２２０による現実空間構成要素の音響効果を決定するために使用されることができる。なお、モデリング部２１３１は、外部の情報提供機器または情報提供者から仮想空間を生成するためのモデリングされた情報を読み込むことも可能である。
　仮想空間生成部２１３２は、モデリング部２１３１によって現実空間構成要素がモデリングされた仮想空間構成要素に基づいて、仮想空間を生成する機能を有する。仮想空間は３次元カラーコンピュータグラフィックスによって表現されることが可能である。仮想空間ではあらゆる位置および角度から仮想空間構成要素を表現することが可能である。
　演出制御情報生成部２１３４は、演出コンテンツ情報２１２３に基づいて、街空間に演出コンテンツを再現するように照明・映像機器３２１０および音響機器３２２０を制御するための情報を生成する。演出制御情報には、照明・映像機器３２１０および音響機器３２２０から出力される出力情報を制御するための照明・映像機器３２１０および音響機器３２２０への入力情報が含まれる。演出制御情報に含まれる照明・映像機器３２１０および音響機器３２２０への入力情報は演出制御情報出力部２１４２に出力される。
　また、演出制御情報には、仮想空間における演出機器３２００の演出効果を得るための照明・映像機器３２１０および音響機器３２２０から出力される出力情報も含まれる。演出制御情報に含まれる照明・映像機器３２１０および音響機器３２２０の出力情報は演出ＶＲ情報生成部２１３３に出力される。
　また、演出制御情報生成部２１３４には、ユーザ操作情報入力部２１１４からユーザ操作情報が入力される場合もある。例えば、演出ＶＲ情報出力装置２２００に出力された演出ＶＲ情報を修正する場合に、ユーザ操作情報入力部２１１４からユーザ操作情報が入力される場合がある。この場合には、ユーザ操作情報によって、照明・映像機器３２１０および音響機器３２２０の出力情報の内容を変更することが可能となる。
　演出ＶＲ情報生成部２１３３は、仮想空間生成部２１３２によって生成された仮想空間に、演出制御情報生成部２１３４によって生成された照明・映像機器３２１０および音響機器３２２０の出力情報を反映させた演出ＶＲ情報を生成する機能を有する。演出ＶＲ情報は、演出コンテンツ情報２１２３によって演出された演出コンテンツが仮想空間で表現された照明効果および音響効果を含む演出効果を示す情報であって、ユーザの視覚および聴覚で確認可能な視覚情報および音響情報である。演出ＶＲ情報生成部２１３３は、生成された演出ＶＲ情報を、演出ＶＲ情報出力部２１４１に出力する。
　モニタ制御部２１３５は、モニタ情報入力部２１１５から現実空間である街空間の視覚情報および音響情報を含むモニタ情報、および、ユーザ操作情報入力部２１１４からユーザ操作情報を入力する。モニタ制御部２１３５に入力されるユーザ操作情報には、モニタ機器３３００のモニタ方向を変化させる情報が含まれる場合がある。また、モニタ機器３３００が移動可能である場合には、モニタ機器３３００を移動させる情報である場合がある。モニタ制御部２１３５は、これらのユーザ操作情報をモニタ制御情報として、モニタ制御情報出力部２１４３に出力する。
　また、モニタ制御情報によって制御されたモニタ機器３３００の街空間の視覚情報および音響情報を含むモニタ情報を現実空間情報として現実空間情報出力部２１４４に出力する。
　機器動作監視部２１３６は機器動作情報入力部２１１６から入力された照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す機器動作情報を入力し、機器が正常に動作しているか否かを判定する機能を有する。機器動作監視部２１３６は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を監視情報出力部２１４５に出力する。なお、後述する現実空間制御部３１２０が機器動作監視部２１３６の機能を実行することも可能であるが、詳細は後述する。
　ＶＲ出力部２１４０は、演出ＶＲ情報出力部２１４１、演出制御情報出力部２１４２、モニタ制御情報出力部２１４３、現実空間情報出力部２１４４、および、監視情報出力部２１４５を含んで構成される。
　演出ＶＲ情報出力部２１４１は演出コンテンツ情報２１２３から生成された演出制御情報によって演出された仮想空間の視覚情報および音響情報を含む演出ＶＲ情報を演出ＶＲ情報生成部２１３３から入力し、演出ＶＲ情報出力装置２２００に出力する機能を有する。演出ＶＲ情報出力装置２２００は、通常のディスプレイ装置の他にＨＭＤ等のＶＲ機器である場合もある。また、演出ＶＲ情報出力装置２２００は、一台である必要はなく、同一の演出ＶＲ情報を複数台に出力することも可能である。（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）
　演出制御情報出力部２１４２は、演出制御情報生成部２１３４で生成された照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための入力情報が含まれる演出制御情報を現実空間制御システム３０００に出力する機能を有する。演出制御情報は有線または無線で直接的または間接的に伝送される。例えば、演出制御情報はネットワークを介して伝送されることも可能である。一例として、演出制御情報はインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。
　モニタ制御情報出力部２１４３は、モニタ制御部２１３５で生成されたモニタ機器３３００を制御するためのモニタ制御情報を現実空間制御システム３０００に出力する機能を有する。モニタ制御情報も有線または無線で直接的または間接的に伝送される。例えば、モニタ制御情報もネットワークを介して伝送されることも可能である。一例として、モニタ制御情報もインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。
　現実空間情報出力部２１４４は、モニタ機器３３００によってモニタされた現実空間である街空間の視覚情報および音響情報を含む現実空間情報をモニタ制御部２１３５から入力し、現実空間情報出力装置２３００に出力する機能を有する。また、現実空間情報出力装置２３００は、一台である必要はなく、同一の現実空間情報を複数台に出力することも可能である。
　監視情報出力部２１４５は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を機器動作監視部２１３６から入力し、監視情報出力装置２４００に出力する。
　ＶＲ制御システム２０００は、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００、および、監視情報出力装置２４００を含む。上述したように、現実空間情報出力装置２３００および監視情報出力装置２４００は別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。また、場合によっては、演出ＶＲ情報出力装置２２００、現実空間情報出力装置２３００および監視情報出力装置２４００も別々のハードウェアではなく、１つのハードウェアによって構成されてもよい。
　演出ＶＲ情報出力装置２２００は、演出コンテンツ情報２１２３から生成された演出制御情報によって演出された仮想空間の視覚情報および音響情報を含む演出ＶＲ情報を出力する機能を有する。上述したように、演出ＶＲ情報出力装置２２００は、通常のディスプレイ装置の他にＨＭＤ等のＶＲ機器である場合もある。また、演出ＶＲ情報出力装置２２００は、一台である必要はなく、同一の演出ＶＲ情報を複数台で視聴することも可能である。ユーザは、演出ＶＲ情報を視聴することによって、仮想空間において演出コンテンツ情報２１２３から生成された演出制御情報による演出効果を確認することが可能になる。仮想空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致していれば、ＶＲ制御システム２０００は演出制御情報を現実空間制御システム３０００にリアルタイムに出力する。そして、ユーザは現実空間情報出力装置２３００によって現実空間である街空間において演出効果を確認することが可能になる。
　また、演出ＶＲ情報出力装置２２００が出力する、演出ＶＲ情報には後述する照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための制御情報が含まれていてもよい。この場合には、照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための制御情報が、演出ＶＲ情報出力装置２２００に表示されることができる。そして、ユーザは表示された制御情報を、ユーザ操作情報入力部２１１４を使用して変更することが可能である。演出ＶＲ情報を視聴しているユーザがユーザ操作情報入力部２１１４を使用して当該制御情報を変更すると、変更された当該制御情報が反映された演出ＶＲ情報が演出ＶＲ情報出力装置２２００に表示されることができる。このようにして、ユーザは演出ＶＲ情報を視聴しながら照明・映像機器３２１０および音響機器３２２０の出力情報を変更することが可能となる。この場合に、当該制御情報が表示される領域とユーザ操作情報との対応関係を演出制御情報生成部２１３４および演出ＶＲ情報生成部２１３３が認識しているものとする。したがって、表示された制御情報に対応するユーザ操作情報が、演出制御情報生成部２１３４に入力され、新たな演出制御情報が生成される。なお、制御情報は文字情報やイメージ情報として演出ＶＲ情報出力装置２２００に表示されることが可能であって、ユーザはインタラクティブに演出効果を確認することが可能になる。
　現実空間情報出力装置２３００は、演出制御情報に基づいて、照明・映像機器３２１０および音響機器３２２０が出力した情報によって演出された現実空間である街空間の視覚情報および音響情報を含む現実空間情報を出力する機能を有する。上述したように、ユーザは現実空間情報出力装置２３００によって現実空間である街空間において演出効果を確認することが可能になる。現実空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致していなければ、演出制御情報生成部２１３４によって演出情報を修正し、または、演出コンテンツ情報２１２３を入れ替えることが可能になる。
　監視情報出力装置２４００は、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す監視情報を出力する機能を有する。現実空間における演出効果が、ユーザが意図する街づくりやイベントのコンセプトに合致しているか否かを判断するためには、演出機器３２００が正常に動作していることが重要であるため、監視情報出力装置２４００によって監視できることが重要になる。
（現実空間制御システム３０００）
　図４に示すように、現実空間制御システム３０００は、現実空間制御装置３１００、照明・映像機器３２１０、音響機器３２２０、モニタ機器３３００を含んで構成される。
　現実空間制御装置３１００は、演出制御情報およびモニタ制御情報を入力する現実空間制御入力部３１１０、現実空間制御部３１２０、現実空間Ｉ／Ｆ部３１３０、並びに、モニタ情報および機器動作情報を出力する現実空間出力部３１４０を含んで構成される。（Ｉ／Ｆ：ＩｎｔｅｒＦａｃｅ）
　現実空間制御入力部３１１０は、演出制御情報を入力する演出制御情報入力部３１１１、および、モニタ制御情報を入力するモニタ制御情報入力部３１１２を含んで構成される。
　演出制御情報入力部３１１１は、演出ＶＲ情報出力装置２２００によって演出効果が確認された照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を入力し、現実空間制御部３１２０に出力する。
　モニタ制御情報入力部３１１２は、現実空間情報出力装置２３００によって、モニタ機器３３００を遠隔制御するためのモニタ制御情報を入力し、現実空間制御部３１２０に出力する。
　現実空間制御部３１２０は、演出制御情報から照明・映像機器３２１０を制御するための照明・映像機器制御情報を抽出し、照明・映像機器Ｉ／Ｆ部３１３１に出力する。また、現実空間制御部３１２０は、演出制御情報から音響機器３２２０を制御するための音響機器制御情報を抽出し、音響機器Ｉ／Ｆ部３１３２に出力する。さらに、現実空間制御部３１２０は、モニタ制御情報からモニタ機器３３００を制御するための情報を抽出し、モニタ機器Ｉ／Ｆ部３１３３に出力する。
　さらに、現実空間制御部３１２０は、照明・映像機器３２１０の照明・映像機器動作情報を照明・映像機器Ｉ／Ｆ部３１３１から入力し、音響機器３２２０の音響機器動作情報を音響機器Ｉ／Ｆ部３１３２から入力する。現実空間制御部３１２０は、照明・映像機器動作情報および音響機器動作情報を機器動作情報として、機器動作情報出力部３１４２に出力する。なお、現実空間制御部３１２０は、モニタ機器３３００のモニタ機器動作情報をモニタ機器Ｉ／Ｆ部３１３３から入力し、機器動作情報にモニタ機器動作情報を含めることも可能である。
　さらに、現実空間制御部３１２０は、モニタ機器３３００から現実空間である街空間の視覚情報および音響情報を含むモニタ情報をモニタ機器Ｉ／Ｆ部３１３３を介して入力し、当該モニタ情報をモニタ情報出力部３１４１に出力する。
　なお、現実空間制御部３１２０は、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報から照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを判定する機能を有する場合もある。この場合には、機器動作情報に照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す情報を含めることも可能である。
　現実空間Ｉ／Ｆ部３１３０は上述した照明・映像機器Ｉ／Ｆ部３１３１、音響機器Ｉ／Ｆ部３１３２およびモニタ機器Ｉ／Ｆ部３１３３を含んで構成される。
　照明・映像機器Ｉ／Ｆ部３１３１は照明・映像機器制御情報を照明・映像機器３２１０に出力し、照明・映像機器３２１０から照明・映像機器動作情報を入力する機能を有する。
　音響機器Ｉ／Ｆ部３１３２は音響機器制御情報を音響機器３２２０に出力し、音響機器３２２０から音響機器動作情報を入力する機能を有する。
　モニタ機器Ｉ／Ｆ部３１３３はモニタ機器制御情報をモニタ機器３３００に出力し、モニタ機器３３００からモニタ機器動作情報を入力する機能を有する。
　現実空間出力部３１４０はモニタ情報出力部３１４１および機器動作情報出力部３１４２を含んで構成される。
　モニタ情報出力部３１４１は、モニタ機器３３００が出力したモニタ情報を、現実空間制御部３１２０から入力し、ＶＲ制御システム２０００のモニタ情報入力部２１１５に出力する。
　機器動作情報出力部３１４２は、照明・映像機器３２１０、音響機器３２２０、モニタ機器３３００が出力した機器動作情報を、現実空間制御部３１２０から入力し、ＶＲ制御システム２０００の機器動作情報入力部２１１６に出力する。機器動作情報には、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報が含まれる。
　モニタ情報および機器動作情報は有線または無線で直接的または間接的に伝送される。例えば、モニタ情報および機器動作情報はインターネットやクラウド等の電子情報機器を間に介して伝送されることも可能である。
　照明機器および映像機器を示す照明・映像機器３２１０の一例には、画像情報や文字情報等を投影するプロジェクタ等の投影装置、ディスプレイ等の表示装置、および、電球、発光ダイオード、光ケーブル等が挙げられる。投影装置はビルの壁面やスクリーン等に画像情報や文字情報等を投影するプロジェクションマッピング装置であってもよい。なお、ディスプレイにはディスプレイサイズが大型から小型までの任意のサイズのディスプレイが含まれる。また、電球、発光ダイオード、光ケーブル等によってイルミネーションを演出することも可能である。なお、照明・映像機器３２１０はこれらに限定されるわけではなく、あらゆる種類の光を放射する装置が含まれる。
　音響機器３２２０から出力される音響情報は、照明・映像機器３２１０による照明・映像効果を補助する音響情報、照明・映像機器３２１０による出力情報とは独立した音響情報が含まれる場合がある。また、音響機器３２２０は一台である必要はなく、複数台で構成される場合がある。
　モニタ機器３３００は固定式または移動式のいずれであってもよい。モニタ機器３３００が移動式の場合には、ユーザは演出機器３２００が設置されている街空間を移動するモニタ機器３３００の視線に合わせて演出効果を視聴することが可能になる。また、モニタ機器３３００はドローンに搭載されて街空間を移動することも可能である。モニタ機器３３００が移動式の場合には、モニタ機器３３００が搭載される移動可能物体に制限はなく、任意の移動可能物体を採用することが可能である。また、モニタ機器３３００は一台である必要はなく、複数台で構成される場合がある。さらに、モニタ機器３３００は、モニタ角度を変更可能であるウェブカメラ等のカメラであってもよい。モニタ機器３３００は、ＶＲ制御システム２０００に含まれるユーザ操作情報入力部２１１４によって変更制御および移動制御されることが可能である。
（演出制御システム１０００の動作の一例を示すフローチャート）
　次に、演出制御システム１０００の動作の一例のフローチャートについて図５Ａおよび図５Ｂに基づいて説明する。図５Ａおよび図５Ｂにおける処理手順は、演出制御システム１０００が有するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）が実行する。当該ＣＰＵの一部の機能を実行する動作部の一例には、ＶＲ制御部２１３０および現実空間制御部３１２０が挙げられる。この場合において、当該ＣＰＵはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）（図示せず）に格納されたプログラムにしたがい実行する。
　なお、以下の処理手順の一部または全部は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェアにより実行できる。但し本実施形態では、ＲＯＭのプログラムにしたがってＣＰＵが実行する形態とした場合について説明する。
　ステップＳ５０１において、現実空間構成要素情報入力部２１１１は、現実空間である街空間を構成する現実空間構成要素情報を入力し、ＶＲ記憶部２１２０に記憶する。現実空間構成要素情報２１２１には、人工的に設けられたホテル、商業施設、居住するためのビル、オフィスビル、陸橋、駅や競技場等の建造物、街路灯、道路等の人工物情報２１２１ａ、および、樹木、池、丘等の自然物情報２１２１ｂが含まれる。次にＶＲ制御システム２０００はステップＳ５０２に進む。
　ステップＳ５０２において、演出機器情報入力部２１１２は、街空間を演出するために使用される演出機器３２００に関する情報である演出機器情報２１２２を入力し、ＶＲ記憶部２１２０に記憶する。演出機器３２００の一例として、図４に示す照明・映像機器３２１０、音響機器３２２０が挙げられる。なお、照明・映像機器３２１０および音響機器３２２０は複数の機器である場合がある。さらに、複数の照明・映像機器３２１０によって照明・映像システムが構成され、複数の音響機器３２２０によって音響システムが構成される場合がある。次にＶＲ制御システム２０００はステップＳ５０３に進む。
　ステップＳ５０３において、演出コンテンツ情報入力部２１１３は、照明・映像機器３２１０および音響機器３２２０によって街空間を演出するための演出コンテンツに関する情報である演出コンテンツ情報を入力し、ＶＲ記憶部２１２０に記憶する。次にＶＲ制御システム２０００はステップＳ５０４に進む。
　ステップＳ５０４において、演出制御情報生成部２１３４は、演出コンテンツ情報２１２３に基づいて、街空間に演出コンテンツを再現するように照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を生成する。演出制御情報には、ステップＳ５０７において使用される、照明・映像機器３２１０および音響機器３２２０の出力情報を制御するための照明・映像機器３２１０および音響機器３２２０への入力情報が含まれる。また、当該演出制御情報には、ステップＳ５０５において使用される、仮想空間における演出効果を得るための照明・映像機器３２１０および音響機器３２２０の出力情報も含まれる。次にＶＲ制御システム２０００はステップＳ５０５に進む。
　ステップＳ５０５において、仮想空間生成部２１３２は、モデリング部２１３１によって現実空間構成要素がモデリングされた仮想空間構成要素に基づいて、仮想空間を生成する。仮想空間は３次元カラーコンピュータグラフィックスによって表現されることが可能である。仮想空間ではあらゆる位置および角度から仮想空間構成要素を表現することが可能である。そして、演出ＶＲ情報生成部２１３３は、仮想空間生成部２１３２によって生成された仮想空間に、演出制御情報生成部２１３４によって生成された照明・映像機器３２１０および音響機器３２２０の出力情報を反映させた演出ＶＲ情報を生成する。演出ＶＲ情報は、演出制御情報によって演出コンテンツ情報２１２３が仮想空間で表現された照明効果および音響効果を含む演出効果を示す情報であって、ユーザの視覚および聴覚で確認可能な視覚情報および音響情報である。ユーザは演出ＶＲ情報出力装置２２００によって、仮想空間における演出制御情報による演出効果を視覚および聴覚で確認することが可能である。次にＶＲ制御システム２０００はステップＳ５０６に進む。
　ステップＳ５０６において、ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的であるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的である場合（ステップＳ５０６：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５０７に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が否定的である場合（ステップＳ５０６：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１５に進む。
　ステップＳ５０７において、演出制御情報生成部２１３４は、街空間に演出コンテンツ情報２１２３を再現するように照明・映像機器３２１０および音響機器３２２０を制御するための演出制御情報を現実空間制御システム３０００に出力する。
　ステップＳ５０８において、現実空間制御部３１２０は、入力された演出制御情報に基づいて、照明・映像機器３２１０および音響機器３２２０の出力情報を制御する。次に、現実空間制御システム３０００はステップＳ５０９に進む。
　ステップＳ５０９において、機器動作監視部２１３６は、機器動作情報入力部２１１６から入力された照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを示す機器動作情報を入力する。そして、機器動作監視部２１３６は、機器が正常に動作しているか否かを判定する。または、現実空間制御部３１２０が、照明・映像機器動作情報、音響機器動作情報、モニタ機器動作情報から照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作しているか否かを判定する。照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作している場合（ステップＳ５０９：ＹＥＳ）には、演出制御システム１０００はステップＳ５１１に進む。照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００が正常に動作していない場合（ステップＳ５０９：ＮＯ）には、演出制御システム１０００はステップＳ５１０に進む。
　ステップＳ５１０において、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００を修正等し、照明・映像機器３２１０、音響機器３２２０、および、モニタ機器３３００を正常に動作させる。
　ステップＳ５１１において、モニタ機器３３００は、照明・映像機器３２１０および音響機器３２２０によって演出された現実空間である街空間の視覚情報および音響情報をモニタし、モニタ情報をＶＲ制御システム２０００に出力する。
　ステップＳ５１２において、ＶＲ制御システム２０００に接続された現実空間情報出力装置２３００が照明・映像機器３２１０および音響機器３２２０によって演出された現実空間である街空間の視覚情報および音響情報を出力する。
　ステップＳ５１３において、ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的であるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が肯定的である場合（ステップＳ５１３：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５１４に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が否定的である場合（ステップＳ５１３：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１５に進む。
　ステップＳ５１４において、演出制御システム１０００はステップＳ５１３において肯定的な評価がなされた演出コンテンツ情報２１２３および演出機器３２００に関する情報をユーザに表示装置を用いて提示する。表示装置は任意の装置を用いることができる。
　ステップＳ５１５において、ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものであるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものである場合（ステップＳ５１５：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５１７に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が演出コンテンツの入れ替えを指示するものではない場合（ステップＳ５１５：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５１６に進む。
　ステップＳ５１６において、ユーザ操作情報入力部２１１４によって入力された入力情報に基づいて、照明・映像機器３２１０および音響機器３２２０の出力情報の一部を変化させ演出制御情報を変化させる。変化した演出制御情報による演出効果を演出ＶＲ情報出力装置に出力する。演出制御情報生成部２１３４は、変化した演出制御情報に基づいて新たな演出コンテンツ情報２１２３を生成し、ＶＲ記憶部２１２０に記憶する。
　ステップＳ５１７において、ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものであるか否かを演出制御情報生成部２１３４が判定する。ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものである場合（ステップＳ５１７：ＹＥＳ）には、ＶＲ制御システム２０００はステップＳ５０２に進む。ユーザ操作情報入力部２１１４によって入力された入力情報が新たな演出機器３２００を必要とするものではない場合（ステップＳ５１７：ＮＯ）には、ＶＲ制御システム２０００はステップＳ５０３に進む。
　以上説明したように、ユーザは演出コンテンツ情報２１２３に基づいて生成された制御情報によって仮想空間で演出効果が反映された仮想現実を視聴し、街づくりやイベントに合致した演出コンテンツであるか否かを確認することができる。そして、ユーザの想定した演出コンテンツである場合には、リアルタイムで照明制御等を現実空間へ反映することができる。さらに、現実空間における演出効果と、仮想現実における演出効果を比較し、ユーザの想定した演出コンテンツであることが確認できた場合には、当該演出コンテンツおよび照明・映像機器等の機材をユーザに即座に提案することが可能となる。
　すなわち、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。
（変形例）
　図６に演出制御システム１０００ａの変形例の一例を示す。図６に示す演出制御システム１０００ａは、１つのＶＲ制御システム２０００ａと現実空間制御システム３０００ａ、現実空間制御システム３０００ｂ、現実空間制御システム３０００ｃを含む。なお、現実空間制御システム３０００の個数は任意の個数とすることができる。例えば、クラウド４０００に接続される現実空間制御システム３０００は一つであってもよい。現実空間制御システム３０００ａは街空間ａの照明・映像機器および音響機器を制御し、現実空間制御システム３０００ｂは街空間ｂの照明・映像機器および音響機器を制御する。現実空間制御システム３０００ｃは街空間ｃの照明・映像機器および音響機器を制御する。また、ＶＲ制御システム２０００ａと現実空間制御システム３０００ａ、現実空間制御システム３０００ｂ、現実空間制御システム３０００ｃとはクラウド４０００によって接続されているとする。
　１つのＶＲ制御システム２０００ａで複数の街空間または広大な街空間の仮想現実をシミュレートし、複数の街空間の照明・映像機器および音響機器を制御することは負荷が非常に重くなり、実行速度が現実的ではない場合が想定される。また、膨大な記憶容量が必要になる場合が想定される。
　そこで、上記問題を解決するために、ＶＲ制御システム２０００ａはＶＲ制御システム２０００のＶＲ記憶部２１２０の全部または一部の機能をクラウド４０００に持たせることができる。また、ＶＲ制御システム２０００ａはＶＲ制御システム２０００のＶＲ制御部２１３０の全部または一部の機能をクラウド４０００に持たせることができる。
　例えば、すべての街空間の現実空間構成要素情報２１２１を記憶するためには、膨大な記憶容量が必要になることが想定されるために、ＶＲ制御システム２０００ａではクラウド４０００に現実空間構成要素情報２１２１の全部または一部の情報を記憶する。
　また、例えば、街空間が広大な領域になった場合には、仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３の演算量は膨大なものとなる。そのために、ＶＲ制御システム２０００ａではクラウド４０００に仮想空間生成部２１３２、演出ＶＲ情報生成部２１３３の全部または一部の機能を代替させることができる。同様に、ＶＲ制御システム２０００ａではクラウド４０００に演出制御情報生成部２１３４の全部または一部の機能を代替させることができる。
　以上説明したように、ＶＲ制御システムと現実空間制御システムとの間にクラウドを存在させることによって、街空間のエリアが広大になった場合、街空間が複数になった場合等に、本実施形態の演出制御システムを導入することが可能になる。
　さらに、ＶＲ制御システムと現実空間制御システムとの間にクラウドを存在させることによって、ＶＲ制御システムを現実空間制御システムが配置されている地域とは別の遠隔の地域に配置することが可能になる。例えば、ＶＲ制御システムを現実空間制御システムが演出する街空間とは遠隔にあるオフィスビルに配置することで、人間が街空間とは異なる空間に居ながら、すべての作業を完結させることが可能になる。
　以下に、本実施形態の演出制御システム、および、演出制御プランを提示する方法の特徴について記載する。
　（１）　演出制御システム１０００は以下の構成を有することが好ましい。
　演出制御システム１０００はＶＲ制御システム２０００および現実空間制御システム３０００を含むことが好ましい。
　ＶＲ制御システム２０００は以下の構成を有することが好ましい。
（ｉ）　モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部２１３２を含むことが好ましい。
（ｉｉ）　現実空間に設置された演出機器３２００の出力情報を制御する演出制御情報によって、仮想空間および現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報２１２３を入力する演出コンテンツ情報入力部２１１３を含む。
（ｉｉｉ）　演出コンテンツ情報２１２３によって演出された仮想空間の状況を表現する演出ＶＲ情報を出力する演出ＶＲ情報出力装置２２００を含むことが好ましい。
（ｉｖ）　演出ＶＲ情報を生成するために使用される、演出機器３２００を制御するための演出制御情報を生成し、演出制御情報を出力する演出制御情報生成部２１３４を含むことが好ましい。
　現実空間制御システム３０００は以下の構成を有することが好ましい。
（ｖ）　演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出する現実空間制御部３１２０を含むことが好ましい。
（ｖｉ）　現実空間に設置された演出機器３２００を含むことが好ましい。
　本開示によれば、仮想現実における照明制御等をリアルタイムで現実空間へ反映することを簡易に可能にし、ユーザが現実空間の照明効果等を仮想現実と比較して確認することで、シミュレーションの良否を容易に判定することが可能となる。
　（２）　演出機器３２００は、照明・映像機器３２１０を含み、演出は照明・映像機器３２１０から放射される光によって実現されることが好ましい。
　本開示によれば、演出コンテンツ情報２１２３を、視覚的に街空間を演出する情報とすることが可能になる。
　（３）　照明・映像機器３２１０は複数あり、現実空間制御部３１２０は複数の照明・映像機器３２１０から照射される光を制御することが好ましい。
　本開示によれば、視覚的に街空間を演出するためにプロジェクションマッピングやイルミネーションによる景観を生成することが可能になる。
　（４）　演出機器３２００は、音響機器３２２０を含み、演出は照明・映像機器３２１０から放射される光および音響機器３２２０から放音される音響によって実現されることが好ましい。
　本開示によれば、視覚的に街空間を演出するばかりではなく、聴覚的にも街空間を演出することが可能になるので、演出を体感するユーザに効果的な演出コンテンツ情報２１２３を提供することが可能になる。
　（５）　演出制御情報生成部２１３４は、演出ＶＲ情報に対する肯定的な入力情報が入力されると演出制御情報を出力することが好ましい。
　本開示によれば、演出ＶＲ情報の視聴によって、仮想空間における演出効果が、ユーザが意図した街づくりやイベント等のコンセプトに合致しているとユーザが判断すれば、リアルタイムに演出制御情報を、現実空間を制御するために出力することが可能になる。
　（６）　演出制御システム１０００は以下の構成をさらに有することが好ましい。
　（ｖｉｉ）　現実空間制御システム３０００は、演出された現実空間をモニタしたモニタ情報を出力するモニタ機器３３００をさらに含むことが好ましい。
　（ｖｉｉｉ）　ＶＲ制御システム２０００は、モニタ情報を現実空間情報として出力する現実空間情報出力装置２３００をさらに含むことが好ましい。
　演出制御情報生成部２１３４は、現実空間情報と演出ＶＲ情報との差異に関連する新たな演出制御情報を生成することが好ましい。
　演出ＶＲ情報出力装置２２００は新たな演出制御情報に関連する新たな演出ＶＲ情報を出力することが好ましい。
　現実空間制御部３１２０は新たな演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出することが好ましい。
　本開示によれば、演出ＶＲ情報がユーザのコンセプトに合致していても、現実空間における演出効果が演出ＶＲ情報による演出効果とは異なり、ユーザのコンセプトに合致していない場合に、新たな演出ＶＲ情報を生成することが可能になる。さらに、本開示によれば、新たな演出ＶＲ情報に対応する演出制御情報によって、現実空間における演出効果をリアルタイムで確認することが可能になる。
　（７）　演出制御システム１０００は以下の構成をさらに有することが好ましい。
　（ｉｘ）　ＶＲ制御システム２０００は、現実空間情報と演出ＶＲ情報との差異に関連するユーザ操作情報が入力されるユーザ操作情報入力部２１１４をさらに含むことが好ましい。
　演出制御情報生成部２１３４は、ユーザ操作情報に関連する新たな演出制御情報を生成することが好ましい。
　本開示によれば、現実空間における演出効果が演出ＶＲ情報による演出効果とは異なり、ユーザのコンセプトに合致していない場合に、ユーザはＶＲ制御システム２０００においてユーザ操作情報を生成し、新たな演出制御情報を生成することが可能になる。
　（８）　モニタ機器３３００は、モニタ角度を変更可能であり、および、演出機器３２００が設置されている街空間において移動可能である。モニタ機器３３００は、ＶＲ制御システム２０００に含まれるユーザ操作情報入力部２１１４によって変更制御および移動制御されることが好ましい。
　本開示によれば、仮想空間における演出効果をさまざまな方向および位置から確認できるだけではなく、現実空間においても現実空間の演出効果をさまざまな方向および位置から確認することが可能になる。
　（９）　モニタ機器３３００および演出機器３２００は動作情報を出力し、現実空間制御システム３０００またはＶＲ制御システム２０００において、動作情報からモニタ機器３３００および演出機器３２００が正常に動作しているか否かを判定することが好ましい。
　本開示によれば、現実空間における演出効果が、ユーザが仮想空間において確認した演出効果と異なる場合に、モニタ機器３３００または演出機器３２００が正常に動作していないことに起因するか否かを確認することが可能になる。また、現実空間における演出が正常に継続されているか否かを確認することが可能になる。
　（１０）　演出制御システム１０００はＶＲ制御システム２０００と現実空間制御システム３０００との間にクラウド４０００を含む。クラウド４０００はＶＲ制御システム２０００および現実空間制御システム３０００の少なくとも一部の機能を実行することが好ましい。
　本開示によれば、ＶＲ制御システム２０００を現実空間制御システム３０００とは離れた遠隔の地に配置することが可能になり、ユーザは演出機器３２００が配置されている街空間に赴くことなく、シミュレーションとその結果を確認、修正することが可能になる。
　（１１）　クラウド４０００に接続される現実空間制御システム３０００は複数であることが好ましい。
　（１２）　クラウド４０００に接続される現実空間制御システムが制御する街空間は、クラウド４０００とは未接続の現実空間制御システム３０００が制御する街空間よりもエリアが広いことが好ましい。
　本開示によれば、クラウド４０００を配置することで、広大な街空間をＶＲ制御システム２０００で制御することが可能になり、広大な領域の街つくりを遠隔地において簡易にシミュレーションし、現実空間の演出効果を容易に確認することが可能になる。
　（１３）　ＶＲ制御システム２０００は、演出機器３２００が設置されている街空間から物理的に離れた遠隔の現実空間に設置されることが好ましい。
　本開示によれば、ＶＲ制御システム２０００を現実空間制御システム３０００とは離れた遠隔の地に配置することが可能になり、ユーザは演出機器３２００が配置されている街空間に赴くことなく、シミュレーションとその結果を確認、修正することが可能になる。
　（１４）　演出ＶＲ情報出力装置２２００は、ディスプレイ装置、ＨＭＤ装置のいずれかであることが好ましい。
　本開示によれば、演出ＶＲ情報はパソコンの画面で確認することが可能になり、特別な電子機器を用意することなく、仮想空間の演出効果を確認し、修正することが可能になる。また、演出ＶＲ情報はＨＭＤ装置で確認することが可能になり、ユーザはあたかも自分が現実の街空間にいるように感じながら、仮想空間の演出効果を確認し、修正することが可能になる。
　（１５）　演出ＶＲ情報出力装置２２００には、演出機器３２００の出力情報を変化させるための制御情報が出力されることが好ましい。ユーザ操作情報入力部２１１４から入力されるユーザ操作情報によって、制御情報が変化すると、演出機器３２００の変化した出力情報が反映された新たな演出ＶＲ情報が演出ＶＲ情報出力装置２２００に出力されることが好ましい。
　本開示によれば、演出機器３２００の出力情報を変化させるための制御情報が演出ＶＲ情報出力装置２２００に表示されるので、ユーザは容易に演出コンテンツ情報２１２３を変更することが可能になり、ユーザインターフェース機能を向上させることが可能になる。
　（１６）現実空間である街空間を演出するユーザに、演出制御システム１０００によって街空間を演出するための演出制御プランを提示する方法が開示される。
　演出制御プランを提示する方法は以下のステップを含む。
　（ｉ）第１のステップは、モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成するステップである。
　（ｉｉ）第２のステップは、現実空間に設置された演出機器３２００の出力情報を制御する演出制御情報によって、仮想空間および現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報２１２３を入力するステップである。
　（ｉｉｉ）第３のステップは、演出コンテンツ情報２１２３によって演出された仮想空間の状況を表現する演出ＶＲ情報を出力するステップである。
　（ｉｖ）第４のステップは、演出ＶＲ情報に対する肯定的な入力情報に対応して、演出ＶＲ情報を生成するために使用される、演出機器３２００を制御するための演出制御情報を出力するステップである。
　（ｖ）第５のステップは、演出制御情報に基づいて演出機器３２００を制御し、現実空間を演出するステップである。
　（ｖｉ）第６のステップは、演出された現実空間をモニタしたモニタ情報を出力するステップである。
　（ｖｉｉ）第７のステップは、モニタ情報に対する肯定的な入力情報に対応して、演出コンテンツ情報２１２３および演出機器３２００を含む演出制御プランを提示するステップである。
　本開示によれば、仮想現実における照明制御等をリアルタイムで現実空間へ反映することを簡易に可能にし、ユーザが現実空間の照明効果等を仮想現実と比較して確認することで、シミュレーションの良否を容易に判定することが可能となる。
　以上、本実施形態を説明したが、本実施形態はこれらに限定されるものではなく、本実施形態の要旨の範囲内で種々の変形が可能である。また、さまざまな実施形態の一部または全部を組み合わせて新たな実施形態とすることも可能である。
　特願２０１９－２１６２４２号（出願日：２０１９年１１月２９日）の全内容は、ここに援用される。
　本開示によれば、仮想現実における照明等の制御を事前検証し、リアルタイムで遠隔地にある現実空間へ当該制御を反映し、ユーザがモニタされた現実空間の照明効果等を仮想現実と比較してさらに事前検証し、演出コンテンツの良否を容易に判断できる。
　１０００　演出制御システム
　２０００　ＶＲ制御システム
　２１００　ＶＲ制御装置
　２１１０　ＶＲ入力部
　２１１１　現実空間構成要素情報入力部
　２１１２　演出機器情報入力部
　２１１３　演出コンテンツ情報入力部
　２１１４　ユーザ操作情報入力部
　２１１５　モニタ情報入力部
　２１１６　機器動作情報入力部
　２１２０　ＶＲ記憶部
　２１３０　ＶＲ制御部
　２１３１　モデリング部
　２１３２　仮想空間生成部
　２１３３　演出ＶＲ情報生成部
　２１３４　演出制御情報生成部
　２１３５　モニタ制御部
　２１３６　機器動作監視部
　２１４０　ＶＲ出力部
　２１４１　演出ＶＲ情報出力部
　２１４２　演出制御情報出力部
　２１４３　モニタ制御情報出力部
　２１４４　現実空間情報出力部
　２１４５　監視情報出力部
　２２００　演出ＶＲ情報出力装置
　２３００　現実空間情報出力装置
　２４００　監視情報出力装置
　３０００　現実空間制御システム
　３１００　現実空間制御装置
　３１１０　現実空間制御入力部
　３１１１　演出制御情報入力部
　３１１２　モニタ制御情報入力部
　３１２０　現実空間制御部
　３１３０　現実空間Ｉ／Ｆ部
　３１３１　照明・映像機器Ｉ／Ｆ部
　３１３２　音響機器Ｉ／Ｆ部
　３１３３　モニタ機器Ｉ／Ｆ部
　３１４０　現実空間出力部
　３１４１　モニタ情報出力部
　３１４２　機器動作情報出力部
　３２００　演出機器
　３２１０　照明・映像機器
　３２２０　音響機器
　３３００　モニタ機器

Claims (16)

  1. 　モデリングされた、現実空間の構成要素情報を使用して、仮想空間を生成する仮想空間生成部、
    　前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力する演出コンテンツ情報入力部、
    　前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）情報を出力する演出ＶＲ情報出力装置、および、
    　前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための前記演出制御情報を生成し、前記演出制御情報を出力する演出制御情報生成部、を含むＶＲ制御システム、並びに
    　前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する現実空間制御部、および、
    　前記現実空間に設置された前記演出機器、を含む現実空間制御システム、
    　を含む演出制御システム。
  2. 　前記演出機器は、照明機器および／または映像機器を含み、前記演出は前記照明機器および／または前記映像機器から放射される光によって実現される請求項１に記載の演出制御システム。
  3. 　前記照明機器または前記映像機器は複数あり、前記現実空間制御部は複数の前記照明機器または前記映像機器から照射される光を制御する請求項２に記載の演出制御システム。
  4. 　前記演出機器は、音響機器を含み、前記演出は前記照明機器および／または前記映像機器から放射される光および前記音響機器から放音される音響によって実現される請求項２または３に記載の演出制御システム。
  5. 　前記演出制御情報生成部は、前記演出ＶＲ情報に対する肯定的な入力情報が入力されると前記演出制御情報を出力する請求項１から請求項４のいずれか一項に記載の演出制御システム。
  6. 　前記現実空間制御システムは、演出された前記現実空間をモニタしたモニタ情報を出力するモニタ機器をさらに含み、
    　前記ＶＲ制御システムは、前記モニタ情報を現実空間情報として出力する現実空間情報出力装置をさらに含み、
    　前記演出制御情報生成部は、前記現実空間情報と前記演出ＶＲ情報との差異に関連する新たな演出制御情報を生成し、
    　前記演出ＶＲ情報出力装置は前記新たな演出制御情報に関連する新たな演出ＶＲ情報を出力し、
    　前記現実空間制御部は前記新たな演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出する請求項１から請求項５のいずれか一項に記載の演出制御システム。
  7. 　前記ＶＲ制御システムは、前記現実空間情報と前記演出ＶＲ情報との差異に関連するユーザ操作情報が入力されるユーザ操作情報入力部をさらに含み、
    　前記演出制御情報生成部は、前記ユーザ操作情報に基づいて、前記新たな演出制御情報を生成する請求項６に記載の演出制御システム。
  8. 　前記モニタ機器は、モニタ角度を変更可能であり、および、前記演出機器が設置されている街空間において移動可能であり、前記ＶＲ制御システムに含まれる前記ユーザ操作情報入力部によって変更制御および移動制御される請求項７に記載の演出制御システム。
  9. 　前記モニタ機器および前記演出機器は動作情報を出力し、前記現実空間制御システムまたは前記ＶＲ制御システムにおいて、前記動作情報から前記モニタ機器および前記演出機器が正常に動作しているか否かを判定する請求項６から請求項８のいずれか一項に記載の演出制御システム。
  10. 　前記演出制御システムは前記ＶＲ制御システムと前記現実空間制御システムとの間にクラウドを含み、前記クラウドは前記ＶＲ制御システムおよび前記現実空間制御システムの少なくとも一部の機能を実行する請求項１から請求項９のいずれか一項に記載の演出制御システム。
  11. 　前記クラウドに接続される前記現実空間制御システムは複数である請求項１０に記載の演出制御システム。
  12. 　前記クラウドに接続される前記現実空間制御システムが制御する街空間は、前記クラウドとは未接続の前記現実空間制御システムが制御する街空間よりもエリアが広い請求項１０に記載の演出制御システム。
  13. 　前記ＶＲ制御システムは、前記演出機器が設置されている街空間から物理的に離れた遠隔の現実空間に設置される請求項１から請求項１２のいずれか一項に記載の演出制御システム。
  14. 　前記演出ＶＲ情報出力装置は、ディスプレイ装置、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）装置のいずれかである請求項１から請求項１３のいずれか一項に記載の演出制御システム。
  15. 　前記演出ＶＲ情報出力装置には、前記演出機器の出力情報を変化させるための制御情報が出力され、前記ユーザ操作情報入力部から入力されるユーザ操作情報によって、前記制御情報が変化すると、前記演出機器の変化した出力情報が反映された新たな演出ＶＲ情報が前記演出ＶＲ情報出力装置に出力される請求項７に記載の演出制御システム。
  16. 　現実空間である街空間を演出するユーザに、演出制御システムによって前記街空間を演出するための演出制御プランを提示する方法であって、
    　モデリングされた、前記現実空間の構成要素情報を使用して、仮想空間を生成するステップ、
    　前記現実空間に設置された演出機器の出力情報を制御する演出制御情報によって、前記仮想空間および前記現実空間を演出するためのイメージおよび／またはサウンドを示す演出コンテンツ情報を入力するステップ、
    　前記演出コンテンツ情報によって演出された前記仮想空間の状況を表現する演出ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）情報を出力するステップ、
    　前記演出ＶＲ情報に対する肯定的な入力情報に対応して、前記演出ＶＲ情報を生成するために使用される、前記演出機器を制御するための前記演出制御情報を出力するステップ、
    　前記演出制御情報に基づいて前記演出機器を制御し、前記現実空間を演出するステップ、
    　演出された前記現実空間をモニタしたモニタ情報を出力するステップ、
    　前記モニタ情報に対する肯定的な入力情報に対応して、前記演出コンテンツ情報および前記演出機器を含む演出制御プランを提示するステップを含む演出制御プランを提示する方法。
PCT/JP2020/043426 2019-11-29 2020-11-20 演出制御システム、および、演出制御プランを提示する方法 WO2021106790A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-216242 2019-11-29
JP2019216242A JP7437674B2 (ja) 2019-11-29 2019-11-29 演出制御システム、および、演出制御プランを提示する方法

Publications (1)

Publication Number Publication Date
WO2021106790A1 true WO2021106790A1 (ja) 2021-06-03

Family

ID=76087861

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043426 WO2021106790A1 (ja) 2019-11-29 2020-11-20 演出制御システム、および、演出制御プランを提示する方法

Country Status (2)

Country Link
JP (1) JP7437674B2 (ja)
WO (1) WO2021106790A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122374A (ja) * 2001-10-17 2003-04-25 Nippon Hoso Kyokai <Nhk> サラウンド音響生成方法、その装置およびそのプログラム
JP2018005115A (ja) * 2016-07-07 2018-01-11 パナソニックＩｐマネジメント株式会社 投写画像調整システム及び投写画像調整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003122374A (ja) * 2001-10-17 2003-04-25 Nippon Hoso Kyokai <Nhk> サラウンド音響生成方法、その装置およびそのプログラム
JP2018005115A (ja) * 2016-07-07 2018-01-11 パナソニックＩｐマネジメント株式会社 投写画像調整システム及び投写画像調整方法

Also Published As

Publication number Publication date
JP2021086478A (ja) 2021-06-03
JP7437674B2 (ja) 2024-02-26

Similar Documents

Publication Publication Date Title
JP6454949B2 (ja) 情報作成方法、記録媒体、情報作成装置、情報作成システム
US9916686B1 (en) Interactive rendering of building information model data
US20240070740A1 (en) Lighting and internet of things design using augmented reality
US20170124770A1 (en) Self-demonstrating object features and/or operations in interactive 3d-model of real object for understanding object&#39;s functionality
Kirner et al. Virtual reality and augmented reality applied to simulation visualization
Barakonyi et al. Agents that talk and hit back: Animated agents in augmented reality
US20140176607A1 (en) Simulation system for mixed reality content
CN106652625A (zh) 交互式虚拟现实消防训练系统
WO2001007133A9 (en) Virtual staging apparatus and method
WO2012134795A2 (en) Immersive training environment
CN116847508B (zh) 基于场景融合的仿真立体地图的智慧照明控制方法及系统
CN114035682A (zh) 一种裸眼3d可交互沉浸式虚拟现实cave系统
CN103455299B (zh) 大型墙面立体投影的方法
CN116071531A (zh) 基于数字孪生的元宇宙展示方法、装置、设备及介质
WO2021106790A1 (ja) 演出制御システム、および、演出制御プランを提示する方法
Park et al. NAVER: Networked and Augmented Virtual Environment aRchitecture; design and implementation of VR framework for Gyeongju VR Theater
WO2020164807A1 (en) Led lighting simulation system
Empler Cultural heritage: displaying the forum of Nerva with new technologies
US11733772B2 (en) Viewing a virtual world through a virtual window
US11989232B2 (en) Generating realistic representations of locations by emulating audio for images based on contextual information
JP2010152870A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102605956B1 (ko) 3차원게임엔진을 기반으로 한 공연미디어 콘텐츠 제공시스템
KR101827203B1 (ko) 고속 다중공연자 위치기반 실시간 인터랙티브 영상효과 제공시스템
KR102609850B1 (ko) 가상 현실 기반의 오디오 및 비주얼 컨텐츠 제작 및전시 시스템
CN206023911U (zh) 虚拟现实系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20892892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20892892

Country of ref document: EP

Kind code of ref document: A1