WO2019102886A1 - 演出制御システム、制御装置、および無線通信端末 - Google Patents

演出制御システム、制御装置、および無線通信端末 Download PDF

Info

Publication number
WO2019102886A1
WO2019102886A1 PCT/JP2018/041814 JP2018041814W WO2019102886A1 WO 2019102886 A1 WO2019102886 A1 WO 2019102886A1 JP 2018041814 W JP2018041814 W JP 2018041814W WO 2019102886 A1 WO2019102886 A1 WO 2019102886A1
Authority
WO
WIPO (PCT)
Prior art keywords
wireless communication
control command
control
communication terminal
unit
Prior art date
Application number
PCT/JP2018/041814
Other languages
English (en)
French (fr)
Inventor
純一 森田
亨宗 白方
高橋 洋
和磨 西保
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2019102886A1 publication Critical patent/WO2019102886A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Definitions

  • the present disclosure relates to an effect control system, a control device, and a wireless communication terminal.
  • the hall effect is, for example, that the spectator possesses a light emitting device such as a wireless light compatible pen light or a brethle, and the control device controls the lighting or extinguishing of each light emitting device to produce the entire hall.
  • the control device performs, for example, character display or color change effect, with the entire or a part of the area where the light emitting devices are arranged (the area where the spectators are arranged) as the effect area.
  • Such effects place effect, light emission pattern
  • collective effects may be hereinafter referred to as collective effects.
  • Patent Document 1 discloses a system for performing collective effects even at remote spots other than the main venue such as a stadium or a hall, for example, a public viewing venue.
  • Patent Document 1 a smartphone is assumed as the light emitting device, and the effect at the remote spot follows the content previously downloaded to the smartphone.
  • the user specifies a concert that he / she wants to participate in the effect, and downloads the specified content from the server to the smartphone.
  • the smartphone performs an effect based on the downloaded content. Therefore, in Patent Document 1, it takes time and effort to prepare for the effect, and it is difficult to promptly cope with the change of the effect content.
  • the non-limiting examples of the present disclosure contribute to the provision of technology that can easily participate in directing the main venue, even at remote spots.
  • An effect control system includes a control device that generates a control command, a receiving circuit that receives the control command that the control device transmits by wireless communication, and light emission based on the received control command.
  • a first wireless device having a first light emitting module, a photographing device for photographing an effect by light emission of the first light emitting module, and transmitting a video signal of the effect to the control device;
  • a wireless communication terminal that performs wireless communication with the control device, and a second wireless device that has a second light emitting module that emits light based on the control command and that performs wireless communication with the wireless communication terminal
  • the control device transmits the video signal and the control command to the wireless communication terminal, and the wireless communication terminal receives the video signal from the control device and the control signal. It receives the command, and displays video based on the video signal to the display device transmits the control command to the second wireless device by wireless communication.
  • FIG. 1 is a diagram showing an example of a system configuration of an effect control system 100 according to an embodiment of the present disclosure.
  • the effect control system 100 includes a control device 10, an access point 20, a plurality of cameras 30 (cameras 30-1 to 30-N), and a plurality of slaves 40 (a slave 40-). 1 to handset 40-N), a wireless communication terminal 50, and a plurality of remote handsets 60 (remote handsets 60-1 to 60-N).
  • a plurality of access points may exist.
  • the control device 10, the access point 20, the camera 30, and the child device 40 are disposed, for example, in a facility such as a stadium or a hall where an event such as a concert is performed. Below, the place where the event takes place may be called the main venue.
  • the wireless communication terminal 50 and the remote child device 60 are disposed at a facility distant from the main venue.
  • the wireless communication terminal 50 and the remote cordless handset 60 are arranged in a public viewing hall other than the main hall.
  • the facility away from the main hall may be called a remote spot.
  • the control device 10 controls the entire effect control system 100.
  • the control device 10 may be, for example, a PC (Personal Computer).
  • the control device 10 is connected to the access point 20 via, for example, a wireless or wired LAN (Local Area Network).
  • the control device 10 is connected to the camera 30 by wired communication or wireless communication. Further, the control device 10 is connected to the wireless communication terminal 50 via the network 70.
  • the network 70 includes, for example, a wireless communication network such as LTE (Long Term Evolution) and the Internet.
  • LTE Long Term Evolution
  • the control device 10 and the wireless communication terminal 50 communicate via the network 70.
  • the slave unit 40 is, for example, a penlight or a bracelet having a wireless communication function, and is carried by a spectator in the main hall.
  • the slave unit 40 turns on / off the light, changes the color of the light to be turned on, or changes the lightness of the light, for example, under the control of the control device 10.
  • the camera 30 is installed in the main hall and captures an image of an event including a group effect by the child device 40.
  • the wireless communication terminal 50 is, for example, a smartphone and is carried by a spectator at a remote spot.
  • the remote cordless handset 60 is, for example, a pen light or a blur thread having a wireless communication function, and is carried by a spectator at a remote spot.
  • the remote child device 60 turns on / off the light, changes the color of the light to be turned on, or changes the lightness of the light, for example, under the control of the control device 10.
  • the control device 10 controls the light emission of the child device 40 to produce a spectator seat at the main venue.
  • the control device 10 changes the color of the light of the handset 40 to change the color of the spectator seat that is the effect area, or controls the lighting and extinguishing of the light of the handset 40 to display characters on the spectator seat Do.
  • the camera 30 captures an image of an event including a group effect by the slave device 40 in the main venue, and transmits the captured video signal to the control device 10.
  • the control device 10 transmits the video signal of the camera 30 to the wireless communication terminal 50 of the remote spot via the network 70.
  • the state of the event including the group effect by the slave device 40 of the main venue is displayed.
  • the user of the wireless communication terminal 50 uses the wireless communication terminal 50 to designate a location in the main hall where the camera 30 shoots. That is, on the display of the wireless communication terminal 50, the state of the event designated by the user and changing according to the position in the main hall is displayed.
  • the control device 10 controls the remote child device 60 via the wireless communication terminal 50 so as to perform the same set effect as the child device 40 of the main venue.
  • the wireless communication terminal 50 controls the collective effect of the handsets 40 displayed on the display of the wireless communication terminal 50 and the collective effect of the remote handsets 60 in synchronization.
  • the spectators at remote spots can be united with the spectators at the main venue, and can enjoy the events being held at the main venue more.
  • FIG. 2 is a diagram showing an example of a block configuration of the effect control system 100. As shown in FIG. In FIG. 2, the same components as those in FIG. 1 are denoted by the same reference numerals. As shown in FIG. 2, the control device 10 includes a storage unit 11, a communication unit 12, an external communication unit 13, and a control unit 14.
  • the storage unit 11 is a storage device that stores various data.
  • the storage unit 11 is configured to include, for example, a hard disk drive (HDD) and a memory card.
  • HDD hard disk drive
  • the storage unit 11 stores effect information.
  • the presentation information is information for collective presentation in the main hall and in the remote spot by the handset 40 and the remote handset 60.
  • the control unit 14 controls the light emission of the slave unit 40 of the main venue and the remote slave unit 60 of the remote spot based on the effect information stored in the storage unit 11.
  • the communication unit 12 is, for example, a communication interface of a wired LAN.
  • the communication unit 12 performs, for example, transmission processing of a signal to be transmitted to the access point 20 and reception processing of a signal received from the access point 20.
  • the communication unit 12 may be a communication interface of a wireless LAN.
  • the external communication unit 13 is a communication interface connectable to the Internet.
  • the external communication unit 13 performs, for example, transmission processing of a signal to be transmitted to the wireless communication terminal 50 and reception processing of a signal received from the wireless communication terminal 50.
  • the control unit 14 inputs / outputs data to / from the storage unit 11. Also, the control unit 14 communicates with the child device 40 via the communication unit 12. In addition, the control unit 14 communicates with the wireless communication terminal 50 via the external communication unit 13.
  • the control unit 14 includes an effect control unit 141, a connection control unit 142, a map control unit 143, a time stamp giving unit 144, and a camera control unit 145.
  • the effect control unit 141 determines the light emission state of each child device 40 based on the effect information stored in the storage unit 11 and the position information of the child device 40.
  • the effect control unit 141 generates a control command for controlling the light emission of the child device 40 so that the child device 40 emits light in accordance with the determined light emission state. That is, the effect control unit 141 generates a control command such that the child device 40 performs a group effect according to the effect information stored in the storage unit 11.
  • the effect control unit 141 transmits the generated control command to the child device 40 via the communication unit 12.
  • connection control unit 142 performs processing related to connection and disconnection with the wireless communication terminal 50.
  • the connection control unit 142 also performs communication control processing between the control device 10 and the wireless communication terminal 50.
  • the map control unit 143 generates map information in the main venue, which includes, for example, positional information of audience seats in the main venue and positional information of the camera 30 installed in the main venue.
  • the map control unit 143 transmits the generated map information to the wireless communication terminal 50.
  • the map information to be created indicates the position of the camera 30 and the handset 40 present in the main hall. For this reason, the map information is changed according to the type of the main hall, and in the hall where the camera 30 and the handset 40 can move, the map information is information that changes with the passage of time. For example, in the case of a hall where there is no installation of a spectator seat, it may be information clearly indicating the position of the child device based on the position information of the child device 40.
  • the wireless communication terminal 50 displays the camera position in the main hall and the audience seat on the display based on the map information transmitted from the map control unit 143.
  • FIG. 3 is a diagram showing an example of a map screen displayed on the display of the wireless communication terminal 50.
  • the wireless communication terminal 50 displays the map in the main hall as shown in FIG. 3 on the display based on the map information transmitted from the map control unit 143. For example, on the display of the wireless communication terminal 50, the stage A1 of the main hall, the seat list A2 of the spectators who carry the handset 40, and the camera 30 are displayed.
  • the wireless communication terminal 50 receives from the user the position of the main hall to be displayed on the display.
  • the wireless communication terminal 50 transmits the position information of the position of the main venue received from the user to the map control unit 143 of the control device 10 via the network 70.
  • the wireless communication terminal 50 receives the position of the camera 30 and the position of the spectator seat shown in FIG. 3 from the user.
  • the wireless communication terminal 50 transmits the information (positional information) accepted from the user to the map control unit 143 of the control device 10 via the network 70.
  • the wireless communication terminal 50 on the display of the wireless communication terminal 50, an image according to the position in the main hall that the user wants to see is displayed.
  • the time stamp adding unit 144 adds a time stamp to the control command transmitted to the wireless communication terminal 50.
  • the camera control unit 145 receives the video signal output from the camera 30.
  • the camera control unit 145 performs predetermined signal processing on the received video signal, and transmits the signal to the wireless communication terminal 50.
  • the camera control unit 145 designates the camera 30 that captures the collective effect based on the position information transmitted from the wireless communication terminal 50.
  • the access point 20 is connected to the control device 10 via a wired LAN network.
  • the access point 20 communicates with the handset 40 by wireless communication in the 920 MHz band, for example.
  • the camera 30 shoots the inside of the main hall, and transmits the photographed video (moving image) to the control device 10 by a wired or wireless network.
  • the slave unit 40 communicates with the control device 10 via the access point 20.
  • the slave unit 40 has a light emitting device and a light emission control unit (not shown).
  • the light emitting device has at least one light emitting diode (LED) light.
  • the light emitting device is, for example, a device capable of lighting, extinguishing, changing the color of light to be lit, and changing the lightness of the light to be lit.
  • the light emission control unit controls turning on / off of the light emitting device, change of color of light to be lit, and change of lightness of light to be lit based on a control command transmitted from the control device 10.
  • Each slave unit 40 has the same configuration.
  • the wireless communication terminal 50 is connected to a remote slave device 60 that does not have a communication interface to a public network, for example, via a BLE (Bluetooth (registered trademark) Low Energy) network. Also, the wireless communication terminal 50 communicates with the control device 10 via, for example, the LTE network, and receives from the control device 10 a control command for controlling the remote slave 60 and an image captured by the camera 30. The wireless communication terminal 50 transmits the control command transmitted from the control device 10 to the remote child device 60 by BLE.
  • BLE Bluetooth (registered trademark) Low Energy
  • Communication between the wireless communication terminal 50 and the remote slave 60 is not limited to BLE.
  • the wireless communication terminal 50 only needs to be able to communicate with the remote child device 60 by some proximity wireless communication.
  • wireless communication between the wireless communication terminal 50 and the control device 10 is not limited to LTE.
  • the wireless communication between the wireless communication terminal 50 and the control device 10 may use, for example, a wireless public network such as WiMAX (registered trademark) or WiFi (registered trademark).
  • the wireless communication terminal 50 includes a wireless communication unit 51, a display 52, an external communication unit 53, and a control unit 54.
  • the wireless communication unit 51 is a close proximity wireless communication interface.
  • the wireless communication unit 51 is, for example, a communication interface of BLE.
  • the wireless communication unit 51 performs, for example, transmission processing of a signal to be transmitted to the remote slave 60 and reception processing of a signal received from the remote slave 60.
  • the display 52 is a display device that the wireless communication terminal 50 has.
  • the display 52 displays a map in the main venue transmitted from the control device 10 and an image including a collective effect in the main venue transmitted from the control device 10.
  • the wireless communication terminal 50 may display an image on an external display connected by wireless connection or wire connection.
  • the external communication unit 53 is, for example, a communication interface of LTE.
  • the external communication unit 53 performs, for example, transmission processing of a signal to be transmitted to the control device 10 and reception processing of a signal received from the control device 10.
  • the control unit 54 communicates with the control device 10 via the external communication unit 53. Further, the control unit 54 communicates with the remote child device 60 via the wireless communication unit 51.
  • the control unit 54 includes an effect control unit 541, a connection control unit 542, an effect position selection unit 543, an image control unit 544, a control command storage unit 545, a control command setting unit 546, and a synchronization control unit 547. have.
  • the effect control unit 541 transmits a control command to the remote child device 60 at the time set by the control command setting unit 546.
  • the effect control unit 541 transmits one control command at one time.
  • the control unit 54 can control each remote slave 60 under control.
  • the effect control unit 541 may transmit N control commands at one time (it is possible to transmit another control command to each of the remote child devices 60 sequentially by unicast).
  • connection control unit 542 performs processing related to connection and disconnection of communication with the control device 10.
  • the connection control unit 542 also performs communication control processing between the control device 10 and the wireless communication terminal 50.
  • the display 52 displays the map in the main hall based on the map information transmitted from the control device 10. From the map displayed on the display 52, the user selects a position in the main hall to be displayed on the display 52. Note that the user's selection may be performed by a touch display in which the display 52 doubles as an input unit.
  • the effect position selection unit 543 transmits the position information of the main venue selected by the user to the control device 10 via the network 70.
  • the video control unit 544 decodes the video signal transmitted from the control device 10.
  • the video control unit 544 displays the decoded video signal on the display 52.
  • the control command storage unit 545 stores (stores) a control command for controlling the remote slave 60 transmitted from the control device 10.
  • the control command storage unit 545 includes, for example, a storage device of a memory.
  • FIG. 4 is a diagram showing an example of control commands stored in the control command storage unit 545. As shown in FIG. As shown in FIG. 4, in the control command storage unit 545, the control command transmitted from the control device 10 and the time stamp given to the control command by the control device 10 are associated one on one and stored. Ru.
  • the time stamp indicates the time at which the corresponding control command was transmitted to the slave 40.
  • cmd2 indicates that cmd1 is transmitted to the slave 40 and then transmitted to the slave 40 after 120 ms has elapsed.
  • the time stamp is rewritten to the time stamp of the wireless communication terminal 50 by the control command setting unit 546 described below.
  • the control command setting unit 546 performs time setting processing of the control command to be transmitted to the remote child device 60 based on the synchronization processing of the video and the control command, which is executed by the synchronization control unit 547. For example, the control command setting unit 546 rewrites the time stamp so that the control command stored in the control command storage unit 545 is synchronized with the video including the group presentation of the main venue displayed on the display 52.
  • FIG. 5 is a diagram showing an example of a control command after the time setting process by the control command setting unit 546.
  • the control command shown in FIG. 5 has the time stamp rewritten with respect to the control command shown in FIG.
  • the control command setting unit 546 rewrites the time stamp attached to the control command under the control of the synchronization control unit 547 described below.
  • the control command setting unit 546 stores, for example, the rewritten time stamp and the control command in a storage device including a memory.
  • the effect control unit 541 transmits, for example, the control command shown in FIG. 5 to the remote child device 60 at the time of the corresponding transmission time stamp.
  • the synchronization control unit 547 synchronizes the video of the main venue controlled by the video control unit 544 with the control command transmitted to the remote child device 60. That is, the synchronization control unit 547 performs processing for synchronizing the collective effect of the main venue displayed on the display 52 with the collective effect by the remote child device 60. Specific processing will be described later.
  • the remote child device 60-1 communicates with the wireless communication terminal 50 by, for example, BLE.
  • the remote child device 60-1 includes a wireless communication unit 61, a connection control unit 62, a light emitting device 63, and a light emission control unit 64.
  • the wireless communication unit 61 is, for example, a wireless communication interface of BLE.
  • the wireless communication unit 61 performs, for example, connection processing with the wireless communication terminal 50, transmission processing of a signal to be transmitted to the wireless communication terminal 50, and reception processing of a signal received from the wireless communication terminal 50.
  • the wireless communication unit 61 receives a control command from the wireless communication terminal 50.
  • connection control unit 62 performs connection processing for wireless communication with the wireless communication terminal 50.
  • the light emitting device 63 comprises at least one LED light.
  • the light emitting device 63 is, for example, a device that performs lighting, extinguishing, changing the color of light to be lit, and changing the brightness of the light to be lit.
  • the light emission control unit 64 receives a control command from the wireless communication terminal 50 via the wireless communication unit 61.
  • the light emission control unit 64 controls the lighting of the light emitting device 63, the change of the color of the light to be lit, and the change of the brightness of the light to be lit based on the received control command.
  • the remote cordless handset 60-2 to the remote cordless handset 60-N have the same configuration as the remote cordless handset 60-1, and the description thereof will be omitted.
  • FIG. 6 is a diagram showing an example of a process flow of the control device 10.
  • the camera control unit 145 receives a video signal from the camera 30 (S201).
  • the effect control unit 141 acquires the effect information from the storage unit 11, and controls the child device 40 based on the acquired effect information (S202). That is, the effect control unit 141 controls the child device 40 so as to perform collective effect according to the effect information stored in the storage unit 11.
  • control unit 14 confirms whether a terminal command has been received from the wireless communication terminal 50 (S203).
  • the control unit 14 continues the collective effect in S202 (waits for the terminal command and continues the collective effect).
  • the terminal command is a command that the wireless communication terminal 50 transmits to the control device 10, for example, a "connection notification” used when the wireless communication terminal 50 participates in the collective effect, within the venue selected by the user
  • the “position information notification” indicating the position of “the disconnection notification” used when the wireless communication terminal 50 leaves the collective effect is included.
  • the control unit 14 determines the command type of the received terminal command (S204).
  • connection control unit 142 determines whether or not to accept the connection by the wireless communication terminal 50 (illustration of the determination process is omitted), and the wireless communication terminal 50 If the connection is accepted, a normal response is returned (S205).
  • the connection control unit 142 determines, for example, whether or not the remote child device 60 capable of participating in the presentation at the main venue based on the information (for example, the device ID) of the remote child device 60 notified by the wireless communication terminal 50 Do.
  • the map control unit 143 creates map information of the main venue based on the position information of the slave unit 40 and the camera 30 (S206). For example, the map control unit 143 creates map information of the main venue as shown in FIG.
  • the map control unit 143 transmits the generated map information to the wireless communication terminal 50 via the network 70 (S207).
  • the map control unit 143 shifts the processing to S204.
  • the camera control unit 145 is a camera that captures an image to be transmitted to the wireless communication terminal 50 based on the position information transmitted from the wireless communication terminal 50. 30 is specified (S208).
  • the camera control unit 145 transmits the video shot by the designated camera 30 to the wireless communication terminal 50 (S209).
  • the time stamp giving unit 144 gives a time stamp to the control command for controlling the light emission state of the slave 40 existing at or near the location of the position information received from the wireless communication terminal 50.
  • the effect control unit 141 transmits the control command to which the time stamp is attached to the wireless communication terminal 50 via the network 70 (S210). That is, the effect control unit 141 also transmits the control command transmitted to the slave 40 at the position selected by the user to the wireless communication terminal 50.
  • the timestamping will be described in detail below.
  • control unit 14 determines whether a terminal command has been received from the wireless communication terminal 50 (S211). If the control unit 14 has not received the terminal command, the control unit 14 shifts the processing to S209. On the other hand, when receiving the terminal command, the control unit 14 shifts the processing to S204.
  • the effect control unit 141 stops transmission of the control command to the wireless communication terminal 50 (S212).
  • the camera control unit 145 stops transmission of the camera image to the wireless communication terminal 50 (S213).
  • control unit 14 transmits a disconnection response to the wireless communication terminal 50, and ends the flow (S214).
  • FIG. 7 is a diagram showing an example of a process flow of the wireless communication terminal 50.
  • the wireless communication terminal 50 performs wireless communication with the remote child device 60 by BLE.
  • the wireless communication unit 51 connects to the remote child device 60 based on the connection method of BLE (S301). At this time, the wireless communication unit 51 receives an ID (for example, a device ID) for identifying the remote child device 60 from the remote child device 60.
  • an ID for example, a device ID
  • connection control unit 542 notifies the control device 10 of the connection with the remote child device 60 via the network 70, and receives the response (S302).
  • the control unit 54 transmits the ID of the remote child device 60 to the control device 10.
  • the effect position selection unit 543 receives map information of the main venue from the control device 10 (S303).
  • the presentation position selection unit 543 receives from the user the position of the main hall to be displayed on the display 52, and transmits position information of the received position to the control device 10 (S304).
  • the effect position selection unit 543 displays the map in the main hall (for example, see FIG. 3) on the display 52 based on the map information received in S303.
  • the presentation position selection unit 543 receives the position of the main venue to be displayed on the display 52 from the map in the main venue displayed on the display. Then, the effect position selection unit 543 transmits the position information of the received position to the control device 10 via the network 70.
  • the control unit 54 determines whether an event has been received (S305).
  • the events here are, for example, timer notification, user operation, and data reception from a timer (not shown in FIG. 2) included in the wireless communication terminal 50.
  • Data reception includes, for example, control commands (see S210 in FIG. 6) and video (see S209 in FIG. 6) transmitted from the control device 10.
  • control command storage unit 545 stores the control command transmitted from the control device 10 (S306). After accumulating the control command, the control command accumulation unit 545 shifts the processing to S305.
  • the video control unit 544 decodes the video transmitted from the control device 10 (S307).
  • the synchronization control unit 547 determines whether a control command is stored in the control command storage unit 545 (S308).
  • a time stamp generated by the wireless communication terminal 50 (hereinafter, may be referred to as a terminal time stamp) And the time stamp attached to the stored control command (for example, see FIG. 4) and the time stamp attached to the video transmitted from the control device 10, The time to transmit to the device 60 is calculated (calculation of the transmission time will be described in detail below).
  • the synchronization control unit 547 outputs the calculated time to the command setting unit 546 (S309).
  • the command setting unit 546 rewrites the time stamp given to the stored control command (see, for example, FIG. 4) based on the transmission time calculated by the synchronization control unit 547 (see, for example, FIG. 5). Further, the command setting unit 546 deletes the control command stored in the control command storage unit 545 and for which the time stamp has been rewritten.
  • the video control unit 544 displays the video transmitted from the control device 10 on the display 52 (S310). Even when it is determined that the control command is not stored in the control command storage unit 545 (S308: NO), the video control unit 544 displays the video transmitted from the control device 10 on the display 52 (S310). The video control unit 544 shifts the processing to S305.
  • the effect control unit 541 transmits a control command having the same time stamp as the terminal time stamp generated by the wireless communication terminal 50 to the remote child device 60 ( S311). The effect control unit 541 shifts the processing to S305.
  • the effect position selection unit 543 determines the operation type of the user (S312).
  • the effect position selection unit 543 transmits the position information of the position of the main venue selected by the user to the control device 10 (S313). Then, the effect position selection unit 543 shifts the processing to S305.
  • the effect position selection unit 543 transmits a disconnection notification to the control device 10, receives a response to the disconnection notification, and ends the processing flow ( S314).
  • FIG. 8 is a diagram for explaining an example of synchronization processing of the wireless communication terminal 50. As shown in FIG. The variables shown in FIG. 8 are as follows.
  • the synchronization process is based on the difference in the wireless communication environment between the interval (C0) for controlling the slave unit 40 of the control device 10 and the interval (C1) for controlling the remote slave unit 60 of the wireless communication terminal 50. It is a process performed to suppress the resulting difference.
  • Control command transmission interval to slave unit 40 of control device 10 C1: Control command transmission interval to remote slave unit 60 of wireless communication terminal 50
  • L0 Control command transmission from slave unit 40 of control unit 10 to control thereof Time to turn on / off of handset 40 by command
  • C0 and C1 are different, and C0 ⁇ C1 (C1 has a longer transmission interval than C0). Further, in the example of FIG. 8, the variables are set as follows.
  • Control interval C0 of slave unit 40 120 ms (8.33 fps) Frame interval of camera 30: 20 ms (50 fps) Video frame transmission interval: 60 ms (16.67 fps) Control interval C of the remote handset 60: 1: 140 ms (7.14 fps) Time L1 for turning on and off the remote handset 60: 20 ms
  • the slave unit control interval 702 in FIG. 8 indicates the transmission interval to the slave unit 40 of the control command. Black circles and black triangles shown in the slave control interval 702 indicate control commands of the slave 40.
  • the effect control unit 141 transmits a control command to the child device 40 at an interval “C0” (shaded portion of the child device control interval 702) shown in the child device control interval 702.
  • the handset lighting state 701 indicates the lighting state of the handset 40.
  • the handset 40 emits light according to the control command of the black circle during the black circle shown in the handset lighting state 701.
  • the handset 40 emits light in accordance with the control command of the black triangle during the black triangle shown in the handset lighting state 701.
  • light emission is performed according to the control command after “L0” after the effect control unit 141 transmits the control command (a delay occurs) .
  • the camera image 703 indicates the reception of the image (image signal) output from the camera 30 by the camera control unit 145. As shown in the camera image 703, the camera control unit 145 receives the image of the light emission state according to the control command with a delay of “D”. Note that “30000” and “30120” shown in the camera image 703 indicate a time stamp (hereinafter sometimes referred to as a “image time stamp”) added to the image frame received by the camera control unit 145.
  • a time stamp hereinafter sometimes referred to as a “image time stamp”
  • the effect control unit 141 transmits the control command transmitted to the slave device 40 to the wireless communication terminal 50, the effect control unit 141 can add a video time stamp to be added to the video frame.
  • the effect control unit 141 determines that the video time stamp “30000” is given to the video frame of the slave device 40 corresponding to the black circle control command. it can. Further, when the control command of black triangle is transmitted to the slave device 40, the effect control unit 141 adds a video time stamp "30120" to the video frame of the slave device 40 corresponding to the control command of black triangle. It can be determined that Therefore, the effect control unit 141 can transmit the control command of the black circle to which the time stamp “30000” is added to the wireless communication terminal 50. In addition, the effect control unit 141 can transmit the control command of the black triangle to which the time stamp “30120” is added to the wireless communication terminal 50. That is, the effect control unit 141 transmits, to the wireless communication terminal 50, the control command to which the time stamp obtained by adding “D” is added.
  • the video encoding + transmission 704 indicates transmission of video encoding to be transmitted to the wireless communication terminal 50.
  • the camera control unit 145 encodes the video captured by the camera 30 and transmits the encoded video to the wireless communication terminal 50.
  • Command accumulation 705 indicates accumulation of control commands transmitted from the control device 10. For example, as shown in command storage 705, control command storage unit 545 stores a black circle control command to which time stamp "30000” is added and a black triangle control command to which time stamp "30120” is added. .
  • the video reception 706 indicates the reception of the video (video encoding + transmission 704) transmitted from the control device 10.
  • the terminal time stamp shown in the video reception 706 indicates a time stamp generated by the wireless communication terminal 50.
  • the video time stamp shown in the video reception 706 indicates the time stamp added to the video transmitted from the control device 10.
  • Video decoding reproduction 707 shows reproduction (decoding) on the display 52 of the video transmitted from the control device 10.
  • the black circles in the video decode reproduction 707 indicate that the video of the slave unit 40 in the main hall where light is emitted is being reproduced on the display 52 based on the control commands of the black circles.
  • the black triangles of the video decode reproduction 707 indicate that the video of the slave unit 40 of the main hall where light emission is performed is being reproduced on the display 52 based on the control command of the black triangle.
  • the remote handset control interval 708 indicates the transmission interval of control commands to the remote handset 60.
  • the effect control unit 541 transmits a control command to the remote child device 60 at the interval of “C1” shown in the remote child device control interval 708 (the shaded portion of the remote child device control interval 708).
  • the effect control unit 541 transmits a control command to the remote child device 60 at the time of the terminal timestamp "... 70100, ..., 89980, 90120, .".
  • the remote cordless handset lighting state 709 indicates the lighting status of the remote cordless handset 60.
  • the remote cordless handset 60 emits light in response to the control command of the black dot during the black dot shown in the remote cordless handset lighting state 709.
  • the remote slave device 60 emits light in response to the control command of the black triangle during the black triangle shown in the remote slave device lighting state 709.
  • the remote child device 60 as indicated by “L1” in the remote child device lighting state 709, light emission according to the control command is performed after “L1” since the effect control unit 541 transmits the control command.
  • the video display start time of the slave unit 40 in the luminous state according to the black circle control command is synchronized with the start time of the luminous state by the black circle control command of the remote slave unit 60. .
  • the terminal time stamp of the wireless communication terminal 50 and the video time stamp of the control device 10 are different. For example, as shown in the video decoding reproduction 707 of FIG. 8, when the terminal time stamp of the wireless communication terminal 50 is “70000”, the video of the video time stamp “10000” (video transmitted from the control device 10) is displayed on the display 52. Is displayed on.
  • the synchronization control unit 547 determines the video time stamp of the control device 10 from the video time stamp attached to the video transmitted from the control device 10 and the current terminal time stamp of the wireless communication terminal 50, and the wireless communication terminal 50. Calculate the deviation from the terminal time stamp of In the case of the example of FIG. 8, the difference between the terminal time stamp of the wireless communication terminal 50 and the video time stamp of the control device 10 is “60000”.
  • the control command storage unit 545 stores the control command transmitted from the control device 10 (see FIG. 4).
  • the synchronization control unit 547 can determine the display time on the display 52 of the slave unit 40 in the light emission state according to the control command from the video time stamp attached to the stored control command.
  • a video time stamp “30000” is attached to the control command of the black circle.
  • the synchronization control unit 547 adds the deviation "60000" between the video time stamp of the control device 10 described above and the terminal time stamp of the wireless communication terminal 50 to the video time stamp "30000", thereby a black circle control command. Can be determined to be displayed on the display 52 at the terminal time stamp “90000”.
  • the remote slave unit 60 performs light emission according to the control command after “L1” after the effect control unit 541 transmits the control command. Therefore, the synchronization control unit 547 corrects the delay "L1" with respect to the time stamp of the control command transmitted to the remote child device 60.
  • the synchronization control unit 547 transmits the time stamp calculated in consideration of the difference between the video time stamp of the control device 10 and the terminal time stamp of the wireless communication terminal 50 and the delay "L1" to the transmission time closest to the time stamp. Change to the terminal timestamp of
  • the time stamp “89980” calculated by the synchronization control unit 547 matches “89980” of the control command transmission time. Therefore, the synchronization control unit 547 does not change the calculated timestamp "89980".
  • the video time stamp attached to the control command of the black triangle is "30120" as shown in the command storage 705.
  • the transmission time of the control command closest to the timestamp "90100” is "90120” in the case of the remote slave control interval 708 shown in FIG. Therefore, the synchronization control unit 547 changes the video timestamp “30120” attached to the control command of the black triangle to “90120”.
  • the effect control unit 541 transmits the control command of the black circle to the remote child device 60.
  • the terminal time stamp is “90120”
  • the effect control unit 541 transmits a control command of a black triangle to the remote child device 60. Since C0 and C1 are different, it is difficult to completely synchronize the light emission state of the slave unit 40 displayed on the display 52 with the light emission state of the remote slave unit 60, but it is possible to synchronize as much as possible.
  • the effect control unit 541 may skip the control command to be transmitted to the remote child device 60 (may be omitted).
  • FIG. 9 is a diagram for explaining an example of omission of control commands.
  • the command type shown in FIG. 9 indicates the type of control command transmitted to the remote child device 60.
  • the transmission time stamp shown in FIG. 9 indicates the transmission time of the control command transmitted to the remote child device 60.
  • the transmission time stamp is calculated by the synchronization control unit 547 as described above.
  • the “difference from the image” shown in FIG. 9 corresponds to the light emission state of the slave unit 40 displayed on the display 52 according to the control command of the switching time according to the control command and the light emission state of the remote slave unit 60. It shows the difference from the switching time.
  • the “+” described in “difference from the image” indicates that the time at which the light emission state of the remote child device 60 switches is later than the time at which the light emission state of the child device 40 displayed on the display 52 changes. ing. “-” Indicates that the light emission state of the remote child device 60 is switched earlier than the light emission state of the child device 40 displayed on the display 52.
  • the times of transmission to the remote child device 60 of the control command may overlap.
  • the transmission timing of the cross control command may overlap with the transmission time of the black control command.
  • the effect control unit 541 omits the transmission of the control command with the larger “difference from the image”.
  • the “difference from the image” of the control command of the cross and the “difference from the image” of the control command of the black circle are the same size (60). In this case, the effect control unit 541 deletes either the control command of cross or the control command of black circle.
  • the effect control system 100 generates a slave 40 having a light emitting device that emits light based on a control command, the control device 10 that generates a control command and transmits it to the slave 40 by wireless communication, and a slave 40 based on the light emission of the light emitting device and transmitting the video signal to the control device 10.
  • the radio communication terminal 50 having the display 52 and performing wireless communication with the control device 10, and the control command And a remote cordless handset 60 having a light emitting device 63 for emitting light.
  • the wireless communication terminal 50 receives a video signal from the control device 10, displays a video based on the video signal on the display 52, receives a control command from the control device 10, and transmits it to the remote slave 60 by wireless communication. .
  • the spectators at the remote spot can easily participate in the presentation at the main venue even at the remote spot.
  • the control device 10 since the control device 10 transmits the control command of the handset 40 and the video of the main venue to the wireless communication terminal 50, the spectator at the remote spot does not download the program according to the presentation at the main venue. You can also participate in the same production as the main venue.
  • spectators at remote spots will be united with the spectators at the main venue, and can enjoy the events being held at the main venue more.
  • the wireless communication terminal 50 controls the transmission time of the control command so that the light emission of the light emitting device 63 of the remote child device 60 matches the light emission of the child device 40 displayed on the display 52.
  • the situation of the main venue displayed on the display 52 (group effect) matches the light emission timing of the remote handset 60, and the spectator at the remote spot creates a sense of unity with the spectators at the main venue, and is implemented at the main venue You can enjoy the events being done more.
  • the wireless communication terminal 50 transmits a control command to the remote child device 60 before the display time on the display 52 of the video of the child device 40 emitting light based on the control command.
  • the situation of the main venue displayed on the display 52 matches the light emission timing of the remote handset 60, and the spectator at the remote spot creates a sense of unity with the spectators at the main venue, and is implemented at the main venue You can enjoy the events being done more.
  • control device 10 generates map information indicating the arrangement of slave unit 40 and camera 30 and transmits the map information to wireless communication terminal 50, and wireless communication terminal 50 arranges slave unit 40 and camera 30 based on the map information. Is displayed on the display 52. Then, the wireless communication terminal 50 receives from the user the selection of the position of the handset 40 to be displayed on the display 52. Thereby, the spectators (users) of the remote spots can display on the display 52 the video of the event including the collective rendition from any place (the place where the user wants to see the event) in the main hall.
  • control device 10 transmits the control command transmitted to the slave device 40 corresponding to the position selected by the user to the wireless communication terminal 50.
  • the control device 10 since the effect of the handset 40 displayed on the display 52 and the effect of the remote handset 60 are synchronized, the audience (user) of the remote spot is united with the audience at the main venue, and the main venue The events being held at can be enjoyed even at remote spots.
  • wireless communication in the 920 MHz band as an example of wireless communication between the access point 20 and the slave device 40
  • wireless communication of 2.4 GHz band, 5 GHz band, or wireless communication of 60 GHz band WiGig (Wireless Gigabit) may be used.
  • wireless communication terminal 50 demonstrated as one unit, it is not limited to this.
  • a plurality of wireless communication terminals 50 may exist, and a plurality of remote spots may be formed.
  • the slave unit 40 and the remote slave unit 60 have been described as separate configurations, the present invention is not limited to this.
  • the handset 40 has a communication interface for connecting to a wireless communication terminal like the remote handset 60, even if the user with the handset 40 is not at the main venue, the same as the remote handset 60. It is possible to form a remote spot and to participate in the production.
  • the remote slave unit 60 and the wireless communication terminal 50 are described as being connected by BLE, the present invention is not limited to this.
  • the same effect can be obtained by connecting the remote slave 60 and the wireless communication terminal 50 by WiFi Direct.
  • the communication interface through which the wireless communication terminal 50 connects to the control device 10 has been described as LTE, but the present invention is not limited to this.
  • the same effect can be obtained by connecting the wireless communication terminal 50 to the WiFi hotspot and connecting to the control device 10 using the WiFi communication interface.
  • the wireless communication terminal 50 demonstrated as a smart phone, it is not limited to it. If it is a terminal (for example, a tablet terminal) having a display for reproducing video received from the control device 10 and having a communication interface with the remote child device 60, the same effect can be obtained.
  • C0 may be C1.
  • the effect control system 100 can synchronize the light emission state of the child device 40 displayed on the display 52 with the light emission state of the remote child device 60.
  • the effect control system 100 may not omit the control command to be transmitted to the remote child device 60.
  • Each function block employed in the description of the above embodiments may typically be implemented as an LSI constituted by an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all. Although an LSI is used here, it may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a programmable field programmable gate array FPGA
  • a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI may be used.
  • the present disclosure is useful for a system that performs collective effects of light emitting devices.
  • control apparatus 11 memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

制御装置10は、子機40の発光を制御する制御コマンドを生成し、子機40に無線送信する。カメラ30は、子機40の発光による発光パターンを撮影し、撮影した発光パターンの映像信号を制御装置10に送信する。制御装置10は、生成した制御コマンドと、カメラ30の映像信号とを、ネットワーク70を介して無線通信端末50に送信する。無線通信端末50は、制御装置10から送信された映像信号に基づいて、ディスプレイ52に映像を表示し、制御装置10から送信された制御コマンドを遠隔子機60に無線送信する。

Description

演出制御システム、制御装置、および無線通信端末
 本開示は、演出制御システム、制御装置、および無線通信端末に関する。
 近年、多くの観客を収容するスタジアムやホールといった施設では、観客による会場演出が行われている。会場演出とは、例えば、観客は、無線制御対応のペンライトやブレスレッドといった発光装置を所持し、制御装置が、各発光装置の点灯または消灯を制御して会場全体を演出することである。制御装置は、例えば、発光装置が並ぶ領域(観客が並ぶ領域)の全体または一部を演出領域として、例えば、文字の表示や色の変化の演出を行う。このような演出(会場演出、発光パターン)を、以下では集合演出と呼ぶことがある。
 特許文献1には、スタジアムやホールといったメイン会場以外の遠隔スポット、例えば、パブリックビューイング会場でも集合演出を実施するシステムが開示されている。
特開2015-73182号公報
 しかしながら、特許文献1のシステムでは、発光装置としてスマートフォンを想定しており、遠隔スポットでの演出は、そのスマートフォンに予めダウンロードしたコンテンツに従う。例えば、ユーザは、演出に参加したいコンサートを特定し、サーバから、特定したコンテンツをスマートフォンにダウンロードする。スマートフォンは、ダウンロードしたコンテンツに基づいた演出を行う。そのため、特許文献1では、演出準備に手間がかかり、また、演出内容の変更に速やかに対応することが困難であった。
 本開示の非限定的な実施例は、遠隔スポットにおいても、容易にメイン会場の演出に参加できる技術の提供に資する。
 本開示の一態様に係る演出制御システムは、制御コマンドを生成する制御装置と、前記制御装置が無線通信によって送信する前記制御コマンドを受信する受信回路と、受信された前記制御コマンドに基づいて発光する第1の発光モジュールと、を有する第1の無線機器と、前記第1の発光モジュールの発光による演出を撮影し、前記演出の映像信号を前記制御装置へ送信する撮影装置と、表示装置を有し、前記制御装置と無線通信を行う無線通信端末と、前記制御コマンドに基づいて発光する第2の発光モジュールを有し、前記無線通信端末と無線通信を行う第2の無線機器と、を備え、前記制御装置は、前記映像信号と前記制御コマンドとを前記無線通信端末に送信し、前記無線通信端末は、前記制御装置から前記映像信号と前記制御コマンドとを受信し、前記映像信号に基づく映像を前記表示装置に表示し、前記制御コマンドを無線通信によって前記第2の無線機器に送信する。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本開示の一態様によれば、遠隔スポットにおいても、容易にメイン会場の演出に参加できる。
 本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
本開示の実施の形態に係る演出制御システムのシステム構成例を示した図 演出制御システムのブロック構成例を示した図 無線通信端末のディスプレイに表示されるマップ画面例を示した図 制御コマンド蓄積部で蓄積される制御コマンド例を示した図 制御コマンド設定部による時刻設定処理後の制御コマンド例を示した図 制御装置の処理フロー例を示した図 無線通信端末の処理フロー例を示した図 無線通信端末の同期処理の例を説明する図 制御コマンドの省略の例を説明する図
 以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
 図1は、本開示の実施の形態に係る演出制御システム100のシステム構成例を示した図である。図1に示すように、演出制御システム100は、制御装置10と、アクセスポイント20と、複数のカメラ30(カメラ30-1~カメラ30-N)と、複数の子機40(子機40-1~子機40-N)と、無線通信端末50と、複数の遠隔子機60(遠隔子機60-1~遠隔子機60-N)と、を有している。図1では、アクセスポイント20は、1台であるが、複数台存在してもよい。
 制御装置10、アクセスポイント20、カメラ30、および子機40は、例えば、コンサートといったイベントが行われるスタジアムやホールといった施設に配置される。以下では、イベントが行われる場所を、メイン会場と呼ぶことがある。
 無線通信端末50および遠隔子機60は、メイン会場から離れた施設に配置される。例えば、無線通信端末50および遠隔子機60は、メイン会場とは別のパブリックビューイング会場に配置される。以下では、メイン会場から離れた施設を、遠隔スポットと呼ぶことがある。
 制御装置10は、演出制御システム100全体の制御を行う。制御装置10は、例えば、PC(Personal Computer)であってもよい。
 制御装置10は、例えば、無線または有線LAN(Local Area Network)を介して、アクセスポイント20と接続されている。また、制御装置10は、有線通信または無線通信によって、カメラ30と接続されている。また、制御装置10は、ネットワーク70を介して、無線通信端末50と接続されている。
 ネットワーク70は、例えば、LTE(Long Term Evolution)といった無線通信ネットワークおよびインターネットを含む。制御装置10および無線通信端末50は、ネットワーク70を介して、通信を行う。
 子機40は、例えば、無線通信機能を備えたペンライトやブレスレッドであり、メイン会場の観客によって所持される。子機40は、制御装置10の制御によって、例えば、光を点灯および消灯したり、点灯させる光の色を変更したり、光の明度を変更したりする。
 カメラ30は、メイン会場内に設置され、子機40による集合演出を含むイベントの様子を撮影する。
 無線通信端末50は、例えば、スマートフォンであり、遠隔スポットの観客によって所持される。
 遠隔子機60は、例えば、無線通信機能を備えたペンライトやブレスレッドであり、遠隔スポットの観客によって所持される。遠隔子機60は、制御装置10の制御によって、例えば、光を点灯および消灯したり、点灯させる光の色を変更したり、光の明度を変更したりする。
 図1の演出制御システム100の概略動作について説明する。制御装置10は、子機40の発光を制御し、メイン会場の観客席を演出する。例えば、制御装置10は、子機40の光の色を変えて演出領域である観客席の色を変えたり、子機40の光の点灯および消灯を制御して観客席に文字を表示したりする。
 カメラ30は、メイン会場の子機40による集合演出を含むイベントの様子を撮影し、撮影した映像信号を制御装置10に送信する。制御装置10は、カメラ30の映像信号を、ネットワーク70を介して、遠隔スポットの無線通信端末50に送信する。これにより、遠隔スポットの無線通信端末50のディスプレイには、メイン会場の子機40による集合演出を含むイベントの様子が表示される。
 なお、無線通信端末50のユーザは、無線通信端末50を用いて、カメラ30が撮影するメイン会場内の場所を指定する。すなわち、無線通信端末50のディスプレイには、ユーザが指定した、メイン会場内での位置によって変化するイベントの様子が表示される。
 制御装置10は、メイン会場の子機40と同様の集合演出を行うように、無線通信端末50を介して、遠隔子機60を制御する。このとき、無線通信端末50は、無線通信端末50のディスプレイに表示される子機40の集合演出と、遠隔子機60の集合演出とが同期するように制御する。
 これにより、遠隔スポットにいる観客は、メイン会場にいる観客と一体感が生まれ、メイン会場で実施されているイベントをより楽しむことができる。
 図2は、演出制御システム100のブロック構成例を示した図である。図2において、図1と同じものには同じ符号が付してある。図2に示すように、制御装置10は、記憶部11と、通信部12と、外部通信部13と、制御部14と、を有している。
 記憶部11は、種々のデータを記憶するストレージデバイスである。記憶部11は、例えば、HDD(Hard Disk Drive)、メモリカードを含む構成である。
 記憶部11には、演出情報が記憶されている。演出情報は、子機40および遠隔子機60によって、メイン会場内および遠隔スポット内を集合演出するための情報である。制御部14は、記憶部11に記憶されている演出情報に基づいて、メイン会場の子機40および遠隔スポットの遠隔子機60の発光を制御する。
 通信部12は、例えば、有線LANの通信インタフェースである。通信部12は、例えば、アクセスポイント20へ送信する信号の送信処理およびアクセスポイント20から受信する信号の受信処理を行う。通信部12は、無線LANの通信インタフェースであってもよい。
 外部通信部13は、インターネットと接続可能な通信インタフェースである。外部通信部13は、例えば、無線通信端末50へ送信する信号の送信処理および無線通信端末50から受信する信号の受信処理を行う。
 制御部14は、記憶部11に対するデータの入出力を行う。また、制御部14は、通信部12を介して、子機40と通信を行う。また、制御部14は、外部通信部13を介して、無線通信端末50と通信を行う。制御部14は、演出制御部141と、接続制御部142と、マップ制御部143と、タイムスタンプ付与部144と、カメラ制御部145と、を有している。
 演出制御部141は、記憶部11に記憶されている演出情報と、子機40の位置情報とに基づいて、子機40それぞれの発光状態を決定する。演出制御部141は、決定した発光状態に従って子機40が発光するように、子機40の発光を制御する制御コマンドを生成する。すなわち、演出制御部141は、子機40が、記憶部11に格納された演出情報に応じた集合演出を行うように、制御コマンドを生成する。演出制御部141は、生成した制御コマンドを、通信部12を介して、子機40に送信する。
 接続制御部142は、無線通信端末50との接続および切断に関する処理を行う。また、接続制御部142は、制御装置10と無線通信端末50との間の通信制御処理を行う。
 マップ制御部143は、例えば、メイン会場の観客席の位置情報と、メイン会場内に設置されたカメラ30の位置情報とを含む、メイン会場内のマップ情報を生成する。マップ制御部143は、生成したマップ情報を無線通信端末50へ送信する。
 なお、作成するマップ情報は、メイン会場内に存在するカメラ30および子機40の位置を示している。このため、マップ情報は、メイン会場の種類に応じて変更され、また、カメラ30および子機40が移動可能な会場では、時間経過によって変化する情報である。例えば、観客席の設置がない会場の場合は、子機40の位置情報を元にした子機位置を明示した情報であってもよい。
 なお、無線通信端末50は、マップ制御部143から送信されたマップ情報に基づいて、メイン会場内のカメラ位置と観客席とをディスプレイに表示する。
 図3は、無線通信端末50のディスプレイに表示されるマップ画面例を示した図である。無線通信端末50は、マップ制御部143から送信されたマップ情報に基づいて、ディスプレイに、図3に示すようなメイン会場内のマップを表示する。例えば、無線通信端末50のディスプレイには、メイン会場のステージA1と、子機40を所持する観客の座席一覧A2と、カメラ30と、が表示される。
 無線通信端末50は、ユーザから、ディスプレイに表示させたいメイン会場の位置を受付ける。無線通信端末50は、ユーザから受付けたメイン会場の位置の位置情報を、ネットワーク70を介して、制御装置10のマップ制御部143に送信する。
 例えば、無線通信端末50は、図3に示すカメラ30の位置や観客席の位置をユーザから受付ける。無線通信端末50は、ユーザから受付けた情報(位置情報)を、ネットワーク70を介して、制御装置10のマップ制御部143に送信する。これにより、無線通信端末50のディスプレイには、ユーザが見たいメイン会場内の位置に応じた映像が表示される。
 図2の説明に戻る。タイムスタンプ付与部144は、無線通信端末50へ送信する制御コマンドにタイムスタンプを付与する。
 カメラ制御部145は、カメラ30から出力される映像信号を受信する。カメラ制御部145は、受信した映像信号に対して所定の信号処理を行い、無線通信端末50に送信する。なお、カメラ制御部145は、無線通信端末50から送信された位置情報に基づいて、集合演出を撮影するカメラ30を指定する。
 アクセスポイント20は、有線LANのネットワークを介して制御装置10と接続されている。アクセスポイント20は、例えば、920MHz帯の無線通信により子機40と通信を行う。
 カメラ30は、メイン会場内を撮影し、撮影した映像(動画像)を有線または無線のネットワークにより制御装置10へ送信する。
 子機40は、アクセスポイント20を介して、制御装置10と通信を行う。子機40は、発光デバイスおよび発光制御部(図示せず)を有している。発光デバイスは、少なくとも1つのLED(Light Emitting Diode)ライトを有する。発光デバイスは、例えば、点灯、消灯、点灯する光の色の変更、および点灯する光の明度の変更が可能なデバイスである。発光制御部は、制御装置10から送信された制御コマンドに基づいて、発光デバイスの点灯、消灯、点灯する光の色の変更、および点灯する光の明度の変更を制御する。子機40は、それぞれ同様の構成を有している。
 無線通信端末50は、公衆ネットワークへの通信インタフェースを持たない遠隔子機60と、例えば、BLE(Bluetooth(登録商標) Low Energy)のネットワークを介して接続される。また、無線通信端末50は、例えば、LTEのネットワークを介して制御装置10と通信し、制御装置10から、遠隔子機60を制御するための制御コマンドおよびカメラ30が撮影する映像を受信する。無線通信端末50は、制御装置10から送信された制御コマンドを、BLEによって遠隔子機60に送信する。
 なお、無線通信端末50と遠隔子機60との通信は、BLEに限られない。無線通信端末50は、何らかの近接無線で遠隔子機60と通信ができればよい。また、無線通信端末50と制御装置10との間の無線通信は、LTEに限られない。無線通信端末50と制御装置10との間の無線通信は、例えば、WiMAX(登録商標)やWiFi(登録商標)などの無線公衆ネットワークを用いてもよい。
 無線通信端末50は、無線通信部51と、ディスプレイ52と、外部通信部53と、制御部54と、を有している。無線通信部51は、近接無線の通信インタフェースである。無線通信部51は、例えば、BLEの通信インタフェースである。無線通信部51は、例えば、遠隔子機60へ送信する信号の送信処理および遠隔子機60から受信する信号の受信処理を行う。
 ディスプレイ52は、無線通信端末50が有する表示装置である。ディスプレイ52は、制御装置10から送信されるメイン会場内のマップ、制御装置10から送信されるメイン会場内の集合演出を含む映像、を表示する。なお、無線通信端末50は、無線接続または有線接続された外部の表示ディスプレイに、映像を表示してもよい。
 外部通信部53は、例えば、LTEの通信インタフェースである。外部通信部53は、例えば、制御装置10へ送信する信号の送信処理および制御装置10から受信する信号の受信処理を行う。
 制御部54は、外部通信部53を介して、制御装置10と通信を行う。また、制御部54は、無線通信部51を介して、遠隔子機60と通信を行う。制御部54は、演出制御部541と、接続制御部542と、演出位置選択部543と、映像制御部544と、制御コマンド蓄積部545と、制御コマンド設定部546と、同期制御部547と、を有している。
 演出制御部541は、制御コマンド設定部546が設定した時刻に、制御コマンドを遠隔子機60に送信する。
 以下では、説明を簡単にするため、演出制御部541は、1制御コマンドを1時刻で送信するとしている。演出制御部541が、例えば、1制御コマンドをブロードキャスト配信することで、制御部54は、配下の遠隔子機60それぞれに対する制御ができる。もちろん、演出制御部541は、N個の制御コマンドを、1時刻で送信してもよい(ユニキャストにより、遠隔子機60それぞれに別の制御コマンドを順に送信してもよい)。
 接続制御部542は、制御装置10との通信の接続および切断に関する処理を行う。また、接続制御部542は、制御装置10と無線通信端末50との間の通信制御処理を行う。
 ディスプレイ52には、上記したように、制御装置10から送信されるマップ情報に基づいて、メイン会場内のマップが表示される。ユーザは、ディスプレイ52に表示されたマップから、ディスプレイ52に表示させたいメイン会場内の位置を選択する。なお、ユーザの選択は、ディスプレイ52が入力部を兼ねたタッチディスプレイによって、行われてもよい。演出位置選択部543は、ユーザにより選択されたメイン会場の位置情報を、ネットワーク70を介して、制御装置10に送信する。
 映像制御部544は、制御装置10から送信された映像信号をデコードする。映像制御部544は、デコードした映像信号をディスプレイ52に表示する。
 制御コマンド蓄積部545は、制御装置10から送信された遠隔子機60を制御する制御コマンドの蓄積(記憶)を行う。制御コマンド蓄積部545は、例えば、メモリの記憶装置を備える。
 図4は、制御コマンド蓄積部545で蓄積される制御コマンド例を示した図である。図4に示すように、制御コマンド蓄積部545には、制御装置10から送信された制御コマンドと、制御装置10が制御コマンドに付与したタイムスタンプとが、1対1で対応付けられ、蓄積される。
 タイムスタンプは、対応する制御コマンドが、子機40に送信された時刻を示している。例えば、図4の例の場合、cmd2は、cmd1が子機40に送信された後、120ms経過後に子機40に送信されたことを示している。なお、タイムスタンプは、次に説明する制御コマンド設定部546によって、無線通信端末50のタイムスタンプに書き換えられる。
 図2の説明に戻る。制御コマンド設定部546は、同期制御部547で実行される、映像と制御コマンドとの同期処理に基づいて、遠隔子機60へ送信する制御コマンドの時刻設定処理を行う。例えば、制御コマンド設定部546は、制御コマンド蓄積部545に蓄積された制御コマンドが、ディスプレイ52に表示されるメイン会場の集合演出を含む映像と同期するように、タイムスタンプを書き換える。
 図5は、制御コマンド設定部546による時刻設定処理後の制御コマンド例を示した図である。図5に示す制御コマンドは、図4に示した制御コマンドに対し、タイムスタンプが書き換えられている。制御コマンド設定部546は、次に説明する同期制御部547の制御によって、制御コマンドに付与されているタイムスタンプを書き換える。制御コマンド設定部546は、書き換えたタイムスタンプと制御コマンドとを、例えば、メモリを含む記憶装置に記憶する。
 なお、演出制御部541は、例えば、図5に示す制御コマンドを、対応する送信タイムスタンプの時刻で、遠隔子機60に送信する。
 図2の説明に戻る。同期制御部547は、映像制御部544で制御されるメイン会場の映像と、遠隔子機60に送信する制御コマンドとを同期させる。すなわち、同期制御部547は、ディスプレイ52に表示されるメイン会場の集合演出と、遠隔子機60による集合演出とを同期させる処理を行う。具体的な処理については後述する。
 遠隔子機60-1は、例えば、BLEによって、無線通信端末50と通信を行う。遠隔子機60-1は、無線通信部61と、接続制御部62と、発光デバイス63と、発光制御部64と、を有している。
 無線通信部61は、例えば、BLEの無線通信インタフェースである。無線通信部61は、例えば、無線通信端末50との接続処理、無線通信端末50へ送信する信号の送信処理、および無線通信端末50から受信する信号の受信処理を行う。無線通信部61は、無線通信端末50から制御コマンドを受信する。
 接続制御部62は、無線通信端末50に対し、無線通信の接続処理を行う。
 発光デバイス63は、少なくとも1つのLEDライトを有する。発光デバイス63は、例えば、点灯、消灯、点灯する光の色の変更、および点灯する光の明度の変更を行うデバイスである。
 発光制御部64は、無線通信部61を介して、無線通信端末50から、制御コマンドを受信する。発光制御部64は、受信した制御コマンドに基づいて、発光デバイス63の点灯、消灯、点灯する光の色の変更、および点灯する光の明度の変更を制御する。
 なお、遠隔子機60-2~遠隔子機60-Nは、遠隔子機60-1と同様の構成を有しており、その説明を省略する。
 図6は、制御装置10の処理フロー例を示した図である。まず、カメラ制御部145は、カメラ30から、映像信号を受信する(S201)。
 次に、演出制御部141は、記憶部11から演出情報を取得し、取得した演出情報に基づいて、子機40を制御する(S202)。すなわち、演出制御部141は、記憶部11に記憶されている演出情報に従った集合演出を行うように子機40を制御する。
 次に、制御部14は、無線通信端末50から、端末コマンドを受信したかを確認する(S203)。制御部14は、無線通信端末50から、端末コマンドを受信していない場合(S203:NO)、S202による集合演出を継続する(端末コマンドを待ち、集合演出を継続する)。
 なお、端末コマンドとは、無線通信端末50が制御装置10に送信するコマンドであり、例えば、無線通信端末50が集合演出に参加する際に用いる「接続通知」、ユーザによって選択された会場内での位置を示す「位置情報通知」、無線通信端末50が集合演出から退出する際に用いる「切断通知」を含む。
 一方、制御部14は、無線通信端末50から、端末コマンドを受信した場合(S203:YES)、受信した端末コマンドのコマンド種別を判定する(S204)。
 制御部14によるS204での判定が、「接続通知」の場合、接続制御部142は、無線通信端末50による接続を受け入れるか否かを判定し(判定処理の図示を省略)、無線通信端末50による接続を受け入れる場合、正常応答を返す(S205)。なお、接続制御部142は、例えば、無線通信端末50が通知する遠隔子機60の情報(例えば、デバイスID)を元に、メイン会場の演出に参加可能な遠隔子機60か否かを判定する。
 次に、マップ制御部143は、子機40およびカメラ30の位置情報を元に、メイン会場のマップ情報を作成する(S206)。例えば、マップ制御部143は、図3に示したようなメイン会場のマップ情報を作成する。
 次に、マップ制御部143は、生成したマップ情報を、ネットワーク70を介して、無線通信端末50へ送信する(S207)。マップ制御部143は、処理をS204に移行する。
 制御部14によるS204での判定が、「位置情報通知」の場合、カメラ制御部145は、無線通信端末50から送信された位置情報に基づいて、無線通信端末50に送信する映像を撮影するカメラ30を指定する(S208)。
 次に、カメラ制御部145は、指定したカメラ30が撮影した映像を無線通信端末50へ送信する(S209)。
 次に、タイムスタンプ付与部144は、無線通信端末50から受信した位置情報の場所に存在する、または、その周辺に存在する子機40の発光状態を制御する制御コマンドにタイムスタンプを付与する。演出制御部141は、タイムスタンプが付与された制御コマンドを、ネットワーク70を介して、無線通信端末50に送信する(S210)。すなわち、演出制御部141は、ユーザが選択した位置の子機40に送信した制御コマンドを、無線通信端末50にも送信する。タイムスタンプの付与に関しては、以下で詳述する。
 次に、制御部14は、無線通信端末50から、端末コマンドを受信したか否かを判定する(S211)。制御部14は、端末コマンドを受信していない場合、処理をS209へ移行する。一方、制御部14は、端末コマンドを受信した場合、処理をS204へ移行する。
 制御部14によるS204での判定が、「切断通知」の場合、演出制御部141は、無線通信端末50に対する制御コマンドの送信を停止する(S212)。
 次に、カメラ制御部145は、無線通信端末50へのカメラ映像の送信を停止する(S213)。
 次に、制御部14は、無線通信端末50へ切断応答を送信し、当該フローを終了する(S214)。
 図7は、無線通信端末50の処理フロー例を示した図である。以下では、無線通信端末50は、BLEによって、遠隔子機60と無線通信を行う。
 まず、無線通信部51は、BLEの接続方式に基づいて、遠隔子機60と接続する(S301)。このとき、無線通信部51は、遠隔子機60から、遠隔子機60を識別するID(例えば、デバイスID)を受信する。
 次に、接続制御部542は、ネットワーク70を介して、制御装置10に対し、遠隔子機60との接続を通知し、その応答を受信する(S302)。このとき、制御部54は、遠隔子機60のIDを制御装置10に送信する。
 次に、演出位置選択部543は、制御装置10から、メイン会場のマップ情報を受信する(S303)。
 次に、演出位置選択部543は、ユーザから、ディスプレイ52に表示させたいメイン会場の位置を受付け、受付けた位置の位置情報を、制御装置10に送信する(S304)。
 例えば、演出位置選択部543は、S303にて受信したマップ情報に基づいて、メイン会場内のマップ(例えば図3参照)をディスプレイ52に表示する。演出位置選択部543は、ディスプレイに表示されたメイン会場内のマップから、ディスプレイ52に表示させたいメイン会場の位置を受付ける。そして、演出位置選択部543は、受付けた位置の位置情報を、ネットワーク70を介して、制御装置10へ送信する。
 次に、制御部54は、イベントを受信した否かを判定する(S305)。ここでのイベントとは、例えば、無線通信端末50が備えるタイマー(図2には図示せず)からのタイマー通知、ユーザ操作、およびデータ受信である。データ受信には、例えば、制御装置10から送信される制御コマンド(図6のS210を参照)および映像(図6のS209を参照)がある。
 制御部54によるS305の判定が、「制御コマンド」の場合、制御コマンド蓄積部545は、制御装置10から送信された制御コマンドを蓄積する(S306)。制御コマンド蓄積部545は、制御コマンドを蓄積すると、処理をS305に移行する。
 制御部54によるS305の判定が、「映像」の場合、映像制御部544は、制御装置10から送信された映像をデコードする(S307)。
 次に、同期制御部547は、制御コマンド蓄積部545に制御コマンドが蓄積されているか否かを判定する(S308)。
 同期制御部547は、制御コマンド蓄積部545に制御コマンドが蓄積されていると判定した場合(S308:YES)、無線通信端末50が生成するタイムスタンプ(以下、端末タイムスタンプと呼ぶことがある)と、蓄積されている制御コマンドに付与されているタイムスタンプ(例えば図4参照)と、制御装置10から送信された映像に付与されているタイムスタンプとから、蓄積されている制御コマンドを遠隔子機60に送信する時間を算出する(送信時間の算出については以下で詳述する)。同期制御部547は、算出した時間をコマンド設定部546へ出力する(S309)。なお、コマンド設定部546は、同期制御部547が算出した送信時間に基づいて、蓄積されている制御コマンド(例えば図4参照)に付与されているタイムスタンプを書き換える(例えば図5参照)。また、コマンド設定部546は、制御コマンド蓄積部545に蓄積されている、タイムスタンプが書き換えられた制御コマンドを削除する。
 次に、映像制御部544は、制御装置10から送信された映像をディスプレイ52に表示する(S310)。映像制御部544は、制御コマンド蓄積部545に制御コマンドが蓄積されていないと判定された場合(S308:NO)も、制御装置10から送信された映像をディスプレイ52に表示する(S310)。映像制御部544は、処理をS305に移行する。
 制御部54によるS305の判定が、「タイマー通知」の場合、演出制御部541は、無線通信端末50が生成する端末タイムスタンプと同じタイムスタンプを有する制御コマンドを、遠隔子機60に送信する(S311)。演出制御部541は、処理をS305に移行する。
 制御部54によるS305の判定が、「ユーザ操作」の場合、演出位置選択部543は、ユーザの操作種別を判定する(S312)。演出位置選択部543は、ユーザの操作が、ディスプレイ52に表示するメイン会場の位置選択の場合、ユーザが選択したメイン会場の位置の位置情報を、制御装置10に送信する(S313)。そして、演出位置選択部543は、処理をS305に移行する。一方、演出位置選択部543は、ユーザの操作が、集合演出のアプリケーションの終了操作の場合、制御装置10へ切断通知を送信し、切断通知に対する応答を受信して、当該処理フローを終了する(S314)。
 図8は、無線通信端末50の同期処理の例を説明する図である。図8に示す変数は、以下の通りである。
 ここで、同期処理は、制御装置10の子機40を制御する間隔(C0)と、無線通信端末50の遠隔子機60を制御する間隔(C1)との、互いの無線通信環境の違いから生じる差異を抑制するために行う処理である。
 この同期処理によって、制御装置10から受信した映像内で、C0間隔で切り替わる子機40の発光と、制御装置10から受信した制御コマンドの送信により、C1間隔で切り替わる遠隔子機60の発光とのタイミングを合わせることができる。
 C0:制御装置10の子機40への制御コマンド送信間隔
 C1:無線通信端末50の遠隔子機60への制御コマンド送信間隔
 L0:制御装置10の子機40への制御コマンド送信から、その制御コマンドにより子機40が点灯および消灯等するまでの時間
 L1:無線通信端末50の遠隔子機60への制御コマンド送信から、その制御コマンドにより遠隔子機60が点灯および消灯等するまでの時間
 D:制御装置10の子機40への制御コマンド送信から、その制御コマンドにより点灯または消灯した子機40が写った映像を制御装置10が受信するまでの時間
 なお、C0とC1は異なり、C0<C1とする(C0よりもC1の方が、送信間隔が長い)。また、図8の例では、変数を下記のように設定する。
 子機40の制御間隔C0:120ms(8.33fps)
 カメラ30のフレーム間隔:20ms(50fps)
 映像フレームの伝送間隔:60ms(16.67fps)
 遠隔子機60の制御間隔C1:140ms(7.14fps)
 遠隔子機60の点灯および消灯等するまでの時間L1:20ms
 図8の子機制御間隔702は、制御コマンドの子機40への送信間隔を示している。子機制御間隔702に示す黒丸および黒三角は、子機40の制御コマンドを示している。演出制御部141は、子機制御間隔702に示す「C0」の間隔(子機制御間隔702の網掛け部分)で、制御コマンドを子機40に送信する。
 子機点灯状態701は、子機40の点灯状態を示している。例えば、子機40は、子機点灯状態701に示す黒丸の間、黒丸の制御コマンドに応じた発光を行う。また、子機40は、子機点灯状態701に示す黒三角の間、黒三角の制御コマンドに応じた発光を行う。子機40では、子機点灯状態701の「L0」に示すように、演出制御部141が制御コマンドを送信してから「L0」後に、制御コマンドに応じた発光が行われる(遅延が生じる)。
 カメラ映像703は、カメラ30から出力される映像(映像信号)の、カメラ制御部145の受信を示している。カメラ制御部145は、カメラ映像703に示すように「D」だけ遅れて、制御コマンドに応じた発光状態の映像を受信する。なお、カメラ映像703に示す「30000」および「30120」は、カメラ制御部145が受信した映像フレームに付与されたタイムスタンプ(以下、映像タイムスタンプと呼ぶことがある)を示している。
 「D」は、既知である。従って、演出制御部141は、子機40に送信した制御コマンドを無線通信端末50に送信する時に、映像フレームに付与される映像タイムスタンプを付与することができる。
 例えば、演出制御部141は、黒丸の制御コマンドが子機40に送信された時に、黒丸の制御コマンドに対応した子機40の映像フレームには、映像タイムスタンプ「30000」が付与されると判定できる。また、演出制御部141は、黒三角の制御コマンドが子機40に送信された時に、黒三角の制御コマンドに対応した子機40の映像フレームには、映像タイムスタンプ「30120」が付与されると判定できる。従って、演出制御部141は、タイムスタンプ「30000」が付与された黒丸の制御コマンドを、無線通信端末50に送信できる。また、演出制御部141は、タイムスタンプ「30120」が付与された黒三角の制御コマンドを、無線通信端末50に送信できる。つまり、演出制御部141は、「D」を加算したタイムスタンプが付与された制御コマンドを、無線通信端末50に送信する。
 映像エンコード+送信704は、無線通信端末50に送信される映像のエンコードの送信を示している。カメラ制御部145は、カメラ30が撮影した映像をエンコードし、無線通信端末50に送信する。
 コマンド蓄積705は、制御装置10から送信された制御コマンドの蓄積を示している。制御コマンド蓄積部545は、例えば、コマンド蓄積705に示すように、タイムスタンプ「30000」が付与された黒丸の制御コマンドと、タイムスタンプ「30120」が付与された黒三角の制御コマンドとを蓄積する。
 映像受信706は、制御装置10から送信された映像(映像エンコード+送信704)の受信を示している。映像受信706に示す端末タイムスタンプは、無線通信端末50が生成するタイムスタンプを示している。映像受信706に示す映像タイムスタンプは、制御装置10から送信された映像に付与されているタイムスタンプを示している。
 映像デコード再生707は、制御装置10から送信された映像の、ディスプレイ52での再生(デコード)を示している。映像デコード再生707の黒丸は、黒丸の制御コマンドに基づいて、発光を行っているメイン会場の子機40の映像が、ディスプレイ52に再生されていることを示している。映像デコード再生707の黒三角は、黒三角の制御コマンドに基づいて、発光等を行っているメイン会場の子機40の映像が、ディスプレイ52に再生されていることを示している。
 遠隔子機制御間隔708は、制御コマンドの遠隔子機60への送信間隔を示している。演出制御部541は、遠隔子機制御間隔708に示す「C1」の間隔(遠隔子機制御間隔708の網掛け部分)で、制御コマンドを遠隔子機60に送信する。例えば、演出制御部541は、端末タイムスタンプ「…70100,…,89980,90120,…」の時刻で、制御コマンドを遠隔子機60に送信する。なお、無線通信端末50の制御コマンドを送信する間隔は「C1」(C1=140ms)であり、制御装置10の制御コマンドを送信する間隔「C0」(C0=120ms)と異なっている。
 遠隔子機点灯状態709は、遠隔子機60の点灯状態を示している。例えば、遠隔子機60は、遠隔子機点灯状態709に示す黒丸の間、黒丸の制御コマンドに応じた発光を行う。また、遠隔子機60は、遠隔子機点灯状態709に示す黒三角の間、黒三角の制御コマンドに応じた発光を行う。遠隔子機60では、遠隔子機点灯状態709の「L1」に示すように、演出制御部541が制御コマンドを送信してから「L1」後に、制御コマンドに応じた発光が行われる。なお、ラインA11に示すように、黒丸の制御コマンドに応じた発光状態の子機40の映像表示開始時刻と、遠隔子機60の黒丸の制御コマンドによる発光状態の開始時刻は、同期している。
 ディスプレイ52に表示されるメイン会場の集合演出と、遠隔子機60による集合演出とを同期させる処理について説明する。
 無線通信端末50の端末タイムスタンプと、制御装置10の映像タイムスタンプは、異なっている。例えば、図8の映像デコード再生707に示すように、無線通信端末50の端末タイムスタンプが「70000」の時に、映像タイムスタンプ「10000」の映像(制御装置10から送信された映像)がディスプレイ52に表示される。
 同期制御部547は、制御装置10から送信された映像に付与されている映像タイムスタンプと、無線通信端末50の現在の端末タイムスタンプとから、制御装置10の映像タイムスタンプと、無線通信端末50の端末タイムスタンプとのずれを算出する。図8の例の場合、無線通信端末50の端末タイムスタンプと、制御装置10の映像タイムスタンプとのずれは、「60000」である。
 制御コマンド蓄積部545は、制御装置10から送信された制御コマンドを蓄積する(図4参照)。同期制御部547は、蓄積された制御コマンドに付与されている映像タイムスタンプから、その制御コマンドに応じた発光状態の子機40の、ディスプレイ52での表示時刻を判定できる。
 例えば、黒丸の制御コマンドには、映像タイムスタンプ「30000」が付与されている。同期制御部547は、この映像タイムスタンプ「30000」に、上記した制御装置10の映像タイムスタンプと、無線通信端末50の端末タイムスタンプとのずれ「60000」を加算することにより、黒丸の制御コマンドに応じた子機40の映像は、端末タイムスタンプ「90000」において、ディスプレイ52に表示されると判定できる。
 以上から、映像タイムスタンプ「30000」が付与されている黒丸の制御コマンドを、端末タイムスタンプ「90000」の時刻で、遠隔子機60に送信することによって、遠隔子機60の発光状態と、ディスプレイ52に表示されている子機40の発光状態とを合わせることが可能である。
 しかし、遠隔子機点灯状態709の「L1」に示すように、遠隔子機60は、演出制御部541が制御コマンドを送信してから「L1」後に、制御コマンドに応じた発光を行う。そこで、同期制御部547は、遠隔子機60に送信する制御コマンドのタイムスタンプに対し、遅延「L1」の補正を行う。
 例えば、同期制御部547は、黒丸の制御コマンドに付与されている映像タイムスタンプ「30000」に、上記した制御装置10の映像タイムスタンプと、無線通信端末50の端末タイムスタンプとのずれ「60000」を加算し、遅延「L1」(L1=20)を減算する。すなわち、同期制御部547は、制御コマンドに基づいて発光する子機40の映像の、ディスプレイ52への表示時刻(例えば図8のA11)より前に、制御コマンドが遠隔子機60にされるようにする。なお、同期制御部547が算出するタイムスタンプは、「89980」となる(30000+60000-20=89980)。
 遠隔子機制御間隔708で説明したように、制御コマンドを送信する時刻は、決まっている(遠隔子機制御間隔708に示す網掛け部分であり、C1=140ms)。同期制御部547は、制御装置10の映像タイムスタンプと無線通信端末50の端末タイムスタンプとのずれと、遅延「L1」とを考慮して算出したタイムスタンプを、そのタイムスタンプから最も近い送信時刻の端末タイムスタンプに変更する。
 例えば、同期制御部547が算出したタイムスタンプ「89980」は、遠隔子機制御間隔708に示すように、制御コマンドの送信時刻の「89980」と一致している。従って、同期制御部547は、算出したタイムスタンプ「89980」を変更しない。
 一方、黒三角の制御コマンドに付与されている映像タイムスタンプは、コマンド蓄積705に示すように「30120」である。この場合、制御装置10の映像タイムスタンプと無線通信端末50の端末タイムスタンプとのずれと、遅延「L1」とを考慮したタイムスタンプは、「90100」となる(30120+60000-20=90100)。タイムスタンプ「90100」に最も近い制御コマンドの送信時刻は、図8の遠隔子機制御間隔708の例の場合、「90120」である。従って、同期制御部547は、黒三角の制御コマンドに付与されていた映像タイムスタンプ「30120」を、「90120」に変更する。
 なお、演出制御部541は、端末タイムスタンプが「89980」の時に、黒丸の制御コマンドを遠隔子機60に送信する。演出制御部541は、端末タイムスタンプが「90120」の時に、黒三角の制御コマンドを遠隔子機60に送信する。C0とC1とが異なるため、ディスプレイ52に表示される子機40の発光状態と、遠隔子機60の発光状態とを完全に同期させることは困難であるが、できる限り同期させることができる。
 C0<C1の場合、演出制御部541は、遠隔子機60に送信する制御コマンドを飛ばしてもよい(省略してもよい)。
 図9は、制御コマンドの省略の例を説明する図である。図9に示すコマンド種別は、遠隔子機60に送信される制御コマンドの種別を示している。
 図9に示す送信タイムスタンプは、遠隔子機60に送信される制御コマンドの送信時刻を示している。送信タイムスタンプは、上記したように、同期制御部547によって算出される。
 図9に示す「映像との差」は、ディスプレイ52に表示される子機40の発光状態の、制御コマンドに応じて切替わる時刻と、遠隔子機60の発光状態の、制御コマンドに応じて切替わる時刻との差を示している。「映像との差」に記載の「+」は、ディスプレイ52に表示されている子機40の発光状態の切替わる時刻よりも、遠隔子機60の発光状態の切替わる時刻が遅いことを示している。「-」は、ディスプレイ52に表示されている子機40の発光状態の切替わる時刻よりも、遠隔子機60の発光状態の切替わる時刻が早いことを示している。
 制御コマンドの遠隔子機60に送信する時刻は、重なる場合がある。例えば、図9の送信タイムスタンプ「90400」に示すように、バツの制御コマンドの送信タイミングと、黒丸の制御コマンドの送信時刻とが重なる場合がある。この場合、演出制御部541は、「映像との差」が大きい方の制御コマンドの送信を省略する。なお、図9では、バツの制御コマンドの「映像との差」と、黒丸の制御コマンドの「映像との差」は、同じ大きさ(60)である。この場合、演出制御部541は、バツの制御コマンドと、黒丸の制御コマンドとのどちらか一方を削除する。
 以上説明したように、演出制御システム100は、制御コマンドに基づいて発光する発光デバイスを有する子機40と、制御コマンドを生成し、無線通信によって子機40に送信する制御装置10と、子機40の発光デバイスの発光による演出を撮影し、映像信号を制御装置10へ送信するカメラ30と、ディスプレイ52を有し、制御装置10と無線通信を行う無線通信端末50と、制御コマンドに基づいて発光する発光デバイス63を有する遠隔子機60と、を備える。無線通信端末50は、制御装置10から映像信号を受信し、映像信号に基づく映像をディスプレイ52に表示し、また、制御装置10から制御コマンドを受信し、無線通信によって遠隔子機60に送信する。
 これにより、遠隔スポットの観客は、遠隔スポットにおいても、容易にメイン会場の演出に参加できる。例えば、制御装置10は、子機40の制御コマンドと、メイン会場の映像とを、無線通信端末50に送信するので、遠隔スポットの観客は、メイン会場の演出に応じたプログラムをダウンロードしなくても、メイン会場と同じ演出に参加できる。また、遠隔スポットの観客は、メイン会場の観客と一体感が生まれ、メイン会場で実施されているイベントをより楽しむことができる。
 また、無線通信端末50は、遠隔子機60の発光デバイス63の発光が、ディスプレイ52に表示される子機40の発光とタイミングが合うように、制御コマンドの送信時刻を制御する。これにより、ディスプレイ52に表示されるメイン会場の様子(集合演出)と、遠隔子機60との発光タイミングが合い、遠隔スポットの観客は、メイン会場の観客と一体感が生まれ、メイン会場で実施されているイベントをより楽しむことができる。
 また、無線通信端末50は、制御コマンドに基づいて発光する子機40の映像の、ディスプレイ52への表示時刻より前に、制御コマンドを遠隔子機60に送信する。これにより、ディスプレイ52に表示されるメイン会場の様子(集合演出)と、遠隔子機60との発光タイミングが合い、遠隔スポットの観客は、メイン会場の観客と一体感が生まれ、メイン会場で実施されているイベントをより楽しむことができる。
 また、制御装置10は、子機40およびカメラ30の配置を示すマップ情報を生成して無線通信端末50へ送信し、無線通信端末50は、マップ情報に基づいて子機40およびカメラ30の配置をディスプレイ52に表示する。そして、無線通信端末50は、ユーザから、ディスプレイ52に表示する子機40の位置の選択を受付ける。これにより、遠隔スポットの観客(ユーザ)は、メイン会場において任意の場所(イベントを見たい場所)からの集合演出を含むイベントの映像をディスプレイ52に表示させることができる。
 また、制御装置10は、ユーザが選択した位置に相当する子機40に送信した制御コマンドを無線通信端末50に送信する。これにより、ディスプレイ52に表示されている子機40の演出と、遠隔子機60の演出とが同期するため、遠隔スポットの観客(ユーザ)は、メイン会場の観客と一体感が生まれ、メイン会場で実施されているイベントを、遠隔スポットであっても、より楽しむことができる。
 なお、上述した実施の形態において、アクセスポイント20と子機40との間の無線通信の一例として、920MHz帯の無線通信を用いる例を説明したが、本開示はこれに限定されない。例えば、2.4GHz帯、5GHz帯の無線通信、60GHz帯のWiGig(Wireless Gigabit)の無線通信であっても良い。
 また、上述した実施の形態において、無線通信端末50は1台であるとして説明を行ったが、これに限定されない。例えば、無線通信端末50は複数台存在し、複数の遠隔スポットを形成しても良い。
 また、上述した実施の形態において、子機40と遠隔子機60とを別々の構成として説明を行ったが、これに限定されない。例えば、子機40が遠隔子機60と同様に無線通信端末と接続する通信インタフェースを持つ構成を採ることによって、子機40を持つユーザがメイン会場にいなくても、遠隔子機60と同様に遠隔スポットを形成し、演出に参加させることが可能になる。
 また、上述した実施の形態において、遠隔子機60と無線通信端末50とをBLEで接続するものとして説明を行ったが、これに限定されない。例えば、遠隔子機60と無線通信端末50とをWiFi Directにより接続することでも同様の効果を得ることが可能になる。
 また、上述した実施の形態において、無線通信端末50が制御装置10と接続する通信インタフェースがLTEとして説明を行ったが、これに限定されない。例えば、無線通信端末50がWiFiのホットスポットに存在し、WiFiの通信インタフェースを用いて制御装置10と接続をすることでも同様の効果を得ることが可能になる。
 また、上述した実施の形態において、無線通信端末50はスマートフォンであるとして説明を行ったが、それに限定されない。制御装置10から受信する映像を再生するディスプレイを持ち、遠隔子機60との通信インタフェースを有する端末(例えばタブレット端末)であれば、同様の効果を得ることが可能になる。
 また、上述した実施の形態において、C0<C1としたが、C0=C1であってもよい。この場合、演出制御システム100は、ディスプレイ52に表示される子機40の発光状態と、遠隔子機60の発光状態とを同期させることができる。また、演出制御システム100は、遠隔子機60に送信する制御コマンドを省略しなくて済む。
 なお、C0>C1となる場合は、メイン会場よりも遠隔スポットの演出の方が高品質となるケースであるため、ここでの説明は省略するが、上記の方法を適用してもよい。
 上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
 以上の説明において、各構成要素に用いる「・・・部」という表記は、「・・・回路(circuitry)」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
 さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
 本開示は、発光装置の集合演出を行うシステムに有用である。
 10 制御装置
 11 記憶部
 12 通信部
 13 外部通信部
 14 制御部
 141 演出制御部
 142 接続制御部
 143 マップ制御部
 144 タイムスタンプ付与部
 145 カメラ制御部
 20 アクセスポイント
 30-1~30-N カメラ
 40-1~40-N 子機
 50 無線通信端末
 51 無線通信部
 52 ディスプレイ
 53 外部通信部
 54 制御部
 541 演出制御部
 542 接続制御部
 543 演出位置選択部
 544 映像制御部
 545 制御コマンド蓄積部
 546 制御コマンド設定部
 547 同期制御部
 60-1~60-N 遠隔子機
 61 無線通信部
 62 接続制御部
 63 発光デバイス
 64 発光制御部
 100 演出制御システム

Claims (9)

  1.  制御コマンドを生成する制御装置と、
     前記制御装置が無線通信によって送信する前記制御コマンドを受信する受信回路と、受信された前記制御コマンドに基づいて発光する第1の発光モジュールと、を有する第1の無線機器と、
     前記第1の発光モジュールの発光による発光パターンを撮影し、前記発光パターンの映像信号を前記制御装置へ送信する撮影装置と、
     表示装置を有し、前記制御装置と無線通信を行う無線通信端末と、
     前記制御コマンドに基づいて発光する第2の発光モジュールを有し、前記無線通信端末と無線通信を行う第2の無線機器と、
     を備え、
     前記制御装置は、
     前記映像信号と前記制御コマンドとを前記無線通信端末に送信し、
     前記無線通信端末は、
     前記制御装置から前記映像信号と前記制御コマンドとを受信し、
     前記映像信号に基づく映像を前記表示装置に表示し、前記制御コマンドを無線通信によって前記第2の無線機器に送信する、
     演出制御システム。
  2.  前記無線通信端末は、前記第2の発光モジュールの発光が、前記表示装置に表示される前記第1の発光モジュールの発光とタイミングが合うように、前記第2の無線機器への前記制御コマンドの送信時刻を制御する、
     請求項1に記載の演出制御システム。
  3.  前記無線通信端末は、
     前記制御コマンドに基づいて発光する前記第1の発光モジュールの映像の前記表示装置への表示時刻より前に、前記制御コマンドを前記第2の無線機器に送信する、
     請求項2に記載の演出制御システム。
  4.  前記制御コマンドの前記第2の無線機器への送信間隔は、前記制御コマンドの前記第1の無線機器への送信間隔と異なっている、
     請求項3に記載の演出制御システム。
  5.  前記制御装置は、前記第1の無線機器および前記撮影装置の配置を示すマップ情報を生成して前記無線通信端末へ送信し、
     前記無線通信端末は、前記マップ情報に基づいて前記第1の無線機器および前記撮影装置の配置を前記表示装置に表示し、ユーザから前記表示装置に表示する映像に含む位置の選択を受付ける、
     請求項1から4のいずれか一項に記載の演出制御システム。
  6.  前記制御装置は、ユーザが選択した位置の前記第1の発光モジュールに送信した前記制御コマンドを前記無線通信端末に送信する、
     請求項5に記載の演出制御システム。
  7.  前記無線通信端末と前記第2の無線機器とは、BLE(Bluetooth(登録商標) Low Energy)によって無線通信を行う、
     請求項1から6のいずれか一項に記載の演出制御システム。
  8.  制御コマンドに基づいて発光する第1の発光モジュールを有する第1の無線機器と無線通信を行う第1の通信回路と、
     前記制御コマンドを生成し、前記第1の通信部によって前記第1の無線機器に送信する演出制御回路と、
     前記第1の発光モジュールの発光による発光パターンを撮影する撮影装置から、映像信号を受信する映像受信回路と、
     前記映像信号に基づく映像を表示する表示装置と、前記制御コマンドに基づいて発光する第2の発光モジュールを有する第2の無線機器と無線通信を行う通信回路と、を備えた無線通信端末に対し、前記映像信号と前記制御コマンドとを無線通信によって送信する第2の通信回路と、
     を有する制御装置。
  9.  制御コマンドに基づいて発光する第1の発光モジュールを有する第1の無線機器と無線通信を行う通信回路と、前記制御コマンドを生成し、前記通信回路によって前記第1の無線機器に送信する演出制御回路と、前記第1の発光モジュールの発光による発光パターンを撮影する撮影装置から、映像信号を受信する受信回路と、を備えた制御装置から、前記制御コマンドと前記映像信号とを無線通信によって受信する第1の通信回路と、
     前記映像信号に基づく映像を表示する表示装置と、
     前記制御コマンドに基づいて発光する第2の発光モジュールを有する第2の無線機器に対し、前記制御コマンドを無線通信によって送信する第2の通信回路と、
     を有する無線通信端末。
PCT/JP2018/041814 2017-11-22 2018-11-12 演出制御システム、制御装置、および無線通信端末 WO2019102886A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017224888A JP2019097031A (ja) 2017-11-22 2017-11-22 演出制御システム、制御装置、および無線通信端末
JP2017-224888 2017-11-22

Publications (1)

Publication Number Publication Date
WO2019102886A1 true WO2019102886A1 (ja) 2019-05-31

Family

ID=66631698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041814 WO2019102886A1 (ja) 2017-11-22 2018-11-12 演出制御システム、制御装置、および無線通信端末

Country Status (2)

Country Link
JP (1) JP2019097031A (ja)
WO (1) WO2019102886A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102247269B1 (ko) * 2020-04-21 2021-04-30 최지선 공연연출시스템
KR102247264B1 (ko) * 2020-04-21 2021-04-30 최지선 공연연출시스템
KR102402370B1 (ko) 2020-04-17 2022-05-26 최지선 원격지 연출 시스템 및 원격지 연출 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026748A (ja) * 2011-07-19 2013-02-04 Nippon Telegr & Teleph Corp <Ntt> マルチメディアコンテンツ同期システム及び方法
JP2013191357A (ja) * 2012-03-13 2013-09-26 Sony Corp 発光装置、発光装置の制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026748A (ja) * 2011-07-19 2013-02-04 Nippon Telegr & Teleph Corp <Ntt> マルチメディアコンテンツ同期システム及び方法
JP2013191357A (ja) * 2012-03-13 2013-09-26 Sony Corp 発光装置、発光装置の制御方法及びプログラム

Also Published As

Publication number Publication date
JP2019097031A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
US9918058B2 (en) Information processing to allow projector units to project images in cooperation
WO2019102886A1 (ja) 演出制御システム、制御装置、および無線通信端末
CN112911197B (zh) 影像信息处理系统、移动通信终端和影像信息处理方法
WO2020044874A1 (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP6172610B2 (ja) テレビ会議用システム
JP7333422B2 (ja) 公演演出システム及びその制御方法
KR101970358B1 (ko) 중앙 서버 및 이를 포함하는 공연 시스템
JP7448611B2 (ja) クラウド制御システム
JP6737717B2 (ja) 情報処理装置およびアプリケーション画像配信方法
JP6143473B2 (ja) 画像出力装置、システムおよびそれらの制御方法、プログラム、並びに記憶媒体
US10244207B2 (en) Videoconference communication device
KR101513413B1 (ko) 안드로이드 기반 uhd 매트릭스 영상 배열 장치
JP2022539566A (ja) 公演演出システム及びその制御方法
WO2014027382A1 (ja) 端末装置、表示装置、端末装置連動システム、端末装置連動方法、及び非一時的なコンピュータ可読媒体
CN116740870A (zh) 应援棒控制信息发送装置、应援棒控制系统及控制方法
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
JP2020039112A (ja) コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
US11532251B2 (en) Display system, display device, and display method
WO2018105436A1 (ja) 連携表示システム
KR102149004B1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
JP7547912B2 (ja) 表示システム、表示装置、表示方法、及びプログラム
JP2013229775A (ja) カメラ映像中継システム、スタジオ装置、映像中継用カメラ
CN116744519A (zh) 一种照明装置以及控制该照明装置的方法和系统
KR20220159924A (ko) 복수의 사용자 단말들을 제어하는 군중 제어 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18880645

Country of ref document: EP

Kind code of ref document: A1