WO2021200304A1 - ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ - Google Patents

ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ Download PDF

Info

Publication number
WO2021200304A1
WO2021200304A1 PCT/JP2021/011571 JP2021011571W WO2021200304A1 WO 2021200304 A1 WO2021200304 A1 WO 2021200304A1 JP 2021011571 W JP2021011571 W JP 2021011571W WO 2021200304 A1 WO2021200304 A1 WO 2021200304A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
cloud server
camera
production system
signal
Prior art date
Application number
PCT/JP2021/011571
Other languages
English (en)
French (fr)
Inventor
兼一 斉藤
典雅 尾崎
嘉伸 久礼
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180023716.1A priority Critical patent/CN115336282A/zh
Priority to US17/908,157 priority patent/US20230362315A1/en
Priority to JP2022511939A priority patent/JPWO2021200304A1/ja
Priority to EP21781836.8A priority patent/EP4131977A4/en
Publication of WO2021200304A1 publication Critical patent/WO2021200304A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2181Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment

Definitions

  • This disclosure relates to a live video production system, a live video production method, and a cloud server.
  • the technology for producing video content is known.
  • a technique for producing video contents by using a virtual function (for example, an editing function) on a cloud server is known.
  • the purpose is to improve efficiency by reducing the burden of editing by the user on existing contents. For example, live broadcasting and distribution of images taken by a camera placed in a stadium or the like. No consideration is given to the video production when performing. It is desired to improve the efficiency of such live video production.
  • the live video production system of one form according to the present disclosure includes a plurality of cameras whose imaging operation is controlled according to remote control signals, and individual video signals captured by the plurality of cameras.
  • the cloud server is provided, and the cloud server receives the first operation signal, which is an operation signal related to the editing of the video received from the outside.
  • the main line video signal is obtained by controlling the output of the video based on the plurality of individual video signals, and at least of the plurality of cameras according to the second operation signal which is an operation signal related to the control of the cameras received from the outside.
  • the remote control signal for one is transmitted.
  • First Embodiment 1-1 Outline of the live video system according to the first embodiment of the present disclosure 1-1-1.
  • Live video production system of the present disclosure Part 1 1-1-1-1.
  • Live video system of the present disclosure Part 2 1-1-3.
  • Configuration of cloud server according to the first embodiment 1-2-2 Operation of each operator and operation of each function 1-2-2-1. Replay 1-2-2-2.
  • GFX 1-2-2-3 Edit 1-2-2-4.
  • FIG. 1 is a diagram showing an example of a live video system according to the first embodiment of the present disclosure. Further, FIG. 1 is a diagram showing a configuration example of the live video production system 1 according to the first embodiment of the present disclosure.
  • the live video processing according to the first embodiment of the present disclosure is realized by the live video production system 1 shown in FIG.
  • live video production will be described by taking sports production as an example, but the live video production system 1 may be used not only for sports production but also for the production of live video of various targets.
  • FIG. 16 is a diagram showing an example of the configuration of the live video production system of the present disclosure.
  • the live video production system 5 includes various devices related to shooting PL such as a plurality of video cameras 500 and OBVAN 600, various devices related to production BS, various devices related to distribution DL, and various devices related to broadcasting BR. Equipment is included. First, each device shown in the live video production system 5 will be briefly described. From a location point of view, the live video production system 5 is arranged at a site such as a stadium, a broadcasting station, an OTT (Over The Top), a base in the broadcasting station or other location equipped with a terminal device 10, and the like.
  • a site such as a stadium, a broadcasting station, an OTT (Over The Top), a base in the broadcasting station or other location equipped with a terminal device 10, and the like.
  • the equipment related to the photographing PL is arranged at the site, the equipment related to the production BS and the broadcasting BR is arranged at the broadcasting station, and the equipment related to the distribution DL is arranged at the OTT facility.
  • the dotted line connecting each component of the device or the like in FIG. 16 indicates a video signal.
  • the device shown in FIG. 16 is a part of the device included in the live video production system 5, and the live video production system 5 includes not only the device shown in FIG. 16 but also various devices necessary for realizing the function. ..
  • Communication is performed between the shooting PL and the production BS by the functions of the transmission / reception devices RX / TX604 on the shooting PL side and the transmission / reception devices RX / TX201 on the production BS side. Further, communication is performed between the shooting PL and the distribution DL by the functions of the transmission / reception devices RX / TX604 on the shooting PL side and the transmission / reception devices RX / TX401 on the distribution DL side.
  • transmission from the shooting PL side to the production BS or distribution DL side is by UHF (Ultra High Frequency) using the wireless relay transmission device (FPU: Field Pickup Unit) provided in the OBVAN 600, or by microwave transmission. be.
  • the live video production system 5 includes a plurality of video cameras 500, OBVAN 600, and the like as various devices related to the shooting PL.
  • the video camera 500 captures a subject.
  • the video camera 500 of the shooting PL is a video camera arranged at the competition venue (stadium).
  • three video cameras 500 are shown for the shooting PL, but the number of the shooting PL video cameras 500 is not limited to three, and may be four or more, or two. It may be as follows.
  • the live video production system 5 can simultaneously (simul) produce live video for a broadcasting station and for OTT.
  • the live video production system 5 can improve the efficiency of live video production by simultaneously performing live video production for broadcasting stations and OTT.
  • the OBVAN 600 is a so-called relay vehicle (Outside Broadcast Van) equipped with equipment for recording and transmitting live video.
  • the OBVAN 600 is equipped with various devices such as a plurality of CCUs (camera control units) 601 and SWer 602 and Storage 603. Although only a plurality of CCU 601s, SWer 602s, and Storage 603s are shown in FIG. 16, the OBVAN 600 is equipped with various devices related to live video production in addition to the plurality of CCU 601s, SWer 602s, and Storage 603s. Details on this point will be described later.
  • CCU601 is a device used to supply power to each video camera and to control and adjust each video camera.
  • three CCU 601s corresponding to each of the three video cameras 500 are shown, but the number of CCU 601s in the shooting PL is not limited to three, and may be two or less.
  • SWer602 is a device for switching video signals, a so-called switcher.
  • the SWer 602 switches the video signal to be transmitted (transmitted) at the site of video production or relay.
  • switching of video signals means selecting and outputting one video signal from a plurality of video signals.
  • the Storage 603 is a storage device that stores various types of information (data). For example, the Storage 603 stores images, metadata, and the like captured by each video camera 500.
  • SWer602 switches the video signal to be transmitted to SWer21 of the production BS. Further, SWer602 switches the video signal to be transmitted to MasterSWer41 of the distribution DL.
  • the live video production system 5 includes a video camera 500, SWer21, CCU22, and the like as various devices related to the production BS.
  • the video camera 500 of the production BS is a video camera (system camera) arranged in the studio SD.
  • SWer21 is a switcher and is arranged in the sub-studio SS.
  • the CCU 22 is located in the sub-studio SS.
  • the arrangement of each device of the production BS is an example, and each device is arranged at various places according to the configuration of the production BS and the like.
  • the live video production system 5 includes MasterSWer31 and the like as various devices related to broadcasting BR.
  • MasterSWer31 is a switcher and is arranged in a facility of a business operator that provides broadcasting services, such as a master control room MC.
  • the live video production system 5 includes a MasterSWer 41, a distribution server, and the like as various devices related to the distribution DL.
  • the MasterSWer 41 is a switcher and is located at a facility of a business operator that provides an OTT service.
  • the production company receives requests for video production from content holders who have broadcasting rights and broadcasting stations that have signed broadcasting rights contracts with the content holders.
  • the production company that has received the request for video production prepares equipment necessary for video production, such as a video camera 500, at the competition venue where the target competition is held, and produces a desired video.
  • equipment necessary for video production such as a video camera 500
  • the production company arranges the video camera 500 in the competition venue and the OBVAN 600 in the vicinity of the competition venue.
  • the video camera 500 installed at the competition venue is connected to the OBVAN 600 via an optical fiber cable or a dedicated coaxial cable.
  • the video camera 500 and the OBVAN 600 are connected via an optical fiber cable or a dedicated coaxial cable.
  • the video camera 500 and the OBVAN 600 may be directly connected, or the video camera 500 may be connected to the input terminal installed in the competition venue, and the distribution board and the OBVAN 600 also installed in the competition venue may be connected. It may be connected indirectly with.
  • the OBVAN 600 is equipped with equipment necessary for video production other than the video camera 500.
  • the OBVAN 600 shown in FIG. 16 shows a configuration in which the components other than the CCU 601 and SWer 602 are omitted, but the OBVAN 600 includes various devices other than the CCU and SWer.
  • the OBVAN 600 includes a CCU, a switcher (SWer / Mixier / Tally), a video server (Video), a replay server (Replay), an editor (Edit), graphics (GFX), a monitor (Motor), and a synchronization signal generator. Is provided.
  • the video server (Video), the replay server (Play), the editing machine (Edit), the graphics (GFX), and the monitor (Motor) are not shown.
  • the CCU601 has functions for power supply of each corresponding video camera and operation and management of setting information such as aperture (Iris), and an operator (for example, VE (for example, VE (for example)) does not cause a sense of discomfort when switching each video signal.
  • the necessary image quality adjustment is performed by the video engineer)).
  • VE is an operator who adjusts and sets video cameras and various video devices.
  • the VE operates a plurality of CCUs while observing the images of each video camera displayed on a plurality of monitors installed in the OBVAN corresponding to each video camera.
  • the image quality adjustment itself based on the control command from the CCU is executed by the video camera.
  • the operator VE gets on the OBVAN 600 and performs various operations as described above. In this way, in the live video production system 5, a large number of VEs get on the OBVAN 600 and are dispatched to the vicinity of the shooting site.
  • each video signal of each video camera 500 is input from the corresponding CCU601 to the switcher, the video server, the replay server, or the editing machine via the router, and the necessary processing is performed by the operator of each device.
  • each video signal is synchronized (Genlock: Generator Lock) based on the synchronization signal output from the synchronization signal generator.
  • the switcher SWer602 switches the video signal of each video camera 500 (including the video signal processed by Edit and GFX) and the highlight video and slow video signals produced by the replay server by the operation of the operator. It is transmitted to a broadcasting station (studio) or a distribution server (OTT).
  • the video signals captured by the video cameras 500 and 200 may be described as individual video signals or imaged signals, and the video signals processed by Edit, GFX or Play may be described as processed video signals or edited video signals. ..
  • a video signal output from SWer 103 of the cloud server 100 or SWer 602 of the OBVAN 600, which will be described later, and input to SWer 21 of the production station BS may be described as a main line video signal or a first main line video signal.
  • the video signal output from the MasterSWer 31 or 41 and transmitted as a television broadcast by the radio tower RW or the like or distributed to the device DV1 via the cloud CL is described as a main line video signal or a second main line video signal.
  • each video signal is described without particular distinction, for example, when it is a dotted line in the figure, it is described as a video signal. In the description of display and the like, the video signal may be simply described as video.
  • a video signal (first line video signal) is transmitted from the transmitter (TX) of the OBVAN 600 to the receiver (RX) of the studio, and the master control room (master control room) is transmitted via the switcher of the studio. ) Is output as a video signal for broadcasting (second main line video signal) from the master switcher. That is, in the example of FIG. 16, the first main line video signal from the OBVAN 600 is transmitted to the Master SWer 31 of the broadcasting BR via the SWer 21 of the production BS. However, for example, depending on the content of the production, the switcher (SWer602) of the OBVAN 600 may directly supply the video for broadcasting without going through the studio. In this case, for example, the first main line video signal from the OBVAN 600 may be directly transmitted to the MasterSWer 31 of the broadcast BR without passing through the studio (production BS).
  • the production BS will be described.
  • Various devices related to the production BS are used by a business operator who produces contents related to live video.
  • Various devices related to the production BS are used by, for example, a broadcasting station.
  • Various devices related to the production BS are used, for example, by the production department of a broadcasting station or affiliated stations.
  • the first main line video signal (video produced by the production company) transmitted from the TX of the OBVAN 600 is received by the RX of the broadcasting station (production BS). If the video production includes video outside the competition venue, it will also be shot in the studio. For example, when a video such as a commentary scene is included, shooting is also performed in the studio SD or the like shown in FIG. In this case, the studio video signal and the first main line video signal output from the OBVAN 600 are input to the studio (sub) switcher 21.
  • the studio (sub) is also called the sub-control room (reception sub).
  • the individual video signal captured by the video camera 500 of the studio SS and the first main line video signal output from the OBVAN 600 are input to SWer21 of the sub studio SS, which is the studio (sub) shown in FIG.
  • the studio (sub) may have the same functions (Play, Edit, GFX, etc.) as some functions in OBVAN, and the processed video signals processed by these may also be input to the switcher.
  • the switcher for example, SWer21
  • the master switcher is a switcher that outputs a second main line video signal for broadcasting.
  • broadcast BR Various devices related to broadcasting BR are used by businesses that broadcast live video. Various devices related to broadcasting BR are used, for example, by broadcasting stations. Various devices related to broadcasting BR are used, for example, by a transmitting department or a key station of a broadcasting station.
  • the second main line video signal output from the master switcher (for example, MasterSWer31) is transmitted as a television broadcast.
  • the second main line video signal output from the MasterSWer 31 is transmitted as a television broadcast by a radio tower RW or the like.
  • the second main line video signal output from the master switcher may be distributed on the net via a cloud server.
  • the second main line video signal output from the master switcher is distributed to the device DV1 which is a terminal device used by the viewer via the cloud CL.
  • the cloud CL may be outside the broadcast BR instead of inside the broadcast BR.
  • the device DV1 may be a device such as a notebook PC (Personal Computer), a desktop PC, a smartphone, a tablet terminal, a mobile phone, or a PDA (Personal Digital Assistant).
  • the distribution DL will be described.
  • Various devices related to the distribution DL are used by a business operator that distributes live video.
  • Various devices related to the distribution DL are used by, for example, a distribution company.
  • Various devices related to the distribution DL are used, for example, by a business operator that provides an OTT service.
  • the first main line video signal output from the OBVAN 600 is input to the OTT server.
  • the video produced via the master switcher is distributed using the Internet in the same manner as the broadcasting station (sending department).
  • the video is distributed via the MasterSWer 41, which is the master switcher of the distribution DL.
  • the video signal (first main line video signal) input to the master switcher is distributed to the device DV2, which is a terminal device used by the viewer, via the cloud CL.
  • a separate studio may be set up and the shot video may be included in the produced video as in the case of the above broadcasting station (production department).
  • the number of videos produced and distributed is not limited to one, and may be plural.
  • Live video system of the present disclosure Part 2
  • the live video production system 1 of the present disclosure will be described.
  • the same points as in the live video production system 5 in the live video production system 1 will be omitted as appropriate.
  • the efficiency of live video production can be improved by using the cloud or MEC (Multi-access Edge Computing) described later.
  • the live video production system 1 can improve the efficiency of live video production by using the cloud server 100.
  • the live video production system 1 includes various devices related to shooting PL such as a plurality of video cameras 200, a cloud server 100, a terminal device 10, various devices related to a production BS, and various devices related to a distribution DL. And various devices related to broadcasting BR are included.
  • shooting PL such as a plurality of video cameras 200
  • cloud server 100 a terminal device 10
  • various devices related to a production BS various devices related to a distribution DL.
  • various devices related to broadcasting BR are included.
  • each device shown in the live video production system 1 will be briefly described.
  • the dotted line connecting each component of the device or the like in FIG. 1 indicates a video signal.
  • the device shown in FIG. 1 is a part of the device included in the live video production system 1, and the live video production system 1 includes not only the device shown in FIG. 1 but also various devices necessary for realizing the function. ..
  • the live video production system 1 includes video cameras 200-1, 200-2, 200-3, and the like as various devices related to the shooting PL.
  • the video cameras 200-1, 200-2, 200-3, etc. are described without particular distinction, they are described as the video camera 200.
  • the video camera 200 of the shooting PL is a video camera (system camera) arranged at the competition venue.
  • system camera system camera
  • three video cameras 200 are shown for the shooting PL, but the number of video cameras 200 for the shooting PL is not limited to three, and may be four or more, or two. It may be as follows.
  • the video camera 200 captures a subject.
  • Each video camera 200 communicates with the cloud server 100 via the Internet by wireless communication.
  • Each video camera 200 transmits the captured individual video signal to the cloud server 100 by wireless communication.
  • the communication method for wireless communication may be any communication method as long as a band capable of transmitting a video signal can be secured.
  • the communication method of wireless communication may be a cellular network such as 3G (3rd generation mobile communication standard), 4G (4th generation mobile communication standard), LTE (Long Term Evolution), 5G (5th generation mobile communication standard). Often, it may be Wi-Fi (registered trademark) (Wireless Fidelity) or the like.
  • Each video camera 200 communicates with the cellular network when the communication method of wireless communication is a cellular network, further communicates with the cloud server 100 via the Internet, and directly connects to the Internet when the communication method of wireless communication is Wi-Fi. Connect to the cloud server via. The details of the video camera 200 will be described later.
  • the cloud server 100 is a server device (computer) used to provide a cloud service.
  • the cloud server 100 has a function as RX101 which is a receiving device.
  • the cloud server 100 transmits and receives information (signals) to and from a remote video camera 200 by the function of the RX101.
  • the cloud server 100 has at least a part of the functions of the CCU.
  • the cloud server 100 has a CCU 102 that realizes at least a part of the functions of the CCU. In this way, the cloud server 100 is used to realize the function of the CCU on the cloud.
  • the CCU function realized by the cloud server 100 may be described as CCU software.
  • the cloud server 100 has a switcher function for switching video signals.
  • the cloud server 100 has a SWer 103.
  • the cloud server 100 realizes a function as a switcher by SWer103.
  • the cloud server 100 switches the video signal to be transmitted to SWer21 of the production BS by SWer103. For example, the cloud server 100 selects the video signal to be transmitted to the SWer 21 of the production BS from the individual video signals received from each video camera 200 by the SWer 103.
  • the cloud server 100 switches the video signal to be transmitted to the MasterSWer 41 of the distribution DL by the function of the cloud switcher. For example, the cloud server 100 selects a video signal to be transmitted to the MasterSWer 41 of the distribution DL from the individual video signals received from each video camera 200 by the function of the cloud switcher.
  • the relationship between the shooting PL and the cloud is a relationship via a base station or a core net (core network).
  • Wireless communication is performed by the camera / base station, and the base station / core net / Internet is connected by wire, and priority communication is performed during this period.
  • Wireless communication is performed between the camera and the base station, and wired communication is performed while the base station, the core net, and the Internet are connected by wire.
  • the photographing PL and the cloud server 100 have a relationship via the base station 50 or the core net as shown by the alternate long and short dash line.
  • the video camera 200 and the cloud server 100 communicate with each other via a base station or a core net.
  • the video camera 200 and the cloud server 100 communicate with each other via the base station 50.
  • the base station 50 may be a base station (5G base station) that provides 5G communication.
  • wireless communication is performed between the video camera 200 and the base station 50, and wired communication is performed while the base station 50, the core net, and the Internet are connected by wire.
  • the video camera 200 transmits the captured individual video signals to the cloud server 100 via the base station 50 or the core net.
  • the cloud server 100 receives a plurality of individual video signals via the base station 50 or the core net, and transmits a remote control signal.
  • the cloud server 100 receives a plurality of individual video signals by 5G communication.
  • the cloud server 100 transmits a remote control signal by 5G communication.
  • the relationship between the photographing PL and the cloud or MEC is shown by a two-dot chain line as in FIG. 1, and the description thereof will be omitted.
  • the cloud server 100 has a function as a storage device for storing various types of information (data).
  • the cloud server 100 realizes a function as a storage device by the storage 104.
  • the cloud server 100 stores images captured by each video camera 200 by the function of the storage device.
  • the live video production system 1 includes a video camera 500, SWer21, CCU22, and the like as various devices related to the production BS.
  • the SWer 21 receives the first main line video signal from the cloud server 100.
  • the SWer 21 is arranged in a broadcasting station (production BS) and functions as a receiving device that receives a first-line video signal from the cloud server 100.
  • the live video production system 1 includes MasterSWer31 and the like as various devices related to broadcasting BR.
  • the live video production system 1 includes a MasterSWer 41, a distribution server, and the like as various devices related to the distribution DL.
  • the MasterSWer 41 receives the first main line video signal from the cloud server 100.
  • the terminal device 10 is a computer used to realize remote control by an operator such as VE.
  • the terminal device 10 is used, for example, in a broadcasting station or at a base other than the broadcasting station (other than the shooting site).
  • the terminal device 10 transmits / receives information to / from the cloud server 100 via wireless communication.
  • the terminal device 10 has a function of RC11 which is a remote controller.
  • the terminal device 10 transmits the operation information received from the operator by the function of the RC 11 to the cloud server 100. The details of the terminal device 10 used by each operator will be described later.
  • the terminal device 10 has a function of a controller 12 which is a display device.
  • the terminal device 10 displays the video received from the cloud server 100 by the function of the controller 12.
  • the details of the terminal device 10 will be described later.
  • FIG. 1 a case where the function of the RC 11 and the function of the Controller 12 are realized by the terminal device 10 is shown, but the device that realizes the function of the RC 11 and the device that realizes the function of the Controller 12 are separate bodies. It may be.
  • the functions of the RC11 are realized by the operator's notebook PC, desktop PC, smartphone, tablet terminal, mobile phone, PDA, etc., and the functions of the Monitor 12 are large, separate from the RC11 device. It may be realized by a display.
  • the OBVAN 600 on which an operator such as VE is on board is dispatched to a place (also referred to as “local”) where the video is taken, such as a competition venue, and live video production is performed.
  • a place also referred to as “local”
  • live video production is performed.
  • the live video production system 1 can further improve the efficiency of live video production as compared with the live video production system 5 as described below.
  • the efficiency of live video production can be improved by converting the function of the OBVAN 600 in the live video production system 5 into a cloud.
  • the cloud (cloud server 100) is provided with a function related to video output control based on a plurality of videos (cloud switcher, etc.) and a function related to remote control (remote control).
  • each video signal of the video camera is input to the cloud server 100 instead of the OBVAN, and each operator can operate at a remote location different from the site (competition venue). can.
  • resources can be concentrated at a predetermined base without going to the site, so that the resources at the site are reduced.
  • the directors There is also the issue of wanting to operate efficiently with a limited number of directors, and by consolidating VEs etc. in one place, the directors only need to be at that base, and there is no need to send the directors to the site.
  • the live video production system 1 it is possible to reduce the preparations such as the connection between the video camera and the CCU in the field, the wiring, and the test after the wiring, so that the workflow efficiency can be improved. Further, in the live video production system 1, by consolidating the production staff, a plurality of contents can be produced by the same person per day.
  • the live video production system 1 can perform live video production without using OBVAN by using the cloud server 100. Therefore, the live video production system 1 can flexibly arrange the physical positions of the personnel involved in the live video production, and can improve the efficiency of the live video production.
  • the live video production system 1 shown in FIG. 2 includes a cloud server 100, a video camera 200, and a terminal device 10.
  • the cloud server 100, the video camera 200, and the terminal device 10 are wirelessly or wiredly connected to each other via a predetermined communication network (network RN).
  • the video camera 200 communicates with the base station 50 and further communicates with the cloud server 100 via the network RN which is the Internet.
  • wireless communication is performed between the video camera 200 and the base station 50, and wired communication is performed while the base station 50, the core net, and the network RN which is the Internet are connected by wire.
  • FIG. 2 is a diagram showing a configuration example of a live video production system according to the first embodiment.
  • the live video production system 1 shown in FIG. 2 may include a plurality of cloud servers 100, a plurality of video cameras 200, and a plurality of terminal devices 10.
  • the example of FIG. 1 shows a case where the live video production system 1 includes three video cameras 200.
  • the live video production system 1 may include a plurality of terminal devices 10 corresponding to each of the plurality of operators.
  • the cloud server 100, the video camera 200, and the terminal device 10 are shown in FIG. 2, the live video production system 1 is not limited to the cloud server 100, the video camera 200, and the terminal device 10, and FIG. And various devices as shown in FIG. 3 may be included.
  • the cloud server 100 is an information processing device used to realize cloud computing in the live video production system 1.
  • the cloud server 100 is a device provided at a point (base) different from the shooting location (site) where the video camera 200 is located.
  • the cloud server 100 performs signal processing on the image captured by the video camera 200.
  • the cloud server 100 connects to the video camera 200 via wireless communication.
  • the cloud server 100 receives individual video signals captured by a plurality of video cameras 200 via wireless communication, and transmits a main line video signal (first main line video signal) based on the individual video signals.
  • the cloud server 100 obtains a main line video signal by output control of a video based on a plurality of received individual video signals in response to a first operation signal which is an operation signal related to editing of a video received from the outside.
  • the cloud server 100 transmits a remote control signal to at least one of the plurality of video cameras 200 via wireless communication in response to a second operation signal which is an operation signal related to the control of the video camera 200 received from the outside. do.
  • the cloud server 100 executes processing according to the operation signal received from the terminal device 10.
  • the cloud server 100 performs a process that enables voice communication for communication between the camera operator who operates the video camera 200 selected by the operator (VE) and the operator.
  • the cloud server 100 uses the information associated with each of the plurality of video cameras 200 and the camera operator operating each of the plurality of video cameras 200 to operate the camera operator selected by the operator. It identifies and performs a process that enables voice communication between the camera operator and the operator via an intercom or the like.
  • the cloud server 100 performs output control including at least one of output switching, video composition, still image generation, moving image generation, and replay video generation.
  • the cloud server 100 performs processing including at least one of Switcher, Edit, Graphics (GFX), and Replay.
  • the cloud server 100 transmits a remote control signal for remotely controlling the video camera 200 to at least one of the plurality of video cameras 200.
  • the cloud server 100 transmits a remote control signal that adjusts at least one of pan, tilt, or zoom.
  • the cloud server 100 transmits a remote control signal for remotely controlling the position of the video camera 200 to the position changing mechanism of the video camera 200.
  • the cloud server 100 has a video analysis function, and extracts or generates information such as Stats information using the analysis result. Further, the cloud server 100 has a function of collecting individual video signals, main line video signals, edited video signals, STATS, meta information used for CMS, and the like in a DB (database).
  • the cloud server 100 realizes the function of the camera control unit.
  • the cloud server 100 is a signal processing device that processes signals related to images captured by a video camera.
  • the cloud server 100 communicates with the video camera and supplies a reference signal to the video camera.
  • the reference signal is generated in the cloud server 100 and is used for synchronization matching described later.
  • the cloud server 100 receives a signal from a video camera, processes the received signal, and outputs a signal in a predetermined format.
  • the cloud server 100 has a function of controlling the aperture of the video camera, the white and black levels of the video signal, the color tone, and the like.
  • the cloud server 100 transmits a control signal for controlling the aperture of the video camera, the white and black levels of the video signal, the color tone, and the like to the video camera.
  • the device of the cloud server 100 or the production BS has a connection control / management function for connecting the video camera 200 and the cloud server 100 and controlling and managing the live transmission (live streams) of the video acquired by the video camera 200.
  • Software Connection Control Manager software
  • This software is a program related to UI (User Interface) display control for displaying thumbnails corresponding to images transmitted from a plurality of video cameras 200 connected to the cloud server 100 and monitoring the output status from each receiver. including. It also includes a program for displaying a UI for controlling the connection of the video camera 200, the transmission bit rate, and the delay amount.
  • a QoS Quality of Service
  • a device such as a video camera 200
  • MPEG-2 TS including forward error correction (FEC) for QoS
  • MMT MPEG Media Transport
  • the transmission band and the buffer size are adjusted according to the conditions and characteristics of the transmission line.
  • the video camera 200 has a wireless communication function and connects to the cloud server 100 via wireless communication.
  • the image pickup operation of the video camera 200 is controlled according to the remote control signal.
  • the video camera 200 wirelessly transmits the captured individual video signals.
  • the video camera 200 transmits the captured individual video signal to the cloud server 100.
  • the video camera 200 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor (also simply referred to as “CMOS”) as an image sensor (imaging element).
  • CMOS Complementary Metal Oxide Semiconductor
  • imaging element imaging element
  • the video camera 200 is not limited to CMOS, and may be provided with various image sensors such as a CCD (Charge Coupled Device) image sensor.
  • CCD Charge Coupled Device
  • the video camera 200 has a control unit realized by integrated circuits such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array).
  • the control unit of the video camera 200 is realized by executing a program stored in the video camera 200 with a RAM (Random Access Memory) or the like as a work area.
  • the control unit of the video camera 200 is not limited to the CPU, MPU, ASIC, and FPGA, and may be realized by various means.
  • the video camera 200 includes, for example, a communication unit realized by a NIC (Network Interface Card), a communication circuit, etc., is connected to a network RN (Internet, etc.) by wire or wirelessly, and is connected to a cloud server 100, etc. via the network RN. Sends and receives information to and from other devices.
  • the video camera 200 transmits and receives a video signal, a remote control signal, and the like to and from the cloud server 100 via radio.
  • the video camera 200 may have a communication function by a wireless transmission box that is detachably attached.
  • the video camera 200 is detachably attached to a wireless transmission box, and the captured individual video signals are transmitted to the nearest communication base station or access point through the wireless transmission box using a predetermined communication method, and the Internet. It is received by a receiver (Rx) installed in the broadcasting station via.
  • the function of the wireless transmission box may be provided in the video camera 200 (built-in). If it is configured to be removable, maintenance and software version upgrades can be easily performed in the event of a failure. On the other hand, when the function of the wireless transmission box is provided in the video camera 200, the size of the device as a whole can be reduced and the cost can be reduced.
  • the video camera 200 may be provided with a position changing mechanism.
  • the position changing mechanism may have, for example, a tire or a motor (driving unit) for driving the tire, and may have a configuration in which the video camera 200 functions as a vehicle.
  • the position changing mechanism has, for example, a propeller (propeller), a motor (driving unit) for driving the propeller, and the like, and has a configuration in which the video camera 200 functions as a UAV (Unmanned Aerial Vehicle) such as a drone. May be good.
  • the position changing mechanism of the video camera 200 receives a remote control signal for remotely controlling the position of the video camera 200 from the cloud server 100.
  • the position changing mechanism of the video camera 200 moves based on the received remote control signal.
  • the terminal device 10 is a computer (information processing device) used for remote operation.
  • the terminal device 10 may be different for each operator or may be the same.
  • the terminal device 10 may be a device such as a notebook PC, a desktop PC, a smartphone, a tablet terminal, a mobile phone, or a PDA.
  • the terminal device 10 is used by the operator and transmits an operation signal corresponding to the operator's operation to the cloud server 100.
  • the terminal device 10 transmits information indicating the video camera 200 selected by the operator among the plurality of video cameras 200 to the cloud server 100.
  • the terminal device 10 is a device device used by an operator such as VE.
  • the terminal device 10 accepts input by the operator.
  • the terminal device 10 accepts an input operated by an operator.
  • the terminal device 10 displays information to be notified to the operator.
  • the terminal device 10 displays information according to the input of the operator.
  • the terminal device 10 receives information from an external device such as the cloud server 100.
  • the terminal device 10 may be any device as long as it can perform the above-mentioned processing such as reception, transmission, and display.
  • the terminal device 10 has a control unit corresponding to RC11 in FIG.
  • the terminal device 10 controls various processes by the control unit.
  • the control unit of the terminal device 10 is realized by an integrated circuit such as a CPU, MPU, ASIC, or FPGA.
  • the control unit of the terminal device 10 is realized by executing a program stored in the terminal device 10 with a RAM or the like as a work area.
  • the control unit of the terminal device 10 is not limited to the CPU, MPU, ASIC, and FPGA, and may be realized by various means.
  • the terminal device 10 includes, for example, a communication unit realized by a NIC, a communication circuit, or the like, is connected to a network RN (Internet, etc.) by wire or wirelessly, and is connected to another device such as a cloud server 100 via the network RN. Sends and receives information to and from.
  • the terminal device 10 transmits and receives operation signals and the like wirelessly or by wire to and from the cloud server 100 via the network RN.
  • the terminal device 10 has a display unit corresponding to the Controller 12 in FIG.
  • the terminal device 10 displays various information by the display unit.
  • the display unit of the terminal device 10 is realized by, for example, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like.
  • the terminal device 10 has an input unit that receives an operation of an operator such as VE.
  • the input unit of the terminal device 10 may be realized by a button provided on the terminal device 10, a keyboard or mouse connected to the terminal device 10, or a touch panel.
  • the live video production system 1 is not limited to the terminal device 10, the cloud server 100, and the video camera 200, and may include various components.
  • the live video production system 1 includes devices installed in studios, sub-studios, etc., devices installed in facilities related to broadcasting such as a master control room, devices installed in facilities related to distribution such as OTT, and the like. It may be.
  • FIG. 3 is a diagram showing an example of a functional block (realized by software) corresponding to the live video production system according to the first embodiment of the present disclosure. The same points as those in FIGS. 1 and 2 will be omitted as appropriate.
  • each device shown in the live video production system 1 will be briefly described with respect to more detailed points from FIG.
  • the dotted line connecting each component of the device or the like in FIG. 3 indicates a video signal.
  • the alternate long and short dash line connecting each component of the device or the like in FIG. 3 indicates a control signal.
  • the solid line connecting each component of the device or the like in FIG. 3 indicates information other than the video signal and the control signal, for example, other information such as meta information.
  • the direction of the arrow shown in FIG. 3 shows an example of the flow of information, and the flow of video signals, control signals, meta information, etc. is not limited to the direction of the arrow. For example, video signals, control signals, meta information, etc.
  • a main line video signal or the like is transmitted / received between a cloud switcher (SWer103 or the like) of the cloud server 100 connected by a dotted line without an arrow and SWer21 of the production BS.
  • SWer103 cloud switcher
  • the device shown in FIG. 3 is a part of the device included in the live video production system 1, and the live video production system 1 includes not only the device shown in FIG. 3 but also various devices necessary for realizing the function. ..
  • FIG. 4 is a diagram showing a configuration example of a cloud server according to the first embodiment of the present disclosure.
  • the cloud server 100 has a communication unit 110, a storage unit 120, a control unit 130, and a DB 140.
  • the cloud server 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the cloud server 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the communication unit 110 is realized by, for example, a NIC or the like. Then, the communication unit 110 is connected to the network RN (see FIG. 2) and transmits / receives information to / from each device of the live video production system 1. The communication unit 110 transmits / receives a signal to / from a remote video camera 200 via wireless communication. The communication unit 110 receives an individual video signal (imaging signal) from the video camera 200. The communication unit 110 transmits a control signal to the video camera 200.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 120 stores various types of information. Individual video signals, main line video signals, edited video signals, STATS, meta information used for CMS, and the like may be aggregated in the storage unit 120. In addition, this information can be used for data archiving, news video production, and the like.
  • the storage unit 120 stores information in which each of the plurality of video cameras 200 is associated with a camera operator who operates each of the plurality of video cameras 200.
  • the storage unit 120 stores information used for output switching, video composition, still image generation, moving image generation, and replay video generation.
  • the storage unit 120 stores information used to realize a function as a switcher (Switcher), an edit (Edit), a graphic (GFX), a replay (Replay), or a CMS.
  • the storage unit 120 stores information used to realize the function as a CCU.
  • the control unit 130 is realized by, for example, a CPU, an MPU, or the like executing a program stored inside the cloud server 100 (for example, an information processing program according to the present disclosure) with a RAM or the like as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 130 has a communication control unit 131 and a processing unit 132, and realizes or executes an information processing function or operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 4, and may be another configuration as long as it is a configuration for performing information processing described later.
  • connection relationship of each processing unit included in the control unit 130 is not limited to the connection relationship shown in FIG. 4, and may be another connection relationship.
  • the communication control unit 131 controls the communication by the communication unit 110.
  • the communication unit 110 communicates under the control of the communication control unit 131.
  • the processing unit 132 performs signal processing related to the video signal.
  • the processing unit 132 analyzes the image captured by the video camera 200.
  • the processing unit 132 extracts various information such as Stats information.
  • the processing unit 132 generates various information such as Stats information.
  • the processing unit 132 executes the output switching process.
  • the processing unit 132 executes a video composition process.
  • the processing unit 132 executes a process of generating a still image.
  • the processing unit 132 executes a process of generating a moving image.
  • the processing unit 132 executes the process of generating the replay video.
  • the processing unit 132 executes the function of SWer103.
  • the processing unit 132 executes the function of Edit 107.
  • the processing unit 132 executes the function of the GFX 108.
  • the processing unit 132 executes the function of the Play 106.
  • the DB140 includes stats112 and event-related information DB.
  • the DB140 is a database that stores status information and event-related information.
  • the DB 140 may be included in the storage unit 120.
  • the cloud server 100 has an RX / TX 105 which is a communication unit 110.
  • the RX / TX105 is a configuration in which the RX101 of FIG. 1 is described in more detail.
  • the CCU 102 of the cloud server 100 provides functions for converting video signals, operating and managing system camera setting information.
  • SWer103 of the cloud server 100 switches between a video signal (individual video signal) input to the cloud server 100 and a video signal (processed video signal) generated in the cloud server 100, and outputs the video signal to the outside of the cloud server 100.
  • SWer103 of the cloud server 100 may superimpose graphics such as telops and logos at the time of this switching.
  • the SWer 103 of the cloud server 100 has a function of giving special effects (wipe, graphic, fade in / out) to the video at the time of switching.
  • the cloud server 100 has a Play 106 used for producing a replay video.
  • the cloud server 100 generates images such as highlights by Play106.
  • the Play 106 generates a replay video based on the video signal (individual video signal) input and stored in the cloud server 100, and based on the operation information from the outside (user) input to the cloud server 100. Details of the functions of Play106 and the operator in charge of Play106 will be described later.
  • the cloud server 100 has an Edit 107 used for editing a moving image or the like.
  • the cloud server 100 uses Edit 107 to insert or superimpose a video such as an interview or introduction of a player in a video.
  • Edit 107 edits the video signal input to the cloud server 100 based on the operation information from the outside (terminal device 10) input to the cloud server, and edits the processed video signal (edited video signal). ) Is generated. Details of the functions of Edit 107 and the operator in charge of Edit 107 will be described later.
  • the cloud server 100 has a GFX 108 used for graphics using still images, moving images, and the like.
  • the cloud server 100 superimposes a scoreboard, a telop, a photograph of a player, and the like on a video by GFX108.
  • the GFX of the cloud server 100 performs superposition using information such as Stats information held by the Stats 112 of the cloud server 100.
  • the GFX 108 edits the video signal (individual video signal) input to the cloud server 100 based on the operation information from the outside (terminal device 10) input to the cloud server 100, and adds a graphic. Generates a video signal (processed video signal). For example, GFX108 superimposes graphics in cooperation with SWer103 (video switcher on the cloud). Details of the functions of GFX108 and the operator in charge of GFX108 will be described later.
  • the cloud server 100 has Analytics 109 used for analyzing a video and extracting or generating information such as Stats information using the analysis result.
  • the cloud server 100 may analyze a stadium sensor (for example, GPS attached to a player) or an image by Analysis 109 and perform visualization (for example, movement of the player).
  • the cloud server 100 may perform a process of recognizing a player's face by Analytics 109 and displaying information on the specified player based on the recognition result.
  • the cloud server 100 may automatically generate a replay image by using Analytics 109.
  • the cloud server 100 may perform analysis processing by using the techniques related to machine learning and AI (artificial intelligence) by Analytics 109.
  • the cloud server 100 may use the history information operated by the operator by Analytics 109 to automate the operation performed by a human by using a technique related to machine learning or AI (artificial intelligence).
  • the cloud server 100 is performed by a human using a technique related to machine learning or AI (artificial intelligence) using history information operated by a highly skilled operator (expert) as an example of a method of realizing the function of Automations109. You may automate the operation you are doing.
  • the cloud server 100 has a CMS 111.
  • the CMS 111 of the cloud server 100 functions as a content management system (Contents Management System).
  • the CMS 111 of the cloud server 100 is a control unit that manages content data in cooperation with the Storage 104.
  • CMS111 receives video, audio, and various metadata related to coverage, processing, transmission, and distribution from various systems and functions, stores them in storage for storage, and provides functions for efficiently searching, viewing, and editing. ..
  • the Status 112 of the cloud server 100 corresponds to the Storage 104 of the cloud server 100 in FIG.
  • the Status 112 of the cloud server 100 receives and stores match information and the like from a sensor in the stadium or from an external server.
  • the Status 112 of the cloud server 100 receives match information and the like from the external server NW1.
  • the Status 112 of the cloud server 100 may receive match information and the like from an external server NW1 managed by an organization that hosts the match.
  • the Stats 112 may include the analysis result of the Analytics 109.
  • the Data Mng 113 of the cloud server 100 corresponds to the Storage 104 of the cloud server 100 in FIG.
  • the Data Mng 113 of the cloud server 100 mainly provides a function of storing and managing data generated by analyzing video and data such as weather received from an external system.
  • the Data Mng 113 of the cloud server 100 receives information such as analysis results from the Analytics 109 of the cloud server 100 and the external server NW2.
  • Data Mng113 of the cloud server 100 receives information such as an analysis result by Analytics 109.
  • the Data Mng 113 of the cloud server 100 provides information such as the received analysis result to the Stats 112 of the cloud server 100.
  • Edit23 of the production BS provides the same function as Edit107 of the cloud server 100.
  • the Edit 23 of the production BS is a device that provides the same editing functions as the Edit 107 of the cloud server 100.
  • the production BS GFX24 provides the same functions as the cloud server 100 GFX108.
  • the production BS GFX24 is a device that provides the same editing functions as the GFX108 of the cloud server 100.
  • the database DB of the production BS stores various information (including past images as an archive) used in the production BS.
  • the database DB of the production BS may have the same information as the storage 104, Stats112, Data Mng113, etc. of the cloud server 100.
  • the broadcast BR database DB stores various information used in the broadcast BR.
  • the database DB of the broadcast BR may have the same information as the storage 104, Stats112, Data Mng113, etc. of the cloud server 100.
  • the database DB of the distribution DL stores various information used in the broadcast BR.
  • the database DB of the distribution DL may have the same information as the storage 104, Stats112, Data Mng113, etc. of the cloud server 100.
  • a plurality of terminal devices 10 are used according to the operation of each operator and the operation of each function.
  • the terminal device 10 is prepared for each operator.
  • one terminal device 10 is shown to control a plurality of functions, but each terminal device 10 controls a corresponding function.
  • the RO terminal device 10 includes a monitor for displaying each video camera image (may be integrated into one unit) and an operation unit for Play image editing (for example, an operation panel).
  • the operation panel has a function for generating or playing a Play image, for example, a function for switching the camera image, a function for cutting the camera image on the time axis (in point / out point), and cropping and enlarging the camera image.
  • the terminal device 10 for RO includes an operation unit corresponding to each function. The RO operates the operation unit corresponding to these functions, and produces a play image when a predetermined event (for example, a scoring scene) occurs.
  • the camera image received from each video camera 200 is stored in the cloud server 100 (Storage function) at any time.
  • the terminal device 10 receives each camera image in real time via the cloud server 100 (Storage function), displays the images of each camera side by side on the monitor, and displays the image for editing. While checking the image displayed on the monitor, the RO operates the operation unit corresponding to each of the above-mentioned functions on the operation panel, and on the cloud server 100, for example, the function of DaaS (Desktop as a service) is performed. Use to produce Play video.
  • the terminal device 10 transmits an operation signal corresponding to the operation by the operation unit to the cloud (cloud server 100 or the like), and various processes for the video are performed in the cloud server 100 according to the operation signal.
  • the cloud server 100 may perform streaming distribution after down-converting each video, or may distribute the down-converted video (HD or the like) and the non-down-converted video (4K or the like) in parallel.
  • the video that is not down-converted may be output to the master monitor, for example, when the terminal device 10 includes a master monitor in addition to the monitor for each operator.
  • the cloud server 100 stores Stats information for adding to the video as graphics such as player information.
  • the Stats information may be registered in advance or may be acquired via a network.
  • the terminal device 10 for GFXO includes a monitor for displaying a video for the main line and an operation panel for editing a GFX video.
  • the operation panel has a function for switching camera images, a function for specifying an area on which graphics are superimposed on the camera image, a function for reading Stats information, and a function for reading predetermined information (for example, reading out) in the specified area.
  • a function for superimposing (Stats information) and the like are included.
  • the terminal device 10 for RO includes an operation unit (including a touch UI) corresponding to each function.
  • GFXO operates the operation unit corresponding to these functions, and produces a GFX image when a predetermined event (a player entrance scene, a scene with a score, etc.) occurs. It is also possible to partially automate all the processing instead of performing it by operating GFXO. For example, a scene containing a score may be detected based on image recognition, and the score may be automatically superimposed according to the detection result.
  • the terminal device 10 for GFXO receives the main line video output by the cloud server 100 (SWer function) in real time by wireless communication or wired communication, and displays it on the monitor. While checking the image displayed on the monitor, GFXO operates the operation unit corresponding to each of the above-mentioned functions on the operation panel, and produces the GFX image using the DaaS function on the cloud server. At this time, the terminal device 10 transmits an operation signal corresponding to the operation by the operation unit to the cloud (cloud server 100 or the like), and various processes for the video are performed in the cloud server 100 according to the operation signal.
  • the cloud server 100 cloud server 100 or the like
  • the video that is not down-converted may be distributed and output to the master monitor, for example, when the terminal device 10 for GFXO has a master monitor in addition to the monitor for the operator.
  • the terminal device 10 for EditO includes a monitor for displaying a video for the main line and an operation panel for editing a GFX video.
  • EditO mainly performs operations related to editing related to moving images.
  • EditO performs operations related to editing an interview video, a player introduction video, and the like.
  • EditO operates the operation unit corresponding to the above-mentioned video editing function on the operation panel while checking the image displayed on the monitor, and produces the image on the cloud server using the DaaS function.
  • the terminal device 10 transmits an operation signal corresponding to the operation by the operation unit to the cloud (cloud server 100 or the like), and various processes for the video are performed in the cloud server 100 according to the operation signal.
  • the video that is not down-converted may be distributed and output to the master monitor, for example, when the terminal device 10 for EditO is provided with a master monitor in addition to the monitor for the operator.
  • the video editing is basically prepared offline in advance (stored in the DB), but the video editing may be performed while observing the situation such as a match in real time. EditO may edit in real time in the same way as RO.
  • SWerO Switcher
  • SWer has a function to perform compositing processing such as video signal switching processing and superimpose.
  • the terminal device 10 for SWerO is an operation for generating a main line image by switching between a monitor (which may be integrated into one unit) for displaying each camera image, a play image, and a GFX image, and various images. Includes panel.
  • the operation panel has a function for switching various images (each camera image, Play image, and GFX image), and is provided with an operation unit corresponding to the function.
  • SWerO produces an image for the main line by operating the operation unit corresponding to the function and switching the image. It is also possible to partially automate all the processing instead of performing it by operating SWerO.
  • the terminal device 10 for SWerO can detect a scene containing a score based on image recognition and automatically switch the video according to the detection result.
  • the terminal device 10 for SWerO performs a superimpose (composite) process of superimposing the video of the commentator on the video of the game in the live broadcasting of sports.
  • the terminal device 10 for SWerO receives each camera image, Play image, and GFX image output by the cloud server 100 (SWer function) in real time by wireless communication or wired communication, and displays them side by side on the monitor. While checking the image displayed on the monitor, SWerO performs an operation (for example, switching) on the operation unit at the image switching timing on the operation panel.
  • the terminal device 10 transmits a switching (trigger) signal to the cloud server 100 (SWer function) according to the operation.
  • the cloud server 100 (SWer function) switches the video (video signal) according to the switching signal, and outputs the main line video (first main line video signal).
  • the video that is not down-converted may be distributed and output to the master monitor, for example, when the terminal device 10 for SWerO has a master monitor in addition to the monitor for the operator.
  • VE Video Engineer
  • the terminal device 10 for VE includes a monitor (for each camera number) corresponding to each camera image and an operation panel (for each camera number) for remote control for each video camera.
  • One person may be in charge of VE for each video camera, or one person may be in charge for each of a plurality of video cameras (for example, three).
  • the remote control here means, for example, a remote control for controlling the IRIS (aperture) of the video camera 200.
  • VE adjusts the brightness of the camera image by controlling the IRIS of the video camera by remote control.
  • the monitor and the operation panel may be shared by each of the plurality of video cameras.
  • the target of remote control is not limited to IRIS (aperture) and may be various targets.
  • the target of remote control may be various targets related to brightness and color tone.
  • the target of remote control may be gain, color balance (tone adjustment / hue / saturation correction), white balance, focus, or the like.
  • the focus when the focus is targeted for remote control, it may be an operation for finally adjusting the focus after adjustment by the operator (CO) of the video camera described later.
  • the terminal device 10 for VE receives each camera image output by the cloud server 100 (SWer function) in real time by wireless communication or wired communication, and displays each camera image on the corresponding monitor.
  • the VE performs an operation for adjusting the target of remote control such as IRIS on the operation panel based on the instruction of the director.
  • the operation panel transmits an operation signal corresponding to the operation to the cloud server 100 (CCU function) by wireless communication or wired communication.
  • the cloud server 100 (CCU function) generates a control signal according to the operation signal, and controls the target of remote control such as IRIS of the video camera based on the control signal.
  • the terminal device 10 for VE may include a monitor for reference video (video set to the standard brightness).
  • the VE adjusts the target of remote control such as IRIS to the operation panel so as to match the brightness of the reference image by checking the reference image displayed on the monitor for the reference image.
  • the video that is not down-converted may be distributed and output to the master monitor, for example, when the terminal device 10 for VE is provided with a master monitor in addition to the monitor for the operator.
  • the terminal device 10 for CO includes a monitor corresponding to each video camera 200 (for each number of video cameras) and an operation panel for remote operation for each video camera 200 (for each number of video cameras).
  • One person may be in charge of CO for each video camera, or one person may be in charge of each of a plurality of video cameras (for example, three).
  • the remote control here means, for example, a remote control for controlling the PTZ (pan / tilt zoom) of the video camera 200.
  • the CO adjusts the angle of view of the camera image by controlling the PTZ of the video camera 200 by remote control.
  • the target of remote control is not limited to the PTZ of the video camera 200, and may be various targets.
  • the target of remote control may be the focus (adjustment).
  • the target of remote operation is not limited to the video camera 200, and may have various configurations attached to the video camera 200, such as a tripod head on which the video camera 200 is installed.
  • the target of remote control may be XYZ control of a mobile body on which the video camera 200 is installed.
  • the moving body may be an unmanned aerial vehicle such as a dolly or a drone, or a device that moves along a cable stretched over the field in a facility such as a stadium.
  • the target of remote control may be various targets depending on the configuration mode of the video camera 200.
  • the terminal device 10 for CO receives each camera image output by the cloud server (SWer function) in real time by wireless communication or wired communication, and displays each camera image on the corresponding monitor.
  • the CO performs an operation for adjusting the target of remote control such as PTZ on the operation panel based on the instruction of the director.
  • the operation panel transmits an operation signal corresponding to the operation to the cloud server (CCU function) by wireless communication or wired communication.
  • the cloud server (CCU function) generates a control signal according to the operation signal, and controls the target of remote control such as PTZ of the video camera based on the control signal.
  • the video that is not down-converted may be distributed and output to the master monitor, for example, when the terminal device 10 for CO has a master monitor in addition to the monitor for the operator.
  • the live video production system 1 is not limited to the functions shown in FIGS. 1 to 3, and may include various functions. This point will be described below.
  • the functions described below are examples of functions that can be included in the live video production system 1, and may or may not be included depending on the purpose and use of the live video production system 1.
  • the cloud server 100 may have an Automation function.
  • the cloud server 100 has an Automation function as a function of automatic control of various functions (switchers, etc.) based on the automatic analysis result.
  • the Automation of the cloud server 100 provides all the automation functions.
  • Automation provides automatic control based on functions and metadata related to video processing and transmission / distribution.
  • Automation provides an automatic cut point editing function based on scene switching information generated by AI, and automatic transmission using transmission list data.
  • Automation automatically controls various functions such as switcher, edit, graphics, and replay.
  • the cloud server 100 automatically switches the video signal to be transmitted.
  • the cloud server 100 automatically generates a replay video.
  • the cloud server 100 may have a Mixier function.
  • the Mixier of the cloud server 100 performs audio output by switching the presence / absence of output, level control, channel switching, etc. for each input audio channel with respect to the audio signal.
  • the cloud server 100 may have a monitoring function. Monitoring of the cloud server 100 provides a monitoring function. Monitoring provides monitoring functions for various systems. For example, Monitoring performs process monitoring on the cloud, network monitoring, monitoring of connections with physical resources, etc. based on logs and alert notifications generated by each system or component. Monitoring provides a monitoring function using general communication technology (Simple Network Management Protocol, etc.), especially in the case of a network.
  • the UI function of the monitoring function associates each camera with the corresponding operating device and monitor as a preliminary preparation, and establishes a connection relationship.
  • the cloud server 100 may have a Tally Master function.
  • the Tally Master of the cloud server 100 provides a function related to the tally signal.
  • Tally Master is a function that converts the device status notification managed by GPI (electric signal) input On / Off to IP and handles it in the network cloud system (live video production system 1 etc.). I will provide a.
  • the various functions on the cloud described above are not limited to the case where all of them are realized on the cloud, and some functions may be executed outside the cloud depending on the purpose and use of the live video production system 1. ..
  • the various functions on the cloud described above are not limited to the case where they are realized by one cloud server 100, and may be realized by a plurality of cloud servers 100.
  • some functions may be realized by physical CCU hardware.
  • a device having a Traffic / Scheduling system function may be arranged in a master control room of the live video production system 1 (for example, a master control room of a broadcast BR).
  • the Traffic / Scheduling system is a top-level system that generates and manages a program structure for one day and appropriately distributes the data to the subordinate systems with the contents suitable for the system.
  • a device having an APC (Automatic Program Controller) function may be arranged in the master control room of the live video production system 1 (for example, the master control room of the broadcasting BR).
  • the APC controls various devices according to the program structure managed by the Traffic / Scheduling system.
  • a device having an Ingest / QC function may be arranged in the master control room of the live video production system 1 (for example, the master control room of the broadcast BR).
  • the Ingest / QC captures the video signal via the router and stores it in the storage under the control of the APC.
  • the program content created by the production is digitized and stored in the storage. At this time, a video output for checking the quality of the digitized video is performed on the monitor.
  • a device having a Tag / index function may be arranged in the master control room of the live video production system 1 (for example, the master control room of the broadcasting BR).
  • Tag / index analyzes, for example, AI or the like on a video (also referred to as “video content”) stored in the storage, and assigns a tag index to the video content.
  • Video content refers to content stored in a storage or the like in the video media format.
  • Tag / index outputs the video content stored in the storage to the monitor, and assigns a tag index based on the input by the user who is checking the video content.
  • a device having an AD-in function may be arranged in the master control room of the live video production system 1 (for example, the master control room of the broadcasting BR).
  • the AD-in outputs the CM (commercial message) stored in the storage to the read switcher under the control of the APC.
  • a device having a CIAB (Channel In-A-Box) function may be arranged in the master control room of the live video production system 1 (for example, the master control room of the broadcasting BR).
  • the CIAB reads the video content from the storage and outputs it to the switcher under the control of the APC.
  • a device having an NRCS (News Room Control System) function may be arranged in the studio of the live video production system 1 (for example, the studio SD of the production BS, the sub-studio SS, etc.).
  • the NRCS is a high-level data system dedicated to news that manages the configuration (sending list) of each news program.
  • the NRCS has a function of creating a plan of coverage information and distributing the plan in cooperation with the transmission list, and has a function of distributing the information to the subordinate system in an appropriate form.
  • a device having an NA (News Automation) function may be arranged in the studio of the live video production system 1 (for example, the studio SD of the production BS, the sub-studio SS, etc.).
  • NA controls various devices (switchers, etc.) according to the configuration managed by NRCS.
  • the image quality of the video may be various image quality (multi-format) such as SDR (Standard Dynamic Range) and HDR (High Dynamic Range).
  • SDR Standard Dynamic Range
  • HDR High Dynamic Range
  • the image quality of the video may be converted between SDR and HDR depending on communication, processing, and the like.
  • the data communication in the live video production system 1 may be performed in any manner as long as the processing in the live video production system 1 is feasible.
  • the live video production system includes a CCU (CCU hardware) that is a physical device
  • the signals between the blocks (components) are the signals except for the signal communication between the video camera 200 and the CCU hardware. It may be communication of an IP-converted signal.
  • CCU300-1 to 300-3 which are physical devices, are included as in the live video production system 1A described later, signal communication between the video camera 200 and CCU300-1 to 300-3 is included. Except for, the signal between each block (component) may be the communication of the IP-converted signal.
  • the synchronization in the live video production system 1 may be performed in any manner as long as the processing in the live video production system 1 is feasible.
  • the reference signal (master clock) is used for synchronization between the video cameras 200.
  • Each video signal is synchronized based on a synchronization signal such as a reference signal supplied from the cloud server 100. Since the time between images may shift due to the delay in the cloud server 100, in this case, the cloud server 100 has a function of synchronizing.
  • the synchronization of the individual camera images (individual video signals) from the plurality of video cameras 200 input to the SWer 103 is performed. For this purpose, for example, the images are synchronized by the time stamp included in the frame of each image.
  • the slowest video is synchronized with the reference.
  • the above-mentioned synchronization of video signals is performed in SWer103, but synchronization may be performed by a device other than SWer103.
  • the operations (SWer / Edit / GFX, etc.) performed by each operator on the video via the terminal device 10 (RC11) are synchronized with the video performed by the operations.
  • the operation signal and the video are synchronized based on the time stamp included in the operation signal generated in response to the operation of the operator and the time stamp of the video to be operated.
  • the above-mentioned synchronization of operator operations is performed in each functional block in the cloud (cloud server 100 or the like).
  • the live video production system 1 may provide a function of assisting VE or CO by an income function.
  • the live video production system 1 may have a function for establishing / switching an intercom voice data communication line (between VE or CO and a camera operator) in a cloud (cloud server 100 or the like).
  • a cloud cloud server 100 or the like.
  • the VE or CO performs an operation of selecting the video camera 200 by the terminal device 10 (RC11) in order to perform a remote operation (IRIS / focus, etc.) on the video camera, the above-mentioned cloud (cloud server 100, etc.)
  • the function uses this selection operation as a trigger to establish a voice communication line with the camera operator of the selected video camera 200.
  • the cloud server 100 may have a VoIP (Voice Over IP (Internet Protocol)) function.
  • the VoIP of the cloud server 100 provides a mechanism for transmitting and receiving audio signals as an IP stream.
  • VoIP is provided to realize the two-way voice communication required during broadcasting operations.
  • VoIP is used for communication between local people such as match venues, directors in remote areas, operators (operators), and the like.
  • VoIP is used for communication between people in the field such as interview sites and people in the studio.
  • the cloud server 100 may manage the authority of each user (human) who uses the live video production system 1.
  • the cloud server 100 may manage the authority of each user (human) regarding the use of VoIP.
  • the cloud server 100 may limit the parties capable of voice communication by VoIP according to the authority of each user (human).
  • the ID of the equipment (video camera) and the ID of the income used as a set with the equipment are associated and managed. do.
  • the cloud server 100 identifies the ID of the video camera by the operation of selecting the video camera by the VE, and connects the intercom associated with the video camera corresponding to the ID and the communication line between the intercom of the selected VE. Control to do.
  • the CMS may be further managed by associating the operator's ID.
  • the live video production system 1 may display information that assists the operator such as VE and CO.
  • the terminal device 10 for VE may calculate an index (numerical value) of the brightness of each camera image as reference information for VE. Further, the terminal device 10 for VE may display the calculated index (numerical value). The terminal device 10 uses the date and time information and the weather information recorded in the Data Mng 113 in the calculation of the brightness index.
  • FIG. 5 is a flowchart showing an example of processing of the live video production system according to the first embodiment.
  • the cloud server 100 receives individual video signals captured by a plurality of video cameras 200 via wireless communication (step S101). Then, the cloud server 100 transmits a main line video signal based on the individual video signal (step S102). The cloud server 100 transmits the generated main line video signal to the device (SWer21) of the production BS.
  • the system configuration of the live video production system is not limited to the first embodiment described above, and may be various system configurations. This point will be described below.
  • the live video production system includes a signal processing device that realizes a part of the CCU function. May be good.
  • the live video production system may include at least one of the plurality of video cameras 200 and a signal processing device that communicates with the cloud server 100 and performs camera-related processing that is processing related to the video camera 200. good.
  • the live video production system 1A of the second embodiment includes a cloud server 100 that realizes a CCU function by CCU software and a CCU (CCU hardware) configured by using a physical hardware housing.
  • CCU 300 that realizes the CCU function is included.
  • the CCU hardware performs the second processing such as gain, color balance, and white balance adjustment (video processing processing), and the CCU software performs processing such as IRIS (aperture) and focus adjustment (for example, mechanical control processing).
  • the first process which is a non-video processing process such as, may be performed.
  • the CCU software may perform control processing such as issuing a control command to the CCU hardware that performs image processing, in addition to mechanical control such as aperture drive and focus lens drive.
  • the division of CCU functions between the cloud server 100 and the CCU 300 is not limited to the above example, and may be any division.
  • a plurality of CCU 300s will be provided in association with each of the plurality of video cameras 200.
  • the live video production system 1A in which the CCU 300, which is a physical CCU (CCU hardware), is arranged between the cloud server 100 and the video camera 200 is shown.
  • the function of the CCU hardware may be realized by BPU (Baseband Processing Unit). Further, the same points as in the first embodiment will be omitted as appropriate.
  • FIG. 6 is a diagram showing an example of a live video production system according to the second embodiment of the present disclosure.
  • the configuration of the live video production system 1A shown in FIG. 6 will be described.
  • the same points as in the live video production system 1 will be omitted as appropriate.
  • the live video production system 1A includes various devices related to shooting PL such as a plurality of video cameras 200 and a plurality of CCU 300s, a cloud server 100, a terminal device 10, various devices related to the production BS, and various devices related to the distribution DL. , Various devices related to broadcasting BR are included.
  • the dotted line connecting each component of the device or the like in FIG. 6 indicates a video signal.
  • the alternate long and short dash line connecting each component of the device or the like in FIG. 6 indicates a control signal.
  • the solid line connecting each component of the device or the like in FIG. 6 indicates information other than the video signal and the control signal, for example, other information such as meta information.
  • FIG. 6 shows an example of the flow of information, and the flow of video signals, control signals, meta information, etc. is not limited to the direction of the arrow. Further, the device shown in FIG. 6 is a part of the device included in the live video production system 1A, and the live video production system 1A includes not only the device shown in FIG. 6 but also various devices necessary for realizing the function. ..
  • the cloud server 100 of the live video production system 1A performs camera optical system control (non-video processing processing) as the first processing among camera-related processing.
  • Camera optical system control includes control for adjusting at least one of the aperture or focus, which is the optical system of the video camera 200.
  • the optical system control mainly controls mechanical mechanisms such as a diaphragm drive mechanism and a focus lens drive mechanism.
  • the cloud server 100 transmits and receives information (signals) to and from a remote CCU 300 via wireless communication by using the RX / TX105.
  • the cloud server 100 transmits and receives video signals and control signals to and from the CCU 300 by means of the RX / TX105.
  • the live video production system 1A includes video cameras 200-1, 200-2, 200-3, CCU300-1, 300-2, 300-3, and the like as various devices related to the shooting PL.
  • CCU300-1, 300-2, 300-3, etc. are described without particular distinction, they are described as CCU300.
  • three CCUs 300 are shown in the figure, the number of CCUs 300 is not limited to three and may be two or less.
  • FIG. 6 shows a case where one CCU 300 is associated with each of the video cameras 200, but one CCU 300 may be associated with two or more video cameras 200.
  • the video camera 200 of the live video production system 1A communicates with the CCU 300.
  • Each video camera 200 communicates with the CCU 300 connected by wire.
  • Each video camera 200 transmits and receives a video signal and a control signal to and from the corresponding CCU 300. The details of the connection and communication mode between the video camera 200 and the CCU 300 will be described later.
  • the CCU 300 is a signal processing device used to control a video camera.
  • the CCU 300 communicates with at least one of the plurality of video cameras 200 and the cloud server 100, and performs camera-related processing that is a process related to the video camera 200.
  • the CCU 300 is different from the first process among the camera-related processes.
  • the video processing process is performed as the second process.
  • the second process is signal processing (video processing process) for the video signal, and includes a process of adjusting at least one of gain, color balance, or white balance.
  • each CCU 300 transmits and receives a video signal and a control signal to and from the corresponding video camera 200.
  • the live video production system 1A has a cloud server 100 that realizes a CCU function by CCU software and a CCU 300 that is a physical CCU (CCU hardware), so that the CCU function is appropriate among the components. Can be shared by. Therefore, the live video production system 1A can improve the efficiency of live video production by using the cloud server.
  • FIG. 7 is a diagram showing a configuration example of a live video production system according to a second embodiment of the present disclosure.
  • the live video production system 1A shown in FIG. 7 will be described.
  • the live video production system 1A includes a cloud server 100, a video camera 200, a CCU 300, and a terminal device 10.
  • the cloud server 100, the CCU 300, and the terminal device 10 are wirelessly or wiredly connected to each other via a predetermined communication network (network RN).
  • the CCU 300 communicates via the base station 50 and further communicates with the cloud server 100 via the network RN which is the Internet.
  • the video camera 200 is communicably connected to the CCU 300. For example, wireless communication is performed between the CCU 300 and the base station 50, and wired communication is performed while the base station 50, the core net, and the network RN which is the Internet are connected by wire.
  • the live video production system 1A shown in FIG. 7 may include a plurality of cloud servers 100, a plurality of video cameras 200, a plurality of CCU 300s, and a plurality of terminal devices 10.
  • the example of FIG. 6 shows a case where the live video production system 1A includes three video cameras 200 and three CCU 300s.
  • the live video production system 1A may include a plurality of terminal devices 10 corresponding to each of the plurality of operators.
  • the cloud server 100, the video camera 200, and the terminal device 10 are shown in FIG. 7, the live video production system 1A is not limited to the cloud server 100, the video camera 200, and the terminal device 10, and FIG. Various devices as shown in may be included.
  • the cloud server 100 is an information processing device used to realize cloud computing in the live video production system 1A.
  • the cloud server 100 is a device provided at a predetermined point (base) remote from the shooting location (site) where the video camera 200 is located.
  • the cloud server 100 has a wireless communication function and performs signal processing on the image captured by the video camera 200.
  • the cloud server 100 wirelessly connects to the CCU 300.
  • the cloud server 100 receives the individual video signals captured by the plurality of video cameras 200 from the CCU 300 via wireless communication, and transmits the main line video signal based on the individual video signals to any one of SWer21, MasterSWer31, and MasterSWer41. ..
  • the cloud server 100 obtains a main line video signal by output control of a video based on a plurality of received individual video signals in response to a first operation signal which is an operation signal related to editing of a video received from the outside.
  • the cloud server 100 responds to a remote control signal for at least one of a plurality of video cameras 200 via wireless communication in response to a second operation signal which is an operation signal related to the control of the video camera 200 received from the outside. It is transmitted to the CCU 300.
  • the video camera 200 communicates with the CCU 300.
  • the imaging operation of the video camera 200 is controlled via the CCU 300 in response to the remote control signal.
  • the imaging operation includes an operation equivalent to non-video processing processing and an operation for PTZ control.
  • the video camera 200 transmits individual video signals captured via the CCU 300.
  • the video camera 200 transmits the captured individual video signal to the cloud server 100 via the CCU 300. Further, power is supplied to the video camera 200 in various ways, and this point will be described later.
  • the CCU 300 has a control unit that controls the video camera.
  • the CCU 300 performs various controls by the control unit.
  • the control unit of the CCU 300 is realized by an integrated circuit such as a CPU, MPU, ASIC, or FPGA.
  • the control unit of the CCU 300 performs various controls by executing a program stored inside the CCU 300 using a RAM or the like as a work area.
  • the control unit of the CCU 300 is not limited to the CPU, MPU, ASIC, and FPGA, and may be realized by various means.
  • the CCU 300 includes, for example, a communication unit realized by a NIC, a communication circuit, or the like, is connected to a network RN (Internet, etc.) by wire or wirelessly, and transmits / receives information to / from the cloud server 100 via the network RN. conduct.
  • the CCU 300 transmits and receives individual video signals, control signals, and the like via wireless communication with the cloud server 100 via the network RN.
  • the CCU 300 transmits and receives individual video signals, control signals, and the like to and from the video camera 200 by wire or wireless connection.
  • FIG. 8A is a diagram showing an example of power supply to the video camera.
  • the video camera 200 and the CCU 300 are connected by an optical / electrical composite cable CB1 in which an optical communication cable and a telecommunication cable are bundled into one.
  • the opto-electric composite cable CB1 is a cable capable of supplying power.
  • the opto-electric composite cable CB1 may have a maximum length of several hundred meters (for example, 600 m or the like).
  • AC power is supplied from the CCU 300 to the video camera 200 by the optical / electric composite cable CB1.
  • the video camera 200 and the CCU 300 communicate with each other via the optical / electrical composite cable CB1, and individual video signals, control signals, etc. are transmitted / received by, for example, a SDI method such as a 12G-SDI (Serial Digital Interface) method.
  • a SDI method such as a 12G-SDI (Serial Digital Interface) method.
  • FIG. 8B is a diagram showing an example of power supply to the video camera.
  • the video camera 200 and the CCU 300 are connected by a single mode optical fiber cable CB2.
  • the optical fiber cable CB2 is an optical fiber cable without power supply.
  • the optical fiber cable CB2 may have a maximum length of several km (for example, 10 km or the like).
  • power is supplied to the video camera 200 by local power supply.
  • a power supply cable different from the optical fiber cable CB2 is connected to the video camera 200, and power is supplied by the power supply cable.
  • the video camera 200 is supplied with power by a power supply cable having a power plug or the like.
  • a direct current (DC) power supply is supplied to the video camera 200.
  • the video camera 200 and the CCU 300 communicate with each other via the optical fiber cable CB2.
  • Individual video signals, control signals, and the like are transmitted and received between the video camera 200 and the CCU 300 by the optical fiber cable CB2.
  • FIG. 8C is a diagram showing an example of power supply to the video camera.
  • the power supply unit UT1 is arranged between the video camera 200 and the CCU 300 is shown.
  • the CCU 300 and the power supply unit UT1 are connected by the optical fiber cable CB2.
  • the optical fiber cable CB2 is a single-mode optical fiber cable without power supply.
  • the optical fiber cable CB2 may have a maximum length of several km (for example, 10 km or the like).
  • the CCU 300 and the power supply unit UT1 communicate with each other via the optical fiber cable CB2 to transmit and receive individual video signals, control signals, and the like.
  • the video camera 200 and the power supply unit UT1 are connected by the optical / electrical composite cable CB1.
  • the opto-electric composite cable CB1 is an opto-electric composite cable capable of supplying power.
  • the opto-electric composite cable CB1 may have a maximum length of several hundred meters (for example, 350 m, etc.).
  • AC power is supplied from the power supply unit UT1 to the video camera 200 by the optical / electric composite cable CB1.
  • the video camera 200 and the power supply unit UT1 communicate with each other via the optical / electrical composite cable CB1. Individual video signals, control signals, and the like are transmitted and received between the video camera 200 and the power supply unit UT1 by the optical-electric composite cable CB1. As a result, the video camera 200 and the CCU 300 communicate with each other via the power supply unit UT1.
  • the video camera 200 may be supplied with power in various ways.
  • power may be supplied from a battery mounted on the video camera 200.
  • FIG. 9 is a diagram showing an example of processing in the live video production system.
  • the following is an example of the CCU hardware 1002 configured as a hardware product having a physical housing.
  • the CCU hardware 1002 does not mean that all the processing is performed by hardware processing, and a part of the processing may be performed by software processing.
  • a single-plate type (single-plate type) video camera 200 using one image sensor (for example, CMOS) will be described as an example.
  • the video camera 200 is not limited to the single-plate method, and other methods such as a three-plate method (three-plate type) using three image sensors (for example, CMOS) may be adopted, and this point will be described later. ..
  • the live video production system 1A includes CCU software 1001, CCU hardware 1002, and a camera head unit CHU.
  • the camera head unit CHU is a video camera 200.
  • the function of the CCU software 1001 is realized by the cloud server 100.
  • the CCU hard 1002 is a CCU 300.
  • the functions of the CCU are divided.
  • the function is divided into a function realized on the cloud by the cloud server 100 and a function realized as a hardware configuration by the CCU 300.
  • the camera head unit CHU includes a configuration such as an image sensor 1010, a CPU 1020, and an RX / TX1030.
  • the interchangeable lens 1040 has a function of adjusting the focus, iris (aperture), and zoom.
  • the image sensor 1010 is an image sensor.
  • the CPU 1020 is a processor and controls the operation of the entire video camera. For example, it adjusts the focus, iris (aperture), and zoom of the interchangeable lens 1040. Further, the CPU 1020 adjusts the pan and tilt by controlling the Pan / Titter of the pan head 1050 or the like.
  • a camera head unit CHU is attached to Pan / Titter.
  • Pan / Titter has a function of adjusting pan and tilt.
  • the Pan / Tilter is separate from the camera head unit CHU, and the camera head unit CHU may be detachable from the Pan / Tilter.
  • the Pan / Titter may be integrated with the camera head unit CHU.
  • a dolly or a drone may be used to adjust pan / tilt.
  • RX / TX1030 has a function as a communication unit (transmission unit and reception unit).
  • the RX / TX1030 is a NIC, a communication circuit, or the like.
  • the image sensor 1010 is composed of, for example, CMOS or CCD, and outputs video data by photoelectrically converting an optical image from a subject incident on the subject via an interchangeable lens 1040.
  • FIG. 9 shows the case of the single plate method, and the RAW data as the video data output from the image sensor 1010 is the video data that maintains the positional relationship of the arrangement of the color filters on the image sensor 1010.
  • the array of color filters is a Bayer array.
  • the RAW data does not include YC, which will be described later.
  • the video data output from the image sensor 1010 is color-separated, and the video data of three planes of R (red), G (green), and B (blue) is also referred to as RAW data. I will do it.
  • the combination of the three video data of R, G, and B output from each image sensor 1010 is also referred to as RAW data.
  • the RAW data is not subjected to YC conversion, that is, the processing of converting RGB data into luminance data Y and color difference data C, which are YC methods, and the colors described later are not performed. / This is an image in which some or all of the processing related to brightness adjustment is not performed.
  • the YC method may be various methods such as YCbCr, YUV, and YIQ.
  • Defect correction 1011 is performed on the RAW data output from the image sensor 1010, and then compression 1012 processing is performed. It is not necessary to perform the processing of defect correction 1011 and compression 1012.
  • TX of RX / TX1030 transmits RAW data to CCU hardware 1002.
  • the CCU hardware 1002 that received the RAW data performs YC conversion. Then, the CCU hardware 1002 transmits the YC-converted RAW data (referred to as “YC” or “YC data”) to the CCU software 1001.
  • YC YC-converted RAW data
  • Various chroma formats may be adopted for YC. For example, 4: 4: 4, 4: 2: 2, or 4: 2: 0 may be adopted as the chroma format.
  • CCU software 1001 accepts VE user operations.
  • the CCU software 1001 accepts adjustment of the focus, iris (aperture), and zoom of the camera head unit CHU by VE.
  • the CCU software 1001 transmits the operation information (operation signal) by the user operation of the VE to the CCU hardware 1002.
  • the CCU hardware 1002 transmits the operation information received from the CCU software 1001 to the camera head unit CHU by the optical fiber cable or the like described with reference to FIG.
  • the CCU hardware 1002 determines the operation information received from the CCU software 1001 via the RX of the RX / TX1030 by the CPU 1020, and controls the control information (control signal) for adjusting the focus, iris (aperture), and zoom of the camera head unit CHU. ) May be generated and the generated control information may be transmitted to the camera head unit CHU.
  • the CCU hardware 1002 may transmit the operation information itself received from the CCU software 1001 to the camera head unit CHU as control information (control signal).
  • RX receives information (individual video signal, etc.) from CCU hardware 1002. For example, when an individual video signal is received as a return video, the individual video signal is displayed on a VF (view finder) (not shown).
  • the RX / TX1030 transmits (transmits) information (signals) for adjusting the focus, iris (aperture), and zoom of the interchangeable lens 1040 to the CPU 1020.
  • RX1021 and RX / TX1023 have different configurations in the figure, they may be configured only with RX / TX1023 and receive RAW data with RX / TX1023.
  • the CPU 1020 that receives the operation signal for adjusting the focus, iris (aperture), and zoom of the interchangeable lens 1040 adjusts the focus, iris (aperture), and zoom of the camera head unit CHU based on the received operation signal.
  • FIG. 10 is a diagram showing an example of processing in the CCU hardware. The same points as in FIG. 9 will be omitted as appropriate.
  • FIG. 10 shows the internal configuration of the CCU hardware 1002.
  • the CCU hardware 1002 includes configurations such as RX1021, control unit 1022, and RX / TX1023.
  • RX1021 has a function as a receiving unit.
  • the control unit 1022 is, for example, a processor and controls each functional block.
  • the control unit 1022 realizes a function of controlling the development processing unit to YC-convert RGB information.
  • the control unit 1022 separates the operation control information (also referred to as "operation information") from the cloud into one that is processed by itself and one that is sent to the camera head unit CHU. That is, the control unit 1022 has a function of determining whether the operation control information from the cloud is processed by itself or sent to the camera head unit CHU.
  • RX / TX1023 has a function as a transmitting device and a receiving device.
  • the RX / TX1023, which is the communication unit of the CCU 300, is a NIC, a communication circuit, or the like.
  • the RX / TX1023 transmits and receives individual video signals, control signals, and the like to and from the CCU software 1001 and the camera head unit CHU.
  • RX receives RAW data from the video camera 200.
  • the development processing unit performs development processing on the received RAW data. The details of the development process will be described later.
  • the TX of the RX / TX1023 transmits the YC (YC data) obtained by YC-converting the RAW data to the CCU software 1001.
  • the CCU software 1001 that has received the YC (YC data) executes various processes using the YC data.
  • the CCU hardware 1002 receives information from the CCU software 1001, for example, operation information (operation signal) by a user operation of VE.
  • the RX / TX1023 transmits (transmits) the operation information (operation signal) received from the CCU software 1001 to the control unit 1022.
  • the control unit 1022 determines, among the operation information (operation signals), the one to be processed in the CCU hardware 1002 and the one to be processed in the camera head unit CHU. Then, the control unit 1022 transmits (transmits) the operation information (operation signal) to be processed by the camera head unit CHU from the TX to the camera head unit CHU.
  • FIG. 11 is a diagram showing an example of development processing in the veneer method. The same points as in FIGS. 9 and 10 will be omitted as appropriate.
  • the DEC1032 in the processing of the development 1031 decodes the RAW data (RAW signal) by a method corresponding to the compression coding method.
  • the gain 1033 in the processing of the development 1031 adjusts the brightness of the image based on the RAW data by adjusting the gain of the RAW data obtained as a result of decoding by the DEC 1032.
  • WB1034 in the process of development 1031 adjusts the white balance of RAW data.
  • the order of the gain 1033 and WB1034 processes may be reversed.
  • the color separation 1035 in the process of development 1031 is a color separation (demosaic) process performed in the case of a bayer (mosaic color filter).
  • the color balance 1036 in the process of development 1031 is a process of color tone adjustment performed on RGB information (signal).
  • the color balance 1036 is a color tone adjustment process performed on an RGB three-plane video signal separated by color separation.
  • FIG. 11 shows a case where the color balance is adjusted before the YC conversion 1037, the color balance may be adjusted both after and before and after the YC conversion 1037.
  • the YC conversion 1037 in the process of development 1031 converts RGB information (signal) into YC information (signal) such as YCbCr.
  • the TX of RX / TX1038 transmits YC (YC data) to the CCU software 1001.
  • FIG. 12 is a diagram showing an example of processing in a three-plate type video camera. The same points as those in FIGS. 9 to 11 will be omitted as appropriate.
  • the configuration shown in FIG. 12 is different from the camera head unit CHU shown in FIG. 9 in that it has an image sensor group 1110 which is three image pickup elements.
  • the image sensor group 1110 is composed of three (three) image sensors (image sensors) and outputs video signals corresponding to R (red), G (green), and B (blue), respectively.
  • the video signals composed of three RGB channels are collectively referred to as RAW data.
  • Defect correction 1111 and compression 1112 processing are performed on the RAW data output from the image sensor group 1110.
  • FIG. 13 is a diagram showing an example of development processing in the three-plate method. The same points as those in FIGS. 9 to 12 will be omitted as appropriate.
  • the development process shown in FIG. 13 is different from the development process in FIG. 11 in that there is no color separation process and the RAW data is processed with DEC1132, gain 1133, and WB1134.
  • the DEC1132 in the processing of the development 1131 decodes the RAW data (RAW signal) by a method corresponding to the coding method.
  • the gain 1133 in the process of development 1131 adjusts the gain (brightness) of the RAW data obtained as a result of decoding by DEC1132.
  • WB1134 in the processing of development 1131 adjusts the white balance of RAW data.
  • the order of the gain 1133 and WB1134 processes may be reversed.
  • the YC conversion 1135 in the processing of the development 1131 is a conversion processing performed on the video data of three channels of R (red), G (green), and B (blue).
  • the color balance 1136 in the process of development 1131 is a process of color tone adjustment performed on the YC information (signal) generated by the YC conversion 1135.
  • FIG. 12 shows a case where the color balance is adjusted after the YC conversion 1135, the color balance may be adjusted both before and after the YC conversion 1135.
  • the TX of RX / TX1137 transmits YC (YC data) to the CCU software 1001.
  • the system configuration of the live video production system is not limited to the first embodiment and the second embodiment described above, and may be various system configurations.
  • a live video production system may include a computing environment located within a cellular network such as MEC.
  • the cloud function may be divided into MEC (cellular network side) and cloud.
  • the CCU function may be arranged on the MEC (cellular network side) instead of the cloud server side.
  • both the MEC side and the cloud side have all the functions except the CCU function, and the functions can be turned ON / OFF as needed.
  • the CCU function is provided on the MEC side.
  • Both the MEC side and the cloud side may be provided with only the minimum configuration necessary for the function to be executed.
  • video editing-related processing that requires low delay is preferably executed by MEC.
  • low latency is not required, and it is preferable that processing with a large processing load is executed by the cloud.
  • MEC may generate a play video
  • real-time performance such as for a news program is not required
  • a public cloud may generate a highlight video.
  • STATS it is preferable that the function of generating in real time based on image recognition is executed by MEC.
  • STATS it is preferable that the function acquired from the network is executed by the cloud.
  • the live video production system 1B including the MEC server 400 will be described with reference to FIGS. 14 and 15.
  • the same points as those of the first embodiment and the second embodiment will be omitted as appropriate.
  • FIG. 14 is a diagram showing an example of a live video production system according to a third embodiment of the present disclosure.
  • the configuration of the live video production system 1B shown in FIG. 14 will be described.
  • the live video production system 1B includes various devices related to shooting PL such as a plurality of video cameras 200, a MEC server 400, a cloud server 100, a terminal device 10, and various devices related to the production BS.
  • Various devices related to distribution DL and various devices related to broadcasting BR are included.
  • each device shown in the live video production system 1B will be described.
  • the dotted line connecting each component of the device or the like in FIG. 14 indicates a video signal.
  • the alternate long and short dash line connecting each component of the device or the like in FIG. 14 indicates a control signal.
  • the solid line connecting each component of the device or the like in FIG. 14 indicates information other than the video signal and the control signal, for example, other information such as meta information.
  • the direction of the arrow shown in FIG. 14 shows an example of the flow of information, and the flow of video signals, control signals, meta information, and the like is not limited to the direction of the arrow.
  • the device shown in FIG. 14 is a part of the device included in the live video production system 1B, and the live video production system 1B includes not only the device shown in FIG. 14 but also various devices necessary for realizing the function. ..
  • the MEC server 400 communicates with the plurality of video cameras 200 and the cloud server 100, and transmits signals received from the plurality of video cameras 200 to the cloud server 100. Further, a signal received from the cloud server 100 (for example, a return video including a video of another video camera or a main line video, a signal received from the terminal device 10 and the like) is transmitted to at least one of the plurality of video cameras 200. Further, the signal received from the terminal device 10 is transmitted to at least one of the plurality of video cameras 200.
  • the MEC server 400 has a function of wirelessly transmitting and receiving video signals and a function of performing output control.
  • the MEC server 400 has the same function as the cloud server 100 according to the first embodiment, for example.
  • the MEC server 400 executes processing according to the operation signal received from the terminal device 10.
  • the MEC server 400 performs a process that enables voice communication between the camera operator who operates the video camera 200 selected by the operator and the operator.
  • the MEC server 400 has a wireless communication function and performs signal processing on the image captured by the video camera 200. Further, the MEC server 400 has a function of collecting individual video signals, main line video signals, edited video signals, STATS, meta information used for CMS, and the like in a DB (database).
  • the MEC server 400 has an RX / TX405 that functions as a communication unit.
  • the MEC server 400 transmits / receives information (signals) to / from the video camera 200 by the RX / TX405.
  • the MEC server 400 transmits and receives video signals and control signals to and from the video camera 200 by means of the RX / TX405.
  • the MEC server 400 has at least a part of the functions of the CCU.
  • the MEC server 400 has a CCU 402 that implements at least some of the functions of the CCU.
  • the CCU software provided by the MEC server 400 provides a system camera (video camera 200, etc.) with a function of converting a video signal and operating and managing setting information of the system camera.
  • the MEC server 400 has a switcher function for switching video signals.
  • the MEC server 400 has a SWer 403.
  • the MEC server 400 switches the video to be transmitted to the cloud server 100 by the SWer 403.
  • the MEC server 400 selects a video signal to be transmitted to the cloud server 100 from the individual video signals received from each video camera 200 by the SWer 403.
  • the SWer 403 of the MEC server 400 switches between an input video signal (individual video signal) and a video signal generated in the MEC server 400 (processed video signal), and outputs the video signal to the outside of the MEC server 400 (cloud server 100, etc.). Since the function of SWer403 of the MEC server 400 is the same as that of SWer103 of the cloud server 100, the description thereof will be omitted.
  • the function of the Play406 of the MEC server 400 is the same as the function of the Play106 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted. Since the function of Edit 407 of the MEC server 400 is the same as the function of Edit 107 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted. Since the function of the GFX 408 of the MEC server 400 is the same as the function of the GFX 108 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted. Since the function of the Analytics 409 of the MEC server 400 is the same as the function of the Analytics 109 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted.
  • the MEC server 400 stores various types of information (data).
  • the MEC server 400 has a Storage 404 that functions as a storage unit.
  • the MEC server 400 stores the video captured by each video camera 200 in the Storage 404.
  • the CMS 411 of the MEC server 400 has the same function as the CMS 111 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted.
  • the Stats 412 of the MEC server 400 has the same function as the Stats 112 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted.
  • the Data Mng 413 of the MEC server 400 has the same function as the Data Mng 113 of the cloud server 100 described with reference to FIG. 3, the description thereof will be omitted.
  • Each video camera 200 communicates with the MEC server 400 via wireless communication.
  • Each video camera 200 transmits an individual video signal to the MEC server 400 via wireless communication.
  • the cloud server 100 according to the third embodiment is different from the cloud server 100 according to the first embodiment in that it does not have a CCU function.
  • the cloud server 100 communicates with the MEC server 400.
  • the cloud server 100 transmits and receives video signals, control signals, and the like to and from a remote MEC server 400 via wireless communication by the function of the RX / TX105.
  • the terminal device 10 is a computer used to realize remote control by an operator such as VE.
  • the terminal device 10 transmits / receives information to / from the MEC server 400 via wireless communication.
  • the terminal device 10 transmits the operation information received from the operator by the function of the RC 11 to the MEC server 400.
  • the terminal device 10 has a function as a Controller 12.
  • the terminal device 10 displays the video received from the MEC server 400 by the function of the Controller 12.
  • FIG. 15 is a diagram showing a configuration example of a live video production system according to a third embodiment of the present disclosure.
  • the live video production system 1B includes a MEC server 400, a cloud server 100, a video camera 200, and a terminal device 10.
  • the MEC server 400, the cloud server 100, the video camera 200, and the terminal device 10 are wirelessly or wiredly connected to each other via a predetermined communication network.
  • the video camera 200 and the MEC server 400 are wirelessly or wiredly connected to each other via the network N1 on the cellular side.
  • FIG. 15 is a diagram showing a configuration example of a live video production system according to a third embodiment of the present disclosure.
  • the live video production system 1B includes a MEC server 400, a cloud server 100, a video camera 200, and a terminal device 10.
  • the MEC server 400, the cloud server 100, the video camera 200, and the terminal device 10 are wirelessly or wiredly connected to each other via a predetermined communication network.
  • the video camera 200 communicates via the base station 50 and further communicates with the MEC server 400 via the network N1.
  • wireless communication is performed between the video camera 200 and the base station 50
  • wired communication is performed while the base station 50, the core net, and the network N1 which is the Internet are connected by wire.
  • the network N1 may include a core net.
  • the cloud server 100 and the MEC server 400 are wirelessly or wiredly connected to each other via the public network N2.
  • the terminal device 10 is connected to the network N1 and the network N2, and is communicably connected to the cloud server 100, the MEC server 400, and the video camera 200.
  • FIG. 15 is a diagram showing a configuration example of a live video production system according to the first embodiment.
  • the live video production system 1B shown in FIG. 15 includes a plurality of MEC servers 400, a plurality of cloud servers 100, a plurality of video cameras 200, and a plurality of terminal devices 10. good.
  • the live video production system 1B may include a plurality of terminal devices 10 corresponding to each of the plurality of operators.
  • the live video production system 1B includes the MEC server 400, the cloud server 100, and the video camera 200.
  • various devices as shown in FIG. 14 may be included.
  • the cloud server 100 is an information processing device used to realize cloud computing in the live video production system 1B.
  • the cloud server 100 is a device provided at a predetermined point (base) remote from the shooting location (site) where the video camera 200 is located.
  • the cloud server 100 connects to the MEC server 400.
  • the MEC server 400 is an information processing device used to realize CCU software in the live video production system 1B.
  • the device configuration of the MEC server 400 is the same as the device configuration of the cloud server 100 in FIG.
  • the MEC server 400 is a wireless base station provided at a predetermined point (base) remote from the shooting location (site) where the video camera 200 is located.
  • the MEC server 400 performs signal processing related to video.
  • the MEC server 400 connects to the video camera 200 via wireless communication.
  • the MEC server 400 receives individual video signals captured by a plurality of video cameras 200 via wireless communication, and transmits a main line video signal based on the individual video signals.
  • the MEC server 400 transmits a main line video signal to the cloud server 100.
  • the MEC server 400 controls the output of a video based on a plurality of received individual video signals in response to a first operation signal which is an operation signal related to editing of a video received from the outside.
  • the MEC server 400 wirelessly transmits a remote control signal to at least one of the plurality of video cameras 200 in response to a second operation signal which is an operation signal related to the control of the video camera 200 received from the outside.
  • the video camera 200 wirelessly connects to the MEC server 400.
  • the video camera 200 transmits and receives individual video signals, control signals, and the like to and from the MEC server 400 by wireless communication.
  • Each video camera 200 transmits the captured individual video signal to the MEC server 400 by wireless communication.
  • the terminal device 10 is used by the operator and transmits an operation signal corresponding to the operator's operation to the MEC server 400.
  • the terminal device 10 transmits information indicating the video camera 200 selected by the operator among the plurality of video cameras 200 to the MEC server 400.
  • the live video production system may include a cloud server 100, a CCU 300 (or BPU), and a MEC server 400. That is, the live video production system may have a system configuration in which the second embodiment and the third embodiment are combined. In this case, the MEC server 400 and the CCU 300 (or BPU) may communicate with each other.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed / physically distributed in any unit according to various loads and usage conditions. Can be integrated and configured.
  • the live video production systems 1, 1A, and 1B include a plurality of video cameras 200 and a cloud server 100.
  • the image pickup operation of the video camera 200 is controlled according to the remote control signal.
  • the cloud server 100 receives individual video signals captured by a plurality of video cameras 200, and transmits a main line video signal (first main line video signal) based on the individual video signals.
  • the cloud server 100 obtains a main line video signal by output control of a video based on a plurality of received individual video signals in response to a first operation signal which is an operation signal related to editing of a video received from the outside.
  • the cloud server 100 transmits a remote control signal to at least one of the plurality of video cameras 200 in response to a second operation signal which is an operation signal related to the control of the video camera 200 received from the outside.
  • the live video production systems 1, 1A, and 1B are cloud servers that wirelessly transmit remote control signals for remotely controlling a plurality of video cameras 200 and transmit main line video signals based on individual video signals.
  • Has 100 The live video production systems 1, 1A, and 1B allow the cloud server 100 to have a function related to video output control and a function related to remote control of the video camera 200.
  • resources can be concentrated at a predetermined base without going to the site (for example, a place where the video camera 200 is located such as a stadium) at OBVAN or the like. Can be suppressed.
  • the live video production systems 1, 1A, and 1B can concentrate resources in a place different from the site such as a stadium, such as a base equipped with a terminal device 10, and can produce a plurality of live videos with a limited number of personnel. can.
  • the live video production systems 1, 1A and 1B it is possible to reduce the preparations such as the connection between the video camera and the CCU in the field, the wiring, and the test after the wiring, so that the workflow efficiency can be improved.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the live video production systems 1, 1A, and 1B are provided with a terminal device 10 that is used by the operator and transmits an operation signal according to the operator's operation to the cloud server 100.
  • the cloud server 100 executes processing according to the operation signal received from the terminal device 10.
  • the cloud server 100 executes processing according to the operation signal received from the terminal device 10, so that the operator who operates the terminal device 10 works at a remote location from the site.
  • the live video production systems 1, 1A, and 1B can suppress an increase in resources such as personnel assigned to the site by, for example, OBVAN.
  • the live video production systems 1, 1A, and 1B allow the operator to work using the terminal device 10 in a place different from the place where the cloud server 100 is placed, and can flexibly arrange the physical positions of personnel. can do.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the terminal device 10 transmits information indicating the video camera 200 selected by the operator among the plurality of video cameras 200 to the cloud server 100.
  • the cloud server 100 performs a process that enables voice communication between the camera operator who operates the video camera 200 selected by the operator and the operator.
  • the live video production systems 1, 1A, and 1B can start voice communication between the operator and the camera operator who operates the video camera 200 according to the selection of the operator who operates the terminal device 10, and can use the system. It is possible to easily perform voice communication between persons. As described above, in the live video production systems 1, 1A and 1B, the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 is a camera that operates the video camera 200 selected by the operator by using the information associated with each of the plurality of video cameras 200 and the camera operator that operates each of the plurality of video cameras 200.
  • An operator is specified, and processing is performed to enable voice communication between the camera operator and the operator.
  • the cloud server 100 can identify the camera operator and start voice communication between the specified camera operator and the selected operator, and the voice between the system users can be started. Communication can be easily performed. Thereby, the live video production systems 1, 1A and 1B can enable smooth communication between the operator and the camera operator. As described above, in the live video production systems 1, 1A and 1B, the efficiency of live video production can be improved by using the cloud server 100.
  • the live video production systems 1, 1A, and 1B are arranged in a broadcasting station and include a SWer 21 that receives a main line video signal from the cloud server 100.
  • the cloud server 100 can appropriately perform live broadcasting using the cloud server 100 by transmitting the main line video signal (first main line video signal) to the broadcasting station.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the live video production systems 1A and 1B include a CCU 300 that communicates with at least one of a plurality of video cameras 200 and a cloud server 100 to perform camera-related processing that is processing related to the video camera 200.
  • the live video production systems 1A and 1B have a CCU 300 that communicates with the video camera 200 and the cloud server 100 and performs camera-related processing that is processing related to the video camera 200, so that each of the cloud server 100 and the CCU 300 processes. And functions can be distributed.
  • the live video production systems 1A and 1B can enable the optimum arrangement of the processing and the function between the cloud server 100 and the CCU 300 according to the purpose of the processing and the function.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the signal processing device is a CCU (Camera Control Unit) 300 or a BPU (Baseband Processing Unit).
  • the CCU or BPU in the live video production systems 1A and 1B, for example, the functions of the conventional CCU and BPU can be distributed to each of the cloud server 100 and the CCU 300.
  • the live video production systems 1A and 1B can enable the optimum arrangement of the processing and the function between the cloud server 100 and the CCU 300 according to the purpose of the processing and the function.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 performs the first process (non-video processing process) among the camera-related processes.
  • the CCU 300 performs a second process (video processing process) other than the non-video processing process among the camera-related processes.
  • the live video production systems 1A and 1B distribute the processing by causing the cloud server 100 to perform the non-video processing processing among the camera-related processing and the CCU 300 or the BPU to perform the video processing processing other than the non-video processing processing. be able to.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the non-video processing process includes a process related to the control of the video camera 200.
  • the video processing process includes processing for the video captured by the video camera 200.
  • the live video production systems 1A and 1B distribute the processing by causing the cloud server 100 to perform processing related to the control of the video camera 200, for example, causing the CCU 300 to perform processing on the video captured by the video camera 200. Can be done.
  • the live video production systems 1A and 1B cause the CCU 300 to perform video processing processing such as a video process (image processing) and the cloud server 100 to perform camera control processing such as a control process (control).
  • video processing processing such as a video process (image processing)
  • the cloud server 100 to perform camera control processing such as a control process (control).
  • the non-video processing process includes a process of adjusting at least one of the aperture or the focus of the video camera 200.
  • the video processing process includes a process of adjusting at least one of gain, color balance, and white balance of the video captured by the video camera 200.
  • the live video production systems 1A and 1B cause the cloud server 100 to perform processing targeting the structure of the video camera 200, such as the aperture or focus of the video camera 200, and the CCU 300 or BPU targets the video captured by the video camera 200. By performing the processing to be performed, it is possible to enable the optimum arrangement according to the purpose of the processing or the function. As described above, in the live video production systems 1A and 1B, the efficiency of live video production can be improved by using the cloud server 100.
  • a plurality of CCU 300s are provided in association with each of the plurality of video cameras 200.
  • the live video production systems 1A and 1B can enable appropriate processing for each video camera 200 by having a plurality of signal processing devices associated with each of the plurality of video cameras 200. can.
  • the cloud server 100 performs output control corresponding to at least one of output switching, video composition, still image generation, moving image generation, and replay video generation.
  • the live video production systems 1, 1A, and 1B provide an operator equipped with the terminal device 10 to perform operations related to output switching, video composition, still image generation, video generation, replay video generation, and the like. It can be placed in remote areas such as.
  • the cloud server 100 performs various output controls, so that it is not necessary to arrange an operator at the site by, for example, OBVAN. Therefore, the live video production systems 1, 1A, and 1B can suppress an increase in on-site resources.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 performs output control corresponding to at least one of switcher (Switcher), edit (Edit), graphics (GFX), and replay (Replay).
  • switcheser Switcher
  • Edit Edit
  • GFX graphics
  • Replay replay
  • the cloud server 100 performs various processes such as Switcher, Edit, GFX, and Replay, so that it is not necessary to arrange an operator at the site by, for example, OBVAN. .. Therefore, the live video production systems 1A and 1B can suppress an increase in on-site resources.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 transmits a remote control signal for remotely controlling the video camera 200 to at least one of the plurality of video cameras 200.
  • the live video production systems 1, 1A, and 1B can arrange the VE at a remote location from the video camera 200.
  • the cloud server 100 transmits a remote control signal for remotely controlling the video camera 200 to the video camera 200, so that personnel and the like who control the video camera 200 can be sent to the site by, for example, OBVAN. It is not necessary to place it in. Therefore, the live video production systems 1, 1A, and 1B can suppress an increase in on-site resources.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 transmits a remote control signal that adjusts at least one of pan, tilt, or zoom.
  • the live video production systems 1, 1A, and 1B can arrange the VE at a remote location from the video camera 200.
  • the cloud server 100 transmits a remote control signal for remotely controlling the PTZ of the video camera 200 to the video camera 200, so that personnel and the like who control the video camera 200 can be sent to the site by, for example, OBVAN. It is not necessary to place it in. Therefore, the live video production systems 1A and 1B can suppress an increase in on-site resources.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 transmits a remote control signal for remotely controlling the position of the video camera 200 to the position changing mechanism of the video camera 200.
  • the live video production systems 1A and 1B can easily remotely control the position of the video camera 200 in the field.
  • the live video production systems 1, 1A, and 1B can remotely change the position of the video camera 200, and the number of camera operators who operate the video camera 200 can be reduced. Therefore, the live video production systems 1A and 1B can suppress an increase in on-site resources.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the live video production system 1B communicates with a plurality of video cameras 200 and a cloud server 100, transmits signals received from the plurality of video cameras 200 to the cloud server 100, and transmits signals received from the cloud server 100 to the plurality of videos.
  • a MEC server 400 for transmitting to at least one of the cameras 200 is provided.
  • the live video production system 1B has a MEC server 400 that communicates with the video camera 200 and the cloud server 100 and communicates between the video camera 200 and the cloud server 100. Processing and functions can be distributed to each. Thereby, the live video production system 1B can enable the optimum arrangement of the processing and the function between the cloud server 100 and the MEC server 400 according to the purpose of the processing and the function. As described above, in the live video production system 1B, the efficiency of live video production can be improved by using the cloud server 100.
  • the MEC (Multi-access Edge Computing) server 400 has a function of wirelessly transmitting and receiving video signals and a function of performing output control.
  • the live video production system 1B by providing the MEC server 400 in addition to the cloud server 100, processing and functions can be distributed to each of the cloud server 100 and the MEC server 400.
  • the live video production system 1B can distribute the processing between the cloud server 100 and the MEC server.
  • the live video production system 1B can cause the MEC server 400 to execute video editing-related processing (SWer / GFX / Edit, etc.) that requires low delay.
  • the live video production system 1B is not required to have low latency, and the cloud server 100 can execute a process having a large processing load.
  • the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 has a video analysis function, and extracts or generates information using the analysis result.
  • the cloud server 100 can analyze the video and extract or generate information such as Stats information using the analysis result.
  • the cloud server 100 has a video analysis function, and by extracting or generating information using the analysis results, live video production using the analysis results of the cloud server 100 becomes possible. .. As a result, in the live video production system 1B, the efficiency of live video production can be improved by using the cloud server 100.
  • the cloud server 100 wirelessly receives a plurality of individual video signals and wirelessly transmits a remote control signal. As described above, in the live video production systems 1, 1A and 1B, the cloud server 100 can wirelessly communicate various signals.
  • the cloud server 100 receives a plurality of individual video signals by 5G communication and transmits a remote control signal by 5G communication. As described above, in the live video production systems 1, 1A and 1B, the cloud server 100 can communicate various signals at high speed by 5G communication.
  • the cloud server 100 wirelessly receives a plurality of individual video signals captured by a plurality of cameras whose imaging operation is controlled according to a remote control signal, transmits a main line video signal based on the plurality of individual video signals, and externally.
  • the main line image signal is obtained by controlling the output of the image based on the plurality of received individual image signals, and the control of the camera received from the outside.
  • a remote control signal for at least one of a plurality of cameras is transmitted wirelessly in response to a second operation signal which is an operation signal related to the above.
  • the cloud server 100 wirelessly transmits remote control signals for remotely controlling a plurality of video cameras 200, and transmits main line video signals based on individual video signals.
  • the cloud server 100 has a function related to video output control and a function related to remote control of the video camera 200.
  • the live video production systems 1, 1A, and 1B using the cloud server 100 can concentrate resources in a place different from the site such as a stadium, such as a base equipped with a terminal device 10, and a plurality of live videos with a limited number of personnel. You can make it. Further, in the live video production systems 1, 1A and 1B using the cloud server 100, it is possible to reduce the preparations such as the connection between the video camera and the CCU in the field, the wiring, and the test after the wiring, so that the workflow efficiency can be improved. In this way, the cloud server 100 can improve the efficiency of live video production.
  • FIG. 17 is a hardware configuration diagram showing an example of the computer 1000 that realizes the function of the cloud server.
  • the cloud server 100 will be described as an example.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program such as a signal processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium ().
  • the predetermined recording medium is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or It is a semiconductor memory or the like.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as a magnetic tape
  • magnetic recording medium or It is a semiconductor memory or the like.
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 stores the information processing program according to the present disclosure and the data in the storage unit of the cloud server 100.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • Multiple cameras whose imaging operation is controlled according to remote control signals A cloud server that receives individual video signals captured by the plurality of cameras and transmits a main line video signal based on the individual video signals is provided.
  • the cloud server obtains the main line video signal by controlling the output of the video based on the plurality of received individual video signals in response to the first operation signal which is the operation signal related to the editing of the video received from the outside.
  • a live video production system that transmits the remote control signal to at least one of the plurality of cameras in response to a second operation signal which is an operation signal related to control of a camera received from the outside.
  • a terminal device that is used by an operator and transmits an operation signal corresponding to the operation of the operator to the cloud server.
  • the live video production system With The live video production system according to (1), wherein the cloud server executes processing according to an operation signal received from the terminal device. (3) The terminal device transmits information indicating a camera selected by the operator among the plurality of cameras to the cloud server.
  • the cloud server identifies a camera operator who operates a camera selected by the operator by using information associated with each of the plurality of cameras and a camera operator who operates each of the plurality of cameras.
  • the live video production system according to (3) which performs a process that enables voice communication between the camera operator and the operator.
  • a receiving device that is placed in a broadcasting station and receives the main line video signal from the cloud server.
  • the live video production system according to any one of (1) to (4).
  • a signal processing device that communicates with at least one of the plurality of cameras and the cloud server to perform camera-related processing that is processing related to the cameras.
  • the live video production system according to (1).
  • the live video production system according to (6), wherein the signal processing device is a CCU (Camera Control Unit) or a BPU (Baseband Processing Unit).
  • the cloud server performs the first process among the camera-related processes,
  • the first process includes a process related to camera control.
  • the first process includes adjusting at least one of the aperture or focus of the camera.
  • the cloud server performs any one of (1) to (11) of the output control corresponding to at least one of output switching, video composition, still image generation, moving image generation, and replay video generation.
  • Live video production system described in. (13) The cloud server performs any one of (1) to (12) of the output control corresponding to at least one of Switcher, Edit, Graphics (GFX), and Replay.
  • Live video production system described in. (14) The live video production system according to any one of (1) to (13), wherein the cloud server transmits the remote control signal for remotely controlling the cameras to at least one of the plurality of cameras.
  • the cloud server transmits the remote control signal that adjusts at least one of pan, tilt, and zoom.
  • the other server is a MEC (Multi-access Edge Computing) server having a function of transmitting and receiving video signals wirelessly and a function of performing the output control.
  • the cloud server has a video analysis function and extracts or generates information using the analysis result.
  • the live video production system according to any one of (1) to (19), wherein the cloud server wirelessly receives the plurality of individual video signals and wirelessly transmits the remote control signal.
  • Multiple cameras control the imaging operation according to the remote control signal, The cloud server receives the individual video signals captured by the plurality of cameras, transmits the main line video signal based on the individual video signals, and is the first operation signal which is an operation signal related to the editing of the video received from the outside.
  • the main line video signal is obtained by controlling the output of the video based on the plurality of received individual video signals, and the second operation signal, which is an operation signal related to the control of the camera received from the outside, is received.
  • a live video production method that executes a process of transmitting the remote control signal to at least one of a plurality of cameras. (23) A plurality of individual video signals captured by a plurality of cameras whose imaging operation is controlled according to a remote control signal are wirelessly received, a main line video signal based on the plurality of individual video signals is transmitted, and a video received from the outside.
  • the main line video signal is obtained by controlling the output of video based on a plurality of received individual video signals in response to the first operation signal which is the operation signal related to the editing of the above, and is related to the control of the camera received from the outside.
  • a cloud server that wirelessly transmits the remote control signal to at least one of the plurality of cameras in response to a second operation signal which is an operation signal.
  • Live video production system 10 Terminal device (remote controller) 100 Cloud server 110 Communication unit 120 Storage unit 130 Control unit 131 Communication control unit 132 Processing unit 200 Video camera (camera)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本開示に係るライブ映像制作システムは、遠隔制御信号に応じて撮像動作が制御される複数のカメラと、複数のカメラにより撮像された個別映像信号を受信し、個別映像信号に基づく本線映像信号を送信するクラウドサーバを備える。クラウドサーバは、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、複数のカメラの少なくとも1つに対する遠隔制御信号を送信する。

Description

ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ
 本開示は、ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバに関する。
 映像コンテンツを制作する技術が知られている。その中でも、クラウドサーバ上の仮想機能(例えば編集機能等)を用いて、映像コンテンツを制作する技術が知られている。
特開2015-056761号公報
 従来技術によれば、ユーザ端末とコンテンツ制作装置との間の通信により、既存コンテンツの編集を行わせることが、クラウドコンピューティングにより実現される。
 しかしながら、従来技術においては、既存コンテンツに対するユーザの編集の負担を軽減することによる効率化を図ることを目的としており、例えば、スタジアム等に配置されたカメラにより撮影された映像をライブで放送や配信を行う際の映像制作については考慮されていない。このようなライブ映像制作においても効率化を図ることが望まれている。
 そこで、本開示では、ライブ映像制作の効率化を図ることができるライブ映像制作システム、ライブ映像制作方法及びクラウドサーバを提案する。
 上記の課題を解決するために、本開示に係る一形態のライブ映像制作システムは、遠隔制御信号に応じて撮像動作が制御される複数のカメラと、前記複数のカメラにより撮像された個別映像信号を受信し、前記個別映像信号に基づく本線映像信号を送信するクラウドサーバを備え、前記クラウドサーバは、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を送信する。
本開示の第1の実施形態に係るライブ映像処理の一例を示す図である。 本開示の第1の実施形態に係るライブ映像制作システムの構成例を示す図である。 本開示の第1の実施形態に係るライブ映像制作システムの一例を示す図である。 本開示の第1の実施形態に係るクラウドサーバの構成例を示す図である。 第1の実施形態に係るライブ映像制作システムの処理の一例を示すフローチャートである。 本開示の第2の実施形態に係るライブ映像制作システムの一例を示す図である。 本開示の第2の実施形態に係るライブ映像制作システムの構成例を示す図である。 ビデオカメラへの電源供給の一例を示す図である。 ビデオカメラへの電源供給の一例を示す図である。 ビデオカメラへの電源供給の一例を示す図である。 ライブ映像制作システムにおける処理の一例を示す図である。 CCUハードにおける処理の一例を示す図である。 単板方式における現像処理の一例を示す図である。 三板方式のビデオカメラにおける処理の一例を示す図である。 三板方式における現像処理の一例を示す図である。 本開示の第3の実施形態に係るライブ映像制作システムの一例を示す図である。 本開示の第3の実施形態に係るライブ映像制作システムの構成例を示す図である。 本開示のライブ映像制作システムの構成の一例を示す図である。 クラウドサーバの機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかるライブ映像制作システム、ライブ映像制作方法及びクラウドサーバが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
  1.第1の実施形態
   1-1.本開示の第1の実施形態に係るライブ映像システムの概要
    1-1-1.本開示のライブ映像制作システムその1
     1-1-1-1.撮影
     1-1-1-2.制作
     1-1-1-3.放送
     1-1-1-4.配信
    1-1-2.本開示のライブ映像システムその2
    1-1-3.比較及び効果等
   1-2.第1の実施形態に係るライブ映像制作システムの構成
    1-2-1.第1の実施形態に係るライブ映像制作システムの一例
     1-2-1-1.第1の実施形態に係るクラウドサーバの構成
    1-2-2.各オペレータの操作と各機能の動作
     1-2-2-1.Replay
     1-2-2-2.GFX
     1-2-2-3.Edit
     1-2-2-4.SWer(スイッチャー)
     1-2-2-5.VE
     1-2-2-6.CO
    1-2-3.ライブ映像制作システムにおける他の機能例
     1-2-3-1.クラウドサーバの機能
     1-2-3-2.マスターコントロールルーム内の機能
     1-2-3-3.スタジオ内の機能
    1-2-4.その他
     1-2-4-1.データ通信
     1-2-4-2.信号の同期合わせ
     1-2-4-3.VE/COお助け機能(インカム)
   1-3.第1の実施形態に係るライブ映像処理の手順
  2.第2の実施形態
   2-1.本開示の第2の実施形態に係るライブ映像制作システムの概要
   2-2.第2の実施形態に係るライブ映像制作システムの構成
   2-3.ビデオカメラへの電源供給例
    2-3-1.第1の供給例
    2-3-2.第2の供給例
    2-3-3.第3の供給例
   2-4.ライブ映像制作システムにおける処理例
    2-4-1.ライブ映像制作システムにおける処理
    2-4-2.CCUハード内における処理
    2-4-3.現像処理
    2-4-4.三板方式
    2-4-5.現像処理(三板方式)
  3.第3の実施形態
   3-1.本開示の第3の実施形態に係るライブ映像制作システムの概要
   3-2.第3の実施形態に係るライブ映像制作システムの構成
  4.その他の実施形態
   4-1.その他の構成例
   4-2.その他
  5.本開示に係る効果
  6.ハードウェア構成
[1.第1の実施形態]
[1-1.本開示の第1の実施形態に係るライブ映像システムの概要]
 図1は、本開示の第1の実施形態に係るライブ映像システムの一例を示す図である。また、図1は、本開示の第1の実施形態に係るライブ映像制作システム1の構成例を示す図である。本開示の第1の実施形態に係るライブ映像処理は、図1に示すライブ映像制作システム1によって実現される。なお、以下では、スポーツ制作を一例としてライブ映像制作を説明するが、ライブ映像制作システム1は、スポーツ制作に限らず、種々の対象のライブ映像の制作に用いられてもよい。
[1-1-1.本開示のライブ映像制作システムその1]
 まず、図16を用いて本開示のライブ映像制作システム5について説明する。図16は、本開示のライブ映像制作システムの構成の一例を示す図である。
 ライブ映像制作システム5には、複数のビデオカメラ500及びOBVAN600等の撮影PLに関連する各種装置や、制作BSに関連する各種装置や、配信DLに関連する各種装置や、放送BRに関連する各種装置が含まれる。まず、ライブ映像制作システム5に示す各装置について簡単に説明する。ライブ映像制作システム5は、場所的観点では、スタジアム等の現場、放送局、OTT(Over The Top)、放送局内かそれ以外にある端末装置10を備えた拠点等に装置が配置される。撮影PLに関連する装置は、現場に配置され、制作BSや放送BRに関連する装置は放送局に配置され、配信DLに関連する装置は、OTTの施設に配置される。図16中の装置等の各構成要素間を接続する点線は、映像信号を示す。また、図16に示す装置はライブ映像制作システム5に含まれる装置の一部であり、ライブ映像制作システム5は、図16に示す装置に限らず、機能の実現に必要な各種の装置を含む。撮影PLと制作BSとの間は、撮影PL側の送受信装置RX・TX604及び制作BS側の送受信装置RX・TX201の機能により、通信が行われる。また、撮影PLと配信DLとの間は、撮影PL側の送受信装置RX・TX604及び配信DL側の送受信装置RX・TX401の機能により、通信が行われる。例えば、撮影PL側から制作BSまたは配信DL側への伝送は、OBVAN600に備える無線中継伝送装置(FPU:Field Pickup Unit)を用いたUHF(極超短波:Ultra High Frequency)、またはマイクロ波による伝送である。
 ライブ映像制作システム5には、撮影PLに関連する各種装置として、複数のビデオカメラ500やOBVAN600等が含まれる。ビデオカメラ500は、被写体を撮像する。例えば、撮影PLのビデオカメラ500は、競技会場(スタジアム)に配置されるビデオカメラである。なお、図16では、撮影PLについては、3台のビデオカメラ500を図示するが、撮影PLのビデオカメラ500の台数は、3台に限らず、4台以上であってもよいし、2台以下であってもよい。例えば、ライブ映像制作システム5は、放送局向けとOTT向けのライブ映像制作を同時(サイマル)に行うことができる。ライブ映像制作システム5は、放送局向けとOTT向けのライブ映像制作をサイマルで行えることにより、ライブ映像制作の効率化を図ることができる。
 OBVAN600は、ライブ映像を収録し伝送するための機材を搭載した自動車、いわゆる中継車(Outside Broadcast Van)である。OBVAN600には、複数のCCU(カメラコントロールユニット)601やSWer602やStorage603等の種々の装置が搭載される。なお、図16では、複数のCCU601やSWer602やStorage603のみを図示するが、OBVAN600には、複数のCCU601やSWer602やStorage603以外にも、ライブ映像制作に関連する各種の装置が搭載される。この点についての詳細は後述する。
 CCU601は、各ビデオカメラに対する電源供給や、各ビデオカメラに関する制御、調整を行うために用いられる装置である。図16の例では、3台のビデオカメラ500の各々に対応する3台のCCU601を図示するが、撮影PLのCCU601の台数は、3台に限らず、2台以下であってもよい。
 SWer602は、映像信号の切り換えを行なう機材、いわゆるスイッチャーである。SWer602は、映像製作や中継の現場において、送信(送出)する映像信号の切り換えを行なう。なお、「映像信号の切り替え」とは、複数の映像信号の中から1つの映像信号を選択して出力するという意味である。Storage603は、各種の情報(データ)を記憶する記憶装置である。例えば、Storage603は、各ビデオカメラ500が撮像した映像、メタデータ等を格納する。SWer602は、制作BSのSWer21へ送信する映像信号を切り替える。また、SWer602は、配信DLのMasterSWer41へ送信する映像信号を切り替える。
 ライブ映像制作システム5には、制作BSに関連する各種装置として、ビデオカメラ500やSWer21やCCU22等が含まれる。例えば、制作BSのビデオカメラ500は、スタジオSDに配置されるビデオカメラ(システムカメラ)である。SWer21は、スイッチャーであり、サブスタジオSSに配置される。CCU22は、サブスタジオSSに配置される。なお、制作BSの各装置の配置は一例であり、各装置は制作BSの構成などに応じて種々の箇所に配置される。
 ライブ映像制作システム5には、放送BRに関連する各種装置として、MasterSWer31等が含まれる。例えば、MasterSWer31は、スイッチャーであり、主調整室(master control room)MC等、放送サービスを提供する事業者の施設に配置される。
 ライブ映像制作システム5には、配信DLに関連する各種装置として、MasterSWer41や配信サーバ等が含まれる。例えば、MasterSWer41は、スイッチャーであり、OTTサービスを提供する事業者の施設に配置される。
[1-1-1-1.撮影]
 ここから、ライブ映像制作システム5の各構成要素についての詳細を記載する。まず、撮影PLについて記載する。撮影PLに関連する各種装置は、ライブ映像を制作する事業者により利用される。撮影PLに関連する各種装置は、例えば放送局や制作会社により利用される。以下では、撮影PLに関連する各種装置を利用する事業者が制作会社である場合を一例として説明する。
 制作会社は、放映権を有するコンテンツホルダーや、そのコンテンツホルダーと放映権契約を締結した放送局から映像制作の依頼を受ける。映像制作の依頼を受注した制作会社は、例えば、対象の競技が行われる競技会場にビデオカメラ500などの映像制作に必要な機器を用意し、所望の映像を制作する。図1の例では、制作会社は、競技会場にビデオカメラ500を配置し、競技会場付近にOBVAN600を配置する。
 競技会場に設置されたビデオカメラ500は、光ファイバーケーブルや専用の同軸ケーブルを介してOBVAN600に接続される。この場合、図16の例では、ビデオカメラ500とOBVAN600とは、光ファイバーケーブルや専用の同軸ケーブルを介して接続される。なお、ビデオカメラ500とOBVAN600とは直接接続される場合もあるし、競技会場に設置された入力端子にビデオカメラ500を接続し、同じく競技会場に設置される分配盤とOBVAN600とを接続することで間接的に接続される場合もある。
 OBVAN600には、ビデオカメラ500以外の映像制作に必要な機器が設置される。図16に示すOBVAN600では、CCU601やSWer602以外を省略した構成を示すが、OBVAN600には、CCUやSWer以外にも各種装置が含まれる。例えば、OBVAN600には、CCU、スイッチャー(SWer/Mixier/Tally)、ビデオサーバ(Video)、リプレイサーバ(Replay)、編集機(Edit)、グラフィックス(GFX)、モニター(Monitor)及び同期信号発生器が設けられている。なお、図16では、ビデオサーバ(Video)、リプレイサーバ(Replay)、編集機(Edit)、グラフィックス(GFX)、モニター(Monitor)については図示を省略する。
 CCU601では対応する各ビデオカメラの電源供給や、絞り(Iris)等の設定情報の操作や管理の機能を有しており、各映像信号の切り替え時の違和感が発生しないようにオペレータ(例えばVE(ビデオエンジニア))により必要な画質調整が行われる。VEは、ビデオカメラや各種映像機器の調整や設定等を行うオペレータである。例えば、VEは、各ビデオカメラに対応してOBVAN内に複数設置されるモニターに表示された各ビデオカメラの映像を見ながら、複数台のCCUを操作する。なお、CCUからの制御指令に基づく画質調整自体はビデオカメラで実行される。図16の例では、オペレータであるVEは、OBVAN600に乗車し、上述のような各種の操作を行う。このように、ライブ映像制作システム5では、多数のVEがOBVAN600に乗車し、撮影現場付近へ派遣されることとなる。
 また、各ビデオカメラ500の映像信号は対応するCCU601からルータを介して、スイッチャー、ビデオサーバ、リプレイサーバ、または編集機に入力され、必要な処理がそれぞれの機器のオペレータの操作により行われる。ここで、各映像信号は同期信号発生器から出力される同期信号に基づき同期(ゲンロック:Generator Lock)されている。
 スイッチャーであるSWer602は、オペレータの操作により、各ビデオカメラ500の映像信号(Edit、GFXで加工された映像信号も含む)やリプレイサーバで制作されたハイライト映像やスロー映像の信号を切替えて、放送局(スタジオ)又は配信サーバ(OTT)に伝送する。以下では、ビデオカメラ500、200により撮像された映像信号を個別映像信号または撮像信号と記載し、Edit、GFXまたはReplayで加工された映像信号を加工映像信号または編集映像信号と記載する場合がある。また、後述するクラウドサーバ100のSWer103またはOBVAN600のSWer602から出力されて、制作局BSのSWer21に入力される映像信号を本線映像信号または第1本線映像信号と記載する場合がある。また、MasterSWer31、41から出力されて、電波塔RW等によりテレビ放送として伝送される、またはクラウドCLを介してデバイスDV1に配信される映像信号を本線映像信号または第2本線映像信号と記載する場合がある。なお、各映像信号を特に区別せずに説明する場合、例えば図中の点線等のような場合は、映像信号と記載する。なお、表示等の場合の説明においては、映像信号を単に映像と記載する場合がある。
 なお、図16の例では、OBVAN600の送信機(TX)からスタジオの受信機(RX)に映像信号(第1本線映像信号)を伝送し、スタジオのスイッチャーを介してマスターコントロールルーム(主調整室)のマスタースイッチャーから放送用の映像信号(第2本線映像信号)として出力する構成となっている。すなわち、図16の例では、OBVAN600からの第1本線映像信号が制作BSのSWer21を介して放送BRのMasterSWer31に伝送される。しかしながら、例えば制作の内容によってはOBVAN600のスイッチャー(SWer602)がスタジオを経由せず直接放送用の映像を供給しても良い。この場合、例えば、OBVAN600からの第1本線映像信号がスタジオ(制作BS)を経由せず直接放送BRのMasterSWer31に送信されてもよい。
[1-1-1-2.制作]
 次に、制作BSについて記載する。制作BSに関連する各種装置は、ライブ映像に関連するコンテンツを制作する事業者により利用される。制作BSに関連する各種装置は、例えば放送局により利用される。制作BSに関連する各種装置は、例えば放送局の制作部署や系列局により利用される。
 OBVAN600のTXから送信される第1本線映像信号(制作会社によって制作された映像)は、放送局(制作BS)のRXにより受信される。映像制作として競技会場以外の映像も含める場合は、スタジオでの撮影も行われる。例えば解説シーン等の映像も含める場合は、図16に示すスタジオSD等での撮影も行われる。この場合、スタジオ(サブ)のスイッチャー21にスタジオの映像信号とOBVAN600から出力された第1本線映像信号が入力される。スタジオ(サブ)は、副調整室(受けサブ)とも称される。図16に示すスタジオ(サブ)であるサブスタジオSSのSWer21にスタジオSSのビデオカメラ500により撮像された個別映像信号やOBVAN600から出力された第1本線映像信号が入力される。
 また、スタジオ(サブ)では、OBVAN内の一部機能と同一の機能(Replay、Edit、GFX等)を有していても良く、これらにより加工された加工映像信号もスイッチャーに入力される。スイッチャー(例えばSWer21)は入力された個別映像信号、加工映像信号等の映像信号を切替えて、マスターコントロール(主調整室)のマスタースイッチャー(例えばMasterSWer31)に第1本線映像信号を出力する。マスタースイッチャーは、放送用の第2本線映像信号を出力するスイッチャーである。
[1-1-1-3.放送]
 次に、放送BRについて記載する。放送BRに関連する各種装置は、ライブ映像を放送する事業者により利用される。放送BRに関連する各種装置は、例えば放送局により利用される。放送BRに関連する各種装置は、例えば放送局の送出部署やキー局により利用される。
 マスタースイッチャー(例えばMasterSWer31)から出力される第2本線映像信号は、テレビ放送として伝送される。例えば、MasterSWer31から出力される第2本線映像信号は、電波塔RW等によりテレビ放送として伝送される。マスタースイッチャーから出力される第2本線映像信号は、クラウドサーバを介してネット配信をしても良い。例えば、マスタースイッチャーから出力される第2本線映像信号は、クラウドCLを介して視聴者が利用する端末装置であるデバイスDV1に配信される。なお、クラウドCLは、放送BR内ではなく、放送BR外にあってもよい。例えば、デバイスDV1は、ノート型PC(Personal Computer)や、デスクトップPCや、スマートフォンや、タブレット型端末や、携帯電話機や、PDA(Personal Digital Assistant)等の装置であってもよい。
[1-1-1-4.配信]
 次に、配信DLについて記載する。配信DLに関連する各種装置は、ライブ映像を配信する事業者により利用される。配信DLに関連する各種装置は、例えば配信業者により利用される。配信DLに関連する各種装置は、例えばOTTサービスを提供する事業者により利用される。
 OBVAN600から出力された第1本線映像信号はOTTサーバに入力される。OTTサーバでは、放送局(送出部署)と同様にマスタースイッチャーを介して制作された映像をインターネットを利用して配信する。図16の例では、配信DLのマスタースイッチャーであるMasterSWer41を介して映像を配信する。例えば、マスタースイッチャーに入力された映像信号(第1本線映像信号)は、クラウドCLを介して視聴者が利用する端末装置であるデバイスDV2に配信される。
 ここで、配信DLにおいても、上記放送局(制作部署)と同様に、別途スタジオを設けてその撮影映像も制作された映像に含めても良い。また、制作され配信される映像は1つに限らず、複数であってもよい。
[1-1-2.本開示のライブ映像システムその2]
 ここから、図1に戻って、本開示のライブ映像制作システム1について説明する。なお、ライブ映像制作システム1において、ライブ映像制作システム5と同様の点については適宜説明を省略する。これ以降の実施例は、クラウドまたは後述するMEC(Multi-access Edge Computing)を用いることでライブ映像制作の効率化を図ることができる。例えば、ライブ映像制作システム1は、クラウドサーバ100を用いることでライブ映像制作の効率化を図ることができる。
 ライブ映像制作システム1には、複数のビデオカメラ200等の撮影PLに関連する各種装置や、クラウドサーバ100や、端末装置10や、制作BSに関連する各種装置や、配信DLに関連する各種装置や、放送BRに関連する各種装置が含まれる。まず、ライブ映像制作システム1に示す各装置について簡単に説明する。なお、図1中の装置等の各構成要素間を接続する点線は、映像信号を示す。また、図1に示す装置はライブ映像制作システム1に含まれる装置の一部であり、ライブ映像制作システム1は、図1に示す装置に限らず、機能の実現に必要な各種の装置を含む。
 ライブ映像制作システム1には、撮影PLに関連する各種装置として、ビデオカメラ200-1、200-2、200-3等が含まれる。ビデオカメラ200-1、200-2、200-3等について、特に区別せずに説明する場合は、ビデオカメラ200と記載する。例えば、撮影PLのビデオカメラ200は、競技会場に配置されるビデオカメラ(システムカメラ)である。なお、図1では、撮影PLについては、3台のビデオカメラ200を図示するが、撮影PLのビデオカメラ200の台数は、3台に限らず、4台以上であってもよいし、2台以下であってもよい。
 ビデオカメラ200は、被写体を撮像する。各ビデオカメラ200は、無線通信により、インターネットを介してクラウドサーバ100と通信する。各ビデオカメラ200は、無線通信により、撮像した個別映像信号をクラウドサーバ100に送信する。無線通信の通信方式は、映像信号を伝送可能な帯域が確保できる通信方式であればどのような通信方式であってもよい。例えば、無線通信の通信方式は、3G(第3世代移動通信規格)、4G(第4世代移動通信規格)、LTE(Long Term Evolution)、5G(第5世代移動通信規格)などのセルラーネットワークでもよく、Wi-Fi(登録商標)(Wireless Fidelity)等であってもよい。各ビデオカメラ200は、無線通信の通信方式がセルラーネットワークの場合はセルラーネットワークと通信しさらにインターネットを介してクラウドサーバ100と通信し、無線通信の通信方式がWi-Fiの場合はダイレクトにインターネットを介してクラウドサーバと接続する。なお、ビデオカメラ200の詳細については後述する。
 クラウドサーバ100は、クラウドサービスを提供するために用いられるサーバ装置(コンピュータ)である。クラウドサーバ100は、受信装置であるRX101としての機能を有する。クラウドサーバ100は、RX101の機能により、遠隔にあるビデオカメラ200との間で情報(信号)を送受信する。
 クラウドサーバ100は、CCUの機能の少なくとも一部を有する。クラウドサーバ100は、CCUの機能の少なくとも一部を実現するCCU102を有する。このように、クラウドサーバ100は、CCUの機能をクラウド上で実現するために用いられる。以下、クラウドサーバ100により実現されるCCUの機能をCCUソフトウェアと記載する場合がある。
 また、クラウドサーバ100は、映像信号の切り換えを行なうスイッチャーの機能を有する。クラウドサーバ100は、SWer103を有する。例えば、クラウドサーバ100は、SWer103によりスイッチャーとしての機能を実現する。
 クラウドサーバ100は、SWer103により、制作BSのSWer21へ送信する映像信号を切り替える。例えば、クラウドサーバ100は、SWer103により、各ビデオカメラ200から受信した個別映像信号のうち、制作BSのSWer21へ送信する映像信号を選択する。クラウドサーバ100は、クラウドスイッチャーの機能により、配信DLのMasterSWer41へ送信する映像信号を切り替える。例えば、クラウドサーバ100は、クラウドスイッチャーの機能により、各ビデオカメラ200から受信した個別映像信号のうち、配信DLのMasterSWer41へ送信する映像信号を選択する。
 例えば、撮影PLとクラウドと間の関係性は、基地局またはコアネット(コアネットワーク)を介した関係性である。カメラ/基地局で無線通信を行い、基地局/コアネット/インターネットが有線接続されており、この間は優先通信になる。カメラと基地局との間では無線通信が行われ、基地局、コアネット、及びインターネットが有線接続された間は有線通信が行われる。図1の例では、撮影PLとクラウドサーバ100は、二点鎖線で示す箇所のように、基地局50またはコアネットを介した関係性である。例えば、ビデオカメラ200とクラウドサーバ100とは、基地局やコアネットを介した通信を行う。例えば、ビデオカメラ200とクラウドサーバ100とは、基地局50を介した通信を行う。例えば、基地局50は、5G通信を提供する基地局(5G基地局)であってもよい。例えば、ビデオカメラ200と基地局50との間では無線通信が行われ、基地局50、コアネット、及びインターネットが有線接続された間は有線通信が行われる。例えば、ビデオカメラ200は、撮像した個別映像信号を、基地局50またはコアネットを介して、クラウドサーバ100に送信する。クラウドサーバ100は、基地局50またはコアネットを介して、複数の個別映像信号を受信し、遠隔制御信号を送信する。例えば、クラウドサーバ100は、複数の個別映像信号を5G通信により受信する。例えば、クラウドサーバ100は、遠隔制御信号を5G通信により送信する。なお、図1以外の図においては、図1と同様に撮影PLとクラウドまたはMECと間の関係性を二点鎖線で示し、説明を省略する。
 クラウドサーバ100は、各種の情報(データ)を記憶する記憶装置としての機能を有する。例えば、クラウドサーバ100は、Storage104により記憶装置としての機能を実現する。クラウドサーバ100は、記憶装置の機能により各ビデオカメラ200が撮像した映像を格納する。
 ライブ映像制作システム1には、制作BSに関連する各種装置として、ビデオカメラ500やSWer21やCCU22等が含まれる。SWer21は、クラウドサーバ100から第1本線映像信号を受信する。SWer21は、放送局(制作BS)に配置され、クラウドサーバ100から第1本線映像信号を受信する受信装置として機能する。
 ライブ映像制作システム1には、放送BRに関連する各種装置として、MasterSWer31等が含まれる。ライブ映像制作システム1には、配信DLに関連する各種装置として、MasterSWer41や配信サーバ等が含まれる。MasterSWer41は、クラウドサーバ100から第1本線映像信号を受信する。
 端末装置10は、VE等のオペレータによる遠隔操作を実現するために用いられるコンピュータである。端末装置10は、例えば、放送局内、放送局以外の他の拠点(撮影現場以外)で利用される。端末装置10は、クラウドサーバ100との間で無線通信を介して情報を送受信する。端末装置10は、リモートコントローラであるRC11の機能を有する。端末装置10は、RC11の機能によりオペレータから受け付けた操作の情報をクラウドサーバ100に送信する。なお、各オペレータが利用する端末装置10の詳細については後述する。
 端末装置10は、表示装置であるMonitor12の機能を有する。端末装置10は、Monitor12の機能によりクラウドサーバ100から受信した映像を表示する。なお、端末装置10の詳細については後述する。また、図1の例では、端末装置10により、RC11の機能と、Monitor12の機能とを実現する場合を示すが、RC11の機能を実現する装置と、Monitor12の機能を実現する装置とは別体であってもよい。例えば、RC11の機能は、オペレータのノート型PCや、デスクトップPCや、スマートフォンや、タブレット型端末や、携帯電話機や、PDAなどにより実現され、Monitor12の機能は、RC11の装置とは別体の大型ディスプレイにより実現されてもよい。
[1-1-3.比較及び効果等]
 上述のように、ライブ映像制作システム1では、クラウドサーバ100を用いることで、ライブ映像制作に関わる人員の物理的位置の配置を柔軟にすることができるため、ライブ映像制作の効率化を図ることができる。
 図16のライブ映像制作システム5においては、VE等のオペレータが乗車したOBVAN600を競技会場等の映像を撮影する場所(「現地」ともいう)へ派遣し、ライブ映像制作を行う。このように、ライブ映像制作システム5においては、現地へOBVAN600を移動させる必要があり、VE等のオペレータが拘束される時間なども長くなる。ライブ映像制作システム1では、下記のようにライブ映像制作システム5よりもさらにライブ映像制作の効率化を図ることができる。
 ライブ映像制作システム1では、ライブ映像制作システム5におけるOBVAN600の機能をクラウド化することで、ライブ映像制作の効率化を図ることができる。ライブ映像制作システム1では、クラウド(クラウドサーバ100)に、複数映像に基づく映像の出力制御に関する機能(クラウドスイッチャー等)や遠隔制御に関する機能(Remote Control)の機能を持たせる。
 上記のような構成により、ライブ映像制作システム1では、ビデオカメラの各映像信号がOBVANではなく、クラウドサーバ100に入力され、各オペレータが現地(競技会場)とは異なる遠隔地で操作することができる。ライブ映像制作システム1では、現場に赴くことなく、所定の拠点にリソースを集約できるため、現場のリソースが削減される。限られたディレクタで効率的に運用したいという課題もあり、VE等を一か所に集約することで、ディレクタもその拠点にいればいいこととなり、ディレクタを現地に赴かせるという必要がなくなる。また、ライブ映像制作システム1では、現地におけるビデオカメラとCCU間の接続、配線、配線後のテスト等の事前準備も削減できるため、ワークフローの効率化も図れる。また、ライブ映像制作システム1では、制作スタッフを集約することで、コンテンツの制作を1日に複数本同じ人員でできる。
 このように、ライブ映像制作システム1は、クラウドサーバ100を用いることで、OBVANを用いることなく、ライブ映像制作を行うことができる。したがって、ライブ映像制作システム1は、ライブ映像制作に関わる人員の物理的位置の配置を柔軟にすることができ、ライブ映像制作の効率化を図ることができる。
[1-2.第1の実施形態に係るライブ映像制作システムの構成]
 図2に示すライブ映像制作システム1について説明する。図2に示すように、ライブ映像制作システム1は、クラウドサーバ100と、ビデオカメラ200と、端末装置10とが含まれる。クラウドサーバ100と、ビデオカメラ200と、端末装置10とは所定の通信網(ネットワークRN)を介して、無線または有線により通信可能に接続される。図2では、ビデオカメラ200は、基地局50を介して通信しさらにインターネットであるネットワークRNを介してクラウドサーバ100と通信する。例えば、ビデオカメラ200と基地局50との間では無線通信が行われ、基地局50、コアネット、及びインターネットであるネットワークRNが有線接続された間は有線通信が行われる。なお、ビデオカメラ200は、通信方式がWi-Fiの場合はダイレクトにインターネットであるネットワークRNを介してクラウドサーバ100と通信する。また、図2の例では、ネットワークRNにコアネットが含まれない場合を示す。なお、ネットワークRNにコアネットが含まれてもよい。図2は、第1の実施形態に係るライブ映像制作システムの構成例を示す図である。
 なお、図2に示したライブ映像制作システム1には、複数台のクラウドサーバ100や、複数台のビデオカメラ200や、複数台の端末装置10が含まれてもよい。例えば、図1の例では、ライブ映像制作システム1に3台のビデオカメラ200が含まれる場合を示す。例えば、ライブ映像制作システム1には、複数のオペレータの各々に対応する複数の端末装置10が含まれてもよい。なお、図2では、クラウドサーバ100と、ビデオカメラ200と、端末装置10のみを図示するが、ライブ映像制作システム1には、クラウドサーバ100、ビデオカメラ200、端末装置10に限らず、図1や図3に示すような各種装置が含まれてもよい。
 クラウドサーバ100は、ライブ映像制作システム1においてクラウドコンピューティングを実現するために用いられる情報処理装置である。クラウドサーバ100は、ビデオカメラ200が位置する撮影場所(現場)とは異なる地点(拠点)に設けられる装置である。クラウドサーバ100は、ビデオカメラ200が撮像した映像に関する信号処理を行う。クラウドサーバ100は、ビデオカメラ200と無線通信を介して接続する。
 クラウドサーバ100は、複数のビデオカメラ200により撮像された個別映像信号を無線通信を介して受信し、個別映像信号に基づく本線映像信号(第1本線映像信号)を送信する。クラウドサーバ100は、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により本線映像信号を得る。クラウドサーバ100は、外部から受信するビデオカメラ200の制御に関連する操作信号である第2の操作信号に応じて、複数のビデオカメラ200の少なくとも1つに対する遠隔制御信号を無線通信を介して送信する。
 クラウドサーバ100は、端末装置10から受信した操作信号に応じた処理を実行する。クラウドサーバ100は、オペレータ(VE)により選択されたビデオカメラ200を操作するカメラオペレータと、オペレータとの間のコミュニケーションのための音声による通信を可能にする処理を行う。クラウドサーバ100は、複数のビデオカメラ200の各々と、複数のビデオカメラ200の各々を操作するカメラオペレータとを対応付けた情報を用いて、オペレータにより選択されたビデオカメラ200を操作するカメラオペレータを特定し、当該カメラオペレータと、オペレータとの間のインカムなどを介した音声による通信を可能にする処理を行う。
 クラウドサーバ100は、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成の少なくとも1つを含む出力制御を行う。クラウドサーバ100は、スイッチャー(Switcher)、エディット(Edit)、グラフィックス(GFX)、またはリプレイ(Replay)の少なくとも1つを含む処理を行う。
 クラウドサーバ100は、ビデオカメラ200を遠隔制御する遠隔制御信号を複数のビデオカメラ200の少なくとも1つに送信する。クラウドサーバ100は、パン、チルト、またはズームの少なくとも1つを調整する遠隔制御信号を送信する。クラウドサーバ100は、ビデオカメラ200の位置を遠隔制御する遠隔制御信号を、当該ビデオカメラ200の位置変更機構に送信する。クラウドサーバ100は、映像の解析機能を有し、解析結果を用いて、Stats情報等の情報の抽出または生成を行う。また、クラウドサーバ100は、個別映像信号、本線映像信号、編集映像信号、STATS、CMSに用いるメタ情報等をDB(データベース)に集約させる機能を有する。
 クラウドサーバ100は、カメラコントロールユニットの機能を実現する。また、クラウドサーバ100は、ビデオカメラが撮像した映像に関する信号処理を行う信号処理装置である。例えば、クラウドサーバ100は、ビデオカメラと通信し、ビデオカメラへ基準信号を供給する。基準信号は、クラウドサーバ100内で発生され、後述する同期合わせに用いられる。また、例えば、クラウドサーバ100は、ビデオカメラからの信号を受信し、受信した信号に対する処理を行い、所定のフォーマットの信号を出力する。例えば、クラウドサーバ100は、ビデオカメラの絞り、映像信号の白レベルと黒レベル、色調などをコントロールする機能を有する。例えば、クラウドサーバ100は、ビデオカメラの絞り、映像信号の白レベルと黒レベル、色調などをコントロールするための制御信号をビデオカメラに送信する。
 例えば、クラウドサーバ100または制作BSの装置には、ビデオカメラ200とクラウドサーバ100との接続や、ビデオカメラ200で取得した映像のライブ伝送(live streams)の制御及び管理を行う接続制御・管理機能用のソフトウェア(Connection Control Manager software)が設けられる。このソフトウェアは、クラウドサーバ100に接続される複数のビデオカメラ200から伝送される映像に対応するサムネイルの表示や各受信機からの出力状態のモニタリングをするためのUI(User Interface)表示制御に関するプログラムを含む。また、ビデオカメラ200の接続、伝送ビットレート及び遅延量の制御を行なうためのUIを表示するためのプログラムを含む。さらに、クラウドサーバ100または制作BSの装置には、ビデオカメラ200等の機器との通信品質を担保するためのQoS(Quality of Service)が実装される。例えば、QoSのための前方誤り訂正(FEC:Forward Error Correction)を含むMPEG―2 TSやMMT(MPEG Media Transport)等を使用して映像等の伝送を行なう。また、例えば、QoSでは、伝送路の状況や特性に応じて伝送帯域の調整やバッファーサイズの調整を行なう。
 ビデオカメラ200は、無線通信の機能を有し、クラウドサーバ100と無線通信を介して接続する。ビデオカメラ200は、遠隔制御信号に応じて撮像動作が制御される。ビデオカメラ200は、撮像した個別映像信号を無線で送信する。ビデオカメラ200は、撮像した個別映像信号をクラウドサーバ100に送信する。
 ビデオカメラ200は、イメージセンサ(撮像素子)として、例えば、CMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)イメージセンサ(単に「CMOS」ともいう)を備える。なお、ビデオカメラ200は、CMOSに限らず、CCD(Charge Coupled Device:電荷結合素子)イメージセンサ等、種々のイメージセンサを備えてもよい。
 ビデオカメラ200は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される制御部を有する。例えば、ビデオカメラ200の制御部は、ビデオカメラ200内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。なお、ビデオカメラ200の制御部は、CPUやMPUやASICやFPGAに限らず、種々の手段により実現されてもよい。
 ビデオカメラ200は、例えば、NIC(Network Interface Card)や通信回路等によって実現される通信部を備え、ネットワークRN(インターネット等)と有線又は無線で接続され、ネットワークRNを介して、クラウドサーバ100等の他の装置等との間で情報の送受信を行う。図2の例では、ビデオカメラ200は、クラウドサーバ100との間で無線を介して、映像信号や遠隔制御信号等の送受信を行う。なお、ビデオカメラ200は、着脱可能に取り付けられる無線伝送ボックスにより通信機能を有してもよい。この場合、ビデオカメラ200は、無線伝送ボックスが着脱可能に取り付けられ、撮影された個別映像信号は無線伝送ボックスを通じて所定の通信方式を使用して最寄りの通信基地局やアクセスポイントに送信され、インターネットを介して、放送局に設置された受信機(Rx)によって受信される。なお、無線伝送ボックスの機能をビデオカメラ200内に設けて(built-in)もよい。着脱可能に構成した場合には故障の際等のメンテナンスやソフトウェアのバージョンアップを容易に行うことができる。一方、無線伝送ボックスの機能をビデオカメラ200内に設けた場合には、装置全体としての小型化やコスト削減を図ることができる。
 また、ビデオカメラ200には、位置変更機構が設けられてもよい。例えば、位置変更機構は、例えばタイヤやタイヤを駆動させるモータ(駆動部)等を有する構成であり、ビデオカメラ200を車両として機能させる構成であってもよい。例えば、位置変更機構は、例えばプロペラ(推進器)やプロペラを駆動させるモータ(駆動部)等を有する構成であり、ビデオカメラ200をドローン等のUAV(Unmanned Aerial Vehicle)として機能させる構成であってもよい。ビデオカメラ200の位置変更機構は、クラウドサーバ100からビデオカメラ200の位置を遠隔制御する遠隔制御信号を受信する。ビデオカメラ200の位置変更機構は、受信した遠隔制御信号に基づいて移動する。
 端末装置10は、遠隔での操作に用いられるコンピュータ(情報処理装置)である。端末装置10は、オペレータごとに違ってもよいし、一緒であってもよい。例えば、端末装置10は、ノート型PCや、デスクトップPCや、スマートフォンや、タブレット型端末や、携帯電話機や、PDA等の装置であってもよい。端末装置10は、オペレータによって利用され、オペレータの操作に応じた操作信号をクラウドサーバ100に送信する。端末装置10は、複数のビデオカメラ200のうち、オペレータにより選択されたビデオカメラ200を示す情報をクラウドサーバ100に送信する。
 端末装置10は、VE等のオペレータによって利用されるデバイス装置である。端末装置10は、オペレータによる入力を受け付ける。端末装置10は、オペレータの操作による入力を受け付ける。端末装置10は、オペレータに通知する情報を表示する。端末装置10は、オペレータの入力に応じた情報を表示する。端末装置10は、クラウドサーバ100等の外部装置から情報を受信する。端末装置10は、上述した受信、送信、表示等の処理が可能であれば、どのような装置であってもよい。
 端末装置10は、図1中のRC11に対応する制御部を有する。端末装置10は、制御部により各種の処理を制御する。端末装置10の制御部は、CPUやMPUやASICやFPGA等の集積回路により実現される。例えば、端末装置10の制御部は、端末装置10内部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。なお、端末装置10の制御部は、CPUやMPUやASICやFPGAに限らず、種々の手段により実現されてもよい。
 端末装置10は、例えば、NICや通信回路等によって実現される通信部を備え、ネットワークRN(インターネット等)と有線又は無線で接続され、ネットワークRNを介して、クラウドサーバ100等の他の装置等との間で情報の送受信を行う。図2の例では、端末装置10は、ネットワークRNを介してクラウドサーバ100との間で無線または有線により操作信号等の送受信を行う。
 端末装置10は、図1中のMonitor12に対応する表示部を有する。端末装置10は、表示部により各種の情報を表示する。端末装置10の表示部は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される。端末装置10は、VE等のオペレータ等の操作を受け付ける入力部を有する。端末装置10の入力部は、端末装置10に設けられたボタンや、端末装置10に接続されたキーボードやマウス、またはタッチパネルにより実現されてもよい。
[1-2-1.第1の実施形態に係るライブ映像制作システムの一例]
 ライブ映像制作システム1には、端末装置10やクラウドサーバ100やビデオカメラ200に限らず種々の構成要素が含まれてもよい。ライブ映像制作システム1には、スタジオ、サブスタジオ等に設けられる装置や、マスターコントロールルーム等の放送に関連する施設に設けられる装置や、OTT等の配信に関連する施設に設けられる装置等が含まれてもよい。
 この点について、第1の実施形態に係るクラウドサーバ100の構成について説明する。図3は、本開示の第1の実施形態に係るライブ映像制作システムに対応する機能ブロック(ソフトウェアで実現される)の一例を示す図である。なお、図1や図2と同様の点については適宜説明を省略する。
 まず、ライブ映像制作システム1に示す各装置について、図1からより詳細化された点について簡単に説明する。なお、図3中の装置等の各構成要素間を接続する点線は、映像信号を示す。また、図3中の装置等の各構成要素間を接続する一点鎖線は、制御信号を示す。また、図3中の装置等の各構成要素間を接続する実線は、映像信号及び制御信号以外の情報、例えばメタ情報等のその他の情報を示す。図3に示す矢印の向きは、情報の流れの一例を示すものであり、映像信号、制御信号、メタ情報等の流れは矢印の向きに限定されるものではない。例えば、矢先の構成要素から矢本の構成要素への映像信号、制御信号、メタ情報等の送信があってもよいし、矢印の無い構成要素間での情報の送受信があってもよい。例えば、図3では矢印のない点線で接続されたクラウドサーバ100のクラウドスイッチャー(SWer103等)と制作BSのSWer21との間で本線映像信号等の送受信が行われる。また、図3に示す装置はライブ映像制作システム1に含まれる装置の一部であり、ライブ映像制作システム1は、図3に示す装置に限らず、機能の実現に必要な各種の装置を含む。
[1-2-1-1.第1の実施形態に係るクラウドサーバの構成]
 まず、図3の説明に先立って図4を基にクラウドサーバ100の構成について説明する。図4は、本開示の第1の実施形態に係るクラウドサーバの構成例を示す図である。
 図4に示すように、クラウドサーバ100は、通信部110と、記憶部120と、制御部130と、DB140とを有する。なお、クラウドサーバ100は、クラウドサーバ100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
 通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークRN(図2参照)と接続され、ライブ映像制作システム1の各装置との間で情報の送受信を行う。通信部110は、遠隔にあるビデオカメラ200との間で信号を無線通信を介して送受信する。通信部110は、個別映像信号(撮像信号)をビデオカメラ200から受信する。通信部110は、制御信号をビデオカメラ200に送信する。
 記憶部120は、例えば、RAM、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、各種の情報を記憶する。個別映像信号、本線映像信号、編集映像信号、STATS、CMSに用いるメタ情報等は、記憶部120に集約しても良い。また、これらの情報は、データアーカイブ、ニュース映像制作等に活用することができる。
 記憶部120は、複数のビデオカメラ200の各々と、複数のビデオカメラ200の各々を操作するカメラオペレータとを対応付けた情報を記憶する。記憶部120は、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成に用いる情報を記憶する。記憶部120は、スイッチャー(Switcher)、エディット(Edit)、グラフィックス(GFX)、リプレイ(Replay)、またはCMSとしての機能を実現するために用いる情報を記憶する。また、記憶部120は、CCUとしての機能を実現するために用いる情報を記憶する。
 制御部130は、例えば、CPUやMPU等によって、クラウドサーバ100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム等)がRAM等を作業領域として実行されることにより実現される。また、制御部130は、コントローラ(controller)であり、例えば、ASICやFPGA等の集積回路により実現される。
 図4に示すように、制御部130は、通信制御部131と、処理部132を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図4に示した接続関係に限られず、他の接続関係であってもよい。
 通信制御部131は、通信部110による通信を制御する。通信部110は、通信制御部131の制御により通信を行う。
 処理部132は、映像信号に関する信号処理を行う。処理部132は、ビデオカメラ200が撮像した映像を解析する。処理部132は、Stats情報等の各種情報を抽出する。処理部132は、Stats情報等の各種情報を生成する。処理部132は、出力の切換えの処理を実行する。処理部132は、映像の合成の処理を実行する。処理部132は、静止画の生成の処理を実行する。処理部132は、動画の生成の処理を実行する。処理部132は、リプレイ映像の生成の処理を実行する。
 処理部132は、SWer103の機能を実行する。処理部132は、Edit107の機能を実行する。処理部132は、GFX108の機能を実行する。処理部132は、Replay106の機能を実行する。
 DB140は、stats112やイベント関連情報DBを含む。DB140は、stats情報やイベント関連情報を格納するデータベースである。なお、DB140は、記憶部120に含まれてもよい。
 ここから、図3を基に説明を行う。クラウドサーバ100は、通信部110であるRX・TX105を有する。RX・TX105は、図1のRX101をより詳細に記載した構成である。
 クラウドサーバ100のCCU102は、映像信号のコンバート、システムカメラの設定情報の操作や管理の機能を提供する。
 クラウドサーバ100のSWer103は、クラウドサーバ100に入力される映像信号(個別映像信号)、クラウドサーバ100内で生成される映像信号(加工映像信号)を切り替え、クラウドサーバ100外に出力する。例えば、クラウドサーバ100のSWer103は、この切り替えの際にはテロップやロゴなどのグラフィックを重畳してもよい。また、クラウドサーバ100のSWer103は、切り替え時に映像に対して特殊効果(ワイプ、グラフィック、フェイドイン/アウト)を付与する機能を有する。
 また、クラウドサーバ100は、リプレイ映像を制作するために用いられるReplay106を有する。例えば、クラウドサーバ100は、Replay106により、ハイライト等の映像を生成する。
 例えば、Replay106は、クラウドサーバ100に入力され格納される映像信号(個別映像信号)に基づいて、クラウドサーバ100に入力される外部(ユーザ)からの操作情報に基づきリプレイ映像を生成する。なお、Replay106の機能やReplay106を担当するオペレータについての詳細は後述する。
 また、クラウドサーバ100は、動画等を編集するために用いられるEdit107を有する。例えば、クラウドサーバ100は、Edit107により、選手のインタビューや紹介等の動画を映像に挟み込んだり、重畳させたりする。
 例えば、Edit107は、クラウドサーバ100に入力される映像信号に対して、クラウドサーバに入力される外部(端末装置10)からの操作情報に基づく編集を行い、編集された加工映像信号(編集映像信号)を生成する。なお、Edit107の機能やEdit107を担当するオペレータについての詳細は後述する。
 また、クラウドサーバ100は、静止画や動画等を用いたグラフィックスのために用いられるGFX108を有する。例えば、クラウドサーバ100は、GFX108により、スコアボードやテロップや選手の写真等を映像に重畳させる。クラウドサーバ100のGFXは、クラウドサーバ100のStats112が保有するStats情報等の情報を用いて重畳を行う。
 例えば、GFX108は、クラウドサーバ100に入力される映像信号(個別映像信号)に対して、クラウドサーバ100に入力される外部(端末装置10)からの操作情報に基づく編集を行い、グラフィックが付加された映像信号(加工映像信号)を生成する。例えば、GFX108は、SWer103(クラウド上の映像スイッチャー)との連携により、グラフィックを重畳する。なお、GFX108の機能やGFX108を担当するオペレータについての詳細は後述する。
 また、クラウドサーバ100は、映像を解析し、解析結果を用いてStats情報等の情報の抽出または生成を行うために用いられるAnalytics109を有する。例えば、クラウドサーバ100は、Analytics109により、スタジアムのセンサ(例えば、選手に取り付けたGPS等)や映像を解析して、可視化(例えば、選手の動き等)の処理を行ってもよい。クラウドサーバ100は、Analytics109により、選手の顔を認識して、認識結果を基に、特定した選手の情報を表示する処理を行ってもよい。クラウドサーバ100は、Analytics109により、リプレイ映像を自動生成してもよい。また、クラウドサーバ100は、Analytics109により、機械学習やAI(人工知能)に関する技術を用いて、解析処理を行ってもよい。クラウドサーバ100は、Analytics109により、オペレータが操作した履歴情報を用いて、機械学習やAI(人工知能)に関する技術により、人間が行っている操作に関する自動化を行ってもよい。例えば、クラウドサーバ100は、Analytics109の機能の実現方法の一例として、スキルの高いオペレータ(熟練者)が操作した履歴情報を用いて、機械学習やAI(人工知能)に関する技術により、人間が行っている操作に関する自動化を行ってもよい。
 クラウドサーバ100は、CMS111を有する。クラウドサーバ100のCMS111は、コンテンツ管理システム(Contents Management System)として機能する。クラウドサーバ100のCMS111は、Storage104と連携し、コンテンツデータの管理を行う制御部である。CMS111は、様々なシステムや機能から取材や加工、送出・配信に関わる映像・音声・各種メタデータを受信し、それを保存用ストレージに保持し、効率よく検索、閲覧、編集する機能を提供する。
 クラウドサーバ100のStats112は、図1中のクラウドサーバ100のStorage104に対応する。クラウドサーバ100のStats112は、試合情報等をスタジアム内のセンサから受信若しくは外部サーバから受信して格納する。図3の例では、クラウドサーバ100のStats112は、試合情報等を外部サーバNW1から受信する。例えば、クラウドサーバ100のStats112は、試合を主催する組織が管理する外部サーバNW1から試合情報等を受信してもよい。Stats112は、Analytics109の解析結果を含んでもよい。
 クラウドサーバ100のData Mng113は、図1中のクラウドサーバ100のStorage104に対応する。クラウドサーバ100のData Mng113は、主に映像を解析し生成されるデータ、外部のシステムから受信する天気などのデータを保存管理する機能を提供する。図3の例では、クラウドサーバ100のData Mng113は、クラウドサーバ100のAnalytics109や外部サーバNW2から解析結果等の情報を受信する。例えば、クラウドサーバ100のData Mng113は、Analytics109による解析結果等の情報を受信する。例えば、クラウドサーバ100のData Mng113は、受信した解析結果等の情報をクラウドサーバ100のStats112に提供する。
 制作BSのEdit23は、クラウドサーバ100のEdit107と同様の機能を提供する。制作BSのEdit23は、クラウドサーバ100のEdit107と同様の編集に関する機能を提供する装置である。また、制作BSのGFX24は、クラウドサーバ100のGFX108と同様の機能を提供する。制作BSのGFX24は、クラウドサーバ100のGFX108と同様の編集に関する機能を提供する装置である。制作BSのデータベースDBは、制作BSで用いられる各種情報(アーカイブとしての過去映像を含む)を格納する。制作BSのデータベースDBは、クラウドサーバ100のStorage104、Stats112、Data Mng113等と同様の情報を有してもよい。
 放送BRのデータベースDBは、放送BRで用いられる各種情報を格納する。放送BRのデータベースDBは、クラウドサーバ100のStorage104、Stats112、Data Mng113等と同様の情報を有してもよい。配信DLのデータベースDBは、放送BRで用いられる各種情報を格納する。配信DLのデータベースDBは、クラウドサーバ100のStorage104、Stats112、Data Mng113等と同様の情報を有してもよい。
 端末装置10は、各オペレータの操作と各機能の動作に応じて複数用いられる。例えば、端末装置10は、オペレータごとに用意される。図3では、1つの端末装置10が複数の機能を制御するように図示されるが、各端末装置10は対応する機能を制御する。
[1-2-2.各オペレータの操作と各機能の動作]
 ここから、端末装置10を用いる各オペレータによる操作と、各機能による動作について説明する。まず、映像制作系のオペレータについて説明する。なお書きで、複数の役割を1人のオペレータが兼務してよい。この合、各オペレータ向けの端末装置を統一してもよい。
[1-2-2-1.Replay]
 Replayに関連するオペレータの操作と機能の動作について説明する。以下では、Replayに関連するオペレータを「RO」と記載する場合がある。 
 例えば、RO用の端末装置10は、各ビデオカメラ映像を表示するモニタ(1台に集約してもよい)と、Replay映像編集用の操作部(例えば、操作パネル)を含む。操作パネルには、Replay映像を生成、または再生するための機能、例えばカメラ映像を切り替えるための機能、カメラ映像を時間軸で切り取るための機能(in点/out点)、カメラ映像をクロップ、拡大/縮小するための機能、カメラ映像を撒き戻したり、早送りしたりする機能、カメラ映像をスローモーション化するための機能などが含まれる。また、RO用の端末装置10は、各機能に対応する操作部を備える。ROは、これらの機能に対応する操作部に対する操作を行い、所定のイベント(例えば、得点シーンなど)が生じた際などにReplay映像を制作する。
 各ビデオカメラ200から受信するカメラ映像は、随時クラウドサーバ100(Storage機能)に保存される。端末装置10は、クラウドサーバ100(Storage機能)を介してリアルタイムに各カメラ映像を受信し、モニタに各カメラ映像を並べて表示するとともに、編集用の映像を表示する。ROは、モニタに表示される映像を確認しながら、操作パネルにおいて、上述した各機能に対応する操作部に対する操作を行い、クラウドサーバ100上にて、例えばDaaS(Desktop as a service)の機能を用いてReplay映像を制作する。このとき、端末装置10は、操作部による操作の対応する操作信号をクラウド(クラウドサーバ100等)に送信し、当該操作信号に応じてクラウドサーバ100内にて映像に対する各種処理が行われる。
 クラウドサーバ100は、各映像をダウンコンバートした後にストリーミング配信してもよいし、ダウンコンバートした映像(HD等)とダウンコンバートしない映像(4K等)を並列に配信してもよい。この場合、ダウンコンバートしない映像は例えば端末装置10が各オペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに出力されてもよい。
[1-2-2-2.GFX]
 GFXに関連するオペレータの操作と機能の動作について説明する。以下では、GFXに関連するオペレータを「GFXO」と記載する場合がある。なお、クラウドサーバ100(Stats機能)には、選手情報などグラフィックスとして映像に付加するためのStats情報が格納されている。Stats情報は、予め登録するものであっても良いし、ネットワークを介して取得するものであっても良い。
 例えば、GFXO用の端末装置10は、本線用映像を表示するモニタと、GFX映像編集用の操作パネルを含む。操作パネルには、カメラ映像を切り替えるための機能、カメラ映像に対してグラフィックスを重畳する領域を指定するための機能、Stats情報を読み出す機能、指定した領域に所定の情報(例えば、読みだしたStats情報)を重畳させるための機能などが含まれる。また、RO用の端末装置10は、各機能に対応する操作部(タッチUI含む)を備えている。GFXOは、これらの機能に対応する操作部に対する操作を行い、所定のイベント(選手入場シーンや、得点が入ったシーンなど)が生じた際などにGFX映像を制作する。なお、全処理をGFXOの操作により行うのではなく、一部自動化することも可能である。例えば、得点が入ったシーンなどを画像認識に基づき検出し、この検出結果に応じて自動で得点を重畳するようにしてもよい。
 例えば、GFXO用の端末装置10は、クラウドサーバ100(SWer機能)が出力する本線用映像を、無線通信、または有線通信にてリアルタイムに受信し、モニタに表示させる。GFXOは、モニタに表示される映像を確認しながら、操作パネルにおいて、上述した各機能に対応する操作部に対する操作を行い、クラウドサーバ上にてDaaSの機能を用いてGFX映像を制作する。このとき、端末装置10は、操作部による操作に対応する操作信号をクラウド(クラウドサーバ100等)に送信し、当該操作信号に応じてクラウドサーバ100内にて映像に対する各種処理が行われる。
 ダウンコンバートしない映像は、例えばGFXO用の端末装置10がオペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに配信出力されてもよい。
[1-2-2-3.Edit]
 Editに関連するオペレータの操作と機能の動作について説明する。以下では、(Edit Operator)オペレータを「EditO」と記載する場合がある。なお、上述のGFXと類似する点については説明を省略する。
 例えば、EditO用の端末装置10は、本線用映像を表示するモニタと、GFX映像編集用の操作パネルを含む。例えば、EditOは、主に動画に関する編集に関する操作を行う。例えば、EditOは、インタビュー映像、選手の紹介映像等の編集に関する操作を行う。
 EditOは、モニタに表示される映像を確認しながら、操作パネルにおいて、上述した動画編集の機能に対応する操作部に対する操作を行い、クラウドサーバ上にてDaaSの機能を用いて映像を制作する。このとき、端末装置10は、操作部による操作の対応する操作信号をクラウド(クラウドサーバ100等)に送信し、当該操作信号に応じてクラウドサーバ100内にて映像に対する各種処理が行われる。ダウンコンバートしない映像は、例えばEditO用の端末装置10がオペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに配信出力されてもよい。なお、動画編集は基本的にオフラインで事前に準備(DB格納)するが、リアルタイムで試合等の状況を見ながら動画編集を行ってもよい。EditOは、ROと同じように、リアルタイムで編集を行ってもよい。
[1-2-2-4.SWer(スイッチャー)]
 SWerに関連するオペレータの操作と機能の動作について説明する。以下では、SWerに関連するオペレータを「SWerO」と記載する場合がある。
 SWer(スイッチャー)は、映像信号の切替処理やスーパーインポーズ等の合成処理を行う機能を有する。例えば、SWerO用の端末装置10は、各カメラ映像、Replay映像及びGFX映像を表示するモニタ(1台に集約してもよい)と、各種映像を切り替えることで本線用映像を生成するための操作パネルを含む。操作パネルには、各種映像(各カメラ映像、Replay映像及びGFX映像)を切り替えるための機能を有しており、当該機能に対応する操作部を備えている。SWerOは、当該機能に対応する操作部に対する操作を行い、映像を切り替えることにより本線用映像を制作する。なお、全処理をSWerOの操作により行うのではなく、一部自動化することも可能である。例えば、SWerO用の端末装置10は、得点が入ったシーンなどを画像認識に基づき検出し、この検出結果に応じて自動で映像を切り替える処理を行うことができる。例えば、SWerO用の端末装置10は、スポーツのライブ放送において、解説者の映像を試合の映像に重畳するスーパーインポーズ(合成)処理を行う。
 例えば、SWerO用の端末装置10は、クラウドサーバ100(SWer機能)が出力する各カメラ映像、Replay映像及びGFX映像を、無線通信、または有線通信にてリアルタイムに受信し、モニタに並べて表示させる。SWerOは、モニタに表示される映像を確認しながら、操作パネルにおいて、映像の切り替えタイミングにおいて操作部に対する操作(例えばスイッチング)を行う。端末装置10は、当該操作に応じて切り替え(トリガ)信号をクラウドサーバ100(SWer機能)に送信する。クラウドサーバ100(SWer機能)は、この切り替え信号に応じて映像(映像信号)を切り替え、本線用映像(第1本線映像信号)を出力する。ダウンコンバートしない映像は、例えばSWerO用の端末装置10がオペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに配信出力されてもよい。
[1-2-2-5.VE]
 ここから、制御系のオペレータについて説明する。制御系のオペレータであるVE(Video Engineer)の操作と機能の動作について説明する。 
 例えば、VE用の端末装置10は、各カメラ映像に対応するモニタ(カメラ台数ごと)と、各ビデオカメラに対する遠隔操作用の操作パネル(カメラ台数ごと)を含む。VEはビデオカメラ1台につき1人で担当してもよいし、ビデオカメラ複数台(例えば3台)につき1人で担当してもよい。なお、ここでの遠隔操作とは、例えば、ビデオカメラ200のIRIS(絞り)を制御するための遠隔操作のことを示す。VEは、遠隔操作によりビデオカメラのIRISを制御することで、カメラ映像の明るさを調整する。なお、モニタと操作パネルは、それぞれ複数ビデオカメラごとに共用してもよい。
 なお、遠隔操作の対象は、IRIS(絞り)に限らず種々の対象であってもよい。遠隔操作の対象は、明るさ、色調に関する種々の対象であってもよい。遠隔操作の対象は、ゲイン、カラーバランス(トーン調整/色相・彩度補正)、ホワイトバランス、フォーカスなどであってもよい。例えば、フォーカスを遠隔操作の対象とする場合、後述するビデオカメラのオペレータ(CO)による調整後のフォーカスを最終的に調整する操作であってもよい。
 例えば、VE用の端末装置10は、クラウドサーバ100(SWer機能)が出力する各カメラ映像を、無線通信、または有線通信にてリアルタイムに受信し、各カメラ映像を対応するモニタに表示させる。VEは、このモニタに表示されているカメラ映像をリアルタイムに確認することにより、ディレクタの指示に基づき、操作パネルに対しIRIS等の遠隔操作の対象を調整するための操作を行う。操作パネルは、無線通信、または有線通信にて当該操作に応じた操作信号をクラウドサーバ100(CCU機能)に送信する。クラウドサーバ100(CCU機能)は、当該操作信号に応じた制御信号を生成し、当該制御信号に基づきビデオカメラのIRIS等の遠隔操作の対象に対する制御を行う。
 なお、VE用の端末装置10にリファレンス映像用(基準の明るさに設定されている映像)のモニタを含んでも良い。この場合、VEは、リファレンス映像用のモニタに表示されているリファレンス映像を確認することにより、当該リファレンス映像の明るさに一致させるように操作パネルに対し、IRIS等の遠隔操作の対象を調整するための操作を行う。ダウンコンバートしない映像は、例えばVE用の端末装置10がオペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに配信出力されてもよい。
[1-2-2-6.CO]
 次に、制御系のオペレータであるCO(Camera Operator)の操作と機能の動作について説明する。 
 例えば、CO用の端末装置10は、各ビデオカメラ200に対応するモニタ(ビデオカメラ台数ごと)と、各ビデオカメラ200に対する遠隔操作用の操作パネル(ビデオカメラ台数ごと)を含む。COはビデオカメラ1台につき1人で担当してもよいし、ビデオカメラ複数台(例えば3台)につき1人で担当してもよい。なお、ここでの遠隔操作とは、例えば、ビデオカメラ200のPTZ(パンチルトズーム)を制御するための遠隔操作のことを示す。COは、遠隔操作によりビデオカメラ200のPTZを制御することで、カメラ映像の画角を調整する。
 なお、遠隔操作の対象は、ビデオカメラ200のPTZに限らず種々の対象であってもよい。遠隔操作の対象は、フォーカス(の調整)であってもよい。また、遠隔操作の対象は、ビデオカメラ200に限らず、ビデオカメラ200が設置された雲台三脚等、ビデオカメラ200に取り付けられる各種の構成であってもよい。例えば、遠隔操作の対象は、ビデオカメラ200が設置された移動体のXYZ制御であってもよい。このとき、移動体としては、ドリー、ドローン等の無人航空機、スタジアム等の施設においてフィールドの上空に張り巡らされたケーブルに沿って移動する装置であってもよい。また、遠隔操作の対象は、ビデオカメラ200の構成態様に応じて種々の対象であってもよい。
 例えば、CO用の端末装置10は、クラウドサーバ(SWer機能)が出力する各カメラ映像を、無線通信、有線通信にてリアルタイムに受信し、各カメラ映像を対応するモニタに表示させる。COは、このモニタに表示されているカメラ映像をリアルタイムに確認することにより、ディレクタの指示に基づき、操作パネルに対しPTZ等の遠隔操作の対象を調整するための操作を行う。操作パネルは、無線通信、または有線通信にて当該操作に応じた操作信号をクラウドサーバ(CCU機能)に送信する。クラウドサーバ(CCU機能)は、当該操作信号に応じた制御信号を生成し、当該制御信号に基づきビデオカメラのPTZ等の遠隔操作の対象の制御を行う。ダウンコンバートしない映像は、例えばCO用の端末装置10がオペレータ向けのモニタとは別にマスタモニタを備える場合に、マスタモニタ向けに配信出力されてもよい。
[1-2-3.ライブ映像制作システムにおける他の機能例]
 上述したように、ライブ映像制作システム1には図1~図3に図示した機能に限らず、各種の機能が含まれてもよい。この点について、以下説明する。なお、以下に説明する機能は、ライブ映像制作システム1に含まれ得る機能の一例であり、ライブ映像制作システム1の目的や用途に応じて含まれてもよいし、含まれなくてもよい。
[1-2-3-1.クラウドサーバの機能]
 クラウドサーバ100は、Automationの機能を有してもよい。クラウドサーバ100は、自動解析結果に基づく、各種機能(スイッチャー等)の自動制御の機能としてのAutomationの機能を有する。クラウドサーバ100のAutomationは、自動化機能全般を提供する。
 例えば、Automationは、映像加工や送出・配信に関わる機能やメタデータを基にした自動制御を提供する。例えば、Automationは、AIが生成したシーン切り替え情報による自動カット点編集機能、送出リストデータを使った自動送出を提供する。Automationにより、スイッチャー、エディット、グラフィックス、リプレイ等の各種機能が自動制御される。例えば、クラウドサーバ100は、送信する映像信号の切り換え作業を自動で行なう。例えば、クラウドサーバ100は、リプレイ映像を自動で生成する。
 クラウドサーバ100は、Mixierの機能を有してもよい。クラウドサーバ100のMixierは、音声信号に対して入力音声チャンネルごとに出力の有無の切り替え、レベル制御、チャンネル切り替えなどを行い音声出力を行う。
 クラウドサーバ100は、Monitoringの機能を有してもよい。クラウドサーバ100のMonitoringは、監視機能を提供する。Monitoringは、各種システムに関する監視機能を提供する。例えば、Monitoringは、クラウド上のプロセス監視、ネットワーク監視、物理リソースとの接続の監視などを、各システムやコンポーネントが生成するログやアラート通知に基づき行う。Monitoringは、特にネットワーク(Network)の場合は、一般的な通信技術(SNMP(Simple Network Management Protocol)等)を用いた監視機能を提供する。監視機能が有するUI機能により、事前準備として、各カメラと対応する操作装置やモニタが対応付けられて、接続関係が構築される。
 クラウドサーバ100は、Tally Masterの機能を有してもよい。クラウドサーバ100のTally Masterは、タリー信号に関する機能を提供する。Tally Masterは、機器に対してGPI(電気信号)による入力On/Offによって管理される機器の状態通知をIP変換し、ネットワーク・クラウドシステム(ライブ映像制作システム1等)内で扱う形式にした機能を提供する。
 なお、上述したクラウド上の各種の機能は、全てクラウド上で実現される場合に限らず、ライブ映像制作システム1の目的や用途に応じて、一部の機能がクラウド外において実行されてもよい。例えば、上述したクラウド上の各種の機能は、1台のクラウドサーバ100で実現される場合に限らず、複数台のクラウドサーバ100により実現されてもよい。また、一部の機能は物理的なCCUハードにより実現されてもよい。
[1-2-3-2.マスターコントロールルーム内の機能]
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、Trafic/Scheduling systemの機能を有する装置が配置されてもよい。Trafic/Scheduling systemは、1日分の番組構成を生成・管理し、配下のシステムに対してそのデータをシステムにあった内容で適切に配布する最上位システムである。
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、APC(Automatic Program Controller)の機能を有する装置が配置されてもよい。APCは、Trafic/Scheduling systemが管理する番組構成に従い各種機器を制御する。
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、Ingest/QCの機能を有する装置が配置されてもよい。Ingest/QCは、APCの制御に基づいて、映像信号をルータを介して取り込みストレージに格納する。また、プロダクションが作成した番組コンテンツをデジタル化しストレージに取り込む。この際、デジタル化した映像のクオリティチェックのための映像出力をモニタに対して行う。
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、Tag/indexの機能を有する装置が配置されてもよい。Tag/indexは、ストレージに格納されている映像(「映像コンテンツ」ともいう)に対して例えばAI等の解析を行い、映像コンテンツに対してタグ・インデックスを付与する。映像コンテンツは、例えばストレージ等に映像のメディア形式で保存されているコンテンツをいう。または、Tag/indexは、ストレージに格納されている映像コンテンツをモニタに出力し、この映像コンテンツを確認しているユーザによる入力に基づいて、タグ・インデックスを付与する。
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、AD―inの機能を有する装置が配置されてもよい。AD―inは、APCの制御に基づいて、ストレージに格納されているCM(コマーシャルメッセージ)を読出しスイッチャーに出力する。
 ライブ映像制作システム1のマスターコントロールルーム(例えば放送BRの主調整室等)内には、CIAB(Channel In-A-Box)の機能を有する装置が配置されてもよい。CIABは、APCの制御に基づいて、ストレージから映像コンテンツを読出し、スイッチャーに出力する。
[1-2-3-3.スタジオ内の機能]
 ライブ映像制作システム1のスタジオ内(例えば制作BSのスタジオSDやサブスタジオSS等)内には、NRCS(News Room Control System)の機能を有する装置が配置されてもよい。NRCSは、各ニュース番組の構成(送出リスト)を管理するニュース専用の上位データシステムである。NRCSは、送出リストと連携した取材情報の計画作成、計画の配布機能を有し、配下のシステムに対して、それらの情報を適切な形で配布する機能を有する。
 ライブ映像制作システム1のスタジオ内(例えば制作BSのスタジオSDやサブスタジオSS等)内には、NA(News Automation)の機能を有する装置が配置されてもよい。NAは、NRCSが管理する構成に従い各種機器(スイッチャー等)を制御する。
[1-2-4.その他]
 以下、ライブ映像制作システム1に関して上述した点以外の点について記載する。映像の画質は、SDR(Standard Dynamic Range)やHDR(High Dynamic Range)等の種々の画質(マルチフォーマット)であってもよい。例えば、映像の画質は、通信や処理等に応じて、SDRとHDRとの間で変換されてもよい。
[1-2-4-1.データ通信]
 ライブ映像制作システム1におけるデータ通信は、ライブ映像制作システム1における処理が実現可能であれば、どのような態様により行われてもよい。なお、ライブ映像制作システムに物理的な装置であるCCU(CCUハード)が含まれる場合、ビデオカメラ200とCCUハードとの間での信号の通信を除き、各ブロック(構成要素)間の信号はIP化された信号の通信であってもよい。例えば、後述するライブ映像制作システム1Aのように物理的な装置であるCCU300-1~300-3が含まれる場合、ビデオカメラ200と、CCU300-1~300-3との間での信号の通信を除き、各ブロック(構成要素)間の信号はIP化された信号の通信であってもよい。
[1-2-4-2.信号の同期合わせ]
 ライブ映像制作システム1における同期合わせは、ライブ映像制作システム1における処理が実現可能であれば、どのような態様により行われてもよい。
 映像信号の同期合わせについては、基準信号(マスタークロック)でビデオカメラ200間の同期合わせが行われる。クラウドサーバ100から供給される基準信号等の同期信号に基づき各映像信号は同期されている。クラウドサーバ100内での遅延で画像間の時刻がずれることもあるので、この場合にはクラウドサーバ100内にて同期あわせを行う機能を有する。SWer103に入力される複数のビデオカメラ200からの個別カメラ映像(個別映像信号)間の同期合わせが行われる。これには、例えば各映像のフレームに含まれるタイムスタンプなどにより映像の同期合わせが行われる。SWer103に入力する前段にストレージに各映像をバッファリングすることで、例えば最も遅い映像を基準に同期合わせする。例えば、上述した映像信号の同期合わせは、SWer103内にて行われるが、同期合わせは、SWer103以外により行われてもよい。
 また、オペレータ操作の同期合わせについては、各オペレータが端末装置10(RC11)を介して行う映像に対する操作(SWer/Edit/GFX等)と、当該操作を行う映像との同期合わせが行われる。これには、例えばオペレータの操作に応じて生成される操作信号に含まれるタイムスタンプと、操作対象となる映像のタイムスタンプに基づいて操作信号と映像の同期合わせが行われる。例えば、上述したオペレータ操作の同期合わせは、クラウド(クラウドサーバ100等)内の各機能ブロック内にて行われる。
[1-2-4-3.VE/COお助け機能(インカム)]
 ライブ映像制作システム1は、インカムの機能により、VEやCOを補助する機能を提供してもよい。ライブ映像制作システム1は、クラウド(クラウドサーバ100等)内にインカムの音声データの通信回線(VEまたはCOとカメラオペレータ間)の確立・切り替えのための機能を有しても良い。例えば、VEまたはCOが、ビデオカメラに対する遠隔操作(IRIS/フォーカス等)を行うために、端末装置10(RC11)によりビデオカメラ200を選択する操作を行うと、クラウド(クラウドサーバ100等)の上記機能が、この選択操作をトリガに、選択したビデオカメラ200のカメラオペレータとの間で音声通信回線を確立する。
 クラウドサーバ100は、VoIP(Voice Over IP(Internet Protocol))の機能を有してもよい。クラウドサーバ100のVoIPは、音声信号をIPストリームとして送受信するための仕組みを提供する。VoIPは、放送業務中に必要とされる双方向での音声コミュニケーションを実現するために提供される。例えば、VoIPは、試合会場等の現地にいる人間、遠隔地にいるディレクタ、オペレータ(操作者)等の間のコミュニケーションなどに用いられる。VoIPは、取材現場等の現地にいる人間とスタジオ内にいる人間のコミュニケーションなどに用いられる。クラウドサーバ100は、ライブ映像制作システム1を利用する各ユーザ(人間)の権限管理を行ってもよい。例えば、クラウドサーバ100は、VoIPの利用に関する各ユーザ(人間)の権限管理を行ってもよい。例えば、クラウドサーバ100は、各ユーザ(人間)の権限に応じて、VoIPにより音声コミュニケーションできる相手を制限してもよい。
 上記の機能を実現するために、例えばクラウド(クラウドサーバ100等)のストレージ(CMS)機能内に、機材(ビデオカメラ)のIDと、当該機材とセットで用いられるインカムのIDとを関連付けて管理する。そして、クラウドサーバ100は、VEによるビデオカメラを選択する操作によりビデオカメラのIDを特定し、当該IDに対応するビデオカメラに関連付けられているインカムと、選択したVEのインカムとの通信回線を接続する制御を行う。なお、CMSは、さらにオペレータのIDを関連付けて管理してもよい。
 また、ライブ映像制作システム1は、VEやCO等のオペレータを補助する情報を表示してもよい。例えば、VE用の端末装置10は、VEのための参考情報として、各カメラ映像の明るさの指標(数値)を算出してもよい。また、VE用の端末装置10は、算出した指標(数値)を表示してもよい。端末装置10は、明るさの指標の算出において、Data Mng113に記録された日時情報や天気情報を使用する。
[1-3.第1の実施形態に係るライブ映像処理の手順]
 次に、図5を用いて、第1の実施形態に係る処理について説明する。図5は、第1の実施形態に係るライブ映像制作システムの処理の一例を示すフローチャートである。
 図5に示すように、クラウドサーバ100は、複数のビデオカメラ200により撮像された個別映像信号を無線通信を介して受信する(ステップS101)。そして、クラウドサーバ100は、個別映像信号に基づく本線映像信号を送信する(ステップS102)。クラウドサーバ100は、生成した本線映像信号を制作BSの装置(SWer21)に送信する。
[2.第2の実施形態]
 ライブ映像制作システムのシステム構成は、上記の第1の実施形態に限らず、種々のシステム構成であってもよい。この点について以下説明する。上記第1の実施形態においては、CCUソフトウェアにより、クラウドサーバ100がCCU機能を実現する場合を示したが、ライブ映像制作システムには、CCU機能の一部を実現する信号処理装置が含まれてもよい。この場合、ライブ映像制作システムには、複数のビデオカメラ200の少なくとも1つ、及びクラウドサーバ100と通信し、ビデオカメラ200に関連する処理であるカメラ関連処理を行う信号処理装置が含まれてもよい。
 このように、第2の実施形態のライブ映像制作システム1Aには、CCUソフトウェアによりCCU機能を実現するクラウドサーバ100と、物理的なハードウェア筐体を用いて構成されたCCU(CCUハード)でありCCU機能を実現するCCU300とが含まれる。CCUハードがゲイン、カラーバランス、ホワイトバランスの調整等の処理(映像プロセッシング処理)である第2の処理を行い、CCUソフトウェアがIRIS(絞り)、フォーカスの調整等の処理(例えば、メカ制御処理)などの非映像プロセッシング処理である第1の処理を行ってもよい。この場合、CCUソフトウェアは、絞り駆動やフォーカスレンズ駆動等のメカ制御以外にも、映像プロセッシングを行うCCUハードに対する制御指令を行うなどの制御処理を行ってもよい。なお、クラウドサーバ100とCCU300とにおけるCCU機能の分担については、上記の例に限らず、どのような分担であってもよい。
 以下では、複数のCCU300は、複数のビデオカメラ200の各々に対応付けて複数設けられる場合を示す。このように、第2の実施形態では、クラウドサーバ100とビデオカメラ200との間に、物理的なCCU(CCUハード)であるCCU300が配置されるライブ映像制作システム1Aを示す。なお、CCUハードの機能は、BPU(Baseband Processing Unit)により実現されてもよい。また、第1の実施形態と同様の点については、適宜説明を省略する。
[2-1.本開示の第2の実施形態に係るライブ映像制作システムの概要]
 第2の実施形態に係るライブ映像制作システムの概要について、図6を用いて説明する。図6は、本開示の第2の実施形態に係るライブ映像制作システムの一例を示す図である。図6に示すライブ映像制作システム1Aの構成について説明する。なお、ライブ映像制作システム1Aにおいて、ライブ映像制作システム1と同様の点については適宜説明を省略する。
 ライブ映像制作システム1Aには、複数のビデオカメラ200や複数のCCU300等の撮影PLに関連する各種装置、クラウドサーバ100、端末装置10、制作BSに関連する各種装置、配信DLに関連する各種装置、放送BRに関連する各種装置が含まれる。なお、図6中の装置等の各構成要素間を接続する点線は、映像信号を示す。また、図6中の装置等の各構成要素間を接続する一点鎖線は、制御信号を示す。また、図6中の装置等の各構成要素間を接続する実線は、映像信号及び制御信号以外の情報、例えばメタ情報等のその他の情報を示す。図6に示す矢印の向きは、情報の流れの一例を示すものであり、映像信号、制御信号、メタ情報等の流れは矢印の向きに限定されるものではない。また、図6に示す装置はライブ映像制作システム1Aに含まれる装置の一部であり、ライブ映像制作システム1Aは、図6に示す装置に限らず、機能の実現に必要な各種の装置を含む。
 ライブ映像制作システム1Aのクラウドサーバ100は、カメラ関連処理のうち、第1の処理としてのカメラ光学系制御(非映像プロセッシング処理)を行う。カメラ光学系制御は、ビデオカメラ200の光学系である絞りまたはフォーカスの少なくとも1つを調整する制御を含む。光学系制御は、主に絞りの駆動機構やフォーカスレンズの駆動機構といったメカ機構を制御である。
 クラウドサーバ100は、RX・TX105により、遠隔にあるCCU300との間で情報(信号)を無線通信を介して送受信する。クラウドサーバ100は、RX・TX105により、映像信号や制御信号をCCU300との間で送受信する。
 ライブ映像制作システム1Aには、撮影PLに関連する各種装置として、ビデオカメラ200-1、200-2、200-3やCCU300-1、300-2、300-3等が含まれる。CCU300-1、300-2、300-3等について、特に区別せずに説明する場合は、CCU300と記載する。なお、3台のCCU300を図示するが、CCU300の台数は、3台に限らず、2台以下であってもよい。図6では、ビデオカメラ200の各々に1台のCCU300が対応づけられる場合を示すが、2台以上のビデオカメラ200に1台のCCU300が対応付けられてもよい。
 ライブ映像制作システム1Aのビデオカメラ200は、CCU300と通信する。各ビデオカメラ200は、有線により接続されたCCU300との間で通信を行う。各ビデオカメラ200は、対応するCCU300との間で映像信号や制御信号を送受信する。なお、ビデオカメラ200とCCU300との間の接続や通信の態様についての詳細は後述する。
 CCU300は、ビデオカメラに関する制御を行うために用いられる信号処理装置である。CCU300は、複数のビデオカメラ200の少なくとも1つ、及びクラウドサーバ100と通信し、ビデオカメラ200に関連する処理であるカメラ関連処理を行うCCU300は、カメラ関連処理のうち、第1の処理と異なる第2の処理としての映像プロセッシング処理を行う。第2の処理は、映像信号に対する信号処理(映像プロセッシング処理)であり、ゲイン、カラーバランス、またはホワイトバランスの少なくとも1つを調整する処理を含む。また、各CCU300は、対応するビデオカメラ200との間で映像信号や制御信号を送受信する。
 上記のように、ライブ映像制作システム1Aは、CCUソフトウェアによりCCU機能を実現するクラウドサーバ100と、物理的なCCU(CCUハード)であるCCU300とを有することで、構成要素間でCCU機能を適切に分担させることができる。したがって、ライブ映像制作システム1Aは、クラウドサーバを用いてライブ映像制作の効率化を図ることができる。
[2-2.第2の実施形態に係るライブ映像制作システムの構成]
 図7は、本開示の第2の実施形態に係るライブ映像制作システムの構成例を示す図である。図7に示すライブ映像制作システム1Aについて説明する。図7に示すように、ライブ映像制作システム1Aは、クラウドサーバ100と、ビデオカメラ200と、CCU300と、端末装置10とが含まれる。クラウドサーバ100と、CCU300と、端末装置10とは所定の通信網(ネットワークRN)を介して、無線または有線により通信可能に接続される。図7では、CCU300は、基地局50を介して通信しさらにインターネットであるネットワークRNを介してクラウドサーバ100と通信する。ビデオカメラ200は、CCU300と通信可能に接続される。例えば、CCU300と基地局50との間では無線通信が行われ、基地局50、コアネット、及びインターネットであるネットワークRNが有線接続された間は有線通信が行われる。
 なお、図7に示したライブ映像制作システム1Aには、複数台のクラウドサーバ100や、複数台のビデオカメラ200や、複数台のCCU300や、複数台の端末装置10が含まれてもよい。例えば、図6の例では、ライブ映像制作システム1Aに3台のビデオカメラ200や3台のCCU300が含まれる場合を示す。例えば、ライブ映像制作システム1Aには、複数のオペレータの各々に対応する複数の端末装置10が含まれてもよい。なお、図7では、クラウドサーバ100と、ビデオカメラ200と、端末装置10のみを図示するが、ライブ映像制作システム1Aには、クラウドサーバ100、ビデオカメラ200、端末装置10に限らず、図6に示すような各種装置が含まれてもよい。
 クラウドサーバ100は、ライブ映像制作システム1Aにおいてクラウドコンピューティングを実現するために用いられる情報処理装置である。クラウドサーバ100は、ビデオカメラ200が位置する撮影場所(現場)から遠隔にある所定の地点(拠点)に設けられる装置である。クラウドサーバ100は、無線通信の機能を有し、ビデオカメラ200が撮像した映像に関する信号処理を行う。クラウドサーバ100は、CCU300と無線接続する。
 クラウドサーバ100は、複数のビデオカメラ200により撮像された個別映像信号をCCU300から無線通信を介して受信し、個別映像信号に基づく本線映像信号をSWer21、MasterSWer31、MasterSWer41のいずれかに対して送信する。クラウドサーバ100は、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により本線映像信号を得る。クラウドサーバ100は、外部から受信するビデオカメラ200の制御に関連する操作信号である第2の操作信号に応じて、複数のビデオカメラ200の少なくとも1つに対する遠隔制御信号を無線通信を介して対応するCCU300に送信する。
 ビデオカメラ200は、CCU300と通信する。ビデオカメラ200は、遠隔制御信号に応じて撮像動作がCCU300を介して制御される。撮像動作は、非映像プロセッシング処理相当の動作、PTZ制御のための動作を含む。ビデオカメラ200は、CCU300を介して撮像した個別映像信号を送信する。ビデオカメラ200は、撮像した個別映像信号を、CCU300を介してクラウドサーバ100に送信する。また、ビデオカメラ200には、種々の態様により電源が供給されるが、この点については後述する。
 CCU300は、ビデオカメラに関する制御を行う制御部を有する。CCU300は、制御部により各種の制御を行う。CCU300の制御部は、CPUやMPUやASICやFPGA等の集積回路により実現される。例えば、CCU300の制御部は、RAM等を作業領域として、CCU300内部に記憶されたプログラムを実行することにより各種制御を行う。なお、CCU300の制御部は、CPUやMPUやASICやFPGAに限らず、種々の手段により実現されてもよい。
 CCU300は、例えば、NICや通信回路等によって実現される通信部を備え、ネットワークRN(インターネット等)と有線又は無線で接続され、ネットワークRNを介して、クラウドサーバ100との間で情報の送受信を行う。図7の例では、CCU300は、ネットワークRNを介してクラウドサーバ100との間で無線通信を介して個別映像信号や制御信号等の送受信を行う。また、CCU300は、有線または無線接続により、ビデオカメラ200との間で個別映像信号や制御信号等の送受信を行う。
[2-3.カメラへの電源供給例]
 ビデオカメラへの電源供給は、種々の態様であってもよい。この点について、図8A~図8Cを用いて説明する。
[2-3-1.第1の供給例]
 まず、図8Aを用いて電源の第1の供給例を説明する。図8Aは、ビデオカメラへの電源供給の一例を示す図である。
 図8Aの例では、ビデオカメラ200とCCU300とは、光通信ケーブルと電気通信ケーブルが1本に束ねられた光電気複合ケーブルCB1により接続される。光電気複合ケーブルCB1は、電源供給が可能なケーブルである。例えば、光電気複合ケーブルCB1は、最長数百m(例えば600m等)の長さであってもよい。図8Aの例では、光電気複合ケーブルCB1によりCCU300からビデオカメラ200に例えば交流電源が供給される。
 また、ビデオカメラ200とCCU300とは、光電気複合ケーブルCB1を介して通信し、例えば12G-SDI(Serial Digital Interface)方式等のSDI方式により個別映像信号や制御信号等が送受信される。
[2-3-2.第2の供給例]
 次に、図8Bを用いて電源の第2の供給例を説明する。図8Bは、ビデオカメラへの電源供給の一例を示す図である。
 図8Bの例では、ビデオカメラ200とCCU300とは、シングルモードの光ファイバーケーブルCB2により接続される。光ファイバーケーブルCB2は、電源供給なしの光ファイバーケーブルである。例えば、光ファイバーケーブルCB2は、最長数km(例えば10km等)の長さであってもよい。図8Bの例では、ローカル給電によりビデオカメラ200に電源供給される。例えば、ビデオカメラ200には、光ファイバーケーブルCB2とは異なる電源供給用のケーブルが接続され、電源供給用のケーブルにより電源供給される。例えば、ビデオカメラ200には、電源プラグ等を有する電源供給用のケーブルにより電源供給される。例えば、ビデオカメラ200に直流(DC)電源が供給される。
 また、ビデオカメラ200とCCU300とは、光ファイバーケーブルCB2を介して通信する。ビデオカメラ200とCCU300との間は、光ファイバーケーブルCB2により個別映像信号や制御信号等が送受信される。
[2-3-3.第3の供給例]
 次に、図8Cを用いて電源の第3の供給例を説明する。図8Cは、ビデオカメラへの電源供給の一例を示す図である。第3の供給例では、ビデオカメラ200とCCU300との間に、電源供給ユニットUT1が配置された例を示す。
 図8Cの例では、CCU300と電源供給ユニットUT1とは、光ファイバーケーブルCB2により接続される。光ファイバーケーブルCB2は、電源供給なしのシングルモード光ファイバーケーブルである。例えば、光ファイバーケーブルCB2は、最長数km(例えば10km等)の長さであってもよい。
 また、CCU300と電源供給ユニットUT1は、光ファイバーケーブルCB2を介して通信することで、個別映像信号や制御信号等が送受信される。
 また、図8Cの例では、ビデオカメラ200と電源供給ユニットUT1とは、光電気複合ケーブルCB1により接続される。光電気複合ケーブルCB1は、電源供給が可能な光電気複合ケーブルである。例えば、光電気複合ケーブルCB1は、最長数百m(例えば350m等)の長さであってもよい。図8Cの例では、光電気複合ケーブルCB1により電源供給ユニットUT1からビデオカメラ200に例えば交流電源が供給される。
 また、ビデオカメラ200と電源供給ユニットUT1とは、光電気複合ケーブルCB1を介して通信する。ビデオカメラ200と電源供給ユニットUT1との間は、光電気複合ケーブルCB1により個別映像信号や制御信号等が送受信される。これにより、ビデオカメラ200とCCU300とは、電源供給ユニットUT1を介して通信する。
 なお、上述した第1~第3の供給例は例示に過ぎず、ビデオカメラ200には種々の態様により電源供給がされてもよい。例えば、ビデオカメラ200に搭載するバッテリから電源供給されてもよい。
[2-4.ライブ映像制作システムにおける処理例]
 ここから、ライブ映像制作システムにおける各種の処理についての例を示す。
[2-4-1.ライブ映像制作システムにおける処理]
 まず、図9を用いて、ライブ映像制作システムにおける各装置の構成や処理についての概要を説明する。図9は、ライブ映像制作システムにおける処理の一例を示す図である。なお、以下では、物理的な筐体を有するハードウェア製品として構成されたCCUハード1002の一例である。なお、CCUハード1002は、その処理の全てをハードウェア処理で行うものを意味するのではなく、処理の一部をソフトウェア処理で行っても良い。
 図9の説明では、1つのイメージセンサ(例えば、CMOS)を用いる単板方式(単板式)のビデオカメラ200を用いた場合を一例として説明する。なお、ビデオカメラ200には、単板方式に限らず、3つのイメージセンサ(例えば、CMOS)を用いる三板方式(三板式)といった他の方式が採用されてもよいが、この点については後述する。
 図9に示すように、ライブ映像制作システム1Aは、CCUソフトウェア1001と、CCUハード1002と、カメラヘッドユニットCHUとを含む。カメラヘッドユニットCHUは、ビデオカメラ200である。例えば、CCUソフトウェア1001の機能は、クラウドサーバ100により実現される。例えば、CCUハード1002は、CCU300である。このように、図9の例では、CCUの機能を分割する。図9の例では、クラウドサーバ100によりクラウド上で実現する機能と、CCU300によりハードウェアの構成として実現する機能とに分割する。
 まず、カメラヘッドユニットCHUの構成や処理を説明しつつ、カメラヘッドユニットCHUからCCUハード1002、CCUソフトウェア1001への情報(データ)の流れを説明する。
 カメラヘッドユニットCHUは、撮像素子1010、CPU1020、RX・TX1030等の構成を備える。
 交換レンズ1040は、フォーカスやアイリス(絞り)やズームを調整する機能を有する。
 撮像素子1010は、イメージセンサである。CPU1020は、プロセッサであり、ビデオカメラ全体の動作を制御するものであり、例えば、交換レンズ1040のフォーカスやアイリス(絞り)やズームを調整する。また、CPU1020は、雲台1050等のPan/Tilterを制御することによりパンやチルトを調整する。
 例えば、Pan/Tilterには、カメラヘッドユニットCHUが取り付けられる。Pan/Tilterは、パンとチルトとを調整する機能を有する。Pan/Tilterは、カメラヘッドユニットCHUとは別体で、カメラヘッドユニットCHUは、Pan/Tilterに着脱可能であってもよい。例えば、Pan/Tilterは、カメラヘッドユニットCHUと一体であってもよい。例えば、Pan/Tilterの代わりに、ドリーやドローンを用いてパン/チルトなどを調整しても良い。
 RX・TX1030は、通信部(送信部及び受信部)としての機能を有する。RX・TX1030は、NICや通信回路等である。
 撮像素子1010は、例えば、CMOSやCCDで構成され、 交換レンズ1040を介して入射した被写体からの光学像を光電変換して映像データを出力する。
 図9は、単板方式の場合を示しており、撮像素子1010から出力される映像データとしてのRAWデータは、撮像素子1010上のカラーフィルタの配列の位置関係を維持した映像データである。例えば、カラーフィルタの配列は、ベイヤー配列である。RAWデータには、後述するYCは含まれない。なお、本実施の形態においては、撮像素子1010から出力される映像データを、色分離をしてR(赤)、G(緑)、B(青)の3プレーンの映像データもRAWデータとして称することとする。さらに、三板方式の場合、各撮像素子1010から出力されるR、G、Bの3つ映像データを合わせたものもRAWデータと称することとする。
 また、単板方式及び三板方式のいずれの場合も、RAWデータは、YC変換、即ちRGBのデータをYC方式である輝度データYと色差データCに変換する処理をしておらず、後述する色/明るさ調整に関わる処理の一部又は全てをしていない映像である。なお、YC方式としては、YCbCr、YUVやYIQ等種々の方式であってもよい。
 撮像素子1010から出力されたRAWデータに対して欠陥補正1011が行われ、その後、圧縮1012の処理が行われる。なお、欠陥補正1011や圧縮1012の処理は行われなくてもよい。
 RX・TX1030のTXは、RAWデータをCCUハード1002に送信する。
 RAWデータを受信したCCUハード1002は、YC変換を行う。そして、CCUハード1002は、RAWデータをYC変換したデータ(「YC」や「YCデータ」とする)をCCUソフトウェア1001へ送信する。なお、YCには、種々のクロマフォーマットが採用されてもよい。例えば、クロマフォーマットには、4:4:4、4:2:2、または、4:2:0が採用されてもよい。
 ここから、CCUソフトウェア1001からCCUハード1002、カメラヘッドユニットCHUへの情報(データ)の流れを説明する。
 CCUソフトウェア1001は、VEのユーザ操作を受け付ける。図9の例では、CCUソフトウェア1001は、VEによるカメラヘッドユニットCHUのフォーカスやアイリス(絞り)やズームの調整を受け付ける。CCUソフトウェア1001は、VEのユーザ操作による操作情報(操作信号)をCCUハード1002に送信する。
 CCUハード1002は、CCUソフトウェア1001から受信した操作情報を、図8で説明した光ファイバケーブル等によりカメラヘッドユニットCHUに送信する。CCUハード1002は、RX・TX1030のRXを介してCCUソフトウェア1001から受信した操作情報をCPU1020で判断し、カメラヘッドユニットCHUのフォーカスやアイリス(絞り)やズームを調整するための制御情報(制御信号)を生成し、生成した制御情報をカメラヘッドユニットCHUに送信してもよい。
 なお、CCUハード1002は、CCUソフトウェア1001から受信した操作情報そのものを制御情報(制御信号)としてカメラヘッドユニットCHUに送信してもよい。
 RXは、CCUハード1002からの情報(個別映像信号等)を受信する。例えば、リターン映像として個別映像信号を受信した場合には、図示しないVF(view finder)に個別映像信号を表示する。RX・TX1030は、交換レンズ1040のフォーカスやアイリス(絞り)やズームを調整するための情報(信号)をCPU1020へ送信(伝達)する。
 なお、図ではRX1021とRX・TX1023を別の構成としているが、RX・TX1023だけで構成し、RX・TX1023でRAWデータを受信する構成となっていても良い。
 交換レンズ1040のフォーカスやアイリス(絞り)やズームを調整するための操作信号を受信したCPU1020は、受信した操作信号を基に、カメラヘッドユニットCHUのフォーカスやアイリス(絞り)やズームを調整する。
[2-4-2.CCUハード内における処理]
 図10を用いて、CCUハード1002内における処理について説明する。図10は、CCUハードにおける処理の一例を示す図である。なお、図9と同様の点については適宜説明を省略する。図10は、CCUハード1002の内部構成を示す。
 CCUハード1002は、RX1021や、制御部1022や、RX・TX1023等の構成を備える。RX1021は、受信部としての機能を有する。CCU300の通信部であるRX1021は、NICや通信回路等である。制御部1022は、例えばプロセッサであり、各機能ブロックを制御する。制御部1022は、現像処理部を制御してRGBの情報をYC変換する機能を実現する。制御部1022は、クラウドからの操作制御情報(「操作情報」ともいう)を自身で処理するものと、カメラヘッドユニットCHUに送るものに分離する。すなわち、制御部1022は、クラウドからの操作制御情報を自身で処理するものか、カメラヘッドユニットCHUに送るものであるかを判別する機能を有する。
 RX・TX1023は、送信装置及び受信装置としての機能を有する。CCU300の通信部であるRX・TX1023は、NICや通信回路等である。RX・TX1023は、CCUソフトウェア1001やカメラヘッドユニットCHUとの間で個別映像信号や制御信号等を送受信する。
 RXは、ビデオカメラ200からRAWデータを受信する。現像処理部は、受信したRAWデータに対して現像処理を行う。なお、現像処理の詳細については、後述する。
 そして、RX・TX1023のTXは、RAWデータをYC変換したYC(YCデータ)をCCUソフトウェア1001へ送信する。YC(YCデータ)を受信したCCUソフトウェア1001は、YCデータを用いて種々の処理を実行する。
 CCUハード1002は、CCUソフトウェア1001からの情報、例えば、VEのユーザ操作による操作情報(操作信号)を受信する。
 RX・TX1023は、CCUソフトウェア1001から受信した操作情報(操作信号)を、制御部1022へ送信(伝達)する。制御部1022は、操作情報(操作信号)のうち、CCUハード1002内で処理するものと、カメラヘッドユニットCHUで処理するものを判別する。そして、制御部1022は、カメラヘッドユニットCHUで処理する操作情報(操作信号)をTXからカメラヘッドユニットCHUに送信(伝達)させる。
[2-4-3.現像処理]
 ここで、現像処理の詳細について図11を用いて説明する。図11は、単板方式における現像処理の一例を示す図である。なお、図9や図10と同様の点については適宜説明を省略する。
 現像1031の処理におけるDEC1032は、RAWデータ(RAW信号)を圧縮符号化方式に対応する方式で復号する。現像1031の処理におけるゲイン1033は、DEC1032による復号の結果得られたRAWデータのゲインの調整を行うことで、RAWデータに基づき映像の明るさを調整する。
 現像1031の処理におけるWB1034は、RAWデータのホワイトバランスの調整を行う。なお、現像処理において、ゲイン1033とWB1034の処理の順序は逆であってもよい。
 現像1031の処理における色分離1035は、ベイヤ(モザイクカラーフィルタ)の場合、行われる色分離(デモザイク)の処理である。
 現像1031の処理におけるカラーバランス1036は、RGBの情報(信号)に対して行われる色調調整の処理である。カラーバランス1036は、色分離により分離されたRGBの3プレーンの映像信号に対して行われる色調調整の処理である。なお、図11では、YC変換1037の前にカラーバランスの調整を行う場合を示すが、カラーバランスの調整は、YC変換1037の後や前後の双方で行っても良い。
 現像1031の処理におけるYC変換1037は、RGBの情報(信号)をYCbCr等のYCの情報(信号)に変換する。
 現像処理後において、RX・TX1038のTXは、YC(YCデータ)をCCUソフトウェア1001へ送信する。
[2-4-4.三板方式]
 上述した例では、単板方式の場合を一例として説明したが、以下では三板方式の場合について説明する。図12は、三板方式のビデオカメラにおける処理の一例を示す図である。なお、図9~図11と同様の点については適宜説明を省略する。
 図12に示す構成は、3つの撮像素子である撮像素子群1110を有する点で、図9に示すカメラヘッドユニットCHUと相違する。
 撮像素子群1110は、3つ(3枚)のイメージセンサ(撮像素子)で構成されそれぞれR(赤)G(緑)B(青)に対応する映像信号を出力する。本明細書では、三板方式の場合、RGBの3チャンネルからなる映像信号を合わせてRAWデータと呼ぶ。
 撮像素子群1110から出力されたRAWデータに対して欠陥補正1111や圧縮1112の処理が行われる。
[2-4-5.現像処理(三板方式)]
 次に三板方式の場合の現像処理について説明する。図13は、三板方式における現像処理の一例を示す図である。なお、図9~図12と同様の点については適宜説明を省略する。図13に示す現像処理は、色分離の処理が無く、RAWデータに対してDEC1132、ゲイン1133、WB1134の処理を行う点で図11中の現像処理と相違する。
 現像1131の処理におけるDEC1132は、RAWデータ(RAW信号)を符号化方式に対応する方式で復号する。現像1131の処理におけるゲイン1133は、DEC1132による復号の結果得られたRAWデータのゲイン(明るさ)の調整を行う。
 現像1131の処理におけるWB1134は、RAWデータのホワイトバランスの調整を行う。なお、現像処理において、ゲイン1133とWB1134の処理の順序は逆であってもよい。
 現像1131の処理におけるYC変換1135は、R(赤)、G(緑)、B(青)の3チャンネルの映像データに対して行われる変換の処理である。
 現像1131の処理におけるカラーバランス1136は、YC変換1135により生成されたYCの情報(信号)に対して行われる色調調整の処理である。なお、図12では、YC変換1135の後にカラーバランスの調整を行う場合を示すが、カラーバランスの調整は、YC変換1135の前や前後の双方で行っても良い。
 現像処理後において、RX・TX1137のTXは、YC(YCデータ)をCCUソフトウェア1001へ送信する。
[3.第3の実施形態]
 ライブ映像制作システムのシステム構成は、上記の第1の実施形態及び第2の実施形態に限らず、種々のシステム構成であってもよい。例えば、ライブ映像制作システムは、MEC等のセルラーネットワーク内に配置されたコンピューティング環境を含んでもよい。このように、第3の実施形態に係るライブ映像制作システムでは、クラウド機能をMEC(セルラーネットワーク側)とクラウドに分けても良い。この場合、CCU機能はクラウドサーバ側ではなく、MEC(セルラーネットワーク側)に配置されてもよい。
 また、この場合、例えばMEC側及びクラウド側ともに、CCU機能を除く全ての機能を有しており、必要に応じて機能のON/OFFが可能である。上述のようにCCU機能はMEC側に設けられる。なお、MEC側及びクラウド側ともに、実行する機能に必要な最小限の構成のみ備えても良い。
 例えば、低遅延性が求められる映像編集関連の処理はMECにより実行されることが好ましい。また、低遅延性は求められず、処理負担の大きい処理などはクラウドにより実行されることが好ましい。例えば、スポーツ中継中などのリアルタイム性が求められる場合、MECがreplay映像を生成し、ニュース番組用などのリアルタイム性が求められない場合、パブリックなクラウドがハイライト映像を生成してもよい。また、STATSについては、画像認識に基づきリアルタイムで生成する機能はMECにより実行されることが好ましい。また、STATSについては、ネットワークから取得する機能はクラウドにより実行されることが好ましい。
 以下、図14及び図15を用いてMECサーバ400を含むライブ映像制作システム1Bについて説明する。なお、第1の実施形態や第2の実施形態と同様の点については、適宜説明を省略する。
[3-1.本開示の第3の実施形態に係るライブ映像制作システムの概要]
 第3の実施形態に係るライブ映像制作システムの概要について、図14を用いて説明する。図14は、本開示の第3の実施形態に係るライブ映像制作システムの一例を示す図である。図14に示すライブ映像制作システム1Bの構成について説明する。図14に示すように、ライブ映像制作システム1Bには、複数のビデオカメラ200等の撮影PLに関連する各種装置、MECサーバ400、クラウドサーバ100、端末装置10、制作BSに関連する各種装置、配信DLに関連する各種装置、放送BRに関連する各種装置が含まれる。まず、ライブ映像制作システム1Bに示す各装置について説明する。
 なお、図14中の装置等の各構成要素間を接続する点線は、映像信号を示す。また、図14中の装置等の各構成要素間を接続する一点鎖線は、制御信号を示す。また、図14中の装置等の各構成要素間を接続する実線は、映像信号及び制御信号以外の情報、例えばメタ情報等のその他の情報を示す。図14に示す矢印の向きは、情報の流れの一例を示すものであり、映像信号、制御信号、メタ情報等の流れは矢印の向きに限定されるものではない。また、図14に示す装置はライブ映像制作システム1Bに含まれる装置の一部であり、ライブ映像制作システム1Bは、図14に示す装置に限らず、機能の実現に必要な各種の装置を含む。
 まず、MECサーバ400について説明する。MECサーバ400は、複数のビデオカメラ200及びクラウドサーバ100と通信し、複数のビデオカメラ200から受信した信号をクラウドサーバ100に送信する。また、クラウドサーバ100から受信した信号(例えば、他のビデオカメラの映像または本線映像を含むリターン映像、端末装置10から受信した信号など)を複数のビデオカメラ200の少なくとも1つに送信する。また、端末装置10から受信した信号を複数のビデオカメラ200の少なくとも1つに送信する。MECサーバ400は、映像信号を無線で送受信する機能、出力制御を行う機能を有する。
 MECサーバ400は、例えば第1の実施形態に係るクラウドサーバ100と同様の機能を有する。MECサーバ400は、端末装置10から受信した操作信号に応じた処理を実行する。MECサーバ400は、オペレータにより選択されたビデオカメラ200を操作するカメラオペレータと、オペレータとの間の音声による通信を可能にする処理を行う。MECサーバ400は、無線通信の機能を有し、ビデオカメラ200が撮像した映像に関する信号処理を行う。また、MECサーバ400は、個別映像信号、本線映像信号、編集映像信号、STATS、CMSに用いるメタ情報等をDB(データベース)に集約させる機能を有する。
 MECサーバ400は、通信部として機能するRX・TX405を有する。MECサーバ400は、RX・TX405により、ビデオカメラ200との間で情報(信号)を送受信する。MECサーバ400は、RX・TX405により、映像信号や制御信号をビデオカメラ200との間で送受信する。
 MECサーバ400は、CCUの機能の少なくとも一部を有する。MECサーバ400は、CCUの機能の少なくとも一部を実現するCCU402を有する。MECサーバ400によるCCUソフトウェアは、システムカメラ(ビデオカメラ200等)に対して、映像信号のコンバート、システムカメラの設定情報の操作や管理の機能を提供する。
 また、MECサーバ400は、映像信号の切り換えを行なうスイッチャーの機能を有する。MECサーバ400は、SWer403を有する。MECサーバ400は、SWer403により、クラウドサーバ100へ送信する映像を切り替える。例えば、MECサーバ400は、SWer403により、各ビデオカメラ200から受信した個別映像信号のうち、クラウドサーバ100へ送信する映像信号を選択する。
 MECサーバ400のSWer403は、入力される映像信号(個別映像信号)、MECサーバ400内で生成される映像信号(加工映像信号)を切り替え、MECサーバ400外(クラウドサーバ100など)に出力する。MECサーバ400のSWer403の機能は、クラウドサーバ100のSWer103と同様の機能であるため、説明を省略する。
 また、MECサーバ400のReplay406の機能は、図3で説明したクラウドサーバ100のReplay106の機能と同様の機能であるため、説明を省略する。MECサーバ400のEdit407の機能は、図3で説明したクラウドサーバ100のEdit107の機能と同様の機能であるため、説明を省略する。MECサーバ400のGFX408の機能は、図3で説明したクラウドサーバ100のGFX108の機能と同様の機能であるため、説明を省略する。MECサーバ400のAnalytics409の機能は、図3で説明したクラウドサーバ100のAnalytics109の機能と同様の機能であるため、説明を省略する。
 MECサーバ400は、各種の情報(データ)を記憶する。例えば、MECサーバ400は、記憶部として機能するStorage404を有する。例えば、MECサーバ400は、Storage404に各ビデオカメラ200が撮像した映像を格納する。また、MECサーバ400のCMS411は、図3で説明したクラウドサーバ100のCMS111の機能と同様の機能であるため、説明を省略する。MECサーバ400のStats412は、図3で説明したクラウドサーバ100のStats112の機能と同様の機能であるため、説明を省略する。MECサーバ400のData Mng413は、図3で説明したクラウドサーバ100のData Mng113の機能と同様の機能であるため、説明を省略する。
 各ビデオカメラ200は、無線通信を介して、MECサーバ400と通信する。各ビデオカメラ200は、無線通信を介して、個別映像信号をMECサーバ400に送信する。
 第3の実施形態に係るクラウドサーバ100は、CCU機能を有しない点で第1の実施形態に係るクラウドサーバ100と相違する。クラウドサーバ100は、MECサーバ400と通信する。クラウドサーバ100は、RX・TX105の機能により、遠隔にあるMECサーバ400との間で映像信号や制御信号等を無線通信を介して送受信する。
 端末装置10は、VE等のオペレータによる遠隔操作を実現するために用いられるコンピュータである。端末装置10は、MECサーバ400との間で無線を介して情報を送受信する。端末装置10は、RC11の機能によりオペレータから受け付けた操作の情報をMECサーバ400に送信する。
 端末装置10は、Monitor12としての機能を有する。端末装置10は、Monitor12の機能によりMECサーバ400から受信した映像を表示する。
[3-2.第3の実施形態に係るライブ映像制作システムの構成]
 図15に示すライブ映像制作システム1Bについて説明する。図15は、本開示の第3の実施形態に係るライブ映像制作システムの構成例を示す図である。図15に示すように、ライブ映像制作システム1Bは、MECサーバ400と、クラウドサーバ100と、ビデオカメラ200と、端末装置10とが含まれる。MECサーバ400と、クラウドサーバ100と、ビデオカメラ200と、端末装置10とは所定の通信網を介して、無線または有線により通信可能に接続される。図15では、ビデオカメラ200と、MECサーバ400とは、セルラー側のネットワークN1を介して、無線または有線により通信可能に接続される。図15では、ビデオカメラ200は、基地局50を介して通信しさらにネットワークN1を介してMECサーバ400と通信する。例えば、ビデオカメラ200と基地局50との間では無線通信が行われ、基地局50、コアネット、及びインターネットであるネットワークN1が有線接続された間は有線通信が行われる。また、図15の例では、ネットワークN1にコアネットが含まれない場合を示す。なお、ネットワークN1にコアネットが含まれてもよい。また、クラウドサーバ100と、MECサーバ400とは、パブリック側のネットワークN2を介して、無線または有線により通信可能に接続される。端末装置10は、ネットワークN1やネットワークN2に接続され、クラウドサーバ100、MECサーバ400、ビデオカメラ200と通信可能に接続される。図15は、第1の実施形態に係るライブ映像制作システムの構成例を示す図である。
 なお、図15に示したライブ映像制作システム1Bには、複数台のMECサーバ400や、複数台のクラウドサーバ100や、複数台のビデオカメラ200や、複数台の端末装置10が含まれてもよい。例えば、図14の例では、ライブ映像制作システム1Bに3台のビデオカメラ200が含まれる場合を示す。例えば、ライブ映像制作システム1Bには、複数のオペレータの各々に対応する複数の端末装置10が含まれてもよい。なお、図15では、MECサーバ400と、クラウドサーバ100と、ビデオカメラ200と、端末装置10のみを図示するが、ライブ映像制作システム1Bには、MECサーバ400、クラウドサーバ100、ビデオカメラ200、端末装置10に限らず、図14に示すような各種装置が含まれてもよい。
 クラウドサーバ100は、ライブ映像制作システム1Bにおいてクラウドコンピューティングを実現するために用いられる情報処理装置である。クラウドサーバ100は、ビデオカメラ200が位置する撮影場所(現場)から遠隔にある所定の地点(拠点)に設けられる装置である。クラウドサーバ100は、MECサーバ400と接続する。
 MECサーバ400は、ライブ映像制作システム1BにおいてCCUソフトウェアを実現するために用いられる情報処理装置である。MECサーバ400の装置構成は、図4中のクラウドサーバ100の装置構成と同様である。MECサーバ400は、ビデオカメラ200が位置する撮影場所(現場)から遠隔にある所定の地点(拠点)に設けられる無線基地局である。MECサーバ400は、映像に関する信号処理を行う。MECサーバ400は、ビデオカメラ200と無線通信を介して接続する。
 MECサーバ400は、複数のビデオカメラ200により撮像された個別映像信号を無線通信を介して受信し、個別映像信号に基づく本線映像信号を送信する。MECサーバ400は、本線映像信号をクラウドサーバ100に送信する。MECサーバ400は、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御を行う。MECサーバ400は、外部から受信するビデオカメラ200の制御に関連する操作信号である第2の操作信号に応じて、複数のビデオカメラ200の少なくとも1つに対する遠隔制御信号を無線で送信する。
 ビデオカメラ200は、MECサーバ400と無線接続する。ビデオカメラ200は、無線通信により、MECサーバ400との間で個別映像信号や制御信号等の送受信を行う。各ビデオカメラ200は、無線通信により、撮像した個別映像信号をMECサーバ400に送信する。
 端末装置10は、オペレータによって利用され、オペレータの操作に応じた操作信号をMECサーバ400に送信する。端末装置10は、複数のビデオカメラ200のうち、オペレータにより選択されたビデオカメラ200を示す情報をMECサーバ400に送信する。
[4.その他の実施形態]
 上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態(変形例)にて実施されてよい。
[4-1.その他の構成例]
 例えば、ライブ映像制作システムは、クラウドサーバ100、CCU300(またはBPU)、MECサーバ400を含んでもよい。すなわち、ライブ映像制作システムは、第2の実施形態と第3の実施形態とを組み合わせたシステム構成であってもよい。この場合、MECサーバ400とCCU300(またはBPU)とが通信してもよい。
[4-2.その他]
 また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
[5.実施形態に係る効果]
 上述のように、実施形態に係るライブ映像制作システム1、1A、1Bは、複数のビデオカメラ200と、クラウドサーバ100とを備える。ビデオカメラ200は、遠隔制御信号に応じて撮像動作が制御される。クラウドサーバ100は、複数のビデオカメラ200により撮像された個別映像信号を受信し、個別映像信号に基づく本線映像信号(第1本線映像信号)を送信する。クラウドサーバ100は、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により本線映像信号を得る。クラウドサーバ100は、外部から受信するビデオカメラ200の制御に関連する操作信号である第2の操作信号に応じて、複数のビデオカメラ200の少なくとも1つに対する遠隔制御信号を送信する。
 このように、実施形態に係るライブ映像制作システム1、1A、1Bは、複数のビデオカメラ200を遠隔制御する遠隔制御信号を無線で送信し、個別映像信号に基づく本線映像信号を送信するクラウドサーバ100を有する。ライブ映像制作システム1、1A、1Bは、クラウドサーバ100に、映像の出力制御に関する機能や、ビデオカメラ200の遠隔制御に関する機能を持たせる。これにより、ライブ映像制作システム1、1A、1Bでは、例えばOBVAN等で現場(例えばスタジアム等のビデオカメラ200が位置する場所)に赴くことなく、所定の拠点にリソースを集約できるため、現場のリソースの増大を抑制することができる。例えば、ライブ映像制作システム1、1A、1Bは、端末装置10を備えた拠点等、スタジアム等の現地とは異なる場所にリソースを集約でき、限られた人員で複数のライブ映像制作を行うことができる。また、ライブ映像制作システム1、1A、1Bでは、現地におけるビデオカメラとCCU間の接続、配線、配線後のテスト等の事前準備も削減できるため、ワークフローの効率化も図れる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、ライブ映像制作システム1、1A、1Bは、オペレータによって利用され、オペレータの操作に応じた操作信号をクラウドサーバ100に送信する端末装置10を備える。クラウドサーバ100は、端末装置10から受信した操作信号に応じた処理を実行する。ライブ映像制作システム1、1A、1Bは、クラウドサーバ100が端末装置10から受信した操作信号に応じた処理を実行することで、端末装置10により操作を行うオペレータが現場から遠隔地で作業することを可能にする。これにより、ライブ映像制作システム1、1A、1Bは、例えばOBVAN等で現場へ配置する人員などのリソースの増大を抑制することができる。例えば、ライブ映像制作システム1、1A、1Bは、クラウドサーバ100が配置される場所とは異なる場所でオペレータが端末装置10を用いて作業することを可能にし、人員の物理的位置の配置を柔軟することができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、端末装置10は、複数のビデオカメラ200のうち、オペレータにより選択されたビデオカメラ200を示す情報をクラウドサーバ100に送信する。クラウドサーバ100は、オペレータにより選択されたビデオカメラ200を操作するカメラオペレータと、オペレータとの間の音声による通信を可能にする処理を行う。ライブ映像制作システム1、1A、1Bは、端末装置10により操作を行うオペレータの選択に応じて、オペレータとビデオカメラ200を操作するカメラオペレータとの間の音声通信を開始させることができ、システム利用者間での音声通信を容易に行わせることができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、複数のビデオカメラ200の各々と、複数のビデオカメラ200の各々を操作するカメラオペレータとを対応付けた情報を用いて、オペレータにより選択されたビデオカメラ200を操作するカメラオペレータを特定し、当該カメラオペレータと、オペレータとの間の音声による通信を可能にする処理を行う。ライブ映像制作システム1、1A、1Bは、クラウドサーバ100がカメラオペレータを特定し、特定したカメラオペレータと、選択したオペレータとの間の音声通信を開始させることができ、システム利用者間での音声通信を容易に行わせることができる。これにより、ライブ映像制作システム1、1A、1Bは、オペレータ及びカメラオペレータ間のコミュニケーションを円滑に行うことを可能にすることができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、ライブ映像制作システム1、1A、1Bは、放送局に配置され、クラウドサーバ100から本線映像信号を受信するSWer21を備える。ライブ映像制作システム1、1A、1Bは、クラウドサーバ100が本線映像信号(第1本線映像信号)を放送局に送信することで、クラウドサーバ100を用いてライブ放送を適切に行うことができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、ライブ映像制作システム1A、1Bは、複数のビデオカメラ200の少なくとも1つ、及びクラウドサーバ100と通信し、ビデオカメラ200に関連する処理であるカメラ関連処理を行うCCU300を備える。ライブ映像制作システム1A、1Bは、ビデオカメラ200やクラウドサーバ100と通信し、ビデオカメラ200に関連する処理であるカメラ関連処理を行うCCU300を有することで、クラウドサーバ100とCCU300との各々に処理や機能を分散させることができる。これにより、ライブ映像制作システム1A、1Bは、処理や機能の目的などに応じて、クラウドサーバ100とCCU300との間で処理や機能の最適な配置を可能にすることができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、信号処理装置は、CCU(Camera Control Unit)300またはBPU(Baseband Processing Unit)である。ライブ映像制作システム1A、1Bは、CCUまたはBPUを有することで、例えば従来のCCUやBPUが有する機能をクラウドサーバ100とCCU300との各々に分散させることができる。これにより、ライブ映像制作システム1A、1Bは、処理や機能の目的などに応じて、クラウドサーバ100とCCU300との間で処理や機能の最適な配置を可能にすることができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、カメラ関連処理のうち、第1の処理(非映像プロセッシング処理)を行う。例えば、CCU300は、カメラ関連処理のうち、非映像プロセッシング処理以外の第2の処理(映像プロセッシング処理)を行う。ライブ映像制作システム1A、1Bは、カメラ関連処理のうち、非映像プロセッシング処理をクラウドサーバ100に行わせ、非映像プロセッシング処理以外の映像プロセッシング処理をCCU300またはBPUに行わせることで、処理を分散させることができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、非映像プロセッシング処理は、ビデオカメラ200の制御に関連する処理を含む。映像プロセッシング処理は、ビデオカメラ200が撮像した映像に対する処理を含む。ライブ映像制作システム1A、1Bは、クラウドサーバ100にビデオカメラ200の制御に関連する処理を行わせ、例えば、CCU300にビデオカメラ200が撮像した映像に対する処理を行わせることで、処理を分散させることができる。これにより、例えば、ライブ映像制作システム1A、1Bは、映像プロセス(画像処理)等の映像プロセッシング処理をCCU300に行わせ、制御プロセス(コントロール)等のカメラ制御処理をクラウドサーバ100に行わせることで、処理内容に応じて最適な処理の分担を可能にすることができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、非映像プロセッシング処理は、ビデオカメラ200の絞りまたはフォーカスの少なくとも1つを調整する処理を含む。映像プロセッシング処理は、ビデオカメラ200が撮像した映像を対象として、ゲイン、カラーバランス、またはホワイトバランスの少なくとも1つを調整する処理を含む。ライブ映像制作システム1A、1Bは、クラウドサーバ100にビデオカメラ200の絞りまたはフォーカス等、ビデオカメラ200の構造を対象とする処理を行わせ、CCU300またはBPUにビデオカメラ200が撮像した映像を対象とする処理を行わせることで、処理や機能の目的などに応じて最適な配置を可能にすることができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、CCU300は、複数のビデオカメラ200の各々に対応付けて複数設けられる。このように、ライブ映像制作システム1A、1Bは、複数のビデオカメラ200の各々に対応付けて複数の信号処理装置を有することで、各ビデオカメラ200に対して適切な処理を可能にすることができる。
 また、クラウドサーバ100は、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成の少なくとも1つに対応する出力制御を行う。これにより、ライブ映像制作システム1、1A、1Bは、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成等に関する操作を行うオペレータを、端末装置10を備えた拠点等の遠隔地に配置することができる。このように、ライブ映像制作システム1、1A、1Bは、クラウドサーバ100が各種の出力制御を行うことで、オペレータを、例えばOBVAN等で現場に配置することが不要となる。そのため、ライブ映像制作システム1、1A、1Bは、現場のリソースの増大を抑制することができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、スイッチャー(Switcher)、エディット(Edit)、グラフィックス(GFX)、またはリプレイ(Replay)の少なくとも1つに対応する出力制御を行う。これにより、ライブ映像制作システム1、1A、1Bは、Switcher、Edit、GFX、Replay等に関する操作を行うオペレータを、端末装置10を備えた拠点等の遠隔地に配置することができる。このように、ライブ映像制作システム1A、1Bは、クラウドサーバ100がSwitcher、Edit、GFX、Replay等の各種の処理を行うことで、オペレータを、例えばOBVAN等で現場に配置することが不要となる。そのため、ライブ映像制作システム1A、1Bは、現場のリソースの増大を抑制することができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、ビデオカメラ200を遠隔制御する遠隔制御信号を複数のビデオカメラ200の少なくとも1つに送信する。これにより、ライブ映像制作システム1、1A、1Bは、VEを、ビデオカメラ200から遠隔地に配置することができる。ライブ映像制作システム1、1A、1Bは、クラウドサーバ100がビデオカメラ200を遠隔制御する遠隔制御信号をビデオカメラ200に送信することで、ビデオカメラ200を制御する人員等を、例えばOBVAN等で現場に配置することが不要となる。そのため、ライブ映像制作システム1、1A、1Bは、現場のリソースの増大を抑制することができる。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、パン、チルト、またはズームの少なくとも1つを調整する遠隔制御信号を送信する。これにより、ライブ映像制作システム1、1A、1Bは、VEを、ビデオカメラ200から遠隔地に配置することができる。ライブ映像制作システム1A、1Bは、クラウドサーバ100がビデオカメラ200のPTZを遠隔制御する遠隔制御信号をビデオカメラ200に送信することで、ビデオカメラ200を制御する人員等を、例えばOBVAN等で現場に配置することが不要となる。そのため、ライブ映像制作システム1A、1Bは、現場のリソースの増大を抑制することができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、ビデオカメラ200の位置を遠隔制御する遠隔制御信号を、当該ビデオカメラ200の位置変更機構に送信する。例えば、ライブ映像制作システム1A、1Bは、現場のビデオカメラ200の位置を遠隔で容易に制御することができる。これにより、ライブ映像制作システム1、1A、1Bは、ビデオカメラ200の位置を遠隔から変更可能となり、ビデオカメラ200を操作するカメラオペレータの人員数を少なくすることができる。そのため、ライブ映像制作システム1A、1Bは、現場のリソースの増大を抑制することができる。このように、ライブ映像制作システム1A、1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、ライブ映像制作システム1Bは、複数のビデオカメラ200及びクラウドサーバ100と通信し、複数のビデオカメラ200から受信した信号をクラウドサーバ100に送信し、クラウドサーバ100から受信した信号を複数のビデオカメラ200の少なくとも1つに送信するMECサーバ400を備える。ライブ映像制作システム1Bは、ビデオカメラ200やクラウドサーバ100と通信し、ビデオカメラ200とクラウドサーバ100との間で通信を行うMECサーバ400を有することで、例えばクラウドサーバ100とMECサーバ400との各々に処理や機能を分散させることができる。これにより、ライブ映像制作システム1Bは、処理や機能の目的などに応じて、クラウドサーバ100とMECサーバ400との間で処理や機能の最適な配置を可能にすることができる。このように、ライブ映像制作システム1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、MEC(Multi-access Edge Computing)サーバ400は、映像信号を無線で送受信する機能、出力制御を行う機能を有する。ライブ映像制作システム1Bは、クラウドサーバ100以外にも、MECサーバ400を設けることで、クラウドサーバ100とMECサーバ400との各々に処理や機能を分散させることができる。これにより、ライブ映像制作システム1Bは、クラウドサーバ100とMECサーバとの間で処理を分散させることができる。例えば、ライブ映像制作システム1Bは、低遅延性が求められる映像編集関連の処理(SWer/GFX/Edit等)をMECサーバ400に実行させることができる。また、ライブ映像制作システム1Bは、低遅延性は求められず、処理負担の大きい処理などをクラウドサーバ100に実行させることができる。このように、ライブ映像制作システム1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 また、クラウドサーバ100は、映像の解析機能を有し、解析結果を用いて情報の抽出または生成を行う。例えば、クラウドサーバ100は、映像を解析し、解析結果を用いてStats情報等の情報の抽出または生成を行うことができる。ライブ映像制作システム1Bは、クラウドサーバ100が映像の解析機能を有し、解析結果を用いて情報の抽出または生成を行うことで、クラウドサーバ100の解析結果を利用したライブ映像制作が可能となる。これにより、ライブ映像制作システム1Bでは、クラウドサーバ100を用いてライブ映像制作の効率化を図ることができる。
 クラウドサーバ100は、複数の個別映像信号を無線で受信し、遠隔制御信号を無線で送信する。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100が各種の信号を無線で通信することができる。
 クラウドサーバ100は、複数の個別映像信号を5G通信により受信し、遠隔制御信号を5G通信により送信する。このように、ライブ映像制作システム1、1A、1Bでは、クラウドサーバ100が各種の信号を5G通信により高速で通信することができる。
 クラウドサーバ100は、遠隔制御信号に応じて撮像動作が制御される複数のカメラにより撮像された複数の個別映像信号を無線で受信し、複数の個別映像信号に基づく本線映像信号を送信し、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、複数のカメラの少なくとも1つに対する遠隔制御信号を無線で送信する。このように、クラウドサーバ100では、複数のビデオカメラ200を遠隔制御する遠隔制御信号を無線で送信し、個別映像信号に基づく本線映像信号を送信する。クラウドサーバ100は、映像の出力制御に関する機能や、ビデオカメラ200の遠隔制御に関する機能を有する。これにより、クラウドサーバ100を用いるライブ映像制作システム(ライブ映像制作システム1、1A、1B等)では、例えばOBVAN等で現場に赴くことなく、所定の拠点にリソースを集約できるため、現場のリソースの増大を抑制することができる。例えば、クラウドサーバ100を用いるライブ映像制作システム1、1A、1Bは、端末装置10を備えた拠点等、スタジアム等の現地とは異なる場所にリソースを集約でき、限られた人員で複数のライブ映像制作を行うことができる。また、クラウドサーバ100を用いるライブ映像制作システム1、1A、1Bでは、現地におけるビデオカメラとCCU間の接続、配線、配線後のテスト等の事前準備も削減できるため、ワークフローの効率化も図れる。このように、クラウドサーバ100は、ライブ映像制作の効率化を可能にすることができる。
[6.ハードウェア構成]
 上述してきた各実施形態に係るクラウドサーバ100やCCU300等の信号処理装置やMECサーバ400や端末装置10は、例えば図17に示すような構成のコンピュータ1000によって実現される。図17は、クラウドサーバの機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、クラウドサーバ100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る信号処理プログラム等の情報処理プログラムを記録する記録媒体である。
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体()に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。所定の記録媒体とは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が実施形態に係るクラウドサーバ100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部130等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、クラウドサーバ100の記憶部内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 遠隔制御信号に応じて撮像動作が制御される複数のカメラと、
 前記複数のカメラにより撮像された個別映像信号を受信し、前記個別映像信号に基づく本線映像信号を送信するクラウドサーバを備え、
 前記クラウドサーバは、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を送信する
 ライブ映像制作システム。
(2)
 操作者によって利用され、前記操作者の操作に応じた操作信号を前記クラウドサーバに送信する端末装置、
 を備え、
 前記クラウドサーバは、前記端末装置から受信した操作信号に応じた処理を実行する
 (1)に記載のライブ映像制作システム。
(3)
 前記端末装置は、前記複数のカメラのうち、前記操作者により選択されたカメラを示す情報を前記クラウドサーバに送信し、
 前記クラウドサーバは、前記操作者により選択されたカメラを操作するカメラオペレータと、前記操作者との間の音声による通信を可能にする処理を行う
 (2)に記載のライブ映像制作システム。
(4)
 前記クラウドサーバは、前記複数のカメラの各々と、前記複数のカメラの各々を操作するカメラオペレータとを対応付けた情報を用いて、前記操作者により選択されたカメラを操作するカメラオペレータを特定し、当該カメラオペレータと、前記操作者との間の音声による通信を可能にする処理を行う
 (3)に記載のライブ映像制作システム。
(5)
 放送局に配置され、前記クラウドサーバから前記本線映像信号を受信する受信装置、
 を備える(1)~(4)のいずれか1つに記載のライブ映像制作システム。
(6)
 前記複数のカメラの少なくとも1つ、及び前記クラウドサーバと通信し、カメラに関連する処理であるカメラ関連処理を行う信号処理装置、
 を備える(1)に記載のライブ映像制作システム。
(7)
 前記信号処理装置は、CCU(Camera Control Unit)またはBPU(Baseband Processing Unit)である
 (6)に記載のライブ映像制作システム。
(8)
 前記クラウドサーバは、前記カメラ関連処理のうち、第1の処理を行い、
 前記信号処理装置は、前記カメラ関連処理のうち、前記第1の処理以外の第2の処理を行う
 (6)または(7)に記載のライブ映像制作システム。
(9)
 前記第1の処理は、カメラの制御に関連する処理を含み、
 前記第2の処理は、カメラが撮像した映像に対する処理を含む
 (8)に記載のライブ映像制作システム。
(10)
 前記第1の処理は、カメラの絞りまたはフォーカスの少なくとも1つを調整する処理を含み、
 前記第2の処理は、カメラが撮像した映像を対象として、ゲイン、カラーバランス、またはホワイトバランスの少なくとも1つを調整する処理を含む
 (8)または(9)に記載のライブ映像制作システム。
(11)
 前記信号処理装置は、前記複数のカメラの各々に対応付けて複数設けられる
 (6)~(10)のいずれか1つに記載のライブ映像制作システム。
(12)
 前記クラウドサーバは、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成の少なくとも1つに対応する前記出力制御を行う
 (1)~(11)のいずれか1つに記載のライブ映像制作システム。
(13)
 前記クラウドサーバは、スイッチャー(Switcher)、エディット(Edit)、グラフィックス(GFX)、またはリプレイ(Replay)の少なくとも1つに対応する前記出力制御を行う
 (1)~(12)のいずれか1つに記載のライブ映像制作システム。
(14)
 前記クラウドサーバは、カメラを遠隔制御する前記遠隔制御信号を前記複数のカメラの少なくとも1つに送信する
 (1)~(13)のいずれか1つに記載のライブ映像制作システム。
(15)
 前記クラウドサーバは、パン、チルト、またはズームの少なくとも1つを調整する前記遠隔制御信号を送信する
 (14)に記載のライブ映像制作システム。
(16)
 前記クラウドサーバは、カメラの位置を遠隔制御する前記遠隔制御信号を、当該カメラの位置変更機構に送信する
 (1)~(15)のいずれか1つに記載のライブ映像制作システム。
(17)
 前記複数のカメラ及び前記クラウドサーバと通信し、前記複数のカメラから受信した信号を前記クラウドサーバに送信し、前記クラウドサーバから受信した信号を前記複数のカメラの少なくとも1つに送信する他のサーバ、
 を備える(1)~(16)のいずれか1つに記載のライブ映像制作システム。
(18)
 前記他のサーバは、映像信号を無線で送受信する機能、前記出力制御を行う機能を有するMEC(Multi-access Edge Computing)サーバである
 (17)に記載のライブ映像制作システム。
(19)
 前記クラウドサーバは、映像の解析機能を有し、解析結果を用いて情報の抽出または生成を行う
 (1)~(18)のいずれか1つに記載のライブ映像制作システム。
(20)
 前記クラウドサーバは、前記複数の個別映像信号を無線で受信し、前記遠隔制御信号を無線で送信する
 (1)~(19)のいずれか1つに記載のライブ映像制作システム。
(21)
 前記クラウドサーバは、前記複数の個別映像信号を5G通信により受信し、前記遠隔制御信号を5G通信により送信する
 (20)に記載のライブ映像制作システム。
(22)
 複数のカメラが遠隔制御信号に応じて撮像動作が制御され、
 クラウドサーバが前記複数のカメラにより撮像された個別映像信号を受信し、前記個別映像信号に基づく本線映像信号を送信し、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を送信する
 処理を実行するライブ映像制作方法。
(23)
 遠隔制御信号に応じて撮像動作が制御される複数のカメラにより撮像された複数の個別映像信号を無線で受信し、前記複数の個別映像信号に基づく本線映像信号を送信し、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を無線で送信する
 クラウドサーバ。
 1 ライブ映像制作システム
 10 端末装置(リモートコントローラ)
 100 クラウドサーバ
 110 通信部
 120 記憶部
 130 制御部
 131 通信制御部
 132 処理部
 200 ビデオカメラ(カメラ)

Claims (23)

  1.  遠隔制御信号に応じて撮像動作が制御される複数のカメラと、
     前記複数のカメラにより撮像された複数の個別映像信号を受信し、前記複数の個別映像信号に基づく本線映像信号を送信するクラウドサーバを備え、
     前記クラウドサーバは、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を送信する
     ライブ映像制作システム。
  2.  操作者によって利用され、前記操作者の操作に応じた操作信号を前記クラウドサーバに送信する端末装置、
     を備え、
     前記クラウドサーバは、前記端末装置から受信した操作信号に応じた処理を実行する
     請求項1に記載のライブ映像制作システム。
  3.  前記端末装置は、前記複数のカメラのうち、前記操作者により選択されたカメラを示す情報を前記クラウドサーバに送信し、
     前記クラウドサーバは、前記操作者により選択されたカメラを操作するカメラオペレータと、前記操作者との間の音声による通信を可能にする処理を行う
     請求項2に記載のライブ映像制作システム。
  4.  前記クラウドサーバは、前記複数のカメラの各々と、前記複数のカメラの各々を操作するカメラオペレータとを対応付けた情報を用いて、前記操作者により選択されたカメラを操作するカメラオペレータを特定し、当該カメラオペレータと、前記操作者との間の音声による通信を可能にする処理を行う
     請求項3に記載のライブ映像制作システム。
  5.  放送局に配置され、前記クラウドサーバから前記本線映像信号を受信する受信装置、
     を備える請求項1に記載のライブ映像制作システム。
  6.  前記複数のカメラの少なくとも1つ、及び前記クラウドサーバと通信し、カメラに関連する処理であるカメラ関連処理を行う信号処理装置、
     を備える請求項1に記載のライブ映像制作システム。
  7.  前記信号処理装置は、CCU(Camera Control Unit)またはBPU(Baseband Processing Unit)である
     請求項6に記載のライブ映像制作システム。
  8.  前記クラウドサーバは、前記カメラ関連処理のうち、第1の処理を行い、
     前記信号処理装置は、前記カメラ関連処理のうち、前記第1の処理以外の第2の処理を行う
     請求項6に記載のライブ映像制作システム。
  9.  前記第1の処理は、カメラの制御に関連する処理を含み、
     前記第2の処理は、カメラが撮像した映像に対する処理を含む
     請求項8に記載のライブ映像制作システム。
  10.  前記第1の処理は、カメラの絞りまたはフォーカスの少なくとも1つを調整する処理を含み、
     前記第2の処理は、カメラが撮像した映像を対象として、ゲイン、カラーバランス、またはホワイトバランスの少なくとも1つを調整する処理を含む
     請求項8に記載のライブ映像制作システム。
  11.  前記信号処理装置は、前記複数のカメラの各々に対応付けて複数設けられる
     請求項6に記載のライブ映像制作システム。
  12.  前記クラウドサーバは、出力の切換え、映像の合成、静止画の生成、動画の生成、リプレイ映像の生成の少なくとも1つに対応する前記出力制御を行う
     請求項1に記載のライブ映像制作システム。
  13.  前記クラウドサーバは、スイッチャー、エディット、グラフィックス、またはリプレイの少なくとも1つに対応する前記出力制御を行う
     請求項1に記載のライブ映像制作システム。
  14.  前記クラウドサーバは、カメラを遠隔制御する前記遠隔制御信号を前記複数のカメラの少なくとも1つに送信する
     請求項1に記載のライブ映像制作システム。
  15.  前記クラウドサーバは、パン、チルト、またはズームの少なくとも1つを調整する前記遠隔制御信号を送信する
     請求項14に記載のライブ映像制作システム。
  16.  前記クラウドサーバは、カメラの位置を遠隔制御する前記遠隔制御信号を、当該カメラの位置変更機構に送信する
     請求項1に記載のライブ映像制作システム。
  17.  前記複数のカメラ及び前記クラウドサーバと通信し、前記複数のカメラから受信した信号を前記クラウドサーバに送信し、前記クラウドサーバから受信した信号を前記複数のカメラの少なくとも1つに送信する他のサーバ、
     を備える請求項1に記載のライブ映像制作システム。
  18.  前記他のサーバは、映像信号を無線で送受信する機能、前記出力制御を行う機能を有するMEC(Multi-access Edge Computing)サーバである
     請求項17に記載のライブ映像制作システム。
  19.  前記クラウドサーバは、映像の解析機能を有し、解析結果を用いて情報の抽出または生成を行う
     請求項1に記載のライブ映像制作システム。
  20.  前記クラウドサーバは、前記複数の個別映像信号を無線で受信し、前記遠隔制御信号を無線で送信する
     請求項1に記載のライブ映像制作システム。
  21.  前記クラウドサーバは、前記複数の個別映像信号を5G通信により受信し、前記遠隔制御信号を5G通信により送信する
     請求項20に記載のライブ映像制作システム。
  22.  複数のカメラが遠隔制御信号に応じて撮像動作が制御され、
     クラウドサーバが前記複数のカメラにより撮像された個別映像信号を受信し、前記個別映像信号に基づく本線映像信号を送信し、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を送信する
     処理を実行するライブ映像制作方法。
  23.  遠隔制御信号に応じて撮像動作が制御される複数のカメラにより撮像された複数の個別映像信号を無線で受信し、前記複数の個別映像信号に基づく本線映像信号を送信し、外部から受信する映像の編集に関連する操作信号である第1の操作信号に応じて、受信した複数の個別映像信号に基づく映像の出力制御により前記本線映像信号を得るとともに、外部から受信するカメラの制御に関連する操作信号である第2の操作信号に応じて、前記複数のカメラの少なくとも1つに対する前記遠隔制御信号を無線で送信する
     クラウドサーバ。
PCT/JP2021/011571 2020-03-31 2021-03-22 ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ WO2021200304A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180023716.1A CN115336282A (zh) 2020-03-31 2021-03-22 实时视频制作系统、实时视频制作方法和云服务器
US17/908,157 US20230362315A1 (en) 2020-03-31 2021-03-22 Live video production system, live video production method, and cloud server
JP2022511939A JPWO2021200304A1 (ja) 2020-03-31 2021-03-22
EP21781836.8A EP4131977A4 (en) 2020-03-31 2021-03-22 LIVE VIDEO PRODUCTION SYSTEM, LIVE VIDEO PRODUCTION PROCESS AND CLOUD SERVER

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020065090 2020-03-31
JP2020-065090 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200304A1 true WO2021200304A1 (ja) 2021-10-07

Family

ID=77928558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011571 WO2021200304A1 (ja) 2020-03-31 2021-03-22 ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ

Country Status (5)

Country Link
US (1) US20230362315A1 (ja)
EP (1) EP4131977A4 (ja)
JP (1) JPWO2021200304A1 (ja)
CN (1) CN115336282A (ja)
WO (1) WO2021200304A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279839B1 (ja) 2022-08-17 2023-05-23 凸版印刷株式会社 遠隔映像配信システム、および遠隔映像配信方法
CN116320515A (zh) * 2023-03-06 2023-06-23 北京车讯互联网股份有限公司 一种基于移动摄像设备的实时直播方法与系统
WO2023171347A1 (ja) * 2022-03-09 2023-09-14 パナソニックIpマネジメント株式会社 映像処理方法、及び映像処理サーバ

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209576A (ja) * 1999-01-14 2000-07-28 Minolta Co Ltd アクセス制御装置およびアクセス制御プログラムを記録した記録媒体
JP2004200823A (ja) * 2002-12-17 2004-07-15 Hitachi Ltd 撮像装置、記録装置および再生装置
JP2005005958A (ja) * 2003-06-11 2005-01-06 Nippon Hoso Kyokai <Nhk> データ送信装置、データ送信プログラムおよびデータ受信装置、データ受信プログラムならびにデータ送受信方法
JP2005318445A (ja) * 2004-04-30 2005-11-10 Funai Electric Co Ltd 遠隔見守りシステムの宅内装置
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2012129716A (ja) * 2010-12-14 2012-07-05 Sony Corp カメラ操作装置、カメラ制御方法、及びカメラシステム
JP2015056761A (ja) 2013-09-11 2015-03-23 日本放送協会 コンテンツ制作装置及びコンテンツ制作プログラム
JP2018026712A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 カメラ制御システム
JP2019062469A (ja) * 2017-09-27 2019-04-18 富士通株式会社 基地局装置、無線通信システム及び優先制御方法
WO2019155118A1 (en) * 2018-02-06 2019-08-15 Nokia Technologies Oy Managing power consumption of portable devices

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198044A1 (en) * 2012-01-27 2013-08-01 Concert Window LLC Automated broadcast systems and methods
CN108737769A (zh) * 2017-04-14 2018-11-02 杭州登虹科技有限公司 将直播视频流接入视频监控的方法
KR102449670B1 (ko) * 2018-01-16 2022-09-30 삼성전자주식회사 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버
US10966001B2 (en) * 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11070712B2 (en) * 2019-08-30 2021-07-20 Puwell Technology Llc Method and system for control of a digital camera system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209576A (ja) * 1999-01-14 2000-07-28 Minolta Co Ltd アクセス制御装置およびアクセス制御プログラムを記録した記録媒体
JP2004200823A (ja) * 2002-12-17 2004-07-15 Hitachi Ltd 撮像装置、記録装置および再生装置
JP2005005958A (ja) * 2003-06-11 2005-01-06 Nippon Hoso Kyokai <Nhk> データ送信装置、データ送信プログラムおよびデータ受信装置、データ受信プログラムならびにデータ送受信方法
JP2005318445A (ja) * 2004-04-30 2005-11-10 Funai Electric Co Ltd 遠隔見守りシステムの宅内装置
JP2008131379A (ja) * 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP2012129716A (ja) * 2010-12-14 2012-07-05 Sony Corp カメラ操作装置、カメラ制御方法、及びカメラシステム
JP2015056761A (ja) 2013-09-11 2015-03-23 日本放送協会 コンテンツ制作装置及びコンテンツ制作プログラム
JP2018026712A (ja) * 2016-08-10 2018-02-15 キヤノン株式会社 カメラ制御システム
JP2019062469A (ja) * 2017-09-27 2019-04-18 富士通株式会社 基地局装置、無線通信システム及び優先制御方法
WO2019155118A1 (en) * 2018-02-06 2019-08-15 Nokia Technologies Oy Managing power consumption of portable devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171347A1 (ja) * 2022-03-09 2023-09-14 パナソニックIpマネジメント株式会社 映像処理方法、及び映像処理サーバ
JP7279839B1 (ja) 2022-08-17 2023-05-23 凸版印刷株式会社 遠隔映像配信システム、および遠隔映像配信方法
JP2024027287A (ja) * 2022-08-17 2024-03-01 Toppanホールディングス株式会社 遠隔映像配信システム、および遠隔映像配信方法
CN116320515A (zh) * 2023-03-06 2023-06-23 北京车讯互联网股份有限公司 一种基于移动摄像设备的实时直播方法与系统
CN116320515B (zh) * 2023-03-06 2023-09-08 北京车讯互联网股份有限公司 一种基于移动摄像设备的实时直播方法与系统

Also Published As

Publication number Publication date
US20230362315A1 (en) 2023-11-09
CN115336282A (zh) 2022-11-11
EP4131977A1 (en) 2023-02-08
JPWO2021200304A1 (ja) 2021-10-07
EP4131977A4 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
WO2021200304A1 (ja) ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ
EP2403236B1 (en) Mobile video mixing system
US10911694B2 (en) System and method for creating metadata model to improve multi-camera production
US20180139472A1 (en) Controlling delivery of captured streams
US20100157020A1 (en) Multiple camera controlling and image storing apparatus for synchronized multiple image acquisition and method thereof
KR101446995B1 (ko) 멀티앵글영상촬영헬멧 및 촬영방법
JP4178634B2 (ja) 映像信号伝送装置、映像信号伝送方法、映像信号撮像装置および映像信号処理装置
KR101577409B1 (ko) 데이터 저장용량을 절약할 수 있도록 촬영 영역별 차별적 해상도를 적용한 cctv 시스템
US20180194465A1 (en) System and method for video broadcasting
Sugawara et al. Super hi-vision at the London 2012 Olympics
KR102136889B1 (ko) 카메라에서의 출력영상을 스위칭하는 영상 스위칭 장치, 방법 및 이를 포함하는 광전송 시스템
KR20190032670A (ko) 다시점 카메라를 이용한 실감 영상 서비스 제공 시스템
KR101352860B1 (ko) 다중 영상 시스템 및 이를 이용한 다중 영상 디스플레이 방법
US11699462B2 (en) Method, apparatus and computer program
EP3687180B1 (en) A method, device and computer program
Sakiyama et al. 8K-UHDTV production equipment and workflow which realize an unprecedented video experience
US20230274525A1 (en) Information processing system, information processing method, and information processing program
KR101146331B1 (ko) 초고화질 영상 재생 모듈을 이용한 dvr 시스템
KR101553928B1 (ko) Hdmi가 적용된 eng 카메라의 용도변환 시스템
WO2017203789A1 (ja) 差分画像作成方法、画像復元方法、差分検出装置、画像復元装置及び監視方法
KR101653587B1 (ko) 영상촬영용 방송기기에 안정적인 전원공급이 가능한 방송중계시스템
CN113315932B (zh) 云转播平台、无人混合采访系统与方法
US20230239421A1 (en) System for Remote Production of Audiovisual Contents
KR101634342B1 (ko) 데이터 저장용량을 절약할 수 있도록 배경 이미지에 오버레이 된 이벤트 영상을 이용한 cctv 시스템
WO2015119590A1 (en) System and method of broadcasting of multimedia data received by a user device via the television broadcasting system or internet

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781836

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511939

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021781836

Country of ref document: EP

Effective date: 20221031