WO2021241264A1 - 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム - Google Patents

放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム Download PDF

Info

Publication number
WO2021241264A1
WO2021241264A1 PCT/JP2021/018335 JP2021018335W WO2021241264A1 WO 2021241264 A1 WO2021241264 A1 WO 2021241264A1 JP 2021018335 W JP2021018335 W JP 2021018335W WO 2021241264 A1 WO2021241264 A1 WO 2021241264A1
Authority
WO
WIPO (PCT)
Prior art keywords
accuracy
time
broadcast content
clock
video source
Prior art date
Application number
PCT/JP2021/018335
Other languages
English (en)
French (fr)
Inventor
和彦 高林
靖明 山岸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/998,673 priority Critical patent/US20230199237A1/en
Publication of WO2021241264A1 publication Critical patent/WO2021241264A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays

Definitions

  • the present disclosure relates to a broadcast content production system and a broadcast content production method, and a program, and more particularly to a broadcast content production system and a broadcast content production method, and a program capable of avoiding inconvenience in the broadcast content. ..
  • each video source operates in synchronization with one master clock.
  • the premise does not always hold. Therefore, when creating content by utilizing various devices having different clock accuracy as a video source, inconvenience may occur in the broadcast content after processing depending on the production processing content.
  • the present disclosure has been made in view of such a situation, and even when various devices having different clock accuracy are used as video sources, it is possible to avoid inconvenience in the broadcast content. It is something to do.
  • the broadcast content production system of one aspect of the present disclosure estimates the time lag of a stream from the video source having a low clock accuracy and a clock accuracy recognition unit that recognizes the accuracy of the clock for each of a plurality of video sources, and the time thereof. It is provided with a time deviation estimation correction unit that corrects the deviation.
  • the broadcast content production method or program of one aspect of the present disclosure recognizes the accuracy of the clock for each of a plurality of video sources, estimates the time lag of the stream from the video source having a low clock accuracy, and the time lag. Including to correct.
  • the clock accuracy for each of a plurality of video sources is recognized, the time lag of the stream from the video source having low clock accuracy is estimated, and the time lag is corrected.
  • FIG. 1 is a block diagram showing a configuration example of a typical broadcast content production system mainly used for broadcasting sports competitions and entertainment live events.
  • the broadcast content production system 11 shown in FIG. 1 is configured by connecting a relay site 12 which is a relay site and a station building 13 of a broadcaster by, for example, a dedicated line such as satellite communication. Then, in the broadcast content production system 11, the broadcast content produced in the station building 13 is transmitted as a broadcast by the broadcast network 14, or is simultaneously distributed via the Internet via the network 15.
  • a plurality of video sources 21 are arranged, and devices such as the CCU (Camera Control Unit) 22, the storage 23, and the switcher 24 are the so-called relay vehicle 25 (or OBVAN / Truck (Outside Broadcasting VAN /). It will be installed in equipment called Truck).
  • the three video sources 21-1 to 21-3 are connected to the switcher 24 via the three CCUs 22-1 to 22-3.
  • the video sources 21-1 to 21-3 are cameras that capture images of broadcast contents produced by, for example, the broadcast content production system 11, and the CCUs 22-1 to 22-3 are video sources 21-1 to 21, respectively. Control shooting by -3.
  • the video captured by the video sources 21-1 to 21-3 is supplied to the switcher 24 via the CCU 22-1 to 22-3, respectively.
  • the storage 23 temporarily holds the video from the video sources 21-1 to 21-3 supplied to the switcher 24. For example, those images are used for replays and the like.
  • the switcher 24 switches the video from the video sources 21-1 to 21-3, or switches between the video and the replay video stored in the storage 23, and transmits the video to the station building 13.
  • the switcher 24 is composed of various device groups for performing various processes related to the production of broadcast contents such as superimposition of computer graphics in addition to such image switching. For example, the switcher 24 can perform processing using the video stored in the storage 23.
  • the station building 13 is provided with equipment such as a video source 31, a CCU 32, a storage 33, a switcher 34, and a master switcher 35.
  • equipment such as a video source 31, a CCU 32, a storage 33, a switcher 34, and a master switcher 35.
  • the video source 31 is, for example, a camera arranged in the studio 41 for shooting a video used for broadcast content in addition to the video of the relay site, and the video shot by the video source 31 is a switcher via the CCU 32. It is supplied to 34.
  • the CCU 32, the storage 33, and the switcher 34 are arranged in the content production processing unit 42, which is a production process for producing broadcast content.
  • the CCU 32 controls shooting by the video source 31, and the storage 33 temporarily holds the video supplied to the switcher 34.
  • the switcher 34 switches to the video from the relay site 12 and performs the production process in the station building 13.
  • the master switcher 35 is arranged in a transmission system 43 that transmits video from the station building 13. For example, the master switcher 35 switches between video and audio (specifically, commercials, extraordinary news, etc.) that are not the main part, and outputs broadcast content to the broadcast network 14 or network 15.
  • video and audio specifically, commercials, extraordinary news, etc.
  • the equipment group arranged in the relay site 12 and the equipment group arranged in the station building 13 are conventionally connected to each other by a coaxial cable. .. Then, each of these devices operates in synchronization with one master clock.
  • the video output from each video source 31 must be synchronized with a certain accuracy. For example, when the images that are not synchronized are switched, the movement of the subject becomes discontinuous, resulting in broadcast content that gives the viewer a sense of discomfort.
  • connection by the coaxial cable has been replaced with the IP connection using Ethernet.
  • SMPTE profile SMPTE ST2059-2
  • PTP Precision Time Protocol (IEEE1588)
  • IEEE1588 a standard protocol for synchronizing clocks (time) between IP-connected devices, for example, relaying.
  • Time synchronization with sufficient accuracy is possible between devices connected to one (physical) LAN (Local Area Network) constituting the network of the vehicle 25 and the station building 13.
  • the video stream output from the switcher 24 of the relay site 12 is transmitted to the station building 13 using a satellite line, a dedicated optical line, or the like.
  • a satellite line For example, the video stream output from the switcher 24 of the relay site 12 is transmitted to the station building 13 using a satellite line, a dedicated optical line, or the like.
  • IP connection When such transmission is performed by an IP connection, it is necessary to perform synchronization using the PTP described above between the master clock of the relay site 12 and the master clock of the station building 13.
  • an IP connection is made by a dedicated optical line, it is difficult to synchronize with sufficient accuracy by connecting via a general Ethernet switch or IP router.
  • the video source 21 of the relay site 12 and the video source 31 of the studio 41 do not capture the same scene, the synchronization accuracy of the master clock of the relay site 12 and the station building 13 is the same scene. In some cases, it may be lower than the distance between the cameras to shoot.
  • the functions of the equipment group arranged in the relay vehicle 25 of the relay site 12 shown in FIG. 1 and the production equipment group other than the video source 31 in the station building 13 are virtualized. It is being considered to make it cloud-based, and to utilize 5G wireless networks and edge computing.
  • the major benefits of utilizing cloud computing and edge computing are that the video source 21 is wirelessly connected and that the functions of the relay vehicle 25 are virtual cloud computing. This eliminates the need for wiring at the relay site 12, the relay vehicle 25 and its on-board equipment, and eliminates the need to dispatch personnel to operate the site.
  • FIG. 2 is a block diagram showing the configuration of a content production system assuming a 5G wireless network.
  • the blocks common to the broadcast content production system 11 of FIG. 1 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the video from the video sources 21-1 to 21-3 is connected to the 5G network 52 via a wireless connection, and is a content production processing unit that is a virtual content production function on the cloud. It is transmitted directly to 42. Further, the video source 31 of the studio 41 is also connected to the 5G network 52 via a wired (or wireless) connection, and is transmitted to the content production processing unit 42, which is a virtual content production function.
  • the devices including the video sources 21-1 to 21-3 of the relay site 12 and the switcher 34 in the relay vehicle 25 are synchronized with one master clock. It's working.
  • the broadcast content production system 51 shown in FIG. 2 is connected to the switcher 34 included in the virtualized content production processing unit 42 by a 5G network 52, and is not necessarily connected to the switcher 34 as described above. It is assumed that time synchronization with the required accuracy cannot be performed. Therefore, for example, when the clocks of the video sources 21-1 to 21-3 at the relay site are synchronized with the master clock of the content production processing unit 42, it is considered that synchronization with sufficient accuracy cannot be obtained.
  • synchronization is adjusted by a buffer 36 provided in the input unit of the switcher 34 based on the timestamp added to the video stream by the video sources 21-1 to 21-4. It is carried out.
  • the clock (time) that is the source of the timestamp is different for each video source 21, it cannot be synchronized correctly, and there is a concern that inconvenience may occur in the broadcast content depending on the production process. Will be done.
  • the processing can be performed as before.
  • the time stamp of the stream from the video source 21-4 in which the smartphone is used is set based on the clock whose synchronization is not sufficient. Therefore, even if the synchronization adjustment by the buffer 36 is performed, the synchronization is not correctly performed, and if such a stream is handled as before, the above-mentioned inconvenience occurs.
  • the master clock in the current broadcast content production system 11 is the clock generated by the master clock generator installed in a place where the GNSS signal can be stably received, such as the station building 13, of the PTP described above. It is distributed using the SMPTE profile and operated to maintain a constant accuracy ( ⁇ 1 ⁇ S).
  • the clock (clock) is synchronized between the master clock of the station building 13 and the content production processing unit 42, which is a virtualized content production function on the cloud, and Radio Area Network, Core Network, etc. It is said that it is difficult to synchronize the clock of a video source 21 such as a camera connected via the 5G network 52 with sufficient accuracy by using the PTP SMPTE profile.
  • the device / application that is the video source acquires the time by GNSS and uses it.
  • moving cameras and other devices do not always receive GNSS in a stable manner.
  • each entity in 5G System is synchronized using 5G System clock in order to realize the wireless communication, and it is considered to use it. If this can be acquired and used in each device or in the virtualized content production function unit, sufficient time synchronization accuracy can be obtained. However, depending on the hardware or software implementation in the device, the accuracy obtained is on the order of tens of mS.
  • 5G System is trying to support the mechanism of the Ethernet layer called Time Sensitive Networking (TSN: IEEE 802.1AS, etc.), and it is considered to use it. For example, it may be possible to use this to synchronize the time between the virtualized content production function unit on the network and the video source at the application layer with a certain degree of accuracy.
  • TSN Time Sensitive Networking
  • TSN can also synchronize time using PTP, it uses an Ethernet layer, which is different from the SMPTE profile using the IP layer supported by existing broadcast production systems or devices. ..
  • the operation method for utilizing it in a content production system such as for broadcasting has not been established yet, and it is unknown how much accuracy can actually be obtained.
  • it will take time (and cost) for all devices used for broadcasting production to support it, and even for general users' smartphones or their applications.
  • the first consideration is the clock (clock) that is the source of the timestamp added to the stream at each video source, especially when creating content using videos shot and uplinked by general users' smartphones and their applications. ) Is not always sufficient in time accuracy. That is, at present, it is not possible to use a means for synchronizing the time with sufficient accuracy, and it is necessary to solve this.
  • the second consideration is that if there is a timestamp added based on clocks with different time accuracy, if the conventional content production processing is performed, the processed video stream may be inconvenient depending on the production processing content. It can be unavoidable and needs to be resolved.
  • the third consideration is that in order to prevent this, at least the content production processing unit 42 must be able to identify the time accuracy of the clock that is the source of the timestamp of each video stream. That is, since the production processing that can be performed by the content production processing unit 42 differs depending on the time accuracy of the source, it is necessary to identify the time accuracy of the source.
  • the fourth consideration is to estimate the time lag between the exact time and the clock of the source in order to make the type of production processing that can be performed the same as the stream with high synchronization accuracy for the video stream with inferior original time accuracy. And need to be corrected.
  • FIG. 4 is a block diagram showing a configuration example of an information processing device that realizes a broadcast content production process to which the present technology is applied.
  • the information processing device 61 shown in FIG. 4 is realized by an application that executes broadcast content production processing, and includes a clock accuracy recognition unit 62, a time lag estimation correction unit 63, and a processing content control unit 64.
  • the clock accuracy recognition unit 62 performs a clock accuracy recognition process for recognizing the accuracy of the clock for each of the plurality of video sources 21.
  • the clock accuracy recognition unit 62 can recognize the accuracy of the clock for each video source 21 by using the negotiation protocol with the network to which the video source 21 is connected.
  • the clock accuracy recognition unit 62 can recognize the clock accuracy of each video source 21 by adding information indicating the clock accuracy to the timestamp information embedded in the stream by the video source 21.
  • the time lag estimation correction unit 63 estimates the time lag of a stream with low clock accuracy, and performs a time lag estimation correction process for correcting the time lag.
  • the time lag estimation correction unit 63 is a time information added by the stream receiving unit 72 (FIG. 14) that receives the time information referenced by the video source 21 and the stream output from the video source 21. By statistically processing the time difference from the information, the time difference can be estimated.
  • the processing content control unit 64 controls the processing content of the content production processing according to the accuracy of the clock of the video source 21 and the accuracy of the time information (timestamp) of each stream after the correction is made by the time shift estimation correction unit 63. Processing content Control processing is performed.
  • the processing content control unit 64 may set a time accuracy label as shown in FIG. 17, which will be described later, for each video source 21 of the video stream, and automatically control the processing content based on the time accuracy label. can. Further, the processing content control unit 64 can update the time accuracy label of each video source 21.
  • the clock accuracy recognition unit 62 is provided as a means for the content production processing unit 42 to acquire the time accuracy of the video source 21 having a specific function.
  • FLUS Framework for Uplink Streaming
  • FLUSSink RemoteController
  • FLUSSource RemoteControlTarget
  • UE UserEquipment
  • the clock accuracy recognition unit 62 has a function as a Remote FLUS Controller, acquires the capability from the FLUS Source included in the video source 21, and notifies the Media Application (Production), which is the content production processing unit 42, of the capability. ..
  • the clock accuracy recognition unit 62 describes a clock accuracy recognition process for recognizing the clock accuracy of each video source 21 by adding information indicating the clock accuracy to the timestamp information embedded in the stream by the video source 21. do.
  • the format of Uplink Streaming used for broadcasting content production may be the format specified in SMPTE ST 2110, in addition to the ISOBMFF segment based on MPEG DASH.
  • SMPTE ST 2110 format the time when the video (or audio) of the payload is captured is recorded in the timestamp of the RTP packet header.
  • the type of time source from which the timestamp is based can be defined as an extension header.
  • the timestamp can be described for each segment using the Producer Reference Time Box ('prft') for the same purpose.
  • FIG. 7 shows an example of the ISOBMFF segment including the'prft'box.
  • the'prft'box is a file-level box and must always be placed before the first'moof'box in each segment.
  • the syntax of the'prft'box is included in the sample corresponding to the time indicated by ntp_timestamp by the value of flags and the media time in ISOBMFF (the beginning of the file is 0) represented by media_time, as shown in FIG.
  • the relationship with the data is shown.
  • the type of the relationship is specified such as the time of capture, the time input to the encoder, the time output from the encoder, etc., but it can be specified by the value of flags and can be used properly according to the purpose.
  • the extension as shown in FIG. 9 is performed.
  • the value of the time_source field is as shown in FIG.
  • the numbers in parentheses in FIG. 10 are guidelines for the synchronization accuracy of each time source.
  • the type of the time_source field may be UTF-8String, and the character string (gnss, 5gsystem, 5gtsn, st2059, etc.) shown after: of each field value (integer) shown in FIG. 10 may be described. ..
  • the clock accuracy recognition unit 62 allows the content production processing unit 42 to recognize the accuracy of the time that is the source of the timestamp of each video source 21, thereby indicating which production processing can be used. You can judge.
  • the time lag estimation correction unit 63 can estimate and correct the time lag for a stream having low time accuracy, such as using the time acquired by the video source 21 by NTP.
  • the same extension as described below is added to the extension header of the RTP packet (addition of description content). Equivalent can be achieved by applying.
  • each video source 21 places a function such as the FLUSSink described above in a place closest to the video source 21 connected to the 5G network 52 via wireless access, and the segment received from the video source 21 in the function. Add a new Box that describes the reception time for.
  • a function such as FLUSSink will be described later as the stream receiving unit 72 shown in FIG.
  • the Box is called Network Reference Time Box ('nrft').
  • the function to add the'nrft'box is a function defined as 5G System, and either the 5G System time can be acquired or the time is synchronized with the content production processing unit 42 by the TSN on the 5G System. It shall be made.
  • FIG. 11 shows an example of the ISOBMFF segment to which the'nrft'box is added.
  • FIG. 14 is a block diagram showing a configuration example of a broadcast content production system 71 having a function of performing time correction for a source having low accuracy.
  • the blocks common to the broadcast content production system 51 of FIG. 2 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the broadcast content production system 71 of FIG. 14 is provided with blocks (not shown) in the same manner as the broadcast content production system 51 of FIG.
  • the video from the master video source 21M is directly supplied to the content production processing unit 42, and the video from the video sources 21-1 and 21-2 is the stream reception unit 72, respectively. It is supplied to the content production processing unit 42 via -1 and 72-2.
  • the content production processing unit 42 is configured to include a correction processing unit 73 on the input side of the content production processing unit 42, and the switcher 34 has a label management unit 74 and a composition processing unit 75.
  • the clock accuracy recognition unit 62, the time lag estimation correction unit 63, and the processing content control unit 64 of the information processing apparatus 61 shown in FIG. 4 can be realized as functions of the correction processing unit 73.
  • the video source 21 adds the above-mentioned'prft'box to the ISOBMFF segment with reference to FIG. 7.
  • the relationship that is, flag setting
  • the time of the timestamp and the data (video or audio) stored in the sample corresponding to the value of the media_time field is the capture time by the video source 21, the input time to the encoder, and the input time to the encoder.
  • the output time from the encoder It is desirable to use the output time from the encoder in order to improve the accuracy of time deviation estimation by the time deviation estimation correction unit 63.
  • the stream receiver 72 records the time when the'moof'box of the ISOBMFF segment as shown in FIG. 7 above is received based on its own clock, and as shown in FIG. 13 above,'nrft' Create a box and add it to the segment.
  • the correction processing unit 73 in the content production processing unit 42 observes the timestamp described in the'prft'box and the'nrft'box, and performs the following processing to perform the video source 21 and the stream receiving unit 72 (and the content). Estimate the time lag with the clock of the production processing unit 42).
  • NTP some means
  • the timestamp time TSs of'prft' is the encoder output time
  • the time difference between the timestamp time TSs of'prft'and the timestamp time TSr of'nrft' is the time difference Tdiff as well as the video source.
  • the transmission delay Ttr from the output from the encoder to the arrival at the stream receiver is included. Therefore, the relationship of the following equation (1) holds.
  • TSr-TSs Tdiff + Ttr ... (1)
  • the transmission delay Ttr can be estimated from this equation (1), the value of the time lag Tdiff can be obtained.
  • the video source 21 and the stream receiver 72 (and the content production processing unit) can be obtained. It is possible to obtain the timestamp time corrected for the deviation of the reference time from 42).
  • the stream receiving unit 72 shall measure the RTT (Round Trip Time) in order to estimate the network transmission delay between itself and the video source 21.
  • RTT Red Trip Time
  • both the RTT value TRTT measured by the stream receiver 72 and the time difference (TSr-TSs) between the'prft'timestamp time TSs and the'nrft' timestamp time TSr will also vary, and as a result, the time-shifted Tdiff value will also vary.
  • the stream receiving unit 72 obtains a standard TSr-TSs value by statistically processing the value of the time difference (TSr-TSs) of each segment while receiving a plurality of segments in a certain period.
  • the stream receiving unit 72 performs RTT measurement so that the relationship with the reception of the segment data is always the same timing at the frequency of receiving the segment, and performs the same statistical processing for the RTT value TRTT.
  • the estimated value of the transmission delay Ttr can be obtained with.
  • the stream receiving unit 72 uses those values to subtract the estimated value of the transmission delay Ttr from the value of the standard time difference (TSr-TSs) ((TSr-TSs) -Ttr), thereby causing a time lag. You can get an estimate of Tdiff.
  • a simple average, a trimmed mean, a median, etc. can be used.
  • Tdiff estimation is based on the length of the statistically processed period, the size of the variance of the time difference (TSr-TSs) and the RTT value TRTT, or the difference between the median or mode (range) and the mean value of each. You can give a level of accuracy. This level value (i) can be used for time accuracy labeling for each video source 21 described later with reference to FIG.
  • this time correction can be performed not by the correction processing unit 73 in the content production processing unit 42 but by the stream receiving unit 72.
  • the stream receiving unit 72 adds a Network Adjusted Reference Time Box ('nart') in addition to the above-mentioned'nrft' box.
  • the correction in the content production processing unit 42 can be omitted, and the processing using the correction result in the stream receiving unit 72 can be performed.
  • the processing content control unit 64 can perform a wider range of production processing even for the content having low time accuracy, which is the source of the timestamp added by the video source 21.
  • the processing content can be controlled. That is, the processing content control unit 64 determines the clock accuracy of the video source 21 recognized by the clock accuracy recognition unit 62 and the accuracy of the time information (timestamp) of each stream after the correction is made by the time shift estimation correction unit 63. Accordingly, the processing content of the content production processing is controlled as described below.
  • the processing content control unit 64 attaches the time accuracy label shown in FIG. 17 to the streams from the individual video sources 21.
  • This time accuracy label is not written in the stream, but is, for example, metadata assigned to each input port of the switcher 34. For example, it corresponds to the metadata given to Flow in the NOTES standard defined by AMWA (Advanced Media Workflow Association).
  • the processing content control unit 64 labels the time accuracy label
  • the switcher 34 is notified of the label update.
  • the label management unit 74 verifies the time accuracy label and corrects the label
  • the composition processing unit 75 processes according to the time accuracy label (video composition, multi-display, switching, switching, Replay etc.).
  • FIG. 18 shows a display example of a monitor screen listing the video (1) to the video (16) labeled with the stream from the video source 21 of 16.
  • the video (1) to the video (6) are combined to form a wide-angle video, and the video (13) and the video (15) are displaying a multi-screen.
  • the video (11) shows that the label is changed as the estimation accuracy improves with the passage of time.
  • the video (13) indicates that the correction has been made by comparing the frame image with the reference video (16), and the label of the video (14) has been changed by visual comparison confirmation with the reference video (16). It means that you are there.
  • time lag estimation correction unit 63 improves the estimation accuracy due to the passage of time, the result of an artificial operation (visual confirmation, etc.), or the synchronization correction by the reference image is obtained. , Subject to change at any time.
  • the content of the content production process an ultra-wide-angle video in which multiple streams are connected, a multi-screen video by a multi-viewpoint stream, a video by switching between multiple source videos, and a replay video from different viewpoints are assumed.
  • the content is not limited to these images, and other images may be used as the content of the content production process.
  • an ultra-wide-angle video in which a plurality of streams are connected is usually performed on a stream for which various settings such as the installation position of each video source 21, the shooting angle, the angle of view, and the focal point have been adjusted. It is considered that the clock (time) that is the source of the timestamp is also often synchronized.
  • the clock time
  • a multi-screen image using a multi-viewpoint stream will have an unnatural screen unless it is synchronized with high accuracy when displaying images of moving subjects taken by the image source 21 side by side from different angles. there is a possibility.
  • the processing content control unit 64 controls the processing content of the content production processing so that only the processing shown in FIG. 19 can be executed according to the time accuracy label as shown in FIG.
  • the processing content shown in FIG. 19 is an example, and processing content other than these may be used.
  • a general user terminal such as a smartphone can be used as a video source.
  • the stream material from all the video sources 21 can be utilized as effectively as possible.
  • FIG. 20 is a flowchart illustrating information processing executed by the information processing apparatus 61 of FIG.
  • the clock accuracy recognition unit 62 recognizes the accuracy of the clock for each video source 21.
  • the clock accuracy recognition unit 62 can use the negotiation protocol with the network to which the video source 21 is connected, or can use the timestamp information embedded in the stream by the video source 21.
  • step S12 the time lag estimation correction unit 63 estimates the time lag of the stream with low time accuracy and corrects the time lag.
  • step S13 the processing content control unit 64 performs content production processing according to the clock accuracy of the video source 21 and the accuracy of the time information (timestamp) of each stream after the correction is made by the time lag estimation correction unit 63. Control the processing content.
  • the processing content control unit 64 assigns a time accuracy label as shown in FIG. 19, and controls the content production processing such that the composition processing unit 75 synthesizes the video according to the management of the time accuracy label by the label management unit 74. Will be done.
  • FIG. 21 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disc, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and the input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in the ROM (Read Only Memory) 103 accordingly. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • the CPU 102 performs the processing according to the above-mentioned flowchart or the processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result from the output unit 106, transmits it from the communication unit 108, and further records it on the hard disk 105, for example, via the input / output interface 110, if necessary.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processes performed by the computer according to the program do not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, processing by parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processes of the steps for describing the program may be executed in chronological order in the order described in the present specification, or may be called in parallel or called. It may be executed individually at the required timing such as when. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • a clock accuracy recognition unit that recognizes the accuracy of the clock for each of multiple video sources
  • a broadcast content production system including a time lag estimation correction unit that estimates the time lag of a stream from the video source with low clock accuracy and corrects the time lag.
  • Broadcast content production system Recognizing clock accuracy for multiple video sources and Broadcast content production method including estimating the time lag of a stream from the video source with low clock accuracy and correcting the time lag.
  • For the computer of the broadcast content production system Recognizing clock accuracy for multiple video sources and A program for estimating the time lag of a stream from the video source with low clock accuracy and executing processing including correcting the time lag.
  • Broadcast content production system 12 relay site, 13 station building, 14 broadcast network, 15 network, 21 video source, 22 CCU, 23 storage, 24 switcher, 25 relay vehicle, 31 video source, 32 CCU, 33 storage, 34 switcher , 35 master switcher, 36 buffer, 41 broadcast content production system, 42 content production processing unit, 43 transmission system, 51 broadcast content production system, 52 5G network, 61 information processing device, 62 clock accuracy recognition unit, 63 time lag estimation correction Unit, 64 processing content control unit, 71 broadcast content production system, 72 stream receiving unit, 73 correction processing unit, 74 label management unit, 75 synthesis processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、放送コンテンツに不都合が発生することを回避することができるようにする放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラムに関する。 クロック精度認識部は、複数の映像ソースごとのクロックの精度を認識し、時刻ずれ推定補正部は、クロックの精度が低い映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正する。そして、処理内容制御部は、クロック精度認識部により認識された映像ソースごとのクロックの精度、および、時刻ずれ推定補正部により補正された後の各ストリームの時刻情報の精度に応じて、放送コンテンツの制作処理の処理内容を制御する。本技術は、例えば、IP接続による放送コンテンツ制作システムに適用できる。

Description

放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム
　本開示は、放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラムに関し、特に、放送コンテンツに不都合が発生することを回避することができるようにした放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラムに関する。
　近年、放送コンテンツが高解像度化しており、放送コンテンツの制作環境において扱うデータ量が膨大になっている。これに伴い、それまで用いられていた専用同軸ケーブル（SDI: Serial Digital Interface）による機器間の接続が高速化および大容量化されたEthernet上のIP（Internet Protocol）接続によるネットワークへの置き換えが進んでいる。これまでは主に放送局の局舎内設備のIP化が進められてきたが、局舎内設備等で行われるコンテンツ制作に関わる様々なメディア処理の仮想化およびクラウド化が検討されており、一部において実用化されつつある。
　また、とくにスポーツや芸能ライブ・イベント等の中継放送制作において、5Gモバイル通信ネットワークを活用するための実証実験も行われている。例えば、モバイル通信規格の標準化団体である3GPPでは、放送事業者や事業者団体（EBU: European Broadcast Union）、放送制作設備ベンダーなどが中心となって、放送コンテンツ制作への5Gの活用するための標準規格要件が議論されている（例えば、非特許文献１参照）。
　一方で、いわゆるOTT（Over The Top）サービスとしてのストリーミング配信の隆盛によって、これまで放送が主な配信手段となっていたスポーツや芸能ライブ・イベントなどのインターネット配信が一般化してきた。現時点では、コンテンツ制作品質という観点では従来の放送事業者による制作の方に分があるが、その差は縮まってゆくものと考えられ、放送事業者としてもこれまでの延長ではない多様な制作技術を取り入れる試みがなされている。
　とくに固定の配線が不要な5G無線接続を活用するにあたっては、従来よりも多くの映像・音響ソースを活用することが考えられている。さらにその際、従来の放送コンテンツ制作で用いられているような専用の機材だけでなく、スマートフォンなどの一般ユーザー機器やアプリケーションをコンテンツ制作における映像・音声のソースとして活用することが想定されている。
3GPP TR 22.827 V17.1.0 (2020/01)
　ところで、従来の放送コンテンツ制作では、各映像ソースは一つのマスター・クロックに同期して動作することが前提となっている。しかしながら、スマートフォンやそのアプリケーション等を映像ソースとする場合には、その前提が必ずしも成り立つわけではない。そのため、クロック精度の異なる多様なデバイスを映像ソースとして活用してコンテンツを作成する際に、制作処理内容によっては処理後の放送コンテンツに不都合が発生することがあった。
　本開示は、このような状況に鑑みてなされたものであり、クロック精度の異なる多様なデバイスを映像ソースとして活用した場合であっても、放送コンテンツに不都合が発生することを回避することができるようにするものである。
　本開示の一側面の放送コンテンツ制作システムは、複数の映像ソースごとのクロックの精度を認識するクロック精度認識部と、クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正する時刻ずれ推定補正部とを備える。
　本開示の一側面の放送コンテンツ制作方法またはプログラムは、複数の映像ソースごとのクロックの精度を認識することと、クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正することとを含む。
　本開示の一側面においては、複数の映像ソースごとのクロックの精度が認識され、クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれが補正される。
典型的な放送コンテンツ制作システムの構成例を示すブロック図である。 5G無線ネットワークを想定したコンテンツ制作システムの構成例を示すブロック図である。 バッファによる同期調整について説明する図である。 本技術を適応した同期処理を実行する情報処理装置の構成例を示すブロック図である。 FLUS Source Capability Discoveryについて説明する図である。 capabilityの定義を示す図である。 ’prft’ boxを含むISOBMFFセグメントの一例を示す図である。 ‘prft’boxのsyntaxの一例を示す図である。 timestampの拡張の一例を示す図である。 time_sourceフィールドの値の一例を示す図である。 ‘nrft’boxのsyntaxの定義を示す図である。 Semanticsの一例を示す図である。 ‘nrft’boxを追加したISOBMFFセグメントの一例を示す図である。 本技術を適用した放送コンテンツ制作システムの構成例を示すブロック図である。 ‘nrft’boxのsyntaxの定義を示す図である。 Semanticsの一例を示す図である。 ストリームに対して付けられる時刻精度ラベルの一例を示す図である。 モニター画面の表示例を示す図である。 時刻精度ラベルごとに設定されるコンテンツ制作処理の処理内容の一例を示す図である。 情報処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜放送コンテンツ制作システムの構成例＞
　まず、図１乃至図３を参照して、放送コンテンツ制作システムの構成例について説明する。
　図１は、主としてスポーツ競技や芸能ライブ・イベントの中継等で用いられる典型的な放送コンテンツ制作システムの構成例を示すブロック図である。
　図１に示す放送コンテンツ制作システム１１は、中継を行う現場である中継現場１２と放送事業者の局舎１３とが、例えば、衛星通信等の専用回線により接続されて構成される。そして、放送コンテンツ制作システム１１では、局舎１３において制作された放送コンテンツが、放送網１４によって放送として送出され、または、ネットワーク１５を介したインターネット経由の同時配信が行われる。
　中継現場１２では、複数の映像ソース２１が配置されており、ＣＣＵ（Camera Control Unit）２２や、ストレージ２３、スイッチャー２４などの機器が、いわゆる中継車両２５（または、OBVAN/Truck(Outside Broadcasting VAN/Truck)と称される機材）に搭載される。図１に示す例では、３つの映像ソース２１－１乃至２１－３が、３つのＣＣＵ２２－１乃至２２－３を介してスイッチャー２４に接続される構成となっている。
　映像ソース２１－１乃至２１－３は、例えば、放送コンテンツ制作システム１１によって制作される放送コンテンツの映像を撮影するカメラであり、ＣＣＵ２２－１乃至２２－３は、それぞれ映像ソース２１－１乃至２１－３による撮影を制御する。映像ソース２１－１乃至２１－３により撮影された映像は、それぞれＣＣＵ２２－１乃至２２－３を介してスイッチャー２４に供給される。
　ストレージ２３は、スイッチャー２４に供給される映像ソース２１－１乃至２１－３からの映像を一時的に保持する。例えば、それらの映像は、リプレイなどに用いられる。
　スイッチャー２４は、映像ソース２１－１乃至２１－３からの映像を切り替えて、または、それらの映像とストレージ２３に蓄積されたリプレイ映像とを切り替えて、局舎１３に送信する。なお、スイッチャー２４は、このような映像の切り替えの他、コンピュータグラフィックの重畳など放送コンテンツの制作に関わる様々な処理を行うための各種の装置群により構成される。例えば、スイッチャー２４は、ストレージ２３に保持されている映像を用いた処理を行うことができる。
　局舎１３には、映像ソース３１や、ＣＣＵ３２、ストレージ３３、スイッチャー３４、マスタスイッチャー３５などの機材が設けられている。
　映像ソース３１は、例えば、中継現場の映像に加えて放送コンテンツに用いられる映像を撮影するためのスタジオ４１に配置されたカメラであり、映像ソース３１により撮影された映像は、ＣＣＵ３２を介してスイッチャー３４に供給される。
　ＣＣＵ３２、ストレージ３３、およびスイッチャー３４は、放送コンテンツの制作処理を行うプロダクションであるコンテンツ制作処理部４２に配置されている。
　ＣＣＵ３２は、映像ソース３１による撮影を制御し、ストレージ３３は、スイッチャー３４に供給される映像を一時的に保持する。スイッチャー３４は、映像ソース３１により撮影された映像を用いる場合に、中継現場１２からの映像との切り替えを行って、局舎１３内での制作処理を行う。
　マスタスイッチャー３５は、局舎１３からの映像の送出を行う送出システム４３に配置されている。例えば、マスタスイッチャー３５は、本編ではない映像や音声など（具体的には、コマーシャルや臨時ニュースなど）との切り替えを行って、放送網１４またはネットワーク１５へ放送コンテンツを出力する。
　このように構成される放送コンテンツ制作システム１１では、従来、中継現場１２に配置されている機器群と、局舎１３に配置されている機器群とは、それぞれ同軸ケーブルで相互に接続されている。そして、それらの機器群は、各々一つのマスター・クロックに同期して動作する。
　例えば、同一のシーンを捉えた複数の映像ソース３１からの映像をスイッチャー２４で切り替える際には、それぞれの映像ソース３１から出力される映像は、一定の精度で同期していなければならない。例えば、同期していない映像を切り替えた場合には、被写体の動きが不連続になり、視聴者に違和感を与えるような放送コンテンツとなってしまう。
　ここで、上述したように、同軸ケーブルによる接続は、Ethernetを用いたIP接続に置き換えられてきている。その場合においても、IP接続された機器間でクロック(時刻)を同期させる標準プロトコルである PTP（Precision Time Protocol (IEEE1588)）のSMPTE プロファイル（SMPTE ST 2059-2）を用いることで、例えば、中継車両２５および局舎１３のネットワークを構成する一つの（物理的な）LAN（Local Area Network）に接続された機器間では十分な精度での時刻同期が可能となっている。
　例えば、中継現場１２のスイッチャー２４から出力された映像ストリームは、衛星回線あるいは専用光回線等を用いて局舎１３に伝送される。このような伝送がIP接続で行われる場合には、中継現場１２のマスター・クロックと局舎１３のマスター・クロックとの間で、上述したPTPを用いた同期を行う必要がある。しかしながら、仮に専用光回線によるIP接続が行われる場合でも、一般的なEthernetスイッチやIPルーターなどを介した接続では十分な精度で同期させることは困難である。
　例えば、十分な精度で同期させるためには、PTP（SMPTE プロファイル）に対応した特別な機器を使用する必要があることが報告されている。ただし、例えば、中継現場１２の映像ソース２１とスタジオ４１の映像ソース３１とが同一のシーンを捉えることがない場合には、中継現場１２と局舎１３のマスター・クロックの同期精度は同一シーンを撮影するカメラ間等と比較して低くてもよい場合もある。
　ところで、先に述べたように、現在では図１に示した中継現場１２の中継車両２５内に配置された機器群、および、局舎１３にある映像ソース３１以外の制作機器群の機能を仮想化（クラウド化）すること、さらには、5G無線ネットワークおよびエッジ・コンピューティングを活用することが検討されている。クラウド化およびエッジ・コンピューティングを活用することによる恩恵が大きいのは、映像ソース２１が無線接続されること、および、中継車両２５が担っている機能が仮想・クラウド化されることである。これにより、中継現場１２での配線や、中継車両２５およびその搭載機材が不要となり、かつ、操作する人員を現場に派遣する必要がなくなることが想定される。
　図２は、5G無線ネットワークを想定したコンテンツ制作システムの構成を示すブロック図である。なお、図２に示す放送コンテンツ制作システム５１において、図１の放送コンテンツ制作システム１１と共通するブロックについては同一の符号を付し、その詳細な説明は省略する。
　図２に示す放送コンテンツ制作システム５１では、映像ソース２１－１乃至２１－３からの映像は、無線接続を介して５Ｇネットワーク５２に接続され、クラウド上の仮想コンテンツ制作機能であるコンテンツ制作処理部４２に直接的に伝送される。また、スタジオ４１の映像ソース３１も有線（または無線）接続を介して５Ｇネットワーク５２に接続され、仮想コンテンツ制作機能であるコンテンツ制作処理部４２に伝送される。
　例えば、図２に示すＣＣＵ２２－１乃至２２－３およびＣＣＵ３２の機能も仮想化されて５Ｇネットワーク５２内のアプリケーション・ファンクション(AF)として実現されることが想定される。
　ところで、図１に示す放送コンテンツ制作システム１１には、中継現場１２の映像ソース２１－１乃至２１－３と中継車両２５内のスイッチャー３４を含む機器とは、一つのマスター・クロックに同期して動作している。これに対し、図２に示す放送コンテンツ制作システム５１には、仮想化されたコンテンツ制作処理部４２に含まれるスイッチャー３４との間は５Ｇネットワーク５２によって接続されており、先に述べたように必ずしも必要な精度の時刻同期が行えないことが想定される。そのため、例えば、コンテンツ制作処理部４２のマスター・クロックに中継現場の映像ソース２１－１乃至２１－３のクロックを同期させる場合、十分な精度での同期を得ることができないと考えられる。
　また、図３に示すように、放送コンテンツ制作システム１１では、映像ソース２１－１乃至２１－４によって映像ストリームに付加されたtimestampに基づいて、スイッチャー３４の入力部に設けられるバッファ３６によって同期調整を行っている。しかしながら、そのtimestampの元となるクロック(時刻)が個々の映像ソース２１によって異なっている場合には正しく同期させることができず、制作上の処理によっては、放送コンテンツに不都合が発生することが懸念される。
　具体的には、被写体が映像ソース２１－１乃至２１－３で捉えられた時刻がずれている（＝timestampの元となるクロックが十分な精度で同期していない）場合、例えば、複数の映像ソース２１からの映像を合成した画像(映像)を作成したり、複数の映像を並べて表示したり、映像ソース２１を切り替えたりするなどの処理において不整合が生じる。そのため、コンテンツ制作処理部４２において、個々の映像ソース２１のクロックの同期精度を知ることが重要となる。
　図３に示す例では、２つの映像ソース２１－１および２１－２からのストリームの timestamp は十分に同期されたクロックに基づいて打たれているため、従来通りに処理ができる。これに対し、例えば、スマートフォンが用いられる映像ソース２１－４からのストリームの timestamp は同期が十分でないクロックに基づいて打たれている。このため、バッファ３６による同期調整を行っても、正しく同期されず、そのようなストリームを従来通りに扱ってしまうと、上述したような不都合が生じてしまう。
　ところで、現状の放送コンテンツ制作システム１１におけるマスター・クロックは、局舎１３などGNSS信号が安定して受信できる場所に設置されたマスター・クロック生成器で生成されたクロックを、先に述べたPTPのSMPTEプロファイルを用いて分配し、一定の精度(≦１μS)を保つように運用されている。しかしながら、局舎１３のマスター・クロックとクラウド上の仮想化されたコンテンツ制作機能であるコンテンツ制作処理部４２との間でクロック(時計)を同期させること、および、Radio Area NetworkやCore Networkなどの５Ｇネットワーク５２を介して接続されたカメラなどの映像ソース２１のクロックをPTP SMPTEプロファイルを用いて十分な精度で同期させることは困難であるとされている。
　一方、５Ｇネットワーク５２を利用した放送コンテンツ制作システム５１では、各機器および機能部が十分な精度で同期した時刻を得る手段として、他に次の３つの手段の可能性が考えられるが、それぞれに課題がありそれらを利用することは容易ではない。
　第１の手段として、各映像ソースとなる機器・アプリケーションがGNSSによる時刻を取得して、それを利用することが検討される。しかしながら、移動を伴うカメラやその他の機器ではGNSSを常に安定して受信できるとは限らない。
　第２の手段として、5G Systemでは、そのワイヤレス通信を実現するために5G System内の各エンティティが5G System clockを用いて同期しており、それを利用することが検討される。これを各機器内あるいは仮想化されたコンテンツ制作機能部で取得して用いることができれば、十分な時刻同期精度が得られる。しかしながら、機器内のハードウェアまたはソフトウェアの実装に依存し、得られる精度は数十mSオーダーである。
　第３の手段として、5G Systemでは、Time Sensitive Networking (TSN: IEEE 802.1AS他)というEthernetレイヤーの仕組みをサポートしようとしており、それを利用することが検討される。例えば、これを用いてネットワーク上の仮想化されたコンテンツ制作機能部と、映像ソースとの間の時刻同期をアプリケーション・レイヤで一定の精度で行うことができる可能性がある。
　しかしながら、TSNでもPTPを用いた時刻同期が可能である一方で、Ethernetレイヤーを用いるものであり、既存の放送制作システムあるいは機器で対応しているIPレイヤ－を用いたSMPTEプロファイルとは異なっている。また、放送向けのようなコンテンツ制作システムで活用するための運用手法は未だ確立されておらず、実際にどれだけの精度が得られるかも未知数である。さらに、仮に実用化されたとしても、放送制作に使われる全ての機器での対応、さらには一般ユーザーのスマートフォンあるいはそのアプリケーションまでがこれに対応するのには時間（およびコスト）がかかる。
　このような３つの手段と、それぞれの課題を整理すると、次に示すような４つの検討事項を解消することが必要となる。
　第１の検討事項は、とくに一般ユーザーのスマートフォンやそのアプリケーションで撮影されてアップリンクされる映像を活用したコンテンツ制作を行う場合、各映像ソースでストリームに付加されるtimestampの元になるクロック(時計)の時刻精度が十分なものであるとは限らない。即ち、現状では十分な精度で時刻を同期させる手段を利用することができず、これを解消する必要がある。
　第２の検討事項は、異なる時刻精度のクロックに基づいて付加されたtimestampが存在する場合に、従来通りのコンテンツ制作処理を行うと制作処理内容によっては処理後の映像ストリームに不都合が起こることが避けられないことがあり、これを解消する必要がある。
　第３の検討事項は、これを防ぐためには少なくともコンテンツ制作処理部４２において、各映像ストリームのtimestampの元となるクロックの時刻精度を識別できなければならない。即ち、ソースの時刻精度に応じて、コンテンツ制作処理部４２で行うことのできる制作処理が異なるため、ソースの時刻精度を識別する必要がある。
　第４の検討事項は、元の時刻精度が劣る映像ストリームについて、実施可能な制作処理の種類を同期精度の高いストリームと同等にするために正確な時刻とそのソースのクロックとの時刻ずれを推定し、補正する必要がある。
　以上の４つの検討事項を鑑みて、本技術を適応した放送コンテンツ制作処理では、アプリケーション（メディア）レイヤーでこれらの検討事項を解決するものである。
　＜本技術を適応した放送コンテンツ制作処理＞
　図４乃至図２０を参照して、本技術を適応した放送コンテンツ制作処理について説明する。
　＜情報処理装置の構成例＞
　図４は、本技術を適応した放送コンテンツ制作処理を実現する情報処理装置の構成例を示すブロック図である。
　図４に示す情報処理装置６１は、放送コンテンツ制作処理を実行するアプリケーションにより実現され、クロック精度認識部６２、時刻ずれ推定補正部６３、および処理内容制御部６４を備えて構成される。
　クロック精度認識部６２は、複数の映像ソース２１ごとのクロックの精度を認識するクロック精度認識処理を行う。例えば、クロック精度認識部６２は、映像ソース２１が接続するネットワークとの間のネゴシエーション・プロトコルを利用して、映像ソース２１ごとのクロックの精度を認識することができる。または、クロック精度認識部６２は、映像ソース２１がストリームに埋め込むtimestamp情報にクロック精度を表す情報が付加されていることによって、映像ソース２１ごとのクロックの精度を認識することができる。
　時刻ずれ推定補正部６３は、クロックの精度が低いストリームの時刻ずれを推定し、その時刻ずれを補正する時刻ずれ推定補正処理を行う。例えば、時刻ずれ推定補正部６３は、後述するように、映像ソース２１が基準とする時刻情報と、映像ソース２１から出力されたストリームを受信するストリーム受信部７２（図１４）において付加された時刻情報との時間差を統計処理することで、時刻ずれを推定することができる。
　処理内容制御部６４は、映像ソース２１のクロック精度と、時刻ずれ推定補正部６３における補正がなされた後の各ストリームの時刻情報(timestamp)の精度に応じて、コンテンツ制作処理の処理内容を制御する処理内容制御処理を行う。例えば、処理内容制御部６４は、映像ストリームの映像ソース２１ごとに、後述する図１７に示すような時刻精度ラベルを設定し、その時刻精度ラベルに基づいて自動的に処理内容を制御することができる。また、処理内容制御部６４は、個々の映像ソース２１の時刻精度ラベルを更新することができる。
　＜クロック精度認識処理＞
　図５乃至図１０を参照して、クロック精度認識部６２において行われるクロック精度認識処理について説明する。
　まず、クロック精度認識部６２が、映像ソース２１が接続するネットワークとの間のネゴシエーション・プロトコルを利用して、映像ソース２１ごとのクロックの精度を認識するクロック精度認識処理について説明する。
　例えば、クロック精度認識部６２は、特定の機能を持つ映像ソース２１について、その時刻精度をコンテンツ制作処理部４２が取得する手段として設けられる。例えば、現在3GPP TSG SA WG4で規格化が進められているFramework for Uplink Streaming(FLUS)では、FLUS SinkがFLUS Sourceのケーパビリティを取得するプロトコルとして、図５に示すようなFLUS Source Capability Discoveryがある。FLUS Sink（Remote Controller）は、Uplink Streamingを受信するアプリケーション・ファンクションであり、FLUS Source（Remote Control Target）は、Uplink Streamingを行うUE(User Equipment)上のファンクションである。
　そして、このようなプロトコルで、FLUS Sinkが、FLUS Sourceが持つ時刻ソースの種別を得られるようにするため、図６に示すようなcapabilityを定義する。ここで、図６に示す”vnd:xyz”は、URN規定を満たす文字列とする。
　例えば、クロック精度認識部６２がRemote FLUS Controllerとしての機能を備えており、映像ソース２１が備えるFLUS Sourceからcapabilityを取得して、コンテンツ制作処理部４２であるMedia Application (Production)にcapabilityを通知する。
　次に、クロック精度認識部６２が、映像ソース２１がストリームに埋め込むtimestamp情報にクロック精度を表す情報が付加されていることによって、映像ソース２１ごとのクロックの精度を認識するクロック精度認識処理について説明する。
　放送コンテンツ制作に用いられるUplink Streamingのフォーマットは、MPEG DASHに則したISOBMFFのセグメントの他、SMPTE ST 2110に規定されるフォーマットが考えられる。SMPTE ST 2110フォーマットの場合には、RTPパケット・ヘッダーのtimestampに、ペイロードの映像（または音声）がキャプチャされた時刻が記録される。timestampの元となった時刻ソースの種別は拡張ヘッダーとして定義することができる。一方、ISOBMFFの場合、同様な目的でtimestampを個々のセグメント毎にProducer Reference Time Box (‘prft’)を使って記載することができる。
　図７には、’prft’boxを含むISOBMFFセグメントの一例が示されている。
　図７に示すISOBMFFセグメントにおいて、’prft’boxはファイルレベルのboxであり、必ず各セグメントの最初の‘moof’boxの前に置かなければならない。
　また、‘prft’boxのsyntaxは、図８に示す通りで、flagsの値によってntp_timestampで示される時刻とmedia_timeで表されるISOBMFF内のmedia時刻（ファイルの先頭が０）に相当するsampleに含まれるデータ（映像または音声データ）との関係が表される。その関係の種類は、キャプチャされた時刻、エンコーダーに入力された時刻、エンコーダーから出力された時刻、などが規定されているが、flagsの値によって指定することができ、目的によって使い分けることができる。
　ここで、このtimestampの元となった時刻ソースを表すために、例えば、図９に示すような拡張をする。さらに、time_sourceフィールドの値は、図１０に示すようにする。なお、図１０の括弧内は、各時刻ソースの同期精度の目安である。あるいは、time_sourceフィールドの型をUTF-8Stringとして、図１０に示す各field値(integer) の : 後に示された文字列（gnss, 5gsystem, 5gtsn, st2059, etc.）を記載することにしてもよい。
　そして、クロック精度認識部６２により、コンテンツ制作処理部４２は、個々の映像ソース２１のtimestampの元となった時刻の精度を認識することができ、それによってどの制作処理に用いることが可能かを判断することができる。
　＜時刻ずれ推定補正処理＞
　図１１乃至図１３を参照して、時刻ずれ推定補正部６３において行われる時刻ずれ推定補正処理について説明する。
　例えば、時刻ずれ推定補正部６３は、映像ソース２１がNTPにより取得した時刻を用いているなど、時刻精度が低いストリームについて、時刻ずれの推定と補正を行うことができる。また、ここでは、ストリーム・フォーマットとしてISOBMFFセグメントを用いる場合についてのみ記述するが、SMPTE 2110フォーマットの場合には、RTPパケットの拡張ヘッダーに、以下で説明するのと同様な拡張（記載内容の追加）を施すことで等価なことを実現することができる。
　まず、個々の映像ソース２１が、無線アクセスを経て５Ｇネットワーク５２に繋がる最も映像ソース２１に近い場所に、例えば、上述したFLUS Sinkのようなファンクションを置き、そのファンクションにおいて映像ソース２１から受信したセグメントに対して受信時刻を記載した新たなBoxを追加する。なお、FLUS Sinkのようなファンクションについては、図１４に示すストリーム受信部７２として後述する。
　例えば、そのBoxを、Network Reference Time Box (‘nrft’)と称する。このとき、‘nrft’boxを追加するファンクションは、5G Systemとして定義されたファンクションであり、5G System時刻を取得できるか、あるいは5G System上のTSNによってコンテンツ制作処理部４２との間で時刻同期ができているものとする。
　そして、‘nrft’boxのsyntaxは、図１１に示すように定義され、Semanticsは、図１２に示す通りである。また、図１３には、‘nrft’boxを追加したISOBMFFセグメントの一例が示されている。
　＜放送コンテンツ制作システムの構成例＞
　図１４は、精度の低いソースに対する時刻補正を行う機能を備えた放送コンテンツ制作システム７１の構成例を示すブロック図である。なお、図１４に示す放送コンテンツ制作システム７１において、図２の放送コンテンツ制作システム５１と共通するブロックについては同一の符号を付し、その詳細な説明は省略する。また、図１４の放送コンテンツ制作システム７１は、図示が省略されているブロックについても、図２の放送コンテンツ制作システム５１と同様に備えている。
　図１４に示す放送コンテンツ制作システム７１は、マスタ映像ソース２１Ｍからの映像はコンテンツ制作処理部４２に直接的に供給され、映像ソース２１－１および２１－２からの映像は、それぞれストリーム受信部７２－１および７２－２を介して、コンテンツ制作処理部４２に供給される。
　コンテンツ制作処理部４２は、コンテンツ制作処理部４２の入力側に補正処理部７３を備えて構成され、スイッチャー３４は、ラベル管理部７４および合成処理部７５を有している。なお、図４に示した情報処理装置６１のクロック精度認識部６２、時刻ずれ推定補正部６３、および処理内容制御部６４は、補正処理部７３の機能として実現することができる。
　このように構成される放送コンテンツ制作システム７１における時刻補正の手順について説明する。
　映像ソース２１は、図７を参照して上述した’prft’boxをISOBMFFセグメントに付加する。このとき、timestampの時刻と、media_timeフィールドの値に対応するsampleに格納されたデータ(映像または音声)との関係（つまりフラグの設定）は、映像ソース２１によるキャプチャ時刻、エンコーダーへの入力時刻、またはエンコーダーからの出力時刻とする。なお、時刻ずれ推定補正部６３による時刻ずれの推定の精度を向上させるためにはエンコーダーからの出力時刻を用いることが望ましい。また、映像ソース２１によるキャプチャからエンコーダーへの入力、そしてエンコーダーからの出力までの所要時間の統計的な揺らぎは（伝送時間の揺らぎと比較して）十分に小さいと仮定すると、これら３種類のtimestampのうちの一つを用いた場合の、時刻ずれ推定精度の差は大きくならない。
　ストリーム受信部７２は、上述の図７に示したようなISOBMFFセグメントの‘moof’boxを受信した時刻を自らのもつクロックに基づいて記録し、上述の図１３に示したように、’nrft’boxを生成してセグメントに付加する。
　そして、コンテンツ制作処理部４２内の補正処理部７３では、’prft’boxおよび’nrft’boxに記載されたtimestampを観測し、以下のような処理により映像ソース２１とストリーム受信部７２（およびコンテンツ制作処理部４２）のクロックとの時刻ずれを推定する。
　前提として、映像ソース２１は何らか手段（例えばNTP）による時刻同期を常に行っており、映像ソース２１の基準とする時刻Tsとストリーム受信部７２の時刻Trはどちらもドリフトすることがなく、２つのクロックの時刻ずれTdiff（＝Tr－Ts）は常に一定の範囲に収まっていることとする。すなわち、映像ソース２１が付加したtimestampの元となる時刻が機器の内部時計である場合（例えば、time_sourceフィールドの値がinternalであるの場合）には、この時刻ずれ推定および補正処理を行った場合、補正後の時刻の精度は保証されない。
　ここで、’prft’のtimestamp時刻TSsがエンコーダー出力時刻である場合には、’prft’のtimestamp時刻TSsと‘nrft’のtimestamp時刻TSrとの時間差には、時刻ずれTdiffの他に映像ソースのエンコーダーから出力されてからストリーム受信部に届くまでの伝送遅延Ttrが含まれている。従って、次の式（１）の関係が成り立つ。
　TSr－TSs＝Tdiff＋Ttr　　　・・・（１）
　この式（１）から、伝送遅延Ttrが推定できれば時刻ずれTdiffの値を求めることができ、timestamp時刻に時刻ずれTdiffを加算することによって、映像ソース２１とストリーム受信部７２（およびコンテンツ制作処理部４２）との基準時刻のずれを補正した timestamp時刻を得ることができる。
　ここで、ストリーム受信部７２は、自身と映像ソース２１の間のネットワーク伝送遅延を推定するため、RTT(Round Trip Time)を測定するものとする。ただし、ネットワークの伝送遅延は通常ばらつくため、ストリーム受信部７２が測定するRTTの値TRTTも、’prft’のtimestamp時刻TSsと‘nrft’のtimestamp時刻TSrとの時間差（TSr－TSs）の値も同様にばらつくことになり、その結果、時刻ずれTdiffの値もばらつくことになる。
　そこで、ストリーム受信部７２は、一定期間の複数のセグメントを受信する間、各セグメントの時間差（TSr－TSs）の値を統計処理することによって標準的なTSr－TSsの値を求める。一方、ストリーム受信部７２は、セグメントを受信する頻度で、セグメント・データの受信との関係が常に同様なタイミングとなるようにRTT測定を行い、RTTの値TRTTに関しても同様な統計処理を行うことで伝送遅延Ttrの推定値を得ることができる。そして、ストリーム受信部７２は、それらの値を用いて、標準的な時間差（TSr－TSs）の値から伝送遅延Ttrの推定値を減算（（TSr－TSs）－Ttr）することによって、時刻ずれTdiffの推定値を得ることができる。
　ここで行う統計処理による値の推定は、例えば、単純平均や、トリム平均、中央値などを用いることができる。
　また、統計処理した期間の長さや、時間差（TSr－TSs）およびRTTの値TRTTの分散の大きさ、あるいは、それぞれの中央値または最頻値（レンジ）と平均値の差などによって、Tdiff推定精度にレベルを持たせることができる。このレベル値（ｉ）は、図１７を参照して後述する映像ソース２１毎の時刻精度ラベル付けに用いることができる。
　ところで、この時刻補正は、コンテンツ制作処理部４２の内の補正処理部７３で行うのではなく、ストリーム受信部７２において行うこともできる。その場合、ストリーム受信部７２は、上述した’nrft’boxを付加することに加えて、Network Adjusted Reference Time Box(‘nart’)を付加する。
　従って、‘nart’boxのsyntaxは、図１５に示す通りとなり、Semanticsは、図１６に示す通りである。
　こうすることで、コンテンツ制作処理部４２での補正を省略し、ストリーム受信部７２による補正の結果を用いた処理を行うことができる。
　このようなtimestamp基準時刻の補正処理を行うことで、処理内容制御部６４は、映像ソース２１が付加した timestamp の元となる時刻精度が低いコンテンツについても、より幅広い制作処理が施されるように処理内容を制御することができる。即ち、処理内容制御部６４は、クロック精度認識部６２が認識した映像ソース２１のクロック精度、および、時刻ずれ推定補正部６３における補正がなされた後の各ストリームの時刻情報(timestamp)の精度に応じて、以下で説明するようにコンテンツ制作処理の処理内容を制御する。
　まず、処理内容制御部６４は、個々の映像ソース２１からのストリームに対して、図１７に示す時刻精度ラベルを付ける。この時刻精度ラベルは、ストリーム内に記載されるのではなく、例えば、スイッチャー３４の入力ポート毎に割り当てられるメタデータである。例えば、AMWA(Advanced Media Workflow Association)が定めているNMOS規格でいうところのFlowに付与されるメタデータに相当する。
　そして、処理内容制御部６４は、時刻精度ラベルのラベル付けを行うと、スイッチャー３４に対してラベル更新を通知する。これに応じて、スイッチャー３４では、ラベル管理部７４が、時刻精度ラベルの検証とラベル修正を行い、合成処理部７５が、時刻精度ラベルに応じた処理（映像の合成や、マルチ表示、切り替え、リプレイなど）を行う。
　例えば、図１８には、１６の映像ソース２１からのストリームにラベル付けをした映像（１）～映像（１６）を一覧するモニター画面の表示例が示されている。
　例えば、映像（１）～映像（６）が合成されて広角映像が構成中であり、映像（１３）および映像（１５）でマルチ画面が表示中であることを表している。また、映像（１１）は、時間経過により推定精度が向上するのに応じてラベルが変更されていることを表している。また、映像（１３）は、基準映像（１６）とのフレーム画像比較により修正済みであることを表しており、映像（１４）は、基準映像（１６）と目視比較確認によりラベルが変更されていることを表している。
　なお、これらのラベルは、時刻ずれ推定補正部６３による時間の経過による推定精度の向上や、人為的な操作（目視による確認など）の結果、あるいは基準映像による同期補正が得られた場合などにおいて、随時変更される可能性がある。
　ここで、コンテンツ制作処理の内容としては、複数ストリームをつなぎ合わせた超広角映像、複数視点ストリームによるマルチ画面映像、複数ソース映像の切り替えによる映像、および、異なる視点からのリプレイ映像が想定される。なお、これらの映像に限定されることなく、その他の映像をコンテンツ制作処理の内容としてもよい。
　例えば、複数ストリームをつなぎ合わせた超広角映像は、通常は個々の映像ソース２１の設置位置、撮影角度や画角、フォーカルポイント等様々な設定を調整済みのストリームに対して行われるものであり、timestampの元となるクロック(時刻)も同期されていることが多いと考えられる。ただし、最近では撮影後の処理によって事前に精密な調整がなされていなくてもつなぎ合わせを可能とする技術も出てきており、必ずしも時刻同期ができていない複数のストリームからの合成が行われるようになる可能性がある。
　また、複数視点ストリームによるマルチ画面映像は、動きのある被写体を異なる角度から映像ソース２１により撮影した映像を並べて表示するような場合には、高精度で同期されていないと不自然な画面となる可能性がある。
　同様に、複数の映像ソース２１の切り替えによる映像も、動きの激しい、同一の被写体を映す複数の映像を切り替える場合には、動きが不自然になる可能性がある。
　一方で、異なる視点からのリプレイ映像は、他の映像ソース２１からの映像と同時に（同期させて）表示するのでなければ、timestampの元となる時刻精度はあまり問題とならない。
　従って、処理内容制御部６４は、図１９に示したような時刻精度ラベルに応じて、それぞれ図１９に記載された処理のみ実行可能となるようにコンテンツ制作処理の処理内容を制御する。なお、図１９に示す処理内容は一例であり、これら以外の処理内容が用いられてもよい。
　以上のように、個々の映像ソース２１のクロック(時刻)精度に応じたラベル、および、時刻ずれの補正状況を随時反映したラベル管理を行うことによって、例えば、スマートフォンなどの一般ユーザー端末を映像ソース２１として活用するコンテンツ制作において、すべての映像ソース２１からのストリーム素材を最大限有効に活用することができる。
　＜情報処理の処理例＞
　図２０は、図４の情報処理装置６１が実行する情報処理を説明するフローチャートである。
　ステップＳ１１において、クロック精度認識部６２は、映像ソース２１ごとのクロックの精度を認識する。例えば、クロック精度認識部６２は、映像ソース２１が接続するネットワークとの間のネゴシエーション・プロトコルを利用して、または、映像ソース２１がストリームに埋め込むtimestamp情報を利用することができる。
　ステップＳ１２において、時刻ずれ推定補正部６３は、時刻精度が低いストリームの時刻ずれを推定し、その時刻ずれを補正する。
　ステップＳ１３において、処理内容制御部６４は、映像ソース２１のクロック精度と、時刻ずれ推定補正部６３における補正がなされた後の各ストリームの時刻情報(timestamp)の精度に応じて、コンテンツ制作処理の処理内容を制御する。例えば、処理内容制御部６４は、図１９に示したような時刻精度ラベルを付与し、ラベル管理部７４による時刻精度ラベルの管理に従って合成処理部７５において映像を合成するようなコンテンツ制作処理が制御される。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（放送コンテンツ制作方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の映像ソースごとのクロックの精度を認識するクロック精度認識部と、
　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正する時刻ずれ推定補正部と
　を備える放送コンテンツ制作システム。
（２）
　前記クロック精度認識部により認識された前記映像ソースごとのクロックの精度、および、前記時刻ずれ推定補正部により補正された後の各ストリームの時刻情報の精度に応じて、放送コンテンツの制作処理の処理内容を制御する処理内容制御部
　をさらに備える上記（１）に記載の放送コンテンツ制作システム。
（３）
　前記クロック精度認識部は、前記映像ソースが接続するネットワークとの間のネゴシエーション・プロトコルを利用して、前記映像ソースごとのクロックの精度を認識する
　上記（１）または（２）に記載の放送コンテンツ制作システム。
（４）
　前記クロック精度認識部は、前記映像ソースがストリームに埋め込むtimestamp情報に付加されているクロック精度を表す情報を利用して、前記映像ソースごとのクロックの精度を認識する
　上記（１）または（２）に記載の放送コンテンツ制作システム。
（５）
　前記時刻ずれ推定補正部は、前記映像ソースが基準とする時刻情報と、前記映像ソースから出力されたストリームを受信するストリーム受信部において付加された時刻情報との時間差を統計処理することで、前記時刻ずれを推定する
　上記（１）から（４）までのいずれかに記載の放送コンテンツ制作システム。
（６）
　放送コンテンツ制作システムが、
　複数の映像ソースごとのクロックの精度を認識することと、
　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正することと
　を含む放送コンテンツ制作方法。
（７）
　放送コンテンツ制作システムのコンピュータに、
　複数の映像ソースごとのクロックの精度を認識することと、
　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正することと
　を含む処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　放送コンテンツ制作システム，　１２　中継現場，　１３　局舎，　１４　放送網，　１５　ネットワーク，　２１　映像ソース，　２２　ＣＣＵ，　２３　ストレージ，　２４　スイッチャー，　２５　中継車両，　３１　映像ソース，　３２　ＣＣＵ，　３３　ストレージ，　３４　スイッチャー，　３５　マスタスイッチャー，　３６　バッファ，　４１　放送コンテンツ制作システム，　４２　コンテンツ制作処理部，　４３　送出システム，　５１　放送コンテンツ制作システム，　５２　５Ｇネットワーク，　６１　情報処理装置，　６２　クロック精度認識部，　６３　時刻ずれ推定補正部，　６４　処理内容制御部，　７１　放送コンテンツ制作システム，　７２　ストリーム受信部，　７３　補正処理部，　７４　ラベル管理部，　７５　合成処理部

Claims (7)

  1. 　複数の映像ソースごとのクロックの精度を認識するクロック精度認識部と、
    　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正する時刻ずれ推定補正部と
    　を備える放送コンテンツ制作システム。
  2. 　前記クロック精度認識部により認識された前記映像ソースごとのクロックの精度、および、前記時刻ずれ推定補正部により補正された後の各ストリームの時刻情報の精度に応じて、放送コンテンツの制作処理の処理内容を制御する処理内容制御部
    　をさらに備える請求項１に記載の放送コンテンツ制作システム。
  3. 　前記クロック精度認識部は、前記映像ソースが接続するネットワークとの間のネゴシエーション・プロトコルを利用して、前記映像ソースごとのクロックの精度を認識する
    　請求項１に記載の放送コンテンツ制作システム。
  4. 　前記クロック精度認識部は、前記映像ソースがストリームに埋め込むtimestamp情報に付加されているクロック精度を表す情報を利用して、前記映像ソースごとのクロックの精度を認識する
    　請求項１に記載の放送コンテンツ制作システム。
  5. 　前記時刻ずれ推定補正部は、前記映像ソースが基準とする時刻情報と、前記映像ソースから出力されたストリームを受信するストリーム受信部において付加された時刻情報との時間差を統計処理することで、前記時刻ずれを推定する
    　請求項１に記載の放送コンテンツ制作システム。
  6. 　放送コンテンツ制作システムが、
    　複数の映像ソースごとのクロックの精度を認識することと、
    　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正することと
    　を含む放送コンテンツ制作方法。
  7. 　放送コンテンツ制作システムのコンピュータに、
    　複数の映像ソースごとのクロックの精度を認識することと、
    　クロックの精度が低い前記映像ソースからのストリームの時刻ずれを推定し、その時刻ずれを補正することと
    　を含む処理を実行させるためのプログラム。
PCT/JP2021/018335 2020-05-27 2021-05-14 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム WO2021241264A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/998,673 US20230199237A1 (en) 2020-05-27 2021-05-14 Broadcast content production system, broadcast content production method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-091972 2020-05-27
JP2020091972 2020-05-27

Publications (1)

Publication Number Publication Date
WO2021241264A1 true WO2021241264A1 (ja) 2021-12-02

Family

ID=78745284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018335 WO2021241264A1 (ja) 2020-05-27 2021-05-14 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20230199237A1 (ja)
WO (1) WO2021241264A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106743A1 (ja) * 2009-03-16 2010-09-23 パナソニック株式会社 画像音声通信装置およびその通信方法
JP2012010009A (ja) * 2010-06-23 2012-01-12 Nippon Hoso Kyokai <Nhk> 送信装置、サーバ装置、および受信装置
US20140362873A1 (en) * 2011-12-06 2014-12-11 Rohde & Schwarz Gmbh & Co. Kg Method and a device for signalling transmission time and/or a system clock
US20150189128A1 (en) * 2013-12-27 2015-07-02 Nathaniel D. Naegle Synchronization of video based on clock adjustment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080122986A1 (en) * 2006-09-19 2008-05-29 Florian Diederichsen Method and system for live video production over a packeted network
US8082367B2 (en) * 2009-07-23 2011-12-20 Schneider Electric USA, Inc. Differential time synchronization of intelligent electronic devices
US9602271B2 (en) * 2015-06-01 2017-03-21 Globalfoundries Inc. Sub-nanosecond distributed clock synchronization using alignment marker in ethernet IEEE 1588 protocol
US10353424B2 (en) * 2016-07-01 2019-07-16 Imagination Technologies Limited Clock synchronisation
JP6820586B2 (ja) * 2016-08-31 2021-01-27 株式会社メディアリンクス 時刻同期システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106743A1 (ja) * 2009-03-16 2010-09-23 パナソニック株式会社 画像音声通信装置およびその通信方法
JP2012010009A (ja) * 2010-06-23 2012-01-12 Nippon Hoso Kyokai <Nhk> 送信装置、サーバ装置、および受信装置
US20140362873A1 (en) * 2011-12-06 2014-12-11 Rohde & Schwarz Gmbh & Co. Kg Method and a device for signalling transmission time and/or a system clock
US20150189128A1 (en) * 2013-12-27 2015-07-02 Nathaniel D. Naegle Synchronization of video based on clock adjustment

Also Published As

Publication number Publication date
US20230199237A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
TWI762117B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
JP2022010382A (ja) 受信方法、及び、受信装置
US10341672B2 (en) Method and system for media synchronization
US11122344B2 (en) System and method for synchronizing metadata with audiovisual content
US10764473B2 (en) Automatically synchronizing multiple real-time video sources
US10097790B2 (en) Carriage of PTP time reference data in a real-time video signal
KR101934200B1 (ko) 미디어 동기화 방법 및 시스템
US10595075B2 (en) Automatic timing of production devices in an internet protocol environment
US11558654B2 (en) System and method for operating a transmission network
JP5841715B2 (ja) 映像音声出力装置、および映像音声出力システム、およびマスタ装置
WO2014204192A1 (en) Apparatus and method for receiving broadcast content from a broadcast stream and an alternate location
US11012171B2 (en) Deterministic re-multiplexing for DVB SFN networks
US11528389B2 (en) Method and system for synchronizing playback of independent audio and video streams through a network
JP2018074480A (ja) 受信端末及びプログラム
KR101748382B1 (ko) 비디오 스트리밍 제공 방법 및 시스템
WO2021241264A1 (ja) 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム
EP4254966A1 (en) A method, apparatus and computer program for synchronizing video frames captured by multiple cameras
JP2018182617A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
WO2014162748A1 (ja) 受信装置、及び受信方法
US11503385B2 (en) Live broadcast IP latency compensation
JP2015046708A (ja) 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム
Calverley Time-compensated remote production over IP
US20170374243A1 (en) Method of reducing latency in a screen mirroring application and a circuit of the same
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
KR20230103253A (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21812394

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21812394

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP