WO2021157381A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021157381A1
WO2021157381A1 PCT/JP2021/002175 JP2021002175W WO2021157381A1 WO 2021157381 A1 WO2021157381 A1 WO 2021157381A1 JP 2021002175 W JP2021002175 W JP 2021002175W WO 2021157381 A1 WO2021157381 A1 WO 2021157381A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
retransmission
transmission
section
transmitted
Prior art date
Application number
PCT/JP2021/002175
Other languages
English (en)
French (fr)
Inventor
孝明 渕江
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021157381A1 publication Critical patent/WO2021157381A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/04—Error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program suitable for use when transmitting video by a transmission line via a wireless transmission line.
  • This technology was made in view of such a situation, and is intended to efficiently improve the quality of video when reproducing video transmitted by a transmission line via a wireless transmission line. ..
  • the information processing device of one aspect of the present technology is based on the quality of the section video which is the video of each section of the transmission video which is the video transmitted by the first transmission line via the wireless transmission line and the importance of the scene.
  • a retransmission control unit for setting a retransmission section for resending the transmitted video is provided.
  • the information processing method of one aspect of the present technology is based on the quality of the section video and the importance of the scene, which is the video of each section of the transmission video, which is the video transmitted by the information processing apparatus via the transmission line via the wireless transmission line. Then, the retransmission section for resending the transmitted video is set.
  • the program of one aspect of the present technology retransmits the transmitted image based on the quality of the section image which is the image of each section of the transmitted image which is the image transmitted by the transmission line via the wireless transmission line and the importance of the scene. Have the computer execute the process of setting the retransmission interval.
  • the transmission video is retransmitted based on the quality of the section video which is the video of each section of the transmission video which is the video transmitted by the transmission line via the wireless transmission line and the importance of the scene.
  • the retransmission section to be performed is set.
  • Adaptive Rate Control is used in which the bit rate to be encoded is changed according to the bandwidth and data is transmitted.
  • a compression method using frame correlation such as AVC (Advanced Video Coding, H.264) or HEVC (Advanced Video Coding, H.265) is used to support high compression coding.
  • AVC Advanced Video Coding, H.264
  • HEVC Advanced Video Coding, H.265
  • FEC forward error correction
  • ARQ Automatic Repeat Request
  • the present technology efficiently improves the quality of the video when the video transmitted by the transmission line whose transmission band fluctuates is reproduced via the wireless transmission line. ..
  • Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 6.
  • FIG. 1 is a block diagram showing an embodiment of a live video production system 101 to which the present technology is applied.
  • the live video production system 101 is a system for producing live video.
  • the live video production system 101 can transmit the captured video in substantially real time and replay the recorded video.
  • the live video production system 101 includes a shooting system 111, a playback system 112, and a network 113.
  • the photographing system 111 and the reproduction system 112 are connected to each other via the network 113.
  • the shooting system 111 is a system that performs shooting, streaming transmission of live video obtained by shooting, and retransmission of video recorded with live video.
  • the photographing system 111 includes a camera 131, a storage device 132, and a transmitting device 133.
  • the camera 131 supplies the video signal obtained by taking a picture to the storage device 132 and the transmission device 133.
  • the storage device 132 records the video signal acquired from the camera 131, that is, records.
  • the storage device 132 includes an encoder 151 and a storage module 152.
  • the encoder 151 compresses the video signal acquired from the camera 131 by a predetermined coding method, and supplies the obtained video file and control information including the time information (time code) of the video signal to the storage module 152.
  • the storage module 152 records the video file and control information supplied from the encoder 151.
  • the transmission device 133 is a device that performs streaming transmission and retransmission of a video signal.
  • the transmission device 133 includes an encoder 171 and a transmission module 172.
  • the encoder 171 compresses the video signal acquired from the camera 131 by a predetermined coding method, and supplies the obtained video file to the transmission module 172 together with control information including time information (time code) of the video signal.
  • the encoder 171 of the transmission device 133 Since the encoder 171 of the transmission device 133 generates a video file for streaming transmission (hereinafter, referred to as a streaming transmission video file), for example, an encoding method having a shorter delay time than the encoder 151 of the storage device 132 is adopted. .. On the contrary, since the encoder 151 may have a longer delay time than the encoder 171, a coding method having higher efficiency than the encoder 171 is adopted.
  • the transmission module 172 packetizes the streaming transmission video file and control information supplied from the encoder 171 and transmits the obtained video packet and control packet to the reproduction system 112 via the network 113. As a result, the streaming transmission of the video signal including the live video captured by the camera 131 is performed.
  • this streaming transmission is performed using a transmission line in which the transmission band fluctuates and the communication quality is unstable.
  • the transmission device 133 performs ARC, error correction processing, and the like in order to reduce the transmission error of the video and maintain the quality of the video.
  • the transmission module 172 monitors the status of the network 113 and detects the current transmittable rate.
  • the transmission module 172 calculates the bit rate at which the streaming transmission video file can be transmitted within a certain delay time based on the detected transmittable rate, and gives an instruction of the calculated bit rate to the encoder 151.
  • the encoder 151 compresses the video signal at the instructed bit rate.
  • the transmission module 172 acquires the video file of the designated retransmission section (hereinafter referred to as the retransmission video file) and the corresponding control signal from the storage module 152 in accordance with the instruction from the reproduction system 112.
  • the transmission module 172 transmits the retransmission video file and the control information to the reproduction system 112 via the network 113 or not via the network 113.
  • transmission lines for transmitting the streaming transmission video file and the retransmission video file may be the same or different.
  • the reproduction system 112 reproduces the video signal received from the photographing system 111 and controls the retransmission of the video signal.
  • the reproduction system 112 includes a receiving device 201, a retransmission controller 202, a reproduction controller 203, a replay server 204, and a switcher 205.
  • the receiving device 201 receives and decodes the video packet and the control packet of the streaming video file transmitted from the photographing system 111.
  • the receiving device 201 includes a receiving module 221 and a decoder 222.
  • the receiving module 221 extracts a video file (video coded data) from the video packet acquired from the shooting system 111, and supplies the extracted video file to the decoder 222.
  • the receiving module 221 gives an error correction and a video packet retransmission instruction to the photographing system 111 as necessary, and corrects the error of the video file to the extent possible.
  • the reception module 221 monitors the transmission quality of the transmission line and the quality of the received video packet, and supplies the reception status information indicating the monitored result to the retransmission controller 202 and the reproduction controller 203.
  • the decoder 222 decodes the video file and supplies the obtained video signal (hereinafter referred to as a streaming transmission video signal) to the retransmission controller 202, the replay server 204, and the switcher 205.
  • the retransmission controller 202 acquires scene information indicating the importance of the scene in each section of the video based on the streaming transmission video signal (hereinafter referred to as streaming transmission video) from the outside.
  • the retransmission controller 202 sets the retransmission section of the streaming transmission video based on the reception status information, the scene information, the shooting time of each section of the streaming transmission video, and the like.
  • the retransmission controller 202 generates control information instructing the retransmission of the video in the set retransmission section, and transmits the control information to the photographing system 111 via the network 113.
  • the retransmission controller 202 receives the retransmission video file and control information transmitted from the photographing system 111 according to the retransmission instruction via the network 113 or without the network 113.
  • the retransmission controller 202 supplies the received retransmission video file and control information to the replay server 204.
  • the playback controller 203 controls the playback of the video file (that is, the recorded video) recorded on the replay server 204 in accordance with an instruction from the outside (for example, the operator).
  • the replay server 204 reproduces the video file recorded in the storage module 242 under the control of the playback controller 203.
  • the replay server 204 includes an encoder 241 and a storage module 242, and a decoder 243.
  • the encoder 241 compresses the streaming transmission video signal supplied from the decoder 222 by a predetermined coding method.
  • the encoder 241 supplies the obtained video file (hereinafter, referred to as a streaming recorded video file) to the storage module 242 together with control information including the corresponding time information (time code).
  • the storage module 242 records the streaming recorded video file and control information supplied from the encoder 241. Further, the storage module 242 records the retransmission video file and the control information supplied from the retransmission controller 202.
  • the decoder 243 acquires the video file of the instructed reproduction section from the storage module 242 according to the instruction from the reproduction controller 203, and decodes the acquired video file.
  • the decoder 243 acquires the retransmission video file from the storage module 242 in the section where the retransmission video file exists, and decodes the retransmission video file.
  • the decoder 243 acquires the streaming recorded video file from the storage module 242 and decodes the streaming recorded video file in the section where the retransmission video file does not exist.
  • the decoder 243 supplies the video signal (hereinafter, referred to as a recorded video signal) obtained by decoding the retransmission video file or the streaming recorded video file to the switcher 205.
  • the switcher 205 switches the video signal to be output (for example, broadcast or distributed) to the subsequent stage from the streaming transmission video signal, the recorded video signal, and the video signal supplied from another device (not shown). Further, the switcher 205 performs processing such as effects and caption multiplexing on the video signal as needed.
  • This process is started, for example, when the transmission of the streaming transmission video file is started, and ends when the transmission of the streaming transmission video file is completed.
  • step S1 the retransmission controller 202 determines whether or not the specified time (for example, 1 second) has elapsed. This process is repeatedly executed at a predetermined timing until it is determined that the specified time has elapsed, and when it is determined that the specified time has elapsed, the process proceeds to step S2.
  • the specified time for example, 1 second
  • step S2 the retransmission controller 202 calculates the image quality level.
  • the retransmission controller 202 acquires the reception status information of the section (hereinafter referred to as the target section) to be determined for retransmission from the reception module 221.
  • the target section is set to, for example, the immediately preceding specified time (for example, the immediately preceding 1 second).
  • the reception status information includes, for example, the encoding bit rate of the video packet received in the target section and the occurrence status of the transmission error in the target section (for example, the number of occurrences of the irreparable transmission error).
  • the retransmission controller 202 detects the quality of the streaming transmission video in the target section. Specifically, the retransmission controller 202 calculates the image quality level obtained by scoring the image quality of the streaming transmission video in the target section. For example, when the retransmission controller 202 does not generate an irreparable transmission error in the target section, the retransmission controller 202 uses the function Function_PictureQuality of the following equation (1) to obtain an image quality based on the encode bit rate bitrate of the video packet in the target section. Calculate the level.
  • Image quality level Function_PictureQuality (bitrate) ... (1)
  • the image quality level of the equation (1) increases as the encoding bit rate increases, that is, as the image quality of the video in the target section improves.
  • the image quality level of the equation (1) becomes lower as the encoding bit rate becomes smaller, that is, as the image quality of the video in the target section deteriorates.
  • the retransmission controller 202 uses the function Function_PictureQuality of the following equation (2) based on the number of occurrences of the irreparable transmission error in the target section, number_of_error. Calculate the image quality level.
  • Image quality level Function_PictureQuality (number_of_error) ... (2)
  • the image quality level of the equation (2) becomes lower as the number of occurrences of irreparable transmission errors increases, that is, as the transmission quality of the video packet transmission line in the target section deteriorates.
  • the image quality level of the equation (2) becomes higher as the number of occurrences of the irreparable transmission error decreases, that is, as the transmission quality of the video packet transmission line in the target section improves.
  • the image quality level is basically when the irreparable transmission error does not occur (that is, the image quality level of the equation (1)) occurs (that is, the image quality level of the equation (2)). Better value (higher).
  • step S3 the retransmission controller 202 calculates the scene importance.
  • the retransmission controller 202 acquires scene information from the outside for setting the importance of the scene of the video of the target section.
  • the scene information includes, for example, a tag indicating the type of the scene of the video of the target section, and a tag correlation score indicating the correlation between the type of the scene corresponding to the tag and the video of the target section.
  • the types of scenes are classified in advance into goal scenes, shoot scenes, foul scenes, and the like.
  • the tags corresponding to each scene and the tag importance for each tag are set in advance.
  • the tag importance indicates the importance of the type of scene associated with each tag. For example, the tag importance of the goal scene or the shoot scene is set higher than the tag importance of other scenes.
  • the tag correlation score is, for example, the higher the correlation between the type of scene corresponding to the tag assigned to the video of the target section (that is, the type of scene estimated to correspond to the video of the target section) and the video of the target section. ,growing. That is, the tag correlation score increases as the reliability of the estimation result of the scene type of the video in the target section increases. On the other hand, the tag correlation score becomes smaller as the correlation between the scene type corresponding to the tag assigned to the video of the target section and the video of the target section becomes lower, for example. That is, the tag correlation score becomes smaller as the reliability of the estimation result of the scene type of the video of the target section becomes lower.
  • the scene information includes, for example, at least one of scene information based on the streaming transmission video and scene information based on other than the streaming transmission video.
  • the scene information based on the streaming transmission video includes, for example, a tag and a tag correlation score obtained by performing image analysis (for example, scene analysis) of the streaming transmission video (video taken by the camera 131) of the target section.
  • the scene information based on other than the streaming transmission video is, for example, a tag and a tag correlation score obtained by performing image analysis (for example, scene analysis) of a video taken by a camera different from the camera 131 in the target section, or Includes tags and tag correlation scores obtained by human analysis.
  • This scene information is used on the assumption that the image of the streaming transmission video is broken due to, for example, a decrease in the transmission band or a transmission error, and the scene information based on the streaming transmission video cannot be obtained.
  • the retransmission controller 202 obtains the tag and the tag correlation score of the video of the target section based on the acquired scene information. Further, the retransmission controller 202 obtains the tag importance of the obtained tag.
  • the retransmission controller 202 calculates the scene importance scored based on the tag importance and the tag correlation score by using the function Function_Importance of the following equation (3).
  • Scene importance Function_Importance (tag importance, tag correlation score) ...
  • the scene importance increases as the tag importance of the video of the target section increases, that is, the importance of the scene of the video of the target section increases.
  • the scene importance becomes lower as the tag importance of the video of the target section becomes lower, that is, the importance of the scene of the video of the target section becomes lower.
  • the importance of the scene increases as the tag correlation score of the video of the target section increases, that is, as the reliability of the estimation result of the scene type of the video of the target section increases.
  • the scene importance becomes lower as the tag correlation score of the video in the target section becomes smaller, that is, as the reliability of the estimation result of the scene type of the video in the target section becomes lower.
  • step S4 the retransmission controller 202 calculates the necessity of retransmission.
  • the retransmission controller 202 uses the function Function_demand of the following equation (4) to score the retransmission necessity of the video of the target section based on the image quality level and the scene importance score. calculate.
  • Resend necessity Function_demand (image quality level, scene importance) ... (4)
  • the need for retransmission increases as the image quality level decreases, that is, as the image quality of the video in the retransmission section deteriorates.
  • the necessity of retransmission decreases as the image quality level increases, that is, as the image quality of the video in the retransmission section improves.
  • the necessity of retransmission increases as the importance of the scene increases, that is, as the importance of the scene of the video in the retransmission section increases.
  • the necessity of retransmission becomes lower as the importance of the scene becomes lower, that is, as the importance of the scene of the video in the retransmission section becomes lower.
  • step S5 the retransmission controller 202 determines whether or not retransmission is necessary. When the retransmission necessity is equal to or higher than a predetermined threshold value, the retransmission controller 202 determines that retransmission is necessary, and the process proceeds to step S6.
  • step S6 the retransmission controller 202 registers the retransmission candidates. Specifically, the retransmission controller 202 generates retransmission candidate data including the target section and the need for retransmission, and stores the data in the retransmission candidate queue.
  • step S1 After that, the process returns to step S1, and the processes after step S1 are executed.
  • step S5 when the retransmission necessity is less than a predetermined threshold value, the retransmission controller 202 determines that retransmission is not necessary, and the process returns to step S1. After that, the processes after step S1 are executed.
  • This process is started, for example, when the transmission of the streaming transmission video file is started.
  • step S51 the retransmission controller 202 determines whether or not retransmission candidates remain.
  • the retransmission controller 202 determines that the retransmission candidates remain, and the process proceeds to step S52.
  • step S52 the retransmission controller 202 sets the retransmission section. Specifically, the retransmission controller 202 calculates the retransmission priority of each retransmission candidate based on each retransmission candidate data stored in the retransmission candidate queue by using the function Function_priority of the following equation (5).
  • Resend priority Function_priority (retransmission necessity, elapsed time from shooting time) ... (5)
  • the retransmission necessity included in each retransmission candidate data is used as the retransmission necessity of the equation (5).
  • the elapsed time from the shooting time of the equation (5) the elapsed time from the retransmission candidate section ( ⁇ shooting time) included in each retransmission candidate data is used.
  • the retransmission priority becomes higher as the necessity of retransmission increases, that is, as the necessity of resending the retransmission candidate increases.
  • the retransmission priority becomes lower as the necessity of retransmission becomes lower, that is, as the necessity of resending the retransmission candidate becomes lower.
  • the retransmission priority becomes higher as the elapsed time from the shooting time of the retransmission candidate becomes shorter, and becomes lower as the elapsed time from the shooting time of the retransmission candidate becomes longer. This is because it is assumed that the shorter the elapsed time from the shooting time, the higher the possibility of replay.
  • the retransmission priority is not simply lowered, but the retransmission priority of the retransmission candidate whose elapsed time from the shooting time is more than a predetermined time is increased, for example. You may do so. Thereby, for example, it is possible to prevent the retransmission candidates that missed the retransmission timing from being retransmitted because many retransmission candidates are accumulated in the retransmission candidate queue.
  • the retransmission controller 202 sets the interval corresponding to the retransmission candidate having the highest retransmission priority as the retransmission interval. For example, when there are retransmission candidates that are continuous in time before or after the retransmission candidate having the highest retransmission priority, the section in which the retransmission candidates are put together may be set as the retransmission section.
  • step S53 the retransmission controller 202 requests the retransmission of the video file. Specifically, the retransmission controller 202 generates control information (hereinafter, referred to as retransmission request information) for requesting retransmission of the video file in the set retransmission section. The retransmission controller 202 transmits the retransmission request information to the transmission device 133, which is the transmission source of the streaming transmission video file, via the network 113.
  • control information hereinafter, referred to as retransmission request information
  • the transmission device 133 transmits the video file of the retransmission section (retransmission video file) and the control information including the time information of the retransmission video file to the retransmission controller 202, as will be described later.
  • step S54 the retransmission controller 202 receives the retransmission video file. More specifically, the retransmission controller 202 receives the retransmission video file and control information transmitted from the transmission device 133.
  • step S55 the retransmission controller 202 records the retransmission video file. That is, the retransmission controller 202 supplies the received retransmission video file and control information to the storage module 242 for recording. Further, the retransmission controller 202 deletes the retransmission candidate data corresponding to the received retransmission video file from the retransmission candidate queue.
  • step S51 when the retransmission candidate data is not accumulated in the retransmission candidate queue, the retransmission controller 202 determines that there are no retransmission candidates remaining, skips the processes of steps S52 to S55, and processes in step S56. Proceed to.
  • step S56 the retransmission controller 202 determines whether or not to terminate the retransmission function. If it is determined that the retransmission function is not terminated, the process returns to step S51.
  • step S56 the processes of steps S51 to S56 are repeatedly executed until it is determined that the retransmission function is terminated.
  • step S56 the retransmission controller 202 determines that the retransmission function is terminated when, for example, an instruction to end the retransmission function is input from the outside, and the retransmission video file acquisition process ends.
  • This process starts when, for example, the shooting system 111 is started, and ends when the shooting system 111 is stopped.
  • step S101 the transmission module 172 determines whether or not the video file is requested to be resent. When the transmission module 172 has not received the retransmission request information, the transmission module 172 determines that the retransmission of the video file is not requested. After that, the determination process of step S101 is repeatedly executed at a predetermined timing until it is determined that the resending of the video file is requested.
  • step S101 when the transmission module 172 receives the retransmission request information transmitted from the retransmission controller 202 in the process of step S53 of FIG. 3, it determines that the retransmission of the video file has been requested, and the process proceeds to step S102. move on.
  • the transmission module 172 generates a retransmission video file. Specifically, the transmission module 172 generates a retransmission video file by extracting the video file of the instructed retransmission section from the video file recorded in the storage module 152. Further, the transmission module 172 generates control information including the time information of the generated retransmission video file. The storage module 152 supplies the generated retransmission video file and control information to the transmission module 172.
  • step S103 the transmission module 172 determines whether or not to transmit the retransmitted video file on the same transmission line as the streaming transmission. Whether or not the transmission module 172 transmits the retransmission video file on the same transmission path as the video packet (streaming transmission video file) based on, for example, the transmission frequency of the retransmission video file, the carrier used for transmitting the retransmission video file, and the like. Is determined. If it is determined that the retransmitted video file is transmitted on the same transmission line as the streaming transmission, the process proceeds to step S104.
  • step S104 the transmission module 172 transmits the retransmitted video file so as not to interfere with the streaming transmission.
  • the transmission module 172 sets the transmission rate (hereinafter, referred to as the retransmission rate) of the retransmission video file so as to satisfy the condition of the following equation (6).
  • the transmittable rate is the maximum value of the transmission rate in the transmission line where the streaming transmission video file is transmitted.
  • the minimum streaming rate is, for example, the minimum transmission rate required for transmission of a streaming transmission video file.
  • the minimum rate is a transmission rate required to maintain the quality of the video transmitted by streaming transmission above a predetermined level, and is set in advance.
  • the transmission module 172 transmits the retransmission video file and the control information to the retransmission controller 202 at the set retransmission rate via the network 113.
  • the transmission module 172 may, for example, wait or divide and transmit the retransmission video file according to the retransmission rate.
  • step S101 After that, the process returns to step S101, and the processes after step S101 are executed.
  • step S103 if it is determined in step S103 that the retransmission video file is transmitted on a transmission line different from the streaming transmission, the process proceeds to step S105.
  • the transmission of the streaming transmission video file is performed by 5G
  • the transmission of the retransmission video file is performed by millimeter wave transmission other than 5G.
  • the transmission module 172 transmits the retransmitted video file at the fastest possible speed. For example, the transmission module 172 sets the retransmission rate to the maximum transmission rate currently available in the transmission line for transmitting the retransmission video file. The transmission module 172 transmits the retransmission video file and the control information to the retransmission controller 202 at the set retransmission rate.
  • step S101 After that, the process returns to step S101, and the processes after step S101 are executed.
  • the streaming recorded video file in the section from time ts to time te is recorded in the storage module 242. Further, the retransmission video file of the section from time t1 to time t2, the section from time t3 to time t4, the section from time t5 to time t6, and the section from time t7 to time t8 is recorded in the storage module 242. ing.
  • This process is started, for example, when an instruction to play (replay) the recorded video is input to the playback controller 203.
  • any section from the time ts to the time te in which the streaming recorded video file exists is designated as the playback section.
  • step S201 the playback controller 203 acquires the file information of the recorded video file. Specifically, the playback controller 203 acquires the file information regarding the retransmission video file recorded in the storage module 242 and the file information regarding the streaming recorded video file. Each file information includes, for example, information indicating a section in which the retransmitted video file exists and a section in which the streaming recorded video file exists.
  • step S202 the playback controller 203 determines whether or not the section includes the retransmission video file.
  • the reproduction of the video file is performed, for example, by dividing the video file into sections of a predetermined unit. Then, the reproduction controller 203 confirms whether or not the retransmission video file of the next reproduction section is recorded in the storage module 242 based on the file information.
  • the reproduction controller 203 determines that the retransmission video file exists in the section, and the process proceeds to step S203.
  • next playback section is any of the section from time t1 to time t2, the section from time t3 to time t4, the section from time t5 to time t6, and the section from time t7 to time t8 in FIG. If it is included in, the process proceeds to step S203.
  • step S203 the reproduction system 112 reproduces the retransmitted video file. Specifically, the reproduction controller 203 instructs the replay server 204 to reproduce the reimage video file in the next reproduction section.
  • the decoder 243 of the replay server 204 acquires the retransmission video file of the next playback section from the storage module 242, and decodes the acquired retransmission video file.
  • the decoder 243 supplies the obtained video signal (recorded video signal) to the switcher 205.
  • the reproduction of the retransmitted video file is prioritized over the streaming recorded video file.
  • the switcher 205 performs processing such as effects and caption multiplexing on the recorded video signal as necessary, and outputs the recorded video signal in the subsequent stage.
  • step S202 if the retransmission video file of the next reproduction section is not recorded in the storage module 242, the playback controller 203 determines that the section does not have the retransmission video file, and the process proceeds to step S204.
  • step S204 the playback system 112 plays the streaming recorded video file. Specifically, the playback controller 203 instructs the replay server 204 to play the streamed recorded video file in the next playback section.
  • the decoder 243 of the replay server 204 acquires the streaming recorded video file of the next playback section from the storage module 242, and decodes the acquired streaming recorded video file.
  • the decoder 243 supplies the obtained video signal (recorded video signal) to the switcher 205.
  • the switcher 205 performs processing such as effects and caption multiplexing on the recorded video signal as necessary, and outputs the recorded video signal in the subsequent stage.
  • the playback controller 203 enhances the consistency of image quality at the boundary portion (joint) between the video based on the streaming recorded video file (that is, the streaming transmission video) and the video based on the retransmission video file (hereinafter referred to as the retransmission video). At least one of the image quality may be adjusted so as to (for example, match the resolution and the like).
  • the retransmitted video usually has better image quality than the streaming transmission video. Therefore, for example, when switching from the streaming transmission video to the retransmission video, the playback controller 203 reduces the image quality (for example, resolution) near the beginning of the retransmission video to the image quality of the streaming transmission video when decoding the retransmission video file. Instruct the replay server 204. Similarly, when switching from the retransmission video to the streaming transmission video, the playback controller 203 instructs the replay server 204 to lower the image quality near the end of the retransmission video to the image quality of the streaming transmission video when decoding the retransmission video file. ..
  • step S205 the reproduction controller 203 determines whether or not the reproduction of the designated section is completed. If it is determined that the reproduction of the video in the designated section has not been completed, the process returns to step S202.
  • step S205 the processes of steps S202 to S205 are repeatedly executed until it is determined that the reproduction of the designated section is completed.
  • step S205 if it is determined in step S205 that the reproduction of the video in the designated section is completed, the reproduction process ends.
  • the quality of the video can be efficiently improved.
  • the retransmission priority is set based on the quality of the stream-transmitted video, the importance of the scene, and the shooting time, and the video in the section having the high retransmission priority is preferentially resent. Therefore, when the video is replayed, the video required to maintain the image quality is preferentially retransmitted, and the retransmission of other videos is suppressed. As a result, the amount of data of the retransmitted video can be efficiently suppressed. In addition, the image quality of the replayed video can be improved regardless of the state of the transmission line.
  • FIG. 1 shows an example in which only one camera 131 is installed, it is possible to install a plurality of cameras. Even when a plurality of cameras are provided, it is possible to calculate the retransmission priority of each section of each video captured by each camera and perform retransmission control by the same processing. Further, when a plurality of cameras are provided, for example, it is possible to use the shooting range, position, etc. of each camera for calculating the importance of the scene. For example, the importance of the scene to the image of the goal scene may be set higher as the image is taken by the camera installed at a position closer to the goal.
  • the configuration of the live video production system 101 shown in FIG. 1 is an example thereof, and can be changed as needed.
  • some of the devices of the reproduction system 112 can be combined into one, or conversely, it can be divided into a plurality of devices.
  • the retransmission controller 202 has a plurality of retransmission candidate video files. You may request the transmission of all at once.
  • the transmission module 172 controls the transmission order of the video files of each retransmission candidate according to the priority order.
  • the reproduction system 112 transmits information necessary for setting the retransmission candidate and calculating the retransmission priority to the photographing system 111, and the photographing system 111 sets the retransmission candidate, calculates the retransmission priority, and each of them.
  • the transmission of the video file of the resend candidate may be controlled.
  • the reproduction system 112 adjusts the image quality of the boundary portion between the streaming transmission video and the retransmission video
  • the photographing system 111 can also adjust the image quality.
  • the photographing system 111 may encode the beginning portion and the ending portion of the retransmission video according to the image quality (for example, resolution) of the previously transmitted streaming transmission video.
  • the streaming transmission video is divided into sections at predetermined time intervals to detect retransmission candidates, but the unit for dividing the streaming transmission video can be arbitrarily changed. It is possible.
  • the streaming transmission video may be divided for each scene, or may be divided into sections based on the unit for encoding.
  • a classifier obtained by machine learning such as deep learning may be used for the retransmission candidate detection process of FIG. 2 and the retransmission section setting process of FIG.
  • a classifier that detects retransmission candidates and sets a retransmission section by using reception status information and scene information as input information.
  • a classifier that detects a retransmission candidate and sets a retransmission section by using a streaming transmission video file as input information.
  • this technology can also be applied to a case where a captured live video is transmitted in substantially real time by using a transmission line whose transmission band fluctuates by a method other than streaming transmission, for example.
  • the present technology can be applied not only during the transmission of the streaming transmission video (that is, during the transmission of the live video) but also when the video is resent after the transmission of the streaming transmission video is completed.
  • the present technology is also applied to, for example, a case where the playback system 112 does not immediately transmit the streaming transmission video (for example, does not broadcast or distribute the live video), but once records and then plays the video. Is possible.
  • FIG. 7 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a retransmission section for retransmitting the transmitted video is set based on the quality of the section video which is the video of each section of the transmission video which is the video transmitted by the first transmission line via the wireless transmission line and the importance of the scene.
  • An information processing device including a retransmission control unit.
  • the retransmission control unit further sets the retransmission section based on the elapsed time from the shooting time of each of the section images.
  • the retransmission control unit controls acquisition of the retransmission video, which is the video of the retransmission section, from the transmission source of the transmission video.
  • the transmitted video is transmitted using the first transmission path during transmission of the transmitted video, the transmitted video is transmitted so as not to interfere with the transmission of the transmitted video, and is different from the first transmission line.
  • the information processing apparatus according to (9) above which is transmitted at the fastest possible speed when transmitted using a transmission path.
  • the retransmission video is a video compressed by a coding method that is more efficient than the transmission video.
  • the retransmission control unit detects the quality of the section video based on the encoding bit rate of each section video and the occurrence status of a transmission error.
  • the importance of the scene of the section video is set based on the type of the scene of the section video and the degree of correlation between the section video and the type of the scene, any of the above (1) to (12).
  • the information processing device described in. (14) The information processing device according to any one of (1) to (13), wherein the transmitted video is streamed and transmitted by the first transmission line.
  • Information processing device Information processing that sets the retransmission section for retransmitting the transmitted video based on the quality of the section video, which is the video of each section of the transmitted video, which is the video transmitted by the transmission line via the wireless transmission line, and the importance of the scene.
  • 101 live video production system 111 shooting system, 112 playback system, 113 network, 131 camera, 132 storage device, 133 transmitter, 151 encoder, 152 storage module, 171 encoder, 172 transmitter module, 201 receiver, 202 retransmission controller, 203 playback controller, 204 replay server, 205 switcher, 221 receiving module, 222 decoder, 241 encoder, 242 storage module, 243 decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、無線伝送路を介する伝送路により伝送される映像を記録して再生する場合に、映像の品質を効率的に向上させることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 情報処理装置は、無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する再送制御部を備える。本技術は、例えば、ライブ映像の制作システムに適用できる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、無線伝送路を介する伝送路により映像を伝送する場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。
　従来、伝送路品質が変化する伝送路を用いて伝送されたビデオデータを受信側で一旦記録し、高画質で再生・表示する場合に、送信側が、受信側の要求に従って、送信時に廃棄又はパケットロスにより削除されたビデオデータを送信することが提案されている（例えば、特許文献１参照）。
特開２００１－１６５８５号公報
　しかしながら、特許文献１に記載の技術では、送信時に削除されたビデオデータが全て送信されるため、例えば、高画質で再生する必要性が低い区間のビデオデータまで送信されてしまう。
　本技術は、このような状況に鑑みてなされたものであり、無線伝送路を介する伝送路により伝送される映像を再生する場合に、映像の品質を効率的に向上させるようにするものである。
　本技術の一側面の情報処理装置は、無線伝送路を介する第１の伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する再送制御部を備える。
　本技術の一側面の情報処理方法は、情報処理装置が、無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する。
　本技術の一側面のプログラムは、無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する処理をコンピュータに実行させる。
　本技術の一側面においては、無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間が設定される。
本技術を適用したライブ映像制作システムの構成例を示すブロック図である。 再送候補検出処理を説明するためのフローチャートである。 再送映像ファイル取得処理を説明するためのフローチャートである。 映像ファイル再送処理を説明するためのフローチャートである。 再生処理を説明するためのフローチャートである。 映像ファイルの例を示す図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の背景
　２．実施の形態
　３．変形例
　４．その他
　＜＜１．本技術の背景＞＞
　従来、ライブ映像の制作を行う場合、カメラで撮影した映像を、専用の配線を用いてスイッチャ等の放送映像制作機器まで伝送し、放送映像制作機器で送出する映像を切り替えたり、キャプションを入れたりする等の処理が行われていた。
　一方、近年、第５世代移動通信システム（５Ｇ）に代表される通信技術の進歩により、大容量、低遅延の無線通信が実現されつつある。これにより、従来のように専用の配線を用いて映像を伝送する代わりに、無線による低遅延なビデオストリーミングで映像を伝送することが可能になる。その結果、機動性が高く、低コストの映像制作が可能になる。
　ただし、従来の通信品質の保証された専用配線と異なり、通信品質が不安定なネットワークでは、伝送帯域の変動や伝送エラーが発生する。このような状況下で安定した映像伝送を行うため、例えば、以下のような技術が用いられる。
　例えば、伝送帯域の変動対策として、帯域幅に応じてエンコードするビットレートを変更し、データを伝送するAdaptive Rate Control（ＡＲＣ）が用いられる。例えば、伝送帯域の変動対策として、高圧縮の符号化に対応するため、ＡＶＣ（Advanced Video Coding，Ｈ．２６４）やＨＥＶＣ（Advanced Video Coding，Ｈ．２６５）等のフレーム相関を利用した圧縮方式が用いられる。例えば、伝送エラーの変動対策として、前方誤り訂正（ＦＥＣ（forward error correction））や自動再送要求（ＡＲＱ（Automatic Repeat Request））等の誤り訂正処理が用いられる。
　しかしながら、このような技術を用いたとしても、映像制作用途として十分な品質の映像が得られない場合がある。例えば、伝送帯域の変動（縮小）により引き起こされたエンコードビットレートの低下による画質劣化や、訂正不能なレベルの伝送エラーによる画の破綻、フリーズ、劣化等が発生する場合がある。一方、リアルタイム伝送では、伝送遅延を一定以下に保つ必要があり、エラーパケットの再送には限界があるため、エラー修復が不可能な場合が生じる。この問題は、ライブ性を高めるために、伝送遅延を短くするとより顕著になる。
　また、ライブ映像制作の１つのパターンとして、重要なシーン（例えば、ゴールシーン、ファウルシーン等）をリプレイする場合がある。これは、ライブ映像を記録しておき、選択した区間の映像を再生することで実現される。一方、リプレイで使用される映像は、重要なシーンを含むため、繰り返し再生されることが多く、また、画質劣化が目立ちやすいスロー再生等で使用されることも多い。そのため、リプレイで使用される映像は、高画質であることが望まれる。
　これに対して、本技術は、後述するように、無線伝送路を介し、伝送帯域が変動する伝送路により伝送される映像を再生する場合に、映像の品質を効率的に向上させるものである。
　＜＜２．実施の形態＞＞
　図１乃至図６を参照して、本技術の実施の形態について説明する。
　　＜ライブ映像制作システム１０１の構成例＞
　図１は、本技術を適用したライブ映像制作システム１０１の一実施の形態を示すブロック図である。
　ライブ映像制作システム１０１は、ライブ映像の制作を行うシステムである。例えば、ライブ映像制作システム１０１は、撮影した映像を略リアルタイムに送出するとともに、記録した映像をリプレイすることが可能である。ライブ映像制作システム１０１は、撮影システム１１１、再生システム１１２、及び、ネットワーク１１３を備える。撮影システム１１１と再生システム１１２とは、ネットワーク１１３を介して相互に接続されている。
　撮影システム１１１は、撮影、撮影により得られたライブ映像のストリーミング伝送、及び、ライブ映像を記録した映像の再送を行うシステムである。撮影システム１１１は、カメラ１３１、記憶装置１３２、及び、送信装置１３３を備える。
　カメラ１３１は、撮影することにより得られた映像信号を記憶装置１３２及び送信装置１３３に供給する。
　記憶装置１３２は、カメラ１３１から取得した映像信号の記録、すなわち、録画を行う。記憶装置１３２は、エンコーダ１５１及び記憶モジュール１５２を備える。
　エンコーダ１５１は、カメラ１３１から取得した映像信号を所定の符号化方式により圧縮し、得られた映像ファイル、及び、映像信号の時刻情報（タイムコード）を含む制御情報を記憶モジュール１５２に供給する。
　記憶モジュール１５２は、エンコーダ１５１から供給される映像ファイル及び制御情報を記録する。
　送信装置１３３は、映像信号のストリーミング伝送及び再送を行う装置である。送信装置１３３は、エンコーダ１７１及び送信モジュール１７２を備える。
　エンコーダ１７１は、カメラ１３１から取得した映像信号を所定の符号化方式により圧縮し、得られた映像ファイルを、映像信号の時刻情報（タイムコード）を含む制御情報とともに送信モジュール１７２に供給する。
　なお、送信装置１３３のエンコーダ１７１は、ストリーミング伝送用の映像ファイル（以下、ストリーミング伝送映像ファイルと称する）を生成するため、例えば、記憶装置１３２のエンコーダ１５１より遅延時間の短い符号化方式を採用する。逆に、エンコーダ１５１は、エンコーダ１７１より遅延時間が長くなってもよいため、エンコーダ１７１より高効率の符号化方式を採用する。
　送信モジュール１７２は、エンコーダ１７１から供給されるストリーミング伝送映像ファイル及び制御情報をパケット化し、得られた映像パケット及び制御パケットを、ネットワーク１１３を介して、再生システム１１２に送信する。これにより、カメラ１３１により撮影されたライブ映像を含む映像信号のストリーミング伝送が行われる。
　なお、このストリーミング伝送は、伝送帯域が変動する通信品質が不安定な伝送路を用いて行われる。これに対して、送信装置１３３は、映像の伝送エラーを少なくしたり、映像の品質を維持したりするために、ＡＲＣや誤り訂正処理等を行う。例えば、送信モジュール１７２は、ネットワーク１１３の状態を監視し、現在の伝送可能レートを検出する。送信モジュール１７２は、検出した伝送可能レートに基づいて、ストリーミング伝送映像ファイルを一定の遅延時間内に送信可能なビットレートを算出し、算出したビットレートの指示をエンコーダ１５１に与える。エンコーダ１５１は、指示されたビットレートで映像信号の圧縮を行う。
　また、送信モジュール１７２は、再生システム１１２からの指示に従って、指定された再送区間の映像ファイル（以下、再送映像ファイルと称する）、及び、対応する制御信号を記憶モジュール１５２から取得する。送信モジュール１７２は、再送映像ファイル及び制御情報を、ネットワーク１１３を介して、或いは、ネットワーク１１３を介さずに、再生システム１１２に送信する。
　なお、ストリーミング伝送映像ファイルと再送映像ファイルを伝送する伝送路は、同じでもよいし、異なっていてもよい。
　再生システム１１２は、撮影システム１１１から受信した映像信号の再生、及び、映像信号の再送制御を行う。再生システム１１２は、受信装置２０１、再送コントローラ２０２、再生コントローラ２０３、リプレイサーバ２０４、及び、スイッチャ２０５を備える。
　受信装置２０１は、撮影システム１１１から送信されてくるストリーミング映像ファイルの映像パケット及び制御パケットを受信し、復号する処理を行う。受信装置２０１は、受信モジュール２２１及びデコーダ２２２を備える。
　受信モジュール２２１は、撮影システム１１１から取得した映像パケットから映像ファイル（映像符号化データ）を抽出し、抽出した映像ファイルをデコーダ２２２に供給する。ここで、受信モジュール２２１は、必要に応じて、エラー訂正や、映像パケットの再送指示を撮影システム１１１に行い、可能な範囲で、映像ファイルのエラー訂正を行う。また、受信モジュール２２１は、伝送路の伝送品質、及び、受信した映像パケットの品質を監視し、監視した結果を示す受信状態情報を再送コントローラ２０２及び再生コントローラ２０３に供給する。
　デコーダ２２２は、映像ファイルの復号を行い、得られた映像信号（以下、ストリーミング伝送映像信号と称する）を再送コントローラ２０２、リプレイサーバ２０４、及び、スイッチャ２０５に供給する。
　再送コントローラ２０２は、ストリーミング伝送映像信号に基づく映像（以下、ストリーミング伝送映像と称する）を分割した各区間のシーンの重要度等を示すシーン情報を外部から取得する。再送コントローラ２０２は、受信状態情報、シーン情報、及び、ストリーミング伝送映像の各区間の撮影時刻等に基づいて、ストリーミング伝送映像の再送区間を設定する。再送コントローラ２０２は、設定した再送区間の映像の再送を指示する制御情報を生成し、ネットワーク１１３を介して、撮影システム１１１に送信する。
　また、再送コントローラ２０２は、再送の指示に従って撮影システム１１１から送信された再送映像ファイル及び制御情報を、ネットワーク１１３を介して、又は、ネットワーク１１３を介さずに、受信する。再送コントローラ２０２は、受信した再送映像ファイル及び制御情報を、リプレイサーバ２０４に供給する。
　再生コントローラ２０３は、外部（例えば、オペレータ）からの指示に従って、リプレイサーバ２０４に記録されている映像ファイル（すなわち、録画されている映像）の再生の制御を行う。
　リプレイサーバ２０４は、再生コントローラ２０３の制御の下に、記憶モジュール２４２に記録されている映像ファイルの再生を行う。リプレイサーバ２０４は、エンコーダ２４１、記憶モジュール２４２、及び、デコーダ２４３を備える。
　エンコーダ２４１は、デコーダ２２２から供給されるストリーミング伝送映像信号を所定の符号化方式で圧縮する。エンコーダ２４１は、得られた映像ファイル（以下、ストリーミング録画映像ファイルと称する）を、対応する時刻情報（タイムコード）を含む制御情報とともに記憶モジュール２４２に供給する。
　記憶モジュール２４２は、エンコーダ２４１から供給されるストリーミング録画映像ファイル及び制御情報を記録する。また、記憶モジュール２４２は、再送コントローラ２０２から供給される再送映像ファイル及び制御情報を記録する。
　デコーダ２４３は、再生コントローラ２０３からの指示に従って、指示された再生区間の映像ファイルを記憶モジュール２４２から取得し、取得した映像ファイルの復号を行う。ここで、デコーダ２４３は、再送映像ファイルが存在する区間においては、再送映像ファイルを記憶モジュール２４２から取得し、再送映像ファイルの復号を行う。一方、デコーダ２４３は、再送映像ファイルが存在しない区間においては、ストリーミング録画映像ファイルを記憶モジュール２４２から取得し、ストリーミング録画映像ファイルの復号を行う。デコーダ２４３は、再送映像ファイル又はストリーミング録画映像ファイルを復号することにより得られた映像信号（以下、録画映像信号と称する）をスイッチャ２０５に供給する。
　スイッチャ２０５は、ストリーミング伝送映像信号、録画映像信号、及び、図示せぬ他の機器から供給される映像信号の中から後段に出力する（例えば、放送又は配信等する）映像信号の切替えを行う。また、スイッチャ２０５は、必要に応じて、エフェクト、キャプション多重等の処理を映像信号に対して行う。
　　＜ライブ映像制作システム１０１の処理＞
　次に、図２乃至図６を参照して、ライブ映像制作システム１０１の処理について説明する。
　　　＜再送候補検出処理＞
　まず、図２のフローチャートを参照して、再送コントローラ２０２により実行される再送候補検出処理について説明する。
　この処理は、例えば、ストリーミング伝送映像ファイルの伝送が開始されたとき開始され、ストリーミング伝送映像ファイルの伝送が終了したとき終了する。
　ステップＳ１において、再送コントローラ２０２は、規定時間（例えば、１秒間）が経過したか否かを判定する。この処理は、規定時間が経過したと判定されるまで、所定のタイミングで繰り返し実行され、規定時間が経過したと判定された場合、処理はステップＳ２に進む。
　ステップＳ２において、再送コントローラ２０２は、画質レベルを算出する。
　具体的には、再送コントローラ２０２は、再送の判定の対象となる区間（以下、対象区間と称する）の受信状態情報を受信モジュール２２１から取得する。対象区間は、例えば、直前の規定時間（例えば、直前の１秒間）に設定される。受信状態情報は、例えば、対象区間内に受信した映像パケットのエンコードビットレート、及び、対象区間内の伝送エラーの発生状況（例えば、修復不能伝送エラーの発生回数）を含む。
　次に、再送コントローラ２０２は、対象区間のストリーミング伝送映像の品質を検出する。具体的には、再送コントローラ２０２は、対象区間のストリーミング伝送映像の画質をスコア化した画質レベルを算出する。例えば、再送コントローラ２０２は、対象区間内に修復不能伝送エラーが発生していない場合、次式（１）の関数Function_PictureQualityを用いて、対象区間内の映像パケットのエンコードビットレートbitrateに基づいて、画質レベルを算出する。
画質レベル＝Function_PictureQuality（bitrate）　・・・（１）
　式（１）の画質レベルは、エンコードビットレートが大きくなるほど、すなわち、対象区間の映像の画質が良くなるほど、高くなる。一方、式（１）の画質レベルは、エンコードビットレートが小さくなるほど、すなわち、対象区間の映像の画質が悪くなるほど、低くなる。
　一方、再送コントローラ２０２は、対象区間内に修復不能伝送エラーが発生している場合、次式（２）の関数Function_PictureQualityを用いて、対象区間内の修復不能伝送エラーの発生回数number_of_errorに基づいて、画質レベルを算出する。
画質レベル＝Function_PictureQuality（number_of_error）　・・・（２）
　式（２）の画質レベルは、修復不能伝送エラーの発生回数が多くなるほど、すなわち、対象区間における映像パケットの伝送路の伝送品質が悪くなるほど、低くなる。一方、式（２）の画質レベルは、修復不能伝送エラーの発生回数が少なくなるほど、すなわち、対象区間における映像パケットの伝送路の伝送品質が良くなるほど、高くなる。
　なお、画質レベルは、基本的に修復不能伝送エラーが発生していない場合（すなわち、式（１）の画質レベル）の方が、発生している場合（すなわち、式（２）の画質レベル）より良い値になる（高くなる）。
　ステップＳ３において、再送コントローラ２０２は、シーン重要度を算出する。
　具体的には、再送コントローラ２０２は、対象区間の映像のシーンの重要度を設定するためのシーン情報を外部から取得する。シーン情報は、例えば、対象区間の映像のシーンの種類を示すタグ、及び、当該タグに対応するシーンの種類と対象区間の映像との相関を示すタグ相関スコアを含む。
　例えば、サッカー等のスポーツの試合の映像の撮影及び伝送が行われている場合、ゴールシーン、シュートシーン、ファウルシーン等にシーンの種類が予め分類される。また、各シーンに対応するタグ、及び、各タグに対するタグ重要度が予め設定される。タグ重要度は、各タグに対応付けられているシーンの種類の重要度を示し、例えば、ゴールシーンやシュートシーンのタグ重要度は、他のシーンのタグ重要度より高く設定される。
　タグ相関スコアは、例えば、対象区間の映像に割り当てられたタグに対応するシーンの種類（すなわち、対象区間の映像に該当すると推定されたシーンの種類）と対象区間の映像との相関が高くなるほど、大きくなる。すなわち、タグ相関スコアは、対象区間の映像のシーンの種類の推定結果の信頼度が高くなるほど、大きくなる。一方、タグ相関スコアは、例えば、対象区間の映像に割り当てられたタグに対応するシーンの種類と対象区間の映像との相関が低くなるほど、小さくなる。すなわち、タグ相関スコアは、対象区間の映像のシーンの種類の推定結果の信頼度が低くなるほど、小さくなる。
　また、シーン情報は、例えば、ストリーミング伝送映像に基づくシーン情報、及び、ストリーミング伝送映像以外に基づくシーン情報のうち少なくとも一方を含む。
　ストリーミング伝送映像に基づくシーン情報は、例えば、対象区間のストリーミング伝送映像（カメラ１３１により撮影された映像）の画像解析（例えば、シーン解析）を行うことより得られるタグ及びタグ相関スコアを含む。
　ストリーミング伝送映像以外に基づくシーン情報は、例えば、対象区間内にカメラ１３１とは異なるカメラにより撮影された映像の画像解析（例えば、シーン解析）を行うことにより得られるタグ及びタグ相関スコア、又は、人が解析することにより得られるタグ及びタグ相関スコアを含む。このシーン情報は、例えば、伝送帯域の低下や伝送エラー等により、ストリーミング伝送映像の画が破綻し、ストリーミング伝送映像に基づくシーン情報が得られない場合を想定して用いられる。
　そして、再送コントローラ２０２は、取得したシーン情報に基づいて、対象区間の映像のタグ及びタグ相関スコアを求める。また、再送コントローラ２０２は、求めたタグのタグ重要度を求める。
　次に、再送コントローラ２０２は、次式（３）の関数Function_Importanceを用いて、タグ重要度及びタグ相関スコアに基づいて、シーンの重要度をスコア化したシーン重要度を算出する。
シーン重要度＝Function_Importance（タグ重要度、タグ相関スコア）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　シーン重要度は、対象区間の映像のタグ重要度が高くなるほど、すなわち、対象区間の映像のシーンの重要度が高くなるほど、高くなる。一方、シーン重要度は、対象区間の映像のタグ重要度が低くなるほど、すなわち、対象区間の映像のシーンの重要度が低くなるほど、低くなる。また、シーン重要度は、対象区間の映像のタグ相関スコアが大きくなるほど、すなわち、対象区間の映像のシーンの種類の推定結果の信頼度が高くなるほど、高くなる。一方、シーン重要度は、対象区間の映像のタグ相関スコアが小さくなるほど、すなわち、対象区間の映像のシーンの種類の推定結果の信頼度が低くなるほど、低くなる。
　ステップＳ４において、再送コントローラ２０２は、再送必要度を算出する。
　具体的には、再送コントローラ２０２は、次式（４）の関数Function_demandを用いて、画質レベル及びシーン重要度スコアに基づいて、対象区間の映像の再送の必要度をスコア化した再送必要度を算出する。
再送必要度＝Function_demand（画質レベル、シーン重要度）　・・・（４）
　再送必要度は、画質レベルが低くなるほど、すなわち、再送区間の映像の画質が悪くなるほど、高くなる。一方、再送必要度は、画質レベルが高くなるほど、すなわち、再送区間の映像の画質が良くなるほど、低くなる。また、再送必要度は、シーン重要度が高くなるほど、すなわち、再送区間の映像のシーンの重要度が高くなるほど、高くなる。一方、再送必要度は、シーン重要度が低くなるほど、すなわち、再送区間の映像のシーンの重要度が低くなるほど、低くなる。
　ステップＳ５において、再送コントローラ２０２は、再送が必要であるか否かを判定する。再送コントローラ２０２は、再送必要度が所定の閾値以上である場合、再送が必要であると判定し、処理はステップＳ６に進む。
　ステップＳ６において、再送コントローラ２０２は、再送候補の登録を行う。具体的には、再送コントローラ２０２は、対象区間及び再送必要度を含む再送候補データを生成し、再送候補キューに蓄積する。
　その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
　一方、ステップＳ５において、再送コントローラ２０２は、再送必要度が所定の閾値未満である場合、再送が必要でないと判定し、処理はステップＳ１に戻る。その後、ステップＳ１以降の処理が実行される。
　　　＜再送映像ファイル取得処理＞
　次に、図３のフローチャートを参照して、再送コントローラ２０２により実行される再送映像ファイル取得処理について説明する。
　この処理は、例えば、ストリーミング伝送映像ファイルの伝送が開始されたとき開始される。
　ステップＳ５１において、再送コントローラ２０２は、再送候補が残っているか否かを判定する。再送コントローラ２０２は、再送候補キューに再送候補データが蓄積されている場合、再送候補が残っていると判定し、処理はステップＳ５２に進む。
　ステップＳ５２において、再送コントローラ２０２は、再送区間を設定する。具体的には、再送コントローラ２０２は、次式（５）の関数Function_priorityを用いて、再送候補キューに蓄積されている各再送候補データに基づいて、各再送候補の再送優先度を算出する。
再送優先度＝Function_priority（再送必要度、撮影時刻からの経過時間）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　なお、式（５）の再送必要度には、各再送候補データに含まれる再送必要度が用いられる。式（５）の撮影時刻からの経過時間には、各再送候補データに含まれる再送候補の区間（≒撮影時刻）からの経過時間が用いられる。
　再送優先度は、再送必要度が高くなるほど、すなわち、再送候補を再送する必要度が高くなるほど、高くなる。一方、再送優先度は、再送必要度が低くなるほど、すなわち、再送候補を再送する必要度が低くなるほど、低くなる。
　また、再送優先度は、再送候補の撮影時刻からの経過時間が短いほど、高くなり、再送候補の撮影時刻からの経過時間が長いほど、低くなる。これは、撮影時刻からの経過時間が短いほど、リプレイされる可能性が高いと想定されるためである。
　また、撮影時刻からの経過時間が長くなるに従い、単純に再送優先度を低くするのではなく、例えば、撮影時刻からの経過時間が所定時間以上経過している再送候補の再送優先度を高くするようにしてもよい。これにより、例えば、再送候補キューに多くの再送候補が蓄積されていたため再送タイミングを逃した再送候補が、再送されなくなることを防止することができる。
　再送コントローラ２０２は、最も再送優先度が高い再送候補に対応する区間を再送区間に設定する。なお、例えば、最も再送優先度が高い再送候補の前又は後に時間的に連続する再送候補が存在する場合、それらの再送候補をまとめた区間を再送区間に設定するようにしてもよい。
　ステップＳ５３において、再送コントローラ２０２は、映像ファイルの再送を要求する。具体的には、再送コントローラ２０２は、設定した再送区間の映像ファイルの再送を要求するための制御情報（以下、再送要求情報と称する）を生成する。再送コントローラ２０２は、再送要求情報を、ネットワーク１１３を介して、ストリーミング伝送映像ファイルの送信元である送信装置１３３に送信する。
　これに対して、送信装置１３３は、後述するように、再送区間の映像ファイル（再送映像ファイル）、及び、再送映像ファイルの時刻情報を含む制御情報を再送コントローラ２０２に送信する。
　ステップＳ５４において、再送コントローラ２０２は、再送映像ファイルを受信する。より具体的には、再送コントローラ２０２は、送信装置１３３から送信されてきた再送映像ファイル及び制御情報を受信する。
　ステップＳ５５において、再送コントローラ２０２は、再送映像ファイルを記録する。すなわち、再送コントローラ２０２は、受信した再送映像ファイル及び制御情報を記憶モジュール２４２に供給し、記録させる。また、再送コントローラ２０２は、受信した再送映像ファイルに対応する再送候補データを再送候補キューから削除する。
　その後、処理はステップＳ５６に進む。
　一方、ステップＳ５１において、再送コントローラ２０２は、再送候補キューに再送候補データが蓄積されていない場合、再送候補が残っていないと判定し、ステップＳ５２乃至ステップＳ５５の処理はスキップされ、処理はステップＳ５６に進む。
　ステップＳ５６において、再送コントローラ２０２は、再送機能を終了するか否かを判定する。再送機能を終了しないと判定された場合、処理はステップＳ５１に戻る。
　その後、ステップＳ５６において、再送機能を終了すると判定されるまで、ステップＳ５１乃至ステップＳ５６の処理が繰り返し実行される。
　一方、ステップＳ５６において、再送コントローラ２０２は、例えば、外部から再送機能の終了の指示が入力された場合、再送機能を終了すると判定し、再送映像ファイル取得処理は終了する。
　　　＜映像ファイル再送送信処理＞
　次に、図４のフローチャートを参照して、図３の再送コントローラ２０２による再送映像ファイル取得処理に対応して、撮影システム１１１により実行される映像ファイル再送処理について説明する。
　この処理は、例えば、撮影システム１１１が起動されたとき開始され、撮影システム１１１が停止されたとき終了する。
　ステップＳ１０１において、送信モジュール１７２は、映像ファイルの再送が要求されたか否かを判定する。送信モジュール１７２は、再送要求情報を受信していない場合、映像ファイルの再送が要求されていないと判定する。その後、映像ファイルの再送が要求されたと判定されるまで、所定のタイミングで、ステップＳ１０１の判定処理が繰り返し実行される。
　一方、ステップＳ１０１において、送信モジュール１７２は、図３のステップＳ５３の処理で再送コントローラ２０２から送信された再送要求情報を受信した場合、映像ファイルの再送が要求されたと判定し、処理はステップＳ１０２に進む。
　ステップＳ１０２において、送信モジュール１７２は、再送映像ファイルを生成する。具体的には、送信モジュール１７２は、記憶モジュール１５２に記録されている映像ファイルの中から、指示された再送区間の映像ファイルを抽出することにより、再送映像ファイルを生成する。また、送信モジュール１７２は、生成した再送映像ファイルの時刻情報を含む制御情報を生成する。記憶モジュール１５２は、生成した再送映像ファイル及び制御情報を送信モジュール１７２に供給する。
　ステップＳ１０３において、送信モジュール１７２は、ストリーミング伝送と同じ伝送路で再送映像ファイルを伝送するか否かを判定する。送信モジュール１７２は、例えば、再送映像ファイルの伝送周波数や、再送映像ファイルの送信に用いられるキャリア等に基づいて、映像パケット（ストリーミング伝送映像ファイル）と同じ伝送路で再送映像ファイルを伝送するか否かを判定する。ストリーミング伝送と同じ伝送路で再送映像ファイルを伝送すると判定された場合、処理はステップＳ１０４に進む。
　ステップＳ１０４において、送信モジュール１７２は、ストリーミング伝送を妨げないように再送映像ファイルを送信する。例えば、送信モジュール１７２は、次式（６）の条件を満たすように、再送映像ファイルの送信レート（以下、再送レートと称する）を設定する。
再送レート≦送信可能レート－ストリーミング最低レート　・・・（６）
　ここで、送信可能レートとは、ストリーミング伝送映像ファイルの伝送が行われている伝送路における送信レートの最大値である。また、ストリーミング最低レートとは、例えば、ストリーミング伝送映像ファイルの伝送に必要な送信レートの最小値である。最低レートは、ストリーミング伝送により伝送される映像の品質を所定のレベル以上に維持するために必要な伝送レートであり、予め設定されている。
　送信モジュール１７２は、ネットワーク１１３を介して、設定した再送レートで、再送映像ファイル及び制御情報を再送コントローラ２０２に送信する。
　なお、送信モジュール１７２は、再送レートに応じて、例えば、待機したり、再送映像ファイルを分割して送信したりする。
　その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　一方、ステップＳ１０３において、ストリーミング伝送と異なる伝送路で再送映像ファイルを送信すると判定された場合、処理はステップＳ１０５に進む。
　これは、例えば、ストリーミング伝送映像ファイルの伝送が５Ｇにより行われ、再送映像ファイルの伝送が、５Ｇ以外のミリ波伝送等により行われる場合が想定される。
　ステップＳ１０５において、送信モジュール１７２は、可能な限り速い速度で再送映像ファイルを送信する。例えば、送信モジュール１７２は、再送映像ファイルの送信を行う伝送路において、現時点で利用可能な最大の送信レートに再送レートを設定する。送信モジュール１７２は、設定した再送レートで、再送映像ファイル及び制御情報を再送コントローラ２０２に送信する。
　その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
　　　＜再生処理＞
　次に、図５のフローチャートを参照して、再生システム１１２により実行される再生処理について説明する。
　なお、以下、図６の映像ファイルが記憶モジュール２４２に記録されている場合を適宜例に挙げながら説明する。
　図６の例では、時刻ｔｓから時刻ｔｅまでの区間のストリーミング録画映像ファイルが記憶モジュール２４２に記録されている。また、時刻ｔ１から時刻ｔ２までの区間、時刻ｔ３から時刻ｔ４までの区間、時刻ｔ５から時刻ｔ６までの区間、及び、時刻ｔ７から時刻ｔ８までの区間の再送映像ファイルが記憶モジュール２４２に記録されている。
　この処理は、例えば、記録した映像の再生（リプレイ）の指示が再生コントローラ２０３に入力されたとき開始される。このとき、例えば、ストリーミング録画映像ファイルが存在する時刻ｔｓから時刻ｔｅまでの区間のうちの任意の区間が再生区間として指定される。
　ステップＳ２０１において、再生コントローラ２０３は、記録されている映像ファイルのファイル情報を取得する。具体的には、再生コントローラ２０３は、記憶モジュール２４２に記録されている再送映像ファイルに関するファイル情報、及び、ストリーミング録画映像ファイルに関するファイル情報を取得する。各ファイル情報は、例えば、再送映像ファイルが存在する区間、及び、ストリーミング録画映像ファイルが存在する区間を示す情報を含む。
　ステップＳ２０２において、再生コントローラ２０３は、再送映像ファイルが存在する区間であるか否かを判定する。映像ファイルの再生は、例えば、所定の単位の区間毎に分割して行われる。そして、再生コントローラ２０３は、ファイル情報に基づいて、次の再生区間の再送映像ファイルが記憶モジュール２４２に記録されているか否かを確認する。再生コントローラ２０３は、次の再生区間の再送映像ファイルが記憶モジュール２４２に記録されている場合、再送映像ファイルが存在する区間であると判定し、処理はステップＳ２０３に進む。
　例えば、次の再生区間が、図６の時刻ｔ１から時刻ｔ２までの区間、時刻ｔ３から時刻ｔ４までの区間、時刻ｔ５から時刻ｔ６までの区間、及び、時刻ｔ７から時刻ｔ８までの区間のいずれかに含まれる場合、処理はステップＳ２０３に進む。
　ステップＳ２０３において、再生システム１１２は、再送映像ファイルを再生する。具体的には、再生コントローラ２０３は、次の再生区間において、再像映像ファイルを再生するようにリプレイサーバ２０４に指示する。
　リプレイサーバ２０４のデコーダ２４３は、次の再生区間の再送映像ファイルを記憶モジュール２４２から取得し、取得した再送映像ファイルの復号を行う。デコーダ２４３は、得られた映像信号（録画映像信号）をスイッチャ２０５に供給する。
　このように、再送映像ファイルが存在する区間においては、ストリーミング録画映像ファイルより再送映像ファイルの再生が優先される。
　スイッチャ２０５は、必要に応じて、エフェクト、キャプション多重等の処理を録画映像信号に対して行い、後段に録画映像信号を出力する。
　その後、処理はステップＳ２０５に進む。
　一方、ステップＳ２０２において、再生コントローラ２０３は、次の再生区間の再送映像ファイルが記憶モジュール２４２に記録されていない場合、再送映像ファイルが存在しない区間であると判定し、処理はステップＳ２０４に進む。
　ステップＳ２０４において、再生システム１１２は、ストリーミング録画映像ファイルを再生する。具体的には、再生コントローラ２０３は、次の再生区間において、ストリーミング録画映像ファイルを再生するようにリプレイサーバ２０４に指示する。
　リプレイサーバ２０４のデコーダ２４３は、次の再生区間のストリーミング録画映像ファイルを記憶モジュール２４２から取得し、取得したストリーミング録画映像ファイルの復号を行う。デコーダ２４３は、得られた映像信号（録画映像信号）をスイッチャ２０５に供給する。
　スイッチャ２０５は、必要に応じて、エフェクト、キャプション多重等の処理を録画映像信号に対して行い、後段に録画映像信号を出力する。
　その後、処理はステップＳ２０５に進む。
　なお、再生コントローラ２０３は、ストリーミング録画映像ファイルに基づく映像（すなわち、ストリーミング伝送映像）と再送映像ファイルに基づく映像（以下、再送映像と称する）の境界部分（つなぎ目）において、画質の整合性を高める（例えば、解像度等を合わせる）ように少なくとも一方の画質を調整するようにしてもよい。
　例えば、通常、再送映像の方がストリーミング伝送映像より画質が良い。従って、例えば、再生コントローラ２０３は、ストリーミング伝送映像から再送映像に切り替える場合、再送映像ファイルを復号する際に、再送映像の冒頭付近の画質（例えば、解像度）をストリーミング伝送映像の画質まで下げるようにリプレイサーバ２０４に指示する。同様に、再生コントローラ２０３は、再送映像からストリーミング伝送映像に切り替える場合、再送映像ファイルを復号する際に、再送映像の末尾付近の画質をストリーミング伝送映像の画質まで下げるようにリプレイサーバ２０４に指示する。
　ステップＳ２０５において、再生コントローラ２０３は、指定された区間の再生が終了したか否かを判定する。指定された区間の映像の再生がまだ終了していないと判定された場合、処理はステップＳ２０２に戻る。
　その後、ステップＳ２０５において、指定された区間の再生が終了したと判定されるまで、ステップＳ２０２乃至ステップＳ２０５の処理が繰り返し実行される。
　一方、ステップＳ２０５において、指定された区間の映像の再生が終了したと判定された場合、再生処理は終了する。
　以上のようにして、伝送帯域が変動する伝送路により伝送される映像を再生する場合に、映像の品質を効率的に向上させることができる。
　すなわち、ストリーミング伝送された映像の品質、シーンの重要度、及び、撮影時刻に基づいて、再送優先度が設定され、再送優先度が高い区間の映像が優先的に再送される。従って、映像のリプレイ時に画質を維持するために必要な映像が優先的に再送され、それ以外の映像の再送が抑制される。その結果、再送される映像のデータ量を効率的に抑えることができる。また、伝送路の状態に関わらず、リプレイされる映像の画質を向上させることができる。
　　＜＜３．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　図１では、カメラ１３１が１台のみ設置された例が示されているが、カメラを複数台設けることも可能である。カメラを複数台設けた場合も同様の処理により、各カメラにより撮影された各映像の各区間の再送優先度を算出し、再送制御を行うことが可能である。また、複数のカメラが設けられる場合、例えば、シーン重要度の算出に、各カメラの撮影範囲、位置等を用いることも可能である。例えば、ゴールシーンを撮影した映像に対するシーン重要度を、よりゴールに近い位置に設置されたカメラにより撮影された映像ほど高く設定するようにしてもよい。
　また、図１のライブ映像制作システム１０１の構成は、その一例であり、必要に応じて変更することが可能である。例えば、撮影システム１１１の各装置のいくつかを１つにまとめたり、逆に、複数の装置に分割したりすることが可能である。また、例えば、再生システム１１２の各装置のいくつかを１つにまとめたり、逆に、複数の装置に分割したりすることが可能である。
　さらに、例えば、図３の例では、再送映像ファイルの受信が完了した後に、次の再送候補の映像ファイルの送信を要求する例を示したが、再送コントローラ２０２が、複数の再送候補の映像ファイルの送信をまとめて要求するようにしてもよい。この場合、例えば、送信モジュール１７２が、優先順位に従って、各再送候補の映像ファイルの送信の順番等を制御する。
　また、例えば、再生システム１１２が、再送候補の設定及び再送優先度の算出に必要な情報を撮影システム１１１に送信し、撮影システム１１１が、再送候補を設定し、再送優先度を算出し、各再送候補の映像ファイルの送信を制御するようにしてもよい。
　さらに、以上の説明では、ストリーミング伝送映像と再送映像の境界部分の画質の調整を再生システム１１２が行う例を示したが、撮影システム１１１が行うことも可能である。例えば、撮影システム１１１が、先に送信したストリーミング伝送映像の画質（例えば、解像度）に合わせて、再送映像の冒頭部分及び末尾部分のエンコードを行うようにしてもよい。
　また、以上の説明では、ストリーミング伝送映像を所定の規定時間毎の区間に区分して、再送候補の検出を行う例を示したが、ストリーミング伝送映像を区分する単位は、任意に変更することが可能である。例えば、ストリーミング伝送映像をシーン毎に区分したり、エンコードを行う単位を基準とする区間に区分したりするようにしてもよい。
　さらに、例えば、図２の再送候補検出処理、及び、図３の再送区間の設定処理に、深層学習等の機械学習により得られる分類器を用いてもよい。例えば、受信状態情報及びシーン情報を入力情報として、再送候補の検出及び再送区間の設定を行う分類器を用いることが可能である。また、例えば、ストリーミング伝送映像ファイルを入力情報として、再送候補の検出及び再送区間の設定を行う分類器を用いることが可能である。
　また、本技術は、例えば、ストリーミング伝送以外の方法により、伝送帯域が変動する伝送路を用いて、撮影したライブ映像を略リアルタイムに伝送する場合にも適用することができる。
　さらに、本技術は、例えば、ストリーミング伝送映像の伝送中（すなわち、ライブ映像の伝送中）だけでなく、ストリーミング伝送映像の伝送終了後に、映像の再送を行う場合にも適用することができる。
　また、本技術は、例えば、再生システム１１２が、ストリーミング伝送映像をすぐに送出せずに（例えば、ライブ映像の放送や配信を行わずに）、一旦記録した後に再生する場合にも適用することが可能である。
　＜＜４．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　無線伝送路を介する第１の伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する再送制御部を
　備える情報処理装置。
（２）
　前記再送制御部は、さらに各前記区間映像の撮影時刻からの経過時間に基づいて、前記再送区間を設定する
　前記（１）に記載の情報処理装置。
（３）
　前記再送制御部は、前記再送区間の映像である再送映像の前記伝送映像の送信元からの取得を制御する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記再送制御部は、前記再送区間の優先度を設定し、優先度の高い前記再送区間の前記再送映像を優先して前記送信元から取得するように制御する
　前記（３）に記載の情報処理装置。
（５）
　前記再送区間の優先度は、前記区間映像の品質、シーンの重要度、及び、撮影時刻からの経過時間のうち少なくとも１つに基づいて、設定される
　前記（４）に記載の情報処理装置。
（６）
　前記再送映像が存在する区間において、前記伝送映像より前記再送映像を優先して再生するように制御する再生制御部を
　さらに備える前記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記再送制御部は、前記伝送映像のリプレイを行う場合に、前記再送映像が存在する区間において、前記伝送映像より前記再送映像を優先して再生するように制御する
　前記（６）に記載の情報処理装置。
（８）
　前記再生制御部は、前記伝送映像と前記再送映像との境界部分の画質の整合性を高めるように少なくとも一方の画質を調整する
　前記（６）に記載の情報処理装置。
（９）
　前記再送制御部は、前記伝送映像の伝送中に前記再送映像を前記送信元から取得するように制御する
　前記（３）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記再送映像は、前記伝送映像の伝送中に前記第１の伝送路を用いて伝送される場合、前記伝送映像の伝送を妨げないように伝送され、前記第１の伝送路と異なる第２の伝送路を用いて伝送される場合、可能な限り速い速度で伝送される
　前記（９）に記載の情報処理装置。
（１１）
　前記再送映像は、前記伝送映像より効率の良い符号化方式により圧縮された映像である
　前記（３）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記再送制御部は、各前記区間映像のエンコードビットレート及び伝送エラーの発生状況に基づいて、前記区間映像の品質を検出する
　さらに備える前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記区間映像の前記シーンの重要度は、前記区間映像のシーンの種類、及び、前記区間映像と前記シーンの種類との相関度に基づいて設定される
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記伝送映像は、前記第１の伝送路によりストリーミング伝送される
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　情報処理装置が、
　無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する
　情報処理方法。
（１６）
　無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する
　処理をコンピュータに実行させるためのプログラム。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　ライブ映像制作システム，　１１１　撮影システム，　１１２　再生システム，　１１３　ネットワーク，　１３１　カメラ，　１３２　記憶装置，　１３３　送信装置，　１５１　エンコーダ，　１５２　記憶モジュール，　１７１　エンコーダ，　１７２　送信モジュール，　２０１　受信装置，　２０２　再送コントローラ，　２０３　再生コントローラ，　２０４　リプレイサーバ，　２０５　スイッチャ，　２２１　受信モジュール，　２２２　デコーダ，　２４１　エンコーダ，　２４２　記憶モジュール，　２４３　デコーダ

Claims (16)

  1. 　無線伝送路を介する第１の伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する再送制御部を
    　備える情報処理装置。
  2. 　前記再送制御部は、さらに各前記区間映像の撮影時刻からの経過時間に基づいて、前記再送区間を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記再送制御部は、前記再送区間の映像である再送映像の前記伝送映像の送信元からの取得を制御する
    　請求項１に記載の情報処理装置。
  4. 　前記再送制御部は、前記再送区間の優先度を設定し、優先度の高い前記再送区間の前記再送映像を優先して前記送信元から取得するように制御する
    　請求項３に記載の情報処理装置。
  5. 　前記再送区間の優先度は、前記区間映像の品質、シーンの重要度、及び、撮影時刻からの経過時間のうち少なくとも１つに基づいて、設定される
    　請求項４に記載の情報処理装置。
  6. 　前記再送映像が存在する区間において、前記伝送映像より前記再送映像を優先して再生するように制御する再生制御部を
    　さらに備える請求項３に記載の情報処理装置。
  7. 　前記再送制御部は、前記伝送映像のリプレイを行う場合に、前記再送映像が存在する区間において、前記伝送映像より前記再送映像を優先して再生するように制御する
    　請求項６に記載の情報処理装置。
  8. 　前記再生制御部は、前記伝送映像と前記再送映像との境界部分の画質の整合性を高めるように少なくとも一方の画質を調整する
    　請求項６に記載の情報処理装置。
  9. 　前記再送制御部は、前記伝送映像の伝送中に前記再送映像を前記送信元から取得するように制御する
    　請求項３に記載の情報処理装置。
  10. 　前記再送映像は、前記伝送映像の伝送中に前記第１の伝送路を用いて伝送される場合、前記伝送映像の伝送を妨げないように伝送され、前記第１の伝送路と異なる第２の伝送路を用いて伝送される場合、可能な限り速い速度で伝送される
    　請求項９に記載の情報処理装置。
  11. 　前記再送映像は、前記伝送映像より効率の良い符号化方式により圧縮された映像である
    　請求項３に記載の情報処理装置。
  12. 　前記再送制御部は、各前記区間映像のエンコードビットレート及び伝送エラーの発生状況に基づいて、前記区間映像の品質を検出する
    　請求項１に記載の情報処理装置。
  13. 　前記区間映像の前記シーンの重要度は、前記区間映像のシーンの種類、及び、前記区間映像と前記シーンの種類との相関度に基づいて設定される
    　請求項１に記載の情報処理装置。
  14. 　前記伝送映像は、前記第１の伝送路によりストリーミング伝送される
    　請求項１に記載の情報処理装置。
  15. 　情報処理装置が、
    　無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する
    　情報処理方法。
  16. 　無線伝送路を介する伝送路により伝送された映像である伝送映像の各区間の映像である区間映像の品質及びシーンの重要度に基づいて、前記伝送映像の再送を行う再送区間を設定する
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2021/002175 2020-02-07 2021-01-22 情報処理装置、情報処理方法、及び、プログラム WO2021157381A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-019648 2020-02-07
JP2020019648 2020-02-07

Publications (1)

Publication Number Publication Date
WO2021157381A1 true WO2021157381A1 (ja) 2021-08-12

Family

ID=77199258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002175 WO2021157381A1 (ja) 2020-02-07 2021-01-22 情報処理装置、情報処理方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2021157381A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281549A (ja) * 2006-04-03 2007-10-25 Sumitomo Electric Ind Ltd 管理装置、管理方法及びローカルエリアネットワーク
JP2009118151A (ja) * 2007-11-06 2009-05-28 Fujitsu Ltd 通信システム、送信装置、中継装置、受信装置及び送信プログラム
JP2009290790A (ja) * 2008-05-30 2009-12-10 Panasonic Corp 映像送信装置および映像送信方法
JP2011259183A (ja) * 2010-06-09 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> データ配信システムおよびデータ配信方法
JP2017208707A (ja) * 2016-05-18 2017-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、撮像装置、ヘッドマウントディスプレイ、および情報処理方法
JP2017212549A (ja) * 2016-05-24 2017-11-30 Ｌｉｎｅ株式会社 コンテンツの配信方法、コンテンツの受信方法、プログラム、情報処理装置、及び情報処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281549A (ja) * 2006-04-03 2007-10-25 Sumitomo Electric Ind Ltd 管理装置、管理方法及びローカルエリアネットワーク
JP2009118151A (ja) * 2007-11-06 2009-05-28 Fujitsu Ltd 通信システム、送信装置、中継装置、受信装置及び送信プログラム
JP2009290790A (ja) * 2008-05-30 2009-12-10 Panasonic Corp 映像送信装置および映像送信方法
JP2011259183A (ja) * 2010-06-09 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> データ配信システムおよびデータ配信方法
JP2017208707A (ja) * 2016-05-18 2017-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、撮像装置、ヘッドマウントディスプレイ、および情報処理方法
JP2017212549A (ja) * 2016-05-24 2017-11-30 Ｌｉｎｅ株式会社 コンテンツの配信方法、コンテンツの受信方法、プログラム、情報処理装置、及び情報処理システム

Similar Documents

Publication Publication Date Title
US10623785B2 (en) Streaming manifest quality control
US7051358B2 (en) Data transmission in non-reliable networks
US8711929B2 (en) Network-based dynamic encoding
US6292621B1 (en) Recording apparatus for newly recording a second encoded data train on a recording medium on which an encoded data train is recorded
US8837586B2 (en) Bandwidth-friendly representation switching in adaptive streaming
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
JP5553764B2 (ja) Ｆｅｃ復号化のための方法
JP2004507178A (ja) ビデオ信号符号化方法
US9153127B2 (en) Video transmitting apparatus, video receiving apparatus, and video transmission system
JP5021765B2 (ja) 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ
JP5207895B2 (ja) 送信装置、受信装置、及び方法、プログラム
US10826963B2 (en) Reducing latency for streaming video
CN111093083B (zh) 数据传输方法及装置
US8245114B2 (en) Transmitting apparatus, transmitting method, and program
JP2005322995A (ja) リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム
WO2021157381A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2010258489A (ja) 映像表示装置、受信装置、送受信システム、及び映像表示方法
CN102149021B (zh) 网络时移的处理方法、装置及系统
US11303940B2 (en) Transmission apparatus, transmission method, and non-transitory computer-readable storage medium
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
CA3050636C (en) Reducing latency for streaming video
JP2011049670A (ja) テレビ放送受信装置
EP3732888B1 (en) Reducing latency for streaming video
JP2004173212A (ja) 撮像装置、記録装置及び記録方法並びに記憶媒体
JP2009290790A (ja) 映像送信装置および映像送信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21751473

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21751473

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP