WO2021044974A1 - 送信装置、受信装置、送信方法、受信方法及びプログラム - Google Patents

送信装置、受信装置、送信方法、受信方法及びプログラム Download PDF

Info

Publication number
WO2021044974A1
WO2021044974A1 PCT/JP2020/032657 JP2020032657W WO2021044974A1 WO 2021044974 A1 WO2021044974 A1 WO 2021044974A1 JP 2020032657 W JP2020032657 W JP 2020032657W WO 2021044974 A1 WO2021044974 A1 WO 2021044974A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
image
gdr
slice
image data
Prior art date
Application number
PCT/JP2020/032657
Other languages
English (en)
French (fr)
Inventor
活志 大塚
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2021543739A priority Critical patent/JP7304419B2/ja
Priority to US17/638,020 priority patent/US20220279190A1/en
Publication of WO2021044974A1 publication Critical patent/WO2021044974A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Definitions

  • the present invention relates to a transmitting device, a receiving device, a transmitting method, a receiving method, and a program.
  • a technology is known that encodes an image and compresses the size of the image data generated by setting a reference destination. For example, the size of the image data in which the frame image is encoded is smaller when the frame image is encoded in the P frame which requires the reference destination than when it is encoded in the I frame which does not require the reference destination.
  • GDR gradual decoder refresh
  • the present invention has been made in view of the above circumstances, and one of the purposes thereof is a transmission device, a reception device, a transmission method, and a reception method capable of appropriately controlling whether or not to use the GDR technology according to a situation. And to provide the program.
  • the transmission device performs a gradual decoder refresh (GDR) based on an acquisition unit that sequentially acquires frame images drawn in a frame buffer and the frame image or communication status.
  • GDR gradual decoder refresh
  • the encoding processing unit skips encoding of at least one frame image next to the frame image when the frame image is encoded into a normal I frame.
  • the encoding processing unit may skip encoding of a frame image having a number of frames determined based on the data size of the I frame and the transferable band.
  • the transmission unit transmits the data including the I frame or the I slice at a data rate according to the transferable band.
  • the determination unit determines the amount of change in the scene from the immediately preceding frame image, the number of times the data including the I frame or the I slice is lost per unit time in the past. Alternatively, it is determined whether or not to use GDR based on at least one of the number of times the I-frame was generated per unit time in the past.
  • the receiving device includes a receiving unit that receives image data from a transmitting device, a receiving buffer that stores the image data, a decoding processing unit that generates an image by decoding the image data, and the above.
  • GDR gradual decoder refresh
  • the reception buffer control unit adjusts the capacity of the reception buffer based on at least one of the transferable band and the reception amount of a normal I frame.
  • the transmission method it is determined whether or not to use the gradual decoder refresh (GDR) based on the step of sequentially acquiring the frame images drawn in the frame buffer and the frame image or the communication status. And, depending on the determination, the step of encoding the frame image into either a normal I-frame or data containing an I-slice in a gradual decoder refresh (GDR), and the I-frame or the I-frame. A step of transmitting data including the I slice is included.
  • GDR gradual decoder refresh
  • the receiving method includes a step of receiving image data from a transmitting device, a step of generating an image by decoding the image data, a step of displaying the image, and a gradual decoder refresh (GDR). ) Includes a step of securing a receive buffer for storing the image data, which is of a size that does not underflow the display of the image when the image data including the I slice in) is transmitted from the transmission device.
  • GDR gradual decoder refresh
  • the program according to the present invention is a procedure for sequentially acquiring frame images drawn in a frame buffer, and a procedure for determining whether or not to use gradual decoder refresh (GDR) based on the frame image or communication status.
  • GDR gradual decoder refresh
  • Another program according to the present invention includes a procedure for receiving image data from a transmitting device, a procedure for generating an image by decoding the image data, a procedure for displaying the image, and a gradual decoder refresh (GDR).
  • the computer is made to execute a procedure of securing a reception buffer for storing the image data, which has a size that does not underflow the display of the image when the image data including the I slice is transmitted from the transmission device.
  • FIG. 1 is a diagram showing an example of the overall configuration of the cloud gaming system 1 according to the embodiment of the present invention.
  • the cloud gaming system 1 according to the present embodiment includes a cloud server 10 and a terminal 12 which are both configured around a computer.
  • the cloud server 10 and the terminal 12 are connected to a computer network 14 such as the Internet, and the cloud server 10 and the terminal 12 can communicate with each other.
  • the cloud server 10 is, for example, a server computer that executes a game program related to a cloud gaming service.
  • the cloud server 10 distributes a moving image showing the play status of the game to the terminal 12 used by the user who is playing the game.
  • the cloud server 10 includes, for example, a processor 10a, a storage unit 10b, a communication unit 10c, and an encoding / decoding unit 10d.
  • the processor 10a is a program control device such as a CPU, and executes various information processing according to a program stored in the storage unit 10b.
  • the processor 10a according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 10b is, for example, a storage element such as a ROM or RAM, a solid state drive (SSD), or the like.
  • the storage unit 10b stores a program or the like executed by the processor 10a. Further, in the storage unit 10b according to the present embodiment, an area of a frame buffer in which an image is drawn by the GPU included in the processor 10a is secured.
  • the communication unit 10c is a communication interface for exchanging data with a computer such as a terminal 12 via a computer network 14, for example.
  • the encode / decode unit 10d includes, for example, an encoder and a decoder.
  • the encoder generates image data representing the image by encoding the input image. Further, the decoder decodes the input image data and outputs the image represented by the image data.
  • the terminal 12 is, for example, a computer such as a game console, a personal computer, a tablet terminal, or a smartphone used by a user who uses a cloud gaming service.
  • the terminal 12 includes, for example, a processor 12a, a storage unit 12b, a communication unit 12c, an encoding / decoding unit 12d, an operation unit 12e, and a display unit 12f.
  • the processor 12a is a program control device such as a CPU, and executes various information processing according to a program stored in the storage unit 12b.
  • the processor 12a according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 12b is, for example, a storage element such as a ROM or RAM, a solid state drive (SSD), or the like.
  • the storage unit 12b stores a program or the like executed by the processor 12a. Further, in the storage unit 12b according to the present embodiment, an area of a frame buffer in which an image is drawn by the GPU included in the processor 12a is secured.
  • the communication unit 12c is a communication interface for exchanging data with a computer such as a cloud server 10 via a computer network 14, for example.
  • the encode / decode unit 12d includes, for example, an encoder and a decoder.
  • the encoder generates image data representing the image by encoding the input image. Further, the decoder decodes the input image data and outputs the image represented by the image data.
  • the operation unit 12e is, for example, an operation member for performing an operation input to the processor 12a.
  • the display unit 12f is a display device such as a liquid crystal display or an organic EL display.
  • the terminal 12 does not need to include a GPU or a frame buffer.
  • an operation related to the game on the terminal 12 according to the present embodiment is performed via the operation unit 12e
  • an operation signal representing the operation is transmitted from the terminal 12 to the cloud server 10.
  • the cloud server 10 executes the game processing according to the operation signal.
  • a play image which is a frame image showing the play status of the game affected by the operation signal, is generated, and the play image is drawn in the frame buffer of the cloud server 10.
  • the game processing and the generation of the play image are repeatedly executed.
  • the cloud server 10 sequentially acquires the play images drawn in the frame buffer and generates image data representing the play image. Then, the cloud server 10 transmits the generated image data to the terminal 12. Then, the terminal 12 causes the display unit 12f to display the play image generated by decoding the image data received from the cloud server 10. In this way, in the present embodiment, a series of play images are displayed on the display unit 12f.
  • the cloud server 10 can switch between encoding using the gradual decoder refresh (GDR) technology and encoding not using the GDR technology.
  • GDR gradual decoder refresh
  • FIGS. 2A and 2B are diagrams schematically showing an example of the relationship between the image data received by the terminal 12 and the image displayed on the terminal 12.
  • 2A and 2B show examples after the third image.
  • the vertical direction of FIGS. 2A and 2B represents the passage of time, and the downward direction corresponds to the positive direction of the time axis. Further, FIG. 2B shows the time following the time shown in FIG. 2A.
  • the P frame (F4P), which is the fourth image data stored in the reception buffer of the terminal 12 is decoded, so that 4 The second play image (F4) is generated.
  • the P frame (F5P), which is the fifth image data stored in the reception buffer of the terminal 12 is decoded.
  • a fifth play image (F5) is generated.
  • the 6th to 8th image data are encoded using the GDR technology.
  • the upper 1/3 portion is an I slice (G1) corresponding to an I frame, and the remaining portion is a P frame. It is a corresponding P slice. Then, when the decoded fifth frame (F5) is displayed, the sixth image data stored in the reception buffer of the terminal 12 is decoded, so that the sixth play image (F6) is displayed. Is generated.
  • the central 1/3 portion is an I slice (G2) corresponding to an I frame, and the remaining portion is a P frame. It is a corresponding P slice.
  • the decoded sixth frame (F6) is displayed, the seventh image data stored in the reception buffer of the terminal 12 is decoded, so that the seventh play image (F7) is displayed. Is generated.
  • the lower 1/3 portion is an I slice (G3) corresponding to an I frame, and the remaining portion is a P frame. It is a corresponding P slice. Then, when the decoded 7th frame (F7) is displayed, the 8th image data stored in the reception buffer of the terminal 12 is decoded, so that the 8th play image (F8) is displayed. Is generated.
  • image data including an I slice in GDR such as the sixth image data (F6I (GDR1)) to the eighth image data (F8I (GDR3)
  • GDR frame image data including an I slice in GDR
  • a play image (F9) is generated.
  • the 10th play image (F10) to the 14th play image (F14) are generated and displayed in the same manner.
  • the I frame (F15I (1) to F15I (3)) has a large image data size (three times the image data of the P frame in the example of FIG. 2B), and it takes time to transmit, so that the play image (F15) ) Is delayed by a time corresponding to two frames.
  • the I frame is larger in size than the image data encoded by using the P frame or GDR technology, so the bit rate required for transmission is high. Therefore, when the bit rate required for transmission exceeds the band that can be transferred by the computer network 14, there is a high possibility that the transmission of the I frame and subsequent image data will be delayed or omitted.
  • I Encoding may be skipped for at least one frame image next to the frame image encoded in the frame.
  • the encoding is skipped for the 16th and 17th play images.
  • the 18th image data P frame (F18P) is transmitted from the cloud server 10 to the terminal 12.
  • the P frame (F18P), which is the 18th image data stored in the reception buffer of the terminal 12, is decoded. Then, the 18th play image (F18) is generated.
  • a play image (F19) is generated. After that, the 20th and subsequent play images are generated in the same manner.
  • the 14th play image (F14) may be continuously displayed or displayed. May be blacked out. Further, in this case, the terminal 12 may generate, for example, an alternative image using the technique described in Japanese Patent Application No. 2019-056321 or Japanese Patent Application No. 2019-056322 and display it on the display unit 12f.
  • the technique an image several frames before the received frame image is displayed.
  • the terminal 12 secures a reception buffer having a size that does not underflow the display when the GDR frame is transmitted. Then, as a general rule, the frame image of the frame immediately before the received frame image is displayed. Therefore, according to the present embodiment, the latency is smaller than that of the technique of buffering image data of a size corresponding to an I frame in advance.
  • image data having a size corresponding to an I frame may be buffered in advance.
  • the terminal 12 is based on at least one of the transferable band or the received amount of the normal I frame (for example, at least one of the transferable band or the received amount of the normal I frame in the past predetermined time).
  • the capacity (depth) of the receive buffer may be adjusted. For example, the terminal 12 may increase the depth of the reception buffer when the reception frequency of a normal I frame is high. Then, the terminal 12 may execute the control to reduce the display delay due to the underflow even if the latency increases.
  • FIG. 4 is a functional block diagram showing an example of the functions implemented in the cloud gaming system 1 according to the present embodiment. It should be noted that the cloud gaming system 1 according to the present embodiment does not need to implement all the functions shown in FIG. 4, and functions other than the functions shown in FIG. 4 (for example, execution of game processing based on an operation signal or the like). And the function of generating play images, etc.) may be implemented.
  • the cloud server 10 includes, for example, an encoding mode data storage unit 20, an acquisition unit 22, a GDR usage determination unit 24, an encoding processing unit 26, and a transmission unit 28. Is included.
  • the encode mode data storage unit 20 is mainly mounted with the storage unit 10b.
  • the acquisition unit 22 and the encoding processing unit 26 mainly implement the encoding / decoding unit 10d.
  • the GDR utilization determination unit 24 mainly implements the processor 10a.
  • the transmission unit 28 is mainly mounted with the communication unit 10c.
  • the above functions are implemented by executing a program installed on the cloud server 10 which is a computer and including instructions corresponding to the above functions on the processor 10a.
  • This program is supplied to the cloud server 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the terminal 12 functionally includes, for example, a receiving unit 30, a receiving buffer 32, a decoding processing unit 34, a display control unit 36, and a receiving buffer control unit 38. ..
  • the receiving unit 30 is mainly mounted with the communication unit 12c.
  • the reception buffer 32 is mainly mounted with the storage unit 12b.
  • the decoding processing unit 34 mainly implements the encoding / decoding unit 12d.
  • the display control unit 36 mainly mounts the processor 12a and the display unit 12f.
  • the receive buffer control unit 38 mainly implements the processor 12a.
  • the above functions are implemented by executing a program installed on the terminal 12 which is a computer and including a command corresponding to the above functions on the processor 12a.
  • This program is supplied to the terminal 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like.
  • the encode mode data storage unit 20 stores, for example, encode mode data indicating whether or not to use GDR.
  • the encode mode data takes a value of 1 or 0.
  • the acquisition unit 22 sequentially acquires, for example, a frame image (play image in the above example) drawn in the frame buffer.
  • the GDR usage determination unit 24 determines whether or not to use the GDR based on, for example, the frame image acquired by the acquisition unit 22 or the communication status in the computer network 14.
  • the GDR usage determination unit 24 may determine whether or not to use GDR based on the amount of change in the scene from the immediately preceding frame image. For example, the GDR usage determination unit 24 may decide not to use the GDR when the value indicating the amount of change in the scene is larger than a predetermined value, and may decide to use the GDR otherwise. ..
  • an index value indicating the degree of difference or similarity between the immediately preceding frame image and the frame image may be used. For example, if Peak Signal to Noise Ratio (PSNR) or Structural Similarity (SSIM) is smaller than a predetermined value, it may be decided not to use GDR, and if not, it may be decided to use GDR. .. Alternatively, the amount of change in Motion Estimation (ME) may be used as the amount of change in the scene. For example, if the value of the ME change amount is larger than a predetermined value, it may be decided not to use GDR, and if not, it may be decided to use GDR.
  • PSNR Peak Signal to Noise Ratio
  • SSIM Structural Similarity
  • ME Motion Estimation
  • a value indicating the amount of change in the scene a value indicating a certain degree of discontinuity in audio between the timing at which the immediately preceding frame image is displayed and the timing at which the frame image of the frame is displayed may be used. For example, if the value is larger than a predetermined value, it may be decided not to use GDR, and if not, it may be decided to use GDR.
  • whether or not to use GDR may be determined based on the amount of change in the score value indicating the content represented by the frame image derived based on a predetermined rule. For example, whether or not it is the timing to switch scenes, the type of image texture displayed in the frame, the distribution of feature points, depth information, the amount of objects, and the amount of mipmap texture used for each level of 3D graphics GDR can be used based on the amount of change in the score value calculated from information such as LOD (Level Of Detail), the amount of tessellation used at each level, the amount of characters and symbols, and the type of scene represented. It may be decided.
  • LOD Level Of Detail
  • a score value representing the priority of spatial detail and temporal detail may be calculated.
  • the GDR usage decision unit 24 may decide whether or not to use GDR based on the transferable band of the current computer network 14. For example, if the value indicating the transferable band is larger than a predetermined value, it may be decided not to use GDR, and if not, it may be decided to use GDR. If there is a margin in the transferable band, it is considered that there is not much problem even if a normal I frame is transmitted. Further, if the transferable band is sufficient, it is possible to omit skipping the encoding of the frame image after the normal I frame is transmitted. Therefore, from this viewpoint as well, if the transferable band has a margin, the normal transferable band can be omitted. Even if an I-frame is transmitted, it does not matter so much.
  • the GDR usage determination unit 24 uses the GDR based on the number of times the image data is missing in the past unit time or the number of times the I frame is generated in the past unit time. May be determined. For example, it is decided to use GDR when the number of times image data is lost per unit time for the latest predetermined time is larger than the predetermined number of times, and otherwise it is decided not to use GDR. You may. Further, it is decided to use the GDR when the number of times I frames are generated per unit time for the latest predetermined time is larger than the predetermined number of times, and if not, it is decided not to use the GDR. May be good.
  • the frame rate will increase due to either unintended data loss due to excessive transfer volume or intentional skipping of image data transmission after the I-frame. It becomes discontinuous. As a result, the smoothness in reproducing the moving image on the terminal 12 is lowered, and the user experience is deteriorated. In such a case, even if the amount of change in the scene is large, it may be prioritized to secure the smoothness of the frame rate by using the GDR rather than reproducing the image with high image quality using the I frame. ..
  • the GDR utilization determination unit 24 may determine whether or not to use GDR by using a machine learning model such as deep learning.
  • the GDR usage decision unit 24 may combine some or all of the above-mentioned ones and decide whether or not to use GDR based on the comprehensive evaluation value.
  • the GDR usage determination unit 24 updates the encoding mode data stored in the encoding mode data storage unit 20, for example, in response to a determination as to whether or not to use the GDR. For example, when it is decided to use GDR when the value of the encoding mode data is 0, the encoding mode data is updated to the one having the value 1. Further, for example, when it is decided not to use GDR when the value of the encoding mode data is 1, the encoding mode data is updated to the one having a value of 0.
  • the encoding processing unit 26 generates image data by encoding the frame image acquired by the acquisition unit 22, for example.
  • the encoding processing unit 26 determines whether or not to use the GDR. Encode the image into one.
  • the encoding processing unit 26 encodes the frame image into a GDR frame. Further, for example, when the encoding mode data stored in the encoding mode data storage unit 20 is 0, the encoding processing unit 26 encodes the frame image into a normal I frame.
  • the encoding processing unit 26 may skip the encoding of at least one frame image next to the frame image.
  • the encoding processing unit 26 may skip the encoding of the frame image of the number of frames determined based on the data size of the normal I frame and the transferable band specified by the transmitting unit 28.
  • the transmission unit 28 transmits, for example, the image data generated by the encoding processing unit 26 to the terminal 12.
  • the transmission unit 28 may specify the transferable band by monitoring the communication status of the computer network 14. Then, the transmission unit 28 may transmit the image data to the terminal 12 at a data rate corresponding to the specified transferable band.
  • the receiving unit 30 receives, for example, image data from the transmitting device.
  • the reception buffer 32 stores, for example, image data received by the reception unit 30.
  • the decoding processing unit 34 generates a play image by decoding the image data stored in the reception buffer 32, for example.
  • the display control unit 36 displays, for example, the play image generated by the decoding processing unit 34.
  • the reception buffer control unit 38 controls the size of the reception buffer 32, for example.
  • the reception buffer control unit 38 secures, for example, a reception buffer 32 having a size that does not underflow the display of the play image when the GDR frame is transmitted from the cloud server 10.
  • the reception buffer control unit 38 may adjust the capacity of the reception buffer 32 based on at least one of the transferable band and the reception amount of the normal I frame. For example, the reception buffer control unit 38 may adjust the capacity of the reception buffer 32 based on at least one of the transferable band and the reception amount of the normal I frame in the past predetermined time.
  • the acquisition unit 22 acquires the frame image of the frame drawn in the frame buffer (S101).
  • the GDR usage determination unit 24 determines whether or not to use GDR as described above (S102).
  • the GDR usage determination unit 24 sets the value of the encoding mode data stored in the encoding mode data storage unit 20 according to the determination in the process shown in S102 (S103).
  • the value of the encoding mode data stored in the encoding mode data storage unit 20 is set to 1.
  • the value of the encoding mode data stored in the encoding mode data storage unit 20 is set to 0.
  • the encoding processing unit 26 executes the encoding processing according to the value of the encoding mode data stored in the encoding mode data storage unit 20 on the frame image acquired by the processing shown in S101, so that the image data Is generated (S104).
  • the encoding processing unit 26 determines that the frame image should be encoded in an I frame, the frame image is encoded in a normal I frame.
  • the value of the encode mode data stored in the encode mode data storage unit 20 is 1.
  • the encoding processing unit 26 encodes the frame image into image data including an I slice (for example, the above-mentioned GDR frame).
  • the image data of the immediately preceding frame does not include an I slice
  • the upper 1/3 portion is an I slice (G1) corresponding to the I frame
  • the remaining portion is a P slice corresponding to the P frame.
  • the image data (GDR1) is generated.
  • the central 1/3 portion is an I slice (G2) corresponding to the I frame
  • the remaining portion is a P slice corresponding to the P frame.
  • Image data (GDR2) is generated.
  • the lower 1/3 portion is an I slice (G3) corresponding to the I frame
  • the remaining portion is a P slice corresponding to the P frame.
  • Image data (GDR3) is generated.
  • the encoding processing unit 26 determines that the frame image should be encoded in the P frame, the encoding processing unit 26 displays the frame image. Encode into a normal P frame.
  • the transmission unit 28 transmits the image data generated in the process shown in S104 to the terminal 12 (S105), and returns to the process shown in S101.
  • the GDR technology is normally used so that the normal I-frame is transmitted only in a predetermined case such as when the amount of change in the scene is large. Is possible. Further, in the present embodiment, the surge wave of the transmitted image data generated by the normal transmission of the I frame can be quickly converged by skipping the encoding of the subsequent frame. Further, in the present embodiment, the above-described technique of buffering image data of a size corresponding to an I frame in advance is not used in order to prevent the display from underflowing when the terminal 12 receives the I frame. It is possible. Therefore, according to the present embodiment, it is possible to reduce the display delay of the play image on the terminal 12.
  • the present invention is not limited to the above-described embodiment.
  • image data including an I slice (for example, the above-mentioned GDR frame) is transmitted instead of the P frame.
  • the frequency of transmitting image data including an I slice (for example, the above-mentioned GDR frame) instead of the P frame. May be increased.
  • the I frame is divided into three, and the GDR frame in which 1/3 is an I slice is transmitted over the three frames.
  • the I frame is divided. Is not limited to three divisions.
  • an I frame may be divided into n, and a GDR frame in which 1 / n is an I slice may be transmitted over n frames.
  • the present embodiment is also applicable to a situation in which encoding by a slice transfer method in which one frame image is divided into a plurality of parts and transmitted or image data is transmitted.
  • the I-frame in the above description is transmitted for each I-slice.
  • the P frame in the above description is transmitted for each P slice.
  • one-third of the GDR frames in the above description are transmitted for each slice corresponding to the I frame.
  • the scope of application of the present invention is not limited to the cloud gaming system 1.
  • the present invention can be applied to a game system including a server arranged in a home and a terminal connected to the server via a home network, a public network, a carrier network of a mobile phone, or the like. .. That is, the computer network 14 may be a home network, a public network, a carrier network of a mobile phone, or the like. Further, the server and the terminal may be connected by wire or wirelessly.
  • the content of the game to which the present invention is applied is not particularly limited, and the present invention can be applied to, for example, a game system that executes a game using virtual reality (VR) or augmented reality (AR).
  • VR virtual reality
  • AR augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できる送信装置、受信装置、送信方法、受信方法及びプログラムを提供する。取得部（２２）は、フレームバッファに描画されたフレーム画像を順次取得する。ＧＤＲ利用決定部（２４）は、フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する。エンコード処理部（２６）は、ＧＤＲを利用するか否かの決定に応じて、フレーム画像を、通常のＩフレーム、又は、ＧＤＲにおけるＩスライスを含むデータのいずれかにエンコードする。送信部（２８）は、Ｉフレーム、又は、Ｉスライスを含むデータを送信する。

Description

送信装置、受信装置、送信方法、受信方法及びプログラム
　本発明は、送信装置、受信装置、送信方法、受信方法及びプログラムに関する。
　参照先を設定することで画像をエンコードして生成される画像データのサイズを圧縮する技術が知られている。例えば、フレーム画像を、参照先が不要であるＩフレームにエンコードするよりも、参照先が必要であるＰフレームにエンコードする方が、当該フレーム画像をエンコードした画像データのサイズは小さくなる。
　また、フレーム画像の一部をＩフレームに相当するＩスライスに、残りをＰフレームに相当するＰスライスにエンコードすることで、画像データのサイズのばらつきを抑えるグラデュアルデコーダリフレッシュ（ＧＤＲ）の技術が存在する。
　ＧＤＲの技術を用いず通常のＩフレームやＰフレームでのエンコードを行うと、画像データのサイズのばらつきが大きくなる。そのため、通信負荷の変動が大きくなり、例えば、サイズの大きなＩフレーム及び後続するＰフレームの送信が遅延、あるいは、欠落する可能性が高くなる。
　一方で、ＧＤＲの技術を用いたエンコードを行うと、通信負荷の変動は小さいものの、シーンチェンジにおいて、表示される画像の全体が即座に切り替わらないという欠点がある。
　本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できる送信装置、受信装置、送信方法、受信方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る送信装置は、フレームバッファに描画されたフレーム画像を順次取得する取得部と、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する決定部と、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするエンコード処理部と、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する送信部と、を含む。
　本発明の一態様では、前記エンコード処理部は、前記フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップする。
　この態様では、前記エンコード処理部は、前記Ｉフレームのデータサイズと、転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップしてもよい。
　また、本発明の一態様では、前記送信部は、転送可能帯域に応じたデータレートで前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する。
　また、本発明の一態様では、前記決定部は、直前のフレーム画像からのシーンの変化量、過去の単位時間あたりに前記Ｉフレーム、若しくは、前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも１つに基づいて、ＧＤＲを利用するか否かを決定する。
　また、本発明に係る受信装置は、画像データを送信装置から受信する受信部と、前記画像データを記憶する受信バッファと、前記画像データをデコードすることにより画像を生成するデコード処理部と、前記画像を表示させる表示制御部と、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの前記受信バッファを確保する受信バッファ制御部と、を含む。
　この態様では、前記受信バッファ制御部は、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファの容量を調整する。
　また、本発明に係る送信方法は、フレームバッファに描画されたフレーム画像を順次取得するステップと、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定するステップと、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするステップと、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信するステップと、を含む。
　また、本発明に係る受信方法は、画像データを送信装置から受信するステップと、前記画像データをデコードすることにより画像を生成するステップと、前記画像を表示させるステップと、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保するステップと、を含む。
　また、本発明に係るプログラムは、フレームバッファに描画されたフレーム画像を順次取得する手順、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する手順、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードする手順、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する手順、をコンピュータに実行させる。
　また、本発明に係る別のプログラムは、画像データを送信装置から受信する手順、前記画像データをデコードすることにより画像を生成する手順、前記画像を表示させる手順、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保する手順、をコンピュータに実行させる。
本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。 端末が受信する画像データと端末で表示される画像との関係の一例を模式的に示す図である。 クラウドサーバ１０から端末１２が受信する画像データと、表示される画像との関係の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。
　図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。
　本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。
　図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。
　プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。
　エンコード・デコード部１０ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
　本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。
　図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。
　プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。
　エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
　操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。
　表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。
　なお、端末１２に、ＧＰＵやフレームバッファが含まれている必要はない。
　本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すフレーム画像であるプレイ画像が生成され、当該プレイ画像がクラウドサーバ１０のフレームバッファに描画される。本実施形態では、ゲーム処理及びプレイ画像の生成が繰り返し実行される。
　そして、クラウドサーバ１０は、フレームバッファに描画されたプレイ画像を順次取得して、当該プレイ画像を表す画像データを生成する。そして、クラウドサーバ１０は、生成される画像データを端末１２に送信する。そして端末１２は、クラウドサーバ１０から受信する画像データをデコードすることにより生成されるプレイ画像を表示部１２ｆに表示させる。このようにして、本実施形態では一連のプレイ画像が表示部１２ｆに表示される。
　本実施形態に係るクラウドサーバ１０は、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードと、ＧＤＲの技術を用いないエンコードと、を切り替えることができるようになっている。
　図２Ａ及び図２Ｂは、端末１２が受信する画像データと端末１２で表示される画像との関係の一例を模式的に示す図である。図２Ａ及び図２Ｂには、３番目の画像以降の例が示されている。図２Ａ及び図２Ｂの縦方向は時間経過を表し、下方向が時間軸正方向に相当する。また、図２Ｂには、図２Ａが示す時間に続く時間が示されている。
　この例では、３番目のプレイ画像（Ｆ３）が表示されている際に、端末１２の受信バッファに記憶されている４番目の画像データであるＰフレーム（Ｆ４Ｐ）がデコードされることで、４番目のプレイ画像（Ｆ４）が生成される。そして、デコードされた４番目のプレイ画像（Ｆ４）が表示されている際に、端末１２の受信バッファに記憶されている５番目の画像データであるＰフレーム（Ｆ５Ｐ）がデコードされることで、５番目のプレイ画像（Ｆ５）が生成される。
　そして、この例では、６番目の画像データから８番目の画像データについては、ＧＤＲの技術を用いてエンコードされている。
　図３Ａに示すように、６番目の画像データ（Ｆ６Ｉ（ＧＤＲ１））は、上の１／３の部分がＩフレームに相当するＩスライス（Ｇ１）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた５番目のフレーム（Ｆ５）が表示されている際に、端末１２の受信バッファに記憶されている６番目の画像データがデコードされることで、６番目のプレイ画像（Ｆ６）が生成される。
　図３Ｂに示すように、７番目の画像データ（Ｆ７Ｉ（ＧＤＲ２））は、中央の１／３の部分がＩフレームに相当するＩスライス（Ｇ２）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた６番目のフレーム（Ｆ６）が表示されている際に、端末１２の受信バッファに記憶されている７番目の画像データがデコードされることで、７番目のプレイ画像（Ｆ７）が生成される。
　図３Ｃに示すように、８番目の画像データ（Ｆ８Ｉ（ＧＤＲ３））は、下の１／３の部分がＩフレームに相当するＩスライス（Ｇ３）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた７番目のフレーム（Ｆ７）が表示されている際に、端末１２の受信バッファに記憶されている８番目の画像データがデコードされることで、８番目のプレイ画像（Ｆ８）が生成される。
　以下、６番目の画像データ（Ｆ６Ｉ（ＧＤＲ１））から８番目の画像データ（Ｆ８Ｉ（ＧＤＲ３））のような、ＧＤＲにおけるＩスライスを含む画像データを、ＧＤＲフレームと呼ぶこととする。
　そして、８番目のプレイ画像（Ｆ８）が表示されている際に、端末１２の受信バッファに記憶されている９番目の画像データであるＰフレーム（Ｆ９Ｐ）がデコードされることで、９番目のプレイ画像（Ｆ９）が生成される。
　以降、同様にして、１０番目のプレイ画像（Ｆ１０）から１４番目のプレイ画像（Ｆ１４）が生成され、表示される。
　そして、１４番目のプレイ画像（Ｆ１４）が表示されている際に、端末１２の受信バッファに記憶されている１５番目の画像データであるＩフレーム（Ｆ１５Ｉ（１）～Ｆ１５Ｉ（３））がデコードされることで、１５番目のプレイ画像（Ｆ１５）が生成される。Ｉフレーム（Ｆ１５Ｉ（１）～Ｆ１５Ｉ（３））は画像データのサイズが大きく（図２Ｂの例では、Ｐフレームの画像データの３倍）、送信に時間を要したことで、プレイ画像（Ｆ１５）の表示は、２フレームに相当する時間だけ遅れる。
　一般的に、Ｉフレームは、ＰフレームやＧＤＲの技術を用いてエンコードされた画像データよりもサイズが大きいため、送信に必要なビットレートは高くなる。そのため、コンピュータネットワーク１４が転送可能な帯域を送信に必要なビットレートが超えた場合に、当該Ｉフレーム及び後続する画像データの送信が遅延、あるいは、欠落する可能性が高くなる。
　このことを踏まえ、本実施形態では、例えば、もしＩフレームの送信により画像データの送信量がサージ的に増加し、一時期に、転送可能帯域に接近するもしくは上回ることが予想される場合に、Ｉフレームにエンコードされたフレーム画像の次の少なくとも１つのフレーム画像については、エンコードがスキップされてもよい。ここでは例えば、１６番目、及び、１７番目のプレイ画像については、エンコードがスキップされる。そして、１８番目の画像データであるＰフレーム（Ｆ１８Ｐ）が、クラウドサーバ１０から端末１２に送信される。
　そして、本実施形態では、１５番目のプレイ画像（Ｆ１５）が表示されている際に、端末１２の受信バッファに記憶されている１８番目の画像データであるＰフレーム（Ｆ１８Ｐ）がデコードされることで、１８番目のプレイ画像（Ｆ１８）が生成される。
　そして、１８番目のプレイ画像（Ｆ１８）が表示されている際に、端末１２の受信バッファに記憶されている１９番目の画像データであるＰフレーム（Ｆ１９Ｐ）がデコードされることで、１９番目のプレイ画像（Ｆ１９）が生成される。以後、同様にして２０番目以降のプレイ画像が生成される。
　なお、１４番目のプレイ画像（Ｆ１４）が表示されてから１５番目のプレイ画像（Ｆ１５）が表示されるまでの間は、１４番目のプレイ画像（Ｆ１４）が継続表示されてもよいし、表示がブラックアウトしてもよい。また、この場合に、端末１２が、例えば、特願２０１９－０５６３２１や、特願２０１９－０５６３２２に記載されている技術を用いた代替画像を生成して、表示部１２ｆに表示させてもよい。
　端末１２がＩフレームを受信する際に表示がアンダーフローすることを避けるためにＩフレームに相当するサイズの画像データを事前にバッファリングする技術が存在する。当該技術によれば、受信するフレーム画像の数フレーム前の画像が表示される。本実施形態では、端末１２において、ＧＤＲフレームが送信される際に表示がアンダーフローしないサイズの受信バッファが確保される。そして、原則として、受信するフレーム画像の直前のフレームのフレーム画像が表示される。そのため、本実施形態によれば、Ｉフレームに相当するサイズの画像データを事前にバッファリングする技術よりもレイテンシが小さくなる。なお本実施形態において、アンダーフローを避けるために、Ｉフレームに相当するサイズの画像データを事前にバッファリングするようにしても構わない。
　また、端末１２は、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方（例えば、過去の所定時間における、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方）に基づいて、受信バッファの容量（深さ）を調整してもよい。例えば、端末１２は、通常のＩフレームの受信頻度が多い場合は、受信バッファの深さを増やしてもよい。そして、端末１２は、レイテンシが増えたとしてもアンダーフローによる表示遅延を削減する制御を実行してもよい。
　また、ＧＤＲの技術を用いず通常のＩフレームやＰフレームでのエンコードを行うと、画像データのサイズのばらつきが大きくなる。そのため、通信負荷の変動が大きくなり、上述のように、例えば、サイズの大きなＩフレーム及び後続するＰフレームの送信が遅延、あるいは、欠落する可能性が高くなる。
　一方で、ＧＤＲの技術を用いたエンコードを行うと、通信負荷の変動は小さいものの、シーンチェンジにおいて、表示される画像の全体が即座に切り替わらないという欠点がある。
　このことを踏まえ、本実施形態では以下のようにして、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できるようにした。
　以下、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドサーバ１０で実行される処理について、さらに説明する。
　図４は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の実行やプレイ画像の生成の機能など）が実装されていても構わない。
　図４に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、エンコードモードデータ記憶部２０、取得部２２、ＧＤＲ利用決定部２４、エンコード処理部２６、送信部２８、が含まれる。
　エンコードモードデータ記憶部２０は、記憶部１０ｂを主として実装される。取得部２２、エンコード処理部２６は、エンコード・デコード部１０ｄを主として実装される。ＧＤＲ利用決定部２４は、プロセッサ１０ａを主として実装される。送信部２８は、通信部１０ｃを主として実装される。
　以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
　図４に示すように、本実施形態に係る端末１２には、機能的には例えば、受信部３０、受信バッファ３２、デコード処理部３４、表示制御部３６、受信バッファ制御部３８、が含まれる。
　受信部３０は、通信部１２ｃを主として実装される。受信バッファ３２は、記憶部１２ｂを主として実装される。デコード処理部３４は、エンコード・デコード部１２ｄを主として実装される。表示制御部３６は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。受信バッファ制御部３８は、プロセッサ１２ａを主として実装される。
　以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
　エンコードモードデータ記憶部２０は、本実施形態では例えば、ＧＤＲを利用するか否かを示すエンコードモードデータを記憶する。ここでは例えば、エンコードモードデータは、１又は０の値をとることとする。
　取得部２２は、本実施形態では例えば、フレームバッファに描画されたフレーム画像（上述の例ではプレイ画像）を順次取得する。
　ＧＤＲ利用決定部２４は、本実施形態では例えば、取得部２２により取得されるフレーム画像、又は、コンピュータネットワーク１４における通信状況に基づいて、ＧＤＲを利用するか否かを決定する。
　ここで、ＧＤＲ利用決定部２４は、直前のフレーム画像からのシーンの変化量に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば、ＧＤＲ利用決定部２４は、シーンの変化量を示す値が所定値よりも大きい場合は、ＧＤＲを利用しないことを決定し、そうでない場合は、ＧＤＲを利用することを決定してもよい。
　ここで、シーンの変化量を示す値として、例えば、直前のフレーム画像と当該フレーム画像との相違度や類似度を示す指標値を用いてもよい。例えば、Peak Signal to Noise Ratio（ＰＳＮＲ）やStructural Similarity（ＳＳＩＭ）が所定値よりも小さい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。あるいは、シーンの変化量として、Motion Estimation（ＭＥ）変化量を用いてもよい。例えば、ＭＥ変化量の値が所定値よりも大きい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。あるいは、シーンの変化量を示す値として、直前のフレーム画像が表示されるタイミングと当該フレームのフレーム画像が表示されるタイミングとの間におけるオーディオが不連続である程度を示す値を用いてもよい。例えば、当該値が所定値よりも大きい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。
　また、所定の規則に基づき導出されるフレーム画像が表す内容を示すスコア値の変化量に基づいて、ＧＤＲを利用するか否かが決定されてもよい。例えば、シーンの切り替えタイミングか否か、フレームに表されている画像テクスチャの種類、特徴点の分布、奥行き情報、オブジェクトの量、３次元グラフィクスに用いているミップマップテクスチャの各レベルの使用量、ＬＯＤ（Level Of Detail）、テッセレーションの各レベルの使用量、文字及び記号の量、表されるシーンの種類などの情報から算出されるスコア値の変化量に基づいて、ＧＤＲを利用することが決定されてもよい。ここで例えば、空間的詳細度及び時間的詳細度の優先度を表すスコア値が算出されてもよい。
　また、ＧＤＲ利用決定部２４は、現時点のコンピュータネットワーク１４の転送可能帯域に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば転送可能帯域を示す値が所定値よりも大きい場合に、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。転送可能帯域に余裕がある場合は、通常のＩフレームが送信されてもそれほど問題とはならないと考えられる。また、転送可能帯域が充分あれば、通常のＩフレームが送信された後のフレーム画像のエンコードのスキップを省略可能であるため、この観点からも、転送可能帯域に余裕がある場合は、通常のＩフレームが送信されてもそれほど問題とはならない。
　また、ＧＤＲ利用決定部２４は、過去の単位時間あたりに画像データの欠落が発生した回数、又は、過去の単位時間あたりにＩフレームが生成された回数に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば、直近の所定時間について単位時間あたりに画像データの欠落が発生した回数が所定回数よりも大きい場合に、ＧＤＲを利用することが決定され、そうでない場合は、ＧＤＲを利用しないことが決定されてもよい。また、直近の所定時間について単位時間あたりにＩフレームが生成された回数が所定回数よりも多い場合に、ＧＤＲを利用することが決定され、そうでない場合は、ＧＤＲを利用しないことが決定されてもよい。
　転送帯域が不十分な状況でＩフレームの転送回数が増えると、転送量過多による意図しないデータ欠落、あるいは、意図的なＩフレーム後の画像データの送信のスキップの、いずれかにより、フレームレートが不連続となる。その結果、端末１２における動画像の再生におけるスムースネスが低下し、ユーザ体験が悪化してしまう。このような場合に、シーンの変化量が大きくても、Ｉフレームを用いて高画質に再生することよりも、ＧＤＲを利用することによってフレームレートのスムースネスを確保することを優先させてもよい。
　また、ＧＤＲ利用決定部２４は、深層学習などの機械学習モデルを用いて、ＧＤＲを利用するか否かを決定してもよい。
　また、ＧＤＲ利用決定部２４は、以上で挙げたもののうちのいくつかあるいはすべてを組み合わせて、その総合的な評価値に基づいて、ＧＤＲを利用するか否かを決定してもよい。
　ＧＤＲ利用決定部２４は、例えば、ＧＤＲを利用するか否かの決定に応じて、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータを更新する。例えば、エンコードモードデータの値が０である場合にＧＤＲを利用することが決定された際には、当該エンコードモードデータを値が１であるものに更新する。また例えば、エンコードモードデータの値が１である場合にＧＤＲを利用しないことが決定された際には、当該エンコードモードデータを値が０であるものに更新する。
　エンコード処理部２６は、本実施形態では例えば、取得部２２により取得されるフレーム画像をエンコードすることで、画像データを生成する。ここで例えば、フレーム画像が、通常のＩフレーム、又は、上述のＧＤＲフレームのいずれかにエンコードされる状況では、エンコード処理部２６は、ＧＤＲを利用するか否かの決定に応じて、当該フレーム画像をいずれかにエンコードする。
　例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータが１である場合は、エンコード処理部２６は、フレーム画像を、ＧＤＲフレームにエンコードする。また例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータが０である場合は、エンコード処理部２６は、フレーム画像を、通常のＩフレームにエンコードする。
　また、上述のように、エンコード処理部２６は、フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップしてもよい。ここでエンコード処理部２６は、当該通常のＩフレームのデータサイズと、送信部２８によって特定される転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップしてもよい。
　送信部２８は、本実施形態では例えば、エンコード処理部２６により生成される画像データを端末１２に送信する。ここで送信部２８が、コンピュータネットワーク１４の通信状況を監視することで、転送可能帯域を特定してもよい。そして、送信部２８が、特定される転送可能帯域に応じたデータレートで画像データを端末１２に送信してもよい。
　受信部３０は、本実施形態では例えば、画像データを送信装置から受信する。
　受信バッファ３２は、本実施形態では例えば、受信部３０が受信する画像データを記憶する。
　デコード処理部３４は、本実施形態では例えば、受信バッファ３２に記憶される画像データをデコードすることによりプレイ画像を生成する。
　表示制御部３６は、本実施形態では例えば、デコード処理部３４により生成されるプレイ画像を表示させる。
　受信バッファ制御部３８は、本実施形態では例えば、受信バッファ３２のサイズを制御する。受信バッファ制御部３８は、例えば、ＧＤＲフレームがクラウドサーバ１０から送信される際にプレイ画像の表示がアンダーフローしないサイズの受信バッファ３２を確保する。
　ここで、受信バッファ制御部３８が、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファ３２の容量を調整してもよい。例えば、受信バッファ制御部３８が、過去の所定時間における、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファ３２の容量を調整してもよい。
　ここで、本実施形態に係るクラウドサーバ１０において実行される処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。図５に示すＳ１０１～Ｓ１０５に示す処理は、固定あるいは可変のフレームレートで繰り返し実行される。
　まず、取得部２２が、フレームバッファに描画された当該フレームのフレーム画像を取得する（Ｓ１０１）。
　そして、ＧＤＲ利用決定部２４が、上述のようにして、ＧＤＲを利用するか否かを決定する（Ｓ１０２）。
　そして、ＧＤＲ利用決定部２４が、上述のように、Ｓ１０２に示す処理における決定に応じて、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値を設定する（Ｓ１０３）。ＧＤＲを利用することが決定された場合は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が１に設定される。ＧＤＲを利用しないことが決定された場合は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が０に設定される。
　そして、エンコード処理部２６は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値に応じたエンコード処理をＳ１０１に示す処理で取得されたフレーム画像に対して実行することで、画像データを生成する（Ｓ１０４）。
　例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が０であるとする。この場合に、エンコード処理部２６が、当該フレーム画像についてはＩフレームにエンコードすべきと判断した際には、当該フレーム画像を通常のＩフレームにエンコードする。
　一方、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が１であるとする。この場合に、エンコード処理部２６は、当該フレーム画像についてはＩフレームにエンコードすべきと判断した際には、当該フレーム画像を、Ｉスライスを含む画像データ（例えば上述のＧＤＲフレーム）にエンコードする。
　ここで直前のフレームの画像データがＩスライスを含まない場合は、上の１／３の部分がＩフレームに相当するＩスライス（Ｇ１）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ１）が生成される。直前のフレームの画像データがＧＤＲ１である場合は、中央の１／３の部分がＩフレームに相当するＩスライス（Ｇ２）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ２）が生成される。直前のフレームの画像データがＧＤＲ２である場合は、下の１／３の部分がＩフレームに相当するＩスライス（Ｇ３）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ３）が生成される。
　なお、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値に関係なく、エンコード処理部２６は、当該フレーム画像についてはＰフレームにエンコードすべきと判断した際には、当該フレーム画像を通常のＰフレームにエンコードする。
　そして、送信部２８が、Ｓ１０４に示す処理で生成された画像データを端末１２に送信して（Ｓ１０５）、Ｓ１０１に示す処理に戻る。
　本実施形態によれば、以上のようにして、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できることとなる。
　また、本実施形態では、以上のようにして、通常はＧＤＲの技術を利用するようにして、シーンの変化量が多い場合などの所定の場合だけ通常のＩフレームが送信されるようにすることが可能である。また本実施形態では、通常のＩフレームの送信により発生する送信される画像データのサージ的な波を後続するフレームのエンコードをスキップすることで速やかに収束させることができる。また本実施形態では、上述した、端末１２がＩフレームを受信する際に表示がアンダーフローすることを避けるためにＩフレームに相当するサイズの画像データを事前にバッファリングする技術を用いないことが可能である。そのため、本実施形態によれば、端末１２におけるプレイ画像の表示遅延を削減することができることとなる。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、本実施形態において、過去の単位時間あたりに画像データの欠落が発生した回数が所定回数よりも多い場合に、Ｐフレームの代わりにＩスライスを含む画像データ（例えば上述のＧＤＲフレーム）を送信する頻度を増加させてもよい。例えば、直近の所定時間について単位時間あたりに画像データの欠落が発生した回数が所定回数よりも多い場合に、Ｐフレームの代わりにＩスライスを含む画像データ（例えば上述のＧＤＲフレーム）を送信する頻度を増加させてもよい。
　また、上述の例では、ＧＤＲの技術を利用する場合に、Ｉフレームが３分割された上で、１／３がＩスライスであるＧＤＲフレームが３フレームにわたって送信されているが、Ｉフレームの分割は３分割には限定されない。任意のｎについて、Ｉフレームがｎ分割された上で、１／ｎがＩスライスであるＧＤＲフレームがｎフレームにわたって送信されてもよい。
　また、１つのフレーム画像を複数の部分に分割して送信するスライス転送方式によるエンコードや画像データの送信が行われる状況にも本実施形態は適用可能である。スライス転送方式では、以上の説明におけるＩフレームは、Ｉスライスごとに送信される。以上の説明におけるＰフレームは、Ｐスライスごとに送信される。以上の説明におけるＧＤＲフレームは、上述の例では１／３がＩフレームに相当するスライスごとに送信される。
　また、本発明の適用範囲は、クラウドゲーミングシステム１には限定されない。例えば、家庭内に配置されたサーバと、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどを介して当該サーバと接続される端末と、を含むゲームシステムにも、本発明は適用可能である。すなわち、コンピュータネットワーク１４は、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどであってもよい。また、当該サーバと当該端末とは有線で接続されていても無線で接続されていてもよい。
　また、本発明が適用されるゲームの内容は特に限定されず、例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）を用いたゲームを実行するゲームシステムにも本発明は適用可能である。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (11)

  1. 　フレームバッファに描画されたフレーム画像を順次取得する取得部と、
    　前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する決定部と、
    　前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするエンコード処理部と、
    　前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する送信部と、
    　を含むことを特徴とする送信装置。
  2. 　前記エンコード処理部は、前記フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップする、
    　ことを特徴とする請求項１に記載の送信装置。
  3. 　前記エンコード処理部は、前記Ｉフレームのデータサイズと、転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップする、
    　ことを特徴とする請求項２に記載の送信装置。
  4. 　前記送信部は、転送可能帯域に応じたデータレートで前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する、
    　ことを特徴とする請求項１から３のいずれか一項に記載の送信装置。
  5. 　前記決定部は、直前のフレーム画像からのシーンの変化量、過去の単位時間あたりに前記Ｉフレーム、若しくは、前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも１つに基づいて、ＧＤＲを利用するか否かを決定する、
    　ことを特徴とする請求項１から４のいずれか一項に記載の送信装置。
  6. 　画像データを送信装置から受信する受信部と、
    　前記画像データを記憶する受信バッファと、
    　前記画像データをデコードすることにより画像を生成するデコード処理部と、
    　前記画像を表示させる表示制御部と、
    　グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの前記受信バッファを確保する受信バッファ制御部と、
    　を含むことを特徴とする受信装置。
  7. 　前記受信バッファ制御部は、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファの容量を調整する、
    　ことを特徴とする請求項６に記載の受信装置。
  8. 　フレームバッファに描画されたフレーム画像を順次取得するステップと、
    　前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定するステップと、
    　前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするステップと、
    　前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信するステップと、
    　を含むことを特徴とする送信方法。
  9. 　画像データを送信装置から受信するステップと、
    　前記画像データをデコードすることにより画像を生成するステップと、
    　前記画像を表示させるステップと、
    　グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保するステップと、
    　を含むことを特徴とする受信方法。
  10. 　フレームバッファに描画されたフレーム画像を順次取得する手順、
    　前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する手順、
    　前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードする手順、
    　前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
  11. 　画像データを送信装置から受信する手順、
    　前記画像データをデコードすることにより画像を生成する手順、
    　前記画像を表示させる手順、
    　グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/032657 2019-09-06 2020-08-28 送信装置、受信装置、送信方法、受信方法及びプログラム WO2021044974A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021543739A JP7304419B2 (ja) 2019-09-06 2020-08-28 送信装置、送信方法及びプログラム
US17/638,020 US20220279190A1 (en) 2019-09-06 2020-08-28 Transmission apparatus, reception apparatus, transmission method,reception method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-163117 2019-09-06
JP2019163117 2019-09-06

Publications (1)

Publication Number Publication Date
WO2021044974A1 true WO2021044974A1 (ja) 2021-03-11

Family

ID=74853244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032657 WO2021044974A1 (ja) 2019-09-06 2020-08-28 送信装置、受信装置、送信方法、受信方法及びプログラム

Country Status (3)

Country Link
US (1) US20220279190A1 (ja)
JP (1) JP7304419B2 (ja)
WO (1) WO2021044974A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05252511A (ja) * 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 画像分配装置
JPH06253286A (ja) * 1993-02-26 1994-09-09 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH08237666A (ja) * 1995-02-23 1996-09-13 Toshiba Corp フレーム間帯域圧縮信号処理装置
JPH11289542A (ja) * 1998-02-09 1999-10-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、および画像符号化プログラムを記録した記録媒体
JP2002158969A (ja) * 2000-11-22 2002-05-31 Nec Corp 動画像符号化データ変換装置及びその方法
JP2004215252A (ja) * 2002-12-23 2004-07-29 Polycom Inc ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル
WO2009044475A1 (ja) * 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US20070030894A1 (en) * 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
RU2625534C2 (ru) * 2012-07-02 2017-07-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
US10638147B2 (en) * 2018-06-01 2020-04-28 Apple Inc. Gradual decoder refresh techniques with management of reference pictures

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05252511A (ja) * 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 画像分配装置
JPH06253286A (ja) * 1993-02-26 1994-09-09 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH08237666A (ja) * 1995-02-23 1996-09-13 Toshiba Corp フレーム間帯域圧縮信号処理装置
JPH11289542A (ja) * 1998-02-09 1999-10-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、および画像符号化プログラムを記録した記録媒体
JP2002158969A (ja) * 2000-11-22 2002-05-31 Nec Corp 動画像符号化データ変換装置及びその方法
JP2004215252A (ja) * 2002-12-23 2004-07-29 Polycom Inc ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル
WO2009044475A1 (ja) * 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Also Published As

Publication number Publication date
JP7304419B2 (ja) 2023-07-06
JPWO2021044974A1 (ja) 2021-03-11
US20220279190A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN112104879B (zh) 一种视频编码方法、装置、电子设备及存储介质
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
US10511666B2 (en) Output data providing server and output data providing method
CN109076258B (zh) 接收装置、发送装置、控制方法、发送方法和存储介质
CN113286146B (zh) 媒体数据处理方法、装置、设备以及存储介质
US11949887B2 (en) Transmission apparatus, transmission method, and program
US20190215520A1 (en) Systems and methods for deferred post-processes in video encoding
CN113747160A (zh) 视频编码配置方法、装置、设备及计算机可读存储介质
WO2021044974A1 (ja) 送信装置、受信装置、送信方法、受信方法及びプログラム
US20230121046A1 (en) Transmission device, transmission method, and program
CN115460458B (zh) 视频丢帧方法和设备
CN110741647A (zh) 一种图像处理方法、装置、可移动平台及存储介质
JP6483850B2 (ja) データ処理方法および装置
JP6752312B2 (ja) 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム
WO2021049495A1 (ja) 表示制御装置、送信装置、表示制御方法及びプログラム
US20240171741A1 (en) Video compression at scene changes for low latency interactive experience
US20230164330A1 (en) Data codec method and apparatus
EP4232171B1 (en) Low-delay multi-pass frame-level rate control using a shared reference frame
WO2021200493A1 (ja) 送信装置、送信方法及びプログラム
WO2020194957A1 (ja) 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
JP2008016939A (ja) プログラム、情報記憶媒体、データ伝送装置およびデータ伝送システム
WO2023033833A1 (en) A multi-try encoding operation for streaming applications
JP2024075512A (ja) 短待ち時間の双方向体験のための場面変更におけるビデオ圧縮
JP2021132259A (ja) 受信装置及びプログラム
JP2022039452A (ja) 受信端末、配信サーバ、受信方法及び受信プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20860301

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543739

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20860301

Country of ref document: EP

Kind code of ref document: A1