JP7304419B2 - 送信装置、送信方法及びプログラム - Google Patents

送信装置、送信方法及びプログラム Download PDF

Info

Publication number
JP7304419B2
JP7304419B2 JP2021543739A JP2021543739A JP7304419B2 JP 7304419 B2 JP7304419 B2 JP 7304419B2 JP 2021543739 A JP2021543739 A JP 2021543739A JP 2021543739 A JP2021543739 A JP 2021543739A JP 7304419 B2 JP7304419 B2 JP 7304419B2
Authority
JP
Japan
Prior art keywords
frame
gdr
image
slice
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021543739A
Other languages
English (en)
Other versions
JPWO2021044974A1 (ja
Inventor
活志 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2021044974A1 publication Critical patent/JPWO2021044974A1/ja
Application granted granted Critical
Publication of JP7304419B2 publication Critical patent/JP7304419B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、送信装置、受信装置、送信方法、受信方法及びプログラムに関する。
参照先を設定することで画像をエンコードして生成される画像データのサイズを圧縮する技術が知られている。例えば、フレーム画像を、参照先が不要であるＩフレームにエンコードするよりも、参照先が必要であるＰフレームにエンコードする方が、当該フレーム画像をエンコードした画像データのサイズは小さくなる。
また、フレーム画像の一部をＩフレームに相当するＩスライスに、残りをＰフレームに相当するＰスライスにエンコードすることで、画像データのサイズのばらつきを抑えるグラデュアルデコーダリフレッシュ（ＧＤＲ）の技術が存在する。
ＧＤＲの技術を用いず通常のＩフレームやＰフレームでのエンコードを行うと、画像データのサイズのばらつきが大きくなる。そのため、通信負荷の変動が大きくなり、例えば、サイズの大きなＩフレーム及び後続するＰフレームの送信が遅延、あるいは、欠落する可能性が高くなる。
一方で、ＧＤＲの技術を用いたエンコードを行うと、通信負荷の変動は小さいものの、シーンチェンジにおいて、表示される画像の全体が即座に切り替わらないという欠点がある。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できる送信装置、受信装置、送信方法、受信方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る送信装置は、フレームバッファに描画されたフレーム画像を順次取得する取得部と、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する決定部と、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするエンコード処理部と、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する送信部と、を含む。
本発明の一態様では、前記エンコード処理部は、前記フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップする。
この態様では、前記エンコード処理部は、前記Ｉフレームのデータサイズと、転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップしてもよい。
また、本発明の一態様では、前記送信部は、転送可能帯域に応じたデータレートで前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する。
また、本発明の一態様では、前記決定部は、直前のフレーム画像からのシーンの変化量、過去の単位時間あたりに前記Ｉフレーム、若しくは、前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも１つに基づいて、ＧＤＲを利用するか否かを決定する。
また、本発明に係る受信装置は、画像データを送信装置から受信する受信部と、前記画像データを記憶する受信バッファと、前記画像データをデコードすることにより画像を生成するデコード処理部と、前記画像を表示させる表示制御部と、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの前記受信バッファを確保する受信バッファ制御部と、を含む。
この態様では、前記受信バッファ制御部は、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファの容量を調整する。
また、本発明に係る送信方法は、フレームバッファに描画されたフレーム画像を順次取得するステップと、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定するステップと、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードするステップと、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信するステップと、を含む。
また、本発明に係る受信方法は、画像データを送信装置から受信するステップと、前記画像データをデコードすることにより画像を生成するステップと、前記画像を表示させるステップと、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保するステップと、を含む。
また、本発明に係るプログラムは、フレームバッファに描画されたフレーム画像を順次取得する手順、前記フレーム画像又は通信状況に基づいて、グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する手順、前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータのいずれかにエンコードする手順、前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する手順、をコンピュータに実行させる。
また、本発明に係る別のプログラムは、画像データを送信装置から受信する手順、前記画像データをデコードすることにより画像を生成する手順、前記画像を表示させる手順、グラデュアルデコーダリフレッシュ（ＧＤＲ）におけるＩスライスを含むデータである前記画像データが前記送信装置から送信される際に前記画像の表示がアンダーフローしないサイズの、前記画像データを記憶する受信バッファを確保する手順、をコンピュータに実行させる。
本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。 端末が受信する画像データと端末で表示される画像との関係の一例を模式的に示す図である。 クラウドサーバ１０から端末１２が受信する画像データと、表示される画像との関係の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 ＧＤＲの技術を用いてエンコードされた画像データのデータ構造の一例を模式的に示す図である。 本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。
図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。
本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。
図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。
プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。
エンコード・デコード部１０ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。
図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。
プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。
エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。
表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。
なお、端末１２に、ＧＰＵやフレームバッファが含まれている必要はない。
本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すフレーム画像であるプレイ画像が生成され、当該プレイ画像がクラウドサーバ１０のフレームバッファに描画される。本実施形態では、ゲーム処理及びプレイ画像の生成が繰り返し実行される。
そして、クラウドサーバ１０は、フレームバッファに描画されたプレイ画像を順次取得して、当該プレイ画像を表す画像データを生成する。そして、クラウドサーバ１０は、生成される画像データを端末１２に送信する。そして端末１２は、クラウドサーバ１０から受信する画像データをデコードすることにより生成されるプレイ画像を表示部１２ｆに表示させる。このようにして、本実施形態では一連のプレイ画像が表示部１２ｆに表示される。
本実施形態に係るクラウドサーバ１０は、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードと、ＧＤＲの技術を用いないエンコードと、を切り替えることができるようになっている。
図２Ａ及び図２Ｂは、端末１２が受信する画像データと端末１２で表示される画像との関係の一例を模式的に示す図である。図２Ａ及び図２Ｂには、３番目の画像以降の例が示されている。図２Ａ及び図２Ｂの縦方向は時間経過を表し、下方向が時間軸正方向に相当する。また、図２Ｂには、図２Ａが示す時間に続く時間が示されている。
この例では、３番目のプレイ画像（Ｆ３）が表示されている際に、端末１２の受信バッファに記憶されている４番目の画像データであるＰフレーム（Ｆ４Ｐ）がデコードされることで、４番目のプレイ画像（Ｆ４）が生成される。そして、デコードされた４番目のプレイ画像（Ｆ４）が表示されている際に、端末１２の受信バッファに記憶されている５番目の画像データであるＰフレーム（Ｆ５Ｐ）がデコードされることで、５番目のプレイ画像（Ｆ５）が生成される。
そして、この例では、６番目の画像データから８番目の画像データについては、ＧＤＲの技術を用いてエンコードされている。
図３Ａに示すように、６番目の画像データ（Ｆ６Ｉ（ＧＤＲ１））は、上の１／３の部分がＩフレームに相当するＩスライス（Ｇ１）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた５番目のフレーム（Ｆ５）が表示されている際に、端末１２の受信バッファに記憶されている６番目の画像データがデコードされることで、６番目のプレイ画像（Ｆ６）が生成される。
図３Ｂに示すように、７番目の画像データ（Ｆ７Ｉ（ＧＤＲ２））は、中央の１／３の部分がＩフレームに相当するＩスライス（Ｇ２）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた６番目のフレーム（Ｆ６）が表示されている際に、端末１２の受信バッファに記憶されている７番目の画像データがデコードされることで、７番目のプレイ画像（Ｆ７）が生成される。
図３Ｃに示すように、８番目の画像データ（Ｆ８Ｉ（ＧＤＲ３））は、下の１／３の部分がＩフレームに相当するＩスライス（Ｇ３）となっており、残りの部分がＰフレームに相当するＰスライスとなっている。そして、デコードされた７番目のフレーム（Ｆ７）が表示されている際に、端末１２の受信バッファに記憶されている８番目の画像データがデコードされることで、８番目のプレイ画像（Ｆ８）が生成される。
以下、６番目の画像データ（Ｆ６Ｉ（ＧＤＲ１））から８番目の画像データ（Ｆ８Ｉ（ＧＤＲ３））のような、ＧＤＲにおけるＩスライスを含む画像データを、ＧＤＲフレームと呼ぶこととする。
そして、８番目のプレイ画像（Ｆ８）が表示されている際に、端末１２の受信バッファに記憶されている９番目の画像データであるＰフレーム（Ｆ９Ｐ）がデコードされることで、９番目のプレイ画像（Ｆ９）が生成される。
以降、同様にして、１０番目のプレイ画像（Ｆ１０）から１４番目のプレイ画像（Ｆ１４）が生成され、表示される。
そして、１４番目のプレイ画像（Ｆ１４）が表示されている際に、端末１２の受信バッファに記憶されている１５番目の画像データであるＩフレーム（Ｆ１５Ｉ（１）～Ｆ１５Ｉ（３））がデコードされることで、１５番目のプレイ画像（Ｆ１５）が生成される。Ｉフレーム（Ｆ１５Ｉ（１）～Ｆ１５Ｉ（３））は画像データのサイズが大きく（図２Ｂの例では、Ｐフレームの画像データの３倍）、送信に時間を要したことで、プレイ画像（Ｆ１５）の表示は、２フレームに相当する時間だけ遅れる。
一般的に、Ｉフレームは、ＰフレームやＧＤＲの技術を用いてエンコードされた画像データよりもサイズが大きいため、送信に必要なビットレートは高くなる。そのため、コンピュータネットワーク１４が転送可能な帯域を送信に必要なビットレートが超えた場合に、当該Ｉフレーム及び後続する画像データの送信が遅延、あるいは、欠落する可能性が高くなる。
このことを踏まえ、本実施形態では、例えば、もしＩフレームの送信により画像データの送信量がサージ的に増加し、一時期に、転送可能帯域に接近するもしくは上回ることが予想される場合に、Ｉフレームにエンコードされたフレーム画像の次の少なくとも１つのフレーム画像については、エンコードがスキップされてもよい。ここでは例えば、１６番目、及び、１７番目のプレイ画像については、エンコードがスキップされる。そして、１８番目の画像データであるＰフレーム（Ｆ１８Ｐ）が、クラウドサーバ１０から端末１２に送信される。
そして、本実施形態では、１５番目のプレイ画像（Ｆ１５）が表示されている際に、端末１２の受信バッファに記憶されている１８番目の画像データであるＰフレーム（Ｆ１８Ｐ）がデコードされることで、１８番目のプレイ画像（Ｆ１８）が生成される。
そして、１８番目のプレイ画像（Ｆ１８）が表示されている際に、端末１２の受信バッファに記憶されている１９番目の画像データであるＰフレーム（Ｆ１９Ｐ）がデコードされることで、１９番目のプレイ画像（Ｆ１９）が生成される。以後、同様にして２０番目以降のプレイ画像が生成される。
なお、１４番目のプレイ画像（Ｆ１４）が表示されてから１５番目のプレイ画像（Ｆ１５）が表示されるまでの間は、１４番目のプレイ画像（Ｆ１４）が継続表示されてもよいし、表示がブラックアウトしてもよい。また、この場合に、端末１２が、例えば、特願２０１９－０５６３２１や、特願２０１９－０５６３２２に記載されている技術を用いた代替画像を生成して、表示部１２ｆに表示させてもよい。
端末１２がＩフレームを受信する際に表示がアンダーフローすることを避けるためにＩフレームに相当するサイズの画像データを事前にバッファリングする技術が存在する。当該技術によれば、受信するフレーム画像の数フレーム前の画像が表示される。本実施形態では、端末１２において、ＧＤＲフレームが送信される際に表示がアンダーフローしないサイズの受信バッファが確保される。そして、原則として、受信するフレーム画像の直前のフレームのフレーム画像が表示される。そのため、本実施形態によれば、Ｉフレームに相当するサイズの画像データを事前にバッファリングする技術よりもレイテンシが小さくなる。なお本実施形態において、アンダーフローを避けるために、Ｉフレームに相当するサイズの画像データを事前にバッファリングするようにしても構わない。
また、端末１２は、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方（例えば、過去の所定時間における、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方）に基づいて、受信バッファの容量（深さ）を調整してもよい。例えば、端末１２は、通常のＩフレームの受信頻度が多い場合は、受信バッファの深さを増やしてもよい。そして、端末１２は、レイテンシが増えたとしてもアンダーフローによる表示遅延を削減する制御を実行してもよい。
また、ＧＤＲの技術を用いず通常のＩフレームやＰフレームでのエンコードを行うと、画像データのサイズのばらつきが大きくなる。そのため、通信負荷の変動が大きくなり、上述のように、例えば、サイズの大きなＩフレーム及び後続するＰフレームの送信が遅延、あるいは、欠落する可能性が高くなる。
一方で、ＧＤＲの技術を用いたエンコードを行うと、通信負荷の変動は小さいものの、シーンチェンジにおいて、表示される画像の全体が即座に切り替わらないという欠点がある。
このことを踏まえ、本実施形態では以下のようにして、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できるようにした。
以下、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドサーバ１０で実行される処理について、さらに説明する。
図４は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の実行やプレイ画像の生成の機能など）が実装されていても構わない。
図４に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、エンコードモードデータ記憶部２０、取得部２２、ＧＤＲ利用決定部２４、エンコード処理部２６、送信部２８、が含まれる。
エンコードモードデータ記憶部２０は、記憶部１０ｂを主として実装される。取得部２２、エンコード処理部２６は、エンコード・デコード部１０ｄを主として実装される。ＧＤＲ利用決定部２４は、プロセッサ１０ａを主として実装される。送信部２８は、通信部１０ｃを主として実装される。
以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
図４に示すように、本実施形態に係る端末１２には、機能的には例えば、受信部３０、受信バッファ３２、デコード処理部３４、表示制御部３６、受信バッファ制御部３８、が含まれる。
受信部３０は、通信部１２ｃを主として実装される。受信バッファ３２は、記憶部１２ｂを主として実装される。デコード処理部３４は、エンコード・デコード部１２ｄを主として実装される。表示制御部３６は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。受信バッファ制御部３８は、プロセッサ１２ａを主として実装される。
以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
エンコードモードデータ記憶部２０は、本実施形態では例えば、ＧＤＲを利用するか否かを示すエンコードモードデータを記憶する。ここでは例えば、エンコードモードデータは、１又は０の値をとることとする。
取得部２２は、本実施形態では例えば、フレームバッファに描画されたフレーム画像（上述の例ではプレイ画像）を順次取得する。
ＧＤＲ利用決定部２４は、本実施形態では例えば、取得部２２により取得されるフレーム画像、又は、コンピュータネットワーク１４における通信状況に基づいて、ＧＤＲを利用するか否かを決定する。
ここで、ＧＤＲ利用決定部２４は、直前のフレーム画像からのシーンの変化量に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば、ＧＤＲ利用決定部２４は、シーンの変化量を示す値が所定値よりも大きい場合は、ＧＤＲを利用しないことを決定し、そうでない場合は、ＧＤＲを利用することを決定してもよい。
ここで、シーンの変化量を示す値として、例えば、直前のフレーム画像と当該フレーム画像との相違度や類似度を示す指標値を用いてもよい。例えば、Peak Signal to Noise Ratio（ＰＳＮＲ）やStructural Similarity（ＳＳＩＭ）が所定値よりも小さい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。あるいは、シーンの変化量として、Motion Estimation（ＭＥ）変化量を用いてもよい。例えば、ＭＥ変化量の値が所定値よりも大きい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。あるいは、シーンの変化量を示す値として、直前のフレーム画像が表示されるタイミングと当該フレームのフレーム画像が表示されるタイミングとの間におけるオーディオが不連続である程度を示す値を用いてもよい。例えば、当該値が所定値よりも大きい場合は、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。
また、所定の規則に基づき導出されるフレーム画像が表す内容を示すスコア値の変化量に基づいて、ＧＤＲを利用するか否かが決定されてもよい。例えば、シーンの切り替えタイミングか否か、フレームに表されている画像テクスチャの種類、特徴点の分布、奥行き情報、オブジェクトの量、３次元グラフィクスに用いているミップマップテクスチャの各レベルの使用量、ＬＯＤ（Level Of Detail）、テッセレーションの各レベルの使用量、文字及び記号の量、表されるシーンの種類などの情報から算出されるスコア値の変化量に基づいて、ＧＤＲを利用することが決定されてもよい。ここで例えば、空間的詳細度及び時間的詳細度の優先度を表すスコア値が算出されてもよい。
また、ＧＤＲ利用決定部２４は、現時点のコンピュータネットワーク１４の転送可能帯域に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば転送可能帯域を示す値が所定値よりも大きい場合に、ＧＤＲを利用しないことが決定され、そうでない場合は、ＧＤＲを利用することが決定されてもよい。転送可能帯域に余裕がある場合は、通常のＩフレームが送信されてもそれほど問題とはならないと考えられる。また、転送可能帯域が充分あれば、通常のＩフレームが送信された後のフレーム画像のエンコードのスキップを省略可能であるため、この観点からも、転送可能帯域に余裕がある場合は、通常のＩフレームが送信されてもそれほど問題とはならない。
また、ＧＤＲ利用決定部２４は、過去の単位時間あたりに画像データの欠落が発生した回数、又は、過去の単位時間あたりにＩフレームが生成された回数に基づいて、ＧＤＲを利用するか否かを決定してもよい。例えば、直近の所定時間について単位時間あたりに画像データの欠落が発生した回数が所定回数よりも大きい場合に、ＧＤＲを利用することが決定され、そうでない場合は、ＧＤＲを利用しないことが決定されてもよい。また、直近の所定時間について単位時間あたりにＩフレームが生成された回数が所定回数よりも多い場合に、ＧＤＲを利用することが決定され、そうでない場合は、ＧＤＲを利用しないことが決定されてもよい。
転送帯域が不十分な状況でＩフレームの転送回数が増えると、転送量過多による意図しないデータ欠落、あるいは、意図的なＩフレーム後の画像データの送信のスキップの、いずれかにより、フレームレートが不連続となる。その結果、端末１２における動画像の再生におけるスムースネスが低下し、ユーザ体験が悪化してしまう。このような場合に、シーンの変化量が大きくても、Ｉフレームを用いて高画質に再生することよりも、ＧＤＲを利用することによってフレームレートのスムースネスを確保することを優先させてもよい。
また、ＧＤＲ利用決定部２４は、深層学習などの機械学習モデルを用いて、ＧＤＲを利用するか否かを決定してもよい。
また、ＧＤＲ利用決定部２４は、以上で挙げたもののうちのいくつかあるいはすべてを組み合わせて、その総合的な評価値に基づいて、ＧＤＲを利用するか否かを決定してもよい。
ＧＤＲ利用決定部２４は、例えば、ＧＤＲを利用するか否かの決定に応じて、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータを更新する。例えば、エンコードモードデータの値が０である場合にＧＤＲを利用することが決定された際には、当該エンコードモードデータを値が１であるものに更新する。また例えば、エンコードモードデータの値が１である場合にＧＤＲを利用しないことが決定された際には、当該エンコードモードデータを値が０であるものに更新する。
エンコード処理部２６は、本実施形態では例えば、取得部２２により取得されるフレーム画像をエンコードすることで、画像データを生成する。ここで例えば、フレーム画像が、通常のＩフレーム、又は、上述のＧＤＲフレームのいずれかにエンコードされる状況では、エンコード処理部２６は、ＧＤＲを利用するか否かの決定に応じて、当該フレーム画像をいずれかにエンコードする。
例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータが１である場合は、エンコード処理部２６は、フレーム画像を、ＧＤＲフレームにエンコードする。また例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータが０である場合は、エンコード処理部２６は、フレーム画像を、通常のＩフレームにエンコードする。
また、上述のように、エンコード処理部２６は、フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップしてもよい。ここでエンコード処理部２６は、当該通常のＩフレームのデータサイズと、送信部２８によって特定される転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップしてもよい。
送信部２８は、本実施形態では例えば、エンコード処理部２６により生成される画像データを端末１２に送信する。ここで送信部２８が、コンピュータネットワーク１４の通信状況を監視することで、転送可能帯域を特定してもよい。そして、送信部２８が、特定される転送可能帯域に応じたデータレートで画像データを端末１２に送信してもよい。
受信部３０は、本実施形態では例えば、画像データを送信装置から受信する。
受信バッファ３２は、本実施形態では例えば、受信部３０が受信する画像データを記憶する。
デコード処理部３４は、本実施形態では例えば、受信バッファ３２に記憶される画像データをデコードすることによりプレイ画像を生成する。
表示制御部３６は、本実施形態では例えば、デコード処理部３４により生成されるプレイ画像を表示させる。
受信バッファ制御部３８は、本実施形態では例えば、受信バッファ３２のサイズを制御する。受信バッファ制御部３８は、例えば、ＧＤＲフレームがクラウドサーバ１０から送信される際にプレイ画像の表示がアンダーフローしないサイズの受信バッファ３２を確保する。
ここで、受信バッファ制御部３８が、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファ３２の容量を調整してもよい。例えば、受信バッファ制御部３８が、過去の所定時間における、転送可能帯域、又は、通常のＩフレームの受信量の少なくとも一方に基づいて、受信バッファ３２の容量を調整してもよい。
ここで、本実施形態に係るクラウドサーバ１０において実行される処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。図５に示すＳ１０１～Ｓ１０５に示す処理は、固定あるいは可変のフレームレートで繰り返し実行される。
まず、取得部２２が、フレームバッファに描画された当該フレームのフレーム画像を取得する（Ｓ１０１）。
そして、ＧＤＲ利用決定部２４が、上述のようにして、ＧＤＲを利用するか否かを決定する（Ｓ１０２）。
そして、ＧＤＲ利用決定部２４が、上述のように、Ｓ１０２に示す処理における決定に応じて、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値を設定する（Ｓ１０３）。ＧＤＲを利用することが決定された場合は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が１に設定される。ＧＤＲを利用しないことが決定された場合は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が０に設定される。
そして、エンコード処理部２６は、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値に応じたエンコード処理をＳ１０１に示す処理で取得されたフレーム画像に対して実行することで、画像データを生成する（Ｓ１０４）。
例えば、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が０であるとする。この場合に、エンコード処理部２６が、当該フレーム画像についてはＩフレームにエンコードすべきと判断した際には、当該フレーム画像を通常のＩフレームにエンコードする。
一方、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値が１であるとする。この場合に、エンコード処理部２６は、当該フレーム画像についてはＩフレームにエンコードすべきと判断した際には、当該フレーム画像を、Ｉスライスを含む画像データ（例えば上述のＧＤＲフレーム）にエンコードする。
ここで直前のフレームの画像データがＩスライスを含まない場合は、上の１／３の部分がＩフレームに相当するＩスライス（Ｇ１）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ１）が生成される。直前のフレームの画像データがＧＤＲ１である場合は、中央の１／３の部分がＩフレームに相当するＩスライス（Ｇ２）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ２）が生成される。直前のフレームの画像データがＧＤＲ２である場合は、下の１／３の部分がＩフレームに相当するＩスライス（Ｇ３）となっており残りの部分がＰフレームに相当するＰスライスとなっている画像データ（ＧＤＲ３）が生成される。
なお、エンコードモードデータ記憶部２０に記憶されているエンコードモードデータの値に関係なく、エンコード処理部２６は、当該フレーム画像についてはＰフレームにエンコードすべきと判断した際には、当該フレーム画像を通常のＰフレームにエンコードする。
そして、送信部２８が、Ｓ１０４に示す処理で生成された画像データを端末１２に送信して（Ｓ１０５）、Ｓ１０１に示す処理に戻る。
本実施形態によれば、以上のようにして、ＧＤＲの技術を利用するか否かを状況に応じて適宜制御できることとなる。
また、本実施形態では、以上のようにして、通常はＧＤＲの技術を利用するようにして、シーンの変化量が多い場合などの所定の場合だけ通常のＩフレームが送信されるようにすることが可能である。また本実施形態では、通常のＩフレームの送信により発生する送信される画像データのサージ的な波を後続するフレームのエンコードをスキップすることで速やかに収束させることができる。また本実施形態では、上述した、端末１２がＩフレームを受信する際に表示がアンダーフローすることを避けるためにＩフレームに相当するサイズの画像データを事前にバッファリングする技術を用いないことが可能である。そのため、本実施形態によれば、端末１２におけるプレイ画像の表示遅延を削減することができることとなる。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、本実施形態において、過去の単位時間あたりに画像データの欠落が発生した回数が所定回数よりも多い場合に、Ｐフレームの代わりにＩスライスを含む画像データ（例えば上述のＧＤＲフレーム）を送信する頻度を増加させてもよい。例えば、直近の所定時間について単位時間あたりに画像データの欠落が発生した回数が所定回数よりも多い場合に、Ｐフレームの代わりにＩスライスを含む画像データ（例えば上述のＧＤＲフレーム）を送信する頻度を増加させてもよい。
また、上述の例では、ＧＤＲの技術を利用する場合に、Ｉフレームが３分割された上で、１／３がＩスライスであるＧＤＲフレームが３フレームにわたって送信されているが、Ｉフレームの分割は３分割には限定されない。任意のｎについて、Ｉフレームがｎ分割された上で、１／ｎがＩスライスであるＧＤＲフレームがｎフレームにわたって送信されてもよい。
また、１つのフレーム画像を複数の部分に分割して送信するスライス転送方式によるエンコードや画像データの送信が行われる状況にも本実施形態は適用可能である。スライス転送方式では、以上の説明におけるＩフレームは、Ｉスライスごとに送信される。以上の説明におけるＰフレームは、Ｐスライスごとに送信される。以上の説明におけるＧＤＲフレームは、上述の例では１／３がＩフレームに相当するスライスごとに送信される。
また、本発明の適用範囲は、クラウドゲーミングシステム１には限定されない。例えば、家庭内に配置されたサーバと、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどを介して当該サーバと接続される端末と、を含むゲームシステムにも、本発明は適用可能である。すなわち、コンピュータネットワーク１４は、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどであってもよい。また、当該サーバと当該端末とは有線で接続されていても無線で接続されていてもよい。
また、本発明が適用されるゲームの内容は特に限定されず、例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）を用いたゲームを実行するゲームシステムにも本発明は適用可能である。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

  1. フレームバッファに描画されたフレーム画像を順次取得する取得部と、
    グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する決定部と、
    前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、ＧＤＲにおけるＩスライスを含むデータのいずれかにエンコードするエンコード処理部と、
    前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する送信部と、を含み、
    前記決定部は、過去の単位時間あたりに前記Ｉフレーム若しくは前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも一方に基づいて、ＧＤＲを利用するか否かを決定する、
    ことを特徴とする送信装置。
  2. 前記エンコード処理部は、前記フレーム画像が通常のＩフレームにエンコードされる場合に、当該フレーム画像の次の少なくとも１つのフレーム画像のエンコードをスキップする、
    ことを特徴とする請求項１に記載の送信装置。
  3. 前記エンコード処理部は、前記Ｉフレームのデータサイズと、転送可能帯域と、に基づいて決定されるフレーム数のフレーム画像のエンコードをスキップする、
    ことを特徴とする請求項２に記載の送信装置。
  4. 前記送信部は、転送可能帯域に応じたデータレートで前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する、
    ことを特徴とする請求項１から３のいずれか一項に記載の送信装置。
  5. フレームバッファに描画されたフレーム画像を順次取得するステップと、
    グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定するステップと、
    前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、ＧＤＲにおけるＩスライスを含むデータのいずれかにエンコードするステップと、
    前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信するステップと、を含み、
    前記決定するステップでは、過去の単位時間あたりに前記Ｉフレーム若しくは前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも一方に基づいて、ＧＤＲを利用するか否かが決定される、
    ことを特徴とする送信方法。
  6. フレームバッファに描画されたフレーム画像を順次取得する手順、
    グラデュアルデコーダリフレッシュ（ＧＤＲ）を利用するか否かを決定する手順、
    前記決定に応じて、前記フレーム画像を、通常のＩフレーム、又は、ＧＤＲにおけるＩスライスを含むデータのいずれかにエンコードする手順、
    前記Ｉフレーム、又は、前記Ｉスライスを含むデータを送信する手順、をコンピュータに実行させ、
    前記決定する手順では、過去の単位時間あたりに前記Ｉフレーム若しくは前記Ｉスライスを含むデータの欠落が発生した回数、又は、過去の単位時間あたりに前記Ｉフレームが生成された回数のうちの少なくとも一方に基づいて、ＧＤＲを利用するか否かが決定される、
    ことを特徴とするプログラム。
JP2021543739A 2019-09-06 2020-08-28 送信装置、送信方法及びプログラム Active JP7304419B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019163117 2019-09-06
JP2019163117 2019-09-06
PCT/JP2020/032657 WO2021044974A1 (ja) 2019-09-06 2020-08-28 送信装置、受信装置、送信方法、受信方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021044974A1 JPWO2021044974A1 (ja) 2021-03-11
JP7304419B2 true JP7304419B2 (ja) 2023-07-06

Family

ID=74853244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021543739A Active JP7304419B2 (ja) 2019-09-06 2020-08-28 送信装置、送信方法及びプログラム

Country Status (3)

Country Link
US (1) US20220279190A1 (ja)
JP (1) JP7304419B2 (ja)
WO (1) WO2021044974A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158969A (ja) 2000-11-22 2002-05-31 Nec Corp 動画像符号化データ変換装置及びその方法
JP2004215252A (ja) 2002-12-23 2004-07-29 Polycom Inc ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル
WO2009044475A1 (ja) 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
JP2009105970A (ja) 2003-06-19 2009-05-14 Nokia Corp 漸進的デコーダリフレッシュに基づくストリーム切り換え
JP2010232720A (ja) 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05252511A (ja) * 1992-03-06 1993-09-28 Nippon Telegr & Teleph Corp <Ntt> 画像分配装置
JPH06253286A (ja) * 1993-02-26 1994-09-09 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH08237666A (ja) * 1995-02-23 1996-09-13 Toshiba Corp フレーム間帯域圧縮信号処理装置
JPH11289542A (ja) * 1998-02-09 1999-10-19 Matsushita Electric Ind Co Ltd 画像符号化装置、画像符号化方法、および画像符号化プログラムを記録した記録媒体
US20070030894A1 (en) * 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9906815B2 (en) * 2011-11-08 2018-02-27 Texas Instruments Incorporated Delayed duplicate I-picture for video coding
KR102124141B1 (ko) * 2012-07-02 2020-06-18 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US9571847B2 (en) * 2013-01-07 2017-02-14 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9749627B2 (en) * 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
JP6398569B2 (ja) * 2014-10-07 2018-10-03 株式会社ソシオネクスト 画像符号化装置、画像符号化方法および画像符号化プログラム
US10638147B2 (en) * 2018-06-01 2020-04-28 Apple Inc. Gradual decoder refresh techniques with management of reference pictures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158969A (ja) 2000-11-22 2002-05-31 Nec Corp 動画像符号化データ変換装置及びその方法
JP2004215252A (ja) 2002-12-23 2004-07-29 Polycom Inc ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル
JP2009105970A (ja) 2003-06-19 2009-05-14 Nokia Corp 漸進的デコーダリフレッシュに基づくストリーム切り換え
WO2009044475A1 (ja) 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
JP2010232720A (ja) 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Also Published As

Publication number Publication date
US20220279190A1 (en) 2022-09-01
JPWO2021044974A1 (ja) 2021-03-11
WO2021044974A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
CN111135569B (zh) 云游戏处理方法、装置、存储介质与电子设备
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
US9491433B2 (en) Moving image distribution server, moving image playback apparatus, control method, and recording medium
CN110784740A (zh) 视频处理方法、装置、服务器及可读存储介质
CN111901666B (zh) 图像处理方法、装置、电子设备以及存储介质
KR20100028156A (ko) 미디어 전송 시스템 및 방법
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
KR101034966B1 (ko) 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더
CN113747160A (zh) 视频编码配置方法、装置、设备及计算机可读存储介质
CN117714700A (zh) 一种视频编码方法、装置、设备、可读存储介质及产品
JP6483850B2 (ja) データ処理方法および装置
JP7304419B2 (ja) 送信装置、送信方法及びプログラム
JP7444971B2 (ja) 送信装置、送信方法及びプログラム
JP4462559B2 (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
US11984059B2 (en) Display control apparatus, transmission apparatus, display control method, and program
US20240171741A1 (en) Video compression at scene changes for low latency interactive experience
EP4362475A1 (en) Display device and operating method thereof
CN115738240A (zh) 一种用于iptv的体感游戏方法、系统及存储介质
JP2021132259A (ja) 受信装置及びプログラム
CN117062656A (zh) 使用共享参考帧的低延迟多遍帧级速率控制
CN117837141A (zh) 用于流式传输应用的多尝试编码操作
JP2012175488A (ja) 動画配信装置
TW201501763A (zh) 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150