JP2023550642A - クラウドゲームのためのコンテンツに適応した信号対雑音比に導かれた２パス映像符号化 - Google Patents

クラウドゲームのためのコンテンツに適応した信号対雑音比に導かれた２パス映像符号化 Download PDF

Info

Publication number
JP2023550642A
JP2023550642A JP2023531515A JP2023531515A JP2023550642A JP 2023550642 A JP2023550642 A JP 2023550642A JP 2023531515 A JP2023531515 A JP 2023531515A JP 2023531515 A JP2023531515 A JP 2023531515A JP 2023550642 A JP2023550642 A JP 2023550642A
Authority
JP
Japan
Prior art keywords
frames
frame
encoding
stream
noise ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023531515A
Other languages
English (en)
Inventor
シエ，リチャード
タハシルダー，ラマチャンドラ
スハーノフ，アレックス
ホン，ダニー
エルキン，ベリル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2023550642A publication Critical patent/JP2023550642A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

リアルタイムクラウドゲームのためのゲームコンテンツを符号化するための技法、より具体的には、選択されたピーク信号対雑音比（ＰＳＮＲ）目標に対応する量子化パラメータ（ＱＰ）の下限を適応的に計算するために、現在のフレームまでの前のフレームの移動ウィンドウにおいて適応統計モデルを使用すること。このＰＳＮＲに導かれた符号化の結果は、符号化されたフレームのサイズを大幅に低減させること（すなわち、それらのＰＳＮＲをガイダンスとして使用して、それらのフレームに主観的な品質損失がない場合に目標ビットレートを下回ること）である。転送されるビットが少なくなると、ネットワークの送信および復号が速くなり、プラットフォームの負荷も少なくなるため、これらの低減は、帯域幅の問題を軽減し、全体的なユーザ体験を改善する。

Description

背景
様々なクラウドゲームプラットフォームは、インターネット上のユーザのデバイスに配信される映像ストリームにゲームコンテンツをリアルタイムで圧縮するための符号化動作の使用をサポートする。典型的には、エンコーダは、ゲームコンテンツがどのように符号化されるか、特に符号化動作中にどれだけの情報が保存されるかを制御するために量子化パラメータ（Quantization Parameter:ＱＰ）を使用する。いくつかのエンコーダは、フレームのサイズに応じて各フレーム（メディアフレーム、映像フレーム、画像等とも呼ばれる）のＱＰを選択する。したがって、これらのエンコーダは、目標ビットレート（すなわち、フレームサイズ）を満たすようにＱＰを選択する。しかしながら、これらのエンコーダは、結果として、エンコーダ（またはエンコーダに関連するデバイス）のための追加の不必要な帯域幅使用を引き起こすゲームコンテンツに対する符号化動作をもたらし、場合によっては、エンドツーエンドの待機時間を増加させ、それによって、ユーザ体験に悪影響を及ぼす。
概要
本開示は、特に、決定されたピーク信号対雑音比（Peak Signal to Noise Ratio:ＰＳＮＲ）に基づいて、フレーム内のメディアコンテンツを符号化することに関する。例えば、提案されるソリューションは、ＰＳＮＲ目標に対応するＱＰの下限を適応的に計算するために、現在のフレームまでの前のフレームの移動ウィンドウ（moving window）において適応統計モデルを使用することを含み得る。対応するＰＳＮＲに導かれた符号化の結果は、符号化されたフレームのサイズを大幅に低減させること（すなわち、それらのＰＳＮＲをガイダンスとして使用して、それらのフレームに主観的な品質損失がない場合に目標ビットレートを下回ること）であり得る。転送されるビットが少なくなると、ネットワークの送信および復号が速くなり、プラットフォームの負荷も少なくなるため、これらの低減は、帯域幅の問題を軽減し、全体的なユーザ体験を改善する。
一態様によれば、リアルタイムクラウドゲームのための映像を符号化するための方法は、第１の符号化パスにおいてフレームのストリームの各フレームのダウンスケーリングされたバージョンを符号化することに関連するＰＳＮＲを決定することと、第１の符号化パスに応答して、ＰＳＮＲに基づいて、第２の符号化パスにおいてフレームのストリームの各フレームを符号化することとを備える。
当該方法はまた、統計的線形回帰モデルに基づいて、フレームのストリームの各フレームを符号化するための選択された目標ＰＳＮＲに関連する最小のＱＰを決定することを含み得る。いくつかの実施形態では、フレームのストリームのフレームを符号化することは、選択された目標ＰＳＮＲを満たすために、符号化されたフレームについての最小のＱＰに基づいている。
当該方法はまた、両端キューの前のフレームの移動ウィンドウにおけるＰＳＮＲとＱＰとのペアを線形曲線に適合させることによって、各フレームのＰＳＮＲから最小のＱＰまでの線形マッピングを決定することを含み得る。いくつかの実施形態では、線形マッピングは、各フレームの第２の符号化パスの後に更新される。
当該方法はまた、選択された目標ＰＳＮＲと、フレームのストリームを有する各フレームについての更新された線形マッピングとに基づいて、最小のＱＰの下限値を決定することを含み得る。
当該方法はまた、前のフレームの移動ウィンドウに基づいて、ＰＳＮＲから最小のＱＰまでの線形マッピングの交点および傾きを決定することを含み得る。
当該方法はまた、ＰＳＮＲとＱＰとのペアに関連する前のフレームの移動ウィンドウのサイズを維持することを含み得る。
当該方法はまた、フレームのストリームの各フレームに関連するＰＳＮＲに基づいて統計モデルを更新することを含み得る。フレームのストリームの各フレームを符号化することは、統計モデルからの最小のＱＰに基づく。
当該方法はまた、第１の符号化パスにおける圧縮されていないフレームと再構成されたフレームとの間の、フレームのストリームの各フレームに関連するＰＳＮＲをエンコーダによって計算することと、第２の符号化パスにおける圧縮されていないフレームと再構成されたフレームとの間の、フレームのストリームの各フレームに関連するＰＳＮＲをエンコーダによって計算することとを含み得る。
いくつかの実施形態では、統計モデルは、ＰＳＮＲとＱＰとのペアに基づく線形回帰モデルを含む。
当該方法はまた、目標ＰＳＮＲの閾値を決定することを含み得る。フレームのストリームの各フレームを符号化することは、目標ＰＳＮＲの閾値に基づく。
当該方法はまた、ダウンサンプリングパラメータに基づいてフレームのストリームの各フレームをダウンサンプリングすることと、ダウンサンプリングに応じて、目標ビットレートパラメータに基づいてフレームのストリームのダウンサンプリングされたフレームを符号化することとを含み得る。
別の態様によれば、リアルタイムクラウドゲームのための映像を符号化するための装置は、１つ以上のプロセッサと、１つ以上のプロセッサに結合されたメモリと、選択された目標ＰＳＮＲに基づいて最小のＱＰを決定し、かつ、最小のＱＰに基づいてフレームのストリームの各フレームを符号化するように、１つ以上のプロセッサによって実行可能な命令とを備える。
いくつかの実施形態では、命令は、フレームのストリームの各フレームと関連するピーク信号対雑音比に基づいて統計モデルを更新するように、１つ以上のプロセッサによってさらに実行可能である。いくつかの実施形態では、統計モデルは線形回帰モデルを含む。いくつかの他の実施形態では、線形回帰モデルは、ＰＳＮＲとＱＰとの１つ以上のペアに基づく。
いくつかの実施形態では、命令は、ダウンサンプリングパラメータに基づいて、フレームのストリームの各フレームをダウンサンプリングし、かつ、ダウンサンプリングに応じて、目標ビットレートパラメータに基づいて、フレームのストリームのダウンサンプリングされたフレームを符号化するように、１つ以上のプロセッサによってさらに実行可能である。
さらに別の態様によれば、デバイスにおけるリアルタイムクラウドゲームのためのゲームコンテンツを符号化するためのコードを格納した、非一時的なコンピュータ可読媒体であって、コードは、選択された目標ＰＳＮＲに基づいて最小のＱＰを決定し、かつ、最小のＱＰに基づいてフレームのストリームの各フレームを符号化するように、デバイスのプロセッサによって実行可能な命令を備える。
いくつかの実施形態では、命令は、フレームのストリームの各フレームに関連するＰＳＮＲに基づいて統計モデルを更新するように、デバイスのプロセッサによってさらに実行可能である。統計モデルは、線形回帰モデルを含む。線形回帰モデルは、ピーク信号対雑音比と量子化パラメータとの１つ以上のペアに基づく。
本開示は、添付の図面を参照することによって、よりよく理解され得、その多数の特徴および利点が当業者に明らかになる。異なる図面における同じ参照符号の使用は、類似または同一の項目を示す。
いくつかの実施形態による、リアルタイムゲームコンテンツ符号化をサポートするクラウドベースのゲームシステムのブロック図である。 いくつかの実施形態による、コンテンツに適応した符号化をサポートする図１のシステムのデバイスのブロック図である。 いくつかの実施形態による、ＰＳＮＲに導かれたゲームコンテンツに適応した符号化のための方法のフローチャートである。 いくつかの実施形態による、ＰＳＮＲ対ＱＰマッピングのための統計モデルを含む図３の方法の追加の態様を示すフローチャートである。
詳細な説明
クラウドベースのゲームシステムは、エンドユーザが、ポータブルクライアントデバイス（例えば、ラップトップ、スマートフォン）等のリモートデバイス上で、時には元々は非ポータブルデバイス（例えば、パーソナルコンピュータまたはゲーム機セットアップ）用に構成されたゲームアプリケーションにアクセスし、これを体験することを可能にする。クラウドベースのゲームシステムでは、ネットワークデバイス（例えば、ゲームサーバ）は、グラフィックスレンダリング、キャプチャ、符号化、および通信ネットワークへのゲームコンテンツのストリーミング等の動作を実行する。ポータブルクライアントデバイスは、通信ネットワークを介してゲームコンテンツの符号化されたビットストリームを受信し、符号化されたビットストリームを復号し、結果として生じる画像をユーザに表示する。
ユーザ体験を向上させるために、クラウドベースのゲームシステムが、高解像度高フレームレートの映像ストリームを生成し、クライアントデバイスに提供することが望ましい場合がある。しかしながら、そのような高品質の映像ストリームは、大量のネットワーク帯域幅および符号化リソースを消費する。例えば、特定のコーデックを使用する１０８０ｐフレーム（例えば、１０８０ｐ映像）の６０フレーム毎秒（ＦＰＳ）ストリームは、ゲームコンテンツの劣化を回避するために、一貫した帯域幅の２５メガビット毎秒（Ｍｂｐｓ）を超えるデータレートを提供するネットワーク帯域幅を必要とする。さらに、ネットワーク帯域幅は、特定のネットワーク接続をサポートする基礎技術等のいくつかの要因に基づいて変動し得る。例えば、デジタル加入者回線（ＤＳＬ）接続は１０～２５Ｍｂｐｓのデータレートを提供し、ケーブル接続は５０～１００Ｍｂｐｓのデータレートを提供し、ファイバ接続は１００Ｍｂｐｓ以上のデータレートを提供し、衛星接続は１５～２５Ｍｂｐｓのデータレートを提供する。したがって、特定のネットワーク接続に基づいて、特定のコーデックは、性能を低下させ、ゲームコンテンツ品質の低下をもたらし、それによって、ユーザ体験に悪影響を及ぼし得る。
帯域幅要件を満たし、短い待機時間の映像ストリーミングを維持するために、いくつかのゲームシステムは、様々なクラウドベースのプラットフォーム上でハードウェアアクセラレーションエンコーダを使用する。クラウドベースのアプリケーションのためのこれらのエンコーダは、目標帯域幅をできるだけ近く満たすために客観的なゲーム品質を最大にすることに焦点を当てている。厳密なエンドツーエンドの待機時間の要件に起因して、典型的には、これらのクラウドゲームシステムにとって、あらゆるフレームについて目標フレームサイズを超えることを防止することが最高の優先度である。しかしながら、人間の視覚システムは、符号化されたゲームコンテンツの客観的な映像品質が閾値を超える場合、追加の主観的な品質利得に対する感度がはるかに低い。すなわち、（他のメトリックの中でもとりわけ）ピーク信号対雑音比（ＰＳＮＲ）によって測定される客観的な映像品質、および、平均意見スコア（ＭＯＳ）によって測定される主観的な映像品質は、あるＰＳＮＲレベルを超えると、主観的な映像品質が最大化されることを示す。
本開示の様々な態様は、ゲームコンテンツの適応符号化のための技法に関し、より具体的には、ゲームコンテンツのピーク信号対雑音比（ＰＳＮＲ）に導かれた符号化に関する。エンコーダは、例えば、ゲームコンテンツに関連するフレームのストリームを受信し、ネットワーク（例えば、インターネット）を介してストリーミングするためにフレームのストリームの符号化されたバージョンを出力する。エンコーダは、ダウンサンプリングされ得る入力フレームを受信して符号化し、第１の符号化パス情報を得る。これは、入力フレームが第２の符号化パス（すなわち、最終の符号化段階）において符号化される前に、エンコーダが現在のＰＳＮＲを正確に予測することを可能にする。エンコーダは、現在のフレームまでの前のフレームの移動ウィンドウにおいてコンテンツ適応統計モデル（例えば、線形回帰モデル）を使用して、選択されたＰＳＮＲ目標に対応するＱＰの下限（最小のＱＰ）をデシベル単位で適応的に計算し、現在のフレームを符号化するためのレート制御プロセスに下限ＱＰを使用する。このＰＳＮＲに導かれた符号化の結果は、ＰＳＮＲがそれらのフレームに主観的な品質損失がある可能性が低いことを示す場合に、目標ビットレートを下回りながら、符号化されたフレームのサイズを低減することである。転送されるビットが少なくなると、ゲームストリームの全体的な品質を維持しながら、ネットワーク送信が速くなり、復号が速くなり、プラットフォームの負荷がはるかに少なくなるため、これらの低減は、帯域幅の問題を軽減し、全体的なゲーム性能を改善する。
図１は、いくつかの実施形態による、リアルタイムゲームコンテンツの符号化をサポートするクラウドベースのゲームシステム１００のブロック図である。クラウドベースのゲームシステム１００は、クライアントデバイス１０２と、サーバ１０４と、データベース１０６とを含む。クラウドベースのゲームシステム１００は、単一のクライアントデバイス１０２、単一のサーバ１０４、単一のデータベース１０６、および単一のネットワーク１０８を示すが、本開示は、１つ以上のデバイス１０２、サーバ１０４、データベース１０６、およびネットワーク１０８を有する任意のクラウドベースのゲームシステムアーキテクチャに適用される。クライアントデバイス１０２、サーバ１０４、およびデータベース１０６は、１つ以上の通信リンク（例えば、無線接続、有線接続）を使用してネットワーク１０８を介して互いに通信する。
サーバ１０４は、データサーバ、クラウドサーバ、ゲーム加入プロバイダに関連付けられたサーバ、プロキシサーバ、ウェブサーバ、アプリケーションサーバ、またはこれらの任意の組み合わせであり得る。サーバ１０４は、いくつかの実施形態では、クラウドゲームプラットフォーム１１０を含む。クラウドゲームプラットフォーム１１０は、クライアントデバイス１０２が、１つ以上の通信リンクを使用してネットワーク１０８を介してサーバ上にレンダリングされる動的なゲームコンテンツ１１２、または、ネットワーク１０８を介したリアルタイムデジタル配信によってデータベース１０６に記憶される静的なゲームコンテンツ１１２を発見し、閲覧し、共有し、ストリーミングすることを可能にする。したがって、デジタル配信は、物理的媒体を使用せずに、インターネット等のオンライン配信媒体を介して、オーディオ、映像、画像等のいくつかの静的なゲームコンテンツ１１２を配信する形態であり得る。
データベース１０６は、命令またはコマンド（例えば、ゲーム関連情報）等の様々な情報を記憶し得る。例えば、データベース１０６は、ゲームコンテンツ１１２を記憶し得る。クライアントデバイス１０２は、１つ以上の通信リンクを使用して、ネットワーク１０８を介してデータベース１０６からゲームコンテンツ１１２を取り出し得る。ネットワーク１０８は、暗号化、アクセス許可、追跡、インターネットプロトコル（ＩＰ）接続性、ならびに他のアクセス、計算、修正、および／または機能を提供し得る。ネットワーク１０８の例は、クラウドネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、ワイヤレスネットワーク（例えば、８０２．１１を使用する）、セルラーネットワーク（第３世代（３Ｇ）、第４世代（４Ｇ）、ロングタームエボルブド（ＬＴＥ）、または新無線（ＮＲ）システム（例えば、第５世代（５Ｇ））等を使用する）の任意の組合せを含み得る。ネットワーク１０８は、インターネットを含み得る。
クラウドベースのゲームシステム１００に示される１つ以上の通信リンクは、クライアントデバイス１０２からサーバ１０４およびデータベース１０６へのアップリンク送信、および／または、サーバ１０４およびデータベース１０６からクライアントデバイス１０２へのダウンリンク送信を含む。これらの通信リンクは、双方向通信および／または単方向通信を伝送し得る。いくつかの実施形態では、通信リンクは、有線接続もしくは無線接続、またはその両方であり得る。例えば、通信リンクは、限定はしないが、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）、セルラー、Ｚ－ＷＡＶＥ、８０２．１１、ピアツーピア、ＬＡＮ、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、イーサネット（登録商標）、ＦｉｒｅＷｉｒｅ、光ファイバ、および／またはワイヤレス通信システムに関連する他の接続タイプを含む、１つ以上の接続を含み得る。
クライアントデバイス１０２は、いくつかの実施形態では、ｈ．２６４，ｖｐ９またはＨＥＶＣを含む様々なタイプの映像コーデックをサポートするセルラーフォン、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ディスプレイデバイス（例えば、モニタ）等である。いくつかの実施形態では、サーバ１０４およびクライアントデバイス１０２は共に、クライアントデバイス１０２のユーザのためのクラウドゲームセッションを実装する。例示すると、サーバ１０４は、ゲームプログラム１１４によって実施されるゲームのゲーム状態に基づいてフレーム１１６（画像）のストリームを生成するゲームプログラム１１４を実行する。クライアントデバイス１０２は、サーバ１０４からフレームのストリームを受信することができ、ユーザインターフェース（例えば、ゲームコントローラ、タッチスクリーン等、またはそれらの任意の組合せ）を介してユーザから入力データを受信することができるゲームアプリケーション１１８を実行する。クライアントデバイス１０２は、入力データをサーバ１０４に提供し、サーバ１０４は、ゲームプログラム１１４のゲーム状態を更新し、更新されたゲーム状態に基づいてフレームのストリームについてのより多くのフレームを生成する。
各プログラムを実行してゲームセッションを実現するために、クライアントデバイス１０２およびサーバ１０４はそれぞれ、汎用プロセッサ、ＤＳＰ（digital signal processor）、ＩＳＰ（image signal processor）、ＣＰＵ、ＧＰＵ、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡ、ディスクリートゲートもしくはトランジスタ論理構成要素、ディスクリートハードウェア構成要素、またはそれらの任意の組合せ、または他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理、ディスクリートハードウェア構成要素、または本開示で説明される機能を実行するように設計されたそれらの任意の組合せ等の１つ以上を含む。例えば、クライアントデバイス１０２は、サーバ１０４からストリーミングされた符号化されたゲームコンテンツ１１２（例えば、画像データ、映像データ、オーディオデータ）を復号し得る。
サーバ１０４はまた、ゲームコンテンツ１１２上の他の機能の中でもとりわけ、強化、復元、分析、および合成を提供するように構成され得る。例えば、サーバ１０４は、ホワイトバランシング、クロッピング、スケーリング（例えば、ゲーム圧縮）、解像度の調整、ステッチング、色処理、空間ゲームフィルタリング、アーチファクト除去、フレームレート調整等を実行し得る。さらなる例として、サーバ１０４は、本明細書で説明される技法に従って、ゲームコンテンツ１１２を処理し得、ゲームコンテンツ１１２の適応符号化をサポートする。
例えば、ゲームセッション中に、サーバ１０４は、ダウンサンプリングされ得るフレーム１１６のストリームに関連する入力フレームを受信して符号化し得、第１の符号化パス情報を取得し、第２の符号化パス（すなわち、最終の符号化段階）において符号化される前に、フレーム１１６のストリームの現在のまたは後続のフレームのＰＳＮＲを正確に予測することを助ける。サーバ１０４は、現在のフレームまでの前のフレームの移動ウィンドウにおけるコンテンツ適応統計モデル（例えば、線形回帰モデル）を使用して、選択されたＰＳＮＲ目標に対応するＱＰの下限を適応的に計算する。このＰＳＮＲに導かれた符号化の結果、それらのＰＳＮＲをガイダンスとして使用してそれらのフレームに主観的な品質損失がないと決定したことに応じて、目標ビットレートを下回る場合に、符号化されたフレームのサイズが大幅に低減される。転送されるビットが少なくなると、ネットワーク送信が速くなり、復号が速くなり、プラットフォームの負荷がはるかに小さくなるため、これらの低減は、帯域幅の問題を軽減し、全体的なゲーム性能を改善する。
図２は、いくつかの実施形態による、ゲームコンテンツに適応した符号化をサポートする図１のシステムのデバイス２００のブロック図である。いくつかの実施形態では、デバイス２００は、図１で説明されるようなクラウドベースのゲームシステム１００の態様を実装する。例えば、デバイス２００は、図１で説明されるようなサーバ１０４の例であり得る。デバイス２００は、ゲームコンテンツ２３６を符号化するための構成要素を含む双方向通信のための１つ以上のソフトウェアおよびハードウェア構成要素を含む。いくつかの実施形態では、デバイス２００は、デスクトップコンピュータ、サーバ、ゲームコンソール等を含む、ゲームコンテンツ２３６の符号化をサポートする電子デバイスの一部である。図２の例では、デバイス２００は、少なくともプロセッサ２０２と、メモリ２０４と、モデム２０６とを含む。これらの構成要素は、１つ以上のインターフェース（例えば、バス２２８）を介して電子通信している。
プロセッサ２０２は、デバイス２００に代わって指定されたタスクを実行するために命令のセット（例えば、コンピュータプログラム）の実行を概してサポートする処理デバイス（例えば、汎用プロセッサ、ＣＰＵ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等）である。いくつかの実施形態では、プロセッサ２０２は、プロセッサ２０２に統合されたメモリコントローラを使用して、メモリ２０４とインターフェースで接続するように構成される。メモリ２０４は、ＲＡＭおよびＲＯＭを含む。いくつかの実施形態では、メモリ２０４は、実行されると、プロセッサ２０２に本明細書で説明される様々な機能を実行させる命令を含むコンピュータ可読、コンピュータ実行可能なコードを記憶する。いくつかの実施形態では、メモリ２０４は、他の特徴の中でもとりわけ、基本入出力システム（ＢＩＯＳ）を含み、基本入出力システムは、デバイス２００の周辺構成要素との相互作用等の基本のハードウェアまたはソフトウェア動作を制御する。コードは、システムメモリまたは他のタイプのメモリとしての非一時的なコンピュータ可読媒体に記憶される。いくつかの他の実施形態では、メモリ２０４は、追加的または代替的に、本明細書で説明されるようなゲームコンテンツ２３６の符号化の性能を改善することに関連する統計モデル２３０を記憶する。統計モデル２３０は、本明細書で説明されるように、対応するＰＳＮＲ値を対応するＱＰ値にマッピングし得る線形回帰モデルを含み得る。
モデム２０６は、１つ以上のアンテナ、有線、またはワイヤレス通信リンク（例えば、Ｗｉ－Ｆｉ通信リンク、セルラー通信リンク）を介して双方向に通信する。いくつかの実施形態では、モデム２０６は、符号化されたゲームコンテンツを搬送するパケットを変調し、変調されたパケットを送信のためにアンテナに提供し、アンテナから受信された符号化されたゲームコンテンツを搬送するパケットを復調するように構成される。いくつかの実施形態では、モデム２０６は、図１で説明されるようなクライアントデバイス１０２またはサーバ１０４等の別のデバイスと双方向に通信するように構成される無線送受信機を示す。
図示の実施形態では、プロセッサ２０２は、ゲームコンテンツモジュール２０８と、フレーム生成モジュール２１０と、フレーム分析モジュール２１２と、エンコーダ２１４とを含む。いくつかの実施形態では、ゲームコンテンツモジュール２０８は、モデム２０６を介して別のコンピューティングデバイスと通信するために、エンコーダ２１４の代わりにゲームコンテンツ２３６（例えば、画像、映像、オーディオ）を生成するように構成される。例えば、いくつかの実施形態では、ゲームコンテンツモジュール２０８は、プロセッサ２０２で実行され、別のデバイスと通信するためのゲームコンテンツを生成するプログラムである。
ゲームコンテンツ２３６を生成するために、ゲームコンテンツモジュール２０８は、制御信号２２６を介してフレーム生成モジュール２１０に信号を送り、ゲームコンテンツ２３６（例えば、画像、映像、オーディオ）に関連する１つ以上のフレーム２１６を生成する。例えば、ゲームコンテンツモジュール２０８は、制御信号２２６を介してフレーム生成モジュール２１０に信号を送り、クラウドベースのゲームアプリケーション等に関連する１つ以上のフレームを生成する。フレーム生成モジュール２１０は、プロセッサ２０２またはデバイス２００の他の構成要素によって実装される。フレーム生成モジュール２１０は、制御信号２２６を介して、エンコーダ２１４に１つ以上の生成されたフレーム２１６を信号で送る。エンコーダ２１４は、プロセッサ２０２またはデバイス２００の他の構成要素によって実装される。いくつかの実施形態では、エンコーダ２１４は、コーデックと呼ばれる指定された符号化技法に従って、１つ以上の生成されたフレーム２１６を符号化されたフレームストリーム２３２に符号化する。いくつかの実施形態では、エンコーダ２１４は、符号化されたフレームストリーム２３２を、例えば、別のデバイス（例えば、図１で説明されるようなクライアントデバイス１０２またはサーバ１０４）への送信のためにモデム２０６に転送するように構成される。例えば、エンコーダ２１４は、ＧＰＵレンダラ（例えば、図１で説明されるようなサーバ１０４上）からの非圧縮の映像ストリームであり得るフレームストリーム２３２を生成し、モデム２０６を介してインターネット上でストリーミングするための符号化された映像ストリームを出力する。
プロセッサ２０２またはデバイス２００の他の構成要素は、ゲームコンテンツ２３６の適応符号化をサポートするために、ゲームコンテンツ２３６（例えば、画像、映像、オーディオ）に関連する１つ以上のフレーム２１６を分析するために、制御信号２２６を介してフレーム生成モジュール２１０に信号を送る。フレーム分析モジュール２１２は、フレームストリーム２３２に関連する１つ以上のフレーム２１６を分析することに関連する１つ以上のパラメータを初期化する。これらのパラメータは、ＰＳＮＲパラメータ２１８、最小のＱＰ２２０、ビットレートパラメータ２２２、またはフレームサイズパラメータ２２４、またはそれらの任意の組合せのうちの１つ以上を含む。
フレーム分析モジュール２１２は、いくつかの実施形態では、１つ以上の要因に基づいて目標ＰＳＮＲの閾値を決定する。例えば、フレーム分析モジュール２１２は、特定のネットワーク接続（例えば、ＤＳＬ、ケーブル、ファイバ、衛星等）をサポートする基礎技術に基づいて、目標ＰＳＮＲの閾値を４５デシベル（ｄＢ）に決定し、この値を目標ＰＳＮＲパラメータ２１８に格納する。追加的または代替的に、フレーム分析モジュール２１２は、図１で説明されるようなゲームアプリケーションに関連するデフォルト構成（例えば、ゲーム設定）に基づいて目標ＰＳＮＲの閾値を４５ｄＢに決定し、この値を目標ＰＳＮＲパラメータ２１８に格納する。いくつかの実施形態では、フレーム分析モジュール２１２は、Ｍｂｐｓ単位の目標ビットレートを決定する。例えば、フレーム分析モジュール２１２は、目標ビットレートを２８Ｍｂｐｓに決定し、この値をビットレートパラメータ２２２に格納する。フレーム分析モジュール２１２は、いくつかの実施形態では、（例えば、ビット単位で）目標フレームサイズを決定する。フレーム分析モジュール２１２は、目標ビットレートもしくはフレームレート、またはそれらの組合せに基づいて目標フレームサイズを決定し得る。追加的または代替的に、目標フレームサイズは、図１で説明されるようなゲームアプリケーションに関連するデフォルト構成（例えば、ゲーム設定）に関連する固定解像度に基づき得る。フレーム分析モジュール２１２は、目標フレームサイズの値をフレームサイズパラメータ２２４に格納する。
エンコーダ２１４は、いくつかの実施形態では、フレーム２１６－１を符号化し、符号化情報をフレーム分析モジュール２１２に提供する。符号化情報は、フレーム２１６－１のフレームサイズと、フレーム２１６－１に関連するＰＳＮＲ（例えば、ルマ平面のＰＳＮＲ）とを含み得る。いくつかの実施形態では、フレーム分析モジュール２１２またはエンコーダ２１４は、フレーム２１６－１をその元の解像度の数分の一にダウンスケーリングする。エンコーダ２１４は、現在のフレームを符号化する前にＰＳＮＲ推定を提供することができる目標ビットレートを使用して、ダウンスケーリングされたフレーム２１６－１を符号化する。
フレーム分析モジュール２１２は、フレーム２１６－１についての最小のＱＰ２２０を選択する。例えば、フレーム分析モジュール２１２は、いくつかの実施形態では、推定されたフレーム２１６－１のＰＳＮＲを目標ＰＳＮＲと比較する。フレーム２１６－１のＰＳＮＲが選択された目標ＰＳＮＲよりも大きい場合、フレーム分析モジュール２１２は、以下でさらに説明される統計モデル２３０に基づく式（１）に従って線形マッピングを使用して下限ＱＰを計算し、その結果を最小のＱＰ２２０の下限値として割り当てる。
ＱＰ＝ｆ（ＰＳＮＲ）＝傾き*ＰＳＮＲ＋切片（interception）・・・（１）
したがって、線形マッピングはＰＳＮＲの関数である。いくつかの実施形態では、傾きの値は、初期化に基づいて予め定義され得る。例えば、傾きの値は、最初にゼロに設定され得る。いくつかの実施形態では、交点の値は、初期化に基づいて予め定義され得る。例えば、交点の値は、最初にゼロに設定され得る。フレーム分析モジュール２１２は、いくつかの実施形態では、指示を提供するか、または、エンコーダ２１４についての最小のＱＰ２２０を設定する。
フレーム分析モジュール２１２は、いくつかの実施形態では、目標ビットレートを達成するためにエンコーダ２１４に関連するエンコーダパラメータを調整するためのレート制御をサポートし得る。いくつかの実施形態では、フレーム２１６の符号化は、本質的に損失のあるプロセスであり得る。例えば、エンコーダ２１４は、フレームストリーム２３２（ビットストリーム）から真に冗長な情報を除去することによってだけでなく、最小限に知覚可能であることが意図される方法で小さな品質の妥協を行うことによっても圧縮を達成し得る。最小のＱＰ２２０は、レート制御が使用できるＱＰの下限を提供する。最小のＱＰ２２０が非常に小さい場合、レート制御は、その詳細のほとんどすべてを保持することができる。最小のＱＰ２２０が増加するにつれて、その詳細のいくらかは、ビットレートが低下するように集約されるが、ＰＳＮＲ目標が充分に高くなるように選択され得るので、客観的に歪みのいくらかの増加および最小の主観的な品質損失を伴う客観的ないくらかの品質損失を代償とする。フレーム分析モジュール２１２は、それによって、各フレーム２１６が対象の品質を最大化するための適切なビットの割り当てを有するように、フレーム２１６のＰＳＮＲ推定値に基づいて最小のＱＰ２２０を動的に変化させ得る。したがって、最小のＱＰ２２０は高い目標ＰＳＮＲによって決定されるので、主観的な品質損失は最小限に抑えられる。
例として、フレーム分析モジュール２１２は、その後、フレーム２１６－２を受信し、フレーム２１６－２を符号化することに関連するレート制御を実行し、それによって、符号化されたフレーム２１６－２の品質を管理し得る。いくつかの実施形態では、フレーム分析モジュール２１２は、フレーム２１６－１に関連する符号化情報に基づいて、フレーム２１６－２についての最小のＱＰ２２０を選択する。いくつかの他の実施形態では、フレーム分析モジュール２１２は、フレーム２１６－２を含むフレームの現在のウィンドウについての最小のＱＰ２２０を示し得る統計モデル２３０に基づいて、フレーム２１６－２についての最小のＱＰ２２０を選択する。フレーム分析モジュール２１２は、選択された最小のＱＰ２２０をエンコーダ２１４に信号で送り、エンコーダ２１４は、フレーム２１６－２についての選択された最小のＱＰ２２０に基づいてフレーム２１６－２を符号化する。エンコーダ２１４は、現在のフレームが符号化された後、例えば、フレーム２１６－２に関連するＰＳＮＲ等の、フレーム２１６－２に関連する符号化情報を決定し、フレーム分析モジュール２１２に渡し得る。
エンコーダ２１４は、フレーム２１６－２に関連するＰＳＮＲをフレーム分析モジュール２１２に提供し、フレーム分析モジュール２１２は、フレーム２１６－２についての選択されたＱＰを含む符号化情報で統計的線形回帰モデル２３０を更新する。例えば、フレーム分析モジュール２１２は、図４でより詳細に説明されるように、符号化情報を使用して、線形回帰モデルにおいて、線形曲線をフレームストリーム２３２に関連するフレームの現在のウィンドウに適合させる。エンコーダ２１４およびフレーム分析モジュール２１２は、フレームストリーム２３２に関連するすべてのフレーム２１６について上記の動作を繰り返し得る。フレーム分析モジュール２１０は、それによって、現在のフレームについての最小のＱＰを決定して、そのＰＳＮＲの上限を目標ＰＳＮＲの閾値に定める。それによって、デバイス２００は、ＰＳＮＲからＱＰへの関数マッピングをサポートして、ゲームコンテンツ２３６の適応符号化をサポートする。
したがって、上で説明したように、デバイス２００のエンコーダ２１４は、選択された目標ＰＳＮＲパラメータ２１８に対応する最小のＱＰ２２０を適応的に計算するために、現在のフレーム２１６までの前のフレーム２１６の移動ウィンドウにおいてコンテンツに適応した線形回帰モデルを使用する。このＰＳＮＲに導かれた２パスエンコーダの結果は、多くの場合、ＰＳＮＲをガイダンスとして使用して、これらのフレームに主観的な品質損失がない場合に目標ビットレートを下回ることによって、符号化されたフレーム２１６のサイズを大幅に低減することである。これらのビットレートの低減は、帯域幅の問題を軽減するだけでなく、全体的な性能の改善も行う。
図３は、いくつかの実施形態によるゲームコンテンツに適応した符号化のための方法のフローチャートである。いくつかの実施形態では、本方法は、図１を参照して説明されたような、エンコーダまたはその構成要素によって実装される。例えば、エンコーダは、クラウドベースのゲームアプリケーションにおけるゲームコンテンツ符号化を改善して待機時間を低減し、ゲームコンテンツの符号化の信頼性を高める方法を実行するように実装または構成される。いくつかの実施形態では、エンコーダは、以下で説明される動作を実行するようにエンコーダの機能要素を制御するための命令のセットを実行する。追加的または代替的に、エンコーダは、専用ハードウェアを使用して、以下で説明される動作の態様を実行する。
図３の例では、エンコーダは、１つ以上の初期化動作および第１の符号化動作を実行する。初期化段階の一部として、いくつかの実施形態では、デフォルトの目標ＰＳＮＲまたはデフォルトの初期の最小のＱＰ、または両方を決定する。いくつかの他の実施形態では、エンコーダはまた、フレーム範囲に対するフレームの最大数を決定する。他の実施形態では、エンコーダは、目標ＰＳＮＲの閾値（例えば、４５ｄＢ）、目標ビットレートパラメータ（例えば、２８Ｍｂｐｓ）、または目標フレームサイズパラメータ、またはそれらの任意の組合せを決定する。エンコーダはまた、ゲームコンテンツに適応した符号化のための方法の初期化動作の一部として、上記のパラメータのうちの１つ以上で事前に構成され得る。
第１の符号化段階の一部として、ブロック３０２において、エンコーダは、例えば、クラウドベースのゲームアプリケーションに関連するフレームのストリームから現在のフレームを受信する。ブロック３０４において、エンコーダは、現在のフレームをダウンスケーリングする。例えば、エンコーダは、現在のフレームの元の解像度の数分の一だけ現在のフレームをダウンスケーリングする。いくつかの実施形態では、エンコーダは、現在のフレームの元の解像度の半分（１／２）だけ現在のフレームをダウンスケーリングする。いくつかの他の実施形態では、エンコーダは、現在のフレームの元の解像度の４分の１（１／４）だけ現在のフレームをダウンスケーリングする。他の実施形態では、エンコーダは、現在のフレームの元の解像度の異なる割合だけダウンスケーリングする。ブロック３０６において、エンコーダは、第１の符号化パス中にダウンスケーリングされた現在のフレームを符号化する。いくつかの実施形態では、エンコーダは、目標ビットレートに基づいて、第１の符号化パス中にダウンスケーリングされた現在のフレームを符号化する。
ブロック３０８において、エンコーダは、エンコーダのデフォルト設定または構成に基づいて目標ビットレートを決定する。いくつかの実施形態では、エンコーダは、それによって、エンコーダのデフォルト設定または構成に基づいて、２８Ｍｂｐｓ等のＭｂｐｓで表すことができる目標ビットレートを決定する。エンコーダは、２８Ｍｂｐｓの目標ビットレートに基づいて、第１の符号化パス中にダウンスケーリングされた現在のフレームを符号化する。いくつかの実施形態では、エンコーダは、目標ビットレートの数分の一（例えば、目標ビットレートの４分の１（１／４））に基づいて、第１の符号化パス中にダウンスケーリングされた現在のフレームを符号化する。例えば、エンコーダは、２８Ｍｂｐｓの目標ビットレートの数分の一（例えば、７Ｍｂｐｓ）に基づいて、第１の符号化パス中にダウンスケーリングされた現在のフレームを符号化する。ブロック３１０において、エンコーダは、追加的または代替的に、第１の符号化パスに基づいて現在のフレームのフレームサイズを決定する。ブロック３１２において、エンコーダは、第１の符号化パスに基づく推定によって現在のフレームのＰＳＮＲを決定する。例えば、エンコーダは、専用ハードウェアおよびソフトウェア技術を使用して、現在のフレームの第１の符号化パス中にルマ平面のＰＳＮＲを決定する。
図４は、いくつかの実施形態による図３の方法の追加の態様を示すフローチャートである。いくつかの実施形態では、本方法は、図１を参照して説明されたような、エンコーダまたはその構成要素によって実装される。いくつかの実施形態では、エンコーダは、以下で説明される動作を実行するようにエンコーダの機能要素を制御するための命令のセットを実行する。追加的または代替的に、エンコーダは、専用ハードウェアを使用して、以下で説明される動作の態様を実行する。
図４の例では、エンコーダは、２パス符号化動作の第２の符号化動作であり得る符号化動作を実行する。ブロック４０２において、エンコーダは、第２の符号化パス中に現在のフレームを符号化する。第２の符号化パス中の符号化は、１つ以上のパラメータ（例えば、最小の量子化パラメータ、目標ビットレートパラメータ）に基づき得る。ブロック４０４において、エンコーダは、目標ビットレートを決定する。ブロック４０６において、エンコーダは、前のフレーム情報を決定する。ブロック４０８において、エンコーダは、前のＰＳＮＲ情報を決定する。それによって、第２の符号化パス中の現在のフレームの符号化は、目標ビットレート、前のフレーム情報、または前のＰＳＮＲ情報、または第１の符号化パスからの推定ＰＳＮＲ、またはそれらの任意の組合せに基づき得る。
ブロック４１０において、エンコーダは、第２の符号化パスに基づいて現在のフレームのフレームサイズを決定する。ブロック４１２において、第２の符号化パスの後に、エンコーダは、現在のフレームのＰＳＮＲを決定する。ブロック４１４において、エンコーダは、ＱＰ＝ｆ（ＰＳＮＲ）＝傾き*ＰＳＮＲ＋切片（interseption）のマッピングを計算するために、統計モデル、例えば、線形回帰モデルを、｛現在のｐｓｎｒ，現在のｑｐ｝のペアに基づいて更新する。
エンコーダは、現在のフレームまでの前のフレームの移動ウィンドウにおいて｛ＰＳＮＲ，ＱＰ｝のペアの両端キューを維持する。現在のフレームの第２の符号化パスの後、現在のフレームの｛ＰＳＮＲ，ＱＰ｝のペアがキューの末尾にプッシュされる。キューのサイズが、エンコーダの初期化段階によって決定される最大のサイズに達すると、ブロック４１４は、ＱＰ＝ａ*ＰＳＮＲ＋ｂによって定義される線形曲線を、｛ＰＳＮＲ，ＱＰ｝のペアの現在のキューに適合させる。ここでａは交点であり、ｂは傾きである。いくつかの実施形態では、キューについて平均ＰＳＮＲおよび平均ＱＰが計算される。キュー内の｛ＰＳＮＲ，ＱＰ｝の各ペアについて、平均ＰＳＮＲとＰＳＮＲとの間の差が二乗され、その結果がその後、ｓ＿ｘｘに累積される。同様に、平均ＱＰとＱＰとの差に平均ＰＳＮＲの差が乗じられて、その後、ｓ＿ｘｙに累積される。いくつかの実施形態では、線形曲線の交点（ｂ）および傾き（ａ）は、以下の式によって決定される。
ａ＝ｓ＿ｘｙ／ｓ＿ｘｘ
ｂ＝平均ＱＰ－傾き*平均ＰＳＮＲ
いくつかの実施形態では、エンコーダは、最後に、キューの先頭にある｛ＰＳＮＲ，ＱＰ｝のペアを除去する。
いくつかの実施形態では、上記で説明された技法のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装され得る。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶された、または、そうでなければ有形に具現化された実行可能な命令の１つ以上のセットを備える。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記で説明された技法の１つ以上の態様を実行するように１つ以上のプロセッサを操作する命令といくつかのデータとを含むことができる。非一時的なコンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリ、キャッシュ、ＲＡＭ、または他の不揮発性記憶装置などのソリッドステート記憶装置などを含むことができる。非一時的なコンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるか、そうでなければ実行可能である他の命令フォーマットであり得る。
コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の記憶媒体または記憶媒体の組合せを含み得る。そのような記憶媒体は、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（例えば、ＲＡＭまたはキャッシュ）、不揮発性メモリ（例えば、ＲＯＭまたはフラッシュメモリ）、または微小な電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含むことができるが、それらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれてもよく（例えば、システムＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定して取り付けられてもよく（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられてもよく（例えば、光ディスクまたはＵＳＢベースのフラッシュメモリ）、または、有線もしくは無線ネットワークを介してコンピュータシステムに結合されてもよい（例えば、ネットワークアクセス可能なストレージ（ＮＡＳ））。
全般的な説明において上述されたアクティビティまたは要素のすべてが必要とされるわけではなく、特定のアクティビティまたはデバイスの一部は必要とされないことがあり得、説明されたものに加えて、１つ以上のさらなるアクティビティが実行され得るか、または、要素が含まれ得ることに留意されたい。さらに、アクティビティが列挙される順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明されている。しかしながら、当業者は、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく、様々な修正および変更を行い得ることを理解する。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で見なされるべきであり、全てのそのような修正は、本開示の範囲内に含まれることが意図される。
利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上述されている。しかしながら、利益、利点、問題に対する解決策、および、任意の利益、利点、または解決策を生じさせ得るか、または、より顕著にさせ得る任意の特徴は、いずれかまたは全ての請求項の重要な、必要な、または本質的な特徴として解釈されるべきではない。さらに、開示される主題は、本明細書の教示の利益を有する当業者に明白である、異なるが同等の様式で修正および実践され得るため、上記で開示される特定の実施形態は、例証にすぎない。以下の特許請求の範囲に記載されるもの以外に、本明細書に示される構造または設計の詳細への限定は意図されない。したがって、上記で開示された特定の実施形態は、変更または修正され得、すべてのそのような変形は、開示された主題の範囲内であると見なされることが明らかである。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載されるとおりである。
ＱＰ＝ｆ（ＰＳＮＲ）＝傾き*ＰＳＮＲ＋切片（intercept）・・・（１）
したがって、線形マッピングはＰＳＮＲの関数である。いくつかの実施形態では、傾きの値は、初期化に基づいて予め定義され得る。例えば、傾きの値は、最初にゼロに設定され得る。いくつかの実施形態では、切片の値は、初期化に基づいて予め定義され得る。例えば、切片の値は、最初にゼロに設定され得る。フレーム分析モジュール２１２は、いくつかの実施形態では、指示を提供するか、または、エンコーダ２１４についての最小のＱＰ２２０を設定する。
ブロック４１０において、エンコーダは、第２の符号化パスに基づいて現在のフレームのフレームサイズを決定する。ブロック４１２において、第２の符号化パスの後に、エンコーダは、現在のフレームのＰＳＮＲを決定する。ブロック４１４において、エンコーダは、ＱＰ＝ｆ（ＰＳＮＲ）＝傾き*ＰＳＮＲ＋切片（intercept）のマッピングを計算するために、統計モデル、例えば、線形回帰モデルを、｛現在のｐｓｎｒ，現在のｑｐ｝のペアに基づいて更新する。
エンコーダは、現在のフレームまでの前のフレームの移動ウィンドウにおいて｛ＰＳＮＲ，ＱＰ｝のペアの両端キューを維持する。現在のフレームの第２の符号化パスの後、現在のフレームの｛ＰＳＮＲ，ＱＰ｝のペアがキューの末尾にプッシュされる。キューのサイズが、エンコーダの初期化段階によって決定される最大のサイズに達すると、ブロック４１４は、ＱＰ＝ａ*ＰＳＮＲ＋ｂによって定義される線形曲線を、｛ＰＳＮＲ，ＱＰ｝のペアの現在のキューに適合させる。ここでａは傾きであり、ｂは切片である。いくつかの実施形態では、キューについて平均ＰＳＮＲおよび平均ＱＰが計算される。キュー内の｛ＰＳＮＲ，ＱＰ｝の各ペアについて、平均ＰＳＮＲとＰＳＮＲとの間の差が二乗され、その結果がその後、ｓ＿ｘｘに累積される。同様に、平均ＱＰとＱＰとの差に平均ＰＳＮＲの差が乗じられて、その後、ｓ＿ｘｙに累積される。いくつかの実施形態では、線形曲線の切片（ｂ）および傾き（ａ）は、以下の式によって決定される。

Claims (20)

  1. リアルタイムクラウドゲームのための映像を符号化するための方法であって、
    第１の符号化パスにおいてフレームのストリームの各フレームのダウンスケーリングされたバージョンを符号化することに関連するピーク信号対雑音比を決定することと、
    前記第１の符号化パスに応じて、前記ピーク信号対雑音比に基づいて、第２の符号化パスにおいてフレームの前記ストリームの各フレームを符号化することとを備える、方法。
  2. 前記方法は、統計的線形回帰モデルに基づいて、フレームの前記ストリームの各フレームを符号化するための選択された目標ピーク信号対雑音比に関連する最小の量子化パラメータを決定することと、
    前記選択された目標ＰＳＮＲを満たすために、前記符号化されたフレームについての前記最小の量子化パラメータに基づいて、フレームの前記ストリームのフレームを符号化することとをさらに備える、請求項１に記載の方法。
  3. 前記方法は、両端キューの前のフレームの移動ウィンドウにおけるピーク信号対雑音比と量子化パラメータとのペアを線形曲線に適合させることによって、各フレームの前記ピーク信号対雑音比から前記最小の量子化パラメータへの線形マッピングを決定することをさらに備え、
    前記線形マッピングは、各フレームの前記第２の符号化パスの後に更新される、請求項２に記載の方法。
  4. 前記方法は、前記選択された目標ピーク信号対雑音比と、フレームの前記ストリームを有する各フレームについての前記更新された線形マッピングとに基づいて、前記最小の量子化パラメータの下限値を決定することをさらに備える、請求項３に記載の方法。
  5. 前記方法は、前のフレームの前記移動ウィンドウに基づいて、前記ピーク信号対雑音比から前記最小の量子化パラメータまでの前記線形マッピングの交点および傾きを決定することをさらに備える、請求項３に記載の方法。
  6. 前記方法は、ピーク信号対雑音比と量子化パラメータとのペアに関連する前のフレームの前記移動ウィンドウのサイズを維持することをさらに備える、請求項５に記載の方法。
  7. 前記方法は、フレームの前記ストリームの各フレームに関連する前記ピーク信号対雑音比に基づいて統計モデルを更新することをさらに備え、
    フレームの前記ストリームの各フレームを符号化することは、前記統計モデルからの前記最小の量子化パラメータに基づく、請求項２に記載の方法。
  8. 前記方法は、
    前記第１の符号化パスにおける圧縮されていないフレームと再構成されたフレームとの間の、フレームの前記ストリームの各フレームに関連する前記ピーク信号対雑音比を前記エンコーダによって計算することと、
    前記第２の符号化パスにおける前記圧縮されていないフレームと前記再構成されたフレームとの間の、フレームの前記ストリームの各フレームに関連する前記ピーク信号対雑音比を前記エンコーダによって計算することとをさらに備える、先行する請求項１～７のいずれか１項に記載の方法。
  9. 前記統計モデルは、ピーク信号対雑音比と量子化パラメータとの前記ペアに基づく線形回帰モデルを含む、請求項７に記載の方法。
  10. 前記方法は、目標ピーク信号対雑音比の閾値を決定することをさらに備え、
    フレームの前記ストリームの各フレームを符号化することは、前記目標ピーク信号対雑音比の閾値に基づく、先行する請求項１～７のいずれか１項に記載の方法。
  11. 前記方法は、
    ダウンサンプリングパラメータに基づいてフレームの前記ストリームの各フレームをダウンサンプリングすることと、
    前記ダウンサンプリングに応じて、目標ビットレートパラメータに基づいてフレームの前記ストリームの前記ダウンサンプリングされたフレームを符号化することとをさらに備える、先行する請求項１～７のいずれか１項に記載の方法。
  12. リアルタイムクラウドゲームのための映像を符号化するための装置であって、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサに結合されたメモリと、
    前記１つ以上のプロセッサによって、
    選択された目標ピーク信号対雑音比に基づいて最小の量子化パラメータを決定し、かつ、
    前記最小の量子化パラメータに基づいてフレームの前記ストリームの各フレームを符号化するように、実行可能な命令とを備える、装置。
  13. 前記命令は、フレームの前記ストリームの各フレームに関連する前記ピーク信号対雑音比に基づいて統計モデルを更新するように、前記１つ以上のプロセッサによってさらに実行可能である、請求項１２に記載の装置。
  14. 前記統計モデルは線形回帰モデルを含む、請求項１３に記載の装置。
  15. 前記線形回帰モデルは、ピーク信号対雑音比と量子化パラメータとの１つ以上のペアに基づく、請求項１３または１４に記載の装置。
  16. 前記命令は、
    ダウンサンプリングパラメータに基づいてフレームの前記ストリームの各フレームをダウンサンプリングし、かつ、
    前記ダウンサンプリングに応じて、目標ビットレートパラメータに基づいて、フレームの前記ストリームの前記ダウンサンプリングされたフレームを符号化するように、前記１つ以上のプロセッサによってさらに実行可能である、請求項１２に記載の装置。
  17. デバイスにおけるリアルタイムクラウドゲームのためのゲームコンテンツを符号化するためのコードを格納した、非一時的なコンピュータ可読媒体であって、
    前記コードは、前記デバイスのプロセッサによって、
    選択された目標ピーク信号対雑音比に基づいて最小の量子化パラメータを決定し、かつ、
    前記最小の量子化パラメータに基づいてフレームの前記ストリームの各フレームを符号化するように実行可能な命令を備える、非一時的なコンピュータ可読媒体。
  18. 前記命令は、フレームの前記ストリームの各フレームに関連する前記ピーク信号対雑音比に基づいて統計モデルを更新するように、前記デバイスの前記プロセッサによってさらに実行可能である、請求項１７に記載の非一時的なコンピュータ可読媒体。
  19. 前記統計モデルは線形回帰モデルを含む、請求項１８に記載の非一時的なコンピュータ可読媒体。
  20. 前記線形回帰モデルは、ピーク信号対雑音比と量子化パラメータとの１つ以上のペアに基づく、請求項１８または１９に記載の非一時的なコンピュータ可読媒体。
JP2023531515A 2020-11-25 2020-11-25 クラウドゲームのためのコンテンツに適応した信号対雑音比に導かれた２パス映像符号化 Pending JP2023550642A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/062161 WO2022115102A1 (en) 2020-11-25 2020-11-25 Content-adaptive signal-to noise-ratio-guided two-pass video encoding for cloud gaming

Publications (1)

Publication Number Publication Date
JP2023550642A true JP2023550642A (ja) 2023-12-04

Family

ID=73856334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023531515A Pending JP2023550642A (ja) 2020-11-25 2020-11-25 クラウドゲームのためのコンテンツに適応した信号対雑音比に導かれた２パス映像符号化

Country Status (6)

Country Link
US (1) US20230396766A1 (ja)
EP (1) EP4218236A1 (ja)
JP (1) JP2023550642A (ja)
KR (1) KR20230088454A (ja)
CN (1) CN116391354A (ja)
WO (1) WO2022115102A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979721B2 (en) * 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US20190373040A1 (en) * 2018-05-30 2019-12-05 Infiniscene, Inc. Systems and methods game streaming
US10964102B2 (en) * 2018-07-09 2021-03-30 Sony Corporation Adaptive sub-band based coding of hierarchical transform coefficients of three-dimensional point cloud
US11368692B2 (en) * 2018-10-31 2022-06-21 Ati Technologies Ulc Content adaptive quantization strength and bitrate modeling

Also Published As

Publication number Publication date
KR20230088454A (ko) 2023-06-19
EP4218236A1 (en) 2023-08-02
CN116391354A (zh) 2023-07-04
WO2022115102A1 (en) 2022-06-02
US20230396766A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
JP7212025B2 (ja) 電力認識型ビデオ復号およびストリーミング
US10523947B2 (en) Server-based encoding of adjustable frame rate content
JP7221957B2 (ja) ビデオエンコーダレンダリング向けのゲームエンジンアプリケーション
CN108769693B (zh) 质量感知视频优化中的宏块级自适应量化
US9049271B1 (en) Switch-initiated congestion management method
TWI605699B (zh) 在mpeg/3gpp-dash中平滑串流切換方法及裝置
JP4309185B2 (ja) ストリーミング・メディアの輻輳制御メカニズム
TWI423681B (zh) 控制媒體串流編碼的方法及系統
US20210195262A1 (en) Method and system for low latency high frame rate streaming
WO2017219896A1 (zh) 视频流的传输方法及装置
JP5745175B2 (ja) 適応的な量子化パラメータ差分値を用いた映像の符号化及び復号化方法と装置
JP7265623B2 (ja) コンテンツ適応量子化強度及びビットレートモデリング
US10003626B2 (en) Adaptive real-time transcoding method and streaming server therefor
KR20160080929A (ko) 클라우드 기반의 적응형 초고화질 멀티미디어 스트리밍 서비스 장치 및 방법
WO2016177248A1 (zh) 一种实时媒体流的编解码方法和装置
JP7265622B2 (ja) 低遅延ビデオ符号化のための効率的な量子化パラメータ予測方法
Choudhury et al. Experimental evaluation of virtual reality applications running on next-gen network scenarios with edge cloud assistance
JP5428702B2 (ja) ストリーム通信システム、サーバ装置及びクライアント装置
JP2023550642A (ja) クラウドゲームのためのコンテンツに適応した信号対雑音比に導かれた２パス映像符号化
TWI509563B (zh) 管理串流參數之圖形伺服器與方法
JP2017028622A (ja) 画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラム
US20230031245A1 (en) Encoder changes
TWI852645B (zh) 具有動態自適應的多媒體系統
WO2024001621A1 (en) Multimedia system with dynamic adaptation
US11902547B2 (en) Low-delay two-pass frame-level rate control using an adjusted complexity

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231122