JP7145204B2 - 誘導式エンコーダの適応品質レンダリングのためのシステムおよび方法 - Google Patents

誘導式エンコーダの適応品質レンダリングのためのシステムおよび方法 Download PDF

Info

Publication number
JP7145204B2
JP7145204B2 JP2020507504A JP2020507504A JP7145204B2 JP 7145204 B2 JP7145204 B2 JP 7145204B2 JP 2020507504 A JP2020507504 A JP 2020507504A JP 2020507504 A JP2020507504 A JP 2020507504A JP 7145204 B2 JP7145204 B2 JP 7145204B2
Authority
JP
Japan
Prior art keywords
rendering
quality
reference images
settings
perceived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507504A
Other languages
English (en)
Other versions
JP2020518211A (ja
Inventor
コピエッツ，ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zenimax Media Inc
Original Assignee
Zenimax Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenimax Media Inc filed Critical Zenimax Media Inc
Publication of JP2020518211A publication Critical patent/JP2020518211A/ja
Application granted granted Critical
Publication of JP7145204B2 publication Critical patent/JP7145204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本出願は、２０１７年４月２１日に出願された米国仮出願第６２／４８８，５２６号および２０１８年４月５日に出願された米国仮出願第６２／６５３，０５６号の利益を主張する。
サーバ側のゲームがクライアント側のプレイヤによって制御されるリモートゲーミングアプリケーションは、既存のまたはカスタマイズされたコーデック（ｃｏｄｅｃ）（エンコーダとも言う）を使用し、リアルタイムで３Ｄグラフィックスエンジン（ｇｒａｐｈｉｃｓ ｅｎｇｉｎｅ）からのビデオ出力をエンコードすることを試みていた。しかし、ビデオゲームの会話形式の特性、特に、ビデオ出力とプレイヤ入力との間のプレイヤフィードバックループ（ｐｌａｙｅｒ ｆｅｅｄｂａｃｋ ｌｏｏｐ）は、ゲームビデオストリーミングの待機時間（ｌａｔｅｎｃｙ）が一般的なビデオストリーミングよりも極めて長い。既存のビデオコーディング方法は、エンコード時間を減らすために計算能力（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｏｗｅｒ）を交換することができるが、その他の方法はない。エンコードプロセスをビデオレンダリングプロセスに統合するための新たな方法は、エンコード時間を著しく減らすことはできるが、計算能力を低め、エンコードされたビデオの品質を改善し、既存のハードウェアデバイスの相互運用性を維持するためにオリジナルビットストリームデータ形式（ｏｒｉｇｉｎａｌ ｂｉｔｓｔｒｅａｍ ｄａｔａ ｆｏｒｍａｔ）を維持するようになる。
ビデオゲームインスタンス（ｉｎｓｔａｎｃｅ）がプレイヤのローカルハードウェアで実行されているとき、ゲームが各ピクセルを最高品質で出力することが好ましい。しかし、レンダリングされた出力がエンコードされてリモートクライアントに送信されるサーバ側のゲームインスタンスにおいて、エンコーダは、制限された帯域幅に合うようにイメージ品質を低下させることがある。レンダリングされた品質がデコードされた出力の品質よりも著しく高ければ、サーバ側の測定可能なレンダリング作業量は失われるようになる。
エンコーダからのフィードバック（ｆｅｅｄｂａｃｋ）を基盤としてポスト量子化（ｐｏｓｔ－ｑｕａｎｔｉｚａｔｉｏｎ）品質とマッチングするようにサーバ側のレンダリングされた品質を適応させることにより、ゲームでは、クライアント側で際立つ品質損失なく、サーバ側の無駄な計算を減らすことができる。また、サーバ側の無駄な計算の減少は、エネルギー使用量の減少、レンダリング時間の減少、およびプレイヤのプレイ待機時間の減少を含んだ追加の利点も実現することができる。サーバ側の計算の節約は、複数のゲームインスタンスが同一サーバで実行される環境で合成される。
複数のプレイヤが参加するゲーム、特に、多人数大規模オンラインゲーム（Ｍａｓｓｉｖｅ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｇａｍｅｓ：ＭＭＯＧｓ）のようなゲームのストリーミング環境では、サーバ側のレンダリング作業に無駄が生じないように保障することに重点が置かれている。ＭＭＯＧｓのプレイヤが利用できる制限された帯域幅内で、ゲーム速度の低下を防ぎつつ、レンダリング品質を最大化するエンコーダが特に重要となっている。後述するような現在の技術では、このような問題を解決するために多様な方法を採択してきたが、依然として不足な状況である。
米国公開特許第ＵＳ２０１７０１３２８３０ Ａ１号（「‘８３０公報」）では、シェーディング（ｓｈａｄｉｎｇ）が実行される３Ｄシーン（ｓｃｅｎｅ）から選択シェーディングポイントを決定し、このシェーディングポイントでシェーディングを実行し、このシェーディングポイントで実行されたシェーディングの結果に基づいて３Ｄシーンのシェーディング情報を決定するシステムおよび方法を開示している。シーンのシェーディングは、シーンの時間的特性に基づいて調節される。しかし、このような技術では、サーバ側のレンダリング性能、および利用可能な帯域幅を基盤としてエンコードを最適化する根本的な問題を解決することはできない。
米国効果特許第ＵＳ２０１７０２００２５３ Ａ１号（「‘２５３公報」）では、グラフィックスプロセッサのレンダリング性能を向上させるシステムおよび方法を開示している。グラフィックスプロセッサにおいて設定された閾値よりも大きなフレームが発見されたときに、グラフィックスプロセッサがレンダリング時間を減少させるために適切な措置（ａｃｔｉｏｎ）を取ることができるように、上位閾値が設定される。しかし、このような技術は、設定された閾値を基盤とすることを前提としており、サーバ側のレンダリング性能および利用可能な帯域幅に対して動的な調節ができない。
米国公開特許第ＵＳ２０１７／０２７８２９６ Ａ１号（「‘２９６公報」）では、シーンの各部分でテクスチャ（ｔｅｘｔｕｒｅ）を決定するシーンの初期レンダリングが生成され、シーンの光線追跡レンダリング（ｒａｙ ｔｒａｃｅｄ ｒｅｎｄｅｒｉｎｇ）が光線の初期サンプルを追跡することによって生成されるシステムおよび方法を開示している。このような参考文献では、各ピクセルに対するサンプルの最適数が、シーンテクスチャの予見（ｆｏｒｅｋｎｏｗｌｅｄｇｅ）および光線追跡中のアンダーサンプリング（ｕｎｄｅｒ－ｓａｍｐｌｉｎｇ）によって発生するノイズの識別を基盤として知能的に決定されることを開示している。このような技術は、最適な光線サンプリングに制限され、サーバ側のレンダリング性能および利用可能な帯域幅に対して動的な調節ができない。
このような技術における最新技術に関する説明によって明らであるが、ゲームのレンダリングおよびエンコードと関連する現在のコンピュータ技術に対する改善が、本技術分野において求められている。
したがって、本発明は、エンコーダ設定（ｅｎｃｏｄｅｒ ｓｅｔｔｉｎｇ）の部分範囲（ｐａｒｔｉａｌ ｒａｎｇｅ）に対して１つ以上の参考イメージ（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）をエンコードするためのコーデック（本明細書ではエンコーダとも呼ぶ）および１つ以上のレンダリング品質設定プロファイルを生成し、１つ以上の参考イメージを生成し、１つ以上の参考イメージそれぞれに対する感性品質（ｐｅｒｃｅｉｖｅｄ ｑｕａｌｉｔｙ）を計算し、１つ以上のレンダリング品質設定プロファイルそれぞれに対して１つ以上の参考イメージを再レンダリング（ｒｅ－ｒｅｎｄｅｒｉｎｇ）し、１つ以上の再レンダリングされた参考イメージそれぞれに対する感性品質を計算するためのレンダラ（ｒｅｎｄｅｒｅｒ）を利用してレンダリングを最適化するためのシステムおよび方法を開示することを目的とする。レンダラは、参考イメージの認知品質を再レンダリングされたイメージの認知品質と比べ、これらをマッチングさせる。このようなマッチングは、ルックアップテーブル（ｌｏｏｋ－ｕｐ ｔａｂｌｅ）として１つ以上のエンコーダ設定とマッチングされたレンダリング品質設定プロファイルの関連をもたらす。ルックアップテーブルは、ゲームプレイ（ｇａｍｅｐｌａｙ）の間、エンコードされたフレームと実質的に同一の認知品質にレンダリングされたイメージを生成するために使用される。
また、本発明は、再レンダリングされた参考イメージそれぞれに対して計算費用を計算するためのレンダラを利用し、エンコードおよびレンダリングを最適化するためのシステムおよび方法を開示することを他の目的とする。
さらに、本発明は、イメージの認知品質を計算するために構造的類似性インデックス（ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ ｉｎｄｅｘ）を適用し、エンコードおよびレンダリングを最適化するためのシステムおよび方法を開示することをさらに他の目的とする。
添付の図面は、後述する詳細な説明を参照することでより適切に理解することができるため、本発明の完全な理解およびこれによる多くの利点を容易に得ることができるであろう。
本発明の一実施形態における、ライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）コーデックがビデオを生成するレンダラに設定を再通信する環境を例示的に示した図である。 本発明の一実施形態における、誘導式エンコーダの適応品質レンダリングの例示的な段階を概略的に示したフローチャートである。 本発明の一実施形態における、レンダリング品質設定プロファイルをエンコーダ設定の各部分範囲に割り当てるルックアップテーブルの事前生成（ｐｒｅ－ｇｅｎｅｒａｔｉｏｎ）を概略的に示したフローチャートである。 本発明の一実施形態における、１つの設定で構成されるレンダリング品質設定プロファイルに対するルックアップテーブル生成を例示的に示した図である。 本発明の一実施形態における、複数の設定を含むレンダリング品質設定プロファイルに対するルックアップテーブル生成を例示的に示した図である。
図面に示す発明の好ましい実施形態を説明するにあたり、明確化のために、特定の用語に依存することがある。しかし、本発明は、このように選択された特定の用語に限定されることを意図しておらず、それぞれの特定の用語は、類似の目的を達成するために類似の方式で作動するすべての技術的等価物を含むものと理解されなければならない。本発明の好ましい実施形態は、例示の目的として記載されているが、本発明は、図面に具体的に示されていない他の形態によっても実現可能であることが理解されなければならない。
ビデオゲームに使用されている現在のレンダリングエンジンは、オブジェクト（ｏｂｊｅｃｔ）からプレイヤまでの距離、以前フレームのレンダリング時間、または他のランタイム測定値のようなファクタ（ｆａｃｔｏｒ）を基盤に、ランタイム中の特定の品質設定を調整する能力を有する。レンダリングエンジンは、品質を調節するための複数の方法を提供し、全体レンダリング品質のより精密な制御を許容する。いくつかの例示として、ブラーリミップマップ（ｂｌｕｒｒｉｅｒ ｍｉｐｍａｐ）を使用するためのテクスチャサンプリングバイアス、シャドウ（ｓｈａｄｏｗ）に低い品質のカスケード（ｃａｓｃａｄｅ）またはさらに少ないサンプルを使用、シェーディングモデル（ｓｈａｄｉｎｇ ｍｏｄｅｌ）で単純化された経路実行（例えば、拡散したように見えるスペキュラ（ｓｐｅｃｕｌａｒ）のＤＣＴ－変換）、およびポストプロセッシングにさらに少ないサンプルを使用（例えば、ガウシアン（Ｇａｕｓｓｉａｎ）、ボリューメトリックフォグ（ｖｏｌｕｍｅｔｒｉｃ ｆｏｇ）など）を含む。ライブストリーミングアプリケーションにおいて、エンコード設定の変化に応答して１つ以上のレンダリング品質設定を変更することは、エンコードされた出力品質に影響を及ぼすことなく最高のレンダリング費用の節約を提供することができる。
図１は、リアルタイムにレンダリングされたビデオがリモートビューア（ｖｉｅｗｅｒ）でライブストリーミングされる環境を例示的に示した図である。サーバ１００は、リアルタイムレンダリングプロセス１０２（以下、レンダラとも呼ぶ）およびストリーミングコーデック１０４を同時に実行することのできるハードウェアであってよい。また、コーデック１０４は、直接レポーティングまたは本技術分野で周知の他のモニタリングプロセスにより、レンダリングプロセス１０２に量子化設定を再通信することのできる能力を備えなければならない。エンコードされたビデオストリームは、ネックワークを介してクライアントデバイス１０６に送信される。クライアント１０６は、ビデオストリームをデコードしてディスプレイしてよい。
図２は、誘導式エンコーダの適応品質レンダリングの段階を概略的に示したフローチャートである。「それぞれのエンコードされたフレームに対する量子化（ｑｕａｎｔｉｚａｔｉｏｎ）設定をレポートする」段階２００で、Ｈ．２６４標準互換エンコーダを使用するライブストリームエンコードは、一般的に、エンコードされたフレームに対して有効な量子化設定を量子化パラメータ（「ＱＰ」）によってレポーティングするＣｏｎｓｔａｎｔ Ｒａｔｅ Ｆａｃｔｏｒ（ＣＲＦ）モードを使用する。特定の実施形態において、使用されたＨ．２６４標準互換ライブラリはｆｆｍｐｅｇであるが、これは、量子化パラメータを変数ｆ＿ｃｒｆ＿ａｖｇで出力する。量子化パラメータは０～５１の範囲のインデックスであるが、これは、エンコード中に圧縮がどのくらい損失するかを定義する。ＱＰの低い値はさらに低い圧縮を示し、ＱＰの高い値はさらに高い圧縮を示す。一定のビットレートを維持するために、ＣＲＦモードで作動するエンコーダは、さらに高い圧縮を提供することのできるフレームのＱＰを増加させ、さらに高い品質を要求するフレームのＱＰを減少させる。エンコーダは、比較的高いモーションを有する領域では圧縮を高め、相対的に停止された領域では圧縮を低めることにより、人間の目が移動するオブジェクトに対する詳細事項をあまり区別することができないという事実を利用する。これは、エンコーダが複数のエンコードされたフレームのサイズを減らしながら、ターゲット感性品質を維持できるように許容する。
「変化に対する量子化設定をモニタリングする」段階２０２で、レンダラは、フレームをレンダリングする前にレポーティングされたＱＰを読み取る。「相異？」段階２０３で、有効な量子化設定が以前のレンダリングされたフレーム以後に変更されなければ、レンダラは、レンダリング品質を調整するためのアクション（ａｃｔｉｏｎ）を取らず、次のフレームで再確認するであろう。レンダラが以前のレンダリングされたフレームとは異なるＱＰ値を読み取れば、あるいは誘導式エンコーダの適応品質レンダリングが実行されている第１エンコードされたフレームであれば、「量子化設定とマッチングするようにレンダリング品質設定を変更する」段階２０４で、レンダリング品質が変更される。ＱＰ値が以前のレンダリングされたフレーム以後に増加すれば、レンダラは、エンコーダで圧縮レベル（ｃｏｍｐｒｅｓｓｉｏｎ ｌｅｖｅｌ）とマッチングするように品質を低めるであろう。これと同じように、ＱＰ値が以前のレンダリングされたフレーム以後に減少すれば、エンコーダは品質を高めるであろう。レンダリング設定を変更するために、レンダラは、エンコーダ提供ＱＰ値に対するレンダリング品質設定プロファイルを提供する、事前に生成されたルックアップテーブルを確認するであろう。一般的に、エンコーダ品質設定あたり１つのエントリ（ｅｎｔｒｙ）だけが存在しなければならない。レンダラは、エンコーダ提供ＱＰを使用して１つのエントリを探索し、これと関連するレンダリング品質設定プロファイルを使用する。一般的に、レンダリング品質設定プロファイル全体が適用される。レンダリング品質設定プロファイルは、それぞれの利用可能なレンダリング品質設定に対する値のリストによって定義される。このようなルックアップテーブルの事前生成については、図３を参照しながら詳しく説明する。事前に定義されたルックアップテーブルは、ＱＰの定数値に対するレンダリング設定を定義してよいが、これは、レンダラが読み取られたＱＰ値を近い定数に四捨五入するように求めても、またはルックアップテーブルが０～５１のＱＰ値の各部分範囲に対するレンダリング設定を定義してよい。図４および図５では、レンダラがルックアップテーブルを使用する前にＱＰを近い定数に四捨五入することを仮定しているが、この代わりに、ＱＰの部分範囲を使用してルックアップテーブルを定義するように修正されてもよい。レンダラは、次のフレームをレンダリングする前に、ルックアップテーブルからフェッチされた（ｆｅｔｃｈｅｄ）レンダリング品質設定プロファイルによって品質設定を変更するであろう。レンダリング品質の減少は、エンコーダが品質にボトルネックを与えるときに浪費されるレンダリング作業量を減らすことに繋がるであろう。
図３は、レンダリング品質設定プロファイルをエンコーダ設定の各部分範囲に割り当てるルックアップテーブルの事前生成を概略的に示したフローチャートである。参考イメージは、エンコード設定またはレンダリング設定が変更されることによって認識品質に及ぼす影響を測定する基準（ｂａｓｅｌｉｎｅ）として使用されてよい。参考イメージは一般的なビデオ出力フレームを示し、選択されたゲームコンテクスト（ｇａｍｅ ｃｏｎｔｅｘｔ）に一般的なモデル、テクスチャ、または視覚効果のようなレンダリングされたエレメント（ｅｌｅｍｅｎｔ）を含まなければならない。ゲームコンテクストは、特定の領域、特定のマップ、特定のレベル、または複数の特定のゲームプレイを含んでよい。選択された参考イメージは、参考イメージと同一のコンテクスト内でレンダリングされたビデオの認知品質を推定するルックアップテーブルを生成するために使用されるであろう。例えば、ゲームレベルからの代表セットのエレメントを含む参考イメージから生成されたルックアップテーブルは、同一レベル内の類似のシーン（ｓｃｅｎｅ）からレンダリングされたビデオの認知品質を推定するために使用されてよい。複数のルックアップテーブルを一般化されたルックアップテーブルに結合させる方法については、以下で説明する。ゲームコンテクストが識別された後、「参考イメージを選択および生成する」段階３００に示すように、代表シーンが選択され、完全な品質としてレンダリングされなければならない。代表シーンの完全な品質にレンダリングされたシーンは、本明細書では参考イメージと呼ぶ。
図２を参照しながら説明したレンダラのランタイム反応（ｂｅｈａｖｉｏｒ）の好ましい実施形態は、レンダラがルックアップテーブルを読み取る前に、受信したＱＰ値を近い定数に四捨五入することを要求する。その結果、ルックアップテーブルは、ＱＰの定数値のみを使用して生成されるようになるであろう。「エンコーダ設定の各部分範囲に対する参考イメージをエンコードする」段階３０２に示すように、エンコーダでエンコーダ内の各定数値の品質設定をエンコードし、量子化パラメータ（ＱＰ）の定数値は０～５１となる。好ましい実施形態において、レンダラによって実行される四捨五入演算によって定義される５２個の部分範囲が存在する。より一般的なＱＰ値、すなわち、０～５１範囲の中間にある値に対してはより多くの部分範囲、またはより稀なＱＰ値、すなわち、０～５１の範囲の終端にある値に対してはより少ない部分範囲を生成するように、実現が修正されてよい。
認知品質は、人体の目が圧縮されたイメージと全体の品質ソース（ｓｏｕｒｃｅ）イメージとの品質損失をどれほど認知することができるかを定量化しようとする試みである。平均二乗誤差（ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ：ＭＳＥ）およびピーク信号対雑音比（ｐｅａｋ ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ：ＰＳＮＲ）を含み、認知品質を推定するために使用される方法は数種類あるが、これらは圧縮コーデックの品質を計算するために、２つのイメージ間の輝度（ｌｕｍｉｎａｎｃｅ）および明度（ｃｏｎｔｒａｓｔ）値の差だけを使用する。Ｚ．Ｗａｎｇ，Ａ．Ｃ．Ｂｏｖｉｋ，Ｈ．Ｒ．ＳｈｅｉｋｈおよびＥ．Ｐ．Ｓｉｍｏｎｃｅｌｌｉの「Ｉｍａｇｅ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ：Ｆｒｏｍ ｅｒｒｏｒ ｖｉｓｉｂｉｌｉｔｙ ｔｏ ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１３，ｎｏ．４，ｐｐ．６００－６１２、Ａｐｒ．２００４）に開示されるように、構造的類似性（ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ：ＳＳＩＭ）インデックス（ｉｎｄｅｘ）は、人体の目がシーン（ｓｃｅｎｅ）から構造情報を抽出するのに適しているという仮定を追加して認知品質を推定するための計算を定義する方法である。ＳＳＩＭは、２つのイメージ（圧縮されていない品質参考イメージ全体とエンコードされたイメージ）間のピクセルデータとの比較によって作動する。アルゴリズムは、８×８ピクセルの「ウィンドウ（ｗｉｎｄｏｗ）」に対し、輝度、明度、構造、および時おり色度（ｃｈｒｏｍｉｎａｎｃｅ）を比べる。ＳＳＩＭは、低い計算費用を有し、ＭＳＥおよびＰＳＮＲのような方法を上回る（ｏｕｔｐｅｒｆｏｒｍ）ことから、認知品質を計算するための好ましいツール（ｔｏｏｌ）であると言える。「それぞれのエンコードされた参考イメージに対する感性品質を計算する」段階３０４に示すように、好ましくは、レンダラおよび／またはゲームエンジンでエンコーダ設定の各値に対する感性品質を生成するために、ＳＳＩＭインデックスがそれぞれのエンコードされた参考イメージと参考イメージの間で計算される。好ましい実施形態において、０～５１の値を有する各量子化パラメータ（ＱＰ）定数ごとに１つずつ、合計５２個のＳＳＩＭ値が計算される。図３～５を参照しながら説明した例では、２つのスチール（ｓｔｉｌｌ）イメージを比べるために標準ＳＳＩＭ計算を使用しているが、２つのビデオセグメント（ｓｅｇｍｅｎｔ）を比べてもよく、増加した計算費用の代わりに使用されるＳＳＩＭ方法の変形も可能である。このようなＳＳＩＭ方法の変形のうちの１つとして、Ａｎｕｓｈ Ｋ．ＭｏｏｒｔｈｙおよびＡｌａｎ Ｃ．Ｂｏｖｉｋの「Ｅｆｆｉｃｉｅｎｔ Ｍｏｔｉｏｎ Ｗｅｉｇｈｔｅｄ Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ Ｖｉｄｅｏ ＳＳＩＭ Ｉｎｄｅｘ」（ＨｕｍａｎＶｉｓｉｏｎ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ＸＶ，ｖｏｌ．７５２７，Ｍａｒ．２０１０（ａｖａｉｌａｂｌｅ ａｔ ｈｔｔｐ：／／ｌｉｖｅ．ｅｃｅ．ｕｔｅｘａｓ．ｅｄｕ／ｐｕｂｌｉｃａｔｉｏｎｓ／２０１０／ｍｏｏｒｔｈｙ＿ｓｐｉｅ＿ｊａｎ１０．ｐｄｆ））に開示されるような、時空の（Ｓｐａｔｉｏ－Ｔｅｍｐｏｒａｌ）ＳＳＩＭがある。
レンダラは、スクリーン解像度、ミップマップ選択、ディテールレベル（ｌｅｖｅｌ－ｏｆ－ｄｅｔａｉｌ：ＬＯＤ）選択、シャドウ（ｓｈａｄｏｗ）品質、ポストプロセッシング品質、または他の設定を含むピクセルあたりの品質制御のために利用可能な複数の設定を備えてよい。品質設定プロファイルは、それぞれの利用可能な品質設定のための値のリストによって定義される。特定の実施形態において、レンダラには、可能な値によって適応的に変更可能なすべてのレンダリング設定のリストが収集される。その後、「レンダリング品質設定プロファイルのリストを生成する」段階３０６に示すように、レンダリング品質設定プロファイルのリストを生成するために、適応型品質レンダリング設定およびこれらの値のすべての順列（ｐｅｒｍｕｔａｔｉｏｎ）が生成される。レンダラは、可能な限り多くの値を有する多くの品質設定を備えるようになるため、品質設定プロファイルの順列の数は極めて長くなる。図５では、リストで品質設定プロファイルの数を制限して最適化するための例示的な方法を示している。
「各レンダリング品質設定プロファイルに対して参考イメージを再レンダリングする」段階３０８に示すように、リストにおいて、各レンダリング品質設定プロファイルに対し、参考イメージが指定されたレンダリング設定を使用してレンダラで再レンダリングされなければならない。レンダリング品質設定プロファイルが１つを超過する設定でなされれば、それぞれの再レンダリングされた参考イメージに対するレンダリング時間も、例示的にレンダリング時間またはクロックサイクル（ｃｌｏｃｋ－ｃｙｃｌｅ）によって測定される、計算費用の測定値（ｍｅａｓｕｒｅ）として記録されなければならない。このような計算費用を測定する以後の段階で、ＳＳＩＭ値衝突（ｃｏｌｌｉｓｉｏｎ）がある場合、タイブレーカ（ｔｉｅ－ｂｒｅａｋｅｒ）として使用されてよい。
「それぞれの再レンダリングされた参考イメージに対して感性品質を計算する」段階３１０に示すように、段階３０４で既に使用されたものと同一の認知品質の測定値を使用し、再レンダリングされたイメージそれぞれをオリジナル（ｏｒｉｇｉｎａｌ）参考イメージと比べることによって認知品質が測定される。好ましい実施形態において、構造的類似性インデックス（ＳＳＩＭ）は、エンコーダ結果の認知品質を測定するために使用され、再レンダリングする結果の認知品質を測定するために使用されるであろう。
レンダラにおいて、２つのセットの認知品質値、すなわち、段階３０４で計算されたエンコードされた参考イメージに対するＳＳＩＭ値と、段階３１０で計算されたプロファイルあたりの（ｐｅｒ－ｐｒｏｆｉｌｅ）再レンダリングされた参考イメージに対するＳＳＩＭ値は、２つのセット間でマッチングするＳＳＩＭ値を探索するために、２つのイメージセットを比較する。理想的には、それぞれのエンコードされた参考イメージのＳＳＩＭ値に対し、プロファイルあたりの再レンダリングされたイメージのセットから正確にマッチングされるＳＳＩＭ値が１つある。正確にマッチングされたものがなければ、選択されたプロファイルあたりの再レンダリングされたイメージのＳＳＩＭ値は、ターゲット（ｔａｒｇｅｔ）エンコードされた参考イメージのＳＳＩＭ値よりも大きく、ターゲットエンコードされた参考イメージのＳＳＩＭ値と可能な限り近くならなければならない。「エンコーダ設定の各部分範囲に対する品質設定プロファイルを探索する」段階３１２に示すように、２つのセットの認知品質値にわたってマッチングされるＳＳＩＭ値は、各ＱＰ値に対するレンダリング品質設定プロファイルを識別するであろう。プロファイルあたりの再レンダリングされたイメージに対するＳＳＩＭ値のセットから２つ以上の正確なマッチングが存在する衝突がある場合、段階３０８で記録された計算費用はタイブレーカとして使用されてよく、エンコーダ設定のためにより低い費用のレンダリング品質設定プロファイルが選択されてよい。図５は、例示的な衝突を示している。
「各エンコーダ設定に対してレンダリング品質設定プロファイルを割り当てるルックアップテーブルを生成する」段階３１４に示すように、エンコーダ設定とこれらのマッチングするレンダリング品質設定プロファイルは、ルックアップテーブルとして構造化されなければならない。このようなルックアップテーブルは、図２の段階２０４で説明したように、量子化設定とマッチングさせるために、レンダリング品質設定を変更するためのレンダラにおけるランタイム中に使用されてよい。ルックアップテーブルは、エンコードされたフレームと同一の認知品質のイメージを生成し、与えられたレファレンスフレームに対して最大の計算節約を提供するレンダリング品質設定プロファイルを提供する。例示的なルックアップテーブルは、図４および５に示すとおりである。
図３を参照しながら説明した方法によって生成されたルックアップテーブルは、参考イメージと類似のゲームコンテクスト（ｃｏｎｔｅｘｔ）、シーン（ｓｃｅｎｅ）、または環境内で使用されてよい。Ｅｈ３と関連して概略的に表現されるプロセスは、特定の環境、シーン類型、または他の意味のあるゲームコンテクストをそれぞれ示す複数の参考イメージに対して繰り返されてよい。例えば、参考イメージは、複数のマップ特定（ｍａｐ－ｓｐｅｃｉｆｉｃ）ルックアップテーブルを生成するために、ゲーム内の各マップから選択されてよい。また、ルックアップテーブルは、ゲーム環境内でより一般的に使用されることのできるルックアップテーブルを生成するために結合されてよい。例えば、マップ特定ルックアップテーブルは、ゲーム内のすべてのマップに対して使用されることのできる１つのルックアップテーブルを生成するために結合されてよい。ルックアップテーブルを結合するために、各ＱＰに対するレンダリング品質設定プロファイルは、プロファイルに含まれた各設定に対する平均値を探索するために結合されてよい。例えば、３つのルックアップテーブルが３つの参考イメージに対して生成される。レンダリング品質設定プロファイルは、３つの設定値（ポストプロセッシング品質設定、シャドウ品質設定、および解像度設定）からなる。ＱＰ値４に対するレンダリング品質設定プロファイルを結合するために、プロファイルは各ルックアップテーブルから読み取られ、Ｐ４１＝｛３、ＭＥＤ、９５％｝、Ｐ４２＝｛４、ＬＯＷ、９０％｝、およびＰ４３＝｛２、ＭＥＤ、９０％｝のように示される。各設定に対して平均値が探索され、ＰＡｖｇ＝｛３、ＭＥＤ、９２％｝が生成される。レンダリングプロセスが現在のエンコード品質設定よりも低い認知品質レベルでイメージを生成しないように、プロファイル平均化（ｐｒｏｆｉｌｅ－ａｖｅｒａｇｉｎｇ）プロセスは四捨五入をなさなければならない。プロファイルは各ＱＰ値に対して平均化され、新たなルックアップテーブルとして構造化される。
図４は、１つの設定によって構成されるレンダリング品質設定プロファイルに対するルックアップテーブルを生成する例を示した図である。このような例において、単一レンダリング品質設定は、エンコーダ品質設定の変更に応答して調整される。３Ｄシーン（ｓｃｅｎｅ）の１人称時点のレンダリングは、「３Ｄビュー（ｖｉｅｗ）」４００に示されるビューの３Ｄ部分の解像度を変更することによってレンダラで調整され、「ＵＩ」４０２で示されるユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：ＵＩ）エレメントの解像度は、あるプレイヤフェイシング（ｐｌａｙｅｒ－ｆａｃｉｎｇ）テキストの可読性を保つために変更されない。このような類型の選択的解像度スケーリング（ｒｅｓｏｌｕｔｉｏｎ ｓｃａｌｉｎｇ）は、動的解像度スケーリングとも呼ばれ、レンダリングエンジンのより一般的な特徴である。「参考イメージ」４０４に示される参考イメージは、可能な限り最も高い解像度でレンダリングされた一般的なビデオ出力からの単一フレームを示し、図３の段階３００で概略的に表現されるガイドライン（ｇｕｉｄｅｌｉｎｅ）によって選択される。エンコーダにおいて、「エンコードされた参考イメージ」４０６でエンコードされた参考イメージのリストを生成するために、「参考イメージ」４０４に示される参考イメージは、図３の段階３０２で説明したように、ＱＰの各定数値に対してエンコードされる。図３の段階３０４で説明したように、「ＳＳＩＭ」４０８に示されるＳＳＩＭ値は、それぞれのエンコードされた参考イメージ４０６に対して計算される。レンダリング品質プロファイルは、１つの品質設定で構成されるため、品質プロファイル順列の数は「３Ｄビュー」４００に示される３Ｄビューの解像度に利用可能な値の数に制限される。可能解像度値の数は、３Ｄビューの最大可能解像度が上限となり、３Ｄビューの最小実行可能解像度が下限となる。縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）は、最小および最大解像度の間にどれほど多くの解像度値が存在するかを定義するものであってよい。例えば、３８４０×２１６０の最大解像度は１６：９の縦横比を有するが、この縦横比において最小実行可能な解像度は１２８０×７２０と選択される。このような上限と下限の間に１６：９の縦横比を有する１６０個の可能解像度が存在する。代案的に、上限と下限の間のいくつかの同一の解像度が解像度サンプルとして任意に選択されてよい。例えば、複数のサンプル解像度サイズを選択するために、解像度は、３８４０と１２８０の間のｘ方向に徐々に減少してよい。
図３の段階３０８で説明したように、レンダラにおいて、利用可能な解像度サイズそれぞれまたは選択されたサンプル解像度サイズそれぞれに対し、参考イメージが「再レンダリングされたレファレンスシーケンス（ｓｅｑｕｅｎｃｅ）」４１０に示すように再レンダリングされる。図３の段階３１０で説明したように、「ＳＳＩＭ」４１２として示されているＳＳＩＭ値は、レンダラにおいて、それぞれの再レンダリングされたイメージに対して計算される。２つのセットのＳＳＩＭ値、すなわち「ＳＳＩＭ」４０８に示すようなエンコードされた参考イメージに対するＳＳＩＭ値と、「再レンダリングされたレファレンスシーケンス」４１０に示すようなプロファイルあたりの再レンダリングされた参考イメージに対するＳＳＩＭ値は、ＱＰの各定数値に対する解像度設定を提供するために、イメージセットでマッチングを探索するために比較される。この結果、「ルックアップテーブル」４１４に示すようなルックアップテーブルとして構造化されるようになるが、これは、ランタイム中に使用されるようになるであろう。量子化設定とマッチングするように３Ｄビュー解像度を減少させることにより、無駄なレンダリング作業を大きく減らすことができ、これは、サーバにおけるエネルギー使用量の減少、レンダリング時間の短縮、およびプレイヤフィードバック待機時間の改善を含む追加の利点に繋げることができる。このような利点は、複数のゲームインスタンスが単一サーバで実行される環境で合成される。
図５は、複数の設定を含むレンダリング品質設定プロファイルに対するルックアップテーブルを生成する例を示した図である。図３で説明したプロセスは、段階３００、段階３０２、および段階３０４を参照しながら説明したように、参考イメージを選択して各エンコーダ設定に対する感性品質を測定するために変更されない。レンダラは、ＱＰの値と関連して１つ以上のレンダリング品質設定をスケーリングすることができるため、図３の段階３０６で説明した、生成されたレンダリング品質設定プロファイルのリストは、参考イメージを再レンダリングして各レンダリング品質設定プロファイルに対する感性品質を計算することを容易にするために極めて長くなる。多数のレンダリング設定の順列が存在するようになることから、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）は、プログラミング方式で可能性空間を狭めるために役立つ。例えば、ポストプロセッシング品質は極めて低いが、他のすべての設定は極めて高いレンダリング品質設定プロファイルを有することは好ましくないこともある。特定の実施形態において、高い品質のシャドウが低い品質のポストプロセスにカバーされることは好ましくないこともある。他の実施形態では、これと反対になることもある。このような種類の決定は主観的ではあるが、特定のレンダリング設定と関連する計算費用、設定の２つの値の認知品質の差、１つのレンダリング設定と他の１つのレンダリング設定との比較の明確性（ｃｏｍｐａｒａｔｉｖｅ ｏｂｖｉｏｕｓｎｅｓｓ）（例えば、幅が数ピクセルにも過ぎない遠距離ディテール（ｆａｒ－ａｗａｙ ｄｅｔａｉｌ）に比べ、スクリーンの多くの部分を消費するクローズアップ効果（ｃｌｏｓｅ－ｕｐ ｅｆｆｅｃｔ））または相対的なゲームプレイの重要性（例えば、プレイヤにフィードバックを伝達するための重要な視覚効果）を含むが、これに限定されない基準を基盤とする。
図５は、「決定木」５００に示すような例示的な決定木であるが、これは、４つの可能なポストプロセッシング品質設定、３つの可能なシャドウ品質設定、および５つの可能な３Ｄビュー解像度の各順列に対するリーフ（ｌｅａｆ）で構成される。このような例示的な決定木は、実際の例示よりも相当に小さく、設定ごとにより多くの適応型レンダリング設定またはより多くのオプション（ｏｐｔｉｏｎ）が存在するが、これは本技術分野において通常の知識を有する者にとっては明白であろう。決定木は、ポストプロセッシング品質は極めて低いが、他のすべての設定は高いリーフを避けるといった制限条件によって通過する（ｔｒａｖｅｒｓｅｄ）ものであることが好ましい。制限条件によって除去されない各リーフに対し、レファレンスフレームは、図３の段階３０８で説明したように、リーフと関連するレンダリング品質設定プロファイルに再レンダリングされてよい。レンダリング時間またはクロックサイクルで測定された計算費用は、この時点に記録され、認知品質値の衝突の場合にポテンシャル（ｐｏｔｅｎｔｉａｌ）タイブレーカとして使用される。この後、認知品質は、図３の段階３１０で説明したように、それぞれのレンダリングされたイメージに対して測定されてよい。エンコーダ設定に対して計算されたセットでそれぞれの計算された認知品質値（ＳＳＩＭ）に対し、マッチングされるＳＳＩＭ値を有するすべてのレンダリング品質設定プロファイルのリストは、図３の段階３１２で説明したように生成されてよい。図５は、ＱＰ値１６に対して生成されたこのようなリストの例を示している。
ＱＰ値１６にエンコードされた参考イメージに対するＳＳＩＭ値は０．９９７であり、計算された計算費用１６．００４、１５．５５４、および１５．４０２を有して示される、マッチングされるＳＳＩＭ値を有する３つのレンダリング品質設定プロファイルがある。認知品質値に対する３つの衝突があるため、以前に記録された計算費用はタイブレーカとして作用し、レンダリング品質設定プロファイルが最も安価であるか、このような場合、１５．４０２の費用であるかを判断するために使用されてよい。「ルックアップテーブル」５０２に示すようなルックアップテーブルは、図３の段階３１４で説明したように、最も安価なレンダリング品質設定プロファイルをＱＰの各値に割り当てるために生成されなければならない。ＱＰ値１６に対して選択されたレンダリング品質設定プロファイルは、「プロファイル１６」として図５に示されている。
例１：無駄な計算に対するプロキシ（ｐｒｏｘｙ）としてのレンダリング時間に対する影響
実施例では、解像度だけがエンコーダ品質の変化に応答して線形的にスケーリングされる。例えば、エンコーダ品質が５０％低下すれば、解像度は応答によって５０％減少するはずである。レンダリング時間の節約は、計算能力節約と直接的な関連があるため、解像度がスケーリングされる間にレンダリング時間が検査された。測定値は、プレイヤの手、武器、および固定壁の１人称ビューを含むビューを有する、ローモーション（ｌｏｗ－ｍｏｔｉｏｎ）環境で採択される。このようなファクタ（ｆａｃｔｏｒ）は、モーションブロー（ｍｏｔｉｏｎ ｂｌｕｒ）、レンダリングされたオブジェクト数の変化、オンスクリーン（ｏｎ－ｓｃｒｅｅｎ）テクスチャの変化のようなポストプロセス、またはハイモーション（ｈｉｇｈ－ｍｏｔｉｏｎ）ビューで変更されるビューの他の構成要素を含んでよい。また、固定シーンの固定ビューは、スケーリングされた解像度で採択される多様な測定値を直接比較できるようにする。レンダリングエンジンは、徐々に低い解像度からビデオを出力しなければならず、この測定結果は、下記の表１に示すとおりである。
Figure 0007145204000001
オーペックパスは、ビューでオーペックジオメトリ（ｏｐａｑｕｅ ｇｅｏｍｅｔｒｙ）をドローイング（ｄｒａｗ）するレンダリングパイプラインの一部である。これは、解像度の変化に最も敏感なレンダリングパイプラインの一部である。解像度をスケーリングすることで得られるレンダリング時間の節約と計算費用の節約は、殆どがオーペックレンダリングパスから始まるであろう。
表１に示すように、６０フレームの１２８０×７２０の解像度全体において、レンダリング総時間１．４ｍｓのうち、オーペックパスに対するレンダリング時間は０．４ｍｓである。解像度が全体解像度の５０％に減少するとき、レンダリング総時間１．０ｍｓのうち、オーペックパスに対するレンダリング時間は０．３ｍｓである。したがって、５０％の解像度をスケーリングすることは、ほぼ３０％の大きなレンダリング時間の節約を実現する。解像度が全体解像度の２５％に減少するとき、レンダリング総時間０．８ｍｓのうち、オーペックパスに対するレンダリング時間は０．２ｍｓである。したがって、７５％の解像度をスケーリングすることは、４０％以上の大きなレンダリング時間の節約を実現する。
上述した説明および図面は、本発明の原理を例示するためのものに過ぎない。本発明は、好ましい実施形態によって制限されるように意図されてはならず、該当の技術分野において通常の知識を有する者にとって明白である、多様な方式で実現されるであろう。本発明の多数の応用は、該当の技術分野において通常の知識を有する者によって容易に実現されるであろう。したがって、開示された特定の例示または図に示されて説明された正確な構成と動作によって本発明を制限することは好ましくない。むしろ、すべての適切な修正および均等物が、本発明の範囲内に属するものと理解されなければならない。
〔付記１〕
段階を含むレンダリング（ｒｅｎｄｅｒｉｎｇ）のためのコンピュータで実現される方法であって、
段階は、
１つ以上のレンダリング品質設定プロファイルを生成する段階、
１つ以上の参考イメージ（ｒｅｆｅｒｅｎｃｅｉｍａｇｅ）を生成する段階、
エンコーダ設定の部分範囲（ｐａｒｔｉａｌ ｒａｎｇｅ）に対して前記１つ以上の参考イメージをエンコードする段階、
前記１つ以上の参考イメージそれぞれに対する第１認知品質（ｆｉｒｓｔ ｐｅｒｃｅｉｖｅｄ ｑｕａｌｉｔｙ）を計算する段階、
前記１つ以上のレンダリング品質設定プロファイルそれぞれに対して前記１つ以上の参考イメージを再レンダリング（ｒｅ－ｒｅｎｄｅｒｉｎｇ）する段階、
前記１つ以上の再レンダリングされた参考イメージそれぞれに対して１つ以上の第２認知品質（ｓｅｃｏｎｄ ｐｅｒｃｅｉｖｅｄ ｑｕａｌｉｔｙ）を計算する段階、
１つ以上の第１認知品質を前記１つ以上の第２認知品質と比較する段階（１つ以上の第１認知品質と前記１つ以上の第２認知品質とのマッチングは、１つ以上のルックアップテーブルとして１つ以上のエンコーダ設定とこられのマッチングされるレンダリング品質設定プロファイルの関連をもたらす）、および
前記ルックアップテーブルに基づき、エンコードされたフレームに対して実質的に同一の認知品質にレンダリングされたイメージを生成する段階
を含む、コンピュータで実現される方法。
〔付記２〕
前記再レンダリングされた参考イメージそれぞれに対して計算費用を計算する段階
をさらに含む、付記１に記載のコンピュータで実現される方法。
〔付記３〕
前記参考イメージと前記再レンダリングされた参考イメージに対し、前記１つ以上の第１認知品質の前記１つ以上の第２認知品質に対する複数のマッチングをタイブレーク（ｔｉｅｂｒｅａｋ）するために、前記再レンダリングされた参考イメージそれぞれの前記計算費用を適用する段階
をさらに含む、付記２に記載のコンピュータで実現される方法。
〔付記４〕
前記計算費用は、
レンダリング時間またはクロックサイクル（ｃｌｏｃｋ－ｃｙｃｌｅ）で測定される、付記２に記載のコンピュータで実現される方法。
〔付記５〕
アルゴリズムイメージ品質評価（ａｌｇｏｒｉｔｈｍｉｃ ｉｍａｇｅ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ）が計算された後、前記第１および第２認知品質を計算するために使用される、付記１に記載のコンピュータで実現される方法。
〔付記６〕
１つ以上のエンコーダ設定とこれらのマッチングされたレンダリング品質設定プロファイルの関連は、
プログラミング方式で可能性空間を狭めるために、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）を適用することによって実行される、付記１に記載のコンピュータで実現される方法。
〔付記７〕
構造的類似性インデックス（ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ ｉｎｄｅｘ：ＳＳＩＭ）が前記第１認知品質と前記第２認知品質を測定するために使用される、付記１に記載のコンピュータで実現される方法。
〔付記８〕
前記１つ以上のルックアップテーブルは、
量子化パラメータの複数の定数値または定数ではない部分範囲を使用して生成される、付記１に記載のコンピュータで実現される方法。
〔付記９〕
前記量子化パラメータの定数値は、
０～５１の範囲を有する、付記８に記載のコンピュータで実現される方法。
〔付記１０〕
前記品質設定プロファイルは、
それぞれの利用可能なレンダリング品質設定に対する値のリストである、付記１に記載のコンピュータで実現される方法。
〔付記１１〕
レンダリングのためのシステムであって、
エンコーダ設定の部分範囲に対して１つ以上の参考イメージをエンコードするコーデック、および
レンダラ（ｒｅｎｄｅｒｅｒ）
を含み、
前記レンダラは、
１つ以上のレンダリング品質設定プロファイルを生成し、
前記１つ以上の参考イメージを生成し、
前記１つ以上の参考イメージそれぞれに対する第１認知品質を計算し、
前記１つ以上のレンダリング品質設定プロファイルそれぞれに対して前記１つ以上の参考イメージを再レンダリングし、
前記１つ以上の再レンダリングされた参考イメージそれぞれに対する１つ以上の第２認知品質を計算し、
１つ以上の第１認知品質を前記１つ以上の第２認知品質と比較し（１つ以上の第１認知品質と前記１つ以上の第２認知品質とのマッチングは、ルックアップテーブルとして１つ以上のエンコーダ設定とこれらのマッチングされるレンダリング品質設定プロファイルの関連をもたらす）、
前記ルックアップテーブルに基づき、エンコードされたフレームに対して実質的に同一の認知品質にレンダリングされたイメージを生成する、システム。
〔付記１２〕
前記再レンダリングされた参考イメージそれぞれに対して計算費用を計算する段階
をさらに含む、付記１１に記載のシステム。
〔付記１３〕
前記参考イメージと前記再レンダリングされた参考イメージに対し、前記１つ以上の第１認知品質の前記１つ以上の第２認知品質に対する複数のマッチングをタイブレークするために、前記再レンダリングされた参考イメージそれぞれの前記計算費用を適用する段階
をさらに含む、付記１２に記載のシステム。
〔付記１４〕
前記計算費用は、
レンダリング時間またはクロックサイクルで測定される、付記１２に記載のシステム。
〔付記１５〕
構造的類似性インデックスが前記第１認知品質と前記第２認知品質を測定するために使用される、付記１１に記載のシステム。
〔付記１６〕
１つ以上のエンコーダ設定とこれらのマッチングされたレンダリング品質設定プロファイルの関連は、
プログラミング方式で可能性空間を狭めるために、決定木を適用することによって実行される、付記１１に記載のシステム。
〔付記１７〕
前記構造的類似性インデックスは、
前記第１認知品質と前記第２認知品質を測定するために使用される、付記１１に記載のシステム。
〔付記１８〕
前記１つ以上のルックアップテーブルは、
量子化パラメータの複数の定数値または定数ではない部分範囲を使用して生成される、付記１１に記載のシステム。
〔付記１９〕
前記量子化パラメータの定数値は、
０～５１の範囲を有する、付記１８に記載のシステム。
〔付記２０〕
前記品質設定プロファイルは、
それぞれの利用可能なレンダリング品質設定に対する値のリストである、付記１１に記載のシステム。

Claims (14)

  1. 段階を含むレンダリングのためのコンピュータで実現される方法であって、
    段階は、
    １つ以上のレンダリング品質設定プロファイルを生成する段階、
    １つ以上の参考イメージを生成する段階、
    エンコーダ設定の部分範囲に対して前記１つ以上の参考イメージをエンコードする段階、
    前記１つ以上のエンコードされた参考イメージそれぞれに対する第１認知品質を計算する段階、
    前記１つ以上のレンダリング品質設定プロファイルそれぞれに対して前記１つ以上の参考イメージを再レンダリングする段階、
    前記１つ以上の再レンダリングされた参考イメージそれぞれに対して１つ以上の第２認知品質を計算する段階、
    １つ以上の第１認知品質を前記１つ以上の第２認知品質と比べる段階であって、１つ以上の第１認知品質と前記１つ以上の第２認知品質とのマッチングは、エンコーダの設定と関連するレンダリング品質設定プロファイルを格納する１つ以上のルックアップテーブルで、１つ以上のエンコーダ設定とこれらのマッチングされるレンダリング品質設定プロファイルの関連をもたらす、段階、および
    １つ以上のエンコーダ設定と、前記１つ以上のルックアップテーブル内の一致するレンダリング品質設定プロファイルとの関連性に基づき、エンコードされたフレームに対して実質的に同一の認知品質にレンダリングされたイメージを生成する段階
    を含む、コンピュータで実現される方法。
  2. 前記再レンダリングされた参考イメージそれぞれに対して計算費用を計算する段階をさらに含み、前記計算費用は、レンダリング時間またはクロックサイクルで計算され、前記計算費用は、前記１つ以上の第２認知品質における衝突のタイブレーカー値として使用される、請求項１に記載のコンピュータで実現される方法。
  3. 前記１つ以上の参考イメージと前記１つ以上の再レンダリングされた参考イメージとの間のピクセルデータの比較によってアルゴリズムイメージ品質評価が計算された後、前記第１および第２認知品質を計算するために使用される、請求項１に記載のコンピュータで実現される方法。
  4. １つ以上のエンコーダ設定とこれらのマッチングされたレンダリング品質設定プロファイルの関連は、
    プログラミング方式で可能性空間を狭めるために、決定木を適用することによって実行される、請求項１に記載のコンピュータで実現される方法。
  5. 構造的類似性インデックスが前記第１認知品質と前記第２認知品質を測定するために使用される、請求項１に記載のコンピュータで実現される方法。
  6. 前記１つ以上のルックアップテーブルは、
    量子化パラメータの複数の定数値または定数ではない部分範囲を使用して生成され、前記量子化パラメータは、前記１つ以上のエンコーダ設定を表す、請求項１に記載のコンピュータで実現される方法。
  7. レンダリングのためのシステムであって、
    エンコーダ設定の部分範囲に対して１つ以上の参考イメージをエンコードするコーデック、および
    レンダラ
    を含み、
    前記レンダラは、
    １つ以上のレンダリング品質設定プロファイルを生成し、
    前記１つ以上の参考イメージを生成し、
    前記１つ以上の参考イメージそれぞれに対する第１認知品質を計算し、
    前記１つ以上のレンダリング品質設定プロファイルそれぞれに対して前記１つ以上の参考イメージを再レンダリングし、
    前記１つ以上の再レンダリングされた参考イメージそれぞれに対する１つ以上の第２認知品質を計算し、
    １つ以上の第１認知品質を前記１つ以上の第２認知品質と比較することであって、１つ以上の第１認知品質と前記１つ以上の第２認知品質とのマッチングは、エンコーダの設定と関連するレンダリング品質設定プロファイルを格納するルックアップテーブルで、１つ以上のエンコーダ設定とこれらのマッチングされるレンダリング品質設定プロファイルの関連をもたらす、こと、
    １つ以上のエンコーダ設定と、前記ルックアップテーブル内の一致するレンダリング品質設定プロファイルとの関連性に基づき、エンコードされたフレームに対して実質的に同一の認知品質にレンダリングされたイメージを生成する、システム。
  8. 前記再レンダリングされた参考イメージそれぞれに対して計算費用を計算する段階をさらに含み、前記計算費用は、レンダリング時間またはクロックサイクルで計算され、前記計算費用は、前記１つ以上の第２認知品質における衝突のタイブレーカー値として使用される、請求項７に記載のシステム。
  9. 前記１つ以上の参考イメージと前記１つ以上の再レンダリングされた参考イメージとの間のピクセルデータの比較によってアルゴリズムイメージ品質評価が計算された後、前記第１および第２認知品質を計算するために使用される、請求項７に記載のシステム。
  10. １つ以上のエンコーダ設定とこれらのマッチングされたレンダリング品質設定プロファイルの関連は、
    プログラミング方式で可能性空間を狭めるために、決定木を適用することによって実行される、請求項７に記載のシステム。
  11. 構造的類似性インデックスが前記第１認知品質と前記第２認知品質を測定するために使用される、請求項７に記載のシステム。
  12. 前記１つ以上のルックアップテーブルは、
    量子化パラメータの複数の定数値または定数ではない部分範囲を使用して生成され、前記量子化パラメータは、前記１つ以上のエンコーダ設定を表す、請求項７に記載のシステム。
  13. １つ以上のレンダリング品質設定プロファイルを生成する前記段階、
    １つ以上の参考イメージを生成する前記段階、
    前記１つ以上のエンコードされた参考イメージそれぞれに対する第１認知品質を計算する前記段階、
    前記１つ以上のレンダリング品質設定プロファイルそれぞれに対して前記１つ以上の参考イメージを再レンダリングする前記段階、
    前記１つ以上の再レンダリングされた参考イメージそれぞれに対して１つ以上の第２認知品質を計算する前記段階、
    １つ以上の第１認知品質を前記１つ以上の第２認知品質と比べる前記段階であって、１つ以上の第１認知品質と前記１つ以上の第２認知品質とのマッチングは、エンコーダの設定と関連するレンダリング品質設定プロファイルを格納する１つ以上のルックアップテーブルで、１つ以上のエンコーダ設定とこれらのマッチングされるレンダリング品質設定プロファイルの関連をもたらす、前記段階、および
    １つ以上のエンコーダ設定と、前記１つ以上のルックアップテーブル内の一致するレンダリング品質設定プロファイルとの関連性に基づき、エンコードされたフレームに対して実質的に同一の認知品質にレンダリングされたイメージを生成する前記段階
    はレンダラで実行され、
    エンコーダ設定の部分範囲に対して前記１つ以上の参考イメージをエンコードする前記段階
    はコーデックで実行される、
    請求項１に記載のコンピュータで実現される方法。
  14. 前記レンダラは、
    スクリーン解像度、ミップマップ選択、ディテールレベル、シャドウ品質、およびポストプロセッシング品質を含むピクセルあたりの品質制御に利用可能な複数の設定であって、前記１つ以上のレンダリング品質設定プロファイルを生成するために使用される複数の設定を備える、請求項１３に記載のコンピュータで実現される方法。
JP2020507504A 2017-04-21 2018-04-20 誘導式エンコーダの適応品質レンダリングのためのシステムおよび方法 Active JP7145204B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862653056P 2018-04-05 2018-04-05
US62/653,056 2018-04-05
PCT/US2018/028645 WO2018195477A1 (en) 2017-04-21 2018-04-20 Systems and methods for encoder-guided adaptive-quality rendering

Publications (2)

Publication Number Publication Date
JP2020518211A JP2020518211A (ja) 2020-06-18
JP7145204B2 true JP7145204B2 (ja) 2022-09-30

Family

ID=63854334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507504A Active JP7145204B2 (ja) 2017-04-21 2018-04-20 誘導式エンコーダの適応品質レンダリングのためのシステムおよび方法

Country Status (14)

Country Link
US (3) US10313679B2 (ja)
EP (1) EP3612978A4 (ja)
JP (1) JP7145204B2 (ja)
KR (1) KR102326456B1 (ja)
CN (1) CN111033519B (ja)
AU (2) AU2018254591B2 (ja)
BR (1) BR112019021687A2 (ja)
CA (2) CA3082771C (ja)
DE (1) DE112018002109T5 (ja)
GB (3) GB2587091B (ja)
RU (2) RU2759505C2 (ja)
TW (2) TWI755616B (ja)
WO (1) WO2018195477A1 (ja)
ZA (2) ZA201907682B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
CA3039701A1 (en) * 2018-04-06 2019-10-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
CN112206535B (zh) * 2020-11-05 2022-07-26 腾讯科技（深圳）有限公司 虚拟对象的渲染显示方法、装置、终端及存储介质
KR102472971B1 (ko) * 2020-11-19 2022-12-02 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
US20240114146A1 (en) * 2021-02-02 2024-04-04 Sony Group Corporation Information processing device and information processing method
EP4373102A1 (en) * 2022-11-18 2024-05-22 Axis AB Encoding aware overlay format
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167048A (ja) 2006-12-27 2008-07-17 Toshiba Corp 情報処理装置およびプログラム

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US6064359A (en) * 1997-07-09 2000-05-16 Seiko Epson Corporation Frame rate modulation for liquid crystal display (LCD)
AU2003280512A1 (en) 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
JP4816874B2 (ja) 2005-05-31 2011-11-16 日本電気株式会社 パラメータ学習装置、パラメータ学習方法、およびプログラム
US20070147497A1 (en) * 2005-07-21 2007-06-28 Nokia Corporation System and method for progressive quantization for scalable image and video coding
KR100790986B1 (ko) * 2006-03-25 2008-01-03 삼성전자주식회사 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
US8711144B2 (en) * 2006-08-01 2014-04-29 Siemens Medical Solutions Usa, Inc. Perception-based artifact quantification for volume rendering
US9064010B2 (en) 2006-12-13 2015-06-23 Quickplay Media Inc. Encoding and transcoding for mobile media
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8954876B1 (en) * 2007-10-09 2015-02-10 Teradici Corporation Method and apparatus for providing a session status indicator
US8295624B2 (en) * 2007-12-03 2012-10-23 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US9865043B2 (en) 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
EP2364190B1 (en) 2008-05-12 2018-11-21 GameFly Israel Ltd. Centralized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US8654835B2 (en) * 2008-09-16 2014-02-18 Dolby Laboratories Licensing Corporation Adaptive video encoder control
FR2936926B1 (fr) * 2008-10-06 2010-11-26 Thales Sa Systeme et procede de determination de parametres de codage
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
TW201018443A (en) * 2008-11-07 2010-05-16 Inst Information Industry Digital filtering system, method and program
CN103605452B (zh) 2008-11-11 2018-04-17 索尼电脑娱乐公司 图像处理装置、以及图像处理方法
US20120007951A1 (en) * 2009-03-29 2012-01-12 Nomad3D Sas System and format for encoding data and three-dimensional rendering
US9894361B2 (en) * 2009-03-31 2018-02-13 Citrix Systems, Inc. Framework for quality-aware video optimization
US10097946B2 (en) 2011-12-22 2018-10-09 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for cooperative applications in communication systems
JP2013507084A (ja) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド 画像処理のための方法およびシステム
FR2954036B1 (fr) * 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
WO2012078640A2 (en) * 2010-12-06 2012-06-14 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network bandwidth constraints
SG2014008775A (en) * 2011-08-16 2014-04-28 Destiny Software Productions Inc Script-based video rendering
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US10091513B2 (en) * 2011-09-29 2018-10-02 Texas Instruments Incorporated Perceptual three-dimensional (3D) video coding based on depth information
US10085023B2 (en) * 2011-10-05 2018-09-25 Texas Instruments Incorporated Systems and methods for quantization of video content
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
FR2987086B1 (fr) * 2012-02-22 2014-03-21 Snecma Joint lineaire de plateforme inter-aubes
US9317751B2 (en) * 2012-04-18 2016-04-19 Vixs Systems, Inc. Video processing system with video to text description generation, search system and methods for use therewith
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
AU2013261845A1 (en) 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
US8897586B2 (en) * 2012-06-15 2014-11-25 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
KR101664758B1 (ko) 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
WO2014120367A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video
US9106556B2 (en) * 2013-02-11 2015-08-11 Avaya Inc. Method to achieve the use of an external metric as the primary tie-breaker in intermediate system to intermediate system (ISIS) route selections
MX350910B (es) 2013-02-21 2017-09-25 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr).
US8842185B1 (en) * 2013-03-14 2014-09-23 Microsoft Corporation HDMI image quality analysis
US10040323B2 (en) 2013-03-15 2018-08-07 Bridgestone Americas Tire Operations, Llc Pneumatic tire with bead reinforcing elements at least partially formed from carbon fibers
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
GB2513345B (en) 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
CN105246567B (zh) 2013-05-31 2016-09-14 英派尔科技开发有限公司 受缓存影响的视频游戏
GB2534073B (en) * 2013-08-29 2018-01-17 Isee Vc Pty Ltd Quality controller for video image
GB2520406B (en) 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
US9940904B2 (en) 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9830714B2 (en) 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
WO2016014852A1 (en) * 2014-07-23 2016-01-28 Sonic Ip, Inc. Systems and methods for streaming video games using gpu command streams
JP2017522895A (ja) 2014-07-31 2017-08-17 ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティ オブ オクラホマ 哺乳類ｒｐｅ６５の高イソメロヒドロラーゼ活性突然変異体
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US10362335B2 (en) 2014-10-03 2019-07-23 José Damián RUIZ COLL Method for improving the quality of an image subjected to recoding
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
US10098960B2 (en) 2015-04-03 2018-10-16 Ucl Business Plc Polymer conjugate
TW201642655A (zh) 2015-04-21 2016-12-01 Ｖｉｄ衡器股份有限公司 基於藝術意向之視訊編碼
WO2016197033A1 (en) 2015-06-05 2016-12-08 Apple Inc. Rendering and displaying high dynamic range content
IN2015CH02866A (ja) * 2015-06-09 2015-07-17 Wipro Ltd
CN106293047B (zh) 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US9704270B1 (en) 2015-07-30 2017-07-11 Teradici Corporation Method and apparatus for rasterizing and encoding vector graphics
KR20180039722A (ko) 2015-09-08 2018-04-18 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
US9716875B2 (en) * 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10216467B2 (en) 2016-02-03 2019-02-26 Google Llc Systems and methods for automatic content verification
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
JP6702602B2 (ja) * 2016-08-25 2020-06-03 Ｎｅｃディスプレイソリューションズ株式会社 自己画像診断方法、自己画像診断プログラム、ディスプレイ装置、及び自己画像診断システム
EP3301921A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
GB2554877B (en) 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10237293B2 (en) * 2016-10-27 2019-03-19 Bitdefender IPR Management Ltd. Dynamic reputation indicator for optimizing computer security operations
KR102651126B1 (ko) 2016-11-28 2024-03-26 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
GB2558886B (en) 2017-01-12 2019-12-25 Imagination Tech Ltd Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space
US10117185B1 (en) 2017-02-02 2018-10-30 Futurewei Technologies, Inc. Content-aware energy savings for video streaming and playback on mobile devices
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10423587B2 (en) * 2017-09-08 2019-09-24 Avago Technologies International Sales Pte. Limited Systems and methods for rendering graphical assets
CN108334412A (zh) 2018-02-11 2018-07-27 沈阳东软医疗系统有限公司 一种显示图像的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167048A (ja) 2006-12-27 2008-07-17 Toshiba Corp 情報処理装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ｓｅｏｎｇ－Ｐｉｎｇ Ｃｈｕａｈ ｅｔ ａｌ．，"Ｃｌｏｕｄ Ｇａｍｉｎｇ：Ａ Ｇｒｅｅｎ Ｓｏｌｕｔｉｏｎ ｔｏ Ｍａｓｓｉｖｅ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｇａｍｅｓ"，ＩＥＥＥ Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４年８月，Ｖｏｌｕｍｅ ２１，Ｉｓｓｕｅ ４，Ｐａｇｅｓ ７８－８７

Also Published As

Publication number Publication date
GB202112381D0 (en) 2021-10-13
EP3612978A4 (en) 2020-06-03
CA3082771A1 (en) 2018-10-25
GB2576662A (en) 2020-02-26
GB202014205D0 (en) 2020-10-21
GB201916965D0 (en) 2020-01-08
TW201842780A (zh) 2018-12-01
US10313679B2 (en) 2019-06-04
RU2020127411A3 (ja) 2021-03-10
GB2576662B (en) 2020-10-28
CA3060578A1 (en) 2018-10-25
RU2759505C2 (ru) 2021-11-15
RU2730435C1 (ru) 2020-08-21
US10554984B2 (en) 2020-02-04
BR112019021687A2 (pt) 2020-05-12
JP2020518211A (ja) 2020-06-18
AU2021202099A1 (en) 2021-05-06
TWI669954B (zh) 2019-08-21
TW201941613A (zh) 2019-10-16
CA3082771C (en) 2022-09-20
GB2587091B (en) 2022-01-05
ZA202007214B (en) 2022-04-28
GB2595197B (en) 2022-02-23
AU2018254591B2 (en) 2021-01-07
TWI755616B (zh) 2022-02-21
CA3060578C (en) 2020-07-21
US20190253720A1 (en) 2019-08-15
DE112018002109T5 (de) 2020-01-09
US20200154112A1 (en) 2020-05-14
GB2587091A (en) 2021-03-17
KR20200020674A (ko) 2020-02-26
RU2020127411A (ru) 2020-10-14
AU2021202099B2 (en) 2022-07-07
EP3612978A1 (en) 2020-02-26
CN111033519B (zh) 2021-07-27
WO2018195477A1 (en) 2018-10-25
KR102326456B1 (ko) 2021-11-12
US11330276B2 (en) 2022-05-10
CN111033519A (zh) 2020-04-17
US20180310008A1 (en) 2018-10-25
ZA201907682B (en) 2021-04-28
AU2018254591A1 (en) 2019-12-12
GB2595197A (en) 2021-11-17

Similar Documents

Publication Publication Date Title
JP7145204B2 (ja) 誘導式エンコーダの適応品質レンダリングのためのシステムおよび方法
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
AU2020289755B2 (en) Systems and methods for rendering & pre-encoded load estimation based encoder hinting

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200228

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210621

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210622

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210903

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210907

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220221

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220727

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220819

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220916

R150 Certificate of patent or registration of utility model

Ref document number: 7145204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150