TWI755616B - 用於編碼器導引自適應性品質演現的系統及方法 - Google Patents

用於編碼器導引自適應性品質演現的系統及方法 Download PDF

Info

Publication number
TWI755616B
TWI755616B TW108125441A TW108125441A TWI755616B TW I755616 B TWI755616 B TW I755616B TW 108125441 A TW108125441 A TW 108125441A TW 108125441 A TW108125441 A TW 108125441A TW I755616 B TWI755616 B TW I755616B
Authority
TW
Taiwan
Prior art keywords
quality
rendering
settings
encoder
profile
Prior art date
Application number
TW108125441A
Other languages
English (en)
Other versions
TW201941613A (zh
Inventor
麥克 柯比士
Original Assignee
美商時美媒體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商時美媒體公司 filed Critical 美商時美媒體公司
Publication of TW201941613A publication Critical patent/TW201941613A/zh
Application granted granted Critical
Publication of TWI755616B publication Critical patent/TWI755616B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明揭示宜使用於一視訊遊戲環境中之用於改良與演現及編碼影像有關之電腦技術的系統及方法。在某些實施例中，一編碼解碼器係用以針對編碼器設定之一部分範圍編碼一或多個參考影像，且一演現器係用以產生一或多個演現品質設定設定檔、產生一或多個參考影像、計算該一或多個參考影像之各者的感知品質、針對該一或多個演現品質設定設定檔之各者重新演現該一或多個參考影像，及計算該一或多個經重新演現之參考影像之各者的感知品質。該演現器比較該等參考影像之該等感知品質與該等經重新演現之影像之該等感知品質，並使其等匹配。該等匹配導致一或多個編碼器設定與其等匹配之演現品質設定設定檔關聯至一查詢表中。該查詢表係用以在遊戲玩法期間以實質上相同於一經編碼圖框之感知品質來產生一經演現影像。

Description

用於編碼器導引自適應性品質演現的系統及方法
本發明揭露視訊遊戲環境中用於改良與演現及編碼影像有關之電腦技術。
其中藉由一用戶端玩家控制一伺服器端遊戲之遠端遊戲應用程式已嘗試使用現有或客製化編碼解碼器(亦被稱為編碼器)即時編碼來自三維(3D)圖形引擎之視訊輸出。然而，視訊遊戲之互動式本質，尤其視訊輸出與玩家輸入之間的玩家回饋迴圈，使遊戲視訊串流比傳統視訊串流對延時更敏感。現有視訊寫碼方法可權衡運算能力(其他很少)以縮減編碼時間。用於將編碼程序整合至視訊演現程序中之新方法可顯著縮減編碼時間同時亦減少運算能力、改良經編碼視訊之品質、及保留原始位元串流資料格式以保持現有硬體裝置之互操作性。
當一視訊遊戲例項執行於在玩家本端之硬體上時，期望使該遊戲以最高品質輸出各像素。然而，在其中經演現輸出經編碼及傳輸至一遠端用戶端之一伺服器端遊戲例項中，編碼器可降低影像品質以擬合於一有限頻寬內。若經演現品質顯著高於經解碼輸出之品質，則損失一可量測伺服器端演現工作量。
藉由基於來自編碼器之回饋而調適伺服器端演現品質以與後量化品質匹配，遊戲可在無任何顯著用戶端品質損失的情況下減少浪費之伺服器端運算。伺服器端運算浪費之減少亦可導致包含減少能量使用、縮減演現時間及縮減玩家回饋延時之額外益處。在其中多個遊戲例項執行於相同伺服器上之環境中，伺服器端運算節省變得複雜。
在用於涉及多個玩家之遊戲，尤其諸如大規模多玩家線上遊戲(「MMOG」)之遊戲之串流環境中，確保不浪費伺服器端演現工作變得愈加重要。歸因於MMOG之玩家可用之有線頻寬，最大化演現品質同時防止遊戲減速之一編碼器尤其重要。如下文所論述之當前技術採用各種方法以嘗試解決此問題，但仍存在缺陷。
美國專利公開案第US20170132830A1號(「‘830公開案」)揭示用於在對其執行遮蔽之一3D場景中判定一選擇遮蔽點、對該經判定遮蔽點執行遮蔽、及基於對該經判定遮蔽點執行之該遮蔽之一結果判定該3D場景之遮蔽資訊的系統及方法。基於場景之時間特性調整場景之遮蔽。然而，此技術未解決基於伺服器端演現能力及可用頻寬最佳化編碼之根本問題。
美國專利公開案第US20170200253A1號(「‘253公開案」)揭示用於改良圖形處理器之演現效能之系統及方法。在圖形處理器處，可設定一上臨限值使得在遇到大於該設定臨限值之一圖框時，圖形處理器採取適當動作以縮減演現時間。然而，此技術僅係基於一設定臨限值且未針對伺服器端演現能力及可用頻寬而動態調整。
美國專利公開案第US2017/0278296A1號(「‘296公開案」)揭示其中產生判定一場景之各部分處之紋理之該場景之初始演現、且藉由追蹤一初始射線樣本而產生該場景之一射線追蹤之演現的系統及方法。此參考文獻揭示基於場景紋理之預知及識別歸因於在射線追蹤期間之減少取樣所引起之雜訊而明智地判定針對各像素之最佳數目個樣本。又一次，此技術係限於最佳射線取樣且未針對伺服器端演現能力及可用頻寬而動態調整。
如自本技術中之最新技術之以上論述明白，此項技術中需要改良與演現及編碼遊戲有關之目前電腦技術。
因此本發明之一目的係揭示用於藉由使用一編碼解碼器(其在本文中亦可被稱為一編碼器)針對編碼器設定之一部分範圍編碼一或多個參考影像及使用一演現器執行以下步驟而最佳化演現的系統及方法：產生一或多個演現品質設定設定檔(rendering quality-setting profile)、產生一或多個參考影像、計算該一或多個參考影像之各者之感知品質、針對該一或多個演現品質設定設定檔之各者重新演現該一或多個參考影像、及計算該一或多個經重新演現之參考影像之各者之感知品質。該演現器比較參考影像之該等感知品質與經重新演現之影像之該等感知品質並使其等匹配。該等匹配導致一或多個編碼器設定與其等匹配之演現品質設定設定檔之關聯至一查詢表中。該查詢表係用於在遊戲玩法期間以實質上相同於一經編碼圖框之感知品質產生一經演現影像。
本發明之另一目的係揭示用於藉由使用一演現器計算經重新演現之參考影像之各者之運算成本而最佳化編碼及演現的系統及方法。
本發明之又另一目的係揭示用於藉由應用一結構相似性指數計算影像之感知品質而最佳化編碼及演現的系統及方法。
相關申請案之交叉參考 文件中有使用其他字體，請調整字體（中文字請設定為新細明體、英文字請設定為Times New Roman）。 本申請案主張以下美國臨時申請案之權利：於2017年4月21日申請之美國臨時申請案第62/488,526號及於2018年4月5日申請之美國臨時申請案第62/653,056號。
在描述圖式中所繪示之本發明之較佳實施例時，為清楚起見將採用特定術語學。然而，本發明不意欲限於如此選擇之特定術語，且應理解，各特定術語包含以一類似方式操作以達成一類似目的之所有技術等效物。本發明之若干較佳實施例係出於圖解說明目的而描述，應理解，本發明可依其他形式而非圖式中明確展示之形式體現。
現代演現引擎(諸如視訊遊戲中所使用之演現引擎)具有在執行時間期間基於若干因數(諸如一玩家距一物件之距離、先前圖框之演現時間或其他執行時間量測)調適特定品質設定之能力。一演現引擎可提供若干方法來調整品質，以容許整體演現品質之更細粒度控制。一些實例包含偏置紋理取樣以使用更模糊mipmap、使用較低品質級聯或關於陰影之較少樣本、在遮蔽模型上執行一簡化路徑(例如，鏡面之DCT變換看似漫射)、及使用較少樣本用於後處理(例如，用於高斯(Gaussian)、容積霧(volumetric fog)等)。在直播串流應用中，回應於編碼器設定之變化改變一或多個演現品質設定可提供最佳演現成本節省，而不會影響經編碼輸出品質。
圖1係其中將即時演現視訊直播串流傳輸至一遠端觀看者之一例示性環境之一圖式。伺服器100可係能夠同時執行一即時演現程序102 (在下文亦被稱為一演現器)及一串流編碼解碼器104之任何硬體。編碼解碼器104亦具有透過直接報告或此項技術中已知之某其他監測程序將其量化設定傳送回至演現程序102之能力。透過一網路將經編碼視訊串流傳輸至一用戶端裝置106。用戶端106可為能夠解碼及顯示視訊串流之任何硬體。
圖2係概述編碼器導引自適應性品質演現之例示性階段之一流程圖。使用一H.264標準合規編碼器之直播串流編碼通常採用一恆定速率因數(「CRF」)模式，該CRF模式在「報告用於各經編碼圖框之量化設定」步驟200處報告用於一經編碼圖框之有效量化設定作為一量化參數(「QP」)。在某些實施例中，所使用之H.264標準合規程式庫係ffmpeg ，其輸出量化參數作為變數f_crf_avg 。該量化參數係在0至51之範圍內之一指數，其定義壓縮在編碼期間之損耗程度。QP之較低值表示較低壓縮，而QP之較高值表示較高壓縮。為維持於一恆定位元率，在CRF模式中操作之一編碼器將增加可承受較高壓縮之圖框的QP，且減小需要較高品質之圖框的QP。編碼器利用這一事實：藉由在具有相對較高運動之區域中增加壓縮且在相對靜止之區域中減小壓縮，人眼不太容易區分移動物件上的細節。此容許編碼器維持一目標感知品質，同時縮減一些經編碼圖框的大小。
演現器在演現一圖框之前於「監測量化設定之變化」步驟202處讀取報告之QP。在「不同？」步驟203處，若有效量化設定自先前演現之圖框以來尚未改變，則演現器不採取動作來調適演現品質，且將再次檢查下一圖框。若演現器讀取不同於先前演現之圖框之一QP值，或若此係針對其執行編碼器導引自適應性品質演現之第一編碼圖框，則在「改變演現品質設定以匹配量化設定」步驟204處改變演現品質。若QP值自先前演現之圖框以來已增加，則演現器將降低品質以匹配編碼器處之壓縮等級。同樣地，若QP值自先前演現之圖框以來已減小，則編碼器將提高品質。為改變演現設定，演現器將檢查對編碼器提供之QP值提供一演現品質設定設定檔之一預產生的查詢表。一般而言，每編碼器品質設定應僅具有一個項目。演現器使用編碼器提供之QP，找出該一個項目，且使用相關聯之演現品質設定設定檔。一般而言，應用整個演現品質設定設定檔。一演現品質設定設定檔係定義為用於各可用演現品質設定之值之一清單。參考圖3來更詳細描述此查詢表之預產生。預定義之查詢表可針對QP之整數值來定義演現設定(此需要演現器將經讀取QP值四捨五入為最接近整數)，或查詢表可針對在0與51之間的QP值之各部分範圍來定義演現設定。圖4及圖5中之實例假定演現器將在使用查詢表之前，將QP四捨五入為最接近整數，但代替性地實例可經修改以使用QP之部分範圍來定義一查詢表。演現器將在演現下一圖框之前，根據自查詢表提取之演現品質設定設定檔來改變品質設定。降低演現品質將減少在編碼器瓶頸制約品質時浪費的演現工作量。
圖3係概述將一演現品質設定設定檔指派給編碼器設定之各部分範圍之查詢表之例示性預產生的一流程圖。在編碼設定或演現設定改變時，一參考影像將用作量測對感知品質所產生之影響之一基線。該參考影像應表示視訊輸出之一典型圖框且包含對於一所選取之遊戲背景內容而言典型之經演現元素(諸如模型、紋理或視覺效果)。遊戲背景內容可包含一特定區域、特定圖、特定等級或某特定遊戲玩法。選定之參考影像將用於產生估計在與參考影像相同之背景內容內演現之視訊之感知品質之一查詢表。例如，自一參考影像產生之含有來自一遊戲等級之一代表性元素集之查詢表可用於估計在相同等級內自類似場景演現之視訊之感知品質。在下文進一步論述用於將多個查詢表組合成一個一般化查詢表之方法。在識別一遊戲背景內容之後，已選取並以全品質演現一代表性場景，如「選擇並產生參考影像」步驟300處所展示。該代表性場景之該全品質演現之場景在本文中被稱為參考影像。
上文結合圖2之描述所論述之演現器之執行時間行為之一較佳實施例需要演現器在讀取查詢表之前將QP之經接收值四捨五入為最接近整數。因此，查詢表將僅使用QP之整數值產生。在編碼器處，針對編碼器中之各整數值品質設定、量化參數(QP)整數值0至51編碼全品質參考影像，如「針對編碼器設定之各部分範圍編碼參考影像」步驟302處所展示。在較佳實施例中，存在52個部分範圍，其等藉由演現器執行之四捨五入操作予以定義。該實施方案可經修改以對於更常見之QP值(在自0至51之範圍中間之值)建立更多部分範圍，或對更少見之QP值(在自0至51之範圍極端之值)建立更少部分範圍。
感知品質試圖量化人眼可感知一經壓縮影像與全品質源影像之間的品質損失之程度。具有用於估計感知品質之若干種方法，包含均方誤差(MSE)及峰值信雜比(PSNR)，其等僅使用兩個影像之間的照度及對比度值差來計算一壓縮編碼解碼器之品質。如由Z.Wang、A.C. Bovik、H. R. Sheikh及E. P. Simoncelli，「Image quality assessment From error visibility to structural similarity」，IEEE Transactions on Image Processing ，第13卷，第4期，第600至612頁，2004年4月所揭示，結構相似性(SSIM)指數係假定人眼亦擅長自一場景提取結構資訊且定義一計算以估計感知品質之一方法。SSIM藉由比較兩個影像之間的像素資料而起作用：未壓縮全品質參考影像與經編碼影像。演算法在8x8像素之「窗」內比較照度、對比度、結構及有時色度。因為SSIM具有一低運算成本且勝過如MSE及PSNR之方法，所以SSIM係用於計算感知品質之較佳工具。為針對編碼器設定之各值產生感知品質，較佳在演現器及/或遊戲引擎處，在各經編碼參考影像與參考影像之間計算SSIM指數，如「計算各經編碼參考影像之感知品質」步驟304處所展示。在較佳實施例中，計算52個SSIM值，一個值針對具有0至51之一值之各量化參數(QP)整數。參考圖3、圖4及圖5之例示性描述使用一標準SSIM計算來比較兩個靜止影像，但存在可比較兩個視訊片段且可代替性地以一增加之運算成本使用之一SSIM方法變體。一個此SSIM變體係時空 SSIM，如由Anush K. Moorthy及Alan C. Bovik，「Efficient Motion Weighted Spatio-Temporal Video SSIM Index」，Human Vision and Electronic Imaging XV ，第7527卷，2010年3月(可於http://live.ece.utexas.edu/publications/2010/moorthy_spie_jan10.pdf獲得)所揭示。
演現器可具有可用於每像素品質控制之若干設定，包含螢幕解析度、mipmap選擇、細節層次(LOD)選擇、陰影品質、後處理品質或其他設定。一品質設定設定檔係定義為用於各可用品質設定之值之一清單。在某些實施例中，在演現器處，蒐集可自適應性改變之所有演現設定之一清單連同其等之可能值。接著產生自適應性品質演現設定及其等值之所有置換以建立演現品質設定設定檔之一清單，如「產生演現品質設定設定檔之清單」步驟306處所展示。因為一演現器可具有含許多可能值之許多品質設定，所以品質設定設定檔之置換之數目可能過於長。圖5之實例論述用於限制及最佳化清單中之品質設定設定檔之數目之一例示性方法。
對於清單中之各演現品質設定設定檔，應在演現器處使用指定演現設定重新演現參考影像，如「針對各演現品質設定設定檔重新演現參考影像」步驟308處所展示。若演現品質設定設定檔包括一個以上設定，則用於各重新演現參考影像之演現時間亦應記錄為以演現時間或時脈循環為單位例示性地量測之運算成本之一量測。若具有任何SSIM值衝突，則運算成本之此量測可在稍後步驟中用作一決勝因子(tie-breaker)。
使用與先前在步驟304中所使用相同之感知品質量測，藉由比較重新演現影像之各者與原始參考影像而量測感知品質，如「計算各重新演現參考影像之感知品質」步驟310處所展示。在較佳實施例中，結構相似性(SSIM)指數係用於量測編碼器結果之感知品質且將用於量測重新演現結果之感知品質。
在演現器處，跨兩個影像集比較兩個感知品質值集(在步驟304處計算之用於經編碼參考影像之SSIM值及在步驟310處計算之用於每設定檔重新演現之參考影像之SSIM值)以找出該兩個集之間的匹配之SSIM值。理想上，對於各經編碼參考影像之SSIM值，具有來自每設定檔重新演現影像集之一個精確匹配之SSIM值。若無精確匹配者，則所選取之每設定檔重新演現影像之SSIM值應既大於又儘可能接近目標編碼參考影像之SSIM值。跨兩個感知品質值集之匹配SSIM值將識別針對QP之各值之一演現品質設定設定檔，如「找出針對編碼器設定之各部分範圍之一品質設定設定檔」步驟312處所展示。在其中存在衝突，其中存在來自用於每設定檔重新演現影像之SSIM值集之兩個或兩個以上精確匹配者之情況中，步驟308中記錄之運算成本可用作一決勝因子且針對編碼器設定選擇成本較低之演現品質設定設定檔。圖5展示一實例性衝突。
應將編碼器設定及其等匹配之演現品質設定設定檔組織成一查詢表，如「建立對於各編碼器設定指派一演現品質設定設定檔之查詢表」步驟314處所展示。此查詢表可在執行時間期間在演現器處用於改變演現品質設定以匹配量化設定，如藉由圖2中之步驟204所描述。查詢表提供產生具有與經編碼圖框相同之感知品質之一影像之一演現品質設定設定檔且對於給定參考圖框提供最大運算節省。實例性查詢表係展示於圖4及圖5中。
藉由結合圖3所描述之方法所產生之查詢表可在類似遊戲背景內容、場景或環境內用作參考影像。結合圖3所概述之程序可針對若干參考影像重複，各參考影像表示一特定環境、場景類型或其他有意義之遊戲背景內容。例如，可自一遊戲中之各圖選擇一參考影像，以產生多個圖特定查詢表。查詢表亦可被組合以建立可更普遍用於遊戲環境中之一查詢表。例如，圖特定查詢表可經組合以產生可用於一遊戲中之所有圖之一個查詢表。為組合查詢表，可組合針對各QP之演現品質設定設定檔，以求得用於該設定檔中所包含之各設定之一平均值。例如，三個查詢表係針對三個參考影像而產生。演現品質設定設定檔包括三個設定值：一後處理品質設定、一陰影品質設定，及一解析度設定。為組合針對一QP值4之演現品質設定設定檔，設定檔係自各查詢表讀取，且經表示為P41 = {3, MED, 95%}、P42 = {4, LOW, 90%}及P43 = {2, MED, 90%}。針對各設定求得平均值以產生PAvg= {3, MED, 92%}。一設定檔平均化程序應升值捨位，使得演現程序從不以低於當前編碼品質設定之一感知品質等級產生影像。設定檔係針對QP之各值予以平均化且被組織成一新查詢表。
圖4係用於演現僅包括一個設定之演現品質設定設定檔之查詢表產生之一實例。在此實例中，回應於編碼器品質設定之變化來調適一單個演現品質設定。一3D場景之一第一人稱視圖之演現係在演現器處藉由改變經展示於「3D視圖」400處之該視圖之3D部分的解析度來調適，而展示為「UI」402之使用者介面(UI)元素的解析度未改變以維持任何面向玩家之文字的可讀性。此類型之選擇性解析度按比例調整被稱為動態解析度按比例調整，且係日益普遍之一演現引擎特徵。經展示於「參考影像」404處之參考影像表示來自以最高可能解析度演現之一典型視訊輸出之一單個圖框，且係根據圖3之步驟300處所概述之指導方針來選取。如結合圖3之步驟302所描述，在編碼器處，針對QP之各整數值編碼經展示於「參考影像」404處之參考影像，以產生「經編碼參考影像」406處之一經編碼參考影像清單。如結合圖3之步驟304所描述，在演現器處，針對各經編碼參考影像406，計算經展示為「SSIM」408之SSIM值。因為演現品質設定檔僅包括一個品質設定，所以品質設定檔置換之數目限於可被用於如「3D視圖」400所展示之3D視圖之解析度之可能值的數目。可能解析度值之數目係以3D視圖之最大可能解析度為上界，且以3D視圖之最小可行解析度為下界。縱橫比可定義在最大解析度與最小解析度之間存在多少個解析度值。例如，3840 x 2160之一最大解析度具有16:9之一縱橫比，且在此縱橫比中之最小可行解析度係選取為1280 x 720。在此等上界與下界之間存在具有16:9之一縱橫比之160個可能解析度。替代性地，可任意選擇上界與下界之間的某數目個相同解析度作為解析度樣本。例如，解析度可在x方向上於3840與1280之間遞減，以選擇某數目個樣本解析度大小。
在演現器處，針對可用解析度大小之各者或選定樣本解析度大小之各者重新演現如「重新演現之參考序列」410處所展示之參考影像，如結合圖3之步驟308所描述。在演現器處針對各重新演現之影像計算展示為「SSIM」412之SSIM值，如藉由圖3之步驟310所描述。跨影像集比較兩個SSIM值集(如「SSIM」408處所展示之用於經編碼參考影像之SSIM值及如「重新演現之參考序列」410處所展示之用於每設定檔重新演現之參考影像之SSIM值)以找出匹配者以便對QP之各整數值提供一解析度設定。結果將被組織成將在執行時間期間使用之一查詢表，如「查詢表」414處所展示。藉由降低3D視圖解析度以匹配量化設定，可動態減少浪費之演現工作，此可導致包含減少伺服器上之能量使用、縮減演現時間及改良玩家回饋延時之額外益處。在其中多個遊戲例項執行於一單個伺服器上之環境中，此等益處變得複雜。
圖5係用於含有多個設定之一演現品質設定設定檔之查詢表產生之一實例。未改變如結合圖3所描述之程序以用於選擇一參考影像及量測針對各編碼器設定之感知品質，如結合步驟300、302及304所描述。因為演現器可相對於QP之值按比例調整一或多個演現品質設定，所以結合圖3中之步驟306所描述之經產生之演現品質設定設定檔之清單可能過於長以致於不能促進重新演現參考影像及針對各演現品質設定設定檔計算一感知品質。因為可能存在較大數目個演現設定置換，所以一決策樹可有助於以程式化方式縮小可能性空間。例如，可能不希望具有其中後處理品質非常低但所有其他設定非常高之一演現品質設定設定檔。在某些實施例中，可能不希望藉由低品質後處理覆蓋高品質陰影。在其他實施例中，可為相反情況。此種決策係主觀的但基於若干準則，包含(但不限於)：與一特定演現設定相關聯之運算成本、一設定之兩個值之間的感知品質差、一個演現設定優於另一演現設定之比較明顯性(諸如消耗螢幕之大部分之特寫效果與僅幾個像素寬之遠處細節比較)、或相對遊戲玩法重要性(諸如對於將回饋傳送至玩家而言重要之視覺效果)。
圖5係如「決策樹」500處所展示之一例示性決策樹，其包括用於四個可能後處理品質設定、三個可能陰影品質設定及五個可能3D視圖解析度之各置換之一分葉區。此實例性決策樹顯著小於一真實世界實例，因為一般技術者將明白，可能有更多自適應性演現設定或每設定可能有更多選項。較佳根據任何限制條件周遊決策樹，諸如避免其中後處理品質非常低但所有其他設定高之分葉區。對於未藉由一限制條件移除之各分葉區，可按與該分葉區相關聯之演現品質設定設定檔重新演現參考圖框，如藉由圖3中之308所描述。可在此時記錄以演現時間或時脈循環為單位量測之運算成本，以在感知品質值衝突之情況中用作一潛在決勝因子。接著，可針對各重新演現影像量測感知品質，如結合圖3之步驟310所描述。對於針對編碼器設定計算之集中之各經計算之感知品質值(SSIM)，可產生具有一匹配之SSIM值之所有演現品質設定設定檔之一清單，如結合圖3之步驟312所描述。圖5之實例展示針對一QP值16所產生之此清單。
用於以QP值16編碼之參考影像之SSIM值係0.997，針對其存在具有以經計算之運算成本16.004、15.554及15.402所展示之匹配SSIM值之三個演現品質設定設定檔。因為對於感知品質值存在三種衝突，所以早期記錄之運算成本用作一決勝因子且可用於判定哪一演現品質設定設定檔係最便宜的(在此情況中，哪一演現品質設定設定檔具有15.402之一成本)。應產生如「查詢表」502處所展示之一查詢表以將該最便宜之演現品質設定設定檔指派給QP之各值，如藉由圖3之步驟314所描述。針對QP值16選擇之演現品質設定設定檔在圖5中展示為「設定檔16」。實例 1 ：作為 運 算浪費之一代理之對演現時間產生之影響
在一實例性實施方案中，回應於編碼器品質之變化僅線性按比例調整解析度。例如，若編碼器品質下降達50%，則將作為回應而使解析度降低達50%。因為演現時間節省直接與運算能力節省相關，所以在按比例調整解析度時檢查演現時間。在一低運動環境中進行量測，其中一視圖包括玩家之手、武器及一靜止牆之一第一人稱視圖。選擇此低運動視圖以限制可藉由影響經量測演現時間而污染量測之因數之數目。此等因數可包含後處理，諸如運動模糊、經演現物件之數目之變化、螢幕上紋理之變化或視圖中之有可能改變高運動視圖之其他分量。一靜止場景之一靜止視圖亦有可能直接比較以經按比例調整解析度進行之各種量測。迫使演現引擎以逐漸降低之解析度輸出視訊且結果係如下列表1中所展示般量測。
Figure 108125441-A0304-0001
 文件中有使用其他字體，請調整字體（中文字請設定為新細明體、英文字請設定為Times New Roman）。 表 1 ：解析度按比例調整對演現時間產生之影響
不透明遍次係在視圖中繪製不透明幾何結構之演現管線之部分。此係演現管線之對解析度變化最敏感之部分。藉由按比例調整解析度獲得之任何演現時間節省或運算成本節省將主要來自不透明演現遍次。
如表1中所展示，在60個圖框處之1280 x 720之一全解析度下，用於不透明遍次之演現時間係0.4 ms，在1.4 ms之一總演現時間外。當解析度降低至該全解析度之50%時，用於不透明遍次之演現時間係0.3 ms，在1.0 ms之一總演現時間外。因此按比例調整解析度達50%導致幾乎30%之顯著演現時間節省。當解析度降低至全解析度之25%時，用於不透明遍次之演現時間係0.2 ms，在0.8 ms之一總演現時間外。因此按比例調整解析度達75%導致超過40%之顯著演現時間節省。
前面描述及圖式應被視為僅繪示本發明之原理。本發明不意欲受較佳實施例限制且可依一般技術者將明白之各種方式實施。熟習此項技術者將易於明白本發明之數種應用。因此，不需要將本發明限於所揭示之特定實例或所展示及描述之精確構造及操作。實情係，可採取落在本發明之範疇內之所有合適修改及等效例。
100‧‧‧伺服器 102‧‧‧即時演現程序/演現程序 104‧‧‧串流編碼解碼器 106‧‧‧用戶端裝置/用戶端 200‧‧‧步驟 202‧‧‧步驟 203‧‧‧步驟 204‧‧‧步驟 300‧‧‧步驟 302‧‧‧步驟 304‧‧‧步驟 306‧‧‧步驟 308‧‧‧步驟 310‧‧‧步驟 312‧‧‧步驟 314‧‧‧步驟 400‧‧‧3D視圖 402‧‧‧使用者介面(UI) 404‧‧‧參考影像 406‧‧‧經編碼參考影像 408‧‧‧結構相似性(SSIM) 410‧‧‧重新演現之參考序列 412‧‧‧結構相似性(SSIM) 414‧‧‧查詢表 500‧‧‧決策樹 502‧‧‧查詢表
本發明之一更完全瞭解及其之許多伴隨優點在結合隨附圖式考量時藉由參考以下詳細描述較佳理解時將容易獲得，其中：
圖1係根據本發明之一實施例之其中一直播串流(live-streaming)編碼解碼器可將設定傳送回至產生視訊之演現器之一例示性環境的一圖式；
圖2係概述根據本發明之一實施例之編碼器導引自適應性品質演現之例示性階段的一流程圖；
圖3係概述根據本發明之一實施例之將一演現品質設定設定檔指派給編碼器設定之各部分範圍之查詢表之例示性預產生的一流程圖；
圖4係根據本發明之一實施例之用於僅包括一個設定之演現品質設定設定檔之一例示性查詢表產生的一圖式；及
圖5係根據本發明之一實施例之用於含有多個設定之演現品質設定設定檔之一例示性查詢表產生的一圖式。
200‧‧‧步驟
202‧‧‧步驟
203‧‧‧步驟
204‧‧‧步驟

Claims (7)

  1. 一種用於演現之電腦實施方法，其包括以下步驟：產生一或多個參考影像；針對編碼器設定之一部分範圍，編碼該一或多個參考影像；針對每一編碼的參考影像，比較一或多個第一感知品質與一或多個第二感知品質，其中該一或多個第一感知品質與該一或多個第二感知品質之間的一匹配導致一或多個編碼器設定與一匹配之演現品質設定設定檔的一關聯；且以實質上相同於一經編碼圖框之感知品質來產生一經演現影像。
  2. 如請求項1之電腦實施方法，其中該方法藉由一演現器或一編碼解碼器來執行。
  3. 如請求項2之電腦實施方法，其中該演現器可具有可用於每像素品質控制之若干設定，包含螢幕解析度、mipmap選擇、細節層次選擇、陰影品質、後處理品質。
  4. 如請求項1之電腦實施方法，其中該品質設定設定檔界定為用於各可用品質設定之值之一清單。
  5. 如請求項1之電腦實施方法，進一步包括使該品質設定設定檔最佳化之步驟。
  6. 如請求項5之電腦實施方法，其中該品質設定設定檔是藉由使用一決策樹來依程式化方式縮小可能性空間來最佳化。
  7. 如請求項1之電腦實施方法，其中該品質設定設定檔是儲存在一或多個查詢表中。
TW108125441A 2017-04-21 2018-04-20 用於編碼器導引自適應性品質演現的系統及方法 TWI755616B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862653056P 2018-04-05 2018-04-05
US62/653,056 2018-04-05

Publications (2)

Publication Number Publication Date
TW201941613A TW201941613A (zh) 2019-10-16
TWI755616B true TWI755616B (zh) 2022-02-21

Family

ID=63854334

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108125441A TWI755616B (zh) 2017-04-21 2018-04-20 用於編碼器導引自適應性品質演現的系統及方法
TW107113586A TWI669954B (zh) 2017-04-21 2018-04-20 用於編碼器導引自適應性品質演現的系統及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107113586A TWI669954B (zh) 2017-04-21 2018-04-20 用於編碼器導引自適應性品質演現的系統及方法

Country Status (14)

Country Link
US (3) US10313679B2 (zh)
EP (1) EP3612978A4 (zh)
JP (1) JP7145204B2 (zh)
KR (1) KR102326456B1 (zh)
CN (1) CN111033519B (zh)
AU (2) AU2018254591B2 (zh)
BR (1) BR112019021687A2 (zh)
CA (2) CA3082771C (zh)
DE (1) DE112018002109T5 (zh)
GB (3) GB2576662B (zh)
RU (2) RU2730435C1 (zh)
TW (2) TWI755616B (zh)
WO (1) WO2018195477A1 (zh)
ZA (2) ZA201907682B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554877B (en) * 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US11750811B2 (en) * 2018-04-06 2023-09-05 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN111836116A (zh) * 2020-08-06 2020-10-27 武汉大势智慧科技有限公司 一种网络自适应渲染的视频展示方法及系统
CN112206535B (zh) * 2020-11-05 2022-07-26 腾讯科技（深圳）有限公司 虚拟对象的渲染显示方法、装置、终端及存储介质
KR102472971B1 (ko) * 2020-11-19 2022-12-02 네이버 주식회사 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
WO2022168541A1 (ja) * 2021-02-02 2022-08-11 ソニーグループ株式会社 情報処理装置及び情報処理方法
EP4373102A1 (en) * 2022-11-18 2024-05-22 Axis AB Encoding aware overlay format
CN116440501B (zh) * 2023-06-16 2023-08-29 瀚博半导体(上海)有限公司 自适应云游戏视频画面渲染方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
US20130089139A1 (en) * 2011-10-05 2013-04-11 Texas Instruments Incorporated Systems and methods for quantization of video content
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US6064359A (en) * 1997-07-09 2000-05-16 Seiko Epson Corporation Frame rate modulation for liquid crystal display (LCD)
AU2003280512A1 (en) 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US7362804B2 (en) 2003-11-24 2008-04-22 Lsi Logic Corporation Graphical symbols for H.264 bitstream syntax elements
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
JP4816874B2 (ja) 2005-05-31 2011-11-16 日本電気株式会社 パラメータ学習装置、パラメータ学習方法、およびプログラム
US20070147497A1 (en) * 2005-07-21 2007-06-28 Nokia Corporation System and method for progressive quantization for scalable image and video coding
KR100790986B1 (ko) * 2006-03-25 2008-01-03 삼성전자주식회사 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법
US8711144B2 (en) * 2006-08-01 2014-04-29 Siemens Medical Solutions Usa, Inc. Perception-based artifact quantification for volume rendering
CA2672735A1 (en) 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
JP4843482B2 (ja) 2006-12-27 2011-12-21 株式会社東芝 情報処理装置およびプログラム
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8954876B1 (en) * 2007-10-09 2015-02-10 Teradici Corporation Method and apparatus for providing a session status indicator
US8295624B2 (en) * 2007-12-03 2012-10-23 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US9865043B2 (en) 2008-03-26 2018-01-09 Ricoh Company, Ltd. Adaptive image acquisition and display using multi-focal display
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
US8264493B2 (en) * 2008-05-12 2012-09-11 Playcast Media Systems, Ltd. Method and system for optimized streaming game server
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
CN102165772B (zh) * 2008-09-16 2013-07-24 杜比实验室特许公司 自适应视频编码器控制
FR2936926B1 (fr) * 2008-10-06 2010-11-26 Thales Sa Systeme et procede de determination de parametres de codage
US9342901B2 (en) * 2008-10-27 2016-05-17 Autodesk, Inc. Material data processing pipeline
TW201018443A (en) * 2008-11-07 2010-05-16 Inst Information Industry Digital filtering system, method and program
CN103605452B (zh) 2008-11-11 2018-04-17 索尼电脑娱乐公司 图像处理装置、以及图像处理方法
CN102308319A (zh) * 2009-03-29 2012-01-04 诺曼德3D有限公司 用于编码数据与三维渲染的系统与格式
US9894361B2 (en) * 2009-03-31 2018-02-13 Citrix Systems, Inc. Framework for quality-aware video optimization
US10097946B2 (en) 2011-12-22 2018-10-09 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for cooperative applications in communication systems
US20120201475A1 (en) * 2009-10-05 2012-08-09 I.C.V.T. Ltd. Method and system for processing an image
FR2954036B1 (fr) * 2009-12-11 2012-01-13 Thales Sa Procede et systeme pour la determination de parametres de codage sur des flux a resolution variable
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
WO2012078640A2 (en) * 2010-12-06 2012-06-14 The Regents Of The University Of California Rendering and encoding adaptation to address computation and network bandwidth constraints
SG2014008775A (en) * 2011-08-16 2014-04-28 Destiny Software Productions Inc Script-based video rendering
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US10091513B2 (en) * 2011-09-29 2018-10-02 Texas Instruments Incorporated Perceptual three-dimensional (3D) video coding based on depth information
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
FR2987086B1 (fr) * 2012-02-22 2014-03-21 Snecma Joint lineaire de plateforme inter-aubes
US9317751B2 (en) * 2012-04-18 2016-04-19 Vixs Systems, Inc. Video processing system with video to text description generation, search system and methods for use therewith
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
SG10201710075SA (en) 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US8897586B2 (en) * 2012-06-15 2014-11-25 Comcast Cable Communications, Llc Dynamic generation of a quantization matrix for compression of a digital object
CN104813669B (zh) 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
EP2952003B1 (en) 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9106556B2 (en) * 2013-02-11 2015-08-11 Avaya Inc. Method to achieve the use of an external metric as the primary tie-breaker in intermediate system to intermediate system (ISIS) route selections
CN109064433B (zh) 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US8842185B1 (en) * 2013-03-14 2014-09-23 Microsoft Corporation HDMI image quality analysis
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
US10040323B2 (en) 2013-03-15 2018-08-07 Bridgestone Americas Tire Operations, Llc Pneumatic tire with bead reinforcing elements at least partially formed from carbon fibers
GB2513345B (en) 2013-04-23 2017-07-26 Gurulogic Microsystems Oy Data communication system and method
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
CN105246567B (zh) 2013-05-31 2016-09-14 英派尔科技开发有限公司 受缓存影响的视频游戏
GB2519336B (en) 2013-10-17 2015-11-04 Imagination Tech Ltd Tone Mapping
US9940904B2 (en) 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9589366B2 (en) 2014-06-27 2017-03-07 Samsung Electronics Co., Ltd. Dithered sampling patterns for temporal color averaging
US10438313B2 (en) * 2014-07-23 2019-10-08 Divx, Llc Systems and methods for streaming video games using GPU command streams
KR20170036085A (ko) 2014-07-31 2017-03-31 더 보드 오브 리젠츠 오브 더 유니버시티 오브 오클라호마 포유동물 rpe65의 높은 아소머로하이드롤라아제 활성 돌연변이
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US10362335B2 (en) 2014-10-03 2019-07-23 José Damián RUIZ COLL Method for improving the quality of an image subjected to recoding
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
US10098960B2 (en) 2015-04-03 2018-10-16 Ucl Business Plc Polymer conjugate
WO2016172314A1 (en) 2015-04-21 2016-10-27 Vid Scale, Inc. Artistic intent based video coding
EP3304881B1 (en) 2015-06-05 2022-08-10 Apple Inc. Rendering and displaying high dynamic range content
IN2015CH02866A (zh) * 2015-06-09 2015-07-17 Wipro Ltd
CN106293047B (zh) 2015-06-26 2020-01-10 微软技术许可有限责任公司 通过动态分辨率缩放来减少移动设备的功耗
US10062181B1 (en) 2015-07-30 2018-08-28 Teradici Corporation Method and apparatus for rasterizing and encoding vector graphics
WO2017043730A1 (ko) 2015-09-08 2017-03-16 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
US9716875B2 (en) * 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10216467B2 (en) 2016-02-03 2019-02-26 Google Llc Systems and methods for automatic content verification
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
WO2018037525A1 (ja) * 2016-08-25 2018-03-01 Ｎｅｃディスプレイソリューションズ株式会社 自己画像診断方法、自己画像診断プログラム、ディスプレイ装置、及び自己画像診断システム
EP3301921A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
GB2554877B (en) 2016-10-10 2021-03-31 Canon Kk Methods, devices, and computer programs for improving rendering display during streaming of timed media data
US10237293B2 (en) * 2016-10-27 2019-03-19 Bitdefender IPR Management Ltd. Dynamic reputation indicator for optimizing computer security operations
KR102651126B1 (ko) 2016-11-28 2024-03-26 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽스 파이프라인에서 텍스처를 처리하는 방법
GB2558886B (en) 2017-01-12 2019-12-25 Imagination Tech Ltd Graphics processing units and methods for controlling rendering complexity using cost indications for sets of tiles of a rendering space
US10117185B1 (en) 2017-02-02 2018-10-30 Futurewei Technologies, Inc. Content-aware energy savings for video streaming and playback on mobile devices
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10423587B2 (en) * 2017-09-08 2019-09-24 Avago Technologies International Sales Pte. Limited Systems and methods for rendering graphical assets
CN108334412A (zh) 2018-02-11 2018-07-27 沈阳东软医疗系统有限公司 一种显示图像的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080012856A1 (en) * 2006-07-14 2008-01-17 Daphne Yu Perception-based quality metrics for volume rendering
US20130089139A1 (en) * 2011-10-05 2013-04-11 Texas Instruments Incorporated Systems and methods for quantization of video content
US20150169960A1 (en) * 2012-04-18 2015-06-18 Vixs Systems, Inc. Video processing system with color-based recognition and methods for use therewith
US20160227172A1 (en) * 2013-08-29 2016-08-04 Smart Services Crc Pty Ltd Quality controller for video image

Also Published As

Publication number Publication date
EP3612978A4 (en) 2020-06-03
GB2576662B (en) 2020-10-28
US10554984B2 (en) 2020-02-04
CA3060578A1 (en) 2018-10-25
GB201916965D0 (en) 2020-01-08
US20200154112A1 (en) 2020-05-14
CA3060578C (en) 2020-07-21
GB2595197B (en) 2022-02-23
GB2595197A (en) 2021-11-17
GB2587091A (en) 2021-03-17
TW201941613A (zh) 2019-10-16
RU2020127411A3 (zh) 2021-03-10
CN111033519B (zh) 2021-07-27
GB2576662A (en) 2020-02-26
BR112019021687A2 (pt) 2020-05-12
CA3082771C (en) 2022-09-20
AU2021202099B2 (en) 2022-07-07
US20180310008A1 (en) 2018-10-25
EP3612978A1 (en) 2020-02-26
GB2587091B (en) 2022-01-05
RU2730435C1 (ru) 2020-08-21
RU2759505C2 (ru) 2021-11-15
ZA202007214B (en) 2022-04-28
TWI669954B (zh) 2019-08-21
WO2018195477A1 (en) 2018-10-25
US10313679B2 (en) 2019-06-04
DE112018002109T5 (de) 2020-01-09
JP7145204B2 (ja) 2022-09-30
AU2021202099A1 (en) 2021-05-06
KR102326456B1 (ko) 2021-11-12
KR20200020674A (ko) 2020-02-26
CN111033519A (zh) 2020-04-17
GB202014205D0 (en) 2020-10-21
CA3082771A1 (en) 2018-10-25
AU2018254591B2 (en) 2021-01-07
AU2018254591A1 (en) 2019-12-12
RU2020127411A (ru) 2020-10-14
TW201842780A (zh) 2018-12-01
ZA201907682B (en) 2021-04-28
GB202112381D0 (en) 2021-10-13
US11330276B2 (en) 2022-05-10
JP2020518211A (ja) 2020-06-18
US20190253720A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
TWI755616B (zh) 用於編碼器導引自適應性品質演現的系統及方法
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
AU2020289756B2 (en) Systems and methods for rendering & pre-encoded load estimation based encoder hinting
TW201436542A (zh) 利用內容資訊改善視訊編碼的系統與方法
CN112368766B (zh) 带有编码器反馈的图形渲染
RU2744982C2 (ru) Системы и способы для отложенных процессов постобработки при кодировании видеоинформации
Herzog et al. Render2MPEG: A Perception‐based Framework Towards Integrating Rendering and Video Compression
TWI523673B (zh) 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體