TWI709331B - 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法 - Google Patents

經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法 Download PDF

Info

Publication number
TWI709331B
TWI709331B TW107116012A TW107116012A TWI709331B TW I709331 B TWI709331 B TW I709331B TW 107116012 A TW107116012 A TW 107116012A TW 107116012 A TW107116012 A TW 107116012A TW I709331 B TWI709331 B TW I709331B
Authority
TW
Taiwan
Prior art keywords
image
difference
time
compressed
view
Prior art date
Application number
TW107116012A
Other languages
English (en)
Other versions
TW201902218A (zh
Inventor
梅拉德 塔瓦科里
莫紐 可汗
莫里剛卡 蒙達
拉罕凡德拉 納卡拉
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201902218A publication Critical patent/TW201902218A/zh
Application granted granted Critical
Publication of TWI709331B publication Critical patent/TWI709331B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/08—Bandwidth reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

揭示用於經由多視圖壓縮/解壓縮降低記憶體頻寬的系統、方法和電腦程式。一個實施例是一種用於圖形流水線中的多視圖渲染的壓縮方法。該方法包括以下步驟：接收用於多視圖渲染的第一圖像和第二圖像。計算該第一圖像和該第二圖像之間的差異。該方法對該第一圖像和該第一圖像和該第二圖像之間的該差異進行壓縮。將所壓縮的第一圖像和所壓縮的差異儲存在記憶體中。對所壓縮的第一圖像和所壓縮的差異進行解壓縮。經由將該第一圖像與該差異進行比較產生該第二圖像。

Description

經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法
本案係關於用於經由多視圖壓縮/解壓縮降低記憶體頻寬的系統和方法。
現有的虛擬實境（VR）和增強現實（AR）電腦系統使用複雜的圖形流水線或者渲染流水線。圖形流水線通常包括用於執行被用於建立三維場景的二維光柵表示的步驟的序列的硬體及/或軟體部件。一旦三維模型已經被例如視訊遊戲或者其他的VR或者AR應用程式建立，則圖形流水線執行將三維模型變成用於向使用者顯示的二維光柵表示場景的程序。二維光柵表示包括多視圖渲染，多視圖渲染包括用於左眼和右眼的單獨的渲染。
在許多VR/AR系統中，圖形流水線包括圖形處理單元（GPU）、雙倍資料速率（DDR）記憶體和顯示處理器。GPU產生左眼和右眼視圖。每個視圖在儲存在DDR記憶體中以用於隨後的流水線處理（例如，時間扭曲、顯示處理等）之前被單獨地壓縮。在由GPU或者顯示處理器進行的進一步處理期間，從DDR記憶體中取得、單獨地解壓縮以及隨後處理每個視圖。在執行時間扭曲以改良運動到光子等待時間的情況下，單獨的經時間扭曲的左和右視圖再次被壓縮並且被儲存在DDR記憶體中，以便由顯示處理器進行隨後的解壓縮和處理。
儘管VR/AR系統中的現有的圖形流水線壓縮技術可以顯著地降低DDR記憶體頻寬和功耗，但仍然存在對進一步降低記憶體頻寬和功耗的需求。
揭示用於經由多視圖壓縮/解壓縮降低記憶體頻寬的系統、方法和電腦程式。一個實施例是一種用於圖形流水線中的多視圖渲染的壓縮方法。該方法包括以下步驟：接收用於多視圖渲染的第一圖像和第二圖像。計算該第一圖像和該第二圖像之間的差異。該方法對該第一圖像和該第一圖像和該第二圖像之間的該差異進行壓縮。將所壓縮的第一圖像和所壓縮的差異儲存在記憶體中。對所壓縮的第一圖像和所壓縮的差異進行解壓縮。經由將該第一圖像與該差異進行比較產生該第二圖像。
另一個實施例是一種用於對圖形流水線中的多視圖渲染進行壓縮/解壓縮的電腦系統。該電腦系統包括雙倍資料速率（DDR）記憶體、多視圖壓縮模組和多視圖解壓縮模組。該多視圖壓縮模組包括被配置為執行以下操作的邏輯單元：計算用於多視圖渲染的第一圖像和第二圖像之間的差異；對該第一圖像和該第一圖像和該第二圖像之間的該差異進行壓縮；及儲存所壓縮的第一圖像和該第一圖像和該第二圖像之間的所壓縮的差異。該多視圖解壓縮模組包括被配置為執行以下操作的邏輯單元：對被儲存在該DDR記憶體中的所壓縮的第一圖像和所壓縮的差異進行解壓縮；及經由將該第一圖像與該差異進行比較產生該第二圖像。
術語「示例性」在本文中被用於表示「充當示例、實例或者說明」。任何在本文中被描述為「示例性」的態樣不必要地被解釋為是較佳的或者比其他的態樣有利的。
在本描述內容中，術語「應用程式」亦可以包括具有可執行內容的檔案，諸如：目標代碼、腳本、位元組碼、標記語言檔案和補丁。另外，在本文中被提到的「應用程式」亦可以包括本質上不是可執行的檔案，諸如可能需要被打開的文件或者其他的需要被存取的資料檔案。
術語「內容」亦可以包括具有可執行內容的檔案，諸如：目標代碼、腳本、位元組碼、標記語言檔案和補丁。另外，在本文中被提到的「內容」亦可以包括本質上不可執行的檔案，諸如可能需要被打開的文件或者其他的需要被存取的資料檔案。
如本描述內容中使用的，術語「部件」、「資料庫」、「模組」、「系統」、「引擎」等意欲指電腦相關的實體，其是硬體、韌體、硬體與軟體的組合、軟體或者執行中的軟體。例如，部件可以是但不限於是在處理器上執行的程序、處理器、物件、可執行檔案、執行的執行緒、程式及/或電腦。作為說明，在計算設備上執行的應用程式和計算設備兩者可以是部件。一或多個部件可以常駐在程序及/或執行的執行緒內，並且一個部件可以被局限在一個電腦上及/或被分佈在兩個或多個電腦之間。另外，該等部件可以從具有儲存在其上的各種資料結構的各種電腦可讀取媒體執行。部件可以經由本端的及/或遠端的程序諸如根據具有一或多個資料封包（例如，來自與本端系統中的、分散式系統中的及/或跨經由信號的與其他系統的諸如是網際網路此種網路的另一個部件互動的一個部件的資料）的信號進行通訊。
圖1圖示用於降低虛擬實境（VR）或者增強現實（AR）系統的圖形流水線中的記憶體頻寬的系統100的一個實施例。應當認識到，系統100可以在各種類型的VR及/或AR系統中被實現。例如，系統100可以被併入整合式VR及/或AR系統（諸如整合式耳機、護目鏡和眼鏡）、投影系統等。在其他的實施例中，系統100可以被併入可以與被使用者穿戴的頭戴式配套元件或者頭戴式顯示器（HMD）整合在一起的個人電腦、膝上型電腦、遊戲控制台或者可攜式計算設備（諸如智慧型電話、平板型電腦、可攜式遊戲控制台等）。在此點上，應當認識到，系統100中的部件中的一或多個部件可以被整合到HMD中，而其他的部件可以由外部的處理系統（例如，可攜式計算設備）或者外部的顯示器（例如，電腦顯示器、投影顯示器等）提供。
如圖1中圖示的，系統100包括被電氣地耦合到圖形流水線中的一或多個處理器（例如，圖形處理單元（GPU）、顯示處理器等）的雙倍資料速率（DDR）記憶體106。如圖1中說明的，DDR記憶體106不儲存多視圖渲染之每一者視圖的單獨的經壓縮的版本。例如，取代儲存右眼視圖的經壓縮的版本和左眼的經壓縮的版本兩者，系統100經由利用右眼視圖與左眼視圖之間的任何相似性提供記憶體頻寬和功率節省。
系統100包括分別用於執行壓縮和解壓縮的多視圖壓縮模組102和多視圖解壓縮模組104。如下文詳細描述的一般，取決於圖形處理階段（例如，眼睛緩衝器渲染階段、時間扭曲階段、顯示階段等）的本質和顯示器的類型（例如，單顯示器對雙顯示器），圖形流水線中的各種部件（例如，GPU 302、顯示處理器304等）可以實現壓縮和解壓縮模組102和104中的一項或者全部兩項。
在圖1的實施例中，多視圖壓縮模組102包括圖像差異計算模組112和諸如是例如通用頻寬壓縮（UBWC）壓縮模組118此種一或多個壓縮模組。在圖1中圖示的實施例中，壓縮及/或解壓縮可以經由通用頻寬壓縮/解壓縮（UBWC）來執行。UBWC對諸如是GPU、視訊及/或照相機緩衝器此種圖形緩衝器進行壓縮。UBWC可以在每圖塊的基礎上對包括預定的數量的圖元（例如，4個、8個或者更多圖元）的UBWC圖塊的起作用。應當認識到，通用頻寬壓縮可以增大系統的有效頻寬，減少記憶體子系統（例如，DDR、記憶體控制器、資料路徑等）的功耗，並且經由使IP核更高效地並且以更低的電壓位準執行減少IP核的功耗。
參考圖1，圖像差異計算模組112接收第一圖像和第二圖像作為輸入。第一圖像包括第一視圖108（例如，左眼視圖和右眼視圖中的一項）的未壓縮的版本，並且第二圖像包括第二視圖110（例如，左眼視圖和右眼視圖中的另一項）的未壓縮的版本。第一視圖108是經由UBWC壓縮模組118被壓縮的，UBWC壓縮模組118產生經壓縮的第一視圖120。經壓縮的第一視圖120被儲存在DDR記憶體106中。並非對第二視圖110進行壓縮，圖像差異計算模組112將第二視圖110與第一視圖108進行比較以決定該兩個圖像之間的任何失真或者差異。在一個實施例中，第一視圖108和第二視圖110被提供給增量圖像計算部件114以決定該兩個圖像之間的差異資料。在一個實施例中，增量圖像計算部件114可以包括簡單減法演算法，其中產生的輸出是另一個圖像，其是逐圖元減法的結果。例如，若視圖1的圖元[x, y, 紅色]具有值pf 250，並且視圖2的圖元[x, y, 紅色]具有值pf 249，則產生的用於輸出圖像的圖元[x, y, 紅色]將具有等於該等值之間的差的值1。應當認識到，替換的實施例可以使用其他可取的用於決定兩個圖像之間的差異的線性操作。參考圖1，增量圖像計算部件114輸出第一視圖108和第二圖像110之間的未壓縮的差異（V1–V2）116。未壓縮的差異116被提供給UBWC壓縮模組118，UBWC壓縮模組118產生差異（V1–V2）116的經壓縮的版本122。差異（V1–V2）116的經壓縮的版本122被儲存在DDR記憶體106中。
應當認識到，由於第一和第二視圖108和110之間的圖像資料的大部分資料將是相似的，所以由增量圖像計算部件114決定的增量或者差異可以包括相對大的百分比的零值。因此，在未壓縮的差異116被UBWC壓縮模組118壓縮時，可以達到相對高的壓縮比率，此情形造成向DDR記憶體106進行的傳輸期間的記憶體頻寬節省。
在圖形流水線中的隨後的階段期間，多視圖解壓縮模組104可以取得差異（V1–V2）116的經壓縮的版本122和經壓縮的第一視圖120。再次利用與差異（V1–V2）116相關聯的相對高的壓縮比率，系統100再次造成從DDR記憶體106進行的取得期間的記憶體頻寬節省。經壓縮的差異122和經壓縮的第一視圖120被輸入給UBWC解壓縮模組124，UBWC解壓縮模組124產生原始的未壓縮的第一視圖108和第一和第二視圖108和110之間的原始的未壓縮的差異116。
如在圖1中進一步圖示的，多視圖解壓縮模組104可以進一步包括與UBWC解壓縮模組124通訊的圖像計算求和模組126。圖像計算求和模組126從UBWC解壓縮模組124接收原始的第一視圖108和原始的差異116，並且經由將差異116與第一視圖108進行比較產生原始的第二視圖110。應當認識到，圖像求和計算模組126包括被模組112執行的圖像差異計算操作的逆操作。例如，在如上文描述的圖像差異計算操作包括減法操作的情況下，圖像求和計算模組126可以執行簡單加法操作。如下文詳細描述的一般，應當認識到，第一和第二視圖108和110可以被圖形流水線進一步處理，此舉可以涉及向單顯示器VR設備（圖4）或者雙顯示器VR設備（圖3a和圖3b）顯示及/或在時間扭曲階段308（圖3a、圖3b和圖4）中被GPU 302進一步處理。隨後的處理可以涉及使用圖像差異計算模組112和圖像求和計算模組126利用DDR記憶體106中的相對應的儲存裝置的進一步的壓縮和解壓縮序列，此舉將引起對記憶體頻寬的進一步的節省。
圖2圖示用於降低VR/AR系統的圖形流水線中的記憶體頻寬的壓縮/解壓縮方法200的一個實施例。在方塊202處，方法200接收用於VR或者AR系統中的多視圖渲染的第一未壓縮的圖像和第二未壓縮的圖像。第一未壓縮的圖像可以與右眼視圖和左眼視圖中的一項相對應，並且第二未壓縮的圖像可以與右眼視圖和左眼視圖中的另一項相對應。在方塊204處，可以例如使用系統100的圖像差異計算模組112計算第一和第二未壓縮的圖像之間的差異。在方塊206處，對第一未壓縮的圖像進行壓縮。在方塊208處，對第一和第二未壓縮的圖像之間的差異進行壓縮。應當認識到，可以使用任何壓縮/解壓縮演算法。在一個實施例中，在方法200中被使用的壓縮/解壓縮演算法包括通用頻寬壓縮（UBWC）模組118。在方塊210處，可以將第一經壓縮的圖像和第一和第二未壓縮的圖像之間的經壓縮的差異儲存在諸如是DDR記憶體106此種記憶體中。在將第一經壓縮的圖像和第一和第二未壓縮的圖像之間的經壓縮的差異儲存在DDR記憶體106中之前及/或期間，該兩個圖像可以可選地例如被UBWC模組118進一步壓縮。
如上文提到的，方塊202、204、206、208和210可以由圖形流水線中的第一處理器設備（例如，GPU 302）在眼睛渲染緩衝器渲染階段306期間或者在時間扭曲階段308期間執行。方塊212、214、216和218可以由相同的處理器設備（例如，GPU 302）在圖形流水線的相同的或者另一個階段中或者由圖形流水線中的另一個處理器設備（例如，顯示處理器304）執行。
在方塊212處，可以從DDR記憶體106中取得第一經壓縮的圖像和第一和第二未壓縮的圖像之間的經壓縮的差異。在方塊214處，例如經由UBWC模組對第一經壓縮的圖像進行解壓縮。亦對經壓縮的差異進行解壓縮。在方塊216處，可以由圖像求和操作127經由將第一未壓縮的圖像與第一和第二未壓縮的圖像之間的差異進行比較產生原始的未壓縮的第二圖像中的內容。在方塊218處，可以取決於顯示器是單顯示器還是雙顯示器VR設備，將如由圖像求和操作127輸出的第一和第二未壓縮的圖像提供給一或多個顯示管道。
如上文提到的，系統100可以被併入各種類型的VR/AR系統和設備。圖3a和圖3b圖示在雙顯示器VR系統300的一個實施例中被實現的壓縮/解壓縮系統100。在該實施例中，圖形流水線包括眼睛緩衝器渲染階段306、時間扭曲階段308和顯示階段310。眼睛緩衝器渲染階段306和時間扭曲階段308被GPU 302執行。顯示階段310被顯示處理器304執行。
如圖3b中圖示的，眼睛緩衝器渲染階段302涉及上文結合系統100（圖1）描述的多視圖壓縮模組102和UBWC壓縮模組118的第一實例。眼睛緩衝器渲染階段302的結果是在DDR記憶體106中的經壓縮的第一視圖120和第一和第二未壓縮的視圖108和110之間的經壓縮的差異122的儲存內容。如由箭頭307圖示的，在眼睛緩衝器渲染階段306期間使用多視圖壓縮模組112和UBWC壓縮118可以造成GPU到DDR記憶體頻寬節省。眼睛緩衝器渲染階段302之後跟隨時間扭曲階段308。
如本領域中已知的，VR圖形流水線可以使用被稱為「時間扭曲」、「二次投影」或者「二次渲染」（集體被稱為「時間扭曲」）的圖形渲染技術減少運動到光子等待時間。時間扭曲涉及在將被渲染的圖像發送給顯示器之前扭曲被渲染的圖像，以對在渲染之後發生的使用者的移動進行糾正。時間扭曲可以減少等待時間和提高或者維持訊框速率（亦即，每秒顯示的訊框數（fps））。該程序獲取已經被渲染的圖像，利用基於從感測器（例如，被封裝在HMD中的感測器）獲得的所收集的位置資訊預測的位置資訊對其進行修改，並且隨後在VR顯示器上顯示經修改的圖像。
在沒有時間扭曲的情況下，VR系統將擷取關於使用者的位置的資料，基於該位置資料對圖像進行渲染，並且隨後在下一個場景到期時顯示圖像。例如，在60訊框每秒（fps）的VR應用中，可以每16.7 ms一次地顯示新的場景。每個被顯示的圖像是基於在大約16.7 ms之前獲得的位置資料的。然而，在具有時間扭曲的情況下，VR系統擷取位置資料，基於位置資料對圖像進行渲染，並且在顯示圖像之前，VR系統擷取經更新的位置資料。經由使用經更新的位置資料，利用合適的演算法將被渲染的圖像修改為適合於使用者的最新位置，並且隨後顯示給使用者。經由此種方式，與初始被渲染的圖像相比，經修改的圖像是更新近的，並且更準確地反映顯示時的使用者的位置。
如圖3a中圖示的，時間扭曲階段308可以涉及多視圖解壓縮模組104和UBWC解壓縮的第一實例。在時間扭曲階段308的解壓縮階段中，GPU 302從DDR記憶體106中取得經壓縮的視圖120和經壓縮的差異122以決定原始的第一和第二視圖。GPU 302可以如上文描述的一般接收經更新的位置資料，並且修改第一和第二視圖以適合於使用者的最新位置。經修改的第一和第二視圖可以經由多視圖壓縮模組102和UBWC壓縮的另一個實例被進一步處理。時間扭曲階段302的結果是DDR記憶體106中的經時間扭曲的經壓縮的第一視圖312和經修改的第一和第二視圖之間的經時間扭曲的經壓縮的差異的儲存內容。如由箭頭309和311圖示的，在時間扭曲階段308期間使用多視圖壓縮模組102和多視圖解壓縮模組104可以造成額外的GPU到DDR記憶體頻寬節省。
時間扭曲階段308之後可以跟隨顯示階段310，顯示階段310被顯示處理器304執行。如圖3b中圖示的，顯示階段310可以涉及多視圖解壓縮模組104和UBWC解壓縮的進一步的實例。顯示處理器304從DDR記憶體106中取得經時間扭曲的經壓縮的視圖312和經時間扭曲的經壓縮的差異314。視圖312和差異314被UBWC模組解壓縮，並且隨後被用於決定原始的經時間扭曲的未壓縮的視圖316和318。視圖316可以被提供給第一顯示設備的第一顯示管道320，並且視圖318可以被提供給第二顯示設備的第二顯示管道322。如由箭頭315圖示的，在顯示階段310期間使用多視圖解壓縮模組104可以引起顯示處理器到DDR記憶體頻寬節省。
在一個示例性實施例中，顯示器硬體可以同步地讀取兩個視圖。例如，在雙顯示器VR系統的情況下，兩個視圖可以被同步地讀取，此舉可以允許時間扭曲寫完啟用了多視圖壓縮的訊框緩衝器。應當認識到，由於讀取是從DDR記憶體106同步的，所以視圖1圖元值和差異視圖圖元值兩者可以存在於顯示設備上的相同的緩衝器中，並且可以在晶片上計算視圖2而不需要轉到DDR記憶體106。為了說明該等優點，應當認識到，在其中兩個視圖被顯示器硬體（例如，單顯示器電話）串列地讀取的現有的解決方案中，時間扭曲不可以寫伴隨多視圖壓縮的訊框緩衝器。此情形是因為，為了計算視圖2，從DDR記憶體讀取差異視圖和視圖1圖元值兩者，此舉造成視圖2的每圖元的2倍的讀取，此舉使多視圖壓縮的好處和目的（亦即降低記憶體訊務BW）落空。
圖4圖示在單顯示器VR系統400的一個實施例中被實現的壓縮/解壓縮系統100。如上文提到的，圖3圖示其中顯示器讀取在兩個視圖之間是同步的一個實施例。於是，時間扭曲寫和顯示器讀取操作從多視圖壓縮中獲益。圖4圖示其中顯示器讀取在兩個視圖之間不同步的情況。應當認識到，在單顯示器實施例中，由於顯示器讀取不是同步的，所以為了提取視圖2，可能需要視圖1和差異視圖兩者，此舉可以產出每一個視圖2中的圖元的從DDR記憶體106進行的2次圖元讀取。相反，在圖3中圖示的同步模式下，視圖1可以是在晶片中已經可用的。
如上文提到的，系統100可以被併入任何可取的計算系統。圖5圖示其中系統100的一或多個部件被併入一個示例性可攜式計算設備（PCD）500的實施例。PCD 500可以包括智慧型電話、平板型電腦、可穿戴設備（例如，HMD 200）。應當輕鬆認識到，系統100的特定的部件被包括在SoC 522上（例如，多視圖壓縮模組102和多視圖解壓縮模組104），而其他的部件（例如，DDR記憶體106）是被耦合到SoC 522的外部部件。SoC 522可以包括多核CPU 502。多核CPU 502可以包括第零核510、第一核512和第N核514。該等核中的一個核可以例如包括圖形處理單元（GPU）以及包括CPU的其他的處理單元中的一或多個處理單元。
顯示器控制器528和觸控式螢幕控制器530可以被耦合到CPU 502。接著，位於晶片上系統522的外部的觸控式螢幕顯示器505可以被耦合到顯示器控制器528和觸控式螢幕控制器530。
圖5進一步圖示視訊編碼器534（例如，逐行倒相制（PAL）編碼器、順序儲存彩電制式（SECAM）編碼器或者國家電視系統委員會（NTSC）編碼器）被耦合到多核CPU 502。進一步地，視訊放大器536被耦合到視訊編碼器534和觸控式螢幕顯示器506。此外，視訊連接埠538被耦合到視訊放大器536。如圖5中所示的，通用序列匯流排（USB）控制器540被耦合到多核CPU 502。此外，USB埠542被耦合到USB控制器540。記憶體104和用戶身份模組（SIM）卡546亦可以被耦合到多核CPU 502。
進一步地，如圖5中所示的，數位照相機548可以被耦合到多核CPU 502。在一個示例性態樣中，數位照相機548是電荷耦合設備（CCD）照相機或者互補金屬氧化物半導體（CMOS）照相機。
如在圖5中進一步圖示的，身歷聲音訊編碼器-解碼器（轉碼器）550可以被耦合到多核CPU 502。此外，音訊放大器552可以被耦合到身歷聲音訊轉碼器550。在一個示例性態樣中，第一身歷聲揚聲器554和第二身歷聲揚聲器556被耦合到音訊放大器552。圖5圖示麥克風放大器558亦可以被耦合到身歷聲音訊轉碼器550。額外地，麥克風560可以被耦合到麥克風放大器558。在一個具體的態樣中，調頻（FM）無線電調諧器562可以被耦合到身歷聲音訊轉碼器550。此外，FM天線564被耦合到FM無線電調諧器562。進一步地，身歷聲耳機566可以被耦合到身歷聲音訊轉碼器550。
圖5進一步圖示射頻（RF）收發機568可以被耦合到多核CPU 502。RF開關570可以被耦合到RF收發機568和RF天線572。鍵區504可以被耦合到多核CPU 502。此外，具有麥克風576的單聲道耳機可以被耦合到多核CPU 502。進一步地，振動器設備578可以被耦合到多核CPU 502。
圖5亦圖示電源580可以被耦合到晶片上系統522。在一個具體的態樣中，電源580是為需要功率的PCD 500的各種部件提供功率的直流（DC）電源。進一步地，在一個具體的態樣中，電源是可再充電的DC電池或者從被連接到AC電源的交流（AC）到DC變壓器匯出的DC電源。
圖5進一步指示PCD 500可以亦包括可以被用於存取資料網路（例如，區域網路、個人區域網路或者任何其他的網路）的網卡588。網卡588可以是藍芽網卡、WiFi網卡、個人區域網路（PAN）卡、個人區域網路超低功率技術（PeANUT）網卡、電視/有線電視/衛星調諧器或者任何其他的本領域中公知的網卡。進一步地，網卡588可以被併入晶片，亦即，網卡588可以是完全的晶片中解決方案，並且可以不是單獨的網卡588。
如圖5中圖示的一般，觸控式螢幕顯示器506、視訊連接埠538、USB埠542、照相機548、第一身歷聲揚聲器554、第二身歷聲揚聲器556、麥克風560、FM天線564、身歷聲耳機566、RF開關570、RF天線572、鍵區574、單聲道耳機576、振動器578和電源580可以是位於晶片上系統522的外部的。
應當認識到，本文中描述的方法步驟中的一或多個方法步驟可以作為電腦程式指令（諸如上文描述的模組）被儲存在記憶體中。該等指令可以由任何合適的處理器與相對應的模組結合地或者呼應地執行以執行本文中描述的方法。
為了本發明如所描述的一般起作用，本說明書中描述的程序或者程序流程中的特定的步驟自然地出現在其他的步驟之前。然而，本發明不限於所描述的步驟的次序（若此種次序或者順序不改變本發明的功能的話）。亦即，應當認識到，一些步驟可以在其他的步驟之前、之後或者與之並行地（與之大致上同時地）被執行，而不脫離本發明的範疇和精神。在一些情況下，可以省略或者不執行特定步驟，而不脫離本發明。進一步地，諸如是「其後」、「隨後」、「接下來」等此種術語不意欲限制步驟的次序。該等術語簡單地被用於引導讀者閱讀對示例性方法的描述。
額外地，程式設計上的一般技術者能夠例如基於本說明書中的流程圖和相關聯的描述內容沒有困難地編寫電腦代碼或者辨識合適的硬體及/或電路以實現所揭示的發明。
因此，對程式碼指令的具體的集合或者詳細的硬體設備的揭示不被看作是對於足夠地理解如何製作和使用本發明而言必要的。在上文的描述內容中並且結合可以說明各種程序流程的圖詳細解釋了所主張保護的電腦實現的程序的發明性的功能。
在一或多個示例性態樣中，所描述的功能可以用硬體、軟體、韌體或者其任意組合來實現。若用軟體來實現，則功能可以作為電腦可讀取媒體上的一或多個指令或者代碼被儲存或者傳輸。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，通訊媒體包括任何促進電腦程式從一個地方向另一個地方的傳輸的媒體。儲存媒體可以是任何可以被電腦存取的可用媒體。作為實例而非限制，此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、NAND快閃記憶體、NOR快閃記憶體、M-RAM、P-RAM、R-RAM、CD-ROM或者其他光碟儲存設備、磁碟儲存設備或者其他磁性儲存設備，或者任何其他的可以被用於攜帶或者儲存採用指令或者資料結構的形式的期望的程式碼並且可以被電腦存取的媒體。
此外，任何連接被恰當地稱為電腦可讀取媒體。例如，若使用同軸線纜、光纖線纜、雙絞線、數位用戶線（「DSL」）或者諸如是紅外線、無線電和微波此種無線技術從網站、伺服器或者其他遠端源傳輸軟體，則同軸線纜、光纖線纜、雙絞線、DSL或者諸如是紅外線、無線電和微波此種無線技術被包括在媒體的定義中。
如本文中使用的，磁碟和光碟包括壓縮光碟（「CD」）、鐳射光碟、光碟、數位多功能光碟（「DVD」）、軟碟和藍光光碟，其中磁碟通常磁性地複製資料，而光碟利用鐳射在光學上複製資料。以上各項的組合亦應當被包括在電腦可讀取媒體的範疇內。
替換的實施例對於一般技術者將變得顯而易見，而不脫離其精神和範疇。例如，應當認識到，上文描述的多視圖壓縮/解壓縮方法可以被應用於諸如是例如支援身歷聲輸入的照相機、支援身歷聲視訊解碼的視訊解碼和支援身歷聲照相機編碼的編碼器此種各種類型的多媒體核和應用。因此，儘管已經詳細說明和描述了所選擇的態樣，但應當理解，可以在其中作出各種替換和改變，而不脫離如由隨後的請求項定義的本發明的精神和範疇。
100‧‧‧系統102‧‧‧多視圖壓縮模組104‧‧‧多視圖解壓縮模組106‧‧‧雙倍資料速率（DDR）記憶體108‧‧‧第一視圖110‧‧‧第二視圖112‧‧‧圖像差異計算模組114‧‧‧增量圖像計算部件116‧‧‧差異（V1–V2）118‧‧‧UBWC壓縮模組120‧‧‧經壓縮的第一視圖122‧‧‧經壓縮的版本124‧‧‧UBWC解壓縮模組126‧‧‧圖像計算求和模組127‧‧‧圖像求和操作200‧‧‧方法202‧‧‧方塊204‧‧‧方塊206‧‧‧方塊208‧‧‧方塊210‧‧‧方塊212‧‧‧方塊214‧‧‧方塊216‧‧‧方塊218‧‧‧方塊300‧‧‧雙顯示器VR系統302‧‧‧GPU304‧‧‧顯示處理器306‧‧‧眼睛緩衝器渲染階段307‧‧‧箭頭308‧‧‧時間扭曲階段309‧‧‧箭頭310‧‧‧顯示階段311‧‧‧箭頭312‧‧‧經壓縮的第一視圖314‧‧‧經時間扭曲的經壓縮的差異315‧‧‧箭頭316‧‧‧原始的經時間扭曲的未壓縮的視圖318‧‧‧原始的經時間扭曲的未壓縮的視圖320‧‧‧第一顯示管道322‧‧‧第二顯示管道400‧‧‧單顯示器VR系統500‧‧‧可攜式計算設備（PCD）502‧‧‧多核CPU504‧‧‧鍵區506‧‧‧觸控式螢幕顯示器510‧‧‧第零核512‧‧‧第一核514‧‧‧第N核522‧‧‧晶片上系統528‧‧‧顯示器控制器530‧‧‧觸控式螢幕控制器534‧‧‧視訊編碼器536‧‧‧視訊放大器538‧‧‧視訊連接埠540‧‧‧通用序列匯流排（USB）控制器542‧‧‧USB埠546‧‧‧用戶身份模組（SIM）卡548‧‧‧數位照相機550‧‧‧身歷聲音訊轉碼器552‧‧‧音訊放大器554‧‧‧第一身歷聲揚聲器556‧‧‧第二身歷聲揚聲器558‧‧‧麥克風放大器560‧‧‧麥克風562‧‧‧調頻（FM）無線電調諧器564‧‧‧FM天線566‧‧‧身歷聲耳機568‧‧‧射頻（RF）收發機570‧‧‧RF開關572‧‧‧RF天線576‧‧‧單聲道耳機578‧‧‧振動器580‧‧‧電源588‧‧‧網卡
在附圖中，除非另外指出，否則相似的元件符號貫穿各種視圖指相似的部分。對於諸如是「102A」或者「102B」此種具有字母字元名稱的元件符號，字母字元名稱可以區分出現在相同的圖中的兩個相似的部分或者元素。在意欲元件符號包括全部圖中的具有相同的元件符號的全部部分時，可以省略元件符號的字母字元名稱。
圖1是圖示用於降低虛擬實境（VR）或者增強現實（AR）系統的圖形流水線中的記憶體頻寬的壓縮/解壓縮系統的一個實施例的方塊圖。
圖2是圖示用於降低VR/AR系統的圖形流水線中的記憶體頻寬的壓縮/解壓縮方法的一個實例的流程圖。
圖3a和圖3b圖示用於實現圖1的壓縮/解壓縮系統的雙顯示器VR/AR系統的一個實施例的方塊/流程圖。
圖4圖示用於實現圖1的壓縮/解壓縮系統的單顯示器VR/AR系統的一個實施例的方塊/流程圖。
圖5是可以在其中實現圖1-圖4的壓縮/解壓縮系統和方法的可攜式計算設備的一個實施例的方塊圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
100‧‧‧系統
102‧‧‧多視圖壓縮模組
104‧‧‧多視圖解壓縮模組
106‧‧‧雙倍資料速率(DDR)記憶體
108‧‧‧第一視圖
110‧‧‧第二視圖
112‧‧‧圖像差異計算模組
114‧‧‧增量圖像計算部件
116‧‧‧差異(V1-V2)
118‧‧‧UBWC壓縮模組
120‧‧‧經壓縮的第一視圖
122‧‧‧經壓縮的版本
124‧‧‧UBWC解壓縮模組
126‧‧‧圖像計算求和模組
127‧‧‧圖像求和操作

Claims (24)

  1. 一種用於一圖形流水線中的一多視圖渲染的壓縮方法，該方法包括以下步驟：接收用於一多視圖渲染的一第一圖像和一第二圖像；計算該第一圖像和該第二圖像之間的一差異；對該第一圖像和該第二圖像之間的該差異以及該第一圖像進行壓縮；將該第一圖像和該第二圖像之間的所壓縮的該差異以及所壓縮的該第一圖像儲存在一記憶體中；從該記憶體取得所壓縮的該第一圖像和所壓縮的該差異；應用一時間扭曲以產生一時間扭曲的所壓縮的第一圖像和一時間扭曲的所壓縮的差異；對該時間扭曲的所壓縮的第一圖像和該時間扭曲的所壓縮的差異進行解壓縮，以產生一時間扭曲的第一圖像與一時間扭曲的差異；經由將該時間扭曲的第一圖像與該時間扭曲的差異進行比較來產生一時間扭曲的第二圖像；將該時間扭曲的第一圖像提供給一第一顯示管道；以及將該時間扭曲的第二圖像提供給一第二顯示管道。
  2. 根據請求項1之方法，其中該記憶體包括經由一雙倍資料速率(DDR)匯流排被電氣地耦合到一圖形處理單元(GPU)的一DDR記憶體。
  3. 根據請求項1之方法，其中該第一圖像和該第二圖像中的一項包括一左眼視圖，並且該第一圖像和該第二圖像中的另一項包括一右眼視圖。
  4. 根據請求項1之方法，其中該計算該第一圖像和該第二圖像之間的該差異是在一眼睛渲染階段期間由被電氣地耦合到該記憶體的一圖形處理單元(GPU)執行的。
  5. 根據請求項4之方法，其中應用該時間扭曲包含：對該所壓縮的第一圖像進行解壓縮以產生該第一圖像；對該所壓縮的差異解壓縮以產生該差異；藉由比較該第一圖像與該差異以產生該第二圖像；對該第一圖像進行時間扭曲以產生一時間扭曲的第一圖像；對該第二圖像進行時間扭曲以產生一時間扭曲的第二圖像；計算該時間扭曲的第一圖像與該時間扭曲的第二圖像之間的一差異；壓縮該時間扭曲的第一圖像以產生該時間扭曲的所壓縮的第一圖像；以及壓縮該時間扭曲的差異以產生該時間扭曲的所壓縮的差異。
  6. 一種用於對一圖形流水線中的一多視圖渲染進行壓縮/解壓縮的系統，該系統包括： 用於接收用於一多視圖渲染的一第一圖像和一第二圖像的構件；用於計算該第一圖像和該第二圖像之間的一差異的構件；用於對該第一圖像和該第二圖像之間的該差異以及該第一圖像進行壓縮的構件；用於將該第一圖像和該第二圖像之間的所壓縮的該差異以及所壓縮的該第一圖像發送給一記憶體的構件；用於從該記憶體取得所壓縮的該第一圖像和所壓縮的該差異的構件；用於應用一時間扭曲以產生一時間扭曲的所壓縮的第一圖像和一時間扭曲的所壓縮的差異的構件；用於對該時間扭曲的所壓縮的第一圖像和該時間扭曲的所壓縮的差異進行解壓縮以產生一時間扭曲的第一圖像與一時間扭曲的差異的構件；用於經由將該時間扭曲的第一圖像與該時間扭曲的差異進行比較來產生一時間扭曲的第二圖像的構件；用於將該時間扭曲的第一圖像提供給一第一顯示管道的構件；以及用於將該時間扭曲的第二圖像提供給一第二顯示管道的構件。
  7. 根據請求項6之系統，其中該記憶體包括經由一雙倍資料速率(DDR)匯流排被電氣地耦合到一圖形處理單元(GPU)的一DDR記憶體。
  8. 根據請求項6之系統，其中該第一圖像和該第二圖像中的一項包括一左眼視圖，並且該第一圖像和該第二圖像中的另一項包括一右眼視圖。
  9. 根據請求項6之系統，其中該用於計算該第一圖像和該第二圖像之間的該差異的構件包括：被電氣地耦合到該記憶體的一圖形處理單元(GPU)。
  10. 根據請求項9之系統，其中該用於經由將該時間扭曲的第一圖像與該時間扭曲的差異進行比較來產生該時間扭曲的第二圖像的構件包括該GPU和被電氣地耦合到該記憶體的一顯示處理器中的一項。
  11. 一種用於對一圖形流水線中的一多視圖渲染進行壓縮/解壓縮的電腦系統，該電腦系統包括：一雙倍資料速率(DDR)記憶體；一多視圖壓縮模組，其包括被配置為執行以下操作的邏輯單元：計算用於一多視圖渲染的一第一圖像和一第二圖像之間的一差異；對該第一圖像和該第二圖像之間的該差異以及該第一圖像進行壓縮；及儲存該第一圖像和該第二圖像之間的所壓縮的該差異以及所壓縮的該第一圖像； 一多視圖時間扭曲模組，其包括被配置為執行以下操作的邏輯單元：從該記憶體取得所壓縮的該第一圖像和所壓縮的該差異；應用一時間扭曲以產生一時間扭曲的所壓縮的第一圖像和一時間扭曲的所壓縮的差異；一多視圖解壓縮模組，其包括被配置為執行以下操作的邏輯單元：對被儲存在該記憶體中的該時間扭曲的所壓縮的第一圖像和該時間扭曲的所壓縮的差異進行解壓縮，以產生一時間扭曲的第一圖像與一時間扭曲的差異；及經由將該時間扭曲的第一圖像與該時間扭曲的差異進行比較來產生一時間扭曲的第二圖像；用於接收該時間扭曲的第一圖像的一第一顯示管道；及用於接收該時間扭曲的第二圖像的一第二顯示管道。
  12. 根據請求項11之電腦系統，其中該多視圖壓縮模組是在一眼睛緩衝器渲染階段期間由一圖形處理單元(GPU)執行的，並且該多視圖時間扭曲模組是在一時間扭曲階段期間由該GPU執行的。
  13. 根據請求項11之電腦系統，其中該多視圖壓縮模組是由一圖形處理單元(GPU)執行的，並且該多視圖解壓縮模組是由一顯示處理器執行的。
  14. 根據請求項11之電腦系統，該電腦系統被 併入一可攜式計算設備。
  15. 根據請求項14之電腦系統，該電腦系統被併入一遊戲控制台。
  16. 根據請求項11之電腦系統，其中該多視圖壓縮模組和該多視圖解壓縮模組包括一通用頻寬壓縮模組。
  17. 根據請求項11之電腦系統，該電腦系統被併入一雙顯示器虛擬實境設備。
  18. 根據請求項11之電腦系統，其中該第一圖像和該第二圖像中的一項包括一左眼視圖，並且該第一圖像和該第二圖像中的另一項包括一右眼視圖。
  19. 一種用於對一圖形流水線中的一多視圖渲染進行壓縮/解壓縮的電腦系統，該電腦系統包括：一雙倍資料速率(DDR)記憶體；一圖形處理單元(GPU)，其被電氣地耦合到該DDR記憶體，該GPU包括：一圖像差異計算模組，其被配置為計算用於一多視圖渲染的一第一圖像和一第二圖像之間的一差異；及一多視圖壓縮模組，其被配置為：對該第一圖像和該第二圖像之間的該差異以及該第一圖像進行壓縮；及將所壓縮的該第一圖像和所壓縮的該差異儲 存在該DDR記憶體中；一多視圖時間扭曲模組，其被配置為：從該DDR記憶體取得所壓縮的該第一圖像和所壓縮的該差異；應用一時間扭曲以產生一時間扭曲的所壓縮的第一圖像和一時間扭曲的所壓縮的差異；一多視圖解壓縮模組，其被配置為：對被儲存在該DDR記憶體中的該時間扭曲的所壓縮的第一圖像和該時間扭曲的所壓縮的差異進行解壓縮，且隨後提供該時間扭曲的第一圖像至一第一顯示管道；以及一圖像求和計算模組，其與該多視圖解壓縮模組通訊，並且被配置為經由將該時間扭曲的第一圖像與該時間扭曲的差異進行比較來產生一時間扭曲的第二圖像，且隨後提供該時間扭曲的第二圖像至一第二顯示管道。
  20. 根據請求項19之電腦系統，其中該多視圖壓縮模組和該多視圖時間扭曲模組是在一圖形流水線的一時間扭曲階段期間由該GPU執行的。
  21. 根據請求項19之電腦系統，其中該多視圖壓縮模組是在一眼睛緩衝器渲染階段期間由該GPU執行的，並且該多視圖解壓縮模組是在一顯示階段期間執行的。
  22. 根據請求項19之電腦系統，其中該第一圖像和該第二圖像中的一項包括一左眼視圖，並且該第 一圖像和該第二圖像中的另一項包括一右眼視圖。
  23. 根據請求項19之電腦系統，其中該多視圖壓縮模組和該多視圖解壓縮模組包括一通用頻寬壓縮模組。
  24. 根據請求項19之電腦系統，該電腦系統被併入一雙顯示器虛擬實境設備。
TW107116012A 2017-05-16 2018-05-11 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法 TWI709331B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/596,989 2017-05-16
US15/596,989 US10497090B2 (en) 2017-05-16 2017-05-16 Systems and methods for reducing memory bandwidth via multiview compression/decompression

Publications (2)

Publication Number Publication Date
TW201902218A TW201902218A (zh) 2019-01-01
TWI709331B true TWI709331B (zh) 2020-11-01

Family

ID=62455850

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116012A TWI709331B (zh) 2017-05-16 2018-05-11 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法

Country Status (3)

Country Link
US (1) US10497090B2 (zh)
TW (1) TWI709331B (zh)
WO (1) WO2018213176A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
JP2021057767A (ja) * 2019-09-30 2021-04-08 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置および画像データ転送方法
CN111629228A (zh) * 2020-04-30 2020-09-04 西安万像电子科技有限公司 数据传输方法及服务器
CN113852826A (zh) * 2021-09-06 2021-12-28 歌尔光学科技有限公司 图像数据传输方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013843A1 (en) * 2008-07-18 2010-01-21 Ian Ameline Method For Performing Undo And Redo Operations On A Graphics Processing Unit
US8451320B1 (en) * 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
US20150116468A1 (en) * 2013-10-31 2015-04-30 Ati Technologies Ulc Single display pipe multi-view frame composer method and apparatus
US9367890B2 (en) * 2011-12-28 2016-06-14 Samsung Electronics Co., Ltd. Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823241B (zh) 2010-03-22 2015-09-16 汤姆森许可贸易公司 立体三维图像的低带宽内容保留压缩方法和设备
US9204123B2 (en) 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
WO2014047351A2 (en) 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
US10110925B2 (en) 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US20170344107A1 (en) * 2016-05-25 2017-11-30 Intel Corporation Automatic view adjustments for computing devices based on interpupillary distances associated with their users
KR102357273B1 (ko) * 2016-08-22 2022-02-08 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013843A1 (en) * 2008-07-18 2010-01-21 Ian Ameline Method For Performing Undo And Redo Operations On A Graphics Processing Unit
US8451320B1 (en) * 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
US9367890B2 (en) * 2011-12-28 2016-06-14 Samsung Electronics Co., Ltd. Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
US20150116468A1 (en) * 2013-10-31 2015-04-30 Ati Technologies Ulc Single display pipe multi-view frame composer method and apparatus

Also Published As

Publication number Publication date
WO2018213176A1 (en) 2018-11-22
US10497090B2 (en) 2019-12-03
TW201902218A (zh) 2019-01-01
US20180336659A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
TWI709331B (zh) 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法
WO2017092335A1 (zh) 一种显示立体图像的处理方法和装置
US10298840B2 (en) Foveated camera for video augmented reality and head mounted display
EP3036911B1 (en) Method, terminal, and system for reproducing content
US20200029057A1 (en) Systems and methods for correcting color separation in field-sequential displays
US20130278728A1 (en) Collaborative cross-platform video capture
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
US10484690B2 (en) Adaptive batch encoding for slow motion video recording
US20150049079A1 (en) Techniques for threedimensional image editing
RU2599959C2 (ru) Схема сжатия dram для снижения потребления энергии при компенсации движения и обновления отображения
US9153201B2 (en) Real-time order-independent transparent rendering
WO2020038344A1 (zh) 一种音画同步方法和装置及显示设备
KR20140044840A (ko) 변경된 영역들을 이용한 매체 인코딩
CN107318008A (zh) 全景视频播放方法及播放装置
US20210125580A1 (en) Wireless programmable media processing system
JP2012522285A (ja) データ及び三次元レンダリングを符号化するためのシステム及びフォーマット
CN101895706A (zh) 一种在3d模式下显示用户界面的方法
KR20170023484A (ko) 이미지 처리장치 및 방법
CN109729340A (zh) 用于在平板面板输入立体图像的硬件系统
US10785512B2 (en) Generalized low latency user interaction with video on a diversity of transports
US20140330957A1 (en) Widi cloud mode
CN115576470A (zh) 图像处理方法和装置、增强现实系统及介质
US9351011B2 (en) Video pipeline with direct linkage between decoding and post processing
JP2014041455A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2024063928A1 (en) Multi-layer foveated streaming

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees