TW201710883A - 低延遲銀幕鏡像 - Google Patents

低延遲銀幕鏡像 Download PDF

Info

Publication number
TW201710883A
TW201710883A TW105114952A TW105114952A TW201710883A TW 201710883 A TW201710883 A TW 201710883A TW 105114952 A TW105114952 A TW 105114952A TW 105114952 A TW105114952 A TW 105114952A TW 201710883 A TW201710883 A TW 201710883A
Authority
TW
Taiwan
Prior art keywords
frame
frames
graphics
source device
graphics domain
Prior art date
Application number
TW105114952A
Other languages
English (en)
Inventor
米納 艾曼 沙雷 雅尼 馬卡爾
王曉冬
鴻宇 江
余納
維拉克旭密 瑞敏德
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201710883A publication Critical patent/TW201710883A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本發明之態樣係關於利用一自適應壓縮管線在一源裝置與一儲集器裝置之間達成低延遲銀幕鏡像的圖形域傳輸方法。一源裝置擷取複數個圖形域圖框，該等圖形域圖框中之每一者包括一或多個圖形命令符記。該源裝置基於該等圖形域圖框之一或多個特性而利用一自適應壓縮管線壓縮該等圖框，且該自適應壓縮管線經組態以執行可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者。該源裝置將該等經壓縮圖框傳輸至一儲集器裝置，且與在該儲集器裝置處顯示之該等經壓縮圖框的一對應所顯現影像在時間上同步地顯示該等圖形域圖框的一所顯現影像。

Description

低延遲銀幕鏡像 對相關申請案之交叉參考
本申請案主張2015年5月28日於美國專利及商標局申請之臨時申請案第62/167,765號及2015年12月3日於美國專利及商標局申請之非臨時申請案第14/958,336號之優先權及益處。
下文所論述之技術大體上係關於在低延遲情況下自源裝置串流傳輸視訊或銀幕內容資料至儲集器裝置。
藉由現代電子裝置，使用者需要以無線方式將諸如視訊、音訊及/或圖形內容之內容自一個電子裝置顯示於另一電子裝置上有時會發生。在許多情況下，亦所要以無線方式輸送內容的能力。大體而言，在此類無線顯示系統中，第一無線裝置「源裝置」可經由無線鏈路將內容提供至可播放或顯示內容之第二無線裝置「儲集器裝置」。可在源裝置之本地顯示器及儲集器裝置之顯示器兩者處同時播放內容，此情形亦稱為顯示或銀幕鏡像。
藉由利用在與兩個裝置間形成無線連接之無線能力，源裝置可利用儲集器裝置(例如，數位電視、投影機、音訊/視訊接收器、高解析度顯示器等)顯示最初儲存於源裝置中或串流傳輸至源裝置之內容的較佳顯示及/或音訊能力。隨著對於此類技術之需求持續增大，研究及開發持續進展且增強使用者體驗。
下文呈現本發明之一或多個態樣之簡化概述，以便提供對此類態樣之基本理解。此概述並非為本發明之所有所涵蓋特徵的廣泛綜述，且既不意欲識別本發明之所有態樣的關鍵或重要元素，亦不意欲描繪本發明之任何或所有態樣的範疇。其唯一目的為按簡化形式呈現本發明之一或多個態樣的一些概念作為隨後呈現之更詳細描述的序言。
本發明之態樣係關於利用一自適應壓縮管線以在一源裝置與一儲集器裝置之間達成低延遲銀幕鏡像的圖形域傳輸方法。
在本發明之一個態樣中，一種源裝置包括一通信介面、儲存可執行程式碼之一記憶體；及以通信方式耦接至該通信介面及該記憶體的至少一個處理器。該至少一個處理器及該記憶體經組態以擷取複數個圖形域圖框，該等圖形域圖框中之每一者包括一或多個圖形命令符記。該至少一個處理器及該記憶體經組態以基於該等圖框之一或多個特性而利用一自適應壓縮管線以壓縮該複數個圖形域圖框。該自適應壓縮管線經組態以執行可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者。該至少一個處理器及該記憶體經組態以經由該通信介面將該等經壓縮圖框傳輸至一儲集器裝置，及與在該儲集器裝置處顯示之該等經壓縮圖框的一對應所顯現影像在時間上同步地顯示該等圖形域圖框的一所顯現影像。
在本發明之一個態樣中，一種儲集器裝置包括一通信介面、包括可執行程式碼之一記憶體；及以通信方式耦接至該通信介面及該記憶體的至少一個處理器。該至少一個處理器及該記憶體經組態以經由該通信介面自一源裝置接收複數個圖框。該等圖形域圖框中之每一者包括一或多個圖形命令符記，且該複數個圖形域圖框由包括可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者 的一自適應壓縮管線來壓縮。該至少一個處理器及該記憶體經組態以基於該複數個圖框中之每一者的一時戳而選擇性地顯示該複數個圖形域圖框中之至少一些。
本發明之一態樣提供一種於一源裝置處可操作之銀幕鏡像的方法。一例示性源裝置擷取銀幕內容之複數個圖形域圖框，該等圖框中之每一者包括一或多個圖形命令符記。該源裝置基於該等圖框之一或多個特性而利用一自適應壓縮管線以壓縮該複數個圖形域圖框。該自適應壓縮管線經組態以執行可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者。該源裝置經由該源裝置之一通信介面將該等經壓縮圖框傳輸至一儲集器裝置，及與在該儲集器裝置處顯示之該等經壓縮圖框的一對應所顯現影像在時間上同步地顯示該等圖形域圖框的一所顯現影像。
本發明之一態樣提供一種於一儲集器裝置處可操作之銀幕鏡像的方法。一例示性儲集器裝置經由該源裝置之一通信介面自一源裝置接收複數個圖形域圖框。該等圖形域圖框中之每一者包括一或多個圖形命令符記，且該複數個圖形域圖框在該源裝置處由包括可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者的一自適應壓縮管線來壓縮。該儲集器裝置基於該複數個圖形域圖框中之每一者的一時戳而選擇性地顯示該複數個圖形域圖框中之至少一些。
在審閱以下詳細描述後，本發明之此等及其他態樣便將變得更充分地為人所理解。在結合附圖審閱對本發明之特定例示性實施例的以下描述後，本發明之其他態樣、特徵及實施例對於一般熟習此項技術者將變得顯而易見。雖然下文可相對於某些實施例及諸圖論述本發明之特徵，但本發明之所有實施例可包括於本文中論述之有利特徵中之一或多者。換言之，雖然可將一或多個實施例論述為具有某些有利 特徵，但亦可根據本文中論述之本發明的各種實施例來使用此等特徵中之一或多者。以類似方式，雖然下文可將例示性實施例論述為裝置、系統或方法實施例，但應理解，此等例示性實施例可以各種裝置、系統及方法來予以實施。
100‧‧‧無線顯示系統
102‧‧‧源裝置
104‧‧‧儲集器裝置
106‧‧‧無線通信通道
108‧‧‧銀幕內容資料
109‧‧‧銀幕內容資料
110‧‧‧時間基準
200‧‧‧圖形域圖框
202‧‧‧圖框開始欄位
204‧‧‧圖框資料欄位
206‧‧‧圖框結束欄位
208‧‧‧開始旗標
212‧‧‧圖框編號欄位
214‧‧‧圖形命令符記
214A‧‧‧圖形命令符記
214B‧‧‧圖形命令符記
214N‧‧‧圖形命令符記
216‧‧‧結束旗標
220‧‧‧圖框編號欄位
302‧‧‧符記標頭欄位
304‧‧‧符記資料欄位
306‧‧‧符記類型欄位
308‧‧‧符記資料大小欄位
402‧‧‧峰值
404‧‧‧資料峰值
406‧‧‧資料峰值
500‧‧‧銀幕鏡像方法
502‧‧‧區塊
504‧‧‧區塊
506‧‧‧區塊
508‧‧‧區塊
510‧‧‧區塊
514‧‧‧區塊
516‧‧‧區塊
518‧‧‧區塊
520‧‧‧區塊
600‧‧‧源裝置
602‧‧‧處理電路系統
604‧‧‧通信介面
606‧‧‧儲存媒體
608‧‧‧圖形處理單元(GPU)
610‧‧‧資料串流傳輸電路或模組
612‧‧‧接收器
614‧‧‧傳輸器
616‧‧‧資料串流傳輸操作
618‧‧‧壓縮管線操作
620‧‧‧應用程式模組
622‧‧‧顯示器
624‧‧‧資料串流傳輸邏輯
700‧‧‧儲集器裝置
702‧‧‧處理電路系統
704‧‧‧通信介面
706‧‧‧儲存媒體
708‧‧‧圖形處理單元(GPU)
710‧‧‧資料串流傳輸電路或模組
711‧‧‧顯示器
712‧‧‧接收器
714‧‧‧傳輸器
716‧‧‧資料串流傳輸操作
720‧‧‧應用程式模組
800‧‧‧自適應壓縮管線
802‧‧‧決策區塊
804‧‧‧區塊
806‧‧‧決策區塊
808‧‧‧區塊
810‧‧‧區塊
812‧‧‧決策區塊
814‧‧‧區塊
816‧‧‧區塊
818‧‧‧決策區塊
820‧‧‧區塊
902‧‧‧區塊
904‧‧‧區塊
906‧‧‧區塊
908‧‧‧區塊
910‧‧‧區塊
1002‧‧‧圖框
1004‧‧‧小型級
1006‧‧‧低品質影像或圖框
1008‧‧‧影像
1010‧‧‧影像
1012‧‧‧圖框
1102‧‧‧圖框
1104‧‧‧圖框
1106‧‧‧圖框
1108‧‧‧圖框標頭
1110‧‧‧大小欄位
1112‧‧‧有差異地經寫碼之位置欄位
1114‧‧‧新資料欄位
1200‧‧‧儲集器側圖框丟棄方法
1202‧‧‧區塊
1204‧‧‧區塊
1206‧‧‧決策區塊
1208‧‧‧區塊
1210‧‧‧區塊
圖1為根據本發明之一或多個態樣的實例銀幕鏡像系統之方塊圖，在該銀幕鏡像系統中，源裝置經組態以經由通信通道將包括圖形命令之經壓縮圖形域圖框傳輸至儲集器裝置。
圖2及圖3為說明根據本發明之一態樣的命令圖框之一實例的圖。
圖4為說明根據本發明之一態樣的當起始銀幕共用或鏡像用於應用時隨時間推移之圖框大小的圖形。
圖5為說明根據本發明之態樣的利用自適應壓縮管線之銀幕鏡像方法的流程圖。
圖6為說明根據本發明之一態樣的自適應壓縮管線之流程圖。
圖7為說明根據本發明之態樣的經組態以串流傳輸視訊之源裝置之選擇組件的方塊圖。
圖8為說明根據本發明之一態樣的源裝置內之實例圖框資料流之方塊圖。
圖9為說明根據本發明之一態樣的經組態以執行銀幕鏡像之儲集器裝置之選擇組件的方塊圖。
圖10為說明根據本發明之一些態樣的圖形管線壓縮方法之流程圖。
圖11為說明根據本發明之一態樣的源裝置處之圖框丟棄方法之流程圖。
圖12為說明根據本發明之一態樣的圖框之可縮放式紋理串流傳 輸程序的圖。
圖13為說明根據本發明之一態樣的具有相同長度之兩個圖框及用於基於圖框之預測中之圖框的圖框結構之圖。
圖14說明根據本發明之一態樣的儲集器側圖框丟棄方法之流程圖。
下文結合附圖闡述之描述內容意欲作為對各種組態之描述，且並不意欲表示可實踐本文中描述之概念及特徵的僅有組態。以下描述出於提供對各種概念之透徹理解之目的而包括特定細節。然而，對於熟習此項技術者而言為顯而易見的是，可在無此等特定細節之情況下實踐此等概念。在一些情況下，以方塊圖形式展示熟知電路、結構、技術及組件以避免混淆所描述概念及特徵。
貫穿本發明呈現之各種概念及特徵可跨越廣泛之多種無線通信系統、網絡架構及通信標準來予以實施。現參看圖1，說明根據本發明之一或多項技術的實例無線顯示系統100之圖。無線顯示系統100利用自適應壓縮管線以促進含有圖形命令之圖形域圖框經由無線通信通道106自源裝置102無線傳輸至儲集器裝置104。自適應壓縮管線經組態以減小傳輸之延遲。儘管本發明之各個態樣用利用無線通信通道之無線顯示系統來說明，但概念不限於無線通信通道且可用非無線通信通道實施。
源裝置102可為電子裝置，該電子裝置經組態以經由通信通道106將銀幕內容資料108(例如，視訊及音訊/視覺媒體)傳輸至儲集器裝置104。源裝置102之實例包括(但不限於)諸如智慧型電話或其他行動手機、平板電腦、膝上型電腦、電子閱讀器、數位視訊記錄器(DVR)、桌上型電腦、穿戴式計算裝置(例如，智慧型手錶、智慧型眼鏡及其類似者)之裝置，及/或至少部分地經由無線通信而通信的其他 通信/計算裝置。
儲集器裝置104可為如下電子裝置：經調適以自源裝置102接收經由通信通道106輸送或傳輸之銀幕內容資料108(例如，串流視訊或音訊/視覺媒體)。儲集器裝置104之實例可包括(但不限於)諸如智慧型電話或其他行動手機、平板電腦、膝上型電腦、電子閱讀器、數位視訊記錄器(DVR)、桌上型電腦、穿戴式計算裝置(例如，智慧型手錶、智慧型眼鏡及其類似者)、電視、監視器之裝置，及/或具有視覺顯示器且具有無線通信能力之其他通信/計算裝置。
無線通信通道106可包括能夠在源裝置102與儲集器裝置104之間傳播通信信號之一或多個通道。在一些實例中，通信通道106可為無線通信通道。舉例而言，無線通信通道106可實施於諸如2.4GHz頻帶、5GHz頻帶、60GHz頻帶或其他已授權/未授權頻率頻帶之一或多個頻率頻帶中的射頻通信中。在一些實例中，通信通道106可符合一或多組標準、協定或技術，諸如無線通用串列匯流排(WUSB)(如由無線USB推進者小組推進)、Wi-Fi(如由Wi-Fi聯盟推進)、WiGig(如由無線十億位元聯盟推進)及/或電機電子工程師學會(IEEE)802.11組標準(例如，802.11、802.11a、802.11b、802.11g、802.11n、802.11ac、802.11ad、802.11mc等)以及一或多個其他標準、協定或技術。可出於本發明之目的而界定所使用頻率頻帶，諸如2.4GHz、5GHz及60GHz頻帶，此係因為其按照Wi-Fi標準、WiGig標準、任何一或多個IEEE 802.11協定或其他適用標準或協定而加以理解。
如由圖1所描繪，源裝置102可具有待輸送之銀幕內容資料108。源裝置102可經由無線通信通道106將銀幕內容資料108(例如，視訊)輸送或傳輸至儲集器裝置104，該儲集器裝置104可顯示對應銀幕內容資料109。源裝置102及儲集器裝置104可時間同步至時間基準110，使得銀幕內容資料108、109可以時間同步方式顯示於兩個裝置上(例 如，同時顯示)。
在本發明之一些態樣中，「圖形域」傳輸方法可由源裝置102使用以將銀幕內容資料108作為經解構之圖形域圖框串流傳輸至儲集器裝置104。可藉由以下操作而實現圖形域傳輸：在源裝置處(例如，在源裝置102之GPU的輸入處)擷取呈圖形命令符記(例如，OpenGL命令)及/或紋理元素形式的銀幕內容資料108(例如，視訊)，及經由通信通道106將命令符記及紋理元素輸送至儲集器裝置104。
圖形域傳輸標準之一個實例為OpenGL(開放圖形程式庫)，該OpenGL為用於顯現圖形(例如，2D及3D圖形或視訊)之API(應用程式設計介面)的規範。OpenGL實施提供實施由規範定義之API的程式庫，該規範由OpenGL架構審查委員會維護。命令符記為對應於一個OpenGL命令之一組位元組或資料。儲集器裝置104(例如，儲集器裝置104處之GPU)可將命令符記及紋理元素顯現至可顯示圖框中，且將所顯現圖框輸出至儲集器裝置104之顯示器上。可將紋理元素映射至所顯現影像中之對象的對應表面上。紋理元素可將各種細節添加至對象，諸如照明效果、色彩、紋理、圖案等。此「圖形域」傳輸方法在本發明中可稱作圖形分擔方法。
在本說明書中，含有圖形命令符記(例如，OpenGL命令)之圖框被稱作圖形域圖框，該圖形域圖框不同於可顯示圖框或含有所顯現圖形或影像的所顯現圖框。所顯現影像或圖框含有待顯示影像之每一像素的資料。所顯現圖形之非限制性實例為光柵圖形及位元影像圖形。在本說明書中，所顯現圖框為表示可經由顯示器、監視器或其他顯示媒體觀看之複數個像素的資料結構。然而，在圖形域傳輸方法中，儲集器裝置104接收圖形命令符記及紋理元素，且執行一系列計算及/或數學估算，以基於所接收圖形命令符記而顯現最終化影像(例如，可顯示圖框)。在此顯現程序期間，組合整個影像之空間、紋理及/或照 明資訊以判定所顯示影像中每一像素的色彩值。
圖形域傳輸方法不同於若干態樣中之所顯現影像傳輸。舉例而言，若儲集器裝置104使用相較於源裝置102具有較大解析度的顯示器，則儲集器裝置104可使用圖形命令符記(例如，具有OpenGL命令之符記)及紋理元素以在類似品質情況下以較高解析度顯現圖形域圖框。另一實例包括發送可用於多個圖框中之紋理元素的能力，從而使得源裝置102能夠單次發送紋理元素以供儲集器裝置104用以顯現若干不同圖框。在本發明之一些態樣中，圖形域傳輸方法可在源裝置102處利用自適應壓縮管線(例如，圖形壓縮管線)。自適應壓縮管線接收且處理圖形命令(圖形域圖框)，且可儲存命令用於將來處理，或即刻執行命令。下文將詳細地描述自適應壓縮管線之實例。
轉至圖2，描繪方塊圖，從而說明根據本發明之至少一個實例的可由源裝置102輸出以使用圖形域傳輸方法將銀幕內容資料108(例如，視訊或音訊/視覺媒體)串流傳輸至儲集器裝置104的圖形域圖框200之一實例。如所說明，圖形域圖框200可包括圖框開始欄位202、圖框資料欄位204及圖框結束欄位206。在一個特定實例中，圖形域圖框200可為OpenGL命令圖框。
圖框開始欄位202可包括開始旗標208及圖框編號欄位212。圖框開始欄位202可指示圖形域圖框200的起點(例如，在資料串流或傳輸內)。圖框編號欄位212可指示圖形域圖框200之序號。圖框編號欄位212之值對於後續圖框可遞增。舉例而言，圖框編號欄位212之值對於當前圖框可為f，且對於下一圖框可為f+1(例如，f為非負整數)。
圖框資料欄位204可包括一或多個圖形命令符記214A至214N(統稱為「符記214」)。符記214中之每一者可對應於圖形命令之特定符記。下文參看圖3提供符記214中之符記之一個實例的另外細節。
圖框結束欄位206可包括結束旗標216及圖框編號欄位220。結束 旗標216可指示圖框結束欄位206之起點(例如，在資料串流內)。圖框編號欄位220可指示命令圖框200之序號。在一個實例中，圖框編號欄位212及220可具有相同圖框編號，使得接收器可藉由查看欄位中之任一者或兩者而判定圖框編號。
圖3為說明根據本發明之一或多個態樣的圖形命令符記之一個實例之另外細節的圖。如在圖3中說明，符記214可包括符記標頭欄位302及符記資料欄位304。符記標頭欄位302可指示符記214之一或多個特性。在一些實例中，符記標頭欄位302可具有固定長度，諸如12個位元組或任何其他適合之長度。如在圖3中說明，符記標頭欄位302可包括符記類型欄位306及符記資料大小欄位308。符記類型欄位306可指示一組圖形命令當中之哪一圖形命令對應於符記214。亦即，符記類型欄位306可指示符記214為哪一圖形命令之符記。符記資料大小欄位308可指示符記資料欄位304之大小(例如，按位元組計)。
符記資料欄位304可指示符記214之一或多個自變數或資料。舉例而言，若由符記類型欄位306指示之圖形命令類型採用兩個自變數，則符記資料欄位304可包括該兩個自變數的資料。符記資料欄位304亦可包括指示將顯示對應圖框之特定時間的時戳(例如，呈現時戳)。
如上文所提，圖形域傳輸使得源裝置102能夠傳輸圖形命令符記(例如，OpenGL命令符記)及紋理元素，其中相同紋理元素可用於一或多個圖框中。此類圖形域傳輸可使得源裝置102能夠單次傳輸紋理元素以供儲集器裝置104使用從而顯現若干不同圖框。在一些情況下，紋理元素大小相較於圖形命令符記可為相對大的。紋理元素之相對大的大小可引起由源裝置102傳輸之資料的峰值。
舉例而言，圖4為說明當執行銀幕共用或鏡像用於某應用時隨時間推移之圖形域圖框大小的圖形。舉例而言，應用可為視訊遊戲、視 訊串流傳輸、投影片放映及其類似者。如所展示，(例如)在遊戲或音訊/視訊串流傳輸期間存在若干資料峰值。舉例而言，當起始遊戲時，在起點處存在所傳輸資料之約19百萬位元組(MB)的峰值402。此峰值可包括若干紋理元素，諸如遊戲之背景及用於在遊戲中顯現圖框之不同對象。此等紋理元素通常需要在儲集器裝置104可開始顯示遊戲之前在該儲集器裝置104處可用。其他資料峰值404及406亦可在遊戲之其他時間期間發生。除了相對較大資料峰值之外，其他圖形域圖框(例如，具有圖形命令符記的)大小可相對小。在一些情況下，資料峰值處之相對大圖框可引起傳輸潛時。舉例而言，假定可用頻寬或位元率為200百萬位元每秒(Mbps)，則在由源裝置102傳輸的資料與由儲集器裝置104接收的資料之間將存在相當大的潛時。
在源裝置102處傳輸之資料與到達儲集器裝置104之資料之間的上述潛時可引起於源裝置處顯示之視訊或影像與儲集器裝置之視訊或影像之間的延遲。此類潛時在本說明書中將稱作銀幕鏡像延遲。不合需要地長之銀幕鏡像延遲可不利地影響某些應用，諸如(例如)高度交互應用程式及視訊遊戲。
根據本發明之態樣，源裝置經組態以將圖形顯現分擔至利用自適應壓縮管線之儲集器裝置，該自適應壓縮管線可執行具有零或小(例如，非可察覺)銀幕至銀幕延遲的銀幕鏡像。舉例而言，小或非可察覺銀幕至銀幕延遲可為5毫秒或更小。銀幕至銀幕延遲(或顯示器至顯示器延遲)指顯示於源裝置上之圖框與顯示於儲集器裝置上之對應圖框之間的延遲或時間潛時。自適應壓縮管線可經組態以選擇性地利用各種壓縮工具或技術以減小銀幕至銀幕延遲。此等壓縮工具之實例包括可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄及無損及/或有損壓縮技術。下文將更詳細地描述此等壓縮工具及技術的應用。
圖5及圖6為說明根據本發明之態樣的利用自適應壓縮管線之銀 幕鏡像方法500的流程圖。銀幕鏡像方法500可由圖1、圖7及/或圖8中之任一者中說明的源裝置或任何適合之設備執行。在區塊502處，源裝置擷取銀幕內容資料或視訊資料之複數個圖形域圖框。舉例而言，在源裝置處操作之一或多個應用程式(例如，圖6之應用程式模組620)可產生一或多個圖形命令符記(例如，OpenGL命令符記)及紋理。此等圖形命令符記可被儲存且/或分組至一或多個圖形域圖框中以供進一步處理。此處，每一所擷取圖框包括一或多個圖形命令符記及/或紋理。舉例而言，銀幕內容資料可為圖1之視訊資料108或任何適合之串流傳輸媒體資料。源裝置可利用資料串流傳輸模組610以藉由保持、傳輸、輸送及/或儲存源裝置之GPU(例如，圖7及圖8之GPU 608)的輸入處之圖框的對應圖形命令符記及/或紋理而擷取圖形域圖框。所擷取圖形域圖框可所儲存於記憶體儲存器(例如，圖7之儲存媒體606)處以供進一步處理。
在區塊504處，源裝置利用自適應壓縮管線以基於圖框之一或多個特性而處理或壓縮複數個圖形域圖框。舉例而言，源裝置可實施圖6中展示之自適應壓縮管線。自適應壓縮管線可藉由可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄及/或有損/無損資料壓縮中之至少一者來處理或壓縮圖框。參看圖6，在區塊510處，源裝置可利用資料串流傳輸邏輯624(參見圖8)以判定圖框之特性。特性之非限制性實例包括圖框編號、圖框長度、相鄰圖框之間的資料之差異及/或類似性、紋理之存在、圖框中含有之命令符記的數目及呈現時戳。基於圖框之特性，源裝置可利用可縮放式紋理串流傳輸(區塊514)、基於圖框之預測(區塊516)、圖框丟棄(區塊518)或有損/無損資料壓縮(區塊520)對圖框進行壓縮。此等壓縮工具及技術中之每一者可由源裝置利用以壓縮或減小圖框之大小，且將在下文進一步予以詳細描述。
回看圖5，在區塊506處，源裝置經由通信介面將經壓縮圖形域 圖框傳輸至儲集器裝置。儲集器裝置可為圖1之儲集器裝置104或任何適合之設備。在一個實例中，源裝置可利用傳輸器614(圖7及圖8)以傳輸經壓縮圖框。可將經壓縮圖框載入至傳輸器614之緩衝器中，且將經壓縮圖框處理(例如，數位/類比轉換、調變及頻率轉換)成適合之信號以供經由無線通信通道進行傳輸。
在區塊508處，源裝置顯示與在儲集器裝置處顯示之經壓縮圖框之對應所顯現影像在時間上同步之圖形域圖框的所顯現影像。當所顯示影像之間的時間滯後在預定臨限值(例如，5毫秒或更小)內時，所顯現影像被視為時間同步的。在一個特定實例中，可同時顯示所顯現影像。舉例而言，源裝置可利用GPU 608(圖8)顯現圖形域圖框，且將所顯現影像顯示於顯示器622(圖8)上。源裝置及儲集器裝置可在時間上同步至一共同時間基準，使得兩個裝置皆可(例如)根據圖框之呈現時戳而在大體上相同之時間顯示所要影像。
根據參看圖5及圖6描述之方法500，所描述自適應壓縮管線使得能夠在相對於未經壓縮圖框較少之時間中壓縮圖形域圖框(亦即，包括命令符記的圖框)及經由通信通道傳輸該等圖形域圖框。因此，可減小銀幕鏡像延遲。圖形管線之減小之延遲促進圖形域圖框於在源裝置及儲集器裝置之間無可察覺潛時的情況下在兩個裝置上的同步顯示。
圖7為說明根據本發明之一態樣的源裝置600之選擇組件之方塊圖。源裝置600包括以操作方式耦接至通信介面604及儲存媒體606或與該通信介面604及該儲存媒體606電通信的處理電路系統602。處理電路系統602包括經配置以獲得、處理及/或發送資料，控制資料存取及儲存，發出命令及控制其他所要操作之電路系統。處理電路系統602可包括經調適以實施由適當媒體提供之所要程式的電路系統，及/或經調適以執行在本發明中(例如，在圖5、圖6及圖8至圖13中)描述 之一或多個功能及程序的電路系統。
舉例而言，處理電路系統602可實施為一或多個處理器、一或多個控制器及/或經組態以執行可執行軟體、程式、程式碼及/或執行特定功能的其他結構。處理電路系統602之實例可包括通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式閘陣列(FPGA)或其他可程式化邏輯組件、離散閘或電晶體邏輯、離散硬體組件，或其經設計以執行本文中描述之功能的任何組合。通用處理器可包括微處理器，以及任何習知處理器、控制器、微控制器或狀態機。處理電路系統602亦可實施為計算組件之組合，諸如DSP與微處理器之組合、數個微處理器、一或多個微處理器結合DSP核心、ASIC與微處理器，或任何其他數目個變化之組態。處理電路系統602之此等實例係用於說明，且亦預期到本發明之範疇內的其他適合之組態。
處理電路系統602可包括經調適用於處理資料(包括執行程式或程式碼)之電路系統，程式或程式碼可儲存於儲存媒體606上。如本文中使用，術語「程式」將被廣泛地解釋包括(不限於)指令、指令集、程式碼(code/program code)、程式碼區段、程式、子程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、次常式、物件、可執行碼、執行緒、程序、函式等，而不論被稱作軟體、韌體、中間軟體、微碼、硬體描述語言抑或其他。
在一些情況下，處理電路系統602可包括圖形處理單元(GPU)608及/或視訊資料串流傳輸電路或模組610。GPU 608通常包括電路系統及/或程式(例如，儲存於儲存媒體606上之程式)，程式經調適用於處理圖形資料及基於用於藉由使用者介面、銀幕、監視器或輸出裝置顯示之一或多個圖形命令符記一及/或紋理元素而顯現圖形或銀幕內容資料之圖框。
資料串流傳輸電路/模組610可包括電路系統及/或程式(例如，儲 存於儲存媒體606上之程式)，電路系統及/或程式經調適以將呈圖形命令符記及紋理元素形式之視訊資料或銀幕內容資料串流傳輸至儲集器裝置。在一些實例中，資料串流傳輸電路/模組610可將一或多個圖形命令符記及/或紋理囊封於命令圖框(諸如圖2之圖形域圖框200)中。在一些實例中，資料串流傳輸電路/模組610可在GPU 608之輸入或其他圖形處理電路系統處擷取圖形命令符記及/或紋理元素。在一些實例中，資料串流傳輸電路/模組610可實施自適應壓縮管線，該自適應壓縮管線經組態以基於圖框之特性而利用可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄及/或有損/無損資料壓縮中之一或多者來壓縮圖形命令圖框，如本文中在下文更詳細地描述。如本文中所用，參考與源裝置600及所執行程序相關聯之電路系統及/或程式通常可被稱作邏輯(例如，邏輯閘及/或資料結構邏輯)。
通信介面604經組態以促進源裝置600之無線通信。舉例而言，通信介面604可包括經調適以相關於一或多個儲集器裝置雙向地促進資訊之傳達之電路系統及/或程式。通信介面604可耦接至一或多個天線(未展示)，且包括無線收發器電路系統，包括至少一個接收器612(例如，一或多個接收器鏈)及/或至少一個傳輸器614(例如，一或多個傳輸器鏈)。在本發明之一些態樣中，通信介面604可包括用於有線通信之適合之傳輸器及接收器(例如，通用串列匯流排(USB)、乙太網、高速PCI、Thunderbolt等)。
儲存媒體606可表示用於儲存以下各者之一或多個處理器可讀裝置：程式，諸如處理器可執行程式碼或指令(例如，軟體、韌體)；電子資料；資料庫或其他數位資訊。儲存媒體606亦可用於儲存當執行程式或程式碼(諸如壓縮管線操作618)時由處理電路系統602操控或處理之資料(例如，銀幕內容資料、可縮放式串流傳輸旗標、圖框)。儲存媒體606可為可由通用或專用處理器存取之任何可用媒體，包括攜 帶型或固定存儲裝置、光學儲存裝置及能夠儲存、含有及/或攜載程式或程式碼的各種其他媒體。藉助於實例(且非限制)，儲存媒體606可包括處理器可讀非暫時性儲存媒體，諸如磁性儲存裝置(例如，硬碟、軟性磁碟、磁條)、光學儲存媒體(例如，緊密光碟(CD)、數位化通用光碟(DVD))、智慧型卡、快閃記憶體裝置(例如，卡、棒、保密磁碟)、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化ROM(PROM)、可抹除PROM(EPROM)、電可抹除PROM(EEPROM)、暫存器、抽取式磁碟及/或用於儲存程式之其他媒體以及其任何組合。
儲存媒體606可耦接至處理電路系統602，使得處理電路系統602中之至少一些可自儲存媒體606讀取資訊，且將資訊寫入至儲存媒體606。亦即，儲存媒體606可耦接至處理電路系統602以使得儲存媒體606至少可由處理電路系統602存取，包括儲存媒體606整合至處理電路系統602之實例及/或儲存媒體606分離於處理電路系統602之實例(例如，駐留於源裝置600中、位於源裝置600外部，跨越多個實體分佈)。
儲存媒體606可包括儲存於其上之程式或程式碼。此類程式當由處理電路系統602執行時可使得處理電路系統602執行本文中(例如)在圖1、圖5、圖6、及圖10至圖13中描述之各種功能及/或程序步驟中之一或多者。在至少一些實例中，儲存媒體606可包括資料串流傳輸操作616。資料串流傳輸操作616經調適以使得處理電路系統602經由通信介面604將呈含有圖形命令符記及紋理元素之圖形域圖框形式的銀幕內容資料(例如，視訊資料)串流傳輸至儲集器裝置。在一些實例中，資料串流傳輸操作616可包括壓縮管線操作618，該壓縮管線操作618經調適以使得處理電路系統602利用可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或有損/無損資料壓縮中之一或多者基於圖框之一或多個特性來可適性地壓縮含有圖形命令符記及紋理的圖框，如 在本文中在下文更詳細地描述。儲存媒體606亦可包括由資料串流傳輸操作產生或利用之資料。舉例而言，儲存媒體606可具有可縮放式串流傳輸旗標用於指示是否應將可縮放式串流傳輸應用於圖框。
儲存媒體606亦可包括應用程式模組620，該應用程式模組620可各自表示由製造源裝置600之實體提供的應用程式、在源裝置600上操作之程式、及/或由第三方開發以供源裝置600使用之應用程式。應用程式模組620之實例可包括用於遊戲、購物、行進選路、地圖、音訊及/或視訊呈現、文書處理、試算表、語音及/或通話、天氣等之應用程式。一或多個應用程式模組620可包括或產生與應用程式模組及應用程式關聯的紋理元素(紋理)。
在一個實例中，在應用程式模組620之遊戲應用程式需要切割落下之水果(例如，西瓜、鱷梨、鳳梨等)之處，可能存在與遊戲應用程式關聯之可包括每一類型之水果之圖形表示的紋理元素，以及背景。此類紋理元素可儲存於不同色彩空間中，且其中對應色彩通道具有不同位元深度。
根據本發明之一或多個態樣，處理電路系統602經調適以(獨立地或結合儲存媒體606)執行用於本文中描述之任何或所有源裝置的任何或所有程序、功能、步驟及/或常式。如本文中所使用，術語「經調適」或「經組態」相關於處理電路系統602可指處理電路系統602經組態、經使用、經實施及/或經程式化(結合儲存媒體606)中之一或多者以根據本文中(例如)在圖5、圖6及圖10至圖13中描述之各種特徵而執行特定程序、功能、步驟及/或常式。
圖8為說明根據本發明之一個態樣的源裝置600內之實例資料流之方塊圖。源裝置600可與圖7之源裝置相同。如所展示，源裝置600之應用程式模組620中之一或多者可將含有圖形命令符記及紋理之圖形域圖框輸出(例如)至GPU 608。在一些實例中，GPU 608可顯現此 等圖框且將所顯現視訊或影像輸出至顯示器622或輸出裝置。在一些實例中，GPU 608可不顯現圖形域圖框，但將其串流傳輸至儲集器裝置。根據本發明之一或多個態樣，資料串流傳輸邏輯624(例如，由資料串流傳輸電路/模組610及/或資料串流傳輸操作616所實施)可在GPU 608之輸入處擷取圖形域圖框。可將所擷取圖框儲存於儲存媒體606處或緩衝於資料串流傳輸邏輯624中。資料串流傳輸邏輯624可基於圖框特性利用自適應壓縮管線而對圖形域圖框進行壓縮，該自適應壓縮管線經實施以執行可縮放紋理串流傳輸、基於圖框之預測、圖框丟棄及/或有損/無損資料壓縮中之至少一者。將經壓縮圖框輸出至傳輸器614。在一個實例中，資料串流傳輸邏輯624可產生與組成一圖框序列之複數個圖框關聯的經壓縮圖形命令符記及紋理。傳輸器614可將含有圖形命令符記及紋理之經壓縮圖框輸出至儲集器裝置(例如，圖9之儲集器裝置700)。
圖9為說明根據本發明之一態樣的經組態以執行銀幕鏡像之儲集器裝置700之選擇組件的方塊圖。儲集器裝置700包括以操作方式耦接至通信介面704及儲存媒體706或與該通信介面704及該儲存媒體706電通信的處理電路系統702。處理電路系統702包括經配置以獲得、處理、傳輸及/或接收資料、控制資料存取及儲存、發出命令及控制其他所要操作的電路系統。處理電路系統702可包括經調適以實施由適當媒體提供之所要程式的電路系統，及/或經調適以執行在本發明中(例如，在圖1及14中)描述之一或多個功能的電路系統。儲集器裝置700之一些組件類似於源裝置600之彼等組件，且為簡潔起見將省略冗餘描述。
在一些情況下，處理電路系統702可包括圖形處理單元(GPU)708及/或資料串流傳輸電路或模組710。GPU 708通常包括電路系統及/或程式(例如，儲存於儲存媒體706上之程式)，程式經調適用於處理圖 形資料及基於用於供顯示器711或輸出裝置顯示之一或多個圖形命令符記及/或紋理元素而顯現視訊資料或銀幕內容資料之圖形域圖框。
資料串流傳輸電路/模組710可包括電路系統及/或程式(例如，儲存於儲存媒體706上的程式)，該電路系統及/或程式經調適以自源裝置(例如，源裝置600)接收含有圖形命令符記及/或紋理的圖形域圖框(例如，圖2之圖框200)。資料串流傳輸電路/模組710可將含有圖形命令符記及/或紋理之圖形域圖框提供至GPU 708，該GPU 708顯現待由顯示器711顯示之圖框。在一些實例中，資料串流傳輸電路/模組710可包括經組態以基於圖框之呈現時戳而丟棄一或多個圖框之電路系統。
通信介面704經組態以促進與源裝置之無線通信。舉例而言，通信介面704可包括經調適以相關於一或多個源裝置600雙向促進資訊之傳達的電路系統及/或程式。通信介面704可耦接至一或多個天線(未展示)，且包括無線收發器電路系統，該無線收發器電路系統包括至少一個接收器712(例如，一或多個接收器鏈)及/或至少一個傳輸器714(例如，一或多個傳輸器鏈)。
儲存媒體706可表示用於儲存程式，諸如處理器可執行程式碼或指令(例如，軟體、韌體)、電子資料、資料庫或其他數位資訊的一或多個處理器可讀裝置。儲存媒體706亦可用於儲存由處理電路系統702當執行程式或程式碼時操控之資料(例如，自源裝置接收之圖形域圖框)。儲存媒體706可為可由通用或專用處理器存取之任何可用媒體，包括攜帶型或固定存儲裝置、光學儲存裝置及能夠儲存、含有及/或攜載程式或程式碼的各種其他媒體。藉助於實例且非限制，儲存媒體706可包括處理器可讀非暫時性儲存媒體，諸如磁性儲存裝置(例如，硬碟、軟性磁碟、磁條)、光學儲存媒體(例如，緊密光碟(CD)、數位化通用光碟(DVD))、智慧型卡、快閃記憶體裝置(例如，卡、棒、保 密磁碟)、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化ROM(PROM)、可抹除PROM(EPROM)、電可抹除PROM(EEPROM)、暫存器、抽取式磁碟及/或用於儲存程式的其他媒體以及其任何組合。
儲存媒體706可包括儲存於其上的程式。此類程式當由處理電路系統702執行時可使得處理電路系統702執行本文中描述的各種功能及/或程序步驟中之一或多者。在至少一些實例中，儲存媒體706可包括資料串流傳輸操作716。資料串流傳輸操作716經調適以使得處理電路系統702經由通信介面704自源裝置接收呈含有圖形命令符記及紋理元素之圖框形式的串流視訊資料或銀幕內容資料。
儲存媒體706亦可包括應用程式模組720，應用程式模組720可各自表示由製造儲集器裝置700之實體提供之應用程式、在儲集器裝置700上操作之程式、及/或由第三方開發以供儲集器裝置700使用的應用程式。應用程式模組720之實例可包括用於遊戲、購物、行進選路、地圖、音訊及/或視訊顯現、文書處理、試算表、語音及/或通話、天氣等的應用程式。
根據本發明之一或多個態樣，處理電路系統702經調適以執行(獨立地或結合儲存媒體706)用於本文中描述之任何或所有儲集器的任何或所有程序、功能、步驟及/或常式。如本文所使用，術語「經調適」或「經組態」相關於處理電路系統702可指處理電路系統702經組態、經使用、經實施及/或經程式化(結合儲存媒體706)中之一或多者以根據本文中(例如)在圖14中描述之各種特徵而執行特定程序、功能、步驟及/或常式。
圖10為說明根據本發明之一些態樣的自適應壓縮管線800之圖。此自適應壓縮管線800可實施於圖1、圖7及圖8中之任一者中說明的源裝置或任何適合之設備處。在一個特定實例中，源裝置600可經組態 以當執行圖5之銀幕鏡像方法500時利用自適應壓縮管線800以處理或壓縮圖形域圖框(在區塊處504)。當含有圖形命令符記及/或紋理之圖形域圖框(例如，OpenGL圖框)到達時，自適應壓縮管線800可利用各種壓縮工具或技術可適應性地壓縮或減小圖框之大小，以使得可在較少時間內將圖框傳輸至儲集器裝置以減小傳輸延遲。
在決策區塊802處，源裝置可利用其處理電路系統602以判定是否將圖框丟棄應用於圖框。若圖框滿足某些準則，則可在區塊804處丟棄圖框。當丟棄圖框時，並非將其串流傳輸或傳輸至儲集器裝置，但其仍可顯現且/或顯示於源裝置處。參看圖11，若滿足以下條件中之全部或一些，則可丟棄圖框。在區塊902處，判定圖框是否為視訊串流之前m個圖框中之一者。在一個實例中，m的值可等於2或大於2，或任何適合值。在區塊904處，判定圖框是否含有紋理或紋理元素。舉例而言，紋理可在所顯現圖框中提供對象之表面的細節、表面紋理或色彩。在區塊906處，判定圖框是否具有與其先前圖框相同之圖形命令符記。舉例而言，第f號圖框可具有與第f+1號圖框相同之圖形命令符記。在區塊908處，判定先前q個圖框之至少一個圖框是否並未被丟棄。舉例而言，q之值可等於2或大於2，或任何適合之數字。在區塊910處，判定源裝置與儲集器裝置之間的通信潛時是否大於某一臨限值。在一個實例中，臨限值(亦即最大可允許銀幕至銀幕潛時)可為5毫秒。在本發明之一個態樣中，源裝置可藉由比較將發送之當前圖框之呈現時戳與源裝置上之當前系統時間來判定潛時。當考慮傳輸潛時時，以上情形為銀幕至銀幕潛時計算提供良好的試探。
在一個特定實例中，當滿足圖11之所有條件時，可丟棄圖框；否則，不丟棄圖框。在一些實例中，當僅滿足圖11之一些條件時，可丟棄圖框。可不限於圖中展示之特定次序以任何次序而依序及/或並行地檢查圖11之條件。在本發明之一些態樣中，可省略條件中之一些， 且可添加其他條件。可在2015年1月5日向美國專利及商標局申請之同在申請中之專利申請案第14/589,481號中發現關於圖框丟棄的更多資訊。
返回參看圖10，在決策區塊806處，源裝置可利用其處理電路系統602以判定圖形域圖框是否具有紋理。若圖框具有紋理，則源裝置繼續進行至決策區塊808；否則，源裝置繼續進行至決策區塊818。在區塊808處，源裝置可利用其處理電路系統602以決定是否應將有損資料壓縮應用至含有紋理之圖框。在區塊810處，源裝置可利用其處理電路系統602以將有損壓縮應用至圖框之對應於紋理的資料，且將無損壓縮應用至圖框之其他資料。舉例而言，源裝置可使用有損JPEG(聯合照相專家小組)格式壓縮紋理。
在圖形中，像素可由用於紅、綠及藍色(RGB)之三個通道及一個α通道表示。α通道指定一像素在另一像素之上的透明度，該透明度定義當兩個像素重疊時一像素之R、G及B色彩如何與另一像素合併。在一個特定實例中，源裝置將圖框之RGB影像(RGB通道)與α通道分離，且將RGB影像壓縮為JPEG影像。在一個實例中，可以23位元表示經壓縮JPEG影像大小。源裝置可基於α通道之內容而選擇性地壓縮α通道。舉例而言，若α通道含有所有一(亦即，資料位元全部等於1)，則源裝置可將包括具有0值(或預定值)之α旗標的圖框傳輸至儲集器裝置，但並不發送α通道資料。若α通道並非含有所有一(亦即，一及零資料)，則源裝置可將α通道壓縮至JPEG灰度級影像，且將包括JPEG灰度級影像及具有1值(或預定值)之α旗標的圖框傳輸至儲集器裝置。
在決策區塊812處，源裝置可利用其處理電路系統602以決定是否基於由源裝置維持之可縮放式串流傳輸旗標而應用可縮放式紋理串流傳輸。舉例而言，可將可縮放式串流傳輸旗標設定為第一值(例 如，可縮放串流傳輸旗標=1)，以啟用可縮放式紋理串流傳輸，或設定為第二值(例如，可縮放式串流傳輸旗標=0)以停用可縮放充式紋理串流傳輸。可基於源裝置與儲集器裝置之間的通信頻寬及/或由儲集器裝置提供之任何回饋而設定可縮放式串流傳輸旗標。舉例而言，當頻寬低於某一臨限值時，源裝置可啟用可縮放式紋理串流傳輸。在一個實例中，當儲集器裝置處之顯現品質不令人滿意(例如，過多顯現假影)時，源裝置可停用可縮放式紋理串流傳輸。下文將在圖12中描述可縮放式紋理串流傳輸之一實例。
在區塊814處，源裝置根據本發明之一個態樣可利用其處理電路系統602以執行可縮放紋理串流傳輸。參看圖12，在可縮放式紋理串流傳輸中，源裝置可將圖框1002劃分成數個小型級1004或層。小型級1004中之每一者資料大小上小於原始圖框1002。接著，源裝置單獨地依序將小型級1004經由通信通道(例如，Wi-Fi通道、蜂巢式連接)傳輸至儲集器裝置。儲集器裝置可基於所接收第一級而重建構或顯現原始圖框1002之低品質影像或圖框1006。舉例而言，低品質影像1006可具有比原始圖框低之解析度。後續級將改進位元或資料提供至儲集器裝置，使得可建構漸進地較佳之品質影像(例如，影像1008及1010)。在一個實例中，儲集器裝置可將連續內插應用至級以產生影像。最後，建構有所有級之圖框1012之品質可逼近或具有原始圖框1002之大體上相同之影像品質。
回看圖10，在區塊816處，當並未設定可縮放式串流傳輸旗標時，源裝置可利用其處理電路系統602以將無損壓縮應用至不含有紋理之圖形域圖框的資料(例如，命令符記)。在一些實例中，可使用通常已知之無損資料壓縮技術，諸如zlib、LZ4及LZO(Lempel-Ziv-Oberhumer)。雖然應用資料壓縮可藉由串流傳輸較小圖框來減小傳輸延遲，但執行資料壓縮可增加處理時間。因此，源裝置可基於數個準 則(諸如通道頻寬及執行壓縮的處理時間)而選擇性地應用壓縮(例如，zlib、LZ4及LZO)。一般而言，若源裝置可減小整體延遲同時考慮執行壓縮之處理時間及經壓縮圖框之傳輸時間，則源裝置可選擇應用資料壓縮。
在決策區塊818處，源裝置可利用其處理電路系統602以決定是否應基於圖形域圖框之長度而執行基於圖框之預測。在本發明之一個態樣中，若當前圖框(例如，圖框f+1)及其先前圖框(例如，圖框f)具有相同長度，則在區塊820處，源裝置可利用其處理電路系統602以執行基於圖框之預測來壓縮或減小當前圖框之大小。圖13為說明對具有相同長度之兩個連續圖框1102及1104(圖框f及圖框f+1)之基於圖框之預測的圖。在一說明性實例中，兩個圖框含有不同資料之位置可為位元組位置70、71、72、80、113、114、158、159、160、161及188。 在本發明之一個態樣中，源裝置可有差異地將此等位置編碼為70、1、1、8、33、1、44、1、1、1及27。在此特定實例中，因為第一位置為位置70，所以第二位置71可經編碼為1(亦即，71=70+1)。類似地，第三位置72可經編碼為1(亦即，72=71+1)，第四位置80可經編碼為8(亦即，80=72+8)，等等。在本發明之其他態樣中，可使用其他編碼方案。
在本發明之各種態樣中，源裝置可使用任何適合之寫碼方案來對差異性位置(亦即，圖框的具有不同資料之相同位置)進行編碼。在一個特定實例中，源裝置可使用指數哥倫布寫碼對差異性位置進行編碼。在一個特定實例中，經編碼有差異位置變為0000001000110(亦即，位置70)、1、1、0001000、00000100001、1等等。在編碼之後，源裝置將具有經寫碼有差異位置及此等位置之新/不同資料的圖框1106(圖13)傳輸至儲集器裝置。
參看圖13，在基於圖框之預測中，圖形域圖框結構1106包括圖框 標頭1108、大小欄位1110、有差異地經寫碼之位置欄位1112及新資料欄位1114。圖框標頭1108標記圖框之起點且指示應用於此圖框之圖框壓縮(例如，基於圖框之預測)的應用。大小欄位1110指示經寫碼位置之大小。在一個特定實例中，大小欄位1110之大小可為兩個位元組(2B)。經寫碼位置自身長度可係可變的。此等兩個位元組幫助儲集器裝置之解碼器剖析含有有差異地經寫碼之位置之位元組的數目。有差異地經寫碼之位置的欄位1112指示圖框含有新資料(亦即，不同資料)之位置。新資料欄位1114提供新資料之值。因此，儲集器裝置可基於先前圖框f及圖框1106而建構圖框f+1，該圖框1106含有不同/新資料之位置。圖框1106相較於圖框f+1 1104可具有較小之大小或長度，使得可減小傳輸延遲。
回看圖10，在決策區塊818處，若源裝置決定不執行基於圖框之預測，則源裝置可在區塊816處對圖框執行無損壓縮，如上文所描述。圖10至圖13中說明之圖形命令圖框壓縮工具及技術並不為窮盡性的。在本發明之一些態樣中，源裝置可不實施此等圖框壓縮工具中之一些，且可包括在本發明之範疇內的其他適合之圖框壓縮工具。
為了達成零延遲或非可察覺延遲銀幕鏡像，源裝置及儲集器裝置可經同步至全球時鐘源(例如，圖1之時間基準110)，使得裝置可縮放節且控制特定圖框經顯現及/或顯示於顯示器或銀幕上之時間。在一些實例中，儲集器裝置可自接收自源裝置之資料導出時間。在本發明中，非可察覺延遲銀幕鏡像可具有小於5毫秒之延遲，或人類觀看者無法感知到源裝置顯示之影像與儲集器裝置顯示之影像之間的可辨潛時之延遲。在一個實例中，源裝置及儲集器裝置可使用網路時間協定(NTP)同步至適合之時鐘源。在一個實例中，源裝置及儲集器裝置可使用來自兩個裝置連接至之同一Wi-Fi網路的時序同步功能(TSF)來同步至時鐘源。在本發明之一個態樣中，若圖框具有音訊分量及視訊 分量，則可在應用層處於源側上早早擷取音訊分量。當音訊資料到達儲集器側時，音訊分量及視訊分量經同步至用以同步視訊播放之同一全球時鐘源。全球時鐘源可係基於NTP、TSF或Wi-Fi。
圖14說明根據本發明之一態樣的儲集器側圖框丟棄方法1200之流程圖。儲集器側圖框丟棄方法1200可由圖9之儲集器裝置700或任何適合之設備執行。在區塊1202處，儲集器裝置可利用其通信介面704(圖9)以自源裝置(例如，圖1之源裝置102)接收一或多個圖形域圖框。舉例而言，類似於圖2中說明之圖框200，圖框中之每一者可包括一或多個圖形命令符記及/或紋理。圖框可在源裝置處由類似於圖6及圖10中描述之自適應壓縮管線的自適應壓縮管線進行壓縮。自適應壓縮管線可經組態以使用可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或有損/無損資料壓縮來壓縮或處理圖框，如上文在圖10至圖13中所描述。
在區塊1204處，儲集器裝置(例如)利用其處理電路系統602及/或GPU 608(圖7)顯現圖形域圖框以供顯示。在決策區塊1206處，若圖框在其呈現時戳之後到達，則儲集器裝置並不在區塊1208處顯示此圖框；否則，儲集器裝置在區塊1210處顯示圖框。當儲集器裝置避免顯示丟棄之圖框(例如，不顯示、放棄、丟棄或捨棄之圖框)時，儲集器裝置仍可(例如)藉由其GPU執行丟棄之圖框的圖形命令。
雖然上文論述之態樣、配置及實施例係以特定細節及特殊性加以論述，但圖1至圖14中說明之組件、步驟、特徵及/或功能中之一或多者可經重新配置及/或組合成單個組件、步驟、特徵或功能，或體現於若干組件、步驟或功能中。在不脫離本發明之情況下，亦可添加或不利用額外元件、組件、步驟及/或功能。圖1、圖7、圖8、及/或圖9中說明之設備、裝置及/或組件可經組態以執行或使用圖1、圖5、圖6及/或圖10至圖14中描述之方法、特徵、參數及/或步驟中之一或多 者。本文中描述之新穎演算法及程序亦可以軟體有效地實施且/或嵌入於硬體中，或前述兩者之一組合。
雖然可能已相對於某些實施例及諸圖而論述可本發明之特徵，但本發明之所有實施例可包括本文中論述之有利特徵中之一或多者。換言之，雖然可能已將一或多個實施例論述為具有某些有利特徵，但亦可根據本文中論述之各種實施例中之任一者來使用此等特徵中之一或多者。以類似方式，雖然本文可能已將例示性實施例論述為裝置、系統或方法實施例，但應理解，此等例示性實施例可以各種裝置、系統及方法來予以實施。
又，應注意，至少一些實施已被描述為程序，該程序被描繪為流程圖、流程框圖、結構圖或方塊圖。儘管流程圖可能將操作描述為依序程序，但可並行地或同時執行許多操作。另外，可重新配置操作之次序。當程序之操作完成時，該程序終止。程序可對應於方法、函數、程序、次常式、次程式等。當程序對應於函數時，其終止對應於函數返回至調用函數或主函數。本文中描述之各種方法可部分地或完全地藉由可儲存於處理器可讀儲存媒體中且由一或多個處理器、機器及/或裝置執行之程式(例如，指令及/或資料)予以實施。
熟習此項技術者應進一步瞭解，結合本文中揭示之實施例描述的各種說明性邏輯區塊、模組、電路及演算法步驟可實施為硬體、軟體、韌體、中間軟體、微碼或其任何組合。為了清楚地說明此互換性，上文已大體上就其功能性描述了各種說明性組件、區塊、模組、電路及步驟。將此類功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統之設計約束。
在不脫離本發明之範疇之情況下，可在不同實例及實施中實施與本文中描述及附圖中展示之實例相關聯的各種特徵。因此，儘管某些特定構造及配置已被描述且在附圖中予以展示，但此等實施例僅為 說明性的且並不約束本發明之範疇，此係因為對於一般熟習此項技術者而言，對所描述實施例之各種其他添加及修改以及刪除將為顯而易見。因此，僅藉由以下申請專利範圍之文字語言及法律等效物來判定本發明之範疇。
500‧‧‧銀幕鏡像方法
502‧‧‧區塊
504‧‧‧區塊
506‧‧‧區塊
508‧‧‧區塊

Claims (26)

  1. 一種源裝置，其包含：一通信介面；一記憶體，其儲存可執行程式碼；及至少一個處理器，其以通信方式耦接至該通信介面及該記憶體，其中該至少一個處理器及該記憶體經組態以：擷取複數個圖形域圖框，該等圖形域圖框中之每一者包含一或多個圖形命令符記；基於該等圖框之一或多個特性而利用一自適應壓縮管線以壓縮該複數個圖形域圖框，其中該自適應壓縮管線經組態以執行可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者；經由該通信介面將該等經壓縮圖框傳輸至一儲集器裝置；及與在該儲集器裝置處顯示之該等經壓縮圖框中之一對應所顯現影像在時間上同步地顯示該等圖形域圖框的一所顯現影像。
  2. 如請求項1之源裝置，其中針對圖框丟棄，該至少一個處理器及記憶體經進一步組態以結合一預定條件而使該複數個圖形域圖框中之一第一圖框被丟棄，該預定條件包含以下各者中之至少一者：該第一圖框接著引導該複數個圖形域圖框之一預定數目個第二圖框；該第一圖框不包含任何紋理；該第一圖框及該第一圖框之一先前圖框包含一相同命令符 記；並不丟棄該第一圖框之一預定數目個先前圖框的至少一個圖框；或該源裝置與該儲集器裝置之間的一通信潛時大於一臨限持續時間。
  3. 如請求項1之源裝置，其中針對可縮放式紋理串流傳輸，該至少一個處理器及記憶體經進一步組態以：將該複數個圖形域圖框之一第一圖框劃分成複數個級，其中該第一圖框包含紋理；及依序將包含該複數個級之該等經壓縮圖框傳輸至該儲集器裝置，其中該第一圖框經組態以藉由對該等級之連續內插而顯現於該儲集器裝置處。
  4. 如請求項1之源裝置，其中針對基於圖框之預測，該至少一個處理器及記憶體經進一步組態以：若該複數個圖形域圖框中之兩個連續圖框長度相等，則：判定該兩個連續圖框的相同位置具有不同資料之一或多個相同位置；對對應於該不同資料之該等位置進行編碼；及將包含該等經編碼位置及該不同資料之該等經壓縮圖框傳輸至該儲集器裝置。
  5. 如請求項1之源裝置，其中若該複數個圖形域圖框中之一第一圖框包含紋理，則該至少一個處理器及記憶體經進一步組態以：將一紅綠及藍(RGB)影像與該等紋理之一α通道分離；利用有損壓縮對該RGB影像進行壓縮；及基於該α通道之一內容而藉由有損壓縮選擇性地對該α通道進行壓縮。
  6. 如請求項1之源裝置，其中該等圖形命令符記包含OpenGL(開放圖形程式庫)命令符記。
  7. 如請求項1之源裝置，其中該複數個圖形域圖框不包含所顯現圖形。
  8. 一種儲集器裝置，其包含：一通信介面；一記憶體，其包含可執行程式碼；及至少一個處理器，其以通信方式耦接至該通信介面及該記憶體，其中該至少一個處理器及該記憶體經組態以：經由該通信介面自一源裝置接收複數個圖形域圖框，其中該等圖形域圖框中之每一者包含一或多個圖形命令符記，且該複數個圖形域圖框由包含可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者的一自適應壓縮管線來壓縮；及基於該複數個圖框中之每一者的一時戳而選擇性地顯示該複數個圖形域圖框中之至少一些。
  9. 如請求項8之儲集器裝置，其中該至少一個處理器及該記憶體經進一步組態以於該複數個圖形域圖框之一第一圖框在該第一圖框之時戳之後被接收到情況下避免顯示該第一圖框。
  10. 如請求項9之儲集器裝置，其中該至少一個處理器及該記憶體經進一步組態以顯現該第一圖框。
  11. 如請求項8之儲集器裝置，其中該至少一個處理器及該記憶體經進一步組態以於該複數個圖形域圖框中之一圖框在該圖框之一時戳之後到達該儲集器裝置情況下避免顯示該圖框。
  12. 如請求項8之儲集器裝置，其中該一或多個圖形命令符記包含 OpenGL(開放圖形程式庫)命令符記。
  13. 如請求項8之儲集器裝置，其中該複數個圖形域圖框不包含所顯現圖形。
  14. 一種可於一源裝置處操作之銀幕鏡像的方法，該方法包含：擷取銀幕內容之複數個圖形域圖框，該等圖框中之每一者包含一或多個圖形命令符記；基於該等圖框之一或多個特性而利用一自適應壓縮管線以壓縮該複數個圖形域圖框，其中該自適應壓縮管線經組態以執行可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者；經由該源裝置之一通信介面將該等經壓縮圖框傳輸至一儲集器裝置；及與在該儲集器裝置處顯示之該等經壓縮圖框的一對應所顯現影像在時間上同步地顯示該等圖框的一所顯現影像。
  15. 如請求項14之方法，其中針對圖框丟棄，利用該自適應壓縮管線包含結合一預定條件而使該複數個圖形域圖框之一第一圖框丟棄，該預定條件包含以下各者中之至少一者：該第一圖框接著引導該複數個圖框之一預定數目個第二圖框；該第一圖框不包含任何紋理；該第一圖框及該第一圖框之一先前圖框包含一相同命令符記；並不丟棄該第一圖框之一預定數目個先前圖框中之至少一個圖框；或該源裝置與該儲集器裝置之間的一通信潛時大於一臨限持續時間。
  16. 如請求項14之方法，其中針對可縮放式紋理串流傳輸，利用該自適應壓縮管線包含：將該複數個圖形域圖框中之一第一圖框劃分成複數個級，其中該第一圖框包含紋理；及依序將包含該複數個級之該等經壓縮圖框傳輸至該儲集器裝置，其中該第一圖框藉由對該等級之連續內插而顯現於該儲集器裝置處。
  17. 如請求項14之方法，其中針對基於圖框之預測，利用該自適應壓縮管線包含：若該複數個圖形域圖框中之兩個連續圖框長度相等，則：判定該兩個連續圖框的相同位置具有不同資料之一或多個相同位置；對對應於該不同資料之該等位置進行編碼；及將其包含該等經編碼位置及該不同資料的該等經壓縮圖框傳輸至該儲集器裝置。
  18. 如請求項14之方法，其中利用該自適應壓縮管線包含：若該複數個圖形域圖框中之一第一圖框包含紋理，則：將一紅綠及藍(RGB)影像與該等紋理之一α通道分離；利用有損壓縮對該RGB影像進行壓縮；及基於該α通道之一內容而藉由有損壓縮選擇性地對該α通道進行壓縮。
  19. 如請求項14之方法，其中該等圖形命令符記包含OpenGL(開放圖形程式庫)命令符記。
  20. 如請求項14之方法，其中該複數個圖形域圖框不包含所顯現圖形。
  21. 一種於一儲集器裝置處可操作之銀幕鏡像的方法，該方法包 含：經由該儲集器裝置之一通信介面自一源裝置接收複數個圖形域圖框，其中該等圖形域圖框中之每一者包含一或多個圖形命令符記，且該複數個圖形域圖框在該源裝置處由包含可縮放式紋理串流傳輸、基於圖框之預測、圖框丟棄或資料壓縮中之至少一者的一自適應壓縮管線來壓縮；及基於該複數個圖形域圖框中之每一者的一時戳而選擇性地顯示該複數個圖形域圖框中之至少一些。
  22. 如請求項21之方法，其進一步包含於該複數個圖形域圖框之一第一圖框在該第一圖框之該時戳之後被接收到情況下避免顯示該第一圖框。
  23. 如請求項22之方法，其進一步包含顯現該第一圖框。
  24. 如請求項21之方法，其進一步包含於該複數個圖形域圖框之一圖框在該圖框之一時戳之後到達該儲集器裝置情況下避免顯示該圖框。
  25. 如請求項21之方法，其中該一或多個圖形命令符記包含OpenGL(開放圖形程式庫)命令符記。
  26. 如請求項21之方法，其中該複數個圖形域圖框不包含所顯現圖形。
TW105114952A 2015-05-28 2016-05-13 低延遲銀幕鏡像 TW201710883A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562167765P 2015-05-28 2015-05-28
US14/958,336 US10255021B2 (en) 2015-05-28 2015-12-03 Low latency screen mirroring

Publications (1)

Publication Number Publication Date
TW201710883A true TW201710883A (zh) 2017-03-16

Family

ID=56072479

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105114952A TW201710883A (zh) 2015-05-28 2016-05-13 低延遲銀幕鏡像

Country Status (10)

Country Link
US (1) US10255021B2 (zh)
EP (1) EP3304277B1 (zh)
JP (1) JP6595006B2 (zh)
KR (1) KR102043962B1 (zh)
CN (1) CN107660280B (zh)
BR (1) BR112017025374A2 (zh)
CA (1) CA2983447A1 (zh)
ES (1) ES2869979T3 (zh)
TW (1) TW201710883A (zh)
WO (1) WO2016191136A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI778604B (zh) * 2021-04-29 2022-09-21 大陸商北京集創北方科技股份有限公司 幀顯示信號同步方法、顯示裝置及資訊處理裝置
TWI783729B (zh) * 2021-10-14 2022-11-11 財團法人資訊工業策進會 分散式資料傳輸容錯系統及其動態資源調整方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10599764B2 (en) 2015-11-02 2020-03-24 Microsoft Technology Licensing, Llc Operations on images associated with cells in spreadsheets
US9990349B2 (en) * 2015-11-02 2018-06-05 Microsoft Technology Licensing, Llc Streaming data associated with cells in spreadsheets
US10510317B2 (en) 2016-06-03 2019-12-17 Apple Inc. Controlling display performance with target presentation times
US10726604B2 (en) * 2016-06-03 2020-07-28 Apple Inc. Controlling display performance using display statistics and feedback
CA2942257C (en) * 2016-09-19 2022-09-06 Pleora Technologies Inc. Methods and systems for balancing compression ratio with processing latency
US10895954B2 (en) * 2017-06-02 2021-01-19 Apple Inc. Providing a graphical canvas for handwritten input
US10719286B2 (en) * 2018-03-29 2020-07-21 Microsoft Technology Licensing, Llc Mechanism to present in an atomic manner a single buffer that covers multiple displays
US11957975B2 (en) * 2018-05-24 2024-04-16 Microsoft Technology Licensing, Llc Dead reckoning and latency improvement in 3D game streaming scenario
CN108810554B (zh) * 2018-06-15 2021-06-22 腾讯科技（深圳）有限公司 虚拟场景的场景图像传输方法、计算机设备及存储介质
CN116016955A (zh) * 2018-06-28 2023-04-25 苹果公司 基于优先级的视频编码和传输
KR20210035976A (ko) * 2019-09-25 2021-04-02 삼성전자주식회사 끊김 없이 이미지를 표시하는 전자 장치 및 그의 동작 방법
US11308648B2 (en) * 2020-09-23 2022-04-19 Advanced Micro Devices, Inc. Compressing texture data on a per-channel basis
CN113556595B (zh) * 2021-06-16 2023-06-06 珠海全志科技股份有限公司 基于Miracast的回放方法及装置
KR20230046801A (ko) * 2021-09-30 2023-04-06 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US11706497B1 (en) * 2022-02-11 2023-07-18 Microsoft Technology Licensing, Llc Ultra-low latency video streaming
US11736552B1 (en) 2022-09-21 2023-08-22 Microsoft Technology Licensing, Llc Sender based adaptive bit rate control

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3339284B2 (ja) 1996-01-29 2002-10-28 三菱電機株式会社 大画面表示方式
JPH11340938A (ja) * 1998-05-28 1999-12-10 Sony Corp データ多重化装置及び方法
US8386628B1 (en) * 2005-05-23 2013-02-26 Glance Networks, Inc. Method and apparatus for reducing the amount of information that must be transmitted to slower viewers over a remote viewing session
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
US8890874B2 (en) * 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
AU2009206251B2 (en) * 2008-01-27 2014-03-27 Citrix Systems, Inc. Methods and systems for remoting three dimensional graphics
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
US8171154B2 (en) 2009-09-29 2012-05-01 Net Power And Light, Inc. Method and system for low-latency transfer protocol
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
KR101918040B1 (ko) 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
US9307225B2 (en) * 2012-10-25 2016-04-05 Citrix Systems, Inc. Adaptive stereoscopic 3D streaming
US9257148B2 (en) * 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US20140333640A1 (en) * 2013-05-13 2014-11-13 Qnx Software Systems Limited System and method for forwarding a graphics command stream
EP2804094A1 (en) 2013-05-13 2014-11-19 2236008 Ontario Inc. A system and method for forwarding a graphics command stream
KR102133531B1 (ko) 2013-08-23 2020-07-13 삼성전자주식회사 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
KR102071579B1 (ko) 2013-09-02 2020-01-30 삼성전자주식회사 화면 미러링을 이용한 서비스 제공 방법 및 그 장치
US9412332B2 (en) 2013-12-20 2016-08-09 Blackberry Limited Method for wirelessly transmitting content from a source device to a sink device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI778604B (zh) * 2021-04-29 2022-09-21 大陸商北京集創北方科技股份有限公司 幀顯示信號同步方法、顯示裝置及資訊處理裝置
TWI783729B (zh) * 2021-10-14 2022-11-11 財團法人資訊工業策進會 分散式資料傳輸容錯系統及其動態資源調整方法

Also Published As

Publication number Publication date
BR112017025374A2 (pt) 2018-08-07
KR102043962B1 (ko) 2019-11-12
US20160350056A1 (en) 2016-12-01
JP6595006B2 (ja) 2019-10-23
KR20180013921A (ko) 2018-02-07
WO2016191136A1 (en) 2016-12-01
JP2018523356A (ja) 2018-08-16
EP3304277A1 (en) 2018-04-11
US10255021B2 (en) 2019-04-09
CA2983447A1 (en) 2016-12-01
CN107660280B (zh) 2020-10-23
EP3304277B1 (en) 2021-03-17
ES2869979T3 (es) 2021-10-26
CN107660280A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
TW201710883A (zh) 低延遲銀幕鏡像
JP2018523356A5 (zh)
US10951914B2 (en) Reliable large group of pictures (GOP) file streaming to wireless displays
CN112437345B (zh) 视频倍速播放方法、装置、电子设备及存储介质
CN107426606B (zh) 录制屏幕的方法、装置、电子设备和系统
US20170026439A1 (en) Devices and methods for facilitating video and graphics streams in remote display applications
US9558718B2 (en) Streaming video data in the graphics domain
US9432556B2 (en) Devices and methods for facilitating frame dropping in remote display applications
KR20210067699A (ko) 전자 장치 및 그 제어 방법
CN113709510A (zh) 高速率数据实时传输方法及装置、设备、存储介质
US10375140B2 (en) Wireless receiving apparatus, data processing module, and data processing method, for receiving video image
CN104219537B (zh) 视频数据处理的方法、装置及系统
CN107077747B (zh) 远程显示的图形命令压缩
CN102595162A (zh) 图像处理设备、图像处理方法和程序
US10595047B2 (en) Wireless display subsystem and system-on-chip
US20170025089A1 (en) Devices and methods for facilitating transmission of video streams in remote display applications
US20170269894A1 (en) Fast keyboard for screen mirroring
KR20220144241A (ko) 서버 및 그 제어 방법
TW201513675A (zh) 多路視訊顯示控制方法及系統
CN118214872A (zh) 一种超高清无损图像编解码方法和系统
CN118160317A (zh) 用于处理和显示图形和视频的方法和设备
CN114760525A (zh) 视频生成及播放方法、装置、设备、介质
CN112165633A (zh) 一种显示信号远传的方法、设备及多屏笔记本电脑