TWI523527B - 視頻框架同步 - Google Patents

視頻框架同步 Download PDF

Info

Publication number
TWI523527B
TWI523527B TW100105683A TW100105683A TWI523527B TW I523527 B TWI523527 B TW I523527B TW 100105683 A TW100105683 A TW 100105683A TW 100105683 A TW100105683 A TW 100105683A TW I523527 B TWI523527 B TW I523527B
Authority
TW
Taiwan
Prior art keywords
video
video frame
frame
source
frames
Prior art date
Application number
TW100105683A
Other languages
English (en)
Other versions
TW201146009A (en
Inventor
威廉康瑞德 亞特曼
Original Assignee
萊迪思半導體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 萊迪思半導體公司 filed Critical 萊迪思半導體公司
Publication of TW201146009A publication Critical patent/TW201146009A/zh
Application granted granted Critical
Publication of TWI523527B publication Critical patent/TWI523527B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/44—Colour synchronisation
    • H04N9/475—Colour synchronisation for mutually locking different synchronisation sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

視頻框架同步
本發明的多個實施例總體上涉及資料通信領域，並且更具體地涉及視頻框架同步。
在某些系統中，資料流可以在資料來源裝置和接收裝置之間的資料連結上傳輸，該等裝置可以包括使用或重新傳輸流資料的匯點或中繼器裝置。在某些實現方案中，一匯點或中繼裝置可以包括多個埠、並且可以在兩個或更多的這類埠上接收資料流。例如，一個視頻系統可以在多個不同的埠上接收多個資料流。
然而，由於在裝置、距離以及傳輸協定方面的差異，當視頻框架到達匯點或中繼裝置時，該等視頻流也許不是正確地彼此對準或同步。在使用該等視頻流時，這種時間上的不對準可能帶來困難或誤差，並且這種不對準會隨著時間變化。多個源裝置的彼此同步可能通常要求在該等源裝置之間進行通信、並且可能因為該等源裝置而要求大量的計算開銷。
本發明的多個實施例總體上是針對視頻框架同步。
在本發明的一第一方面，一種方法的實施例包括：在一多埠裝置的第一埠上從一第一源接收一個第一資料流，該第一資料流的一個第一框架在第一到達時間到達該第一埠；並且在該多埠裝置的第二埠上從一第二源接收一第二資料流，該第二資料流的一第二框架在第二到達時間到達第二埠。該方法進一步包括：確定在該第一到達時間與該第二到達時間之間的一偏移；至少部分地基於該偏移確定一或多個校正因數，該一或多個校正因數包括用於第一源的一第一校正因數；並且向該第一源發送一第一命令以便利用該校正因數修改在第一框架之後由第一源發送的一第三框架的傳輸時間。
在本發明的一第二方面，一個方法實施例包括產生多個視頻框架的一個資料流用於傳輸到一多埠裝置的一埠上，並且將該等視頻框架傳輸到該多埠裝置上，包括利用一輸出定時發生器對該等視頻框架的傳輸進行定時。該方法進一步包括：接收來自該多埠裝置的一或多個對準命令，每個對準命令包含用於下一個後續視頻框架傳輸的一校正因數，以便調整與在該多埠裝置的一或多個其他埠處到達的多個視頻框架的對準；並且基於包含在每個命令中的校正因數來調整對於該下一個後續視頻框架的傳輸時間。
本發明的多個實施例總體上是針對視頻框架同步。
在一些實施例中，一種方法、設備或系統提供了視頻框架同步，從而允許在多個埠上調整資料對準。在一些實施例中，一種方法、設備或系統可以利用閉環數位定時命令來提供遍及一設備或系統的多個埠的多個視頻框架的同步。如在此所用的，同步意味著對於資料到達時間的調整，並且可以包括進行調整以便使視頻框架的到達對準到一個共同的時刻，或者為視頻框架的到達提供所希望的偏移。
一種在多個埠之間提供框架定時的閉環控制的方法、設備或系統可以允許一裝置，如DTV(數位電視機)，改進埠切換時間，並改進其他特性，如畫中畫顯示。在一些實施例中，方法、設備或系統對於在接收裝置的控制下的數位連接提供了視頻流同步，例如在具有多個埠的一台DTV控制下的A/V(音頻/視頻)資料流的同步。在一些實施例中，一接收裝置可以是利用已接收資料的裝置，在此稱之為“匯點”，或者可以是一中間裝置或交換機，在此稱之為“中繼器”。
可以由一個裝置接收處於視頻框架流形式的視頻資料。視頻資料流可以是(例如)通過將壓縮視頻解碼來產生，其中壓縮資料包括多種標準，諸如MPEG-2(動態圖像專家組)、MPEG-4、或視頻編碼專家組(VCEG)的H.264。在一實現方式中，在源系統中的一解碼器讀取壓縮視頻資訊的多個連續塊、並產生像素資訊的實際框架以及HSYNC(水平同步)和VSYNC(垂直同步)定時，以便向下一中繼器或匯點裝置輸出解壓縮的視頻。
然而，在一解碼器中，解碼邏輯可能運行在一組時鐘上，而一框架輸出單元(框架輸出狀態機)可能運行在另外一組時鐘上。在這種解碼器中，框架輸出狀態機可能從最後一個框架緩衝器中逐框架讀取有待傳輸的視頻框架資料(在此稱之為像素資料)，這最後一個框架緩衝器可以是解碼器的記憶體架構的一部分。在一些實施例中，因為框架輸出狀態機並未鎖定到該解碼器狀態機的時間上，所以當從這最後一個框架緩衝器中讀取一框架時，有可能對該框架的起始時間進行調整。在一些實施例中，利用這種靈活性，框架輸出狀態機可以產生一解壓縮的視頻流，該視頻流在相對於任何絕對時刻的任意較早或較遲的時刻具有其VSYNC邊緣。
如在此所使用的，一“源”係一種提供資料流的裝置，而一“匯點”裝置係一使用視頻資料流的裝置，並且一中繼器裝置係將一視頻資料流轉發(或中繼)到另一個裝置上的一種裝置。在一實例中，如果一絕對時間(這裡稱之為TZERO)係一視頻框架在匯點或中繼器裝置(如用於視頻資料的DTV(數位電視)或用於視頻資料的其他類似元件)上的多個輸入埠之一處最晚的到達時間，那麼在所有其他輸入埠上的該等視頻框架的到達時間將早於TZERO。通過將每個埠的到達時間延遲一特定的量，它有可能使該等埠的視頻流的到達時間彼此同步，這樣所有的流都在接近TZERO的時刻到達，或者所有的流彼此都以特定的偏移量到達。
然而，(例如)基於VSYNC的前沿，框架時間並非是恒定的，即使是對於一個視頻解析度上的連續視頻流而言。例如，若總的框架週期係一秒鐘的六十分之一(1/60)，這對應於60 Hz的垂直刷新頻率，那麼在理想狀況下，相對於第一框架的到達時間，第N幅框架將正好在N/60秒時到達。然而，視頻通道中的變化會導致這種定時中的變化，因此導致視頻框架到達時間的變化。
在一些實施例中，埠框架定時的調整係連續地提供的，而不是一次性校正。在一些實施例中，為了進行連續校正，從多個視頻源到一匯點(或中繼器)的多個輸入埠上的一介面提供了定時校正的閉環命令通信。在運行時，來自每個源裝置的多個視頻框架到達一個匯點或中繼器的多個輸入埠之一。在一些實施例中，匯點或中繼器的邏輯測量每幅框架相對于一個恒定時鐘信號的到達時間。在一些實施例中，匯點或中繼器確定多個校正因數，並且將一個命令或其他類似的資料發回到每個源以通知這個源應該對它的視頻框架傳輸時間進行多大的調整，以便在多埠的每一個上提供對於多個視頻框架到達時間的所希望的對準。由此，一種方法、設備或系統的實施例提供多個視頻資料流(如多個並行未壓縮視頻流)的閉環定時校正。
與接收視頻資料流的埠相關聯的連接時鐘(也稱之為用於視頻流資料的像素時鐘)可以與其他埠的視頻流的連接時鐘是非同步的。在一些實施例中，在匯點或中繼器上該等視頻框架的到達時間可以利用該等輸入的像素時鐘之一來測量、或利用與該等輸入像素時鐘之一同頻率的匯點或中繼器中產生的一個時鐘來測量。使用像素時鐘的頻率允許源裝置以整數個像素時鐘週期來提前或延遲它的輸出頻率框架，可以使用該等時鐘週期來提供適當的調整靈敏度。在一些實施例中，非同步埠定時之中的任何殘餘的誤匹配都可以利用匯點或中繼器的多埠記憶體、FIFO(先入先出)緩衝器、或其他記憶元件來校正。
在一些實施例中，多個埠的視頻流的到達時間的校正(以此使得所有視頻流以幾乎重合的VSYNC前沿到達)允許匯點或中繼器對該等埠中任意一個的視頻內容進行採樣，並從一埠切換到另一埠而不必考慮相對的框架定時。因此，所有埠的視頻框架都鬆散地鎖定在一起。
在一些實施例中，額外的定時調整可以用於有目的地將一埠的框架定時從另一埠的框架定時上偏移開。在一實例中，一中繼器可以包括四個輸入埠(埠#1-4)，並且來自埠#1的視頻將在輸出框架的右上四分之一處輸出；來自埠#2的視頻在左上輸出；來自埠#3的視頻在左下輸出；來自埠#4的視頻在右下輸出。在一些實施例中，埠#2、#3、#4與埠#1(在本實例中，該埠可以是最早的流)之間的偏置提供了使得一個開關可以對每個埠的動態視頻進行採樣，並構建一個單一的輸出框架，該框架由每個輸入框架的內容的左上四分之一組成。然而，實施例並不限於其中的輸出包括該等多輸出元素的方法、設備或系統。其他實施例可以包括具有靈活的輸入定時調整的附加方案。在一些實施例中，用於將定時校正資訊返回到每個源的閉環機制可能隨數位互聯標準不同而不同。在一個實例中，對於HDMITM(高清晰多媒體介面)資料的傳輸，CEC(消費電子控制)匯流排命令可以用於將延遲調整值從中繼器或匯點傳送到源上。在一第二實例中，對於MHLTM(移動高清晰連接)資料，CBUS命令可以用於將延遲調整值從中繼器或匯點傳送到源上。使用變化的互聯標準可能要求對每個資料流進行不同的定時。
在一些實施例中，所採用的每個通信通道具有較低的等待時間(例如遠小於一個框架週期)以及足夠的頻寬，以允許為運行在例如60Hz速率上的介面每框架至少傳輸一次命令。然而，該等實施例不限於此類通信通道。在一些實施例中，可以假設更快的框架速率不會在框架和框架之間顯著變化，並且可以每N框架攜帶一命令，其中足夠頻繁地發送該等命令以保持對框架的前沿VSYNC的漂移的控制。在一些實施例中，匯點或中繼器的記憶體結構可能影響命令的頻率。匯點或中繼器中的記憶元件(例如多埠記憶體或FIFO緩衝器)的深度影響了要求系統具有的對框架間定時漂移的控制程度，其中與較淺的記憶體相比較深的記憶體可以允許更遠的框架漂移。
在一些實施例中，源側上的儲存控制器能夠快速地對發送給它的命令作出反應，以使得校正輸出框架定時過程中的等待時間最小化。在一些實施例中，儲存控制器係可程式設計的以便採用小的增量(例如單像素時鐘計數)移動“框架起始”定時(至框架緩衝器)。
在一些實施例中，當多個輸入的視頻流均為相同的視訊模式時，諸如720p/60(HDTV(高清電視)模式，在60Hz的刷新率上有720條水平順序(逐行的)掃描線)或者1080p/60模式，將一種方法、設備或系統應用於匯點或中繼器上的多個埠。在一些實施例中，用於接收視頻流的每個埠都可以具有共同的頻率像素(或鏈路)時鐘，即使相位、漂移、以及抖動可能是隨埠而不同的。具有相同頻率的獨立的匯點側時鐘的記憶元件(例如多埠記憶體或FIFO緩衝器)可以用於進一步地將該等像素流重新同步。
在一些實施例中，當多個輸入流係處於不同視訊模式時，一種方法、設備或系統可以被應用到匯點或中繼器的具有不同像素時鐘頻率的多個埠上，其中可以利用像素重複(多於一次地從為較低解析度視訊模式而寫入的FIFO緩衝器中讀取相同像素)或利用資料縮放來實現進一步的重新同步。
在一些實施例中，攜帶定時校正因數的回饋命令可以包含標識資料流的一流名稱、一埠索引(從匯點或中繼器的角度來看)、有待調整的絕對時間(例如，在像素時鐘週期單元內)、以及有可能包含的與保持這種調整相關的其他字段(如調整週期)。在一些實施例中，該等參數的每一個都可以由匯點側邏輯來確定，因此施加在源系統上的負擔較小。在一些實施例中，每個源系統讀取輸入的回饋命令、並且調整輸出定時發生器以產生新的框架定時。
當源系統改變其視頻流(如在使用者請求下通過改變通道或改變視訊模式)時，輸出視頻流通常會有一新的框架定時、並且有可能有一新的像素頻率。在一些實施例中，匯點或中繼器識別出這種變化並對其響應、並且將一回饋命令發送到相應的源以便重新調整框架同步。對於某些數位介面，可以主動地傳送新的視訊模式或變更到新的通道的通知，從而允許匯點或中繼器本身為必要的測量和校正決定做好準備。在一些實施例中，因為匯點或中繼器負責監測埠到埠的框架定時以便對漂移進行評估，該匯點同樣可以使用相同的機制以對通道變化或視訊模式變化作出回應。
可以對多個視頻資料流，例如HDMI流、DVI(數位虛擬介面)流、以及MHL資料流進行加密。在一些實施例中，包含在資料流中的視頻框架可以採用加密的方式進行測量和同步，而無需獲取任何流的視頻內容。在一些實施例中，視頻框架的加密不影響到達時間的測量和到達一個多埠設備或系統的不同埠的多個框架之間偏移的校正。
在一些實施例中，可以選擇匯點的輸入埠中任意一個作為“主”埠，這個主埠係匯點的所有其他埠將它們的框架定時與其同步的埠。在一些實施例中，因為框架定時以“垂直刷新率”重複，相對於其他埠可能看起來是最晚到達的一埠與下一框架相比反而可以被認為是最早到達的。以此方式，每個埠的定時可以相對於這個主埠的定時來進行測量和調整。
一種方法、設備或系統的實施例提供了數位校正、並且與傳統的類比系統(例如框架鎖定與同步鎖相(Genlock，Generator Lock))的區別在於一個實施例可以包括：
(a)　利用一源裝置的連接時鐘進行框架定時偏移的時鐘數位測量；(b)利用一命令匯流排將該等校正因數傳送回每個源；(c)有目的地對定時進行偏置的能力，這樣使得該等框架的不同的部分在匯點或中繼器上重疊；以及(d)利用一個單一的數位測量和通信回饋環路調節具有不同信號形式(視頻解析度或框架率)的輸入。
圖1係利用閉環命令的多埠視頻框架同步的一個實施例的圖示。在這個圖示中，不同的源在此示為源#1 110、源#2 120、源#3 130、以及源#4 140。儘管圖1為每個視頻資料流展示了一單獨的源，在一些實施例中，一源可能向多個埠提供多個視頻資料流。如圖1所示，一中繼器或匯點裝置150包括四個埠，儘管一源或中繼器可以包括任意數量的多個埠。圖1展示了源#1 110向埠#1 160提供了一視頻框架流，源#2 120向埠#2 170提供了一視頻框架流，源#3 130向埠#3 180提供了一視頻框架流，源#4 140向埠#4 190提供了一視頻框架流。
在圖1提供的實例中，由多個源各自發送的第一視頻框架在不同的時刻到達，來自源#1 110的框架1A 112在T1到達，來自源#3 130的框架3A 132在T2到達，來自源#2 120的框架2A 122和來自源#4 140的框架4A 142在T3到達。該等視頻框架可以是加密的或未加密的形式。在一些實施例中，中繼器或匯點裝置150以及該等源利用多個閉環命令對視頻框架的到達進行同步，以提供該等框架所 希望的對準。在一些實施例中，中繼器或匯點裝置150向該等源中的一或多個發送一回饋的對準命令來修改來自此類源的視頻框架的傳輸時間以此改變對準。在這個圖示中，命令1165被傳送到源#1 110，命令2 175被傳送到源#2 120，命令3 185被傳送到源#4 130，命令4 195被傳送到源#4 140。在一些實施例中，該等源根據該等接收的命令修改後續(第二)視頻框架的傳輸。在一些實施例中，中繼器或匯點隨後測量該等第二視頻框架的到達時間並將一或多個新的對準命令傳送到該等源上，從而繼續這個閉合回饋環路。該等對準命令的結果可以是造成下一組框架的更接近對準的同步校正，該組框架(示為框架1B 114、框架2B 124、框架3B 134、框架4B 144)以更接近一個統一時刻的方式到達，該統一時刻在這裡示出為時刻T4。儘管在圖1所示的示例中對於多個視頻框架的同步和對準提供了在同一時刻或接近同一時刻到達的多個框架，本發明的實施例並不限於這種對準。對於不同的實現方式，可能希望有不同的對準，包括(例如)對於圖4所說明的對準。儘管圖1展示了中繼器或匯點裝置150向每個源發送對準，但在一些實施例中該等對準命令可以只發送給要求同步變化的源。
圖2的流程圖展示了用於視頻框架同步過程的一實施例。在一些實施例中，在202，在一或多個源上產生多個視頻資料流，在204，其中每個資料流的視頻框架在多埠匯點或中繼器裝置的一埠上接收。在206，在每個埠上每 框架的到達時間由該多埠匯點或中繼器裝置檢測。在208，該匯點或中繼器裝置確定在該等框架到達時間與一參考時間(例如絕對時間值)之間的差。該匯點或中繼器裝置確定用於每個源的一校正因數以修改每個埠上的視頻框架的對準。在一些實施例中，在210，這個校正因數可以是整數個資料週期，以簡化由該等源進行的傳輸點的調整。
在一些實施例中，在212，該匯點或中繼器裝置關於該等校正因數向一或多個源裝置傳送命令用於在每個源裝置上傳輸視頻框架。在214，如果對於對準資料需要額外的校正，在216可以利用該匯點或中繼器裝置的多埠記憶元件提供定時校正。然後閉合回饋環路返回到206檢測多埠匯點或中繼器裝置的每個埠上視頻框架的到達時間。
圖3的流程圖展示了用於修改視頻框架傳輸時間以使此類框架的到達同步的一過程的實施例。在一些實施例中，在302，在一源裝置上產生一視頻資料框架流。在一些實施例中，資料框架的產生可以包括使用解碼器將編碼的資料解碼，例如對壓縮視頻資料進行解碼的裝置。在其他實施例中，一源可以產生多個視頻框架而不解碼，例如通過一遊戲控制器或者類似的裝置或系統產生視頻框架。在304，所產生的視頻框架可以儲存在記憶體中用於傳輸，例如將該等視頻框架儲存在一個下一框架的緩衝器中。在一些實施例中，在306一用於傳輸的下一框架係從這個下一框架緩衝器中獲取的，其中該等視頻框架係旨在用於傳輸到一個多埠設備或系統的一埠上，該設備或系統 係一匯點或中繼器元件。如果在308沒有接收到對準命令，那麼該過程就繼續在312建立用於傳輸下一個視頻框架的時間並在314在確定的傳輸時間上傳輸這個框架。然後，在306該過程可以繼續一個下一個視頻框架。然而，如果在308接收到對準命令，在310從該對準命令中獲取一校正因數，該校正因數用於在312建立視頻框架的傳輸時間，由此允許在該多埠設備上同步多個資料框架的到達而不要求這個源裝置與其他源裝置進行資料傳輸的協調。
圖4係用於產生一顯示圖像的一同步實施例的圖示，該顯示圖像係從多個埠產生的。在這個圖示中，一中繼器裝置400可以在多個埠上接收多個視頻框架流，如來自源#1 450到達資料埠#1 410的視頻框架、來自源#2 452到達資料埠#2 412的視頻框架、來自源#3 454到達資料埠#3 414的視頻框架、來自源#4 456到達資料埠#4 416的視頻框架。在這個圖示中，該等視頻框架被提供到一顯示器430上，其中來自每個埠的資料流被用於產生顯示器430之內容的一部分。在這個圖示中，資料埠#1 410提供了用於右上部分Q1 440的視頻資料，資料埠#2 412提供了用於左上部分Q2 442的視頻資料，資料埠#3 414提供了用於左下部分Q3 444的視頻資料，資料埠#4 416提供了用於右下部分Q4 446的視頻資料。在一些實施例中，中繼器裝置400向一或多個源提供了多個閉環對準命令460-466。在一些實施例中，該等對準命令可以被用於有目的地將每個埠的框架定時偏置，以允許順序地對該等框架中的每一個進 行採樣從而產生輸出。
圖5係一種匯點或中繼器裝置的實施例的圖示。在這個圖示中，匯點或中繼裝置500包括多個資料埠，這裡展示為資料埠#1 510到資料埠#n 515，其中n係大於等於2的任意整數。每個資料埠可以包括一個時鐘，該時鐘被稱為用於視頻資料的像素時鐘，例如用於資料埠#1 510的像素時鐘#1 520以及用於資料埠#n 515的像素時鐘#n 525。在一些實施例中，每個埠要接收來自一源的一資料流，其中匯點/中繼裝置500確定視頻框架的到達時間之間的差值並傳送閉環命令以調整和保持輸入的視頻框架之間的對準。這在圖5中被展示為源#1 550向資料埠#1 510提供一資料流並接收一對準命令555，源#n 560向資料埠#n 515提供一資料流並接收一對準命令565。
在一些實施例中，匯點/中繼裝置500可以進一步包括：用於接收資料的一或多個接收器530、確定多個到達的視頻框架之間的定時差並確定對於一或多個源所必需的校正的回饋邏輯534、可用於確定該等視頻框架到達時間之間的差值的一時鐘536、以及一記憶元件，如可用於提供進一步的資料對準修改的多埠記憶體或FIFO緩衝器532(該記憶元件可以從與時鐘536具有相同頻率的一獨立時鐘533處接收時鐘信號)。多埠記憶體或FIFO緩衝器532可以包括但不限於儲存一視頻框架的全部或一部分的一緩衝器，如用於儲存視頻資料的一行的一行緩衝器。在一實例中，可以將一行緩衝器實施為允許基於一行視頻資料的 傳輸時間的同步定時(例如，行時間的±1/2)。該裝置可以包括其他元件，包括儲存所需要的特定資料的儲存器502、用以控制匯點/中繼裝置500的運行的控制器或處理器504、以及將資料傳送到其他元件的一或多個發送器506(例如從一或多個埠544傳送到匯點裝置570上)。為了對加密的資料進行定址，匯點/中繼裝置500可以包括一個將收到資料解密的解密引擎546，以及一在傳輸前將資料加密的加密引擎548。如果匯點/中繼裝置500係一個匯點裝置，該匯點/中繼裝置500可以包括一或多個顯示裝置，包括(例如)用於呈現多媒體資料的一視頻顯示器540以及多個揚聲器542。
圖6係一源裝置的實施例的圖示。在這個圖示中，源裝置610可以將來自一或多個資料埠620的多個視頻框架的一視頻資料流提供到一個匯點或中繼器裝置650(例如圖5所示的匯點或中繼裝置500)的一埠上。源裝置610可以包括由解碼器時鐘計時的解碼器624以產生該等視頻框架，該等視頻框架可以緩存在一最後框架緩衝器626中。在其他實施例中，源裝置610可以產生多個視頻框架而無需解碼器。在一些實施例中，源裝置610可以包括一框架輸出狀態機628以準備用於輸出的多個框架，連同一輸出定時發生器634，該發生器利用來自一輸出時鐘632的時鐘信號來為該等視頻框架的傳輸進行定時。在一些實施例中，輸出定時發生器634可以根據從匯點或中繼器650接收的閉環對準命令652來修改用於傳輸該等視頻框架的 定時。在一些實施例中，輸出定時發生器將利用該等對準命令652持續地調整定時，以此調節並保持該等視頻框架與其他資料流的視頻框架的對準。源裝置610可以包括多個其他元件，包括儲存所需要的特定資料的資料儲存器612、用以控制源裝置610運行的控制器或處理器616、以及將資料傳送至其他元件的一或多個發送器614。為了對加密資料進行定址，源裝置610可以包括一將收到的資料解密的解密引擎619以及一在傳輸前將資料加密的加密引擎618。源裝置610可以進一步包括用於從一外部資料來源640接收資料的一或多個接收器630。
圖7係用於視頻框架同步實施例的一個對準命令的圖示。在一些實施例中，一源裝置可以在閉環回饋中發送一系列的對準命令，以此調整和保持到達一匯點或中繼器裝置的多個埠的視頻框架的對準。在一些實施例中，命令705可以包括：一流名稱715，其用於標識該資料流；一埠索引720；其用於標識該匯點或中繼器裝置的接收該資料流的埠；一有待調整(例如以像素時鐘為單位的調整)的視頻框架的絕對傳輸時間；以及其他字段730，其相關於多個與保持視頻框架傳輸調整(如調整週期)。
圖8係用於視頻框架同步的實施例的一介面的圖示。在這個圖示中，一或多個源通過多個介面連接到多埠匯點或中繼器裝置850的一或多個埠上，例如，源#1 810通過介面纜線#1 820與埠#1 860耦接，源#2 812通過介面纜線#2 822與埠#2 862耦接，源#n 816通過介面纜線#n 826與 埠#n 866耦接。中繼器裝置850可以進一步通過一或多個埠與一匯點裝置870耦接。
在這個圖示中，該等源裝置810至816可以利用不同的協議與埠860至866交換資料和命令。在這個實例中，源#1 810通過一個HDMI介面820與埠#1 860連接。在這個圖示中，介面820可以包括通過資料0+線831、資料0-線832、資料1+線833、資料1-線834、資料2+線835以及資料2-線836傳送的多種HDMI差分信號。該介面可以進一步包括差分時鐘線時鐘+837和時鐘-838；消費電子控制(CEC)控制匯流排839；顯示資料通道(DDC)匯流排840；+5V電源841、CEC/DDC接地842；熱插拔檢測843和差分信號所用的四條屏蔽線844。在一些實施例中，匯點或中繼器裝置850可以利用CEC控制匯流排839將閉環回饋命令傳送至源#1 810。
在另一個實例中，源#2 812通過MHL介面822與埠#2 862連接。在這個圖示中，介面822可以包括通過資料+線845以及資料-線846、差分時鐘線時鐘+847和時鐘-848，以及控制匯流排CBUS 849傳送的多種MHL差分信號。
圖9係一種提供視頻框架同步的設備的實施例的元件圖示。在這個圖示中，未示出與本說明書無密切關係的某些標準以及眾所周知的部件。在一些實施例中，裝置900可以是一源裝置、中繼器裝置或匯點裝置。
在一些實施例中，裝置900包括用於資料傳輸的一個 互連器或者交叉開關905或者其他通信裝置。資料可以包括音視頻資料以及相關的控制資料。裝置900可以包括一處理裝置，例如與互連器905耦接用於處理資訊的一或多個處理器910。處理器910可以包括一或多個物理處理器以及一或多個邏輯處理器。另外，該等處理器910各自可以包括多個處理器內核。為簡單起見，將互連器905展示為一個單一互連器，但可以代表多個不同的互連器或匯流排，並且到這類互連器上的部件連接可以改變。圖9所示的互連器905係一抽象表示，它代表由適合的橋路、適配器或控制器連接起來的任何一或多個分離的物理匯流排、點對點連接或兩者並存。互連器905可以包括(例如)系統匯流排、PCI或者PCIe匯流排、HyperTransport或者工業標準架構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、IIC(I2C)匯流排或有時被稱為“火線”的電氣和電子工程協會(IEEE)標準1394匯流排(“高性能串列匯流排標準”1394-1995，IEEE，1996年8月30日發表，及其附件)。裝置900進一步可以包括一串列匯流排，例如USB匯流排970，其上可附接一或者多個USB適配連接。
在一些實施例中，裝置900進一步包括一個隨機存取記憶體(RAM)或其他動態儲存裝置作為主記憶體920，用於儲存有待由處理器910執行的資訊和指令。主記憶體920還可用於儲存資料流資料。RAM記憶體包括要求刷新儲存內容的動態隨機存取記憶體(DRAM)以及不要求刷新內容但成本更高的靜態隨機存取記憶體(SRAM)。 DRAM記憶體可以包括同步動態隨機存取記憶體(SDRAM)(它包括用於控制信號的時鐘信號)以及擴展的資料輸出動態隨機存取記憶體(EDO DRAM)。在一些實施例中，系統的記憶體可以是多個特定的寄存器或者是其他特殊用途的記憶體。裝置900還可以包括一唯讀記憶體(ROM)925或者其他靜態儲存裝置，用於為處理器910儲存靜態資訊和指令。裝置900可以包括用於儲存特定元素的一或者多個非易失性記憶體元件930。
資料儲存器935還可以耦接到裝置900的互連器905上，用於儲存資訊和指令。資料儲存器935可包括磁碟、光碟及其相應的驅動器或其他儲存裝置。該等元件可以組合在一起或者可以是分離的部件，並且使用裝置900中其他元件的某些部分。
裝置900還可以通過互連器905耦接至一個顯示器或者顯示裝置940上。在某些實施例中，該顯示器可以包括用於將資訊或者內容顯示給終端使用者的液晶顯示器(LCD)、電漿顯示器、陰極射線管(CRT)顯示器或任何其他顯示技術。在一些實施例中，顯示裝置940可以用於顯示電視節目。在一些環境中，顯示裝置940可以包括觸屏，該觸屏還用作輸入裝置的至少一部分。在一些環境中，顯示裝置940可以是或者可以包括音頻裝置，如用於提供音頻資訊(包括電視節目的音頻部分)的揚聲器。輸入裝置945可以被耦接至互連器905上，用於將資訊和/或命令的選擇傳遞給處理器910。在不同實施例中，輸入裝置945 可以是鍵盤、小鍵盤、觸屏與觸控筆、語音觸發系統或者其他輸入裝置，或者是該等裝置的組合。可以包括的其他類型的使用者輸入裝置係游標控制裝置950，例如滑鼠、軌跡球或游標方向鍵，它們用於向一或多個處理器910傳送方向資訊和命令選擇，並用於控制顯示裝置940上的游標移動。
一或者多個發送器或接收器955也可以耦接至互連器905上。在一些實施例中，裝置900可以包括用於接收或傳輸資料的一或者多個埠980。可接收或傳輸的資料可以包括視頻資料或音頻-視頻資料，例如HDMI、DVI以及MHL資料，並且可以被加密傳輸，例如HDCP(高頻寬數位內容保護)加密資料。在一些實施例中，裝置包括一或多個用於傳送和/或接收資料的埠980用於傳送和/或接收內容資料流985。另外，裝置900可以包括USB(通用序列匯流排)970。
裝置900可以進一步包括一個或者多個天線958，用於通過無線信號接收資料。裝置900還可以包括一個供電裝置或系統960，它可以包括用於提供或者產生電能的電源、電池、太陽能電池、燃料電池或者其他系統或裝置。由供電裝置或系統960提供的電能可以按照要求分配給裝置900的多個元件。
在以上說明中，為了解釋的目的，陳述了很多具體細節，目的係提供對本發明的透徹理解。然而，顯而易見的是，對本領域的熟練技術人員而言，可以在缺少該等具體 細節中的某些細節的情況下實施本發明。在其他情況中，以框圖的形式展示了眾所周知的結構和裝置。所展示的部件之間可能存在中間結構。在此說明的或展示的該等部件可以具有並未展示或說明的額外的輸入或輸出。所示多個元件或部件還能夠以不同的排列或者順序來安排，包括任意字段的重新排序或者字段長度的改變。
本發明可以包括多個不同的過程。本發明的該等過程可以由硬體部件來執行或者可嵌入多個電腦可讀的指令中，該等指令可以用來使通用或專用的處理器或者邏輯電路利用該等指令程式設計以執行該等過程。可替代地，該等過程可以通過硬體和軟體的組合來實施。
本發明的多個部分可以作為電腦程式產品，它們可以包括一種電腦可讀的介質，其上已經儲存了電腦程式指令，根據本發明，該等指令可以用來對一台電腦(或其他電子裝置)進行程式設計以執行一個過程。電腦可讀媒體包括，但不限於，適於儲存電子指令的軟碟、光碟、CD-ROM(只讀光碟記憶體)以及磁光碟、ROM(唯讀記憶體)、RAM(隨機存取記憶體)、EPROM(可擦除可程式設計唯讀記憶體)、EEPROM(電可擦除可程式設計唯讀記憶體)、磁卡或者光卡、閃速記憶體或者其他類型的介質/電腦可讀媒體。此外，本發明還可以作為電腦程式產品而被下載，其中該程式可以從一台遠端電腦傳送至一台請求電腦上。
該等方法中很多都是以其最基本的形式進行說明的，但從該等方法的任何一個中都可以添加或者刪除多個 過程，並且從所述消息的任何一個中都可以添加或者減除資訊，前提係不背離本發明的基本範圍。對本領域的技術人員顯而易見的是可以做出很多進一步的修改與適配。該等具體的實施例並不用於限制本發明，而是為了解釋本發明。
如果提到一元件“A”耦接到元件“B”或者與之相耦接，那麼元件A可以直接地耦接到元件B或者間接地通過(例如)元件C進行耦接。當本說明書提到一部件、特徵、結構、過程、或者特性A“導致”一部件、特徵、結構、過程、或者特性B時，它係指“A”至少是“B”的部分原因，但是還可以有至少一個其他的部件、特徵、結構、過程、或者特性幫助導致“B”。如果本說明書指出一部件、特徵、結構、過程、或者特性“可以”、“也許”、或者“能夠”被包括，則該具體的部件、特徵、結構、過程、或者特性並不是必須被包括。如果本說明書提到“一個/一種/一”元件，這並不意味著僅有一個所述元件。
一個實施例係本發明的一種實現方式或實例。說明書中參考的“一個實施例”、“一種實施例”、“一實施例”、“某些實施例”或“其他實施例”意味著結合該等實施例所說明的具體特點、結構或特徵包含在至少某些實施例中，但不一定是包含在所有的實施例中。“一個實施例”、“一種實施例”、“一實施例”或“某些實施例”的不同表現形式不一定全部是指同一批實施例。應當理解，在本發明的示例性實施例的以上說明中，本發明的不 同特徵有時在一個單一實施例、圖示、或其說明中彙集，其目的係使本揭露流暢並幫助理解一或多個不同的發明方面。
110‧‧‧源
112‧‧‧框架
114‧‧‧框架
120‧‧‧源
122‧‧‧框架
124‧‧‧框架
130‧‧‧源
132‧‧‧框架
134‧‧‧框架
140‧‧‧源
142‧‧‧框架
144‧‧‧框架
150‧‧‧中繼器或匯點裝置
160‧‧‧埠
170‧‧‧埠
180‧‧‧埠
190‧‧‧埠
400‧‧‧中繼器裝置
410‧‧‧資料埠
412‧‧‧資料埠
414‧‧‧資料埠
416‧‧‧資料埠
430‧‧‧顯示器
440‧‧‧顯示
442‧‧‧顯示
444‧‧‧顯示
446‧‧‧顯示
450‧‧‧源
452‧‧‧源
454‧‧‧源
456‧‧‧源
460‧‧‧命令
462‧‧‧命令
464‧‧‧命令
466‧‧‧命令
500‧‧‧匯點或中繼裝置
502‧‧‧儲存器
504‧‧‧控制器或處理器
506‧‧‧發送器
510‧‧‧資料埠
515‧‧‧資料埠
520‧‧‧像素時鐘
525‧‧‧像素時鐘
530‧‧‧接收器
532‧‧‧多埠記憶體或FIFO緩衝器
533‧‧‧時鐘
534‧‧‧回饋邏輯
536‧‧‧時鐘
540‧‧‧視頻顯示器
542‧‧‧揚聲器
544‧‧‧埠
546‧‧‧解密引擎
548‧‧‧加密引擎
550‧‧‧源
555‧‧‧對準命令
560‧‧‧源
565‧‧‧對準命令
570‧‧‧匯點裝置
610‧‧‧源裝置
612‧‧‧資料儲存器
614‧‧‧發送器
616‧‧‧控制器或處理器
618‧‧‧加密引擎
619‧‧‧解密引擎
620‧‧‧資料埠
622‧‧‧解碼器時鐘
624‧‧‧解碼器
626‧‧‧最後一框架緩衝器
628‧‧‧框架輸出狀態機
630‧‧‧接收器
632‧‧‧輸出時鐘
634‧‧‧輸出定時發生器
640‧‧‧外部資料來源
650‧‧‧匯點或中繼器裝置
652‧‧‧對準命令
705‧‧‧命令
715‧‧‧流名稱
720‧‧‧埠索引
725‧‧‧有待調整的絕對時間
730‧‧‧其他字段
810‧‧‧源
812‧‧‧源
816‧‧‧源
820‧‧‧界面
822‧‧‧界面
826‧‧‧介面纜線
831‧‧‧資料線
832‧‧‧資料線
833‧‧‧資料線
834‧‧‧資料線
835‧‧‧資料線
836‧‧‧資料線
837‧‧‧時鐘線
838‧‧‧時鐘線
839‧‧‧控制匯流排
840‧‧‧顯示資料通道(DDC)匯流排
841‧‧‧電源
842‧‧‧接地
843‧‧‧熱插拔檢測
844‧‧‧屏蔽線
845‧‧‧資料線
846‧‧‧資料線
847‧‧‧時鐘線
848‧‧‧時鐘線
849‧‧‧控制匯流排
850‧‧‧匯點或中繼器裝置
860‧‧‧埠
862‧‧‧埠
866‧‧‧埠
870‧‧‧匯點裝置
900‧‧‧裝置
905‧‧‧互連器
910‧‧‧處理器
920‧‧‧記憶體
925‧‧‧唯讀記憶體
930‧‧‧非易失性記憶體元件
935‧‧‧資料儲存器
940‧‧‧顯示裝置
945‧‧‧輸入裝置
950‧‧‧游標控制裝置
955‧‧‧發送器或接收器
958‧‧‧天線
960‧‧‧供電裝置或系統
970‧‧‧匯流排
980‧‧‧埠
在附圖的該等圖例中通過舉例而並非通過限制展示了本發明的多個實施例，其中類似的參考號表示類似的元素。
圖1係採用閉環命令的用於多埠視頻框架同步的一個實施例的圖示；圖2的流程圖展示了視頻框架同步過程的一實施例；圖3的流程圖展示了修改視頻框架傳輸時間以對該等框架的到達進行同步的過程的一實施例；圖4係用於形成由多埠產生的顯示圖像的同步實施例的圖示；圖5係一匯點或中繼器裝置的實施例的圖示；圖6係一源裝置的實施例的圖示；圖7係用於視頻框架同步的實施例的一個對準命令的圖示；圖8係在視頻框架同步的實施例中使用的一介面的圖示；以及圖9係一提供視頻框架同步的設備的實施例的元件圖示。
110．．．源
112．．．框架
114．．．框架
120．．．源
122．．．框架
124．．．框架
130．．．源
132．．．框架
134．．．框架
140．．．源
142．．．框架
144．．．框架
150．．．中繼器或匯點裝置
160．．．埠
170．．．埠
180．．．埠
190．．．埠

Claims (29)

  1. 一種視頻框架同步方法，包括下列步驟：在一多埠裝置的一第一埠上接收來自一第一源的一第一視頻資料流，該第一視頻資料流的一第一視頻框架在一第一到達時間到達該第一埠；在該多埠裝置的一第二埠上接收來自一第二源的一第二視頻資料流，該第二視頻資料流的一第二視頻框架在一第二到達時間到達該第二埠；確定該第一到達時間與該第二到達時間之間的一偏移；至少部分地基於該偏移，確定一或多個校正因數，該一或多個校正因數包括用於該第一源的一第一校正因數；並且向該第一源發送一第一命令，以便利用該校正因數修改在該第一視頻框架之後由該第一源發送的一第三視頻框架的一傳輸時間。
  2. 如申請專利範圍第1項所述之視頻框架同步方法，其中，該視頻資料係HDMITM(高清晰度多媒體介面)相容資料和MHLTM(移動高清晰連接)相容資料中的一或多種。
  3. 如申請專利範圍第1項所述之視頻框架同步方法，其中，該命令係通過在該多埠裝置與該第一源之間的一命令匯流排發送的。
  4. 如申請專利範圍第1項所述之視頻框架同步方法，其中，該第一命令調整了由該第二源傳送的該第二視頻框架之後該第三視頻框架的到達與一第四視頻框架的到達之間的對準。
  5. 如申請專利範圍第4項所述之視頻框架同步方法，其中該第一命令提供了將該第三視頻框架到達該第一埠以及該第四視頻框架到達該第二埠同步在一共同時刻上。
  6. 如申請專利範圍第4項所述之視頻框架同步方法，其中該第一命令提供了將該第三視頻框架到達該第一埠以及該第四視頻框架到達該第二埠同步為具有一特定偏移。
  7. 如申請專利範圍第1項所述之視頻框架同步方法，其中，該第三視頻框架在一第三到達時刻到達該第一埠，並且該第四視頻框架在一第四時刻到達該第二埠，該方法進一步包括在該第三到達時刻與該第四到達時刻之間確定一第二偏移。
  8. 如申請專利範圍第7項所述之視頻框架同步方法，進一步包括至少部分地基於該第二偏移來確定一或多個校正因數，該一或多個校正因數包括用於該第一源的一第 二校正因數以及用於該第二源的一第三校正因數中的一或多個。
  9. 如申請專利範圍第1項所述之視頻框架同步方法，其中該第一視頻框架以及該第二視頻框架中的一或多個被加密，並且其中確定一偏移以及確定一或多個校正因數係未解密該第一視頻框架或該第二視頻框架而進行的。
  10. 一種視頻框架同步設備，包括：多個埠，其用於從一組資料來源接收視頻資料流，該多個埠各自從一資料來源接收一視頻資料流，每個視頻資料流包括一視頻框架的流；一時鐘信號，用於對多個視頻框架在該多個埠中的每一個上的到達進行定時；邏輯，其比較視頻框架在該多個埠的到達時間、確定該等到達時間之間的偏移值、並且根據該等偏移值產生一或多個校正因數；以及該組資料來源與一或多個匯流排連接之介面，該設備基於這一或多個校正因數通過這一或多個匯流排連接，將一或多個命令傳送至該等資料來源中的一或多個上，該一或多個命令係用來引導視頻框架傳輸時間的修改，以便對多個視頻框架到達該多個埠進行同步。
  11. 如申請專利範圍第10項所述之視頻框架同步設備，其 中，該設備要發送該一或多個命令的一個系列，以便向該組資料來源提供閉環回饋。
  12. 如申請專利範圍第10項所述之視頻框架同步設備，其中，該一或多個命令用來將多個視頻框架在該多個埠中每一個上的到達對準到一共同的時間。
  13. 如申請專利範圍第10項所述之視頻框架同步設備，其中，該一或多個命令用來將多個視頻框架到達該多個埠中的每一個對準到彼此具有特定的偏移。
  14. 如申請專利範圍第10項所述之視頻框架同步設備，進一步包括用於該多個埠中每一個的一連接時鐘，其中該時鐘信號係由該等埠之一的該連接時鐘產生。
  15. 如申請專利範圍第10項所述之視頻框架同步設備，進一步包括一公共時鐘，其中該時鐘信號係由該公共時鐘產生的，該公共時鐘具有與該多個埠之一的一連接時鐘相同的頻率。
  16. 如申請專利範圍第10項所述之視頻框架同步設備，其中該一或多個校正因數各自用來將一視頻框架的傳輸提前或延遲一時間因數。
  17. 如申請專利範圍第16項所述之視頻框架同步設備，其中該時間因數係連接時鐘週期之一整數。
  18. 如申請專利範圍第10項所述之視頻框架同步設備，進一步包括用於儲存多個視頻框架或多個視頻框架的多個部分的一記憶元件，其中該設備要使用該記憶元件來校正對於多個視頻框架在該等資料埠的到達時間的一殘餘誤匹配。
  19. 如申請專利範圍第10項所述之視頻框架同步設備，其中該設備被配置為用於接收一或多個加密視頻框架，並且其中該邏輯被配置為用於比較多個視頻框架的到達時間、確定多個偏移值、並且產生多個校正因數，而無需對該一或多個加密視頻框架進行解密。
  20. 一種視頻框架同步方法，包括下列步驟：產生多個視頻框架的一視頻資料流，以用於傳輸到一多埠裝置的一埠上；將該等視頻框架傳送到該多埠裝置上，包括利用一輸出定時發生器對該等視頻框架的傳輸進行定時；接收來自該多埠裝置的一或多個對準命令，每個對準命令包含用於一下一個後續視頻框架傳輸的一校正因數，以調整與在該多埠裝置的一或多個其他埠處到達的多個視頻框架的對準；並且 基於包含在每個對準命令中的校正因數來調整對於該下一個後續視頻框架的一傳輸時間。
  21. 如申請專利範圍第20項所述之視頻框架同步方法，其中每個命令的校正因數用於將該下一個後續視頻框架的傳輸提前或延遲一時間因數。
  22. 如申請專利範圍第20項所述之視頻框架同步方法，其中，該時間因數係時鐘週期的一整數。
  23. 如申請專利範圍第20項所述之視頻框架同步方法，其中接收一或多個對準命令包括通過在該多埠裝置與該第一源之間的一命令匯流排接收該一或多個命令。
  24. 一種資料來源裝置，包括：一資料埠，其用於將多個視頻框架的一個資料流傳送至一多埠裝置的一第一埠上；一框架輸出元件，其用於向該資料埠提供視頻框架，以用於傳輸；一時鐘信號，其用於多個視頻框架的傳輸；以及一輸出定時發生器，其用於向該框架輸出元件提供定時，以傳輸該等視頻框架，該輸出定時發生器基於從該多埠裝置接收的多個對準命令，調整用於該等視頻框架傳輸的定時。
  25. 如申請專利範圍第24項所述之裝置，進一步包括一個儲存緩衝器用於儲存該等視頻框架，其中該框架輸出元件從該儲存緩衝器中獲取該等視頻框架，以用於傳輸。
  26. 如申請專利範圍第25項所述之裝置，進一步包括被配置為將一組資料解碼成為多個視頻框架的一解碼器，該解碼器在該儲存緩衝器中儲存該等已解碼的框架。
  27. 如申請專利範圍第24項所述之裝置，其中每個對準命令包含一校正因數，該校正因數用於將下一個後續視頻框架的傳輸提前或延遲一時間因數。
  28. 如申請專利範圍第27項所述之裝置，其中，該時間因數係時鐘週期的一整數。
  29. 一種電腦可讀媒體，其上儲存有代表多個指令序列之資料，當該等指令由一處理器執行時，使該處理器執行多種操作，包括：在一多埠裝置的一第一埠上接收來自一第一源的一第一視頻資料流，該第一視頻資料流的一第一視頻框架在一第一到達時間到達該第一埠；在該多埠裝置的一第二埠上接收來自一第二源的一第二視頻資料流，該第二視頻資料流的一第二視頻框架在一第二到達時間到達該第二埠； 確定在該第一到達時間與該第二到達時間之間的一偏移；至少部分地基於該偏移確定一或多個校正因數，該一或多個校正因數包括用於該第一源的一第一校正因數；並且向該第一源發送一第一命令，以利用該校正因數，修改在該第一視頻框架之後由該第一源發送的一第三視頻框架的傳輸時間。
TW100105683A 2010-02-25 2011-02-21 視頻框架同步 TWI523527B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/712,933 US8692937B2 (en) 2010-02-25 2010-02-25 Video frame synchronization

Publications (2)

Publication Number Publication Date
TW201146009A TW201146009A (en) 2011-12-16
TWI523527B true TWI523527B (zh) 2016-02-21

Family

ID=44476213

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100105683A TWI523527B (zh) 2010-02-25 2011-02-21 視頻框架同步

Country Status (7)

Country Link
US (2) US8692937B2 (zh)
EP (1) EP2540078A4 (zh)
JP (1) JP6034697B2 (zh)
KR (1) KR20130036204A (zh)
CN (1) CN102771136B (zh)
TW (1) TWI523527B (zh)
WO (1) WO2011106228A2 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US8786670B2 (en) * 2010-10-14 2014-07-22 Cisco Technology, Inc. Network synchronization video for composite video streams
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US8989280B2 (en) * 2011-06-30 2015-03-24 Cable Television Laboratories, Inc. Frame identification
US8989277B1 (en) 2011-11-03 2015-03-24 Xilinx, Inc. Reducing artifacts within a video processing system
EP2786224B1 (en) * 2011-11-30 2020-05-06 Intel Corporation Reducing power for 3d workloads
CN102497527B (zh) * 2011-12-16 2013-11-27 杭州海康威视数字技术股份有限公司 多处理器视频处理系统及其中的视频图像同步传输与显示方法
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US8792643B1 (en) * 2012-02-16 2014-07-29 Google Inc. System and methodology for decrypting encrypted media
US9537644B2 (en) * 2012-02-23 2017-01-03 Lattice Semiconductor Corporation Transmitting multiple differential signals over a reduced number of physical channels
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9307189B2 (en) * 2012-05-11 2016-04-05 Pioneer Digital Design And Manufacturing Corporation Relay apparatus controlling signal channel selection
US9230505B2 (en) 2013-02-25 2016-01-05 Lattice Semiconductor Corporation Apparatus, system and method for providing clock and data signaling
CN103338204B (zh) * 2013-07-05 2016-12-28 深圳市云动创想科技有限公司 一种音频同步输出方法及系统
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
TWI604432B (zh) * 2014-03-18 2017-11-01 緯創資通股份有限公司 顯示器及其視訊畫面顯示方法
CN106464491B (zh) * 2014-04-14 2019-11-19 新思公司 硬件接收器装置
US10250799B2 (en) 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
JP6477495B2 (ja) * 2014-05-28 2019-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9871516B2 (en) 2014-06-04 2018-01-16 Lattice Semiconductor Corporation Transmitting apparatus with source termination
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
JP6467822B2 (ja) * 2014-08-29 2019-02-13 セイコーエプソン株式会社 表示システム、送信装置、及び、表示システムの制御方法
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
CN106068644B (zh) * 2014-09-26 2019-03-01 奥林巴斯株式会社 传送系统和处理装置
CN104333771B (zh) * 2014-11-10 2017-11-24 硅谷数模半导体（北京）有限公司 视频流的同步控制方法和装置
DE102015001622A1 (de) * 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
CN105141876B (zh) * 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
CN105681816B (zh) * 2015-12-31 2019-01-29 深圳市瑞彩电子技术有限公司 一种视频数据传输装置和方法
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
US20170223382A1 (en) * 2016-02-03 2017-08-03 Sigma Designs, Inc. Method of reducing latency and a video decoder of the same
CN107517404A (zh) * 2016-06-17 2017-12-26 晨星半导体股份有限公司 电子装置及相关的信号处理方法
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统
WO2018220724A1 (ja) * 2017-05-30 2018-12-06 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、表示方法、及びプログラム
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
US10671553B2 (en) * 2017-12-29 2020-06-02 Texas Instuments Incorporated Link width scaling across multiple retimer devices
US11039041B2 (en) * 2018-04-03 2021-06-15 Intel Corporation Display panel synchronization for a display device
CN109728894B (zh) * 2018-11-13 2021-08-17 合肥奕斯伟集成电路有限公司 差分数据的处理方法、数据处理设备以及计算机存储介质
CN109587546B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US10536666B1 (en) * 2019-01-22 2020-01-14 Facebook Technologies, Llc Systems and methods for transmitting aggregated video data
CN116389794A (zh) * 2019-02-20 2023-07-04 华为技术有限公司 用于启用超高清联盟指定参考模式（uhda-srm）的技术
US10797854B1 (en) * 2019-09-30 2020-10-06 Infineon Technologies Ag Synchronization system for controller area networks
US11323766B2 (en) * 2019-10-03 2022-05-03 Dolby International Ab Method and device for providing audio/video content to a rendering device
CN110933253B (zh) * 2019-11-25 2022-04-19 广州市奥威亚电子科技有限公司 一种数据帧同步的信源端、主机端、同步装置及方法
SE544753C2 (en) * 2020-01-14 2022-11-01 Net Insight Ab Network offset adjustment in remote media production
CN113596348B (zh) * 2021-04-29 2023-11-03 青岛信芯微电子科技股份有限公司 图像处理方法及设备
CN114257739B (zh) * 2021-12-11 2024-04-26 苏州华兴源创科技股份有限公司 视频数据速率调整方法和装置
US11776507B1 (en) 2022-07-20 2023-10-03 Ivan Svirid Systems and methods for reducing display latency
CN116193057B (zh) * 2023-04-26 2023-07-07 广东视腾电子科技有限公司 一种多端口传输的光纤视频延长方法及系统

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717469A (en) * 1994-06-30 1998-02-10 Agfa-Gevaert N.V. Video frame grabber comprising analog video signals analysis system
US5592488A (en) 1995-06-07 1997-01-07 Micron Technology, Inc. Method and apparatus for pipelined multiplexing employing analog delays for a multiport interface
US5995140A (en) * 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US5914757A (en) * 1997-04-21 1999-06-22 Philips Electronics North America Corporation Synchronization of multiple video and graphic sources with a display using a slow PLL approach
KR100287728B1 (ko) * 1998-01-17 2001-04-16 구자홍 영상프레임동기화장치및그방법
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
JP3595745B2 (ja) * 1999-01-29 2004-12-02 キヤノン株式会社 画像処理装置
JP4292690B2 (ja) * 2000-06-27 2009-07-08 ソニー株式会社 画像記録再生装置及び方法
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
JP3739274B2 (ja) * 2000-10-31 2006-01-25 Ｋｄｄｉ株式会社 ２系統映像の位置ずれ補正装置
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
CN101197652B (zh) 2001-09-06 2013-06-19 高通股份有限公司 用于高数据速率信号传送的通信协议和接口的产生和实现
JP2004165772A (ja) * 2002-11-11 2004-06-10 Matsushita Electric Ind Co Ltd ビデオ信号伝送装置
JP2005123789A (ja) 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Ａｖ同期システム
US7506240B2 (en) 2004-07-02 2009-03-17 Filmlight Limited Method and apparatus for image processing
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
US20080007616A1 (en) * 2004-12-06 2008-01-10 Ftd Technology Pte. Ltd. Universal multimedia display adapter
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
KR100789548B1 (ko) * 2005-04-15 2007-12-28 엘지전자 주식회사 티브이의 오디오 출력 동기화 장치 및 방법
CN101171838B (zh) * 2005-04-28 2011-06-01 松下电器产业株式会社 口形同步修正装置及口形同步修正方法
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method
US7844762B2 (en) * 2006-02-24 2010-11-30 Silicon Image, Inc. Parallel interface bus to communicate video data encoded for serial data links
US7746969B2 (en) * 2006-03-28 2010-06-29 Entropic Communications, Inc. High definition multi-media interface
JP4544190B2 (ja) * 2006-03-31 2010-09-15 ソニー株式会社 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
JP4799254B2 (ja) * 2006-04-12 2011-10-26 シャープ株式会社 表示装置及び表示システム
US20080117984A1 (en) * 2006-11-16 2008-05-22 Analogix Semiconductor, Inc. Pre-Clock/Data Recovery Multiplexing of Input Signals in a HDMI Video Receiver
JP5119655B2 (ja) * 2006-12-13 2013-01-16 株式会社日立製作所 マルチスクリーン表示装置
JP5086632B2 (ja) * 2006-12-22 2012-11-28 株式会社東芝 映像表示装置、映像表示システムおよび映像表示方法
US7765323B2 (en) * 2006-12-29 2010-07-27 Intel Corporation Sink device addressing mechanism
US7809972B2 (en) * 2007-03-30 2010-10-05 Arm Limited Data processing apparatus and method for translating a signal between a first clock domain and a second clock domain
US8320410B2 (en) * 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
JP5091578B2 (ja) * 2007-07-26 2012-12-05 株式会社東芝 映像処理装置及び映像処理方法
JP5145812B2 (ja) * 2007-08-01 2013-02-20 ソニー株式会社 データ送受信システム、データ送信装置、データ受信装置、クロック生成方法
JP5050807B2 (ja) * 2007-11-22 2012-10-17 ソニー株式会社 再生装置、表示装置、再生方法および表示方法
JP2009141720A (ja) * 2007-12-07 2009-06-25 Hitachi Ltd 映像表示装置、表示パネル及び映像処理装置
US8090030B2 (en) 2008-01-04 2012-01-03 Silicon Image, Inc. Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface
JP5283914B2 (ja) * 2008-01-29 2013-09-04 キヤノン株式会社 表示制御装置及び表示制御方法
US8102470B2 (en) 2008-02-22 2012-01-24 Cisco Technology, Inc. Video synchronization system
DE112008003766T5 (de) * 2008-03-05 2011-05-12 Hewlett-Packard Development Co., L.P., Houston Synchronisierung und Fensterung von externem Inhalt in digitalen Anzeigesystemen
JP4535159B2 (ja) * 2008-04-01 2010-09-01 ソニー株式会社 信号切換装置、信号切換装置の制御方法、プログラム、及び、記録媒体
US20100142723A1 (en) * 2008-12-08 2010-06-10 Willard Kraig Bucklen Multimedia Switching Over Wired Or Wireless Connections In A Distributed Environment
US8832844B2 (en) * 2009-12-04 2014-09-09 Parade Technologies, Ltd. Fast switching for multimedia interface system having content protection
US8242940B2 (en) * 2009-12-17 2012-08-14 Analog Devices, Inc. Transitioning digital data processors between power savings and non-power savings modes
US8331561B2 (en) * 2009-12-17 2012-12-11 Analog Devices, Inc. Fast switching between digital video sources
WO2011084340A1 (en) * 2009-12-17 2011-07-14 Analog Devices, Inc. Selective switching between data sources
US20110157473A1 (en) * 2009-12-30 2011-06-30 Hoon Choi Method, apparatus, and system for simultaneously previewing contents from multiple protected sources
US20110164118A1 (en) * 2010-01-06 2011-07-07 Samsung Electronics Co., Ltd. Display apparatuses synchronized by one synchronization signal
JP2012029214A (ja) * 2010-07-27 2012-02-09 Rohm Co Ltd インタフェース回路およびそれを用いた電子機器

Also Published As

Publication number Publication date
US20140168514A1 (en) 2014-06-19
EP2540078A2 (en) 2013-01-02
US20110205433A1 (en) 2011-08-25
CN102771136A (zh) 2012-11-07
JP2013520931A (ja) 2013-06-06
CN102771136B (zh) 2016-05-11
TW201146009A (en) 2011-12-16
EP2540078A4 (en) 2014-02-26
JP6034697B2 (ja) 2016-11-30
US8692937B2 (en) 2014-04-08
WO2011106228A3 (en) 2012-01-12
KR20130036204A (ko) 2013-04-11
WO2011106228A2 (en) 2011-09-01

Similar Documents

Publication Publication Date Title
TWI523527B (zh) 視頻框架同步
EP1414235B1 (en) Audio-video-system and method supporting a pull data flow scheme
US11544029B2 (en) System and method for synchronized streaming of a video-wall
US20170006331A1 (en) Synchronized rendering of split multimedia content on network clients
KR101724484B1 (ko) 다수의 보호 소스로부터의 컨텐츠를 동시에 미리 보기 위한 방법, 장치, 및 시스템
TW200931268A (en) Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface
US8174619B2 (en) Reception apparatus and method of controlling image output by reception apparatus
TWI514842B (zh) 數據處理裝置及其方法
KR101787424B1 (ko) 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘
WO2020261617A1 (ja) 画像処理システム、画像処理用集積回路、および画像処理方法
WO2011118592A1 (ja) 画像データ送信装置、画像データ送信方法および画像データ受信装置
TW200824431A (en) Video and audio data synchronization method and related apparatus for a multimedia interface
WO2011155173A1 (ja) 映像表示装置
CN101202868B (zh) 用于多媒体接口的影音数据同步方法及其相关装置
KR20130060651A (ko) 영상처리장치 및 그 제어방법
TW201408042A (zh) 立體影像輸出裝置與相關的立體影像輸出方法
US20120134602A1 (en) Method and apparatus for image conversion
KR20110107844A (ko) 시간 기반 로빙 아키텍처에서의 복수의 포트들의 성공적인 인증을 검출하는 방법 및 시스템
JP2014131272A (ja) 受信装置および情報処理方法