TW201701655A - 雲端伺服器、控制設備及音訊視訊同步方法 - Google Patents

雲端伺服器、控制設備及音訊視訊同步方法 Download PDF

Info

Publication number
TW201701655A
TW201701655A TW104119901A TW104119901A TW201701655A TW 201701655 A TW201701655 A TW 201701655A TW 104119901 A TW104119901 A TW 104119901A TW 104119901 A TW104119901 A TW 104119901A TW 201701655 A TW201701655 A TW 201701655A
Authority
TW
Taiwan
Prior art keywords
audio
video
delay
delay data
control device
Prior art date
Application number
TW104119901A
Other languages
English (en)
Other versions
TWI551148B (zh
Inventor
陳柏欽
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Application granted granted Critical
Publication of TWI551148B publication Critical patent/TWI551148B/zh
Publication of TW201701655A publication Critical patent/TW201701655A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/05—Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42684—Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4432—Powering on the client, e.g. bootstrap loading using setup parameters being stored locally or received from the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種音訊視訊同步方法，該方法應用於控制設備，該控制設備與雲端伺服器、播放設備相連，並向播放設備傳輸音訊與視訊，該方法包括：獲取播放設備的身份識別字及控制設備進行傳送的音訊的格式資訊、視訊的格式資訊；根據身份識別字、音訊的格式資訊、視訊的格式資訊從雲端伺服器獲取對應的時延資料；根據從雲端伺服器獲取的時延資料進行音訊與視訊的時延設置，以讓音訊與視訊同步。本發明還提供了一種控制設備，還提供一種雲端伺服器及其音訊視訊同步的方法。

Description

雲端伺服器、控制設備及音訊視訊同步方法
本發明涉及音訊視訊領域，尤其涉及音訊視訊同步方法。
隨著音訊視訊處理技術的發展，越來越多觀眾觀看高清晰度多媒體（High Definition Multimedia Interface，HDMI）影音節目，當觀看高清晰度多媒體影音節目（尤其是在觀看高清視訊、超高清顯示分辨視訊、高檔視訊）時，因為播放設備處理影像的時間比處理聲音的時間要久很多，如果沒有措施進行延時處理將會出現影像與聲音不同步的狀況，另外，如果不對高清晰度多媒體資料的聲音進行時延控制，該聲音與數位音訊、模擬音訊之間將產生聲音不同步的問題。
國際電信聯盟無線電通信組公開標準BT.1359規定音訊超前視訊的時間閾值為45毫秒，音訊落後視訊時間閾值為125毫秒。
美國國家數位電視標準規定音訊超前視訊的時間閾值為15毫秒，音訊落後視訊時間閾值為60毫秒。
現有的解決音訊視訊不同步的方法：1）通過手動設置高清晰度多媒體發射端或接收端的聲音延遲時間；2）依據HDMI1.3標準，在播放設備的擴展顯示標識資料中設置接收端影像與聲音處理所需的時間；3）依據HDMI1.3/1.4標準處理，不同解析度的視訊、不同音訊內容有不同的處理時延，依據公式為：播放設備視訊處理時延=（2*最大視訊處理時延+最小視訊處理時延）/3，播放設備音訊處理時延=（2*最大處理音訊時延+最小處理音訊時延）/3，發射設備音訊時延=播放視訊處理時延-播放音訊處理時延；4）依據HDMI12.0標準，在播放設備的擴展顯示標識資料中設置接收端影像與聲音處理所需的時間；5）依據HDMI12.0標準，使用者自己調節播放設備時延模式，此時並未改變設置在資料顯示標識資料中原始設置值。
但是現有的解決方法仍存在問題，在依據HDMI2.0標準下，如果播放設備不支援自動唇語同步功能和動態自動唇語同步功能,使用者就需要手動設置控制設備的時延，別外，即使有自動唇語同步功能或動態自動唇語同步功能，但自動進行音訊視訊同步並不是強制實行的，許多播放設備仍常出現影音不同步現象。
因而急需提供一種能簡單便捷進行音訊視訊同步的控制設備及方法。
有鑑於此，本發明提供一種控制設備及音訊視訊同步的方法，用以實現音訊視訊同步。
另外，本發明提供一種雲端伺服器及音訊視訊同步的方法，用以實現音訊視訊同步。
本實施方式中提供的控制設備，該控制設備與雲端伺服器、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該控制設備包括獲取模組、調整模組。獲取模組用於獲取該播放設備的身份識別字，並獲取該控制設備進行傳送的音訊的格式資訊、視訊的格式資訊，根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該雲端伺服器獲取對應的時延資料，調整模組用於根據該從該雲端伺服器獲取的時延資料進行該音訊與視訊的時延設置，以讓該音訊與視訊同步。
優選地，還包括判斷模組、通信模組，判斷模組用於判斷該音訊與該視訊是否同步播放，通信模組用於當該音訊與視訊同步播放時，將該音訊與視訊的當前的時延資料返回給該雲端伺服器。
優選地，還包括視訊檢測模組、音訊檢測模組，視訊檢測模組用於當該音訊與視訊不為同步播放時，偵測該播放設備的視訊處理時延，音訊檢測模組，用於當該音訊與視訊不為同步播放時，偵測該播放設備的音訊處理時延，其中，該調整模組還用於根據該視訊檢測模組所偵測之視訊處理時延、該音訊檢測模組所偵測之音訊處理時延進行該音訊與視訊的時延設置。
優選地，該判斷模組還用於在該音訊與視訊不同步時，提供使用者設置介面，以供使用者設置時延資料，該調整模組還用於根據該使用者設置的時延資料進行該音訊與視訊的時延設置。
本實施方式中提供的雲端伺服器，該雲端伺服器與控制設備、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該雲端伺服器包括預存模組、接收模組、偵測模組。預存模組用於預先存儲一個時延表，該時延表中有不同播放設備開始音訊、視訊解碼到播放所需要的音訊時延、視訊時延，接收模組用於接收該播放設備上傳的身份識別字，該播放設備進行傳送的音訊的格式資訊、視訊的格式資訊，偵測模組用於根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該時延表中獲取對應的時延資料，並將時延資料回饋給該控制設備。
優選地，該接收模組還用於接收該播放設備返回的時延資料，該偵測模組還用於判斷該時延資料是否由該控制設備自動檢測得到，當該時延資料是自動檢測得到時，對該時延表進行相應更新。
優選地，該偵測模組在該偵測模組偵測到具有複數自動檢測得到的時延資料時，根據該複數自動檢測到的時延資料計算平均值，並依據平均值更新時延表中的對應播放設備的時延值。
優選地，該偵測模組還用於判斷該時延資料是否由使用者設置，當該時延資料是使用者設置時，判斷使用者設置的時延資料是否處於預設的閾值範圍，當處於該閾值範圍時，依據該身份識別字、該音訊的格式資訊、該視訊的格式資訊對該時延資料進行分類，統計各類中時延資料的數量，並判斷該時延資料的數量是否超過一預設值，當該時延資料的數量超過該預設值時，根據該使用者設置的時延資料計算平均值，根據平均值對該時延表進行相應更新。
本實施方式中提供的控制設備音訊視訊同步的方法，該控制設備與雲端伺服器、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該方法包括獲取該播放設備的身份識別字，並獲取該控制設備進行傳送的音訊的格式資訊、視訊的格式資訊，根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該雲端伺服器獲取對應的時延資料，根據該從該雲端伺服器獲取的時延資料進行該音訊與視訊的時延設置，以讓該音訊與視訊同步。
優選地，該方法還包括判斷該音訊與該視訊是否同步播放，當該音訊與視訊同步播放時，將該音訊與視訊的當前的時延資料返回給該雲端伺服器。
優選地，該方法還包括當該音訊與視訊不為同步播放時，偵測該播放設備的視訊處理時延，當該音訊與視訊不為同步播放時，偵測該播放設備的音訊處理時延，根據所偵測之視訊處理時延、所偵測之音訊處理時延進行該音訊與視訊的時延設置。
優選地，該方法還包括在該音訊與視訊不同步時，提供使用者設置介面，以供使用者設置時延資料，根據該使用者設置的時延資料進行該音訊與視訊的時延設置。
本實施方式中提供的雲端伺服器音訊視訊同步的方法，該雲端伺服器與控制設備、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該方法包括預先存儲一個時延表，該時延表中有不同播放設備從開始音訊、視訊解碼到播放所需要的音訊時延、視訊時延，接收該播放設備上傳的身份識別字，該播放設備進行傳送的音訊的格式資訊、視訊的格式資訊，根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該時延表中獲取對應的時延資料，並將時延資料回饋給該控制設備。
優選地，該方法還包括接收該播放設備返回的時延資料，判斷該時延資料是否由該控制設備自動檢測得到，當該時延資料是自動檢測得到時，對該時延表進行相應更新。
優選地，該方法還包括偵測到具有複數自動檢測得到的時延資料時，根據該複數自動檢測到的時延資料計算平均值，並依據平均值更新時延表中的對應播放設備的時延值。
優選地，該方法還包括判斷該時延資料是否由使用者設置，當該時延資料是使用者設置時，判斷使用者設置的時延資料是否處於預設的閾值範圍，當處於該閾值範圍時，依據該身份識別字、該音訊的格式資訊、該視訊的格式資訊對該時延資料進行分類，統計各類中時延資料的數量，並判斷該時延資料的數量是否超過一預設值，當該時延資料的數量超過該預設值時，根據該使用者設置的時延資料計算平均值，根據平均值對該時延表進行相應更新。
本發明實施方式中的控制設備和雲端伺服器及其音訊視訊同步的方法可以改善HDMI標準未強制要求音訊視訊同步的缺點，根據播放設備的身份識別標識、音訊的格式資訊、視訊的格式資訊從雲端獲取最佳的時延資料進行音訊視訊同步調整。雲端伺服器能接收自動檢測到的音訊/視訊處理時延、使用者自動設置的時延資料，根據這些方法能獲取大量的同類播放設備對應不同音訊格式、不同視訊格式所需要的時延資料，進而能計算出同類播放設備對應相同音訊格式、相同視訊格式相應的平均值，為控制設備提供音訊視訊同步調整所需的最佳時延資料，解決觀眾在觀看HDMI多媒體影像時音訊視訊不同步的問題。
以下結合附圖和具體實施例對本發明進行詳細描述，但不作為對本發明的限定。
圖1是本發明雲端伺服器20、控制設備10一實施方式的實施環境圖。
圖2是本發明音訊視訊同步判斷標準示意圖。
圖3是本發明雲端伺服器20、控制設備10一實施方式的功能模組圖。
圖4是本發明控制設備10自動偵測音訊時延視訊時延的一實施方式的示意圖。
圖5是本發明雲端伺服器20、控制設備10另一實施方式的功能模組圖。
圖6是本發明控制設備10進行音訊視訊同步的一實施方式的流程圖。
圖7是本發明本發明雲端伺服器20進行音訊視訊同步的一實施方式的流程圖。
請參閱圖1，圖1所示是本發明雲端伺服器20、控制設備10一實施方式的實施環境圖。在本實施方式中，包括控制設備10、雲端伺服器20、播放設備30、數位音訊解碼器40、擴音器50以及音響60，其中播放設備30、音響60為播放裝置的舉例，播放設備可有複數個，不一一畫出。控制設備10與雲端伺服器20相連，雲端伺服器20可能與複數控制設備10相連，這裡示意性的畫出一個控制設備10，控制設備10通過高清晰度多媒體介面(HDMI)與播放設備30的顯示器300相連，以及還通過模擬音訊介面與播放設備30的揚聲器302相連，控制設備10還通過模擬音訊介面與播放設備30的揚聲器相連，控制設備10通過數位音訊介面與數位音訊解碼器40相連，數位音訊解碼器40還與擴音器50相連，擴音器50與音響60相連。
請參閱圖2，圖2所示是本發明音訊視訊同步判斷標準示意圖。在該示意圖中，橫坐標表示音訊時間與視訊時間之間的差距，舉例來說，0ms表示沒有差距，+50ms表示音訊時間超前視訊時間50ms,-50ms表示音訊時間落後視訊時間50ms，A到A’之間表示可接受時延同步調整的閾值，B到B’之間表示國際電信聯盟無線電通信組公開標準BT.1359規定音訊超前視訊的時間閾值為45毫秒，音訊落後視訊時間閾值為125毫秒，為進行同步調整的閾值。C到C’之間表示音訊視訊同步穩定區域，不進行同步調整。
請參閱圖3，圖3是本發明控制設備10、雲端伺服器20一實施方式的功能模組圖。在本實施例中，控制設備10包括獲取模組100、調整模組102、判斷模組104以及通信模組106。雲端伺服器20包括預存模組200、接收模組202、偵測模組204。在本實施方式中,以控制設備10與雲端伺服器20之間的進行音訊視訊同步的處理過程為例進行說明，控制設備10與雲端伺服器20應用於圖1所示的應用環境圖中。
控制設備10的獲取模組100獲取播放設備30的擴展顯示標識資料，擴展顯示標識資料中包括時延表格，時延表格中有播放設備30身份識別字、音訊時延、視訊時延、隔行音訊時延、隔行視訊時延，控制設備10的獲取模組100還獲取控制設備10傳送的播放資料中的音訊格式資訊和視訊格式資訊，並根據擴展顯示標識資料、音訊格式資訊和視訊格式資訊從雲端伺服器20獲取對應的時延資料，時延資料中包括播放設備處理對應音訊格式資訊的音訊資料的時延、處理對應視訊格式資訊的視訊資料的時延，控制設備10的調整模組102用於根據從雲端獲取的時延資料對音訊與視訊的時延設置，以讓該音訊與視訊同步。時延同步設置包括高清晰度多媒體音訊與視訊之間的同步、數位音訊與模擬音訊之間的同步、模擬音訊與視訊之間的同步。
控制設備10的判斷模組用於判斷音訊視訊是否同步播放，若判斷模組104判斷出音訊視訊同步播放，則由控制設備10的通信模組106將時延資料返回給雲端伺服器20，若判斷模組104判斷出音訊視訊不同步，則判斷模組104判斷該控制設備10是否具有音訊視訊時延偵測功能，若判斷出有音訊視訊時延偵測功能，則開啟時延測試功能，在本實施方式中，由視訊檢測模組108、音訊檢測模組110進行自動時延測試功能，具體的自動時延測試將在說明附圖4時進行詳細說明。視訊檢測模組108、音訊檢測模組110獲取自動測試的音訊時延和視訊時延後，調整模組102依據測試得到的時延資料進行音訊視訊同步播放調整，然後，判斷模組104判斷音訊視訊是否同步，若不同步，則進入使用者自動設置介面，若同步，則將數據傳回給雲端伺服器20。若判斷出沒有音訊視訊同步自動偵測功能，則進入用戶自動設置時延的介面。在進入使用者自動設置時延的介面後，持續獲取使用者設置的時延資料，調整模組102根據時延資料進行音訊視訊同步調整，直到音訊視訊同步，並將此時的時延數據傳回雲端伺服器20，雲端伺服器20接收時延資料並進行更新。
下面詳細介紹雲端伺服器20的具體工作過程。雲端伺服器20的預存模組200中預先存儲有時延表，在時延表中有不同播放設備處理不同音訊格式、不同視訊格式所需的處理時間即從開始進行音訊、視訊解碼到進行播放所需要的時延資料，播放設備以各自的身份識別字進行區分，時延表為控制設備10提供時延資料。雲端伺服器20的接收模組202接收播放設備30上傳的擴展顯示標識資料以及控制設備10返回的時延資料。偵測模組204用於判斷時延資料是否自動檢測得到，若時延資料是自動檢測得到，根據時延資料對時延表進行更新，當有複數自動檢測得到的時延資料時，雲端伺服器20的偵測模組204根據接收的複數自動檢測的時延資料計算平均值，依據平均值更新時延表。
偵測模組204判斷時延資料不為自動檢測得到時，判斷時延資料是否為使用者設置，若時延資料不是使用者設置，根據接收的播放設備擴展顯示標識資料獲取時延資料音訊格式資訊、視訊格式資訊獲取時延資料，並將時延資料回饋給控制設備。若時延資料是使用者設置，則判斷使用者設置的時延資料是否處於預設的閾值範圍，當處於該閾值範圍時，依據該身份識別字、該音訊的格式資訊、該視訊的格式資訊對該時延資料進行分類，統計各類中時延資料的數量，並判斷該時延資料的數量是否超過一預設值，當該時延資料的數量超過該預設值時，根據該使用者設置的時延資料計算平均值，根據平均值對該時延表進行相應更新。舉例來說,偵測模組204判斷使用者設置的時延資料是否小於雲端時延資料的一半，是否大於雲端時延資料2倍，若使用者設置的時延資料小於雲端時延資料的一半或大於雲端時延資料2倍，忽略不進行處理。若使用者設置的時延資料處於雲端時延資料的一半和雲端時延資料2倍之間，依據播放設備的身份識別字、播放設備的音訊的格式資訊、視訊的格式資訊對該時延資料進行分類，因為現今的播放設備的各類很多，音訊格式、視訊格式種類也很多，不同使用者使用的播放設備不同，需要進行播放的音訊視訊也不同，使用者設置的時延資料是使用者的播放設備播放特定格式的音訊、視訊時的時延資料，因為雲端伺服器20與許多控制設備10相連，因而可以接收到使用同一種播放設備的多個使用者設置的多個時延資料，為了增加時延資料的準確性，根據接收的多個控制設備發送的使用者設置的時延資料計算平均值，將平均值設為新的時延資料。
請參閱圖4，圖4所示是本發明控制設備10自動偵測音訊時延視訊時延的一實施方式的示意圖。每次開啟自動偵測時延資料時，控制設備10通過HDMI介面發送相同的音訊資料、視訊資料給播放設備30，例如，視訊資料為全屏的黑色向全屏白色之間的轉換，在發送視訊資料之時，發送“喀喇”聲響的音訊資料。播放設備30接收來至控制設備10的音訊視訊資料，並將音訊資料發送到顯示器300進行播放，將視訊資料發送到揚聲器播放，視訊檢測模組108接收控制設備10的命令開始進行亮度檢測，音訊檢測模組110接收控制設備10的命令開始進行聲音檢測，視訊檢測模組108檢測亮度級別開始轉變的時間，並將檢測到的轉變時間回饋給控制設備，音訊檢測模組110檢測聲音級別開始轉變的時間，並將檢測到的轉變時間回饋給控制設備。控制設備比較兩個回饋時間之間的差值，並根據該差值設置控制設備10的時延，例如，當檢測到音訊播放時間超前視訊播放時間Xms，則控制設備10將音訊的發送時延設為Xms，使得播放設備30能音訊視訊同步播放，當檢測到音訊播放時間落後視訊播放時間Yms，則控制設備10將視訊的發送時延設為Yms，使得播放設備30能音訊視訊同步播放。
請參閱圖5，圖5是本發明雲端伺服器20、控制設備10另一實施方式的功能模組圖。在本實施方式中，控制設備10包括獲取模組100、判斷模組104，通信模組106，處理模組112以及存儲模組114，雲端伺服器20包括預存模組200、接收模組202、偵測模組204，記憶體206以及處理器208。獲取模組100、判斷模組104，通信模組106，預存模組200、接收模組202、偵測模組204功能與圖3中相同，存儲模組114、記憶體206分別存儲控制設備10、雲端伺服器20的各個模組的軟體代碼以及從外部接收的音訊視訊資料、時延資料等資料資料。處理模組112、處理器208用於執行軟體代碼以實現上述控制設備10、雲端伺服器20各模組的功能，控制設備10與雲端伺服器20應用於圖1所示的應用環境圖中。
請參閱圖6，圖6是本發明控制設備10進行音訊視訊同步的一實施方式的流程圖。圖6所示的流程通過圖1的環境圖、圖3和圖4的功能模組圖實施，也可通過圖1的環境圖、圖4和圖5的功能模組圖實施。
在步驟S600，控制設備10的獲取模組100獲取播放設備30的擴展顯示標識資料，自身傳送的音訊的格式資訊和視訊的格式資訊。
在步驟S602，控制設備10的獲取模組100根據擴展顯示標識資料、自身傳送的音訊的格式資訊和視訊的格式資訊從雲端伺服器20獲取對應的時延資料，並根據時延資料進行音訊視訊同步設置。
在步驟S604，控制設備10的判斷模組用於判斷音訊視訊是否同步，若判斷模組104判斷出音訊視訊同步，則在步驟S616中，由控制設備10的通信模組106將時延資料返回給雲端伺服器20。
若判斷模組104判斷出音訊視訊不同步，則在步驟S606中，判斷模組104判斷該控制設備10是否具有音訊視訊同步自動偵測功能，若判斷出有音訊視訊同步自動偵測功能，則開啟自動測試功能，在本實施方式中，自動測試功能由視訊檢測模組108、音訊檢測模組110完成，即在本實施方式中，若判斷出有音訊視訊同步自動偵測功能，則在步驟S608中開啟視訊檢測模組108開始進行視訊時延測試，同時開啟音訊檢測模組110開始進行聲音時延測試，獲取自動測試的時延後，依據測試得到的時延進行音訊視訊同步調整。
若判斷出沒有音訊視訊同步自動偵測功能，則在步驟S610中進入使用者自動設置時延的介面，並依據設置的時延資料進行同步調整。
在步驟S612中，判斷模組104判斷音訊視訊是否同步，若不同步，則進入使用者自動設置介面，若同步，則在步驟S616中將數據傳回給雲端伺服器20。雲端伺服器20接收時延資料並進行更新。
在步驟S614中，判斷音訊視訊是否同步。若不同步，則進入用戶自動設置時延的介面，持續獲取使用者設置的時延資料，並根據時延資料進行音訊視訊同步調整，直到音訊視訊同步。若同步，則在步驟S616中將數據傳回給雲端伺服器20。
參閱圖7，圖7是本發明本發明雲端伺服器20進行音訊視訊同步的一實施方式的流程圖。圖7所示的流程通過圖1的環境圖、圖3的功能模組實施或通過圖1的環境圖、圖5的功能模組實施。
在步驟S700中，在雲端伺服器20的預存模組200中預先存儲時延表，在時延表中有不同播放設備處理不同音訊格式、不同視訊格式所需的處理時間。
在步驟S702中，雲端伺服器20的接收模組202接收播放設備30上傳的擴展顯示標識資料、控制設備10傳送的音訊的格式資訊、視訊的格式資訊。
在步驟S704中，雲端伺服器20的接收模組202接收控制設備10返回的時延資料。
在步驟S706中,偵測模組204用於判斷時延資料是否自動檢測得到。
若時延資料是自動檢測得到，則在步驟S708中，雲端伺服器20的偵測模組204根據接收的複數控制設備發送的自動檢測的時延資料計算平均值，將平均值設為新的時延值。
若時延資料不是自動檢測得到，則在步驟S710中，判斷時延資料是否為使用者設置。
在步驟S712中，若時延資料不是使用者設置，根據接收的控制設備的擴展顯示標識資料、音訊格式資訊、視訊格式資訊從時延表獲取時延資料，並將時延資料回饋給控制設備10。
若時延資料是使用者設置，則在步驟S714中，偵測模組204判斷使用者設置的時延資料是否處於一預設區間。
若使用者設置的時延資料不處於一預設區間，忽略不進行處理。
若使用者設置的時延資料處於處於一預設區間，在步驟S718中，依據播放設備的身份識別字、播放設備的音訊的格式資訊、視訊的格式資訊對該時延資料進行分類，統計每類的時延資料的個數，當統計的個數超過一預設值時，根據接收的複數控制設備發送的使用者設置的時延資料計算平均值，將平均值設為新的時延資料。
因為現今的播放設備的各類很多，音訊格式、視訊格式種類也很多，不同使用者使用的播放設備不同，需要進行播放的音訊視訊也不同，使用者設置的時延資料是使用者的播放設備播放特定格式的音訊、視訊時的時延資料，因為雲端伺服器20與許多控制設備10相連，因而可以接收到使用同一種播放設備的多個使用者設置的多個時延資料，為了增加時延資料的準確性，根據接收的複數控制設備發送的使用者設置的時延資料計算平均值，將平均值設為新的時延資料。
因此，本發明實施方式中的控制設備10和雲端伺服器20及其音訊視訊同步的方法可以改善HDMI標準未強制要求音訊視訊同步的缺點，根據播放設備的身份識別標識、音訊的格式資訊、視訊的格式資訊從雲端獲取最佳的時延資料進行音訊視訊同步調整。雲端伺服器20能接收自動檢測音訊/視訊處理時延、使用者自動設置時延資料，根據這些方法能獲取大量的同類播放設備對應不同音訊格式、不同視訊格式所需要的時延資料，進而能計算出同類播放設備對應相同音訊格式、相同視訊格式相應的平均值，進而更新時延表為控制設備提供音訊視訊同步調整的最佳時延資料，解決觀眾在觀看HDMI多媒體影像時音訊視訊不同步的問題。
10‧‧‧控制設備
100‧‧‧獲取模組
102‧‧‧調整模組
104‧‧‧判斷模組
106‧‧‧通信模組
108‧‧‧視訊檢測模組
110‧‧‧音訊檢測模組
112‧‧‧處理模組
114‧‧‧存儲模組
20‧‧‧雲端伺服器
200‧‧‧預存模組
202‧‧‧接收模組
204‧‧‧偵測模組
206‧‧‧記憶體
208‧‧‧處理器
30‧‧‧播放設備
300‧‧‧顯示器
302‧‧‧揚聲器
40‧‧‧數位音訊解碼器
50‧‧‧擴音器
60‧‧‧音響
無
S600~S616‧‧‧控制設備音訊視訊同步的方法步驟

Claims (16)

  1. 一種控制設備，該控制設備與雲端伺服器、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該控制設備包括：
    獲取模組，用於獲取該播放設備的身份識別字，並獲取該控制設備進行傳送的音訊的格式資訊、視訊的格式資訊，根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該雲端伺服器獲取對應的時延資料；及
    調整模組，用於根據該從該雲端伺服器獲取的時延資料進行該音訊與視訊的時延設置，以讓該音訊與視訊同步。
  2. 如申請專利範圍第1項所述之控制設備，還包括：
    判斷模組，用於判斷該音訊與該視訊是否同步播放；
    通信模組，用於當該音訊與視訊同步播放時，將該音訊與視訊的當前的時延資料返回給該雲端伺服器。
  3. 如申請專利範圍第2項所述之控制設備，還包括:
    視訊檢測模組，用於當該音訊與視訊不為同步播放時，偵測該播放設備的視訊處理時延；及
    音訊檢測模組，用於當該音訊與視訊不為同步播放時，偵測該播放設備的音訊處理時延；
    其中，該調整模組還用於根據該視訊檢測模組所偵測之視訊處理時延、該音訊檢測模組所偵測之音訊處理時延進行該音訊與視訊的時延設置。
  4. 如申請專利範圍第3項所述之控制設備，其中，該判斷模組還用於在該音訊與視訊不同步時，提供使用者設置介面，以供使用者設置時延資料，該調整模組還用於根據該使用者設置的時延資料進行該音訊與視訊的時延設置。
  5. 一種雲端伺服器，該雲端伺服器與控制設備、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該雲端伺服器包括:
    預存模組，用於預先存儲一個時延表，該時延表中有不同播放設備對不同音訊格式、不同視訊格式從開始音訊、視訊解碼到播放所需要的音訊時延、視訊時延；
    接收模組，用於接收該播放設備上傳的身份識別字，該播放設備進行傳送的音訊的格式資訊、視訊的格式資訊；
    偵測模組，根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該時延表中獲取對應的時延資料，並將時延資料回饋給該控制設備。
  6. 如申請專利範圍第5項所述之雲端伺服器，其中，該接收模組還用於接收該播放設備返回的時延資料；
    該偵測模組還用於判斷該時延資料是否由該控制設備自動檢測得到，當該時延資料是自動檢測得到時，對該時延表進行相應更新。
  7. 如申請專利範圍第6項所述之雲端伺服器，其中，該偵測模組在該偵測模組偵測到具有複數自動檢測得到的時延資料時，根據該複數自動檢測到的時延資料計算平均值，並依據平均值更新時延表中的對應播放設備的時延值。
  8. 如申請專利範圍第6項所述之雲端伺服器，其中，該偵測模組還用於判斷該時延資料是否由使用者設置，當該時延資料是使用者設置時，判斷使用者設置的時延資料是否處於預設的閾值範圍，當處於該閾值範圍時，依據該身份識別字、該音訊的格式資訊、該視訊的格式資訊對該時延資料進行分類，統計各類中時延資料的數量，並判斷該時延資料的數量是否超過一預設值，當該時延資料的數量超過該預設值時，根據該使用者設置的時延資料計算平均值，根據平均值對該時延表進行相應更新。
  9. 一種控制設備音訊視訊同步的方法，該控制設備與雲端伺服器、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該方法包括：
    獲取該播放設備的身份識別字，並獲取該控制設備進行傳送的音訊的格式資訊、視訊的格式資訊；
    根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該雲端伺服器獲取對應的時延資料；及
    根據該從該雲端伺服器獲取的時延資料進行該音訊與視訊的時延設置，以讓該音訊與視訊同步。
  10. 如申請專利範圍第9項所述之方法，還包括：
    判斷該音訊與該視訊是否同步播放；
    當該音訊與視訊同步播放時，將該音訊與視訊的當前的時延資料返回給該雲端伺服器。
  11. 如申請專利範圍第10項所述之方法，還包括：
    當該音訊與視訊不為同步播放時，偵測該播放設備的視訊處理時延；及
    當該音訊與視訊不為同步播放時，偵測該播放設備的音訊處理時延；及
    根據所偵測之視訊處理時延、所偵測之音訊處理時延進行該音訊與視訊的時延設置。
  12. 如申請專利範圍第11項所述之方法，還包括：
    在該音訊與視訊不同步時，提供使用者設置介面，以供使用者設置時延資料，根據該使用者設置的時延資料進行該音訊與視訊的時延設置。
  13. 一種雲端伺服器音訊視訊同步的方法，該雲端伺服器與控制設備、播放設備相連，該控制設備向該播放設備傳輸音訊與視訊，該方法包括：
    預先存儲一個時延表，該時延表中有不同播放設備對不同音訊格式、不同視訊格式從開始音訊、視訊解碼到播放所需要的音訊時延、視訊時延；
    接收該播放設備上傳的身份識別字，該播放設備進行傳送的音訊的格式資訊、視訊的格式資訊；及
    根據該身份識別字、該音訊的格式資訊、該視訊的格式資訊從該時延表中獲取對應的時延資料，並將時延資料回饋給該控制設備。
  14. 如申請專利範圍第13項所述之方法，還包括：
    接收該播放設備返回的時延資料；
    判斷該時延資料是否由該控制設備自動檢測得到，當該時延資料是自動檢測得到時，對該時延表進行相應更新。
  15. 如申請專利範圍第14項所述之方法，還包括：
    偵測到具有多個自動檢測得到的時延資料時，根據該多個自動檢測到的時延資料計算平均值，並依據平均值更新時延表中的對應播放設備的時延值。
  16. 如申請專利範圍第14項所述之方法，還包括：
    判斷該時延資料是否由使用者設置，當該時延資料是使用者設置時，判斷使用者設置的時延資料是否處於預設的閾值範圍，當處於該閾值範圍時，依據該身份識別字、該音訊的格式資訊、該視訊的格式資訊對該時延資料進行分類，統計各類中時延資料的數量，並判斷該時延資料的數量是否超過一預設值，當該時延資料的數量超過該預設值時，根據該使用者設置的時延資料計算平均值，根據平均值對該時延表進行相應更新。
TW104119901A 2015-06-16 2015-06-18 雲端伺服器、控制設備及音訊視訊同步方法 TWI551148B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510333713.4A CN106331562B (zh) 2015-06-16 2015-06-16 云端服务器、控制设备及音频视频同步方法

Publications (2)

Publication Number Publication Date
TWI551148B TWI551148B (zh) 2016-09-21
TW201701655A true TW201701655A (zh) 2017-01-01

Family

ID=57445198

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104119901A TWI551148B (zh) 2015-06-16 2015-06-18 雲端伺服器、控制設備及音訊視訊同步方法

Country Status (3)

Country Link
US (1) US9794451B2 (zh)
CN (1) CN106331562B (zh)
TW (1) TWI551148B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3773949A4 (en) * 2018-04-06 2021-12-29 Novi Digital Entertainment Private Limited Synchronization of online gaming environment with video streaming of a live event
CN113273221B (zh) * 2018-10-24 2024-03-08 弗劳恩霍夫应用研究促进协会 源设备、接收设备和方法
CN109379619B (zh) * 2018-11-20 2021-05-18 海信视像科技股份有限公司 音画同步方法及装置
CN109819303B (zh) * 2019-03-06 2021-04-23 Oppo广东移动通信有限公司 数据输出方法及相关设备
GB2586986B (en) * 2019-09-10 2023-05-24 Hitomi Ltd Signal variation measurement
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
CN114760275A (zh) * 2020-03-05 2022-07-15 华为技术有限公司 一种分布式数据传输的方法、装置和系统
US11196899B1 (en) * 2020-06-18 2021-12-07 Sony Group Corporation Synchronization of wireless-audio to video
CN113949917B (zh) * 2020-07-16 2023-09-15 深圳瞬玩科技有限公司 基于云手机的在线视频同步方法和系统
EP4183134A1 (en) * 2020-07-17 2023-05-24 Harman International Industries, Incorporated System and method for remotely creating an audio/video mix and master of live audio and video
CN113766278B (zh) * 2020-08-11 2024-04-12 北京沃东天骏信息技术有限公司 音频播放方法、音频播放装置和音频播放系统
CN113453052B (zh) * 2021-06-22 2022-11-08 Vidaa(荷兰)国际控股有限公司 音画同步方法及显示设备
CN113270098B (zh) * 2021-06-22 2022-05-13 广州小鹏汽车科技有限公司 语音控制方法、车辆、云端和存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
US6753925B2 (en) * 2001-03-30 2004-06-22 Tektronix, Inc. Audio/video processing engine
JP4546682B2 (ja) * 2001-06-26 2010-09-15 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
US7212247B2 (en) * 2002-01-31 2007-05-01 Thomson Licensing Audio/video system providing variable delay
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
JP4124110B2 (ja) * 2003-11-26 2008-07-23 ソニー株式会社 コンテンツ視聴支援装置及びコンテンツ視聴支援方法、並びにコンピュータ・プログラム
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
JP2007324919A (ja) * 2006-05-31 2007-12-13 Toshiba Corp 音声および映像信号送信装置ならびに信号処理方法
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
US8665320B2 (en) * 2010-07-26 2014-03-04 Echo Star Technologies L.L.C. Method and apparatus for automatic synchronization of audio and video signals
TWI501673B (zh) * 2011-02-16 2015-09-21 Amtran Technology Co Ltd 無線音訊與視訊同步播放的方法及其播放系統
KR20130026322A (ko) * 2011-09-05 2013-03-13 주식회사 팬택 외부출력장치와 연결시 지연 없는 출력이 가능한 소스 단말 및 그 연결방법
JP5959951B2 (ja) * 2012-06-15 2016-08-02 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
DE102012212485A1 (de) * 2012-07-17 2014-01-23 Rohde & Schwarz Gmbh & Co. Kg Testsystem und Testverfahren zum Ermitteln von Verarbeitungsparametern von Audio- und/oder Video-Daten
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
TWI496455B (zh) * 2013-04-10 2015-08-11 Wistron Corp 影音同步檢測裝置與方法
CN103685795B (zh) * 2013-12-13 2016-09-07 广州市百果园网络科技有限公司 网络语音通信中的数据对齐方法和系统
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置

Also Published As

Publication number Publication date
US20160373615A1 (en) 2016-12-22
TWI551148B (zh) 2016-09-21
CN106331562B (zh) 2020-04-24
US9794451B2 (en) 2017-10-17
CN106331562A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
TWI551148B (zh) 雲端伺服器、控制設備及音訊視訊同步方法
CN108810649B (zh) 画质调节方法、智能电视机及存储介质
US10178345B2 (en) Apparatus, systems and methods for synchronization of multiple headsets
US10390109B2 (en) System and method for synchronizing metadata with audiovisual content
US20140376873A1 (en) Video-audio processing device and video-audio processing method
GB2528557A (en) Soundbar
JP2007533189A (ja) ビデオ・オーディオ同期
CN109379613B (zh) 音视频同步调整方法、电视、计算机可读存储介质及系统
US11122323B2 (en) Smart television signal source-based method for displaying floating menu and smart television
US20180203660A1 (en) Display system
KR102201617B1 (ko) Av기기 및 그 제어방법
US11431880B2 (en) Method and device for automatically adjusting synchronization of sound and picture of TV, and storage medium
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
KR20180006798A (ko) 디스플레이장치와, 기록매체
US9595299B2 (en) Method and apparatus for adapting audio delays to picture frame rates
JP2017147594A (ja) オーディオ機器
CN111354235A (zh) 一种钢琴远程教学系统
KR20010018572A (ko) 오디오/비디오 신호 동기 장치 및 그 방법
CN115767158A (zh) 同步播放方法、终端设备及存储介质
CN109963186B (zh) 影音同步装置及影音数据同步方法
CN114339326B (zh) 基于视频播放的声画同步方法、装置和系统
JP2013143706A (ja) 映像音声処理装置、及びそのプログラム
KR100655000B1 (ko) 신호 동기의 자동 조절을 위한 텔레비젼 수상기 및 방법
WO2021009298A1 (en) Lip sync management device
CN115811628A (zh) 声音与画面的同步处理方法及相关装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees