TWI813213B - 影音訊號同步方法與影音同步處理系統 - Google Patents

影音訊號同步方法與影音同步處理系統 Download PDF

Info

Publication number
TWI813213B
TWI813213B TW111110463A TW111110463A TWI813213B TW I813213 B TWI813213 B TW I813213B TW 111110463 A TW111110463 A TW 111110463A TW 111110463 A TW111110463 A TW 111110463A TW I813213 B TWI813213 B TW I813213B
Authority
TW
Taiwan
Prior art keywords
audio
video
processing
visual
module
Prior art date
Application number
TW111110463A
Other languages
English (en)
Other versions
TW202339508A (zh
Inventor
魏世驊
李勇叡
曹定邦
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111110463A priority Critical patent/TWI813213B/zh
Priority to US18/123,380 priority patent/US20230307005A1/en
Application granted granted Critical
Publication of TWI813213B publication Critical patent/TWI813213B/zh
Publication of TW202339508A publication Critical patent/TW202339508A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N2017/006—Diagnosis, testing or measuring for television systems or their details for television sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Synchronizing For Television (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

一種影音訊號同步方法與系統，方法應用於一影音系統中，當影音系統運作時，通過其中分散式影音同步校正模組取得影音系統中負責處理音訊與視訊的各種影音電路模組回報的延遲資訊，使得影音系統中負責處理影音訊號同步的影音同步處理系統得出音訊與視訊的一時間差，影音系統即可在處理影音數據時，還根據此時間差同步音訊與視訊後輸出一影音內容。

Description

影音訊號同步方法與影音同步處理系統
說明書提出一種影音訊號同步方法，特別是指一種建置分散式通報機制以進行自動影音訊號延遲補償的影音訊號同步方法與影音同步處理系統。
一個影音系統分別處理所接收的影音數據的音訊部分與視訊部分，因為音訊與視訊有不同的編解碼與壓縮技術，並由不同的電路與軟體處理兩種訊號，因此在最終要合成輸出影音內容時，會因為音訊與視訊處理路徑上各電路與軟體處理時間不同而產生影音不同步的問題。
先參考圖1示意表示的習知的影音系統電路方塊圖，圖中顯示有一影音處理裝置10，其中電路主要有數據處理單元101、音訊解碼器102、視訊解碼器103、影音同步器（如圖式中的集中式影音同步校正模組105）、音訊輸出單元106、視訊輸出單元107以及輸出介面108。
當影音處理裝置10接收由影音數據來源11所傳送的影音數據，經數據處理單元101進行分析與處理後，可以通過音訊解碼器102與視訊解碼器103分別處理影音數據中的音訊與視訊，包括根據影音數據來源11執行的編碼與壓縮技術進行對應的解碼與解壓縮，處理後的音訊與視訊提供至集中式影音同步校正模組105，通過硬體與軟體方法根據音訊與視訊經處理後形成的時間延遲進行集中式的影音同步處理。習知的方式會根據影音處理裝置10中處理音訊與視訊的時間延遲查表後設定一組延遲，因此訊號進入集中式影音同步校正模組105對音訊或視訊數據執行此組延遲後，分別通過音訊輸出單元106與視訊輸出單元107輸出至輸出介面108，以特定規格的影音介面（如HDMI、DisplayPort等）輸出，以揚聲器12輸出經過同步的聲音，以及以顯示器13播出經過同步的影像。
習知技術中，如電視訊號，電視影音的同步方法是靠著測試人員透過測量工具調整聲音或畫面延遲來完成，不同的播放影片的幀率以及聲音編碼的組合使得測試人員需要一一測量建立一份集中式的表格，會花費大量時間調整影音同步參數，並且這樣的設計並不容易客製化以及調整測試。而數位電視的同步方法是透過碼流中帶的時間戳來達成，但由於電視系統中有影像及聲音的處理所以仍舊會有影音不同步的情況發生。
有鑑於習知技術面對各種影音格式與處理技術僅依據事先量測的時間延遲提供固定延遲補償的方法並無法滿足所有的影音同步需求的缺失，說明書提出一種影音訊號同步方法以及影音同步處理系統，其中建置一分散式通報機制收集影音系統中主要電路模組（一或多個音訊與視訊的處理電路）提供的延遲資訊彙整出校正值，以進行自動影音訊號延遲補償，可以讓影音系統（如電視系統）可以輸出經過同步優化的影音內容，也使得影音系統中各電路模組的工程人員可以透過改善習知技術的方式提供每個影音系統客製化且精準的同步方案，使觀賞者得到最好的觀賞體驗。
根據實施例，所提出的影音同步處理系統設於一影音系統中，在系統所運行的影音訊號同步方法中，當接收一影音數據後，通過影音同步處理系統中以一軟體或搭配硬體元件實現的分散式影音同步校正模組收集其中電路模組的延遲資訊，包括影音系統內處理音訊的一或多個音訊模組以及處理視訊的一或多個視訊模組可即時回報各自處理的延遲時間至分散式影音同步校正模組。之後，影音同步處理系統根據接收到的各種模組數據可得出音訊與視訊的一時間差，在執行一影音數據處理程序後，根據時間差同步音訊與視訊後輸出一影音內容。因此，當影音系統播放影音內容時，一旦知悉播放過程中處理延遲時間有變化，其中影音同步處理系統仍能即時收到新的數據並即時同步音訊與視訊。
其中，進一步地，影音數據經影音同步處理系統處理後，將分別形成經過時間補償的音訊與視訊，以分別通過影音系統中的音訊輸出電路與視訊輸出電路輸出影音內容。
更者，所述音訊的一或多個音訊模組為在一音訊處理路徑上啟用的一或多個音訊處理模組，可為硬體或軟體模組，而所述視訊的一或多個視訊模組為一視訊處理路徑上啟用的一或多個視訊處理模組，亦可為硬體或軟體模組。
優選地，所述影音訊號同步方法可在開啟一影音裝置或切換一影音頻道後開始執行，當接收到新的影音數據時，即可通過影音訊號同步處理單元檢視處理影音數據中音訊與視訊的一或多個硬體或軟體模組。
進一步地，所述分散式影音同步校正模組還可取得影音系統中的數位訊號處理器即時處理影音數據的時間，彙整至延遲資訊中，使得校正影音數據時還考量數位訊號處理器即時處理影音數據的時間。
根據再一實施例，可利用影音樣本取得上述各電路模組處理數據形成的延遲資訊，並由分散式影音同步校正模組收集，再據此建立一查找表，查找表可涵蓋一音訊處理時間查找表與一視訊處理時間查找表，其中音訊處理時間查找表記載處理音訊的一或多個音訊模組個別對應的音訊處理時間，視訊處理時間查找表記載處理視訊的一或多個視訊模組個別對應的視訊處理時間。
進一步地，根據一實施例，其中建立查找表的方法包括，準備一影音樣本，於影音樣本中加入一影音標記，根據影音標記量測影音樣本中的音訊與視訊分別在各自的處理路徑上的每個電路模組（亦可包括軟體模組）的處理時間，例如可以影音系統中的一系統時脈信號根據影音標記量測各電路或軟體模組的處理時間，即可據此建立查找表。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者訊號，但這些元件或者訊號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一訊號與另一訊號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
面對當前越來越豐富的影音格式以及影音處理技術，習知採用固定延遲補償的影音同步方法已經沒有辦法滿足各種影音格式的影音同步的需求，理由是不同影音數據的格式會需要不同的處理方法，使得原本就已經很複雜的影音系統（如電視系統）更難有穩定的影音同步輸出，本發明揭露書即提出一種影音訊號同步方法與系統，可以提供更佳的同步影音輸出，設計影音系統中電路模組的工程人員也可以透過揭露書提出的方法對不同的影音系統提供客製化設定，使觀賞者得到最好的觀賞體驗。
揭露書所提出的影音訊號同步方法主要是在影音系統中建置一分散式通報機制，在影音系統運作時可以主動或被動地收集系統中主要電路模組各自回報的延遲資訊彙整出校正值，以進行自動影音訊號延遲補償。根據實施例，可以軟體手段或加上硬體元件實現一分散式影音同步校正模組，分散式影音同步校正模組的運作可參考圖2與圖3的描述。另外可以通過建置查找表實現影音同步的目的，相關實施方式可以參考如圖4所示取得影音數據處理電路與對應處理時間延遲資訊的實施例流程圖。
應用於影音系統中的影音訊號同步方法可參考圖2所示的實施例流程圖。
當影音系統從一影音來源開始接收一影音數據時（步驟S201），影音系統先會以記憶體緩衝此影音數據（步驟S303）。根據實施例之一，影音系統接收新的影音數據的開始可始自使用者操作一影音裝置選擇播放選單中的一個影音內容，或是操作電腦或電視裝置切換其中影音頻道時，即開始接收影音數據。當影音數據緩衝期間，影音系統通過其中數位訊號處理器（DSP，如圖1顯示的數據處理單元101）分析影音數據，並可將影音訊號分離，再以一個以軟體或搭配硬體實現的影音訊號同步處理單元檢測影音訊號處理路徑上啟用的電路模組（亦可包括軟體模組）（步驟S305）。
根據實施例，上述步驟S305可得出處理音訊的一或多個音訊模組，也就是通過影音訊號同步處理單元檢測得出在音訊處理路徑上啟用的一或多個音訊處理模組，以及在視訊處理路徑上啟用的一或多個視訊處理模組。在一相關實施例中，影音系統取得各處理路徑上啟用的電路模組可以一查表方式得出，例如影音系統事先建立的查表，如揭露書提出圖4流程建立查找表得出的表三與表四。所述音訊處理模組或視訊處理模組為硬體或軟體模組，影音系統的影音訊號同步處理單元（可參考圖3）可根據影音數據的格式資訊檢視處理影音數據中音訊與視訊的一或多個硬體或軟體模組。
當檢測出影音系統中處理音訊的音訊處理模組以及處理視訊的視訊處理模組後，通過系統提供的分散式通報機制（如圖3的分散式影音同步校正模組303），各影音模組可自行根據狀態回報延遲資訊（例如回報至圖3的分散式影音同步校正模組30）。進一步地，在一實施例中，影音系統中的數位訊號處理器亦可設計為在此階段回報即時處理影音數據的時間，使得影音系統中的影音同步處理系統可以分散方式取得各音訊模組、各視訊模組或加上數位訊號處理器提供的延遲資訊，延遲資訊主要是要得出各電路模組處理影音數據的時間，這也是造成影音系統延遲而需要解決的延遲時間。
在此列舉一範例，當影音系統開始播放一影音數據時，影音同步處理系統通過分散式通報機制可從音訊處理路徑上啟用的音訊模組回報的延遲資訊得出影音系統處理音訊所花費的時間，可參考公式一，「aTotalTime」表示出影音系統處理音訊所花費的時間，此例顯示得出音訊處理路徑上啟用的音訊模組（enAudioModule(i)）所花的時間（aTime(i)），如enAudioModule(1)、enAudioModule(2)、enAudioModule(3)到enAudioModule(m)分別使用的時間為：aTime(1)、aTime(2)、aTime(3)到aTime(m)，得出處理音訊的花費時間「aTotalTime」。另一方式是可以根據事先建立的查找表（如圖4顯示的方法）得出音訊處理路徑上啟用的音訊模組，並據此計算影音系統中各電路模組處理音訊所花費的時間。
公式一： aTotalTime = (enAudioModule(1) * aTime(1)) + (enAudioModule(2) * aTime(2)) + (enAudioModule(3) * aTime(3)) + … + (enAudioModule(m) * aTime(m))。
再如公式二所示，「vTotalTime」表示出影音系統處理視訊所花費的時間，公式中顯示影音同步處理系統通過分散式通報機制從視訊處理路徑上啟用的視訊模組（enVideoModule(j)）得知所花的時間（vTime(j)），如enVideoModule(1)、enVideoModule(2)、enVideoModule(3)到enVideoModule(m)分別使用的時間為：vTime(1)、vTime(2)、vTime(3)到vTime(n)，得出處理音訊的花費時間「vTotalTime」。
公式二： vTotalTime = (enVideoModule(1) * vTime(1)) + (enVideoModule(2) * vTime(2)) + (enVideoModule(3) * vTime(3)) + … + (enVideoModule(n) * vTime(n))。
如上所述，根據公式一得出影音系統處理音訊的總花費時間「aTotalTime」，根據公式二得出影音系統處理視訊的總花費時間「vTotalTime」，接著參照公式三計算兩者的差異，根據公式三得到影音系統處理音訊與視訊得出的時間差「diffTime」，也就是通過影音系統中分散式通報機制根據各電路模組回報延遲資訊得出的時間差（步驟S207）。
公式三： diffTime = vTotalTime – aTotalTime。
更者，為了滿足客製化的觀影感受，所述方法還定義一組偏移時間（offsetTime），提供影音系統的廠商或是使用者可根據狀況調整，例如公式四所示，將公式三得出的時間差（diffTime）加上偏移時間（offsetTime），提供對時間差的調整（正或負值），可得到最終補償時間（result）的結果。
公式四： result = diffTime + offsetTime。
據此，舉例來說，若補償時間大於零（result ＞ 0），則將音訊延遲，或將視訊相較音訊提前；若補償時間小於零（result ＜ 0），則將視訊延遲，或將音訊相對視訊提前。因此，所提出的影音訊號同步方法在愈複雜的影音系統可提供愈有彈性與更精準的延遲補償的效果。
因此，延續上述圖2顯示的流程，經影音系統影音訊號處理後（步驟S209），可根據影音同步處理系統從各電路模組通報的延遲資訊所得出的時間差（或加上偏移時間）進行補償（步驟S211），最終輸出同步後的影音內容（步驟S213）。
運行上述影音訊號同步方法的系統可應用在特定影音系統，其中設有影音同步處理系統，可為一個電路與軟體模組實現的電路系統，影音系統實作如圖3顯示的影音裝置，其中描述各電路元件的運作方式。
圖中顯示影音裝置設有一影音同步處理系統30，影音同步處理系統30主要元件有影音訊號同步處理單元301，可以為影音同步處理系統30中的電路、韌體或軟體方式實現，以運行影音訊號同步方法，其中設有以軟體手段或加上硬體元件實現的分散式影音同步校正模組303，實現分散式通報的目的。
在所示的影音系統中，通過輸入介面311接收來自影音來源31傳送特定格式的影音數據，觸發所述影音訊號同步方法的方式包括可開啟此影音裝置或是在觀看影音內容時切換至另一影音頻道後開始接收新的影音數據開始，影音訊號同步處理單元301即開始檢視處理影音數據中音訊與視訊的一或多個硬體或軟體模組。
在此實施例中，經初步處理後，其中的音訊經音訊處理模組315處理，視訊經視訊處理模組316處理，音訊處理模組315與視訊處理模組316涵蓋針對特定格式下的音訊與視訊進行訊號轉換、解碼、解壓縮、降噪等電路與軟體模組，形成處理音訊與視訊的處理路徑，可以依照實際需要變更。影音系統中的影音同步處理系統30即根據影音數據的格式檢測出影音處理路徑上的各種音訊模組與視訊模組，根據影音同步處理系統30提供的分散式通報機制，通過分散式影音同步校正模組303取得各電路模組回報的延遲資訊，並據此執行延遲補償。
根據實施例，在影音系統取得影音數據時，即以影音同步處理系統30處理音訊與視訊同步，由分散式影音同步校正模組303分別自輸入端與輸出端的各電路模組取得延遲資訊，延遲資訊包括圖式中音訊處理模組315處理輸入影音數據中音訊所花費的時間以及視訊處理模組316處理影音數據中視訊所花費的時間，還包括輸出端的音訊輸出電路305即時處理輸出音訊的時間以及視訊輸出電路307即時處理輸出視訊的時間，經回報至分散式影音同步校正模組303。進一步地，分散式影音同步校正模組還取得影音系統中的數位訊號處理器即時處理影音數據的時間，同樣彙整至所得到的延遲資訊中，使得校正影音數據時還考量數位訊號處理器即時處理影音數據的時間。如此，可讓分散式影音同步校正模組303從各個正在運作中的電路模組回報的資訊中彙整得到延遲時間，計算出公式三的時間差，能即時校正正在輸出的音訊與視訊。
根據上述實施例，可知影音數據經影音同步處理系統30處理後，將分別形成經過時間補償的音訊與視訊，可參考圖2流程與公式三與四描述的方法，經延遲補償的音訊與視訊經音訊輸出電路305與視訊輸出電路307輸出，由輸出介面309形成輸出影音32。
根據上述分散式影音同步校正模組建立的分散式通報機制，因為各電路模組形成的延遲為固定值，或是變化不大，因此還可以根據自不同電路模組各自取得的資訊建立一查找表，作為延遲補償的依據。可參考圖4所示建立影音數據處理電路與對應處理時間查找表的實施例流程。
在此流程中，先準備輸入至影音系統的影音樣本（步驟S401），影音樣本如一片段的影音內容，並可以各種編碼與壓縮方法處理，並在影音樣本中加入一影音標記（步驟S403），接著即輸入至待建立查找表的影音系統，如一組電視與機上盒形成的影音系統。
接著，可利用影音系統中執行的軟體或搭配硬體電路，如通過影音訊號同步處理單元，檢測音訊與視訊在處理路徑上的電路模組，亦可包括軟體模組（步驟S405），接著通過影音系統中的分散式影音同步校正模組取得音訊與視訊在各電路模組（亦可包括軟體模組）上的處理時間（步驟S407）。根據一實施例，可利用一系統時脈信號根據上述影音標記量測影音樣本中音訊與視訊處理路徑上各電路或軟體模組的處理時間，以據此在分散式影音同步校正模組中建立查找表（步驟S409）。因此，當分散式影音同步校正模組將各個影音處理的電路模組通知的處理時間，彙整成延遲資訊，並以查找表記錄起來，可使得校正影音數據時同時考量了音訊與視訊在處理路徑上的電路模組即時處理影音數據的時間，最終達成影音同步的目的。
根據一實施例，上述查找表可分為一音訊處理時間查找表與一視訊處理時間查找表，其中音訊處理時間查找表記載處理音訊的一或多個音訊模組個別對應的音訊處理時間，視訊處理時間查找表則是記載處理視訊的一或多個視訊模組個別對應的視訊處理時間。
上述影音系統由許多的軟硬體模組所組成，而不同的影音數據根據其中協定的編解碼技術會有不同的音訊處理路徑與視訊處理路徑，揭露書所提出的影音訊號同步方法即通過軟體或硬體方式量測得到音訊處理路徑與視訊處理路徑上每個軟硬體模組所花費的時間，範例可參考表一與表二。
表一：音訊處理時間查找表。
  audio module(1) audio module(2) audio module(3) … audio module(i)
audio time aTime(1) aTime(2) aTime(3) … aTime(i)
表中audio module(i)表示音訊模組，audio time表示音訊處理時間，aTime(i)表示對應每個音訊模組的音訊處理時間。例如，在此音訊處理時間查找表記載了音訊模組(1)、音訊模組(2)、音訊模組(3)等（即表中的audio module(1)、audio module(2)、audio module(3)… audio module(i)）的音訊處理時間（即表中的aTime­­(1)、aTime­(2)、aTime(3)…aTime­­(i)）。
表二：視訊處理時間查找表。
  video module(1) video module(2) video module(3) … video module(j)
video time vTime(1) vTime(2) vTime(3) … vTime(j)
表中video module(j)表示視訊模組，video time表示視訊處理時間，vTime(j)表示對應每個視訊模組的視訊處理時間。例如，在此視訊處理時間查找表記載了視訊模組(1)、視訊模組(2)、視訊模組(3)等（即表中的video module(1)、video module(2)、video module(3)… video module(i)）的視訊處理時間（即表中的vTime­_1、vTime­­_2、vTime­­_3…vTime­­_i）。如此，根據所檢視得出的一或多個音訊模組與一或多個視訊模組查詢查找表後，可以根據如表一與表二所示每個處理音訊的音訊模組與處理視訊的視訊模組計算處理音訊與視訊的時間差，使得影音系統可根據此時間差同步音訊與視訊後輸出影音內容。
更者，在執行所述影音訊號同步方法時，可即時以軟體或搭配硬體的手段檢測音訊處理路徑與視訊處理路徑上會被啟用的電路或軟體模組，同樣地可以參考查找表，以對照出各路徑上的電路或軟體模組，如以下範例。
表三：啟用音訊模組查找表。
  audio module(1) audio module(2) audio module(3) … audio module(i)
audio path enAudio Module(1) enAudio Module(2) enAudio Module(3) … enAudio Module(i)
表中audio module(i)表示音訊模組，audio path表示音訊處理路徑，enAudioModule(i)表示在音訊處理路徑上可啟用的音訊模組。
在表三顯示的範例中，「啟用的音訊模組(i)（enAudioModule(i)）」表示音訊處理路徑（audio processing path）上已啟用的音訊模組，音訊模組即在音訊處理路徑上用於處理音訊的電路或軟體模組，如訊號採樣、轉換（如數位轉類比、類比轉數位）、解編碼、解壓縮、濾波與等化電路等。
表四：啟用視訊模組查找表。
  video module(1) video module(2) video module(3) … video module(j)
video path enVideo Module(1) enVideo Module(2) enVideo Module(3) … enVideo Module(j)
表中video module(j)表示視訊模組，video path表示視訊處理路徑，enVideoModule(j)表示視訊處理路徑可啟用的視訊模組。
表四顯示的範例中的「啟用的視訊模組(j)（enVideoModule(j)）」表示視訊處理路徑（video processing path）上已啟用的視訊模組，視訊模組表示視訊處理路徑上用於處理視訊的電路或軟體模組，可以為訊號採樣、轉換（如數位轉類比、類比轉數位）、解編碼、解壓縮電路等。
綜上所述，根據以上實施例所描述的影音訊號同步方法與影音同步處理系統，所提出的方法實現一種分散式通報機制，通過以軟體或搭配硬體元件實現的分散式影音同步校正模組即時取得影音系統中各電路模組通報的延遲資訊，還可包括數位訊號處理器的即時處理時間，彙整得出影音系統處理影音數據的延遲資訊，再進行同步校正，實現影音自動同步調較的目的，所述方法亦能滿足針對不同影音系統的客製化需求，提供觀影者沒有影音誤差的觀賞體驗。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
10:影音處理裝置
101:數據處理單元
102:音訊解碼器
103:視訊解碼器
105:集中式影音同步校正模組
106:音訊輸出單元
107:視訊輸出單元
108:輸出介面
11:影音數據來源
12:揚聲器
13:顯示器
30:影音同步處理系統
301:影音訊號同步處理單元
303:分散式影音同步校正模組
305:音訊輸出電路
307:視訊輸出電路
309:輸出介面
32:輸出影音
31:影音來源
311:輸入介面
315:音訊處理模組
316:視訊處理模組
步驟S201～S213:建立查找表的流程
步驟S401～S409:影音訊號同步流程
圖1顯示的習知影音系統的電路方塊示意圖；
圖2顯示影音訊號同步方法的實施例流程圖；
圖3顯示影音同步處理系統應用在影音系統的實施例圖；以及
圖4顯示建立影音數據處理電路與對應處理時間查找表的實施例流程圖。
S201:開始(切換)接收影音數據
S203:緩衝數據
S205:檢測影音訊號處理路徑上啟用的電路模組
S207:各模組自行根據狀態回報延遲時間給影音同步處理系統
S209:影音訊號處理
S211:根據通報結果進行補償
S213:輸出同步後的影音內容

Claims (8)

  1. 一種影音訊號同步方法，應用於一影音系統中，包括：接收一影音數據；通過設於該影音系統中的一分散式影音同步校正模組以分散方式匯集該影音系統中處理一音訊的一或多個音訊模組以及處理一視訊的一或多個視訊模組提供的延遲資訊，並將該影音系統中的一數位訊號處理器即時處理該影音數據的時間彙整至該延遲資訊中；根據彙整得到的該延遲資訊得出該音訊與該視訊的一時間差；以及執行一影音數據處理程序後，根據該時間差同步該音訊與該視訊後輸出一影音內容。
  2. 如請求項1所述的影音訊號同步方法，其中所述處理該音訊的該一或多個音訊模組為一音訊處理路徑上啟用的一或多個音訊處理模組，以及所述視訊的該一或多個視訊模組為一視訊處理路徑上啟用的一或多個視訊處理模組。
  3. 如請求項2所述的影音訊號同步方法，其中該音訊處理模組或該視訊處理模組為硬體或軟體模組，該影音系統的一影音訊號同步處理單元根據該影音數據的格式資訊檢視處理該影音數據中音訊與視訊的一或多個硬體或軟體模組。
  4. 如請求項3所述的影音訊號同步方法，其中係自開啟一影音裝置或切換一影音頻道後開始接收該影音數據，即通過該影音訊號同步處理單元檢視處理該影音數據中音訊與視訊的一或多個硬體或軟體模組。
  5. 如請求項1所述的影音訊號同步方法，其中，以該分散式影音同步校正模組取得的延遲資訊建立一查找表，該查找表涵蓋一音訊處理時間查找表與一視訊處理時間查找表，其中該 音訊處理時間查找表記載處理音訊的一或多個音訊模組個別對應的音訊處理時間，該視訊處理時間查找表記載處理視訊的一或多個視訊模組個別對應的視訊處理時間。
  6. 如請求項5所述的影音訊號同步方法，其中建立該查找表的方法包括：準備一影音樣本；於該影音樣本中加入一影音標記；根據該影音標記量測該影音樣本中的音訊與視訊分別在各自的處理路徑上的每個電路或軟體模組的處理時間；以及建立該查找表。
  7. 如請求項6所述的影音訊號同步方法，其中，以該影音系統中的一系統時脈信號根據該影音標記量測各電路或軟體模組的處理時間。
  8. 一種影音同步處理系統，設於一影音系統中，包括：一影音訊號同步處理單元；一分散式影音同步校正模組；其中該影音訊號同步處理單元運行一影音訊號同步方法，該方法包括：接收一影音數據；通過該分散式影音同步校正模組以分散方式匯集該影音系統中處理一音訊的一或多個音訊模組以及處理一視訊的一或多個視訊模組提供的延遲資訊，並將該影音系統中的一數位訊號處理器即時處理該影音數據的時間彙整至該延遲資訊中；根據彙整得到的該延遲資訊得出該音訊與該視訊的一時間差；以及執行一影音數據處理程序後，該影音系統根據該時間差同 步該音訊與該視訊後輸出一影音內容。
TW111110463A 2022-03-22 2022-03-22 影音訊號同步方法與影音同步處理系統 TWI813213B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111110463A TWI813213B (zh) 2022-03-22 2022-03-22 影音訊號同步方法與影音同步處理系統
US18/123,380 US20230307005A1 (en) 2022-03-22 2023-03-20 Method for audiovisual signal synchronization and audiovisual synchronization processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111110463A TWI813213B (zh) 2022-03-22 2022-03-22 影音訊號同步方法與影音同步處理系統

Publications (2)

Publication Number Publication Date
TWI813213B true TWI813213B (zh) 2023-08-21
TW202339508A TW202339508A (zh) 2023-10-01

Family

ID=88096303

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111110463A TWI813213B (zh) 2022-03-22 2022-03-22 影音訊號同步方法與影音同步處理系統

Country Status (2)

Country Link
US (1) US20230307005A1 (zh)
TW (1) TWI813213B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060534A (zh) * 2016-06-03 2016-10-26 公安部第三研究所 一种音视频同步测试的系统及方法
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060534A (zh) * 2016-06-03 2016-10-26 公安部第三研究所 一种音视频同步测试的系统及方法
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Also Published As

Publication number Publication date
TW202339508A (zh) 2023-10-01
US20230307005A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
KR100694060B1 (ko) 오디오 비디오 동기화 장치 및 그 방법
JP4990762B2 (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
US8620134B2 (en) Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
US20140376873A1 (en) Video-audio processing device and video-audio processing method
US7970222B2 (en) Determining a delay
US20070223874A1 (en) Video-Audio Synchronization
KR20050085344A (ko) 신호 동기화 방법 및 시스템
JP2004507176A (ja) メディアサンプルをタイムコーディングする方法、システム、およびデータ構造
CN101204081A (zh) 自动音频和视频同步
KR100359782B1 (ko) 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
CN102075803B (zh) 一种播放音视频同步的方法
JP2002290767A (ja) 映像及び音声の時間合わせ装置及び時間合わせ方法
US20140095662A1 (en) Method and System for Providing a Synchronized User Experience from Multiple Modules
TW201347521A (zh) 時間戳調整系統及方法
CN111510758A (zh) 一种钢琴视频教学中的同步方法及系统
TWI813213B (zh) 影音訊號同步方法與影音同步處理系統
JP6606526B2 (ja) 同期制御装置及び同期制御方法
CN110177293B (zh) 一种同步组播和视频转发方法、系统
CN111354235A (zh) 一种钢琴远程教学系统
CN116939119A (zh) 影音信号同步方法与影音同步处理系统
JP2002176643A (ja) 映像・音声復号処理における映像・音声の同期再生方式
US6192074B1 (en) Fixed frequency source timing processor method and apparatus
US7599005B2 (en) Method for synchronizing video signals
JPH11134804A (ja) 映像音声同期システム