TWI743774B - 音訊與視訊同步方法與相關的裝置 - Google Patents
音訊與視訊同步方法與相關的裝置 Download PDFInfo
- Publication number
- TWI743774B TWI743774B TW109115252A TW109115252A TWI743774B TW I743774 B TWI743774 B TW I743774B TW 109115252 A TW109115252 A TW 109115252A TW 109115252 A TW109115252 A TW 109115252A TW I743774 B TWI743774 B TW I743774B
- Authority
- TW
- Taiwan
- Prior art keywords
- time stamp
- video data
- difference
- video
- audio
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一種音訊與視訊同步方法，其包含以下流程：獲取第一視訊資料的第一出現時戳以及第二視訊資料的第二出現時戳；選擇主控時戳，且主控時戳對應於音訊資料或垂直同步脈波；計算第一出現時戳與主控時戳之間的第一時戳差值以及第二出現時戳與主控時戳之間的第二時戳差值；以及根據第一時戳差值、第二時戳差值及第一視訊資料是否已被輸出達一預定次數，選擇輸出第一視訊資料或第二視訊資料。
Description
本揭示文件有關一種音訊與視訊處理方法，尤指一種音訊與視訊同步方法。
藉由連接數位機上盒(set-up box)與電視機，電機視可以接收以各種有線與無線方式傳輸的數位內容，例如高品質的音訊與視訊串流。在許多情況下，視訊串流的幀率會因為傳輸過程的延遲而有所變動。因此，傳統的數位機上盒會將視訊串流的視訊資料過多或過少次地傳送至電視機，進而造成影音不同步的結果。
本揭示文件提供一種音訊與視訊同步方法，其包含以下流程：獲取第一視訊資料的第一出現時戳以及第二視訊資料的第二出現時戳；選擇主控時戳，且主控時戳對應於音訊資料或垂直同步脈波；計算第一出現時戳與主控時戳之間的第一時戳差值以及第二出現時戳與主控時戳之間的第二時戳差值；以及根據第一時戳差值、第二時戳差值及第一視訊資料是否已被輸出達一預定次數，選擇輸出第一視訊資料或第二視訊資料。
本揭示文件提供另一種音訊與視訊同步方法，其包含以下流程：獲取第一視訊資料的第一出現時戳以及第二視訊資料的第二出現時戳；選擇主控時戳，且主控時戳對應於音訊資料或垂直同步脈波；計算第一出現時戳與主控時戳之間的第一時戳差值以及第二出現時戳與主控時戳之間的第二時戳差值；以及根據第一時戳差值、第二時戳差值及第一視訊資料是否已被輸出，選擇輸出或不輸出第二視訊資料。
本揭示文件提供一種音訊與視訊處理裝置，其包含解碼器、編碼與傳送單元與同步控制器。解碼器用於獲取第一視訊資料、第二視訊資料與音訊資料。編碼與傳送單元用於輸出音訊資料與垂直同步脈波，且用於選擇輸出第一視訊資料或第二視訊資料。同步控制器耦接於解碼器以及編碼與傳送單元，用於接收第一視訊資料的第一出現時戳、第二視訊資料的第二出現時戳以及對應於音訊資料或垂直同步脈波的主控時戳。同步控制器用於計算第一出現時戳與主控時戳之間的第一時戳差值以及第二出現時戳與主控時戳之間的第二時戳差值。同步控制器還用於依據第一時戳差值、第二時戳差值及第一視訊資料是否已被輸出達一預定次數，指示編碼與傳送單元選擇輸出第一視訊資料或第二視訊資料。
上述的音訊與視訊同步方法與音訊與視訊處理裝置能避免影音不同步的現象。
以下將配合相關圖式來說明本揭示文件的實施例。在圖式中，相同的標號表示相同或類似的元件或方法流程。
第1圖為依據本揭示文件一實施例的音訊與視訊處理裝置100簡化後的功能方塊圖。音訊與視訊處理裝置100包含解多工器110、儲存單元120、解碼器130、同步控制器140以及編碼與傳送單元150。音訊與視訊處理裝置100用於耦接一播放系統101，且用於依據接收到的音訊串流SA與視訊串流SV提供播放系統101對應的控制訊號，例如水平同步訊號、垂直同步訊號Vsync與灰階資料等等。
在一些實施例中，音訊與視訊處理裝置100可以是數位視訊轉換盒，而播放系統101則可以是包含揚聲器的電視機或是家庭劇院組。
解多工器110耦接於儲存單元120，當解多工器110收到以有線或無線方式傳輸的音訊串流SA與視訊串流SV時，會將音訊串流SA中的音訊封包與視訊串流SV中的視訊封包分別儲存於儲存單元120中對應的區塊。例如將音訊封包儲存於儲存單元120中的一個先入先出緩衝器，並將視訊封包儲存於另一個先入先出緩衝器，但本揭示文件不以此為限。音訊封包分為表頭(header)及負載(payload)，負載的內容包含對應於複數幀的複數筆音訊資料Ao，而表頭則記載了音訊資料Ao的播放順序。在一實施例中，音訊封包的表頭包含每筆音訊資料Ao的出現時戳(Presentation Time Stamp，簡稱PTS)。相似地，視訊封包的負載包含對應於複數幀的複數筆視訊資料Vo，而其表頭則包含了這些視訊資料Vo的播放順序，例如每筆視訊資料Vo的出現時戳。
解碼器130用於解碼儲存單元120中的音訊封包與視訊封包，以取得複數筆音訊資料Ao、視訊資料Vo以及對應的出現時戳。解碼後的音訊資料Ao與視訊資料Vo可以由解碼器130回存至儲存單元120，接著由編碼與傳送單元150讀出，或者也可以由解碼器130直接提供至編碼與傳送單元150。編碼與傳送單元150用於依據與播放系統101之間的通訊協定，將音訊資料Ao與視訊資料Vo編碼為適當的格式再傳送至播放系統101。在一實施例中，編碼與傳送單元150可以透過高畫質多媒體介面(High Definition Multimedia Interface，簡稱HDMI)連接至播放系統101。
另外，解碼後獲得的出現時戳可以由解碼器130回存至儲存單元120，接著由同步控制器140讀出，或者也可以由解碼器130直接提供至同步控制器140。同步控制器140用於依據接收到的出現時戳控制編碼與傳送單元150的輸出行為，例如是否重複發送同一筆視訊資料Vo，及/或是否省略其中一筆視訊資料Vo而不將其傳送至播放系統101。
實作上，儲存單元120可以用各種合適的揮發性或非揮發性記憶體電路來實現。解碼器130、同步控制器140以及編碼與傳送單元150可以用硬體、事先儲存於儲存單元120中的軟體或者其組合來實現。
第2圖為一實施例中的音訊資料Ao與視訊資料Vo的時間對應關係示意圖。在音訊主控(audio master)模式中，以每一筆音訊資料Ao的出現時戳作為主控時戳，時間上最接近於主控時戳的視訊資料Vo會跟隨對應於主控時戳的音訊資料Ao一起輸出，其中出現時戳與主控時戳的單位為刻點(tick)。如第2圖所示，音訊串流SA以59.94fps的幀率提供音訊資料Ao(例如，音訊資料Ao1~Ao7)，且視訊串流SV以30fps的幀率提供視訊資料Vo(例如，視訊資料Vo1~Vo4)。因此，於一般運作的規律中，約每500筆視訊資料Vo被輸出時，會有一筆視訊資料Vo被重複輸出兩次。開發者可按照此規律預先配置音訊資料Ao與視訊資料Vo以達成影音同步。然而，當視訊串流SV的幀率發生變化時，可能會有某一幀的視訊資料Vo錯誤地被輸出超過兩次。例如，出現時戳為18970的視訊資料Vo3會跟隨出現時戳分別為17501、19003與20514的三筆音訊資料Ao4、Ao5和Ao6而被輸出三次，可能造成影音不同步。
第3圖為依據本揭示文件一實施例的音訊與視訊同步方法300簡化後的功能方塊圖。第4圖為一實施例中音訊資料Ao與視訊資料Vo的時間對應關係示意圖。前述的音訊與視訊處理裝置100可用於執行音訊與視訊同步方法300。在第4圖中，音訊串流SA以59.94fps的幀率提供音訊資料Ao(例如，音訊資料Ao1~Ao7)，且視訊串流SV以30fps的幀率提供視訊資料Vo(例如，視訊資料Vo1~Vo4)。請同時參考第3圖與第4圖，在流程S302中，解多工器110會接收音訊串流SA與視訊串流SV，並將音訊串流SA中的音訊封包與視訊串流SV中的視訊封包分別儲存於儲存單元120中對應的區塊。
在流程S304中，解碼器130會解碼儲存單元120中的音訊封包與視訊封包，以獲取多個音訊資料Ao(例如，第4圖中的音訊資料Ao1~Ao7)與視訊資料Vo(例如，第4圖中的視訊資料Vo1~Vo4)，並獲取多個音訊資料Ao的出現時戳以及多個視訊資料Vo的出現時戳。
在流程S306中，同步控制器140會獲取解碼後的音訊資料Ao的出現時戳以及視訊資料Vo的出現時戳。並且，同步控制器140會計算一筆音訊資料Ao以及與其相鄰的兩筆視訊資料Vo之間的兩筆時戳差值(timestamp difference)，以判斷是否可能出現影音不同步的情況。時戳差值的計算方式可以是將該筆音訊資料Ao的出現時戳設置為主控時戳，再將主控時戳分別減去相鄰的兩筆視訊資料Vo的出現時戳，再將這些運算結果取絕對值。
例如，同步控制器140可以選擇第4圖中音訊資料Ao6的出現時戳作為主控時戳，因此主控時戳的數值為20514。接著，同步控制器140會計算音訊資料Ao6與視訊資料Vo3(出現時戳為18970)之間的一第一時戳差值Pdif1(亦即1544)，並計算音訊資料Ao6與視訊資料Vo4(出現時戳為22060)之間的一第二時戳差值Pdif2(亦即1546)。
在流程S308中，同步控制器140會進一步計算流程S306中獲得的兩筆時戳差值之間的差異。若這兩筆時戳差值之間的差異大於一臨界數值，判斷不會出現影音不同步的現象，此時同步控制器140會執行流程S310。若這兩筆時戳差值之間的差異小於或等於臨界數值，判斷可能會出現影音不同步的現象，此時同步控制器140執行流程S312。
在流程S310中，同步控制器140會指示編碼與傳送單元150輸出具有最接近主控時戳的出現時戳的視訊資料Vo(亦即前述兩筆時戳差值中較小者所對應的視訊資料Vo)，以及輸出對應於主控時戳的音訊資料Ao。
臨界數值可以事先儲存於儲存單元120之中，實作上，臨界數值可以依據視訊串流SV的幀率、音訊串流SA的幀率、垂直同步訊號Vsync的頻率及/或其他設計上的實際需求來設置。
在本實施例中，臨界數值設置為20刻點，但本揭示文件不以此為限。在以第4圖中音訊資料Ao6的出現時戳作為主控時戳的情況下，由於第一時戳差值Pdif1(亦即1544)與第二時戳差值Pdif2(亦即1546)之間的差異為2，小於臨界數值，音訊與視訊處理裝置100會執行流程S312。在一些實施例中，臨界數值可以是介於20至50之間的一正整數，例如30、35或40。
在流程S312中，同步控制器140會進一步判斷相鄰於主控時戳的兩筆視訊資料Vo中具有較小出現時戳的視訊資料Vo是否已被提供至播放系統101大於或等於一預定次數。若否，則音訊與視訊處理裝置100會執行流程S314，同步控制器140於流程S314中指示編碼與傳送單元150提供具有較小出現時戳的該筆視訊資料Vo至播放系統101。若是，音訊與視訊處理裝置100會執行流程S316，同步控制器140於流程S316中指示編碼與傳送單元150提供相鄰於主控時戳的兩筆視訊資料Vo中具有較大出現時戳的視訊資料Vo至播放系統101。
例如，音訊與視訊處理裝置100可以為每筆視訊資料Vo配置一個初始值為零的計數值，每當視訊資料Vo被提供至播放系統101時，對應的計數值便會加一。
在本實施例中，預定次數的計算方式為先將音訊串流SA的幀率除以視訊串流SV的幀率，接著再將得到的商值四捨五入。例如，若音訊與視訊處理裝置100是用於處理第4圖中幀率為59.94fps的音訊資料Ao以及幀率為30fps視訊資料Vo，則預定次數為二。換言之，預定次數實質上等於將音訊串流SA的幀率除以視訊串流SV的幀率所得的商值。因此，在音訊資料Ao6的出現時戳作為主控時戳的情況下，由於視訊資料Vo3已被輸出2次，編碼與傳送單元150會選擇提供視訊資料Vo4至播放系統101。
在第4圖的情況下，約每500筆的視訊資料Vo被輸出時，會有一筆視訊資料Vo被重複輸出兩次。本揭露提出之同步方法能避免同一筆視訊資料Vo被輸出過多次，以使音訊資料Ao與視訊資料Vo以相同的規律被播放於播放系統101，進而避免影音不同步的現象。
值得注意的是，在上述的多個實施例中，將音訊串流SA與視訊串流SV的幀率分別設定為59.94fps與30fps僅是為了說明上的方便。音訊與視訊同步方法300適用於所有音訊串流SA的幀率大於或等於視訊串流SV的幀率的情況。
舉例來說，第5圖繪示了在音訊串流SA的幀率約等於視訊串流SV的幀率的情況下，音訊資料Ao(例如，音訊資料Ao1~Ao6)與視訊資料Vo(Vo1~Vo5)的時間對應關係。在本實施例中，音訊串流SA以24fps的幀率提供音訊資料Ao，而視訊串流SV以23.97fps的幀率提供視訊資料Vo。依據上述的音訊與視訊同步方法300，預定次數可以被設置為一。在同步控制器140選擇第5圖中音訊資料Ao3的出現時戳作為主控時戳的情況下，同步控制器140會於流程S312中判斷視訊資料Vo2已被提供至播放系統101達到預定次數(亦即，一次)。因此，即使視訊資料Vo2相較於視訊資料Vo3更接近於音訊資料Ao3，編碼與傳送單元150仍會於流程S314中將視訊資料Vo3與音訊資料Ao3一起提供至播放系統101，而不會將視訊資料Vo2與音訊資料Ao3一起輸出。
如此一來，視訊資料Vo2不會被錯誤地被輸出兩次，視訊資料Vo3也不會被錯誤地省略而沒有被輸出至播放系統101，進而避免了影音不同步的現象。
第6圖為依據本揭示文件一實施例的音訊與視訊同步方法600簡化後的功能方塊圖。第7圖為一實施例中音訊資料Ao(例如，音訊資料Ao1~Ao5)與視訊資料Vo(例如，視訊資料Vo1~Vo9)的時間對應關係示意圖。請同時參考第6圖與第7圖，在本實施例中，音訊串流SA以29.97fps的幀率提供音訊資料Ao，而視訊串流SV以60fps的幀率提供視訊資料Vo。因此，於一般運作的規律中，相鄰兩幀的視訊資料Vo的其中之一會被省略而不會被輸出至播放系統101，且約每33秒會有連續二幀的視訊資料Vo被省略。然而，若視訊串流SV的幀率有所變動，則可能會在短時間內多次出現連續二幀的視訊資料Vo被省略的情形，進而可能造成影音不同步。
音訊與視訊同步方法600能避免上述問題，且相似於音訊與視訊同步方法300，差異在於，音訊與視訊同步方法600以流程S612~S616取代流程S312~S316。在流程S612中，同步控制器140會判斷相鄰於主控時戳的兩筆視訊資料Vo中，出現時戳數值較小的視訊資料Vo是否曾經被輸出。若否，則音訊與視訊處理裝置100會執行流程S614，以輸出相鄰於主控時戳的兩筆視訊資料Vo中具有較大出現時戳的視訊資料Vo，以及輸出對應於主控時戳的音訊資料Ao。若是，則音訊與視訊處理裝置100會執行流程S616，以省略相鄰於主控時戳的兩筆視訊資料Vo中具有較大出現時戳的視訊資料Vo，亦即編碼與傳送單元150不會輸出具有較大出現時戳的該筆視訊資料Vo。
例如，在一實施例中，同步控制器140選擇第7圖中音訊資料Ao4的出現時戳作為主控時戳，其中視訊資料Vo7與視訊資料Vo8相鄰於主控時戳。由於視訊資料Vo7未曾被輸出至播放系統101，音訊與視訊處理裝置100會執行流程S614以輸出視訊資料Vo8，並且輸出音訊資料Ao4。如此一來，在視訊資料Vo4和Vo5被省略後，不會接著出現視訊資料Vo8和Vo9也不當地被省略的情況，因而避免了影音不同步的現象。
值得注意的是，在上述的實施例中，將音訊串流SA與視訊串流SV的幀率分別設定為29.97fps與60fps僅是為了說明上的方便。音訊與視訊同步方法600適用於所有音訊串流SA的幀率小於視訊串流SV的幀率的情況。
在上述的多個實施例中，音訊與視訊同步方法300和600是應用於音訊主控模式，但本揭示文件不以此為限。在一些實施例中，音訊與視訊同步方法300和600亦可以應用於視訊主控模式(video master mode)。在視訊主控模式中，音訊與視訊處理裝置100會依據垂直同步訊號Vsync中的垂直同步脈波的時戳來輸出視訊資料Vo，並依據視訊資料Vo的出現時戳來輸出音訊資料Ao。垂直同步訊號Vsync可以由同步控制器140、編碼與傳送單元150或是音訊與視訊處理裝置100中其他未繪示的電路產生。垂直同步訊號Vsync中的垂直同步脈波用於通知播放系統101開始顯示下一幀畫面。
在一些視訊主控模式中的實施例中，音訊與視訊同步方法300適用於垂直同步訊號Vsync的頻率高於或等於視訊串流SV的幀率的情況。此時，在音訊與視訊同步方法300的流程S306中，同步控制器140會改為將一個垂直同步脈波的時戳設置為主控時戳，並計算該垂直同步脈波以及與其相鄰的兩筆視訊資料Vo之間的兩筆時戳差值。另外，流程S312中預定次數的計算方式可以為先將垂直同步訊號Vsync的頻率除以視訊串流SV的幀率，接著再將得到的商值四捨五入。例如，若垂直同步訊號Vsync的頻率為59.94Hz且視訊串流SV的幀率為30fps，則預定次數可以為二。亦即預定次數實質上等於將垂直同步訊號Vsync的頻率除以視訊串流SV的幀率所得的商值。前述音訊與視訊同步方法300中的其餘對應流程，亦適用於該些視訊主控模式中的實施例，為簡潔起見，在此不重複贅述。
在另一些視訊主控模式中的實施例中，音訊與視訊同步方法600適用於垂直同步訊號Vsync的頻率低於視訊串流SV的幀率的情況。此時，在音訊與視訊同步方法600的流程S306中，同步控制器140會改為將一個垂直同步脈波的時戳設置為主控時戳，並計算該垂直同步脈波以及與其相鄰的兩筆視訊資料Vo之間的兩筆時戳差值。前述音訊與視訊同步方法600中的其餘對應流程，亦適用於該另一些視訊主控模式中的實施例，為簡潔起見，在此不重複贅述。
前述各流程圖中的流程執行順序，只是示範性的實施例，而非意圖侷限本發明的實際實施方式。例如，在前述的各流程圖中，流程S302可以和流程S304同時進行。另外，在一些實施例中，音訊與視訊同步方法300或600可以被重複執行，以確保每一個音訊資料Ao或每一個垂直同步脈波輸出時皆不會出現影音不同步的情況。
以上僅為本揭示文件的較佳實施例，凡依本揭示文件請求項所做的均等變化與修飾，皆應屬本揭示文件的涵蓋範圍。
100:音訊與視訊處理裝置
101:播放系統
110:解多工器
120:儲存單元
130:解碼器
140:同步控制器
150:編碼與傳送單元
SA:音訊串流
SV:視訊串流
Ao、Ao1~Ao7:音訊資料
Vo、Vo1~Vo9:視訊資料
Vsync:垂直同步訊號
300:音訊與視訊同步方法
S302~S316:流程
600:音訊與視訊同步方法
S612~S616:流程
Pdif1:第一時戳差值
Pdif2:第二時戳差值
第1圖為依據本揭示文件一實施例的音訊與視訊處理裝置簡化後的功能方塊圖。
第2圖為一實施例中的音訊資料與視訊資料的時間對應關係示意圖。
第3圖為依據本揭示文件一實施例的音訊與視訊同步方法簡化後的功能方塊圖。
第4圖為一實施例中音訊資料與視訊資料的時間對應關係示意圖。
第5圖為另一實施例中音訊資料與視訊資料的時間對應關係示意圖。
第6圖為依據本揭示文件一實施例的音訊與視訊同步方法簡化後的功能方塊圖。
第7圖為一實施例中音訊資料與視訊資料的時間對應關係示意圖。
300:音訊與視訊同步方法
S302~S316:流程
Claims (10)
- 一種音訊與視訊同步方法，包含：獲取一第一視訊資料的一第一出現時戳以及一第二視訊資料的一第二出現時戳，其中該第二出現時戳大於該第一出現時戳；選擇一主控時戳，其中該主控時戳對應於一音訊資料或一垂直同步脈波；計算該第一出現時戳與該主控時戳之間的一第一時戳差值以及該第二出現時戳與該主控時戳之間的一第二時戳差值；以及根據該第一時戳差值、該第二時戳差值及該第一視訊資料是否已被輸出達一預定次數，選擇輸出該第一視訊資料或該第二視訊資料。
- 如請求項1所述之音訊與視訊同步方法，其中選擇輸出該第一視訊資料或該第二視訊資料的步驟更包含：若該第一時戳差值與該第二時戳差值之間的差異小於或等於一臨界數值，且該第一視訊資料已被輸出大於或等於該預定次數時，輸出該第二視訊資料；以及若該第一時戳差值與該第二時戳差值之間的差異小於或等於該臨界數值，且該第一視訊資料被輸出沒有超過該預定次數時，輸出該第一視訊資料。
- 如請求項1所述之音訊與視訊同步方法，其中選擇輸出該第一視訊資料或該第二視訊資料的步驟更包含：若該第一時戳差值與該第二時戳差值之間的差異大於一臨界數值，且該第一時戳差值小於該第二時戳差值時，輸出該第一視訊資料；以及若該第一時戳差值與該第二時戳差值之間的差異大於該臨界數值，且該第一時戳差值大於該第二時戳差值時，輸出該第二視訊資料。
- 如請求項1所述之音訊與視訊同步方法，另包含：接收一視訊串流，其中該視訊串流包含該第一視訊資料和該第二視訊資料；接收一音訊串流，其中該音訊串流包含該音訊資料；以及產生一垂直同步訊號，其中該垂直同步訊號包含該垂直同步脈波；其中該預定次數係根據該音訊串流的幀率、該垂直同步訊號的頻率或該視訊串流的幀率決定。
- 一種音訊與視訊同步方法，包含：獲取一第一視訊資料的一第一出現時戳以及一第二視訊資料的一第二出現時戳，其中該第二出現時戳大於該第 一出現時戳；選擇一主控時戳，其中該主控時戳對應於一音訊資料或一垂直同步脈波；計算該第一出現時戳與該主控時戳之間的一第一時戳差值以及該第二出現時戳與該主控時戳之間的一第二時戳差值；以及根據該第一時戳差值、該第二時戳差值及該第一視訊資料是否已被輸出，選擇輸出或不輸出該第二視訊資料。
- 如請求項5所述之音訊與視訊同步方法，其中選擇輸出或不輸出該第二視訊資料的步驟更包含：若該第一時戳差值與該第二時戳差值之間的差異小於或等於一臨界數值，且該第一視訊資料已被輸出時，不輸出該第二視訊資料；以及若該第一時戳差值與該第二時戳差值之間的差異小於或等於該臨界數值，且該第一視訊資料未曾被輸出時，輸出該第二視訊資料。
- 如請求項5所述之音訊與視訊同步方法，其中選擇輸出或不輸出該第二視訊資料的步驟更包含：若該第一時戳差值與該第二時戳差值之間的差異大於一臨界數值，且該第一時戳差值小於該第二時戳差值時，輸出該第一視訊資料；以及若該第一時戳差值與該第二時戳差值之間的差異大於 該臨界數值，且該第一時戳差值大於該第二時戳差值時，輸出該第二視訊資料。
- 一種音訊與視訊處理裝置，包含：一解碼器，解碼一視訊串流與一音訊串流以獲取一第一視訊資料、一第二視訊資料與一音訊資料；一編碼與傳送單元，用於輸出該音訊資料與一垂直同步脈波，且用於選擇輸出該第一視訊資料或該第二視訊資料；以及一同步控制器，耦接於該解碼器以及該編碼與傳送單元，用於接收該第一視訊資料的一第一出現時戳、該第二視訊資料的一第二出現時戳以及對應於該音訊資料或該垂直同步脈波的一主控時戳，且用於計算該第一出現時戳與該主控時戳之間的一第一時戳差值以及該第二出現時戳與該主控時戳之間的一第二時戳差值，其中該第二出現時戳大於該第一出現時戳；其中該同步控制器還用於依據該第一時戳差值、該第二時戳差值及該第一視訊資料是否已被輸出達一預定次數，指示該編碼與傳送單元選擇輸出該第一視訊資料或該第二視訊資料。
- 如請求項8所述之音訊與視訊處理裝置，其中，若該同步控制器控制判斷該第一時戳差值與該第二時戳差值之間的差異小於或等於一臨界數值，且判斷該第一 視訊資料已被輸出大於或等於該預定次數時，該編碼與傳送單元輸出該第二視訊資料，若該同步控制器判斷該第一時戳差值與該第二時戳差值之間的差異小於或等於該臨界數值，且判斷該第一視訊資料被輸出沒有超過該預定次數時，該編碼與傳送單元輸出該第一視訊資料。
- 如請求項8所述之音訊與視訊處理裝置，其中，若該同步控制器判斷該第一時戳差值與該第二時戳差值之間的差異大於一臨界數值，且判斷該第一時戳差值小於該第二時戳差值時，該編碼與傳送單元輸出該第一視訊資料，其中若該同步控制器判斷該第一時戳差值與該第二時戳差值之間的差異大於該臨界數值，且判斷該第一時戳差值大於該第二時戳差值時，該編碼與傳送單元輸出該第二視訊資料。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/930,645 US11457266B2 (en) | 2019-07-18 | 2020-07-16 | Method for synchronizing audio and video and related apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962875943P | 2019-07-18 | 2019-07-18 | |
| US62/875,943 | 2019-07-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202106037A TW202106037A (zh) | 2021-02-01 |
| TWI743774B true TWI743774B (zh) | 2021-10-21 |
Family
ID=74170515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109115252A TWI743774B (zh) | 2019-07-18 | 2020-05-07 | 音訊與視訊同步方法與相關的裝置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112243145B (zh) |
| TW (1) | TWI743774B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080198921A1 (en) * | 2007-02-15 | 2008-08-21 | Samsung Electronics Co., Ltd. | Method and apparatus for reproducing digital broadcasting |
| US9179118B2 (en) * | 2011-05-12 | 2015-11-03 | Intel Corporation | Techniques for synchronization of audio and video |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5821885A (en) * | 1994-07-29 | 1998-10-13 | Discovision Associates | Video decompression |
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| US5594660A (en) * | 1994-09-30 | 1997-01-14 | Cirrus Logic, Inc. | Programmable audio-video synchronization method and apparatus for multimedia systems |
| JP4983147B2 (ja) * | 2006-08-18 | 2012-07-25 | 富士通セミコンダクター株式会社 | 多重化装置、多重化方法および多重化プログラム |
| KR100916505B1 (ko) * | 2008-02-20 | 2009-09-08 | 한국전자통신연구원 | 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치 |
| CN102421035A (zh) * | 2011-12-31 | 2012-04-18 | 青岛海信宽带多媒体技术有限公司 | 数字电视音视频同步的实现方法及装置 |
| US9741316B2 (en) * | 2012-06-22 | 2017-08-22 | Universität des Saarlandes | Method and system for displaying pixels on display devices |
| CN105100963B (zh) * | 2014-05-22 | 2017-12-22 | 纬创资通股份有限公司 | 影音媒体文件合成方法与服务系统 |
| CN104618786B (zh) * | 2014-12-22 | 2018-01-05 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
| CN105933800A (zh) * | 2016-04-29 | 2016-09-07 | 联发科技（新加坡）私人有限公司 | 一种视频播放方法及其控制终端 |
| CN108243350B (zh) * | 2016-12-26 | 2020-05-05 | 深圳市中兴微电子技术有限公司 | 一种音视频同步处理的方法和装置 |
| CN108495164B (zh) * | 2018-04-09 | 2021-01-29 | 珠海全志科技股份有限公司 | 音视频同步处理方法及装置、计算机装置及存储介质 |
-
2020
- 2020-05-07 TW TW109115252A patent/TWI743774B/zh active
- 2020-05-19 CN CN202010424282.3A patent/CN112243145B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080198921A1 (en) * | 2007-02-15 | 2008-08-21 | Samsung Electronics Co., Ltd. | Method and apparatus for reproducing digital broadcasting |
| US9179118B2 (en) * | 2011-05-12 | 2015-11-03 | Intel Corporation | Techniques for synchronization of audio and video |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202106037A (zh) | 2021-02-01 |
| CN112243145B (zh) | 2022-10-14 |
| CN112243145A (zh) | 2021-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11457266B2 (en) | Method for synchronizing audio and video and related apparatus | |
| US7471337B2 (en) | Method of audio-video synchronization | |
| CN1723703B (zh) | 数据处理装置及方法 | |
| EP2728858B1 (en) | Receiving apparatus and receiving method thereof | |
| JP6119260B2 (ja) | 動画像多重化装置及び動画像多重化方法、ならびに多重化動画像復号装置及び多重化動画像復号方法 | |
| US8483053B2 (en) | Information processing device, information processing method, program, and data structure | |
| KR20050090448A (ko) | 오디오-비쥬얼 콘텐트 전송 | |
| WO2002078336A1 (fr) | Procede d'emission de donnees, procede de reception de donnees, dispositif d'emission de donnees et dispositif de reception de donnees | |
| KR101132043B1 (ko) | 디코더 장치 및 디코드 방법 | |
| JP2011166813A (ja) | 画像符号化装置および方法、並びに記録媒体 | |
| JP2006115104A (ja) | 高能率符号化された時系列情報をパケット化してリアルタイム・ストリーミング送信し受信再生する方法および装置 | |
| WO2003107667A1 (ja) | データ送信装置、データ受信装置 | |
| US8862256B2 (en) | Electronic apparatus | |
| KR20070008069A (ko) | 음성/영상신호의 동기화 장치 및 방법 | |
| TWI743774B (zh) | 音訊與視訊同步方法與相關的裝置 | |
| CN110177293B (zh) | 一种同步组播和视频转发方法、系统 | |
| JP5642319B2 (ja) | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 | |
| JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
| JP2009049919A (ja) | 映像音声再生方法および映像音声再生システム | |
| CN114189737B (zh) | 一种数字电视快速切台方法及数字电视 | |
| KR0154005B1 (ko) | 시스템 부호화기를 위한 재생시간정보 발생장치 | |
| KR19980036074A (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| US20080123732A1 (en) | Method and system for configuring decoding based on detecting transport stream input rate | |
| JP5168105B2 (ja) | 音声再生装置、及び音声再生方法 | |
| KR100539731B1 (ko) | 전송스트림저장장치및방법 |