TWI501673B - 無線音訊與視訊同步播放的方法及其播放系統 - Google Patents

無線音訊與視訊同步播放的方法及其播放系統 Download PDF

Info

Publication number
TWI501673B
TWI501673B TW100105155A TW100105155A TWI501673B TW I501673 B TWI501673 B TW I501673B TW 100105155 A TW100105155 A TW 100105155A TW 100105155 A TW100105155 A TW 100105155A TW I501673 B TWI501673 B TW I501673B
Authority
TW
Taiwan
Prior art keywords
sound
data
multimedia
time
image
Prior art date
Application number
TW100105155A
Other languages
English (en)
Other versions
TW201236486A (en
Inventor
Kao Min Lin
Original Assignee
Amtran Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amtran Technology Co Ltd filed Critical Amtran Technology Co Ltd
Priority to TW100105155A priority Critical patent/TWI501673B/zh
Priority to US13/242,526 priority patent/US8665370B2/en
Publication of TW201236486A publication Critical patent/TW201236486A/zh
Application granted granted Critical
Publication of TWI501673B publication Critical patent/TWI501673B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Description

無線音訊與視訊同步播放的方法及其播放系統
本發明係有關於一種多媒體資料的播放方法及其播放系統，尤其是一種可同步播放影像資料與聲音資料的同步播放方法及其播放系統。
隨著現代人對於視聽品質的要求提高，多媒體播放系統(例如：電視機、個人電腦、個人行動裝置…等等)已成為相當重要的課題之一，其傳播的多媒體內容包括豐富的影像與聲音效果，因此可生動且輕易地深植閱聽大眾的心中。
一般而言，當收訊裝置由內容供應端(Content Provider)接收一多媒體資料時，多媒體資料係由構成其內容(Content)的視訊內容(Video Content)和音訊內容(Audio Content)所組成。多媒體資料通常以封包(Packet)格式進行傳輸，收訊裝置在收到多媒體資料後，需要將視訊和音訊內容個別經過不同的解碼處理並且同步化後才能在播放系統同時播出，因此在某些特定作業環境下播放多媒體資料時，會出現聲音與影像無法同步的情 形，此種問題在實作無線揚聲裝置時會特別嚴重。其原因在於，當收訊裝置以無線區域網路(Wireless Local Area Network，WLAN)將處理過的聲音資料封包傳輸到無線揚聲裝置時，無線網路可能會因為干擾而使封包流失，因而對音訊播放品質造成影響；或是聲音封包需要經由無線區域網路傳輸與暫存後，無線揚聲裝置才能依序播放聲音資料，因此造成播出的聲音與影像不同步的延遲。
為避免無線傳輸時封包流失造成影響，先前技術揭示了透過加大暫存區空間，以降低或補償無線傳輸中資料遺失或損耗的做法。然而，此種做法雖可彌補資料在無線傳輸過程中的損耗，所需要的處理時間卻會隨暫存區空間加大而增加，若應用在多媒體播放系統上，會導致聲音與影像無法同步的問題進一步地惡化。
因此，如何解決習知利用無線傳輸音訊導致多媒體資料無法同步播放的問題，並且提供一種能在時間延遲與資料遺失間取得平衡的播放系統，實為相關領域者目前迫切需要解決的問題。
鑒於以上，本發明在於提供一種多媒體訊號同步播放方法及其播放系統，藉以解決習知技術存在的問題。
本發明係有關於一種多媒體訊號的同步播放方法，包括以下步驟：由播放系統接收多媒體資料並進行運算處理，其中多媒體資料由影像資料與聲音資料所組成；在開始播放之前，播放系統將起始聲音資料以無線封包的格式傳送給無線揚聲裝置，並同時保留起始影像資料達一門檻時間再進行播放；以及在門檻時間到達時，播放系統開始播放起始影像 資料，同時無線揚聲裝置接收到起始聲音資料亦開始播放，並繼續自播放系統接收後續的聲音資料，使得影像資料與聲音資料可以同步並且持續地被播放。
根據本發明之實施例，其中影像資料係被顯示於一顯示裝置，聲音資料係被一揚聲裝置所接收並播放，當播放系統以無線傳出聲音訊號時，聲音資料係封裝為至少一封包，且該封包係符合即時傳輸協定(Real Time Transport Protocol)。
根據本發明之實施例，其中播放系統與揚聲裝置的無線傳輸符合IEEE 802.11通訊標準。
根據本發明之實施例，其中播放系統保留影像資料的時間，係相等於聲音資料由顯示裝置傳送至揚聲裝置播放的時間，此一時間可預先估算推定。
根據本發明之實施例，其中該顯示裝置包括一影像緩衝暫存器、一第一聲音緩衝暫存器以及一無線發送器。影像緩衝暫存器用以保留多媒體資料中之影像資料，第一聲音緩衝暫存器用以收集聲音資料以便封裝為封包，無線發送器用以將聲音資料的封包無線傳輸至揚聲裝置。
根據本發明之實施例，其中該揚聲裝置包括一無線接收器、一第二聲音緩衝暫存器與一聲音播放器。無線接收器用以接收無線發送器傳出之聲音資料；第二聲音緩衝暫存器耦接於無線接收器，並且用以暫存自無線接收器輸出之聲音資料；聲音播放器耦接於第二聲音緩衝暫存器，聲音播放器用以接收自第二聲音緩衝暫存器輸出之聲音資料，並且據以播放相對應之音訊。
根據本發明之實施例，其中無線接收器係藉由整合音效晶片(Integrated Inter-chip Sound，I2S)介面電性連接第二聲音緩衝暫存器。
根據本發明之實施例，其中聲音資料係在一第一時間內自顯示裝置收集並傳送至無線發送器，接著聲音資料在一第二時間內自無線發送器傳送至無線接收器，聲音資料係在一第三時間內由無線接收器收集完成並傳送至第二聲音緩衝暫存器，並且在一第四時間內自第二聲音緩衝暫存器傳送至聲音播放器輸出，第一時間係等於第三時間，第一時間、第二時間、第三時間與第四時間之加總係等於門檻時間。
根據本發明之實施例，其中當顯示裝置無線傳出聲音資料時，聲音資料係封裝為多個封包，且該些封包係依照一特定序列重複傳送。
根據本發明之實施例，當至少一封包遺失時，播放系統可根據演算法補償遺失的該封包。
本發明另有關於一種多媒體資料同步播放系統，包括一顯示裝置與一揚聲裝置。顯示裝置適於處理一多媒體資料，多媒體資料由一影像資料與一聲音資料所組成。顯示裝置在播放影像資料前先暫停達一門檻時間，在此同時封裝聲音資料並以無線網路傳出至揚聲裝置。揚聲裝置無線接收自顯示裝置傳出之聲音訊號並播放。其中，顯示裝置在門檻時間到達時播放影像資料，揚聲裝置在門檻時間到達時完成接收聲音資料，使得顯示裝置與揚聲裝置同步播放影像資料與聲音資料。
根據本發明之實施例，其中顯示裝置在開始播放前會保留影像資料達一門檻時間，聲音資料自顯示裝置發出傳送至揚聲裝置播放的時間等於該門檻時間。
藉此，根據本發明實施例之多媒體訊號同步播放方法及其播放系統，多媒體資料的延遲不僅可控制在一定範圍內，播放系統更可達到多媒體訊號同步播放之目的。
以上有關於本發明的內容說明，與以下的實施方式係用以示範與解釋本發明的精神與原理，並且提供本發明的專利申請範圍更進一步的解釋。有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
10‧‧‧播放系統
100‧‧‧顯示裝置
102‧‧‧影像緩衝暫存器
103‧‧‧第一聲音緩衝暫存器
104‧‧‧發送器
106‧‧‧屏幕顯示器
200‧‧‧揚聲裝置
202‧‧‧接收器
204‧‧‧第二聲音緩衝暫存器
206‧‧‧聲音播放器
「第1圖」係為根據本發明實施例之多媒體訊號同步播放方法之步驟流程圖。
「第2圖」係為根據本發明實施例之播放系統之系統示意圖。
「第3圖」係為根據本發明實施例之播放系統之系統架構圖。
「第4圖」係為根據本發明實施例之播放系統之發送器與接收器之間的傳輸資料時序對照圖。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。
「第1圖」係為根據本發明實施例之多媒體訊號同步播放方法之步驟流程圖，此種方法可應用於「第2圖」之播放系統10，利用本 發明提出之多媒體訊號同步播放方法，播放系統10可達到同步(Synchronized)播放聲音與影像的效果。有關本發明多媒體訊號同步播放的技術特徵，請一併參見「第1圖」與「第2圖」，茲詳細說明如下。
如「第1圖」所示，根據本發明實施例之多媒體訊號同步播放方法，主要包括以下步驟：步驟S102：播放系統接收一多媒體資料，其中多媒體資料由一影像訊號與一聲音訊號所組成。播放系統需要在播放前將影像訊號與聲音訊號自多媒體資料擷取出來，若多媒體資料為經過編碼的格式，播放系統亦需要進行解碼；步驟S104：在開始播放多媒體資料之前，播放系統將起始聲音訊號無線傳送至無線揚聲裝置，並且同時保留起始影像訊號達一門檻時間。播放系統會將要傳送的聲音訊號封裝成無線封包的格式，在本發明之一實施例中，播放系統會將聲音訊號收集後打散編排再加以傳輸；以及步驟S106：當該門檻時間到達時，播放系統開始播放影像訊號，同時無線揚聲裝置接收完起始聲音訊號後亦開始播放，使得影像訊號與對應的聲音訊號同步地被播放。
其中，「第2圖」所示之播放系統10係適於接收並處理由影像訊號與聲音訊號所組成的多媒體資料(或稱影音資料)。播放系統10包括顯示裝置100與揚聲裝置200，其中顯示裝置100具有一屏幕顯示器106，以播放影像訊號對應之影像資料。舉例而言，顯示裝置100可以是例如電視機的影像播放裝置，揚聲裝置200可以是例如無線喇叭的聲音播放裝置，顯示裝置100與揚聲裝置200係透過無線區域網路(Wireless Local Area Network，WLAN)而形成一可進行無線訊號傳輸的通訊系統。播放系統亦可以包含其他影音相關裝置，例如光碟播放機、機上盒、音響擴大機…等等，影音相關裝置可用來以無線方式連結顯示裝置100與揚聲裝置200並且接收、收集、提供或傳輸影音資料至顯示裝置100和揚聲裝置200播放。顯示裝置亦不限於電視，於本發明之其他實施例中，亦可利用個人電腦、手機、攜帶型遊戲機、個人行動裝置來實施本發明。
當播放系統10自內容供應端(Content Provider)或多媒體隨選視訊(Multimedia On Demand)系統接收多媒體資料(或稱影音資料)時，多媒體資料中的影像資料會先被暫存於顯示裝置100中，而多媒體資料中的聲音資料則被傳輸至揚聲裝置200。
續請參閱「第3圖」，係為根據本發明實施例之播放系統之系統架構圖。詳細而言，顯示裝置100包括一影像緩衝暫存器102、一第一聲音緩衝暫存器103與一發送器104，其中影像緩衝暫存器102係用以暫存影像資料達一門檻時間。當該影像資料被暫存在影像緩衝暫存器102中時，第一聲音緩衝暫存器103收集聲音資料以便封裝成資料封包，發送器104則將第一聲音緩衝暫存器103封裝完成的聲音資料封包以無線(Wireless)方式傳輸至揚聲裝置200。其中，影像緩衝暫存器102的影像暫存空間大小可隨影像資料或顯示裝置的規格改變，若以影像資料為每禎(Frame)畫面解析度為1920乘以1080個像素、每像素具有24位元(Bit)的資料來說，影像緩衝暫存器102需要暫存約一至三禎的畫面資料，因此影像緩衝暫存器102的影像暫存區大小約為6~20百萬位元組(Megabyte，MB)。
揚聲裝置200包括一接收器202、一第二聲音緩衝暫存器204 與一聲音播放器206，其中接收器202之一端無線耦接於發送器104，接收器202之另一端則藉由整合音效晶片(Integrated Inter-chip Sound，I2S)介面電性連接於第二聲音緩衝暫存器204。因此，根據本發明之實施例，當顯示裝置100之發送器104將多媒體資料中的聲音訊號以無線方式傳輸至揚聲裝置200時，揚聲裝置200之接收器202係用以接收自發送器104傳出的聲音訊號。之後，該聲音訊號續被暫存於第二聲音緩衝暫存器204中，最後，當聲音訊號被收集或接收完畢後，聲音播放器206(例如：喇叭、音響等揚聲器)即可將聲音訊號所對應的聲音資料播放出來。接收器202亦可位於其他無線通訊裝置，無線通訊裝置可與揚聲裝置200連接用以提供揚聲裝置200無線接收功能，並將接收到的聲音資料傳輸至揚聲裝置200。
影像資料在開始被播放於屏幕顯示器106之前，該影像資料會先被暫存在影像緩衝暫存器102中，也就是在門檻時間結束之前，多媒體資料中的聲音資料正同時地被傳輸至揚聲裝置200。因此，根據本發明提出之多媒體訊號同步播放方法，揚聲裝置200只要能在門檻時間到達時完成接收並開始播放聲音資料，即可使得顯示裝置100與揚聲裝置200同步播放出影像資料與聲音資料，並且因為在播放起始的影音資料的同時，後續的聲音資料也正在傳輸至揚聲裝置200中，這些後續的聲音資料會暫存於第二聲音緩衝暫存器204中以待聲音播放器206播放，所以當起始影音資料播放完成時，顯示裝置100可以直接繼續播放後續的影像資料，揚聲裝置200也可以繼續播放後續的聲音資料，因此在開始播放後，播放系統10可同步播出完整的影音資料且不會因中途需要同步化而中斷。
在將聲音資料傳輸至揚聲裝置200的過程中，聲音資料會 被封裝為至少一個符合即時傳輸協定(Real Time Transport Protocol)之封包。在此情況之下，顯示裝置100與揚聲裝置200之間可依據IEEE 802.11之標準進行無線傳輸，一般來說每秒可傳輸20百萬位元。本發明亦可採用其他無線通訊標準以傳輸聲音資料，例如：全球互通微波存取(Worldwide Interoperability for Microwave Access，WiMAX)、3GPP長期演進技術(3GPP Long Term Evolution,LTE)…等等。
如「第4圖」所示，依據本發明之播放系統，聲音資料在準備傳輸到完成播放中間需要經過四個階段，所需時間如下所述：一般來說聲音資料為聲音訊號所組成，可視需求轉換為各種不同的格式。假設聲音資料為雙聲道、取樣頻率為48000赫茲(Hertz，Hz)、取樣深度為16位元線性脈衝編碼調制(Linear Pulse Code Modulation，LPCM)，每秒聲音資料會有48000乘16乘2個位元。在此音訊格式下顯示裝置100中的第一聲音緩衝暫存器103會定義4096位元組的空間用來收集聲音資料。為了收集4096位元組的聲音資料，第一聲音緩衝暫存器103必須持續收集的時間T1為(4096*8)/(48000*16*2)秒，此時間T1約等於21.3毫秒(Millisecond，ms)，之後聲音資料才可以封包化並經由發送器104發送。
之後，聲音資料進入發送器104與接收器202間的無線傳輸階段。首先聲音資料會先被封裝為資料封包，每一資料封包可包含1024位元組大小的聲音資料，另外還會包括12個位元組的即時傳輸協定表頭(RTP Header)、20個位元組的網際協定(Internet Protocol，IP)表頭、以及8位元組的用戶數據報協議(User Datagram Protocol，UDP)表頭，因此實際進行傳輸時資料封包的大小為1064個位元組。假設顯示裝置100與揚聲裝置200之間 的無線區域網路頻寬為20M bps，則傳送一個資料封包需要的時間T2為(1064*8)/(20M)秒，約等於3.4ms。
最後，當聲音資料封包到達揚聲裝置200端後，必須再經過接收器202與第二聲音緩衝暫存器204完成封包的收集與暫存後，方可將聲音資料傳送至聲音播放器206播放。其中收集與暫存資料封包所需的時間T3係相同於第一聲音緩衝暫存器103端收集聲音資料所需的時間T1(即21.3毫秒)。由於資料封包收集完成後，仍需將聲音資料自封包取出處理並傳送至聲音播放器206播放，其中所需的運算處理時間T4約為1ms。因此，聲音資料由顯示裝置100端開始傳輸至揚聲裝置200端完成播放的整個過程，將造成總共(21.3*2+3.4+1)ms，也就是約為47毫秒的延遲。
是以，根據本發明之實施例，當顯示裝置100暫存影像資料的門檻時間設定為47ms時(意即門檻時間等於傳輸聲音資料造成的播放延遲時間時)，顯示裝置100與揚聲裝置200會在門檻時間到達後同步播放出影像資料與對應之聲音資料，完成多媒體資料同步播放之目的。為保留影像資料延遲在47毫秒後才開始播放，播放系統10需要將這47毫秒內已準備播放的影像皆暫存在影像緩衝暫存器102中，若以每秒60禎畫面的播放頻率為例，每一禎畫面的播放時間約為16毫秒，47毫秒約會產生三禎畫面的延遲，因此影像緩衝暫存器102需要具有可暫存三禎畫面的影像暫存區空間。
另外，在本發明之一實施例中，由於播放系統10在多媒體資料的處理上，影像資料的數據量較大，所需的處理運算會比聲音資料的更慢完成，因此在不透過無線揚聲裝置播放聲音資料時，播放系統10會將 聲音資料延後播放十毫秒至三十毫秒不等的時間，以達成聲音與影像同步播放的效果。在透過無線揚聲裝置播放聲音資料時，播放系統10則可將上述聲音資料的延後時間取消，如此播放系統10可更早將聲音資料無線傳輸給揚聲裝置200，使影像資料保留播放的門檻時間進一步縮短，影像緩衝暫存器102的空間即可再減小。
值得注意的是，上述顯示裝置100與揚聲裝置200在接收、暫存與播放的各個階段所耗費的時間長短，並非用以限定本發明之發明範圍。換言之，於本發明之其他實施例當中，上述各段時間(包括：門檻時間、時間T1、T2、T3、T4)的時間長短，設計者當可根據播放系統10中音訊暫存區大小、取樣頻率、或無線傳輸頻寬等參數而有所變異，皆隸屬於本發明之發明範疇。
其次，為了避免聲音資料之封包在顯示裝置100與揚聲裝置200的傳遞過程中遺失，根據本發明之實施例，當聲音資料為4096位元組，且每個取樣樣本為16位元時，一個取樣點會有4個位元組(即聲道數2*取樣深度16位元/8位元)。4096個位元組的原始聲音訊號可以表示為1024個取樣點的資料序列：A4096={S0,S1,S2,…,S1023}；其中每個Sn為一個取樣點。由於每一個資料封包可包含1024位元組的資料，因此4096個位元組的原始聲音訊號需要分成四個資料封包才能傳輸。本發明之一實施例中，聲音資料在封裝成封包時，會以取樣點為單位交插分給四個資料封包，形成：P0={S0,S4,S8,…,S1020}； P1={S1,S5,S9,…,S1021}；P2={S2,S6,S10,…,S1022}；以及P3={S3,S7,S11,…,S1023}。其中P0、P1、P2、P3各為單一資料封包所包含的聲音資料，在無線傳輸過程中，P0、P1、P2、P3會分別封裝成符合即時傳輸協定之封包R0、R1、R2、R3，以供播放系統10依據IEEE 802.11標準進行無線封包之傳輸。
為了降低封包遺失的風險，根據本發明之實施例，每個符合即時傳輸協定之封包R0、R1、R2、R3皆會被重複傳送，順序為R0→R1→R2→R3→R0→R1→R2→R3。藉此，即使有封包在傳輸過程中流失，揚聲裝置200仍有機會再獲得流失的封包；假設有兩個以上的封包遺失時，揚聲裝置200只要能接收到一個以上的封包，即可透過內插法，補償遺失的資料。
舉例而言，如果揚聲裝置200只接收到封包R0，即只接收到P0={S0,S4,S8,…,S1020}的聲音資料，則會經由內插補償產生1024個取樣點的聲音資料序列：A4096’={S0,S1’,S2’,S3’,S4,S5’,S6’,S7’,S8…,S1020,S1021’,S1022’,S1023’}其中每個Sn’為補償運算產生的取樣點，補償的方式如下：若n mod 4=1且n<1021，則Sn’=(3*Sn-1+Sn+3)/4；若n mod 4=2且n<1022，則Sn’=(Sn-2+Sn+2)/2；若n mod 4=3且n<1023，則Sn’=(Sn-1+3*Sn+3)/4；且S1021’=S1022’=S1023’=S1020
因此，根據本發明之實施例，當聲音資料之封包被依照特 定序列重複傳送時，本發明提出之多媒體訊號同步播放方法可有效透過演算法補償可能在傳遞過程中遺失的資料封包，並且同時降低封包漏失的機率。
綜上所述，應用本發明提出之多媒體訊號同步播放方法，播放系統中的顯示裝置與揚聲裝置可同步地播放出多媒體資料的影像資料與聲音資料。根據本發明實施例之多媒體訊號同步播放方法及其播放系統，不僅具有聲音資料的封裝及無線傳送機制，更可將傳輸延遲控制在一定的門檻值之內(如47毫秒)，藉此，達到多媒體訊號同步播放之目的。
除此之外，根據本發明之實施例，此種多媒體訊號同步播放方法及其播放系統，更可利用封包重傳的方式，降低無線傳輸中資料封包遺失的機率。其次，此種多媒體訊號同步播放方法及其播放系統更可透過演算法補償已遺失的聲音資料，在傳輸的時間延遲與資料遺失中取得較佳的平衡。
雖然本發明以前述的較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神與範圍內，當可作些許更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

Claims (10)

  1. 一種多媒體同步播放方法，包括：接收並處理一多媒體資料，其中該多媒體資料由一影像資料與一聲音資料所組成；封裝該聲音資料的一初始部分，並以無線傳輸方式傳出已封裝的該聲音資料的該初始部份至一揚聲裝置，同時在一顯示裝置上暫緩該影像資料的一初始部分；在該影像資料的該初始部分被暫緩達一門檻時間時，由該顯示裝置播放該影像資料的該初始部分，且在該揚聲裝置接收到該聲音資料的該初始部分時，由該揚聲裝置播放該聲音資料的該初始部分，該門檻時間係至少根據一第一時間和一第二時間所計算而得，該第一時間係指封裝該聲音資料的該初始部分所需的時間，以及該第二時間係指該揚聲裝置接收並收集該聲音資料的該初始部分所需的時間；以及播放該聲音資料的一後續部分和該影像資料的一後續部分，其中該聲音資料的該後續部分接續在該聲音資料的該初始部分之後，該影像資料的該後續部分接續在該影像資料的該初始部分之後，並且該門檻時間不重新計算。
  2. 如請求項1所述之多媒體同步播放方法，其中該多媒體資料由該顯示裝置所接收，並由該顯示裝置處理該影像資料與該聲音資料，該影像資料係儲存於一影像緩衝暫存器中，以及該影像緩衝暫存器在該揚聲裝置播放該聲音資料時的容量會小於在該顯示裝置播放該聲音資料。
  3. 如請求項1所述之多媒體同步播放方法，其中該聲音資料係在該第一時 間內被收集完成可供傳輸，該揚聲裝置自開始接收該聲音資料起在該第二時間內完成接收與收集該聲音資料，該第一時間長度約等於該第二時間。
  4. 如請求項1所述之多媒體同步播放方法，其中該聲音資料係被封裝為至少一資料封包後被傳輸，且該至少一資料封包係依照一特定序列重複傳送，且當該至少一資料封包在傳輸中遺失一部分資料封包時，根據一演算法計算補償該部分資料封包。
  5. 一種多媒體同步播放系統，包括：一多媒體資料模組，用以接收並處理一多媒體資料，其中該多媒體資料由一影像資料與一聲音資料所組成，且該多媒體資料模組可以無線傳出該聲音資料；一顯示裝置，連接該多媒體資料模組以接收並播放該影像資料；以及一揚聲裝置，以無線方式連接該多媒體資料模組，該揚聲裝置可用以接收、收集並播放該聲音資料；其中，當暫緩該影像資料的一初始部分達一門檻時間，並且該揚聲裝置接收到該聲音資料的一初始部分的同時，該影像資料的該初始部分和該聲音資料的該初始部分會被同步播放；該門檻時間係至少根據一第一時間和一第二時間計算而得，該第一時間係指封裝該聲音資料的該初始資料所需的時間，以及該第二時間係指該揚聲裝置接收和收集該聲音資料的該初始部分所需的時間；以及 當該聲音資料的該初始部分和該影像資料的該初始部分被播放後，該聲音資料的一後續部分和該影像資料的一後續部分會被播放，且該門檻時間無須重新計算。
  6. 如請求項5所述之多媒體同步播放系統，其中該多媒體資料模組位於該顯示裝置內部。
  7. 如請求項5所述之多媒體同步播放系統，其中該顯示裝置包括一影像緩衝暫存器，用以暫存該多媒體資料中之該影像資料，且該多媒體資料模組包括一發送器，用以無線傳輸該多媒體資料中之該聲音資料至該揚聲裝置，該影像緩衝暫存器在該揚聲裝置播放該聲音資料時的一第一容量小於在該顯示裝置播放該聲音資料時的一第二容量。
  8. 如請求項5所述之多媒體同步播放系統，其中該揚聲裝置包括：一接收器，用以自該多媒體資料模組無線接收該聲音資料；一聲音緩衝暫存器，耦接於該接收器，該聲音緩衝暫存器係用以暫存該聲音資料；以及一聲音播放器，耦接於該聲音緩衝暫存器，係接收自該聲音緩衝暫存器輸出之該聲音資料並播放。
  9. 如請求項8所述之多媒體同步播放系統，其中該揚聲裝置之接收器接收該聲音資料後會傳送至該聲音緩衝暫存器收集，在收集完該聲音資料後，該聲音緩衝暫存器才會將該聲音資料傳至該聲音播放器播出。
  10. 一種顯示裝置，適於處理一多媒體資料，該多媒體資料由一影像資料與一聲音資料所組成，該顯示裝置包括：一影像緩衝暫存器，用以接收並暫存該影像資料； 一發送器，用以無線傳輸該聲音資料；以及一屏幕顯示器，用以由該影像緩衝暫存器接收該影像資料並播放該影像資料；其中，當暫緩該影像資料的一初始部分達一門檻時間，並且該發送器輸出的該聲音資料的一初始部分已預備好播放時，該影像資料的該初始部分和該發送器輸出的該聲音資料的該初始部分會被同步播放；該門檻時間係至少根據一第一時間和一第二時間計算而得，該第一時間係指封裝該聲音訊號的該初始部分所需的時間，以及該第二時間係指一揚聲裝置接收並收集該聲音資料的該初始部分所需的時間；以及當該聲音資料的該初始部分和該影像資料的該初始部分被播放後，該聲音資料的一後續部分和該影像資料的一後續部分接著被播放，該門檻時間無須重新計算。
TW100105155A 2011-02-16 2011-02-16 無線音訊與視訊同步播放的方法及其播放系統 TWI501673B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100105155A TWI501673B (zh) 2011-02-16 2011-02-16 無線音訊與視訊同步播放的方法及其播放系統
US13/242,526 US8665370B2 (en) 2011-02-16 2011-09-23 Method for synchronized playback of wireless audio and video and playback system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100105155A TWI501673B (zh) 2011-02-16 2011-02-16 無線音訊與視訊同步播放的方法及其播放系統

Publications (2)

Publication Number Publication Date
TW201236486A TW201236486A (en) 2012-09-01
TWI501673B true TWI501673B (zh) 2015-09-21

Family

ID=46636644

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100105155A TWI501673B (zh) 2011-02-16 2011-02-16 無線音訊與視訊同步播放的方法及其播放系統

Country Status (2)

Country Link
US (1) US8665370B2 (zh)
TW (1) TWI501673B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102056438B1 (ko) 2012-10-12 2019-12-16 삼성전자주식회사 복합 멀티미디어 데이터를 전송하기 위한 데이터 패킷을 송수신하는 방법 및 장치
US9936266B2 (en) * 2013-05-17 2018-04-03 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus
US9723180B2 (en) * 2014-01-08 2017-08-01 Vizio Inc Device and method for correcting lip sync problems on display devices
WO2015174753A1 (en) 2014-05-16 2015-11-19 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
KR102185702B1 (ko) * 2014-05-16 2020-12-02 삼성전자주식회사 컨텐츠 출력 장치, 모바일 장치 및 그 제어 방법
CN105376628B (zh) * 2014-08-27 2018-09-21 深圳Tcl新技术有限公司 音视频信号同步方法和装置
US9338391B1 (en) 2014-11-06 2016-05-10 Echostar Technologies L.L.C. Apparatus, systems and methods for synchronization of multiple headsets
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
US9830628B1 (en) * 2015-08-03 2017-11-28 Amazon Technologies, Inc. Custom audio messages for packaged goods
CN107239253B (zh) * 2016-03-29 2020-05-12 扬智科技股份有限公司 同步播放速度的无线局域网播放器、系统及其方法
CN105898502B (zh) * 2016-04-11 2019-09-20 深圳Tcl新技术有限公司 音视频同步播放的方法及装置
GB2552795B (en) * 2016-08-08 2020-01-15 Powerchord Group Ltd A method of presenting media
CN108012177A (zh) * 2017-12-01 2018-05-08 晨星半导体股份有限公司 音视频播放系统及应用于其上的音频数据的播放方法
US11161038B2 (en) * 2018-08-06 2021-11-02 Amazon Technologies, Inc. Systems and devices for controlling network applications
US10834296B2 (en) * 2018-09-12 2020-11-10 Roku, Inc. Dynamically adjusting video to improve synchronization with audio
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system
US11190836B2 (en) 2018-12-20 2021-11-30 Hisense Visual Technology Co., Ltd. Audio playing and transmitting methods and apparatuses
CN111352605A (zh) * 2018-12-20 2020-06-30 海信视像科技股份有限公司 一种音频播放、发送的方法及装置
KR20210087190A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN114040237A (zh) * 2021-09-30 2022-02-11 茂佳科技(广东)有限公司 音频视频同步播放方法、终端、多媒体播放系统及介质
US20230300223A1 (en) * 2022-01-27 2023-09-21 Shure Acquisition Holdings, Inc. Audio System

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291891A1 (en) * 2007-05-23 2008-11-27 Broadcom Corporation Synchronization Of A Split Audio, Video, Or Other Data Stream With Separate Sinks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
US6026506A (en) * 1997-09-26 2000-02-15 International Business Machines Corporation Concealing errors in transport stream data
US20030121043A1 (en) * 1998-05-04 2003-06-26 Juergen Reinold Method and system for broadcasting digital audio and video to an analog wireless device
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
US20080040759A1 (en) * 2006-03-06 2008-02-14 George Geeyaw She System And Method For Establishing And Maintaining Synchronization Of Isochronous Audio And Video Information Streams in Wireless Multimedia Applications
EP1841072B1 (de) * 2006-03-30 2016-06-01 Unify GmbH & Co. KG Verfahren und Einrichtung zum Dekodieren von schichtkodierten Daten
US8320410B2 (en) * 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
US8041051B2 (en) * 2008-03-24 2011-10-18 Broadcom Corporation Dual streaming with exchange of FEC streams by audio sinks
US8249005B2 (en) * 2009-02-11 2012-08-21 Qualcomm Incorporated Systems and methods for reducing power consumption using a variable constraint length convolutional encoder
US8159990B2 (en) * 2009-03-11 2012-04-17 Sony Ericsson Mobile Communications Ab Wireless audio data distribution using broadcast and bidirectional communication channels
US9263049B2 (en) * 2010-10-25 2016-02-16 Polycom, Inc. Artifact reduction in packet loss concealment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080291891A1 (en) * 2007-05-23 2008-11-27 Broadcom Corporation Synchronization Of A Split Audio, Video, Or Other Data Stream With Separate Sinks

Also Published As

Publication number Publication date
US20120206650A1 (en) 2012-08-16
TW201236486A (en) 2012-09-01
US8665370B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
TWI501673B (zh) 無線音訊與視訊同步播放的方法及其播放系統
JP7120997B2 (ja) オーディオとビデオのマルチモード同期レンダリング
CN103888818B (zh) 一种电视节目播放方法、设备和系统
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
CN107995503B (zh) 音视频播放方法和装置
US11146611B2 (en) Lip synchronization of audio and video signals for broadcast transmission
KR20090053141A (ko) 멀티미디어기기 및 그의 동기설정방법
JP2002344898A (ja) 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
WO2009137972A1 (zh) 视音频同流传输的方法、系统及相应的接收方法和设备
JP2003230117A (ja) 動画像データの送信システム、同送信装置、同送信方式および同送信方法
CN109379619A (zh) 音画同步方法及装置
JPWO2009028038A1 (ja) デコーダ装置、およびデコード方法
CN1534503A (zh) 实现网络游戏中实时影音会谈的方法、系统及储存媒体
CN106331820B (zh) 音视频的同步处理方法和装置
CA2655493A1 (en) Systems and methods of generating encapsulated mpeg program streams
JP4352409B2 (ja) マルチメディア符号化データ分離伝送装置
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
CN107911729A (zh) 网络视频播放方法及终端
WO2014036873A1 (zh) 一种传输流的共享方法
JP5092493B2 (ja) 受信プログラム、受信装置、通信システム、及び、通信方法
WO2013040996A1 (zh) 分级编码复用的发送端、终端、系统及方法
JP5642319B2 (ja) デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体
TWI276085B (en) Reproducing apparatus and method, and recording medium
KR100782014B1 (ko) 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체