TWI559761B - Application of Data Synchronization in Multimedia Synchronization - Google Patents

Description

應用於多媒體同步播放中資料校正之方法

本發明係有關一種多媒體播放技術，特別是指一種應用於多媒體同步播放中資料校正之方法。

按，在一對一、一對多的多媒體傳輸時，同步控制意即主控端可控制多台客戶端同步播放、暫停及停止，並可由主控端選擇其中一台客戶端為主，而其他客戶端接收主客戶端的多媒體資訊做為播放媒體來源，但主控端必須不斷傳送控制的封包，以維持多台客戶端持續同步播放，這些主控端送出的控制封包和客戶端送回的封包數量龐大。

在多媒體串流中，主控端的傳輸量一直是整個機制的瓶頸，眾人在制訂串流機制時，皆想盡辦法壓低主控端的傳輸量。然而，網路環境的穩定與否，顯著影響其傳輸量，如循環冗餘校驗（Cyclic redundancy check, CRC）、封包遺失等，在網路環境不穩定時，如何縮限整個串流的傳輸量是一個重要的議題。

因此，本發明即提出一種應用於多媒體同步播放中資料校正之方法，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種應用於多媒體同步播放中資料校正之方法，其中該主控端利用群播的方式將連續序號的串流封包傳送給每個客戶端，若客戶端核對後發現資料損失，會利用否定應答機制（NACK, Negative-acknowledge）向主控端提出要求，主控端依據收到要求的頻率決定如何重傳封包。

本發明之另一目的在提供一種應用於多媒體同步播放中資料校正之方法，其中主控端會利用否定應答的封包延遲時間去預估封包重傳的頻率，以避免客戶端濫發資料損失的反饋要求，藉以提升客戶端對於資料校正的敏感性。

本發明之再一目的在提供一種應用於多媒體同步播放中資料校正之方法，其中多媒體資料串流由其中一客戶端提供給所有客戶端一起同步播放，而主控端可控制這些客戶端的播放狀態。

為達上述之目的，本發明提供一種應用於多媒體同步播放中資料校正之方法，利用一主控端控制複數客戶端之多媒體裝置同步播放並進行資料校正，且係以其中之一客戶端做為播放媒體來源提供給其他客戶端同步播放，當客戶端正在播放時包括下列步驟：主控端會不斷送出包含一序號之串流封包；客戶端收到串流封包後，檢查串流封包中之資料是否有損失，若無損失，則繼續接收下一個串流封包，且串流封包中之序號為連續號，若串流封包中之資料有損失，則依據資料損失狀態向主控端發送一反饋要求，主控端會送出一包含該序號之回應封包給有資料損失之客戶端。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提供一種應用於多媒體同步播放中資料校正之方法，其架構如第1圖所示，包含一主控端10及複數客戶端12，每一客戶端12包含至少一多媒體裝置，其可為音響、無線喇叭、廣播裝置或音樂播放器，主控端10可為智慧型手機或電腦等具有遠端控制功能的電子產品；客戶端12係在同一區域網路14中，彼此之間透過無線傳輸方式連線，而客戶端12和主控端10之間則可透過有線的網際網路或無線網路傳輸（如Wi-Fi、藍牙等）連接。於本發明中，在同一區域網路14中的客戶端12可同時播放同一首歌曲或同一個電台，由其中一個客戶端12的多媒體裝置做為播放媒體來源、輸出多媒體串流，其他客戶端12接收該多媒體串流以同步播放，而客戶端之間的主次、播放媒體來源的選擇、及播放狀態的控制（如播放、暫停、停止等）皆由主控端10進行控制。

當客戶端正在播放時，請參考第2圖之流程圖，步驟S10主控端會不斷送出包含一序號之串流封包，此序號為目前最新的序號；步驟S12客戶端收到串流封包後，於步驟S14檢查串流封包中之資料是否有損失，若無損失，則回到步驟S10繼續接收下一個串流封包，且串流封包中之序號為連續號，客戶端就可以知道是否有遺漏某一序號的封包而使序號不連貫；若串流封包中之資料有損失，則進入步驟S16，客戶端依據資料損失狀態向主控端發送一反饋要求(feedback request)，接著，步驟S18主控端收到反饋要求後，得知剛傳送的串流封包有誤，會重新送出包含該序號之回應封包(feedback response)給有資料損失之客戶端；如此重複步驟S12~S18，只要收到的串流封包資料無誤便可繼續接收下一個序號的串流封包，以維持穩定的播放狀態。

主控端及客戶端係基於即時傳輸協定（Real-time Transport Protocol）在兩端使用網路時脈協定（Network Time Protocol）的同步系統時脈。因此多個客戶端同步播放時會校對時間，確保能完全同步，不會發生某一客戶端的多媒體裝置播放歌曲速度快或慢了0.1秒之類的問題。

若主控端要客戶端暫停播放，請參考第3圖之流程圖。步驟S20主控端週期性地發送一暫停封包給所有客戶端，客戶端收到暫停封包後會認定主控端現在的播放狀態為暫停，並記錄暫停封包的資訊，如步驟S22~S24所述，接著步驟S26判斷暫停封包中之資料是否有損失，若有損失，則在步驟S27中，客戶端會向主控端提出一反饋要求，回到步驟S30主控端重新發送該序號之串流封包給客戶端；則回到步驟S20重新接收暫停封包，若無損失，則客戶端的多媒體裝置暫停播放，如步驟S28。

不論是播放或暫停，當客戶端提出反饋要求時，若主控端已在一預設時間內重新發送過此序號的串流封包，則主控端會忽略反饋要求，以防止傳輸壅塞。

若主控端要客戶端停止播放，請參考第4圖之流程圖。步驟S30主控端週期性地送出同一序號的串流封包及一結尾封包給所有客戶端，步驟S32~S34客戶端收到結尾封包後，認定主控端之播放狀態為檔案結尾，並記錄結尾封包中之資訊；步驟S36根據結尾封包判斷串流封包中之資料是否有損失（是否完整）；若結尾封包中之資訊表明主控端還有資料尚未傳送過來，則在步驟S37中，客戶端會向主控端提出一反饋要求，回到步驟S30主控端重新發送該序號之串流封包給客戶端；反之，若資料完整，代表主控端已無資料，則如步驟S38所述，客戶端認定多媒體裝置之播放狀態為停止；並在步驟S40客戶端的多媒體裝置停止播放，此時不會再檢查資料是否有損失，直到下次主控端的播放狀態改變。但若客戶端提出反饋要求時，主控端已在一預設時間內重新發送過串流封包，則主控端會忽略反饋要求，以防止傳輸壅塞。

客戶端判斷出封包資料有損失時，係利用一否定應答（NACK, Negative-acknowledge）機制向主控端提出反饋要求，主控端依據反饋要求的頻率及延遲時間預估重傳的頻率、決定如何重傳封包，如此一來，可避免客戶端濫發資料損失的反饋要求，提升客戶端對於資料校正的敏感性。

綜上所述，本發明所提供之應用於多媒體同步播放中資料校正之方法係利用將連續序號的串流封包傳送給每個客戶端，當客戶端核對後發現資料損失時反饋給主控端要求重送，若主控端在一固定時間中收到多個反饋要求則將其忽略，以避免傳輸壅塞。由於資料校正係使用否定應答反饋要求的方式處理，因此在同步客戶端與主控端的多媒體、播放狀態下，可降低主控端的傳輸量、節省頻寬，並加強客戶端的網路可靠度(Network reliability)，在網路環境不穩定時依然能穩定播放。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧主控端
12‧‧‧客戶端
14‧‧‧區域網路

第1圖為本發明應用於多媒體同步播放中資料校正之方法之架構示意圖。 第2圖為本發明應用於多媒體同步播放中資料校正之方法中播放時之流程圖。 第3圖為本發明應用於多媒體同步播放中資料校正之方法中主控端要求暫停之流程圖。 第4圖為本發明應用於多媒體同步播放中資料校正之方法中主控端要求停止之流程圖。

Claims (9)

1. 一種應用於多媒體同步播放中資料校正之方法，其係利用一主控端控制複數客戶端之多媒體裝置同步播放並進行資料校正，且該等客戶端係以其中之一客戶端做為播放媒體來源提供給其他客戶端同步播放，當該等客戶端正在播放時，該資料校正方法包括下列步驟：該主控端不斷送出包含一序號之串流封包；該等客戶端收到該串流封包，檢查該串流封包中之資料是否有損失，若無，則回到前一步驟繼續接收下一個串流封包，且該等串流封包中之該序號為連續號，若該串流封包中之資料有損失，則依據資料損失狀態向該主控端發送一反饋要求；以及該主控端送出一包含該序號之回應封包給有資料損失之該客戶端；其中，該客戶端判斷資訊有損失時，係利用一否定應答(NACK,Negative-acknowledge)機制向該主控端提出該反饋要求，該主控端依據該反饋要求的頻率決定如何重傳封包。
2. 如請求項1所述之應用於多媒體同步播放中資料校正之方法，其中該主控端送出一暫停封包時，該客戶端收到該暫停封包後包括下列步驟：該客戶端認定該主控端之播放狀態為暫停，並記錄該暫停封包中之資訊；判斷該暫停封包中之資料是否有損失；以及 若有損失，則重新接收該暫停封包，若無損失，則該多媒體裝置暫停播放。
3. 如請求項2所述之應用於多媒體同步播放中資料校正之方法，其中該主控端每隔一固定週期發送該暫停封包。
4. 如請求項1所述之應用於多媒體同步播放中資料校正之方法，其中該主控端送出同一序號的串流封包及一結尾封包時，該客戶端收到該結尾封包後包括下列步驟：該客戶端認定該主控端之播放狀態為檔案結尾，並記錄該結尾封包中之資訊；依據該結尾封包，判斷該串流封包之資料是否完整；若該結尾封包中之資訊表明該主控端還有資料未傳送過來，則繼續接收該串流封包，若資料完整，則該客戶端認定該多媒體裝置之播放狀態為停止；以及該多媒體裝置停止播放。
5. 如請求項4所述之應用於多媒體同步播放中資料校正之方法，其中該客戶端判斷該結尾封包資料不完整時會向該主控端提出該反饋要求，該主控端重新發送該序號之該串流封包給該客戶端。
6. 如請求項5所述之應用於多媒體同步播放中資料校正之方法，其中該串流封包若在一預設時間內已發送過，則該主控端忽略該反饋要求。
7. 如請求項1所述之應用於多媒體同步播放中資料校正之方法，其中該多媒體裝置為音響、無線喇叭、廣播裝置或音樂播放器。
8. 如請求項1所述之應用於多媒體同步播放中資料校正之方法，其中該主控端為智慧型手機或電腦。
9. 如請求項1所述之應用於多媒體同步播放中資料校正之方法，其中該主控端及該等客戶端係透過網際網路或無線網路連線。