TWI513320B - 視訊會議裝置及其唇形同步的方法 - Google Patents

Description

視訊會議裝置及其唇形同步的方法

本發明涉及視訊會議，尤其涉及一種視訊會議裝置及其唇形同步的方法。

視訊會議中，同時間在傳送終端擷取的影像資料及聲音資料必須在接收終端播放時保持同步關係，以達到所謂的唇形同步(Lip Synchronization)。

一般解決唇形同步的方法，在傳送終端利用即時傳輸協定(Real-time Transport Protocol，簡稱RTP)表頭中的時間戳記(Time Stamp)值記載連續性影像資料及聲音資料的產生時間，在接收終端則根據時間戳記值，對關聯的影像及聲音資料進行同步控制。然而，該方法可能受限於傳送終端或是接收終端裝置的處理器能力、或是硬體元件的偏差而導致時間戳記不能如預期地被處理。

有鑑於此，需提供一種視訊會議裝置及其唇形同步的方法，增加使用者的可操作性，使得時間戳記值可加以調整，保證唇形同步的結果。

本發明提供一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介及通訊連接至該視訊會議裝置的攝影機與麥克風，上述儲存媒介用於儲存經由上述攝影機與麥克風所擷取並經上述視訊會議裝置編碼壓縮的視訊流及音訊流，其中該音訊流由上述視訊會議裝置封裝成語音即時傳輸協定封包且該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：經由上述攝影機擷取一預定影像；經由上述麥克風擷取與該預定影像同步播放的一預定聲音；分析該預定影像於已儲存視訊流之第一起始出現時間；分析該預定聲音於已儲存音訊流之第二起始出現時間；計算上述第一起始出現時間與上述第二起始出現時間的一時間差值；以及若上述第一起始出現時間早於上述第二起始出現時間，則將上述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值減去該時間差值；若上述第一起始出現時間晚於上述第二起始出現時間，則將上述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值加上該時間差值。

優選地，其中該預定影像包含一閃光或連續性閃光的影像。

優選地，其中該預定聲音包含一高分貝嗶聲、一長嗶聲或連續性短嗶聲。

本發明還提供一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介，上述視訊會議裝置用於接收語音即時傳輸協定封包，該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：接收使用者輸入的微調值；儲存該微調值於上述儲存媒介；以及根據已儲存的上述微調值調整上述視訊會議裝置所接收到之上述語音即時傳輸協定封包中的時間戳記值，其中上述調整之方法為上述語音即時傳輸協定封包中的原始的時間戳記值加上該已儲存的微調值。

優選地，其中使用者輸入的微調值以毫秒為單位。

優選地，其中使用者輸入的微調值包含正值或負值。

本發明還提供一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介，上述視訊會議裝置用於接收語音即時傳輸協定封包，該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：接收複數使用者輸入的複數微調值；儲存複數微調值於上述儲存媒介；計算已儲存之複數微調值的平均數；儲存複數微調值的上述平均數於上述儲存媒介；以及根據已儲存的平均數調整上述視訊會議裝置所接收到之上述語音即時傳輸協定封包中的時間戳記值，其中調整之方法為上述語音即時傳輸協定封包中的原始的時間戳記值加上該已儲存的平均數。

優選地，其中複數使用者輸入的複數微調值以毫秒為單位。

優選地，其中複數使用者輸入的複數微調值包含正值或負值。

一種視訊會議裝置，包括：攝影機，用於擷取一預定影像；麥克風，用於擷取與該預定影像同步播放的一預定聲音；儲存媒介，用於儲存通過所述攝影機與麥克風所擷取並經所述視訊會議裝置編碼壓縮的視訊流及音訊流，其中所述音訊流由所述視訊會議裝置封裝成語音即時傳輸協定封包且所述語音即時傳輸協定封包包含一時間戳記值；分析模組，用於分析所述預定影像於已儲存視訊流之第一起始出現時間與所述預定聲音於已儲存音訊流之第二起始出現時間，並計算所述預定影像與所述預定聲音於視訊流及音訊流中的第一起始出現時間及第二起始出現時間的時間差值；以及調整模組，用於當所述第一起始出現時間早於所述第二起始出現時間時，則將所述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值減去所述時間差值，若所述第一起始出現時間晚於所述第二起始出現時間，則將所述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值加上所述時間差值。

利用上述唇形同步的方法，於上述視訊會議裝置作為傳送端裝置時，可以確保傳送之視訊流與音訊流的同步，上述視訊會議裝置作為接收端裝置時，可以根據使用者設定的微調值，調整音訊流的播放時間，以確保播放時影像資料與關聯聲音資料的同步。

藉由以下對具體實施方式詳細的描述結合附圖，將可輕易的瞭解上述內容及此項發明之諸多優點。

請參閱圖1，所示為本發明一實施例中視訊會議裝置100的方塊圖，使用者可經由該視訊會議裝置100與其他使用者建立連線，進行視訊會議。上述視訊會議裝置100可以包含處理器102、視訊編解碼器104、音訊編解碼器106、儲存媒介108、使用者介面模組110、校準模組112、分析模組114及調整模組116。上述處理器102為上述視訊會議裝置100的中央處理器，可以由積體電路(Integrated Circuit，簡稱IC)組成，用於處理資料及執行電腦程式。上述視訊編解碼器104以及音訊編解碼器106用於將原始的影像資料及其伴隨的聲音資料分別編碼壓縮後，經由網路介面傳送，並將由網路介面接收到的封包進行解碼還原成原始的影像資料及其伴隨的聲音資料。上述儲存媒介108可以是任何形式的電腦可讀取的儲存媒介，包含揮發性和/或非揮發性形式之記憶體，例如隨機存取記憶體（Radom Access Memory，簡稱RAM）以及唯讀記憶體（Read Only Memory，簡稱ROM）等。上述模組110~116可以用硬體電路實現，亦可以用可編程硬體設備實現，還可以通過各種上述處理器102執行的電腦程式實現。為建立完整的視訊會議環境，上述視訊會議裝置100可以通訊連接攝影機120及麥克風130等擷取裝置，還可以通訊連接顯示裝置140及揚聲器150等播放裝置。圖1僅作為舉例，在一實施方式中，上述視訊會議裝置100也可以包含擷取裝置以及播放裝置。

上述視訊會議裝置100作為視訊會議的終端裝置可以是傳送終端， 也可以是接收終端。上述視訊會議裝置100作為視訊會議的接收終端時，在一實施例中，上述顯示裝置140可以包含上述揚聲器150，例如電視機。在另一實施例中，上述顯示裝置140與上述揚聲器150也可以是分開獨立運作的兩個裝置。上述視訊會議裝置100接收到視訊流及音訊流時，分別由上述視訊編解碼器104與上述音訊編解碼器106進行解碼解壓縮，再經由上述顯示裝置140以及上述揚聲器150播放。如此一來，可能因為解碼解壓縮所需的處理時間不一致，或是上述顯示裝置140與上述揚聲器150為獨立的兩個裝置而導致不可預期的播放延遲，造成最終播放的影像資料與聲音資料不同步的情形。

為確保接收終端播放影像與聲音資料的同步，上述視訊會議裝置100作為接收終端裝置時，可以提供使用者針對時間戳記值進行微調的功能。現在回到圖1，上述使用者介面模組110用於提供使用者視訊會議的相關操作介面以及時間戳記值微調的操作介面。其中時間戳記值微調的操作介面提供使用者以毫秒為單位對時間戳記值進行增減。上述調整模組116用於根據使用者所設定的微調值調整每一個接收到的語音RTP封包中之時間戳記值。

請參閱圖2，所示為本發明一實施例中視訊會議裝置100作為接收終端裝置時之唇形同步方法200的流程圖，該唇形同步方法300可經由上述處理器102執行圖1所示的模組110及116而實現。步驟S202中，開始視訊會議後，經由上述顯示裝置140及上述揚聲器150播放聲音及影像。在一實施例中，上述顯示裝置140可以包含上述揚聲器150，例如電視機。在另一實施例中，上述顯示裝置140與上述揚聲器150也可以是分開獨立運作的兩個裝置。步驟S204中，使用者判斷播放的影像及聲音資料是否同步。若使用者判斷播放的影像及關聯的聲音資料同步，則不需進行時間戳記值的微調。若使用者判斷播放的影像及關聯的聲音資料不同步，於步驟S206中，使用者可經由上述使用者介面模組110輸入一微調值。該微調值的單位為毫秒，用以調整關聯聲音資料的播放時間，可為提前播放或延遲播放。具體來說，上述調整模組116根據該使用者輸入的微調值調整上述視訊會議裝置100所接收到的語音RTP封包之時間戳記值。若該微調值為正值，代表關聯聲音資料的播放時間應延遲，則上述視訊會議裝置100將所接收到的 語音RTP封包之時間戳記值調整為原始時間戳記值加上該微調值。若該微調值為負值，代表關聯聲音資料的播放時間應提前，則上述視訊會議裝置100將所接收到的 語音RTP封包之時間戳記值調整為原始時間戳記值加上該微調值。上述步驟S204與S206可反覆執行，直到使用者對於影像與關聯的聲音資料之同步情形感到滿意，以確保影像與關聯的聲音資料於接收終端的播放同步。在一實施例中，使用者最終輸入的微調值可儲存於上述儲存媒介108中，該微調值可套用於上述視訊會議裝置100所接收到語音封包RTP之時間戳記值的微調。在另一實施例中，上述儲存媒介108可以儲存多個使用者的微調值，上述調整模組116可以根據儲存的多個微調值之平均數進行時間戳記值之微調，以彌補不同使用者間對於影音同步感受的差異性。

上述視訊會議裝置100作為視訊會議的傳送終端時，原始的影像與聲音資料是各別被上述攝影機120及上述麥克風130所擷取，並由上述視訊編解碼器104以及上述音訊編解碼器106分別進行編碼壓縮。如此一來，有可能因為擷取裝置的硬體元件處理能力不一致或編碼壓縮所需的處理時間不一致，導致在上述視訊編解碼器104以及上述音訊編解碼器106於視訊流及音訊流加入用於同步的時間戳記值前，即存在有影像資料與伴隨的聲音資料不同步的情形。

為確保傳送終端所傳送之視訊流以及音訊流的同步，上述視訊會議裝置100作為傳送終端裝置時，可以提供自動校準的功能。上述使用者介面模組110用於提供使用者視訊會議的相關操作介面以及執行自動校準功能的操作介面。當視訊會議開始後，使用者可以經由操作上述使用者介面模組110，執行傳送終端自動校準功能。該預定影像用於上述視訊會議裝置100自動校準時之參考，可以是一閃光或是連續性閃光的影像。該預定聲音用於上述視訊會議裝置100自動校準時之參考，可以是一高分貝嗶聲、一長嗶聲或連續性短嗶聲。該預定影像於上述顯示裝置140與該預定聲音於上述揚聲器150同步播放。在不同的實施方式中，可以使用一校準裝置同步播放該預定影像與該預定聲音，該校準裝置可以與上述視訊會議裝置100電氣連接或通訊連接，經由上述使用者介面模組110控制該預定影像與該預定聲音的播放。該校準裝置也可以是一獨立運作的裝置，經由設置開關、按鍵、按鈕或觸控式螢幕等操作介面，提供使用者控制該預定影像與該預定聲音的播放。該預定影像與該預定聲音由上述攝影機120與上述麥克風130擷取後，分別由上述視訊編解碼器104以及上述音訊編解碼器106進行編碼壓縮成視訊流及音訊流，並儲存於上述儲存媒介108。上述分析模組114用於從儲存於上述儲存媒介108的視訊流及音訊流中分析出該預定影像與該預定聲音，並計算該預定影像與該預定聲音於視訊流及音訊流中起始出現的時間差值。上述調整模組116用於根據該時間差值，調整封裝音訊流之RTP封包中的時間戳記值，以確保視訊流與音訊流於傳送終端的同步。

請參閱圖3，所示為本發明一實施例中視訊會議裝置100 作為傳送終端裝置時之唇形同步方法300的流程圖，該唇形同步方法200可經由上述處理器102執行圖1所示的模組110~116而實現。使用者首先經由上述使用者介面模組110啟動上述攝影機120與上述麥克風130，用於擷取影像與聲音資料。在步驟S302中，使用者可以經由上述使用者介面模組110，執行傳送終端自動校準功能，使上述自動校準模組112傳送預定的視訊訊號與音訊訊號給上述顯示裝置140以及上述揚聲器150，用於同步播放預定影像與預定聲音。該預定影像作為分析唇形不同步之參考，不同於一般視訊會議的影像，可以是一閃光或是連續性閃光的影像。該預定聲音作為分析唇形不同步之參考，可以是一高分貝嗶聲、一長嗶聲或連續性短嗶聲。上述視訊會議裝置100執行傳送終端自動校準功能前，可以先進行唇形同步方法200，以確保該預定影像與該預定聲音的同步播放。在另一實施方式中，上述視訊會議裝置100可以電氣連接或通訊連接於一校準裝置，該校準裝置用於同步播放該預定影像與該預定聲音。使用者可以經由上述使用者介面模組110，使上述自動校準模組112傳送控制訊號給該校準模組進行該預定影像與該預定聲音的同步播放。在不同的實施方式中，該校準裝置也可以獨立於上述視訊會議裝置100而運作，該校準裝置可以設置開關、按鍵、按鈕或觸控式螢幕等使用者介面，使用者可以經由操作上述開關、按鍵、按鈕或觸控式螢幕等使用者介面控制該校準裝置同步播放該預定影像與該預定聲音。在步驟S304中，該預定影像與該預定聲音經由上述攝影機120與上述麥克風130擷取後，分別由上述視訊編解碼器104與上述音訊編解碼器106進行編碼壓縮成視訊流及音訊流並儲存於上述儲存媒介108。在步驟S206中，上述分析模組114分析儲存於上述儲存媒介108中的視訊流及音訊流，該預定影像與該預定聲音出現的起始時間，計算該預定影像與該預定聲音起始出現的時間差值並儲存於上述儲存媒介108。在步驟S208中，上述調整模組116根據上述分析模組114分析計算而得的時間差值，調整封裝音訊流之RTP封包中的時間戳記值。舉例來說，若該預定聲音於語音流起始出現的時間早於該預定影像於視訊流起始出現的時間，則上述調整模組116調整封裝語音流之RTP封包中的時間戳記值為原始的時間戳記值加上上述分析模組114計算所得的時間差值。若該預定聲音於語音流起始出現的時間晚於該預定影像於視訊流起始出現的時間，則上述調整模組116調整封裝語音流之RTP封包中的時間戳記值為原始的時間戳記值減去上述分析模組114計算所得的時間差值。經由步驟208調整每一個上述視訊會議裝置100欲傳送的語音RTP封包中的時間戳記值，以確保視訊流與音訊流於傳送終端的同步。

綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施例，舉凡熟悉本案技藝之人士，在爰依本案發明精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。

100．．．視訊會議裝置

102．．．處理器

104．．．視訊編解碼器

106．．．音訊編解碼器

108．．．儲存媒介

110．．．使用者介面模組

112．．．校準模組

114．．．分析模組

116．．．調整模組

120．．．攝影機

130．．．麥克風

140．．．顯示裝置

150．．．揚聲器

圖1為本發明一實施例之視訊會議裝置的方塊圖。

圖2為本發明一實施例中視訊會議裝置作為接收終端裝置時之唇形同步方法的流程圖。

圖3為本發明一實施例中視訊會議裝置作為傳送終端裝置時之唇形同步方法的流程圖。

100．．．視訊會議裝置

102．．．處理器

104．．．視訊編解碼器

106．．．音訊編解碼器

108．．．儲存媒介

110．．．使用者介面模組

112．．．校準模組

114．．．分析模組

116．．．調整模組

120．．．攝影機

130．．．麥克風

140．．．顯示裝置

150．．．揚聲器

Claims (10)

1. 一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介及通訊連接至該視訊會議裝置的攝影機與麥克風，上述儲存媒介用於儲存經由上述攝影機與麥克風所擷取並經上述視訊會議裝置編碼壓縮的視訊流及音訊流，其中該音訊流由上述視訊會議裝置封裝成語音即時傳輸協定封包且該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：
   經由上述攝影機擷取一預定影像；
   經由上述麥克風擷取與該預定影像同步播放的一預定聲音；
   分析該預定影像於已儲存視訊流之第一起始出現時間；
   分析該預定聲音於已儲存音訊流之第二起始出現時間；
   計算上述第一起始出現時間與上述第二起始出現時間的一時間差值；以及
   若上述第一起始出現時間早於上述第二起始出現時間，則將上述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值減去該時間差值；
   若上述第一起始出現時間晚於上述第二起始出現時間，則將上述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值加上該時間差值。
2. 如申請專利範圍第1項所述之唇形同步的方法，其中該預定影像包含一閃光或連續性閃光的影像。
3. 如申請專利範圍第1項所述之唇形同步的方法，其中該預定聲音包含一高分貝嗶聲、一長嗶聲或連續性短嗶聲。
4. 一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介，上述視訊會議裝置用於接收語音即時傳輸協定封包，該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：
   接收使用者輸入的微調值；
   儲存該微調值於上述儲存媒介；以及
   根據已儲存的上述微調值調整上述視訊會議裝置所接收到之上述語音即時傳輸協定封包中的時間戳記值，其中上述調整之方法為上述語音即時傳輸協定封包中的原始的時間戳記值加上該已儲存的微調值。
5. 如申請專利範圍第4項所述之唇形同步的方法，其中使用者輸入的微調值以毫秒為單位。
6. 如申請專利範圍第4項所述之唇形同步的方法，其中使用者輸入的微調值包含正值或負值。
7. 一種唇形同步的方法，執行於視訊會議裝置，上述視訊會議裝置包含儲存媒介，上述視訊會議裝置用於接收語音即時傳輸協定封包，該語音即時傳輸協定封包包含一時間戳記值，該方法包括下列步驟：
   接收複數使用者輸入的複數微調值；
   儲存複數微調值於上述儲存媒介；
   計算已儲存之複數微調值的平均數；
   儲存複數微調值的上述平均數於上述儲存媒介；以及
   根據已儲存的上述平均數調整上述視訊會議裝置所接收到之上述語音即時傳輸協定封包中的時間戳記值，其中調整之方法為上述語音即時傳輸協定封包中的原始的時間戳記值加上該已儲存的平均數。
8. 如申請專利範圍第7項所述之唇形同步的方法，其中複數使用者輸入的複數微調值以毫秒為單位。
9. 如申請專利範圍第7項所述之唇形同步的方法，其中複數使用者輸入的複數微調值包含正值或負值。
10. 一種視訊會議裝置，包括：
    攝影機，用於擷取一預定影像；
    麥克風，用於擷取與該預定影像同步播放的一預定聲音；
    儲存媒介，用於儲存通過所述攝影機與麥克風所擷取並經所述視訊會議裝置編碼壓縮的視訊流及音訊流，其中所述音訊流由所述視訊會議裝置封裝成語音即時傳輸協定封包且所述語音即時傳輸協定封包包含一時間戳記值；
    分析模組，用於分析所述預定影像於已儲存視訊流之第一起始出現時間與所述預定聲音於已儲存音訊流之第二起始出現時間，並計算所述預定影像與所述預定聲音於視訊流及音訊流中的第一起始出現時間及第二起始出現時間的時間差值；以及
    調整模組，用於當所述第一起始出現時間早於所述第二起始出現時間時，則將所述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值減去所述時間差值，若所述第一起始出現時間晚於所述第二起始出現時間，則將所述語音即時傳輸協定封包之時間戳記值調整為原始時間戳記值加上所述時間差值。