TWI514371B - 降低回放音頻延遲之伴唱系統及其方法 - Google Patents

Description

降低回放音頻延遲之伴唱系統及其方法

本發明涉及一種伴唱系統，特別是指一種先直接回放原始音頻再播放音場處理及混音後的音頻之降低回放音頻延遲之伴唱系統及其方法。

近年來，隨著伴唱設備的普及與蓬勃發展，先將歌唱者的聲音進行音場處理後再播放的技術已相當普遍，然而，如何使歌唱者的聲音不因音場處理而延遲，導致人聲與字幕不同步則已成為各家廠商亟欲解決的問題。

一般而言，傳統的伴唱設備是使用硬體晶片來處理人聲、音場效果及字幕並進行播放，然而此方式的擴充性不佳，難以新增人聲及音場效果，如：在KTV場所、在錄音室、在演唱會、模擬狗叫聲、男女聲音轉換......等效果，因此，為了方便增加人聲及音場效果便改以使用軟體的方式來處理，但由於以軟體方式處理音場效果需要耗費相當多的時間，導致播放出來的人聲與顯示字幕的時間兩者之間存在延遲的問題，換句話說，從歌唱者發出的人聲經過音場處理後回放到歌唱者人耳聽到的聲音會比顯示的字幕來得慢，故具有回放音頻延遲的問題。

有鑑於此，便有人提出一種同步化文字/影像資訊與音頻回播方法，利用音頻處理技術，同步化與音頻(特別是音樂)回播相關的文字或其他影像資訊。然而，上述方式是以時間標記的方式對已預先存在的文字、影像與音頻進行處理，無法適用於伴唱這種具有即時性的需求。因此，上述方式仍然無法有效解決回放音頻延遲之問題。

綜上所述，可知先前技術中長期以來一直存在回放音頻延遲之問題，因此實有必要提出改進的技術手段，來解決此一問題。

本發明揭露一種降低回放音頻延遲之伴唱系統及其方法。

首先，本發明揭露一種降低回放音頻延遲之伴唱系統，此系統包含：輸入模組、音效模組、處理單元及輸出模組。其中，輸入模組用以自麥克風接收原始音頻；音效模組用以將原始音頻分別傳送至混音器及訊號讀寫端，並且在混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，以及在混音器同時接收到原始音頻及來自訊號讀寫端的處理音頻時，將原始音頻與處理音頻進行混音生成回放音頻；處理單元驅動所述音效模組，用以自訊號讀寫端讀取原始音頻進行音場處理後生成處理音頻，並且將處理音頻回傳至所述訊號讀寫端；輸出模組用以將來自所述混音器的回放音頻輸出至揚聲器。

另外，本發明揭露一種降低回放音頻延遲之伴唱方法，其步驟包括：自麥克風接收原始音頻；將此原始音頻分別傳送至混音器及訊號讀寫端，並且在混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，以及在混音器同時接收到原始音頻及來自訊號讀寫端的處理音頻時，將原始音頻與處理音頻進行混音生成回放音頻；自所述訊號讀寫端讀取原始音頻進行音場處理後生成處理音頻，並且將此處理音頻回傳至所述訊號讀寫端；將來自混音器的回放音頻輸出至揚聲器。

本發明所揭露之系統與方法如上，與先前技術的差異在於本發明是透過將來自麥克風的原始音頻分別傳送至混音器及訊號讀寫端，以及自訊號讀寫端讀取原始音頻進行音場處理生成處理音頻並回傳，當混音器僅接收到原始音頻 時直接將原始音頻作為回放音頻，當混音器同時接收到原始音頻及處理音頻時，將原始音頻與處理音頻進行混音產生回放音頻，使人耳聽到的回放音頻能夠呈現先播放原始音頻再播放混音後的音頻。

透過上述的技術手段，本發明可以達成提高回放音頻的即時性之技術功效。

110‧‧‧輸入模組

120‧‧‧音效模組

130‧‧‧處理單元

140‧‧‧輸出模組

150‧‧‧更新模組

160‧‧‧伺服端

170‧‧‧網路

311、351、361‧‧‧傳輸路徑一

312、352、352‧‧‧傳輸路徑二

321、331、341‧‧‧傳輸路徑一

322、332、342‧‧‧傳輸路徑二

323、333、343‧‧‧傳輸路徑三

步驟210‧‧‧自麥克風接收一原始音頻

步驟220‧‧‧將該原始音頻分別傳送至一混音器及一訊號讀寫端，並且在該混音器僅接收到該原始音頻時直接將該原始音頻作為一回放音頻，以及在該混音器同時接收到該原始音頻及來自該訊號讀寫端的一處理音頻時，將該原始音頻與該處理音頻進行混音生成該回放音頻

步驟225‧‧‧透過網路連線至一伺服端，並且自該伺服端下載預設的至少一音場效果以提供音場處理使用

步驟230‧‧‧自該訊號讀寫端讀取該原始音頻進行音場處理後生成該處理音頻，並且將該處理音頻回傳至該訊號讀寫端

步驟235‧‧‧調整該原始音頻及該處理音頻的比例

步驟240‧‧‧將來自該混音器的該回放音頻輸出至一揚聲器

第1圖為本發明降低回放音頻延遲之伴唱系統之系統方塊圖。

第2圖為本發明降低回放音頻延遲之伴唱方法之方法流程圖。

第3圖為應用本發明的第一實施例之示意圖。

第4圖為應用本發明的第二實施例之示意圖。

第5圖為應用本發明的第三實施例之示意圖。

第6圖為應用本發明的第四實施例之示意圖。

第7圖為應用本發明的第五實施例之示意圖。

第8圖為應用本發明的第六實施例之示意圖。

第9圖為應用本發明的第七實施例之示意圖。

第10圖為應用本發明的第八實施例之示意圖。

第11圖為應用本發明的第九實施例之示意圖。

第12圖為應用本發明的第十實施例之示意圖。

第13圖為應用本發明的第十一實施例之示意圖。

以下將配合圖式及實施例來詳細說明本發明之 實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

在說明本發明所揭露之降低回放音頻延遲之伴 唱系統及其方法之前，先對本發明所應用的環境作說明，本發明係應用在伴唱設備中，藉由軟體方式處理音場效果，並且透過硬體方式直接回放人聲，接著調整軟體與硬體的回放比例，以便解決字幕與人耳聽到聲音之間所存在的延遲。另外，須特別說明的是，雖然本發明所述的類比/數位轉換器為類比訊號轉換至數位訊號、數位/類比轉換器為數位訊號轉換至類比訊號的功能。然而，考量實際晶片的設計及方便起見，所述類比/數位轉換器亦可同時包含類比訊號轉換至數位訊號及數位訊號轉換至類比訊號的功能。

以下配合圖式對本發明降低回放音頻延遲之伴 唱系統及其方法做進一步說明，請參閱「第1圖」，「第1圖」為本發明降低回放音頻延遲之伴唱系統之系統方塊圖，其系統包含：輸入模組110、音效模組120、處理單元130及輸出模組140。其中，輸入模組110用以自麥克風接收原始音頻，所述原始音頻為歌唱者所發出的人聲之音頻訊號。

音效模組120用以將原始音頻分別傳送至混音 器及訊號讀寫端，並且在混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，以及在混音器同時接收到原始音頻及來自訊號讀寫端的處理音頻時，將原始音頻與處理音頻進行混音生成回放音頻，所述訊號讀寫端可為通用序列匯流排的輸出/輸入(USB Input/Output)腳位，在此要特別說明的是，雖然本發明以通用序列匯流排配合圖式作說明，然而本發明並未以此作限制，在實際實施上亦可使用具有更高傳輸速度的傳輸介面如：“Thunderbolt”(目前傳輸速度高達20Gbps)來取代通用序列匯流排。在實際實施上，音效模組120可包含類比/數位轉換器(Analog-to-igital Converter,ADC)及數位/類比轉換器(Digital-to-Analog Converter, DAC)用以對回放音頻及處理音頻進行類比訊號及數位訊號的轉換，舉例來說，類比/數位轉換器可透過I2S(Inter-IC Sound)腳位電性連接至處理單元130，用以傳輸數位訊號，如此一來，由混音器輸出的回放音頻即可透過類比/數位轉換器將音頻訊號由類比訊號轉換為數位訊號供處理單元130以高清晰度多媒體介面(High-Definition Multimedia Interface,HDMI)進行數位輸出及播放。至於來自處理單元130的處理音頻由於為數位訊號，所以要將其透透過數位/類比轉換器由數位訊號轉換為類比訊號以供混音器進行混音處理。由於數位訊號與類比訊號之間的轉換及其播放技術為習知技術，故在此不再多作贅述。特別要說明的是，原始音頻的音量可大於處理音頻。另外，音效模組120還可以包含聲道處理單元(圖中未示)來處理左右聲道的音頻訊號，此音效模組120可使用USB音效晶片“VT1620A”來實現。

處理單元130驅動音效模組120，用以自訊號讀 寫端讀取原始音頻進行音場處理後生成處理音頻，並且將此處理音頻回傳至訊號讀寫端。在實際實施上，音場處理是以應用程序將原始音頻與預設的音場效果，如：錄音室、演唱會、KTV......等模擬效果進行運算以產生相應的處理音頻，由於音場處理為習知技術，故在此不再多作贅述。所述處理單元130可使用系統單晶片“WM8950”來實現。

輸出模組140用以來自混音器的回放音頻輸出 至揚聲器，如：喇叭、音箱......等等。在實際實施上，其可透過高清晰度多媒體介面(HDMI)、AV端子、......等音效輸出端子以數位或類比的方式來傳輸播放音頻。另外，輸出模組140更可包含高清晰度多媒體介面單元，用以電性連接處理單元130及音效模組120的類比/數位轉換器，以便將數位化的播放音頻透過輸出模組140輸出至揚聲器。在實際實施上，高清晰度多媒體介面單元可使用產品編號“IT6623”的積體電路來實現，用以進行HDMI的混音處理。

特別要說明的是，本系統更可包含更新模組150用以透過網路170連線至伺服端160，並且從所述伺服端160下載預設的音場效果，提供處理單元130進行音場處理之用。如此一來，即可透過維護伺服端160的音場效果一併使連線到此伺服端160的本系統進行相應的更新及維護，提高維護音場效果的便利性。

接著，請參閱「第2圖」，「第2圖」為本發明降低回放音頻延遲之伴唱方法，其步驟包括：自麥克風接收原始音頻(步驟210)；將原始音頻分別傳送至混音器及訊號讀寫端，並且在混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，以及在混音器同時接收到原始音頻及來自訊號讀寫端的處理音頻時，將原始音頻與處理音頻進行混音生成回放音頻(步驟220)；自所述訊號讀寫端讀取原始音頻進行音場處理後生成處理音頻，並且將此處理音頻回傳至訊號讀寫端(步驟230)；將來自混音器的回放音頻輸出至揚聲器(步驟240)。透過上述步驟，即可透過將來自麥克風的原始音頻分別傳送至混音器及訊號讀寫端，以及自訊號讀寫端讀取原始音頻進行音場處理生成處理音頻並回傳，當混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，當混音器同時接收到原始音頻及處理音頻時，將原始音頻與處理音頻進行混音產生回放音頻，使人耳聽到的回放音頻能夠呈現先播放原始音頻再播放混音後的音頻。

特別要說明的是，在步驟230之前，亦可透過網路170連線至伺服端160，並且自此伺服端160下載預設的音場效果以提供步驟230進行音場處理時使用(步驟225)。如此一來，即可透過連線至外部的伺服端160來持續維護音場處理時所使用的音場效果。另外，在步驟230之後，可調整原始音頻及處理音頻的比例(步驟235)來進行混音。舉例來說，兩者混音產生的回放音頻，其原始音頻佔40%、處理音頻佔60%。

以下配合「第3圖」至「第13圖」以實施例的 方式進行如下說明，請先參閱「第3圖」，「第3圖」為應用本發明的第一實施例之示意圖。在此例中以HDMI端子為輸出，處理單元130的系統單晶片與音效模組120的音效晶片透過USB的I/O(Input/Output)相互電性連接。音效模組120將原始音頻分別傳送至訊號讀寫端(即USB I/O)及音效晶片內的混音器(圖中未示)，系統單晶片130從訊號讀寫端讀取原始音頻並進行音場處理後產生處理音頻，並且將此處理音頻透過訊號讀寫端回傳至音效晶片，音效晶片內的混音器在尚未接收到處理音頻時是直接將原始音頻作為回放音頻輸出至類比/訊號轉換器，而在接收到處理音頻後則會對處理音頻進行混音並同樣產生回放音頻輸出至類比/訊號轉換器，接著此回放音頻則經由類比/數位轉換器透過I2S_IN腳位將回放音頻傳送至系統單晶片。換句話說，來自麥克風的原始音頻其傳輸路徑是依序經由音效晶片、類比/數位轉換器及系統單晶片(如粗體實線所示意的傳輸路徑一311)，而系統單晶片產生的處理音頻則依序經由音效晶片、類比/訊號轉換器再回到重新回到系統單晶片(如粗體長虛線所示意的傳輸路徑二312)，以便透過將回放音頻透過輸出模組140的HDMI端子傳送至揚聲器進行播放。

如「第4圖」所示意，「第4圖」為應用本發明 的第二實施例之示意圖。在此例中應用軟體與AV端子同時有音頻輸出，所述應用軟體的音頻可為預設的伴奏樂曲。此第二實施例與第一實施例的主要差異在於應用軟體的音頻從系統單晶片的I2S_Out腳位依序經過數位/類比轉換器、混音器輸出至AV端子(如粗體虛線所示意的傳輸路徑三323)；回放音頻從音效晶片同時往類比/數位轉換器及混音器傳送(如粗體實線所示意的傳輸路徑一321)；以及處理音頻從系統單晶片同時往類比/數位轉換器及混音器傳送(如粗體長虛線所示意的傳輸路徑二322)，這三條傳輸路徑(321~323) 所代表的音頻訊號經混音後輸出至AV端子進行播放。

如「第5圖」所示意，「第5圖」為應用本發明 的第三實施例之示意圖。前面提到，輸出模組140更可包含高清晰度多媒體介面單元(簡稱為HDMI單元)，在實際實施上，HDMI單元透過HDMI_In腳位電性連接系統單晶片，以及透過I2S_In腳位電性連接至類比/數位轉換器的I2S_Out腳位。第三實施例與第二實施例的主要差異在於增加了HDMI單元，使得三種音頻訊號(傳輸路徑如粗體實線所示意的傳輸路徑一331、粗體長虛線所示意的傳輸路徑二332及粗體虛線所示意的傳輸路徑三333)除了輸出至AV端子之外，還從類比/數位轉換器的I2S_Out腳位輸出至高清晰度多媒體介面單元的I2S_In進行混音並輸出至HDMI端子。

如「第6圖」所示意，「第6圖」為應用本發明 的第四實施例之示意圖。在此例中以音箱作為輸出，第四實施例與第二實施例雷同，傳輸路徑一至傳輸路徑三(341~343)相同，其差異僅在於第二實施例是輸出至AV端子，而第四實施例則是輸出至電視機音箱，在實際實施上，為了將聲音輸出至電視機音箱需要如「第6圖」所示意增加一個後級放大器(亦稱之為後期放大器)於混音器及電視機音箱之間。

如「第7圖」所示意，「第7圖」為應用本發明 的第五實施例之示意圖。在此例中USB音效卡可外接在設備外或內嵌在設備內，應用程序控制系統單晶片驅動音效晶片(如：“VIA1620”)讀取來自麥克風110的原始音頻後再寫回音效晶片，接著音效晶片根據原始音頻產生回放音頻並傳送至音箱(傳輸路徑如粗體實線所示意的傳輸路徑一351)，至於系統單晶片則根據原始音頻及預設的音場效果來進行音場處理後生成處理音頻，並且將處理音頻寫回音效晶片進行混音後輸出到音箱(傳輸路徑如粗體長虛線所示意的傳輸路徑二352)。特別要注意的是，在此例中傳輸路徑一351所代 表的音頻音量要大於傳輸路徑二352所代表的音頻音量。

如「第8圖」所示意，「第8圖」為應用本發明 的第六實施例之示意圖。在此例中以HDMI為輸出，第六實施例與第五實施例雷同，其差異在於第五實施例中的音效晶片透過其Line_Out腳位以類比的方式將音頻傳送至音箱，而第六實施例中的音效晶片則是透過其I2S_Out腳位以數位的方式傳送至系統單晶片的I2S_In腳位用以輸出至HDMI端子。特別要注意的是，I2S_In腳位讀取的資料需要搭配定時器持續讀取以及往HDMI端子傳送。

如「第9圖」所示意，「第9圖」為應用本發明 的第七實施例之示意圖。此第七實施例與第四實施例的差別在於將混音器以兩路交換器取代，以便由軟體控制電視機音箱的聲音來源，另外，音效晶片可透過3.5mm機械式開關介面連接有外接音箱，在音效晶片同時支援類比輸出(即：Line out)及數位輸出(即：I2S out)兩種模式時，假設類比輸出作為外接音箱的輸出、數位輸出作為電視機音箱的輸出，當外接音箱連接至3.5mm機械式開關介面後，會產生訊號並傳回音效晶片，此時麥克風110的聲音從Line out輸出且關閉I2S out；反之，當3.5mm機械式開關介面為空接時，麥克風110的聲音從I2S out輸出。

如「第10圖」所示意，「第10圖」為應用本發 明的第八實施例之示意圖。此第八實施例與第七實施例的差別僅在於增加一個微控制器(Multipoint Control Unit,MCU)，用以判斷音效晶片是否以普通3.5mm插孔連接有外接音箱，假設有外接音箱接在普通3.5mm插孔，微控制器產生訊號傳送至音效晶片使麥克風110的聲音從Line out輸出且關閉I2S out。至於其餘部分皆與第七實施例相同，故在此不再多作贅述。

如「第11圖」所示意，「第11圖」為應用本發 明的第九實施例之示意圖。此第九實施例與第四實施例雷 同，其差異處僅在於使用支援兩路輸入的後級放大器(即：兩路後級放大器)來推動電視機音箱，因此，可以省略混音器及兩路交換器等元件。特別要說明的是，在實際實施上，兩路後級放大器可考量電路佈局設置在輸出模組140或音效模組120之中，本發明並未對兩路後級放大器的設置位置作限定。

如「第12圖」所示意，「第12圖」為應用本發 明的第十實施例之示意圖。此第十實施例與第七實施例雷同，其差異處僅在於如第九實施例以兩路後級放大器取代混音器。故其餘相同處不再多作贅述。

如「第13圖」所示意，「第13圖」為應用本發 明的第十一實施例之示意圖。此第十一實施例與第八實施例雷同，其差異處僅在於如第九實施例以兩路後級放大器取代混音器。至於其餘相同處則不再多作贅述。

綜上所述，可知本發明與先前技術之間的差異在 於透過將來自麥克風的原始音頻分別傳送至混音器及訊號讀寫端，以及自訊號讀寫端讀取原始音頻進行音場處理生成處理音頻並回傳，當混音器僅接收到原始音頻時直接將原始音頻作為回放音頻，當混音器同時接收到原始音頻及處理音頻時，將原始音頻與處理音頻進行混音產生回放音頻，使人耳聽到的回放音頻能夠呈現先播放原始音頻再播放混音後的音頻，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高回放音頻的即時性之技術功效。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110‧‧‧輸入模組

120‧‧‧音效模組

130‧‧‧處理單元

140‧‧‧輸出模組

150‧‧‧更新模組

160‧‧‧伺服端

170‧‧‧網路

Claims (10)

1. 一種降低回放音頻延遲之伴唱系統，該系統包含：一輸入模組，用以自麥克風接收一原始音頻；一音效模組，用以將該原始音頻分別傳送至一混音器及一訊號讀寫端，並且在該混音器僅接收到該原始音頻時直接將該原始音頻作為一回放音頻，以及在該混音器同時接收到該原始音頻及來自該訊號讀寫端的一處理音頻時，將該原始音頻與該處理音頻進行混音生成該回放音頻；一處理單元，該處理單元驅動該音效模組，用以自該訊號讀寫端讀取該原始音頻進行音場處理後生成該處理音頻，並且將該處理音頻回傳至該訊號讀寫端；以及一輸出模組，用以將來自該混音器的該回放音頻輸出至一揚聲器。
2. 根據申請專利範圍第1項之降低回放音頻延遲之伴唱系統，其中該系統更包含一更新模組，用以透過網路連線至一伺服端，並且自該伺服端下載預設的至少一音場效果，提供該處理單元進行音場處理。
3. 根據申請專利範圍第1項之降低回放音頻延遲之伴唱系統，其中該音效模組包含類比/數位轉換器(Analog-to-igital Converter,ADC)及數位/類比轉換器(Digital-to-Analog Converter,DAC)，用以對該回放音頻及該處理音頻進行類比訊號及數位訊號的轉換。
4. 根據申請專利範圍第3項之降低回放音頻延遲之伴唱系統，其中該輸出模組更包含一高清晰度多媒體介面(High-Definition Multimedia Interface,HDMI)單元，該高清晰度多媒體介面單元用以電性連接該處理單元及該類比/數位轉換器，用以將該回放音頻數位化後透過該輸出模組輸出至該揚聲器。
5. 根據申請專利範圍第1項之降低回放音頻延遲之伴唱系統，其中該原始音頻的音量大於該處理音頻，並且允許調整該原始音頻與該處理音頻的比例。
6. 一種降低回放音頻延遲之伴唱方法，其步驟包括：自麥克風接收一原始音頻；將該原始音頻分別傳送至一混音器及一訊號讀寫端，並且在該混音器僅接收到該原始音頻時直接將該原始音頻作為一回放音頻，以及在該混音器同時接收到該原始音頻及來自該訊號讀寫端的一處理音頻時，將該原始音頻與該處理音頻進行混音生成該回放音頻；自該訊號讀寫端讀取該原始音頻進行音場處理後生成該處理音頻，並且將該處理音頻回傳至該訊號讀寫端；以及將來自該混音器的該回放音頻輸出至一揚聲器。
7. 根據申請專利範圍第6項之降低回放音頻延遲之伴唱方法，其中該方法更包含透過網路連線至一伺服端，並且自該伺服端下載預設的至少一音場效果以提供音場處理使用的步驟。
8. 根據申請專利範圍第6項之降低回放音頻延遲之伴唱方法，其中該方法更包含調整該原始音頻及該處理音頻的比例的步驟。
9. 根據申請專利範圍第6項之降低回放音頻延遲之伴唱方法，其中該回放音頻係透過數位訊號及類比訊號或兩者任一輸出至該揚聲器。
10. 根據申請專利範圍第6項之降低回放音頻延遲之伴唱方法，其中該原始音頻的音量大於該處理音頻。