TWI419150B - Singing and grading system - Google Patents

Description

歌唱評分系統

本發明係關於一種歌唱評分系統，特別是指一種針對卡拉OK影音光碟之自動歌唱評分系統。

卡拉OK是一項可以讓人們照著螢幕顯示器指示進行歌唱的熱門育樂活動。除了具有娛樂效果外，許多人也藉由卡拉OK系統練習歌唱。因此，具有智慧型評分功能之卡拉OK系統可以讓練唱者得到立即之反饋。

然而，雖然自動歌唱評分功能在許多卡拉OK系統中已行之有年，其評分效果迄今仍與專業評審之能力相去甚遠，往往流於空有其名，卻無實際用處的觀感。一般使用者視之為隨意給分，毫無公信力可言。主要原因是系統製造商並未投入研發心力，大多僅以粗淺的歌唱「音量」來作為評分依據，以致效果不彰，影響歌唱者使用意願。

目前雖有研究提出較佳的歌唱評分方法，但所使用的評分線索不外乎為「音量」與「音高」兩項，所能達到的評分能力仍有限，而不符合歌唱者實際之需求。因此，若能提供一種卡拉OK歌唱智慧型評分系統，能夠針對除了音量與音高之外的參數進行評估，以得到客觀並接近專業評審評分之結果，應為一最佳解決方案。

本發明之目的即在於提供一種歌唱評分系統，該系統係可提供卡拉OK歌唱者一智慧型評分。

本發明之次一目的即在於提供一種歌唱評分系統，該系統不需為每首歌曲錄製清唱歌聲樣本，即可進行歌唱評分。

可達成上述發明目的之唱歌評分系統，係於音量與音高分析之外，進一步加上節奏分析，該系統包括：一歌曲存放單元，該歌曲存放單元具有一含伴奏之歌唱聲道以及一純伴奏之聲道；一基於音高之分析模組，該基於音高之分析模組係分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行音高求取，以產生第一音符序列，該基於音高之分析模組並針對一受測歌唱片段之聲音訊號產生第二音符序列，再將該第一音符序列與該第二音符序列進行基於動態時軸校正之相似度測量，以產生一基於音高之評估分數；一基於音量之分析模組，該基於音量之分析模組係分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行短期能量計算以及零均值化，以產生第一能量序列，該基於音量之分析模組並針對一受測歌唱片段之聲音訊號進行短期能量計算以及零均值化，以產生第二能量序列，再將該第一能量序列與該第二能量序列進行基於動態時軸校正之相似度測量，以產生一基於音量之評估分數；一基於節奏之分析模組，該基於節奏之分析模組分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行諧波強度計算，並分別以第一及第二隱藏式馬可夫模型代表，該基於節奏之分析模組係並將該伴唱歌聲之聲道進行強度計算後，以第三隱藏式馬可夫模型代表，該基於節奏之分析模組另將一受測歌唱片段之聲音訊號進行諧波強度計算後，針對該第一、第二、第三隱藏式馬可夫模型進行可能性計算及決定，以產生一基於節奏之評估分數；以及一分數組合模組，該分數組合模組係將該基於音高之評估分數、基於音量之評估分數、以及該基於節奏之評估分數進行組合。

於一實施例中，該歌曲存放單元為卡拉OK影音光碟。

於一實施例中，該第一隱藏式馬可夫模型係為一演唱者搶拍演唱之模型。

於一實施例中，該第二隱藏式馬可夫模型係為一演唱者慢拍演唱之模型。

於一實施例中，該第三隱藏式馬可夫模型係為一演唱者以正確節拍演唱之模型。

於一實施例中，該分數組合模組係根據一啟發式規則進行結合，且該啟發式規則係為0.5‧S_Pit +0.2‧S_Vol +0.3‧S_Rhy 。

本發明並提供一種歌唱評分方法，包括下列步驟：將一存錄之卡拉OK VCD歌曲所具有之一含伴奏之歌唱聲道以及一純伴奏之聲道的聲音訊號分別進行基於音高之分析、基於音量之分析，以及基於節奏之分析，分別得到一音高標準、一音量標準，以及一節奏標準；將一受測歌唱片段之聲音訊號分別進行基於音高之分析、基於音量之分析，以及基於節奏之分析，再分別與該音高標準、該音量標準，以及該節奏標準比較，以得到一基於音高之評估分數、一基於音量之評估分數、以及一基於節奏之評估分數；以及將該基於音高之評估分數、該基於音量之評估分數、以及該基於節奏之評估分數進行分數組合，以得到一歌唱評分。

為了讓本系統符合人類評分之結果，本系統需要一參考依據，該參考依據為一歌曲存放單元。在本實施例中，該歌曲存放單元係為擷取自卡拉OK影音光碟(video compact disc,VCD)之歌聲部份。一卡拉OK VCD中具有兩個不同之聲道(channels)，一為主唱歌聲與背景音樂伴奏之混合，另一聲道則只含有伴奏而已。

圖一所示為本實施例之歌唱評分系統，該系統除了該歌曲存放單元之外，還包含一基於音高之分析模組、一基於音量之分析模組、以及一基於節奏之分析模組。當評估一歌唱片段時，該系統便利用上述各模組進行基於音高之分析、基於音量之分析、以及基於節奏之分析；然後自各分析模組得到之結果(S _Pit 、S _Vol 、S _Rhy )則再由分數組合模組根據下列啟發式規則進行結合：0.5‧S _Pit +0.2‧S _Vol +0.3‧S _Rhy 。

1.　基於音高之分析模組

音高係與人類所聽到之聲音的相對高低有關。若要演唱正確的旋律，就必須在一段適當的時間內唱出一連串正確音高的音符。本實施例係使用樂器數位介面(musical instrument digital interface,MIDI)的音階(note scale)來比較在一待評估之歌聲中的一連串音符與在一參考歌聲中相對的音符。

該分析始於將一歌唱錄音的波形轉換為一連串MIDI的音符；令n ₁ 、n ₂ 、...至n _M 為一歌唱者可能演唱之音符的清單，其目標是在每個瞬間中，決定出M 個音符中的哪一個是最可能被唱出的音符。首先，以固定長度的滑動漢明窗(sliding Hamming window)將該聲音訊號切割成若干音框，然後計算每一個音框的快速傅利葉轉換(fast Fourier transform,FFT)，計算長度為J 個點；令x _tj 代表該訊號在第t 音框中之第j 刻度的FFT能量，其中1 j J 。則該訊號在第t 音框中含有第m 音符之能量可以下列公式估算：

以及

其中為一小數點無條件捨去運算，F (j )為第j 刻度之FFT所對應的頻率，而U (‧)則代表在FFT刻度與MIDI音符之間的轉換。

接著，以次諧波總和(sub-harmonic summation,SHS)策略來估算所唱的音符；以下列公式計算在第t 音框中含有第m 音符的強度：

其中C 是所考慮之諧波的數目，而h 則為一小於1之正值，該正值係用以折算較高諧波之貢獻。通常，所演唱音符的諧波強度較其若干八度倍之音符的諧波強度來得大。

因此，在第t 音框中所唱的音符可以藉由以下公式求出：

由於一個音符通常持續數個音框，因此該估算結果可以再藉由音框間的連續性來改善。在此使用中值濾波方法(median filtering)來移除相鄰音框間不合理的音符快速變化(jitters)，該中值濾波方法將每個音符以其鄰近音框音符的區域中值(local median)進行取代。

然而，上述方法僅適合於擷取無伴奏之歌聲的音符。由於大部份VCD的演唱都有伴奏，具有最大諧波強度之音符可能並非由演唱者所產生的，而是樂器伴奏所產生的。為了解決此一問題，本案發明人係以頻譜刪減法(spectral subtraction,SS)來降低背景音樂對歌聲音高求取之干擾。如前所述，卡拉OK音樂在每個音軌中包含了兩種不同的聲道(channels)：一個是主要歌聲與伴奏之混合(稱為含伴奏之歌唱聲道)，另一個則只含有伴奏而已(稱為純伴奏之聲道)。雖然這兩個聲道並不相同，但是在純伴奏之聲道中的音樂通常聽起來與含伴奏之歌唱聲道中的背景伴奏音樂相似。將含伴奏之歌唱聲道的頻譜與純伴奏之聲道的頻譜相減，可以得到一個近似純歌唱之頻譜。然而，由於含伴奏之歌唱聲道中的音量不一定總是比純伴奏之聲道的音量大，因此直接相減法可能會產生一個負值頻譜。為了克服此問題，本案發明人使用加權刪減法來進行背景音樂伴奏之處理。

圖二所示為該基於音高之分析模組的示意圖，在離線階段(off-line phase)時，將一首卡拉OK歌曲之歌聲波形訊號v [n ]轉換為一參考音符序列(reference note sequence)O ={o ₁ ,o ₂ ,...,o _T }，其中n 為時間索引值，而T 為序列長度。由於v [n ]包含背景伴奏a [n ]，且a [n ]近似於該純伴奏之聲道的訊號a' [n ]，所以在求取音符序列前須先進行頻譜刪減法(SS)。在上線階段(on-line phase)，將一待測歌聲之波形訊號s' [n ]轉換為一音符序列O ' ={o' ₁ ,o' ₂ ,...,o' _T }。於是，該演唱者的歌唱好壞係基於O 與O ' 之間之相似度來評估。然而，由於這兩個音符序列的長度通常不相同，因此無法直接計算彼此的歐氏距離(Euclidean distance)。為了解決此一問題，本案發明人以動態時軸校正(Dynamic Time Warping,DTW)來決定O 與O ' 之間各音符的對應關係(temporal mapping)。

動態時軸校正(DTW)建構一T ×T' 距離矩陣D=[D (t ,t' )] _{T × T} ，其中D (t ,t' )為音符序列{o ₁ ,o ₂ ,...,o _t }與{o ₁ ,o ₂ ,...,o _t' }之間的距離，以下列公式計算：

以及

d (t ,t' )=|o _t -o _t' |,　公式(6)

其中ε是為了使音符o _t 傾向於對應o _t' 而設定的很小常數。

在建構距離矩陣D後，O 與O ' 之間的相似度可以藉由下列公式評估：

其中該受測歌唱片段假設為不短於該參考歌唱片段長度的一半，且不長於該參考歌唱片段長度的兩倍。

接著，相似度Sim(O ,O ' )則轉換為一個介於0到100之間的分數：

S _Pit =100‧k ₁ exp[k ₂ ‧Sim(O ,O ' )/T ],　公式(8)

其中k ₁ 與k ₂ 為用來控制S _Pit 分佈的可調參數。

2.　基於音量之分析模組

一首歌的樂譜中包含了力度符號，用以指示演唱時的音量以及是否有音量上的轉變。但力度是相對的而非絕對的，力度只能指示某段的音樂應該大聲點或小聲點。因此，力度大小的詮釋絕大部份取決於演唱者本身。儘管如此，在不同演唱者演唱同一首歌時，一段時間內的音量變化應該還是有一相似的模式。本案發明人以音框能量(frame energies)的一段序列來表示音量變化的特徵。

圖三顯示為該基於音量之分析模組的示意圖。由於卡拉OK VCD音樂中並沒有獨唱歌聲，因此若想比較一受測歌聲與其參考歌聲之間的能量序列是不可行的；為了解決此一問題，本案發明人以頻譜刪減法得到的訊號來近似參考歌聲的能量序列。此外，為了不使節奏快慢而影響音量分析，本案發明人以動態時軸校正(DTW)來測量該參考歌聲的能量序列E 與該受測歌聲的能量序列E ' 之間的相似度Sim(E ,E ' )；以下列公式取得一基於音量之分數：

S _vol =100.q ₁ exp[q ₂ ‧Sim(E ,E ' )/T ],　公式(9)

其中該q ₁ 與q ₂ 為用來控制S _vol 分佈的可調參數。

3.　基於節奏之分析模組

節奏係與演唱快慢及休止有關，雖然每首歌都有標準節奏，但演唱者可能視情況而自行決定歌唱速度。在卡拉OK演唱時，由於伴奏都是事先預錄的，演唱者必須跟隨伴奏的速度，否則該演唱可能聽起來像是沒有跟上節奏。因此，本分析的基本策略是評估歌唱與伴奏之間的同步性，因為演唱者有時會發生慢拍或搶拍的情形。

圖四顯示為該基於音量之分析模組的示意圖。本分析之策略是藉由概率模型來描述歌唱與伴奏之間是否同步，分別將同步與非同步的情形表示為概率模型，如此便能透過統計辨識的方式來判斷受測歌聲應屬於何者。對每首歌而言，一“同步模型”係以擷取自卡拉OK的VCD音樂的伴奏歌聲訊號來建立。為了捕捉該訊號隨時間而變的諧波結構，以公式(3)將該訊號的波形轉換為一連串的諧波強度向量，然後以隱藏式馬可夫模型(hidden Markov model,HMM)代表之；該HMM所定義之觀測(Observation)序列為諧波強度向量{Y ₁ ,Y ₂ ,...，Y _t ,...}，其中Y _t =[y _{t ,1} ,y _{t ,2} ,...,y _{t , M} ]^Tr 且y _{t , m} ,1 m M ,係為第t 音框中含有音符e _m 的諧波強度。在HMM中，每個狀態之每一觀測序列的分佈是以一個高斯密度(Gaussian densities)之混合來表示。HMM之參數，包括初始概率、狀態轉移概率、混合權重、期望值向量、以及變異數矩陣，係以波氏演算法(Baum-Welch algorithm)進行估算，並以λ⁽⁰⁾ 表示同步HMM。

針對非同步的情形，則使用人工混合之伴唱資料來建立兩個隱藏式馬可夫模型。第一個隱藏式馬可夫模型表示一演唱者搶拍，該模型之訓練方式如下。首先，以頻譜刪減法(SS)自含伴奏之歌唱聲道擷取一近似之清唱，該近似之清唱隨後加上非同步的伴奏，該非同步的伴奏是原伴奏經由時域(time domain)上右移K 個取樣點而得。是以，該疊加的結果聽起來像是一個演唱者搶拍演唱。為了使一人工混合音中的歌聲對伴奏音量比例可以接近真實伴唱之音量比例，在混合前，將該伴奏乘上一數值β。該數值之決定方式是使人工混合音之能量等於該含伴奏之歌唱聲道的能量。接著，該混合音以公式(3)轉換為一諧波強度向量序列。該序列隨即透過波氏演算法(Baum-Welch algorithm)而表示為一個隱藏式馬可夫模型，並以λ⁽¹⁾ 表示該模型。

另一方面，該第二隱藏式馬可夫模型(HMM)表示一演唱者慢拍演唱。該伴奏以β音量縮放比例以及左移K 個取樣點後，與該近似之清唱相疊加，所產生的混合音及用來訓練該第二隱藏式馬可夫模型，並以λ^(-1) 表示該模型。

本系統依照一適當之歌聲對伴奏的音量比例，將一受測歌聲與一以γ 比例縮放之伴奏相混合，隨即計算該混合音的諧波強度序列，並將之分割為數個W 長度且彼此不重疊之片段G ₁ ,G ₂ ,...,G _L ；接著，每一片段之屬性係以下列公式決定：

當為-1、0以及1時，分別代表該歌唱慢拍、合乎節拍、以及搶拍。

由於(=±1)代表出現錯誤的節奏，因此該系統使用下列公式計算一基於節奏之評分：

其中δ(‧)為狄克拉δ函數(|Dirac delta function)。

本發明所提供之唱歌評分方法，與其他習用技術相互比較時，更具有下列之優點：

1.　本發明所提供之歌唱評分系統係藉由多項聲訊特徵，包含動態音量、音高、與節奏等分析，評斷出受測者之歌唱水平，使自動歌唱評分能力大幅提升，因此可提供卡拉OK歌唱者一智慧型評分。

2.　本發明所提供之歌唱評分系統係從含有伴奏的卡拉OK歌聲中取得評分參考依據，不需為每首歌曲錄製清唱歌聲樣本，即可進行歌唱評分，因此較符合實際使用需求。

上列詳細說明係針對本發明之一可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

圖一為本發明一實施例中歌唱評分系統示意圖；

圖二為本發明一實施例中基於音高之分析模組的示意圖；

圖三為本發明一實施例中基於音量之分析模組的示意圖；以及

圖四為本發明一實施例中基於節奏之分析模組的示意圖。

Claims (7)

1. 一種歌唱評分系統，包括：一歌曲存放單元，該歌曲存放單元具有一含伴奏之歌唱聲道以及一純伴奏之聲道；一基於音高之分析模組，該基於音高之分析模組係分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行音高求取，以產生第一音符序列，該基於音高之分析模組並針對一受測歌唱片段之聲音訊號產生第二音符序列，再將該第一音符序列與該第二音符序列進行基於動態時軸校正之相似度測量，以產生一基於音高之評估分數；一基於音量之分析模組，該基於音量之分析模組係分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行短期能量計算以及零均值化，以產生第一能量序列，該基於音量之分析模組並針對一受測歌唱片段之聲音訊號進行短期能量計算以及零均值化，以產生第二能量序列，再將該第一能量序列與該第二能量序列進行基於動態時軸校正之相似度測量，以產生一基於音量之評估分數；一基於節奏之分析模組，該基於節奏之分析模組分別將該含伴奏之歌唱聲道以及該純伴奏之聲道的聲音訊號以頻譜刪減法處理後，進行人工混合非同步的伴奏，並計算混合音之諧波強度，分別以第一及第二隱藏式馬可夫模型代表搶拍與慢拍情形，該基於節奏之分析模組係並將該含伴奏之歌唱聲道進行諧波強度計算後，以第三隱藏式馬可夫模型代表合於節拍的演唱，該基於節奏之分析模組另將一受測歌唱片段之聲音訊號進行強度計算後，針對該第一、第二、第三隱藏式馬可夫模型進行可能性計算及匹配決定，以產生一基於節奏之評估分數；以及一分數組合模組，該分數組合模組係將該基於音高之評估分數、基於音量之評估分數、以及該基於節奏之評估分數進行組合。
2. 如申請專利範圍第1項所述之歌唱評分系統，其中該歌曲存放單元為卡拉OK影音光碟。
3. 如申請專利範圍第1項所述之歌唱評分系統，其中該第一隱藏式馬可夫模型係為一演唱者搶拍之模型。
4. 如申請專利範圍第1項所述之歌唱評分系統，其中該第二隱藏式馬可夫模型係為一演唱者慢拍之模型。
5. 如申請專利範圍第1項所述之歌唱評分系統，其中該第三隱藏式馬可夫模型係為一演唱者合乎節拍之模型。
6. 如申請專利範圍第1項所述之歌唱評分系統，其中該分數組合模組係根據一啟發式規則進行結合。
7. 如申請專利範圍第6項所述之歌唱評分系統，其中該啟發式規則係為0.5．S _Pit +0.2．S _Vol +0.3．S _Rhy 。