TW200532645A - Method for music analysis - Google Patents

Description

200532645 九、發明說明： 【發明所屬之技術領域】 本發明係有關於一種音樂分析方法，且特別有關於速度估計 (tempo estimation )、節拍债測（beat detection )與微變化谓剛 (micro-change detection )之音樂分析方法，其產生自動化視訊|扁 輯系統中，視訊片段（clip)與聲執間對準的索引參數。 【先前技術】 近年來，自音樂摘要（musical excerpt)中自動擷取節律脈動 (rhythmic pulse)的技術是相當熱門的研究主題，其亦可稱為節 拍追蹤（beat-tracking)與音步輕拍（foot-tapping)，目的是建立 具有掘取符號表示（symbolic representation)功能的計算機演算 法，該符號表示與傾聽者（human listener )之“節拍”或“脈動” 的感知相符。 音樂概念中的“節律（rhythm) ”很難定義，Handel在1989 年編撰的書中，書名為 “ The experience of rhythm involves movement, regularity， grouping, and yet accentuation and differentiation” ，亦強調現象主義者之觀點的重要性，即在測量 聲響信號（acoustic signal)時，對於節律而言並沒有所謂的真實 狀況（ground truth)，唯一的真實狀況是傾聽者接受聲響信號之音 樂内容的節律概念。 一身又來說’與郎律相比，“節拍”與“脈動”只與Handel 的書中所說的“平均間隔之暫存單元的概念（the sense 0f equally spaced temporal units) ” 相符合。書中所述的“計量（meter)，， 與“節律”結合群組（grouping)、階層（hierarchy)以及強弱二 200532645 分法（dichotomy )的特性，而一首曲子（a piece of music )中的 “脈動”只在單一程度（simple level)時間歇產生，而一首曲子 中的節拍指的是平均間隔的現象脈衝（phenomenal impulse )序 列，其用以定義音樂的速度。 需注意到一首曲子中的複音複雜性（polyphonic complexity ) (即在單一時間内彈奏之音符（note)的的數目和音質（timbre))、 律動複雜性或脈動複雜性間不具關聯性。音樂的分段（piece)與 風格在本質（texturally)與音色（timbrally)上相當複雜，但具有 直接（straightforward)與感知（perceptually)的簡單律動。同樣 地，有些音樂結構並不那麼複雜，但卻較難以用節奏性的方式了 解與描述。 與後者相比，前者所述的樂曲類型具有“強勁的節拍（strong beat )節奏”。對於這類音樂，傾聽者的律動回應（rhythmic response)是簡單、直接且清楚的，且每一傾聽者皆能接受律動所 要表達的内容。 在自動化視訊編輯（Automated Video Editing )系統中，若要 取得視訊片段與聲軌間對準的索引參數，必須進行音樂分析程 序。在大多數流行音樂錄影帶中’視訊/影像換場（sh〇t transition ) 效果通常安排在節拍點發生時。此外，快板音樂（fast music)通 常隨者许多短片（short video clip )與快速換場（fast transition ) 進行對準，而慢板音樂（slow music )通常隨著長片與慢速換場進 行對準。因此’在自動化視訊編輯糸統中，速度估計（tempo estimation)與節拍偵測（beat detection)是最主要且最基本的編 輯程序。除此之外，另一個重要的編輯程序是微變化偵測 (micro-change detection)，其在音樂中產生局部有效的改變，特 200532645 別是對於沒有鼓聲的音樂，否則很難精確㈣測節拍點與估計速 度。 【發明内容】 有鑑於此’本發明之目的在提供—種音樂分析方法，其用以 對音樂進行速度估計、節拍仙化彳貞測，以產生-自動化 視訊編輯系統中’視訊片段與聲執間對準的索引參數。 基於上述目的，本發明提供—種音樂分析方法。首先，取得 一音樂音樂音軌。重新取樣該音樂音執之聲音串流，使得該聲音 串机由聲音區塊（block)組成。接著對該聲音區塊 換( 自每-聲音區塊導出第一向量; 2弟的分量在複數第—次頻帶之範㈣為其相應之聲音 區塊的能量總和。接下來，利用複數速度值，在 中，對由翁聲音區塊之第-向量的分量所構成的每—序列；^ 二相關w 广=值:二及將產生該最大相關結果之速度值視 所有序列之信心值，以將相應該最大信心值之估 汁速度視為一隶後估計速度。 【實施方式】 下文H發二之上述和其他目的、特徵和優點能更日易懂， 下文特舉出較以施例，並配合所附圖式，作詳細說明如下。 第！圖係顯示本發明實施例之音樂分析方法的步驟流程圏。 首先’取得-音樂音軌（步驟S1G)。例如，音準 60〜180M.M.(每分鐘節拍數）間變動 、日軌速度在 軌之聲音•流(步㈣。。如第2圖所 200532645 塊Cl、C2、…’母一區塊包括256個聲音取樣。聲音區塊（抓 block) B1由區塊Cl與C2組成，聲音區塊B2由區塊q與〇 組成，以此類推。因此，聲音區塊Bl、B2、…等具有相互重疊之 聲音取樣。接下來，對每一聲音區塊進行快速傅立葉轉換（以以 FT，FFT )(步驟S】2 )，將聲音區塊自時域（tlme d〇mam )轉換成 頻率域（frequency domain)。 接著，自每一聲音區塊推導出一對次頻帶向量（步驟s⑴， 其中-向量用於速度估計與節拍偵測程序，另—向量用於微變化 伯測程序。每-向㈣分量在不_”（次㈣）㈣其相應 之聲音區塊的能量總和，且兩向量之次頻帶組（_如d如）並 不相同，其可表示為：

/、⑷與V2⑷為自第n聲音區塊推導所得之向量，A 之 計㈣㈣啦W域帶狀第1次頻 π轭圍内之弟η聲音區塊的能 债測中，該次頻帶組之第]) j=W)驗變化 合。此外m曰 頻㈣圍内之第n聲音區塊的能量總 A»Jia(4)以及 V k=F.. 此外#量總合可由下财程 BM)

It—，众）， ik-h i次頻帶的上下邊：速5 :汁與即拍偵測程序中’該次頻帶組之第 第j次頻帶的上下M，jH Lj為為微變化_時，該次頻帶組之 塊之能量值（振幅k)為在頻率“寺，第n聲音區 牛〜兄，用於速度估計與節拍债測程序白: 200532645 次頻帶組包括[0Hz，125Hz]、[125Hz，250Hz]以及[250Hz，550Hz] 等三個次頻帶，用於微變化偵測程序的次頻帶組包括[0Hz， 1100Hz]、[1100Hz，2500Hz]、[2500Hz，5500Hz]以及[5500Hz， 11000Hz]等四個次頻帶。在大多流行音樂中，低頻鼓聲很規律地 產生’故很容易可找出節拍發生點，而使用於速度估计與部拍债 測程序之次頻帶組的總頻率範圍低於使用於微變化偵測程序之次 頻帶組的總頻率帶範圍。 接著，過濾由在向量VI⑴、VI⑺、…、V1(N)之相同次頻帶中 之組成所構成的每一序列以消除噪音（步驟S141 )，其中N為聲 音區塊的數目。舉例來說，有三個序列，分別具有相對應之次頻 帶[0Hz，125Hz]、[125Hz，250Hz]以及[250Hz，550Hz]。在每一序列 中，惟具有大於一預設值之振幅的組成不變，其餘皆設為0。 接下來，對每一序列進行自相關（步驟S142 )。在每一序列 中’利用速度值（如60〜186M.M.)計算關聯結果（correlation result)，其中產生最大關聯結果之速度值即為估計速度，而該估計 速度之信心值係為最大關聯結果。因此，可利用一臨界值決定相 關結果之有效性，其中只有大於該臨界值的關聯結果是有效的。 若其中一次頻帶不具有效的關聯結果，則該次頻帶之估計速度與 信心值分別設為60與〇。接著，比較使用於速度估計與節拍偵測 程序中，所有次頻帶之估計速度的信心值，以決定具有最大信心 值之估計速度為最後估計速度（步驟S143)。 接下來’利用該最後估計速度決定節拍發生點（步驟S144 )。 首先’確認次頻帶之序列中的最大峰值（peak)，該次頻帶的估計 速度係為上述最後估計速度。接著，在該最後估計速度的範圍内 刪除該最大峰值的鄰近峰值。然後，確認該序列中的下一最大峰 200532645 值。重複珊與確認步驟，直到沒有任何可確認的峰值。上述 有夸值皆表不為節拍發生點。 利用次頻帶向量V2 、 ^ 2(1) V2(2)' ···、V2(N)偵測音樂音執中的微 义化（步驟S15)。计异每一聲音區塊的微變化值mv，其係目前 向量與先前向量間之向量差的總和。特別的是，第η聲音區塊的 被麦化值係由下列方程式推導而得： MV{n) ^MDiff{V2(^ 〇 兩向里間之相里差可自行定義，舉例來說，其可能是兩向量間之 振巾田差纟取#被¥化值後，將該微變化值與一預設之臨界值才目 _ 比、，若該微變化值大於該臨界值，則將具有該徵變化值的聲音區 塊視為微變化。 在上述貫施例中’次頻帶組可由使用者輸人所定義，以進行 交叉音樂分析。 ▲ ‘上所述’本發明提供了—種使用於速度估計、節拍伯測與 微變化_之音樂分析方法，其用以產生—自動化視訊編輯系統 中，視訊片段與聲執間對準的㈣參數。利用具有相互重疊聲音 樣本之聲音區塊的次頻帶向量_速度值、節拍發生點以及微變 化，而用來定義向量的次頻帶組可由使用者輸入決定。因此，可 更快速且更容易取得視訊片段與聲軌間對準的索引參數。 雖然本發明已以較佳實施例揭露如上，然其並非用以限定本 發明’任何熟習此技藝者，在不脫離本發明之精神和㈣内，當 可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請 專利範圍所界定者為準。 10 200532645 【圖式簡單說明】 第1圖係顯示本發明實施例之音樂分析方法的步驟流程圖。 第2圖係顯示本發明實施例之聲音區塊示意圖。 【符號說明】 B1..B4〜聲音區塊 C1..C5〜區塊

11

Claims (1)

1. 200532645 十、申請專利範圍： 1. 一種音樂分析方法，包括下列步驟： 取得一音樂聲執； 重新取樣上述音樂聲軌之一聲音串流（audio stream )，使 得上述聲音串流由聲音區塊（blocks)組成； 對上述聲音區塊進行傅立葉轉換（FT); 自每一上述聲音區塊導出一第一向量，其中上述第一向量 之分量（component)是在複數第一次頻帶（sub-band)之範 圍内，其相應之上述聲音區塊的能量總和； 利用複數速度值（tempo value )，在相同第一次頻帶中， 對由所有聲音區塊之第一向量的分量所構成的每一序列進行 自相關（autocorrelation)運算，其中，將每一序列之最大相 關結果視為一信心值（confidence value )，以及將產生上述最 大相關結果之上述速度值視為一估計速度；以及 比較所有上述序列之信心值，以將相應上述最大信心值之 估計速度視為一最終估計速度。 2. 如申請專利範圍第1項所述的音樂分析方法，其更包括下 列步驟： 自每一上述聲音區塊導出一第二向量，其中上述第二向量 的分量在複數第二次頻帶之範圍内為其相應之上述聲音區塊 的能量總和；以及 利用上述第二向量偵測微變化（micro-change )。 12 200532645 麟 ' ,· 3.二申請專利範圍第2項所述的音樂分析方法，其中，對每 一聲音區塊計算一微變化值，上述微變化值為上述聲音區 塊與先雨聲音前區塊之第二向量間之相量差的總和。 4·如申請專利範圍第3項所述的音樂分析方法，其中，每一 微變化值可由下列方程式推導而得·· 。其:MV⑷為第n聲音區塊的微變化值，v2⑻為第n聲音 ^的第二向量’ν2(η·υ為第η-1聲音區塊的第二向量，V2(q 為第二2聲音區塊的第二向量，V2(")為第聲音區塊的第φ 一向里，以及V2(n,為第n_4聲音區塊的第二向量。 5·，申請專利範圍第4項所述的音樂分析方法，其中，上述 第二向量中之任兩個第二向量間之向量差係表示其振幅 (amplitude)差。 6_如申請專利範圍第5項所述的音樂分析方法，其中，將上 述微變化值與-預設臨界值比較，當上述微變化值大於上 述g品界值’則將具有上述微變化值之聲音區塊視為微變化。籲 7.如申請專利範圍第6項所述的音樂分析方法，其中，上述 第二次頻帶為[0Hz，1100Hz]、[1100Hz，2500Hz]、[2500Hz， 5500Hz]以及[55〇〇Hz，iiooohz]。 8·如申請專利範圍第6項所述的音樂分析方法，其中，上述 第二次頻帶係由使用者輸入所決定。 9·如申請專利範圍第丨項所述的音樂分析方法，其更包括在 執行上述自相關運算步驟前過濾（filter)上述序列，其中 惟具有大於一預設值之振幅的組成不變，其餘皆設為〇。 13 200532645 ι〇·如申請專利範圍第1項所述的音樂分析方法，其中，將上 述聲音串流劃分為區塊（chunk )並且將相鄰兩區塊分配給 一聲音區塊（block)中，以對上述聲音串流重新取樣，使 得上述聲音區塊（blocks)具有相互重疊之聲音樣本。 U.如申請專利範圍第10項所述的音樂分析方法，其中，其中 一區塊（chunk)之聲音樣本數為256。 12·如申請專利範圍第1項所述的音樂分析方法，其中，利用 下列方程式推導出在第i次頻帶範圍内之第η聲音區塊的能 量總和：

   其中氏與Li為上述第i次頻帶中之上下邊界，以及a (η. k)為在頻率k時，上述第^聲音區塊之能量值（振幅）。 13·如申請專利範圍第丨項所述的音樂分析方法，其中，上述 第一次頻帶為[0Hz，125Hz]、[125Hz，250Hz]以及[250Hz， 55〇Hz] 〇 14.如申睛專利範圍第丨項所述的音樂分析方法，其中，上述 第一次頻帶係由使用者輸入所決定。 15·如申請專利範圍第1項所述的音樂分析方法，其更包括利 用上述最後估計速度決定上述音樂音執之節拍發生點（beat onset)。 16·如申請專利範圍！ 15項所述的音樂分析方法，其中，決定 上述節拍發生點更包括下列步驟： 14 200532645 確認上述次頻帶之序列中之一最大峰值（peak )，上述次 頻帶之估計速度為上述最後估計速度； 在上述最後估計速度之範圍内刪除上述最大峰值之鄰近 峰值； 確認上述序列中之下一最大峰值；以及 重複上述刪除與確認步驟，直到沒有任何可確認的峰值； 其中，所有上述峰值皆表示為上述節拍發生點。

   15