TWM652294U - 音訊轉錄之電子裝置 - Google Patents

Abstract

本案揭露一種音訊轉錄之電子裝置，包含一處理裝置及一儲存裝置。處理裝置內建一轉錄模型，處理裝置載入一輸入音訊檔，將輸入音訊檔轉換為一時頻圖，並透過轉錄模型進行：時頻圖經卷積運算而獲得複數高維度特徵，並將其分成低頻特徵及高頻特徵，低頻特徵及高頻特徵分別透過第一小波注意力轉換及第二小波注意力轉換，以取得一音高後驗特徵圖及一音符後驗特徵圖；時頻圖更可透過轉換器神經網路結合音高後驗特徵圖及音符後驗特徵圖，以取得一開頭後驗特徵圖；再根據音高後驗特徵圖、音符後驗特徵圖及開頭後驗特徵圖，經過一後驗圖後處理，以得到最終轉錄的一音樂數位介面檔案。儲存裝置電性連接處理裝置，以儲存輸入音訊檔及音樂數位介面檔案。

Description

音訊轉錄之電子裝置

本案係有關一種基於小波轉換（Wavelet Transformation）與轉換器網路（Transformer Network）進行音訊轉錄之電子裝置。

目前將輸入音訊檔案轉錄為音樂數位介面（music instrument digital interface，midi）的方法，轉錄效果較好的主要都是基於卷積神經網路（Convolutional Neural Network，CNN）的模型架構，並針對轉換後的時頻圖提取特徵，以預測得到語音後驗特徵圖，經轉換後得到最終輸出的音樂數位介面。

但由於卷積神經網路是根據卷積核（Convolution Kernel）來獲取特徵，此特徵屬於輸入圖像的局部特徵資訊（local feature information），但時頻圖的橫軸為時間，縱軸為頻率響應的影像，使用局部的卷積神經網路可能會因為網路架構不夠深，感受野（Receptive Field）不夠大而導致轉錄效果不佳；或者網路架構夠深，但卻會因模型過大而導致難以訓練以及執行推理時耗費過多時間。

本案提供一種音訊轉錄之電子裝置，包含一處理裝置以及一儲存裝置。處理裝置係內建有一轉錄模型，處理裝置載入一輸入音訊檔，將輸入音訊檔轉換為一時頻圖，並透過轉錄模型進行下述運算：時頻圖經由一第一卷積運算，以獲得複數高維度特徵，將該些高維度特徵分成複數低頻特徵及複數高頻特徵，低頻特徵透過一第一小波注意力轉換而提取出複數低頻關鍵特徵，以取得一音高後驗特徵圖，高頻特徵透過一第二小波注意力轉換而提取出複數高頻關鍵特徵，再將低頻關鍵特徵及高頻關鍵特徵相加融合，以取得一音符後驗特徵圖；時頻圖更可透過一轉換器神經網路結合音高後驗特徵圖及音符後驗特徵圖，以取得一開頭後驗特徵圖；再根據音高後驗特徵圖、音符後驗特徵圖及開頭後驗特徵圖，經過一後驗圖後處理，以得到最終轉錄的一音樂數位介面檔案。儲存裝置電性連接處理裝置，儲存裝置係儲存輸入音訊檔及音樂數位介面檔案。

綜上所述，本案提出一種音訊轉錄之電子裝置，其係使用卷積神經網路架構的轉錄模型，於卷積神經網路加入小波注意力轉換分別對時頻圖的高低頻進行不同的預測處理，再搭配轉換器神經網路架構，利用其擅長處理時間序列（sequence）等連續關係的資料，以及可以很好的學習到輸入圖像的全域特徵（Global feature）的優勢，以逐步取得音高後驗特徵圖（Pitch Posteriorgram）、音符後驗特徵圖（Note Posteriorgram）及開頭後驗特徵圖（Onset Posteriorgram）等語音後驗特徵圖，使轉錄後的音樂數位介面檔案（midi）更加準確，而具有良好的轉錄效果。再者，本案採用之小波注意力轉換所使用的特徵更加精簡，這可以使得轉錄模型的推理速度更快，網路架構參數量更小。

以下將配合相關圖式來說明本案的實施例。此外，實施例中的圖式有省略部份元件或結構，以清楚顯示本案的技術特點。在這些圖式中，相同的標號表示相同或類似的元件或電路，必須瞭解的是，儘管術語“第一”、“第二”等在本文中可以用於描述各種元件、部件、區域或功能，但是這些元件、部件、區域或功能不應受這些術語的限制，這些術語僅用於將一個元件、部件、區域或功能與另一個元件、部件、區域或功能區隔開來。

請參閱圖1所示，一音訊轉錄之電子裝置10係包含一處理裝置12、一圖形處理器（GPU）14以及一儲存裝置16，處理裝置12電性連接圖形處理器14，且處理裝置12亦電性連接至儲存裝置16，其中處理裝置12係內建有一轉錄模型18。當處理裝置12透過轉錄模型18進行運算時，圖形處理器14係協助處理裝置12進行轉錄模型18的相關運算，以使用圖形處理器14來輔助運算，加速運算速度。在一實施例中，電子裝置10可為一個人電腦、一筆記型電腦或是一平板電腦等，但本案不以此為限。

在一實施例中，處理裝置12係為一中央處理單元（central processing unit，CPU），或是其他一般用途或特殊用途的微處理器（microprocessor）、微控制單元（micro control unit，MCU）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC），或其他類似元件或上述元件的組合，本案不以此為限。

在一實施例中，儲存裝置16可以是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或其他類似元件或上述元件的組合，以用於儲存處理裝置12所需的任何音訊圖像或音訊資料等，但本案不以此為限。

在一實施例中，如圖1所示，處理裝置12在使用轉錄模型18之前，更可先對轉錄模型18進行訓練。處理裝置12在訓練轉錄模型18時，亦採用圖形處理器14來協助進行訓練的運算處理，使處理裝置12可搭配圖形處理器14來訓練轉錄模型18，以加速訓練模型的時間。

請同時參閱圖1及圖2所示，在音訊轉錄之電子裝置10中，處理裝置12係利用內建之轉錄模型18來進行推論，以進行音訊轉錄。詳言之，處理裝置12自儲存裝置16或一外部裝置（圖中未示）載入一輸入音訊檔20，此輸入音訊檔20可包含哼唱、交響樂、流行音樂等包含各種複雜多元的音頻資訊，且支援各式音訊格式檔案類型（例如，mp3、wav、flac…等），處理裝置12先透過一常數Q轉換（Constant-Q Transform）CQT將輸入音訊檔20轉換為一時頻圖22，並透過轉錄模型18對轉換後的時頻圖22進行以下的運算。

在取得時頻圖22之後，在轉錄模型18中，時頻圖22經由一第一卷積神經網路24進行一第一卷積運算，以獲得複數高維度特徵。這些高維度特徵係沿著一通道維度分成複數低頻特徵f _L及複數高頻特徵f _H。此轉錄模型18更包含一低頻小波注意力轉換模組26及一高頻小波注意力轉換模組28，基此，該些低頻特徵f _L透過低頻小波注意力轉換模組26進行一第一小波注意力轉換，以提取出更深層的複數低頻關鍵特徵f _L’，並根據低頻關鍵特徵f _L’取得對應之一音高後驗特徵圖（Pitch Posteriorgram）30；並且，該些高頻特徵f _H係透過高頻小波注意力轉換模組28進行一第二小波注意力轉換，以提取出更深層的複數高頻關鍵特徵f _H’，再將該些低頻關鍵特徵f _L’及該些高頻關鍵特徵f _H’相加融合，以取得一音符後驗特徵圖（Note Posteriorgram）32。其中，本案區分高低頻的用意，主要是認為音高與音符的關係與高低頻有明顯的關係，故先使用低頻小波注意力轉換模組26取得最容易預測的音高後驗特徵圖30，再使用高頻小波注意力轉換模組28將生成之高頻關鍵特徵f _H’與低頻關鍵特徵f _L’相加融合，以得到音符後驗特徵圖32。

另一方面，時頻圖22更可透過一轉換器（Transformer）神經網路38結合音高後驗特徵圖30及音符後驗特徵圖32，以取得一開頭後驗特徵圖（Onset Posteriorgram）44。在一實施例中，在取得音高後驗特徵圖30及音符後驗特徵圖32之後，會進一步將音高後驗特徵圖30及音符後驗特徵圖32結合在一起，經過一第二卷積神經網路34進行一第二卷積運算，以獲得一結合後驗特徵圖36輸入至轉換器神經網路38中，使時頻圖22透過轉換器神經網路38結合此結合後驗特徵圖36，以取得開頭後驗特徵圖44。其中，轉換器神經網路38更包含一編碼器40以及一解碼器42，且編碼器40串接解碼器42，編碼器40包含複數編碼區塊401（在此係以N個為例），解碼器42包含複數解碼區塊421（在此係以N個為例），時頻圖22輸入至編碼器40中進行處理後傳送至解碼器42，且結合後驗特徵圖36亦輸入至解碼器42中進行訊號處理，以據此取得對應之開頭後驗特徵圖44。由於解碼器42係採用前面所預測的音高後驗特徵圖30與音符後驗特徵圖32，所以可以進一步提升對開頭後驗特徵圖44之預測準確度。在一實施例中，結合後驗特徵圖36係可為針對某一時間點所切取的特徵片段，以提取不同頻段的局部特徵。最後，根據音高後驗特徵圖30與音符後驗特徵圖32（結合後驗特徵圖36，即合併後之音高後驗特徵圖30與音符後驗特徵圖32）以及開頭後驗特徵圖44，經過一後驗圖後處理（Posteriorgram Post Processing）PPP，以得到最終轉錄的一音樂數位介面檔案46。其中，前述之輸入音訊檔20及音樂數位介面檔案46係可儲存在儲存裝置16中，以提供處理裝置12進行存取。

在一實施例中，請同時參閱圖2及圖3所示，在低頻小波注意力轉換模組26中，低頻小波注意力轉換模組26進行第一小波注意力轉換之步驟更進一步包含下列步驟：首先，低頻特徵f _L經過一第三卷積神經網路48進行一第三卷積運算之後，會進行一次的離散小波轉換（Discrete Wavelet Transformation）DWT，以取得四個頻帶的小波資訊特徵f _w，此四個頻帶包含一低低頻帶LL、一低高頻帶LH、一高低頻帶HL以及一高高頻帶HH，其中低高頻帶LH、高低頻帶HL以及高高頻帶HH之小波資訊特徵f _w係經過全域平均池化（Global Average Pooling）GAP處理以及數層卷積層50運算後，以得到一通道權重Wc，此通道權重Wc會結合低低頻帶LL及高低頻帶HL之小波資訊特徵f _w，進而獲得一加權小波資訊特徵f _w’。此加權小波資訊特徵f _w’再經過一第四卷積神經網路52進行一第四卷積運算後，進行一反小波轉換（Inverse Wavelet Transformation）IWT，將處理後的特徵還原成與原本輸入特徵（低頻特徵f _L）相同的大小，以獲得低頻關鍵特徵f _L’，進而根據低頻關鍵特徵f _L’取得對應之音高後驗特徵圖30。

在一實施例中，請同時參閱圖2及圖3所示，在高頻小波注意力轉換模組28中，高頻小波注意力轉換模組28進行第一小波注意力轉換之步驟更進一步包含下列步驟：首先，高頻特徵f _H經過一第三卷積神經網路48進行一第三卷積運算之後，會進行一次的離散小波轉換（Discrete Wavelet Transformation）DWT，以取得四個頻帶的小波資訊特徵f _w，此四個頻帶包含一低低頻帶LL、一低高頻帶LH、一高低頻帶HL以及一高高頻帶HH，其中低高頻帶LH、高低頻帶HL以及高高頻帶HH之小波資訊特徵f _w係經過全域平均池化（Global Average Pooling）GAP處理以及數層卷積層50運算後，以得到一通道權重Wc，此通道權重Wc會結合低低頻帶LL及高低頻帶HL之小波資訊特徵f _w，進而獲得一加權小波資訊特徵f _w’。此加權小波資訊特徵f _w’再經過一第四卷積神經網路52進行一第四卷積運算後，進行一反小波轉換（Inverse Wavelet Transformation）IWT，將處理後的特徵還原成與原本輸入特徵（高頻特徵f _H）相同的大小，以獲得高頻關鍵特徵f _H’，進而將低頻關鍵特徵f _L’及高頻關鍵特徵f _H’相加融合，以取得音符後驗特徵圖32。

綜上所述，提出一種音訊轉錄之電子裝置，其係使用卷積神經網路架構的轉錄模型，於卷積神經網路加入小波注意力轉換分別對時頻圖的高低頻進行不同的預測處理，再搭配轉換器神經網路架構，利用其擅長處理時間序列（sequence）等連續關係的資料，以及可以很好的學習到輸入圖像的全域特徵（Global feature）的優勢，以逐步取得音高後驗特徵圖（Pitch Posteriorgram）、音符後驗特徵圖（Note Posteriorgram）及開頭後驗特徵圖（Onset Posteriorgram）等語音後驗特徵圖，使轉錄後的音樂數位介面檔案（midi）更加準確，而具有良好的轉錄效果。再者，本案採用之小波注意力轉換（包含低頻小波注意力轉換模組及高頻小波注意力轉換模組）所使用的特徵更加精簡，這可以使得轉錄模型的推理速度更快，網路架構參數量更小。

以上所述之實施例僅係為說明本案之技術思想及特點，其目的在使熟悉此項技術者能夠瞭解本案之內容並據以實施，當不能以之限定本案之專利範圍，即大凡依本案所揭示之精神所作之均等變化或修飾，仍應涵蓋在本案之申請專利範圍內。

10:電子裝置

12:處理裝置

14:圖形處理器

16:儲存裝置

18:轉錄模型

20:輸入音訊檔

22:時頻圖

24:第一卷積神經網路

26:低頻小波注意力轉換模組

28:高頻小波注意力轉換模組

30:音高後驗特徵圖

32:音符後驗特徵圖

34:第二卷積神經網路

36:結合後驗特徵圖

38:轉換器神經網路

40:編碼器

401:編碼區塊

42:解碼器

421:解碼區塊

44:開頭後驗特徵圖

46:音樂數位介面檔案

48:第三卷積神經網路

50:卷積層

52:第四卷積神經網路

CQT:常數Q轉換

DWT:離散小波轉換

GAP:全域平均池化

IWT:反小波轉換

PPP:後驗圖後處理

HH:高高頻帶

HL:高低頻帶

LH:低高頻帶

LL:低低頻帶

f _L:低頻特徵

f _L’:低頻關鍵特徵

f _H:高頻特徵

f _H’:高頻關鍵特徵

f _w:小波資訊特徵

f _w’:加權小波資訊特徵

Wc:通道權重

圖1為根據本案一實施例之音訊轉錄之電子裝置的方塊示意圖。 圖2為根據本案一實施例之電子裝置內之轉錄模型在進行音訊轉錄的架構示意圖。 圖3為根據本案一實施例使用之轉錄模型內之低頻/高頻小波注意力轉換模組的架構示意圖。

10:電子裝置

12:處理裝置

14:圖形處理器

16:儲存裝置

18:轉錄模型

Claims (13)

1. 一種音訊轉錄之電子裝置，包含：一處理裝置，內建有一轉錄模型，該處理裝置載入一輸入音訊檔，將該輸入音訊檔轉換為一時頻圖，並透過該轉錄模型進行：該時頻圖經由一第一卷積運算，以獲得複數高維度特徵，將該些高維度特徵分成複數低頻特徵及複數高頻特徵，該些低頻特徵透過一第一小波注意力轉換而提取出複數低頻關鍵特徵，以取得一音高後驗特徵圖，該些高頻特徵透過一第二小波注意力轉換而提取出複數高頻關鍵特徵，再將該些低頻關鍵特徵及該些高頻關鍵特徵相加融合，以取得一音符後驗特徵圖；該時頻圖更可透過一轉換器神經網路結合該音高後驗特徵圖及該音符後驗特徵圖，以取得一開頭後驗特徵圖；以及根據該音高後驗特徵圖、該音符後驗特徵圖及該開頭後驗特徵圖，經過一後驗圖後處理，以得到最終轉錄的一音樂數位介面檔案；以及一儲存裝置，電性連接該處理裝置，以儲存該輸入音訊檔及該音樂數位介面檔案。
2. 如請求項1所述之音訊轉錄之電子裝置，其中該處理裝置係透過一常數Q轉換將該輸入音訊檔轉換為該時頻圖。
3. 如請求項1所述之音訊轉錄之電子裝置，其中該轉錄模型更包含一第一卷積神經網路，該時頻圖係透過該第一卷積神經網路進行該第一卷積運算，以獲得該些高維度特徵。
4. 如請求項1所述之音訊轉錄之電子裝置，其中該些高維度特徵係沿著一通道維度分成該些低頻特徵及該些高頻特徵。
5. 如請求項1所述之音訊轉錄之電子裝置，其中該音高後驗特徵圖及該音符後驗特徵圖結合在一起後，經過一第二卷積運算，以獲得一結合後驗特徵圖輸入至該轉換器神經網路中，該時頻圖透過該轉換器神經網路結合該結合後驗特徵圖，以取得該開頭後驗特徵圖。
6. 如請求項5所述之音訊轉錄之電子裝置，其中該轉錄模型更包含一第二卷積神經網路，以透過該第二卷積神經網路進行該第二卷積運算，以獲得該結合後驗特徵圖。
7. 如請求項1所述之音訊轉錄之電子裝置，其中該轉錄模型更包含一低頻小波注意力轉換模組及一高頻小波注意力轉換模組，使該些低頻特徵透過該低頻小波注意力轉換模組進行該第一小波注意力轉換而提取出該些低頻關鍵特徵，以取得該音高後驗特徵圖，另外，該些高頻特徵透過該高頻小波注意力轉換模組進行該第二小波注意力轉換而提取出該些高頻關鍵特徵，再將該些低頻關鍵特徵及該些高頻關鍵特徵相加融合，以取得該音符後驗特徵圖。
8. 如請求項7所述之音訊轉錄之電子裝置，其中該低頻小波注意力轉換模組於進行該第一小波注意力轉換之步驟更包含：該些低頻特徵經一第三卷積運算後，進行一離散小波轉換，以取得四個頻帶的小波資訊特徵，再經過一全域平均池化處理以及數層卷積層運算後，得到一通道權重，該通道權重結合該小波資訊特徵，以獲得一加權小波資訊特徵，該加權小波資訊特徵再經一第四卷積運算後，進行一反小波轉換，以獲得該些低頻關鍵特徵。
9. 如請求項8所述之音訊轉錄之電子裝置，其中該四個頻帶更包含一低低頻帶、一低高頻帶、一高低頻帶以及一高高頻帶，該低高頻帶、該高低頻帶以及該高高頻帶之該小波資訊特徵係經過該全域平均池化處理以及該數層卷積層運算後，得到該通道權重，該通道權重結合該低低頻帶及該高低頻帶之該小波資訊特徵，以獲得該加權小波資訊特徵。
10. 如請求項7所述之音訊轉錄之電子裝置，其中該高頻小波注意力轉換模組於進行該第二小波注意力轉換之步驟更包含：該些高頻特徵經一第三卷積運算後，進行一離散小波轉換，以取得四個頻帶的小波資訊特徵，再經過一全域平均池化處理以及數層卷積層運算後，得到一通道權重，該通道權重結合該小波資訊特徵，以獲得一加權小波資訊特徵，該加權小波資訊特徵再經一第四卷積運算後，進行一反小波轉換還原回原本輸入特徵大小，以獲得該些高頻關鍵特徵。
11. 如請求項10所述之音訊轉錄之電子裝置，其中該四個頻帶更包含一低低頻帶、一低高頻帶、一高低頻帶以及一高高頻帶，該低高頻帶、該高低頻帶以及該高高頻帶之該小波資訊特徵係經過該全域平均池化處理以及該數層卷積層運算後，得到該通道權重，該通道權重結合該低低頻帶及該高低頻帶之該小波資訊特徵，以獲得該加權小波資訊特徵。
12. 如請求項5所述之音訊轉錄之電子裝置，其中該轉換器神經網路更包含一編碼器以及一解碼器，且該編碼器串接該解碼器，該編碼器包含複數編碼區塊，該解碼器包含複數解碼區塊，該時頻圖輸入 至該編碼器中進行處理後傳送至該解碼器，且該結合後驗特徵圖亦輸入至該解碼器中進行訊號處理，以據此取得該開頭後驗特徵圖。
13. 如請求項1所述之音訊轉錄之電子裝置，更包含一圖形處理器，該圖形處理器電性連接該處理裝置，該圖形處理器係協助處理裝置進行該轉錄模型的相關運算。