TWI723634B - 資料處理系統及其資料處理方法 - Google Patents

資料處理系統及其資料處理方法 Download PDF

Info

Publication number
TWI723634B
TWI723634B TW108141621A TW108141621A TWI723634B TW I723634 B TWI723634 B TW I723634B TW 108141621 A TW108141621 A TW 108141621A TW 108141621 A TW108141621 A TW 108141621A TW I723634 B TWI723634 B TW I723634B
Authority
TW
Taiwan
Prior art keywords
parameter
neural network
data processing
data
signal processing
Prior art date
Application number
TW108141621A
Other languages
English (en)
Other versions
TW202115623A (zh
Inventor
林永隆
高肇陽
郭皇志
Original Assignee
創鑫智慧股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 創鑫智慧股份有限公司 filed Critical 創鑫智慧股份有限公司
Priority to CN201911274465.5A priority Critical patent/CN112598107A/zh
Priority to US16/789,388 priority patent/US20210097368A1/en
Application granted granted Critical
Publication of TWI723634B publication Critical patent/TWI723634B/zh
Publication of TW202115623A publication Critical patent/TW202115623A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Memory System (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

一種資料處理系統,包含有至少一訊號處理單元以及至少一神經網路層。至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理。至少一神經網路層中的一第一神經網路層具有至少一第二參數,至少一第一參數與至少一第二參數一併訓練。

Description

資料處理系統及其資料處理方法
本發明係指一種資料處理系統及其資料處理方法,尤指可針對整體系統進行最佳化並減少時間及人力耗費的一種資料處理系統及其資料處理方法。
在深度學習(deep learning)技術中,神經網路(neural network)可包含有神經元集合,且可具有類似於生物神經網路的結構或功能。神經網路可為多種應用提供有用的技術,特別是與數位訊號處理相關的應用,例如影像或音訊等資料處理,而這些應用若藉由習知的數位訊號處理則會相當繁雜。舉例來說,數位訊號處理的參數須藉由人工調整(Manual adjustment),而耗費時間及人力。神經網路則可藉由大量資料和自動訓練而建立最佳化的神經網路,因此有利於處理複雜的任務或資料。
因此,本發明主要提供一種資料處理系統及其資料處理方法,以針對整體系統進行最佳化並減少時間及人力耗費。
本發明揭露一種資料處理系統,包含有至少一訊號處理單元以及至 少一神經網路層。至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理。至少一神經網路層中的一第一神經網路層具有至少一第二參數,至少一第一參數與至少一第二參數一併訓練(trained jointly)。
本發明另揭露一種資料處理方法,適用於一資料處理系統,包含有判斷資料處理系統的至少一訊號處理單元與至少一神經網路層;藉由一演算法自動調整至少一第一參數與至少一第二參數;以及依據至少一第一參數與至少一第二參數,計算資料處理系統的輸出。至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理,至少一神經網路層中的一第一神經網路層具有至少一第二參數。
20、30、40、60、70、80、90:資料處理系統
50:資料處理方法
110、210、310、410、910:神經網路
320、420、920:訊號處理模組
500~508:步驟
620U1、620U2、720U、820U1、820U2、820U5、920U1~920U5:訊號處理單元
Din:輸入
M1~M3、M7、M8:資料
Dout:輸出
LR1~LR3、610LR1~610LR7、710LR1~710LR3、 810LR1~810LRn、910LR1、910LR2:神經網路層
NR11~NR12、NR21~NR23、NR31~NR32:神經元
W1121~W1221、W2131~W2331:參數
第1圖為本發明實施例一神經網路之局部示意圖。
第2圖至第4圖分別為本發明實施例一資料處理系統之示意圖。
第5圖為本發明實施例一資料處理方法之流程圖。
第6圖至第9圖分別為本發明實施例一資料處理系統之示意圖。
在通篇說明書及後續的請求項當中所提及的「包括」係為一開放式的用語,故應解釋成「包括但不限定於」。在通篇說明書及後續的請求項當中所提及的「第一」、「第二」等敘述,僅用以區別不同的元件,並不對其產生順序之限制。
請參考第1圖,第1圖為本發明實施例一神經網路(neural network)110之局部示意圖。在一些實施例中,神經網路110可以是運算單元或由運算單元執行的方法。神經網路110包含有神經網路層LR1~LR3,神經網路層LR1~LR3分別包含有神經元(neuron)NR11~NR12、NR21~NR23、NR31~NR32。神經元NR11~NR12接收輸入至神經網路110的資料,且神經網路110藉由神經元NR31~NR32輸出資料。神經網路層LR1~LR3分別具有至少一參數(又可稱為第二參數)。舉例來說,W1121代表神經元NR11自神經元NR21的參數,廣義來說,即神經網路層LR1或神經網路層LR2具有參數W1121。類似地,W1221代表神經元NR12自神經元NR21的參數,W2131代表神經元NR21自神經元NR31的參數,W2231代表神經元NR22自神經元NR31的參數,W2331代表神經元NR23自神經元NR31的參數。
依據前向傳播(Forward Propagation),神經元NR21的輸入值iNR21為神經元NR11的輸出oNR11乘以參數W1121加上神經元NR12的輸出oNR12乘以參數W1221,之後再經過啟用函式(activation function)F,也就是說,iNR21=F(oNR11*W1121+oNR12*W1221)。神經元NR21的輸出oNR21為其輸入值iNR21的函數。類似地,神經元NR31的輸入值iNR31為神經元NR21的輸出oNR21乘以參數W2131加上神經元NR22的輸出oNR22乘以參數W2231加上神經元NR23的輸出oNR23乘以參數W2331,之後再經過啟用函式F,也就是說,iNR31=F(oNR21*W2131+oNR22*W2231+oNR23*W2331)。神經元NR31的輸出oNR31為其輸入值iNR31的函數。由上述可知,神經元NR31的輸出oNR31為參數W1121~W2331的函數。
請參考第2圖,第2圖為本發明實施例一資料處理系統20之示意圖。 資料處理系統20接收一輸入Din,並發送一輸出Dout。資料處理系統20包含有一神經網路210,神經網路210包含有複數個神經網路層(例如第1圖所示的神經網路層LR1~LR3)。神經網路210的每一神經網路層分別包含有至少一神經元(例如第1圖所示的神經元NR11~NR32)。
請參考第3圖,第3圖為本發明實施例一資料處理系統30之示意圖。類似於資料處理系統20,資料處理系統30包含有一神經網路310,其可包含有複數個神經網路層,且每一神經網路層分別包含有至少一神經元。不同於資料處理系統20,資料處理系統30另包含有一訊號處理模組320,其可用來提供習知數位訊號處理(digital signal processing)之功能作為整體資料處理系統之部分功能,而神經網路310則是用來作為整體資料處理系統之另一部分的功能區塊。訊號處理模組320可藉由處理器(processor)而實現,例如藉由數位訊號處理器(digital signal processor)而實現。也就是說,資料處理系統30將資料處理分階段為多個任務,部分的任務由神經網路310處理,部分的任務由訊號處理模組320處理。然而,分階段需要人工介入設計。並且,訊號處理模組320的參數(即參數的值)一旦經由人工確定後,神經網路310在訓練過程中不會再改變訊號處理模組320的參數。基於訊號處理模組320的參數須藉由人工調整(Manual adjustment),意即須藉由手動輸入或調整參數,而耗費時間及人力。再者,資料處理系統30僅能針對各階段最佳化,無法針對整體系統進行最佳化。
第3圖的訊號處理模組320的訊號處理單元所運用的訊號處理演算法(例如數位訊號處理演算法)可提供資料處理系統30所需的部分功能,為了加速整體系統開發,並且為了減少時間及人力負擔,在一些實施例中,可將訊號處理單元嵌入神經網路,組成整體資料處理系統。請參考第4圖,第4圖為本發 明實施例一資料處理系統40之示意圖。資料處理系統40包含有一神經網路410以及一訊號處理模組420。神經網路410包含有至少一神經網路層(例如第1圖所示的神經網路層LR1~LR3)。神經網路410每一神經網路層分別包含有至少一神經元(例如第1圖所示的神經元NR11~NR32)。每一神經網路層分別具有至少一參數(又可稱為第二參數)(例如第1圖所示的參數W1121~W2331)。訊號處理模組420可包含有複數個訊號處理單元。訊號處理模組420中部分的訊號處理單元可分別具有至少一參數(又可稱為第一參數),並可利用其參數進行訊號處理。訊號處理模組420直接嵌入神經網路410,使進出訊號處理模組420的資料帶有參數。而資料處理系統40採用端對端學習(end-to-end learning),可直接自其接收的一輸入Din取得並發送一輸出Dout,且所有參數(例如第一參數及第二參數)一併訓練(trained jointly),而可針對整體系統進行最佳化,並減少時間及人力耗費。
簡言之,藉由將訊號處理單元嵌入神經網路410,數位訊號處理的參數可與神經網路410的參數一併訓練(training)而最佳化,如此一來,可避免人工調整,並可對整體系統進行最佳化。
具體而言,神經網路層可包括但不僅限於卷積神經網路(Convolutional Neural Network,CNN)、遞歸神經網路(Recurrent Neural Network,RNN)、前饋類神經網路(Feedforward Neural Network,FNN)、長短期記憶(Long Short-Term Memory,LSTM)網路、門控循環單元(Gated Recurrent Unit,GRU)、注意力機制(Attention Mechanism)、啟用函式(Activation Function)、全連接層(fully-connected layer)或池化層(pooling layer)。訊號處理單元可執行包括但不僅限於傅立葉轉換(Fourier transform)、餘弦轉換(cosine transform)、傅立葉逆轉換(inverse Fourier transform)或餘弦反轉換(inverse cosine transform)、加窗(windowing)或框化(Framing)。
更進一步地,請參考第5圖,第5圖為本發明實施例一資料處理方法50之流程圖。資料處理方法50可被編譯成一程式碼而由資料處理系統40中的一處理電路執行,其可包含以下步驟:
步驟500:開始。
步驟502:判斷資料處理系統40的複數個訊號處理單元與複數個神經網路層,其中,至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理,至少一神經網路層中的一第一神經網路層具有至少一第二參數。
步驟504:藉由一演算法自動調整至少一第一參數與至少一第二參數。
步驟506:依據至少一第一參數與至少一第二參數,計算資料處理系統40的輸出Dout。
步驟508:結束。
在步驟502中,決定並配置至少一訊號處理單元與至少一神經網路層的連接方式、個數、種類、參數的個數(例如第一參數的個數以及第二參數的個數),即佈署(deploy)方式。類似於輸出oNR21、oNR31的計算方式,藉由前向傳播,可計算出資料處理系統40的輸出Dout。在一些實施例中,步驟504的演算法為反向傳播(Backpropagation,BP),而資料處理系統40的輸出Dout與一目標值(target)之間具有整體誤差(total error)。在步驟504中,藉由反向傳播,可反覆地更新所有的參數(例如第一參數以及第二參數),而使資料處理系統40 的輸出Dout逐漸接近目標值,來最小化整體誤差。也就是說,反向傳播可訓練(training)所有的參數(例如第一參數以及第二參數)而最佳化所有的參數。舉例來說,參數W1121扣除學習率(learning rate)r乘以整體誤差Etotol對參數W1121的偏微分即可得到更新後的參數W1121’,即
Figure 108141621-A0305-02-0009-1
。藉由反覆地更新參數W1121,即可調整至最佳化的參數W1121。在步驟506中,依據最佳化的所有的參數(例如第一參數以及第二參數),資料處理系統40可進行推論(inference),並自其接收的輸入Din計算出最正確的輸出Dout。
由上述可知,所有的參數(例如第一參數以及第二參數)可一併訓練(training)而最佳化。也就是說,所有的參數(例如第一參數以及第二參數)為可變的(variable)。所有的參數(例如第一參數以及第二參數)可藉由演算法(例如反向傳播)而逐漸收斂。所有的參數(例如第一參數以及第二參數)可藉由演算法(例如反向傳播)而自動決定並調整至最佳值。並且,資料處理系統40的輸出為所有的參數(例如第一參數以及第二參數)的函數,而相關於所有的參數(例如第一參數以及第二參數)。類似地,所有的訊號處理單元或神經網路層的輸出也分別與至少一參數相關。
需注意的是,資料處理系統40為本發明之實施例,本領域具通常知識者當可據以做不同的變化及修飾。舉例來說,資料處理系統的佈署方式可視不同設計考量而調整。在一些實施例中,一訊號處理單元可自一神經網路層接收資料或將資料傳送至一神經網路層。更進一步地,請參考第6圖,第6圖為本發明實施例一資料處理系統60之示意圖。類似於資料處理系統40,資料處理系統60包含有神經網路層610LR1~610LR7以及訊號處理單元620U1、620U2。神經網路層610LR1~610LR7分別包含有至少一神經元(例如第1圖所示的神經元 NR11~NR32),且可分別具有至少一參數(又可稱為第二參數)(例如第1圖所示的參數W1121~W2331)。訊號處理單元620U1、620U2亦可具有至少一參數(又可稱為第一參數)。訊號處理單元620U1、620U2直接嵌入神經網路層610LR1~610LR7之間,使進出訊號處理單元620U1、620U2的資料帶有參數。而資料處理系統60採用端對端學習,可直接自其接收的一輸入Din取得並發送一輸出Dout,且所有參數(例如第一參數及第二參數)一併訓練,而可針對整體系統進行最佳化,並減少時間及人力耗費。
資料處理系統的佈署方式可進一步調整。舉例來說,請參考第7圖,第7圖為本發明實施例一資料處理系統70之示意圖。類似於資料處理系統60,資料處理系統70包含有神經網路層710LR1~710LR3以及一訊號處理單元720U。神經網路層710LR1~710LR3分別包含有至少一神經元,且可分別具有至少一參數(又可稱為第二參數)。在一些實施例中,訊號處理單元720U(又可稱為第一訊號處理單元)接收資料M1,神經網路層710LR2(又可稱為第一神經網路層)亦接收資料M1。在另一些實施例中,訊號處理單元720U接收至少一第一資料,神經網路層710LR2接收至少一第二資料,部分或全部的至少一第一資料相同於部分或全部的至少一第二資料。訊號處理單元720U輸出的資料M3(又可稱為第三資料)與神經網路層710LR2輸出的資料M2(又可稱為第四資料)進行結合,結合方式包括但不僅限於串接(concatenation)或加總(summation)。訊號處理單元720U可具有至少一參數(又可稱為第一參數)。舉例來說,訊號處理單元720U可執行離散餘弦轉換(discrete cosine transform,DCT),並且訊號處理單元720U輸出的資料M3與接收的資料M1之間的關係為M3=DCT(M1*W1+b1)*W2+b2,其中W1、W2、b1、b2為訊號處理單元720U的參數,用以調整資料M1或離散餘弦轉換的結果。資料處理系統70的輸出Dout為參數W1、W2、b1、b2的函數,而 與參數W1、W2、b1、b2相關。也就是說,訊號處理單元720U直接嵌入神經網路,使進出訊號處理單元720U的資料帶有參數。而資料處理系統70採用端對端學習,可直接自其接收的一輸入Din取得並發送一輸出Dout,且所有參數(例如第一參數及第二參數)一併訓練,而可針對整體系統進行最佳化,並減少時間及人力耗費。
資料處理系統的佈署方式可進一步調整。舉例來說,請參考第8圖,第8圖為本發明實施例一資料處理系統80之示意圖。類似於資料處理系統60,資料處理系統80包含有神經網路層810LR1~810LRn以及訊號處理單元820U1、820U2、820U5。神經網路層810LR1~810LRn分別包含有至少一神經元,且可分別具有至少一參數(又可稱為第二參數)。訊號處理單元820U1、820U2、820U5可具有至少一參數(又可稱為第一參數)。訊號處理單元820U1、820U2、820U5直接嵌入神經網路層810LR1~810LRn之間,使進出訊號處理單元820U1、820U2、820U5的資料帶有參數。而資料處理系統80採用端對端學習,可直接自其接收的一輸入Din取得並發送一輸出Dout,且所有參數(例如第一參數及第二參數)一併訓練,而可針對整體系統進行最佳化,並減少時間及人力耗費。
相對地,請參考第9圖,第9圖為本發明實施例一資料處理系統90之示意圖。資料處理系統90包含有一神經網路910以及一訊號處理模組920。神經網路910包含有複數個神經網路層910LR1、910LR2。神經網路層910LR1、910LR2分別包含有至少一神經元,且可分別具有至少一參數(又可稱為第二參數)。訊號處理模組920包含有複數個訊號處理單元920U1~920U5。資料處理系統90將資料處理分階段為多個任務,部分的任務由神經網路910處理,部分的任務由訊號處理模組920處理。然而,分階段需要人工介入設計。並且,訊號處理單元 920U1~920U5的參數(即參數的值)一旦經由人工確定後,神經網路910在訓練的過程中不會再改變訊號處理單元920U1~920U5的參數。基於訊號處理模組920的參數須藉由人工調整,意即須藉由手動輸入或調整參數,而耗費時間及人力。再者,資料處理系統90僅能針對各階段最佳化,無法針對整體系統進行最佳化。
舉例來說,在一些實施例中,第8圖的資料處理系統80及第9圖的資料處理系統90可分別為語音關鍵詞辨識系統。在一些實施例中,訊號處理單元820U1、920U1分別進行預強調(pre-emphasis),而預強調涉及的參數(又可稱為第一參數)包含有預強調係數。在資料處理系統90中,參數(例如預強調係數)須由人工介入設計,在一些實施例中,預強調係數設定為介於0.9至1之間。在資料處理系統80中,參數(例如預強調係數)不須人工介入設計,而是與其他參數一併訓練而最佳化。在一些實施例中,訊號處理單元820U1、920U1分別進行框化(又可稱為分幀),而框化涉及的參數(又可稱為第一參數)包含有音框長度(frame size)及音框重疊比例。在資料處理系統90中,參數(例如音框長度或音框重疊比例)須由人工介入設計,在一些實施例中,音框長度設定為介於20毫秒(millisecond,ms)至40毫秒之間,音框重疊比例設定為介於40%至60%之間。在資料處理系統80中,參數(例如音框長度或音框重疊比例)不須人工介入設計,而是與其他參數一併訓練而最佳化。在一些實施例中,訊號處理單元820U1、920U1分別進行加窗,而加窗涉及的參數(又可稱為第一參數)可為餘弦窗(cosine window)係數。在資料處理系統90中,參數(例如餘弦窗係數)須由人工介入設計,在一些實施例中,餘弦窗係數設定為0.53836時為漢明窗(Hamming Window),餘弦窗係數設定為0.5時為漢尼窗(Hanning Window)。在資料處理系統80中,參數(例如餘弦窗係數)不須人工介入設計,而是與其他參數一併訓練而最佳化。
在一些實施例中,訊號處理單元820U5、920U5分別進行離散餘弦反轉換(inverse discrete cosine transform,IDCT),而離散餘弦反轉換涉及的參數(又可稱為第一參數)可為離散餘弦反轉換係數或離散餘弦反轉換係數的個數,其中,離散餘弦反轉換係數可作為梅爾倒頻譜係數(Mel-Frequency Cepstral Coefficient,MFCC)。在資料處理系統90中,參數(例如離散餘弦反轉換係數的個數)須由人工介入設計,在一些實施例中,離散餘弦反轉換係數的個數可介於24個至26個之間,在另一些實施例中,離散餘弦反轉換係數的個數可設定為12個。在資料處理系統80中,參數(例如離散餘弦反轉換係數的個數)不須人工介入設計,而是與其他參數一併訓練而最佳化。舉例來說,訊號處理單元820U5的輸出M7為離散餘弦反轉換係數或離散餘弦反轉換係數的函數,神經網路層810LR5接收訊號處理單元820U5的輸出M7後,每個離散餘弦反轉換係數可分別與神經網路層810LR5的一參數(又可稱為第二參數)相乘。在一些實施例中,若神經網路層810LR5的多個第二參數中有一者為零,則與此第二參數相乘的離散餘弦反轉換係數即不會自神經網路層810LR5輸出,即神經網路層810LR5的輸出M8不會是此離散餘弦反轉換係數的函數,在此情況下,第一參數(例如離散餘弦反轉換係數的個數)自動減少,而不須人工介入設計。
綜上所述,本發明藉由將訊號處理單元嵌入神經網路,數位訊號處理的參數可與神經網路的參數一併訓練而最佳化,如此一來,可減少時間及人力耗費,並可對整體系統進行最佳化。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
40:資料處理系統
410:神經網路
420:訊號處理模組
Din:輸入
Dout:輸出

Claims (18)

  1. 一種資料處理系統,包含有:至少一訊號處理單元,其中,該至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理;以及至少一神經網路層,其中,該至少一神經網路層中的一第一神經網路層具有至少一第二參數,該至少一第一參數與該至少一第二參數一併訓練(trained jointly)。
  2. 如請求項1所述之資料處理系統,其中,該至少一第一參數與該至少一第二參數為可變的(variable),該至少一第一參數與該至少一第二參數可藉由一演算法而自動調整。
  3. 如請求項1所述之資料處理系統,其中該資料處理系統的輸出為該至少一第一參數與該至少一第二參數的函數,而相關於該至少一第一參數與該至少一第二參數。
  4. 如請求項1所述之資料處理系統,其中該第一訊號處理單元接收至少一第一資料,該第一神經網路層接收至少一第二資料,部分或全部的該至少一第一資料相同於部分或全部的該至少一第二資料。
  5. 如請求項1所述之資料處理系統,其中該第一訊號處理單元輸出的至少一第三資料與該第一神經網路層輸出的至少一第四資料進行結合,結合方式包括但不僅限於串接(concatenation)或加總(summation)。
  6. 如請求項1所述之資料處理系統,其中該第一訊號處理單元自該第一 神經網路層接收至少一第一資料或將該至少一第一資料傳送至該第一神經網路層。
  7. 如請求項1所述之資料處理系統,其中該至少一神經網路層中的一者包括但不僅限於卷積神經網路(Convolutional Neural Network,CNN)、遞歸神經網路(Recurrent Neural Network,RNN)、前饋類神經網路(Feedforward Neural Network,FNN)、長短期記憶(Long Short-Term Memory,LSTM)網路、門控循環單元(Gated Recurrent Unit,GRU)、注意力機制(Attention Mechanism)、啟用函式(Activation Function)、全連接層(fully-connected layer)或池化層(pooling layer)。
  8. 如請求項1所述之資料處理系統,其中該至少一訊號處理單元中的一者執行包括但不僅限於傅立葉轉換(Fourier transform)、餘弦轉換(cosine transform)、傅立葉逆轉換(inverse Fourier transform)或餘弦反轉換(inverse cosine transform)、加窗(windowing)或框化(Framing)。
  9. 如請求項1所述之資料處理系統,其中,藉由一演算法,該至少一第一參數及該至少一第二參數逐漸收斂。
  10. 一種資料處理方法,適用於一資料處理系統,包含有:判斷該資料處理系統的至少一訊號處理單元與至少一神經網路層,其中,該至少一訊號處理單元中的一第一訊號處理單元利用至少一第一參數進行訊號處理,該至少一神經網路層中的一第一神經網路層具有至少一第二參數; 藉由一演算法自動調整該至少一第一參數與該至少一第二參數;以及依據該至少一第一參數與該至少一第二參數,計算該資料處理系統的輸出。
  11. 如請求項10所述之資料處理方法,其中,該至少一第一參數與該至少一第二參數為可變的(variable),該至少一第一參數與該至少一第二參數是一併訓練,且該演算法為反向傳播(Backpropagation,BP)。
  12. 如請求項10所述之資料處理方法,其中該資料處理系統的輸出為該至少一第一參數與該至少一第二參數的函數,而相關於該至少一第一參數與該至少一第二參數。
  13. 如請求項10所述之資料處理方法,其中該第一訊號處理單元接收至少一第一資料,該第一神經網路層接收至少一第二資料,部分或全部的該至少一第一資料相同於部分或全部的該至少一第二資料。
  14. 如請求項10所述之資料處理方法,其中該第一訊號處理單元輸出的至少一第三資料與該第一神經網路層輸出的至少一第四資料進行結合,結合方式包括但不僅限於串接(concatenation)或加總(summation)。
  15. 如請求項10所述之資料處理方法,其中該第一訊號處理單元自該第一神經網路層接收至少一第一資料或將該至少一第一資料傳送至該第一神經網路層。
  16. 如請求項10所述之資料處理方法,其中該至少一神經網路層中的一 者包括但不僅限於卷積神經網路(Convolutional Neural Network,CNN)、遞歸神經網路(Recurrent Neural Network,RNN)、前饋類神經網路(Feedforward Neural Network,FNN)、長短期記憶(Long Short-Term Memory,LSTM)網路、門控循環單元(Gated Recurrent Unit,GRU)、注意力機制(Attention Mechanism)、啟用函式(Activation Function)、全連接層(fully-connected layer)或池化層(pooling layer)。
  17. 如請求項10所述之資料處理方法,其中該至少一訊號處理單元中的一者執行包括但不僅限於傅立葉轉換(Fourier transform)、餘弦轉換(cosine transform)、傅立葉逆轉換(inverse Fourier transform)或餘弦反轉換(inverse cosine transform)、加窗(windowing)或框化(Framing)。
  18. 如請求項10所述之資料處理方法,其中,藉由該演算法,該至少一第一參數及該至少一第二參數逐漸收斂。
TW108141621A 2019-10-01 2019-11-15 資料處理系統及其資料處理方法 TWI723634B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911274465.5A CN112598107A (zh) 2019-10-01 2019-12-12 数据处理系统及其数据处理方法
US16/789,388 US20210097368A1 (en) 2019-10-01 2020-02-12 Data Processing System and Data Processing Method Thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962908609P 2019-10-01 2019-10-01
US62/908,609 2019-10-01

Publications (2)

Publication Number Publication Date
TWI723634B true TWI723634B (zh) 2021-04-01
TW202115623A TW202115623A (zh) 2021-04-16

Family

ID=76604352

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108141621A TWI723634B (zh) 2019-10-01 2019-11-15 資料處理系統及其資料處理方法
TW109100518A TWI775034B (zh) 2019-10-01 2020-01-08 計算裝置及其操作方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109100518A TWI775034B (zh) 2019-10-01 2020-01-08 計算裝置及其操作方法

Country Status (1)

Country Link
TW (2) TWI723634B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617993B (zh) * 2017-03-03 2018-03-11 財團法人資訊工業策進會 辨識系統及辨識方法
US20180300651A1 (en) * 2017-04-17 2018-10-18 Facebook, Inc. Neural network model for generation of compressed haptic actuator signal from audio input
TW201933194A (zh) * 2018-01-09 2019-08-16 南韓商三星電子股份有限公司 神經網路處理單元及系統晶片
TW201933277A (zh) * 2018-01-26 2019-08-16 聯發科技股份有限公司 基於感知的圖像處理裝置及相關方法
TW201935460A (zh) * 2018-02-01 2019-09-01 威盛電子股份有限公司 語音識別裝置以及語音識別方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013174B2 (en) * 2015-09-30 2018-07-03 Western Digital Technologies, Inc. Mapping system selection for data storage device
TWM528459U (zh) * 2016-03-11 2016-09-11 宏碁股份有限公司 資料儲存系統以及電子裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617993B (zh) * 2017-03-03 2018-03-11 財團法人資訊工業策進會 辨識系統及辨識方法
US20180300651A1 (en) * 2017-04-17 2018-10-18 Facebook, Inc. Neural network model for generation of compressed haptic actuator signal from audio input
TW201933194A (zh) * 2018-01-09 2019-08-16 南韓商三星電子股份有限公司 神經網路處理單元及系統晶片
TW201933277A (zh) * 2018-01-26 2019-08-16 聯發科技股份有限公司 基於感知的圖像處理裝置及相關方法
TW201935460A (zh) * 2018-02-01 2019-09-01 威盛電子股份有限公司 語音識別裝置以及語音識別方法

Also Published As

Publication number Publication date
TWI775034B (zh) 2022-08-21
TW202115623A (zh) 2021-04-16
TW202115559A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN110444214B (zh) 语音信号处理模型训练方法、装置、电子设备及存储介质
US10679612B2 (en) Speech recognizing method and apparatus
CN105068048B (zh) 基于空间稀疏性的分布式麦克风阵列声源定位方法
JP6876814B2 (ja) バッチ再正規化層
WO2022116442A1 (zh) 基于几何学的语音样本筛选方法、装置、计算机设备及存储介质
WO2019080551A1 (zh) 目标语音检测方法及装置
JP2007505379A (ja) 人工ニューラルネットワーク
WO2022048239A1 (zh) 音频的处理方法和装置
TWI690862B (zh) 人工智慧裝置的本地學習系統
WO2020170907A1 (ja) 信号処理装置、学習装置、信号処理方法、学習方法及びプログラム
WO2020134828A1 (zh) 一种神经网络推理结构优化方法及装置
KR100306848B1 (ko) 신경회로망을 이용한 선택적 주의집중 방법
CN109919312B (zh) 卷积神经网络的运算方法、装置及dpu
CN112598107A (zh) 数据处理系统及其数据处理方法
US20200074986A1 (en) Speech recognition apparatus and method
TWI723634B (zh) 資料處理系統及其資料處理方法
CN117892175A (zh) 一种snn多模态目标识别方法、系统、设备及介质
CN113191504A (zh) 一种面向计算资源异构的联邦学习训练加速方法
CN112906861A (zh) 神经网络优化方法及装置
CN112634870A (zh) 关键词检测方法、装置、设备和存储介质
TW202044125A (zh) 訓練稀疏連接神經網路的方法
AU2019101223A4 (en) A Speech Contents Recognition System based on Deep Learning
CN118541991A (zh) 用于神经网络助听器的方法、设备和系统
CN107393553A (zh) 用于语音活动检测的听觉特征提取方法
CN113257269A (zh) 一种基于深度学习的波束形成方法和存储设备