TWI673614B - 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體 - Google Patents

壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體 Download PDF

Info

Publication number
TWI673614B
TWI673614B TW107111172A TW107111172A TWI673614B TW I673614 B TWI673614 B TW I673614B TW 107111172 A TW107111172 A TW 107111172A TW 107111172 A TW107111172 A TW 107111172A TW I673614 B TWI673614 B TW I673614B
Authority
TW
Taiwan
Prior art keywords
neuron
layer
recognition model
compression module
computer device
Prior art date
Application number
TW107111172A
Other languages
English (en)
Other versions
TW201942763A (zh
Inventor
吳昕益
蕭文菁
Original Assignee
倍加科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倍加科技股份有限公司 filed Critical 倍加科技股份有限公司
Priority to TW107111172A priority Critical patent/TWI673614B/zh
Priority to CN201810771596.3A priority patent/CN110322000A/zh
Priority to US16/268,197 priority patent/US11907834B2/en
Application granted granted Critical
Publication of TWI673614B publication Critical patent/TWI673614B/zh
Publication of TW201942763A publication Critical patent/TW201942763A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

一種壓縮資料識別模型的方法，由一電腦裝置的一層內壓縮模組針對一資料識別模型的隱藏層中每一層的每一個神經元，找出其權重矩陣能被一代表數值取代的神經元，並以該代表數值取代該權重矩陣；且該電腦裝置的一層間壓縮模組依序輸入複數個黃金樣本給經過上述步驟的該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷具有該權重矩陣的每一神經元的該等運算結果皆為0或接近於0時，刪除該神經元，否則保留該神經元，藉此產生並輸出一壓縮後資料識別模型。

Description

壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體
本發明是有關於深度神經網路，特別是指一種應用深度神經網路建立的資料識別模型。
人工智慧(AI)是近來產業界如火如荼發展的技術之一，舉凡自動駕駛汽車或各類型機器人所運用的例如影像辨識、資料分析等，都需要藉助AI技術。而在AI技術的發展中，深度神經網路(Deep Neural Network；DNN)一直扮演著重要的角色。深度神經網路是機器學習中一種深度學習的方法，其透過模仿生物神經系統的數學模型，不斷地對其提供大量的資料以進行不同階層與架構的多次運算和訓練，藉以訓練出最佳化且最有效的一資料識別模型。
如圖1所示，經過訓練的資料識別模型1通常包含一輸入層11、一輸出層12以及連接該輸入層11與該輸出層12，且位於該輸入層11與該輸出層12之間的隱藏層13，隱藏層13由複數個前後相互連結的層14構成，且其中的每一層14具有複數個神經元 141，每一個神經元141具有一由複數個數值構成的權重矩陣，例如圖2所示的權重矩陣15。由該輸入層11輸入的資料x1、x2…xN，例如一張影像資料會經過隱藏層11中的第一層14的每一個神經元141運算後，將運算結果輸出給第二層14中的每一個神經元141運算，再將運算結果輸出給第三層14中的每一個神經元141，依此類推，直到最後一層141的每一個神經元141輸出運算結果給輸出層12。
因此，以圖2為例，假設輸入某一層14的資料20具有6x6個呈矩陣排列的數值，且該層的每一個神經元141具有一由3x3個數值構成的權重矩陣15，則該神經元141會從該資料20的左上角位置開始，將權重矩陣15與資料20重疊，並讓權重矩陣15中的權重值與資料20中對應位置的數值相乘，再將得到的所有乘積(共9個)加總得到一數值(即1x1+0x1+0x1+0x1+1x1+0x1+0x1+0x1+1x1=3)，該數值代表該權重矩陣15位於資料20左上角的情況；然後該權重矩陣15在資料20中再向右移一個單元並重覆上述運算，接著再向右移一個單元，以此類推，直到該權重矩陣15經過資料20的所有位置；藉此該權重矩陣15在每一個位置都會產生一個數值，當該權重矩陣15經過資料20的所有位置後，該神經元141將經過16次運算而得到一組4x4的數值，如圖2所示。
但是，如圖2所示，當該神經元141的該權重矩陣15中 的權重值都一樣或者相當接近某一個數值，例如圖2所示的1時，該權重矩陣15在資料20的每一個位置運算產生的數值，相當於該權重矩陣15所涵蓋的數值加總後乘以該權重值，以圖2為例，即(1+0+0+0+1+0+0+0+1)x1=3，在此情況下該神經元141其實可以簡化該16次運算過程；此外，若某一神經元141不論輸入什麼資料，其輸出的運算結果皆為0或近似於0時，該神經元141其實並無存在的作用而可以被刪除。
因此，本發明之目的，即在提供一種壓縮資料識別模型的方法，以及實現該方法的電腦裝置和電腦可讀取的記錄媒體，其能適度地縮減資料識別模型的運算量及其中的神經元，使其減少記憶體空間的佔用量並提高其運算速度。
於是，本發明一種壓縮資料識別模型的方法，針對載於一電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該方法包括：(A)該電腦裝置的一層內(intra layer)壓縮模組針對該隱藏層中每一層的每一個神經元，判斷該神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值是否大於一臨界值，若是，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值 決定一參考數值，並判斷該參考數值是否為0或接近於0，若是，刪除該神經元，否則以該參考數值做為取代該神經元的該權重矩陣的一代表數值；及(B)該電腦裝置的一層間(inter layer)壓縮模組依序輸入複數個黃金樣本給經過上述步驟(A)之後的該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷具有該權重矩陣的每一神經元的該等運算結果是否皆為0或接近於0，若是，刪除該神經元，否則保留該神經元，藉此產生並輸出一壓縮後資料識別模型。
在本發明的一些實施態樣中，在步驟(A)中，該參考數值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
在本發明的一些實施態樣中，在步驟(B)中，針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個皆為0或接近於0時，刪除該神經元，否則保留該神經元。
再者，本發明另一種壓縮資料識別模型的方法，針對載於一電腦裝置的一資料識別模型，該資料識別模型具有一由複數 個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該方法包括：(A)該電腦裝置的一層間壓縮模組依序輸入複數個黃金樣本給該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷每一神經元的該等運算結果是否皆為0或接近於0，若是，刪除該神經元，否則保留該神經元；(B)該電腦裝置的一層內壓縮模組針對經過上述步驟(A)的該資料識別模型，判斷該隱藏層中每一層的每一個神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值是否大於一臨界值，若是，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並以該參考數值做為取代該神經元的該權重矩陣的一代表數值。
在本發明的一些實施態樣中，在步驟(A)中，針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個皆為0或接近於0時，刪除該神經元，否則保留該神經元。
在本發明的一些實施態樣中，在步驟(B)中，該參考數 值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
此外，本發明實現上述方法的一種壓縮資料識別模型的電腦裝置，針對載於該電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該電腦裝置包括：一層內壓縮模組，其針對該隱藏層中每一層的每一個神經元，判斷該神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值大於一臨界值時，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並判斷該參考數值為0或接近於0時，刪除該神經元，否則以該參考數值做為取代該神經元的該權重矩陣的一代表數值；及一層間壓縮模組，其依序輸入複數個黃金樣本給經過該層內壓縮模組處理的該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷具有該權重矩陣的每一神經元的該等運算結果皆為0或接近於0時，刪除該神經元，否則保留該神經元。
另外，本發明實現上述另一種方法的另一種壓縮資料識別模型的電腦裝置，針對載於該電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該 隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該電腦裝置包括：一層間壓縮模組，其依序輸入複數個黃金樣本給該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷每一神經元的該等運算結果皆為0或接近於0時，刪除該神經元，否則保留該神經元；及一層內壓縮模組，其針對經過該層間壓縮模組處理的該資料識別模型，判斷該隱藏層中每一層的每一個神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值大於一臨界值時，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並以該參考數值做為取代該神經元的該權重矩陣的一代表數值。
在上述發明的一些實施態樣中，該資料識別模型、該層內壓縮模組及該層間壓縮模組是儲存於該電腦裝置的一儲存單元中，且能被該電腦裝置的一處理單元讀取並執行的軟體程式；或者，該資料識別模型是一軟體程式且暫存於該電腦裝置的一儲存單元中，該層內壓縮模組及該層間壓縮模組是整合在該電腦裝置的一特殊應用積體電路晶片或一可程式邏輯電路裝置中，或是一被燒錄在該電腦裝置的一微處理器中的韌體。
此外，本發明一種電腦可讀取的記錄媒體，其中儲存一包含一層內壓縮模組及一層間壓縮模組的程式，該程式被一電腦 裝置載入並執行後，該電腦裝置能對載入其中的一資料識別模型執行並完成如上所述壓縮資料識別模型的方法。
本發明之功效在於：藉由該層內壓縮模組找出資料識別模型中其權重矩陣可被一代表數值取代的神經元，並以該代表數值取代該權重矩陣而減少該神經元的運算量，且藉由該層間壓縮模組找出資料識別模型中運算結果為0或接近於0的神經元，並刪除該神經元，藉此進一步減少資料識別模型的運算量並減少其佔用的記憶體空間，而進一步提升該壓縮後資料識別模型的運算速度。
4‧‧‧電腦裝置
41‧‧‧儲存單元
5、5′‧‧‧資料識別模型
42‧‧‧處理單元
11‧‧‧輸入層
43‧‧‧層內壓縮模組
12‧‧‧輸出層
44‧‧‧層間壓縮模組
13‧‧‧隱藏層
S11~S22‧‧‧步驟
14‧‧‧層
S31~S39‧‧‧步驟
141‧‧‧神經元
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地顯示，其中：圖1是習知一資料識別模型的基本組成架構示意圖；圖2說明一神經元以一權重矩陣對一資料進行運算的過程及運算結果；圖3是本發明壓縮資料識別模型的方法的第一實施例的主要流程圖；圖4是本發明電腦裝置的一實施例的主要元件方塊圖；圖5說明代號A及代號B的神經元的一運算結果示意圖；圖6說明代號A的神經元被從所屬的層刪除；及圖7是本發明壓縮資料識別模型的方法的第二實施例的主要 流程圖。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖3，是本發明壓縮資料識別模型的方法的第一實施例的主要流程，其由圖4所示的一電腦裝置4執行，該電腦裝置4主要包括一儲存單元41(即電腦可讀取的記錄媒體)及一處理單元42，該儲存單元41中存有一已經過類神經網路訓練的資料識別模型5、一層內(intra layer)壓縮模組43及一層間(inter layer)壓縮模組44，且在本實施例中，該層內壓縮模組43及該層間壓縮模組44可被包含在一程式中而以程式軟體的方式實現，而可被該處理單元42讀取並執行以完成圖3所示的方法流程，但不以此為限；該層內壓縮模組43及該層間壓縮模組44也可以被整合在該電腦裝置4的一特殊應用積體電路(Application-specific integrated circuit，縮寫為ASIC)晶片或一可程式邏輯裝置(Programmable Logic Device，縮寫為PLD)中，而使該特殊應用積體電路晶片或該可程式邏輯電路裝置能完成圖3所示的方法流程。且該特殊應用積體電路晶片或該可程式邏輯電路裝置即為本實施例的該處理單元42；或者該層內壓縮模組43及該層間壓縮模組44也可以是被燒錄在該電腦裝置的一微處理器中的韌體，使該微處理器執行該韌體即能完成 圖3所示的方法流程，且該微處理器即為本實施例的該處理單元42。
該資料識別模型5是一軟體程式，其可以是被該電腦裝置4藉由類神經網路訓練完成而儲存在該儲存單元41中，或者是由外部載入該電腦裝置4並儲存在該儲存單元41中，且能被該處理單元42讀取並執行。且如圖1所示，該資料識別模型5主要包含一輸入層11、一輸出層12及一連接該輸入層11與該輸出層12，且位於該輸入層11與該輸出層12之間的隱藏層13，該隱藏層13由複數個前後相互連結的層14構成，且其中的每一層14具有複數個神經元141，且如圖2所示，每一個神經元141具有一由複數個數值(圖中的數字1只是示意，並不代表該等數值)構成的權重矩陣15。而且，如上先前技術中所述，當該隱藏層13中的某一或某些神經元141的權重矩陣15中的數值完全或幾乎相同時，該權重矩陣15可以被一代表數值取代，而減少該神經元141的運算量，或者當某一或某些神經元141不論輸入資料為何，其運算結果皆為0或接近於0時，該神經元141即可被刪除以減少運算量並減省佔用的記憶體空間。
因此，為了找出具有上述特性的神經元並予以化簡(減少運算量)或刪除，如圖3的步驟S11，該層內壓縮模組43讀取該資料識別模型5，並針對該隱藏層13中每一層14的每一個神經元141，求得該神經元141的該權重矩陣15中的該等數值的一平均值與一變異數，以及該平均值與該變異數的一比值，即變異數/平均 值；其中變異數主要反應該等數值到該平均值的一平均距離，因此，當變異數越小，表示該等數值中的全部數值或大部分數值與該平均值的差距越小，即該等數值中的全部數值或大部分數值與該平均值越接近，所以該比值就會越小。反之，若變異數大，表示該等數值中的大部分數值與該平均值的差距大，亦即該等數值中的大部分數值與該平均值並不接近，所以該比值就會較大。
所以，該層內壓縮模組43判斷該比值是否大於一臨界值，例如0.1，若是，表示該權重矩陣15的該等數值中的大部分數值與該平均值並不接近，因此，如圖3的步驟S12，該層內壓縮模組43不更動(保留)該神經元141的該權重矩陣15，並進行步驟S13；否則(即該比值小於或等於該臨界值)，表示該權重矩陣15中該等數值中的全部數值或大部分數值與該平均值很接近，因此，如圖3的步驟S14，該層內壓縮模組43根據該平均值決定一參考數值。在本實施例中，該參考數值可以是該平均值、接近該平均值的一數值或該權重矩陣15中該等數值的一眾數(出現次數最多的數值)，且該眾數接近該平均值。例如假設圖2所示的該權重矩陣15中的該等數值全部為1，則其平均值是1，該參考數值可以是1、0.99或眾數1.1。
然後，如圖3的步驟S15，該層內壓縮模組42判斷該參考數值是否為0或接近於0，若是，則任何輸入該神經元141的數值資料與該參考數值相乘的乘積將為0或接近於0，而無法呈現有意義 的數據，因此該神經元141則無保留的必要，故如圖3的步驟S16，該層內壓縮模組42刪除該神經元141；否則，如圖3的步驟S17，該層內壓縮模組42以該參考數值做為取代該神經元141的該權重矩陣15的一代表數值並記錄在該神經元141中。藉此，輸入該神經元141的數值資料則無需再與該權重矩陣15進行重疊運算，該神經元141只需根據該權重矩陣15的大小，將輸入的數值資料中與該權重矩陣15重疊的部分數值加總後乘以該代表數值，即為該權重矩陣15在該重疊位置運算得到的數值，因此達到減少該神經元141的運算量的效果。然後，進行步驟S13。
在步驟S13中，該層內壓縮模組43判斷該隱藏層13中每一層14的每一個神經元141是否都已經過上述步驟S11？若否，則回到步驟S11，該層內壓縮模組43再接著判斷同一層中的下一個神經元141，直到同一層的所有神經元141皆經過步驟S11後，該層內壓縮模組43再對下一層的所有神經元141重覆進行上述步驟S11，依此類推，直到該隱藏層13中全部的神經元141皆已經過上述步驟S11後，才接著進行步驟S18。
在步驟S18中，該層間壓縮模組44依序輸入複數個不同的黃金樣本(golden sample，例如標準測色板)給經過該層內壓縮模組43處理之後的該資料識別模型5′，藉此，經過處理的該資料識別模型5′的隱藏層13中的每一個神經元141將產生並記錄與該 等黃金樣本對應的複數筆運算結果。例如若輸入的黃金樣本有10個，則每一個神經元141會產生並記錄10筆運算結果。
然後，如圖3的步驟S19，該層間壓縮模組44判斷具有該權重矩陣15的每一神經元141的該等運算結果是否皆為0或接近於0，其中每一筆運算結果包含複數個數值，且該層間壓縮模組44是判斷每一筆運算結果包含的每一個數值是否皆為0或接近於0，若是，表示不論輸入任何資料，該神經元141產生的運算結果皆為0或接近於0而沒有任何變化，無法呈現有意義的數據，因此該神經元141並無保留的必要，則如圖3的步驟S20，該層間壓縮模組44刪除該神經元141並進入步驟S22；否則如圖3的步驟S21，該層間壓縮模組44保留該神經元141並進入步驟S22。因此，例如圖5所示，設若代號A的神經元之運算結果皆為0，則如圖6所示，代號A的神經元將被從所屬的該層中刪除；反之，由於代號B的神經元之運算結果不全為0，因此代號B的神經元被保留。
在步驟S22中，該層間壓縮模組44判斷該隱藏層13中具有該權重矩陣15的每一神經元141是否皆已經過上述步驟S19的判斷，若否，則回到步驟S19，該層間壓縮模組44接著針對尚未經過步驟S19的下一個具有該權重矩陣15的神經元141的該等運算結果執行步驟S19，依此類推，直到該隱藏層13中具有該權重矩陣15的每一神經元141皆已經過步驟S19的判斷，即完成本實施例的流 程，並產生一經過適當壓縮的壓縮後資料識別模型，且該層間壓縮模組44將該壓縮後資料識別模型輸出至該儲存單元41儲存。因此，藉由該層間壓縮模組44適當刪減該資料識別模型5′的隱藏層13中不必要(沒有作用)的神經元141，使該資料識別模型5′能夠被適當地壓縮成該壓縮後資料識別模型，而減少其運算量及佔用的記憶體空間，並進一步提升該壓縮後資料識別模型的運算速度，而讓該壓縮後資料識別模型更能應用於運算能力及記憶體空間皆有限的電子裝置中。
再參見圖7所示，是本發明壓縮資料識別模型的方法的第二實施例，其與第一實施例不同處在於：本實施例是先以該層間壓縮模組44處理該資料識別模型5後，再以該層內壓縮模組43處理經過該層間壓縮模組44處理後的該資料識別模型5′。
因此，如圖7的步驟S31，該層間壓縮模組44讀取且執行該資料識別模型5，並依序輸入複數個黃金樣本給該資料識別模型5，使該資料識別模型5的該隱藏層13中的每一個神經元141產生與該等黃金樣本對應的複數筆運算結果並記錄。然後，如圖7的步驟S32，該層間壓縮模組44判斷該隱藏層13中的各該神經元141的該等運算結果是否皆為0或接近於0，若是，表示該神經元141沒有作用而無保留的必要，則如圖7的步驟S33，該層間壓縮模組44刪除該神經元141，例如圖5及圖6的例子，否則，如圖7的步驟S34， 該層間壓縮模組44保留該神經元141。然後，該層間壓縮模組44經由步驟S35，判斷該隱藏層13中的各該神經元141的該等運算結果是否皆已經過步驟S32檢視？若否，則重覆步驟S32，直到該隱藏層13中的各該神經元141的該等運算結果皆已經過步驟S32檢視。因此，藉由該層間壓縮模組44適當刪減該資料識別模型5的隱藏層13中不必要(沒有作用)的神經元141，使該資料識別模型5能夠被適當地縮減，而能減少其運算量並減少佔用的記憶體空間。
接著，如圖7的步驟S36，該層內壓縮模組43針對經過該層間壓縮模組44處理的該資料識別模型5′，計算該隱藏層13中每一層14的每一個神經元141的該權重矩陣15中的該等數值的一平均值與一變異數，以及該平均值與該變異數的一比值，並判斷該比值是否大於該臨界值，若是，則如圖7的步驟S37，該層內壓縮模組43不更動該神經元141的該權重矩陣15，否則，如圖7的步驟S38，該層內壓縮模組43根據該平均值決定一參考數值，且其決定的方式如同第一實施例所述，並以該參考數值做為取代該神經元141的該權重矩陣15的一代表數值。藉此進一步減少該神經元141的運算量，而進一步提升該資料識別模型5′的運算速度。
然後，該層內壓縮模組43進行圖7的步驟S39，判斷該隱藏層13中每一層14的每一個神經元141是否已經過上述步驟S36？若否，則回到步驟S36，對同一層中的下一個神經元141重覆 上述步驟S36，直到同一層的所有神經元141皆經過步驟S36後，再接著對下一層的所有神經元重覆進行上述步驟S36，依此類推，直到該隱藏層13中全部的神經元141皆經過上述步驟S36，才完成本實施例的流程並產生一經過適當壓縮的壓縮後資料識別模型，且該層內壓縮模組43將該壓縮後資料識別模型輸出至該儲存單元41儲存。
綜上所述，上述實施例藉由該層內壓縮模組43找出資料識別模型5中其權重矩陣15可被一代表數值取代的神經元，並以該代表數值取代該權重矩陣15而減少該神經元的運算量，且藉由該層間壓縮模組44找出資料識別模型5中運算結果為0或接近於0的神經元，並刪除該神經元，藉此進一步減少資料識別模型5的運算量並減少其佔用的記憶體空間，且進一步提升該壓縮後資料識別模型5的運算速度，而確實達到本發明之功效與目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

Claims (17)

  1. 一種壓縮資料識別模型的方法，針對載於一電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該方法包括：(A)該電腦裝置的一層內壓縮模組針對該隱藏層中每一層的每一個神經元，判斷該神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值是否大於一臨界值，若是，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並判斷該參考數值是否為0，若是，刪除該神經元，否則以該參考數值做為取代該神經元的該權重矩陣的一代表數值，其中，該平均值是算術平均數；及(B)該電腦裝置的一層間壓縮模組依序輸入複數個黃金樣本給經過上述步驟(A)之後的該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷具有該權重矩陣的每一神經元的該等運算結果是否皆為0，若是，刪除該神經元，否則保留該神經元，藉此產生並輸出一壓縮後資料識別模型。
  2. 如請求項1所述壓縮資料識別模型的方法，在步驟(A)中，該參考數值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
  3. 如請求項2所述壓縮資料識別模型的方法，在步驟(B)中，針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個皆為0時，刪除該神經元，否則保留該神經元。
  4. 一種壓縮資料識別模型的方法，針對載於一電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該方法包括：(A)該電腦裝置的一層間壓縮模組依序輸入複數個黃金樣本給該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷每一神經元的該等運算結果是否皆為0，若是，刪除該神經元，否則保留該神經元；及(B)該電腦裝置的一層內壓縮模組針對經過上述步驟(A)的該資料識別模型，判斷該隱藏層中每一層的每一個神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值是否大於一臨界值，若是，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並以該參考數值做為取代該神經元的該權重矩陣的一代表數值，其中，該平均值是算術平均數。
  5. 如請求項4所述壓縮資料識別模型的方法，在步驟(A)中，針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個皆為0時，刪除該神經元，否則保留該神經元。
  6. 如請求項5所述壓縮資料識別模型的方法，在步驟(B)中，該參考數值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
  7. 一種壓縮資料識別模型的電腦裝置，針對載於該電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該電腦裝置包括：一層內壓縮模組，其針對該隱藏層中每一層的每一個神經元，判斷該神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值大於一臨界值時，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並判斷該參考數值為0時，刪除該神經元，否則以該參考數值做為取代該神經元的該權重矩陣的一代表數值，其中，該平均值是算術平均數；及一層間壓縮模組，其依序輸入複數個黃金樣本給經過該層內壓縮模組處理的該資料識別模型，使該隱藏層中的 每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷具有該權重矩陣的每一神經元的該等運算結果皆為0時，刪除該神經元，否則保留該神經元。
  8. 如請求項7所述壓縮資料識別模型的電腦裝置，其中該參考數值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
  9. 如請求項8所述壓縮資料識別模型的電腦裝置，其中針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個皆為0時，刪除該神經元，否則保留該神經元。
  10. 如請求項7至9其中任一項所述壓縮資料識別模型的電腦裝置，其中該資料識別模型、該層內壓縮模組及該層間壓縮模組是儲存於該電腦裝置的一儲存單元中，且能被該電腦裝置的一處理單元讀取並執行的軟體程式。
  11. 如請求項7至9其中任一項所述壓縮資料識別模型的電腦裝置，其中該資料識別模型是一軟體程式且儲存於該電腦裝置的一儲存單元中，該層內壓縮模組及該層間壓縮模組是整合在該電腦裝置的一特殊應用積體電路晶片或一可程式邏輯電路裝置中，或是一被燒錄在該電腦裝置的一微處理器中的韌體。
  12. 一種壓縮資料識別模型的電腦裝置，針對載於該電腦裝置的一資料識別模型，該資料識別模型具有一由複數個前後相互連結的層構成的隱藏層，該隱藏層中的每一層具有複數個神經元，每一個神經元具有一由複數個數值構成的權重矩陣；該電腦裝置包括：一層間壓縮模組，其依序輸入複數個黃金樣本給該資料識別模型，使該隱藏層中的每一個神經元產生與該等黃金樣本對應的複數筆運算結果，且該層間壓縮模組判斷每一神經元的該等運算結果皆為0時，刪除該神經元，否則保留該神經元；及一層內壓縮模組，其針對經過該層間壓縮模組處理的該資料識別模型，判斷該隱藏層中每一層的每一個神經元的該權重矩陣中的該等數值的一平均值與一變異數的一比值大於一臨界值時，不更動該神經元的該權重矩陣，否則該層內壓縮模組根據該平均值決定一參考數值，並以該參考數值做為取代該神經元的該權重矩陣的一代表數值，其中，該平均值是算術平均數。
  13. 如請求項12所述壓縮資料識別模型的電腦裝置，其中針對每一個輸入該資料識別模型的黃金樣本，該隱藏層中同一層的每一個神經元接受並根據其前一層的複數個神經元輸出的該等運算結果產生一運算結果，並輸出該運算結果給其下一層的複數個神經元，且各該運算結果包含複數個數值，該層間壓縮模組判斷各該運算結果的該等數值中的每一個數值皆為0時，刪除該神經元，否則保留該神經元。
  14. 如請求項13所述壓縮資料識別模型的電腦裝置，其中該參考數值是該平均值、接近該平均值的一數值或該權重矩陣中的該等數值的一眾數，且該眾數接近該平均值。
  15. 如請求項12至14其中任一項所述壓縮資料識別模型的電腦裝置，其中該資料識別模型、該層內壓縮模組及該層間壓縮模組是儲存於該電腦裝置的一儲存單元中，且能被該電腦裝置的一處理單元讀取並執行的軟體程式。
  16. 如請求項12至14其中任一項所述壓縮資料識別模型的電腦裝置，其中該資料識別模型是一軟體程式且暫存於該電腦裝置的一儲存單元中，該層內壓縮模組及該層間壓縮模組是整合在該電腦裝置的一特殊應用積體電路晶片或一可程式邏輯電路裝置中，或是一被燒錄在該電腦裝置的一微處理器中的韌體。
  17. 一種電腦可讀取的記錄媒體，其中儲存一包含一層內壓縮模組及一層間壓縮模組的程式，該程式被一電腦裝置載入並執行後，該電腦裝置能對載入其中的一資料識別模型執行並完成如請求項1至6其中任一項所述壓縮資料識別模型的方法。
TW107111172A 2018-02-14 2018-03-30 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體 TWI673614B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107111172A TWI673614B (zh) 2018-03-30 2018-03-30 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體
CN201810771596.3A CN110322000A (zh) 2018-03-30 2018-07-13 压缩数据识别模型的方法及计算机装置、记录介质
US16/268,197 US11907834B2 (en) 2018-02-14 2019-02-05 Method for establishing data-recognition model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107111172A TWI673614B (zh) 2018-03-30 2018-03-30 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體

Publications (2)

Publication Number Publication Date
TWI673614B true TWI673614B (zh) 2019-10-01
TW201942763A TW201942763A (zh) 2019-11-01

Family

ID=68112649

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107111172A TWI673614B (zh) 2018-02-14 2018-03-30 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體

Country Status (2)

Country Link
CN (1) CN110322000A (zh)
TW (1) TWI673614B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862067B (zh) * 2021-01-14 2022-04-12 支付宝(杭州)信息技术有限公司 基于隐私保护利用业务模型进行业务处理的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW408547B (en) * 1998-12-08 2000-10-11 Jang Shuen Shiung Hamming neural network having the accelerated convergence speed
US20080319933A1 (en) * 2006-12-08 2008-12-25 Medhat Moussa Architecture, system and method for artificial neural network implementation
CN103577679A (zh) * 2012-08-10 2014-02-12 深圳市龙电电气有限公司 一种低压台区理论线损实时计算方法
TW201710959A (zh) * 2015-05-21 2017-03-16 咕果公司 類神經網路處理器
TWM563001U (zh) * 2018-03-30 2018-07-01 倍加科技股份有限公司 壓縮資料識別模型的電腦裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW408547B (en) * 1998-12-08 2000-10-11 Jang Shuen Shiung Hamming neural network having the accelerated convergence speed
US20080319933A1 (en) * 2006-12-08 2008-12-25 Medhat Moussa Architecture, system and method for artificial neural network implementation
CN103577679A (zh) * 2012-08-10 2014-02-12 深圳市龙电电气有限公司 一种低压台区理论线损实时计算方法
TW201710959A (zh) * 2015-05-21 2017-03-16 咕果公司 類神經網路處理器
TWM563001U (zh) * 2018-03-30 2018-07-01 倍加科技股份有限公司 壓縮資料識別模型的電腦裝置

Also Published As

Publication number Publication date
TW201942763A (zh) 2019-11-01
CN110322000A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
Zhu et al. A benchmark for edge-preserving image smoothing
JP6708044B2 (ja) 画像認識装置、画像認識プログラム、画像認識方法および認識装置
CN107844784A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
CN107784322B (zh) 异常数据检测方法、装置、存储介质以及程序产品
CN107169573A (zh) 利用复合机器学习模型来执行预测的方法及系统
CN107633295A (zh) 用于适配神经网络的参数的方法和装置
CN112200297A (zh) 神经网络优化方法、装置及处理器
CN110390561B (zh) 基于动量加速随机梯度下降的用户-金融产品选用倾向高速预测方法和装置
CN109784372A (zh) 一种基于卷积神经网络的目标分类方法
CN108682009A (zh) 一种阿尔茨海默症预测方法、装置、设备及介质
CN109871780A (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
Hu et al. Quantized STDP-based online-learning spiking neural network
CN108647774A (zh) 一种优化稀疏性矩阵运算的神经网络方法和电路
TWI672643B (zh) 應用在深度神經網路的全指數運算方法、電腦裝置及電腦可讀取的記錄媒體
CN112950570B (zh) 一种结合深度学习与密集连续中心点的裂纹检测方法
TWI673614B (zh) 壓縮資料識別模型的方法及電腦裝置、電腦可讀取的記錄媒體
CN107240087A (zh) 目标检测系统和方法
CN107704924A (zh) 同步自适应时空特征表达学习模型的构建方法及相关方法
CN112668809A (zh) 建立自闭症儿童康复效果预测模型的方法、预测自闭症儿童康复效果的方法及系统
CN112530594A (zh) 一种基于卷积生存网络的血透并发症长期风险预测系统
CN112529069A (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
Pires dos Santos et al. Identifying the relative importance of predictive variables in artificial neural networks based on data produced through a discrete event simulation of a manufacturing environment
Yu et al. Learning to detect multiple photographic defects
TWM563001U (zh) 壓縮資料識別模型的電腦裝置
CN108875909A (zh) 医学影像的分类方法及装置