TWI840833B - 多尺度自編碼器生成方法、電腦設備及儲存介質 - Google Patents
多尺度自編碼器生成方法、電腦設備及儲存介質 Download PDFInfo
- Publication number
- TWI840833B TWI840833B TW111121535A TW111121535A TWI840833B TW I840833 B TWI840833 B TW I840833B TW 111121535 A TW111121535 A TW 111121535A TW 111121535 A TW111121535 A TW 111121535A TW I840833 B TWI840833 B TW I840833B
- Authority
- TW
- Taiwan
- Prior art keywords
- images
- image
- encoder
- reconstructed
- layer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 25
- 230000007547 defect Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 abstract description 10
- 238000010191 image analysis Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申請涉及影像處理，提供一種多尺度自編碼器生成方法、電腦設備及儲存介質。該方法包括：獲取多張產品圖像及多張產品圖像的標注結果，多張產品圖像包括多張無瑕疵圖像，構建多個尺度的潛在空間，根據圖像尺寸及多個潛在空間構建多個自編碼器，基於多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器，將多張產品圖像輸入到每個學習器中，得到多張重構圖像，根據每張重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果，基於每個檢測結果與對應的標注結果的比較結果計算每個學習器的正確率，並依據正確率選取多尺度自編碼器。
Description
本申請涉及影像處理領域，尤其涉及一種多尺度自編碼器生成方法、電腦設備及儲存介質。
在實際應用中，透過自編碼器生成的特徵圖，存在特徵圖過大或者過小的問題，導致還原出的重構圖像精細程度低，從而造成重構圖像與原輸入圖像不相似。
鑒於以上內容，有必要提供一種多尺度自編碼器生成方法，提高重構圖像與原輸入圖像的相似度。
本申請提供一種多尺度自編碼器生成方法，所述多尺度自編碼器生成方法包括：獲取具有相同圖像尺寸的多張產品圖像及所述多張產品圖像的標注結果，所述多張產品圖像包括多張無瑕疵圖像；構建多個尺度的潛在空間；根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器；基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器；將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像；根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果；基於每個檢測結果與對應的標注結果的比較結果，選取相似圖像；根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選
擇 一個學習器作為多尺度自編碼器。
根據本申請可選實施例，所述根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器包括：迭代計算所述圖像尺寸與第一預設值的比值，得到運算結果，直至獲得與所述多個尺度分別等同的運算結果；統計與每個尺度等同的運算結果的迭代次數；對於每個尺度，構建網路層數為所述迭代次數的隱層作為編碼器網路，並構建網路層數為所述迭代次數的運算層作為解碼器網路；根據每個尺度的所述編碼器網路、所述潛在空間及所述解碼器網路生成所述多個自編碼器。
根據本申請可選實施例，每個隱層依次由卷積層、批標準化層、激活函數層構成，每個運算層依次由反卷積層、所述批標準化層、所述激活函數層構成。
根據本申請可選實施例，所述將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像包括：將每張產品圖像輸入到每個學習器中的隱層進行特徵提取，得到每個隱層輸出的特徵向量，其中每個隱層輸出的特徵向量作為下一個隱層的輸入向量；將最後一個隱層輸出的特徵向量確定為每張產品圖像對應的潛在向量；將所述潛在向量輸入到每個學習器的運算層進行重構，得到所述運算層輸出的重構向量，其中所述運算層輸出的重構向量是下一個運算層的輸入向量；對所述最後一個運算層輸出的重構向量進行映射處理，得到所述多張重構圖像。
根據本申請可選實施例，所述基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器包括：計算每個自編碼器的損失函數值；根據所述損失函數值對每個自編碼器進行梯度反向傳播，直至所述損失函數值下降到最低，停止訓練，得到所述多個學習器。
根據本申請可選實施例，所述根據每張所述重構圖像檢測對應的產
品圖像是否存在瑕疵，得到多個檢測結果包括：計算每張重構圖像與對應的產品圖像之間的相似值，所述相似值的計算方法為：
c 1=(K 1 L)2；c 2=(K 2 L)2；其中，SSIM(x,y)為所述相似值，x為所述重構圖像，y為所述重構圖像對應的產品圖像，μ x 為所述重構圖像的灰度平均值，μ y 為所述對應的產品圖像的灰度平均值，σ x 為重構圖像的灰度標準差，σ y 所述對應的產品圖像的灰度標準差，σ xy 為所述重構圖像與所述對應的產品圖像之間的灰度協方差，c 1及c 2均是維持所述相似值中的分母不為零的參數，L為所述對應的產品圖像中像素點的最大像素值，K 1及K 2是預先設置好的常數，且K 1<<1，K 2<<1；若所述相似值大於第二預設值，確定所述對應的產品圖像不存在瑕疵；若所述相似值小於或者等於所述第二預設值，確定所述對應的產品圖像存在瑕疵。
根據本申請可選實施例，所述基於每個檢測結果與對應的標注結果的比較結果，選取相似圖像包括：將每個檢測結果與對應的標注結果進行比較，得到所述比較結果；若所述比較結果為所述檢測結果與所述對應的標注結果相同，則將所述檢測結果所對應的產品圖像確定為目標圖像，並將與所述目標圖像所對應的重構圖像確定為所述相似圖像。
根據本申請可選實施例，所述根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器包括：將所述相似圖像的數量確定為目標數量；根據所述目標數量計算所述相似圖像在所述多張重構圖像中所佔的比率，並將所述比率確定為每個學習器的正確率；將取值最高的正確率所對應的學習器確定為所述多尺度自編碼器。
本申請提供一種電腦設備，所述電腦設備包括：儲存器，儲存至少一個指令；及
處理器，執行所述至少一個指令以實現所述的多尺度自編碼器生成方法。
本申請提供一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現所述的多尺度自編碼器生成方法。
由以上技術方案可以看出，透過所述圖像尺寸及每個尺度的運算結果能夠控制每個學習器生成的特徵圖的大小，避免了特徵圖的過大或者過小問題，從而提高每個學習器提取圖像特徵的精細程度，基於每個檢測結果與對應的標注結果的比較結果從所述多張重構圖像中篩選出所述相似圖像，並基於所述相似圖像計算每個學習器的正確率，進而選取正確率最大的學習器作為所述圖像尺寸對應的所述多尺度自編碼器，由於所述正確率能夠準確的反映出所述相似圖像的數量大小，以及，透過所述多尺度自編碼器生成的相似圖像最多，因此能夠提高了所述多尺度自編碼器的重構能力，從而透過所述多尺度自編碼器生成的特徵圖能夠準確的還原出重構圖像。
1:電腦設備
2:攝像裝置
12:儲存器
13:處理器
S10~S17:步驟
圖1是本申請多尺度自編碼器生成方法的較佳實施例的應用環境圖。
圖2是本申請多尺度自編碼器生成方法的較佳實施例的流程圖。
圖3是本申請多尺度自編碼器生成方法的較佳實施例的自編碼器的結構示意圖。
圖4是本申請實現多尺度自編碼器生成方法的較佳實施例的電腦設備的結構示意圖。
為了使本申請的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本申請進行詳細描述。
如圖1所示，是本申請一種多尺度自編碼器生成方法的較佳實施例的應用環境圖。所述多尺度自編碼器生成方法可應用於一個或者多個電腦設備1中，所述電腦設備1與攝像裝置2相通信，所述攝像裝置2可以是攝像頭，也可
以是實現拍攝的其它裝置，例如，透過攝像裝置2能夠拍攝多個瑕疵產品，進而獲得多張瑕疵圖像，同時透過攝像裝置2拍攝多個無瑕疵產品，進而獲得多張無瑕疵圖像。所述產品可以是各類設備，例如，手機等。
所述電腦設備1是一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括，但不限於：微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電腦設備1可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、互動式網路電視(Internet Protocol Television，IPTV)、智慧式穿戴式設備等。
所述電腦設備1還可以包括網路設備和/或使用者設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路伺服器構成的雲。
所述電腦設備1所處的網路包括但不限於網際網路、廣域網路、都會區網路、區域網路、虛擬私人網路(Virtual Private Network，VPN)等。如圖2所示，是本申請一種多尺度自編碼器生成方法的較佳實施例的流程圖。根據不同的需求，該流程圖中各個步驟的順序可以根據實際檢測要求進行調整，某些步驟可以省略。所述方法的執行主體為電腦設備，例如圖1所示的電腦設備1。
步驟S10，獲取具有相同圖像尺寸的多張產品圖像及所述多張產品圖像的標注結果，所述多張產品圖像包括多張無瑕疵圖像。
在本申請的至少一個實施例中，所述多張產品圖像包括所述多張無瑕疵圖像及所述多張瑕疵圖像，可以理解的是，所述多張產品圖像中的產品包括瑕疵產品及無瑕疵產品，例如，所述瑕疵產品可以是存在色差的杯子、存在刮痕的玩具，所述多張產品圖像可用於生成重構圖像，所述多張無瑕疵圖像可用於對自編碼器的訓練。
在本申請的至少一個實施例中，所述標注結果包括任一產品圖像存在瑕疵，以及，任一產品圖像不存在瑕疵，所述標注結果用於與所述多張產品圖像的檢測結果相比較，比較過程在下文詳細介紹。
在本申請的至少一個實施例中，所述電腦設備獲取具有相同圖像尺
寸的多張產品圖像及所述多張產品圖像的標注結果包括：所述電腦設備控制所述攝像裝置以相同的位置和角度拍攝多個所述瑕疵產品及多個所述無瑕疵產品，得到所述多張產品圖像，每張產品圖像的圖像尺寸都相同，進一步地，所述電腦設備從預先配置的資料庫中獲取每張產品圖像的所述標注結果。
其中，所述攝像裝置可以是攝像頭。
透過上述實施方式，能夠使每張產品圖像的尺寸均相同，並獲得每張產品圖像的標注結果。
步驟S11，構建多個尺度的潛在空間。
在本申請的至少一個實施例中，所述潛在空間是指提取後的圖像特徵存在的空間。
在本申請的至少一個實施例中，所述多個尺度可以包括4*4、8*8及16*16。
在本申請的至少一個實施例中，所述電腦設備構建多個尺度的潛在空間包括：
所述電腦設備將所述潛在空間的大小設置為多個尺度，並根據每個尺度構建潛在空間，得到多個所述潛在空間。
透過上述實施方式，能夠根據預設的每個尺度構建對應的潛在空間。
步驟S12，根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器。
在本申請的至少一個實施例中，所述圖像尺寸是指在水準方向及豎直方向上所包含的像素點的數量，所述圖像尺寸可用來計算所述多個自編碼器中隱層的數量，所述圖像尺寸包括，但不限於：128*128、256*256。
在本申請的至少一個實施例中，所述電腦設備根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器包括：所述電腦設備迭代計算所述圖像尺寸與第一預設值的比值，得到運算結果，直至獲得與所述多個尺度分別等同的運算結果，統計與每個尺度等同的運算結果的迭代次數，對於每個尺度，所述電腦設備構建網路層數為所述迭代次數的隱層作為編碼器網路，並構建網路層數為所述迭代次數的運算層作為解碼器網路，進一步地，所述電腦設備根據每個尺度的所述編碼器網路、所述
潛在空間及所述解碼器網路生成所述多個自編碼器。
其中，所述第一預設值可以包括，但不限於：2、4。
具體地，所述電腦設備迭代計算所述圖像尺寸與第一預設值的比值，得到運算結果，直至獲得與所述多個尺度分別等同的運算結果包括：所述電腦設備將所述圖像尺寸與所述第一預設值進行相除運算，得到運算結果，若所述運算結果與任一尺度不同，則將所述運算結果確定為下一次迭代計算中的圖像尺寸(可稱為“更新的圖像尺寸”)，並將所述更新的圖像尺寸與所述第一預設值進行相除運算，直到所述運算結果與所述任一尺度相同，停止相除運算。透過迭代計算的方式，可以得到與多個尺度分別等同的多個運算結果。例如，若有三個尺度，對於每個尺度需要分別進行迭代計算。以尺度A為例，在進行迭代計算的過程中，可以有多個運算結果，直至獲得一個等同於尺度A的運算結果，停止迭代，並確定獲得所述等同於尺度A的運算結果的迭代次數。其中，將多個所述運算結果作為所述編碼器網路生成的特徵圖的大小。
可以理解的是，所述編碼器網路與所述解碼器網路的生成過程互為可逆，本申請對所述解碼器網路的生成過程不作贅述。
如圖3所示，是本申請多尺度自編碼器生成方法的較佳實施例的自編碼器的結構示意圖。當所述圖像尺寸為128*128、所述潛在空間的尺度為16*16、所述第一預設值為2時，將所述圖像尺寸與所述第一預設值進行第一次相除運算，得到第一相除結果64*64，將所述第一相除結果與所述第一預設值進行第二次相除運算，得到第二相除結果32*32，將所述第二相除結果與所述第一預設值進行第三次相除運算，得到第三相除算結果16*16，所述第三相除結果16*16與所述潛在空間的尺度16*16相同，停止運算，得到運算次數為3，構建網路層數為3隱層作為編碼器網路，並將第一運算結果64*64作為第一個隱層輸出的特徵圖的大小，將第二運算結果32*32作為第二個隱層輸出的特徵圖的大小，將第三運算結果16*16作為第三個隱層輸出的特徵圖的大小。經構建，得到自編碼器，所述自編碼器包括編碼器網路、尺度為16*16的潛在空間及解碼器網路，所述編碼器網路包含3個隱層，其中，第一個隱層輸出的特徵圖的大小為所述第一相除結果64*64，第二個隱層輸出的特徵圖的大小為所述第二相除結果32*32，第三個隱層輸出的特徵圖的大小為所述第三相除結果16*16，所述解碼器網路包含3個運算層，其中，第一個運算層輸出的特徵圖的大小為32*32，第
二個運算層輸出的特徵圖的大小為64*64，第三個運算層輸出的特徵圖的大小為128*128。
透過上述實施方式，將每個自編碼器中對應隱層生成的特徵圖的大小設置為對應的相除結果，能夠控制每個自編碼器生成的特徵圖的大小，避免了特徵圖的過大或者過小等問題，從而提高了每個自編碼器提取圖像特徵的精細程度。
在本申請的至少一個實施例中，每個隱層依次由卷積層、批標準化層、激活函數層構成，每個運算層依次由反卷積層、所述批標準化層、所述激活函數層構成。
步驟S13，基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器。
在本申請的至少一個實施例中，所述多個學習器是指使用所述多張無瑕疵圖像訓練完成後的自編碼器，所述多個學習器可用於生成所述多張重構圖像。
在本申請的至少一個實施例中，所述電腦設備基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器包括：所述電腦設備計算每個自編碼器的損失函數值，並根據所述損失函數值對每個自編碼器進行梯度反向傳播，直至所述損失函數值下降到最低，停止訓練，得到所述多個學習器。
透過上述實施方式，能夠使用所述多張無瑕疵圖像訓練每個自編碼器並快速得到所述多個學習器。
具體地，所述電腦設備計算每個自編碼器的損失函數值包括：所述電腦設備將所述多張無瑕疵圖像輸入每個自編碼器，得到多張輸出圖像，並根據每張無瑕疵圖像及對應的輸出圖像計算所述損失函數值。
所述損失函數值的計算公式為：
其中，MSE為所述損失函數值，M為任意一張無瑕疵圖像中所有像素點的數量，j為常數，m j 為任意一張無瑕疵圖像中第j個像素點的像素值，n j 為對應的輸出圖像中第j個像素點的像素值。
步驟S14，將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像。
在本申請的至少一個實施例中，所述多張重構圖像是指每個學習器根據每張產品圖像重構出來的圖像，所述多張重構圖像可用於檢測所述多張產品圖像是否存在瑕疵。
在本申請的至少一個實施例中，所述電腦設備將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像包括：所述電腦設備將每張產品圖像輸入到每個學習器中的隱層進行特徵提取，得到每個隱層輸出的特徵向量，其中每個隱層輸出的特徵向量作為下一個隱層的輸入向量，進一步地，所述電腦設備將最後一個隱層輸出的特徵向量確定為每張產品圖像對應的潛在向量，並將所述潛在向量輸入到每個學習器的運算層進行重構，得到所述運算層輸出的重構向量，其中所述運算層輸出的重構向量是下一個運算層的輸入向量，所述電腦設備對所述最後一個運算層輸出的重構向量進行映射處理，得到所述多張重構圖像。
其中，所述潛在向量存於所述潛在空間中，所述潛在空間包含多個所述潛在向量。
透過上述實施方式，能夠獲得所述多張重構圖像，由於每個學習器學習到了所述多張無瑕疵圖像的特徵，因此所述多張重構圖像在後續操作中能夠充當無瑕疵圖像的角色。
步驟S15，根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果。
在本申請的至少一個實施例中，所述檢測結果包括任一產品圖像存在瑕疵，以及，任一產品圖像不存在瑕疵。
在本申請的至少一個實施例中，所述電腦設備根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果包括：所述電腦設備計算每張重構圖像與對應的產品圖像之間的相似值。所述相似值的計算方法為：
c 1=(K 1 L)2；c 2=(K 2 L)2；其中，SSIM(x,y)為所述相似值，x為所述重構圖像，y為所述重構圖像對應的產品圖像，μ x 為所述重構圖像的灰度平均值，μ y 為所述對應的產品
圖像的灰度平均值，σ x 為重構圖像的灰度標準差，σ y 所述對應的產品圖像的灰度標準差，σ xy 為所述重構圖像與所述對應的產品圖像之間的灰度協方差，c 1與c 2均是維持分母不為零的參數，L為所述對應的產品圖像中像素點的最大像素值，K 1與K 2是預先設置的常數，且K 1<<1,K 2<<1。
若所述相似值大於第二預設值，所述電腦設備確定所述對應的產品圖像不存在瑕疵，若所述相似值小於或者等於第二預設值，所述電腦設備確定所述對應的產品圖像存在瑕疵。
具體地，所述重构图像的灰度平均值的計算方法為：
所述對應的產品圖像的灰度平均值的計算方法為：
所述重構圖像的灰度標準差計算方法為：
對應的產品圖像的灰度標準差計算方法為：
所述重構圖像與所述對應的產品圖像之間的灰度協方差的計算方法為：
其中，N為所述重構圖像及所述對應的產品圖像的圖元大小，N=1，2，3，...，i。
所述相似值的範圍為[0,1]，可以理解的是，所述相似值越大，任一重構圖像與所述對應的產品圖像越相似，當所述相似值為1時，表示所述任一重構圖像與所述對應的產品圖像一模一樣。
其中，所述第二預設值可以根據需求設置，本申請不作要求。
透過上述實施方式，能夠計算出每張重構圖像與對應的產品圖像的相似值，由於所述多張重構圖像可以充當無瑕疵圖像的角色，所以當每張重構圖像對應的產品圖像為瑕疵圖像時，重構圖像與所述瑕疵圖像的相似值遠離1，當每張重構圖像對應的產品圖像為無瑕疵圖像時，重構圖像與所述無瑕疵圖像
的相似值接近1，因此，所述相似值能夠準確的反映出每張重構圖像與對應的產品圖像之間的差異，使得所述檢測結果更準確。
步驟S16，基於每個檢測結果與對應的標注結果的比較結果，選取相似圖像。
本申請的至少一個實施例中，所述相似圖像是指與目標圖像對應的重構圖像，所述目標圖像為與所述標注結果相同的檢測結果對應的產品圖像。
在本申請的至少一個實施例中，所述電腦設備基於每個檢測結果與對應的標注結果的比較結果，選取相似圖像包括：所述電腦設備將每個檢測結果與對應的標注結果進行比較，得到所述比較結果，若所述比較結果為所述檢測結果與所述對應的標注結果相同，所述電腦設備將所述檢測結果所對應的產品圖像確定為所述目標圖像，並將與所述目標圖像所對應的重構圖像確定為所述相似圖像。
透過上述實施方式，能夠從所述多張重構圖像中準確的篩選出所述相似圖像。
步驟S17，根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器。
在本申請的至少一個實施例中，所述正確率是指所述相似圖像在所述多張重構圖像中的佔比，所述正確率可用於表示每個學習器對所述多張產品圖像的檢測正確率。
在本申請的至少一個實施例中，所述多尺度自編碼器是指生成所述相似圖像最多的學習器。
在本申請的至少一個實施例中，所述電腦設備根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器包括：
所述電腦設備將所述相似圖像的數量確定為目標數量，根據所述目標數量計算所述相似圖像在所述多張重構圖像中所佔的比率，並將所述比率確定為每個學習器的正確率，所述電腦設備將取值最高的正確率所對應的學習器確定為所述多尺度自編碼器。
透過上述實施方式，能夠選取生成所述相似圖像最多的學習器作為所述圖像尺寸對應的多尺度自編碼器，提高了所述多尺度自編碼器的重構能力。
在本申請的至少一個實施例中，所述多尺度自編碼器與所述圖像尺寸相對應，將待測圖像的尺寸轉換為所述圖像尺寸，再根據所述多尺度自編碼器生成的圖像對所述待測圖像進行瑕疵檢測。
由以上技術方案可以看出，透過所述圖像尺寸及每個尺度的運算結果能夠控制每個學習器生成的特徵圖的大小，避免了特徵圖的過大或者過小問題，從而提高每個學習器提取圖像特徵的精細程度，基於每個檢測結果與對應的標注結果的比較結果從所述多張重構圖像中篩選出所述相似圖像，並基於所述相似圖像計算每個學習器的正確率，進而選取正確率最大的學習器作為所述圖像尺寸對應的所述多尺度自編碼器，由於所述正確率能夠準確的反映出所述相似圖像的數量大小，以及，透過所述多尺度自編碼器生成的相似圖像最多，因此能夠提高了所述多尺度自編碼器的重構能力，從而透過所述多尺度自編碼器生成的特徵圖能夠準確的還原出重構圖像。
如圖4所示，是本申請實現多尺度自編碼器生成方法的較佳實施例的電腦設備的結構示意圖。
在本申請的一個實施例中，所述電腦設備1包括，但不限於，儲存器12、處理器13，以及儲存在所述儲存器12中並可在所述處理器13上運行的電腦程式，例如缺陷檢測程式。
本領域技術人員可以理解，所述示意圖僅僅是電腦設備1的示例，並不構成對電腦設備1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電腦設備1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所述處理器13可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器13是所述電腦設備1的運算核心和控制中心，利用各種介面和線路連接整個電腦設備1的各個部分，及獲取所述電腦設備1的作業系統以及安裝的各類應用程式、程式碼等。例如，所述處理器13可以透過介面獲取所述攝像裝置2拍攝到的所述多張無瑕疵圖像。
所述處理器13獲取所述電腦設備1的作業系統以及安裝的各類應
用程式。所述處理器13獲取所述應用程式以實現上述各個多尺度自編碼器生成方法實施例中的步驟，例如圖2所示的步驟。
示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被儲存在所述儲存器12中，並由所述處理器13獲取，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電腦設備1中的獲取過程。
所述儲存器12可用於儲存所述電腦程式和/或模組，所述處理器13透過運行或獲取儲存在所述儲存器12內的電腦程式和/或模組，以及調用儲存在儲存器12內的資料，實現所述電腦設備1的各種功能。所述儲存器12可主要包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；儲存資料區可儲存根據電腦設備的使用所創建的資料等。此外，儲存器12可以包括非易失性儲存器，例如硬碟、儲存器、插接式硬碟，智慧儲存卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃儲存器卡(Flash Card)、至少一個磁碟儲存器件、快閃儲存器器件、或其他非易失性固態儲存器件。
所述儲存器12可以是電腦設備1的外部儲存器和/或內部儲存器。進一步地，所述儲存器12可以是具有實物形式的儲存器，如儲存器條、TF卡(Trans-flash Card)等等。
所述電腦設備1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一電腦可讀儲存介質中，該電腦程式在被處理器獲取時，可實現上述各個方法實施例的步驟。
其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可獲取檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀儲存器(ROM，Read-Only Memory)。
結合圖2，所述電腦設備1中的所述儲存器12儲存多個指令以實現一種多尺度自編碼器生成方法，所述處理器13可獲取所述多個指令從而實現：
獲取具有相同圖像尺寸的多張產品圖像及所述多張產品圖像的標注結果，所述多張產品圖像包括多張無瑕疵圖像；構建多個尺度的潛在空間；根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器；基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器；將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像；根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果；基於每個檢測結果與對應的標注結果的比較結果，選取相似圖像；根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器。
具體地，所述處理器13對上述指令的具體實現方法可參考圖2對應實施例中相關步驟的描述，在此不贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除多個。本申請中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一、第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應
當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
S10~S17:步驟
Claims (9)
- 一種多尺度自編碼器生成方法，應用於電腦設備，其中，所述多尺度自編碼器生成方法包括：獲取具有相同圖像尺寸的多張產品圖像及所述多張產品圖像的標注結果，所述多張產品圖像包括多張無瑕疵圖像；構建多個尺度的潛在空間；根據所述圖像尺寸及多個所述潛在空間構建多個自編碼器，包括：迭代計算所述圖像尺寸與第一預設值的比值，得到運算結果，直至獲得與所述多個尺度分別等同的運算結果，統計與每個尺度等同的運算結果的迭代次數，對於每個尺度，構建網路層數為所述迭代次數的隱層作為編碼器網路，並構建網路層數為所述迭代次數的運算層作為解碼器網路，根據每個尺度的所述編碼器網路、所述潛在空間及所述解碼器網路生成所述多個自編碼器，將多個所述運算結果作為所述編碼器網路中對應隱層生成的特徵圖的大小；基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器；將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像；根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果；基於每個檢測結果與對應的標注結果的比較結果，從所述多張重構圖像中選取相似圖像；根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器。
- 如請求項1所述的多尺度自編碼器生成方法，其中，每個隱層依次由卷積層、批標準化層、激活函數層構成，每個運算層依次由反卷積層、所述批標準化層、所述激活函數層構成。
- 如請求項1所述的多尺度自編碼器生成方法，其中，所述將所述多張產品圖像輸入到每個學習器中，得到多張重構圖像包括：將每張產品圖像輸入到每個學習器中的隱層進行特徵提取，得到每個隱層輸出的特徵向量，其中每個隱層輸出的特徵向量作為下一個隱層的輸入向量；將最後一個隱層輸出的特徵向量確定為每張產品圖像對應的潛在向量；將所述潛在向量輸入到每個學習器的運算層進行重構，得到所述運算層輸出的重構向量，其中所述運算層輸出的重構向量是下一個運算層的輸入向量； 對所述最後一個運算層輸出的重構向量進行映射處理，得到所述多張重構圖像。
- 如請求項1所述的多尺度自編碼器生成方法，其中，所述基於所述多張無瑕疵圖像對每個自編碼器進行訓練，得到多個學習器包括：計算每個自編碼器的損失函數值；根據所述損失函數值對每個自編碼器進行梯度反向傳播，直至所述損失函數值下降到最低，停止訓練，得到所述多個學習器。
- 如請求項1所述的多尺度自編碼器生成方法，其中，所述根據每張所述重構圖像檢測對應的產品圖像是否存在瑕疵，得到多個檢測結果包括：計算每張重構圖像與對應的產品圖像之間的相似值；所述相似值的計算方法為：
- 如請求項1所述的多尺度自編碼器生成方法，其中，所述基於每個檢測結果與對應的標注結果的比較結果，從所述多張重構圖像中選取相似圖像包括：將每個檢測結果與對應的標注結果進行比較，得到所述比較結果；若所述比較結果為所述檢測結果與所述對應的標注結果相同，則將所述檢測結果所對應的產品圖像確定為目標圖像，並將與所述目標圖像所對應的重構圖 像確定為所述相似圖像。
- 如請求項1所述的多尺度自編碼器生成方法，其中，所述根據所述相似圖像計算每個學習器的正確率，並依據所述正確率選擇一個學習器作為多尺度自編碼器包括：將所述相似圖像的數量確定為目標數量；根據所述目標數量計算所述相似圖像在所述多張重構圖像中所佔的比率，並將所述比率確定為每個學習器的正確率；將取值最高的正確率所對應的學習器確定為所述多尺度自編碼器。
- 一種電腦設備，其中，所述電腦設備包括：儲存器，儲存至少一個指令；及處理器，執行所述至少一個指令以實現如請求項1至7中任意一項所述的多尺度自編碼器生成方法。
- 一種電腦可讀儲存介質，其中：所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現如請求項1至7中任意一項所述的多尺度自編碼器生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121535A TWI840833B (zh) | 2022-06-09 | 2022-06-09 | 多尺度自編碼器生成方法、電腦設備及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121535A TWI840833B (zh) | 2022-06-09 | 2022-06-09 | 多尺度自編碼器生成方法、電腦設備及儲存介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202349346A TW202349346A (zh) | 2023-12-16 |
| TWI840833B true TWI840833B (zh) | 2024-05-01 |
Family
ID=90039169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111121535A TWI840833B (zh) | 2022-06-09 | 2022-06-09 | 多尺度自編碼器生成方法、電腦設備及儲存介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI840833B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202042111A (zh) * | 2019-05-09 | 2020-11-16 | 鴻海精密工業股份有限公司 | 瑕疵檢測方法、電子裝置及電腦可讀存儲介質 |
| US20210287354A1 (en) * | 2020-03-10 | 2021-09-16 | Applied Materials, Inc. | Self-measurement of semiconductor image using deep learning |
| TWI762193B (zh) * | 2021-02-09 | 2022-04-21 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
-
2022
- 2022-06-09 TW TW111121535A patent/TWI840833B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202042111A (zh) * | 2019-05-09 | 2020-11-16 | 鴻海精密工業股份有限公司 | 瑕疵檢測方法、電子裝置及電腦可讀存儲介質 |
| US20210287354A1 (en) * | 2020-03-10 | 2021-09-16 | Applied Materials, Inc. | Self-measurement of semiconductor image using deep learning |
| TWI762193B (zh) * | 2021-02-09 | 2022-04-21 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202349346A (zh) | 2023-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200424B2 (en) | Space-time memory network for locating target object in video content | |
| JP7350878B2 (ja) | 画像解析方法、装置、プログラム | |
| CN108895981B (zh) | 一种三维测量方法、装置、服务器和存储介质 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
| CN108280843A (zh) | 一种视频目标检测跟踪方法及设备 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN116433559A (zh) | 产品外观缺陷检测方法、电子设备及存储介质 | |
| CN117274133A (zh) | 瑕疵侦测方法、电子设备及存储介质 | |
| CN104769643B (zh) | 用于使用可平行化架构中的图像来初始化及解算面元的局部几何形状或表面法线的方法 | |
| JP2020071875A (ja) | 画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法 | |
| CN111104925A (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN117173568A (zh) | 目标检测模型训练方法和目标检测方法 | |
| TW202127312A (zh) | 影像處理方法及存儲介質 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN116415020A (zh) | 一种图像检索的方法、装置、电子设备及存储介质 | |
| US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium | |
| TWI840833B (zh) | 多尺度自編碼器生成方法、電腦設備及儲存介質 | |
| CN114898155B (zh) | 车辆定损方法、装置、设备及存储介质 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN113947771B (zh) | 图像识别方法、装置、设备、存储介质以及程序产品 | |
| CN111753625B (zh) | 一种行人检测方法、装置、设备及介质 | |
| CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 |