TWI844030B - 瑕疵檢測裝置及方法 - Google Patents
瑕疵檢測裝置及方法 Download PDFInfo
- Publication number
- TWI844030B TWI844030B TW111121112A TW111121112A TWI844030B TW I844030 B TWI844030 B TW I844030B TW 111121112 A TW111121112 A TW 111121112A TW 111121112 A TW111121112 A TW 111121112A TW I844030 B TWI844030 B TW I844030B
- Authority
- TW
- Taiwan
- Prior art keywords
- defect detection
- image
- tested
- loss function
- normalized
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000002950 deficient Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 136
- 230000006870 function Effects 0.000 claims description 76
- 230000005856 abnormality Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一種瑕疵檢測裝置及方法。該瑕疵檢測裝置接收一待測影像。該瑕疵檢測裝置透過一瑕疵檢測模型檢測該待測影像，以產生對應該待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生。該瑕疵檢測裝置比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像。
Description
本揭露係關於一種瑕疵檢測裝置及方法。具體而言，本揭露係關於一種基於多個階段的調整機制提升瑕疵檢測準確率的瑕疵檢測裝置及方法。
近年來，由於智慧製造的快速發展，導入深度學習技術到自動光學檢測（automated optical inspection；AOI）領域中成為發展的目標之一。其中，由於在某些工業製造領域中，需要面對瑕疵種類的未知性且缺乏用於訓練的瑕疵樣本等等的問題，使得半監督式的瑕疵檢測手段被廣泛的應用。
具體而言，半監督式的瑕疵檢測在訓練時，可透過生成對抗式網路架構進行訓練，由於僅需要帶有正常標籤的訓練樣本，而不需要收集大量的異常樣本，因此相較監督式瑕疵檢測使用上更為廣泛。
然而，在現有技術中，半監督式的瑕疵檢測在某些檢測領域或檢測目標中（例如：工業元件中的螺帽），實際應用時準確率過低，且偽陽率過高，因而無法實際應用在工業製造中。
有鑑於此，如何提供一種可提升瑕疵檢測準確率之技術，乃業界亟需努力之目標。
本揭露之一目的在於提供一種瑕疵檢測裝置。該瑕疵檢測裝置包含一儲存器、一收發介面及一處理器，該處理器電性連接至該儲存器及該收發介面。該儲存器用以儲存一瑕疵檢測模型。該處理器自該收發介面接收一待測影像。該處理器透過該瑕疵檢測模型檢測該待測影像，以產生對應該待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生。該處理器比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像。
本揭露之另一目的在於提供一種瑕疵檢測方法，該瑕疵檢測方法用於一電子裝置。該瑕疵檢測方法包含下列步驟：接收一待測影像；透過一瑕疵檢測模型檢測該待測影像，以產生對應該待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生；比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像。
本揭露所提供之瑕疵檢測技術（至少包含裝置及方法），透過由生成對抗網路及歸一化後的複數個損失函數訓練產生的瑕疵檢測模型，檢測待測影像以產生對應該待測影像之異常分數，且經由比對該異常分數及異常分數門檻值，以判斷該待測影像是否為瑕疵影像。此外，本揭露所提供之瑕疵檢測技術透過多個階段的調整機制（例如：調整損失函數、調整異常分數計算方式、轉換色彩空間並將其中某些通道歸一化等等），提升瑕疵檢測模型的訓練速度及穩定程度。因此，本揭露所提供之瑕疵檢測技術，可提升瑕疵檢測準確率，解決習知技術產生的瑕疵檢測由於準確率過低且偽陽率過高，因而無法實際使用至某些檢測目標的問題。
以下結合圖式闡述本揭露之詳細技術及實施方式，俾使本揭露所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
以下將透過實施方式來解釋本揭露所提供之一種瑕疵檢測裝置及方法。然而，該等實施方式並非用以限制本揭露需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本揭露之目的，而非用以限制本揭露之範圍。應理解，在以下實施方式及圖式中，與本揭露非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本揭露之範圍。
本揭露之第一實施方式為瑕疵檢測裝置1，其架構示意圖係描繪於第1圖。於本實施方式中，瑕疵檢測裝置1包含一儲存器11、收發介面13及處理器15，處理器15電性連接至儲存器11及收發介面13。
須說明者，儲存器11可為記憶體、通用串列匯流排（Universal Serial Bus；USB）碟、硬碟、光碟、隨身碟或本揭露所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。收發介面13為可接收及傳輸資料之介面或本揭露所屬技術領域中具有通常知識者所知悉之其他可接收及傳輸資料之介面，收發介面13可透過例如：外部裝置、外部網頁、外部應用程式等等來源接收資料。處理器15可為各種處理單元、中央處理單元（Central Processing Unit；CPU）、微處理器或本揭露所屬技術領域中具有通常知識者所知悉之其他計算裝置。
於本實施方式中，如第1圖所示，儲存器11可用以儲存瑕疵檢測模型100。於本揭露中，瑕疵檢測裝置1將透過瑕疵檢測模型100檢測待測影像是否為瑕疵影像，且瑕疵檢測裝置1可透過多個階段的調整機制（例如：調整損失函數、調整異常分數計算方式、轉換色彩空間並將其中某些通道歸一化等等），提升瑕疵檢測準確率。以下段落將具體說明，關於瑕疵檢測模型100的產生及實施的內容。
具體而言，瑕疵檢測模型100為一已訓練完成的瑕疵檢測模型，訓練完成後的瑕疵檢測模型100可用以檢測待測影像是否為瑕疵影像，且產生該待測影像對應的異常分數。須說明者，瑕疵檢測模型100可由瑕疵檢測裝置1自行訓練產生，或是由瑕疵檢測裝置1自外部裝置直接接收已訓練完成的瑕疵檢測模型以作為本案第1圖之瑕疵檢測模型100。
於某些實施方式中，瑕疵檢測裝置1是基於大量的樣本影像及生成對抗網路（Generative Adversarial Network；GAN）的架構進行訓練，以產生瑕疵檢測模型100。
須說明者，生成對抗網路是由生成網路（Generator Network）與判別網路（Discriminator Network）組成，透過該生成網路與該判別網路輪流進行對抗式訓練。
以GANomaly網路架構舉例而言，GANomaly網路架構包含一生成網路與一判別網路，該生成網路依序由一第一編碼器（ENCODER）、一解碼器（DECODER）及一第二編碼器組成，該判別網路由一第三編碼器組成。GANomaly網路架構透過前述的生成網路與前述的判別網路進行對抗式訓練。於本實施方式中，本揭露所提供的瑕疵檢測裝置1可透過GANomaly網路架構進行模型訓練。
具體而言，本揭露所提供的瑕疵檢測裝置1可由處理器15自收發介面13接收複數個樣本影像，其中該等樣本影像包含複數個正常影像及複數個測試影像（例如：基於生成網路產生的瑕疵影像）。接著，由處理器15將該等樣本影像輸入至生成對抗網路所建構的一訓練模型。隨後，由處理器15基於歸一化（Normalization）後的一編碼器（Encoder）損失函數、一前後文（Contextual）損失函數及一對抗性（Adversarial）損失函數訓練該訓練模型。最後，由處理器15將訓練完成之該訓練模型設定為瑕疵檢測模型100。
須說明者，由於在原始GANomaly 網路架構所使用的損失函數的輸入值域範圍非常廣泛，將可能導致在訓練時的困難及不穩定（例如：訓練結果發散或是偏向某些通道數值）。於本實施方式中，可透過將損失函數的所對應的值域歸一化後限縮在[0,1]之間，進而加快瑕疵檢測模型100的訓練速度並使其較為穩定。
於某些實施方式中，其中歸一化後的該編碼器損失函數是基於一第一編碼特徵及一第二編碼特徵之一歸一化平方差值產生，該第一編碼特徵由瑕疵檢測模型100中的一第一編碼器產生，且該第二編碼特徵由瑕疵檢測模型100中的一第二編碼器產生。
具體而言，該編碼器損失函數計算二個編碼器投射到潛在空間（latent space）的潛在向量（latent vector）之平方差值。舉例而言，處理器15可利用以下公式計算該編碼器損失函數
。
於上述公式中，參數
代表影像通道數，參數
代表影像寬度，參數
代表影像高度，
代表經由第一編碼器產生的第一編碼特徵，
代表經由第二編碼器產生的第二編碼特徵。其中，max函數及min函數分別輸出的最大及最小的數值。
於某些實施方式中，其中歸一化後的該前後文損失函數是基於該待測影像與對應該待測影像之一重建影像的一歸一化像素差值絕對值產生，其中對應該待測影像之該重建影像是由瑕疵檢測模型100中之一第一編碼器及一解碼器所產生。
具體而言，該前後文損失函數計算整張重建影像與原影像每個像素的差值絕對值。舉例而言，處理器15可利用以下公式計算該前後文損失函數
。
於上述公式中，參數
代表影像通道數，參數
代表影像寬度，參數
代表影像高度，
代表原影像的像素值，
代表重建影像的像素值。其中，max函數及min函數分別輸出的最大及最小的數值。
於某些實施方式中，其中歸一化後的該對抗性損失函數是基於一歸一化特徵匹配平方差值產生。
具體而言，該對抗性損失函數計算判別器輸出之平方差值，以衡量原始影像和生成的影像（即，重建影像）在判別器中間層的特徵距離。舉例而言，處理器15可利用以下公式計算該對抗性損失函數
。
於上述公式中，參數
代表影像通道數，參數
代表影像寬度，參數
代表影像高度，
代表原影像的像素值，
代表重建影像的像素值。其中f函數輸出的是於判別器的中間表示層的距離，max函數及min函數分別輸出的最大及最小的數值。
須說明者，於本實施方式中，處理器15是透過歸一化後的損失函數進行損失計算。由於經過調整後的損失函數將使得三個損失函數的值域落在較為接近的範圍，因此能夠較平均地訓練所有子網路，而不會偏向某些權重較高的數值。
於某些實施方式中，處理器15可透過調整各損失函數所對應的權重，以產生目標函式。舉例而言，處理器15可利用以下公式產生目標函式：
於上述公式中，參數
、 、 為超參數的權重。舉例而言，參數
、 、 可分別平均地設置為1，以平均的訓練三項損失函數。本領域具有通常知識者應可根據前述說明內容，理解透過生成對抗網路進行訓練的運作內容，故不贅言。
於本實施方式中，處理器15自收發介面13接收一待測影像。接著，處理器15透過瑕疵檢測模型100，產生對應該待測影像之一異常分數，其中瑕疵檢測模型100係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生。最後，處理器15比對該異常分數（Anormaly score）及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像。
於某些實施方式中，為了保有最完整且原始的資訊量下進行異常分數的估計，該異常分數的計算是由處理器15計算原始影像和生成的影像（即，重建影像）的像素平方差的平均。具體而言，處理器15計算該待測影像與對應該待測影像之一重建影像的一像素平方差值，以產生該異常分數。其中，對應該待測影像之該重建影像是由瑕疵檢測模型100中之一第一編碼器及一解碼器所產生。
舉例而言，處理器15可利用以下公式計算該異常分數
。
於上述公式中，參數
代表影像通道數，參數
代表影像寬度，參數
代表影像高度，
代表原影像的像素值，
代表重建影像的像素值。其中G函數輸出重建影像（即，經由第一編碼器及解碼器輸出）的像素值。
須說明者，該異常分數門檻值是用以判斷該待測影像是否為瑕疵影像的標準。舉例而言，當處理器15判斷該待測影像對應之異常分數大於該異常分數門檻值時，則該待測影像即為瑕疵影像。當處理器15判斷該待測影像對應之異常分數小於或等於該異常分數門檻值時，則該待測影像即為正常影像。
須說明者，針對不同的檢測對象，瑕疵檢測裝置1可設定適合的異常分數門檻值，而該異常分數門檻值可經由瑕疵檢測裝置1產生的結果或是經驗進行調整。
此外，由於某些色彩空間的通道數值範圍相差較大，將使得模型在訓練時的不穩定（例如：訓練結果偏向數值較大的通道數值）。因此，於某些實施方式中，處理器15更在訓練階段時對樣本影像執行色彩空間的轉換並對數值較大的通道數值執行一歸一化運作，以降低某些通道數值在訓練階段對於模型的影響程度。
具體而言，處理器15接收複數個樣本影像，其中該等樣本影像對應至一第一色彩空間。接著，處理器15將該等樣本影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值。隨後，處理器15對該等樣本影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作。接著，處理器15將該等樣本影像輸入至該生成對抗網路所建構的一訓練模型，且基於歸一化後的一編碼器損失函數、一前後文損失函數及一對抗性損失函數以訓練該訓練模型。最後，處理器15將訓練完成之該訓練模型設定為瑕疵檢測模型100。
於某些實施方式中，其中該至少一第一通道數值所對應之一第一值域與該等第二通道數值所對應之一第二值域不同。
為便於理解，以工業製造中的螺帽影像作為瑕疵檢測的目標以進行舉例說明。於本範例中，處理器15接收複數個關於於螺帽的樣本影像。首先，處理器15可將原對應至RGB色彩空間（即，包含紅、綠、藍三個通道）的樣本影像，轉換至以CIELAB色彩空間（即，包含L、a、b三個通道）表示的樣本影像。
須說明者，由於螺帽影像本身具有較高的黑白顏色，因此在CIELAB表示中L通道數值將明顯高於a通道或是b通道的數值（例如：L通道數值可能對應至10至80的數值區間，a通道或是b通道則僅對應至-2至5的數值區間）。
因此，為避免L通道數值過度影響模型訓練，處理器15將對於樣本影像中L通道數值進行歸一化運作。處理器15可將該等樣本影像中L通道所對應的通道數值除以最大值（即，L通道數值中最大的數值），以使該等樣本影像中L通道數值的值域均介於[0,1]之間。最後，處理器15再基於調整後的樣本影像訓練瑕疵檢測模型。
於某些實施方式中，處理器15亦對於該待測影像進行色彩空間及歸一化運作。具體而言，該待測影像對應至一第一色彩空間，處理器15將該待測影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值。接著，處理器15對該待測影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作。於某些實施方式中，其中該至少一第一通道數值所對應之一第一值域與該等第二通道數值所對應之一第二值域不同。
由上述說明可知，本揭露所提供之瑕疵檢測裝置1，透過由生成對抗網路及歸一化後的複數個損失函數訓練產生的瑕疵檢測模型，檢測待測影像以產生對應該待測影像之異常分數，且經由比對該異常分數及異常分數門檻值，以判斷該待測影像是否為瑕疵影像。此外，本揭露所提供之瑕疵檢測裝置1透過多個階段的調整機制（例如：調整損失函數、調整異常分數計算方式、轉換色彩空間並將其中某些通道歸一化等等），提升瑕疵檢測模型的訓練速度及穩定程度。因此，本揭露所提供之瑕疵檢測裝置1，可提升瑕疵檢測準確率，解決習知技術產生的瑕疵檢測由於準確率過低且偽陽率過高，因而無法實際使用至某些檢測目標的問題。
本揭露之第二實施方式為一瑕疵檢測方法，其流程圖係描繪於第2圖。瑕疵檢測方法200適用於一電子裝置。舉例而言，該電子裝置可包含一儲存器、一收發介面及一處理器，例如：第一實施方式所述之瑕疵檢測裝置1。電子裝置可用以儲存瑕疵檢測模型，例如：第一實施方式之瑕疵檢測模型100。瑕疵檢測方法200透過步驟S201至步驟S205判斷該待測影像是否為瑕疵影像。
於步驟S201，由電子裝置接收一待測影像。隨後，於步驟S203，由電子裝置透過一瑕疵檢測模型檢測該待測影像，以產生對應該待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生。
最後，於步驟S205，由電子裝置比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像。
於某些實施方式中，瑕疵檢測方法200更包含下列步驟：計算該待測影像與對應該待測影像之一重建影像的一畫素平方差值，以產生該異常分數；其中對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
於某些實施方式中，瑕疵檢測方法200更包含下列步驟：接收複數個樣本影像；將該等樣本影像輸入至該生成對抗網路所建構的一訓練模型，其中該等樣本影像包含複數個正常影像及複數個測試影像；基於歸一化後的一編碼器損失函數、一前後文損失函數及一對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
於某些實施方式中，其中歸一化後的該編碼器損失函數是基於一第一編碼特徵及一第二編碼特徵之一歸一化平方差值產生，該第一編碼特徵由該瑕疵檢測模型中的一第一編碼器產生，且該第二編碼特徵由該瑕疵檢測模型中的一第二編碼器產生。
於某些實施方式中，其中歸一化後的該前後文損失函數是基於該待測影像與對應該待測影像之一重建影像的一歸一化畫素差值絕對值產生，其中對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
於某些實施方式中，其中歸一化後的該對抗性損失函數是基於一歸一化特徵匹配平方差值產生。
於某些實施方式中，其中該待測影像對應至一第一色彩空間，且瑕疵檢測方法200更包含下列步驟：將該待測影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值；以及對該待測影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作。
於某些實施方式中，其中該至少一第一通道數值所對應之一第一值域與該等第二通道數值所對應之一第二值域不同。
於某些實施方式中，瑕疵檢測方法200更包含下列步驟：接收複數個樣本影像，其中該等樣本影像對應至一第一色彩空間；將該等樣本影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值；對該等樣本影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作；將該等樣本影像輸入至該生成對抗網路所建構的一訓練模型；基於歸一化後的一編碼器損失函數、一前後文損失函數及一對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
於某些實施方式中，其中該至少一第一通道數值所對應之一第一值域與該等第二通道數值所對應之一第二值域不同。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之瑕疵檢測裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本揭露所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本揭露專利說明書及申請專利範圍中，某些用語（包含：編碼器、編碼特徵、色彩空間、通道數值、值域）前被冠以「第一」或「第二」，該等「第一」及「第二」僅用來區分不同之用語。例如：第一色彩空間及第二色彩空間中之「第一」及「第二」僅用來表示不同態樣時所使用的色彩空間。
綜上所述，本揭露所提供之瑕疵檢測技術（至少包含裝置及方法），透過由生成對抗網路及歸一化後的複數個損失函數訓練產生的瑕疵檢測模型，檢測待測影像以產生對應該待測影像之異常分數，且經由比對該異常分數及異常分數門檻值，以判斷該待測影像是否為瑕疵影像。此外，本揭露所提供之瑕疵檢測技術透過多個階段的調整機制（例如：調整損失函數、調整異常分數計算方式、轉換色彩空間並將其中某些通道歸一化等等），提升瑕疵檢測模型的訓練速度及穩定程度。因此，本揭露所提供之瑕疵檢測技術，可提升瑕疵檢測準確率，解決習知技術產生的瑕疵檢測由於準確率過低且偽陽率過高，因而無法實際使用至某些檢測目標的問題。
上述實施方式僅用來例舉本揭露之部分實施態樣，以及闡釋本揭露之技術特徵，而非用來限制本揭露之保護範疇及範圍。任何本揭露所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本揭露所主張之範圍，而本揭露之權利保護範圍以申請專利範圍為準。
1：瑕疵檢測裝置
11：儲存器
13：收發介面
15：處理器
100：瑕疵檢測模型
S201、S203、S205：步驟
第1圖係描繪第一實施方式之瑕疵檢測裝置之架構示意圖；以及
第2圖係描繪第二實施方式之瑕疵檢測方法之部分流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
200：瑕疵檢測方法
S201、S203、S205：步驟
Claims (14)
- 一種瑕疵檢測裝置，包含：一儲存器，用以儲存一瑕疵檢測模型；一收發介面；以及一處理器，電性連接至該儲存器及該收發介面，用以執行以下運作：自該收發介面接收一待測影像；透過該瑕疵檢測模型檢測該待測影像，以產生對應該待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生；以及比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像；其中，該瑕疵檢測模型係由該處理器執行以下運作產生：接收複數個樣本影像；將該等樣本影像輸入至該生成對抗網路所建構的一訓練模型；基於歸一化後的一編碼器損失函數、一前後文損失函數及一對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
- 如請求項1所述之瑕疵檢測裝置，其中該處理器更執行以下運作：計算該待測影像與對應該待測影像之一重建影像的一 像素平方差值，以產生該異常分數；其中，對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
- 如請求項1所述之瑕疵檢測裝置，其中歸一化後的該編碼器損失函數是基於一第一編碼特徵及一第二編碼特徵之一歸一化平方差值產生，該第一編碼特徵由該瑕疵檢測模型中的一第一編碼器產生，且該第二編碼特徵由該瑕疵檢測模型中的一第二編碼器產生。
- 如請求項1所述之瑕疵檢測裝置，其中歸一化後的該前後文損失函數是基於該待測影像與對應該待測影像之一重建影像的一歸一化像素差值絕對值產生，其中對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
- 如請求項1所述之瑕疵檢測裝置，其中歸一化後的該對抗性損失函數是基於一歸一化特徵匹配平方差值產生。
- 如請求項1所述之瑕疵檢測裝置，其中該待測影像對應至一第一色彩空間，且該處理器更執行以下運作：將該待測影像轉換至一第二色彩空間，其中該第二色 彩空間包含至少一第一通道數值及複數個第二通道數值；以及對該待測影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作。
- 如請求項1所述之瑕疵檢測裝置，其中該處理器更執行以下運作：接收該等樣本影像，其中該等樣本影像對應至一第一色彩空間；將該等樣本影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值；對該等樣本影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作；將該等樣本影像輸入至該生成對抗網路所建構的該訓練模型；基於歸一化後的該編碼器損失函數、該前後文損失函數及該對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
- 一種瑕疵檢測方法，用於一電子裝置，該瑕疵檢測方法包含下列步驟：接收一待測影像；透過一瑕疵檢測模型檢測該待測影像，以產生對應該 待測影像之一異常分數，其中該瑕疵檢測模型係基於一生成對抗網路及歸一化後的複數個損失函數訓練產生；以及比對該異常分數及一異常分數門檻值，以判斷該待測影像是否為一瑕疵影像；其中，該瑕疵檢測模型係由以下步驟產生：接收複數個樣本影像；將該等樣本影像輸入至該生成對抗網路所建構的一訓練模型；基於歸一化後的一編碼器損失函數、一前後文損失函數及一對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
- 如請求項8所述之瑕疵檢測方法，更包含下列步驟：計算該待測影像與對應該待測影像之一重建影像的一像素平方差值，以產生該異常分數；其中對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
- 如請求項8所述之瑕疵檢測方法，其中歸一化後的該編碼器損失函數是基於一第一編碼特徵及一第二編碼特徵之一歸一化平方差值產生，該第一編碼特徵由該瑕疵檢測模型中的一第一編碼器產生，且該第二編碼特徵 由該瑕疵檢測模型中的一第二編碼器產生。
- 如請求項8所述之瑕疵檢測方法，其中歸一化後的該前後文損失函數是基於該待測影像與對應該待測影像之一重建影像的一歸一化像素差值絕對值產生，其中對應該待測影像之該重建影像是由該瑕疵檢測模型中之一第一編碼器及一解碼器所產生。
- 如請求項8所述之瑕疵檢測方法，其中歸一化後的該對抗性損失函數是基於一歸一化特徵匹配平方差值產生。
- 如請求項8所述之瑕疵檢測方法，其中該待測影像對應至一第一色彩空間，且該瑕疵檢測方法更包含下列步驟：將該待測影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值；以及對該待測影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作。
- 如請求項8所述之瑕疵檢測方法，更包含下列步驟：接收該等樣本影像，其中該等樣本影像對應至一第一 色彩空間；將該等樣本影像轉換至一第二色彩空間，其中該第二色彩空間包含至少一第一通道數值及複數個第二通道數值；對該等樣本影像於該第二色彩空間中的該至少一第一通道數值，執行一歸一化運作；將該等樣本影像輸入至該生成對抗網路所建構的該訓練模型；基於歸一化後的該編碼器損失函數、該前後文損失函數及該對抗性損失函數以訓練該訓練模型；以及將訓練完成之該訓練模型設定為該瑕疵檢測模型。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121112A TWI844030B (zh) | 2022-06-07 | 2022-06-07 | 瑕疵檢測裝置及方法 |
| CN202211556347.5A CN117197026A (zh) | 2022-06-07 | 2022-12-06 | 瑕疵检测装置及方法 |
| US18/330,381 US20230394651A1 (en) | 2022-06-07 | 2023-06-07 | Defect detecting apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121112A TWI844030B (zh) | 2022-06-07 | 2022-06-07 | 瑕疵檢測裝置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202349331A TW202349331A (zh) | 2023-12-16 |
| TWI844030B true TWI844030B (zh) | 2024-06-01 |
Family
ID=88976841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111121112A TWI844030B (zh) | 2022-06-07 | 2022-06-07 | 瑕疵檢測裝置及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230394651A1 (zh) |
| CN (1) | CN117197026A (zh) |
| TW (1) | TWI844030B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096710A (zh) * | 2024-03-15 | 2024-05-28 | 公牛集团股份有限公司 | 一种基于生成对抗模型的插座面板瑕疵在线检测方法及装置 |
| CN118229681B (zh) * | 2024-05-22 | 2024-07-30 | 安徽大学 | 结合PVT和U-Net深度学习的道路缺陷检测方法 |
| CN118244826B (zh) * | 2024-05-27 | 2024-08-06 | 昆明昊拜农业科技有限公司 | 一种用于晾制房的智能温度、湿度控制方法及系统 |
| CN118470026B (zh) * | 2024-07-15 | 2024-09-17 | 厦门理工学院 | 注射器的毛发缺陷检测方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201734955A (zh) * | 2016-01-11 | 2017-10-01 | 克萊譚克公司 | 為樣品產生模擬輸出 |
| CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
| CN113920096A (zh) * | 2021-10-14 | 2022-01-11 | 广东工业大学 | 一种集成电路金属封装缺陷检测方法 |
| US20220108434A1 (en) * | 2020-10-07 | 2022-04-07 | National Technology & Engineering Solutions Of Sandia, Llc | Deep learning for defect detection in high-reliability components |
-
2022
- 2022-06-07 TW TW111121112A patent/TWI844030B/zh active
- 2022-12-06 CN CN202211556347.5A patent/CN117197026A/zh active Pending
-
2023
- 2023-06-07 US US18/330,381 patent/US20230394651A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201734955A (zh) * | 2016-01-11 | 2017-10-01 | 克萊譚克公司 | 為樣品產生模擬輸出 |
| CN110796595A (zh) * | 2019-10-31 | 2020-02-14 | 北京大学深圳研究生院 | 一种色调映射方法、装置及电子设备 |
| US20220108434A1 (en) * | 2020-10-07 | 2022-04-07 | National Technology & Engineering Solutions Of Sandia, Llc | Deep learning for defect detection in high-reliability components |
| CN113920096A (zh) * | 2021-10-14 | 2022-01-11 | 广东工业大学 | 一种集成电路金属封装缺陷检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230394651A1 (en) | 2023-12-07 |
| TW202349331A (zh) | 2023-12-16 |
| CN117197026A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI844030B (zh) | 瑕疵檢測裝置及方法 | |
| CN109949305B (zh) | 产品表面缺陷检测方法、装置及计算机设备 | |
| US20140169672A1 (en) | Image processing device and method for determining a similarity between two images | |
| TWI729861B (zh) | 處理異常檢測的裝置及方法 | |
| US20230214981A1 (en) | Method for detecting appearance defects of a product and electronic device | |
| CN111985495A (zh) | 模型部署方法、装置、系统及存储介质 | |
| CN110533117B (zh) | 图像比对方法、装置、设备和存储介质 | |
| US20230066499A1 (en) | Method for establishing defect detection model and electronic apparatus | |
| WO2017126046A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| CN116295752B (zh) | 用于smt上料设备的测试力度控制方法及系统 | |
| CN115471501A (zh) | 利用机器视觉在线识别发电机气隙分布状态的方法及系统 | |
| JP2020181532A (ja) | 画像判定装置及び画像判定方法 | |
| WO2023226706A9 (zh) | 缺陷检测方法及装置 | |
| CN115908311A (zh) | 基于机器视觉的镜片成型检测设备及其方法 | |
| CN113554624B (zh) | 异常检测方法、装置及计算机存储介质 | |
| AU2021106346A4 (en) | Unsupervised coal flow anomaly detection method based on a generative adversarial learning | |
| CN117146739B (zh) | 用于光学瞄准镜的测角检定方法及系统 | |
| CN112967251A (zh) | 图片检测方法、图片检测模型的训练方法及装置 | |
| JP2022029262A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 | |
| US11468269B2 (en) | Arithmetic device, arithmetic method, and discrimination system | |
| CN115131340B (zh) | 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质 | |
| CN116155667A (zh) | 一种抗干扰的信号传输处理系统 | |
| CN115953403A (zh) | 缺陷检测方法及装置 | |
| KR20050089498A (ko) | 동영상의 비디오 샷 변화 검출 방법 및 장치 | |
| KR20220017648A (ko) | 콘크리트 균열 학습 장치 및 방법 |