TWI771432B - 特異部檢測系統及特異部檢測方法 - Google Patents
特異部檢測系統及特異部檢測方法 Download PDFInfo
- Publication number
- TWI771432B TWI771432B TW107120524A TW107120524A TWI771432B TW I771432 B TWI771432 B TW I771432B TW 107120524 A TW107120524 A TW 107120524A TW 107120524 A TW107120524 A TW 107120524A TW I771432 B TWI771432 B TW I771432B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- specific
- peculiar
- special
- brightness
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000010801 machine learning Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 50
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 239000012528 membrane Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000000926 separation method Methods 0.000 description 23
- 239000010410 layer Substances 0.000 description 19
- 239000010408 film Substances 0.000 description 12
- 239000007788 liquid Substances 0.000 description 9
- 239000000779 smoke Substances 0.000 description 9
- 238000007689 inspection Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000012788 optical film Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000005001 laminate film Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000593806 Phyllis Species 0.000 description 1
- 239000012790 adhesive layer Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Mobile Radio Communication Systems (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
特異部檢測系統1中，係藉由特異部分擷取部3從拍攝部2所拍攝的被檢測對象物11之拍攝影像12擷取帶有任意特徵的特異部分13，並藉由特異部分影像切取部4以特異部分13與特異部分影像17之中心C重疊的方式從拍攝影像12切取任意大小的特異部分影像17，再藉由辨識部5利用以特異部分影像17為輸入的機械學習辨識特異部分13的種類別。
Description
本發明係關於特異部檢測系統及特異部檢測方法。
根據被檢測對象物的拍攝影像檢測發生在被檢測對象物的某些異常狀態、或者帶有與其他不同特徵之部位的缺陷檢查系統、異常檢查系統、或者特異部檢測系統中，用以檢測例如偏光薄膜及相位差薄膜等光學薄膜、用於電池隔膜(seperator)的積層薄膜、用於氣體分離膜之塗層薄膜等的異常特徵的特異部檢測系統已為眾所週知。這種特異部檢測系統係將薄膜朝移送方向進行移送，且按每個離散時間拍攝薄膜的二維影像，根據拍攝所得的二維影像進行特異部分檢測。例如，專利文獻1的系統即是將二維影像分割成朝移送方向並列的複數條線，且將按每個離散時間拍攝所得的二維影像各自在相同位置的線條生成依時序排列的線分割影像。線分割影像會被處理成強調亮度變化的特徵強調處理影像。藉由特徵強調處理影像，使薄膜之異常特徵的有無或位置容易被確定。
專利文獻1：日本專利第4726983號說明書
不過，為了提升帶有包括缺陷等的和其他大部分區域相異特徵的部位(以下稱為「特異部分」)之檢測精度，可考慮在特異部檢測系統中導入利用機械學習進行辨識的技術。但，機械學習會有人類難以看出其辨識根據的缺點。而且，由於利用機械學習的辨識需要龐大的運算量，故為了達到所要求的精度，還會有特異部分的檢測速度容易降低的缺點。
因此，本發明之目的係在提供一種更容易理解利用機械學習之辨識根據，可更高速進行利用機械學習之辨識的特異部檢測系統及特異部檢測方法。
本發明之一個態樣係關於一種特異部檢測系統，係具備：拍攝部，係拍攝被檢測對象物；特異部分擷取部，係從拍攝部所拍攝的被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分；特異部分影像切取部，係以使由特異部分擷取部所擷取的特異部分與特異部分影像之中心重疊的方式，從拍攝影像切取任意大小的特異部分影像；及辨識部，係利用以特異部分影像切取部所切取的特異部分影像作為輸入的機械學習來辨識特異部分的種類 別。
若依據該構成，係藉由特異部分擷取部從拍攝部所拍攝的被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分，並藉由特異部分影像切取部以使由特異部分擷取部所擷取的特異部分與特異部分影像之中心重疊的方式從拍攝影像切取任意大小的特異部分影像，再藉由辨識部利用以特異部分影像切取部所切取的特異部分影像作為輸入的機械學習來辨識特異部分的種類別，但亦透過以前段之特異部分擷取部從拍攝部所拍攝的被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分，故可根據人類的判斷進行初期分類，且利用在後段之辨識部的機械學習進行辨識的根據更容易理解。再者，藉由前段之特異部分影像切取部以特異部分與特異部分影像之中心重疊的方式從拍攝影像切取，故特異部分影像的大小會變小，使利用在後段之辨識部的機械學習的辨識能夠更高速執行。而且，藉由以特異部分和特異部分影像之中心重疊的方式從拍攝影像切取，可使特異部分影像內的該特異部分的位置偏離減少，且利用在後段之辨識部的機械學習的辨識精度得以提升。
在此情況中，特異部分擷取部也可從拍攝影像擷取帶有選自由亮度、顏色、大小及形狀所構成之組群的至少一個特徵的特異部分。
若依據此構成，由於可藉由特異部分擷取部從拍攝影像擷取帶有選自由亮度、顏色、大小及形狀所 構成之組群的至少一個特徵的特異部分，故可更容易理解利用在後段之辨識部的機械學習進行辨識的根據。
此外，辨識部也可藉由卷積神經網路來辨識特異部分的種類別。
依據此構成，由於辨識部係藉由卷積神經網路辨識特異部分的種類別，故可以更高精度辨識特異部分的種類別。
另一方面，本發明之另一個態樣係關於一種特異部檢測方法，係具備：拍攝步驟，係拍攝被檢測對象物；特異部分擷取步驟，係從拍攝步驟所拍攝的被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分；特異部分影像切取步驟，係以使由特異部分擷取步驟所擷取的特異部分與特異部分影像之中心重疊的方式，從拍攝影像切取任意大小的特異部分影像；及辨識步驟，係藉以特異部分影像切取步驟所切取的特異部分影像作為輸入的機械學習來辨識特異部分的種類別。
在此情況中，特異部分擷取步驟也可從拍攝影像擷取帶有選自由亮度、顏色、大小及形狀所構成之組群的至少一個特徵的特異部分。
此外，辨識步驟也可藉由卷積神經網路辨識特異部分的種類別。
若依據本發明之一面向及另一面向的特異部檢測系統及特異部檢測方法，可更容易理解利用機械學 習的辨識根據，且利用機械學習的辨識得以更高速進行。
1‧‧‧特異部檢測系統
2‧‧‧拍攝部
3‧‧‧特異部分擷取部
4‧‧‧特異部分影像切取部
5‧‧‧辨識部
11‧‧‧被檢測對象物
12‧‧‧拍攝影像
13、14‧‧‧特異部分
15、16‧‧‧切取框
17、18‧‧‧特異部分影像
20‧‧‧被檢測對象物
21a、21b‧‧‧拍攝影像
22‧‧‧圖框間差分擷取影像
23‧‧‧曝光直方圖
24‧‧‧特異部分位置擷取影像
25‧‧‧特異部分位置
26‧‧‧界面推定位置
27‧‧‧切取框
28‧‧‧特異部分
29‧‧‧液體分離界面
30‧‧‧被檢測對象物
31‧‧‧煙囪
32‧‧‧冒煙
33‧‧‧拍攝影像
34‧‧‧圖框間差分擷取影像
35‧‧‧切取框
100‧‧‧卷積神經網路
110‧‧‧輸入層
120‧‧‧隱藏層
121、123‧‧‧卷積層
122‧‧‧池化層
124‧‧‧總結合層
130‧‧‧輸出層
C‧‧‧中心
D‧‧‧反方向
N‧‧‧加權係數
第1圖顯示第1實施形態之特異部檢測系統的方塊圖。
第2圖顯示第1實施形態之特異部檢測方法的流程圖。
第3圖顯示拍攝影像例的圖示。
第4圖(A)及(B)顯示取出的特異部分影像圖。
第5圖顯示卷積神經網路。
第6圖(A)、(B)、(C)、(D)、(E)、(F)及(G)顯示透過第2實施形態之特異部檢測系統辨識油水分離槽中之液體分離界面的圖示。
第7圖(A)、(B)及(C)顯示透過第3實施形態之特異部檢測系統辨識煙囪冒煙的圖示。
以下，參照圖式詳細說明有關本發明之特異部檢測系統及特異部檢測方法的實施形態。
如第1圖所示，第1實施形態的特異部檢測系統1具備：拍攝部2、特異部分擷取部3、特異部分影像切取部4及辨識部5。本實施形態的特異部檢測系統1係對偏光薄膜及相位差薄膜等光學薄膜、用於電池隔膜的積層薄膜等薄膜之異常進行檢測。拍攝部2則以單眼照相機或立體照相機等照相機拍攝被檢測對象物。拍攝部2可 對被檢測對象物作臨時性拍攝或按既定的圖框時間(frame time)連續拍攝。
特異部分擷取部3係從以拍攝部2所拍攝的被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分。如上所述，所稱特異部分係指被檢測對象物中帶有包括缺陷等的和其他大部分區域不同之特徵的部位。如後所述，特異部分擷取部3係從拍攝影像擷取帶有選自例如由亮度、顏色、大小及形狀所構成之組群的至少一個特徵的特異部分。前述亮度可包含明度、曝光直方圖、亮度梯度、清晰度等；顏色可包含波長或光譜、色度、色差等；大小可包含寬度、高度、尺寸、面積、體積等；形狀可包含菲烈直徑(Feret's diameter)、高寬比(aspect ratio)、邊緣的形狀或方向、彎矩(moment)、真圓度、複雜度等。除了亮度、顏色、大小及形狀之外，特異部分擷取部3也可擷取帶有以人為方式預先決定之任意特徵的特異部分。意即，在尚未進行機械學習的未學習階段中，特異部分擷取部3係藉以人為方式決定之規則知識庫(rule base)的方法擷取特異部分。
特異部分影像切取部4係以特異部分擷取部3所擷取的特異部分與特異部分影像之中心重疊的方式，從拍攝影像切取任意大小的特異部分影像。所稱特異部分與特異部分影像之中心重疊，係除了例如特異部分之中心與特異部分影像之中心一致的情況外，也包含特異部分的任一部位與特異部分影像之中心重疊的情況。再者， 上述的任意大小係包含特異部分，若為可高速辨識的大小即可，且除了包含特異部分整體的大小外，也包括包含局部特異部分的大小。特異部分影像的形狀並不限定於正方形或長方形，也可為圓形、多角形等任意形狀。辨識部5係利用以特異部分影像切取部4所切取的特異部分影像作為輸入的機械學習來辨識特異部分之種類別。如後所述，辨識部5係以卷積神經網路(convolutional neural network)辨識特異部分之種類別。另外，若為可利用機械學習辨識特異部分之種類別，也可使用卷積神經網路之外的神經網路或其他手法。
以下，說明有關本實施形態的特異部檢測系統之特異部檢測方法。如第2圖所示，先藉由特異部檢測系統1的拍攝部2進行拍攝被檢測對象物的拍攝步驟(S1)。拍攝步驟中，例如第3圖所示，係取得光學薄膜、積層薄膜等作為被檢測對象物11之拍攝影像12。
如第2圖所示，進行特異部分擷取步驟(S2)，其係藉由特異部檢測系統1的特異部分擷取部3從拍攝步驟所拍攝的被檢測對象物11之拍攝影像12擷取帶有任意特徵的特異部分。第3圖的例子中，係在薄膜質的被檢測對象物11的拍攝影像12擷取顯現小黑點的特異部分13、及顯現大黑點的特異部分14。特異部檢測系統1的特異部分擷取部3會在特異部分擷取步驟中，從拍攝影像12擷取帶有亮度、顏色、大小及形狀等任一特徵的特異部分13、14。例如，特異部分擷取部可在拍攝影像12中 將亮度及大小超過既定臨界值之像素的集合擷取作為特異部分13、14。
如第2圖所示，藉由特異部檢測系統1的特異部分影像切取部4進行特異部分影像切取步驟(S3)，該步驟係以特異部分擷取步驟所擷取的特異部分13、14與特異部分影像之中心重疊的方式，從拍攝影像12切取任意大小的特異部分影像。第3圖、第4圖(A)及第4圖(B)的例子中，係利用分別在水平方向及垂直方向具任意大小(像素數)的正方形切取框15、16分別切取特異部分13、14各自的特異部分影像17、18。另外，第4圖(A)及第4圖(B)的例子中，雖係使特異部分13、14之中心與特異部分影像17、18之中心C一致，但若為如上所述地使特異部分13、14的任一部位與特異部分影像17、18之中心C重疊即可。
如第2圖所示，再利用以特異部分影像切取步驟所切取的特異部分影像17、18作為輸入的機械學習，藉由特異部檢測系統1之辨識部5執行辨識特異部分13、14之種類別的辨識步驟(S4)。在辨識步驟中，係藉由特異部檢測系統1的辨識部5，利用卷積神經網路來辨識特異部分13、14的種類別。
如第5圖所示，卷積神經網路100具備輸入層110、隱藏層(hidden layer)120及輸出層130。輸入層110中係輸入藉由特異部檢測系統1之辨識部5在特異部分影像切取步驟所切取的特異部分影像17、18。隱藏層120 具有：卷積層(convolutional layer)121、123，藉加權濾波器執行影像處理；池化層(pooling layer)122，將從卷積層121、123輸出的二維排列作縱橫縮小以保留有效值的處理；及總結合層(fully connected layer)124，將各層的加權係數N加以更新。
輸出層130中，係將利用機械學習辨識特異部分13、14之種類別的結果予以輸出。卷積神經網路100中，係透過將輸出結果與正解值的誤差朝反方向D進行反向傳遞(backpropagation)而學習各層的權重。在第3圖、第4圖(A)及第4圖(B)的例子中，因特異部分13之種類別為「氣泡」，而被特異部檢測系統1之辨識部5執行的辨識步驟辨識為真正不良品。另一方面，因特異部分14之種類別為「墨黑(ink)」，而被辨識為真正良品。
本實施形態中，特異部檢測系統1係藉由特異部分擷取部3從拍攝部2所拍攝的被檢測對象物11之拍攝影像12擷取帶有任意特徵的特異部分13、14，再以特異部分擷取部3擷取的特異部分13、14與特異部分影像17、18之中心C重疊的方式藉由特異部分影像切取部4從拍攝影像12切取任意大小的特異部分影像17、18，又藉由辨識部5利用以特異部分影像切取部4切取的特異部分影像17、18作為輸入的機械學習來辨識特異部分13、14之種類別，但因係藉前段之特異部分擷取部3從拍攝部2所拍攝的被檢測對象物11之拍攝影像12擷取帶有任意特徵特異部分13、14，故可根據人類的理解進行初期分 類，使在後段之辨識部5利用機械學習進行辨識的根據更容易理解。再者，透過以特異部分13、14與特異部分影像17、18的中心重疊的方式藉前段之特異部分影像切取部4從拍攝影像12切取，特異部分影像17、18的大小會變小，使在後段之辨識部5利用機械學習的辨識能夠更高速地進行。更且，透過以特異部分13、14與特異部分影像17、18之中心重疊的方式從拍攝影像12切取，特異部分影像17、18中的特異部分13、14之位置偏移會減少，使在後段之辨識部5利用機械學習的辨識精度得以提升。
而且，若依據本實施形態，因係藉由特異部分擷取部3從拍攝影像12擷取帶有選自由亮度、顏色、大小及形狀所構成之組群的至少一個特徵的特異部分13、14，故在後段之辨識部5利用機械學習辨識之根據能夠更容易理解。
此外，若依據本實施形態，因辨識部5係藉由卷積神經網路辨識特異部分13、14之種類別，故可以更高精度辨識特異部分13、14之種類別。
以下說明有關本發明的第2實施形態。本實施形態中，特異部檢測系統1係對油水分離槽的液體分離界面進行檢測，將液體分離界面之異常認作缺陷。如第6圖(A)所示，藉拍攝部2在複數個圖框間拍攝作為被檢測對象物20之油水分離槽的1個圖框前的拍攝影像21a、及拍攝影像21a之1個圖框後的拍攝影像21b。如第6圖(B)所示，係藉由特異部分擷取部3擷取圖框間差分擷取影像 22，其中該差分擷取影像22擷取了複數個圖框間的拍攝影像21a、21b之差分。
如第6圖(C)及第6圖(D)所示，係藉由特異部分擷取部3，依照圖框間差分擷取影像22的曝光直方圖23，將例如相對於標準偏差σ具有臨界值±kσ以上值之亮度值的像素截取在特異部分位置擷取影像24作為特異部分位置25(k為任意係數)。如第6圖(E)所示，藉由特異部分擷取部3根據特異部分位置擷取影像24推定界面推定位置26。如第6圖(F)所示，藉由特異部分影像切取部4利用切取框27切取拍攝影像21b中之特異部分28的特異部分影像。再如第6圖(G)所示，和上述第1實施形態同樣地，藉由辨識部5利用以特異部分影像切取部4切取的特異部分影像作為輸入的機械學習來辨識液體分離界面29作為特異部分28之種類別。依此方式，本實施形態中，即可將亮度作為特徵來檢測油水分離槽的液體分離界面，並將液體分離界面之異常狀態認作特異部分。
以下說明有關本發明的第3實施形態。本實施形態中，特異部檢測系統1係檢測煙囪的冒煙，且將冒煙之異常認作特異部分。如第7圖(A)所示，藉拍攝部2在複數個圖框間拍攝煙囪31及作為被檢測對象物30之冒煙32的拍攝影像33。如第7圖(B)所示，藉由特異部分擷取部3擷取圖框間差分擷取影像34，其中該差分擷取影像34擷取了複數個圖框間之拍攝影像33的差分。如第7圖(C)所示，藉由特異部分擷取部3利用MT(Mahalanobis Taguchi，馬哈拉諾比斯-田口)法將其形狀好像煙的部位擷取作為特異部分，再藉由特異部分影像切取部4利用切取框35切取拍攝影像33中作為特異部分之冒煙32的特異部分影像。其後的處理可和上述第1實施形態同樣地進行。依此方式，本實施形態中，係將形狀作為特徵來檢測煙囪的冒煙，且可將冒煙的異常狀態認作特異部分。
上文中，雖就本發明的實施形態作了說明，但本發明可以各種形態來實施，而不限定於上述的實施形態。例如，本實施形態的特異部檢測系統1及特異部檢測方法可在生產線中應用於充填在容器中之液體的充填量檢查。藉由本實施形態的特異部檢測系統1及特異部檢測方法，可將影像內的各像素亮度值向特徵空間投射的向量(vector)作為特徵來檢測液體是否到達容器內的某個位置。
而且，本實施形態的特異部檢測系統1及特異部檢測方法可在生產線中應用於玻璃製品等之龜裂或傷痕等的外觀檢查。將照明光線照射於玻璃製品並進行拍攝時，在拍攝影像內的局部具有異常的情況中，可利用亮度高於其他部位的現象擷取特異部分。亦即，本實施形態中，可將因背景差分所得的亮度值之差作為特徵，將玻璃製品的異常認作特異部分。
又，本實施形態的特異部檢測系統1及特異部檢測方法也可在工廠中應用於異常人士進入及異常行動的管理。甚至，本實施形態的特異部檢測系統1及特異 部檢測方法還可將拍攝部2搭載於載人飛機、無人飛機及遙控飛行器(drone)等，藉無線通訊連接拍攝部2與特異部分擷取部3，透過使搭載有拍攝部2的遙控飛行器等在農場上空飛行並進行拍攝，即可將影像內亮度值作為特徵而檢測出廣大區域中之農作物等的缺陷。同時，本實施形態的特異部檢測系統1及特異部檢測方法也可將拍攝部2搭載於有人飛機、無人飛機及遙控飛行器等，利用無線通訊連接拍攝部2與特異部分擷取部3，透過使搭載有拍攝部2的遙控飛行器等在工廠內飛行，並拍攝影工廠內設備的影像，即可將影像內之亮度值作為特徵來檢測工廠設備的異常狀態，且可遠距離施行工廠設備的清點檢查等。
此外，本實施形態的特異部檢測系統及特異部檢測方法，還可在氣體分離膜的製造步驟中，應用於膜表面之變形或氣泡之有無等缺陷的檢查。將照明光線投射於分離膜並進行拍攝時，在拍攝影像內的局部具有異常的情況中，可利用亮度低於或高於其他部位的現象擷取特異部分。亦即，本實施形態中，可以亮度值之差作為特徵，將分離膜的異常認作特異部分。更且，還可將分離膜中檢測出的特異部分除去而製得無異常部分的分離膜。透過將該無異常部分的分離膜切成期望的大小，且在所切取的分離膜設置黏著層，就可製得無異常部分的分離膜片。利用將該無異常部分的分離膜片與期望的層施以積層即可製得分離膜元件。依此方式，藉由採用本實施形態的特異部檢測系統或特異部檢測方法，可實現製造無缺陷的高品質分 離膜元件。
1‧‧‧特異部檢測系統
2‧‧‧拍攝部
3‧‧‧特異部分擷取部
4‧‧‧特異部分影像切取部
5‧‧‧辨識部
Claims (10)
- 一種特異部檢測系統，係具備：拍攝部，係拍攝被檢測對象物；特異部分擷取部，係從前述拍攝部所拍攝的前述被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分；特異部分影像切取部，係以使由前述特異部分擷取部所擷取的前述特異部分之中心與特異部分影像之中心一致的方式，從前述拍攝影像切取任意大小的前述特異部分影像；及辨識部，係利用以前述特異部分影像切取部所切取的前述特異部分影像作為輸入之機械學習來辨識前述特異部分的種類別。
- 如申請專利範圍第1項所述之特異部檢測系統，其中，前述特異部分擷取部係從前述拍攝影像擷取帶有選自由亮度、顏色、大小及形狀所構成之組群的至少一個前述特徵的前述特異部分。
- 如申請專利範圍第1項所述之特異部檢測系統，其中，前述特異部分係膜的缺陷，前述特異部分擷取部係於對膜投射照明並進行拍攝而得的拍攝影像內，依據具有異常之部位的亮度與無異常之部位的亮度之差，來檢測缺陷。
- 如申請專利範圍第1項所述之特異部檢測系統，其中，前述特異部分係農作物的缺陷，前述特異部分擷取部 係於拍攝影像內，依據具有異常之部位的亮度與無異常之部位的亮度之差，來檢測缺陷。
- 如申請專利範圍第1至4項中任一項所述之特異部檢測系統，其中，前述辨識部係藉由卷積神經網路來辨識前述特異部分的種類別。
- 一種特異部檢測方法，係具備：拍攝步驟，係拍攝被檢測對象物；特異部分擷取步驟，係從前述拍攝步驟所拍攝的前述被檢測對象物之拍攝影像擷取帶有任意特徵的特異部分；特異部分影像切取步驟，係以使由前述特異部分擷取步驟所擷取的前述特異部分的中心與特異部分影像之中心一致的方式，從前述拍攝影像切取任意大小的前述特異部分影像；及辨識步驟，係利用以前述特異部分影像切取步驟所切取的前述特異部分影像作為輸入的機械學習來辨識前述特異部分的種類別。
- 如申請專利範圍第6項所述之特異部檢測方法，其中，前述特異部分擷取步驟係從前述拍攝影像擷取帶有選自由亮度、顏色、大小及形狀所構成之組群的至少一個前述特徵的前述特異部分。
- 如申請專利範圍第6項所述之特異部檢測方法，其中，前述特異部分係膜的缺陷，在前述特異部分擷取步驟中，係於對膜投射照明並進行拍攝而得的拍攝影像內， 依據具有異常之部位的亮度與無異常之部位的亮度之差，來檢測缺陷。
- 如申請專利範圍第6項所述之特異部檢測方法，其中，前述特異部分係農作物的缺陷，在前述特異部分擷取步驟中，係於拍攝影像內，依據具有異常之部位的亮度與無異常之部位的亮度之差，來檢測缺陷。
- 如申請專利範圍第6至9項中任一項所述之特異部檢測方法，其中，前述辨識步驟係藉由卷積神經網路辨識前述特異部分的種類別。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-127307 | 2017-06-29 | ||
| JP2017127307 | 2017-06-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201917694A TW201917694A (zh) | 2019-05-01 |
| TWI771432B true TWI771432B (zh) | 2022-07-21 |
Family
ID=64740530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107120524A TWI771432B (zh) | 2017-06-29 | 2018-06-14 | 特異部檢測系統及特異部檢測方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20200134807A1 (zh) |
| EP (1) | EP3648054A4 (zh) |
| JP (1) | JP6568664B2 (zh) |
| KR (1) | KR20200017526A (zh) |
| CN (1) | CN110800021A (zh) |
| TW (1) | TWI771432B (zh) |
| WO (1) | WO2019003813A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020187657A (ja) * | 2019-05-16 | 2020-11-19 | 株式会社キーエンス | 画像検査装置 |
| WO2021193287A1 (ja) * | 2020-03-25 | 2021-09-30 | 旭化成株式会社 | 評価方法及び評価装置 |
| JP2022187661A (ja) * | 2021-06-08 | 2022-12-20 | 富士フイルムビジネスイノベーション株式会社 | 表面検査装置及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW498290B (en) * | 2000-04-13 | 2002-08-11 | Ecchandes Inc | Information collection system, mechanical eyeball, vision device, image sensor, and interlocking device |
| WO2010003043A2 (en) * | 2008-07-03 | 2010-01-07 | Nec Laboratories America, Inc. | Signet ring cell detector and related methods |
| CN105706102A (zh) * | 2013-11-07 | 2016-06-22 | 索尼互动娱乐公司 | 信息处理设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4726983Y1 (zh) | 1969-08-11 | 1972-08-18 | ||
| JPH05280960A (ja) * | 1992-03-30 | 1993-10-29 | Fuji Photo Film Co Ltd | 欠陥検査装置 |
| EP0563897A1 (en) * | 1992-03-30 | 1993-10-06 | Fuji Photo Film Co., Ltd. | Defect inspection system |
| JP3002325B2 (ja) * | 1992-04-27 | 2000-01-24 | 株式会社東芝 | 表面検査装置 |
| JP3414844B2 (ja) * | 1994-06-08 | 2003-06-09 | 株式会社ヒューテック | 欠陥パターン種別判定方法およびその装置 |
| TW514513B (en) * | 1996-02-06 | 2002-12-21 | Deus Technologies Inc | Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network |
| JP2005245830A (ja) * | 2004-03-05 | 2005-09-15 | Jgs:Kk | 腫瘍検出方法、腫瘍検出装置及びプログラム |
| JP2006239270A (ja) * | 2005-03-07 | 2006-09-14 | Fuji Photo Film Co Ltd | 異常陰影検出装置、異常陰影検出方法およびそのプログラム |
| EP1867979B1 (en) * | 2006-06-13 | 2009-03-11 | ABB Oy | Method and apparatus for recognizing repeating patterns |
| JP4726983B2 (ja) | 2009-10-30 | 2011-07-20 | 住友化学株式会社 | 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法 |
| CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
| CN105740788B (zh) * | 2016-01-25 | 2018-11-16 | 大连楼兰科技股份有限公司 | 一种基于帧间直方图扰动检测的车内异常防盗方法 |
| CN106841216A (zh) * | 2017-02-28 | 2017-06-13 | 浙江工业大学 | 基于全景图像cnn的隧道病害自动识别装置 |
-
2018
- 2018-06-04 JP JP2018568457A patent/JP6568664B2/ja active Active
- 2018-06-04 WO PCT/JP2018/021407 patent/WO2019003813A1/ja unknown
- 2018-06-04 KR KR1020207001945A patent/KR20200017526A/ko not_active Application Discontinuation
- 2018-06-04 US US16/621,969 patent/US20200134807A1/en not_active Abandoned
- 2018-06-04 CN CN201880042835.XA patent/CN110800021A/zh active Pending
- 2018-06-04 EP EP18823286.2A patent/EP3648054A4/en not_active Withdrawn
- 2018-06-14 TW TW107120524A patent/TWI771432B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW498290B (en) * | 2000-04-13 | 2002-08-11 | Ecchandes Inc | Information collection system, mechanical eyeball, vision device, image sensor, and interlocking device |
| WO2010003043A2 (en) * | 2008-07-03 | 2010-01-07 | Nec Laboratories America, Inc. | Signet ring cell detector and related methods |
| CN105706102A (zh) * | 2013-11-07 | 2016-06-22 | 索尼互动娱乐公司 | 信息处理设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2019003813A1 (ja) | 2019-06-27 |
| EP3648054A4 (en) | 2021-03-10 |
| EP3648054A1 (en) | 2020-05-06 |
| CN110800021A (zh) | 2020-02-14 |
| US20200134807A1 (en) | 2020-04-30 |
| KR20200017526A (ko) | 2020-02-18 |
| TW201917694A (zh) | 2019-05-01 |
| WO2019003813A1 (ja) | 2019-01-03 |
| JP6568664B2 (ja) | 2019-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI771432B (zh) | 特異部檢測系統及特異部檢測方法 | |
| CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| CN106056594A (zh) | 一种基于双光谱的可见光图像提取系统与方法 | |
| CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
| CN112977974A (zh) | 烟包外观质量检测装置及其方法、烟包包装机 | |
| CN115379123B (zh) | 一种用无人机巡检的变压器故障检测方法 | |
| WO2020249054A1 (zh) | 一种长基线双目人脸活体检测方法及系统 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 | |
| CN109297978B (zh) | 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统 | |
| CN111539311A (zh) | 基于ir和rgb双摄的活体判别方法、装置及系统 | |
| CN111274988B (zh) | 一种基于多光谱的车辆重识别方法及装置 | |
| CN114724246A (zh) | 危险行为识别方法及装置 | |
| CN103870847A (zh) | 一种低照度环境下对地监控的运动目标检测方法 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
| CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 | |
| CN112686214A (zh) | 一种基于Retinaface算法的人脸口罩检测系统和方法 | |
| Naik et al. | Outdoor image enhancement: increasing visibility under extreme haze and lighting condition | |
| CN107885231A (zh) | 一种基于可见光图像识别的无人机捕获方法及系统 | |
| US20200134808A1 (en) | Singular part detection system and singular part detection method | |
| TWI766237B (zh) | 海上物件測距系統 | |
| CN114359776A (zh) | 一种融合光与热成像的火焰检测方法、装置 | |
| WO2017091060A1 (en) | A system and method for detecting objects from image | |
| TW202309829A (zh) | 特異部檢測系統及特異部檢測方法 |