TWI841834B - 檢測面板線段瑕疵的設備及方法 - Google Patents
檢測面板線段瑕疵的設備及方法 Download PDFInfo
- Publication number
- TWI841834B TWI841834B TW110113744A TW110113744A TWI841834B TW I841834 B TWI841834 B TW I841834B TW 110113744 A TW110113744 A TW 110113744A TW 110113744 A TW110113744 A TW 110113744A TW I841834 B TWI841834 B TW I841834B
- Authority
- TW
- Taiwan
- Prior art keywords
- line segment
- image
- panel
- tested
- sample
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000005286 illumination Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
一種檢測面板線段瑕疵的設備及方法。此設備包括影像擷取裝置、樣本儲存裝置以及處理裝置,其中,處理裝置從影像擷取裝置接收其拍攝置放有待測面板的區域所得的初始影像並從初始影像中獲取對應至待測面板的待測面板影像、從樣本儲存裝置取得樣本資料以將待測面板影像上對應於樣本資料指定的樣本線段位置處的影像設定為待測線段的影像,並藉由執行神經網路分類程式以檢查待測線段的影像以判斷待測線段是否存在線段瑕疵。
Description
本發明是有關於一種面板檢測技術,特別是有關於一種檢測面板線段瑕疵的設備及方法。
在大尺寸面板十分盛行的現代社會中,如何確保所面板品質無慮已經是在面板生產過程中非常重要的一環。在現有的技術中,許多的製造商利用人工檢視面板的方法來確認面板的製造品質。然而,利用人工檢視面板的方法不但耗時耗力,而且因為存在每個人主觀認定不同的因素,所以非常可能存在檢查標準不一的現象並最終造成面板品質起伏不定的不良結果。
有鑑於此,本發明的一個目的就是提供一種檢測面板線段瑕疵的設備及方法,其可進行自動定位面板線段位置的操作,並可進一步將所定位出的面板線段的影像送到神經網路分類程式以由事先訓練好的神經網路分類程式來判斷此面板線段中是否存在瑕疵,藉此減少因為人為檢查標準不一而造成的面板品質問題。
從一個角度來看,本發明的說明內容提供了一種檢測面板線段瑕疵的設備,其適於確認待測面板上是否存在線段瑕疵。此設備包括影像擷取裝置、樣本儲存裝置以及處理裝置。影像擷取裝置拍攝置放有前述待測面板的區域以獲取對應的初始影像。樣本儲存裝置儲存了包括樣本線段位置的樣本資料。處理裝置電性連接至前述的影像擷取裝置及樣本儲存裝置,其中,處理裝置從影像擷取裝置接收初始影像並從初始影像中獲取對應至待測面板的待測面板影像;另外,處理裝置還從樣本儲存裝置取得樣本資料以將待測面板影像上對應於樣本線段位置處的影像設定為待測線段的影像;而且,處理裝置還執行神經網路分類程式以檢查待測線段的影像而判斷待測線段是否存在線段瑕疵。
在一個實施例中,上述的處理裝置將待測面板影像中包含待測線段的影像區塊區分為多個影像次區塊,並將每一個影像次區塊作為神經網路分類程式的輸入資料以使神經網路分類程式判斷所輸入的影像次區塊包含的待測線段的部分是否存在線段瑕疵。
在一個實施例中,當上述的神經網路分類程式判斷所輸入的影像次區塊包含的待測線段的部分存在線段瑕疵時,處理裝置回報此線段瑕疵的類型以及包含此線段瑕疵的影像次區塊的位置。
在一個實施例中,上述檢測面板線段瑕疵的設備更包括照明裝置以及多個封閉隔板,此照明裝置與影像擷取裝置設置於待測面板的相對兩側且向待測面板投射光線,這些封閉隔板組合後形成包圍影像擷取裝置、待測面板及照明裝置的不透光區域。
在一個實施例中,處理裝置更從多張理想樣本面板影像的每一者中找出至少一個既存線段、根據這些既存線段的位置而將這些既存線段分為多個位置群組,並將每一個位置群組中的至少一個既存線段的位置平均後的結果儲存至樣本儲存裝置以作為樣本線段位置的一部份。
從另一個角度來看,本發明的說明內容還提供了一種檢測面板線段瑕疵的方法,其適於確認待測面板上是否存在線段瑕疵。此方法先拍攝待測面板以獲得初始影像,並從初始影像中擷取對應至待測面板的待測面板影像;接著,藉由先取得事先儲存的樣本資料,根據樣本資料中包括的樣本線段位置而將待測面板影像上對應於樣本線段位置處的影像設定為待測線段的影像;最終再利用神經網路分類程式檢查待測線段的影像以判斷此待測線段是否存在線段瑕疵。
在一個實施例中,上述利用神經網路分類程式檢查待測線段的影像以判斷此待測線段是否存在線段瑕疵的步驟,包括:將待測面板影像中包含待測線段的影像區塊區分為多個影像次區塊;以及將每一影像次區塊作為神經網路分類程式的輸入資料以使神經網路分類程式判斷所輸入的影像次區塊包含的待測線段的部分是否存在線段瑕疵。
在一個實施例中,當上述的神經網路程式判斷所輸入的影像次區塊包含的待測線段的部分存在線段瑕疵時,更進一步回報此線段瑕疵的類型以及包含此線段瑕疵的影像次區塊的位置。
在一個實施例中,在拍攝待測面板以獲得該初始影像之前還進行下列步驟:從多張理想樣本面板影像的每一者中找出至少一個既存線段;根據所找到的既存線段的位置而將這些既存線段分為多個位置群組,其中每一個位置群組包括至少一個既存線段;將每一個位置群組中的既存線段的位置平均而獲得對應的平均結果;以及將每一個平均結果儲存為樣本線段位置的一部份。
在一個實施例中,上述的從多張理想樣本面板影像的每一者中找出至少一個既存線段,包括:對每一張理想樣本面板影像執行下列步驟,其中每一張理想樣本面板影像包括多個像素,且每一張理想樣本面板影像所在的平面由第一軸向及第二軸向擴展而成:將理想樣本面板影像中的每一個像素的影像值轉換為第一值或第二值;在此理想樣本面板影像中,對於第一軸的每一個座標值計算同樣具有此第一軸座標值的像素的影像值為第一值的第一計算數量,在此第一計算數量超過第一預設值時設定在此第一軸座標值存在第一待整合線段,並使此第一待整合線段為上述的既存線段的一部份;以及,在此理想樣本面板影像中,對於第二軸的每一個座標值計算同樣具有此第二軸座標值的像素的影像值為第一值的第二計算數量,在此第二計算數量超過第二預設值時設定在此第二軸座標值存在第二待整合線段,並使此第二待整合線段為上述既存線段的一部份。
根據上述,本發明的說明內容所提供檢測面板線段瑕疵的設備及方法可以藉由面板的影像來自動定位面板上要進行檢測的面板線段的所在位置,並可進一步將所定位出的面板線段的影像送到神經網路分類程式以由事先訓練完成的神經網路分類程式來判斷此面板線段中是否存在瑕疵。藉此,本發明所提供的技術不但可以降低判斷瑕疵時所需耗費的人力,而且還可以減少因為人為檢查標準不一而造成的面板品質不均的問題。
請同時參照圖1與圖2,其中,圖1為根據本發明一實施例的檢測面板線段瑕疵的設備的外觀示意圖,圖2為圖1所示的檢測面板線段瑕疵的設備的電路方塊圖。在本實施例中,設備10包括了一個影像擷取裝置100,一個處理裝置110以及一個樣本儲存裝置120,處理裝置110分別電性連接至影像擷取裝置100以及樣本儲存裝置120以使處理裝置110能分別與影像擷取裝置100及樣本儲存裝置120進行資料傳遞的操作。
為了使本發明技術領域的一般技術人員能更清楚理解設備10的運作過程,以下將一併結合圖1、圖2與圖3來進行詳細說明,其中,圖3為根據本發明一實施例的檢測面板線段瑕疵的方法的流程圖。
如圖1所示,拍攝區域155是影像擷取裝置100拍攝時可以涵蓋的範圍,而待測面板130就被置放在拍攝區域155之中。在實際檢測面板線段瑕疵之前,可以使用預設的控制程式來控制處理裝置110或其他適合的控制裝置來操作影像擷取裝置100對拍攝區域155進行拍攝,藉此獲得整個拍攝區域155的影像(後稱為初始影像)(步驟S300)。應注意的是,雖然在本實施例中的拍攝區域155的尺寸大於待測面板130的尺寸,但實際上仍然可以使拍攝區域155的尺寸小於待測面板130的尺寸並藉由移動待測面板130或影像擷取裝置100的位置並進行多次拍攝而獲得待測面板130的全部影像。
由影像擷取裝置100拍攝所得的初始影像會被傳遞到處理裝置110以做進一步的處理。在從影像擷取裝置100取得初始影像之後,處理裝置110會接著從初始影像中擷取出對應到待測面板130的部分以獲得待測面板影像(步驟S302)。以圖1所示的實施例為例,由於拍攝區域155的尺寸大於待測面板130的尺寸,所以在初始影像中會存在著不是待測面板130的影像。在這樣的狀況下,處理裝置110可以藉由執行影像處理的相關程式(例如神經網路程式U-Net或其他程式)而將不是待測面板130的影像部分去除或將與待測面板130相關的影像部分擷取出來而最終產生待測面板影像。在另一個實施例中,若拍攝區域155的尺寸小於待測面板130的尺寸,處理裝置110也同樣可以藉由執行影像處理的相關程式而將多個初始影像結合在一起以產生後續處理時所需的待測面板影像。
除了上述的前置處理手續之外,處理裝置110還會從樣本儲存裝置120中取得事先儲存在其中的樣本資料125(步驟S304)。由此可知,樣本資料125應該在實際檢測線段瑕疵之前先建立起來。為了建立樣本資料125,處理裝置110必須先收集與所要檢測的線段的位置相關的資訊。請一併參照圖4A與圖5,其中,圖4A為根據本發明一實施例所使用的理想樣本面板影像的示意圖,圖5為根據本發明一實施例在建立樣本資料時的流程圖。藉由控制影像擷取裝置100拍攝一次理想樣本面板並進行前述的步驟S300與步驟S302就可以獲得一個與理想樣本面板相對應的理想樣本面板影像(步驟S500)。在本實施例中,如圖4A所示的理想樣本面板影像40包括多個像素,且其所在的平面是由X軸(後亦稱第一軸向)及Y軸(後亦稱第二軸向)擴展而成。而藉由影像處理的技術,處理裝置110可以從理想樣本面板影像40中找到沿著Y軸延伸的既存線段400、402、404與406以及沿著X軸延伸的既存線段410、412與414(步驟S502)。經由步驟S502所找出的既存線段400~414的位置資訊可以被直接用來進行後續處理,或者,如圖5所示,在對一張理想樣本面板影像進行影像處理並找到對應的既存線段的位置資訊之後,還可以進一步確認是否需要繼續取得其他更多的理想樣本面板影像(步驟S504)。假如還需要取得其他的理想樣本面板影像,處理裝置110會再次重複執行步驟S500~步驟S502以獲取另一組既存線段的位置資訊。相對的,假如不需要再取得其他的理想樣本面板影像,處理裝置110就會以現有的所有既存線段的位置資訊進入步驟S506而繼續進行後續的處理。
值得一提的是,雖然在步驟S502中可以藉由人工標示的方式來找出既存線段,但本發明建議一併將找出既存線段的過程進行自動化的改善。為了可以在不依靠人工的前提下找出既存線段,在一個實施例中,處理裝置110可以先將理想樣本面板影像中各像素的影像值二元化,也就是將原本拍攝時呈現灰階或彩色的理想樣本面板影像調整成只有黑、白兩種顏色的影像。接下來,處理裝置110開始計算在同一個X軸座標上出現的、代表既存線段的顏色(例如黑色)的像素的數量(後稱第一計算數量),以及計算在同一個Y軸座標上出現的、代表既存線段的顏色(例如黑色)的像素的數量(後稱第二計算數量)。例如,請參照圖4B,其中的橫軸代表的是X軸的座標值,而縱軸則代表了黑色像素的數量n,於是圖4B中由左到右的四條直線的高度分別代表了既存線段400的黑色像素的數量、既存線段402的黑色像素的數量、既存線段404的黑色像素的數量以及既存線段406的黑色像素的數量;另請參照圖4C,其中的橫軸代表的是Y軸的座標值,而縱軸則同樣代表黑色像素的數量n,於是圖4C中由左到右的三條直線的高度分別表了既存線段414的黑色像素的數量、既存線段412的黑色像素的數量以及既存線段410的黑色像素的數量。
在圖4A所示的實施例中,對於除了既存線段400~406所在的位置之外的每一個X軸座標而言,可能會計算到因既存線段410~414而存在的黑色像素,另外也有可能會計算到因為攝影失真或影像處理判斷失誤而憑空產生的黑色像素,因此,在獲得圖4B中對應到各X軸座標的第一計算數量之後還必須排除這些並非是沿著Y軸延伸的既存線段的部分。於是,可以在事先設定一個預設值(後稱第一預設值)並只將第一計算數量超過第一預設值的座標設定為存在既存線段的位置。類似的,對於除了既存線段410~414所在的位置之外的每一個Y軸座標而言,可能會計算到因既存線段400~406而存在的黑色像素,同樣也有可能會計算到因為攝影失真或影像處理判斷失誤而憑空產生的黑色像素,因此,在獲得圖4C中對應到各Y軸座標的第二計算數量之後還必須排除這些並非是沿著X軸延伸的既存線段的部分。於是,同樣可以在事先設定一個預設值(後稱第二預設值)並只將第二計算數量超過第二預設值的座標設定為存在既存線段的位置。
藉由上述的作法,本發明可以將尋找既存線段的過程予以自動化,減少需要耗費的人力。
請回頭參照圖5。在經過步驟S500~S504的操作之後,處理裝置110在步驟S506中先對從同一個理想樣本面板影像取得的既存線段進行分組。在進行分組時,處理裝置110會將不同的既存線段分類在不同的位置群(Position Group)中。例如,承前所述,從理想樣本面板影像40中可以獲得既存線段400~414,因此處理裝置110會將不同的既存線段400~414分類在不同的位置群中,例如,既存線段400被分類到第一位置群、既存線段402被分類到第二位置群、既存線段404被分類到第三位置群、既存線段406被分類到第四位置群、既存線段410被分類到第五位置群、既存線段412被分類到第六位置群、既存線段414被分類到第七位置群。各位置群包含的位置除了既存線段所在的位置之外,還可以包含與各既存線段距離在預設範圍內的位置。舉例來說,第一位置群可以是從理想樣本面板影像40的最左端一直向右延伸到既存線段400與既存線段402之間的中線處所涵蓋的區間;第二位置群可以包括從既存線段400與既存線段402之間的中線一直向右延伸到既存線段402與既存線段404之間的中線處所涵蓋的區間;第三位置群可以包括從既存線段402與既存線段404之間的中線一直向右延伸到既存線段404與既存線段406之間的中線處所涵蓋的區間;第四位置群可以包括從既存線段404與既存線段406之間的中線一直向右延伸到理想樣本面板影像40的最右端所涵蓋的區間。類似的,第五位置群可以包括從理想樣本面板影像40的最上端一直向下延伸到既存線段410與既存線段412之間的中線處所涵蓋的區間;第六位置群可以包括從既存線段410與既存線段412之間的中線一直向下延伸到既存線段412與既存線段414之間的中線處所涵蓋的區間;第七位置群可以包括從既存線段412與既存線段414之間的中線處一直向下延伸到理想樣本面板影像40的最下端所涵蓋的區間。
應注意的是,各位置群所涵蓋的區間大小可以有其他的定義方式,例如包括各既存線段的位置附近10個像素的區間等,本領域的技術人員可以視需求對此進行適當的調整。
接下來,當需要進行步驟S506的操作的理想樣本面板影像只有一個的時候,處理裝置110就可以將此時獲得的各位置群的相關資訊(各位置群中的既存線段的位置)帶入步驟S508並進行後續處理。相對的,當需要進行步驟S506的操作的理想樣本面板影像有許多個的時候,處理裝置110就必須對不同的理想樣本面板影像各進行一次上述的分類操作。如本領域的技術人員所知,由於所要處理的是對多個理想樣本面板個別進行拍攝所獲得的不同的理想樣本面板影像,所以可以期望的是在這些理想樣本面板影像中相對應的既存線段應該會落在近似的位置處。例如,在第一個理想樣本面板影像中找到的既存線段400與在第二個理想樣本面板影像中找到的既存線段400理論上會出現在同一個位置;即使考慮到影像處理過程中可能產生的誤差現象,在第一個理想樣本面板影像中找到的既存線段400也應該不會與在第二個理想樣本面板影像中找到的既存線段400相距過遠。因此,在對每一個理想樣本面板影像進行前述的位置群分類之後,處理裝置110可以將從不同的理想樣本面板影像獲得的彼此相近的位置群分類在相同的位置群組(Position Group Set)中。
在不同的實施例中,處理裝置110可以採取任何適當的分類標準來將不同的位置群分類在相同的位置群組中,例如,將第一個理想樣本面板影像的第一位置群的涵蓋範圍與第二個理想樣本面板影像中同樣包含沿著Y軸延伸的既存線段的第一~第四位置群的涵蓋範圍相比較,並將第二個理想樣本面板影像中與第一個理想樣本面板影像的第一位置群涵蓋範圍重疊最多的位置群與第一個理想樣本面板影像的第一位置群分類在同一個位置群組中。類似的操作也同樣在步驟S506中被運用在各理想樣本面板影像的各位置群上以藉此將既存線段分為多個位置群組。
經過步驟S506的處理之後,每一個位置群組將會包含至少一個既存線段。接下來,處理裝置110會在步驟S508之中將每一個位置群組中的既存線段的位置平均之後獲得對應的平均結果(如果只有一個既存線段則其平均結果自然就是此既存線段的位置),並將所獲得的平均結果儲存到樣本資料125中以使各平均結果各自成為樣本線段位置或樣本資料125的一部份(步驟S510)。很明顯的,當平均結果只有一個(亦即只有一個位置群組)的時候,樣本線段位置(或樣本資料125)也就只有一筆內容;而當平均結果有N個的時候,樣本線段位置(或樣本資料125)也就會有N筆內容。
請再回到圖3,在取得經過圖5的操作流程而獲得的樣本資料125之後,處理裝置110會根據樣本資料125而將待測面板影像中對應到樣本線段位置的每一筆內容所指定的位置及其鄰近特定距離內的影像區塊設定成一個對應的待測線段的影像(步驟S306)。而在獲得各待測線段的影像之後,處理裝置110就可以將每一筆待測線段的影像輸入到神經網路分類程式115(例如,但不限於,神經網路程式MobileNetV2)以藉由神經網路分類程式115來判斷各待測線段的影像中是否存在特定的線段瑕疵(步驟S308)。
上述的神經網路分類程式115應該在進行線段瑕疵判斷之前就訓練完成。一旦神經網路分類程式115能完成針對某些類型的線段瑕疵(例如:線寬變化、空洞、斷線等)的判斷訓練,那麼在將待測線段的影像輸入到神經網路分類程式115之後,神經網路分類程式115就可以依照固定的標準來判斷待測線段是否存在這些特定類型的線段瑕疵。
應注意的是,前述的待測線段的影像並不限定為需要完整的輸入到神經網路分類程式115中。在不同的實施例中,處理裝置110也可以將包含待測線段的影像區塊區分為多個影像次區塊,並將每一個影像次區塊做為神經網路分類程式115的輸入資料以使神經網路分類程式115能夠針對這一個影像次區塊進行分析,藉此判斷這一個影像次區塊中包含的那一部份的待測線段是否存在特定的線段瑕疵。圖6為根據本發明一實施例所使用的將包含待測線段的影像區塊區分為多個影像次區塊的示意圖。如圖6所示的待測面板影像60包括多個待測線段600、602、604、606、610、612與614,處理裝置110可以將包含待測線段的影像區塊區分為多個影像次區塊,此處僅以待測線段602與612為例進行說明。如圖6所示,處理裝置110可以將包含待測線段602的影像區塊區分為多個影像次區塊602-1、602-2、…、602-N,以及將包含待測線段612的影像區塊區分為多個影像次區塊612-1、612-2、…、612-M(如圖中虛線所示的各區塊)。當處理裝置110利用神經網路分類程式115判斷某個影像次區塊中包含的那一部份的待測線段存在特定的線段瑕疵時,可以回報該線段瑕疵的類型以及包含該線段瑕疵的該影像次區塊的位置,以便進行後續處置。例如,若處理裝置110回報影像次區塊612-6的位置存在斷線的線段瑕疵,後續即可對影像次區塊612-6在待測面板中的位置對線段進行雷射修補,以提升面板良率。本領域人員可以理解,在將影像次區塊做為神經網路分類程式115的輸入資料的實施例中,在訓練神經網路分類程式115時就必須訓練其接受影像次區塊(而不是整個待測線段的影像)做為輸入資料,而且做為神經網路分類程式115輸入資料的各個影像次區塊也必須縮放成同樣的影像大小,在此不贅述。
藉由上述的說明可知,本發明已經具有自動判斷線段瑕疵的能力。
請再參照圖1,設備10還可以包括一個照明裝置140。在本實施例中,照明裝置140與影像擷取裝置100分別被設置於待測面板130的相對兩側並向待測面板130投射光線。進一步的,為了減少外界光線所造成的影像問題,在圖7所示的實施例中還利用了不透光的封閉隔板700組合成一個能夠將圖1所示的影像擷取裝置100、待測面板130及照明裝置140包圍在內的不透光區域。如此一來,由於影像擷取裝置100拍攝時所使用的光線就只有由照明裝置140所提供的光線,因此在採用設備70進行線段瑕疵的判斷時可以大幅度降低因為外界的光影變化對影像產生干擾所衍生的問題。
總而言之,以上內容中所提供的檢測面板線段瑕疵的設備及方法可以藉由面板的影像來自動定位面板上要進行檢測的面板線段的所在位置,並可進一步將所定位出的面板線段的影像送到神經網路分類程式以由事先訓練完成的神經網路分類程式來判斷此面板線段中是否存在瑕疵。藉此,本發明所提供的技術不但可以降低判斷瑕疵時所需耗費的人力,而且還可以減少因為人為檢查標準不一而造成的面板品質不均的問題。
10、70:檢測面板線段瑕疵的設備
40:理想樣本面板影像
60:待測面板影像
100:影像擷取裝置
110:處理裝置
115:神經網路分類程式
120:樣本儲存裝置
125:樣本資料
130:待測面板
140:照明裝置
155:拍攝區域
400、402、404、406、410、412、414:既存線段
600、602、604、606、610、612、614:待測線段
602-1、602-2、602-N、612-1、612-2、612-M:影像次區塊
700:封閉隔板
n:數量
S300~S308:本發明一實施例的施行步驟
S500~S510:本發明一實施例於建立樣本資料時的施行步驟
X、Y:軸
圖1為根據本發明一實施例的檢測面板線段瑕疵的設備的外觀示意圖。
圖2為根據本發明一實施例的檢測面板線段瑕疵的設備的電路方塊圖。
圖3為根據本發明一實施例的檢測面板線段瑕疵的方法的流程圖。
圖4A為根據本發明一實施例所使用的理想樣本面板影像的示意圖。
圖4B為圖4A的X軸座標及黑色像素數量的關係的長條圖。
圖4C為圖4A的Y軸座標及黑色像素數量的關係的長條圖。
圖5為根據本發明一實施例在建立樣本資料時的流程圖。
圖6為根據本發明一實施例所使用的將影像區塊區分為多個影像次區塊的示意圖。
圖7為根據本發明一實施例的檢測面板線段瑕疵的設備的外觀示意圖。
10:檢測面板線段瑕疵的設備
100:影像擷取裝置
110:處理裝置
120:樣本儲存裝置
130:待測面板
140:照明裝置
155:拍攝區域
Claims (10)
- 一種檢測面板線段瑕疵的設備,適於確認一待測面板上是否存在一線段瑕疵,該設備的特徵在於包括:一影像擷取裝置,拍攝置放有該待測面板的區域以獲取一初始影像;一樣本儲存裝置,儲存一樣本資料,該樣本資料包括一樣本線段位置;以及一處理裝置,電性連接至該影像擷取裝置及該樣本儲存裝置,其中,該處理裝置從該影像擷取裝置接收該初始影像並在判斷是否可能存在該線段瑕疵之前從該初始影像中獲取對應至該待測面板的一待測面板影像,且該處理裝置更從該樣本儲存裝置取得該樣本資料以在判斷是否可能存在該線段瑕疵之前將該待測面板影像上對應於該樣本線段位置處的影像設定為一待測線段的影像,其中,該處理裝置執行一神經網路分類程式以檢查該待測線段的影像而判斷該待測線段是否存在該線段瑕疵。
- 如請求項1所述的設備,其中該處理裝置將該待測面板影像中包含該待測線段的一影像區塊區分為多個影像次區塊,並將每一該些影像次區塊作為該神經網路分類程式的輸入資料以使該神經網路分類程式判斷所輸入的該影像次區塊包含的該待測線段的部分是否存在該線段瑕疵。
- 如請求項2所述的設備,其中當該神經網路分類程式判斷所輸入的該影像次區塊包含的該待測線段的部分存在該線段瑕疵時,該處理裝置回報該線段瑕疵的類型以及包含該線段瑕疵的該影像次區塊的位置。
- 如請求項1所述的設備,更包括一照明裝置以及多個封閉隔板,該照明裝置與該影像擷取裝置設置於該待測面板的相對兩側且向該待測面板投射光線,該些封閉隔板組合後形成包圍該影像擷取裝置、該待測面板及該照明裝置的不透光區域。
- 如請求項1所述的設備,其中該處理裝置更從多個理想樣本面板影像中的每一該些理想樣本面板影像中找出至少一既存線段、根據該些既存線段的位置而將該些既存線段分為多個位置群組,並將每一該些位置群組中的該至少一個既存線段的位置平均後的結果儲存至該樣本儲存裝置以作為該樣本線段位置的一部份。
- 一種檢測面板線段瑕疵的方法,適於確認一待測面板上是否存在一線段瑕疵,該方法的特徵在於包括:拍攝該待測面板以獲得一初始影像;在判斷是否可能存在該線段瑕疵之前,從該初始影像中擷取對應至該待測面板的一待測面板影像;取得事先儲存的一樣本資料,其中該樣本資料包括一樣本線段位置;在判斷是否可能存在該線段瑕疵之前,根據該樣本線段位置,將該待測面板影像上對應於該樣本線段位置處的影像設定為一待測線段的影像;以及利用一神經網路分類程式檢查該待測線段的影像以判斷該待測線段是否存在該線段瑕疵。
- 如請求項6所述的方法,其中利用該神經網路分類程式檢查該待測線段的影像以判斷該待測線段是否存在該線段瑕疵,包括: 將該待測面板影像中包含該待測線段的一影像區塊區分為多個影像次區塊;以及將每一該些影像次區塊作為該神經網路分類程式的輸入資料以使該神經網路分類程式判斷所輸入的該影像次區塊包含的該待測線段的部分是否存在該線段瑕疵。
- 如請求項7所述的方法,其中當該神經網路分類程式判斷所輸入的該影像次區塊包含的該待測線段的部分存在該線段瑕疵時,所述的方法更包括:回報該線段瑕疵的類型以及包含該線段瑕疵的該影像次區塊的位置。
- 如請求項6所述的方法,其中在拍攝該待測面板以獲得該初始影像之前,更包括:從多個理想樣本面板影像中的每一該些理想樣本面板影像中找出至少一既存線段;根據該些既存線段的位置而將該些既存線段分為多個位置群組,其中每一該些位置群組包括至少一個該些既存線段;將每一該些位置群組中的該至少一個既存線段的位置平均而獲得對應的一平均結果;以及將每一該些平均結果儲存為該樣本線段位置的一部份。
- 如請求項9所述的方法,其中從多個理想樣本面板影像中的每一該些理想樣本面板影像中找出該至少一既存線段,包括: 對每一該些理想樣本面板影像執行下列步驟,其中每一該些理想樣本面板影像包括多個像素,且每一該些理想樣本面板影像所在的平面由一第一軸向及一第二軸向擴展而成:將該理想樣本面板影像中的每一該些像素的影像值轉換為一第一值或一第二值;在該理想樣本面板影像中,對於該第一軸的每一個座標值計算同樣具有該第一軸座標值的該些像素的影像值為該第一值的一第一計算數量,在該第一計算數量超過一第一預設值時設定在該第一軸座標值存在一第一待整合線段,並使該第一待整合線段為該些既存線段的一部份;以及在該理想樣本面板影像中,對於該第二軸的每一個座標值計算同樣具有該第二軸座標值的該些像素的影像值為該第一值的一第二計算數量,在該第二計算數量超過一第二預設值時設定在該第二軸座標值存在一第二待整合線段,並使該第二待整合線段為該些既存線段的一部份。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110113744A TWI841834B (zh) | 2021-04-16 | 2021-04-16 | 檢測面板線段瑕疵的設備及方法 |
CN202110603369.1A CN113298864A (zh) | 2021-04-16 | 2021-05-31 | 检测面板线段瑕疵的设备及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110113744A TWI841834B (zh) | 2021-04-16 | 2021-04-16 | 檢測面板線段瑕疵的設備及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202242790A TW202242790A (zh) | 2022-11-01 |
TWI841834B true TWI841834B (zh) | 2024-05-11 |
Family
ID=77326513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110113744A TWI841834B (zh) | 2021-04-16 | 2021-04-16 | 檢測面板線段瑕疵的設備及方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113298864A (zh) |
TW (1) | TWI841834B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110186938A (zh) * | 2019-06-28 | 2019-08-30 | 笪萨科技(上海)有限公司 | 双面缺陷分析设备及缺陷检测和分析系统 |
US20200234428A1 (en) * | 2019-01-18 | 2020-07-23 | Kla Corporation | Methods And Systems For Inspection Of Semiconductor Structures With Automatically Generated Defect Features |
TW202044067A (zh) * | 2019-05-22 | 2020-12-01 | 以色列商應用材料以色列公司 | 基於機器學習之半導體樣本中的缺陷分類 |
TW202109340A (zh) * | 2019-07-12 | 2021-03-01 | 美商矽睿科技股份有限公司 | 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104122264B (zh) * | 2013-04-25 | 2016-08-03 | 鸿富锦精密工业(深圳)有限公司 | 外观瑕疵检测系统及方法 |
CN104297256B (zh) * | 2013-07-19 | 2016-12-28 | 鸿富锦精密工业(深圳)有限公司 | 外观瑕疵检测系统及方法 |
TWI642126B (zh) * | 2017-06-30 | 2018-11-21 | 中華大學 | 半導體晶圓檢測系統及其方法 |
TWM606740U (zh) * | 2020-08-17 | 2021-01-21 | 宜谷京科技實業有限公司 | 瑕疵檢測系統 |
-
2021
- 2021-04-16 TW TW110113744A patent/TWI841834B/zh active
- 2021-05-31 CN CN202110603369.1A patent/CN113298864A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200234428A1 (en) * | 2019-01-18 | 2020-07-23 | Kla Corporation | Methods And Systems For Inspection Of Semiconductor Structures With Automatically Generated Defect Features |
TW202044067A (zh) * | 2019-05-22 | 2020-12-01 | 以色列商應用材料以色列公司 | 基於機器學習之半導體樣本中的缺陷分類 |
CN110186938A (zh) * | 2019-06-28 | 2019-08-30 | 笪萨科技(上海)有限公司 | 双面缺陷分析设备及缺陷检测和分析系统 |
TW202109340A (zh) * | 2019-07-12 | 2021-03-01 | 美商矽睿科技股份有限公司 | 基於自動校正的印刷電路板設計之方法、系統與非暫態電腦可讀儲存媒體 |
Also Published As
Publication number | Publication date |
---|---|
TW202242790A (zh) | 2022-11-01 |
CN113298864A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3870872B2 (ja) | 検査データ作成方法およびこの方法を用いた基板検査装置 | |
US20050190361A1 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
KR100805486B1 (ko) | 디스플레이의 다각도 계측 시스템 및 방법 | |
JP5441990B2 (ja) | 検査方法 | |
JP2006268050A (ja) | 画像検査装置、パネル検査方法及び表示パネルの製造方法 | |
JP2007147442A (ja) | 木材の検査方法及び装置及びプログラム | |
JP3906780B2 (ja) | 部品コード変換テーブルに対するデータ登録方法、基板検査データの作成装置、登録処理用のプログラムおよびその記憶媒体 | |
JP6211798B2 (ja) | 基板上の異物検査方法および異物検査装置 | |
TWI480541B (zh) | 晶圓之圖案檢查方法及裝置 | |
KR101261016B1 (ko) | 평판패널 기판의 자동광학검사 방법 및 그 장치 | |
KR101893823B1 (ko) | 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법 | |
TWI841834B (zh) | 檢測面板線段瑕疵的設備及方法 | |
JP6236203B2 (ja) | 検査装置及び検査方法 | |
JP2012039096A (ja) | 部品有無判定装置及び部品有無判定方法 | |
CN115546140A (zh) | 一种显示面板检测方法、系统及电子装置 | |
TW201522949A (zh) | 影像資訊檢測方法 | |
CN113933309A (zh) | 一种复测aoi机台检盲孔孔内不良的方法 | |
JP2006284543A (ja) | 実装回路基板検査方法および実装回路基板検査装置 | |
WO2018146887A1 (ja) | 外観検査装置 | |
TWI842292B (zh) | 自動化產線產品外觀瑕疵檢驗方法及系統 | |
JPH10141925A (ja) | 外観検査装置 | |
JP2014102206A (ja) | ハンダ検査方法 | |
JP4419778B2 (ja) | 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置 | |
JP5947168B2 (ja) | 外観検査装置、外観検査装置の制御方法およびプログラム | |
JP2006234501A (ja) | シミ欠陥検出用閾値設定方法、シミ欠陥検査方法、シミ欠陥検査装置 |