TW202332958A - 物性值預測方法及物性值預測系統 - Google Patents

物性值預測方法及物性值預測系統 Download PDF

Info

Publication number
TW202332958A
TW202332958A TW111146958A TW111146958A TW202332958A TW 202332958 A TW202332958 A TW 202332958A TW 111146958 A TW111146958 A TW 111146958A TW 111146958 A TW111146958 A TW 111146958A TW 202332958 A TW202332958 A TW 202332958A
Authority
TW
Taiwan
Prior art keywords
image
prediction
predicted
physical property
feature
Prior art date
Application number
TW111146958A
Other languages
English (en)
Inventor
赤木雅子
Original Assignee
日商Ｍｅｃ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Ｍｅｃ股份有限公司 filed Critical 日商Ｍｅｃ股份有限公司
Publication of TW202332958A publication Critical patent/TW202332958A/zh

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/418—Imaging electron microscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/646—Specific applications or type of materials flaws, defects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/30—Prediction of properties of chemical compounds, compositions or mixtures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種物性值預測方法，其對經機器學習之預測模型21輸入物性值之實測值為已知的複數個預測對象影像，輸出複數個預測對象影像各自之預測值及特徵量圖，根據複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出實測值與上述預測值之誤差在第1閾值以上的預測不良影像G3及實測值與預測值之誤差在小於第1閾值之第2閾值以下的預測良好影像G4，基於構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布與構成預測良好影像G4之特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群。

Description

物性值預測方法及物性值預測系統
本發明係關於一種使用機器學習之物性值預測方法及物性值預測系統。
電子基板係銅等金屬與樹脂之積層結構，電子基板之品質對應於金屬與樹脂界面之密合度。藉由對經以化學品實施表面處理而粗面化之金屬表面的形狀進行評價，能夠評價電子基板之金屬的密合度。作為評價項目之一，例如可舉測量密合強度，但卻有花費工時之問題。
例如，於專利文獻1記載有使用機器學習來推定橡膠材料之物性值。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2021－60457號公報
關於以機器學習來預測物性值，當使用類神經網路等黑盒子型預測模型之情形時，具有以何種根據如何地進行預測之關於預測精度好壞之原因不明的問題。
本發明提供一種對使用機器學習來預測原材料之物性值的預測模型提供關於預測精度之說明可能性的物性值預測方法及物性值預測系統。
本發明之物性值預測方法，其對已機器學習成將拍攝原材料所得到之影像輸入作為說明變數且輸出物性值的預測模型，輸入該物性值之實測值為已知的複數個預測對象影像，輸出該複數個預測對象影像各自之預測值及特徵量圖，根據該複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出該實測值與該預測值之誤差在第1閾值以上的預測不良影像及該實測值與該預測值之誤差在小於該第1閾值之第2閾值以下的預測良好影像，基於構成該預測不良影像之該特徵量圖之複數個特徵量的頻率分布與構成該預測良好影像之該特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群，上述預測模型具有從拍攝該原材料所得到之影像輸出該特徵量圖的特徵量圖輸出部、與將該特徵量圖轉換為關於該原材料之該物性值的轉換部。
若根據本發明之物性值預測方法，則構成預測不良影像之特徵量圖之複數個特徵量的頻率分布與構成上述預測良好影像之特徵量圖之複數個特徵量的頻率分布之差異大的特徵量群由於表示預測不良之主因的可能性高，故可利用於追查預測不良之主因，能夠提供可進行關於預測精度之說明的可能性。
＜第1實施形態＞ 以下，參照圖式來說明本發明之第1實施形態。
[學習系統、預測系統] 第1實施形態之預測系統2（裝置）係使用預測模型21，基於對經以化學品實施表面處理之金屬（銅）之表面進行拍攝所得到的影像，來預測金屬之物性值（例如密合強度）。學習系統1（裝置）係使用教導資料，以機器學習來建構預測模型21。
如圖1所示，預測系統2具有影像取得部20與預測部22。學習系統1具有教導資料D1與使預測模型21學習之學習部10。教導資料D1被記憶於記憶體1b。學習部10係以處理器1a實現。影像取得部20及預測部22則以處理器2a實現。於第1實施形態中，雖是1個裝置中之處理器1a、2a實現各部，但並不限定於此。例如，亦可構成為使用網路將各處理分散，複數個處理器執行各部之處理。亦即，1個或複數個處理器執行處理。
影像取得部20取得拍攝預測對象之原材料所得到的影像G1。於第1實施形態中，影像取得部20取得以電子顯微鏡拍攝經表面處理之金屬（銅）表面所得到的SEM影像（灰階影像）。拍攝預測對象之原材料所得到的影像G1為垂直像素數h×水平像素數w之影像資料。
預測模型21係以機器學習而建構成使用教導資料D1，將影像輸入作為說明變數且輸出關於原材料之物性值的模型，其中該教導資料D1係使拍攝原材料所得到之影像（例如SEM影像、相機影像）與關於該原材料之物性值（例如密合強度）相關連而成者。學習系統1之學習部10將預測模型21之參數更新成預測結果與教導資料之實測值一致。於圖1中，教導資料D1中，輸入影像1～N（N表示學習用影像數）與為對應於各個輸入影像1～N之實測值的物理量（X 1、X 2、…、X N）相對應。
預測模型21可利用各種模型，於第1實施形態中，預測模型21具有從輸入影像輸出特徵量圖G2之特徵量圖輸出部21a、與將特徵量圖G2轉換成物性值（Y）之轉換部21b。於第1實施形態中，特徵量圖輸出部21a係使用UNet。UNet為基於U字型卷積類神經網路（CNN：Convolutional Neural Network）之學習模型。轉換部21b則是採用全域均值池化（GAP：Global Average Pooling）。特徵量圖G2係具有將對應於輸入影像G1之垂直像素h的像素數h’與對應於輸入影像之水平像素w的像素數w’相乘所得到之數之像素數的資料，各像素具有與關於原材料之物性值相關的特徵量。轉換部21b將特徵量圖G2轉換成「為1個數之物理量（Y）」。此處之「對應」，包含特徵量圖成為與原輸入影像相同尺寸之影像的情形，或成為尺寸與原輸入影像不同但長寬比（aspect ratio）相同之影像的情形，意指可藉由對特徵量圖進行放大處理而與原輸入影像之尺寸一致。 [實施例]
[實施例1] 實施例1係使輸入影像G1為以電子顯微鏡拍攝經化學品處理後之銅箔所得到的SEM影像之例。圖2表示SEM影像之一例。關於SEM影像之拍攝條件，倍率為3500倍，傾斜角（tilt angle）為45度。物理量設為密合強度[N／mm]。為經使用化學品A處理銅表面之例。對90張影像測量了90個密合強度。將90個資料中之半數使用作為學習用資料，剩餘半數之資料則用於預測。實測密合強度與預測值之均方誤差為0.0008。圖3係橫軸為實測密合強度，縱軸為預測之密合強度，將預測值與實測值之組合資料標繪出所得到之圖。
[實施例2] 實施例2與實施例1同樣地將SEM影像作為輸入影像G1。為經使用化學品B處理銅表面之例。對72張影像測量了72個密合強度。將72個中之半數作為學習用資料，剩餘半數則作為預測用資料。實測密合強度與預測值之均方誤差為0.0012。SEM影像之拍攝條件與實施例1相同。
[實施例3] 實施例3與實施例1同樣地將SEM影像作為輸入影像G1。為經使用化學品C處理銅表面之例。對39張影像測量了39個密合強度。將39個中之半數作為學習用資料，剩餘半數則作為預測用資料。實測密合強度與預測值之均方誤差為0.0021。SEM影像之拍攝條件與實施例1相同。
[實施例4] 實施例4係使用實施例3之SEM影像，從1張SEM影像推測複數個物性值之例。具體而言，藉由將1個UNet之輸出設定為複數類，而可從同一個UNet輸出（計算）複數個物性值。複數個物性值為密合強度、粗糙度參數（Sdr、Sdq）。係將用以預測密合強度之第1UNet、用以預測Sdr之第2UNet及用以預測Sdq之第3UNet加以並列化而成的構成。密合強度之均方誤差為0.001，Sdr之均方誤差為0.0003，Sdq之均方誤差為0.0868。
[實施例5] 實施例5為經使用化學品D處理銅表面之例。輸入影像G1係以光學相機所拍攝之相機影像，而非SEM影像。關於相機影像，僅進行將黑色背景加以分離之處理。將相機影像所含之每個RGB成分分為3個單色影像，再將3個單色影像輸入於預測模型21。物性值設為表面粗糙度Ra（算術平均）。使用960組資料，將半數作為教導資料，剩餘半數則用於預測資料。均方誤差為0.0153。 另外，亦可將具有RGB成分之相機影像轉換成灰階影像，且將灰階影像之強度（明度）輸入於預測模型21。由於輸入灰階影像之情形與每個RGB成分輸入3個單色影像之情形並無須特別說明之差異，故於實施例5使用了RGB成分。
[實施例6] 實施例6與實施例5同樣地將相機影像作為輸入影像G1。為經使用化學品D處理銅表面之例。物性值設為CIE 1976 明度指數L＊。使用320組資料，將半數作為教導資料，剩餘半數則用於預測資料。均方誤差為11.05。L＊係依照JIS Z 8781－4。
[實施例7] 實施例7與實施例5同樣地將相機影像作為輸入影像G1。為經使用化學品D處理銅表面之例。物性值設為CIE 1976色彩空間中之色座標a＊。使用320組資料，將半數作為教導資料，剩餘半數則用於預測資料。均方誤差為0.0062。a＊係依照JIS Z 8781－4。
[實施例8] 實施例8與實施例5同樣地將相機影像作為輸入影像G1。為經使用化學品D處理銅表面之例。物性值設為CIE 1976色彩空間中之色座標b＊。使用320組資料，將半數作為教導資料，剩餘半數則用於預測資料。均方誤差為0.1294。b＊係依照JIS Z 8781－4。
[原材料之物性值的預測方法] 使用圖4說明上述預測系統2所執行之原材料之物性值的預測方法。
首先，於步驟ST1中，影像取得部20取得拍攝預測對象之原材料所得到的預測對象影像。於第1實施形態中，取得SEM影像或相機影像。於下個步驟ST2、3中，將所取得之預測對象影像輸入於預測模型21，輸出關於原材料之物性值。具體而言，於步驟ST2中，特徵量圖輸出部21a係被輸入預測對象影像而輸出特徵量圖G2。於步驟ST3中，轉換部21b將特徵量圖G2轉換為關於原材料之物性值。
＜變形例＞ （1－1）於圖1所示之實施形態中，預測模型21雖以輸出特徵量圖G2之特徵量圖輸出部21a構成，但亦可為不輸出特徵量圖，輸出物性值之模型。例如，亦可使用為類神經網路之一種的ResNet。當然，若為能夠處理影像之非線性模型，就可加以利用。
（1－2）於上述實施形態中，預測物性值的預測對象之原材料，雖為經藉由以化學品（蝕刻劑，研磨液（化學、電解））等進行之化學反應處理實施表面處理之金屬（銅）的表面，但若為具有均一且微細之表面形狀的原材料，則不限定於此。例如，亦可為經藉由使研磨或壓延、雷射等外力發揮作用之機械加工處理實施表面處理的金屬表面。亦可為分散、混合有各種顏料之塗料的塗裝面。又，此情形時之塗料的性質狀態（液體、粉體等）並無限定。可為經藉由電鍍、無電電鍍等進行鍍覆處理之金屬的表面。亦可為經添加、分散添加劑進行成形加工之膜的表面。亦可為具有用以接受油墨（ink）之塗覆層或其他賦予功能性之塗覆層的紙表面。原材料並無限定，亦可為經使用輪壓成形（calender molding）或壓紋成形等成形加工之原材料表面。
（1－3）於上述實施形態中，作為關於原材料之物性值，可舉密合強度，但並不限定於此。例如亦可為與密合性、接合性、氣密性、撥水性、撥油性、抗污性、滑動性、表面性（光澤、粗糙度）、色調、觸感、熱物理性質、抗菌性、傳輸損耗相關之物性值。
（1－4）於上述實施形態中，雖舉藉由SEM及相機所取得之金屬表面的影像作為原材料影像之對象，但並不限定於此。波形或波譜、映射影像（mapping image）、數字等可作為影像匯入之資料亦可成為對象。作為一例，可舉藉由顯微分光法（紅外、拉曼、UV-Vis等）或能量分散X光光譜術（SEM-EDX）、及使用於非破壞性檢查之類的超音波檢查所得到之波譜或使用其之映射影像等。
如上述，第1實施形態之物性值預測方法，係1個或複數個處理器執行之方法，可使之為以下：取得拍攝預測對象之原材料所得到的預測對象影像G1，對已機器學習成將拍攝原材料所得到的影像輸入作為說明變數且輸出關於原材料之物性值（Y）的預測模型輸入預測對象影像G1，將映現於預測對象影像G1之關於原材料的物性值（Y）輸出作為預測值。 以此方式，由於可使用經機器學習之預測模型21預測映現於預測對象影像G1之關於原材料（金屬）的物性值，故相較於以試驗等測量物性值之情形，能夠削減金錢成本或時間成本。
雖無特別限定，但亦可使之如第1實施形態，預測模型21具有特徵量圖輸出部21a與轉換部21b，該特徵量圖輸出部21a係從所輸入之影像G1輸出特徵量圖G2，該轉換部21b則將特徵量圖G2轉換成預測值。 藉此，由於可從特徵量圖G2得到預測值，故可嘗試以特徵量圖G2說明預測模型21所預測之根據。
雖無特別限定，但亦可使之如第1實施形態，所拍攝之上述原材料為經實施表面處理之金屬的表面、塗料之塗裝面、經鍍覆處理之金屬的表面、膜之表面、紙表面及受到成形加工之原材料表面的任一者。為較適合之一例。
第1實施形態之系統具備執行上述方法之1個或複數個處理器。 第1實施形態之程式為使1個或複數個處理器執行上述方法之程式。 藉由執行此等程式，亦可得到上述方法所達成之作用效果。
以上，係基於圖式說明本發明之實施形態，但關於具體之構成，應理解為不限定於此等實施形態。本發明之範圍不僅包含上述實施形態之說明，而且還包含申請專利範圍所示之範圍、以及與申請專利範圍均等之意義及範圍內的所有變更。
＜第2實施形態＞ 圖5為表示第2實施形態之學習系統1及預測系統2的方塊圖。第2實施形態相較於第1實施形態，預測系統2之構成不相同。具體而言，第2實施形態之預測系統2對第1實施形態之預測系統2增加了界定部23、提取部24及重疊影像輸出部25。界定部23、提取部24及重疊影像輸出部25可藉由處理器2a來實現。
如圖5所示，複數個預測對象影像與映現於各個預測對象影像之為原材料之已知實測值的物理量（X）相關連地被記憶於記憶體2b。影像取得部20係將被記憶於記憶體2b之複數個預測對象影像分別輸入於預測模型21（特徵量圖輸出部21a及轉換部21b）。預測模型21所算出之預測物性值（Y）及特徵量圖輸出部21a所輸出之特徵量圖，係於記憶體2b中與預測對象影像及實測物性值（X）相關連地被記憶。
圖5所示之界定部23根據記憶於記憶體2b之複數個預測對象影像中之實測物性值為同程度之影像相關的預測結果，來界定出預測不良影像與預測良好影像。預測不良影像為實測值與預測值之誤差在第1閾值以上之影像。圖6係標繪出與圖3所示之預測對象影像群不同之預測對象影像群之預測值與實測值的組合資料之圖，橫軸為實測密合強度[N／mm]，縱軸為所預測之密合強度[N／mm]。如圖6所示，以斜線表示預測物性值（預測密合強度）與實測物性值（實測密合強度）一致之處，靠近斜線之資料（標繪點）為預測良好影像，遠離斜線之資料（標繪點）則為預測不良影像。預測對象影像之預測精度，可用從標繪點至斜線之垂線的長度來表示。若垂線之長度長，則預測物性值與實測物性值之差大，可判定為預測不良影像，若垂線之長度短，則預測物性值與實測物性值之差小，可判定為預測良好影像。雖可用人眼觀察，然後選擇相對較靠近斜線之預測良好影像與相對較遠離斜線之預測不良影像，但亦能夠以程式來自動選擇。界定部23係構成為可執行下述處理，亦即將實測值與預測值之誤差（垂線之長度）在第1閾值以上的影像界定為預測不良影像，將實測值與預測值之誤差（垂線之長度）在第2閾值以下的影像界定為預測良好影像。第2閾值較第1閾值小。第1閾值及第2閾值可為固定值，亦可為可變。例如，可視實測值與預測值之誤差的最大值來設定第1閾值及第2閾值。亦可使第1閾值為最大誤差之100％以下且90％以上，並將第2閾值設定為最大誤差之0％以上且10％以下。又，或亦可將實測值與預測值之誤差為最大的影像界定為預測不良影像，使實測值與預測值之誤差為最小的影像為預測良好影像。
圖6為將預測值與實測值之組合資料標繪出所得到之圖，係表示將預測不良影像G3及預測良好影像G4加以界定之例之圖。如圖6所示，界定部23對複數個預測對象影像中之實測物性值為同程度的影像，將實測值與預測值之誤差為最大的影像界定為預測不良影像G3，將實測值與預測值之誤差可視為最小的影像界定為預測良好影像G4。所謂實測物性值為同程度，意指如圖6中塗灰所示般，實測物性值雖不相同，但位於規定範圍內即可。關於規定範圍，可考慮資料之分散情形作適當設定。圖7係表示預測不良影像G3（SEM影像）。圖8係表示預測良好影像G4（SEM影像）。圖9係將由預測不良影像G3（SEM影像）所得到之特徵量圖作為影像顯示。圖10係將由預測良好影像G4（SEM影像）所得到之特徵量圖作為影像顯示。即使人們觀察圖7～圖10，亦難以理解預測精度產生差異之原因。
圖11係顯示構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布（直方圖）與構成預測良好影像G4之特徵量圖之複數個特徵量的頻率分布（直方圖）之圖。圖11之橫軸表示特徵量，同圖之縱軸表示像素數（亦即頻率）。圖11之實線為預測不良影像G3之直方圖，同圖之虛線則為預測良好影像G4之直方圖。若觀察圖11，則雖認為兩者之特徵量圖的特徵量分布相似，顯示出銅表面之SEM影像的特徵，但具有若干不同。於本實施例中，於特徵量為－1以上且1以下之範圍可觀察到很大的頻率分布差異。提取出此等特徵量群（特徵量為－1以上且1以下）作為表示預測不良之主因的特徵量群。另，亦能以人眼觀察來提取差異大之特徵量群，或亦能以程式自動地進行提取。具體而言，係認為對每個由2個直方圖所形成之閉合區域，算出2個直方圖之差的積分值，提取積分值最大之範圍的特徵量群。
亦即，提取部24可基於構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布（圖11之實線）與構成預測良好影像G4之特徵量圖之複數個特徵量的頻率分布（圖11之虛線）之差異，提取表示預測不良之主因的特徵量群。圖12為僅顯示預測不良影像G3之特徵量圖中所提取出的特徵量群之圖。圖13為僅顯示預測良好影像G4之特徵量圖中所提取出的特徵量群之圖。於圖12及圖13中，以黑色表示所提取出之特徵量部分，其他則以白色表示。特徵量圖分別為與原預測不良影像G3及原預測良好影像G4相同尺寸之影像，或多為長寬比相同，藉由直接或放大處理特徵量圖而可使位置關係與原影像對應，可理解為存在所提取出之特徵量群的原影像之部分對預測精度造成影響。因此，藉由將圖12、13與原SEM影像加以對照，而可利用於追查預測不良之主因，有時能夠進行與預測精度相關之說明。
重疊影像輸出部25，其輸出將提取部24所提取出之特徵量群的位置重疊於預測不良影像G3或預測良好影像G4之至少一者所顯示的重疊影像。圖14係表示將提取出之特徵量群的位置重疊於預測不良影像G3所顯示之重疊影像的一例之圖。圖15係表示將提取出之特徵量群的位置重疊於預測良好影像G4所顯示之重疊影像的一例之圖。特徵量群之位置可用顏色表示，亦可用其他標記表示。 藉此，可一眼就辨視出預測對象影像與特徵量群之位置，從而有用。
使用圖16說明第2實施形態之上述預測系統2所執行的原材料之物性值之預測方法。
首先，於步驟ST101中，預測部22輸入原材料之物性值之實測值為已知的複數個預測對象影像，輸出複數個預測對象影像各自之原材料之物性值的預測值及特徵量圖。 接著於步驟ST102中，界定部23根據複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出實測值與預測值之誤差在第1閾值以上的預測不良影像G3、及實測值與預測值之誤差在小於第1閾值之第2閾值以下的預測良好影像G4。 接著於步驟ST103中，提取部24基於構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布與構成預測良好影像G4之特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群。 接著於步驟ST104中，重疊影像輸出部25輸出將特徵量群之位置重疊於預測不良影像G3或預測良好影像G4之至少一者所顯示的重疊影像。
如上述般，第2實施形態之物性值預測方法係1個或複數個處理器執行之方法，可使之為以下：對已機器學習成將拍攝原材料所得到之影像輸入作為說明變數且輸出物性值的預測模型21，輸入物性值之實測值為已知的複數個預測對象影像，輸出複數個預測對象影像各自之預測值及特徵量圖，根據複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出實測值與上述預測值之誤差在第1閾值以上的預測不良影像G3及實測值與預測值之誤差在小於第1閾值之第2閾值以下的預測良好影像G4，基於構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布與構成預測良好影像G4之特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群，上述預測模型21具有從拍攝原材料所得到之影像輸出特徵量圖的特徵量圖輸出部21a、與將特徵量圖轉換為關於原材料之物性值的轉換部21b。 若以此方式，則構成預測不良影像G3之特徵量圖之複數個特徵量的頻率分布與構成上述預測良好影像之特徵量圖之複數個特徵量的頻率分布之差異大的特徵量群，由於表示預測不良之主因的可能性高，故可利用於追查預測不良之主因，能夠提供可進行關於預測精度之說明的可能性。
雖無特別限定，但亦可使之如第2實施形態，輸出將特徵量群之位置重疊於預測不良影像G3或預測良好影像G4之至少一者所顯示的重疊影像。 若以此方式，則由於可將特徵量群重疊於預測不良影像或預測良好影像加以辨視，故是有用的。
雖無特別限定，但亦可使之如第2實施形態，所拍攝之上述原材料為經實施表面處理之金屬的表面、經塗裝之塗料的表面、經鍍覆之金屬的表面、膜表面及紙表面之任一者。為較適合之一例。
第2實施形態之系統具備執行上述方法之1個或複數個處理器。 第2實施形態之程式為使1個或複數個處理器執行上述方法之程式。 藉由執行此等程式，亦可得到上述方法所達成之作用效果。
[變形例] （2－1）於第2實施形態中，雖設置有重疊影像輸出部25，但可省略重疊影像輸出部25。
（2－2）於第2實施形態中，雖以拍攝經實施表面處理之銅表面所得到的SEM影像與預測密合強度之例進行說明，但拍攝對象之原材料與第1實施形態同樣地可作各種變更。又，預測對象之物性值亦與第1實施形態與同樣地可作各種變更。
可將上述各實施形態所採用之結構採用於其他任意之實施形態。各部之具體構成，非僅限定於上述實施形態，亦可於不脫離本發明之意旨的範圍作各種變形。
例如，於申請專利範圍、說明書及圖式中所示之裝置、系統、程式及方法中的動作、次序、步驟及階段等各處理之執行順序，只要不是於後處理使用前處理之輸出，則能以任意順序實現。即使關於申請專利範圍、說明書及圖式中之流程，為了方便而使用「首先」、「接著」等加以說明，但並非意指必須以此順序執行。
圖1所示之各部雖是以1個或複數個處理器執行規定程式而實現，但亦能以專用記憶體或專用電路構成各部。上述實施形態之系統1（2）係於一台電腦之處理器1a（2a）中構裝有各部，但亦可使各部分散，以複數台電腦或雲端來構裝。亦即，亦能以1個或複數個處理器執行上述方法。
系統1（2）含有處理器1a（2a）。例如，處理器1a（2a）可設為中央處理單元（CPU）、微處理器或能夠執行電腦可執行指令之其他處理單元。又，系統1（2）含有用以存放系統1（2）之資料的記憶體1b（2b）。於一例中，記憶體1b（2b）包含電腦儲存媒體，包含RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD－ROM、DVD或其他光碟儲存器、盒式磁帶（magnetic cassette）、磁帶、磁碟儲存器或其他磁儲存裝置、或者可用以存放期望之資料然後系統1可存取之任意的其他媒體。
1:學習系統 1a,2a:處理器 1b,2b:記憶體 2:預測系統 10:學習部 20:影像取得部 21:預測模型 21a:特徵量圖輸出部 21b:轉換部 22:預測部 23:界定部 24:提取部 25:重疊影像輸出部 D1:教導資料 G1:預測對象影像 G2:特徵量圖 h:垂直像素數 h’,w’:像素數 w:水平像素數 X 1、X 2、…、X N:物理量
[圖1]係表示第1實施形態之預測系統及學習系統的方塊圖。 [圖2]係表示以電子顯微鏡拍攝經化學品處理後之銅箔所得到之SEM影像的一例之圖。 [圖3]係將實施例1之預測值與實測值的組合資料標繪出所得到之圖。 [圖4]係表示第1實施形態之預測系統所執行的處理之流程圖。 [圖5]係表示第2實施形態之學習系統1及預測系統2的方塊圖。 [圖6]係將預測值與實測值的組合資料標繪出所得到之圖，為表示將預測不良影像及預測良好影像加以界定之例之圖。 [圖7]係表示預測不良影像（SEM影像）之圖。 [圖8]係表示預測良好影像（SEM影像）之圖。 [圖9]係將由預測不良影像（SEM影像）所得到之特徵量圖作為影像顯示之圖。 [圖10]係將由預測良好影像（SEM影像）所得到之特徵量圖作為影像顯示之圖。 [圖11]係表示構成預測不良影像之特徵量圖之複數個特徵量的頻率分布（直方圖）與構成預測良好影像之特徵量圖之複數個特徵量的頻率分布（直方圖）之圖。 [圖12]係僅顯示預測不良影像之特徵量圖中所提取出的特徵量群之圖。 [圖13]係僅顯示預測良好影像之特徵量圖中所提取出的特徵量群之圖。 [圖14]係表示將提取出之特徵量群的位置重疊於預測不良影像所顯示之重疊影像的一例之圖。 [圖15]係表示將提取出之特徵量群的位置重疊於預測良好影像所顯示之重疊影像的一例之圖。 [圖16]係表示第2實施形態之預測系統所執行的處理之流程圖。
1:學習系統
1a,2a:處理器
1b,2b:記憶體
2:預測系統
10:學習部
20:影像取得部
21:預測模型
21a:特徵量圖輸出部
21b:轉換部
22:預測部
23:界定部
24:提取部
25:重疊影像輸出部
D1:教導資料
G1:預測對象影像
G2:特徵量圖
h:垂直像素數
h’,w’:像素數
w:水平像素數
X1、X2、...、XN:物理量

Claims (6)

  1. 一種物性值預測方法，其對已機器學習成將拍攝原材料所得到之影像輸入作為說明變數且輸出物性值的預測模型，輸入該物性值之實測值為已知的複數個預測對象影像，輸出該複數個預測對象影像各自之預測值及特徵量圖，該預測模型具有從拍攝該原材料所得到之影像輸出特徵量圖的特徵量圖輸出部、與將該特徵量圖轉換為關於該原材料之該物性值的轉換部， 根據該複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出該實測值與該預測值之誤差在第1閾值以上的預測不良影像及該實測值與該預測值之誤差在小於該第1閾值之第2閾值以下的預測良好影像， 基於構成該預測不良影像之該特徵量圖之複數個特徵量的頻率分布與構成該預測良好影像之該特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群。
  2. 如請求項1之物性值預測方法，其輸出將該特徵量群之位置重疊於該預測不良影像或該預測良好影像之至少一者所顯示的重疊影像。
  3. 如請求項1或2之物性值預測方法，其中，所拍攝之該原材料為經實施表面處理之金屬的表面、塗料之塗裝面、經鍍覆處理之金屬的表面、膜之表面、紙表面及受到成形加工之原材料表面的任一者。
  4. 一種物性值預測系統，其具備： 預測部，其對已機器學習成將拍攝原材料所得到之影像輸入作為說明變數且輸出物性值的預測模型，輸入該物性值之實測值為已知的複數個預測對象影像，輸出該複數個預測對象影像各自之預測值及特徵量圖，該預測模型具有從拍攝該原材料所得到之影像輸出特徵量圖的特徵量圖輸出部、與將該特徵量圖轉換為關於該原材料之該物性值的轉換部； 界定部，其根據該複數個預測對象影像中之實測物性值為同程度之影像的預測結果，界定出該實測值與該預測值之誤差在第1閾值以上的預測不良影像及該實測值與該預測值之誤差在小於該第1閾值之第2閾值以下的預測良好影像；及 提取部，其基於構成該預測不良影像之該特徵量圖之複數個特徵量的頻率分布與構成該預測良好影像之該特徵量圖之複數個特徵量的頻率分布之差異，提取表示預測不良之主因的特徵量群。
  5. 如請求項4之物性值預測系統，其具備重疊影像輸出部，該重疊影像輸出部輸出將該特徵量群之位置重疊於該預測不良影像或該預測良好影像之至少一者所顯示的重疊影像。
  6. 如請求項4或5之物性值預測系統，其中，所拍攝之該原材料為經實施表面處理之金屬的表面、塗料之塗裝面、經鍍覆處理之金屬的表面、膜之表面、紙表面及受到成形加工之原材料表面的任一者。
TW111146958A 2021-12-21 2022-12-07 物性值預測方法及物性值預測系統 TW202332958A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-206969 2021-12-21
JP2021206969A JP7076867B1 (ja) 2021-12-21 2021-12-21 物性値予測方法、物性値予測システム及びプログラム

Publications (1)

Publication Number Publication Date
TW202332958A true TW202332958A (zh) 2023-08-16

Family

ID=81801989

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111146958A TW202332958A (zh) 2021-12-21 2022-12-07 物性值預測方法及物性值預測系統

Country Status (5)

Country Link
JP (1) JP7076867B1 (zh)
KR (1) KR20240127342A (zh)
CN (1) CN118369571A (zh)
TW (1) TW202332958A (zh)
WO (1) WO2023120057A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5333635B1 (ja) * 2012-08-23 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6839433B2 (ja) * 2016-08-26 2021-03-10 国立大学法人静岡大学 萎れ具合予測システム及び萎れ具合予測方法
JP6977293B2 (ja) * 2017-03-31 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
JP7133927B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
US10810469B2 (en) * 2018-05-09 2020-10-20 Adobe Inc. Extracting material properties from a single image
JP7219910B2 (ja) * 2018-09-07 2023-02-09 学校法人金沢工業大学 コンクリートの最適締固め判定施工システム
US20220032455A1 (en) * 2018-12-05 2022-02-03 Sony Group Corporation Estimation apparatus, estimation method, and estimation program
JP6609387B1 (ja) * 2019-02-07 2019-11-20 国立大学法人北海道大学 ゴム材料の特性推定方法、システム及びプログラム
WO2020262615A1 (ja) * 2019-06-28 2020-12-30 関西ペイント株式会社 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム
JP7259676B2 (ja) * 2019-09-20 2023-04-18 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7482470B2 (ja) * 2019-10-03 2024-05-14 国立大学法人北海道大学 ゴム材料の物性推定方法、システム及びプログラム
JP2021135199A (ja) * 2020-02-27 2021-09-13 太平洋セメント株式会社 骨材の品質推定方法およびコンクリート製造方法
JP7435062B2 (ja) * 2020-03-11 2024-02-21 株式会社ジェイテクト 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法
JP6738079B1 (ja) * 2020-03-26 2020-08-12 前田道路株式会社 アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法

Also Published As

Publication number Publication date
WO2023120057A1 (ja) 2023-06-29
JP2023092019A (ja) 2023-07-03
CN118369571A (zh) 2024-07-19
KR20240127342A (ko) 2024-08-22
JP7076867B1 (ja) 2022-05-30

Similar Documents

Publication Publication Date Title
Zhan et al. No-reference image sharpness assessment based on maximum gradient and variability of gradients
Nafchi et al. Efficient no-reference quality assessment and classification model for contrast distorted images
US8606731B2 (en) Coating color database creating method, search method using the database, their system, program, and recording medium
JP5063076B2 (ja) 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体
JP2011145179A (ja) 官能検査装置及び官能検査方法
CN112884669A (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
CN116612111B (zh) 一种高强度复合材料加工质量检测方法
CN110895807A (zh) 用于评估图像的系统、运行辅助方法和工作设备
WO2011083749A1 (ja) 学習装置、識別装置、学習識別システム及び学習識別装置
TW202332958A (zh) 物性值預測方法及物性值預測系統
Fotos et al. Deep learning enhanced Watershed for microstructural analysis using a boundary class semantic segmentation
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
TW202332957A (zh) 物性值預測方法及物性值預測系統
TW202100951A (zh) 影像匹配方法、及用於執行影像匹配處理的演算系統
Gibson et al. A no-reference perceptual based contrast enhancement metric for ocean scenes in fog
WO2022172469A1 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
CN117480382A (zh) 评价方法、评价装置和计算机程序
JP2022188504A (ja) 金属組織のセグメンテーション方法
Zhang et al. Using multiscale structural fusion for sonar image quality evaluation
CN116754467B (zh) 一种天然橡胶老化性能的测评方法
Hu et al. Deep learning methods for roping defect analysis in aluminum alloy sheets: prediction and grading
WO2022202365A1 (ja) 検査支援システム、検査支援方法、及びプログラム
Mossina et al. Conformal Semantic Image Segmentation: Post-hoc Quantification of Predictive Uncertainty
JP2021136024A (ja) 画像生成装置、ゴム組成物の配合推定装置及び学習装置
Bi et al. Super-Resolution Reconstruction of Weak Targets on Water Surfaces: A Generative Adversarial Network Approach Based on Implicit Neural Representation.