JP7078944B1 - 物性値予測方法、物性値予測システム及びプログラム - Google Patents
物性値予測方法、物性値予測システム及びプログラム Download PDFInfo
- Publication number
- JP7078944B1 JP7078944B1 JP2021206742A JP2021206742A JP7078944B1 JP 7078944 B1 JP7078944 B1 JP 7078944B1 JP 2021206742 A JP2021206742 A JP 2021206742A JP 2021206742 A JP2021206742 A JP 2021206742A JP 7078944 B1 JP7078944 B1 JP 7078944B1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- image
- physical property
- feature amount
- property value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000704 physical effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 45
- 239000002184 metal Substances 0.000 claims description 20
- 229910052751 metal Inorganic materials 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000003973 paint Substances 0.000 claims description 5
- 239000013077 target material Substances 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000001878 scanning electron micrograph Methods 0.000 description 14
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 13
- 239000000126 substance Substances 0.000 description 13
- 229910052802 copper Inorganic materials 0.000 description 11
- 239000010949 copper Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 239000011247 coating layer Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011889 copper foil Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000844 anti-bacterial effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007772 electroless plating Methods 0.000 description 1
- 238000009713 electroplating Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000550 scanning electron microscopy energy dispersive X-ray spectroscopy Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
【課題】機械学習を用いて素材の物性値を予測可能な物性値予測方法、システム及びプログラムを提供する。【解決手段】物性値予測方法は、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する。【選択図】図１
Description
本開示は、機械学習を用いた物性値予測方法、物性値予測システム及びプログラムに関する。
電子基板は銅などの金属と樹脂の積層構造であり、電子基板の品質は、金属と樹脂界面の密着度に対応する。薬品で表面処理を施して粗面化した金属表面の形状を評価することで、電子基板の金属の密着度の評価が可能となる。評価項目の一つとして、例えば密着強度を計測することが挙げられるが、工数がかかるという問題がある。
例えば、特許文献１には、機械学習を用いてゴム材料の物性値を推定することが記載されている。
上記評価を簡素化するために、表面処理を施した金属の密着強度を機械学習により予測可能にできれば好ましいと考えられる。なお、表面処理を施した金属や密着強度に限定されず、素材の物性値を機械学習により予測可能にできれば好ましいと考えられる。
本開示は、機械学習を用いて素材の物性値を予測可能な物性値予測方法、物性値予測システム及びプログラムを提供する。
本開示の物性値予測方法は、予測対象の素材を撮像した予測対象画像を取得し、素材を撮像した画像を説明変数として前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力する。
＜第１実施形態＞
以下、本開示の第１実施形態を、図面を参照して説明する。
以下、本開示の第１実施形態を、図面を参照して説明する。
［学習システム、予測システム］
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。
第１実施形態の予測システム２（装置）は、予測モデル２１を用いて、薬品で表面処理を施した金属（銅）の表面を撮像した画像に基づいて、金属の物性値（例えば密着強度）を予測する。学習システム１（装置）は、教師データを用いて予測モデル２１を機械学習で構築する。
図１に示すように、予測システム２は、画像取得部２０と、予測部２２と、を有する。学習システム１は、教師データＤ１と、予測モデル２１を学習させる学習部１０とを有する。教師データＤ１は、メモリ１ｂに記憶される。学習部１０は、プロセッサ１ａで実現される。画像取得部２０及び予測部２２は、プロセッサ２ａで実現される。第１実施形態では、１つの装置におけるプロセッサ１ａ，２ａが各部を実現しているが、これに限定されない。例えば、ネットワークを用いて各処理を分散させ、複数のプロセッサが各部の処理を実行するように構成してもよい。すなわち、１又は複数のプロセッサが処理を実行する。
画像取得部２０は、予測対象の素材を撮像した画像Ｇ１を取得する。第１実施形態では、画像取得部２０は、表面処理した金属（銅）の表面を電子顕微鏡で撮像したＳＥＭ画像（グレースケール画像）を取得する。予測対象の素材を撮像した画像Ｇ１は、縦ピクセル数ｈ×横ピクセル数ｗの画像データである。
予測モデル２１は、素材を撮像した画像（例えばＳＥＭ画像、カメラ画像）とその素材に関する物性値（例えば密着強度）とを関連付けた教師データＤ１を用いて、画像を説明変数として入力し素材に関する物性値を出力するように機械学習で構築されたモデルである。学習システム１の学習部１０は、予測結果と教師データの実測値が一致するように、予測モデル２１のパラメータを更新する。図１において、教師データＤ１は、入力画像１～Ｎ（Ｎは学習用画像の数を示す）と、各々の入力画像１～Ｎに対応する実測値である物理量（Ｘ１，Ｘ２，…，ＸＮ）とが対応付けられている。
予測モデル２１は、種々のモデルが利用可能であるが、第１実施形態では、予測モデル２１は、入力画像から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を物性値（Ｙ）に変換する変換部２１ｂとを有する。第１実施形態では、特徴量マップ出力部２１ａは、ＵＮｅｔを用いている。ＵＮｅｔは、Ｕ字型の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）ベースの学習モデルである。変換部２１ｂは、ＧＡＰ（Global Average Pooling）を用いている。特徴量マップＧ２は、入力画像Ｇ１の縦ピクセルｈに対応するピクセル数ｈ’と、入力画像の横ピクセルｗに対応するピクセル数ｗ’とを乗算した数のピクセル数を有するデータであり、各々のピクセルが特徴量を有する。変換部２１ｂは、特徴量マップＧ２を１つの数である物理量（Ｙ）に変換する。
［実施例１］
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。
実施例１は、入力画像Ｇ１を、薬品処理後の銅箔を電子顕微鏡で撮像したＳＥＭ画像とした例である。図２は、ＳＥＭ画像の一例を示す。ＳＥＭ画像の撮像条件は、倍率は３５００倍、チルト角が４５度である。物理量は、密着強度［Ｎ／ｍｍ］とした。薬品Ａを用いて銅表面を処理した例である。９０枚の画像に対して９０個の密着強度を計測した。９０個のデータのうちの半数を学習用データとして使用し、残り半数のデータを予測に用いた。実測密着強度と予測値の平均二乗誤差が０．０００８であった。図３は、横軸が実測密着強度であり、縦軸が予測した密着強度であり、予測値と実測値の組み合わせのデータをプロットした図である。
［実施例２］
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
実施例２は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｂを用いて銅表面を処理した例である。７２枚の画像に対して７２個の密着強度を計測した。７２個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００１２であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例３］
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
実施例３は、実施例１と同様にＳＥＭ画像を入力画像Ｇ１とした。薬品Ｃを用いて銅表面を処理した例である。３９枚の画像に対して３９個の密着強度を計測した。３９個のうちの半数を学習用データとし、残り半数を予測用データとした。実測密着強度と予測値の平均二乗誤差が０．００２１であった。ＳＥＭ画像の撮像条件は実施例１と同じである。
［実施例４］
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。
実施例４は、実施例３のＳＥＭ画像を用いて、１枚のＳＥＭ画像から複数の物性値を推測するようにした例である。具体的には、１つのＵＮｅｔの出力を複数クラスに設定することで、同一のＵＮｅｔから複数の物性値を出力（計算）可能となる。複数の物性値は、密着強度、粗さパラメータ（Ｓｄｒ、Ｓｄｑ）である。密着強度を予測するための第１のＵＮｅｔと、Ｓｄｒを予測するための第２のＵＮｅｔと、Ｓｄｑを予測するための第３のＵＮｅｔとを並列化した構成である。密着強度の平均二乗誤差が０．００１であり、Ｓｄｒの平均二乗誤差が０．０００３であり、Ｓｄｑの平均二乗誤差が０．０８６８であった。
［実施例５］
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。
実施例５は、薬品Ｄを用いて銅表面を処理した例である。入力画像Ｇ１が、ＳＥＭ画像ではなく、光学カメラで撮像したカメラ画像である。カメラ画像は、黒色の背景を分離する処理のみを行っている。カメラ画像に含まれるＲＧＢ成分ごとに３つの単色画像に分け、３つの単色画像を予測モデル２１に入力する。物性値は、表面粗さＲａ（算術平均）とした。９６０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．０１５３であった。
なお、ＲＧＢ成分を有するカメラ画像をグレースケール画像に変換して、グレースケール画像の強度（明度）を予測モデル２１に入力することも可能である。グレースケール画像を入力した場合と、ＲＧＢ成分ごとに３つの単色画像を入力した場合に特筆すべき違いが見受けられなかったので、実施例５では、ＲＧＢ成分の方を用いた。
［実施例６］
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例６は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 明度指数Ｌ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は１１．０５であった。Ｌ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例７］
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例７は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ａ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．００６２であった。ａ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［実施例８］
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。
実施例８は、実施例５と同様にカメラ画像を入力画像Ｇ１としている。薬品Ｄを用いて銅表面を処理した例である。物性値は、ＣＩＥ１９７６ 色空間における色座標ｂ＊とした。３２０組のデータを用い、半数を教師データとし、残り半数を予測データに用いている。平均二乗誤差は０．１２９４であった。ｂ＊は、ＪＩＳＺ ８７８１－４に準拠している。
［素材の物性値の予測方法］
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。
上記予測システム２が実行する、素材の物性値の予測方法を、図４を用いて説明する。
まず、ステップＳＴ１において、画像取得部２０は、予測対象の素材を撮像した予測対象画像を取得する。第１実施形態では、ＳＥＭ画像かカメラ画像を取得する。次のステップＳＴ２，３において、取得した予測対象画像を予測モデル２１に入力して素材に関する物性値を出力する。具体的には、ステップＳＴ２において、特徴量マップ出力部２１ａは、予測対象画像が入力されて特徴量マップＧ２を出力する。ステップＳＴ３において、変換部２１ｂは、特徴量マップＧ２を素材に関する物性値に変換する。
＜変形例＞
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。
（１－１）図１に示す実施形態において、予測モデル２１は、特徴量マップＧ２を出力する特徴量マップ出力部２１ａで構成されているが、特徴量マップを出力せずに、物性値を出力するモデルであってもよい。例えば、ニューラルネットワークの一種であるＲｅｓＮｅｔを使用してもよい。もちろん、画像を処理可能な非線形モデルであれば利用可能である。
（１－２）上記実施形態において、物性値を予測する予測対象の素材は、薬品（エッチング剤、研磨液（化学、電解））などによる化学的反応処理により表面処理を施した金属（銅）の表面であるが、均一で微細な表面形状を持つ素材であれば、これに限定されない。例えば、研磨や圧延、レーザーなどの外力を作用させる機械加工処理により表面処理を施した金属表面であってもよい。各種顔料を分散・混合した塗料の塗装面であってもよい。またこの場合の塗料の性状（液体、粉体等）は限定されない。電解メッキ、無電解メッキ等によりメッキ処理した金属の表面であってもよい。添加剤を添加・分散させて成形加工を行ったフィルムの表面であってもよい。インク受容のための塗工層やその他機能性を与える塗工層を有した紙表面であってもよい。素材は限定されないが、カレンダー成形やエンボス成形等を用いて成形加工された素材表面であってもよい。
（１－３）上記実施形態において、素材に関する物性値として、密着強度を挙げているが、これに限定されない。例えば、密着性、接合性、気密性、撥水性、撥油性、防汚性、摺動性、表面性（光沢、粗度）、色調、感触、熱物性、抗菌性、伝送損失に関する物性値であってもよい。
（１－４）上記実施形態において、素材画像の対象としてＳＥＭ及びカメラにより取得した金属表面の画像を挙げているが、これに限定されない。波形やスペクトル、マッピンク画像、数字等、画像として取り込めるデータも対象となりえる。例として、顕微分光法（赤外、ラマン、UV-Vis等）やエネルギー分散型X線分光法（SEM-EDX）、また、非破壊検査に使用するような超音波検査により得られるスペクトルやそれを用いたマッピング画像等が挙げられる。
以上のように、第１実施形態の物性値予測方法は、１又は複数のプロセッサが実行する方法であって、予測対象の素材を撮像した予測対象画像Ｇ１を取得し、素材を撮像した画像を説明変数として素材に関する物性値（Ｙ）を出力するように機械学習された予測モデルに対して、予測対象画像Ｇ１を入力して予測対象画像Ｇ１に写る素材に関する物性値（Ｙ）を予測値として出力する、としてもよい。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。
このように、機械学習された予測モデル２１を用いて予測対象画像Ｇ１に写る素材（金属）に関する物性値を予測できるので、試験などで物性値を計測する場合に比べて、金銭コストや時間コストを削減可能となる。
特に限定されないが、第１実施形態のように、予測モデル２１は、入力される画像Ｇ１から特徴量マップＧ２を出力する特徴量マップ出力部２１ａと、特徴量マップＧ２を予測値に変換する変換部２１ｂと、を有する、としてもよい。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。
これにより、特徴量マップＧ２から予測値が得られるので、予測モデル２１が予測する根拠を特徴量マップＧ２で説明する試みが可能となる。
特に限定されないが、第１実施形態のように、撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、としてもよい。好適な一例である。
第１実施形態に係るシステムは、上記方法を実行する１又は複数のプロセッサを備える。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
第１実施形態に係るプログラムは、上記方法を１又は複数のプロセッサに実行させるプログラムである。
これらプログラムを実行することによっても、上記方法の奏する作用効果を得ることが可能となる。
以上、本開示の実施形態について図面に基づいて説明したが、具体的な構成は、これらの実施形態に限定されるものでないと考えられるべきである。本開示の範囲は、上記した実施形態の説明だけではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
上記の各実施形態で採用している構造を他の任意の実施形態に採用することは可能である。各部の具体的な構成は、上述した実施形態のみに限定されるものではなく、本開示の趣旨を逸脱しない範囲で種々変形が可能である。
例えば、特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中のフローに関して、便宜上「まず」、「次に」等を用いて説明したとしても、この順で実行することが必須であることを意味するものではない。
図１に示す各部は、所定プログラムを１又は複数のプロセッサで実行することで実現しているが、各部を専用メモリや専用回路で構成してもよい。上記実施形態のシステム１（２）は、一つのコンピュータのプロセッサ１ａ（２ａ）において各部が実装されているが、各部を分散させて、複数のコンピュータやクラウドで実装してもよい。すなわち、上記方法を１又は複数のプロセッサで実行してもよい。
システム１（２）は、プロセッサ１ａ（２ａ）を含む。例えば、プロセッサ１ａ（２ａ）は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、またはコンピュータ実行可能命令の実行が可能なその他の処理ユニットとすることができる。また、システム１（２）は、システム１（２）のデータを格納するためのメモリ１ｂ（２ｂ）を含む。一例では、メモリ１ｂ（２ｂ）は、コンピュータ記憶媒体を含み、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、あるいは所望のデータを格納するために用いることができ、そしてシステム１がアクセスすることができる任意の他の媒体を含む。
Ｇ１…予測対象画像
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部
Ｇ２…特徴量マップ
２…予測システム
２０…画像取得部
２１…予測モデル
２１ａ…特徴量マップ出力部
２１ｂ…変換部
２２…予測部
Claims (5)
- 予測対象の素材を撮像した予測対象画像を取得し、
素材を撮像した画像を説明変数として入力し前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力することを含み、
前記予測モデルは、入力される画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記予測値に変換する変換部と、を有し、
前記特徴量マップ出力部は、前記機械学習された学習モデルであり、
前記特徴量マップは、入力画像の縦ピクセルに対応するピクセル数と、入力画像の横ピクセルに対応するピクセル数とを乗算した数のピクセルを有するデータであり、各々の前記ピクセルが前記素材に関する物性値に関する特徴量を有し、
前記変換部は、前記特徴量マップを１つの数である前記予測値に変換する、物性値予測方法。 - 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項１に記載の物性値予測方法。
- 予測対象の素材を撮像した予測対象画像を取得する画像取得部と、
素材を撮像した画像を説明変数として入力し前記素材に関する物性値を出力するように機械学習された予測モデルに対して、前記予測対象画像を入力して前記予測対象画像に写る前記素材に関する物性値を予測値として出力する予測部と、
を備え、
前記予測モデルは、入力される画像から特徴量マップを出力する特徴量マップ出力部と、前記特徴量マップを前記予測値に変換する変換部と、を有し、
前記特徴量マップ出力部は、前記機械学習された学習モデルであり、
前記特徴量マップは、入力画像の縦ピクセルに対応するピクセル数と、入力画像の横ピクセルに対応するピクセル数とを乗算した数のピクセルを有するデータであり、各々の前記ピクセルが前記素材に関する物性値に関する特徴量を有し、
前記変換部は、前記特徴量マップを１つの数である前記予測値に変換する、物性値予測システム。 - 撮像される前記素材は、表面処理を施した金属の表面、塗料の塗装面、メッキ処理した金属の表面、フィルムの表面、紙表面、及び成形加工された素材表面のいずれかである、請求項４又は５に記載の物性値予測システム。
- 請求項１又は２に記載の方法を１又は複数のプロセッサに実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206742A JP7078944B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
| PCT/JP2022/043940 WO2023120061A1 (ja) | 2021-12-21 | 2022-11-29 | 物性値予測方法、及び物性値予測システム |
| TW111146957A TW202332957A (zh) | 2021-12-21 | 2022-12-07 | 物性值預測方法及物性值預測系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021206742A JP7078944B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7078944B1 true JP7078944B1 (ja) | 2022-06-01 |
| JP2023091892A JP2023091892A (ja) | 2023-07-03 |
Family
ID=81845517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021206742A Active JP7078944B1 (ja) | 2021-12-21 | 2021-12-21 | 物性値予測方法、物性値予測システム及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7078944B1 (ja) |
| TW (1) | TW202332957A (ja) |
| WO (1) | WO2023120061A1 (ja) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014039504A (ja) | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2018029568A (ja) | 2016-08-26 | 2018-03-01 | 国立大学法人静岡大学 | 萎れ具合予測システム及び萎れ具合予測方法 |
| JP2018171039A (ja) | 2017-03-31 | 2018-11-08 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び観察システム |
| US20190347526A1 (en) | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| JP2020041290A (ja) | 2018-09-07 | 2020-03-19 | 学校法人金沢工業大学 | コンクリートの最適締固め判定施工システム |
| WO2020116085A1 (ja) | 2018-12-05 | 2020-06-11 | ソニー株式会社 | 推定装置、推定方法、及び推定プログラム |
| JP2020128900A (ja) | 2019-02-07 | 2020-08-27 | 国立大学法人北海道大学 | ゴム材料の特性推定方法、システム及びプログラム |
| WO2020262615A1 (ja) | 2019-06-28 | 2020-12-30 | 関西ペイント株式会社 | 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム |
| JP2019124539A5 (ja) | 2018-01-15 | 2021-02-04 | ||
| JP2021051380A (ja) | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| JP2021060457A (ja) | 2019-10-03 | 2021-04-15 | 国立大学法人北海道大学 | ゴム材料の物性推定方法、システム及びプログラム |
| JP2021135199A (ja) | 2020-02-27 | 2021-09-13 | 太平洋セメント株式会社 | 骨材の品質推定方法およびコンクリート製造方法 |
| JP2021144402A (ja) | 2020-03-11 | 2021-09-24 | 株式会社ジェイテクト | 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法 |
| JP2021155984A (ja) | 2020-03-26 | 2021-10-07 | 前田道路株式会社 | アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7133927B2 (ja) * | 2018-01-15 | 2022-09-09 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
-
2021
- 2021-12-21 JP JP2021206742A patent/JP7078944B1/ja active Active
-
2022
- 2022-11-29 WO PCT/JP2022/043940 patent/WO2023120061A1/ja unknown
- 2022-12-07 TW TW111146957A patent/TW202332957A/zh unknown
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014039504A (ja) | 2012-08-23 | 2014-03-06 | Fuji Xerox Co Ltd | 画像処理装置、プログラム及び画像処理システム |
| JP2018029568A (ja) | 2016-08-26 | 2018-03-01 | 国立大学法人静岡大学 | 萎れ具合予測システム及び萎れ具合予測方法 |
| JP2018171039A (ja) | 2017-03-31 | 2018-11-08 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び観察システム |
| JP2019124539A5 (ja) | 2018-01-15 | 2021-02-04 | ||
| US20190347526A1 (en) | 2018-05-09 | 2019-11-14 | Adobe Inc. | Extracting material properties from a single image |
| JP2020041290A (ja) | 2018-09-07 | 2020-03-19 | 学校法人金沢工業大学 | コンクリートの最適締固め判定施工システム |
| WO2020116085A1 (ja) | 2018-12-05 | 2020-06-11 | ソニー株式会社 | 推定装置、推定方法、及び推定プログラム |
| JP2020128900A (ja) | 2019-02-07 | 2020-08-27 | 国立大学法人北海道大学 | ゴム材料の特性推定方法、システム及びプログラム |
| WO2020262615A1 (ja) | 2019-06-28 | 2020-12-30 | 関西ペイント株式会社 | 光輝性顔料判定方法、光輝性顔料判定装置および光輝性顔料判定プログラム |
| JP2021051380A (ja) | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
| JP2021060457A (ja) | 2019-10-03 | 2021-04-15 | 国立大学法人北海道大学 | ゴム材料の物性推定方法、システム及びプログラム |
| JP2021135199A (ja) | 2020-02-27 | 2021-09-13 | 太平洋セメント株式会社 | 骨材の品質推定方法およびコンクリート製造方法 |
| JP2021144402A (ja) | 2020-03-11 | 2021-09-24 | 株式会社ジェイテクト | 品質評価に用いられる学習モデルの製造方法、学習システム、品質評価システム、及び、品質評価方法 |
| JP2021155984A (ja) | 2020-03-26 | 2021-10-07 | 前田道路株式会社 | アスファルト混合物の成分情報推定システム、アスファルトプラント、及び、アスファルト混合物の成分情報推定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023120061A1 (ja) | 2023-06-29 |
| JP2023091892A (ja) | 2023-07-03 |
| TW202332957A (zh) | 2023-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhan et al. | No-reference image sharpness assessment based on maximum gradient and variability of gradients | |
| Haddadi et al. | Use of rigid-body motion for the investigation and estimation of the measurement errors related to digital image correlation technique | |
| JP5063076B2 (ja) | 光輝性顔料の同定方法、同定システム、同定プログラム及びその記録媒体 | |
| JP2011506961A5 (ja) | ||
| JP2019500588A (ja) | 塗料表面の質感パラメータを決定するための方法 | |
| Ren et al. | Fast defect inspection based on data-driven photometric stereo | |
| JP7078944B1 (ja) | 物性値予測方法、物性値予測システム及びプログラム | |
| Kwon et al. | Assessment of speckle-pattern quality using deep-learning-based CNN | |
| JP7076867B1 (ja) | 物性値予測方法、物性値予測システム及びプログラム | |
| US20230304941A1 (en) | System and method for assessing a coated surface with respect to surface defects | |
| TW202305349A (zh) | 評估方法、評估裝置及電腦程式 | |
| CN112862066A (zh) | 用于监控油漆的搅拌混合均匀性的神经网络的训练方法 | |
| CN114689604A (zh) | 具有光滑表面的待测物于光学检测上的影像处理方法及其检测系统 | |
| Fotos et al. | Deep learning enhanced Watershed for microstructural analysis using a boundary class semantic segmentation | |
| JP2024042521A (ja) | 色情報推定方法および色情報推定装置 | |
| JP2013213712A (ja) | 画質評価方法、画質評価装置および画質評価プログラム | |
| JP7128471B2 (ja) | 塗色評価用の等色範囲設定方法及び等色範囲設定装置 | |
| Rozsivalova et al. | Sequence of u-shaped convolutional networks for assessment of degree of delamination around scribe | |
| Del Campo et al. | Radial basis function neural network for the evaluation of image color quality shown on liquid crystal displays | |
| Wankhede et al. | A comparative study on the effect of grid printing methods and camera hardware in automatic strain measurement through CGA | |
| JP2007127451A (ja) | メタリック塗装表面評価方法および装置並びに評価基準標本 | |
| JP2012002532A (ja) | 劣化診断方法、劣化診断装置及び劣化診断プログラム | |
| Sole et al. | On the acquisition and reproduction of material appearance | |
| Vergara Villegas et al. | Radial Basis Function Neural Network for the Evaluation of Image Color Quality Shown on Liquid Crystal Displays | |
| JP2023120753A (ja) | 印刷適性評価装置および印刷適性評価方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211224 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20220106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220506 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7078944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |