WO2023139688A1

WO2023139688A1 - 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

Info

Publication number: WO2023139688A1
Application number: PCT/JP2022/001787
Authority: WO
Inventors: 翔太石井; 篤憲横田
Original assignee: 三菱重工エンジン＆ターボチャージャ株式会社
Priority date: 2022-01-19
Filing date: 2022-01-19
Publication date: 2023-07-27

Abstract

対象製品の画像から対象製品の欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、対象製品と同一又は類似した製品が撮影されたベース画像、及び上記製品に発生した欠陥が撮影された複数の欠陥画像であって、稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、上記ベース画像の一部に上記欠陥画像が貼り付けられた合成画像を、上記ベース画像の特徴を予め学習済みの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、上記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、上記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える。

Description

欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

　本開示は、欠陥診断モデルを作成するための欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムに関する。

　対象製品の画像を入力することで、上記対象製品における欠陥の有無の判定結果を出力する学習済みの欠陥診断モデルを用いて、対象製品の欠陥の有無を判定する技術が知られている。この欠陥診断モデルには、実際の対象製品の画像などの教師データを学習することで生成されるニューラルネットワークにより構成されたものがある。

　欠陥診断モデル（ニューラルネットワーク）に学習させるための教師データとして、様々な欠陥が写っている様々な画像を多量に用意する必要があるが発生頻度が低い欠陥（稀な欠陥）に対応した画像を多量に用意することは困難であるという問題がある。

　特許文献１には、不良品画像と欠陥領域のマスク画像を用いて機械学習させることで、指定した欠陥領域（マスク）に対して欠陥を生成する復元器（学習済みモデル）が開示されている。この復元器に、欠陥が発生する部位に対応するよう予め決められた欠陥候補領域を所定の領域とした画像（良品マスク画像）を入力することで、欠陥候補領域に欠陥を生成させた疑似欠陥画像（復元画像）が生成される。復元器により生成された疑似欠陥画像を、ニューラルネットワークの深層学習用の教師データとして利用する。

特開２０２１－４３８１６号公報

　特許文献１に記載の復元器は、その学習に多数の欠陥画像を用いるため、復元器において欠陥の特徴が均され、欠陥候補領域に尤もらしい欠陥を生成した疑似欠陥画像しか出力できない虞がある。すなわち、上記復元器は、発生頻度が低い稀な欠陥の画像を生成できない虞がある。上記復元器が生成した疑似欠陥画像を学習させた欠陥診断モデル（ニューラルネットワーク）は、稀な欠陥に対する欠陥の有無の判定精度が低い虞がある。また、欠陥診断モデル（ニューラルネットワーク）に実際の欠陥を撮影した画像を学習させた場合でも、教師データにおける稀な欠陥画像が占める割合が小さいため、稀な欠陥に対する欠陥の有無の判定精度が低い虞がある。これにより、特許文献１に記載の復元器が生成した疑似欠陥画像を学習させた欠陥診断モデルは、欠陥の有無の判定精度が低い虞がある。

　上述の事情に鑑みて、本発明の少なくとも一実施形態は、欠陥の有無の判定精度を向上できる欠陥診断モデルを作成できる欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムを提供することを目的とする。

　本発明の少なくとも一実施形態にかかる欠陥診断モデル作成装置は、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える。

　本発明の少なくとも一実施形態にかかる欠陥診断モデル作成方法は、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成方法であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、を備える。

　本発明の少なくとも一実施形態にかかる欠陥診断モデル作成プログラムは、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成プログラムであって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、をコンピュータに実行させるためのものである。

　本発明の少なくとも一実施形態によれば、欠陥の有無の判定精度を向上できる欠陥診断モデルを作成できる欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムが提供される。

一実施形態に係る欠陥診断モデル作成装置を含む欠陥診断システムの構成を概略的に示す概略構成図である。一実施形態において用いられる畳み込みニューラルネットワークを説明するための説明図である。一実施形態における復元器を説明するための説明図である。一実施形態において用いられる敵対的生成ネットワークを説明するための説明図である。一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。一実施形態における第１適合度評価モデルが出力する評価結果を説明するための説明図である。一実施形態における第２適合度評価モデルが出力する評価結果を説明するための説明図である。一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。一実施形態に係る欠陥診断モデル作成方法のフロー図である。

　以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。

（欠陥診断システム）
　図１は、一実施形態に係る欠陥診断モデル作成装置を含む欠陥診断システムの構成を概略的に示す概略構成図である。幾つかの実施形態に係る欠陥診断モデル１１は、欠陥診断システム１０に搭載される。欠陥診断モデル作成装置１は、対象製品の画像から上記対象製品における欠陥の有無を判定する欠陥診断モデル１１を作成するための装置である。欠陥診断システム１０は、図１に示されるように、欠陥診断モデル作成装置１と、欠陥診断モデル作成装置１が作成した学習済みの欠陥診断モデル１１を用いて対象製品の欠陥の有無を判定する欠陥診断装置２と、を含む。

（欠陥診断装置）
　欠陥診断装置２は、図１に示されるように、欠陥診断モデル作成装置１が作成した学習済みの欠陥診断モデル１１を記憶する欠陥診断モデル記憶部２１と、欠陥診断の検査対象である対象製品を撮影した画像である対象製品画像を取得する対象製品画像取得部２２と、欠陥診断モデル１１を用いて対象製品画像に欠陥があるか否かを判定し、判定結果を取得する欠陥診断部２３と、欠陥診断部２３が取得した判定結果を出力する判定結果出力部２４と、を備える。

　図２は、一実施形態において用いられる畳み込みニューラルネットワークを説明するための説明図である。欠陥診断モデル記憶部２１に記憶された欠陥診断モデル１１は、予め機械学習（深層学習を含む）により欠陥の特徴を学習済みの学習済みモデルであり、対象製品画像を入力することで、該対象製品画像（対象製品）に欠陥があるか否かを示す判定結果を出力するように構成されている。欠陥診断モデル１１は、図２に示されるような、入力層、１層以上の中間層及び出力層を含んで構成される畳み込みニューラルネットワーク（ニューラルネットワーク）を含む学習モデルに対する学習処理により生成されたものであってもよい。図２に示される実施形態では、畳み込みニューラルネットワークは、入力層に入力された入力画像に画像の特徴を抽出するフィルタを適用して特徴マップ（二次元データ）を取得する畳み込み層１０１、及び畳み込み層１０１が取得した特徴マップのサイズを圧縮するプーリング層１０２の組み合わせからなる複数組の中間層と、上記複数組の中間層を通して特徴部分が取り出された画像データを一つのノードに結合する全結合層１０３と、上記入力層と、上記出力層と、を含む。上記出力層は、上記判定結果として判定確率を出力するように構成されていてもよい。

　対象製品画像取得部２２は、欠陥診断装置２の外部から対象製品画像を取得するように構成されている。対象製品画像取得部２２は、例えば、入力インターフェースや通信インターフェースなどの情報通信機器であってもよいし、撮影装置などであってもよい。なお、対応製品画像は、対象製品の一部を撮影した画像であってもよい。

　欠陥診断部２３は、対象製品画像取得部２２が取得した対象製品画像（検査用画像）を、欠陥診断モデル記憶部２１に記憶された欠陥診断モデル１１に入力し、欠陥診断モデル１１が出力する上記判定結果を取得するように構成されている。判定結果出力部２４は、欠陥診断部２３が取得した判定結果を出力するように構成されている。判定結果出力部２４は、例えば、ディスプレイなどの表示装置やプリンタなどの印刷装置に上記判定結果を出力する出力インターフェースや、欠陥診断装置２の外部の情報端末に上記判定結果を出力する通信インターフェースなどであってもよい。上記対象製品は、種々の製品が適用可能である。上記対象製品は、例えば、ターボチャージャなど過給機であってもよいし、過給機の部品であるインペラやハウジングであってもよい。

（欠陥診断モデル作成装置）
　欠陥診断モデル作成装置１は、図１に示されるように、画像取得部３と、疑似欠陥画像生成部４と、教師データ取得部５と、欠陥診断モデル作成部６と、を備える。

（画像取得部）
　画像取得部３は、対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像ＢＩ、及び上記製品に発生した欠陥が撮影された複数の欠陥画像ＤＩを取得するように構成されている。対象製品に類似した製品とは、該製品又は該製品を撮影した撮影画像から抽出される特徴量が、対象製品又は対象製品を撮影した撮影画像から抽出される特徴量に対して相関係数が所定値以上の製品であってもよいし、欠陥診断モデル作成装置１の利用者が指定した製品であってもよい。上記特徴量は、色合い、テクスチャ、構造など製品の特徴を定量的に表した数字である。画像取得部３は、少なくとも１つのベース画像ＢＩ及び複数の欠陥画像ＤＩを欠陥診断モデル作成装置１の外部から取得する入力インターフェースや通信インターフェースなどの情報通信機器であってもよい。また、欠陥診断モデル作成装置１が図１に示されるような少なくとも１つのベース画像ＢＩ及び複数の欠陥画像ＤＩを記憶する画像データベース３１を備える場合には、画像取得部３は、画像データベース３１から少なくとも１つのベース画像ＢＩ及び複数の欠陥画像ＤＩを取得してもよい。画像データベース３１に記憶された画像は、画像中の欠陥の有無を示すラベルが関連付けられている。

（疑似欠陥画像生成部）
　疑似欠陥画像生成部４は、ベース画像ＢＩの一部に欠陥画像ＤＩが貼り付けられた合成画像ＣＩを、ベース画像ＢＩの特徴を予め学習済みの少なくとも１つの復元器７に入力することで疑似欠陥画像ＰＤＩを生成するように構成されている。図１に示される実施形態では、疑似欠陥画像生成部４は、画像取得部３が取得したベース画像ＢＩ及び欠陥画像ＤＩから合成画像ＣＩを作成するように構成された合成画像作成部４１と、少なくとも１つの復元器７を記憶する復元器記憶部４２と、少なくとも１つの復元器７を用いて合成画像ＣＩから疑似欠陥画像ＰＤＩを生成するように構成された画像生成部４３と、画像生成部４３において生成された疑似欠陥画像ＰＤＩを記憶する疑似欠陥画像記憶部４４と、を含む。

　ベース画像ＢＩは、対象製品と同一又は類似した製品であって、欠陥が発生していない上記製品が撮影された画像である。欠陥画像ＤＩは、上記製品に発生した欠陥が撮影された画像である。なお、欠陥画像ＤＩ中に含まれる欠陥は、き裂などの上記製品の外部から目視可能な欠陥だけでなく、内面減肉などの上記製品の外部から目視不能な欠陥であってもよい。合成画像作成部４１は、欠陥を含まないベース画像ＢＩの画像領域のうちの一部の画像領域に、欠陥を含む欠陥画像ＤＩを貼り付けることで、欠陥を含む合成画像ＣＩを作成する。

　復元器記憶部４２に記憶された少なくとも１つの復元器７は、予め機械学習（深層学習を含む）によりベース画像ＢＩの特徴を学習済みであり、合成画像ＣＩを入力することで、合成画像ＣＩ中の欠陥画像ＤＩを欠陥画像ＤＩの周囲のベース画像ＢＩに馴染ませる画像処理が施された画像である疑似欠陥画像ＰＤＩを出力するように構成されている。復元器７による画像処理は、合成画像ＣＩの画像領域のうち、欠陥画像ＤＩが貼り付けられた画像領域だけでなく、欠陥画像ＤＩの周囲のベース画像ＢＩの画像領域に対しても行われる。疑似欠陥画像ＰＤＩは、上記画像処理が施された欠陥画像ＤＩを含む。

　画像生成部４３は、合成画像作成部４１が作成した合成画像ＣＩを、復元器記憶部４２に記憶された少なくとも１つの復元器７に入力し、少なくとも１つの復元器７が出力する疑似欠陥画像ＰＤＩを取得するように構成されている。画像生成部４３において生成された疑似欠陥画像ＰＤＩは、疑似欠陥画像記憶部４４に記憶される。なお、ベース画像ＢＩごとに該ベース画像ＢＩに関連付けられた復元器７、すなわち、該ベース画像ＢＩの特徴を学習済みの復元器７が生成される。画像生成部４３は、合成画像ＣＩに含まれるベース画像ＢＩに関連付けられた復元器７に、上記合成画像ＣＩを入力することが好ましい。

　図３は、一実施形態における復元器を説明するための説明図である。図４は、一実施形態において用いられる敵対的生成ネットワークを説明するための説明図である。上記少なくとも１つの復元器７は、実際の画像における特徴を抽出し、抽出した特徴から偽画像を生成する生成器Ｇと、生成器Ｇが生成した偽画像が本物か否かを識別する識別器Ｄと、を含んで構成される敵対的生成ネットワークに対する学習処理により生成されたものであってもよい。上記少なくとも１つの復元器７は、敵対的生成ネットワークにおける生成器Ｇを含み、敵対的生成ネットワークにおける識別器Ｄを含まないものである。

　図４に示される実施形態では、敵対的生成ネットワークは、複数層の生成器Ｇ（Ｇ０、Ｇ１、Ｇ２、Ｇ３、・・・、Ｇｎ）と複数層（生成器Ｇと同数）の識別器Ｄとを含み、複数層の生成器Ｇ（Ｇｎ）の夫々は、前層（Ｇｎ－１）及び前々層（Ｇｎ－２）の生成器Ｇを同時に学習するように構成されている。例えば、第３層の生成器Ｇ３は、前層である第２層Ｇ２及び前々層である第１層Ｇ１の生成器Ｇを同時に学習する。この際に、前層Ｇ２（Ｇｎ－１）の生成器Ｇの学習率は、その層Ｇ３（Ｇｎ）の生成器Ｇの学習率に対して分数倍（図示例では、１／１０）になっており、前々層Ｇ１（Ｇｎ－２）の生成器Ｇは、前層Ｇ２（Ｇｎ－１）の生成器Ｇの学習率に対して分数倍（図示例では、１／１０）になっている。複数層の識別器Ｄは、後層になるに連れて識別する画像（識別器Ｄと同じ層の生成器Ｇが生成した偽画像及び実際の画像）のサイズが大きくなっている。

（教師データ取得部）
　教師データ取得部５は、疑似欠陥画像ＰＤＩの複数から構成される疑似欠陥画像群ＰＤＩＧを含む教師データＴＤを取得するように構成されている。教師データ取得部５は、疑似欠陥画像記憶部４４に記憶された複数の疑似欠陥画像ＰＤＩを取得する。教師データ取得部５が取得した複数の疑似欠陥画像ＰＤＩからなる疑似欠陥画像群ＰＤＩＧが教師データＴＤとなる。

　なお、画像データベース３１は、対象製品と同一又は類似した製品が撮影された画像である実撮影画像ＡＳＩを記憶していてもよい。画像データベース３１に記憶された実撮影画像ＡＳＩは、欠陥が発生している上記製品が撮影された画像だけでなく、欠陥が発生していない上記製品が撮影された画像を含んでいてもよい。教師データ取得部５は、疑似欠陥画像群ＰＤＩＧだけでなく、画像データベース３１に記憶された少なくとも１つの実撮影画像ＡＳＩを教師データＴＤとして取得するように構成されていてもよい。

（欠陥診断モデル作成部）
　欠陥診断モデル作成部６は、教師データＴＤを学習させることで欠陥診断モデル１１を作成するように構成されている。欠陥診断モデル作成部６は、上述した畳み込みニューラルネットワーク（ニューラルネットワーク）を含む学習モデルに対する学習処理により欠陥診断モデル１１を生成してもよい。欠陥診断モデル作成部６において作成された欠陥診断モデル１１は、上述した欠陥診断モデル記憶部２１に記憶される。

　幾つかの実施形態に係る欠陥診断モデル作成装置１は、図１に示されるように、上述した画像取得部３と、上述した疑似欠陥画像生成部４と、上述した教師データ取得部５と、上述した欠陥診断モデル作成部６と、を備える。上述した複数の欠陥画像ＤＩは、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像ＲＤＩを含む。予めサンプリングされた複数の欠陥の発生確率の分布を近似して得られる正規分布に基づいて設定される範囲のうち、上記サンプリングされた欠陥の発生確率から算出される標準偏差σ以上の範囲（＋σ以上又は－σ以下）に属する欠陥を稀な欠陥としてもよい。２σ以上の範囲（＋２σ以上又は－２σ以下）に属する欠陥を稀な欠陥とすることが好ましい。

　上記の構成によれば、上記少なくとも１つの復元器７は、ベース画像ＢＩの特徴（色合い、テクスチャ、構造など）を予め学習しているため、ベース画像ＢＩに意図的に合成した欠陥画像ＤＩを該ベース画像ＢＩに違和感なく調和させた疑似欠陥画像ＰＤＩを生成できる。合成画像ＣＩは、ベース画像ＢＩの一部に欠陥画像ＤＩを貼り付けることで生成できるので、合成画像ＣＩを生成する際に、欠陥画像ＤＩの欠陥の加工（拡大・縮小、回転、アスペクト比変更、フリップ、スキューなど）や、合成画像ＣＩにおける欠陥の位置の変更、合成画像ＣＩに含まれる欠陥の種類の変更が容易である。欠陥診断モデル作成装置１は、合成画像ＣＩの素となる欠陥画像ＤＩに欠陥の形状が稀である稀な欠陥画像ＲＤＩを含ませることで、稀な欠陥を有する合成画像ＣＩや疑似欠陥画像ＰＤＩを生成でき、生成した稀な欠陥を有する疑似欠陥画像ＰＤＩを教師データＴＤとして使用できる。これにより、欠陥診断モデル作成装置１は、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データＴＤを欠陥診断モデル１１に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル１１を作成できる。

　図５は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図５に示されるように、疑似欠陥画像群ＰＤＩＧにおける複数の欠陥画像ＤＩに含まれる稀な欠陥画像ＲＤＩの割合を調整するように構成された画像の組み合わせ調整部８をさらに備える。

　疑似欠陥画像群ＰＤＩＧを構成する複数の疑似欠陥画像ＰＤＩの夫々は、欠陥画像ＤＩを含む。或る実施形態では、画像の組み合わせ調整部８は、教師データ取得部５が取得する疑似欠陥画像群ＰＤＩＧ（複数の疑似欠陥画像ＰＤＩ）のうち、稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩの占める割合が予め設定された所定の上下限範囲内に収まるように調整する。具体的には、画像の組み合わせ調整部８は、教師データ取得部５が取得する疑似欠陥画像群ＰＤＩＧのうち、稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩの占める割合が下限閾値に満たない場合に、稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩの占める割合を増加させ、稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩの占める割合が上限閾値を超える場合に、稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩの占める割合を減少させる。なお、画像の組み合わせ調整部８における上記上下限範囲（上限閾値及び下限閾値）は、手動で設定されるようになっていてもよいし、後述する割合決定部８２などにより自動で設定されるようになっていてもよい。

　上記の構成によれば、画像の組み合わせ調整部８により、疑似欠陥画像群ＰＤＩＧに含まれる稀な欠陥画像ＲＤＩ（を含む疑似欠陥画像ＰＤＩ）の割合を増やすことで、稀な欠陥画像ＲＤＩが教師データＴＤに占める割合を増やすことができるため、欠陥診断モデル１１の稀な欠陥画像ＲＤＩに対する識別精度を向上させることができる。

　幾つかの実施形態では、上述した画像の組み合わせ調整部８は、欠陥診断モデル１１の検出精度を評価する検出精度評価部８１と、検出精度評価部８１の評価結果に基づいて、欠陥診断モデル１１の検出精度が所定以上の検出精度になるように稀な欠陥画像ＲＤＩの割合を決定する割合決定部８２と、を含む。

　検出精度評価部８１は、画像データベース３１に記憶された実撮影画像ＡＳＩや疑似欠陥画像記憶部４４に記憶された疑似欠陥画像ＰＤＩなどの欠陥の有無が予め判明している画像（上記ラベルが関連付けられた画像）が欠陥診断モデル１１に入力された際に、欠陥診断モデル１１が適切な判定結果を出力しているかを定量的に評価し、評価結果を検出精度として出力する。検出精度評価部８１は、例えば、欠陥診断モデル１１の判定結果の正答率を検出精度として出力してもよい。検出精度評価部８１は、欠陥画像ＤＩ（稀な欠陥画像ＲＤＩ）に含まれる欠陥の種類ごとに検出精度を出力してもよい。割合決定部８２は、検出精度評価部８１の評価結果として出力する欠陥診断モデル１１の検出精度が、所定以上の検出精度になるように稀な欠陥画像ＲＤＩが教師データＴＤに占める割合を決定する。

　検出精度評価部８１は、稀な欠陥画像ＲＤＩと稀な欠陥画像ＲＤＩではない欠陥画像ＤＩの評価結果を別々に出力するように構成されていてもよい。割合決定部８２は、検出精度評価部８１が出力する稀な欠陥画像ＲＤＩに対する欠陥診断モデル１１の検出精度が、所定以上の検出精度になるように稀な欠陥画像ＲＤＩの上記割合を決定してもよい。また、割合決定部８２は、検出精度評価部８１が出力する稀な欠陥画像ＲＤＩに対する欠陥診断モデル１１の検出精度及び稀な欠陥画像ＲＤＩではない欠陥画像ＤＩに対する欠陥診断モデル１１の検出精度の両方が、所定以上の検出精度になるように稀な欠陥画像ＲＤＩの上記割合を決定してもよい。検出精度評価部８１が、欠陥画像ＤＩ（稀な欠陥画像ＲＤＩ）に含まれる欠陥の種類ごとに検出精度を出力する場合には、全ての種類の欠陥に対する欠陥診断モデル１１の検出精度が、所定以上の検出精度になるように稀な欠陥画像ＲＤＩの上記割合を決定してもよい。具体的には、検出精度評価部８１は、稀な欠陥の検出精度が悪い場合には、稀な欠陥画像ＲＤＩの割合を増やす。また、検出精度評価部８１は、稀な欠陥画像ＲＤＩの割合を増やすことで、稀ではない欠陥の検出精度が悪くなっている場合には、稀な欠陥画像ＲＤＩの割合を減らす。

　上記の構成によれば、割合決定部８２が、検出精度評価部８１の評価結果に基づいて、欠陥診断モデル１１の検出精度が所定以上の検出精度になるように稀な欠陥画像ＲＤＩの割合を決定することで、欠陥診断モデル１１の検出精度を向上できるように、稀な欠陥画像ＲＤＩが教師データＴＤに占める割合を調整できるため、欠陥診断モデル１１の稀な欠陥に対する識別精度を向上させることができる。

（複数の復元器）
　幾つかの実施形態では、図１に示されるように、上述した少なくとも１つの復元器７は、第１ベース画像ＢＩ１の特徴を予め学習済みの第１復元器７Ａと、第１ベース画像ＢＩ１とは特徴が異なる第２ベース画像ＢＩ２の特徴を予め学習済みの第２復元器７Ｂと、を含む。ここで、ベース画像ＢＩの特徴が異なるとは、欠陥診断モデル作成装置１の利用者が異なるベース画像ＢＩであると判断できる程度のものを意味する。第２ベース画像ＢＩ２から抽出される特徴量と、比較対象である第１ベース画像ＢＩ１から抽出される特徴量との間の関係の強さを示す相関係数が所定値未満の場合に、第２ベース画像ＢＩ２は第１ベース画像ＢＩ１とは特徴が異なると判断してもよい。

　第２ベース画像ＢＩ２は、第１ベース画像ＢＩ１と同一の上記製品を撮影した撮影画像であってもよい。使用後の製品に対する目視検査では、製品の使用条件（使用する環境下）により、使用前の製品に比べて、表面の色合いの違いや、特徴的な形状変化があるため、製品の使用条件に対応したベース画像ＢＩの特徴を学習済みの復元器７を用意することが好ましい。また、対象製品に品質のバラツキが生じる場合には、各バラツキに対応できるように複数の復元器７を用意することが好ましい。

　画像データベース３１は、複数のベース画像ＢＩ（ＢＩ１、ＢＩ２、ＢＩ３）を記憶しており、画像取得部３は、画像データベース３１から複数のベース画像ＢＩ（ＢＩ１、ＢＩ２、ＢＩ３）を取得してもよい。画像生成部４３は、各復元器７（７Ａ、７Ｂ）に入力した合成画像ＣＩの数だけ、入力した合成画像ＣＩに対応する疑似欠陥画像ＰＤＩを生成する。画像生成部４３は、第１ベース画像ＢＩ１を元に作成した合成画像ＣＩを、第１ベース画像ＢＩ１の特徴を予め学習済みの第１復元器７Ａに入力し、且つ第２ベース画像ＢＩ２を元に作成した合成画像ＣＩを、第２ベース画像ＢＩ２の特徴を予め学習済みの第２復元器７Ｂに入力するように構成されている。

　上記の構成によれば、欠陥診断モデル作成装置１は、個々に特徴が異なるベース画像ＢＩ１、ＢＩ２の特徴を予め学習した複数の復元器７（第１復元器７Ａ、第２復元器７Ｂ）を備えるので、個々に特徴が異なるベース画像ＢＩ１、ＢＩ２に対応した疑似欠陥画像ＰＤＩを生成できる。これにより、欠陥診断モデル作成装置１が生成できる疑似欠陥画像ＰＤＩの種類を増やし、教師データＴＤに幅を持たせることができるため、欠陥診断モデル１１の欠陥識別精度を向上させることができる。

（低画素化処理部、高画素化処理部）
　幾つかの実施形態では、図１に示されるように、上述した少なくとも１つの復元器７（図示例では、複数）は、ベース画像ＢＩを縮小化処理することにより縮小化した縮小ベース画像ＲＢＩの特徴を学習するように構成されている。復元器７の教師データとして縮小ベース画像ＲＢＩが用いられる。上述した欠陥診断モデル作成装置１は、ベース画像ＢＩ及び欠陥画像ＤＩの組み合わせ、又は合成画像ＣＩの少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部１２と、疑似欠陥画像ＰＤＩに対して高画素化処理を実行するように構成された高画素化処理部１３と、をさらに備える。

　低画素化処理部１２は、ベース画像ＢＩ及び欠陥画像ＤＩの組み合わせ、又は合成画像ＣＩの少なくとも一方に対して、その画像サイズ（画素数）が、縮小ベース画像ＲＢＩの画像サイズ（画素数）に対して同一又は類似する画像サイズ（画素数）になるように低画素化処理を実行する。或る実施形態では、縮小ベース画像ＲＢＩの画像サイズ（画素数）をＩＳ１と定義し、低画素化処理が行われたベース画像ＢＩ又は合成画像ＣＩの画像サイズ（画素数）をＩＳ２と定義したときに、ＩＳ１×０．９≦ＩＳ２≦ＩＳ１×１．１の条件を満たす。低画素化処理部１２は、欠陥の消失や劣化を回避するために、低画素化の下限制限を設けることが好ましい。復元器７で処理できる画像サイズ（ＧＰＵ（グラフィックカード）のメモリ容量）とベース画像ＢＩとで縮小率（上記下限制限）が決定される。低画素化処理部１２における低画素化処理方法としては、面積平均法（平均画素法）、二アレストネイバー法（最近傍補間）、バイリニア法（線形補間）、バイキュービック法、Ｌａｎｃｚｏｓ３などが挙げられる。

　高画素化処理部１３は、低画素化処理が行われたベース画像ＢＩ及び欠陥画像ＤＩの組み合わせ、又は低画素化処理が行われた合成画像ＣＩから生成された疑似欠陥画像ＰＤＩに対して高画素化（超解像化）処理を実行する。高画素化処理部１３は、疑似欠陥画像ＰＤＩの画像サイズ（画素数）が、検査用画像の画像サイズ（画素数）に対して同一又は類似する画像サイズ（画素数）になるように高画素化処理を実行する。高画素化処理部１３により高画素化処理された疑似欠陥画像ＰＤＩを含む教師データＴＤとして欠陥診断モデル１１を作成することで、欠陥診断モデル１１が高画素での検査に対応できるようになる。高画素化処理部１３における高画素化処理方法としては、ＳＲＣＮＮ（Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、ＦＳＲＣＮＮ（Ｆａｓｔ　Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）などが挙げられる。

　上記の構成によれば、少なくとも１つの復元器７は、縮小ベース画像ＲＢＩの特徴を学習するので、縮小化処理される前のベース画像ＢＩの特徴を学習する場合に比べて、学習に用いるハードウェアに要求される性能を抑えることができる。疑似欠陥画像ＰＤＩとして生成できる画像サイズは、復元器７が学習した画像サイズに依存するので、低画素化処理部１２において、復元器７に入力される合成画像ＣＩ又は合成画像ＣＩの素となるベース画像ＢＩと欠陥画像ＤＩの組み合わせに対して低画素化処理が行われる。対象製品のサイズが大きく欠陥が小さい製品については、高画素での検査が望ましいので、高画素での検査に対応できるように、高画素化処理部１３において、欠陥診断モデル１１の教師データＴＤとなる疑似欠陥画像ＰＤＩに対する高画素化処理が行われる。上記の構成によれば、低画素化処理部１２及び高画素化処理部１３を設けることで、ハードウェアの性能により適用できない製品（具体的には、画像サイズが大きく、欠陥が小さい製品。つまり、画像サイズを上げないと撮影できない製品）の疑似欠陥画像ＰＤＩの生成が可能になり、欠陥診断モデル作成装置１が適用可能な製品を増やすことができる。

　なお、低画素化処理部１２における低画素化の下限制限を設けることで、画像サイズが大きい対象製品に小さな欠陥が生じた場合でも、疑似欠陥画像ＰＤＩの生成時における欠陥の消失や劣化を回避しつつ、生成される疑似欠陥画像ＰＤＩの品質の維持が出来るようになる。

　幾つかの実施形態では、上述した少なくとも１つの復元器７（図示例では、複数）は、ベース画像ＢＩから直接的に、ベース画像ＢＩの特徴を学習するように構成されていてもよい。復元器７の教師データとしてベース画像ＢＩが用いられる。この場合には、上述した欠陥診断モデル作成装置１は、低画素化処理部１２と、高画素化処理部１３と、を備えていなくてもよい。

（第１適合度評価部）
　図６は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図６に示されるように、第１適合度評価モデル１５及び第１不適合画像除去部１６を含む第１適合度評価部１４をさらに備える。

　第１適合度評価モデル１５は、欠陥が発生した上記製品（対象製品と同一又は類似した製品）が撮影された欠陥あり画像、及び欠陥が発生していない上記製品が撮影された欠陥なし画像を含む適合度評価用教師データＧＦＥを予め学習させた学習済みモデルからなる。第１適合度評価モデル１５は、実際に撮影された画像（欠陥あり画像及び欠陥なし画像）を含む適合度評価用教師データＧＦＥを学習済みであり、疑似欠陥画像ＰＤＩを入力することで、入力された疑似欠陥画像ＰＤＩの実際に撮影された画像との類似度を定量的に評価し、評価結果を適合度として出力する。第１適合度評価モデル１５に入力された疑似欠陥画像ＰＤＩの実際に撮影された画像に対する類似度が高い程、第１適合度評価モデル１５において出力される適合度が高くなる。

　第１適合度評価モデル１５は、図２に示されるような、入力層、１層以上の中間層及び出力層を含んで構成される畳み込みニューラルネットワーク（ニューラルネットワーク）を含む学習モデルに対する学習処理により生成されたものであってもよい。

　図７は、一実施形態における第１適合度評価モデルが出力する評価結果を説明するための説明図である。図示される実施形態では、第１適合度評価モデル１５が出力する評価結果（適合度）は、０（下限値）以上１（上限値）以下の範囲に含まれる数値であり、第１適合度評価モデル１５に入力された疑似欠陥画像ＰＤＩの実際に撮影された画像に対する類似度が高い程、上記適合度（第１適合度ＤＣ１）は、上限値である１に近づくようになっている。

　第１不適合画像除去部１６は、上述した高画素化処理部１３によって高画素化処理が実行された疑似欠陥画像ＰＤＩの内、第１適合度評価モデル１５における適合度（第１適合度ＤＣ１）が第１閾値ＦＴに満たない疑似欠陥画像ＰＤＩを教師データＴＤの候補から除外するように構成されている。第１適合度ＤＣ１が第１閾値ＦＴに満たない疑似欠陥画像ＰＤＩは、復元器７や高画素化処理部１３などにおいて異常な出力となっており、教師データＴＤとして適切でないので、第１不適合画像除去部１６において教師データＴＤの候補から取り除かれる。これにより、教師データＴＤに含まれる複数の疑似欠陥画像ＰＤＩの夫々は、第１適合度ＤＣ１が第１閾値ＦＴ以上の条件を満たすものになっている。

　上記の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データＧＦＥを予め学習させた第１適合度評価モデル１５により、復元器７から出力されて高画素化処理が実行された疑似欠陥画像ＰＤＩの品質（疑似欠陥画像ＰＤＩが物理的に発生しうる現実に即した画像であるか否か）を評価することができる。第１不適合画像除去部１６により、第１適合度評価モデル１５における適合度が不足する（第１閾値ＦＴに満たない）疑似欠陥画像ＰＤＩを教師データＴＤの候補から除外できる。これにより、欠陥診断モデル１１が物理的に発生しない非現実的な欠陥画像ＤＩを含む疑似欠陥画像ＰＤＩを教師データＴＤとして学習して欠陥の診断精度を低下させることを抑制できる。

　仮に第１閾値ＦＴが高すぎると、第１不適合画像除去部１６において発生頻度が低い稀な欠陥画像ＲＤＩが教師データＴＤの候補から除外される虞がある。この場合には、欠陥診断モデル１１が上記稀な欠陥画像ＲＤＩを学習できなくなるので、上記稀な欠陥画像ＲＤＩに対する欠陥診断モデル１１の検出精度が低下する虞がある。また、第１閾値ＦＴが低すぎると、第１不適合画像除去部１６において非現実的な欠陥画像ＤＩが教師データＴＤの候補から除外されない虞がある。この場合には、欠陥診断モデル１１が非現実的な欠陥画像ＤＩを学習して、欠陥の診断精度を低下させる虞がある。このため、第１閾値ＦＴの最適化が求められる。なお、第１閾値ＦＴは、手動で設定されるようになっていてもよいし、後述する第１閾値調整部９１などにより自動で設定されるようになっていてもよい。

（第１閾値調整部）
　幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図６に示されるように、上述した欠陥診断モデル１１の検出精度を考慮して、上述した第１閾値ＦＴを調整するように構成された第１閾値調整部９１をさらに備える。

　上述した欠陥診断部２３及び判定結果出力部２４により、欠陥診断モデル１１による欠陥の有無の判定結果が出力される。欠陥診断モデル作成装置１は、欠陥診断モデル作成装置１や欠陥診断装置２（画像データベース３１など）に存在する、検出精度評価部８１において精度が不足している画像に近い疑似欠陥画像ＰＤＩ及び欠陥あり画像（実撮影画像ＡＳＩ）を調査し、教師データＴＤに追加する画像を決定する。その後、第１閾値調整部９１による第１閾値ＦＴの変更が行われた後に、疑似欠陥画像ＰＤＩの生成及び教師データＴＤへの追加が行われ、欠陥診断モデル１１が再構成される。再構成された欠陥診断モデル１１を用いて、欠陥の有無の判定が行われる。

　或る実施形態では、第１閾値調整部９１は、各々数値が異なる複数の第１閾値ＦＴを用意し、複数の第１閾値ＦＴを設定することで得られる欠陥診断モデル１１の検出精度（例えば、検出精度評価部８１が出力する評価結果）を比較し、欠陥診断モデル１１の検出精度が高くなる第１閾値ＦＴの最適値を求めるように構成されていてもよい。第１閾値調整部９１は、第１閾値ＦＴの最適値を複数回に亘り繰り返し求めるように構成されていてもよい。

　上記の構成によれば、第１閾値調整部９１において、欠陥診断モデル１１の検出精度を考慮して第１閾値ＦＴを調整することで、第１不適合画像除去部１６において、教師データＴＤの候補として稀な欠陥画像ＲＤＩを含む疑似欠陥画像ＰＤＩを残しつつ、非現実的な欠陥画像ＤＩを含む疑似欠陥画像ＰＤＩを教師データＴＤの候補から精度良く除去できる。これにより、欠陥診断モデル１１の検出精度の向上が図れる。

（第２適合度評価部）
　幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図６に示されるように、第２適合度評価モデル１８及び第２不適合画像除去部１９を含む第２適合度評価部１７をさらに備える。

　第２適合度評価モデル１８は、欠陥が発生した上記製品（対象製品と同一又は類似した製品）が撮影された欠陥あり画像、及び欠陥が発生していない上記製品が撮影された欠陥なし画像を含む適合度評価用教師データＧＦＥを予め学習させた学習済みモデルからなる。適合度評価用教師データＧＦＥは、画像データベース３１に記憶されている。第２適合度評価モデル１８は、実際に撮影された画像（欠陥あり画像及び欠陥なし画像）を含む適合度評価用教師データＧＦＥを学習済みであり、合成画像ＣＩを入力することで、入力された合成画像ＣＩの実際に撮影された画像との類似度を定量的に評価し、評価結果を適合度として出力する。第２適合度評価モデル１８に入力された合成画像ＣＩの実際に撮影された画像に対する類似度が高い程、第２適合度評価モデル１８において出力される適合度が高くなる。

　図８は、一実施形態における第２適合度評価モデルが出力する評価結果を説明するための説明図である。図示される実施形態では、第２適合度評価モデル１８が出力する評価結果（適合度）は、０（下限値）以上１（上限値）以下の範囲に含まれる数値であり、第２適合度評価モデル１８に入力された合成画像ＣＩの実際に撮影された画像に対する類似度が高い程、上記適合度（第２適合度ＤＣ２）は、上限値である１に近づくようになっている。

　第２不適合画像除去部１９は、第２適合度評価モデル１８における適合度（第２適合度ＤＣ２）が第２閾値ＳＴに満たない合成画像ＣＩを教師データＴＤの候補から除外するように構成されている。第２適合度評価モデル１８に入力される合成画像ＣＩは、図６中実線で示されるような、低画素化処理部１２における低画素化処理が行われる前の合成画像ＣＩであってもよいし、図６中点線で示されるような、低画素化処理部１２における低画素化処理が行われた後の合成画像ＣＩであってもよい。第２適合度ＤＣ２が第２閾値ＳＴに満たない合成画像ＣＩは、合成画像作成部４１や低画素化処理部１２などにおいて異常な出力となっており、教師データＴＤとして適切でないので、第２不適合画像除去部１９において教師データＴＤの候補から取り除かれる。これにより、教師データＴＤに含まれる複数の疑似欠陥画像ＰＤＩの夫々は、第２適合度ＤＣ２が第２閾値ＳＴ以上の条件を満たすものになっている。

　上記の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データＧＦＥを予め学習させた第２適合度評価モデル１８により、合成画像ＣＩの品質（合成画像ＣＩ又は疑似欠陥画像ＰＤＩが物理的に発生しうる現実に即した画像であるか否か）を評価することができる。第２不適合画像除去部１９により、第２適合度評価モデル１８における適合度が不足する（第２閾値に満たない）合成画像ＣＩ（例えば、実際に発生しない部位に欠陥がある合成画像）を教師データＴＤの候補から除外できる。これにより、欠陥診断モデル１１が物理的に発生しない非現実的な欠陥画像ＤＩを含む疑似欠陥画像ＰＤＩを教師データＴＤとして学習して欠陥の診断精度を低下させることを抑制できる。

　仮に第２閾値ＳＴが高すぎると、第２不適合画像除去部１９において発生頻度が低い稀な欠陥画像ＲＤＩが教師データＴＤの候補から除外される虞がある。この場合には、欠陥診断モデル１１が上記稀な欠陥画像ＲＤＩを学習できなくなるので、上記稀な欠陥画像ＲＤＩに対する欠陥診断モデル１１の検出精度が低下する虞がある。また、第２閾値ＳＴが低すぎると、第２不適合画像除去部１９において非現実的な欠陥画像ＤＩが教師データＴＤの候補から除外されない虞がある。この場合には、欠陥診断モデル１１が非現実的な欠陥画像ＤＩを学習して、欠陥の診断精度を低下させる虞がある。このため、第２閾値ＳＴの最適化が求められる。なお、第２閾値ＳＴは、手動で設定されるようになっていてもよいし、後述する第２閾値調整部９２などにより自動で設定されるようになっていてもよい。

（第２閾値調整部）
　幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図６に示されるように、欠陥診断モデル１１の検出精度を考慮して、第２閾値ＳＴを調整するように構成された第２閾値調整部９２をさらに備える。

　上述したように、欠陥診断モデル作成装置１は、欠陥診断モデル作成装置１や欠陥診断装置２（画像データベース３１など）に存在する、検出精度評価部８１において精度が不足している画像に近い疑似欠陥画像ＰＤＩ及び欠陥あり画像（実撮影画像ＡＳＩ）を調査し、教師データＴＤに追加する画像を決定する。その後、第２閾値調整部９２による第２閾値ＳＴの変更が行われた後に、疑似欠陥画像ＰＤＩの生成及び教師データＴＤへの追加が行われ、欠陥診断モデル１１が再構成される。再構成された欠陥診断モデル１１を用いて、欠陥の有無の判定が行われる。

　或る実施形態では、第２閾値調整部９２は、各々数値が異なる複数の第２閾値ＳＴを用意し、複数の第２閾値ＳＴを設定することで得られる欠陥診断モデル１１の検出精度（例えば、検出精度評価部８１が出力する評価結果）を比較し、欠陥診断モデル１１の検出精度が高くなる第２閾値ＳＴの最適値を求めるように構成されていてもよい。第２閾値調整部９２は、第２閾値ＳＴの最適値を複数回に亘り繰り返し求めるように構成されていてもよい。

　上記の構成によれば、第２閾値調整部９２において、欠陥診断モデル１１の検出精度を考慮して第２閾値ＳＴを調整することで、第２不適合画像除去部１９において、教師データＴＤの候補として稀な欠陥画像ＲＤＩを含む合成画像ＣＩを残しつつ、非現実的な欠陥画像ＤＩを含む合成画像ＣＩを教師データＴＤの候補から精度良く除去できる。これにより、欠陥診断モデル１１の検出精度の向上が図れる。

（再学習部）
　幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図６に示されるように、欠陥診断モデル１１の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データＧＦＥに追加する再学習部９３をさらに備える。

　再学習部９３は、欠陥診断モデル作成装置１や欠陥診断装置２に存在する（画像データベース３１に記憶された画像や、教師データ取得部が取得した第１適合度評価モデル１５や第２適合度評価モデル１８の適合度を満たした疑似欠陥画像ＰＤＩなど）、検出精度評価部８１において精度が不足している画像に近い疑似欠陥画像ＰＤＩ及び欠陥あり画像（実撮影画像ＡＳＩ）を調査する。再学習部９３は、調査結果に基づいて、検出精度評価部８１において精度が不足している画像に近い疑似欠陥画像ＰＤＩ及び欠陥あり画像（実撮影画像ＡＳＩ）を、第１適合度評価モデル１５や第２適合度評価モデル１８の適合度評価用教師データＧＦＥに追加し、第１適合度評価モデル１５や第２適合度評価モデル１８に再学習させる。第１不適合画像除去部１６や第２不適合画像除去部１９では、再学習した第１適合度評価モデル１５や第２適合度評価モデル１８が用いられる。

　第１不適合画像除去部１６により、第１適合度評価モデル１５における適合度が第１閾値ＦＴに満たない疑似欠陥画像ＰＤＩが教師データＴＤの候補から除外される。欠陥診断モデル１１の検出精度が所定以下となる欠陥あり画像に類似した疑似欠陥画像ＰＤＩが、第１不適合画像除去部１６において教師データＴＤの候補から除外されて、教師データＴＤに含まれる数が少なくなることで、上記欠陥あり画像に対する欠陥診断モデル１１の検出精度が低下している可能性がある。再学習部９３は、第１適合度評価モデル１５の適合度評価用教師データＧＦＥに、上記欠陥あり画像に類似した画像を追加して第１適合度評価モデル１５に再学習させることで、上記欠陥あり画像に類似した疑似欠陥画像ＰＤＩが、第１不適合画像除去部１６において教師データＴＤの候補から除外されるのを抑制し、教師データＴＤに含まれる数を増やすことで、上記欠陥あり画像に同一又は類似した画像に対する欠陥診断モデル１１の検出精度を向上できる。

　第２不適合画像除去部１９により、第２適合度評価モデル１８における適合度が第２閾値ＳＴに満たない合成画像ＣＩが教師データＴＤの候補から除外される。欠陥診断モデル１１の検出精度が所定以下となる欠陥あり画像に類似した合成画像ＣＩが、第２不適合画像除去部１９において教師データＴＤの候補から除外されて教師データＴＤに含まれる数が少なくなることで、上記欠陥あり画像に対する欠陥診断モデル１１の検出精度が低下している可能性がある。再学習部９３は、第２適合度評価モデル１８の適合度評価用教師データＧＦＥに、上記欠陥あり画像に類似した画像を追加して第２適合度評価モデル１８に再学習させることで、上記欠陥あり画像に類似した合成画像ＣＩが、第２不適合画像除去部１９において教師データＴＤの候補から除外されるのを抑制し、教師データＴＤに含まれる数を増やすことで、上記欠陥あり画像に同一又は類似した画像に対する欠陥診断モデル１１の検出精度を向上できる。

　上記の構成によれば、再学習部９３において、欠陥診断モデル１１の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データＧＦＥに追加することで、欠陥診断モデル１１が学習を必要とする画像（欠陥診断モデル１１の検出精度が低い画像）を第１適合度評価モデル１５や第２適合度評価モデル１８に学習させることができ、上記類似した画像（欠陥診断モデル１１の検出精度が低い画像）に対する第１適合度評価モデル１５や第２適合度評価モデル１８における適合度の評価精度を向上できる。第１適合度評価モデル１５や第２適合度評価モデル１８における適合度の評価精度を向上させることで、欠陥診断モデル１１が学習を必要とする画像が、第１不適合画像除去部１６や第２不適合画像除去部１９において教師データＴＤの候補から除外されることを抑制できる。これにより、欠陥診断モデル１１が学習を必要とする画像（教師データＴＤ）を欠陥診断モデル１１に学習させることができるため、欠陥診断モデル１１の検出精度を向上できる。

　図９は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図９に示されるように、欠陥画像ＤＩに含まれる欠陥の特徴を上記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部９４をさらに備える。

　欠陥画像加工部９４における画像加工処理により、１つの欠陥画像ＤＩから該欠陥画像ＤＩに含まれる欠陥の特徴に類似した特徴の欠陥を含む複数の欠陥画像ＤＩを生成できる。或る実施形態では、欠陥画像加工部９４における画像加工処理は、欠陥画像ＤＩに含まれる欠陥の拡大、縮小、回転、スキュー（欠陥を斜めに傾かせる）、反転（上下反転、左右反転）又はアスペクト比の変更の少なくとも一つを含む。或る実施形態では、上述した画像取得部３は、欠陥画像加工部９４において画像加工処理が施された欠陥画像ＤＩを取得してもよい。また、或る実施形態では、欠陥画像加工部９４における欠陥画像ＤＩに対する画像加工処理は、ベース画像ＢＩの一部に欠陥画像ＤＩを貼り付けるときに実行してもよいし、ベース画像ＢＩの一部に欠陥画像ＤＩが貼り付けられた後に実行してもよい。なお、欠陥診断モデル作成装置１は、全ての欠陥画像ＤＩを欠陥画像加工部９４に通さなくてもよい。欠陥診断モデル作成装置１は、図９に示されるように、欠陥画像加工部９４における画像加工処理が施されていない欠陥画像ＤＩを復元器７や後述する貼り付け位置決定部９５に入力してもよい。また、欠陥画像加工部９４を通過した欠陥画像ＤＩを貼り付け位置決定部９５に入力してもよい。

　上記の構成によれば、欠陥画像加工部９４により、欠陥画像ＤＩに含まれる欠陥の特徴を欠陥に類似した特徴に変更する画像加工処理を施すことで、作成される合成画像ＣＩの数を増加でき、作成した合成画像ＣＩの分だけ疑似欠陥画像ＰＤＩを生成できる。欠陥診断モデル作成装置１は、欠陥画像加工部９４を備えることで、疑似欠陥画像ＰＤＩを増加でき、多量の教師データＴＤを欠陥診断モデル１１に学習させることができるため、欠陥診断モデル１１の欠陥の有無の判定精度を向上できる。

　なお、欠陥画像加工部９４において生成される欠陥画像ＤＩは、物理的に発生しない非現実的な欠陥画像ＤＩを含むことがあるが、物理的に発生しない非現実的な欠陥画像ＤＩを含む合成画像ＣＩや疑似欠陥画像ＰＤＩは、上述した第１不適合画像除去部１６や上述した第２不適合画像除去部１９において除去できる。

　幾つかの実施形態では、上述した欠陥診断モデル作成装置１は、図９に示されるように、欠陥画像ＤＩのベース画像ＢＩへの貼り付け位置をランダムに決定する貼り付け位置決定部９５をさらに備える。上述した合成画像作成部４１は、貼り付け位置決定部９５が決定したベース画像ＢＩの貼り付け位置に欠陥画像ＤＩを貼り付ける。なお、貼り付け位置決定部９５は、予め設定された範囲内において、ベース画像ＢＩに対する欠陥画像ＤＩの貼り付け位置をランダムに決定するように構成されていてもよい。

　上記の構成によれば、貼り付け位置決定部９５において、欠陥画像ＤＩのベース画像ＢＩへの貼り付け位置をランダムに決定することで、作成される合成画像ＣＩの数を増加でき、作成した合成画像ＣＩの分だけ疑似欠陥画像ＰＤＩを生成できる。欠陥診断モデル作成装置１は、貼り付け位置決定部９５を備えることで、疑似欠陥画像ＰＤＩを増加でき、多量の教師データＴＤを欠陥診断モデル１１に学習させることができるため、欠陥診断モデル１１の欠陥の有無の判定精度を向上できる。

　なお、貼り付け位置決定部９５が決定した貼り付け位置に欠陥画像ＤＩが貼り付けられた合成画像ＣＩは、物理的に発生しない非現実的な欠陥画像ＤＩを含むことや、現実的な欠陥画像ＤＩの貼り付け位置が非現実であるというような、合成画像ＣＩ自体が物理的に発生しない非現実的な画像であることがあるが、物理的に発生しない非現実的な欠陥画像ＤＩを含む合成画像ＣＩや物理的に発生しない非現実的な合成画像ＣＩ、又はこれらの合成画像ＣＩから生成された疑似欠陥画像ＰＤＩは、上述した第１不適合画像除去部１６や上述した第２不適合画像除去部１９において除去できる。

　上述した欠陥診断モデル作成装置１及び欠陥診断装置２の夫々は、プログラムに記述された処理に応じて所定の機能を実現可能に構成されたコンピュータを含んでいるが、一般的な構成および制御については適宜割愛することとする。欠陥診断モデル作成装置１及び欠陥診断装置２の夫々は、図示しないＣＰＵ（プロセッサ）や、ＲＯＭやＲＡＭといったメモリ、外部記憶装置などの記憶装置、Ｉ／Ｏインターフェース、通信インターフェースなどからなるマイクロコンピュータとして構成されている。欠陥診断モデル作成装置１や欠陥診断装置２は、例えば上記メモリの主記憶装置にロードされたプログラムの命令に従ってＣＰＵが動作（例えばデータの演算など）することで、上述した各部における制御を実現してもよい。

　図１０は、一実施形態に係る欠陥診断モデル作成方法のフロー図である。幾つかの実施形態に係る欠陥診断モデル作成方法１００は、上述した欠陥診断モデル１１を作成するための方法である。欠陥診断モデル作成方法１００は、図１０に示されるように、画像取得ステップＳ１と、疑似欠陥画像生成ステップＳ２と、教師データ取得ステップＳ３と、欠陥診断モデル作成ステップＳ４と、を備える。

　画像取得ステップＳ１では、上述した少なくとも１つのベース画像ＢＩ及び上述した複数の欠陥画像ＤＩを取得することが行われる。上述した複数の欠陥画像ＤＩは、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像ＲＤＩを含む。疑似欠陥画像生成ステップＳ２では、ベース画像ＢＩの一部に欠陥画像ＤＩが貼り付けられた合成画像ＣＩを、ベース画像ＢＩの特徴を予め学習済みの少なくとも１つの復元器７に入力することで疑似欠陥画像ＰＤＩを生成することが行われる。なお、ベース画像ＢＩごとに該ベース画像ＢＩに関連付けられた復元器７、すなわち、該ベース画像ＢＩの特徴を学習済みの復元器７が生成される。疑似欠陥画像生成ステップＳ２では、合成画像ＣＩに含まれるベース画像ＢＩに関連付けられた復元器７に、上記合成画像ＣＩを入力することが好ましい。

　教師データ取得ステップＳ３では、疑似欠陥画像ＰＤＩの複数から構成される疑似欠陥画像群ＰＤＩＧを含む教師データＴＤを取得することが行われる。欠陥診断モデル作成ステップＳ４では、教師データＴＤを学習させることで欠陥診断モデル１１を作成することが行われる。

　欠陥診断モデル作成方法１００によれば、稀な欠陥を有する合成画像ＣＩや疑似欠陥画像ＰＤＩを生成でき、生成した稀な欠陥を有する疑似欠陥画像ＰＤＩを教師データＴＤとして使用できる。欠陥診断モデル作成方法１００によれば、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データＴＤを欠陥診断モデル１１に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル１１を作成できる。

　幾つかの実施形態に係る欠陥診断モデル作成プログラム１００Ａは、上述した欠陥診断モデル１１を作成するためのプログラムである。欠陥診断モデル作成プログラム１００Ａは、図１０に示されるような、上述した画像取得ステップＳ１と、上述した疑似欠陥画像生成ステップＳ２と、上述した教師データ取得ステップＳ３と、上述した欠陥診断モデル作成ステップＳ４と、をコンピュータに実行させるためのプログラムである。欠陥診断モデル作成プログラム１００Ａは、欠陥診断モデル作成装置１における各部の機能を実現させるためのプログラムを含むものである。欠陥診断モデル作成プログラム１００Ａは、コンピュータに読み取り可能な記録媒体（例えば、フラッシュメモリ）に記憶されていてもよい。

　欠陥診断モデル作成プログラム１００Ａによれば、稀な欠陥を有する合成画像ＣＩや疑似欠陥画像ＰＤＩを生成でき、生成した稀な欠陥を有する疑似欠陥画像ＰＤＩを教師データＴＤとして使用できる。欠陥診断モデル作成プログラム１００Ａによれば、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データＴＤを欠陥診断モデル１１に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル１１を作成できる。

　本明細書において、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
　例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
　また、本明細書において、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
　また、本明細書において、一の構成要素を「備える」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

　本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

　上述した幾つかの実施形態に記載の内容は、例えば以下のように把握されるものである。

１）本開示の少なくとも一実施形態にかかる欠陥診断モデル作成装置（１）は、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル（１１）を作成するための欠陥診断モデル作成装置（１）であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像（ＢＩ）、及び前記製品に発生した欠陥が撮影された複数の欠陥画像（ＤＩ）であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像（ＲＤＩ）を含む複数の欠陥画像（ＤＩ）を取得する画像取得部（３）と、
　前記ベース画像（ＢＩ）の一部に前記欠陥画像（ＤＩ）が貼り付けられた合成画像（ＣＩ）を、前記ベース画像（ＢＩ）の特徴を予め学習済みの少なくとも１つの復元器（７）に入力することで疑似欠陥画像（ＰＤＩ）を生成する疑似欠陥画像生成部（４）と、
　前記疑似欠陥画像（ＰＤＩ）の複数から構成される疑似欠陥画像群を含む教師データ（ＴＤ）を取得する教師データ取得部（５）と、
　前記教師データ（ＴＤ）を学習させることで欠陥診断モデル（１１）を作成する欠陥診断モデル作成部（６）と、を備える。

　上記１）の構成によれば、上記少なくとも１つの復元器（７）は、ベース画像（ＢＩ）の特徴（色合い、テクスチャ、構造など）を予め学習しているため、ベース画像（ＢＩ）に意図的に合成した欠陥画像（ＤＩ）を該ベース画像（ＢＩ）に違和感なく調和させた疑似欠陥画像（ＰＤＩ）を生成できる。合成画像（ＣＩ）は、ベース画像（ＢＩ）の一部に欠陥画像（ＤＩ）を貼り付けることで生成できるので、合成画像（ＣＩ）を生成する際に、欠陥画像（ＤＩ）の欠陥の加工や、合成画像（ＣＩ）における欠陥の位置の変更、合成画像（ＣＩ）に含まれる欠陥の種類の変更が容易である。欠陥診断モデル作成装置（１）は、合成画像（ＣＩ）の素となる欠陥画像（ＤＩ）に欠陥の形状が稀である稀な欠陥画像（ＲＤＩ）を含ませることで、稀な欠陥を有する合成画像（ＣＩ）や疑似欠陥画像（ＰＤＩ）を生成でき、生成した稀な欠陥を有する疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）として使用できる。これにより、欠陥診断モデル作成装置（１）は、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データ（ＴＤ）を欠陥診断モデル（１１）に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル（１１）を作成できる。

２）幾つかの実施形態では、上記１）に記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥診断モデル作成装置（１）は、
　前記疑似欠陥画像群における複数の欠陥画像（ＤＩ）に含まれる前記稀な欠陥画像（ＲＤＩ）の割合を調整するように構成された画像の組み合わせ調整部（８）をさらに備える。

　上記２）の構成によれば、画像の組み合わせ調整部（８）により、疑似欠陥画像群に含まれる稀な欠陥画像（ＲＤＩ）の割合を増やすことで、稀な欠陥画像（ＲＤＩ）が教師データ（ＴＤ）に占める割合を増やすことができるため、欠陥診断モデル（１１）の稀な欠陥画像（ＲＤＩ）に対する識別精度を向上させることができる。

３）幾つかの実施形態では、上記２）に記載の欠陥診断モデル作成装置（１）であって、
　前記画像の組み合わせ調整部（８）は、
　前記欠陥診断モデル（１１）の検出精度を評価する検出精度評価部（８１）と、
　前記検出精度評価部（８１）の評価結果に基づいて、前記欠陥診断モデル（１１）の検出精度が所定以上の検出精度になるように前記稀な欠陥画像（ＲＤＩ）の割合を決定する割合決定部（８２）と、を含む。

　上記３）の構成によれば、割合決定部（８２）が、検出精度評価部（８１）の評価結果に基づいて、欠陥診断モデル（１１）の検出精度が所定以上の検出精度になるように稀な欠陥画像（ＤＩ）の割合を決定することで、欠陥診断モデル（１１）の検出精度を向上できるように、稀な欠陥画像（ＲＤＩ）が教師データ（ＴＤ）に占める割合を調整できるため、欠陥診断モデル（１１）の稀な欠陥に対する識別精度を向上させることができる。

４）幾つかの実施形態では、上記１）から上記３）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　前記少なくとも１つの復元器（７）は、第１ベース画像（ＢＩ１）の特徴を予め学習済みの第１復元器（７Ａ）と、前記第１ベース画像（ＢＩ１）とは特徴が異なる第２ベース画像（ＢＩ２）の特徴を予め学習済みの第２復元器（７Ｂ）と、を含む。

　上記４）の構成によれば、欠陥診断モデル作成装置（１）は、個々に特徴が異なるベース画像（ＢＩ１、ＢＩ２）の特徴を予め学習した複数の復元器（第１復元器７Ａ、第２復元器７Ｂ）を備えるので、個々に特徴が異なるベース画像（ＢＩ１、ＢＩ２）に対応した疑似欠陥画像（ＰＤＩ）を生成できる。これにより、欠陥診断モデル作成装置（１）が生成できる疑似欠陥画像（ＰＤＩ）の種類を増やし、教師データ（ＴＤ）に幅を持たせることができるため、欠陥診断モデル（１１）の欠陥識別精度を向上させることができる。

５）幾つかの実施形態では、上記１）から上記４）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　前記少なくとも１つの復元器（７）は、前記ベース画像（ＢＩ）を縮小化処理することにより縮小化した縮小ベース画像（ＲＢＩ）の特徴を学習するように構成され、
　前記欠陥診断モデル作成装置（１）は、
　前記ベース画像（ＢＩ）及び前記欠陥画像（ＤＩ）の組み合わせ、又は前記合成画像（ＣＩ）の少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部（１２）と、
　前記疑似欠陥画像（ＰＤＩ）に対して高画素化処理を実行するように構成された高画素化処理部（１３）と、をさらに備える。

　上記５）の構成によれば、少なくとも１つの復元器（７）は、縮小ベース画像（ＲＢＩ）の特徴を学習するので、縮小化処理される前のベース画像（ＢＩ）の特徴を学習する場合に比べて、学習に用いるハードウェアに要求される性能を抑えることができる。疑似欠陥画像（ＰＤＩ）として生成できる画像サイズは、復元器（７）が学習した画像サイズに依存するので、低画素化処理部（１２）において、復元器（７）に入力される合成画像（ＣＩ）又は合成画像（ＣＩ）の基となるベース画像（ＢＩ）と欠陥画像（ＤＩ）の組み合わせに対して低画素化処理が行われる。対象製品のサイズが大きく欠陥が小さい製品については、高画素での検査が望ましいので、高画素での検査に対応できるように、高画素化処理部（１３）において、欠陥診断モデル（１１）の教師データ（ＴＤ）となる疑似欠陥画像（ＰＤＩ）に対する高画素化処理が行われる。上記５）の構成によれば、低画素化処理部（１２）及び高画素化処理部（１３）を設けることで、ハードウェアの性能により適用できない製品（具体的には、画像サイズが大きく、欠陥が小さい製品。つまり、画像サイズを上げないと撮影できない製品）の疑似欠陥画像（ＰＤＩ）の生成が可能になり、欠陥診断モデル作成装置（１）が適用可能な製品を増やすことができる。

６）幾つかの実施形態では、上記５）に記載の欠陥診断モデル作成装置（１）であって、
　欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データ（ＧＦＥ）を予め学習させた第１適合度評価モデル（１５）、及び
　前記高画素化処理部（１３）によって前記高画素化処理が実行された前記疑似欠陥画像（ＰＤＩ）の内、前記第１適合度評価モデル（１５）における適合度が第１閾値（ＦＴ）に満たない前記疑似欠陥画像（ＰＤＩ）を前記教師データ（ＴＤ）の候補から除外するように構成された第１不適合画像除去部（１６）と、を含む第１適合度評価部（１４）をさらに備える。

　上記６）の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データ（ＧＦＥ）を予め学習させた第１適合度評価モデル（１５）により、復元器（７）から出力されて高画素化処理が実行された疑似欠陥画像（ＰＤＩ）の品質を評価することができる。第１不適合画像除去部（１６）により、第１適合度評価モデル（１５）における適合度が不足する（第１閾値ＦＴに満たない）疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）の候補から除外できる。これにより、欠陥診断モデル（１１）が物理的に発生しない非現実的な欠陥画像（ＤＩ）を教師データ（ＴＤ）として学習して欠陥の診断精度を低下させることを抑制できる。

７）幾つかの実施形態では、上記１）から上記６）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データ（ＧＦＥ）を予め学習させた第２適合度評価モデル（１８）、及び
　前記第２適合度評価モデル（１８）における適合度が第２閾値（ＳＴ）に満たない前記合成画像（ＣＩ）を前記教師データ（ＴＤ）の候補から除外するように構成された第２不適合画像除去部（１９）、を含む第２適合度評価部（１７）をさらに備える。

　上記７）の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データ（ＧＦＥ）を予め学習させた第２適合度評価モデル（１８）により、合成画像（ＣＩ）の品質を評価することができる。第２不適合画像除去部（１９）により、第２適合度評価モデル（１８）における適合度が不足する（第２閾値に満たない）合成画像（ＣＩ、例えば、実際に発生しない部位に欠陥がある合成画像）を教師データ（ＴＤ）の候補から除外できる。これにより、欠陥診断モデル（１１）が物理的に発生しない非現実的な欠陥画像（ＤＩ）を含む疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）として学習して欠陥の診断精度を低下させることを抑制できる。

８）幾つかの実施形態では、上記６）に記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥診断モデル（１１）の検出精度を考慮して、前記第１閾値（ＦＴ）を調整するように構成された第１閾値調整部（９１）をさらに備える。

　上記８）の構成によれば、第１閾値調整部（９１）において、欠陥診断モデル（１１）の検出精度を考慮して第１閾値（ＦＴ）を調整することで、第１不適合画像除去部（１６）において、教師データ（ＴＤ）の候補として稀な欠陥画像（ＲＤＩ）を含む疑似欠陥画像（ＰＤＩ）を残しつつ、非現実的な欠陥画像（ＤＩ）を含む疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）の候補から精度良く除去できる。これにより、欠陥診断モデル（１１）の検出精度の向上が図れる。

９）幾つかの実施形態では、上記７）に記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥診断モデル（１１）の検出精度を考慮して、前記第２閾値（ＳＴ）を調整するように構成された第２閾値調整部（９２）をさらに備える。

　上記９）の構成によれば、第２閾値調整部（９２）において、欠陥診断モデル（１１）の検出精度を考慮して第２閾値（ＳＴ）を調整することで、第２不適合画像除去部（１９）において、教師データ（ＴＤ）の候補として稀な欠陥画像（ＲＤＩ）を含む合成画像（ＣＩ）を残しつつ、非現実的な欠陥画像（ＤＩ）を含む合成画像（ＣＩ）を教師データ（ＴＤ）の候補から精度良く除去できる。これにより、欠陥診断モデル（１１）の検出精度の向上が図れる。

１０）幾つかの実施形態では、上記６）から上記９）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥診断モデル（１１）の検出精度が所定以下となる前記欠陥あり画像に類似した画像を前記適合度評価用教師データ（ＧＦＥ）に追加する再学習部（９３）をさらに備える。

　上記１０）の構成によれば、再学習部（９３）において、欠陥診断モデル（１１）の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データ（ＧＦＥ）に追加することで、欠陥診断モデル（１１）が学習を必要とする画像（欠陥診断モデルの検出精度が低い画像）を第１適合度評価モデル（１５）や第２適合度評価モデル（１８）に学習させることができ、上記類似した画像（欠陥診断モデルの検出精度が低い画像）に対する第１適合度評価モデル（１５）や第２適合度評価モデル（１８）における適合度の評価精度を向上できる。第１適合度評価モデル（１５）や第２適合度評価モデル（１８）における適合度の評価精度を向上させることで、欠陥診断モデル（１１）が学習を必要とする画像が、第１不適合画像除去部（１６）や第２不適合画像除去部（１９）において教師データ（ＴＤ）の候補から除外されることを抑制できる。これにより、欠陥診断モデル（１１）が学習を必要とする画像（教師データＴＤ）を欠陥診断モデル（１１）に学習させることができるため、欠陥診断モデル（１１）の検出精度を向上できる。

１１）幾つかの実施形態では、上記１）から上記１０）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥画像（ＤＩ）に含まれる前記欠陥の特徴を前記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部（９４）をさらに備える。

　上記１１）の構成によれば、欠陥画像加工部（９４）により、欠陥画像（ＤＩ）に含まれる欠陥の特徴を欠陥に類似した特徴に変更する画像加工処理を施すことで、作成される合成画像（ＣＩ）の数を増加でき、作成した合成画像（ＣＩ）の分だけ疑似欠陥画像（ＰＤＩ）を生成できる。欠陥診断モデル作成装置（１）は、欠陥画像加工部（９４）を備えることで、疑似欠陥画像（ＰＤＩ）を増加でき、多量の教師データ（ＴＤ）を欠陥診断モデル（１１）に学習させることができるため、欠陥診断モデル（１１）の欠陥の有無の判定精度を向上できる。

１２）幾つかの実施形態では、上記１）から上記１１）までの何れかに記載の欠陥診断モデル作成装置（１）であって、
　前記欠陥画像（ＤＩ）の前記ベース画像（ＢＩ）への貼り付け位置をランダムに決定する貼り付け位置決定部（９５）をさらに備える。

　上記１２）の構成によれば、貼り付け位置決定部（９５）において、欠陥画像（ＤＩ）のベース画像（ＢＩ）への貼り付け位置をランダムに決定することで、作成される合成画像（ＣＩ）の数を増加でき、作成した合成画像（ＣＩ）の分だけ疑似欠陥画像（ＰＤＩ）を生成できる。欠陥診断モデル作成装置（１）は、貼り付け位置決定部（９５）を備えることで、疑似欠陥画像（ＰＤＩ）を増加でき、多量の教師データ（ＴＤ）を欠陥診断モデル（１１）に学習させることができるため、欠陥診断モデル（１１）の欠陥の有無の判定精度を向上できる。

１３）本開示の少なくとも一実施形態にかかる欠陥診断モデル作成方法（１００）は、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル（１１）を作成するための欠陥診断モデル作成方法（１００）であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像（ＢＩ）、及び前記製品に発生した欠陥が撮影された複数の欠陥画像（ＤＩ）であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像（ＲＤＩ）を含む複数の欠陥画像（ＤＩ）を取得する画像取得ステップ（Ｓ１）と、
　前記ベース画像（ＢＩ）の一部に前記欠陥画像（ＤＩ）が貼り付けられた合成画像（ＣＩ）を、前記ベース画像（ＢＩ）の特徴を予め学習済みの少なくとも１つの復元器（７）に入力することで疑似欠陥画像（ＰＤＩ）を生成する疑似欠陥画像生成ステップ（Ｓ２）と、
　前記疑似欠陥画像（ＰＤＩ）の複数から構成される疑似欠陥画像群を含む教師データ（ＴＤ）を取得する教師データ取得ステップ（Ｓ３）と、
　前記教師データ（ＴＤ）を学習させることで欠陥診断モデル（１１）を作成する欠陥診断モデル作成ステップ（Ｓ４）と、を備える。

　上記１３）に記載の欠陥診断モデル作成方法（１００）によれば、稀な欠陥を有する合成画像（ＣＩ）や疑似欠陥画像（ＰＤＩ）を生成でき、生成した稀な欠陥を有する疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）として使用できる。欠陥診断モデル作成方法（１００）によれば、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データ（ＴＤ）を欠陥診断モデル（１１）に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル（１１）を作成できる。

１４）本開示の少なくとも一実施形態にかかる欠陥診断モデル作成プログラム（１００Ａ）は、
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル（１１）を作成するための欠陥診断モデル作成プログラム（１００Ａ）であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像（ＢＩ）、及び前記製品に発生した欠陥が撮影された複数の欠陥画像（ＤＩ）であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像（ＲＤＩ）を含む複数の欠陥画像（ＤＩ）を取得する画像取得ステップ（Ｓ１）と、
　前記ベース画像（ＢＩ）の一部に前記欠陥画像（ＤＩ）が貼り付けられた合成画像（ＣＩ）を、前記ベース画像（ＢＩ）の特徴を予め学習済みの少なくとも１つの復元器（７）に入力することで疑似欠陥画像（ＰＤＩ）を生成する疑似欠陥画像生成ステップ（Ｓ２）と、
　前記疑似欠陥画像（ＰＤＩ）の複数から構成される疑似欠陥画像群を含む教師データ（ＴＤ）を取得する教師データ取得ステップ（Ｓ３）と、
　前記教師データ（ＴＤ）を学習させることで欠陥診断モデル（１１）を作成する欠陥診断モデル作成ステップ（Ｓ４）と、をコンピュータに実行させるためのプログラムである。

　上記１４）の記載の欠陥診断モデル作成プログラム（１００Ａ）によれば、稀な欠陥を有する合成画像（ＣＩ）や疑似欠陥画像（ＰＤＩ）を生成でき、生成した稀な欠陥を有する疑似欠陥画像（ＰＤＩ）を教師データ（ＴＤ）として使用できる。欠陥診断モデル作成プログラム（１００Ａ）によれば、実際に欠陥が発生する可能性の幅（バラツキ）を考慮した教師データ（ＴＤ）を欠陥診断モデル（１１）に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル（１１）を作成できる。

１　　　　　欠陥診断モデル作成装置
２　　　　　欠陥診断装置
３　　　　　画像取得部
４　　　　　疑似欠陥画像生成部
５　　　　　教師データ取得部
６　　　　　欠陥診断モデル作成部
７，７Ａ，７Ｂ　復元器
８　　　　　画像の組み合わせ調整部
１０　　　　欠陥診断システム
１１　　　　欠陥診断モデル
１２　　　　低画素化処理部
１３　　　　高画素化処理部
１４　　　　第１適合度評価部
１５　　　　第１適合度評価モデル
１６　　　　第１不適合画像除去部
１７　　　　第２適合度評価部
１８　　　　第２適合度評価モデル
１９　　　　第２不適合画像除去部
２１　　　　欠陥診断モデル記憶部
２２　　　　対象製品画像取得部
２３　　　　欠陥診断部
２４　　　　判定結果出力部
３１　　　　画像データベース
４１　　　　合成画像作成部
４２　　　　復元器記憶部
４３　　　　画像生成部
４４　　　　疑似欠陥画像記憶部
８１　　　　検出精度評価部
８２　　　　割合決定部
９１　　　　第１閾値調整部
９２　　　　第２閾値調整部
９３　　　　再学習部
９４　　　　欠陥画像加工部
９５　　　　貼り付け位置決定部
１００　　　欠陥診断モデル作成方法
１００Ａ　　欠陥診断モデル作成プログラム
ＡＳＩ　　　実撮影画像
ＢＩ，ＢＩ１，ＢＩ２，ＢＩ３　ベース画像
ＣＩ　　　　合成画像
ＤＩ　　　　欠陥画像
ＦＴ　　　　第１閾値
ＧＦＥ　　　適合度評価用教師データ
ＰＤＩ　　　疑似欠陥画像
ＰＤＩＧ　　疑似欠陥画像群
ＲＢＩ　　　縮小ベース画像
ＲＤＩ　　　稀な欠陥画像
Ｓ１　　　　画像取得ステップ
Ｓ２　　　　疑似欠陥画像生成ステップ
Ｓ３　　　　教師データ取得ステップ
Ｓ４　　　　欠陥診断モデル作成ステップ
ＳＴ　　　　第２閾値
ＴＤ　　　　教師データ

Claims

　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える、
欠陥診断モデル作成装置。
　前記欠陥診断モデル作成装置は、
　前記疑似欠陥画像群における複数の欠陥画像に含まれる前記稀な欠陥画像の割合を調整するように構成された画像の組み合わせ調整部をさらに備える、
請求項１に記載の欠陥診断モデル作成装置。
　前記画像の組み合わせ調整部は、
　前記欠陥診断モデルの検出精度を評価する検出精度評価部と、
　前記検出精度評価部の評価結果に基づいて、前記欠陥診断モデルの検出精度が所定以上の検出精度になるように前記稀な欠陥画像の割合を決定する割合決定部と、を含む、
請求項２に記載の欠陥診断モデル作成装置。
　前記少なくとも１つの復元器は、第１ベース画像の特徴を予め学習済みの第１復元器と、前記第１ベース画像とは特徴が異なる第２ベース画像の特徴を予め学習済みの第２復元器と、を含む、
請求項１乃至３の何れか１項に記載の欠陥診断モデル作成装置。
　前記少なくとも１つの復元器は、前記ベース画像を縮小化処理することにより縮小化した縮小ベース画像の特徴を学習するように構成され、
　前記欠陥診断モデル作成装置は、
　前記ベース画像及び前記欠陥画像の組み合わせ、又は前記合成画像の少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部と、
　前記疑似欠陥画像に対して高画素化処理を実行するように構成された高画素化処理部と、をさらに備える、
請求項１乃至４の何れか１項に記載の欠陥診断モデル作成装置。
　欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データを予め学習させた第１適合度評価モデル、及び
　前記高画素化処理部によって前記高画素化処理が実行された前記疑似欠陥画像の内、前記第１適合度評価モデルにおける適合度が第１閾値に満たない前記疑似欠陥画像を前記教師データの候補から除外するように構成された第１不適合画像除去部と、を含む第１適合度評価部をさらに備える、
請求項５に記載の欠陥診断モデル作成装置。
　欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データを予め学習させた第２適合度評価モデル、及び
　前記第２適合度評価モデルにおける適合度が第２閾値に満たない前記合成画像を前記教師データの候補から除外するように構成された第２不適合画像除去部、を含む第２適合度評価部をさらに備える、
請求項１乃至６の何れか１項に記載の欠陥診断モデル作成装置。
　前記欠陥診断モデルの検出精度を考慮して、前記第１閾値を調整するように構成された第１閾値調整部をさらに備える、
請求項６に記載の欠陥診断モデル作成装置。
　前記欠陥診断モデルの検出精度を考慮して、前記第２閾値を調整するように構成された第２閾値調整部をさらに備える、
請求項７に記載の欠陥診断モデル作成装置。
　前記欠陥診断モデルの検出精度が所定以下となる前記欠陥あり画像に類似した画像を前記適合度評価用教師データに追加する再学習部をさらに備える、
請求項６乃至９の何れか１項に記載の欠陥診断モデル作成装置。
　前記欠陥画像に含まれる前記欠陥の特徴を前記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部をさらに備える、
請求項１乃至１０の何れか１項に記載の欠陥診断モデル作成装置。
　前記欠陥画像の前記ベース画像への貼り付け位置をランダムに決定する貼り付け位置決定部をさらに備える、
　請求項１乃至１１の何れか１項に記載の欠陥診断モデル作成装置。
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成方法であって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、を備える、
欠陥診断モデル作成方法。
　対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成プログラムであって、
　前記対象製品と同一又は類似した製品が撮影された少なくとも１つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも１つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
　前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも１つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
　前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
　前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、をコンピュータに実行させるための、欠陥診断モデル作成プログラム。